KR20230090957A - Lidar data transmission method for reducing lidar data transmission amount, apparatus and system for performing the same - Google Patents
Lidar data transmission method for reducing lidar data transmission amount, apparatus and system for performing the same Download PDFInfo
- Publication number
- KR20230090957A KR20230090957A KR1020220012977A KR20220012977A KR20230090957A KR 20230090957 A KR20230090957 A KR 20230090957A KR 1020220012977 A KR1020220012977 A KR 1020220012977A KR 20220012977 A KR20220012977 A KR 20220012977A KR 20230090957 A KR20230090957 A KR 20230090957A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- lidar
- frame
- data transmission
- lidar data
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004891 communication Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 11
- 230000033001 locomotion Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0002—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/52—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Quality & Reliability (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
본 발명은 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법, 이를 수행하기 위한 장치 및 시스템에 관한 것으로 보다 상세하게는 라이다 센서의 데이터 전송 시 전송되는 데이터의 전송량을 감소시킬 수 있는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법, 이를 수행하기 위한 장치 및 시스템에 관한 것이다.The present invention relates to a lidar data transmission method for reducing the amount of lidar data transmission, and an apparatus and system for performing the same, and more particularly, lidar data that can reduce the amount of data transmitted when data is transmitted from a lidar sensor. It relates to a lidar data transmission method for reducing transmission amount, and an apparatus and system for performing the same.
자율주행 차량은 자율주행을 위해 주변 상황을 인식하는 센서가 필요하며, 이를 위해 사용되는 센서는 카메라, 레이더, 초음파 센서, 라이다(LiDAR) 센서 등일 수 있다. Self-driving vehicles require sensors that recognize surrounding situations for autonomous driving, and sensors used for this purpose may be cameras, radars, ultrasonic sensors, LiDAR sensors, and the like.
여기서 빛 탐지 및 범위 측정 센서(Light Detection and Ranking sensor), 일명 라이다 센서는 레이저를 목표물에 비춰 사물과의 거리 및 다양한 물성을 감지할 수 있어 주변 사물, 지형지물 등을 감지할 수 있다. 이 때 레이저는 일정한 간격으로 발사되며 각 간격의 거리 값을 측정한다. 레이더 및 초음파 센서와 달리 라이다 센서는 레이저를 사용하여 고속 데이터 측정을 가능하게 하고, 이를 통해 고정밀 데이터를 획득할 수 있지만, 출력되는 데이터의 크기가 크다는 단점이 있다. Here, a light detection and ranking sensor, also known as a lidar sensor, can detect a distance to an object and various physical properties by shining a laser on a target, thereby detecting surrounding objects and landmarks. At this time, the laser is fired at regular intervals and the distance value at each interval is measured. Unlike radar and ultrasonic sensors, lidar sensors enable high-speed data measurement using lasers and can acquire high-precision data through this, but have a disadvantage in that the size of output data is large.
한편 자율주행 차량은 주행 중에 다양한 전자 장치를 제어하는데, 자율주행차가 발달할수록 이에 필요한 장치도 늘어나는 것은 필연적일 수밖에 없다. 따라서 하나의 프로세서를 이용해 모두 제어하기에는 어려움이 있고 비용 측면에서도 비효율적이기 때문에 자율주행차량에 탑재된 센서는 센서별로 추가로 장착된 프로세서를 통해 데이터 수집과 제어를 수행한다. 그리고나서 데이터는 차량의 주 프로세서인 도메인 컨트롤 유닛(DCU, Domain Control Unit)으로 전달될 수 있다. On the other hand, autonomous vehicles control various electronic devices while driving, and as autonomous vehicles develop, it is inevitable that the number of devices required for this will increase. Therefore, it is difficult to control all of them using one processor and it is inefficient in terms of cost, so the sensors mounted on autonomous vehicles perform data collection and control through a processor additionally installed for each sensor. The data can then be forwarded to the vehicle's main processor, the Domain Control Unit (DCU).
DCU는 센서 장착 프로세서에서 전송된 데이터를 사용하기 위해 다양한 주행 결정을 내리기 때문에 센서가 전송하는 데이터 양의 감소는 시스템의 제어에 있어 중요한 문제일 수밖에 없다. Since the DCU makes various driving decisions to use the data transmitted from the sensor-equipped processor, reducing the amount of data transmitted by the sensors is a critical issue for the control of the system.
즉 자율주행 차량은 보다 정확한 자율주행과 사용자 편의를 위해 많은 센서와 전자기기를 사용하고, 이러한 센서 및 전자기기와 DCU 사이에는 많은 양의 데이터가 송수신된다. 데이터 전송을 늘리기 위해서는 차내의 더 큰 데이터 전송 채널이 필요하지만 차량 내부는 일종의 극한 환경이어서 데이터 전송의 안전성을 고려해 더 큰 데이터 전송 채널이 필요하고, 이에 따라 더 많은 전력 소비를 필요로 한다. 하지만 차량의 총 가용 전력은 상당히 제한적이어서 소량의 전력 소비량이라도 감소시켜야 한다. That is, autonomous vehicles use many sensors and electronic devices for more accurate autonomous driving and user convenience, and a large amount of data is transmitted and received between these sensors and electronic devices and the DCU. In order to increase data transmission, a larger data transmission channel is required in the vehicle, but the inside of the vehicle is a kind of extreme environment, so a larger data transmission channel is required in consideration of the safety of data transmission, and accordingly, more power consumption is required. However, the total available power of a vehicle is quite limited, so even a small amount of power consumption must be reduced.
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것으로, 본 발명의 목적은 레이다 센서의 데이터 전송량을 감소시켜 차량 전체를 종합적으로 관리하고 자율주행을 제어하는 DCU 내 데이터 처리량을 감소시키고, 이에 따라 자율주행 시스템의 안정성과 성능을 향상시킬 수 있는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법, 이를 수행하기 위한 장치 및 시스템을 제공하는 것이다.The present invention has been made to solve the above problems, and an object of the present invention is to reduce the amount of data transmission in a DCU that comprehensively manages the entire vehicle and controls autonomous driving by reducing the amount of data transmission of a radar sensor, thereby reducing the amount of data processing in the DCU. It is to provide a lidar data transmission method for reducing the amount of lidar data transmission that can improve the stability and performance of an autonomous driving system, and a device and system for performing this.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 라이다 센서에서 측정된 데이터를 라이다 데이터 수신장치로 전송하는 라이다 데이터 전송장치에서 수행되는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법은, 상기 라이다 센서에서 측정된 데이터인 3차원 포인트 데이터를 거리 데이터로 연산하여 프레임으로 변환하는 단계; 상기 변환하는 단계에서 변환된 현재 프레임을 이전 프레임과 비교하여 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하는 단계; 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성하는 단계; 및 상기 최종 업데이트 데이터를 상기 라이다 데이터 수신장치로 전송하는 단계를 포함한다. A lidar data transmission method for reducing lidar data transmission amount performed in a lidar data transmission device for transmitting data measured by a lidar sensor to a lidar data receiving device according to an embodiment of the present invention for achieving the above object. , converting three-dimensional point data, which is data measured by the lidar sensor, into a frame by calculating distance data; comparing the current frame converted in the converting step with a previous frame and extracting data of only the changed part as partial update data; configuring final update data based on the extracted partial update data; And transmitting the final update data to the lidar data receiving device.
여기서 상기 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하는 단계에서는, 상기 이전 프레임과 상기 현재 프레임을 비트 단위로 비교하여 차이값을 산출하는 단계; 산출된 차이값이 기설정된 임계값 이상이면, 임계값 이상에 해당하는 상기 현재 프레임의 비트 위치를 상기 부분 업데이트 데이터로 추출하는 단계; 및 상기 비트 위치에 기초하여 마스크 프레임을 생성하는 단계를 포함할 수 있다. In the step of extracting the data of only the changed part as partial update data, the step of comparing the previous frame and the current frame in units of bits to calculate a difference value; extracting a bit position of the current frame corresponding to the threshold value or higher as the partial update data when the calculated difference value is greater than or equal to a predetermined threshold value; and generating a mask frame based on the bit position.
그리고 상기 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성하는 단계에서는, 라이다 데이터의 크기를 감소시키기 위해 상기 마스크 프레임에 기초하여 상기 현재 프레임을 필터링하여 최종 업데이트 데이터인 업데이트 프레임을 생성할 수 있다. In the step of constructing final update data based on the extracted partial update data, an update frame, which is final update data, may be generated by filtering the current frame based on the mask frame to reduce the size of lidar data. there is.
또한 상기 최종 업데이트 데이터를 라이다 데이터 수신장치로 전송하는 단계에서는, 상기 업데이트 프레임을 데이터 스트림 형태로 변환하여 전송 스트림을 생성하고, 생성된 전송 스트림을 전송할 수 있다. In addition, in the step of transmitting the final update data to the lidar data receiver, the update frame may be converted into a data stream form to generate a transport stream, and the generated transport stream may be transmitted.
한편 상기 목적을 달성하기위한 본 발명의 일 실시예에 따른 라이다 센서에서 측정된 데이터를 라이다 데이터 수신장치로 전송하는 라이다 데이터 전송장치는, 상기 라이다 센서로부터 측정된 데이터인 3차원 포인트 데이터를 거리 데이터로 연산하여 프레임으로 변환하는 프레임 변환부; 상기 프레임 변환부에서 변환된 현재 프레임을 이전 프레임과 비교하여 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하고, 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성하는 부분 업데이트 데이터 생성부; 및 상기 최종 업데이트 데이터를 라이다 데이터 수신장치로 전송하는 통신부를 포함한다. On the other hand, the lidar data transmission device for transmitting the data measured by the lidar sensor to the lidar data receiving device according to an embodiment of the present invention for achieving the above object is a three-dimensional point that is the data measured from the lidar sensor. a frame converting unit that calculates data as distance data and converts the data into frames; a partial update data generation unit that compares the current frame converted by the frame conversion unit with a previous frame, extracts data of only the changed part as partial update data, and composes final update data based on the extracted partial update data; And a communication unit for transmitting the final update data to the lidar data receiving device.
여기서 상기 부분 업데이트 데이터 생성부는, 상기 이전 프레임과 상기 현재 프레임을 비트 단위로 비교하여 차이값을 산출하고, 산출된 차이값이 기설정된 임계값 이상이면, 임계값 이상에 해당하는 상기 현재 프레임의 비트 위치를 상기 부분 업데이트 데이터로 추출하며, 상기 비트 위치에 기초하여 마스크 프레임을 생성할 수 있다. Here, the partial update data generation unit compares the previous frame and the current frame in units of bits to calculate a difference value, and if the calculated difference value is equal to or greater than a predetermined threshold value, the bit of the current frame corresponding to the threshold value or greater A position may be extracted as the partial update data, and a mask frame may be generated based on the bit position.
그리고 상기 부분 업데이트 데이터 생성부는, 라이다 데이터의 크기를 감소시키기 위해 상기 마스크 프레임에 기초하여 상기 현재 프레임을 필터링하여 상기 최종 업데이트 데이터인 업데이트 프레임을 생성할 수 있다. The partial update data generation unit may filter the current frame based on the mask frame to reduce the size of LIDAR data to generate an update frame that is the final update data.
또한 상기 부분 업데이트 데이터 생성부는, 상기 업데이트 프레임을 데이터 스트림 형태로 변환하여 전송 스트림을 생성하고, 생성된 전송 스트림이 상기 라이다 데이터 수신장치로 전송되도록 할 수 있다. In addition, the partial update data generator may generate a transport stream by converting the update frame into a data stream form, and transmit the generated transport stream to the lidar data receiver.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 라이다 센서에서 측정된 데이터를 라이다 데이터 수신장치로 전송하는 라이다 데이터 전송장치 및 라이다 데이터를 수신하는 라이다 데이터 수신장치를 포함하는 라이다 데이터 송수신 시스템에서, 상기 라이다 데이터 전송장치는, 상기 라이다 센서로부터 측정된 데이터인 3차원 포인트 데이터를 거리 데이터로 연산하여 프레임으로 변환하는 프레임 변환부; 상기 프레임 변환부에서 변환된 현재 프레임을 이전 프레임과 비교하여 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하고, 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성하는 부분 업데이트 데이터 생성부; 및 상기 최종 업데이트 데이터를 라이다 데이터 수신장치로 전송하는 통신부를 포함하고, 상기 부분 업데이트 생성부는, 상기 최종 업데이트 데이터를 스트림 형태로 변환하여 전송 스트림을 생성하고, 생성된 전송 스트림이 상기 라이더 데이터 수신장치로 전송되도록 한다. Including a lidar data transmitter for transmitting data measured by a lidar sensor to a lidar data receiver and a lidar data receiver for receiving lidar data according to an embodiment of the present invention for achieving the above object In the lidar data transmission and reception system, the lidar data transmission device comprises: a frame conversion unit for converting three-dimensional point data, which is data measured by the lidar sensor, into a frame by calculating distance data; a partial update data generation unit that compares the current frame converted by the frame conversion unit with a previous frame, extracts data of only the changed part as partial update data, and composes final update data based on the extracted partial update data; and a communication unit for transmitting the final update data to a lidar data receiver, wherein the partial update generation unit converts the final update data into a stream form to generate a transport stream, and the generated transport stream receives the lidar data to be sent to the device.
여기서 상기 라이다 데이터 수신장치는, 상기 라이다 데이터 전송장치로부터 수신한 상기 전송 스트림을 상기 최종 업데이트 데이터로 복원하는 복원부; 및 복원된 최종 업데이트 데이터에 기초하여 현재 출력 이미지를 생성하되, 이전에 생성되어 저장된 이전 출력 이미지의 일부만을 수정하여 상기 현재 출력 이미지를 생성하는 이미지 생성부를 포함할 수 있다. Here, the lidar data receiving device may include: a restoring unit for restoring the transport stream received from the lidar data transmitting device into the final update data; and an image generating unit configured to generate a current output image based on the restored last updated data, and to modify only a part of a previously generated and stored previous output image to generate the current output image.
상술한 본 발명의 일측면에 따르면, 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법, 이를 수행하기 위한 장치 및 시스템을 제공함으로써, 레이다 센서의 데이터 전송량을 감소시켜 차량 전체를 종합적으로 관리하고 자율주행을 제어하는 DCU 내 데이터 처리량을 감소시키고, 이에 따라 자율주행 시스템의 안정성과 성능을 향상시킬 수 있다. According to one aspect of the present invention described above, by providing a lidar data transmission method for reducing the lidar data transmission amount, and an apparatus and system for performing the same, the data transmission amount of the radar sensor is reduced to comprehensively manage the entire vehicle and autonomously It is possible to reduce the amount of data processing in the DCU that controls driving, thereby improving the stability and performance of the autonomous driving system.
도 1은 본 발명의 일 실시예에 따른 시스템의 구성을 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 시스템에서 라이다 데이터를 전송하는 과정을 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른 라이다 데이터 전송장치의 구성을 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른 라이다 데이터 전송장치가 마스크 프레임 및 업데이트 프레임을 생성하는 과정을 설명하기 위한 도면,
도 5 내지 도 8은 본 발명의 일 실시예에 따른 라이더 데이터 전송장치가 전송 스트림을 생성하는 과정을 설명하기 위한 도면,
도 9는 본 발명의 일 실시예에 따른 라이더 데이터 수신장치의 구성을 설명하기 위한 도면,
도 10 내지 도 12는 본 발명의 일 실시예에 따른 라이더 데이터 수신장치가 출력 이미지를 생성하는 과정을 설명하기 위한 도면,
도 13 내지 도 18은 본 발명의 일 실시예에 따른 라이더 데이터 송수신 시스템의 라이다 데이터를 송수신하는 과정 및 실험 결과를 설명하기 위한 도면, 그리고,
도 19는 본 발명의 일 실시예에 따른 라이다 데이터 전송방법을 설명하기 위한 흐름도이다. 1 is a diagram for explaining the configuration of a system according to an embodiment of the present invention;
2 is a diagram for explaining a process of transmitting lidar data in a system according to an embodiment of the present invention;
3 is a diagram for explaining the configuration of a lidar data transmission device according to an embodiment of the present invention;
4 is a diagram for explaining a process of generating a mask frame and an update frame by a lidar data transmission device according to an embodiment of the present invention;
5 to 8 are views for explaining a process of generating a transport stream by a rider data transmission device according to an embodiment of the present invention;
9 is a diagram for explaining the configuration of a rider data receiving device according to an embodiment of the present invention;
10 to 12 are views for explaining a process of generating an output image by a lidar data receiving device according to an embodiment of the present invention;
13 to 18 are diagrams for explaining a process of transmitting and receiving lidar data of the lidar data transmission and reception system according to an embodiment of the present invention and experimental results, and
19 is a flowchart illustrating a lidar data transmission method according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable one skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in another embodiment without departing from the spirit and scope of the invention in connection with one embodiment. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description set forth below is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all equivalents as claimed by those claims. Like reference numbers in the drawings indicate the same or similar function throughout the various aspects.
이하에서는 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 시스템(10)의 구성을 설명하기 위한 도면, 그리고 도 2는 본 발명의 일 실시예에 따른 시스템(10)에서 라이다 데이터를 전송하는 과정을 설명하기 위한 도면이다. 1 is a diagram for explaining the configuration of a
라이다 센서(LiDAR Sensor)(L)는 빛의 비행시간을 통해 거리 데이터를 얻는 자율주행 차량에 사용되는 센서 중 하나로, 이러한 라이다 센서(L)는 빠른 속도로 데이터를 측정할 수 있으며 다른 센서에 비해 데이터의 정밀도가 높다. 한편 자율주행차는 전자기기를 사용하기 때문에 사용하는 데이터 채널과 시스템을 제어하는 도메인 제어장치 지원이 제한적일 수밖에 없다. LiDAR Sensor (L) is one of the sensors used in autonomous vehicles that obtain distance data through the time of flight of light. The precision of the data is higher than that of On the other hand, since self-driving cars use electronic devices, support for the domain control device that controls the data channels and systems used is inevitably limited.
하지만 라이다 센서(L)로부터 전송되는 데이터는 감지시간 당 대량의 데이터이기 때문에 이런 환경에서 원본 데이터를 훼손하지 않고 라이다 센서(L) 데이터를 감소시킬 수 있다면 자율주행차 시스템에 상당히 효율적일 수 있다. However, since the data transmitted from the lidar sensor (L) is a large amount of data per detection time, if the lidar sensor (L) data can be reduced without damaging the original data in this environment, it can be quite efficient for the autonomous vehicle system. .
이에 본 발명의 일 실시예에 따른 라이다 데이터 송수신 시스템(10, 이하 시스템)은 라이다 센서(L)에서 측정된 데이터에서 동일한 데이터를 제외한 변경된 데이터만을 부분적으로 추출하여 라이다 데이터의 전송량을 감소시키기 위해 마련되며, 본 시스템(10)은 라이다 데이터 전송장치(100, 이하 전송장치) 및 라이다 데이터 수신장치(200, 이하 수신장치)를 포함할 수 있다. Accordingly, the lidar data transmission and reception system (10, hereinafter system) according to an embodiment of the present invention partially extracts only changed data excluding the same data from the data measured by the lidar sensor (L) to reduce the amount of lidar data transmission. The
도 2에서 (a) 및 (b)는 본 발명의 송수신 시스템(100)의 성능을 비교하기 위한 도면으로, 이에 대해서는 도 13 내지 도 18에서 후술하기로 한다.In FIG. 2, (a) and (b) are diagrams for comparing performance of the transmission/
그리고 본 발명의 시스템(10)을 구성하는 전송장치(100) 및 수신장치(200)는 라이다 데이터 전송방법을 수행하기 위한 소프트웨어(어플리케이션)에 기초하여 제어될 수 있다.In addition, the
전송장치(100)는 도 2의 (c)와 같이 라이다 센서(L)에서 측정된 데이터를 프레임으로 변환하고, 시점에 기초하여 프레임을 비교한 후 부분 업데이트 데이터를 추출하며, 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성할 수 있다. The
그리고 전송장치(100)는 최종 업데이트 데이터를 수신장치(200)로 전송할 수 있으며, 이 때 전송장치(100)는 최종 업데이트 데이터를 스트림 형태로 변환하여 전송 스트림을 생성하고, 생성된 전송 스트림을 수신장치(200)로 전송할 수 있다. In addition, the
이러한 전송장치(100)는 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 생성 및 전송함으로써 라이다 센서(L)에서 측정된 라이다 데이터의 전송량을 감소시킬 수 있게 된다. This
한편 수신장치(200)는 전송장치(100)에서 전송된 전송 스트림을 최종 업데이트 데이터로 복원하고, 복원된 최종 업데이트 데이터에 기초하여 출력 이미지를 생성할 수 있다. Meanwhile, the
이때 수신장치(200)는 이전에 생성된 출력 이미지의 모든 데이터를 변경하여 현재의 출력 이미지를 생성하는 것이 아닌, 이전에 생성되어 저장된 이전 출력 이미지를 수신된 최종 업데이트 데이터에 기초하여 일부만을 수정하여 현재 출력 이미지를 생성할 수 있다. 즉, 수신장치(200)는 전송장치(100)로부터 전송받은 변경된 영역의 데이터를 이전에 출력한 데이터에 업데이트하여 새로운 출력 이미지를 생성할 수 있게 된다. At this time, the
종래의 데이터 압축과 같은 방식을 사용하는 경우에는 감소하는 데이터의 양에 비하여 전송장치(100) 및 수신장치(200)에서 사용되는 리소스의 양이 많아 효율이 감소하고, 또한 항시 동일한 크기의 데이터가 유사한 압축률을 보이므로 그 데이터 양에서도 손해가 발생할 수밖에 없다. In the case of using a method such as conventional data compression, the amount of resources used in the
하지만 본 실시예에 따른 시스템(10)은 상술한 전송장치(100) 및 수신장치(200)를 통해 라이다 데이터의 전송량을 감소시킬 수 있는 것은 물론, 라이다 센서(L)에서 획득한 원본 데이터와 동일한 데이터를 손실없이 얻을 수 있게 된다. However, the
도 3은 본 발명의 일 실시예에 따른 라이다 데이터 전송장치(100)의 구성을 설명하기 위한 도면, 도 4는 본 발명의 일 실시예에 따른 라이다 데이터 전송장치(100)가 마스크 프레임 및 업데이트 프레임을 생성하는 과정을 설명하기 위한 도면, 그리고 도 5 내지 도 8은 본 발명의 일 실시예에 따른 라이더 데이터 전송장치(100)가 전송 스트림을 생성하는 과정을 설명하기 위한 도면이다. Figure 3 is a diagram for explaining the configuration of the lidar
전송장치(100)는 상술한 바와 같이 라이다 센서(L)에서 측정된 데이터를 수신장치(200)로 전송하고, 수신장치(200)로 전송되는 라이다 데이터의 전송량을 감소시켜 전송함으로써 통신량을 크게 감소시키기 위해 마련될 수 있다. 도 3을 참조하면, 본 발명에 따른 전송장치(100)는 통신부(110), 저장부(120) 및 제어부(130)를 포함할 수 있다. 본 발명의 전송장치(100)는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법을 수행하기 위한 소프트웨어(애플리케이션)가(이) 설치되어 실행될 수 있으며, 통신부(110), 저장부(120) 및 제어부(130)의 구성은 전송장치(100)에서 실행되는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법을 수행하기 위한 소프트웨어에 의해 제어될 수 있다. As described above, the
이러한 전송장치(100)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 또한 통신부(110), 저장부(120) 및 제어부(130)의 구성은 통합 모듈로 형성되거나 하나 이상의 모듈로 이루어질 수 있다. 그러나 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다. This
전송장치(100)는 이동성을 갖거나 고정될 수 있다. 전송장치(100)는 서버 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.The
또한 전송장치(100)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어를 실행하거나 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 안드로이드 OS, iOS, 윈도우 모바일 OS, 바다 OS, 심비안 OS, 블랙베리 OS 등 모바일 컴퓨터 운영체제 및 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.In addition, the
통신부(110)는 전송장치(100)가 수신장치(200)와 각종 정보를 송수신하기 위해 마련될 수 있으며, 이러한 통신부(110)는 제어부(130)가 변환하거나 부분 업데이트 데이터를 생성하는 과정에서 필요한 데이터를 수신하여 제어부(130)로 제공할 수도 있다. 또한 통신부(110)는 제어부(130)에서 생성한 최종 업데이트 데이터를 수신장치(200)로 전달할 수도 있다.The
한편 저장부(120)는 라이다 데이터 전송량 감소를 위해 필요한 각종 데이터나 프로그램을 저장할 수 있고, 제어부(130)에서 처리한 결과를 저장하기 위해 마련될 수 있다. 이러한 저장부(120)에는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법을 수행하기 위한 소프트웨어(애플리케이션)가(이) 저장될 수 있다. 이러한 저장부(120)는 버퍼(121) 및 차동버퍼(123)를 포함할 수 있다. Meanwhile, the
버퍼(121)에는 후술할 프레임 변환부(131)에서 생성된 프레임의 데이터가 시점별로 저장될 수 있다. In the
그리고 차동버퍼(123)에는 후술할 부분 업데이트 데이터 생성부(133)에서 버퍼(121)에 저장된 이전 프레임과 프레임 변환부(131)에서 생성된 현재 프레임을 비교하여 산출된 차이값이 저장될 수 있다. In the
한편 제어부(130)는 전송장치(100)의 전반적인 동작과 구성을 제어할 수 있고, 제어부(130)는 저장부(120)에 저장된 프로그램을 실행하거나 데이터를 읽어 최종 업데이트 데이터를 생성할 수 있다. 이러한 제어부(130)는 프레임 변환부(131) 및 부분 업데이트 데이터 생성부(133)를 포함할 수 있다. Meanwhile, the
프레임 변환부(131)는 라이다 센서(L)로부터 측정된 데이터인 3차원 포인트 데이터를 거리 데이터로 연산하여 프레임으로 변환할 수 있다. The
보다 구체적으로 단일의 라이다 센서(L)에는 여러 개의 레이저 송신기 및 수신기가 있으며, 각각의 송신기 및 수신기는 가시거리(FoV) 내에서 일정한 간격으로 레이저를 발사하고, 발사된 레이저의 비행시간을 통해 각 지점에 대한 거리데이터를 획득할 수 있다. More specifically, there are several laser transmitters and receivers in a single lidar sensor (L), and each transmitter and receiver emits lasers at regular intervals within the FoV, and through the flight time of the fired lasers. Distance data for each point can be obtained.
또한 각 송수신기의 위치 및 각도를 이용해 획득한 데이터를 결합하여 도 4에 도시된 바와 같이 하나의 관찰 프레임, 즉 현재 프레임(present frame)에 대한 데이터를 얻을 수 있게 된다. 그리고 이렇게 생성된 관찰 프레임이 버퍼(121)에 저장되도록 할 수 있으며, 이러한 과정을 통해 버퍼(121)에는 현재 프레임이 생성되기 이전에 생성된 이전 프레임(previous frame)이 저장되어 있을 수 있다. 도 5 및 도 6은 라이다 센서 데이터를 원점 기준 각 점의 거리 데이터의 데이터 스트림으로 생성하는 과정의 일례이다. 이는 설명의 편의를 위한 도면으로 도 4는 사용자에게 제공되는 이미지의 프레임을 기준으로 도시된 도면이고, 도 5 내지 도 8은 이러한 프레임을 데이터 전송을 위해 데이터 스트림 형태로 생성되는 모습을 기준으로 도시된 도면일 수 있다. In addition, as shown in FIG. 4, data for one observation frame, that is, the present frame, can be obtained by combining data acquired using the position and angle of each transceiver. In addition, the generated observation frame may be stored in the
한편, 부분 업데이트 데이터 생성부(133)는 프레임 변환부(131)에서 변환된 현재 프레임(present frame)을 이전 프레임(previous frame)과 비교하여 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하고, 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성할 수 있다. Meanwhile, the partial update
구체적으로 부분 업데이트 데이터 생성부(133)는, 이전 프레임(previous frame)과 현재 프레임(present frame)을 비트 단위로 비교하여 차이값을 산출할 수 있다. 이렇게 산출된 차이값은 차동버퍼(123)에 저장될 수 있다. 그리고 부분 업데이트 데이터 생성부(133)는 차동버퍼(123)에 저장된 차이값이 기설정된 임계값을 초과하는지 확인할 수 있다. 그리고 기설정된 임계값 이상에 해당하는 현재 프레임(present frame)의 비트 위치를 부분 업데이트 데이터로 추출하며, 비트 위치에 기초하여 도 4에 도시된 마스크 프레임(Mask Frame) 또는 도 6에 도시된 마스크 스트림(mask stream)을 생성할 수 있다. Specifically, the partial update
즉 부분 업데이트 데이터 생성부(133)는 임계값을 초과하는 값만 유효한 것으로 판단하고, 다른 값은 크기가 상당히 작을 때 제거되므로 변경이 발생했는지 여부를 확인할 수 없다. 이는 진동 소음과 같은 무의미한 값을 제거하여 데이터의 양을 감소시키기 위함이다. That is, since the partial update
또한 부분 업데이트 데이터 생성부(133)는, 도 4의 하단 및 도 7을 참조하면, 라이다 데이터의 크기를 감소시키기 위해 마스크 프레임(mask frame)에 기초하여 현재 프레임(present frame)을 필터링하여 최종 업데이트 데이터인 업데이트 프레임(update frame)을 생성할 수 있다. Also, referring to the bottom of FIG. 4 and FIG. 7 , the partial update
이러한 본 발명의 부분 업데이트 데이터 생성부(133)는 임계값 미만의 차이값은 유효하지 않은 것으로 간주하여 필터링된다. 물체가 매우 느린 속도로 이동하고 프레임당 발생하는 모든 차이값이 임계값보다 낮으면 모든 이동이 필터링되고 업데이트 되지 않는다. 결과적으로 점진적인 변화의 결과로 본 발명의 수신장치(200)를 통한 현재 출력 이미지와 실제 관측된 상황 사이에 상당한 차이가 있을 수 있다. 이러한 문제를 방지하기 위해 본 발명의 수신장치(200)는 특정 업데이트 횟수마다 모든 데이터를 업데이트할 수 있다. 임계값이 클수록 이러한 문제는 더 잘 발생하므로 임계값은 너무 높게 설정되지 않도록 할 수 있다. 반대로 너무 낮은 임계값은 진동 노이즈와 같은 무의미한 노이즈를 제거할 수 없어 부분 업데이트의 효율성이 떨어지기 때문에 적절한 크기의 임계값이 필요하다. 이러한 임계값은 사용자에 의해 사전에 설정되거나 변경될 수 있을 것이다. The partial update
카메라 센서와 같은 이미지 데이터의 경우, 각 단위 비트가 갖는 데이터의 차이는 선형 의미를 갖지 않기 때문에 비트 A와 비트 B의 차이값 x는 A와 B 사이에서만 의미가 있고, 다른 비트 C에서는 의미가 없다. 따라서 이미지 데이터에서 차이값은 존재하거나 존재하지 않는 두 가지의 의미만 가지므로 본 발명에서와 같은 차등 부분 업데이트가 수행되는 경우, 매우 적은 데이터가 업데이트될 수밖에 없다. In the case of image data such as camera sensors, the difference between bits A and B is meaningful only between A and B, and is meaningless for the other bit C, because the data difference of each unit bit does not have a linear meaning. . Therefore, since a difference value in image data has only two meanings, existence or non-existence, when a differential partial update is performed as in the present invention, very little data is inevitably updated.
하지만 본 발명에서와 같이 라이다 센서(L)가 사용하는 거리 데이터에서는 비트 간 차이 데이터도 거리 데이터이기 때문에 라이다 센서(L)에서 얻은 모든 비트 데이터는 동일한 센서 시스템 내에서 동일한 값을 가지게 된다. 따라서 거리 데이터의 차이값이 작으면 데이터 역시 의미가 적기 때문에 임계값을 통해 작은 차이를 제거해도 문제가 발생하지 않음을 의미할 수 있다. 이와는 대조적으로 이미지 데이터에서는 이러한 부분 업데이트 방법을 사용할 수 없다. However, in the distance data used by the lidar sensor (L) as in the present invention, since the difference data between bits is also distance data, all bit data obtained from the lidar sensor (L) has the same value in the same sensor system. Therefore, if the difference value of the distance data is small, since the data also has little meaning, it may mean that a problem does not occur even if the small difference is removed through the threshold value. In contrast, this partial update method cannot be used with image data.
그리고 본 발명의 최종 업데이트 데이터는 이전 프레임에서 변경된 데이터로, 측정 대상 물체에서 움직임이 발생한 데이터를 의미하기 때문에 특정 비트가 업데이트되면 해당 비트로 이동할 수 있고, 이러한 정보는 객체 추적 및 이동 추적과 같은 데이터 처리를 위한 의미 있는 정보로 사용될 수도 있다. In addition, since the final updated data of the present invention is data changed in the previous frame and means data in which movement occurs in the object to be measured, when a specific bit is updated, it can move to the corresponding bit, and this information can be used for data processing such as object tracking and movement tracking. It can also be used as meaningful information for
그리고 부분 업데이트 데이터 생성부(133)는, 도 8에서와 같이 업데이트 프레임(update frame)을 데이터 스트림 형태로 변환하여 전송 스트림을 생성할 수 있다. 생성된 전송 스트림이 통신부(110)를 통해 라이다 데이터 수신장치(200)로 전송되도록 할 수 있으며, 이러한 데이터 구성 과정에서 전송되는 라이다 데이터의 크기가 감소할 수 있다. Also, the partial update
도 9는 본 발명의 일 실시예에 따른 라이더 데이터 수신장치(200)의 구성을 설명하기 위한 도면, 그리고, 도 10 내지 도 12는 본 발명의 일 실시예에 따른 라이더 데이터 수신장치(200)가 출력 이미지를 생성하는 과정을 설명하기 위한 도면이다. 9 is a diagram for explaining the configuration of a rider
수신장치(200)는 상술한 바와 같이 전송장치(100)로부터 수신한 전송 스트림에 기초하여 현재 출력 이미지를 생성할 수 있으며, 본 발명에 따른 수신장치(200)는 통신부(210), 저장부(220) 및 제어부(230)를 포함할 수 있다. The receiving
본 발명의 수신장치(200)는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법을 수행하기 위한 소프트웨어(애플리케이션)가(이) 설치되어 실행될 수 있으며, 통신부(210), 저장부(220) 및 제어부(230)의 구성은 수신장치(200)에서 실행되는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법을 수행하기 위한 소프트웨어에 의해 제어될 수 있다.The
통신부(210)는 수신장치(200)가 전송장치(100)와 각종 정보를 송수신하기 위해 마련될 수 있으며, 이러한 통신부(210)는 제어부(230)가 전송 스트림을 최종 업데이트 데이터로 복원하거나 현재 출력 이미지를 생성하는 과정에서 필요한 데이터를 수신하여 제어부(230)로 제공할 수도 있다. The
한편 저장부(220)는 라이다 데이터 전송량 감소를 위해 필요한 각종 데이터나 프로그램은 물론, 전송장치(100)로부터 수신된 전송 스트림을 최종 업데이트 데이터로 복원하거나 현재 출력 이미지를 생성하기 위해 필요한 각종 데이터나 프로그램을 저장할 수 있다. 또한 저장부(220)는 제어부(230)에서 처리한 결과를 저장하기 위해 마련될 수 있다. On the other hand, the
한편 제어부(230)는 수신장치(200)의 전반적인 동작과 구성을 제어할 수 있고, 제어부(230)는 저장부(220)에 저장된 프로그램을 실행하거나 데이터를 읽어 현재 출력 이미지를 생성할 수 있다. 이러한 제어부(230)는 복원부(231) 및 이미지 생성부(232)를 포함할 수 있다. Meanwhile, the
복원부(231)는 라이다 데이터 전송장치(100)로부터 수신한 전송 스트림을 최종 업데이트 데이터로 복원할 수 있다. 도 11을 참조하면, 전송장치(100)로부터 전송 스트림(transfer stream)을 수신하면 이를 최종 업데이트 데이터, 즉 업데이트 스트림으로 복원할 수 있다. The
한편 이미지 생성부(232)는 복원된 최종 업데이트 데이터에 기초하여 현재 출력 이미지를 생성할 수 있다. 도 10은 프레임을 기준으로 도시된 도면이고, 도 12는 데이터 스트림을 기준으로 도시된 도면이다. 이러한 도 10 및 도 12를 통해 알 수 있듯이, 이미지 생성부(232)는 최종 업데이트 데이터인 업데이트 프레임(updated frame)에 기초하여 이전에 생성되어 저장된 이전 출력 이미지의 일부만을 수정하여 현재 출력 이미지(present output frame, restored stream)를 생성할 수 있다. Meanwhile, the
이에 본 발명의 수신장치(200)는 라이다 센서(L)에서 획득한 원본 데이터와 동일한 데이터를 손실없이 얻을 수 있게 된다. Accordingly, the
도 13 내지 도 18은 본 발명의 일 실시예에 따른 라이더 데이터 송수신 시스템(10)의 라이다 데이터를 송수신하는 과정 및 실험 결과를 설명하기 위한 도면이다. 13 to 18 are views for explaining a process of transmitting and receiving lidar data of the lidar data transmission and
라이다 센서(L)가 실제로 감지하는 움직임은 일정 크기 이상을 갖는 물체의 움직임이기 때문에 본 발명의 전송장치(100)를 포함하는 시스템(10)은 거리 데이터를 한 프레임에 시각화 할 때 공간의 인접 비트 중 일정 수 이상에서 임계값을 초과하는 차이값이 관찰되면 이동 발생으로 인식할 수 있으며, 이는 하기의 알고리즘 1과 같을 수 있다. Since the movement actually detected by the lidar sensor (L) is the movement of an object having a certain size or more, the
[알고리즘 1][Algorithm 1]
이에 전송장치(100)는 한 시점에서 라이다 센서(L) 출력의 프레임을 매트릭스로 변환한 후 하기의 수학식 1과 같이 윈도우와 크기가 같은 특정 영역(f)의 값에 같은 위치의 윈도우 값(w)을 곱하여 구한다. 이렇게 얻어진 값은 구역의 총 이동값일 수 있다. 같은 방식으로 윈도우를 한 프레임 위로 밀어 매트릭스 형태로 한 프레임에 있는 각 구역의 이동값을 얻는다. 이러한 방법은 2D 컨볼루션 작업과 매우 유사하다. 즉 입력 이미지에서 특징을 얻는 과정은 본 발명에서 차이값을 얻는 과정일 수 있다. 도 9에 도시된 바와 같이 구역의 이동 값이 임계값을 초과하면, 해당 구역에 포함된 데이터만 부분 업데이트 데이터로 추출될 수 있다. Accordingly, the
[수학식 1][Equation 1]
한편 도 10에 도시된 바와 같이 고립된(isolated) 고차이 노이즈(High-difference noise)는 제거될 수 있다. 고립된 고차이 노이즈 비트의 주변 비트는 도면에서와 같이 차이값이 0에 가깝기 때문에 노이즈가 포함된 구역의 이동값이 매우 낮아진다. 이렇게 하면 고차이 노이즈가 평평해지고 해당 구역은 필터링되며, 결과적으로 데이터의 양을 줄일 수 있게 된다. 또한 영역별로 신뢰할 수 있는 움직임 감지 데이터를 추가로 얻을 수 있다. Meanwhile, as shown in FIG. 10 , isolated high-difference noise can be removed. As shown in the figure, the difference value of neighboring bits of the isolated high-difference noise bit is close to 0, so the movement value of the area including the noise becomes very low. This flattens the high-order noise and filters out the area, which in turn reduces the amount of data. In addition, reliable motion detection data for each area can be additionally obtained.
윈도우는 특성에 따라 탐지 성능과 특성에 큰 영향을 미치는데, 윈도우의 크기는 특정 시간에 인식 가능한 최소 이동 단위로, 더 작은 윈도우는 더 작은 움직임을 추적할 수 있어 더 정확한 추적이 가능하지만, 단점이 존재할 수밖에 없다. The window has a great influence on detection performance and characteristics depending on its characteristics. The size of the window is the smallest movement unit that can be recognized at a specific time, and a smaller window can track smaller movements, enabling more accurate tracking. it has to exist
윈도우 크기의 감소는 차이값에 영향을 미치는 비트 수의 감소로 각 비트가 차이값에 미치는 영향을 증가시킨다. 구체적으로 크기가 작은 윈도우는 고차이 노이즈의 영향을 많이 받아 이동값이 커지고 이는 비슷한 이동값을 갖는 실제 움직임과 혼동되어 결과적으로 정확도가 떨어지게 된다. 따라서 적절한 크기의 윈도우를 설정하는 것이 중요하며, 윈도우에 가중치를 부여함으로써 컨볼루션의 출력도 달라질 수 있다. 가중치가 없는 윈도우는 각각의 독립적인 움직임을 추적할 수 있고, 윈도우의 특정 부분에 가중치를 부여하면 작은 윈도우의 일부 출력 특성이 있다. 가중치의 정도와 가중치가 주어지는 위치에 따라 출력은 전체 움직임을 캡처하거나 움직이는 물체에 초점을 맞추는 등 다양한 방식으로 영향을 받을 수 있다. Decreasing the window size increases the effect of each bit on the difference value by reducing the number of bits affecting the difference value. Specifically, a window with a small size is greatly affected by high-difference noise, so that a movement value increases, which is confused with an actual movement having a similar movement value, resulting in a decrease in accuracy. Therefore, it is important to set a window of an appropriate size, and the output of convolution can also be changed by assigning a weight to the window. An unweighted window can track each independent movement, and weighting certain parts of the window has some output characteristics of a small window. Depending on the degree of weighting and where the weighting is given, the output can be affected in different ways, such as capturing full motion or focusing on a moving object.
의미 탐지(semantic detection)에 사용되는 윈도우 슬라이딩 연산은 연산에 사용되는 데이터의 크기에 비해 많은 양의 연산을 포함한다. 본 발명의 부분 업데이트 데이터 생성부(133)는 NXN 크기의 윈도우가 있는 MXM 크기의 프레임 데이터에서 의미 탐지를 수행하고, 슬라이딩 거리는 1이며, 이러한 조건에서 총 작업 수는 하기의 알고리즘 2와 같을 수 있다. A window sliding operation used for semantic detection involves a large amount of operation compared to the size of data used for the operation. The partial update
[알고리즘 2][Algorithm 2]
자율주행차와 같은 분야에서 사용되는 라이다 데이터는 실시간으로 매우 중요하고, 데이터 처리 시간이 길어 한 프레임과 다음 프레임의 간격에 데이터 처리가 완료되지 않으면 실시간이 아니기 때문에 실제 적용할 수 없다. 의미 검출과 같은 데이터 처리는 라이다 센서(L)를 제어하는 프레임과 윈도우의 데이터 크기를 곱해 연산량을 결정하기 때문에 처리 중인 데이터 크기에 비해 양이 많다. LiDAR data used in areas such as self-driving cars is very important in real time, and data processing time is long, so if data processing is not completed in the interval between one frame and the next frame, it is not real-time, so it cannot be practically applied. Data processing such as meaning detection determines the amount of calculation by multiplying the data size of the window and the frame controlling the lidar sensor (L), so the amount is larger than the size of the data being processed.
의미 검출과 같은 데이터 처리는 라이다 센서(L)를 제어하는 에지 마이크로프로세서에서 수행될 수 있다. 마이크로프로세서에 포함된 온칩 GPU를 통한 가속화를 통한 데이터 처리 시간 단축은 본 발명의 라이다 데이터 송수신 시스템을 실제로 적용할 때 핵심일 수 있다. 의미론적 탐지에 사용되는 윈도우 슬라이딩 연산은 데이터 크기에 비해 충분한 계산량을 포함하므로 GPU를 통한 가속으로 인해 GPU를 사용하여 발생하는 추가 계산 시간의 손실보다 더 많은 이득을 얻을 수 있다. GPU는 도 15에 도시된 바와 같이 각 영역에 대해 병렬로 이동 작업을 수행하여 의미 탐지 작업을 가속화할 수 있다. 이때 생성된 각 GPU 임계값에는 미리 설정된 범위 내의 임계값 번호가 지정될 수 있고, 이러한 번호는 작업을 수행할 영역의 위치를 지정하므로 GPU에 작업을 위한 요소를 로드할 때 프레임 데이터와 윈도우 데이터만 통과해야하며, 이러한 프로세스는 OpenCL을 통해 수행될 수 있다. Data processing such as meaning detection may be performed in the edge microprocessor controlling the lidar sensor (L). Reduction of data processing time through acceleration through an on-chip GPU included in a microprocessor may be a key when actually applying the lidar data transmission/reception system of the present invention. The window sliding operation used for semantic detection involves a sufficient amount of computation compared to the size of the data, so the acceleration through the GPU results in more gains than the loss of additional computation time caused by using the GPU. As shown in FIG. 15 , the GPU may accelerate the meaning detection task by performing a movement task in parallel for each area. At this time, each generated GPU threshold can be assigned a threshold number within a preset range, and these numbers designate the location of the area to perform work, so when loading elements for work on the GPU, only frame data and window data , and this process can be done via OpenCL.
본 발명의 효과를 검증하기 위한 실험에서는 16개의 채널, 0.125°의 수평각 분해능, 0.64°의 수직각 분해능, 145°의 FoV를 가진 CARNAVICOM Co.Ltd에서 개발한 라이다 센서 모델 VL-AS16을 사용하였다. 각 라이다 센서는 55680바이트의 데이터를 출력하고 UDP를 기반으로 30Hz의 구동 속도가 주어진 한 프레임의 전송 프로토콜을 사용하였다. 라이다 센서 데이터 처리를 수행하는 프로세서에는 NXPLS1028A 프로세서가 사용되었고, 프로세서가 온칩 GPU를 포함하고 있기 때문에 GPU를 통해 2차원 컨볼루션 가속을 수행할 수 있다. In experiments to verify the effect of the present invention, the lidar sensor model VL-AS16 developed by CARNAVICOM Co.Ltd with 16 channels, horizontal angle resolution of 0.125°, vertical angle resolution of 0.64°, and FoV of 145° was used. . Each
그리고 이하와 같은 환경에서 간단한 부분 업데이트가 수행되었다. 라이다 센서 관찰 환경은 실내 5mX5m 영역으로 설정하고, 라이다 센서의 1 프레임 측정 간격을 80ms로 설정하였으며, 측정 시간은 16초, 총 측정 프레임 수는 200개였다. 수신장치(200)인 호스트가 전송장치(100)에서 얻는 데이터의 양은 도 18 (a)에 도시된 바와 같이 기존 프로세스(도 2의 (a))에서 프레임당 55680바이트로 고정된다. Then, a simple partial update was performed in the following environment. The lidar sensor observation environment was set to an indoor area of 5mX5m, the measurement interval of one frame of the lidar sensor was set to 80ms, the measurement time was 16 seconds, and the total number of frames measured was 200. As shown in FIG. 18 (a), the amount of data that the host, the receiving
한편 도 2의 (b)와 같이 부분 업데이트를 적용하면 FoV 내부에서 특별한 움직임이 없을 때 도 18 (b) Non Busy에 도시된 바와 같이 12935바이트의 데이터가 입력됐고, 성인 남성이 FoV에서 계속 이동할 때는 도 18 (b) Busy와 같이 22652바이트가 입력되었다. 이를 통해 단순사례에 비해 데이터 양이 각각 x0.232 및 x0.406으로 감소하는 것으로 나타났다. 도 17에서는 부분적으로 업데이트된 데이터인 흰색점을 관찰할 수 있다. On the other hand, when partial update is applied as shown in FIG. 2 (b), when there is no special movement inside the FoV, 12935 bytes of data are input as shown in FIG. As shown in Figure 18 (b) Busy, 22652 bytes are input. Through this, it was found that the amount of data decreased to x0.232 and x0.406, respectively, compared to the simple case. In FIG. 17 , white points, which are partially updated data, can be observed.
도 3의 (c)에서와 같이 본 발명의 의미론적 탐지는 동일한 조건에서 수행되었고, 도 16에서와 같이 비트의 가중치가 1인 50x50 플랫 윈도우를 중앙 30x30 영역에서 2로, 중앙 10x10 영역에서 3으로 사용하였다. 580x100 크기의 라이다 센서 프레임은 가장 자리에서 수평 및 수직으로 10비트 간격을 이동하여 총 58x10의 이동 데이터 매트릭스를 획득하였다. As in (c) of FIG. 3, the semantic detection of the present invention was performed under the same conditions, and as in FIG. used A 580x100 LIDAR sensor frame was moved horizontally and vertically at 10-bit intervals from the edge to obtain a total 58x10 moving data matrix.
그 결과 FoV 내부에서 특정 움직임이 발생하지 않으면 도 18 (C) Non busy와 같이 라이다 데이터가 수신장치(200)로 전달되지 않았으며, 성인 남성 1명이 FoV 내에서 지속적으로 이동하는 경우 도 18 (C) busy에서와 같이 평균 9235 바이트의 데이터가 입력되었다. As a result, if a specific movement does not occur inside the FoV, lidar data is not transmitted to the receiving
사용량이 많은 경우 단순 부분 업데이트(도 18(b))에 비해 데이터양이 x0.407로 줄었으며, 두 경우 모두 감소된 데이터의 양은 12935와 13417로 일정한 노이즈값이 제거되었음을 확인하였다. In the case of high usage, the amount of data was reduced to x0.407 compared to simple partial update (Fig.
한편 도 18의 우측 도면의 LS1028A의 CPU는 Arm Cortex-A72 듀얼 코어를 사용하고, 온칩 GPU는 Vivante GC7000 UltraLite를 사용하였다. OpenCL을 통해 프레임과 윈도우가 있는 컨볼루션 연산을 각 존(zone)에서 병렬로 처리하였다. Meanwhile, the CPU of the LS1028A in the right side of FIG. 18 uses an Arm Cortex-A72 dual core, and the on-chip GPU uses a Vivante GC7000 UltraLite. Through OpenCL, convolution operations with frames and windows were processed in parallel in each zone.
총 200프레임에 대한 연산 결과는 GPU에서 0.193초로, CPU 처리 시간에 비해 x0.386의 시간 단축을 보여주었는데, 이 경우 200프레임의 수집 시간은 20초이므로 CPU 작업에는 유효한 계산 시간이 없으며, CPU는 라이다 센서에서 데이터를 수집하고 호스트로 데이터를 전송하므로 GPU를 통한 작업이 더 효율적임을 알 수 있다. The calculation result for a total of 200 frames was 0.193 seconds on the GPU, showing a time reduction of x0.386 compared to the CPU processing time. It can be seen that working through the GPU is more efficient as it collects data from the lidar sensor and sends the data to the host.
한편, 도 19는 본 발명의 일 실시예에 따른 라이다 데이터 전송방법을 설명하기 위한 흐름도이다. 본 실시예에 따른 라이다 데이터 전송방법은 도 1 내지 도 12에 도시된 전송장치(100) 및 수신장치(200)를 포함하는 송수신 시스템(10)과 실질적으로 동일한 구성에서 진행될 수 있다. 따라서 도 1 내지 도 12의 전송장치(100) 및 수신장치(200)를 포함하는 송수신 시스템(10)과 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략하기로 한다.On the other hand, Figure 19 is a flowchart for explaining a lidar data transmission method according to an embodiment of the present invention. The lidar data transmission method according to this embodiment may be performed in substantially the same configuration as the transmission/
또한 본 실시예에 따른 라이다 데이터 전송방법은 라이다 데이터 전송방법을 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다. In addition, the lidar data transmission method according to this embodiment may be executed by software (application) for performing the lidar data transmission method.
먼저 전송장치(100)가 라이다 센서(L)에서 측정된 데이터인 3차원 포인트 데이터를 거리 데이터로 연산하여 프레임으로 변환할 수 있다(S110).First, the
그리고 전송장치(100)가 변환하는 단계(S110)에서 변환된 현재 프레임을 이전 프레임과 비교하여 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출할 수 있다(S130). In addition, the
이러한 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하는 단계(S130)에서는, 버퍼(121)에 저장된 이전 프레임과 현재 프레임을 비트 단위로 비교하여 차이값을 산출하는 단계를 수행할 수 있다. 그리고 산출된 차이값이 차동버퍼(123)에 저장되도록 할 수 있다. In the step of extracting the data of only the changed part as partial update data (S130), a step of calculating a difference value by comparing the previous frame and the current frame stored in the
그리고 전송장치(100)는 산출된 차이값이 기설정된 임계값 이상이면, 임계값 이상에 해당하는 현재 프레임의 비트 위치를 부분 업데이트 데이터로 추출하는 단계를 수행할 수 있다. In addition, if the calculated difference value is greater than or equal to a predetermined threshold value, the
또한 전송장치(100)는 비트 위치에 기초하여 마스크 프레임을 생성하는 단계를 수행할 수 있다. Also, the
이후 전송장치(100)가 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성할 수 있다(S150). 이러한 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성하는 단계(S150)에서는, 라이다 데이터의 크기를 감소시키기 위해 마스크 프레임(mask frame)에 기초하여 현재 프레임(present frame)을 필터링하여 최종 업데이트 데이터인 업데이트 프레임(update frame)을 생성할 수 있다. Thereafter, the
그리고나서 전송장치(100)가 최종 업데이트 데이터를 라이다 데이터 수신장치(200)로 전송할 수 있다(S170). 이때 전송장치(100)는 업데이트 프레임(update frame)을 데이터 스트림 형태로 변환하여 전송 스트림을 생성하고, 생성된 전송 스트림을 전송할 수 있다. Then, the transmitting
이후 라이다 데이터 수신장치(200)는 전송장치(100)로부터 전송 스트림을 수신하면, 수신된 전송 스트림을 최종 업데이트 데이터로 복원하고, 복원된 최종 업데이트 데이터에 기초하여 이전에 생성되어 저장된 이전 출력 이미지의 일부만을 수정하여 현재 출력 이미지(present output frame, restored stream)를 생성할 수 있다.Then, when the lidar
이와 같은 본 발명의 라이다 데이터 전송방법은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. Such a lidar data transmission method of the present invention may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium. The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in the art of computer software.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those produced by a compiler. The hardware device may be configured to act as one or more software modules to perform processing according to the present invention and vice versa.
이상에서는 본 발명의 다양한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.Although various embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and is commonly used in the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. Of course, various modifications are possible by those with knowledge of, and these modifications should not be individually understood from the technical spirit or prospect of the present invention.
10 : 시스템
L : 라이다 센서
100 : 라이다 데이터 전송장치
110 : 통신부
120 : 저장부
121 : 버퍼
123 : 차동 버퍼
130 : 제어부
131 : 프레임 변환부
135 : 부분 업데이트 데이터 생성부
200 : 라이다 데이터 수신장치
210 : 통신부
220 : 저장부
230 : 제어부
231 : 복원부
232 : 이미지 생성부10: system L: lidar sensor
100: lidar data transmission device 110: communication unit
120: storage unit 121: buffer
123: differential buffer 130: control unit
131: frame conversion unit 135: partial update data generation unit
200: lidar data receiving device 210: communication unit
220: storage unit 230: control unit
231: restoration unit 232: image generation unit
Claims (10)
상기 라이다 센서에서 측정된 데이터인 3차원 포인트 데이터를 거리 데이터로 연산하여 프레임으로 변환하는 단계;
상기 변환하는 단계에서 변환된 현재 프레임을 이전 프레임과 비교하여 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하는 단계;
추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성하는 단계; 및
상기 최종 업데이트 데이터를 상기 라이다 데이터 수신장치로 전송하는 단계를 포함하는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법.In the lidar data transmission method for reducing the amount of lidar data transmission performed in the lidar data transmission device for transmitting data measured by the lidar sensor to the lidar data receiver,
converting three-dimensional point data, which is data measured by the lidar sensor, into a frame by calculating distance data;
comparing the current frame converted in the converting step with a previous frame and extracting data of only the changed part as partial update data;
configuring final update data based on the extracted partial update data; and
LiDAR data transmission method for reducing the amount of lidar data transmission comprising the step of transmitting the final update data to the lidar data receiving device.
상기 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하는 단계에서는,
상기 이전 프레임과 상기 현재 프레임을 비트 단위로 비교하여 차이값을 산출하는 단계;
산출된 차이값이 기설정된 임계값 이상이면, 임계값 이상에 해당하는 상기 현재 프레임의 비트 위치를 상기 부분 업데이트 데이터로 추출하는 단계 및
상기 비트 위치에 기초하여 마스크 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법. According to claim 1,
In the step of extracting the data of only the changed part as partial update data,
comparing the previous frame and the current frame in units of bits to calculate a difference value;
If the calculated difference value is equal to or greater than a predetermined threshold value, extracting a bit position of the current frame corresponding to the threshold value or greater as the partial update data; and
LiDAR data transmission method for reducing the amount of lidar data transmission, characterized in that it comprises the step of generating a mask frame based on the bit position.
상기 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성하는 단계에서는,
라이다 데이터의 크기를 감소시키기 위해 상기 마스크 프레임에 기초하여 상기 현재 프레임을 필터링하여 최종 업데이트 데이터인 업데이트 프레임을 생성하는 것을 특징으로 하는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법.According to claim 2,
In the step of constructing final update data based on the extracted partial update data,
In order to reduce the size of lidar data, the current frame is filtered based on the mask frame to generate an update frame that is final update data.
상기 최종 업데이트 데이터를 라이다 데이터 수신장치로 전송하는 단계에서는,
상기 업데이트 프레임을 데이터 스트림 형태로 변환하여 전송 스트림을 생성하고, 생성된 전송 스트림을 전송하는 것을 특징으로 하는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송방법.According to claim 3,
In the step of transmitting the final update data to the lidar data receiving device,
LiDAR data transmission method for reducing the amount of lidar data transmission, characterized in that for converting the update frame into a data stream form to generate a transport stream, and transmitting the generated transport stream.
상기 라이다 센서로부터 측정된 데이터인 3차원 포인트 데이터를 거리 데이터로 연산하여 프레임으로 변환하는 프레임 변환부;
상기 프레임 변환부에서 변환된 현재 프레임을 이전 프레임과 비교하여 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하고, 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성하는 부분 업데이트 데이터 생성부; 및
상기 최종 업데이트 데이터를 라이다 데이터 수신장치로 전송하는 통신부를 포함하는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송장치. As a lidar data transmission device that transmits the data measured by the lidar sensor to the lidar data receiver,
a frame conversion unit for converting 3D point data, which is data measured by the lidar sensor, into a frame by calculating distance data;
a partial update data generation unit that compares the current frame converted by the frame conversion unit with a previous frame, extracts data of only the changed part as partial update data, and composes final update data based on the extracted partial update data; and
LiDAR data transmission device for reducing the amount of lidar data transmission including a communication unit for transmitting the final update data to the lidar data receiving device.
상기 부분 업데이트 데이터 생성부는,
상기 이전 프레임과 상기 현재 프레임을 비트 단위로 비교하여 차이값을 산출하고, 산출된 차이값이 기설정된 임계값 이상이면, 임계값 이상에 해당하는 상기 현재 프레임의 비트 위치를 상기 부분 업데이트 데이터로 추출하며, 상기 비트 위치에 기초하여 마스크 프레임을 생성하는 것을 특징으로 하는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송장치. According to claim 5,
The partial update data generation unit,
A difference value is calculated by comparing the previous frame and the current frame on a bit-by-bit basis, and if the calculated difference value is greater than or equal to a predetermined threshold value, the bit position of the current frame corresponding to or greater than the threshold value is extracted as the partial update data. And a lidar data transmission device for reducing the amount of lidar data transmission, characterized in that for generating a mask frame based on the bit position.
상기 부분 업데이트 데이터 생성부는,
라이다 데이터의 크기를 감소시키기 위해 상기 마스크 프레임에 기초하여 상기 현재 프레임을 필터링하여 상기 최종 업데이트 데이터인 업데이트 프레임을 생성하는 것을 특징으로 하는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송장치. According to claim 6,
The partial update data generation unit,
In order to reduce the size of lidar data, the current frame is filtered based on the mask frame to generate an update frame that is the final update data.
상기 부분 업데이트 데이터 생성부는,
상기 업데이트 프레임을 데이터 스트림 형태로 변환하여 전송 스트림을 생성하고, 생성된 전송 스트림이 상기 라이다 데이터 수신장치로 전송되도록 하는 것을 특징으로 하는 라이다 데이터 전송량 감소를 위한 라이다 데이터 전송장치. According to claim 7,
The partial update data generation unit,
A lidar data transmission device for reducing the amount of lidar data transmission, characterized in that the update frame is converted into a data stream form to generate a transport stream, and the generated transport stream is transmitted to the lidar data receiving device.
상기 라이다 데이터 전송장치는,
상기 라이다 센서로부터 측정된 데이터인 3차원 포인트 데이터를 거리 데이터로 연산하여 프레임으로 변환하는 프레임 변환부;
상기 프레임 변환부에서 변환된 현재 프레임을 이전 프레임과 비교하여 변경된 부분만의 데이터를 부분 업데이트 데이터로 추출하고, 추출된 부분 업데이트 데이터에 기초하여 최종 업데이트 데이터를 구성하는 부분 업데이트 데이터 생성부; 및
상기 최종 업데이트 데이터를 라이다 데이터 수신장치로 전송하는 통신부를 포함하고,
상기 부분 업데이트 생성부는,
상기 최종 업데이트 데이터를 스트림 형태로 변환하여 전송 스트림을 생성하고, 생성된 전송 스트림이 상기 라이더 데이터 수신장치로 전송되도록 하는 것을 특징으로 하는 라이다 데이터 송수신 시스템. In a lidar data transmission and reception system including a lidar data transmitter for transmitting data measured by a lidar sensor to a lidar data receiver and a lidar data receiver for receiving lidar data,
The lidar data transmission device,
a frame conversion unit for converting 3D point data, which is data measured by the lidar sensor, into a frame by calculating distance data;
a partial update data generation unit that compares the current frame converted by the frame conversion unit with a previous frame, extracts data of only the changed part as partial update data, and composes final update data based on the extracted partial update data; and
Including a communication unit for transmitting the final update data to the lidar data receiving device,
The partial update generation unit,
The lidar data transmission and reception system, characterized in that the final update data is converted into a stream form to generate a transport stream, and the generated transport stream is transmitted to the lidar data receiving device.
상기 라이다 데이터 수신장치는,
상기 라이다 데이터 전송장치로부터 수신한 상기 전송 스트림을 상기 최종 업데이트 데이터로 복원하는 복원부; 및
복원된 최종 업데이트 데이터에 기초하여 현재 출력 이미지를 생성하되, 이전에 생성되어 저장된 이전 출력 이미지의 일부만을 수정하여 상기 현재 출력 이미지를 생성하는 이미지 생성부를 포함하는 것을 특징으로 하는 라이다 데이터 송수신 시스템. According to claim 9,
The lidar data receiving device,
Restoration unit for restoring the transport stream received from the lidar data transmission device to the final update data; and
A lidar data transmission/reception system comprising an image generator for generating a current output image based on the restored last updated data, but generating the current output image by modifying only a part of the previously generated and stored previous output image.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210179322 | 2021-12-15 | ||
| KR20210179322 | 2021-12-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230090957A true KR20230090957A (en) | 2023-06-22 |
| KR102680810B1 KR102680810B1 (en) | 2024-07-04 |
Family
ID=86989143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220012977A KR102680810B1 (en) | 2021-12-15 | 2022-01-28 | Lidar data transmission method for reducing lidar data transmission amount, apparatus and system for performing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102680810B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011068582A2 (en) * | 2009-09-18 | 2011-06-09 | Logos Technologies, Inc. | Systems and methods for persistent surveillance and large volume data streaming |
| KR101503473B1 (en) | 2014-01-10 | 2015-03-18 | 한양대학교 산학협력단 | System and method for deciding driving situation of vehicle |
| US20210056712A1 (en) * | 2019-08-19 | 2021-02-25 | Toyota Research Institute, Inc. | Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map |
| US20210190513A1 (en) * | 2019-12-20 | 2021-06-24 | Ubtech Robotics Corp Ltd | Navigation map updating method and apparatus and robot using the same |
| KR20210140862A (en) * | 2020-05-14 | 2021-11-23 | 현대자동차주식회사 | Software update system and method for controlling the same |
-
2022
- 2022-01-28 KR KR1020220012977A patent/KR102680810B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011068582A2 (en) * | 2009-09-18 | 2011-06-09 | Logos Technologies, Inc. | Systems and methods for persistent surveillance and large volume data streaming |
| KR101503473B1 (en) | 2014-01-10 | 2015-03-18 | 한양대학교 산학협력단 | System and method for deciding driving situation of vehicle |
| US20210056712A1 (en) * | 2019-08-19 | 2021-02-25 | Toyota Research Institute, Inc. | Systems and methods for estimating dynamics of objects using temporal changes encoded in a difference map |
| US20210190513A1 (en) * | 2019-12-20 | 2021-06-24 | Ubtech Robotics Corp Ltd | Navigation map updating method and apparatus and robot using the same |
| KR20210140862A (en) * | 2020-05-14 | 2021-11-23 | 현대자동차주식회사 | Software update system and method for controlling the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102680810B1 (en) | 2024-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11747823B2 (en) | Monocular modes for autonomous platform guidance systems with auxiliary sensors | |
| US11842500B2 (en) | Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness | |
| US11953910B2 (en) | Autonomous platform guidance systems with task planning and obstacle avoidance | |
| KR102172602B1 (en) | Method and Apparatus for Localization and Mapping Using LIDAR | |
| CN111368607B (en) | Robot, obstacle detection method and detection device | |
| CN110691990B (en) | Obstacle detection method and equipment | |
| US11841434B2 (en) | Annotation cross-labeling for autonomous control systems | |
| CN110286389A (en) | A kind of grid management method for obstacle recognition | |
| KR102507248B1 (en) | Egomotion estimation system and method thereof | |
| CN106054888A (en) | Robot automatic barrier avoiding method and device | |
| CN113291321A (en) | Vehicle track prediction method, device, equipment and storage medium | |
| JP6949196B2 (en) | Servers that implement automatic remote control of mobile transportation and methods of automatic remote control of mobile transportation | |
| CN110596734B (en) | Multi-mode Q learning-based unmanned aerial vehicle positioning interference source system and method | |
| CN110426714B (en) | Obstacle identification method | |
| KR20230090957A (en) | Lidar data transmission method for reducing lidar data transmission amount, apparatus and system for performing the same | |
| KR102232629B1 (en) | Server and method for generating map based on network quality data and robot moving based on network quality map | |
| KR101502071B1 (en) | Camera Data Generator for Landmark-based Vision Navigation System and Computer-readable Media Recording Program for Executing the Same | |
| CN117408935A (en) | Obstacle detection method, electronic device, and storage medium | |
| JP2024515761A (en) | Data-driven dynamically reconstructed disparity maps | |
| US11432694B2 (en) | Travel method of intelligent robot cleaner | |
| KR20220083460A (en) | System and Method for Filtering Ineffective Time of Flight Lidar Sensor | |
| Jung et al. | Accelerated on-Chip Algorithm Based on Semantic Region-Based Partial Difference Detection for LiDAR-Vision Depth Data Transmission Reduction in Lightweight Controller Systems of Autonomous Vehicle | |
| KR20230109369A (en) | Real-time object detection system and method using interleaving of snapshots | |
| US11916612B2 (en) | Mobile terminal and communication quality prediction method | |
| KR102315703B1 (en) | A method and apparatus for sharing object sensing information of infra sensor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |