KR102109941B1 - 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치 - Google Patents

라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치 Download PDF

Info

Publication number
KR102109941B1
KR102109941B1 KR1020180008322A KR20180008322A KR102109941B1 KR 102109941 B1 KR102109941 B1 KR 102109941B1 KR 1020180008322 A KR1020180008322 A KR 1020180008322A KR 20180008322 A KR20180008322 A KR 20180008322A KR 102109941 B1 KR102109941 B1 KR 102109941B1
Authority
KR
South Korea
Prior art keywords
data
object candidate
candidate group
lidar
image
Prior art date
Application number
KR1020180008322A
Other languages
English (en)
Other versions
KR20190095592A (ko
Inventor
박태형
권순섭
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020180008322A priority Critical patent/KR102109941B1/ko
Publication of KR20190095592A publication Critical patent/KR20190095592A/ko
Application granted granted Critical
Publication of KR102109941B1 publication Critical patent/KR102109941B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/42—
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치를 개시한다.
라이다 센서로부터 획득한 라이다 데이터에서 지면 제거 및 클러스터링 처리를 통해 객체 후보군을 검출하고, 카메라로 촬영된 이미지 영역에 객체 후보군을 투영한 후 바운딩 박스(Bounding Box)를 생성하여 추출된 객체 후보군 영상 내에서 관심객체를 검출하는 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치에 관한 것이다.

Description

라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치{Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera}
본 발명의 실시예는 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
자율주행 자동차란 운전자가 자동차의 주행을 조작하는 것이 아닌 자동차 자체적으로 주행을 제어하여 목적지까지 이동하는 자동차를 말한다. 자율주행 자동차의 구동을 위해서는 운전자를 대신해 주변 환경을 감시하기 위한 다양한 종류의 센서가 필요로 하며, 이를 이용하여 사람, 장애물, 주변 차량 등을 검출하는 것은 매우 중요한 작업 중 하나이다.
최근 자율주행 자동차와 관련된 연구에서는 사람이나 차량을 인식하기 위해 다양한 센서(예: 라이다, 카메라, 레이더, 초음파센서 등)를 융합하는 방식을 사용한다. 특히, 차량을 인식하는 성능을 극대화시키기 위하여 다양한 센서 중 라이다 센서와 카메라를 융합하는 방식이 많이 사용되고 있다.
라이다 센서는 레이저를 물체에 비춤으로써 물체까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지할 수 있는 기술이다. 라이다 센서는 획득 가능한 거리정보의 범위가 약 100 m로 넓으며, 거리정보의 정확도가 약 ± 3 cm로, 스테레오 카메라, 초음파 센서 등의 다른 거리 센서에 비해 높아 자율주행 자동차에 많이 사용된다.
라이다 센서의 특징은 거리정보를 이용하여 정확하다. 하지만, 먼 거리를 센싱하는 경우에는 밀도가 낮아 정확성이 떨어질 수 있다.
한편, 카메라는 사람의 눈과 비슷한 컬러정보가 들어 있어 차량 인식 기술에서 많이 사용한다. 카메라의 단점으로는 거리정보를 파악할 수 없다는 점이 있다.
[표 1]에서는 라이다 센서와 카메라의 특징을 기재한다.
Figure 112018007992808-pat00001
일반적으로 라이다 센서와 카메라를 융합하여 차량을 검출하는 알고리즘은 두 가지 경우로 나눌 수 있다. 첫 번째는 센서의 특성을 이용하여 차량을 검출하는 방법이다. 도 1의 (a)를 참고하면, 첫 번째 방법은 카메라를 이용하여 차량을 먼저 검출하고, 라이다 센서의 거리정보를 이용하여 거리정보를 포함하는 차량을 검출한다. 한편, 첫 번째 방법은 영상의 전체 범위에서 차량을 우선적으로 검출해야 하기 때문에 처리속도나 정확도가 떨어지는 문제점이 있다.
두 번째는 딥러닝 기술을 이용해서 차량을 검출하는 방법이다. 도 1의 (b)를 참고하면, 두 번째 방법은 3D 형태인 라이다 데이터를 2D 영상으로 변환하고, 변환된 2D 이미지 데이터와 카메라 데이터를 함께 딥러닝 알고리즘 처리하여 차량을 검출한다. 한편, 두 번째 방법은 고채널 라이다 센서를 이용하는 경우에는 유용하나, 저채널 라이다에서는 라이다 데이터가 부족하기 때문에 성능이 저하되는 문제점이 있다. 이에 따라, 본 발명에서는 저채널 라이다 센서와 카메라를 이용하여 차량을 검출하는 방법을 제안한다.
본 발명의 실시예는 라이다 센서로부터 획득한 라이다 데이터에서 지면 제거 및 클러스터링 처리를 통해 객체 후보군을 검출하고, 카메라로 촬영된 이미지 영역에 객체 후보군을 투영한 후 바운딩 박스(Bounding Box)를 생성하여 추출된 객체 후보군 영상 내에서 관심객체를 검출하는 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치를 제공하는 데 주된 목적이 있다.
본 발명의 실시예의 일 측면에 의하면, 라이다 센서로부터 라이다 데이터를 획득하고, 라이다 데이터에서 지면 데이터를 제거하여 객체 후보군을 검출하는 라이다 데이터 처리부; 상기 객체 후보군의 데이터를 카메라로 촬영된 이미지 영역에 투영하여 객체 후보군 영상을 추출하는 영상 투영 처리부; 및 상기 객체 후보군 영상 내에서 관심객체를 검출하는 객체 검출 처리부를 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치를 제공한다.
또한, 본 발명의 실시예의 다른 측면에 의하면, 라이다 센서 및 카메라를 이용하여 객체를 검출하는 방법에 있어서, 상기 라이다 센서로부터 라이다 데이터를 획득하고, 라이다 데이터에서 지면 데이터를 제거하여 객체 후보군을 검출하는 라이다 데이터 처리과정; 상기 객체 후보군의 데이터를 상기 카메라로 촬영된 이미지 영역에 투영하고, 바운딩 박스(Bounding Box)를 생성하여 객체 후보군 영상을 추출하는 영상 투영 처리과정; 및 상기 객체 후보군 영상 내에서 관심객체를 검출하는 객체 검출 처리과정을 포함하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 라이다 데이터를 카메라의 화각(FOV)에 맞게 변환하여 관심객체를 검출함에 따라 처리하는 데이터 수를 감소시킬 수 있고, 빠른 차량 검출이 가능한 효과가 있다.
또한, 본 발명의 실시예에 의하면, 딥러닝 알고리즘을 사용하지 않고 빠른 객체 검출이 가능하며, 고채널 또는 저채널의 구별 없이 모든 라이다 센서에 적용할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 의하면, 자율 주행뿐만 아니라 라이다 센서와 카메라가 달린 일반 차량에서도 주변 차량을 검출 가능한 효과가 있다.
도 1은 일반적으로 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 객체 검출 시스템을 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 저채널 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 순서도이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 라이다 데이터의 처리 동작을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따른 영상 투영 처리 동작을 설명하기 위한 예시도이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 객체 검출 처리 동작을 설명하기 위한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어, '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 실시예는 자율주행 자동차에 배치되는 적어도 하나의 라이다(LiDAR: Light Detection and Ranging) 센서 및 카메라를 융합하는 방식에 대해 기재하고 있으나 이는 일 실시예에 따른 것으로서, 라이다 데이터 및 영상을 융합하여 객체를 검출하는 다양한 분야에 적용될 수 있다.
도 2는 본 발명의 실시예에 따른 객체 검출 시스템을 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 객체 검출 시스템(200)은 라이다 센서(210), 카메라(220) 및 객체 검출장치(230)를 포함한다. 도 2의 객체 검출 시스템(200)은 일 실시예에 따른 것으로서, 도 2에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 객체 검출 시스템(200)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
라이다 센서(210)는 차량의 일측에 장착되며, 차량의 주변(전방)을 향하여 레이저를 발사한다. 라이다 센서(210)에 의해 발사된 레이저는 산란되거나 반사되어 차량으로 되돌아올 수 있다.
라이다 센서(210)는 레이저를 이용하여 측정한 거리정보(Distance Information)를 3D 공간에서 점들의 집합(Point의 Set) 형태로 나타내며, 이러한 거리정보를 포함하는 라이다 데이터를 객체 검출장치(230)로 전달한다. 예를 들어, 라이다 센서(210)는 레이저가 되돌아오는 시간, 강도, 주파수의 변화, 편광 상태의 변화를 기초로, 차량의 주변에 위치하는 타겟의 물리적 특성에 대한 정보를 획득할 수 있다.
라이다 센서(210)는 차량의 배치 위치에 따라 복수 개가 설치되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 라이다 센서(210)는 복수의 저해상도 라이다 센서를 이용하여 고해상도 라이다 센서를 이용한 것과 같은 결과물을 도출할 수 있다. 라이다 센서(210)는 일정 각도(Angle)마다 주변의 물체(장애물)까지의 거리(Distance)를 측정한다. 여기서, 일정 각도는 축(Axis)에 따라 수평각 해상도 및 수직각 해상도(horizontal/vertical angular resolution)로 구분된다.
카메라(220)는 차량의 일측에 장착되며, 차량의 주변환경(전방)을 촬영한 영상을 생성하고, 생성된 영상을 객체 검출장치(230)로 전달하는 동작을 수행한다. 여기서, 영상은 복수의 이미지를 포함하고, 각각의 이미지에는 사람의 눈과 비슷한 컬러정보가 포함되어 있는 2D 형태의 이미지 데이터를 의미한다. 카메라(220)는 차량 주변의 영상에 대한 이미지를 생성할 수 있다면 다양한 형태의 영상 촬영장치로 구현될 수 있다.
객체 검출장치(230)는 라이다 센서(210) 및 카메라(220)와 연동하여 객체(예: 차량)을 검출하는 장치로서, 객체 검출장치(230)는 저채널의 라이다 센서(210) 및 카메라(220)를 사용하여 소정의 거리에 있는 전방의 차량을 검출한다. 구체적으로, 객체 검출장치(230)는 라이다 센서(210)로부터 획득한 포인트 클라우드 데이터를 클러스터링을 통해 지면 제거를 수행하고, 객체가 있을 것으로 추정되는 영역을 객체 후보군으로 검출한다. 이후, 객체 검출장치(230)는 검출된 객체 후보군을 카메라(220)로 촬영한 이미지 영역에 투영시켜 바운딩 박스(Bounding Box)를 생성하고, 바운딩 박스에서 특징을 추출하여 차량 또는 비차량으로 판별한다.
본 실시예에 따른 객체 검출장치(230)는 라이다 데이터 처리부(232), 영상 투영 처리부(234) 및 객체 검출 처리부(236)를 포함한다.
본 실시예에 따른 라이다 데이터 처리부(232)는 라이다 센서(210)로부터 획득한 라이다 데이터를 가공 처리하여 객체 후보군을 검출한다. 구체적으로, 라이다 데이터 처리부(232)는 라이다 데이터에서 지면에 해당하는 지면 데이터를 제거하고, 나머지 데이터를 클러스터링(Clustering) 처리하여 객체 후보군을 검출한다. 여기서, 라이다 데이터는 라이다 센서(210)가 구비된 차량 전방의 높이와 관련된 수직 해상도 범위의 데이터를 의미한다.
라이다 데이터 처리부(232)는 라이다 센서(210)의 설치 위치에 따라 수신되는 라이다 데이터는 상이하지만, 라이다 데이터에는 기본적으로 지면으로 반사된 지면 데이터가 포함된다. 따라서, 라이다 데이터 처리부(232)는 라이다 데이터에서 지면 데이터를 제거하는 동작을 반드시 수행해야만 한다.
예를 들어, 라이다 데이터 처리부(232)는 멀티스케일의 Operator를 정의하고 라이다 데이터의 포인트 클라우드로부터 표면을 검출하고, 소정의 반경을 선정하여 일정 구역 내에 있는 포인트들을 하나의 클러스터로 그룹화한다. 이후, 라이다 데이터 처리부(232)는 적어도 두 개의 반경을 통해 포인트 클라우드의 위치 차이에 따라 생성된 노말 벡터의 차를 이용하여 지면 데이터를 제거한다. 만약, 라이다 데이터 처리부(232)는 노말 벡터의 차이가 없는 구역이 존재하는 경우, 해당 영역을 지면으로 판단하여 제거할 수 있다. 라이다 데이터 처리부(232)에서 지면을 제거하는 동작은 도 4a에서 구체적으로 설명하도록 한다.
라이다 데이터 처리부(232)는 지면 데이터가 제거된 라이다 데이터를 클러스터링(Clustering) 처리하여 객체 후보군을 검출한다. 여기서, 클러스터링 처리는 각 객체 별 거리가 떨어져 있을 것을 고려하여 유클리디안 거리를 이용한 클터스터링 방식을 적용할 수 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 라이다 데이터 처리부(232)는 유클리디안 거리를 이용한 클러스터링을 적용하여 세그멘테이션(Segmentation)을 수행하고, 세그멘테이션된 라이다 데이터를 객체 후보군으로 형성한다.
라이다 데이터 처리부(232)는 지면 제거 및 클러스터링을 처리할 때, 라이다 센서(210)의 수평 방향의 데이터를 카메라의 화각(FOV: Field of View)만큼만 적용하여 처리한다.
라이다 데이터 처리부(232)는 클러스터의 모든 결과를 객체 후보군으로 형성할 수 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 클러스터링 처리하는 과정에서 클러스터의 수가 너무 많으면 소정의 기준에 따라 일부 클러스터를 제거하여 객체 후보군에서 탈락시키고, 나머지 클러스터를 객체 후보군으로 형성할 수 있다.
영상 투영 처리부(234)는 객체 후보군 데이터를 카메라(220)로 촬영한 영상에 투영하는 과정이다. 객체 후보군 데이터는 3D 데이터이고 이미지 데이터는 2D 데이터이며, 영상 투영 처리부(234)는 객체 후보군 데이터를 이미지 데이터에 투영시키기 위해 [수학식 1]을 적용한다.
Figure 112018007992808-pat00002
여기서 Ip는 이미지 내의 픽셀 좌표, Lp는 라이다 데이터의 포인트 좌표를 의미한다. 또한, K는 카메라(220) 내부 파라미터로 3 × 3 행렬이고, R은 라이다 센서(210)와 카메라(220)의 회전 관계 행렬, t는 위치 관계 벡터를 의미한다. 마지막으로 s는 [수학식 1]을 보정하기 위한 기 설정된 소정의 상수를 의미한다.
라이다 데이터 처리부(232)의 클러스터링 과정에서 카메라(220)의 화각(FOV: Field of View)보다 더 넓게 클러스터 범위가 설정된 경우, 영상 투영 처리부(234)는 객체 후보군 데이터를 이미지 영역에 투영하는 과정에서 객체 후보군 데이터를 조정할 수 있다. 예를 들어, 영상 투영 처리부(234)는 영상 투영 시 이미지 영역의 크기 밖으로 나가거나 과도하게 겹쳐있는 클러스터가 존재하는 경우 해당 클러스터를 제거할 수 있다.
객체 후보군 데이터의 데이터 수가 기 설정된 임계값 이하인 경우, 영상 투영 처리부(234)는 영상 투영 처리 후 객체 후보군 데이터를 이용하여 차량을 검출하기 어렵다. 이에 따라, 영상 투영 처리부(234)는 객체 후보군 데이터를 카메라(220) 이미지에 투영한 후 바운딩 박스(Bounding Box)를 생성한다. 영상 투영 처리부(234)는 [수학식 2] 내지 [수학식 5]를 이용하여 높이의 최소값(xn_min) 및 최대값(xn_max), 너비의 최소값(yn_min) 및 최대값(yn_max)을 산출하여 바운딩 박스를 생성한다.
Figure 112018007992808-pat00003
Figure 112018007992808-pat00004
Figure 112018007992808-pat00005
Figure 112018007992808-pat00006
[수학식 2] 내지 [수학식 5]에서, N은 객체 후보군의 개수, I는 객체 후보군 데이터에 들어있는 포인트의 수를 의미하고, xni, yni는 n 번째 객체 후보군의 i 번째 포인트의 x, y 값을 의미한다. 또한, α, β는 이미지에서 바운딩 박스를 만들기 위한 상수를 의미한다.
영상 투영 처리부(234)는 카메라(220)의 이미지에 객체 후보군 데이터를 투영시켜, 바운딩 박스를 갖는 객체 후보군 영상을 생성한다. 도 5의 (a) 및 (b)에 도시된 바와 같이, 영상 투영 처리부(234)는 객체 후보군 데이터를 카메라(220)로 촬영한 영상에 투영하여 바운딩 박스를 생성한다.
객체 검출 처리부(236)는 객체 후보군 영상에서 최종적으로 관심객체(차량)를 검출하는 동작을 수행한다. 객체 검출 처리부(236)는 클러스터 과정, 영상 투영 과정에서 객체 후보군들이 제거되고, 남은 객체 후보군에 대해 뉴럴 네트워크(neural network)를 이용한 식별법, SVM(Support Vector Machine) 기법, Haar-like 특징을 이용한 AdaBoost에 의해 식별하는 기법, HOG(Histograms of Oriented Gradients) 기법 등의 객체 검출 알고리즘을 적용하여 관심객체 검출한다.
객체 검출 처리부(236)는 객체 후보군 영상을 모두 동일한 크기로 변환하고, 변환된 객체 후보군 영상에서 특징 벡터를 생성한다. 이후, 객체 검출 처리부(236)는 특징 벡터의 사이즈를 동일하게 맞추기 위하여 객체 후보군 영상의 크기 변환한다. 객체 검출 처리부(236)는 HOG(Histogram of Oriented Gradient) 방식을 이용하여 특징 벡터를 생성하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. 예를 들어, 객체 검출 처리부(236)는 객체 후보군 영상을 일정 크기로 분할하고 각 셀마다 픽셀들의 방향에 대한 히스토그램으로 나타내고, 엣지의 방향 정보를 이용하여 사람, 자동차와 같이 고유의 독특한 윤곽선 정보를 갖는 관심객체를 식별할 수 있다.
객체 검출 처리부(236)는 생성된 특징 벡터를 차량 판별 알고리즘에 적용하여 최종적으로 차량을 검출하여 검출 결과정보를 생성한다. 객체 검출 처리부(236)는 SVM(Support Vector Machine)을 사용하여 차량 여부를 판별할 수 있으나 반드시 이에 한정되는 것은 아니다.
객체 검출 처리부(236)는 생성된 특징 벡터를 기반으로 차량에 해당하는 관심객체인지 비차량인지 여부를 판별할 수 있다. 예를 들어, 객체 검출 처리부(236)는 차량에 대한 특징 벡터에 대한 클래스가 지정된 데이터 집합을 기준으로 특징 벡터가 차량에 해당하는지 여부를 분류하여 관심객체를 검출할 수 있다. 관심객체의 검출 결과는 도 6b에 도시되어 있다.
도 3은 본 발명의 실시예에 따른 저채널 라이다 센서와 카메라를 융합하여 객체를 검출하는 방법을 설명하기 위한 순서도이다.
객체 검출장치(230)는 라이다 센서(210)를 이용하여 측정된 라이다 데이터를 획득한다(S310). 여기서, 라이다 데이터는 라이다 센서(210)가 구비된 차량 전방의 높이와 관련된 수직 해상도 범위의 데이터를 의미하며, 예컨대, 차량의 전방에 대한 포인트 클라우드 데이터를 의미한다.
객체 검출장치(230)는 라이다 데이터에서 지면 관련 데이터를 제거하고(S320), 클러스커링 처리를 통해 객체 후보군을 검출한다(S330). 예를 들어, 객체 검출장치(230)는 일정구역 내에 있는 포인트들을 하나의 클러스터로 그룹화하고, 상기 클러스터 내의 적어도 두 개의 반경을 통해 포인트 클라우드의 위치 차이에 따라 생성된 노말 벡터의 차를 이용하여 상기 지면 데이터를 제거한다. 또한, 객체 검출장치(230)는 유클리디안 거리(Euclidean Distance)를 이용한 클러스터링을 적용하여 세그멘테이션(Segmentation)을 수행하고, 세그멘테이션된 라이다 데이터를 객체 후보군으로 검출한다.
객체 검출장치(230)는 객체 후보군을 카메라(220)로 촬영한 이미지 영역에 투영한다(S340). 객체 검출장치(230)는 객체 후보군의 3D 데이터를 2D 이미지 영역에 투영한다.
객체 검출장치(230)는 객체 후보군을 이미지 영역에 투영하면서 바운딩 박스를 생성하고(S350), 바운딩 박스에 근거하여 객체 후보군 영상을 검출한다.
객체 검출장치(230)는 객체 후보군의 개수, 객체 후보군의 데이터에 들어있는 포인트의 수를 기반으로 높이의 최소값(xn_min) 및 최대값(xn_max), 너비의 최소값(yn_min) 및 최대값(yn_max)을 산출하여 바운딩 박스를 생성할 수 있다.
객체 검출장치(230)는 바운딩 박스에 대한 특징 벡터를 추출하고(S360), 특징 벡터를 기반으로 차량 여부를 판별하여 검출 결과정보 생성한다(S370). 객체 검출장치(230)는 복수의 객체 후보군 영상의 크기를 동일하게 변환하고, 객체 후보군 영상 각각의 특징정보를 추출하여 관심객체 여부를 판별할 수 있다. 객체 검출장치(230)는 HOG(Histogram of Oriented Gradient) 방식을 이용하여 특징정보를 추출하고, SVM(Support Vector Machine) 방식을 이용하여 관심객체 여부를 판별하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 라이다 데이터의 처리 동작을 설명하기 위한 예시도이다.
도 4a를 참고하면, 객체 검출장치(230)는 일정 영역 내의 라이다 데이터(포인트 클라우드)에서 소정의 한 점을 기준으로 적어도 두 개의 반경을 도출하고, 두 개의 반경을 기초로 산출된 노말 벡터(Normal Vector)의 차를 이용하여 지면 데이터를 제거한다. 여기서, 소정의 한 점이란 일정 영역 내 라이다 데이터 중 임의의 포인트를 의미한다. 다만, 소정의 한 점은 서로 다른 크기의 반경을 가지는 두 원의 중심이 될 수 있어야 한다. 한편, 두 개의 반경은 원점이 동일하며, 일정 영역 내의 라이다 데이터 중 소정의 한 점을 제외한 임의의 나머지 점들을 이용하여 도출될 수 있다.
예를 들어, 객체 검출장치(230)는 소정의 한 점을 중심으로 제1 반경(rs) 및 제2 반경(rl)을 설정한다. 여기서, 제1 반경은 소정의 두 점을 기반으로 형성된 Small Radius를 의미하고, 제2 반경은 다른 소정의 두 점을 기반으로 형성된 Large Radius를 의미한다. 즉, 제1 반경은 제2 반경보다 작은 크기의 반경(rs < rl)인 것이 바람직하다.
객체 검출장치(230)는 제1 반경 및 제2 반경 각각의 반경 내에 포함된 라이다 데이터를 이용하여 두 개의 노말 벡터(Normal Vector) 제1 노말 벡터(ns) 및 제2 노말 벡터(nl)를 산출하고, 제1 노말 벡터 및 제2 노말 벡터의 차이값(Δn)을 이용하여 지면에 대한 지면 데이터를 제거한다. 여기서, 객체 검출장치(230)가 클러스터 내의 소정의 한 점을 중심으로 서로 다른 크기의 반경을 가지는 두 원 위에 위치한 네 개의 포인트들을 이용하여 두 원 각각의 지름에 해당하는 두 개의 연결선을 도출할 때, 제1 노말 벡터는 작은 원의 연결선에 대한 노말 벡터를 의미하고, 제2 노말 벡터는 큰 원의 연결선에 대한 노말 벡터를 의미한다.
도 4a의 (a)는 제1 반경(rs) 및 제1 노말 벡터(ns)를 나타내고, 도 4a의 (b)는 제2 반경(rl) 및 제2 노말 벡터(nl)를 나타낸다. 도 4a의 (c)는 제1 노말 벡터 및 제2 노말 벡터의 차이값(Δn)을 나타낸다.
객체 검출장치(230)는 노말 벡터 간의 차이가 없는 구역이 존재하는 경우, 해당 영역은 지면으로 간주하여 제거한다.
도 4b의 (a)는 객체 검출장치(230)에서 클러스터링을 통해 객체 후보군을 검출하는 동작을 나타낸다. 또한, 도 4b의 (b)는 좌측 영상에서 지면 제거 및 클러스터링 처리하여 우측 영상과 같이 객체 후보군이 검출된 결과영상을 도시한다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 객체 검출 처리 동작을 설명하기 위한 예시도이다.
도 6a는 객체 검출장치(230)의 객체 검출 처리부(236)에 대한 차량검출 알고리즘을 나타낸다. 여기서, 차량검출 알고리즘은 객체 후보군 영상에서 최종적으로 관심객체 즉, 차량을 검출하는 알고리즘을 의미한다
본 실시예에 따른 객체 검출 처리부(236)는 복수의 객체 후보군 영상을 모두 동일한 크기로 변환시키고, 동일한 크기가 된 객체 후보군 영상에 대해 HOG(Histogram of Oriented Gradient) 방식을 적용하여 특징을 추출하고, 추출된 특징에 따라 특징 벡터를 생성한다. 여기서, 객체 후보군 영상의 크기를 변환하는 동작은 특징 벡터의 사이즈를 동일하게 맞추기 위하여 수행된다. 이후, 객체 검출 처리부(236)는 생성된 특징 벡터를 차량 판별 알고리즘 예컨대, SVM(Support Vector Machine) 방식을 이용하여 최종적으로 주변 차량을 검출한다.
도 6b의 (a) 및 (b)는 바운딩 박스가 생성된 좌측 영상에서 전술한 객체 검출 처리부(236)의 객체 검출 동작을 적용하여 우측 영상과 같이 관심 객체를 검출한 결과를 도시한다.
이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 객체 검출 시스템 210: 라이다 센서
220: 카메라 230: 객체 검출장치
232: 라이다 데이터 처리부 234: 영상 투영 처리부
236: 객체 검출 처리부

Claims (8)

  1. 라이다 센서로부터 라이다 데이터를 획득하고, 라이다 데이터에서 지면 데이터를 제거하여 객체 후보군을 검출하는 라이다 데이터 처리부;
    상기 객체 후보군의 데이터를 카메라로 촬영된 이미지 영역에 투영하여 객체 후보군 영상을 추출하는 영상 투영 처리부; 및
    상기 객체 후보군 영상 내에서 관심객체를 검출하는 객체 검출 처리부처리부를 포함하되,
    상기 영상 투영 처리부는,
    상기 객체 후보군의 데이터를 기반으로 바운딩 박스(Bounding Box)를 생성하여 상기 객체 후보군 영상을 추출하되, 상기 객체 후보군의 개수, 상기 객체 후보군의 데이터에 들어있는 포인트의 수를 기반으로 높이의 최소값(xn_min) 및 최대값(xn_max), 너비의 최소값(yn_min) 및 최대값(yn_max)을 산출하여 상기 바운딩 박스를 생성하며,
    상기 라이다 데이터 처리부는,
    일정구역 내에 있는 포인트들을 하나의 클러스터로 그룹화하고, 상기 클러스터 내의 소정의 한 점을 중심으로 서로 다른 크기의 반경을 가지는 두 원에 포함된 포인트들을 이용하여 각 지름에 해당하는 두 연결선을 도출하고, 하나의 연결선에 대한 노말 벡터와 나머지 연결선에 대한 노말 벡터의 차이가 없는 구역이 존재하는 경우, 상기 일정구역 내에 있는 포인트들을 지면 데이터로 간주하여 제거하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 라이다 데이터 처리부는,
    유클리디안 거리(Euclidean Distance)를 이용한 클러스터링을 적용하여 세그멘테이션(Segmentation)을 수행하고, 세그멘테이션된 라이다 데이터를 상기 객체 후보군으로 검출하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  4. 제1항에 있어서,
    상기 영상 투영 처리부는,
    상기 라이다 데이터의 포인트 좌표, 상기 이미지 영역의 픽셀 좌표, 화전 관계 및 위치 관계 벡터 중 적어도 하나의 변수를 이용하여 상기 객체 후보군의 3D 데이터를 상기 이미지 영역에 투영하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 객체 검출 처리부는,
    복수의 상기 객체 후보군 영상의 크기를 동일하게 변환하고, 상기 객체 후보군 영상 각각의 특징정보를 추출하여 상기 관심객체 여부를 판별하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출장치.
  8. 라이다 센서 및 카메라를 이용하여 객체를 검출하는 방법에 있어서,
    상기 라이다 센서로부터 라이다 데이터를 획득하고, 라이다 데이터에서 지면 데이터를 제거하여 객체 후보군을 검출하는 라이다 데이터 처리과정;
    상기 객체 후보군의 데이터를 상기 카메라로 촬영된 이미지 영역에 투영하고, 바운딩 박스(Bounding Box)를 생성하여 객체 후보군 영상을 추출하는 영상 투영 처리과정; 및
    상기 객체 후보군 영상 내에서 관심객체를 검출하는 객체 검출 처리과정을 포함하되,
    상기 영상 투영 처리과정은,
    상기 객체 후보군의 개수, 상기 객체 후보군의 데이터에 들어있는 포인트의 수를 기반으로 높이의 최소값(xn_min) 및 최대값(xn_max), 너비의 최소값(yn_min) 및 최대값(yn_max)을 산출하여 상기 바운딩 박스를 생성하며,
    상기 라이다 데이터 처리과정은,
    일정구역 내에 있는 포인트들을 하나의 클러스터로 그룹화하고, 상기 클러스터 내의 소정의 한 점을 중심으로 서로 다른 크기의 반경을 가지는 두 원에 포함된 포인트들을 이용하여 각 지름에 해당하는 두 연결선을 도출하고, 하나의 연결선에 대한 노말 벡터와 나머지 연결선에 대한 노말 벡터의 차이가 없는 구역이 존재하는 경우, 상기 일정구역 내에 있는 포인트들을 지면 데이터로 간주하여 제거하는 것을 특징으로 하는 라이다 센서 및 카메라를 이용한 객체 검출방법.
KR1020180008322A 2018-01-23 2018-01-23 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치 KR102109941B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180008322A KR102109941B1 (ko) 2018-01-23 2018-01-23 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180008322A KR102109941B1 (ko) 2018-01-23 2018-01-23 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치

Publications (2)

Publication Number Publication Date
KR20190095592A KR20190095592A (ko) 2019-08-16
KR102109941B1 true KR102109941B1 (ko) 2020-05-12

Family

ID=67806566

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180008322A KR102109941B1 (ko) 2018-01-23 2018-01-23 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치

Country Status (1)

Country Link
KR (1) KR102109941B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240070372A (ko) 2022-10-31 2024-05-21 국민대학교산학협력단 다중 센서 융합 기반 데이터 통신 및 객체 검출 수행 디바이스 및 방법
KR20240071278A (ko) 2022-11-15 2024-05-22 국민대학교산학협력단 라이다 및 가시광 기반 통신 장치 및 라이다 및 가시광 기반 통신 방법
KR20240071277A (ko) 2022-11-15 2024-05-22 국민대학교산학협력단 라이다 및 가시광 기반 통신 장치 및 라이다 및 가시광 기반 통신 방법
KR20240071276A (ko) 2022-11-15 2024-05-22 국민대학교산학협력단 라이다 및 가시광 기반 통신 장치 및 라이다 및 가시광 기반 통신 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102191743B1 (ko) * 2019-03-27 2020-12-16 서울대학교산학협력단 거리 측정 장치
KR102269750B1 (ko) * 2019-08-30 2021-06-25 순천향대학교 산학협력단 Cnn을 활용한 카메라 및 라이다 센서 기반 실시간 객체 탐지 방법
KR20210037955A (ko) 2019-09-30 2021-04-07 인포뱅크 주식회사 이동 객체 추적 장치 및 방법
KR102297836B1 (ko) * 2019-11-07 2021-09-03 네이버랩스 주식회사 딥 러닝 기반 가상 환경 점 군 데이터의 반사도 정보 검출 방법 및 그를 수행하는 전자 장치
KR102224106B1 (ko) * 2019-11-25 2021-03-08 한국교통대학교산학협력단 자율 주행 자동차의 객체 검출 시스템
KR102346849B1 (ko) * 2019-11-28 2022-01-06 슈어소프트테크주식회사 영상 데이터 및 센싱 데이터 융합을 위한 전자 장치 및 전자 장치의 데이터 융합 방법.
KR102227649B1 (ko) * 2019-11-28 2021-03-15 한국전자기술연구원 자율주행 기능 검증을 위한 데이터베이스를 이용한 자율주행 검증장치 및 방법
KR102108326B1 (ko) * 2019-12-19 2020-05-12 주식회사 세오 레이더 신호 및 카메라 영상 정보 기반 인공지능 객체 식별 방법 및 시스템
KR102441424B1 (ko) * 2020-01-17 2022-09-07 한국전자통신연구원 능동 스틱 필터를 이용한 융합 인식 시스템 및 그 방법
US11790555B2 (en) 2020-01-17 2023-10-17 Electronics And Telecommunications Research Institute System and method for fusion recognition using active stick filter
KR102371749B1 (ko) * 2020-01-31 2022-03-10 경북대학교 산학협력단 차량 위치 정보 획득 장치 및 제어 방법
KR102338665B1 (ko) * 2020-03-02 2021-12-10 건국대학교 산학협력단 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법
WO2021261680A1 (ko) 2020-06-26 2021-12-30 주식회사 에스오에스랩 센서 데이터 공유 및 활용 방법
KR102225387B1 (ko) * 2020-07-14 2021-03-09 주식회사 사라다 라이다 데이터 기반의 차량 주행상태 판단이 가능한 영상 관제 장치 및 방법
KR102348294B1 (ko) * 2020-08-24 2022-01-12 한국철도기술연구원 인지 학습데이터를 이용하는 자율주행차량 제어 시스템 및 그 제어 방법
KR102420808B1 (ko) * 2020-09-15 2022-07-14 (주)스마트레이더시스템 레이더 포인트 클라우드 기반 자세 판단 시스템
US11756317B2 (en) 2020-09-24 2023-09-12 Argo AI, LLC Methods and systems for labeling lidar point cloud data
KR20220052620A (ko) 2020-10-21 2022-04-28 삼성전자주식회사 객체 추적 방법 및 이를 수행하는 장치
KR102310790B1 (ko) * 2020-10-28 2021-10-07 연세대학교 산학협력단 포인트 클라우드 기반 검출 객체 오류 보정 장치 및 방법
KR102584070B1 (ko) 2020-11-23 2023-10-10 한국전자통신연구원 객체 분류 기반의 오류 제거를 이용한 자율 주행 시스템의 객체 인식 장치 및 이를 이용한 방법
KR102555442B1 (ko) 2021-01-13 2023-07-17 주식회사 트위니 2d 라이다 기반 추적 대상 인식 방법 및 장치
KR102363691B1 (ko) * 2021-05-07 2022-02-17 (주)뉴빌리티 자율주행을 위한 객체 속도 추정 장치 및 방법
KR102313944B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 화각의 경계를 넘어가는 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310609B1 (ko) * 2021-05-14 2021-10-13 주식회사 인피닉 3d 데이터를 이용한 2d 이미지의 전처리 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310612B1 (ko) * 2021-06-17 2021-10-13 주식회사 인피닉 라이다 점군에서 특정된 객체 정보를 이용한 2d 이미지 객체 예측 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343051B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군으로부터 카메라 이미지의 바운딩 박스를 조정하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102618680B1 (ko) * 2021-09-07 2023-12-27 충북대학교 산학협력단 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템
KR102656811B1 (ko) * 2021-12-14 2024-04-12 주식회사 유니트론텍 복수의 센서 데이터에 기반한 자율주행 제어 시스템 및 방법
WO2023149781A1 (ko) * 2022-02-07 2023-08-10 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221456A (ja) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
KR101491314B1 (ko) * 2013-09-10 2015-02-06 현대자동차주식회사 레이저 스캐너를 이용한 장애물 인식 장치 및 방법
KR101715211B1 (ko) * 2016-11-03 2017-03-13 한국건설기술연구원 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100716033B1 (ko) * 2005-09-29 2007-05-08 에프엠전자(주) 주행하는 궤도차량에서의 선로 상의 사람 및 장애물 감지시스템
KR101188584B1 (ko) * 2007-08-28 2012-10-05 주식회사 만도 카메라와 레이저 스캐너를 이용한 차량 전방 물체 판별장치
KR101281260B1 (ko) * 2009-04-07 2013-07-05 주식회사 만도 차량 인식 방법 및 장치
KR101644370B1 (ko) * 2014-10-23 2016-08-01 현대모비스 주식회사 물체 검출 장치 및 그 동작 방법
KR101672732B1 (ko) * 2014-12-24 2016-11-07 한국항공우주연구원 객체 추적 장치 및 방법
KR101822373B1 (ko) * 2016-05-10 2018-03-08 서울대학교산학협력단 물체 탐지 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221456A (ja) * 2011-04-14 2012-11-12 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
KR101491314B1 (ko) * 2013-09-10 2015-02-06 현대자동차주식회사 레이저 스캐너를 이용한 장애물 인식 장치 및 방법
KR101715211B1 (ko) * 2016-11-03 2017-03-13 한국건설기술연구원 영상과 레이저를 융합한 도로 노면 상태 탐지 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240070372A (ko) 2022-10-31 2024-05-21 국민대학교산학협력단 다중 센서 융합 기반 데이터 통신 및 객체 검출 수행 디바이스 및 방법
KR20240071278A (ko) 2022-11-15 2024-05-22 국민대학교산학협력단 라이다 및 가시광 기반 통신 장치 및 라이다 및 가시광 기반 통신 방법
KR20240071277A (ko) 2022-11-15 2024-05-22 국민대학교산학협력단 라이다 및 가시광 기반 통신 장치 및 라이다 및 가시광 기반 통신 방법
KR20240071276A (ko) 2022-11-15 2024-05-22 국민대학교산학협력단 라이다 및 가시광 기반 통신 장치 및 라이다 및 가시광 기반 통신 방법

Also Published As

Publication number Publication date
KR20190095592A (ko) 2019-08-16

Similar Documents

Publication Publication Date Title
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
KR102061522B1 (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
Nedevschi et al. Stereo-based pedestrian detection for collision-avoidance applications
US7103213B2 (en) Method and apparatus for classifying an object
JP5822255B2 (ja) 対象物識別装置及びプログラム
CN107305632B (zh) 基于单目计算机视觉技术的目标对象距离测量方法与***
US10442438B2 (en) Method and apparatus for detecting and assessing road reflections
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
US20120026332A1 (en) Vision Method and System for Automatically Detecting Objects in Front of a Motor Vehicle
JP2008203992A (ja) 検出装置および方法、並びに、プログラム
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
US10885351B2 (en) Image processing apparatus to estimate a plurality of road surfaces
EP2960858A1 (en) Sensor system for determining distance information based on stereoscopic images
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
JP6972797B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム
WO2020127151A1 (en) Method for improved object detection
CN101383005A (zh) 一种利用辅助规则纹理的乘客目标图像和背景分离方法
JP2019191991A (ja) 点群から対象の向きを推定する対象情報推定装置、プログラム及び方法
Ponsa et al. On-board image-based vehicle detection and tracking
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d&#39;objets sur des images d&#39;une scene
KR20200087296A (ko) 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
CN112990049A (zh) 用于车辆自动驾驶的aeb紧急制动方法、装置
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant