KR20140137577A - 차량의 주변환경 정보를 제공하는 장치 및 그 방법 - Google Patents

차량의 주변환경 정보를 제공하는 장치 및 그 방법 Download PDF

Info

Publication number
KR20140137577A
KR20140137577A KR1020130058234A KR20130058234A KR20140137577A KR 20140137577 A KR20140137577 A KR 20140137577A KR 1020130058234 A KR1020130058234 A KR 1020130058234A KR 20130058234 A KR20130058234 A KR 20130058234A KR 20140137577 A KR20140137577 A KR 20140137577A
Authority
KR
South Korea
Prior art keywords
information
lane
unit
vehicle
extracting
Prior art date
Application number
KR1020130058234A
Other languages
English (en)
Inventor
변재민
나기인
노명찬
손주찬
김성훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130058234A priority Critical patent/KR20140137577A/ko
Priority to US14/254,826 priority patent/US20140347484A1/en
Publication of KR20140137577A publication Critical patent/KR20140137577A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 주변환경 정보를 제공하는 장치 및 그 방법에 관한 것으로, 차량 주변환경에 대한 센싱 정보를 수집하여, 이를 토대로 차선 정보 및 객체 정보를 추출하는 제1 정보 추출부; 상기 차량 주변환경에 대한 영상을 획득하여, 이를 토대로 차선 정보 및 객체 정보를 추출하는 제2 정보 추출부; 및 상기 제1 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보를 정합하여 상호 비교하고, 그 결과를 토대로 최종의 차선 정보 및 객체 정보를 판단하여 상기 차량의 제어부에 제공하는 정보 융합부;를 포함한다.

Description

차량의 주변환경 정보를 제공하는 장치 및 그 방법{APPARATUS AND METHOD FOR PROVIDING VEHICLE OF CIRCUMFERENCE ENVIRONMENT INFORMATION}
본 발명은 차량의 주변환경 정보를 제공하는 장치 및 그 방법에 관한 것으로, 보다 자세하게는 카메라로부터 수집되는 차량의 주변환경에 대한 영상 정보와 3차원 레이더(LIDAR: Light Detection and Ranging)로부터 수집되는 차량의 주변환경에 대한 센싱 정보를 융합하여 제공하는 차량의 주변환경 정보를 제공하는 장치 및 그 방법에 관한 것이다.
최근 자가용 및 버스와 같은 차량이 도로의 주행차선을 따라 이동할 때, 카메라 등을 사용하여 주행차선에 존재하는 장애물에 대한 영상을 인식함으로써 안전운전에 대비하는 기술이 개발되고 있다.
예를 들면, 영상을 이용하여 장애물을 인식하는 하나의 예로서, 스테레오 비전 방식이 있다. 스테레오 비전 방식은 차량의 전방을 향하여 차량의 좌우에 각각 수평방향으로 설치된 두 개의 카메라의 좌우영상으로부터 장애물에 대한 대응점(Correspondence problem)을 찾고, 대응점에 대한 공간상의 시점 차를 이용하여 3차원 좌표 값을 산출하는 방식이다.
그러나, 스테레오 비전 방식은 하나의 카메라로부터 얻은 영상 내의 각 화소에 대응하는 대칭점(Matching point)을 다른 하나의 카메라의 영상에서 찾아내야 하는 어려움 때문에 실제적으로 활용하는데 문제점이 있었다. 또한, 카메라는 차량 주변 조명 변화에 따라서 인식 성능이 크게 영향을 받는 문제점이 있었다.
한편, 영상을 이용하여 장애물을 인식하는 다른 하나의 예로서, 하나의 영상에서 장애물로 추정되는 부분이 그림자나 신문지 조각처럼 노면에 돌출된 문체가 아니라고 가정한 다음 한국공개특허 10-2006-0021922에 개시된 바와 같이 좌표변환방법을 이용하여 영상좌표계로부터 도로좌표계 상의 위치를 계산하는 방식이 있다.
즉, 도로좌표계 상의 점들을 수평방향의 다른 위치에 설치된 카메라가 바라본다면, 이점들이 화면의 어느 위치에 나타나게 될 것인가를 좌표변환방법을 이용하여 계산한 후, 화면상에 나타나게 될 위치와 실제 촬영된 점들의 위치가 일치하는지를 확인하고, 만약 일치하지 않는다면 노면에 돌출된 물체가 아니라는 가정을 기각함으로써 노면에 돌출된 장애물을 인식하는 방법이다.
그러나, 영상좌표계로부터 도로좌표계 상의 위치를 계산하는 방식은 스테레오 비전 방법에 비해서는 적용이 간단하지만, 장애물로 의심되는 영상 부분의 외곽선 전체가 추출되어야 하며, 좌측 및 우측 카메라에 보이는 영상 자체에 차이가 발생한다는 문제점이 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위해 발명된 것으로서, 카메라로부터 수집되는 주변환경에 대한 영상 정보를 통해 추출되는 차량의 차선 및 객체 정보와 3차원 레이더(LIDAR: Light Detection and Ranging)로부터 수집되는 주변환경에 대한 센싱 정보를 통해 추출되는 차량의 차선 및 객체 정보를 융합하여 제공함으로써, 차량의 주변환경 정보를 정확하게 파악할 수 있도록 하는 차량의 주변환경 정보를 제공하는 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 제공되는 차선 정보를 통해 차량이 차선을 이탈하는 것을 방지할 수 있도록 하는 차량의 주변환경 정보를 제공하는 장치 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 제공되는 객체 정보를 통해 장애물과의 충돌을 방지할 수 있도록 하는 차량의 주변환경 정보를 제공하는 장치 및 그 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 차량의 주변환경 정보를 제공하는 장치는 차량 주변환경에 대한 센싱 정보를 수집하여, 이를 토대로 차선 정보 및 객체 정보를 추출하는 제1 정보 추출부; 상기 차량 주변환경에 대한 영상을 획득하여, 이를 토대로 차선 정보 및 객체 정보를 추출하는 제2 정보 추출부; 및 상기 제1 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보를 정합하여 상호 비교하고, 그 결과를 토대로 최종의 차선 정보 및 객체 정보를 판단하여 상기 차량의 제어부에 제공하는 정보 융합부;를 포함한다.
이때, 상기 센싱 정보는 레이저를 발사시켜 반사되는 레이저를 수신하여 객체와의 거리 정보, 방향 정보 및 노면과의 각도 정보로 3차원 레이다에 의해 감지되는 정보인 것을 특징으로 한다.
또한, 제1 정보 추출부는, 상기 차량과 객체와의 거리 정보를 토대로 위치 정보를 수집하는 위치 정보 수집부; 상기 차량과 노면과의 각도 정보를 토대로 반사율 정보를 수집하는 반사율 정보 수집부; 상기 위치 정보에 방향 정보를 조합하여 이를 3차원 공간 좌표 정보로 변환하는 제1 변환부; 상기 반사율 정보를 토대로 상기 차선 정보를 추출하는 제1 차선 정보 추출부; 상기 3차원 공간 좌표 정보를 토대로 객체의 형태 및 크기 정보 중 어느 하나를 포함하는 상기 객체 정보를 추출하는 제1 객체 정보 추출부; 및 추출된 상기 차선 정보 및 객체 정보를 상기 정보 융합부에 전송하는 제1 전송부;를 포함하는 것을 특징으로 한다.
또한, 상기 제2 정보 추출부는, 영상 획득부를 통해 상기 차량 주변환경에 대한 영상을 획득하는 영상 정보 획득부; 상기 영상으로부터 차선의 모양, 색깔, 위치 정보 중 어느 하나를 포함하는 상기 차선 정보를 추출하는 제2 차선 정보 추출부; 및 상기 영상으로부터 객체의 종류, 크기, 위치, 속도 중 어느 하나를 포함하는 상기 객체 정보를 추출하는 제2 객체 정보 추출부;를 포함하는 것을 특징으로 한다.
또한, 상기 제2 정보 추출부는, 추출된 상기 차선 정보 및 객체 정보를 3차원 공간 좌표 정보 형태로 변환하는 제2 변환부; 및 변환된 상기 차선 정보 및 객체 정보를 상기 정보 융합부에 전송하는 제2 전송부;를 포함하는 것을 특징으로 한다.
또한, 상기 정보 융합부는, 상기 제1 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보간의 시간 동기화를 수행하고, 정해진 공간 좌표에 정합하는 정보 정합부;정합된 상기 차선 정보들을 비교하는 차선 정보 비교부; 비교 결과에 따른 상기 차선 정보의 신뢰도를 측정하여 가장 높은 신뢰도를 가진 차선 정보를 최종의 차선 정보로 판단하는 차선 정보 판단부; 정합된 상기 객체 정보들을 비교하는 객체 정보 비교부; 비교 결과에 따른 상기 객체 정보의 신뢰도를 측정하고, 측정된 상기 객체 정보의 신뢰도가 기 설정된 기준 신뢰도 이상일 경우 해당 객체 정보를 최종의 객체 정보를 판단하는 객체 정보 판단부; 및 상기 최종의 차선 정보 및 객체 정보를 상기 차량의 제어부에 제공하는 정보 제공부;를 포함하는 것을 특징으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따른 차량의 주변환경 정보를 제공하는 방법은 제1 정보 추출부에 의해, 차량 주변환경에 대한 센싱 정보를 수집하여 이를 토대로 차선 정보 및 객체 정보를 추출하고, 제2 정보 추출부에 의해, 상기 차량 주변환경에 대한 영상을 획득하여 이를 토대로 차선 정보 및 객체 정보를 추출하는 단계; 정보 융합부에 의해, 상기 제1 정보 추출부로부터 추출되는 상기 차선 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보를 정합하여 상호 비교하는 단계; 상기 정보 융합부에 의해, 비교 결과를 토대로 최종의 차선 정보 및 객체 정보를 판단하는 단계; 및 상기 정보 융합부에 의해, 판단된 최종의 차선 정보 및 객체 정보를 상기 차량의 제어부에 제공하는 단계;를 포함한다.
또한, 상기 센싱 정보는 레이저를 발사시켜 반사되는 레이저를 수신하여 객체와의 거리 정보, 방향 정보 및 노면과의 각도 정보로 3차원 레이다에 의해 감지되는 정보인 것을 특징으로 한다.
또한, 상기 차량 주변환경에 대한 센싱 정보를 수집하고, 이를 토대로 차선 정보 및 객체 정보를 추출하는 단계는, 상기 차량과 객체와의 거리 정보를 토대로 위치 정보를 수집하고, 상기 차량과 노면과의 각도 정보를 토대로 반사율 정보를 수집하는 단계; 상기 위치 정보에 방향 정보를 조합하여 3차원 공간 좌표 정보로 변환하는 단계; 상기 반사율 정보를 토대로 상기 차선 정보를 추출하고, 상기 3차원 공간 좌표 정보를 토대로 객체의 형태 및 크기 정보 중 어느 하나를 포함하는 상기 객체 정보를 추출하는 단계; 및 추출된 상기 차선 정보 및 객체 정보를 상기 정보 융합부에 전송하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 차량 주변환경에 대한 영상을 획득하고, 이를 토대로 차선 정보 및 객체 정보를 추출하는 단계는, 영상 획득부를 통해 상기 차량 주변환경에 대한 영상을 획득하는 단계; 상기 영상으로부터 차선의 모양, 색깔, 위치 정보 중 어느 하나를 포함하는 상기 차선 정보를 추출하고, 상기 영상으로부터 객체의 종류, 크기, 위치, 속도 중 어느 하나를 포함하는 상기 객체 정보를 추출하는 단계; 및 추출된 상기 차선 정보 및 객체 정보를 3차원 공간 좌표 정보 형태로 변환하는 단계; 변환된 상기 차선 정보 및 객체 정보를 상기 정보 융합부에 전송하는 단계;를 포함하는 것을 특징으로 한다.
또한, 상기 제1 정보 추출부로부터 추출되는 차선 정보 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 차선 정보 및 객체 정보를 정합하여 상호 비교하는 단계는, 상기 제1 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보간의 시간 동기화를 수행하고, 정해진 공간 좌표에 정합하여 비교하는 것을 특징으로 한다.
또한. 상기 정보 융합부에 의해, 비교 결과를 토대로 최종의 차선 정보 및 객체 정보를 판단하는 단계는, 비교 결과에 따른 상기 차선 정보의 신뢰도를 측정하여 가장 높은 신뢰도를 가진 차선 정보를 최종의 차선 정보로 판단하고, 비교 결과에 따른 상기 객체 정보의 신뢰도를 측정하고, 측정된 상기 객체 정보의 신뢰도가 기 설정된 기준 신뢰도 이상일 경우 해당 객체 정보를 최종의 객체 정보를 판단하는 것을 특징으로 한다.
상기와 같은 구성을 갖는 본 발명에 의한 차량의 주변환경 정보를 제공하는 장치 및 그 방법은 카메라로부터 수집되는 주변환경에 대한 영상 정보를 통해 추출되는 차량의 차선 및 객체 정보와 3차원 레이더(LIDAR: Light Detection and Ranging)로부터 수집되는 주변환경에 대한 센싱 정보를 통해 추출되는 차량의 차선 및 객체 정보를 융합하여 제공함으로써, 차량의 주변환경 정보를 정확하게 파악할 수 있도록 하여 운전자의 안전 운전을 도모하는 효과가 있다.
또한, 본 발명은 제공되는 차선 정보 및 객체 정보를 통해 차량의 차선 이탈 및 장애물과의 충돌을 방지하는 효과가 있다.
도 1은 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 장치의 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 장치에 채용되는 제1 정보 추출부의 세부 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 장치에 채용되는 제2 정보 추출부의 세부 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 장치에 채용되는 정보 융합부의 세부 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 방법의 순서를 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 방법에서 정보를 추출하는 순서를 설명하기 위한 도면이다.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선, 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하에서는, 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 장치 및 그 방법에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 장치의 구성을 설명하기 위한 도면이고, 도 2는 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 장치에 채용되는 제1 정보 추출부의 세부 구성을 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 장치에 채용되는 제2 정보 추출부의 세부 구성을 설명하기 위한 도면이고, 도 4는 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 장치에 채용되는 정보 융합부의 세부 구성을 설명하기 위한 도면이다.
도 1을 참조하여 설명하면, 본 발명에 따른 차량의 주변환경 정보를 제공하는 장치(100)는 크게 제1 정보 추출부(110), 제2 정보 추출부(120) 및 정보 융합부(130)를 포함한다.
제1 정보 추출부(110)는 차량 주변환경에 대한 센싱 정보를 수집하여 이를 토대로 차선 정보 및 객체 정보를 추출한다. 이때, 센싱 정보는 레이저를 발사시켜 반사되는 레이저를 수신하여 객체와의 거리 정보, 방향 정보 및 노면과의 각도 정보로 3차원 레이다에 의해 감지되는 정보를 의미한다. 더욱 자세하게는 3차원 레이다는 발사되는 방향에 대해서 수직, 수평 방향으로 제한된 범위각 내의 임의의 각도 단위 별로 객체에 대한 정보를 수집한다.
이를 위해 제1 정보 추출부(110)는 도 2에 도시된 바와 같이, 위치 정보 수집부(111), 반사율 정보 수집부(112), 제1 변환부(113), 제1 차선 정보 추출부(114), 제1 객체 정보 추출부(115) 및 제1 전송부(116)를 포함한다.
위치 정보 수집부(111)는 차량과 객체와의 거리 정보를 토대로 위치 정보를 수집한다. 그리고, 본 발명에서 언급되는 객체는 보행자, 장애물, 차량, 건물 중 어느 하나인 것으로 한다.
반사율 정보 수집부(112)는 차량과 노면과의 각도 정보를 토대로 반사율 정보를 수집한다.
제1 변환부(113)는 위치 정보에 방향 정보를 조합하여 이를 3차원 공간 좌표 정보로 변환한다. 즉, 제1 변환부는 위치 정보 및 방향 정보를 조합하여 3차원 점군을 기반으로 분할 및 분류 과정을 수행하여 3차원 공간 좌표 정보로 변환시킨다.
제1 차선 정보 추출부(114)는 반사율 정보를 토대로 차선 정보를 추출한다.
제1 객체 정보 추출부(115)는 3차원 공간 좌표 정보를 토대로 객체의 형태 및 크기 정보 중 어느 하나를 포함하는 객체 정보를 추출한다.
제1 전송부(116)는 추출된 차선 정보 및 객체 정보를 정보 융합부에 전송한다.
제2 정보 추출부(120)는 차량 주변환경에 대한 영상을 획득하여, 이를 토대로 차선 정보 및 객체 정보를 추출한다.
이를 위해, 제2 정보 추출부(120)는 도 3에 도시된 바와 같이 영상 정보 획득부(121), 제2 차선 정보 추출부(122), 제2 객체 정보 추출부(123), 제2 변환부(124) 및 제2 전송부(125)를 포함한다.
영상 정보 획득부(121)는 차량 주변환경에 대한 영상을 획득한다. 이때, 영상 정보 획득부(121)는 카메라와 같은 영상 수집 모듈을 통해 앞서 설명된 3차원 레이다와 동일한 방향에서 차량 주변환경에 대한 컬러 영상을 획득한다.
제2 차선 정보 추출부(122)는 영상으로부터 차선의 모양, 색깔, 위치 정보 중 어느 하나를 포함하는 차선 정보를 추출한다.
제2 객체 정보 추출부(123)는 영상으로부터 객체의 종류, 크기, 위치, 속도 중 어느 하나를 포함하는 객체 정보를 추출한다.
제2 변환부(124)는 추출된 차선 정보 및 객체 정보를 3차원 공간 좌표 정보 형태로 변환한다. 이때, 제2 변환부(124)는 영상 정보 획득부(121)에 따른 카메라 좌표 형태에서 제1 변환부와 동일한 3차원 공간 좌표 형태로 변환한다.
제2 전송부(125)는 변환된 차선 정보 및 객체 정보를 정보 융합부(130)에 전송한다.
정보 융합부9130)는 제1 정보 추출부(110)로부터 추출되는 차선 정보 및 객체 정보와 제2 정보 추출부(120)로부터 추출되는 차선 정보 및 객체 정보를 정합하여 상호 비교하고, 그 결과를 토대로 최종의 차선 정보 및 객체 정보를 판단하여 차량의 제어부에 제공한다.
이를 위해, 정보 융합부(130)는 도 4에 도시된 바와 같이 정보 정합부(131), 차선 정보 비교부(132), 차선 판단부(133), 객체 정보 비교부(134), 객체 판단부(135) 및 정보 제공부(136)를 포함한다.
정보 정합부(131)는 제1 정보 추출부(110)로부터 추출되는 차선 정보 및 객체 정보와 제2 정보 추출부(120)로부터 추출되는 차선 정보 및 객체 정보를 정합한다. 정보 정합부(131)는 제1 정보 추출부(110)로부터 추출되는 차선 정보 및 객체 정보와 제2 정보 추출부(120)로부터 추출되는 차선 정보 및 객체 정보에서 발생되는 시간적 차이 때문에 시간 동기화를 수행한 다음 해당 정보를 미리 정해진 공간 좌표에 정합한다.
차선 정보 비교부(132)는 정합된 차선 정보들을 비교한다.
차선 정보 판단부(133)는 비교 결과에 따른 차선 정보의 신뢰도를 측정하여 최종의 차선 정보를 판단한다. 이때, 신뢰도는 정합 비교된 정보들의 일치도를 의미한다. 따라서, 차선 정보 판단부(133)에 의해 판단되는 최종의 차선 정보는 제1 정보 추출부(110)로부터 추출된 차선 정보와 제2 정보 추출부(120)로부터 추출된 차선 정보의 정합비교 결과에서 가장 높은 신뢰도를 가진 차선 정보이다.
객체 정보 비교부(134)는 정합된 객체 정보들을 비교한다.
객체 정보 판단부(135)는 비교 결과에 따른 객체 정보의 신뢰도를 측정하여 최종의 객체 정보를 판단한다.
이때, 객체 정보 판단부(135)에 의해 판단되는 최종의 객체 정보는 제1 정보 추출부(110)로부터 추출된 객체 정보와 제2 정보 추출부(120)로부터 추출된 객체 정보의 정합비교 결과로 측정된 신뢰도가 기 설정된 기준 신뢰도 이상인 객체 정보이다. 즉, 정합비교 결과로 측정된 신뢰도가 기 설정된 기준 신뢰도 이상인 객체 정보에 대해서 최종적으로 보행자, 장애물, 차량, 건물 중 어느 하나가 존재한다고 판단한다.
정보 제공부(136)는 최종의 차선 정보 및 객체 정보를 차량의 제어부(140)에 제공하여 운전자의 안전 운전을 도모한다.
여기 차량의 제어부(140)는 자동차의 엔진, 자동변속기, ABS 따위의 상태를 컴퓨터로 제어하는 전자제어 장치를 의미한다.
도 5는 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 방법의 순서를 설명하기 위한 도면이고, 도 6은 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 방법에서 센싱 정보를 수집하여 이를 토대로 차선 정보 및 객체 정보를 추출하는 순서를 설명하기 위한 도면이고, 도 7은 본 발명의 실시예에 따른 차량의 주변환경 정보를 제공하는 방법에서 영상 정보를 획득하여 이를 토대로 차선 정보 및 객체 정보를 추출하는 순서를 설명하기 위한 도면이다.
도 5를 참조하여 설명하면, 본 발명에 따른 차량의 주변환경 정보를 제공하는 방법은 앞서 설명한 차량의 주변환경 정보를 제공하는 장치(100)를 이용하는 방법으로 이하 중복되는 설명은 생략하기로 한다.
먼저, 제1 정보 추출부(110)에 의해, 차량 주변환경에 대한 센싱 정보를 수집하여 이를 토대로 차선 정보 및 객체 정보를 추출하고, 제2 정보 추출부(120)에 의해, 상기 차량 주변환경에 대한 영상을 획득하여 이를 토대로 차선 정보 및 객체 정보를 추출한다.(S100) 제1 정보 추출부(110)의 센싱 정보는 레이저를 발사시켜 반사되는 레이저를 수신하여 객체와의 거리 정보, 방향 정보 및 노면과의 각도 정보로 3차원 레이다에 의해 감지되는 정보를 의미한다. 따라서, 제1 정보 추출부(110)는 도 6에 도시된 바와 같이 3차원 레이다에 의해 감지되는 센싱 정보를 토대로 차량과 객체와의 위치 정보 및 차량과 노면과의 각도 정보를 토대로 반사율 정보를 수집(S110)하고 이를 3차원 공간 좌표 정보로 변환(S120)하여 차선 정보 및 객체 정보를 추출(S130)한다. 한편, 제2 정보 추출부(120)는 도 7에 도시된 바와 같이 영상 정보 획득부(121)를 통해 획득된 차량 주변환경에 대한 영상(S140)으로부터 차선 정보 및 객체 정보를 추출(S150)하고 이를 3차원 공간 좌표 정보 형태로 변환(S160)한다.
다음, 정보 융합부(130)에 의해, 제1 정보 추출부(110)로부터 추출되는 차선 정보 및 객체 정보와 제2 정보 추출부(120)로부터 추출되는 차선 정보 및 객체 정보를 정합하여 상호 비교한다.(S200) 즉, 제1 정보 추출부(110)로부터 추출되는 차선 정보 및 객체 정보와 제2 정보 추출부(120)로부터 추출되는 차선 정보 및 객체 정보간의 시간 동기화를 수행하고, 정해진 공간 좌표에 정합하여 비교한다.
다음, 정보 융합부(130)에 의해, 비교 결과를 토대로 최종의 차선 정보 및 객체 정보를 판단한다.(S300) 즉, 비교 결과에 따른 차선 정보의 신뢰도를 측정하여 가장 높은 신뢰도를 가진 차선 정보를 최종의 차선 정보로 판단하고, 비교 결과에 따른 객체 정보의 신뢰도를 측정하고, 측정된 객체 정보의 신뢰도가 기 설정된 기준 신뢰도 이상일 경우 해당 객체 정보를 최종의 객체 정보를 판단한다.
마지막으로 정보 융합부(130)에 의해, 판단된 최종의 차선 정보 및 객체 정보를 차량의 제어부(140)에 제공한다.(S400)
이처럼, 본 발명에 따른 차량의 주변환경 정보를 제공하는 장치 및 그 방법은 카메라로부터 수집되는 주변환경에 대한 영상 정보를 통해 추출되는 차량의 차선 및 객체 정보와 3차원 레이더(LIDAR: Light Detection and Ranging)로부터 수집되는 주변환경에 대한 센싱 정보를 통해 추출되는 차량의 차선 및 객체 정보를 융합하여 제공함으로써, 차량의 주변환경 정보를 정확하게 파악할 수 있도록 하여 운전자의 안전 운전을 도모할 수 있다.
또한, 본 발명은 제공되는 차선 정보 및 객체 정보를 통해 차량의 차선 이탈 및 장애물과의 충돌을 방지할 수 있다.
이상에서, 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
100 : 차량의 주변환경 정보를 제공하는 장치
110 : 제1 정보 추출부 120 : 제2 정보 추출부
130 : 정보 융합부 140 : 제어부

Claims (12)

  1. 차량 주변환경에 대한 센싱 정보를 수집하여, 이를 토대로 차선 정보 및 객체 정보를 추출하는 제1 정보 추출부;
    상기 차량 주변환경에 대한 영상을 획득하여, 이를 토대로 차선 정보 및 객체 정보를 추출하는 제2 정보 추출부; 및
    상기 제1 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보를 정합하여 상호 비교하고, 그 결과를 토대로 최종의 차선 정보 및 객체 정보를 판단하여 상기 차량의 제어부에 제공하는 정보 융합부;
    를 포함하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 장치.
  2. 제1 항에 있어서,
    상기 센싱 정보는 레이저를 발사시켜 반사되는 레이저를 수신하여 객체와의 거리 정보, 방향 정보 및 노면과의 각도 정보로 3차원 레이다에 의해 감지되는 정보인 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 장치.
  3. 제1 항에 있어서,
    제1 정보 추출부는,
    상기 차량과 객체와의 거리 정보를 토대로 위치 정보를 수집하는 위치 정보 수집부;
    상기 차량과 노면과의 각도 정보를 토대로 반사율 정보를 수집하는 반사율 정보 수집부;
    상기 위치 정보에 방향 정보를 조합하여 이를 3차원 공간 좌표 정보로 변환하는 제1 변환부;
    상기 반사율 정보를 토대로 상기 차선 정보를 추출하는 제1 차선 정보 추출부;
    상기 3차원 공간 좌표 정보를 토대로 객체의 형태 및 크기 정보 중 어느 하나를 포함하는 상기 객체 정보를 추출하는 제1 객체 정보 추출부; 및
    추출된 상기 차선 정보 및 객체 정보를 상기 정보 융합부에 전송하는 제1 전송부;
    를 포함하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 장치.
  4. 제1 항에 있어서,
    상기 제2 정보 추출부는,
    영상 획득부를 통해 상기 차량 주변환경에 대한 영상을 획득하는 영상 정보 획득부;
    상기 영상으로부터 차선의 모양, 색깔, 위치 정보 중 어느 하나를 포함하는 상기 차선 정보를 추출하는 제2 차선 정보 추출부; 및
    상기 영상으로부터 객체의 종류, 크기, 위치, 속도 중 어느 하나를 포함하는 상기 객체 정보를 추출하는 제2 객체 정보 추출부;
    를 포함하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 장치.
  5. 제1 항에 있어서,
    상기 제2 정보 추출부는,
    추출된 상기 차선 정보 및 객체 정보를 3차원 공간 좌표 정보 형태로 변환하는 제2 변환부; 및
    변환된 상기 차선 정보 및 객체 정보를 상기 정보 융합부에 전송하는 제2 전송부;
    를 포함하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 장치.
  6. 제1 항에 있어서,
    상기 정보 융합부는,
    상기 제1 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보간의 시간 동기화를 수행하고, 정해진 공간 좌표에 정합하는 정보 정합부;
    정합된 상기 차선 정보들을 비교하는 차선 정보 비교부;
    비교 결과에 따른 상기 차선 정보의 신뢰도를 측정하여 가장 높은 신뢰도를 가진 차선 정보를 최종의 차선 정보로 판단하는 차선 정보 판단부;
    정합된 상기 객체 정보들을 비교하는 객체 정보 비교부;
    비교 결과에 따른 상기 객체 정보의 신뢰도를 측정하고, 측정된 상기 객체 정보의 신뢰도가 기 설정된 기준 신뢰도 이상일 경우 해당 객체 정보를 최종의 객체 정보를 판단하는 객체 정보 판단부; 및
    상기 최종의 차선 정보 및 객체 정보를 상기 차량의 제어부에 제공하는 정보 제공부;
    를 포함하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 장치.
  7. 제1 정보 추출부에 의해, 차량 주변환경에 대한 센싱 정보를 수집하여 이를 토대로 차선 정보 및 객체 정보를 추출하고, 제2 정보 추출부에 의해, 상기 차량 주변환경에 대한 영상을 획득하여 이를 토대로 차선 정보 및 객체 정보를 추출하는 단계;
    정보 융합부에 의해, 상기 제1 정보 추출부로부터 추출되는 상기 차선 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보를 정합하여 상호 비교하는 단계;
    상기 정보 융합부에 의해, 비교 결과를 토대로 최종의 차선 정보 및 객체 정보를 판단하는 단계; 및
    상기 정보 융합부에 의해, 판단된 최종의 차선 정보 및 객체 정보를 상기 차량의 제어부에 제공하는 단계;
    를 포함하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 방법.
  8. 제 7항에 있어서,
    상기 센싱 정보는 레이저를 발사시켜 반사되는 레이저를 수신하여 객체와의 거리 정보, 방향 정보 및 노면과의 각도 정보로 3차원 레이다에 의해 감지되는 정보인 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 방법.
  9. 제 7항에 있어서,
    상기 차량 주변환경에 대한 센싱 정보를 수집하고, 이를 토대로 차선 정보 및 객체 정보를 추출하는 단계는,
    상기 차량과 객체와의 거리 정보를 토대로 위치 정보를 수집하고, 상기 차량과 노면과의 각도 정보를 토대로 반사율 정보를 수집하는 단계;
    상기 위치 정보에 방향 정보를 조합하여 3차원 공간 좌표 정보로 변환하는 단계;
    상기 반사율 정보를 토대로 상기 차선 정보를 추출하고, 상기 3차원 공간 좌표 정보를 토대로 객체의 형태 및 크기 정보 중 어느 하나를 포함하는 상기 객체 정보를 추출하는 단계; 및
    추출된 상기 차선 정보 및 객체 정보를 상기 정보 융합부에 전송하는 단계;
    를 포함하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 방법.
  10. 제 7항에 있어서,
    상기 차량 주변환경에 대한 영상을 획득하고, 이를 토대로 차선 정보 및 객체 정보를 추출하는 단계는,
    영상 획득부를 통해 상기 차량 주변환경에 대한 영상을 획득하는 단계;
    상기 영상으로부터 차선의 모양, 색깔, 위치 정보 중 어느 하나를 포함하는 상기 차선 정보를 추출하고, 상기 영상으로부터 객체의 종류, 크기, 위치, 속도 중 어느 하나를 포함하는 상기 객체 정보를 추출하는 단계; 및
    추출된 상기 차선 정보 및 객체 정보를 3차원 공간 좌표 정보 형태로 변환하는 단계;
    변환된 상기 차선 정보 및 객체 정보를 상기 정보 융합부에 전송하는 단계;
    를 포함하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 방법.
  11. 제 7항에 있어서,
    상기 제1 정보 추출부로부터 추출되는 차선 정보 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 차선 정보 및 객체 정보를 정합하여 상호 비교하는 단계는,
    상기 제1 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보와 상기 제2 정보 추출부로부터 추출되는 상기 차선 정보 및 객체 정보간의 시간 동기화를 수행하고, 정해진 공간 좌표에 정합하여 비교하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 방법.
  12. 제 7항에 있어서,
    상기 정보 융합부에 의해, 비교 결과를 토대로 최종의 차선 정보 및 객체 정보를 판단하는 단계는,
    비교 결과에 따른 상기 차선 정보의 신뢰도를 측정하여 가장 높은 신뢰도를 가진 차선 정보를 최종의 차선 정보로 판단하고, 비교 결과에 따른 상기 객체 정보의 신뢰도를 측정하고, 측정된 상기 객체 정보의 신뢰도가 기 설정된 기준 신뢰도 이상일 경우 해당 객체 정보를 최종의 객체 정보를 판단하는 것을 특징으로 하는 차량의 주변환경 정보를 제공하는 방법.
KR1020130058234A 2013-05-23 2013-05-23 차량의 주변환경 정보를 제공하는 장치 및 그 방법 KR20140137577A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130058234A KR20140137577A (ko) 2013-05-23 2013-05-23 차량의 주변환경 정보를 제공하는 장치 및 그 방법
US14/254,826 US20140347484A1 (en) 2013-05-23 2014-04-16 Apparatus and method for providing surrounding environment information of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130058234A KR20140137577A (ko) 2013-05-23 2013-05-23 차량의 주변환경 정보를 제공하는 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20140137577A true KR20140137577A (ko) 2014-12-03

Family

ID=51935139

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130058234A KR20140137577A (ko) 2013-05-23 2013-05-23 차량의 주변환경 정보를 제공하는 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20140347484A1 (ko)
KR (1) KR20140137577A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170081523A (ko) * 2016-01-04 2017-07-12 한국전자통신연구원 차량용 융합 시스템 및 이 시스템의 정보 처리 방법
KR20210063720A (ko) * 2019-11-25 2021-06-02 한국교통대학교산학협력단 정밀지도 생성 시스템

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101622028B1 (ko) * 2014-07-17 2016-05-17 주식회사 만도 차량 통신을 이용한 차량 제어 장치 및 제어 방법
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
DE102016205433A1 (de) * 2015-11-25 2017-06-14 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung, Kartenverwaltungseinrichtung und System zum punktgenauen Lokalisieren eines Kraftfahrzeugs in einem Umfeld
EP3223188A1 (en) * 2016-03-22 2017-09-27 Autoliv Development AB A vehicle environment mapping system
JP6575431B2 (ja) * 2016-05-16 2019-09-18 株式会社デンソー 検証装置、及び、検証方法
CN107918753B (zh) * 2016-10-10 2019-02-22 腾讯科技（深圳）有限公司 点云数据处理方法及装置
US10299158B2 (en) * 2016-12-02 2019-05-21 Qualcomm Incorporated Vehicle-to-vehicle (V2V) sensor sharing
WO2019186864A1 (ja) * 2018-03-29 2019-10-03 三菱電機株式会社 車両照明制御装置、車両照明制御方法及び車両照明制御プログラム
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
US11932245B2 (en) * 2020-09-01 2024-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for improving path selection for automated driving

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8699755B2 (en) * 2009-02-20 2014-04-15 Navteq B.V. Determining travel path features based on retroreflectivity
JP5811189B2 (ja) * 2011-12-28 2015-11-11 トヨタ自動車株式会社 障害物判定装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170081523A (ko) * 2016-01-04 2017-07-12 한국전자통신연구원 차량용 융합 시스템 및 이 시스템의 정보 처리 방법
KR20210063720A (ko) * 2019-11-25 2021-06-02 한국교통대학교산학협력단 정밀지도 생성 시스템

Also Published As

Publication number Publication date
US20140347484A1 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
KR20140137577A (ko) 차량의 주변환경 정보를 제공하는 장치 및 그 방법
US9934690B2 (en) Object recognition apparatus and vehicle travel controller using same
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
US9623869B2 (en) Vehicle driving support control apparatus
US9386302B2 (en) Automatic calibration of extrinsic and intrinsic camera parameters for surround-view camera system
JP4612635B2 (ja) 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
US7859652B2 (en) Sight-line end estimation device and driving assist device
JP6459659B2 (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
US10422871B2 (en) Object recognition apparatus using a plurality of object detecting means
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP2021510227A (ja) 衝突前アラートを提供するためのマルチスペクトルシステム
JP6597795B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6597792B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR20060021922A (ko) 두 개의 카메라를 이용한 장애물 감지 기술 및 장치
WO2019021591A1 (ja) 画像処理装置と画像処理方法とプログラムおよび画像処理システム
WO2017047282A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JPWO2017099199A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US9524645B2 (en) Filtering device and environment recognition system
JP2005156199A (ja) 車両検知方法及び車両検知装置
US20200265718A1 (en) Obstacle detection device, driving assistance system, and obstacle detection method
KR101704635B1 (ko) 레이더 및 영상 래스터 데이터를 이용한 목표물 탐지 방법 및 장치
WO2017154305A1 (ja) 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム
JP2011103058A (ja) 誤認識防止装置
JP2017167970A (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
SUBM Surrender of laid-open application requested