KR102051397B1 - 안전운전 지원 장치 및 방법 - Google Patents

안전운전 지원 장치 및 방법 Download PDF

Info

Publication number
KR102051397B1
KR102051397B1 KR1020120071927A KR20120071927A KR102051397B1 KR 102051397 B1 KR102051397 B1 KR 102051397B1 KR 1020120071927 A KR1020120071927 A KR 1020120071927A KR 20120071927 A KR20120071927 A KR 20120071927A KR 102051397 B1 KR102051397 B1 KR 102051397B1
Authority
KR
South Korea
Prior art keywords
information
obstacle
unit
image
sign
Prior art date
Application number
KR1020120071927A
Other languages
English (en)
Other versions
KR20140004413A (ko
Inventor
조준범
서성진
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120071927A priority Critical patent/KR102051397B1/ko
Publication of KR20140004413A publication Critical patent/KR20140004413A/ko
Application granted granted Critical
Publication of KR102051397B1 publication Critical patent/KR102051397B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 카메라 및 라이더를 이용하여 장애물을 인식하고, 인식된 장애물이 주행 차선에 존재하는지 여부 또는 장애물이 차량인지 보행자인지를 판단하여 차량 운행을 보조하며, 차량의 카메라 및 라이더를 이용하여 표지판을 인식하고, 표지판의 종류를 판단하여 차량 운행을 보조하는 안전운전 지원 장치 및 방법에 관한 것이다. 본 발명에 따른 안전운전 지원 장치는, 차량의 카메라가 수집한 정보를 수신하는 카메라정보 수신부; 및 라이더가 수집한 정보를 수신하는 라이더정보 수신부; 상기 카메라정보 수신부 및 상기 라이더정보 수신부에서 수신한 정보를 이용하여 상기 수신한 정보에 포함된 물체에 관한 정보를 인식하는 정보인식부를 포함할 수 있다.

Description

안전운전 지원 장치 및 방법{Apparatus and Method for Assisting Safe Driving}
본 발명은 안전운전 지원 장치 및 방법에 관한 것이다. 보다 상세하게는, 본 발명은 차량의 카메라 및 라이더를 이용하여 장애물을 인식하고, 인식된 장애물이 주행 차선에 존재하는지 여부 또는 장애물이 차량인지 보행자인지를 판단하여 차량 운행을 보조하며, 차량의 카메라 및 라이더를 이용하여 표지판을 인식하고, 표지판의 종류를 판단하여 차량 운행을 보조하는 안전운전 지원 장치 및 방법에 관한 것이다.
기존의 라이더(Lidar)를 차량에 이용한 기술로는, 라이더를 이용하여 다른 차량과의 거리 정보를 획득하고, 획득된 거리 정보와 차량의 카메라로부터 수신된 영상을 함께 이용하여 다른 차량의 존재와 다른 차량과의 거리를 인식하여 차량간의 충돌을 방지하는 시스템 등이 있다.
다만, 이러한 라이더를 이용한 차량간의 충돌을 방지하는 시스템은 보행자를 인식하는 기능이 없어, 인식한 장애물이 차량이 아니라 보행자인 경우, 보행자와의 사고에는 대비하지 못하는 문제점이 존재한다.
또한, 기존의 라이더를 이용한 장애물 인식과 이를 이용한 차량간의 충돌 방지 시스템은 주행 차선에 존재하는 차량과 추행차선이 아닌 다른 차선에 존재하는 차량을 구분하지 않는 문제점이 존재한다.
차량은 차량에 설치된 카메라로 차량 외부 영상을 획득하고, 획득한 영상에서 교통 표지판을 검출하는 기능이 구비된 경우가 존재한다.
다만, 카메라를 이용하여 획득된 영상만으로 교통 표지판을 검출하는 경우, 기후 조건, 주야의 시간대 등에 따라서 교통 표지판의 오인식률이 높은 문제점이 존재한다.
본 발명은 상기한 문제점을 해결하기 위하여, 차량의 주행 차선을 인식하여 장애물이 주행 차선에 존재하는지 여부를 판단하고, 데이터베이스를 이용하여 인식된 장애물이 차량인지 보행자인지를 판단하여 차량 운행을 보조하고, 표지판을 인식하는데 카메라뿐만 아니라 라이더를 이용하여 보다 정확하게 표지판을 인식하는 안전운전 지원 장치 및 방법을 제공하는 것을 목적으로 한다.
상기한 문제점을 해결하기 위하여 안출된 안전운전 지원 장치는, 차량의 카메라가 수집한 정보를 수신하는 카메라정보 수신부; 라이더가 수집한 정보를 수신하는 라이더정보 수신부; 및 상기 카메라정보 수신부 및 상기 라이더정보 수신부에서 수신한 정보를 이용하여 상기 수신한 정보에 포함된 물체에 관한 정보를 인식하는 정보인식부를 포함할 수 있다.
바람직하게는, 상기 정보인식부는, 상기 수신한 정보에 포함된 물체 중 상기 차량의 주행에 장애가 되는 물체에 관한 정보를 인식하는 장애물 구분인식부를 포함하며, 상기 장애물 구분인식부는, 상기 카메라정보 수신부에서 수신한 정보를 이용하여 상기 차량이 주행하고 있는 차선을 포함한 차선을 인식하는 차선인식부; 상기 카메라정보 수신부 및 상기 라이더정보 수신부에서 수신한 정보를 이용하여 장애물을 인식하는 장애물 인식부; 및 상기 인식된 장애물이 상기 차선인식부에서 인식된 상기 주행하고 있는 차선에 존재하는 장애물인지를 판단하는 주행차선장애물 판단부를 포함할 수 있다.
바람직하게는, 상기 장애물 구분인식부는, 상기 인식된 장애물이 보행자, 차량 또는 노이즈(Noise) 중 어느 하나인 것으로 판단하는 장애물 구분부를 더 포함할 수 있다.
바람직하게는, 상기 안전운전 지원 장치는, 상기 라이더정보 수신부에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리부를 포함하며, 상기 장애물 구분부는, 복수개의 보행자 이미지 및 차량 이미지를 저장하고 있는 제1데이터베이스부를 포함하고, 상기 카메라 정보와 상기 생성된 3차원 이미지를 이용하여 그라디언트(Gradient)를 산출하고, 산출된 그라디언트를 이용하여 상기 이미지에서 엣지정보를 획득하고, 상기 엣지정보를 이용하여 상기 인식된 장애물의 윤곽선 정보를 획득한 후, 상기 윤곽선 정보를 상기 제1데이터베이스부에 저장된 이미지와 매칭하여 상기 인식된 장애물이 보행자, 차량 또는 노이즈(Noise) 중 어느 하나인 것으로 판단할 수 있다.
바람직하게는, 상기 안전운전 지원 장치는, 상기 주행차선장애물 판단부의 판단이 상기 인식된 장애물이 상기 인식된 주행 차선 사이에 존재하는 장애물이라고 판단하는 경우, 소리, 화면 표시, 차량의 안전벨트 진동 또는 차량의 브레이크 제어 중 적어도 어느하나를 수행하는 주의경고부를 더 포함할 수 있다.
바람직하게는, 상기 정보인식부는, 상기 수신한 정보에 포함된 물체 중 표지판에 관한 정보를 인식하는 표지판 인식부를 포함하며, 상기 표지판 인식부는, 상기 카메라정보 수신부 및 상기 라이더정보 수신부에서 수신한 정보를 이용하여 표지판으로 추측되는 이미지를 선택하는 표지판후보 선택부; 복수개의 표지판 이미지가 저장된 제2데이터베이스부; 및 상기 표지판후보 선택부에서 선택된 이미지와 상기 제2데이터베이스부에 저장된 상기 표지판 이미지와 매칭하여 상기 선택된 이미지의 표지판 종류를 판단하는 표지판 판단부를 포함할 수 있다.
바람직하게는, 상기 안전운전 지원 장치는, 상기 라이더정보 수신부에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리부를 포함하며, 상기 표지판후보 선택부는, 상기 생성된 3차원 이미지 중 기 설정된 인텐시티 이상의 인텐시티 값을 가지는 상기 3차원 이미지 또는 상기 3차원 이미지 중 일부분을 표지판으로 추측되는 이미지로 선택할 수 있다.
바람직하게는, 상기 안전운전 지원 장치는, 상기 라이더정보 수신부에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리부를 포함하며, 상기 표지판 판단부는, 상기 3차원 이미지의 라인 엣지를 추출하여 표지판 부분으로 추측되는 부분을 판단하고, 상기 판단된 표지판 부분과 상기 제2데이터베이스부에 저장된 상기 표지판 이미지와 매칭하여 상기 선택된 이미지의 표지판 종류를 판단할 수 있다.
상기한 문제점을 해결하기 위한 안전운전 지원 방법은, 차량의 카메라가 수집한 정보를 수신하는 카메라정보 수신단계; 라이더가 수집한 정보를 수신하는 라이더정보 수신단계; 및 상기 카메라정보 수신단계 및 라이더정보 수신단계에서 수신한 정보를 이용하여 상기 수신한 정보에 포함된 물체에 관한 정보를 인식하는 정보인식단계를 포함할 수 있다.
바람직하게는, 상기 정보인식단계는, 상기 수신한 정보에 포함된 물체 중 상기 차량의 주행에 장애가 되는 물체에 관한 정보를 인식하는 장애물 구분인식단계를 포함하며, 상기 장애물 구분인식단계는, 상기 카메라정보 수신단계에서 수신한 정보를 이용하여 상기 차량이 주행하고 있는 차선을 포함한 차선을 인식하는 차선인식단계; 상기 카메라정보 수신단계 및 라이더정보 수신단계에서 수신한 정보를 이용하여 장애물을 인식하는 장애물 인식단계; 및 상기 인식된 장애물이 상기 차선인식단계에서 인식된 상기 주행하고 있는 차선에 존재하는 장애물인지를 판단하는 주행차선장애물 판단단계를 포함할 수 있다.
바람직하게는, 상기 장애물 구분인식단계는, 상기 인식된 장애물이 보행자, 차량 또는 노이즈(Noise) 중 어느 하나인 것으로 판단하는 장애물 구분단계를 더 포함할 수 있다.
바람직하게는, 상기 안전운전 지원 방법은, 상기 라이더정보 수신단계에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리단계를 포함하며, 상기 장애물 구분단계는, 상기 카메라 정보와 상기 생성된 3차원 이미지를 이용하여 그라디언트(Gradient)를 산출하고, 산출된 그라디언트를 이용하여 상기 이미지에서 엣지정보를 획득하고, 상기 엣지정보를 이용하여 상기 인식된 장애물의 윤곽선 정보를 획득한 후, 상기 윤곽선 정보를 복수개의 보행자 이미지 및 차량 이미지를 저장하고 있는 제1데이터베이스부에 저장된 이미지와 매칭하여 상기 인식된 장애물이 보행자, 차량 또는 노이즈(Noise) 중 어느 하나인 것으로 판단할 수 있다.
바람직하게는, 상기 안전운전 지원 방법은, 상기 주행차선장애물 판단단계의 판단이 상기 인식된 장애물이 상기 인식된 주행 차선 사이에 존재하는 장애물이라고 판단하는 경우, 소리, 화면 표시, 차량의 안전벨트 진동 또는 차량의 브레이크 제어 중 적어도 어느 하나를 수행하는 주의경고단계를 더 포함할 수 있다.
바람직하게는, 상기 정보인식단계는, 상기 수신한 정보에 포함된 물체 중 표지판에 관한 정보를 인식하는 표지판 인식단계를 포함하며, 상기 표지판 인식단계는, 상기 카메라정보 수신단계 및 라이더정보 수신단계에서 수신한 정보를 이용하여 표지판으로 추측되는 이미지를 선택하는 표지판후보 선택단계; 및 상기 표지판후보 선택단계에서 선택된 이미지를 복수개의 표지판 이미지가 저장된 제2데이터베이스부에 저장된 이미지와 매칭하여 상기 선택된 이미지의 표지판 종류를 판단하는 표지판 판단단계를 포함할 수 있다.
바람직하게는, 상기 안전운전 지원 방법은, 상기 라이더정보 수신단계에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리단계를 포함하며, 상기 표지판후보 선택단계는, 상기 생성된 3차원 이미지 중 기 설정된 인텐시티 이상의 인텐시티 값을 가지는 상기 3차원 이미지 또는 상기 3차원 이미지 중 일부분을 표지판으로 추측되는 이미지로 선택할 수 있다.
바람직하게는, 상기 안전운전 지원 방법은, 상기 라이더정보 수신단계에서 수신된 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리단계를 포함하며, 상기 표지판 판단단계는, 상기 3차원 이미지의 라인 엣지를 추출하여 표지판 부분으로 추측되는 부분을 판단하고, 상기 판단된 표지판 부분과 상기 제2데이터베이스부에 저장된 상기 표지판 이미지와 매칭하여 상기 선택된 이미지의 표지판 종류를 판단할 수 있다.
본 발명은 주행차선에 있는 차량과 다른 차선에 있는 차량을 구분할 수 있어 충돌 방지 기능을 수행 할 수 있다.
또한, 본 발명은 차량뿐만 아니라 보행자도 인식 가능한바 보행자와의 충돌을 방지할 수 있다.
본 발명은 보다 높은 정확도로 표지판을 인식하고 표지판의 종류를 파악할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 안전운전 지원 장치에 관한 블록도이다.
도 2는 본 발명에 따른 장애물 구분 인식 장치의 정보인식부의 일예를 설명하는 블록도이다.
도 3은 장애물인식부에서 이미지 정보를 이용하여 장애물을 인식할 때, 수학식 1을 적용한 결과의 일예를 나타내는 도이다.
도 4는 본 발명에 따른 안전운전 지원 장치의 표지판 판단부가 이미지에서 표지판 부분을 추출하는 방법의 일 예를 설명하기 위한 도이다.
도 5는 본 발명에 따른 안전운전 지원 장치의 제2데이터베이스부가 저장하고 있는 표지판 이미지의 예를 설명하는 도이다.
도 6은 본 발명의 바람직한 실시예에 따른 안전운전 지원 방법을 설명하는 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하의 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함될 수 있다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 발명에 따른 장애물 구분 인식 장치 및 표지판 인식 장치는 라이더(Lidar)를 이용한다. 바람직하게는 3D 플래쉬 라이더(3D Flash Lidar)를 이용할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 안전운전 지원 장치에 관한 블록도이다.
도 1을 참조하면, 안전운전 지원 장치(1000)는 카메라정보 수신부(1100), 라이더정보 수신부(1200), 영상신호처리부(1300), 3D 전처리부(1400), 2D/3D 정합부(1500), 정보인식부(1600) 및 주의경고부(1700)를 포함한다.
카메라정보 수신부(1100)는 차량에 설치된 카메라가 수집한 정보를 수신한다. 카메라가 수집한 정보는 영상 또는 이미지 정보를 포함할 수 있다.
라이더정보 수신부(1200)는 라이더가 수집하는 정보를 수신한다.
카메라와 라이더는 차량 전방의 정보 수집이 용이하게 설치되는 것이 바람직하다. 일 예로, 카메라와 라이더는 차량의 윈드실드 바로 뒤쪽과 천장의 룸미러 사이에 설치될 수 있다.
카메라 수신부에서 수신된 카메라 정보는 영상신호처리부(1300)로 전송된다. 카메라 수신부에서 수신된 카메라 정보는 라이더의 필드오브뷰(FOV, Field of View)영역을 2D 영상으로 촬상한 정보가 포함될 수 있다.
영상신호처리부(1300)는 카메라 정보를 수신하여 카메라 정보에 포함된 영상 또는 이미지의 처리 속도를 향상시키기 위하여 사이즈와 포맷을 변경하고, 화질 개선 작업을 수행한다. 영상신호처리부(1300)는 사이즈와 포맷을 변경하고 화길 개선 작업을 수행한 정보를 2D/3D 정합부(1500)로 전송한다. 영상신호처리부(1300)에서 2D/3D 정합부(1500)로 전송되는 정보는 2D 영상 정보일 수 있다.
2D/3D 정합부(1500)는 영상신호처리부(1300)에서 전송받은 정보와 3D 전처리부(1400)에서 전송받은 정보를 이용하여 관심영역의 이미지를 추출한다. 보다 구체적인 설명은 3D 전처리부(1400)를 설명한 후 다시 설명한다.
3D 전처리부(1400)는 라이더정보 수신부(1200)에서 라이더가 수집한 정보를 전송받고, 수집한 정보 중 라이더의 수광 어레이부에서 수광된 위치 및 파장의 세기를 이용하여 인텐시티(Intensity) 정보를 생성한다. 또한, 3D 전처리부(1400)는 라이더의 수광 어레이부에서 수광된 시간에 따라서 깊이(Depth) 정보를 생성한다.
3D 전처리부(1400)는 생성된 인텐시티 정보와 깊이 정보를 이용하여 3차원 볼륨 이미지를 생성할 수 있다.
2D/3D 정합부(1500)는 영상신호처리부(1300)에서 전송받은 2D영상 정보와 3D 전처리부(1400)에서 생성된 3차원 볼륨 이미지를 이용하여 관심영역의 이미지를 추출할 수 있다.
2D/3D 정합부(1500)에서 추출된 이미지는 정보인식부(1600)로 전송되어 이용될 수 있다.
정보인식부(1600)는 영상신호처리부(1300), 3D 전처리부(1400) 또는 2D/3D 정합부(1500)에서 정보를 수신하여, 수신한 정보에 포함된 물체에 관한 정보를 인식한다.
구체적으로 정보인식부(1600)는 수신한 정보에 포함된 물체에 관한 정보 중에서 차량의 운행에 장애가 되는 물체에 관한 정보 또는 표지판에 관한 정보를 인식할 수 있다.
도 2는 본 발명에 따른 장애물 구분 인식 장치의 정보인식부의 일예를 설명하는 블록도이다.
도 2를 참조하면, 정보인식부(1600)는 장애물 구분인식부(1610) 및 표지판 인식부(1620)를 포함할 수 있다.
장애물 구분인식부(1610)가 영상신호처리부(1300), 3D 전처리부(1400) 또는 2D/3D 정합부(1500)에서 수신한 정보를 이용하여 차량의 운행에 장애가 되는 물체에 관한 정보를 획득한다.
구체적으로 장애물 구분인식부(1610)는 차선 인식부(1611), 장애물 인식부(1613), 주행차선 장애물 판단부(1615), 장애물 구분부(1617) 및/또는 제1데이터베이스부(1619)를 포함할 수 있다.
차선인식부(1611)는 카메라정보 수신부(1100)에서 수신된 정보 또는 영상신호처리부(1300)에서 처리된 정보를 이용하여 차량이 주행 중인 차선을 인식한다. 차선인식부(1611)가 차선을 인식하는 방법은 공지의 차선인식 알고리즘을 이용할 수 있는바 자세한 설명은 생략한다.
장애물인식부(1613)는 영상신호처리부(1300), 3D 전처리부(1400) 및 2D/3D 정합부(1500)에서 생성된 정보를 이용하여 장애물을 인식한다.
구체적으로, 장애물인식부(1613)는 영상신호처리부(1300), 3D 전처리부(1400) 또는 2D/3D 정합부(1500)에서 생성된 이미지 정보를 이용하여 장애물을 인식할 때, 이미지에서 관심영역의 이미지만을 절삭하여 장애물 인식을 수행할 수 있다.
장애물인식부(1613)는 영상신호처리부(1300), 3D 전처리부(1400) 또는 2D/3D 정합부(1500)에서 생성된 이미지 정보에서 이미지 픽셀에 대한 엣지 정보를 추출할 수 있다. 장애물인식부(1613)가 이미지 픽셀에 대한 엣지 정보를 추출하는 것은 수학식 1과 같은 그라디언트 산출 공식을 이용할 수 있다.
Figure 112012052905288-pat00001
각 픽셀에 대한 각도 정보를 기준으로 크기 값인 G(x,y)를 누적하고, 이를 전체 픽셀값으로 나누면 그라디언트 히스토그램(HOG, Histogram of Gradient) 값을 획득 할 수 있다.
도 3은 장애물인식부에서 이미지 정보를 이용하여 장애물을 인식할 때, 수학식 1을 적용한 결과의 일예를 나타내는 도이다.
도 3을 참조하면, 장애물인식부(1613)가 수학식 1을 이미지에 적용하면, 이미지에서 특정 물체의 윤곽선 정보가 표시됨을 볼 수 있다.
즉, 이미지 (a)에서 수학식 1을 적용하여 획득한 윤곽선 정보를 표현한 것이 (b)가 된다. 이미지 (c)에서 수학식 1을 적용하여 획득한 윤곽선 정보를 표현한 것이 (d)가 된다.
이 윤곽선 정보를 제1데이터베이스부(1619)에 저장된 수많은 보행자 이미지와 차량이미지와 비교하여 차량인지 보행자인지 여부를 판단할 수 있다.
구체적으로, 제1데이터베이스부(1619)에서 수많은 보행자 이미지 및 수많은 차량 이미지가 저장될 수 있다.
장애물 구분부(1617)는 보행자 인식부(1617a), 차량인식부(1617c) 및 노이즈인식부(1617e)를 포함할 수 있다.
보행자 인식부(1617a)가 윤곽선 정보를 제1데이터베이스부(1619)에 저장된 이미지와 비교하여 인식된 장애물이 보행자인지 여부를 판단할 수 있다. 즉, 보행자 인식부(1617a)는 윤곽선 정보와 제1데이터베이스부(1619)에 저장된 이미지와 매칭률이 기 설정된 값 이상인 경우, 해당 윤곽선의 장애물은 보행자로 인식할 수 있다.
차량인식부(1617c)는 윤곽선 정보를 제1데이터베이스부(1619)에 저장된 이미지와 비교하여 인식된 장애물이 차량인지 여부를 판단할 수 있다. 즉, 차량인식부(1617c)는 윤곽선 정보와 제1데이터베이스부(1619)에 저장된 이미지와 매칭률이 기 설정된 값 이상인 경우, 해당 윤곽선의 장애물은 차량으로 인식할 수 있다.
노이즈인식부(1617e)는 해당 인식된 장애물의 윤곽선이 제1데이터베이스부(1619)에 저장된 이미지와 기 설정된 값 이상으로 일치하는 이미지가 없는 경우, 해당 인식된 장애물은 보행자나 차량이 아닌 노이즈로 인한 것으로 판단한다. 노이즈로 판단된 경우, 주의경고부(1700)에서는 운전자 또는 다른 차량, 보행자에게 주의 경고를 위한 제어가 불필요 할 수 있다.
주행차선장애물 판단부(1615)는, 차선인식부(1611)에서 인식한 차선 정보와 장애물인식부(1613)에서 인식한 장애물에 관한 정보를 수신하여 장애물이 주행차선에 존재하는지 여부를 판단한다.
즉, 주행차선장애물 판단부(1615)는 차선인식부(1611)에서 인식한 차선 내에 장애물이 존재하지 않는 경우, 주행차선 장애물이 아닌 것으로 판단한다. 이 경우, 주의경고부(1700)는 주의 경고를 위한 제어가 불필요 할 수 있다.
다만, 주행차선장애물 판단부(1615)는 장애물 구분부(1617)에서 인식된 장애물이 차량이 아닌 보행자인 경우, 주행차선장애물 판단부(1615)에서 주행차선 장애물이 아닌 것으로 판단하더라도 주의경고부(1700)는 주의 경로를 위한 제어를 수행할 수 있다. 이러한 이유는 보행자는 차선과 나란하지 않게 움직일 수 있기 때문이다.
주의경고부(1700)는 차량간 또는 차량과 보행자 간 충돌을 방지하기 위하여 운전자. 다른 차량의 운전자 또는 보행자에게 주의 경고를 할 수 있다.
주의경고부(1700)가 수행하는 주의 경고의 예는, 경고음, 화면 표시, 안전벨트 진동 또는 자동 브레이크 등이 존재할 수 있으며, 이러한 예에 한정되는 것은 아니다. 즉, 후술될 표지판 인식부의 판단표지판 출력부(1628)의 기능을 주의경고부(1700)에서 수행할 수도 있다.
표지판 인식부(1620)는 표지판후보 선택부(1622), 제2데이터베이스부(1624), 표지판 판단부(1626) 및/또는 판단표지판 출력부(1628)를 포함한다.
표지판후보 선택부(1622)는 3D 전처리부(1400)에서 생성된 3차원 볼륨 이미지에서 표지판의 후보를 선택할 수 있다. 구체적으로는, 표지판후보 선택부(1622)는 2D/3D 정합부(1500)가 2D 이미지와 3차원 볼륨 이미지를 이용하여 관심영역의 이미지를 추출하여 표지판 판단에 이용하기 전에 3D 전처리부(1400)에서 생성된 3차원 볼륨 이미지에서 표지판의 후보를 선택할 수 있다.
보다, 구체적으로, 표지판후보 선택부(1622)는 표지판의 경우, 금속성 물체인바, 인텐시티 값이 기 설정된 값 이상인 경우, 표지판일 확률이 높은 것으로 보아 표지판 후보로 선택할 수 있다.
표지판은 교통표지판일 수 있으며, 반드시 이에 한정되는 것은 아니다.
표지판 판단부(1626)는 라인 엣지 추출 방법을 이용하여 3차원 볼륨 이미지에서 선택된 표지판 후보 이미지 또는 표지판 후보 이미지에서 추출된 관심영역에서 표지판 부분을 추출한다.
도 4는 본 발명에 따른 안전운전 지원 장치의 표지판 판단부가 이미지에서 표지판 부분을 추출하는 방법의 일 예를 설명하기 위한 도이다.
도 4를 참조하면, 표지판 판단부(1626)가 추출하는 표지판은 일반적으로 네모, 세모, 동그라미의 모양이다. 따라서, 표지판 판단부(1626)는 컨볼루션(Convolution)연산을 이용하여 0도, 45도, 90도 및 135도 각도를 이루는 라인 엣지를 추출한다. 표지판 판단부(1626)는 컨볼루션 연산값이 기 설정된 임계값(Threshold)보다 높으면 표지판 후보 이미지 또는 표지판 후보 이미지에서 추출된 관심영역 이미지가 라인 성분을 강하게 가지고 있는 것으로 판단할 수 있다.
이러한 경우, 표지판 판단부(1626)는 추출된 라인 성분을 기반으로 형성된 이미지와 제2데이터베이스부(1624)에 저장된 표지판 이미지와 매칭하여 표지판의 종류를 판단할 수 있다.
제2데이터베이스부(1624)는 각종 표지판의 이미지를 저장하고 있다.
도 5는 본 발명에 따른 안전운전 지원 장치의 제2데이터베이스부가 저장하고 있는 표지판 이미지의 예를 설명하는 도이다.
제2데이터베이스부(1624)가 저장하고 있는 표지판의 이미지는 도 5에 한정되는 것은 아니며, 현재 존재하고 있는 모든 표지판의 이미지를 저장할 수 있다.
표지판 판단부(1626)에서 판단된 표지판은 차량에 구비된 디스플레이 상에 출력될 수 있으며, 출력되는 이미지는 추출된 라인 성분을 기반으로 형성된 이미지 또는 매칭된 제2데이터베이스부(1624)에 저장된 표지판 이미지일 수 있다.
본 발명에 따른 안전운전 지원 장치(100)는 주행차선에 있는 차량과 다른 차선에 있는 차량을 구분할 수 있어 충돌 방지 기능을 수행 할 수 있다.
또한, 본 발명에 따른 안전운전 지원 장치(100)는 차량뿐만 아니라 보행자도 인식 가능한바 보행자와의 충돌을 방지할 수 있다.
본 발명에 따른 안전운전 지원 장치(100)는 보다 높은 정확도로 표지판을 인식하고 표지판의 종류를 파악할 수 있다.
도 6은 본 발명의 바람직한 실시예에 따른 안전운전 지원 방법을 설명하는 흐름도이다.
도 6을 참조하면, 카메라정보 수신부(1100)가 2D 영상정보인 카메라 정보를 수신한다(S605 단계).
카메라정보 수신부(1100)에서 수신된 카메라 정보는 영상신호처리부(1300)에서 사이즈와 포맷 변경이 이루어지며, 화질개선작업도 수행될 수 있다(S610 단계)
라이더정보 수신부(1200)는 라이더에서 수집된 라이더 정보를 수신한다(S615 단계).
3D 전처리부(1400)는 라이더정보 수신부(1200)에서 라이더가 수집한 정보를 전송받아 인텐시티 정보 및 깊이 정보를 생성하고, 생성된 인텐시티 정보 및 깊이 정보를 이용하여 3D 볼륨 이미지를 생성한다(S620 단계).
장애물 구분인식부(1610)의 차선인식부(1611)는 카메라 정보를 이용하여 차량의 주행 차선을 인식할 수 있다(S625 단계).
표지판후보 선택부(1622)는 생성된 3D 볼륨 이미지 중 표지판이 포함된 이미지가 될 가능성이 있는 이미지를 선택할 수 있다(S630 단계).
2D/3D 정합부(1500)는 2D 영상정보인 카메라 정보와 3D 볼륨 이미지를 이용하여 관심영역을 추출한다(S635 단계). 2D/3D 정합부(1500)는 표지판후보 선택부(1622)에서 선택된 이미지에서 관심영역을 추출할 수도 있다. 관심영역이란, 장애물인지 파악할 필요성이 있는 영역 등을 의미할 수 있다.
표지판 판단부(1626)는 관심영역 이미지에서 표지판 모양을 추출하고 각종 표지판 이미지가 저장된 제2데이터베이스부(1624)에 저장된 이미지와 비교하여 표지판 종류를 판단한다(S640 단계).
판단표지판 출력부(1628)는 표지판 판단부(1626)에서 판단된 표지판 정보를 디스플레이에 출력할 수 있다(S645 단계).
장애물 구분인식부(1610)는 차선인식부(1611)에서 인식된 차선 정보, 3D 볼륨 이미지 및/또는 관심영역 이미지를 이용하여 장애물의 존재를 인식하고, 장애물이 주행차선에 존재하는지를 판단할 수 있으며, 장애물이 보행자인지 차량인지를 구분하여 인식할 수 있다(S650 단계).
주의경고부(1700)는 장애물 구분 인식에 기반하여 보행자, 차량 또는 운전자에게 주의경고를 할 수 있다(S655 단계).
본 발명의 바람직한 실시예에 따른 장애물 구분 인식 장치(100) 및 표지판 인식 장치(400)의 블록도는 발명의 원리를 구체화하는 예시적인 개념적 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도는 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.
프로세서 또는 이와 유사한 개념으로 표시된 기능 블록을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.
또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 차량의 카메라가 수집한 정보를 수신하는 카메라정보 수신부;
    라이더가 수집한 정보를 수신하는 라이더정보 수신부; 및
    상기 카메라정보 수신부 및 상기 라이더정보 수신부에서 수신한 정보를 이용하여 상기 수신한 정보에 포함된 물체에 관한 정보를 인식하는 정보인식부를 포함하되,
    상기 카메라정보 수신부에서 수신한 정보의 사이즈 및 포맷을 변경하고, 화질을 개선하는 영상신호처리부;
    상기 라이더정보 수신부에서 수신한 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 인텐시티 정보와 깊이 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리부; 및
    상기 영상신호처리부에서 전송받은 2D영상 정보와 상기 3D 전처리부에서 전송받은 3차원 이미지를 이용하여 관심영역의 이미지를 추출하는 2D/3D 정합부를 더 포함하며,
    상기 정보인식부는, 상기 영상신호처리부, 3D 전처리부 및 2D/3D 정합부에서 각각 수신한 정보에 포함된 물체 중 상기 차량의 주행에 장애가 되는 물체에 관한 정보를 인식하고, 상기 차량이 주행하고 있는 차선을 인식하는 장애물 구분인식부를 포함하며,
    상기 장애물 구분인식부에서 인식된 장애물이 주행 차선에 존재한다고 판단된 경우 다른 차량의 운전자 또는 보행자에게 주의 경고를 수행하는 주의경고부;를 더 포함하고,
    상기 주의경고부는, 상기 장애물 구분인식부에서 장애물이 주행 차선에 존재하지 않는다고 판단된 경우 주의 경고를 위한 제어를 수행하지 않으며,
    상기 주의경고부는, 상기 장애물 구분인식부에서 인식된 장애물이 보행자인 경우 주행 차선에 존재하는 장애물이 아닌 것으로 판단되더라도 주의 경고를 위한 제어를 수행하되,
    상기 장애물 구분인식부는,
    상기 인식된 장애물을 보행자, 차량 또는 노이즈(Noise) 중 어느 하나인 것으로 판단하는 장애물 구분부; 및 복수개의 보행자 이미지 및 차량 이미지를 저장하고 있는 제1데이터베이스부;를 포함하고,
    상기 장애물 구분부는,
    카메라 정보와 상기 생성된 3차원 이미지를 이용하여 그라디언트(Gradient)를 산출하고, 산출된 그라디언트를 이용하여 상기 3차원 이미지에서 엣지정보를 획득하고, 상기 엣지정보를 이용하여 상기 인식된 장애물의 윤곽선 정보를 획득한 후, 상기 윤곽선 정보를 상기 제1데이터베이스부에 저장된 이미지와 매칭하여 상기 인식된 장애물을 보행자, 차량 또는 노이즈(Noise) 중 어느 하나인 것으로 판단하며,
    상기 장애물 구분부는,
    상기 윤곽선 정보를 상기 제1데이터베이스부에 저장된 이미지와 비교하여, 상기 윤곽선 정보와 상기 제1데이터베이스부에 저장된 이미지와의 매칭률이 기 설정된 값 이상인 경우 해당 윤곽선의 장애물을 보행자 또는 차량으로 인식하고, 해당 인식된 장애물의 윤곽선과 상기 제1데이터베이스부에 저장된 이미지와의 매칭률이 기 설정된 값 이상으로 일치하지 않는 경우, 해당 인식된 장애물은 노이즈인 것으로 판단하는 것을 특징으로 하는 안전운전 지원 장치.
  2. 제 1 항에 있어서,
    상기 장애물 구분인식부는,
    상기 카메라정보 수신부에서 수신한 정보를 이용하여 상기 차량이 주행하고 있는 차선을 포함한 차선을 인식하는 차선인식부;
    상기 카메라정보 수신부 및 상기 라이더정보 수신부에서 수신한 정보를 이용하여 장애물을 인식하는 장애물 인식부; 및
    상기 인식된 장애물이 상기 차선인식부에서 인식된 상기 주행하고 있는 차선에 존재하는 장애물인지를 판단하는 주행차선장애물 판단부를 포함하는 것을 특징으로 하는 안전운전 지원 장치.
  3. 삭제
  4. 삭제
  5. 제 2 항에 있어서,
    상기 주의경고부는,
    소리, 화면 표시, 차량의 안전벨트 진동 또는 차량의 브레이크 제어 중 적어도 어느 하나를 통해 주의 경고를 수행하는 것을 특징으로 하는 안전운전 지원 장치.
  6. 제 1 항에 있어서,
    상기 정보인식부는,
    상기 수신한 정보에 포함된 물체 중 표지판에 관한 정보를 인식하는 표지판 인식부를 포함하며,
    상기 표지판 인식부는,
    상기 카메라정보 수신부 및 상기 라이더정보 수신부에서 수신한 정보를 이용하여 표지판으로 추측되는 이미지를 선택하는 표지판후보 선택부;
    복수개의 표지판 이미지가 저장된 제2데이터베이스부; 및
    상기 표지판후보 선택부에서 선택된 이미지와 상기 제2데이터베이스부에 저장된 상기 표지판 이미지를 매칭하여 상기 선택된 이미지의 표지판 종류를 판단하는 표지판 판단부를 포함하는 것을 특징으로 하는 안전운전 지원 장치.
  7. 제 6 항에 있어서,
    상기 표지판 판단부는,
    상기 3차원 이미지의 라인 엣지를 추출하여 표지판 부분으로 추측되는 부분을 판단하고, 상기 판단된 표지판 부분과 상기 제2데이터베이스부에 저장된 상기 표지판 이미지를 매칭하여 상기 선택된 이미지의 표지판 종류를 판단하는 것을 특징으로 하는 안전운전 지원 장치.
  8. 차량의 카메라가 수집한 정보를 수신하는 카메라정보 수신단계;
    라이더가 수집한 정보를 수신하는 라이더정보 수신단계; 및
    상기 카메라정보 수신단계 및 라이더정보 수신단계에서 수신한 정보를 이용하여 상기 수신한 정보에 포함된 물체에 관한 정보를 인식하는 정보인식단계를 포함하되,
    상기 카메라정보 수신단계에서 수신한 정보의 사이즈 및 포맷을 변경하고, 화질을 개선하는 영상신호처리단계;
    상기 라이더정보 수신단계에서 수신한 정보를 이용하여 인텐시티(Intensity) 정보와 깊이(Depth) 정보를 생성하고, 상기 생성된 인텐시티 정보와 깊이 정보를 이용하여 3차원 이미지를 생성하는 3D 전처리단계; 및
    상기 영상신호처리단계에서 전송받은 2D영상 정보와 상기 3D 전처리단계에서 전송받은 3차원 이미지를 이용하여 관심영역의 이미지를 추출하는 2D/3D 정합단계를 더 포함하며,
    상기 정보인식단계는, 상기 영상신호처리단계, 3D 전처리단계 및 2D/3D 정합단계에서 각각 수신한 정보에 포함된 물체 중 상기 차량의 주행에 장애가 되는 물체에 관한 정보를 인식하고, 상기 차량이 주행하고 있는 차선을 인식하는 장애물 구분인식단계를 포함하며,
    상기 장애물 구분인식단계에서 인식된 장애물이 주행 차선에 존재한다고 판단된 경우 다른 차량의 운전자 또는 보행자에게 주의 경고를 수행하는 주의경고단계;를 더 포함하고,
    상기 주의경고단계는,
    상기 장애물 구분인식단계에서 장애물이 주행 차선에 존재하지 않는다고 판단된 경우 주의 경고를 위한 제어를 수행하지 않는 단계; 및
    상기 장애물 구분인식단계에서 인식된 장애물이 보행자인 경우 주행 차선에 존재하는 장애물이 아닌 것으로 판단되더라도 주의 경고를 위한 제어를 수행하는 단계;를 포함하되,
    상기 장애물 구분인식단계는,
    상기 인식된 장애물을 보행자, 차량 또는 노이즈(Noise) 중 어느 하나인 것으로 판단하는 장애물 구분 단계;를 포함하며,
    상기 장애물 구분 단계는,
    카메라 정보와 상기 생성된 3차원 이미지를 이용하여 그라디언트(Gradient)를 산출하고, 산출된 그라디언트를 이용하여 상기 3차원 이미지에서 엣지정보를 획득하고, 상기 엣지정보를 이용하여 상기 인식된 장애물의 윤곽선 정보를 획득한 후, 상기 윤곽선 정보를, 복수개의 보행자 이미지 및 차량 이미지를 저장하고 있는 제1데이터베이스부에 저장된 이미지와 매칭하여 상기 인식된 장애물을 보행자, 차량 또는 노이즈(Noise) 중 어느 하나인 것으로 판단하며,
    상기 장애물 구분 단계는,
    상기 윤곽선 정보를 상기 제1데이터베이스부에 저장된 이미지와 비교하여, 상기 윤곽선 정보와 상기 제1데이터베이스부에 저장된 이미지와의 매칭률이 기 설정된 값 이상인 경우 해당 윤곽선의 장애물을 보행자 또는 차량으로 인식하고, 해당 인식된 장애물의 윤곽선과 상기 제1데이터베이스부에 저장된 이미지와의 매칭률이 기 설정된 값 이상으로 일치하지 않는 경우, 해당 인식된 장애물은 노이즈인 것으로 판단하는 것을 특징으로 하는 안전운전 지원 방법.
  9. 제 8 항에 있어서,
    상기 장애물 구분인식단계는,
    상기 카메라정보 수신단계에서 수신한 정보를 이용하여 상기 차량이 주행하고 있는 차선을 포함한 차선을 인식하는 차선인식단계;
    상기 카메라정보 수신단계 및 라이더정보 수신단계에서 수신한 정보를 이용하여 장애물을 인식하는 장애물 인식단계; 및
    상기 인식된 장애물이 상기 차선인식단계에서 인식된 상기 주행하고 있는 차선에 존재하는 장애물인지를 판단하는 주행차선장애물 판단단계를 포함하는 것을 특징으로 하는 안전운전 지원 방법.
  10. 제 8 항에 있어서,
    상기 정보인식단계는,
    상기 수신한 정보에 포함된 물체 중 표지판에 관한 정보를 인식하는 표지판 인식단계를 포함하며,
    상기 표지판 인식단계는,
    상기 카메라정보 수신단계 및 라이더정보 수신단계에서 수신한 정보를 이용하여 표지판으로 추측되는 이미지를 선택하는 표지판후보 선택단계; 및
    상기 표지판후보 선택단계에서 선택된 이미지를 복수개의 표지판 이미지가 저장된 제2데이터베이스부에 저장된 이미지와 매칭하여 상기 선택된 이미지의 표지판 종류를 판단하는 표지판 판단단계를 포함하는 것을 특징으로 하는 안전운전 지원 방법.
KR1020120071927A 2012-07-02 2012-07-02 안전운전 지원 장치 및 방법 KR102051397B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120071927A KR102051397B1 (ko) 2012-07-02 2012-07-02 안전운전 지원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071927A KR102051397B1 (ko) 2012-07-02 2012-07-02 안전운전 지원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140004413A KR20140004413A (ko) 2014-01-13
KR102051397B1 true KR102051397B1 (ko) 2020-01-09

Family

ID=50140407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071927A KR102051397B1 (ko) 2012-07-02 2012-07-02 안전운전 지원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102051397B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016060384A1 (ko) * 2014-10-17 2016-04-21 전자부품연구원 다중 카메라와 레이더 센서 정보를 이용한 파노라믹 차량 상황 정보 제공 방법 및 장치
KR101751838B1 (ko) * 2015-08-21 2017-07-19 대우조선해양 주식회사 앵커 스트립이 제거된 액화가스 화물창의 인슐레이션 구조, 그 인슐레이션 구조를 구비하는 화물창, 및 그 화물창을 구비하는 액화가스 운반선
KR20170031901A (ko) 2015-09-14 2017-03-22 한화테크윈 주식회사 고속 스캐닝 장치를 이용한 스캐닝 방법
CN105403227B (zh) * 2015-12-15 2019-06-25 招商局重庆交通科研设计院有限公司 一种安全导航方法及***
KR101960417B1 (ko) * 2017-09-26 2019-03-20 (주)에이치브레인 객체인식률을 높인 융합센서 및 이를 구비한 차량 안전지원 시스템
KR102195040B1 (ko) * 2019-06-27 2020-12-28 주식회사 모빌테크 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
KR102604054B1 (ko) * 2021-06-14 2023-11-20 주식회사 엠씨넥스 차량 내 경보 발생 장치
CN114739384A (zh) * 2022-03-04 2022-07-12 净豹智能机器人(台州)有限公司 一种快速特征估计的无人驾驶车辆定位***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000346653A (ja) * 1999-06-01 2000-12-15 Matsushita Electric Ind Co Ltd 車両走行支援方法及び車両走行支援装置
JP2005145282A (ja) * 2003-11-17 2005-06-09 Toyota Motor Corp 車両走行支援装置
JP2006004188A (ja) * 2004-06-17 2006-01-05 Daihatsu Motor Co Ltd 障害物認識方法及び障害物認識装置
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛
JP2011188094A (ja) * 2010-03-05 2011-09-22 Toyota Central R&D Labs Inc 物体認識装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000346653A (ja) * 1999-06-01 2000-12-15 Matsushita Electric Ind Co Ltd 車両走行支援方法及び車両走行支援装置
JP2005145282A (ja) * 2003-11-17 2005-06-09 Toyota Motor Corp 車両走行支援装置
JP2006004188A (ja) * 2004-06-17 2006-01-05 Daihatsu Motor Co Ltd 障害物認識方法及び障害物認識装置
JP2011188094A (ja) * 2010-03-05 2011-09-22 Toyota Central R&D Labs Inc 物体認識装置及びプログラム
KR101030763B1 (ko) * 2010-10-01 2011-04-26 위재영 이미지 획득 유닛, 방법 및 연관된 제어 유닛

Also Published As

Publication number Publication date
KR20140004413A (ko) 2014-01-13

Similar Documents

Publication Publication Date Title
KR102051397B1 (ko) 안전운전 지원 장치 및 방법
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
EP2889641B1 (en) Image processing apparatus, image processing method, program and image processing system
EP3258214B1 (en) Object detection device
US10580155B2 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
JP5441549B2 (ja) 道路形状認識装置
JP6819996B2 (ja) 交通信号認識方法および交通信号認識装置
WO2018153211A1 (zh) 获取交通路况信息的方法及装置、计算机存储介质
KR20140006462A (ko) 안전운전 지원 장치 및 방법
US10940856B2 (en) Driving assistance system
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
KR101240499B1 (ko) 실시간 차선 인식 및 차량 검출 장치 및 방법
JP6358552B2 (ja) 画像認識装置および画像認識方法
US20140347484A1 (en) Apparatus and method for providing surrounding environment information of vehicle
JP2015195018A (ja) 画像処理装置、画像処理方法、運転支援システム、プログラム
KR20160087273A (ko) 차량 안전 주행 장치
US10546383B2 (en) Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
JP6129268B2 (ja) 車両用運転支援システムおよび運転支援方法
US9870513B2 (en) Method and device for detecting objects from depth-resolved image data
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
KR20200045696A (ko) 주행 정보를 결정하는 방법 및 장치
EP3432264A1 (en) Image processing device, image pickup device, mobile-body apparatus control system, image processing method, and program
US20190244041A1 (en) Traffic signal recognition device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant