KR20160143247A - 차량 주변의 위험요소 경고장치 및 경고방법 - Google Patents

차량 주변의 위험요소 경고장치 및 경고방법 Download PDF

Info

Publication number
KR20160143247A
KR20160143247A KR1020150079679A KR20150079679A KR20160143247A KR 20160143247 A KR20160143247 A KR 20160143247A KR 1020150079679 A KR1020150079679 A KR 1020150079679A KR 20150079679 A KR20150079679 A KR 20150079679A KR 20160143247 A KR20160143247 A KR 20160143247A
Authority
KR
South Korea
Prior art keywords
vehicle
warning
lane
distance
top view
Prior art date
Application number
KR1020150079679A
Other languages
English (en)
Other versions
KR101729030B1 (ko
Inventor
이재민
조상현
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to KR1020150079679A priority Critical patent/KR101729030B1/ko
Publication of KR20160143247A publication Critical patent/KR20160143247A/ko
Application granted granted Critical
Publication of KR101729030B1 publication Critical patent/KR101729030B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따르면, 차량 주변의 위험요소 경고장치 및 방법이 개시된다. 본 발명의 위험요소 경고장치는 차량의 전후좌우에 설치된 카메라로부터 원영상 이미지를 촬영하는 카메라; 상기 촬영된 원영상 이미지를 이용하여 탑뷰(Top View) 영상을 생성하는 탑뷰 영상 생성부; 상기 탑뷰 영상을 이용하여 차선을 검출하는 차선 검출부; 상기 원영상을 이용하여 차량 주변의 위험 요소를 검출하는 위험요소 검출부; 상기 차량에 경고 신호를 제공하는 경고 발생부; 및 상기 위험요소 검출부에서 위험요소가 검출된 경우 상기 차량의 운전상황에 대응하여 상기 경고 발생부가 서로 다른 경고 신호를 제공하도록 제어하는 제어부를 포함할 수 있다.
본 발명에 따르면, 탑뷰 영상을 이용하여 차선을 보다 정확하게 검출하고, AVM 원영상을 통해 차량의 사각지대의 위험요소를 정확하게 검출할 수 있다. 또한, 본 발명은 차량과 차선간의 거리에 따른 상황에 대응되도록 경고등, 경고음을 통한 경고 및 차량의 조향 제어를 선택적으로 적절하게 수행함으로써 차량과 위험요소간의 충돌을 방지하도록 한다.

Description

차량 주변의 위험요소 경고장치 및 경고방법{APPARATUS AND METHOD FOR WARNING A DANGEROUS ELEMENT OF SURROUNDING OF VEHICLE}
본 발명의 실시예들은 차량 주변의 위험요소 경고장치 및 경고방법에 관한 것으로서, 더욱 상세하게는 주행중인 차량 주변에 위험요소가 있는 경우 차량의 운전 상황에 대응하여 적절한 경고 신호를 차량에 제공할 수 있는 차량 주변의 위험요소 경고장치 및 경고방법에 관한 것이다.
종래의 차량 주변의 위험요소를 경고하는 방법은, 차량의 후면 범퍼에 장착된 센서를 이용하여 사각지대의 물체를 검출하고, 사이드 미러 A-필러(pillar) 또는 계기판 등에 경고등(Lamp)을 통해 알림을 준다.
이와 같은 알림의 경우, 자기 차량에 대한 정보가 없어 상대방의 차량과 자기 차량간의 거리만 판단하여 위험하다는 표시만 해주는 문제가 있다.
또한, 상기 센서를 이용한 위험 경고는 차량 주행 중 차선 변경을 하는 경우, 차량의 사각지대에 있는 위험요소 등을 정확하게 검출하지 못하는 문제가 있었다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 주행중인 차량 주변에 위험요소가 있는 경우 차량의 운전 상황에 대응하여 적절한 경고 신호를 차량에 제공할 수 있는 차량 주변의 위험요소 경고장치 및 경고방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 차량의 전후좌우에 설치된 카메라로부터 원영상 이미지를 촬영하는 카메라; 상기 촬영된 원영상 이미지를 이용하여 탑뷰(Top View) 영상을 생성하는 탑뷰 영상 생성부; 상기 탑뷰 영상을 이용하여 차선을 검출하는 차선 검출부; 상기 원영상을 이용하여 차량 주변의 위험 요소를 검출하는 위험요소 검출부; 상기 차량에 경고 신호를 제공하는 경고 발생부; 및 상기 위험요소 검출부에서 위험요소가 검출된 경우 상기 차량의 운전상황에 대응하여 상기 경고 발생부가 서로 다른 경고 신호를 제공하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치가 제공된다.
상기 경고 신호는 경고등 및 경고음을 포함하며, 상기 제어부는 상기 위험요소 검출부에서 위험요소가 검출된 경우, 상기 경고 발생부가 상기 경고등을 통해 상기 차량에 경고 신호를 제공하도록 제어할 수 있다.
상기 제어부는 상기 차량과 상기 차선과의 거리를 계산하며, 상기 차량이 특정 차선과 가까워 지면서, 상기 특정 차선 방향에 위험요소가 있는 것으로 판단되는 경우, 상기 경고 발생부가 상기 경고음을 통해 상기 차량에 경고 신호를 제공하도록 제어할 수 있다.
상기 제어부는 상기 차량과 상기 특정 차선과의 거리가 제1 기 설정된 거리 이하가 되는 경우, 상기 경고 발생부에서 발생하는 경고음의 주기를 짧게 하거나 소리가 커지도록 제어할 수 있다.
상기 차량의 핸들의 방향을 제어하는 조향 제어부를 더 포함하되,
상기 제어부는 상기 차량과 상기 차선과의 거리가 제2 기 설정된 거리 이하가 되는 경우, 상기 차량이 차선 중앙에 위치하도록 상기 조향 제어부를 제어할 수 있다.
상기 차량의 속도를 감지하는 속도 감지부를 더 포함하되, 상기 제어부는 상기 차량의 속도가 기 설정된 속도 미만이면서, 상기 차량과 특정 차선간의 거리가 가까워지는 경우, 상기 경고 발생부에서 상기 경고등을 통해 상기 차량에 경고 신호를 제공하도록 제어할 수 있다.
상기 차선 검출부는 상기 탑뷰 영상에서 에지 정보를 추출하고, 상기 추출된 에지 정보를 이용하여 차선을 검출하고, 상기 제어부는 상기 탑뷰 영상에서의 가상의 차량의 외곽선과 상기 차선간의 수평거리를 이용하여 상기 차량과 상기 차선간의 거리를 추출할 수 있다.
상기 위험요소 검출부는 상기 원영상에서 모션 정보를 추출하고, 추출된 모션 정보 중 차량 진행 모션과 속도가 다른 이상 모션 영역을 검출하고, 상기 모션 영역이 기 설정된 영역의 크기 이상이면 위험 요소가 있는 것으로 검출할 수 있다.
상기 위험요소 검출부는 상기 원영상 중 상기 차량의 좌측 및 우측에 설치된 카메라를 통해 획득된 원영상에서 사각지대 영역을 특정하고, 상기 특정된 사각지대 영역에서 모션 정보를 추출할 수 있다.
상기 위험요소 검출부는 탑뷰 영상을 더 이용하여 차량 주변의 위험요소를 검출하며,
상기 제어부는 상기 차량과 상기 차선과의 거리를 계산하며, 상기 차량이 특정 차선과 가까워 지면서, 상기 원영상으로부터만 위험요소가 검출된 경우 상기 경고 발생부가 상기 경고등을 통해 상기 차량에 경고하도록 제어하며, 상기 원영상 및 탑뷰 영상으로부터 위험요소가 검출된 경우 상기 경고 발생부가 상기 경고음을 통해 상기 차량에 경고하도록 제어할 수 있다.
본 발명의 다른 실시예에 따르면, 차량의 전후좌우에 설치된 카메라로부터 촬영된 원영상을 이용하여 생성된 탑뷰 영상으로부터 차선을 검출하고, 상기 차량과 차선간의 거리를 계산하는 단계(a); 상기 원영상의 사각지대 영역의 이미지를 분석하여 차량의 사각지대의 위험요소를 검출하는 단계(b); 상기 위험 요소가 검출되며, 상기 차량과 차선간의 거리가 유지되는 경우 경고등을 통하여 상기 차량에 경고하는 단계(c); 상기 위험 요소가 검출되며, 상기 차량과 특정 차선간의 거리가 가까워 지는 경우, 경고음을 통하여 상기 차량에 경고하는 단계(d); 및 상기 차량과 상기 특정 차선간의 거리가 제1 기 설정된 거리 미만이 되는 경우 상기 경고음의 주기를 짧게 하거나 소리를 크게 하는 단계(e)를 포함하는 것을 특징으로 하는 차량 주변의 위험 경고방법이 제공될 수 있다.
본 발명에 따르면, 탑뷰 영상을 이용하여 차선을 보다 정확하게 검출하고, AVM 원영상을 통해 차량의 사각지대의 위험요소를 정확하게 검출할 수 있다.
또한, 본 발명은 차량과 차선간의 거리에 따른 상황에 대응되도록 경고등, 경고음을 통한 경고 및 차량의 조향 제어를 선택적으로 적절하게 수행함으로써 차량과 위험요소간의 충돌을 방지하도록 한다.
도 1은 본 발명의 일 실시예에 따른 차량의 위험요소 경고장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라로부터 획득된 원영상, 원영상으로부터 생성된 탑뷰 영상의 일례를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따라 영상으로부터 검출된 차선의 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량의 좌우측에 설치된 카메라로부터 획득된 원영상 중 사각지대 영역이 특정된 일례를 도시한 도면이다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 주행 중인 차량의 운전 상황에 따른 경고방법을 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 차량 주변의 위험요소 경고방법의 일련의 과정을 도시한 순서도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 이하의 설명에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 도면에서 본 발명과 관계없는 부분은 본 발명의 설명을 명확하게 하기 위하여 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.
이하, 첨부된 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 차량 주변의 위험요소 경고장치를 도시한 블록도이다.
도 1을 참조하면, 차량 주변의 위험요소 경고장치(100)는 카메라(101), 탑뷰 영상 생성부(103), 차선 검출부(105), 위험요소 검출부(107), 속도 감지부(109), 경고 발생부(111), 조향 제어부(113) 및 제어부(115)를 포함할 수 있다.
카메라(101)는 차량의 전후좌우에 각각 설치되어 차량 주변의 영상을 획득한다. 여기서, 카메라(101)는 차량의 주행환경을 모니터링 하는 어안렌즈(fish eyes lens) 카메라로 구현될 수 있으나, 이에 한정되는 것은 아닐 것이다.
즉, 도 2에 도시된 바와 같이 차량의 전방에 설치되는 카메라(101)로부터 차량의 진행 방향에 대한 AVM(Around View Monitoring) 원영상을 획득할 수 있고, 차량의 후방에 설치되는 카메라(101)로부터 차량의 진행방향과 반대되는 방향에 대한 AVM 영상을 획득할 수 있다. 또한, 차량의 좌우에 설치되는 카메라(101)로부터 차량이 주행중인 노면을 촬영한 AVM 원영상을 획득할 수 있다.
어안렌즈는 사각이 180°를 넘는 초광각 렌즈로서, 도 2에 도시된 바와 같이 어안렌즈를 통해 획득된 AVM 원영상은 영상의 왜곡이 심하다. 따라서, AVM 원영상을 통해서는 차선의 정확한 검출이 어려운 문제가 있다.
따라서, 정확한 차선의 검출을 위해, 탑뷰 영상 생성부(103)는 차량의 전후좌우에 설치된 카메라(101)로부터 획득된 4개의 AVM 원영상을 이용하여 도 2에 도시된 바와 같이 탑뷰(Top View)영상을 생성한다.
여기서, 탑뷰 영상이란 차량의 전후좌우에서 획득된 AVM 원영상이 통합되어 한 화면으로 보여지는 영상으로서, 전후좌우에 각각 설치된 카메라(101)들의 위치가 다르고, 지향 방향이 다르며, 지면과의 거리 또한 다르기 때문에, 탑뷰 영상 생성부(103)는 영상 처리를 통해 AVM 원영상들의 왜곡을 보정하여 탑뷰 영상을 생성한다. 일례로, 탑뷰 영상 생성부(130)는 원영상의 휘도 및 색상 편차에 대한 보정, 어안렌즈에의 렌즈 왜곡 보상, 원근감에 대한 편차 보상, 시점 변환 등을 통해 4개의 AVM 원영상을 하나의 탑뷰 영상으로 변환할 수 있을 것이다.
차선 검출부(105)는 탑뷰 영상 생성부(103)를 통해 성성된 탑뷰 영상을 통하여 차선을 검출한다.
보다 상세하게, 차선 검출부(105)는 탑뷰 영상의 영상 처리를 수행하여 차선을 검출할 수 있다. 일례로, 차선과 도로는 항상 주변보다 큰 밝기 차이를 가지므로, 탑뷰 영상에서 밝기 값의 차이가 큰 에지 정보를 추출하고, 추출된 에지 정보 및 직선 방정식을 이용하여 차선을 검출할 수 있을 것이나, 이에 한정되지 않으며, 차선을 검출하기 위한 다양한 영상 처리 기법이 적용될 수 있을 것이다.
도 3은 본 발명의 일 실시예에 따라, 차선 검출부에서 검출된 차선 영상의 일례를 도시한 도면이다.
도 3을 참조하며, 도 3(a)는 탑뷰 영상에서 검출된 차선의 일례를 도시한 도면이며, 도 3(b)는 차량의 우측에 설치된 카메라를 통해 획득된 AVM 원영상에서 검출된 차선의 일례를 도시한 도면이다.
도 3(a)에서 알 수 있는 바와 같이 탑뷰 영상의 경우 AVM 원영상의 왜곡을 보정한 영상이므로, 차량과 차선간의 거리(D)가 일정하게 표시되는 반면에, 도 3(b)의 경우 AVM 원영상의 왜곡으로 인해, 차량과 차선간의 거리(D)가 일정하게 표시되지 않는 것을 확인할 수 있다.
따라서, 본 발명은 차량과 차선간의 거리를 보다 명확하게 산출하기 위해 탑뷰 영상에서 차선을 검출하는 것을 특징으로 한다.
위험 요소 검출부(107)는 AVM 원영상을 이용하여 차량의 주변의 위험요소를 검출한다.
일례로, 위험 요소 검출부(107)는 AVM 원영상의 프레임 별 이지미에서의 픽셀 변화를 이용하여, 모션 정보를 추출하고, 추출된 모션 정보 중 차량의 진행 모션과 속도가 다른 이상 모션 영역을 검출하고, 상기 모션 영역이 기 설정된 영역의 크기 이상이면 위험요소가 있는 것으로 검출할 수 있다.
본 발명에서, 위험 요소 검출부(107)가 AVM 원영상을 이용하여 위험요소를 검출하는 이유는, 탑뷰 영상의 경우 탑뷰 영상이 생성되는 과정에서 원영상의 왜곡을 보정하기 위해 원영상의 일부 영역의 이미지들이 삭제되기 때문이다. 즉, 탑뷰 영상은 차량 주변의 일정 영역만을 표시하므로 탑뷰 영역을 벗어난 위치의 위험요소는 검출할 수 없다. 따라서, 본 발명에서는 AVM 원영상을 이용해 탑뷰 영역을 벗어난 위험 요소를 검출하여 차량의 위험요소를 보다 정확하게 검출한다.
도 4는 본 발명의 일 실시예에 따라 차량의 좌우 측면에서 설치된 카메라로부터 획득된 원영상의 일례를 도시한 도면이다.
도로를 주행중인 운전자에게 시야가 불량한 측면부분인 사각지대가 존재한다. 따라서, 본 발명의 일 실시예에 따르면, 위험 요소의 검출 속도를 높이기 위해, 도 4에서와 같이 상기 차량의 좌측 및 우측에 설치된 카메라를 통해 획득된 원영상에서 사각지대 영역을 특정하고, 상기 특정된 사각지대 영역의 프레임 별 이미지에서 모션 정보를 추출할 수 있다. 즉, 원영상 이미지 전체에서 모션 정보를 추출하는 것이 아닌, 사각지대 영역 내의 이미지들의 픽셀변화를 이용하여 모션 정보를 추출함으로써, 위험요소의 검출 속도를 높일 수 있다.
속도 감지부(109)는 차량의 속도를 감지하는 부분으로서, GPS 모듈 또는 차량에 내장된 속도계로부터 속도 정보를 획득할 수 있다.
경고 발생부(105)는 차량에 경고 신호를 제공한다. 경고 발생부(105)는 경고등 및 경고음을 발생시키는 스피커등의 구성을 포함할 수 있으며 제어부(105)의 제어에 따라 경고등 및 경고음을 통해 차량의 주변에 위험 요소가 있는 경우 경고 신호를 제공할 수 있다.
조향 제어부(113)는 제어부(115)의 제어 신호에 따라 차량의 핸들 방향을 제어함으로써, 차량과 위험요소간의 충돌을 방지하도록 한다.
제어부(115)는 차량의 위험요소 경고장치(100)에 포함된 구성들을 전반적으로 제어하여, 차량 주변의 위험요소가 검출되는 경우 차량의 운전상황에 대응하여 차량의 운전자에게 경고신호를 제공할 수 있도록 한다.
제어부(115)는 도 3(a)에 도시된 바와 같이 탑뷰 영상 생성부(103)에서 생성된 탑뷰 영상에서 가상의 차량의 외곽선과 차선간의 수평거리를 이용하여 차량과 차선간의 거리를 계산할 수 있다.
본 발명의 일 실시예에 따르면, 제어부(115)는 위험요소 검출부(107)에서 위험요소가 검출된 경우, 경고 발생부(111)가 경고 신호를 제공하도록 제어한다.
보다 상세하게, 제어부(115)는 도 5에서와 같이 차량(10)이 차선간의 거리를 유지하며 운행되며, 위험요소 검출부(107)에서 차량 주변의 위험요소(20)가 검출된 경우, 경고 발생부(111)가 경고등을 통해 차량에 경고하도록 제어할 수 있다.
즉, 본 발명은 차량(10)이 차선간의 거리를 유지하며 운행하는 경우, 경고등 만으로 차량 주변에 위험요소가 있음을 경고함으로써, 운행자의 운전을 운행을 크게 방해하지 않으면서 주변에 위험요소(20)가 있음을 운전자에게 알려줄 수 있다.
또한, 제어부(115)는 도 6에서와 같이 차량(10)이 특정 차선과 가까워지면서, 특정 차선 방향에 위험 요소(20)가 있는 것으로 판단되는 경우 경고 발생부(111)가 경고음을 통해 차량에 추가로 경고하도록 제어할 수 있다.
즉, 제어부(115)는 차량(10) 주변에 위험 요소(20)가 있는 경우, 우선적으로 경고등을 통해 차량의 운전자에게 경고 신호를 제공하도록 하며, 차량(10)이 차선 변경, 졸음 운전 등으로 특정 차선과 가깝게 이동하는 경우 경고음을 통해 특정 차선 방향에 위험 요소가 있음을 적극적으로 경고할 수 있다.
또한, 제어부(115)는 차량(10)과 특정 차선과의 거리가 제1 기 설정된 거리 이하가 되는 경우, 경고 발생부(111)에서 발생하는 경고음의 주기를 짧게 하거나 소리가 커지도록 제어하여 차량(10)의 운전자에게 충돌 가능성이 있음을 보다 적극적으로 경고할 수 있다.
또한, 제어부(115)는 도 7과 같이 차량(10)과 특정 차선과의 거리가 제2 기 설정된 거리 이하가 되는 경우, 조향 제어부(113)가 핸들의 방향을 제어하여 차량이 차선의 중앙에 위치할 수 있도록 조향 제어부(113)를 제어할 수 있다.
여기서, 제2 기 설정된 거리는 제1 기 설정된 거리보다 작은 값일 수 있다. 예를 들어, 제2 기 설정된 거리의 의미는 차량이 차선에 닿는 경우를 의미할 수 있다.
즉, 제어부(115)는 차량 주변에 위험요소가 있음에도, 특정 방향으로 차량이 이동하여 충돌 위험성이 높아지는 경우, 경고음을 크게 하거나 조향 제어부(113)를 제어함으로써 차량과 위험요소가 충돌하는 것을 방지하도록 한다.
본 발명의 일 실시예에 따르면, 제어부(115)는 차량의 속도가 기 설정된 속도 미만이면서, 차선과의 거리가 기 설정된 이하인 경우, 제어부(115)는 경고 발생부(111)가 경고등을 통해 차량에 경고 신호를 제공하도록 제어할 수 있다.
차량이 저속이면서, 주변에 차량이 많은 환경에서 차량의 차선변경이 필요한 경우에는 경고음이 아닌 경고등 만으로 주변에 위험요소가 있음을 알려줌으로써, 차량 변경시의 운행에 방해가 되지 않도록 하기 위함이다.
본 발명의 다른 실시예에 따르면, 위험요소 검출부(107)는 탑뷰 영상을 더 이용하여 차량 주변의 위험요소를 검출할 수 있다. 즉, AVM 원영상 외에 탑뷰 영상을 통해서도 위험요소를 검출할 수 있다.
이 경우, 제어부(115)는 차량이 특정 차선과 가까워 지면서, 상기 원영상으로부터만 위험요소가 검출된 경우 경고 발생부(111)가 상기 경고등을 통해 상기 차량에 경고하도록 제어하며, AVM 원영상 및 탑뷰 영상으로부터 동시에 위험요소가 검출된 경우 경고 발생부(111)가 상기 경고음을 통해 상기 차량에 경고하도록 제어할 수 있다.
즉, AVM 원영상을 통해서만 위험요소가 검출되는 경우에는 경고등을 통해서만 운전자에게 경고하며, 탑뷰 영상에서도 위험요소가 검출되는 경우, 차량과 매우 인접한 위치에 위험요소가 있는 것으로 판단하여, 경고음을 통해 보다 적극적으로 운전자에게 위험요소에 대한 경고를 할 수 있도록 한다.
도 8은 본 발명의 일 실시예에 따른 차량 주변의 위험요소 경고방법의 일련의 과정을 도시한 순서도이다.
도 8을 참조하면, 우선 제어부(115)는 탑뷰 영상으로부터 추출된 차선 정보를 이용하여 차량과 차선간의 거리를 계산한다(S100).
또한, 위험 요소 검출부(107)는 AVM 원영상의 사각지대 영역의 이미지를 분석하여 차량의 사각지대에 위험 요소가 있는지를 검출(S110)한다.
이어서, 사각지대에 위험 요소가 검출된 경우 차선이 유지되고 있는지를 판단한다(S120).
만약, 차량과 차선간의 거리가 유지되고 있는 경우 제어부(115)는 경고 발생부(111)를 제어하여 경고등으로 차량의 운전자에게 주변에 위험요소가 있음을 알린다.
차량과 차선간의 거리가 유지되지 않고, 특정 차선과 차량간의 거리가 가까워지는 경우, 제어부(115)는 경고 발생부(111)를 제어하여 경고음으로 차량의 운전자에게 주변에 위험요소가 있음을 알린다(S140).
이어서, 차량과 차량이 가까워지고 있는 특정 차선간의 거리를 산출하고, 차량과 특정 차선간의 거리가 제1 기 설정된 거리 미만인 것으로 판단(S150)되는 경우 경고음 주기를 짧게 하거나 경고음의 소리를 크게 할 수 있다(S160).
또한, 차량과 차선간의 거리가 제2 기 설정된 거리 미만인 것으로 판단(S170)되는 경우, 제어부(115)는 조향 제어부(113)를 제어하여, 차량이 차선 중앙으로 오도록 제어할 수 있다. 이때, 제2 기 설정된 거리는 제1 기설정된 거리보다 작은 값을 가지며, 차량이 차선에 거의 근접하거나 차선을 밟은 경우를 의미할 수 있다.
상기에서 살펴본 바와 같이, 본 발명은 탑뷰 영상을 이용하여 차선을 보다 정확하게 검출하고, AVM 원영상을 통해 차량의 사각지대의 위험요소를 정확하게 검출할 수 있다.
또한, 본 발명은 차량과 차선간의 거리에 따른 상황에 대응되도록 경고등, 경고음을 통한 경고 및 차량의 조향 제어를 선택적으로 적절하게 수행함으로써 차량과 위험요소간의 충돌을 방지하도록 한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
100: 차량 주변의 위험 요소 경고장치
101: 카메라 103: 탑뷰 영상 생성부
105: 차선 검출부 107: 위험요소 검출부
109: 속도 감지부 111: 경고 발생부
113: 조향 제어부 115: 제어부

Claims (14)

  1. 차량의 전후좌우에 설치된 카메라로부터 원영상 이미지를 촬영하는 카메라;
    상기 촬영된 원영상 이미지를 이용하여 탑뷰(Top View) 영상을 생성하는 탑뷰 영상 생성부;
    상기 탑뷰 영상을 이용하여 차선을 검출하는 차선 검출부;
    상기 원영상을 이용하여 차량 주변의 위험 요소를 검출하는 위험요소 검출부;
    상기 차량에 경고 신호를 제공하는 경고 발생부; 및
    상기 위험요소 검출부에서 위험요소가 검출된 경우 상기 차량의 운전상황에 대응하여 상기 경고 발생부가 서로 다른 경고 신호를 제공하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  2. 제1항에 있어서,
    상기 경고 신호는 경고등 및 경고음을 포함하며,
    상기 제어부는 상기 위험요소 검출부에서 위험요소가 검출된 경우, 상기 경고 발생부가 상기 경고등을 통해 상기 차량에 경고 신호를 제공하도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  3. 제2항에 있어서,
    상기 제어부는 상기 차량과 상기 차선과의 거리를 계산하며, 상기 차량이 특정 차선과 가까워 지면서, 상기 특정 차선 방향에 위험요소가 있는 것으로 판단되는 경우, 상기 경고 발생부가 상기 경고음을 통해 상기 차량에 경고 신호를 제공하도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  4. 제3항에 있어서,
    상기 제어부는 상기 차량과 상기 특정 차선과의 거리가 제1 기 설정된 거리 이하가 되는 경우, 상기 경고 발생부에서 발생하는 경고음의 주기를 짧게 하거나 소리가 커지도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  5. 제3항에 있어서,
    상기 차량의 핸들의 방향을 제어하는 조향 제어부를 더 포함하되,
    상기 제어부는 상기 차량과 상기 차선과의 거리가 제2 기 설정된 거리 이하가 되는 경우, 상기 차량이 차선 중앙에 위치하도록 상기 조향 제어부를 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  6. 제4항 또는 제5항 중 어느 한항에 있어서,
    상기 차량의 속도를 감지하는 속도 감지부를 더 포함하되,
    상기 제어부는 상기 차량의 속도가 기 설정된 속도 미만이면서, 상기 차량과 특정 차선간의 거리가 가까워지는 경우,
    상기 경고 발생부에서 상기 경고등을 통해 상기 차량에 경고 신호를 제공하도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  7. 제1항에 있어서,
    상기 차선 검출부는 상기 탑뷰 영상에서 에지 정보를 추출하고, 상기 추출된 에지 정보를 이용하여 차선을 검출하고,
    상기 제어부는 상기 탑뷰 영상에서의 가상의 차량의 외곽선과 상기 차선간의 수평거리를 이용하여 상기 차량과 상기 차선간의 거리를 추출하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  8. 제1항에 있어서,
    상기 위험요소 검출부는 상기 원영상에서 모션 정보를 추출하고, 추출된 모션 정보 중 차량 진행 모션과 속도가 다른 이상 모션 영역을 검출하고, 상기 모션 영역이 기 설정된 영역의 크기 이상이면 위험 요소가 있는 것으로 검출하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  9. 제8항에 있어서,
    상기 위험요소 검출부는 상기 원영상 중 상기 차량의 좌측 및 우측에 설치된 카메라를 통해 획득된 원영상에서 사각지대 영역을 특정하고, 상기 특정된 사각지대 영역에서 모션 정보를 추출하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  10. 제2항에 있어서,
    상기 위험요소 검출부는 탑뷰 영상을 더 이용하여 차량 주변의 위험요소를 검출하며,
    상기 제어부는 상기 차량과 상기 차선과의 거리를 계산하며, 상기 차량이 특정 차선과 가까워 지면서, 상기 원영상으로부터만 위험요소가 검출된 경우 상기 경고 발생부가 상기 경고등을 통해 상기 차량에 경고하도록 제어하며,
    상기 원영상 및 탑뷰 영상으로부터 위험요소가 검출된 경우 상기 경고 발생부가 상기 경고음을 통해 상기 차량에 경고하도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.
  11. 차량의 전후좌우에 설치된 카메라로부터 촬영된 원영상을 이용하여 생성된 탑뷰 영상으로부터 차선을 검출하고, 상기 차량과 차선간의 거리를 계산하는 단계(a);
    상기 원영상의 사각지대 영역의 이미지를 분석하여 차량의 사각지대의 위험요소를 검출하는 단계(b);
    상기 위험 요소가 검출되며, 상기 차량과 차선간의 거리가 유지되는 경우 경고등을 통하여 상기 차량에 경고하는 단계(c);
    상기 위험 요소가 검출되며, 상기 차량과 특정 차선간의 거리가 가까워 지는 경우, 경고음을 통하여 상기 차량에 경고하는 단계(d); 및
    상기 차량과 상기 특정 차선간의 거리가 제1 기 설정된 거리 미만이 되는 경우 상기 경고음의 주기를 짧게 하거나 소리를 크게 하는 단계(e)를 포함하는 것을 특징으로 하는 차량 주변의 위험 경고방법.
  12. 제11항에 있어서,
    상기 차량과 상기 특정 차선간의 거리가 제2 기 설정된 거리 미만이 되는 경우 상기 차량이 차선 중앙으로 오도록 상기 차량의 조향장치를 제어하는 단계(f)를 더 포함하되,
    상기 제2 기 설정된 거리는 상기 제1 기 설정된 거리보다 작은 것을 특징으로 하는 차량 주변의 위험 경고방법.
  13. 제12항에 있어서,
    상기 단계(d) 내지 단계(f)는 상기 차량의 속도가 기 설정된 속도 이상인 경우에만 수행되는 것을 특징으로 하는 차량 주변의 위험 경고방법.
  14. 제11항에 있어서,
    상기 단계(b)는 상기 탑뷰 영상을 더 이용하여 차량의 사각지대의 위험요소를 검출하며,
    상기 차량이 상기 특정 차선간의 거리가 가까워지면서, 상기 원영상으로부터 위험요소가 검출되는 경우 경고등을 통하여 상기 차량에 경고하며, 상기 원영상 및 상기 탑뷰 영상으로부터 위험요소가 검출된 경우 경고음을 통하여 상기 차량에 경고하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변의 위험 경고방법.
KR1020150079679A 2015-06-05 2015-06-05 차량 주변의 위험요소 경고장치 및 경고방법 KR101729030B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150079679A KR101729030B1 (ko) 2015-06-05 2015-06-05 차량 주변의 위험요소 경고장치 및 경고방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150079679A KR101729030B1 (ko) 2015-06-05 2015-06-05 차량 주변의 위험요소 경고장치 및 경고방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160111393A Division KR101697484B1 (ko) 2016-08-31 2016-08-31 차량 주변의 위험요소 경고장치 및 경고방법

Publications (2)

Publication Number Publication Date
KR20160143247A true KR20160143247A (ko) 2016-12-14
KR101729030B1 KR101729030B1 (ko) 2017-05-02

Family

ID=57575539

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150079679A KR101729030B1 (ko) 2015-06-05 2015-06-05 차량 주변의 위험요소 경고장치 및 경고방법

Country Status (1)

Country Link
KR (1) KR101729030B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046057A (ko) * 2017-10-25 2019-05-07 현대모비스 주식회사 차량의 주행 경고 장치 및 방법
KR20200010817A (ko) * 2018-07-23 2020-01-31 숭실대학교산학협력단 터널 내 사고위험 차량 감지 방법, 이를 수행하기 위한 기록매체 및 장치
KR20200042760A (ko) * 2018-10-16 2020-04-24 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116723A (ja) * 2007-11-08 2009-05-28 Denso Corp 車線変更支援装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046057A (ko) * 2017-10-25 2019-05-07 현대모비스 주식회사 차량의 주행 경고 장치 및 방법
KR20200010817A (ko) * 2018-07-23 2020-01-31 숭실대학교산학협력단 터널 내 사고위험 차량 감지 방법, 이를 수행하기 위한 기록매체 및 장치
KR20200042760A (ko) * 2018-10-16 2020-04-24 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치

Also Published As

Publication number Publication date
KR101729030B1 (ko) 2017-05-02

Similar Documents

Publication Publication Date Title
US10796171B2 (en) Object recognition apparatus, object recognition method, and object recognition program
US8405491B2 (en) Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
JP6205640B2 (ja) 車両用警告装置
JP6379779B2 (ja) 車両用表示装置
JP6330908B2 (ja) 車両用表示装置及び車両用表示方法
KR101697484B1 (ko) 차량 주변의 위험요소 경고장치 및 경고방법
US11223775B2 (en) Method and apparatus for the spatially resolved detection of an object outside a transportation vehicle with the aid of a sensor installed in a transportation vehicle
US10846833B2 (en) System and method for visibility enhancement
JP7077616B2 (ja) 表示制御装置および表示制御方法
US10011227B2 (en) Vehicular viewing device
JP2009265842A (ja) 車両用警告装置、警告方法
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
KR101729030B1 (ko) 차량 주변의 위험요소 경고장치 및 경고방법
CN113329913A (zh) 驾驶辅助装置
KR101629577B1 (ko) 카메라를 이용한 모니터링 방법 및 장치
WO2016092925A1 (ja) 接近車両検出装置
JP2007133644A (ja) 歩行者認識装置
KR101849326B1 (ko) 차량용 카메라 시스템
US11648876B2 (en) System and method for visibility enhancement
KR20150138898A (ko) 시선 유도체 인식을 통한 차로 이탈 경고 시스템 및 방법
JP2013207747A (ja) 車両の後側方撮影装置
WO2020152737A1 (ja) 情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
JP2015158874A (ja) 周辺監視装置及び方法
KR20180027904A (ko) 접근 차량의 충돌 예측 및 경고 기반의 스마트 미러리스 카메라 시스템
JP2017224067A (ja) わき見状態判定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant