KR101219730B1 - 카메라를 이용한 운전 부주의 경보 방법 및 장치 - Google Patents

카메라를 이용한 운전 부주의 경보 방법 및 장치 Download PDF

Info

Publication number
KR101219730B1
KR101219730B1 KR1020100106482A KR20100106482A KR101219730B1 KR 101219730 B1 KR101219730 B1 KR 101219730B1 KR 1020100106482 A KR1020100106482 A KR 1020100106482A KR 20100106482 A KR20100106482 A KR 20100106482A KR 101219730 B1 KR101219730 B1 KR 101219730B1
Authority
KR
South Korea
Prior art keywords
lane
driving
vehicle
driving state
warning
Prior art date
Application number
KR1020100106482A
Other languages
English (en)
Other versions
KR20120045134A (ko
Inventor
손준우
박수완
이태영
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020100106482A priority Critical patent/KR101219730B1/ko
Priority to US13/882,282 priority patent/US9208683B2/en
Priority to PCT/KR2011/006568 priority patent/WO2012057449A2/ko
Publication of KR20120045134A publication Critical patent/KR20120045134A/ko
Application granted granted Critical
Publication of KR101219730B1 publication Critical patent/KR101219730B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029—Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0863—Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

개시된 기술은 자동차에 부착된 카메라를 이용하여 운전 부주의를 감지하고 운전 부주의 상태를 운전자에게 경고하는 장치에 관한 것으로서, 차선 영상을 기초로 차량의 운전 상태를 감지하는 운전상태 판단부; 상기 영상 처리부로부터 전달받은 상기 차선 영상을 기초로 상기 차량의 차선이탈 여부를 감지하는 차선 이탈 감지부; 및 상기 운전상태 판단부 및 상기 차선 이탈 감지부로부터 전달받은 운전상태 정보 및 차선 이탈 정보를 바탕으로 경고신호를 발생하는 운전부주의 경고부를 포함하는 운전 부주의 경보 장치를 제공한다. 또한, 차선 영상을 기초로 차량의 운전 상태를 감지하는 운전상태 판단 단계; 상기 영상 처리부로부터 전달받은 상기 차선 영상을 기초로 상기 차량의 차선이탈 여부를 감지하는 차선 이탈 감지 단계; 및 상기 운전상태 판단부 및 상기 차선 이탈 감지부로부터 전달받은 운전상태 정보 및 차선 이탈 정보를 바탕으로 경고신호를 발생하는 운전부주의 경고 단계를 포함하는 운전 부주의 경보 방법을 제공한다.

Description

카메라를 이용한 운전 부주의 경보 방법 및 장치{DRIVER DISTRACTION WARNING SYSTEM USING REAR VIEW CAMERA AND METHOD OF THEREOF}
본 발명은 자동차에 부착된 카메라를 이용하여 운전 부주의를 감지하고 운전 부주의 상태를 운전자에게 경고하는 방법 및 장치에 관한 것이다.
기술 발전에 따라, 운전자의 운전을 보조하는 ADAS(Advanced Driver Assistance System) 시스템의 장착이 증가하고 있다. ADAS는 전방 충돌 상황이 발생할 경우 경고를 하는 FCWS(Forward Collision Warning System) 및 차선을 이탈한 상황이 발생할 경우에 경고를 하는 LDWS(lane departure warning system) 등의 기술을 포함한다. 그러나, 시스템이 운전자의 상태를 인지하지 못할 경우, 불필요한 경고를 울림으로써 불편을 발생시킬 수 있다. 즉, 차선변경이 운전자의 의도에 의한 것인지 또는, 운전 부주의에 의해 발생 되는 것인지 인식할 필요성이 있다. 한편, 고속 주행 상황에서 차선이탈 등의 이상 운전이 발생한 경우, 경고에 대처할 시간이 매우 부족하므로, 운전자의 부주의 상태를 조기에 감지하고 경보하는 장치가 요구되고 있다.
개시된 기술이 해결하고자 하는 기술적 과제는 운전자의 운전 패턴을 관찰하여 차선 이탈이 운전 부주의에 의한 것인지를 판단하는 방법 및 장치를 제공하는 데 있다.
상기 기술적 과제를 달성하기 위해 개시된 기술의 제1 측면은, 차선 영상을 기초로 차량의 운전 상태를 감지하는 운전상태 판단부; 상기 영상 처리부로부터 전달받은 상기 차선 영상을 기초로 상기 차량의 차선이탈 여부를 감지하는 차선 이탈 감지부; 및 상기 운전상태 판단부 및 상기 차선 이탈 감지부로부터 전달받은 운전상태 정보 및 차선 이탈 정보를 바탕으로 경고신호를 발생하는 운전부주의 경고부를 포함하는 운전 부주의 경보 장치를 제공한다.
상기 기술적 과제를 달성하기 위해 개시된 기술의 제2 측면은, 차선 영상을 기초로 차량의 운전 상태를 감지하는 운전상태 판단 단계; 상기 영상 처리부로부터 전달받은 상기 차선 영상을 기초로 상기 차량의 차선이탈 여부를 감지하는 차선 이탈 감지 단계; 및 상기 운전상태 판단부 및 상기 차선 이탈 감지부로부터 전달받은 운전상태 정보 및 차선 이탈 정보를 바탕으로 경고신호를 발생하는 운전부주의 경고 단계를 포함하는 운전 부주의 경보 방법을 제공한다.
개시된 기술의 실시예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
개시된 기술의 일 실시예에 따르면, 차량의 주행 상태를 고려하여 정확한 차선 이탈 경보를 할 수 있다. 한편, 차량에 기 설치되어있는 카메라 및 네비게이션을 활용하여 적은 비용으로 본 발명을 구현할 수 있는 장점이 있다.
도 1은 일 실시예에 따른 운전 부주의 경보 장치의 블록도이다.
도 2는 일 실시예에 따라 차선 영상으로부터 중심점을 결정하고 중심점의 움직임을 바탕으로 차량의 주행상태를 감지하는 것을 보여주는 개략도이다.
도 3은 운전 부주의 정도에 따른 기준 값 대비 MSDLP 비율을 보여주는 그래프이다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
'제1', '제2' 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 일 실시예에 따른 운전 부주의 경보 장치의 블록도이다.
도 1에 의하면, 운전 부주의 경보 장치는 영상처리부(110)와 운전 부주의 예측부(120)로 구성되어 있다. 영상처리부(110)는 왜곡보정부(111) 및 위치보정부(112)를 포함하며, 운전 부주의 예측부(120)는 운전상태 판단부(121), 차선이탈 감지부(122) 및 운전부주의 경고부(123)을 포함한다.
일 실시예에 의하면, 영상처리부(110)는 차량에 설치된 카메라(미도시)로 부터 차선 영상을 전달받는다. 차선 영상은 차량의 전방 또는 후방에 설치된 카메라로부터 촬영된다. 카메라의 설치 위치 및 카메라의 설치 각도를 고려하면 후방에 설치된 카메라가 차선 영상을 촬영하는데 유리하다. 한편, 후방 카메라로부터 촬영된 영상은 보다 넓은 면적을 촬영하기 위한 카메라 광각렌즈 특성으로 인해 실제 영상에 비해 왜곡이 되어 있다. 따라서, 왜곡보정부(111)에 의해 왜곡된 차선 영상을 보정할 필요가 있다. 카메라는 차량에 따라 설치되는 위치가 달라질 수 있고, 카메라 위치에 따른 소실점의 차이, 영상의 치우침이 발생한다. 따라서, 위치보정부(112)에 의해 카메라 설치 위치에 따른 차선의 치우침 등을 보정 한다. 실시예에 따라 왜곡보정부(111)와 위치보정부(112)는 각각의 영상 처리 프로세스에 의해 차선 영상을 보정 할 수 있으며, 다른 실시예에 의하면 왜곡보정부(111)가 위치보정부(112)에서 수행되는 영상 보정을 겸할 수 있다.
운전 부주의 예측부(120)은 영상처리부(110)로부터 전달받은 차선 영상을 기초로 차량의 운전 상태를 감지한다. 운전상태 판단부(121)는 차선 영상에서 차량이 주행하고 있는 차선의 좌측 차선 및 우측 차선을 인식하고, 좌측 차선 및 우측 차선을 잇는 수평선 상에 차량의 차선 변화 여부 계산을 위한 중심점을 설정한다. 이어서, 운전상태 판단부(121)는 일정 시간 동안 차량이 중심점을 기준으로 좌측 또는 우측으로 움직이는 표준 편차를 계산하고, 표준 편차가 임계값보다 높은 경우 차량의 주행 상태를 운전 부주의 상태로 감지한다.
차선이탈 감지부(122)는 차선 영상으로부터 한 개의 차선만 인식될 경우 차량이 차선을 이탈한 것으로 감지한다.
운전 부주의 경고부(123)는 운전상태 판단부(121)가 차량의 주행 상태를 운전 부주의 상태로 감지한 경우 약한 경고음 발생하고, 차선 이탈 감지부(122)가 차량이 차선을 이탈한 것으로 감지한 경우 강한 경고음을 발생시킨다. 일 실시예에 따른 경고음 발생 여부를 표로 도식하면 표 1과 같다. 차선 이탈 감지부(122)가 차선 이탈 상태를 감지했다 하더라도 운전상태 판단부(121)에서 감지한 차량의 주행상태가 운전 부주의 상태로 감지하지 않으면 경고 신호를 발생시키지 않는다. 따라서, 정상적인 주행에 따른 차선 변경시 불필요한 경고 신호를 발생시키지 않는다.
운전상태 판단부 차선 이탈 감지부 운전부주의 경고부
× ○ 경고신호 없음
○ × 약 경고신호
○ ○ 강 경고신호
한편, 운전 부주의 경고부(123)는 차선 이탈 감지부(122)가 차선 영상으로부터 차선을 인식하지 못하는 상태가 일정시간 지속 되는 경우 차량의 주행 도로를 비포장 도로로 인식하여 경고음을 발생시키지 않는다.
도 2는 일 실시예에 따라 차선 영상으로부터 중심점을 결정하고 중심점의 움직임을 바탕으로 차량의 주행상태를 감지하는 것을 보여주는 개략도이다. 일 실시예에 의하면, MSDLP 연산부는 MSDLP 값을 계산하여 일정 시간 동안 차선의 변화량을 기초로 운전 부주의 상태를 감지한다.
MSDLP 연산부는 차량의 주행이 시작되면 일정 시간 동안 차선 영상을 모니터링 하여 기준 값(Baseline)을 측정한다. 이때, 기준 값은 좌측 차선과 우측 차선 사이의 중간지점의 특정 위치 값을 의미하는 것은 아니다. 차량은 정상적인 주행 상태에서도 차선 안에서 어느 정도의 좌우 움직임이 발생한다. 기준 값은 일정 시간 동안 차량이 중심점으로부터 어느 정도 움직이는가를 표준편차화 하여 계산한 값이다. 한편, 기준 값은 차량이 주행이 시작된 지 수분 후에 측정한다. 차량이 운행이 시작되면 처음 몇 분간 운전자는 기기 조작 등과 같은 이유로 운전에 집중하지 못하는 경우가 발생한다. 또한 주차지에서 주 도로로 접근하는 시간 동안 차선의 빈번한 변경이 이루어진다. 따라서, 안정적인 주행이 시작되는 시점을 고려하여 기준 값 측정 시간을 정하는 것이 바람직하다. 실시예에 따라 기준 값을 저장부(미도시)에 저장할 수 있다.
기준 값 측정 이후, MSDLP 값을 계산한다. MSDLP 연산부는 MSDLP 값을 계산하기 위해 차선 변화의 기준으로 사용할 기준 위치를 선정한다. 차선 영상으로부터 인식된 차선들을 연장하고 확장된 차선을 만든다. 확장된 좌측 차선 및 우측 차선을 잇는 수평선상에서 차선의 중심점을 찾아 MSDLP 연산을 위한 차선 위치 값으로 사용한다. MSDLP 값의 계산은 일정 간격의 시간 동안 차량의 좌우 움직임을 표준편차화 하여 계산한다. 일 실시예에 따른 MSDLP 값의 계산은 다음과 같다. 일정 시간 동안 모아진 차선 영상에 대해 2차의 버터 워쓰 필터(Butter-worth-filter)를 가지고 0.1Hz의 컷오프(Cut-off) 주파수로 하이패스(High-pass) 필터링을 한다. 필터링된 데이터 중에서 차선 인식에 실패한 데이터 및 한개의 차선만 인식된 데이터를 제외한 데이터를 모아서 표준 편차를 계산하면, 계산된 표준편차 값이 MSDLP 값이 된다. 계산된 MSDLP 값을 앞서 측정된 기준 값과 비교하여 기준 값 대비 MSDLP 값이 비율이 특정 비율 이상이면 운전 부주의 경보부에게 경고 메시지를 보낸다.
도 3은 운전 부주의 정도에 따른 기준 값 대비 MSDLP 비율을 보여주는 그래프이다. 그래프에서 운전 부주의 1단계는 운전 부주의가 없는 주행 상태로 이때의 기준 값 대비 MSDLP 비율을 100%로 한다. 일정 시간 간격으로 기준 값 대비 MSDLP 비율을 측정하며, 측정된 기준 값 대비 MSDLP 비율이 250%가 넘는 경우, MSDLP 연산부는 차량의 운전 상태를 운전 부주의 상태로 감지하여 운전 부주의 경고부로 하여금 경고음을 발생시키게 한다. 이때, 기준 값 대비 MSDLP 비율이 250%를 넘은 경우 바로 경고음을 발생시키지 않고 일정 시간 경과 후 다시 기준 값 대비 MSDLP 비율이 250%를 넘는 경우 경고음을 발생시킨다. 따라서, 차선 변경 또는 기타의 이유로 일시적으로 차선을 유지하지 못하는 경우 경고음 발생하는 것을 방지할 수 있다. 실시예에 의하면 기준 값 대비 MSDLP 비율이 250%를 넘는 경우 경고음을 발생하나 상기의 250% 비율 값은 기상상태 및 차량 주행 시간이 주간 또는 야간인지의 여부에 따라 값을 다르게 할 수 있다.
차선이탈 감지부는 차선 영상으로부터 한 개의 차선만 인식될 경우 차량이 차선을 이탈한 것으로 감지하여 운전 부주의 경고부로 하여금 강한 경고음을 발생시킨다. 차량이 주행상태이나 차선이 일정시간 인식되지 않는 경우 차선이탈 감지부는 차량이 비포장 도로에 진입한 것으로 판단하여 MSDLP 연산부의 동작을 멈추게 한다.
상술한 실시예에 의하여 운전 부주의 경보 장치는 정확한 차선 이탈 경보를 할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 일 실시예에 의하면 상술 된 운전 부주의 경보 장치를 차량에 설치된 네비게이션 상에서 응용 프로그램으로 구동하여 적은 비용으로 본 발명을 구현할 수 있다.
이러한 개시된 기술인 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
110 : 영상 처리부 111 : 왜곡 보정부
112 : 위치 보정부 120 : 운전부주의 예측부
121 : 운전상태 판단부 122 : 차선이탈 감지부
123 : 운전부주의 경고부

Claims (15)

  1. 차선 영상을 기초로 차량의 운전 상태를 감지하는 운전상태 판단부;
    상기 영상 처리부로부터 전달받은 상기 차선 영상을 기초로 상기 차량의 차선이탈 여부를 감지하는 차선 이탈 감지부; 및
    상기 운전상태 판단부 및 상기 차선 이탈 감지부로부터 전달받은 운전상태 정보 및 차선 이탈 정보를 바탕으로 경고신호를 발생하는 운전부주의 경고부를 포함하되,
    상기 운전상태 판단부는 MSDLP(Modified Standard Deviation Lane Position, MSDLP) 연산에 의해 상기 차량의 운전 상태를 감지하는
    운전 부주의 경보 장치.
  2. 제 1항에 있어서,
    상기 운전상태 판단부는 상기 차선 영상에서 상기 차량이 주행하고 있는 차선의 좌측 차선 및 우측 차선을 인식하고, 상기 좌측 차선 및 상기 우측 차선을 잇는 수평선 상에 상기 차량의 중심점을 설정하는 운전 부주의 경보 장치.
  3. 제 2항에 있어서,
    상기 운전상태 판단부는 일정 시간 동안 상기 차량이 상기 중심점을 기준으로 좌측 또는 우측으로 움직이는 표준 편차를 계산하고, 상기 표준 편차가 임계값보다 높은 경우 상기 차량의 주행 상태를 운전 부주의 상태로 감지하는 운전 부주의 경보 장치.
  4. 제 1항에 있어서,
    상기 차선 이탈 감지부는 상기 차선 영상으로부터 한 개의 차선만 인식될 경우 상기 차량이 차선을 이탈한 것으로 감지하는 운전 부주의 경보 장치.
  5. 제 1항에 있어서,
    상기 운전 부주의 경보부는
    상기 운전상태 판단부가 상기 차량의 주행 상태를 운전 부주의 상태로 감지한 경우 약한 경고를 발생하고, 상기 차선 이탈 감지부가 상기 차량이 차선을 이탈한 것으로 감지한 경우 강한 경고음을 발생시키는 운전 부주의 경고부를 더 포함하는 운전 부주의 경보 장치.
  6. 제 5항에 있어서,
    상기 운전 부주의 경고부는 상기 차선 이탈 감지부가 상기 차선 영상으로부터 차선을 인식하지 못하는 경우 상기 차량의 주행 도로를 비포장 도로로 인식하여 경고음을 발생시키지 않는 운전 부주의 경보 장치.
  7. 삭제
  8. 제 1항에 있어서,
    상기 운전 부주의 경보 장치는 카메라의 렌즈에 의해 왜곡된 영상을 보정하는 왜곡 보정부; 및
    카메라의 설치 위치에 의한 영상의 위치를 보정 하는 위치 보정부를 포함하는 운전 부주의 경보 장치.
  9. 차선 영상을 기초로 차량의 운전 상태를 감지하는 운전상태 판단 단계;
    상기 영상 처리부로부터 전달받은 상기 차선 영상을 기초로 상기 차량의 차선이탈 여부를 감지하는 차선 이탈 감지 단계; 및
    상기 운전상태 판단부 및 상기 차선 이탈 감지부로부터 전달받은 운전상태 정보 및 차선 이탈 정보를 바탕으로 경고신호를 발생하는 운전부주의 경고 단계를 포함하되,
    상기 운전상태 판단 단계는 MSDLP(Modified Standard Deviation Lane Position, MSDLP) 연산에 의해 상기 차량의 운전 상태를 감지하는
    운전 부주의 경보 방법.
  10. 제 9항에 있어서,
    상기 운전상태 판단 단계는 상기 차선 영상에서 상기 차량이 주행하고 있는 차선의 좌측 차선 및 우측 차선을 인식하고, 상기 좌측 차선 및 상기 우측 차선을 잇는 수평선 상에 상기 차량의 중심점을 설정하는 운전 부주의 경보 방법.
  11. 제 10항에 있어서,
    상기 운전상태 판단 단계는 일정 시간 동안 상기 차량이 상기 중심점을 기준으로 좌측 또는 우측으로 움직이는 표준 편차를 계산하고, 상기 표준 편차가 임계값보다 높은 경우 상기 차량의 주행 상태를 운전 부주의 상태로 감지하는 운전 부주의 경보 방법.
  12. 제 9항에 있어서,
    상기 차선 이탈 감지 단계는 상기 차선 영상으로부터 한 개의 차선만 인식될 경우 상기 차량이 차선을 이탈한 것으로 감지하는 운전 부주의 경보 방법.
  13. 제 9항에 있어서,
    운전부주의 경고 단계는, 상기 운전상태 판단 단계에서 상기 차량의 주행 상태를 운전 부주의 상태로 감지한 경우 약한 경고를 발생하고, 상기 차선 이탈 감지 단계에서 상기 차량이 차선을 이탈한 것으로 감지한 경우 강한 경고음을 발생시키는 단계를 포함하는 운전 부주의 경보 방법.
  14. 삭제
  15. 삭제
KR1020100106482A 2010-10-29 2010-10-29 카메라를 이용한 운전 부주의 경보 방법 및 장치 KR101219730B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100106482A KR101219730B1 (ko) 2010-10-29 2010-10-29 카메라를 이용한 운전 부주의 경보 방법 및 장치
US13/882,282 US9208683B2 (en) 2010-10-29 2011-09-06 Method and apparatus for warning a driver of careless driving
PCT/KR2011/006568 WO2012057449A2 (ko) 2010-10-29 2011-09-06 카메라를 이용한 운전 부주의 경보 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100106482A KR101219730B1 (ko) 2010-10-29 2010-10-29 카메라를 이용한 운전 부주의 경보 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120045134A KR20120045134A (ko) 2012-05-09
KR101219730B1 true KR101219730B1 (ko) 2013-01-08

Family

ID=45994500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100106482A KR101219730B1 (ko) 2010-10-29 2010-10-29 카메라를 이용한 운전 부주의 경보 방법 및 장치

Country Status (3)

Country Link
US (1) US9208683B2 (ko)
KR (1) KR101219730B1 (ko)
WO (1) WO2012057449A2 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102255429B1 (ko) * 2013-04-29 2021-05-24 팅크웨어(주) 차량용 영상 처리 장치 및 이를 이용한 정보 제공 방법
KR102134583B1 (ko) * 2013-04-29 2020-07-16 팅크웨어(주) 차량용 영상 처리 장치 및 이를 이용한 정보 제공 방법
JP6098548B2 (ja) * 2014-02-27 2017-03-22 マツダ株式会社 車線逸脱防止支援装置
KR102241324B1 (ko) * 2014-06-17 2021-05-25 (주)엠아이웨어 단안 카메라를 이용한 영상 기반의 전방 추돌 경고 시스템의 거리 추정 방법
US9869564B2 (en) 2014-09-30 2018-01-16 Apple Inc. Method and apparatus for providing dynamic warnings for navigations
CN105730451B (zh) * 2014-12-09 2018-12-21 比亚迪股份有限公司 车辆和检测车辆偏移车道的装置
KR101601558B1 (ko) * 2014-12-12 2016-03-08 현대자동차주식회사 차량의 부주의 주행을 판단하는 방법 및 이를 지원하는 차량의 주행 거동 모니터링 시스템
US9783204B2 (en) 2015-02-02 2017-10-10 International Business Machines Corporation Cognitive displays
US20160347309A1 (en) * 2015-05-28 2016-12-01 Delphi Technologies, Inc. Automated vehicle with erratic other vehicle avoidance
JP6674630B2 (ja) * 2016-05-30 2020-04-01 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US10435035B2 (en) * 2017-10-17 2019-10-08 Denso International America, Inc. Screen reduction system for autonomous vehicles
CN107826035A (zh) * 2017-11-01 2018-03-23 安徽安凯汽车股份有限公司 一种客车防疲劳驾驶预警设备及其使用方法
CN109435959B (zh) * 2018-10-24 2020-10-09 斑马网络技术有限公司 疲劳驾驶处理方法、车辆、存储介质及电子设备
CN111016923B (zh) * 2019-12-10 2022-01-18 宁波吉利汽车研究开发有限公司 一种异常驾驶的判断方法
KR102473907B1 (ko) 2021-04-21 2022-12-07 주식회사 현대케피코 조향 불안정성 보상을 위한 차량의 속도 제어 시스템 및 방법
CN114379648B (zh) * 2022-01-18 2023-04-07 襄阳达安汽车检测中心有限公司 一种横向辅助驾驶方法及装置
WO2024129063A1 (en) * 2022-12-13 2024-06-20 Stoneridge Electronics Ab Camera monitoring system including image based impaired driving analytics

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990059882A (ko) * 1997-12-31 1999-07-26 정몽규 차선이탈 경보장치
KR100373002B1 (ko) * 2000-04-03 2003-02-25 현대자동차주식회사 차량의 차선 이탈 판단 방법
JP2008021161A (ja) * 2006-07-13 2008-01-31 Mitsubishi Fuso Truck & Bus Corp 走行状態判定装置
KR100917330B1 (ko) * 2008-06-30 2009-09-16 쌍용자동차 주식회사 차량의 탑뷰 모니터 시스템 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278362B1 (en) * 1995-01-12 2001-08-21 Honda Giken Kogyo Kabushiki Kaisha Driving state-monitoring apparatus for automotive vehicles
JP4638370B2 (ja) * 2006-03-29 2011-02-23 富士重工業株式会社 車線逸脱防止装置
JP4937030B2 (ja) 2007-07-24 2012-05-23 ルネサスエレクトロニクス株式会社 車両用画像処理装置
CA2649731C (en) * 2008-11-05 2015-07-21 The George Washington University An unobtrusive driver drowsiness detection method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990059882A (ko) * 1997-12-31 1999-07-26 정몽규 차선이탈 경보장치
KR100373002B1 (ko) * 2000-04-03 2003-02-25 현대자동차주식회사 차량의 차선 이탈 판단 방법
JP2008021161A (ja) * 2006-07-13 2008-01-31 Mitsubishi Fuso Truck & Bus Corp 走行状態判定装置
KR100917330B1 (ko) * 2008-06-30 2009-09-16 쌍용자동차 주식회사 차량의 탑뷰 모니터 시스템 및 방법

Also Published As

Publication number Publication date
US20130215274A1 (en) 2013-08-22
US9208683B2 (en) 2015-12-08
KR20120045134A (ko) 2012-05-09
WO2012057449A2 (ko) 2012-05-03
WO2012057449A3 (ko) 2012-06-14

Similar Documents

Publication Publication Date Title
KR101219730B1 (ko) 카메라를 이용한 운전 부주의 경보 방법 및 장치
US9715830B2 (en) Apparatus for assisting in lane change and operating method thereof
US20130321630A1 (en) System and method for lane departure warning
US9269269B2 (en) Blind spot warning system and method
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
US20110234749A1 (en) System and method for detecting and recording traffic law violation events
US20130204515A1 (en) Traffic accident detection device and method of detecting traffic accident
JP2011118482A (ja) 車載装置および認知支援システム
JP2011180982A (ja) 区画線検出装置
KR20150043659A (ko) 차량 상태 경보 방법 및 이를 위한 장치
WO2018092388A1 (ja) 速度取締システム及び速度取締方法
JP4762830B2 (ja) 周辺監視システム
JP4967603B2 (ja) 車両の後側方監視装置
JP5477394B2 (ja) 車両周辺監視装置
KR20150022260A (ko) 스마트 폰을 이용한 운전자 보조 시스템 및 방법
CN108701223B (zh) 用于估算车辆的驾驶员的注意力等级的装置和方法
CN103496370B (zh) 一种车道偏离预警方法
CN112542060B (zh) 车用后侧方警报装置
JP2015075838A (ja) 車載器
JP2015050652A (ja) レール消失点検出装置、鉄道用前方監視カメラ装置、鉄道車両、およびレール消失点検出方法ならびに制御方法
KR101823385B1 (ko) 사이드 카메라를 이용한 차선 이탈 경보 시스템의 인식률 향상 장치 및 방법
JP4182665B2 (ja) 接近物体検出装置
KR20160072981A (ko) 웨어러블 기기를 이용한 차량의 안전 장치 및 그 제어방법
CN109591694B (zh) 车道偏离预警***、车道偏离预警方法和车辆
JP2006123569A (ja) 車両用障害物報知装置、および方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151222

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161213

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181212

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 8