WO2022131786A1 - 운전자 보조 시스템 및 그 제어 방법 - Google Patents

운전자 보조 시스템 및 그 제어 방법 Download PDF

Info

Publication number
WO2022131786A1
WO2022131786A1 PCT/KR2021/019064 KR2021019064W WO2022131786A1 WO 2022131786 A1 WO2022131786 A1 WO 2022131786A1 KR 2021019064 W KR2021019064 W KR 2021019064W WO 2022131786 A1 WO2022131786 A1 WO 2022131786A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
detection area
area
basic
Prior art date
Application number
PCT/KR2021/019064
Other languages
English (en)
French (fr)
Inventor
박지열
Original Assignee
주식회사 만도모빌리티솔루션즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도모빌리티솔루션즈 filed Critical 주식회사 만도모빌리티솔루션즈
Publication of WO2022131786A1 publication Critical patent/WO2022131786A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/08—Predicting or avoiding probable or impending collision

Definitions

  • a driver assistance system is an adaptive cruise control (ACC) system that maintains a vehicle-to-vehicle distance from a preceding vehicle, or an automatic emergence braking (AEB) system that prevents a collision through emergency braking in dangerous situations. and the like.
  • ACC adaptive cruise control
  • AEB automatic emergence braking
  • the control unit may increase the control sensitivity by changing a distance to the obstacle used for the collision warning or a collision warning timing with the obstacle.
  • the sensing area In enlarging the sensing area than the basic sensing area, if the tracked head direction is the front direction of the vehicle, the sensing area may be enlarged than the basic sensing area based on the tracked gaze direction.
  • FIG. 6 illustrates a control method of a driver assistance system according to an exemplary embodiment.
  • the front radar 120 and the corner radar 130 may acquire the relative positions, relative speeds, etc. of objects (eg, other vehicles, pedestrians, etc.) existing in front and around the vehicle.
  • the front radar 120 and the corner radar 130 may be connected to the control unit 200 through a vehicle communication network or a hard wire or a printed circuit board.
  • the front radar 120 and the corner radar 130 may transmit radar data to the controller 200 .
  • radars may be implemented as Lidar.
  • the processor 210 may include an image signal processor that processes front image data of the front camera 110 and driver image data of the driver camera 150 , and radar data of the radars 120 and 130 . It may include a digital signal processor for processing. Also, the processor 210 may include a micro control unit (MCU).
  • MCU micro control unit
  • G ⁇ 1 and G ⁇ 2 have higher angle values from 0° to 180°.
  • driver's gaze direction is within an angle range between G ⁇ 1 and G ⁇ 2, it is determined that the driver's gaze is directed to the front.
  • the controller 200 tracks the direction of the driver's head based on the driving image data received from the driver's camera 150 ( 302 ).
  • the controller 200 tracks the driver's gaze direction ( 306 ).
  • the detection area is enlarged in one direction or in both directions according to the head direction when the face does not stare at the front, but the present invention is not limited thereto.
  • the sensing area may be unidirectionally enlarged in the opposite direction to the gaze direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

일실시예에 따른 운전자 보조 시스템은 운전자의 얼굴을 포함하는 운전자 영상을 촬영하는 운전자 카메라 및 운전자 카메라로부터 획득된 운전자 영상 데이터로부터 운전자의 머리 방향과 시선 방향을 추적하고, 추적된 머리 방향과 시선 방향을 근거로 감지 영역을 기본 감지 영역보다 확대시키고, 확대된 감지 영역을 적용하여 차량을 제어하는 제어부를 포함한다.

Description

운전자 보조 시스템 및 그 제어 방법
개시된 발명은 운전자 보조 시스템 및 그 제어 방법에 관한 것이다.
차량 탑승자의 안전과 직결되는 차량 간 충돌 혹은 장애물과의 충돌은 언제나 중요한 문제로 취급되고 있다. 최근에는 선행 차량 혹은 후속 차량 간의 충돌 경고 및 회피에 관한 많은 연구가 진행되고 있고, 운전자를 지원하는 첨단 시스템이 차량에 탑재되고 있다.
예를 들면, 운전자 보조 시스템(DAS, Driver Assistance System)은 선행 차량과의 차간 거리를 유지시키는 ACC(Adaptive Cruise Control) 시스템 또는 위험 상황에서 긴급 제동을 통해 충돌을 방지하는 AEB(Autonomous Emergence Braking) 시스템 등을 포함할 수 있다.
이러한 운전자 보조 시스템은 차량에 장착된 전방 카메라 또는 전방 레이더를 통해 감지 영역 내에 존재하는 전방 장애물을 감지한다.
운전자 보조 시스템은 전방 장애물의 감지 성능과 적절한 제동 시점을 판단하는 것이 시스템 성능에 중요한 요소이다.
운전자 보조 시스템의 감지 영역은 차량 전방을 기준으로 설정되어 있다. 이는 운전자의 머리 방향과 시선 방향이 차량 전방을 향하는 것을 전제로 한다.
하지만, 기존에는 운전자가 차량 전방을 정면으로 주시 못할 경우 사고 우려가 있을 수 있다.
개시된 발명의 일 측면은 운전자가 정면을 응시하지 않을 경우 감지 영역을 조정하여 사고를 예방하고 운전자에게 주의를 환기할 수 있는 운전자 보조 시스템 및 그 제어 방법을 제공하고자 한다.
개시된 발명의 일 측면은 운전자의 얼굴을 포함하는 운전자 영상을 촬영하는 운전자 카메라; 및 상기 운전자 카메라로부터 획득된 운전자 영상 데이터로부터 상기 운전자의 머리 방향과 시선 방향을 추적하고, 상기 추적된 머리 방향과 시선 방향을 근거로 감지 영역을 기본 감지 영역보다 확대시키고, 확대된 감지 영역을 적용하여 차량을 제어하는 제어부를 포함하는 운전자 보조 시스템이 제공될 수 있다.
상기 제어부는 상기 차량의 전방을 향하는 감지 시야를 가지는 전방 카메라, 상기 차량의 전방 및 측방을 향하는 감지 시야를 가지는 레이더, 상기 차량의 전방을 향하는 감지 시야를 가지는 라이다 중 어느 하나의 감지 시야 또는 적어도 2개의 조합에 의한 감지 시야를 기반으로 상기 기본 감지 영역을 설정하되, 상기 차량의 속도와 조향각에 따라 설정할 수 있다.
상기 제어부는 상기 추적된 머리 방향이 상기 차량의 정면 방향이면, 상기 추적된 시선 방향을 근거로 상기 감지 영역을 상기 기본 감지 영역보다 확대시킬 수 있다.
상기 제어부는 상기 추적된 시선 방향이 상기 차량의 정면 방향이면, 상기 감지 영역을 상기 기본 감지 영역으로 유지하고, 상기 정면 방향이 아니면, 상기 감지 영역을 상기 기본 감지 영역에서 상기 추적된 시선 방향과 반대 방향으로 확대된 영역으로 확대시킬 수 있다.
상기 제어부는 상기 추적된 머리 방향이 상기 차량의 정면 방향이 아니면, 상기 추적된 머리 방향을 근거로 상기 감지 영역을 상기 기본 감지 영역보다 확대시킬 수 있다.
상기 제어부는 상기 추적된 머리 방향이 상기 차량의 정면 방향을 기준으로 미리 설정된 각도 범위 이내이면, 상기 감지 영역을 상기 기본 감지 영역에서 상기 추적된 머리 방향으로 확대된 영역으로 확대시킬 수 있다.
상기 제어부는 상기 추적된 머리 방향이 상기 차량의 정면 방향을 기준으로 상기 미리 설정된 각도 범위를 벗어나면, 상기 감지 영역을 상기 기본 감지 영역에서 양측으로 확대된 영역으로 확대시킬 수 있다.
상기 제어부는 상기 확대된 감지 영역에 장애물이 존재하면 제어 민감도를 증가시키고, 상기 증가된 제어 민감도를 적용하여 상기 차량을 제어할 수 있다.
상기 제어부는 충돌 경고에 사용되는 상기 장애물과의 거리 또는 상기 장애물과의 충돌 경고 시점을 변경하여 상기 제어 민감도를 증가시킬 수 있다.
개시된 발명의 다른 측면은 운전자 카메라로부터 운전자 영상 데이터를 획득하고, 상기 획득된 운전자 영상 데이터를 근거로 상기 운전자의 머리 방향과 시선 방향을 추적하고, 상기 추적된 머리 방향과 시선 방향을 근거로 감지 영역을 기본 감지 영역보다 확대시키고, 확대된 감지 영역을 적용하여 차량을 제어하는 운전자 보조 시스템의 제어방법이 제공될 수 있다.
상기 운전자 영상 데이터를 획득하기 전에, 상기 차량의 전방을 향하는 감지 시야를 가지는 전방 카메라, 상기 차량의 전방 및 측방을 향하는 감지 시야를 가지는 레이더, 상기 차량의 전방을 향하는 감지 시야를 가지는 라이다 중 어느 하나의 감지 시야 또는 적어도 2개의 조합에 의한 감지 시야를 기반으로 상기 기본 감지 영역을 설정하되, 상기 차량의 속도와 조향각에 따라 설정할 수 있다.
상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 머리 방향이 상기 차량의 정면 방향이면, 상기 추적된 시선 방향을 근거로 상기 감지 영역을 상기 기본 감지 영역보다 확대시킬 수 있다.
상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 시선 방향이 상기 차량의 정면 방향이면, 상기 감지 영역을 상기 기본 감지 영역으로 유지하고, 상기 정면 방향이 아니면, 상기 감지 영역을 상기 기본 감지 영역에서 상기 추적된 시선 방향과 반대 방향으로 확대된 영역으로 확대시킬 수 있다.
상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 머리 방향이 상기 차량의 정면 방향이 아니면, 상기 추적된 머리 방향을 근거로 상기 감지 영역을 상기 기본 감지 영역보다 확대시킬 수 있다.
상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 머리 방향이 상기 차량의 정면 방향을 기준으로 미리 설정된 각도 범위 이내이면, 상기 감지 영역을 상기 기본 감지 영역에서 상기 추적된 머리 방향으로 확대된 영역으로 확대시킬 수 있다.
상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 머리 방향이 상기 차량의 정면 방향을 기준으로 상기 미리 설정된 각도 범위를 벗어나면, 상기 감지 영역을 상기 기본 감지 영역에서 양측으로 확대된 영역으로 확대시킬 수 있다.
상기 확대된 감지 영역을 적용하여 차량을 제어하는 것에서, 상기 확대된 감지 영역에 장애물이 존재하면 제어 민감도를 증가시키고, 상기 증가된 제어 민감도를 적용하여 상기 차량을 제어할 수 있다.
상기 제어 민감도를 증가시키는 것에서, 충돌 경고에 사용되는 상기 장애물과의 거리 또는 상기 장애물과의 충돌 경고 시점을 변경하여 상기 제어 민감도를 증가시킬 수 있다.
개시된 발명의 일 측면에 따르면, 운전자가 정면을 응시하지 않을 경우 감지 영역을 조정하여 사고를 예방하고 운전자에게 주의를 환기할 수 있다.
도 1은 일실시예에 따른 운전자 보조 시스템의 제어블록을 도시한다.
도 2는 일실시예에 따른 운전자 보조 시스템의 전방 카메라, 레이더 및 운전자 카메라를 도시한다.
도 3은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향을 추적하는 것을 도시한다.
도 4는 일실시예에 따른 운전자 보조 시스템에서 운전자의 시선 방향을 추적하는 것을 도시한다.
도 5는 일실시예에 따른 운전자 보조 시스템에서 기본 감지영역과 확대 가능한 감지영역을 도시한다.
도 6은 일실시예에 따른 운전자 보조 시스템의 제어방법을 도시한다.
도 7은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향과 시선 방향이 모두 정면 방향일 경우 감지영역을 도시한다.
도 8은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이고, 시선 방향이 정면 방향이 아닌 우측 방향일 경우 감지영역을 도시한다.
도 9는 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이고, 시선 방향이 정면 방향이 아닌 좌측 방향일 경우 감지영역을 도시한다.
도 10은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이 아닌 우측 방향일 경우 감지영역을 도시한다.
도 11은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이 아닌 좌측 방향일 경우 감지영역을 도시한다.
도 12는 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이 아닌 최우측 방향일 경우 감지영역을 도시한다.
도 13은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이 아닌 최좌측 방향일 경우 감지영역을 도시한다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 개시된 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 ‘부, 모듈, 부재, 블록’이 하나의 구성요소로 구현되거나, 하나의 ‘부, 모듈, 부재, 블록’이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 “연결”되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 “상에”위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다. 단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
도 1은 일실시예에 따른 운전자 보조 시스템의 제어블록을 도시한다.
도 1을 참조하면, 운전자 보조 시스템(100)은 전방 카메라(110), 전방 레이더(120), 코너 레이더(130), 거동 센서(140), 운전자 카메라(150) 및 제어부(200)를 포함할 수 있다. 전방 카메라(110), 전방 레이더(120), 코너 레이더(130), 거동 센서(140) 및 운전자 카메라(150)는 제어부(200)와 전기적으로 연결될 수 있다.
제어부(200)는 전방 카메라(110), 전방 레이더(120), 코너 레이더(130) 및 거동 센서(140) 및 운전자 카메라(150)를 제어할 수 있다.
전방 카메라(110), 전방 레이더(120), 코너 레이더(130), 거동 센서(140) 및 운전자 카메라(150) 각각은 제어기(Electronic Control Unit, ECU)를 포함할 수 있다. 제어부(200)는 전방 카메라(110)의 제어기, 전방 레이더(120)의 제어기, 코너 레이더(130)의 제어기, 거동 센서(140)의 제어기 및 운전자 카메라(150)의 제어기를 포함하는 통합 제어기로 구현될 수도 있다.
전방 카메라(110)는 차량의 전방과 주변을 촬영하여 영상 데이터를 획득하고, 다른 차량, 보행자, 사이클리스트, 차선, 도로 표지판 등을 식별할 수 있다. 카메라(110)는 복수의 렌즈들 및 이미지 센서를 포함할 수 있다. 이미지 센서는 광을 전기 신호로 변환하는 복수의 포토 다이오드들을 포함할 수 있으며, 복수의 포토 다이오드들이 2차원 매트릭스로 배치될 수 있다.
전방 카메라(110)는 제어부(200)와 전기적으로 연결될 수 있다. 예를 들어, 전방 카메라(110)는 차량용 통신 네트워크를 통하여 제어부(200)와 연결되거나, 하드 와이어(hard wire)를 통하여 제어부(200)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제어부(200)와 연결될 수 있다. 전방 카메라(110)는 영상 데이터를 제어부(200)로 전달할 수 있다.
전방 레이더(120)와 코너 레이더(130)는 차량의 전방과 주변에 존재하는 객체(예를 들어, 다른 차량, 보행자 등)의 상대 위치, 상대 속도 등을 획득할 수 있다. 전방 레이더(120)와 코너 레이더(130)는 차량용 통신 네트워크 또는 하드 와이어 또는 인쇄 회로 기판을 통하여 제어부(200)와 연결될 수 있다. 전방 레이더(120)와 코너 레이더(130)는 레이더 데이터를 제어부(200)로 전달할 수 있다. 한편, 레이더들은 라이다(Lidar)로 구현될 수도 있다.
거동 센서(140)는 차량의 거동 데이터를 획득할 수 있다. 예를 들면, 거동 센서(140)는 휠의 속도를 검출하는 속도 센서, 차량의 횡 가속도 및 종 가속도를 검출하는 가속도 센서, 차량의 각속도의 변화를 검출하는 요레이트 센서, 차량의 기울기를 검출하는 자이로 센서 및/또는 스티어링 휠의 회전과 조향각을 검출하는 조향각 센서를 포함할 수 있다. 거동 데이터는 차량의 속도, 종가속도, 횡가속도, 조향각, 주행 방향, 요레이트(yaw rate) 및/또는 기울기를 포함할 수 있다.
운전자 카메라(150)는 운전자의 얼굴을 포함하는 운전자 영상을 촬영하여 영상 데이터를 획득할 수 있다.
운전자 카메라(150)는 운전자 영상을 촬영할 수 있도록 차량의 프론트 윈드 쉴드, 계기판, 센터페시아, A 필러 등에 설치될 수 있다.
운전자 카메라(150)는 이미지 센서와 적외선 필터로 구성되는 적외선 카메라로 구현될 수 있다. 또한, 운전자 카메라(150)는 하나 이상이 설치될 수 있다.
운전자 카메라(150)는 제어부(200)와 전기적으로 연결될 수 있다. 예를 들어, 운전자 카메라(150)는 차량용 통신 네트워크를 통하여 제어부(200)와 연결되거나, 하드 와이어(hard wire)를 통하여 제어부(200)와 연결되거나, 인쇄 회로 기판(Printed Circuit Board, PCB)을 통하여 제어부(200)와 연결될 수 있다.
운전자 카메라(10)는 운전자의 얼굴 영역을 검출하기 위한 영상 데이터를 제어부(200)로 전달할 수 있다.
제어부(200)는 프로세서(210)와 메모리(220)를 포함한다. 제어부(200)는 하나 이상의 프로세서(210)를 포함할 수 있다. 제어부(200)에 포함되는 하나 이상의 프로세서(210)는 하나의 칩에 집적되는 것도 가능하고, 물리적으로 분리되는 것도 가능하다. 또한, 프로세서(210)와 메모리(220)가 단일 칩으로 구현될 수도 있다.
프로세서(210)는 전방 카메라(110)의 전방 영상 데이터, 전방 레이더(120)의 전방 레이더 데이터, 코너 레이더(130)의 코너 레이더 데이터 및 운전자 카메라(150)의 운전자 영상 데이터를 처리할 수 있다. 또한, 프로세서(210)는 차량의 전자 장치들을 제어하기 위한 제어 신호를 생성할 수 있다.
예를 들면, 프로세서(210)는 전방 카메라(110)의 전방 영상 데이터와 운전자 카메라(150)의 운전자 영상 데이터를 처리하는 이미지 시그널 프로세서를 포함할 수 있고, 레이더들(120, 130)의 레이더 데이터를 처리하는 디지털 시그널 프로세서를 포함할 수 있다. 또한, 프로세서(210)는 마이크로 컨트롤 유닛(Micro Control Unit, MCU)을 포함할 수 있다.
메모리(220)는 프로세서(210)가 전방 영상 데이터 및 운전자 영상 데이터를 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다. 메모리(220)는 프로세서(210)가 레이더 데이터를 처리하기 위한 프로그램 및/또는 데이터를 저장할 수 있다. 또한, 메모리(220)는 프로세서(210)가 차량의 전자 장치들에 관한 제어 신호를 생성하기 위한 프로그램 및/또는 데이터를 저장할 수 있다.
메모리(220)는 전방 카메라(110)로부터 수신된 전방 영상 데이터, 운전자 카메라(150)로부터 수신된 운전자 영상 데이터 및/또는 레이더들(120, 130)로부터 수신된 레이더 데이터를 임시로 기억할 수 있다. 또한, 메모리(220)는 프로세서(210)가 영상 데이터 및/또는 레이더 데이터를 처리한 결과를 임시로 기억할 수 있다. 메모리(220)는 S램(S-RAM), D램(D-RAM) 등의 휘발성 메모리뿐만 아니라 플래시 메모리, 롬(Read Only Memory, ROM), 이피롬(Erasable Programmable Read Only Memory: EPROM) 등의 비휘발성 메모리를 포함할 수 있다.
도 2는 일실시예에 따른 운전자 보조 시스템의 전방 카메라, 레이더 및 운전자 카메라를 도시한다.
도 2를 참조하면, 전방 카메라(110)는 차량(1)의 전방을 향하는 시야(field of view)(110a)를 가질 수 있다. 예를 들면, 전방 카메라(110)는 차량(1)의 프론트 윈드 쉴드, 사이드 미러, A필러, B필러, C필러 및 리어 윈도우에 설치될 수도 있다.
전방 카메라(110)는 차량(1)의 전방을 촬영하고, 차량(1) 전방의 영상 데이터를 획득할 수 있다. 전방 영상 데이터는 차량(1) 전방에 위치하는 다른 차량 또는 보행자에 관한 위치 정보를 포함할 수 있다.
전방 레이더(120)는 차량(1)의 전방을 향하는 감지 시야(field of sensing)(120a)을 가질 수 있다. 전방 레이더(120)는 예를 들어 차량(1)의 그릴(grille) 또는 범퍼(bumper)에 설치될 수 있다.
전방 레이더(120)는 차량(1)의 전방을 향하여 송신 전파를 방사하는 송신 안테나(또는 송신 안테나 어레이)와, 객체에 반사된 반사 전파를 수신하는 수신 안테나(또는 수신 안테나 어레이)를 포함할 수 있다. 전방 레이더(120)는 송신 안테나에 의한 송신된 송신 전파와 수신 안테나에 의하여 수신된 반사 전파로부터 전방 레이더 데이터를 획득할 수 있다. 전방 레이더 데이터는 차량(1) 전방에 위치하는 다른 차량 또는 보행자 또는 사이클리스트에 관한 거리 정보 및 속도 정도를 포함할 수 있다. 전방 레이더(120)는 송신 전파와 반사 전파 사이의 위상 차이(또는 시간 차이)에 기초하여 객체까지의 상태 거리를 산출하고, 송신 전파와 반사 전파 사이의 주파수 차이에 기초하여 객체의 상대 속도를 산출할 수 있다.
코너 레이더(130)는 차량(1)의 전방 우측에 설치되는 제1 코너 레이더(130-1), 차량(1)의 전방 좌측에 설치되는 제2 코너 레이더(130-2), 차량(1)의 후방 우측에 설치되는 제3 코너 레이더(130-3) 및 차량(1)의 후방 좌측에 설치되는 제4 코너 레이더(130-4)를 포함할 수 있다.
제1 코너 레이더(130-1)는 차량(1)의 전방 우측을 향하는 감지 시야(130-1a)를 가질 수 있다. 제2 코너 레이더(132)는 차량(1)의 전방 좌측을 향하는 감지 시야(130-2a)를 가질 수 있고, 제3 코너 레이더(130-3)는 차량(1)의 후방 우측을 향하는 감지 시야(130-3a)를 가질 수 있으며, 제4 코너 레이더(130-4)는 차량(1)의 후방 좌측을 향하는 감지 시야(130-4a)를 가질 수 있다.
코너 레이더들(130) 각각은 송신 안테나와 수신 안테나를 포함할 수 있다. 제1, 제2, 제3 및 제4 코너 레이더들(130-1, 130-2, 130-3, 130-4)은 각각 제1 코너 레이더 데이터와 제2 코너 레이더 데이터와 제3 코너 레이더 데이터와 제4 코너 레이더 데이터를 획득할 수 있다. 제1 코너 레이더 데이터는 차량(1) 전방 우측에 위치하는 객체에 관한 거리 정보 및 속도 정도를 포함할 수 있다. 제2 코너 레이더 데이터는 차량(1) 전방 좌측에 위치하는 객체의 거리 정보 및 속도 정도를 포함할 수 있다. 제3 및 제4 코너 레이더 데이터는 차량(1) 후방 우측 및 차량(1) 후방 좌측에 위치하는 객체의 거리 정보 및 속도 정보를 포함할 수 있다.
운전자 카메라(150)는 차량(1) 내의 운전자를 향하는 감지 시야(field of sensing)(150a)을 가질 수 있다. 예를 들면, 운전자 카메라(150)는 차량(1)의 프론트 윈드 쉴드, 계기판, 센터페시아, A 필러 등에 설치될 수 있다. 운전자 카메라(150)는 운전자를 촬영하고, 운전자 영상 데이터를 획득할 수 있다. 운전자 영상 데이터는 운전자의 머리 방향과 시선 방향에 대한 정보를 포함할 수 있다.
프로세서(210)는 전방 카메라(110)의 전방 영상 데이터와 전방 레이더(120)의 전방 레이더 데이터에 기초하여 차량(1) 전방의 객체들(예를 들어, 다른 차량, 보행자 등)을 감지 및/또는 식별할 수 있고, 차량(1)의 전방의 객체들의 위치 정보(거리 및 방향) 및 속도 정보(상대 속도)를 획득할 수 있다. 또한, 프로세서(210)는 복수의 코너 레이더들(130)의 코너 레이더 데이터에 기초하여 차량(1) 측방(전방 우측, 전방 좌측, 후방 우측, 후방 좌측)의 객체들의 위치 정보(거리 및 방향) 및 속도 정보(상대 속도)를 획득할 수 있다.
프로세서(210)는 운전자 카메라(150)에 의해 촬영된 운전자 영상 데이터를 기반으로 머리 방향 추적(Head Direction Tracking) 알고리즘과 시선 방향 추적(Gaze Direction Tracking) 알고리즘을 이용하여, 운전자의 머리 방향과 시선 방향을 추적할 수 있다.
머리 방향 추적 알고리즘은 운전자 카메라(150)로부터 수신한 운전자 영상을 기반으로 운전자의 머리 방향을 추적할 수 있다. 머리 방향은 차량(1)의 실내의 어떠한 기준점으로부터 x, y, z축을 기준으로 각도로 출력될 수 있다. 기준점은 운전자 카메라(150)의 설치 위치, 백미러 위치 등 차량(1)의 내부에서 고정되어 있는 어느 부분이어도 관계없다. 기준점은 연산량을 줄이기 위해 운전자 카메라(150)의 설치 위치일 수 있다.
시선 방향 추적 알고리즘은 전방 카메라(150)로부터 수신한 운전자 영상을 기반으로 운전자의 시선 방향을 추적할 수 있다. 시선 방향은 x, y, z 축을 기준으로 각도로 출력될 수 있다. 기준점은 전방 카메라(15의 설치 위치, 백미러 위치 등 차량(1)의 내부에서 고정되어 있는 어느 부분이어도 관계없지만, 연산량을 줄이기 위해 전방 카메라(150)의 설치 위치일 수 있다.
전방 카메라(150)를 통해 운전자의 동공 중심 좌표를 얻고, 운전자 카메라(150)의 설치 위치 좌표를 얻고, 운전자의 동공 좌표와 카메라(10)의 설치 위치 좌표로부터 운전자의 시선 방향을 추정할 수 있다. 전방 카메라(150)로부터 얻은 눈 영상에서 영상처리기법을 이용하여 동공 중심 좌표를 얻음으로써 운전자의 동공을 검출할 수 있다. 동공을 검출하는 영상처리기법은 공지된 기술을 따른다. 예를 들면, 눈 영상을 RGB 칼라의 3채널 영역에서 그레이 레벨로 변환하고, 그레이 레벨로 변환된 눈 영상을 적절한 경계값으로 이진화시키고, 이진화된 영상에서 노이즈를 제거하여 동공 영역을 찾고, 타원 피팅을 통해 동공의 중심을 찾을 수 있다.
도 3은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향을 추적하는 것을 도시한다.
도 3을 참조하면, 운전자의 머리 방향은 0° 내지 180°사이에서 정해진다.
Fθ1, Fθ2, Fθ3 및 Fθ4는 0° 내지 180°사이의 각도이다.
Fθ1, Fθ2, Fθ3 및 Fθ4는 0°에서 180°로 갈수록 높은 각도값을 갖는다.
운전자의 머리 방향이 Fθ2 내지 Fθ3 사이의 각도 범위 이내이면, 운전자의 머리가 정면을 향한 것으로 판단한다.
운전자의 머리 방향이 Fθ1 과 Fθ2 사이의 각도 범위 이내이면, 운전자의 머리가 정면이 아닌 좌측으로 향한 것으로 판단한다.
운전자의 머리 방향이 Fθ3 과 Fθ4 사이의 각도 범위 이내이면, 운전자의 머리가 정면이 아닌 우측으로 향한 것으로 판단한다.
운전자의 머리 방향이 0°와 Fθ1 사이의 각도 범위 이내이면, 운전자의 머리가 정면이 아닌 최좌측으로 향한 것으로 판단한다.
운전자의 머리 방향이 Fθ4 과 180°사이의 각도 범위 이내이면, 운전자의 머리가 정면이 아닌 최우측으로 향한 것으로 판단한다.
도 4는 일실시예에 따른 운전자 보조 시스템에서 운전자의 시선 방향을 추적하는 것을 도시한다.
운전자의 시선 방향은 0° 내지 180°사이에서 정해진다.
Gθ1 및 Gθ2는 0° 내지 180°사이의 각도이다.
Gθ1 및 Gθ2는 0°에서 180°로 갈수록 높은 각도값을 갖는다.
운전자의 시선 방향이 Gθ1 와 Gθ2 사이의 각도 범위 이내이면, 운전자의 시선이 정면을 향한 것으로 판단한다.
운전자의 시선 방향이 0°와 Gθ1 사이의 각도 범위 이내이면, 운전자의 시선이 정면이 아닌 좌측으로 향한 것으로 판단한다.
운전자의 시선 방향이 Gθ2 과 180°사이의 각도 범위 이내이면, 운전자의 시선이 정면이 아닌 우측으로 향한 것으로 판단한다.
머리 방향 추적 결과와 시선 방향 추적 결과는 시스템의 감지 영역을 확대하기 위한 정보로 사용될 수 있다.
도 5는 일실시예에 따른 운전자 보조 시스템에서 기본 감지영역과 확대 가능한 감지영역을 도시한다.
도 5를 참조하면, 기본 감지영역은 시스템에서 기존에 사용된 감지영역으로 정의하고, 확대 가능한 감지영역은 기본 감지영역에서 운전자의 머리 방향과 시선 방향을 근거로 확대된 최대 감지영역으로 정의한다.
기본 감지영역은 차량의 속도와 스티어링 휠의 조향각에 따라 설정될 수 있다.
기본 감지영역은 전방 카메라(110)의 감지 시야(110a)와 레이더(120, 130)의 감지 시야(130-1a 내지 130-4a) 중 어느 하나를 기준으로 차량 속도와 조향각에 따라 결정되거나, 두 개를 융합한 영역을 기준으로 차량 속도와 조향각에 따라 결정될 수 있다.
확대 가능한 감지영역은 기본 감지영역을 확대한 영역이다.
확대 가능한 감지영역은 전방 카메라(110)의 감지 시야(110a)와 레이더(120, 130)의 감지 시야(130-1a 및 130-2a) 중 어느 하나에 의해 결정된 영역에 의해 제한되거나, 두 개를 융합한 영역에 의해 제한될 수 있다.
도 6은 일실시예에 따른 운전자 보조 시스템의 제어방법을 도시한다.
도 6을 참조하면, 제어부(200)는 운전자 카메라(150)로부터 운전자 영상 데이터를 수신한다(300).
제어부(200)는 운전자 카메라(150)로부터 수신된 운전 영상 데이터를 기반으로 운전자의 머리 방향을 추적한다(302).
제어부(200)는 추적된 머리 방향을 근거로 운전자의 얼굴이 정면을 응시하는지를 판단한다(304). 제어부(200)는 운전자의 머리 방향이 Fθ2 내지 Fθ3 사이의 각도 범위 이내이면, 운전자의 얼굴이 정면을 향한 것으로 판단한다.
제어부(200)는 운전자의 얼굴이 정면을 응시하면, 운전자의 시선 방향을 추적한다(306).
제어부(200)는 추적된 시선 방향을 근거로 운전자의 시선이 정면을 응시하는지를 판단한다(308).
제어부(200)는 운전자의 시선이 정면을 응시하면, 시스템의 현재 감지영역을 유지한다(310). 시스템에 설정된 감지영역인 기본 감지영역을 유지한다.
도 7은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향과 시선 방향이 모두 정면 방향일 경우 감지영역을 도시한다.
도 7을 참조하면, 운전자의 머리 방향과 시선 방향이 모두 정면 방향(Fθ2 내지 Fθ3 및 Gθ1 내지 Gθ2)이면, 기본 감지영역을 유지한다.
다시 도 6을 참조하면, 제어부(200)는 운전자의 시선이 정면을 응시하지 않으면, 운전자의 시선방향에 따라 감지영역을 확대한다(312).
도 8은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이고, 시선 방향이 정면 방향이 아닌 우측 방향일 경우 감지영역을 도시하고, 도 9는 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이고, 시선 방향이 정면 방향이 아닌 좌측 방향일 경우 감지영역을 도시한다.
도 8을 참조하면, 운전자의 머리 방향이 정면 방향(Fθ2 내지 Fθ3)이고, 시선 방향이 정면 방향(Gθ1 내지 Gθ2)이 아닌 우측 방향(Gθ2 내지 180°)이면, 기본 감지영역에 시선 방향과 반대 방향의 감지영역인 단방향으로 확대된 감지영역을 추가한 전체 감지영역으로 감지영역을 확대시킨다.
도 9를 참조하면, 운전자의 머리 방향이 정면 방향(Fθ2 내지 Fθ3)이고, 시선 방향이 정면 방향(Gθ1 내지 Gθ2)이 아닌 좌측 방향(0°내지 Gθ1))이면, 기본 감지영역에 시선 방향과 반대 방향의 감지영역인 단방향으로 확대된 감지영역을 추가한 전체 감지영역으로 감지영역을 확대시킨다.
다시 도 6을 참조하면, 제어부(200)는 운전자의 얼굴이 정면을 응시하지 않으면, 운전자의 머리방향에 따라 감지영역을 확대한다(314).
도 10은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이 아닌 우측 방향일 경우 감지영역을 도시한다.
도 10을 참조하면, 운전자의 머리 방향이 정면 방향이 아닌 우측 방향(Fθ3 내지 Fθ4)이면, 운전자가 얼굴을 돌린 우측 방향의 감지영역을 확대한다.
도 11은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이 아닌 좌측 방향일 경우 감지영역을 도시한다.
도 11을 참조하면, 운전자의 머리 방향이 정면 방향이 아닌 좌측 방향(Fθ1 내지 Fθ2)이면, 운전자가 얼굴을 돌린 좌측 방향의 감지영역을 확대한다.
도 12는 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이 아닌 최우측 방향일 경우 감지영역을 도시하고, 도 13은 일실시예에 따른 운전자 보조 시스템에서 운전자의 머리 방향이 정면 방향이 아닌 최좌측 방향일 경우 감지영역을 도시한다.
도 12 및 도 13을 참조하면, 운전자의 머리 방향이 정면 방향이 아닌 최우측 방향(Fθ4 내지 180°)이거나, 운전자의 머리 방향이 정면 방향이 아닌 최좌측 방향(0°내지 Fθ1)이면, 기본 감지영역의 우측 영역과 좌측 영역을 모두 확장시킨다. 전체 감지영역은 기본 감지영역, 우측으로 확장된 감지영역 및 좌측으로 확장된 감지영역을 모두 합한 영역이다.
다시 도 6을 참조하면, 제어부(200)는 기본 감지영역을 유지할 경우, 감지영역 내에 장애물이 존재하는지를 판단하고(316), 감지영역 내에 장애물이 존재하면, 현재의 제어 민감도를 유지한다.
제어부(200)는 감지영역이 확대될 경우, 확대된 감지영역 내에 장애물이 존재하는지를 판단하고(320), 확대된 감지영역 내에 장애물이 존재하면, 제어 민감도를 증가시킨다(322). 이후 제어부(200)는 증가된 제어 민감도를 적용하여 차량을 제어한다. 예를 들면, 충돌 경고에 사용되는 장애물과의 거리를 짧게 하거나 길게 하거나, 장애물과의 충돌 경고 시점을 앞당기거나 늦춤으로써 제어 민감도를 조절할 수 있다.
이상과 같이, 개시된 발명은 운전자가 정면을 응시하지 않을 경우 감지 영역을 조정하여 사고를 예방하고 운전자에게 주의를 환기할 수 있다.
상술한 실시예에서는 얼굴이 정면을 응시하지 않을 경우 머리방향에 따라 감지영역을 단방향 또는 양방향으로 확대하는 것에 대하여 설명하였지만, 이에 한정되지 않으며, 머리방향에 따른 감지영역이 단방향 확대 대상인 경우, 운전자의 시선방향에 따라 감지영역을 시선방향으로 반대방향으로 단방향 확대할 수도 있다.

Claims (18)

  1. 운전자의 얼굴을 포함하는 운전자 영상을 촬영하는 운전자 카메라; 및
    상기 운전자 카메라로부터 획득된 운전자 영상 데이터로부터 상기 운전자의 머리 방향과 시선 방향을 추적하고, 상기 추적된 머리 방향과 시선 방향을 근거로 감지 영역을 기본 감지 영역보다 확대시키고, 확대된 감지 영역을 적용하여 차량을 제어하는 제어부를 포함하는 운전자 보조 시스템.
  2. 제1항에 있어서,
    상기 제어부는 상기 차량의 전방을 향하는 감지 시야를 가지는 전방 카메라, 상기 차량의 전방 및 측방을 향하는 감지 시야를 가지는 레이더, 상기 차량의 전방을 향하는 감지 시야를 가지는 라이다 중 어느 하나의 감지 시야 또는 적어도 2개의 조합에 의한 감지 시야를 기반으로 상기 기본 감지 영역을 설정하되, 상기 차량의 속도와 조향각에 따라 설정하는 운전자 보조 시스템.
  3. 제1항에 있어서,
    상기 제어부는 상기 추적된 머리 방향이 상기 차량의 정면 방향이면, 상기 추적된 시선 방향을 근거로 상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 운전자 보조 시스템.
  4. 제3항에 있어서,
    상기 제어부는 상기 추적된 시선 방향이 상기 차량의 정면 방향이면, 상기 감지 영역을 상기 기본 감지 영역으로 유지하고, 상기 정면 방향이 아니면, 상기 감지 영역을 상기 기본 감지 영역에서 상기 추적된 시선 방향과 반대 방향으로 확대된 영역으로 확대시키는 운전자 보조 시스템.
  5. 제1항에 있어서,
    상기 제어부는 상기 추적된 머리 방향이 상기 차량의 정면 방향이 아니면, 상기 추적된 머리 방향을 근거로 상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 운전자 보조 시스템.
  6. 제5항에 있어서,
    상기 제어부는 상기 추적된 머리 방향이 상기 차량의 정면 방향을 기준으로 미리 설정된 각도 범위 이내이면, 상기 감지 영역을 상기 기본 감지 영역에서 상기 추적된 머리 방향으로 확대된 영역으로 확대시키는 운전자 보조 시스템.
  7. 제6항에 있어서,
    상기 제어부는 상기 추적된 머리 방향이 상기 차량의 정면 방향을 기준으로 상기 미리 설정된 각도 범위를 벗어나면, 상기 감지 영역을 상기 기본 감지 영역에서 양측으로 확대된 영역으로 확대시키는 운전자 보조 시스템.
  8. 제1항에 있어서,
    상기 제어부는 상기 확대된 감지 영역에 장애물이 존재하면 제어 민감도를 증가시키고, 상기 증가된 제어 민감도를 적용하여 상기 차량을 제어하는 운전자 보조 시스템.
  9. 제8항에 있어서,
    상기 제어부는 충돌 경고에 사용되는 상기 장애물과의 거리 또는 상기 장애물과의 충돌 경고 시점을 변경하여 상기 제어 민감도를 증가시키는 운전자 보조 시스템.
  10. 운전자 카메라로부터 운전자 영상 데이터를 획득하고,
    상기 획득된 운전자 영상 데이터를 근거로 상기 운전자의 머리 방향과 시선 방향을 추적하고,
    상기 추적된 머리 방향과 시선 방향을 근거로 감지 영역을 기본 감지 영역보다 확대시키고,
    확대된 감지 영역을 적용하여 차량을 제어하는 운전자 보조 시스템의 제어방법.
  11. 제10항에 있어서,
    상기 운전자 영상 데이터를 획득하기 전에, 상기 차량의 전방을 향하는 감지 시야를 가지는 전방 카메라, 상기 차량의 전방 및 측방을 향하는 감지 시야를 가지는 레이더, 상기 차량의 전방을 향하는 감지 시야를 가지는 라이다 중 어느 하나의 감지 시야 또는 적어도 2개의 조합에 의한 감지 시야를 기반으로 상기 기본 감지 영역을 설정하되, 상기 차량의 속도와 조향각에 따라 설정하는 운전자 보조 시스템의 제어방법.
  12. 제10항에 있어서,
    상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 머리 방향이 상기 차량의 정면 방향이면, 상기 추적된 시선 방향을 근거로 상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 운전자 보조 시스템의 제어방법.
  13. 제12항에 있어서,
    상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 시선 방향이 상기 차량의 정면 방향이면, 상기 감지 영역을 상기 기본 감지 영역으로 유지하고, 상기 정면 방향이 아니면, 상기 감지 영역을 상기 기본 감지 영역에서 상기 추적된 시선 방향과 반대 방향으로 확대된 영역으로 확대시키는 운전자 보조 시스템의 제어방법.
  14. 제10항에 있어서,
    상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 머리 방향이 상기 차량의 정면 방향이 아니면, 상기 추적된 머리 방향을 근거로 상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 운전자 보조 시스템의 제어방법.
  15. 제14항에 있어서,
    상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 머리 방향이 상기 차량의 정면 방향을 기준으로 미리 설정된 각도 범위 이내이면, 상기 감지 영역을 상기 기본 감지 영역에서 상기 추적된 머리 방향으로 확대된 영역으로 확대시키는 운전자 보조 시스템의 제어방법.
  16. 제15항에 있어서,
    상기 감지 영역을 상기 기본 감지 영역보다 확대시키는 것에서, 상기 추적된 머리 방향이 상기 차량의 정면 방향을 기준으로 상기 미리 설정된 각도 범위를 벗어나면, 상기 감지 영역을 상기 기본 감지 영역에서 양측으로 확대된 영역으로 확대시키는 운전자 보조 시스템의 제어방법.
  17. 제10항에 있어서,
    상기 확대된 감지 영역을 적용하여 차량을 제어하는 것에서, 상기 확대된 감지 영역에 장애물이 존재하면 제어 민감도를 증가시키고, 상기 증가된 제어 민감도를 적용하여 상기 차량을 제어하는 운전자 보조 시스템의 제어방법.
  18. 제17항에 있어서,
    상기 제어 민감도를 증가시키는 것에서, 충돌 경고에 사용되는 상기 장애물과의 거리 또는 상기 장애물과의 충돌 경고 시점을 변경하여 상기 제어 민감도를 증가시키는 운전자 보조 시스템의 제어방법.
PCT/KR2021/019064 2020-12-15 2021-12-15 운전자 보조 시스템 및 그 제어 방법 WO2022131786A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200175264A KR20220085876A (ko) 2020-12-15 2020-12-15 운전자 보조 시스템 및 그 제어 방법
KR10-2020-0175264 2020-12-15

Publications (1)

Publication Number Publication Date
WO2022131786A1 true WO2022131786A1 (ko) 2022-06-23

Family

ID=82057900

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/019064 WO2022131786A1 (ko) 2020-12-15 2021-12-15 운전자 보조 시스템 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20220085876A (ko)
WO (1) WO2022131786A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230256988A1 (en) * 2022-02-17 2023-08-17 Gm Cruise Holdings Llc Dynamic lidar adjustments based on av road conditions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048460A (ja) * 2010-08-26 2012-03-08 Denso Corp 走行支援装置
KR20140098598A (ko) * 2013-01-31 2014-08-08 한국전자통신연구원 차량 속도 적응형 장애물 검출 장치 및 방법
JP2016035634A (ja) * 2014-08-01 2016-03-17 株式会社デンソー 運転支援装置
KR20160056189A (ko) * 2014-11-11 2016-05-19 경희대학교 산학협력단 보행자 검출 경보 장치 및 방법
JP2019011055A (ja) * 2018-10-01 2019-01-24 株式会社デンソー 運転支援装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5028302B2 (ja) 2008-03-05 2012-09-19 本田技研工業株式会社 車両用警報装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048460A (ja) * 2010-08-26 2012-03-08 Denso Corp 走行支援装置
KR20140098598A (ko) * 2013-01-31 2014-08-08 한국전자통신연구원 차량 속도 적응형 장애물 검출 장치 및 방법
JP2016035634A (ja) * 2014-08-01 2016-03-17 株式会社デンソー 運転支援装置
KR20160056189A (ko) * 2014-11-11 2016-05-19 경희대학교 산학협력단 보행자 검출 경보 장치 및 방법
JP2019011055A (ja) * 2018-10-01 2019-01-24 株式会社デンソー 運転支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230256988A1 (en) * 2022-02-17 2023-08-17 Gm Cruise Holdings Llc Dynamic lidar adjustments based on av road conditions

Also Published As

Publication number Publication date
KR20220085876A (ko) 2022-06-23

Similar Documents

Publication Publication Date Title
JP5345350B2 (ja) 車両の運転支援装置
EP1245443B1 (en) Vehicle environment monitoring system
JP3239521B2 (ja) 移動体認識装置
WO2018070655A1 (ko) 대형 차량의 이동 객체 충돌 경고 장치 및 방법
JP4244873B2 (ja) 車々間通信制御システム、車載通信システムおよび通信状態表示装置
JP2007172035A (ja) 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
EP3737084B1 (en) Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
WO2020145441A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
JP2006318093A (ja) 車両用移動物体検出装置
JP3246243B2 (ja) 車線逸脱警報装置
WO2022131786A1 (ko) 운전자 보조 시스템 및 그 제어 방법
WO2023146071A1 (ko) 차량 외부 측전방 상태 확인 장치
JP2006315482A (ja) 車両用移動物体検出装置
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
CN113826154A (zh) 驾驶辅助***、驾驶辅助方法以及程序
WO2021241360A1 (ja) 検出装置、検出システム及び検出方法
WO2018124389A1 (ko) 차량 간 충돌 방지 방법 및 장치
US11152726B2 (en) Connector device and connector system
EP4371822A1 (en) Auxiliary driving system and vehicle
WO2019117572A1 (ko) 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
JP4415909B2 (ja) 車両用走行支援装置
JP2020109559A (ja) 信号機認識方法及び信号機認識装置
WO2021182190A1 (ja) 撮像装置、撮像システム及び撮像方法
US20220224830A1 (en) Imaging device and imaging method
KR20220097656A (ko) 운전자 보조 장치, 차량 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21907090

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21907090

Country of ref document: EP

Kind code of ref document: A1