KR20210023596A - 차량의 주행 제어 장치, 방법 및 시스템 - Google Patents

차량의 주행 제어 장치, 방법 및 시스템 Download PDF

Info

Publication number
KR20210023596A
KR20210023596A KR1020190104019A KR20190104019A KR20210023596A KR 20210023596 A KR20210023596 A KR 20210023596A KR 1020190104019 A KR1020190104019 A KR 1020190104019A KR 20190104019 A KR20190104019 A KR 20190104019A KR 20210023596 A KR20210023596 A KR 20210023596A
Authority
KR
South Korea
Prior art keywords
vehicle
driver
state
driving
management server
Prior art date
Application number
KR1020190104019A
Other languages
English (en)
Inventor
김력
이병준
김종철
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190104019A priority Critical patent/KR20210023596A/ko
Priority to US16/994,870 priority patent/US11541886B2/en
Priority to DE102020210657.6A priority patent/DE102020210657A1/de
Publication of KR20210023596A publication Critical patent/KR20210023596A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/46—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for giving flashing caution signals during drive, other than signalling change of direction, e.g. flashing the headlights or hazard lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/52—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating emergencies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/04—Vehicle stop
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/05—Leading to automatic stopping of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전자 상태를 판단하기 위한 적어도 하나이상의 센서부, 상기 복수의 센서부로부터 검출 결과를 제공 받아 운전자 상태가 위험 상태인지를 판단하는 운전자 상태 판단부, 및 상기 운전자 상태 판단부의 판단 결과가 위험 상태일 경우 차량의 차선 유지 제어 및 감속을 실시하며, 관리 서버에 네트워크 연결 요청을 전송하는 운전 지원부를 포함한다.

Description

차량의 주행 제어 장치, 방법 및 시스템{VEHICLE TRAVEL CONTROL APPARATUS, METHOD AND SYSTEM}
본 발명은 차량의 주행 제어 장치 및 방법, 그리고 시스템에 관한 것이다.
최근 차량에는 주행 보조 및 안전성 확보를 위한 주행 지원 기능들이 탑재되고 있다.
차선 변경 기능은 위험 상황 발생 시 차선 변경이 중단될 수 있다. 다시 말해, 차선 변경 기능은 차량의 위험 상황 감지, 핸즈 오프 감지, 운전자에 의한 방향 지시등 OFF, 차로 변경 동작 지연, 운전자 조향 오버라이드, 차선 미감지/오감지 등의 상황이 발생하는 경우에 차선 변경이 중단된다.
하지만, 운전 지원 실시 중 운전자에게 졸음, 생체신호 위험 등과 같은 위험 상황이 발생했을 때 차선 변경 기능이 중단되면 운전자의 위험 상황에 대해 바로 대처할 수 없는 문제가 발생할 수 있다.
본 발명의 일 목적은, 주행 중 차선 변경 기능이 중단된 상태에서 졸음, 생체신호 위험 등과 같은 운전자의 문제 상황을 감지하고 위험 상황이라고 판단되는 경우 차량 내부/외부 상황 정보를 관리 서버로 전송하고, 관리 서버에서 해당 정보를 통해 위험 상황으로 판단 되는 경우 무선 제어를 통해 차량을 끝차선으로 점차 이동시켜 정차시키도록 함으로써 운전자의 위험 상황에 신속하게 대처할 수 있도록 하는 차량의 주행 제어 장치 및 방법, 그리고 시스템을 제공함에 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 차량의 주행 제어 장치는 운전자 상태를 판단하기 위한 적어도 하나이상의 센서부, 상기 복수의 센서부로부터 검출 결과를 제공 받아 운전자 상태가 위험 상태인지를 판단하는 운전자 상태 판단부, 및 상기 운전자 상태 판단부의 판단 결과가 위험 상태일 경우 차량의 차선 유지 제어 및 감속을 실시하며, 관리 서버에 네트워크 연결 요청을 전송하는 운전 지원부를 포함한다.
본 발명의 일 실시예에 따른 차량의 주행 제어 시스템은 운전자 상태가 위험 상태일 경우 네트워크 연결 요청을 전송하는 차량, 및 상기 차량으로부터 상기 네트워크 연결 요청이 수신되면 상기 차량과 네트워크를 연결하여 상기 차량의 주행을 무선 제어하는 관리 서버를 포함한다.
본 발명의 일 실시예에 따른 차량의 주행 제어 방법은 운전자 영상, 차량의 주행 상태 및 운전자 생체 정보 중 적어도 하나이상을 검출하는 운전자 상태 정보 수집 단계, 검출된 상기 운전자 영상, 상기 차량의 주행 상태 및 상기 운전자 생체 정보 중 상기 적어도 하나이상을 기초로 위험 상태인지를 판단하는 제 1 위험 상태 판단 단계, 상기 제 1 위험 상태 판단 단계의 판단 결과가 상기 위험 상태일 경우 상기 운전자 상태 정보 수집 단계의 검출 결과를 관리 서버에 전송하는 차량 및 운전자 상태 정보 전송 단계, 상기 차량 및 운전자 상태 정보 전송 단계에서 전송된 검출 결과에 기초하여 위험 상태인지를 판단하는 제 2 위험 상태 판단 단계, 상기 제 2 위험 상태 판단 단계의 판단 결과가 위험 상태이면 차량에 운전 지원 명령을 전송하는 운전 지원 명령 전송 단계, 및 상기 운전 지원 명령이 수신되면 상기 관리 서버의 무선 제어에 따라 상기 차량의 주행이 제어되는 운전 지원 기능 보조 제어 단계를 포함한다.
본 발명의 실시예들에 따르면, 운전자가 일정시간 전방을 주시하지 않고 차량을 운전하는 경우(졸음 운전, 부주의 운전) 및 응급 상황이 발생하는 경우 차량을 관리 서버의 무선 제어를 통해 끝차선으로 이동시킴으로써, 운전자와 차량의 안전을 도모하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차량의 주행 제어 시스템의 구성을 도시한 도면이다.
도 2는 도 1에 도시된 차량 제어기의 실시예에 따른 구성을 도시한 도면이다.
도 3a 내지 도 3d는 도 2의 운전자 상태 판단부의 얼굴 인식 기반 위험 판단을 설명하기 위한 도면이다.
도 4a 내지 도 4c는 도 2의 운전자 상태 판단부의 생체 기반 위험 판단을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 차량의 주행 제어 시스템의 무선 제어 차선 변경 기능을 설명하기 위한 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 차량의 주행 제어 방법에 대한 동작 흐름을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 차량의 주행 제어 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량의 주행 제어 시스템은 차량 제어기(110) 및 텔레매틱스 제어기(150)를 구비한 차량(100) 및 관리 서버(200)를 포함할 수 있다. 이때, 본 발명의 일 실시예에 따른 차량의 주행 제어 시스템의 차량(100)에 구비된 차량 제어기(110) 및 텔레매틱스 제어기(150)는 차량의 내부에 구현될 수 있다. 차량 제어기(110) 및 텔레매틱스 제어기(150)는 차량의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다. 차량 제어기(110)는 차량의 엔진 및 모터와 연계되어 동작할 수 있으며, 엔진이나 모터의 동작을 제어하는 제어 유닛과 연계되어 동작할 수도 있다.
차량 제어기(110)는 텔레매틱스 제어기(150)와 CAN(Controller Area Network), 이더넷(Ethernet) 등의 차량 내부 근거리 유선 통신으로 연결될 수 있다.
텔레매틱스 제어기(150)는 관리 서버(200)와 무선 통신으로 연결될 수 있다. 이때, 텔레매틱스 제어기(150)와 관리 서버(200)는 암호화 모듈로 암호화된 정보를 송수신할 수 있다.
차량 제어기(110)는 텔레매틱스 제어기(150)를 중계기로 하여 관리 서버(200)와 통신할 수 있다.
차량 제어기(110)는 운전자의 상태를 판단하여, 판단 결과를 텔레매틱스 제어기(150)를 통해 관리 서버(200)에 전달할 수 있다.
관리 서버(200)는 운전자의 위험 감지시 텔레매틱스 제어기(150)를 통해 차량 제어기(110)를 제어할 수 있다. 예를 들어, 관리 서버(200)는 차량 제어기(110)로부터 제공된 운전자 상태 판단 결과에 따라 차량 제어기(110)를 제어할 수 있다. 또한 관리 서버(200)는 차량 제어기(110)로부터 제공 받은 운전자 상태 판단 결과가 위험 상황일 경우 차량의 내외부 카메라 정보에 기초하여 운전자 상태 및 위험 상황을 재확인하고, 이후 차량 제어기(110)를 제어할 수 있다.
관리 서버(200)는 운전자 상태 및 차량의 위험 상황시 차량 이동 명령을 송신하여 차량 제어기(110)를 제어할 수 있다. 예를 들어, 관리 서버(200)는 운전자 상태 및 차량의 위험 상황시 차량의 카메라로부터 전동되는 차량 주변 정보를 확인한 후, 차량(100)을 무선 제어하여 비상등을 점등시키고 차량(100)을 끝차선으로 이동시키고, 정차시킬 수 있다.
도 2는 도 1에 도시된 차량 제어기의 실시예에 따른 구성을 도시한 도면이다.
도 2를 참조하면, 차량 제어기(110)는 적어도 하나이상의 센서부를 포함하는 센서 그룹(111), 운전자 상태 판단부(115) 및 운전 지원부(116)를 포함할 수 있다.
센서 그룹(111)은 복수의 센서부(112, 113, 114)를 포함하여, 운전자 상태 및 차량(100)의 움직임을 판단하기 위한 운전자 영상, 운전자 생체 정보 및 차량(100)의 주행 상태를 검출할 수 있다. 도 2에서는 차량 제어기(110)의 실시예를 도시한 것으로 센서 그룹(111)에 포함된 제 1 내지 제 3 센서부(112, 113, 114)를 개시하였으나, 이에 한정하는 것은 아니다.
제 1 센서부(112)는 운전자 영상을 촬영할 수 있는 이미지 센서를 포함할 수 있다. 예를 들어, 제 1 센서부(111)는 운전자 영상을 촬영할 수 있는 카메라를 포함할 수 있다.
제 2 센서부(113)는 차량(100)의 주행 상태를 검출할 수 있는 센서들을 포함할 수 있다. 예를 들어, 제 2 센서부(113)는 스피드 센서, 가속도 센서 및 요레이트(yaw rate) 센서 및 차선 촬영용 전방 카메라 등을 포함할 수 있다.
제 3 센서부(114)는 운전자의 심박수, 혈압 및 체온 등의 상태를 측정하는 센서들을 포함할 수 있다.
운전자 상태 판단부(115)는 운전자가 전방을 주시하지 않고 운전하는 경우 즉, 운전자의 졸음 운전, 부주의 운전 및 생체 이상 상태를 판단할 수 있다. 예를 들어, 운전자 상태 판단부(115)는 제 1 내지 제 3 센서부(112, 113, 114)의 출력에 기초하여, 운전자의 졸음 운전. 부주의 운전 및 생체 이상 상태를 판단할 수 있다.
운전 지원부(116)는 운전자의 졸음 운전, 부주의 운전 및 생체 이상 상태시 턴시그널(turn signal)을 작동시키고, 관리 서버(200)와 무선으로 연결되며, 차량의 차선 유지 제어 및 감속을 실시할 수 있다. 또한, 운전 지원부(116)는 차량 내외부 화면 즉, 차량 주면 영상 및 운전자 영상을 관리 서버(200)로 전송하고, 엑셀 페달의 가속 입력을 무시할 수 있다. 또한, 관리 서버(200)에서 운전 지원부(116)가 전송한 영상들을 판단하여 운전자의 상태가 심각하다고 판단되는 경우 운전 지원부(116)에 차량 이동 명령을 송신할 수 있다. 차량 이동 명령을 수진한 운전 지원부(116)는 관리 서버(200)의 제어에 따라 강제적으로 차량(100)을 끝차선으로 이동시킨 후 정차시킬 수 있다. 운전 지원부(116)는 GPS(Global Positioning System) 수신부를 포함할 수 있다.
도 1 및 도 2에 도시된 본 발명의 실시예에 따른 차량의 주행 제어 장치의 동작을 정리하면 다음과 같다.
운전자 상태 판단부(115)는 제 1 내지 제 3 센서부(112, 113, 114)의 출력을 기초로 운전자의 졸음 운전, 부주의 운전 및 생체 이상 상태를 판단하여 위험 상황이라고 판단되면 운전 지원부(116)를 동작시킬 수 있다.
예를 들어, 제 1 센서부(112)는 운전자 영상을 운전자 상태 판단부(115)에 제공할 수 있다. 제 2 센서부(113)는 차량(100)의 주행 상태 즉, 차선이탈 여부, 차량의 속도, 가속도, 및 조향각 등의 정보를 운전자 상태 판단부(115)에 제공할 수 있다. 또한, 제 3 센서부(114)는 운전자의 심박수, 혈압 및 체온 등의 정보를 운전자 상태 판단부(115)에 제공할 수 있다. 운전자 상태 판단부(115)는 제 1 내지 제 3 센서부(112, 113, 114)의 출력을 기초로, 운전자의 위험 상황(졸음 운전, 부주의 운전 및 운전자의 생체 이상 상태등)을 판단할 수 있다. 운전자 상태 판단부(115)의 판단 결과, 운전자가 위험 상황이라 판단될 경우 운전 지원부(116)는 턴시그널을 제어하여 비상 램프를 점등시키고, 차량이 차선을 벗어나지 않도록 유지시킬 수 있다. 동시에, 운전 지원부(116)는 텔레매틱스 제어기(150)와 연동하여 관리 서버(200)에 차량의 내외부 화면을 전송하고, 차량을 감속시키며, 엑셀 페달의 입력을 무시할 수 있다. 관리 서버(200)는 전송된 차량의 내외부 화면을 기초로 운전자 상태가 심각하다고 판단되면, 운전 지원부(116)를 무선 제어하여 차량의 주변 영상을 확인하면서 차량을 끝차선으로 이동시키고, 차량을 정지시킬 수 있다.
도 3a 내지 도 3d는 도 2의 운전자 상태 판단부의 얼굴 인식 기반 위험 판단을 설명하기 위한 도면이다. 제 1 센서부(112)로부터 전송되는 운전자 영상을 기초하여 얼굴 인식 기반으로 운전자 상태를 판단하는 동작을 도 3a 내지 도 3d를 기초로 설명하면 다음과 같다.
제 1 센서부(112)로부터 운전자 영상을 전송 받은 운전자 상태 판단부(115)는 운전자 영상으로부터 운전자의 얼굴을 검출할 수 있다. 예를 들어, 도 3a와 같이, 운전자 상태 판단부(115)는 운전자 영상으로부터 적응형 부스팅 알고리즘(Adaptive Boosting Algorithm, AdaBoost)을 기반으로 얼굴 영역을 검출(311)하고, 얼굴 좌우 윤관을 추출(313)함으로써, 운전자 영상으로부터 운전자 얼굴을 검출할 수 있다.
운전자 상태 판단부(115)는 운전자 얼굴이 검출되면, 운전자 얼굴 기관을 검출할 수 있다. 예를 들어, 도 3b와 같이, 운전자 상태 판단부(115)는 운전자 얼굴 영역에서 눈을 검출 및 추적(321)하고, 운전자의 입을 검출(323)하며, 이후 운전자의 코를 검출 및 추적(325)할 수 있다. 운전자 상태 판단부(115)에서 운전자의 눈, 입 및 코 순으로 얼굴기관을 검출하는 것은 일 실시예일뿐 이에 한정하는 것은 아니다.
운전자 얼굴 영역의 얼굴기관(눈, 코, 입)이 검출되면, 운전자 상태 판단부(115)는 검출된 운전자 얼굴 기관을 기초로 운전자 얼굴 방향 및 운전자의 눈 개폐 여부에 따라 위험 상황을 판단할 수 있다.
도 3c를 참조하면, 운전자 상태 판단부(115)는 검출된 운전자 얼굴 기관을 기초로 운전자의 얼굴 방향각을 산출하고, 산출된 얼굴 방향각을 기반으로 운전자가 전방을 주시하고 있지 않으면 위험 상황이라 판단할 수 있다. 이때, 운전자 상태 판단부(115)는 검출된 운전자 얼굴 영역에서 안경을 검출(331)할 수 있다. 만약, 안경이 검출되었을 경우(검출) 운전자 상태 판단부(115)는 운전자 얼굴 영역에서 코와 얼굴 윤곽을 기반으로 얼굴 방향각을 산출(333)할 수 있다. 또한 안경이 검출되지 않았을 경우(미검출) 운전자 상태 판단부(115)는 운전자 얼굴 영역에서 코와 양 눈을 기반으로 얼굴 방향각을 산출(335)할 수 있다. 운전자 상태 판단부(115)는 산출된 얼굴 방향각을 기초로 운전자의 전방 주시 여부를 판단할 수 있다.
도 3d를 참조하면, 운전자 상태 판단부(115)는 검출된 운전자 얼굴 기관 중 눈을 기초로 눈 개폐 정보를 검출하고, 눈 개폐 정보에 따라 위험 상황을 판단할 수 있다. 예를 들어, 운전자 상태 판단부(115)는 검출된 운전자 얼굴 기관 중 눈의 영상을 복수의 알고리즘에 입력하여 눈 개폐 여부를 판단하고, 판단된 결과를 눈 개폐 정보로 생성할 수 있다. 이때, 운전자 상태 판단부(115)는 복수의 알고리즘 중 절반이상의 동일한 판단한 결과를 눈 개폐 정보로 생성할 수 있다. 도 3d에서는 3개의 알고리즘 중 2개이상의 알고리즘의 판단 결과를 눈 개폐 정보로 생성하는 실시예를 도시한 것으로, 이에 한정하는 것이 아니다.
도 3d에 개시된 운전자 상태 판단부(115)는 제 1 내지 제 3 알고리즘을 통해 눈 개폐 정보를 검출하는 실시예를 도시하고 있다.
제 1 알고리즘은 MCT(Modified Census Transform) 기반의 알고리즘이며, 제 2 및 제 3 알고리즘은 Tophat(Tophat transform) 기반의 알고리즘일 수 있다.
제 1 알고리즘은 검출된 운전자 얼굴 기관 중 눈의 영상을 MCT 변환(341)하여 MCT 기반으로 눈 개폐를 판정(342)할 수 있다.
제 2 알고리즘은 검출된 운전자 얼굴 기관 중 눈의 영상에 기초하여 Tophat을 추출(345)하여 농도 차이 기반으로 눈 개폐를 판정(346)할 수 있다.
제 3 알고리즘은 검출된 운전자 얼굴 기관 중 눈의 영상에 관한 Tophat을 이진화하고 에지를 제거(348)하여 프로젝션 기간으로 눈 개폐를 판정(349)할 수 있다. 이때, 운전자의 눈 크기는 개인별로 다르므로, 제 1 내지 제 3 알고리즘 각각은 개인차 학습을 통해 보다 정확한 눈 개폐를 판정할 수 있다. 제 1 알고리즘은 MCT 기반 눈 개폐 판정(342) 이후 MCT 임계치 개인차 학습(343)을 통해 보다 정확한 눈 개폐를 판정할 수 있다. 제 2 알고리즘은 농도 차이 기반 눈 개폐 판정(346) 이후 개인차에 따른 눈 꺼풀의 크기를 학습(347)하여 보다 정확한 눈 개폐를 판정할 수 있다. 제 3 알고리즘은 프로젝션 기반 눈 개폐 판정(349) 이후, 개인차에 따른 눈 꺼풀의 크기를 학습(350)하여 보다 정확한 눈 개폐를 판정할 수 있다.
운전자 상태 판단부(115)는 제 1 내지 제 3 알고리즘의 눈 개폐 판정 중 2개 이상의 알고리즘의 판정 결과가 폐안이면(351), 위험 상황임을 알리는 눈 개폐 정보를 생성 또는 검출할 수 있다.
도 4a 내지 도 4c는 도 2의 운전자 상태 판단부의 생체 기반 위험 판단을 설명하기 위한 도면이다. 제 3 센서부(114)로부터 전송되는 운전자 생체 정보에 기초하여 운전자 생체 이상 상태를 판단하는 동작을 도 4a 내지 도 4c를 참조하여 설명하면 다음과 같다. 이때, 제 3 센서부(114)로부터 전송되는 운전자 생체 정보는 운전자의 심박수, 혈압 및 체온을 포함할 수 있다. 도 4a 및 도 4b는 남성 및 여성의 나이에 따른 심박수를 개시한 것으로, 운전자 상태 판단부(115)는 도 4a 및 도 4b와 같은 심박수 테이블이 저장될 수 있다.
운전자 상태 판단부(115)는 도 4c에 도시된 바와 같이, 제 3 센서부(114)로부터 측정되어 전송된 운전자 심박수가 정상 범위를 초과 상승하여 유지될 경우 위험 상태로 판단할 수 있다. 예를 들어, 운전자 상태 판단부(115)는 제 3 센서부(114)로부터 측정된 운전자 심박수가 정상 범위를 초과한 심박수로 기설정된 횟수만큼 측정되면 위험 상태로 판단할 수 있다. 이때, 도 4c에서는 운전자 심박수 측정 결과가 2회 모두 정상 범위를 초과한 것을 도시한 것으로, 운전자 상태 판단부(115)는 2회의 운전자 심박수 측정 결과가 모두 정상 상태를 초과하였기 때문에 위험 상태로 판단할 수 있다. 또한, 운전자 상태 판단부(115)는 운전자 심박수가 정상 범위로 진입하고, 운전자와 관리 서버간 정상 통화가 가능할 경우 정상 상태로 판단할 수 있다.
도 4a 내지 도 4c에는 도시되지 않았지만, 제 3 센서부(114)로부터 측정된 운전자 혈압 및 체온이 운전자 상태 판단부(115)에 제공될 수 있다. 운전자 상태 판단부(115)는 운전자 혈압이 정상 범위(70~120mmHg)를 초과하면 위험 상태로 판단할 수 있다. 운전자 상태 판단부(115)는 운전자 체온이 정상 범위(섭씨 35~39도)를 초과하면 위험 상태로 판단할 수 있다. 한편, 운전자 상태 판단부(115)는 심박수에 따라 위험 상황을 판단할 경우와 동일하게, 운전자 혈압 또는 체온의 측정 결과가 기설정된 횟수(예를 들어, 2회)이상 정상 범위를 초과할 경우 위험 상태로 판단할 수 있으며, 운전자 혈압 또는 체온의 측정 결과가 정상 범위로 진입되고 운전자와 관리 서버간의 정상 통화가 가능할 경우 정상 상태로 판단할 수 있다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 차량의 주행 제어 시스템의 무선 제어 차선 변경 기능을 설명하기 위한 도면이다. 상술한 바와 같이, 제 1 내지 제 3 센서부(112, 113, 114)의 측정 결과를 기초한 운전자 상태 판단부(115)의 운전자 상태 판단 결과가 위험 상태일 경우 관리 서버(200)의 무선 제어에 따라 차선을 변경할 수 있다. 이때, 도 5a 및 도 5b를 참조하여 차량의 주행 제어 시스템의 무선 제어 차선 변경 기능을 설명하면 다음과 같다.
도 5a는 운전자 상태 판단부(115)의 운전자 상태 판단 결과가 위험 상황이라 판단될 경우, 관리 서버(200)의 무선 제어로 후미 차량(20)의 감속을 유도하기 위해 차선의 우측면으로 근접 주행하는 것을 도시한 것일 수 있다.
자차량(100)의 운전자 상태 판단 결과가 위험 상황이라 판단될 경우, 자차량(100)은 관리 서버(200)의 무선 제어에 따라 자차량의 정지등을 점멸 동작시켜 위험 상황임을 후미 차량(20)에게 알릴 수 있다. 이후, 자차량(100)은 우측 차선을 밟지 않는 범위에서 우측 차선에 인접하여 주행하도록 관리 서버(200)로부터 무선 제어될 수 있다. 만약, 후미 차량(20)의 운전자가 자차량(100)의 위험 상황을 인지하고 양보 주행시, 기설정된 차선 변경 조건이 만족되면 관리 서버(200)는 자차량(100)을 우측으로 이동시킬 수 있다. 이때, 관리 서버(200)는 운전자 개입에 의한 조향이나 가속 제어를 차단할 수 있다.
도 5b는 운전자 상태 판단부(115)의 운전자 상태 판단 결과가 위험 상황이라 판단될 경우, 관리 서버(200)는 자차량(100)의 주변 차량 중 관리 서버(200)와 무선 통신할 수 있는 주변 차량(30)과 통신하여, 주변 차량(30)이 문제가 발생한 자차량(100)의 뒤쪽에서 후미 차량(20)에 비상등 수신호 등의 감속 요청을 하는 것을 도시한 것일 수 있다. 또한, 공사등의 특이 환경에서 필요시 주변 차량(30)이 자차량(100)의 앞쪽에서 리드하는 선행차 역할을 수행하도록, 관리 서버(200)는 주변 차량(30)에 요청할 수 있다.
만약, 후미 차량(20)의 운전자가 주변 차량(30)으로 인해, 자차량(100)의 위험 상태를 인지하고 양보 주행시, 기설정된 차선 변경 조건이 만족되면 관리 서버(200)는 자차량(100)을 우측으로 이동시킬 수 있다. 이때, 관리 서버(200)는 운전자 개입에 의한 조향이나 가속 제어를 차단할 수 있다.
도 5a 및 도 5b와 같이, 자차량(100)이 우측 끝차선으로 이동되면, 관리 서버(200)는 자차량(200)를 정차시킬 수 있다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 차량의 주행 제어 방법에 대한 동작 흐름을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 차량의 주행 제어 방법에 대한 것으로, 차량 제어기(110) 및 텔레매틱스 제어기(150)를 포함하는 차량의 주행 제어 방법에 관한 것이다.
도 6을 참조하면, 차량 제어기(110)는 운전자 상태 정보 수집 단계(S110), 위험 상태 판단 단계(S120), 운전 지원 판단 단계(S130) 및 운전 지원 기능 제어 단계(S180)를 수행할 수 있다. 또한 차량 제어기(110) 및 텔레매틱스 제어기(150)의 조합은 네트워크 연결 단계(S140), 차량/운전자 상태 정보 전송 단계(S150), 운전 지원 명령 수신 단계(S160) 및 운전 지원 기능 보조 제어 단계(S170)를 수행할 수 있다.
운전자 상태 정보 수집 단계(S110)는 제 1 내지 제 3 센서부(112, 113, 114)가 운전자 영상, 차량의 움직임 및 운전자 생체 정보(예를 들어, 심박수, 혈압 및 체온)를 검출하는 단계를 포함할 수 있다.
위험 상태 판단 단계(S120)는 제 1 내지 제 3 센서부(112, 113, 114)의 검출 결과를 기초로 운전자 상태 판단부(115)가 위험 상황을 판단하는 단계로서, 운전자의 졸음 운전, 부주의 운전 및 운전자의 생체 이상 상태를 판단할 수 있다. 만약, 위험 상태 판단 단계(S120)의 판단 결과, 위험 상태가 아니면(아니오) 운전자 상태 정보 수집 단계(S110)가 수행될 수 있다. 한편, 위험 상태 판단 단계(S120)의 판단 결과, 위험 상태이면 운전 지원 가능 판단 단계(S130)가 수행될 수 있다.
운전 지원 가능 판단 단계(S130)는 운전자 상태 판단부(115) 및 운전 지원부(116)가 운전 지원에 대한 관리 서버(200)의 개입 여부를 판단하는 단계를 포함할 수 있다. 만약, 운전 지원 가능 판단 단계(S130)의 판단 결과, 운전 지원이 불가능하거나 운전 지원이 부적절하다고 판단(아니오)되는 경우, 네트워크 연결 단계(S140)가 수행될 수 있다. 한편, 운전 지원 가능 판단 단계(S130)의 판단 결과, 운전 지원이 가능하다고 판단(예)되는 경우, 운전 지원부(116)에 의한 운전 지원 기능 제어 단계(S180)가 수행될 수 있다. 이때, 운전 지원이 불가능하다고 판단될 경우는 핸즈 오프 감지, 운전자에 의한 방향 지시등 OFF, 차로 변경 동작 지연, 운전자 조향 오버라이드, 차선 미감지 및 오감지 등의 경우를 포함할 수 있다. 운전 지원이 부적절하다고 판단될 경우는 위험 지역 정차, 장시간 차선 유지, 잦은 차로 변경, 차선 유지 불안정, 차선 감지 불안정, 전방차 인식 불안정, 조향 센서등의 센서 불안정의 경우를 포함할 수 있다.
운전 지원 기능 제어 단계(S180)는 관리 서버(200)의 개입 없이 차량(100)의 차선을 유지하거나, 차량(100)을 주변 휴게소로 이동시키거나, 차량(100)을 갓길 또는 휴게소에 차량을 정차시키는 단계를 포함할 수 있다.
네트워크 연결 단계(S140)는 텔레매틱스 제어기(150)를 통해 차량(100)과 관리 서버(200)의 무선 통신을 연결시키는 단계를 포함할 수 있다.
차량/운전자 상태 정보 전송 단계(S150)는 연결된 무선 통신을 이용하여, 제 1 내지 제 3 센서부(112, 113, 114)의 측정 결과 및 운전자 상태 판단부(115)의 판단 결과를 관리 서버(200)에 전송하는 단계를 포함할 수 있다.
운전 지원 명령 수신 단계(S160)는 관리 서버(200)로부터 운전 지원 명령이 수신되면 운전 지원 기능 보조 제어 단계(S170)가 수행될 수 있는 단계 및 관리 서버(200)로부터 운전 지원 명령이 수신되지 않으면 차량/운전자 상태 정보 전송 단계(S150)가 수행될 수 있는 단계를 포함할 수 있다.
운전 지원 기능 보조 제어 단계(S170)는 관리 서버(200)의 무선 제어에 의해 차량(100)이 이동 또는 정차하는 단계를 포함할 수 있다. 예를 들어, 운전 지원 기능 보조 제어 단계(S170)는 관리 서버(200)의 무선 제어에 의해 비상등 점등, 차량의 속도 감속, 차선 근접 주행, 차선 변경 및 정차의 동작 단계를 포함할 수 있다.
도 7은 본 발명의 일실시예에 따른 차량의 주행 제어 방법에 관한 것으로, 차량 제어기 및 텔레매틱스 제어기를 포함하는 차량을 무선 제어하는 관리 서버의 차량 주행 제어 방법에 관한 것이다.
네트워크 연결 요청 수신 단계(S210)는 차량(100)으로부터 네트워크 연결 요청을 관리 서버(200)가 수신하는 단계를 포함할 수 있다.
네트워크 연결 단계(S220)는 네트워크 연결 요청을 받은 관리 서버(200)가 차량(100)과의 네트워크 연결을 수락하면(예), 차량(100)과 관리 서버(200)의 무선 통신을 연결시키는 단계를 포함할 수 있다.
차량/운전자 상태 정보 수신 단계(S230)는 네트워크가 연결된 차량(100)으로부터 차량/운전자 상태에 대한 정보를 관리 서버(200)가 수신하는 단계를 포함할 수 있다. 이때, 차량/운전자 상태에 대한 정보는 차량(100)에 설치된 제 1 내지 제 3 센서부(112, 113, 114)의 측정 결과 및 운전자 상태 판단부(115)의 판단 결과를 포함할 수 있다.
위험 상태 판단 단계(S240)는 차량(100)으로부터 전송된 차량/운전자 상태 정보를 기초로 위험 상태인지 관리 서버(200)가 판단하는 단계를 포함할 수 있다. 이때, 차량(100)으로부터 전송된 차량/운전자 상태 정보를 판단하는 주체는 관리 서버(200)가 설치된 센터의 직원일 수 있다. 만약, 위험 상태 판단 단계(S240)에서 위험 상태라고 판단되면 차량(100)에 운전 지원 명령을 전송하는 운전 지원 명령 전송 단계(S250)를 수행할 수 있다. 한편, 위험 상태 판단 단계(S240)에서 위험 상태라고 판단되지 않으면, 차량(100)에 안내 메시지를 전송하는 안내 메시지 전송 단계(S260)를 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 방법이 실행되는 컴퓨팅 시스템을 도시한 도면이다.
도 8을 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대해 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량 200: 관리 서버
110: 차량 제어기 150: 텔레매틱스 제어기
112, 113, 114: 제 1 내지 제 3 센서부
115: 운전자 상태 판단부 116: 운전 지원부

Claims (19)

  1. 운전자 상태를 판단하는 적어도 하나이상의 센서부;
    상기 복수의 센서부로부터 검출 결과를 제공 받아 운전자 상태가 위험 상태인지를 판단하는 운전자 상태 판단부; 및
    상기 운전자 상태 판단부의 판단 결과가 위험 상태일 경우 차량의 차선 유지 제어 및 속도 제어를 실시하며, 관리 서버에 네트워크 연결 요청을 전송하는 운전 지원부를 포함하는 차량의 주행 제어 장치.
  2. 제 1 항에 있어서,
    상기 운전 지원부는
    상기 위험 상태일 경우 운전자에 의한 상기 차량의 조향 및 가속 제어를 차단하는 차량의 주행 제어 장치.
  3. 제 2 항에 있어서,
    상기 운전 지원부는
    상기 관리 서버와 상기 네트워크가 연결되면 상기 복수의 센서부의 검출 결과 및 상기 운전자 상태 판단부의 판단 결과를 상기 관리 서버에 전송하는 차량의 주행 제어 장치.
  4. 제 3 항에 있어서,
    상기 운전 지원부는
    상기 관리 서버의 무선 제어에 의해 상기 차량을 이동 및 정차시키는 차량의 주행 제어 장치.
  5. 제 1 항에 있어서,
    상기 복수의 센서부는
    운전자 영상, 상기 차량의 주행 상태 및 운전자 생체 정보 중 적어도 하나이상을 검출하는 차량의 주행 제어 장치.
  6. 제 5 항에 있어서,
    상기 운전자 상태 판단부는
    상기 운전자 영상, 상기 차량의 주행 상태 및 상기 운전자 생체 정보 중 적어도 하나이상을 기초로 하여 상기 위험 상태를 판단하는 차량의 주행 제어 장치.
  7. 제 6 항에 있어서,
    상기 위험 상태는
    운전자가 전방을 주시하지 않고 상기 차량을 운전하는 상태로서,
    운전자의 졸음 운전, 부주의 운전 및 생체 이상 상태 중 적어도 하나이상을 포함하는 차량의 주행 제어 장치.
  8. 제 6 항에 있어서,
    상기 운전자 상태 판단부는
    상기 운전자 영상으로부터 운전자의 얼굴을 검출하여, 운전자의 얼굴 방향 및 눈 개폐 여부를 판단하는 차량의 주행 제어 장치.
  9. 제 8 항에 있어서,
    상기 운전자 상태 판단부는
    상기 운전자 영상으로부터 검출된 운전자의 얼굴 영상을 복수의 알고리즘에 입력하여, 동일한 결과를 도출한 절반이상의 알고리즘의 판단 결과로 상기 눈 개폐 여부를 판단하는 차량의 주행 제어 장치.
  10. 제 6 항에 있어서,
    상기 운전자 생체 정보는
    운전자의 심박수, 혈압 및 체온 중 적어도 하나이상을 포함하는 차량의 주행 제어 장치.
  11. 제 10 항에 있어서,
    상기 운전자 상태 판단부는
    상기 운전자의 심박수, 혈압 및 체온 중 적어도 하나이상이 정상 범위를 초과하면 상기 위험 상태로 판단하는 차량의 주행 제어 장치.
  12. 제 11 항에 있어서,
    상기 운전자 상태 판단부는
    상기 운전자의 심박수, 혈압 및 체온 중 적어도 하나이상이 상기 정상 범위를 초과하여 기설정된 횟수이상 검출되면 상기 위험 상태로 판단하는 차량의 주행 제어 장치.
  13. 운전자 상태가 위험 상태일 경우 네트워크 연결 요청을 전송하는 차량; 및
    상기 차량으로부터 상기 네트워크 연결 요청이 수신되면 상기 차량과 네트워크를 연결하여 상기 차량의 주행을 무선 제어하는 관리 서버를 포함하는 차량의 주행 제어 시스템.
  14. 제 13 항에 있어서,
    상기 차량은
    운전자 영상, 상기 차량의 주행 상태 및 운전자 생체 정보 중 적어도 하나이상을 기초로 상기 위험 상태를 판단하는 차량의 주행 제어 시스템.
  15. 제 14 항에 있어서,
    상기 차량은
    상기 위험 상태일 경우 상기 운전자 영상, 상기 차량의 주행 상태 및 상기 운전자 생체 정보 중 상기 적어도 하나이상을 상기 관리 서버로 전송하는 차량의 주행 제어 시스템.
  16. 제 15 항에 있어서,
    상기 관리 서버는
    상기 차량으로부터 전송된 상기 운전자 영상, 상기 차량의 주행 상태 및 상기 운전자 생체 정보 중 상기 적어도 하나이상을 기초로 상기 차량의 주행에 대한 무선 제어 여부를 판단하는 차량의 주행 제어 시스템.
  17. 운전자 영상, 차량의 주행 상태 및 운전자 생체 정보 중 적어도 하나이상을 검출하는 운전자 상태 정보 수집 단계;
    검출된 상기 적어도 하나이상의 운전자 영상, 상기 차량의 주행 상태 및 상기 운전자 생체 정보를 기초로 위험 상태인지를 판단하는 제 1 위험 상태 판단 단계;
    상기 제 1 위험 상태 판단 단계의 판단 결과가 상기 위험 상태일 경우 상기 운전자 상태 정보 수집 단계의 검출 결과를 관리 서버에 전송하는 차량 및 운전자 상태 정보 전송 단계;
    상기 차량 및 운전자 상태 정보 전송 단계에서 전송된 검출 결과에 기초하여 위험 상태인지를 판단하는 제 2 위험 상태 판단 단계;
    상기 제 2 위험 상태 판단 단계의 판단 결과가 위험 상태이면 차량에 운전 지원 명령을 전송하는 운전 지원 명령 전송 단계; 및
    상기 운전 지원 명령이 수신되면 상기 관리 서버의 무선 제어에 따라 상기 차량의 주행이 제어되는 운전 지원 기능 보조 제어 단계를 포함하는 차량의 주행 제어 방법.
  18. 제 17 항에 있어서,
    상기 제 1 위험 상태 판단 단계의 판단 결과가 상기 위험 상태일 경우 운전자 개입에 의한 상기 차량의 가속 및 조향 제어를 차단하는 단계를 더 포함하는 차량의 주행 제어 방법.
  19. 제 17 항에 있어서,
    상기 운전 지원 기능 보조 제어 단계는
    상기 관리 서버의 제어에 의해 차량의 비상등을 점등시키고, 속도를 감속하며, 차선 근접 주행을 통해 차선을 변경하고, 끝차선에 도달하면 상기 차량을 정차시키는 단계를 더 포함하는 차량의 주행 제어 방법.
KR1020190104019A 2019-08-23 2019-08-23 차량의 주행 제어 장치, 방법 및 시스템 KR20210023596A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190104019A KR20210023596A (ko) 2019-08-23 2019-08-23 차량의 주행 제어 장치, 방법 및 시스템
US16/994,870 US11541886B2 (en) 2019-08-23 2020-08-17 Vehicle traveling control apparatus, method and system
DE102020210657.6A DE102020210657A1 (de) 2019-08-23 2020-08-21 Vorrichtung, Verfahren und System zum Steuern der Fahrt von Fahrzeugen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190104019A KR20210023596A (ko) 2019-08-23 2019-08-23 차량의 주행 제어 장치, 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20210023596A true KR20210023596A (ko) 2021-03-04

Family

ID=74644321

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190104019A KR20210023596A (ko) 2019-08-23 2019-08-23 차량의 주행 제어 장치, 방법 및 시스템

Country Status (3)

Country Link
US (1) US11541886B2 (ko)
KR (1) KR20210023596A (ko)
DE (1) DE102020210657A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7104740B2 (ja) * 2020-03-30 2022-07-21 本田技研工業株式会社 移動体制御装置、移動体及び移動体制御方法
CN114475564B (zh) * 2022-03-01 2023-09-26 清华大学苏州汽车研究院（相城） 一种车辆紧急应对控制方法、***、车辆及存储介质
CN115027488A (zh) * 2022-07-08 2022-09-09 质子汽车科技有限公司 一种车辆控制方法、装置及智能车辆

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7610250B2 (en) * 2006-09-27 2009-10-27 Delphi Technologies, Inc. Real-time method of determining eye closure state using off-line adaboost-over-genetic programming
DE202013100347U1 (de) * 2013-01-24 2013-03-05 Ford Global Technologies, Llc Bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge
KR20150061668A (ko) * 2013-11-27 2015-06-05 주식회사 디온테크 졸음운전 경보 장치 및 그 방법
KR101646418B1 (ko) 2014-12-24 2016-08-05 현대자동차주식회사 심박 신호 기반 운전자 상태 판단 장치 및 방법
DE102015225109A1 (de) * 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
CN105942749B (zh) * 2016-05-30 2019-03-01 京东方科技集团股份有限公司 电视床及其工作方法
KR20180048097A (ko) 2016-11-02 2018-05-10 현대자동차주식회사 운전자 상태 기반의 차량 제어 장치 및 그 방법
KR20190011545A (ko) 2017-07-25 2019-02-07 현대자동차주식회사 운전자 상태 기반의 경로 생성 장치 및 그 방법

Also Published As

Publication number Publication date
US11541886B2 (en) 2023-01-03
US20210053565A1 (en) 2021-02-25
DE102020210657A1 (de) 2021-03-11

Similar Documents

Publication Publication Date Title
US11295143B2 (en) Information processing apparatus, information processing method, and program
US11541886B2 (en) Vehicle traveling control apparatus, method and system
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
US11001274B2 (en) Apparatus and method for automatically controlling driving assist function of vehicle
CN110077395B (zh) 自动驾驶***
KR101231510B1 (ko) 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
US20150098633A1 (en) Face detection apparatus, face detection method, and program
US10769940B2 (en) Method for opening and closing door of vehicle for safe getting-off of passenger
KR102463722B1 (ko) 차량의 속도 설정 장치 및 방법
US20200122734A1 (en) Emergency control device for vehicle
KR102506871B1 (ko) 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
GB2489087A (en) Driver assistance system for recognizing a turn-off maneuver of a preceding vehicle
JP2017052319A (ja) 走行制御装置
KR20190068929A (ko) 군집 주행 제어 시스템, 장치 및 방법
CN112046502B (zh) 自动驾驶装置和方法
KR101500016B1 (ko) 차선 이탈 경보 방법
JP7135746B2 (ja) 運転支援装置
EP3919338A1 (en) Autonomous driving control method and device
US11440540B2 (en) Apparatus and method for preventing vehicle collision
KR101357735B1 (ko) 지능형 순항제어 시스템
CN103569084A (zh) 驾驶侦测装置及其方法
KR101680833B1 (ko) 보행자 검출 경보 장치 및 방법
KR20200082457A (ko) A d a s 알람 출력 제어 방법 및 장치
JP6819038B2 (ja) 安全装置
JP2010015386A (ja) 車両の運転支援装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal