KR20190055723A - Apparatus and method for estimating driver readiness and system and method for assisting driver - Google Patents
Apparatus and method for estimating driver readiness and system and method for assisting driver Download PDFInfo
- Publication number
- KR20190055723A KR20190055723A KR1020180120004A KR20180120004A KR20190055723A KR 20190055723 A KR20190055723 A KR 20190055723A KR 1020180120004 A KR1020180120004 A KR 1020180120004A KR 20180120004 A KR20180120004 A KR 20180120004A KR 20190055723 A KR20190055723 A KR 20190055723A
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- task
- readiness
- intention
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000001953 sensory effect Effects 0.000 claims abstract description 58
- 230000006399 behavior Effects 0.000 claims description 27
- 230000036541 health Effects 0.000 claims description 20
- 230000003993 interaction Effects 0.000 claims description 13
- 230000008447 perception Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 230000001186 cumulative effect Effects 0.000 claims 1
- 230000001149 cognitive effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000003862 health status Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000007958 sleep Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000019771 cognition Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000015541 sensory perception of touch Effects 0.000 description 2
- 101150039208 KCNK3 gene Proteins 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/10—Interpretation of driver requests or demands
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/007—Switching between manual and automatic parameter input, and vice versa
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/14—Cruise control
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 운전자 준비도를 예측하는 장치 및 방법, 운전자 지원 방법 및 시스템에 관한 것으로, 더욱 상세하게는 자율주행이 가능한 차량에서 수동 운전 모드로 전환시 필요한 운전자의 준비도를 예측하는 장치 및 방법, 관련 운전자 지원 방법 및 시스템에 관한 것이다. The present invention relates to an apparatus and method for predicting driver readiness, a driver assistance method and system, and more particularly, to an apparatus and method for predicting driver readiness required for switching from an autonomous driveable vehicle to a manual operation mode, Related driver support method and system.
전 세계 자동차 사고 사망자 수는 연간 124만명에 이르고(한국, 2014년 4,762명), 이 중 90%가 전방 주시 태만, 졸음운전 등 운전자 과실(WHO, 2012년)로 나타나고 있다. The number of deaths from car accidents worldwide is estimated at 1.24 million a year (4,762 in Korea, 2014), 90% of which are neglected in front of the driver, sleeping driving, etc. (WHO, 2012).
관련하여 운전자의 차량 주행을 지원하는 기술로, 종래에 휴먼 운전자에 의한 수동 운전시 운전자를 촬영한 영상 정보에서 미리 설정된 기본 감시 영역을 분석하고 주행 상태 감시 정보를 참조하여 차선 이탈 여부를 감시하여, 운전 불가 상태인지 여부를 판단하고, 운전자에게 미리 설정된 알람을 표시하는 기술이 제안된 바 있다. 또한, 차량에 포함된 카메라를 사용하여 운전자의 자세 추정, 눈의 깜박임 속도(blinking rate) 및 눈이 감긴 퍼센트 측정 및 머리 움직임 측정, 운전자에 의해 착용 가능한 센서를 사용하여 생체 인식 데이터를 획득하여, 운전자의 졸음의 정도를 측정하고 운전자를 깨어 있도록 지원함으로써, 수동 운전시 상황에 따라 차량의 운전자와 상호 작용을 제공하는 기술 등이 제안되었다.The present invention relates to a technique for supporting a driver's driving of a vehicle in relation to a driver's operation, A technique has been proposed in which it is determined whether or not the vehicle is in an inoperable state and an alarm is displayed in advance to the driver. Also, by using a camera included in the vehicle, biometric data can be acquired using a driver's attitude estimation, a blinking rate of eyes, a percentage of eye-wound percentages and a head motion measurement, By measuring the degree of drowsiness of the driver and supporting the driver to awake, a technique for providing interaction with the driver of the vehicle according to the situation during manual operation has been proposed.
한편, 운전자 과실에 의한 교통사고를 획기적으로 감소시킬 수 있는 방법 중 하나로 자율주행자동차가 활발히 논의되고 있으며, 미국, 일본, 유럽 등 선진국과 자동차 회사에서는 자율주행자동차 기술 개발에 박차를 가하고 있다. 자율주행 기술은 주행 안전성을 제고함으로써 교통사고 감소뿐만 아니라 교통 트래픽 제어를 통해 교통혼잡 감소에도 크게 기여할 것으로 기대되고 있다.On the other hand, autonomous vehicles are being actively discussed as one of ways to drastically reduce traffic accidents caused by driver errors, and developed countries and automobile companies such as the US, Japan, and Europe are spurring autonomous vehicle technology development. Autonomous driving technology is expected to contribute to reduction of traffic congestion through traffic traffic control as well as traffic accident reduction by improving driving safety.
관련하여, 수동 운전이 아닌 자율 주행시 발생하는 운전자의 졸음, 피로도, 신체 상의 돌발 상황 등에 의해 발생하는 운전자의 운전 불가능 상태에 대한 대처 방안과 관련한 세부적인 방법론에 대한 필요성이 제기되고 있다. In this regard, there is a need for a detailed methodology for coping with the driver's inoperability state caused by driver's sleepiness, fatigue, physical abnormal situation, and the like occurring during autonomous driving, not manual driving.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 자율주행이 가능한 차량에서 수동 운전 모드로 전환시 필요한, 운전자 준비도를 예측하는 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide a method for predicting driver readiness required for switching from a vehicle capable of autonomous travel to a manual operation mode.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 상기 운전자 준비도를 예측하는 방법을 이용하는 운전자 준비도 예측 장치를 제공하는 데 있다.It is another object of the present invention to provide a driver readiness predicting apparatus using a method of predicting the driver readiness.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은 자율주행이 가능한 차량에서 운전자를 지원하는 방법을 제공하는 데 있다.Another object of the present invention is to provide a method of supporting a driver in an autonomous vehicle.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 운전자 준비도 예측 방법은 자율주행이 가능한 차량에서 수동 운전 모드로 전환시 필요한 운전자의 준비도를 예측하는 방법으로, 수집된 운전자 정보를 통해 운전자의 생체 신호 및 행동을 분석하는 단계; 운전자 행동으로부터 운전자의 신체감각적 사용 상태를 결정하는 단계; 상기 운전자의 신체감각적 사용 상태로부터 주행 중 운전자로부터 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론하는 단계; 상기 추론된 태스크 후보들에 대한 가능성에 기초하여 운전자의 의도를 판단하는 단계; 및 운전자 의도를 이용해 운전자 준비도를 산출하는 단계를 포함할 수 있다. According to an aspect of the present invention, there is provided a method of predicting driver readiness, the method comprising: predicting driver readiness required for switching from an autonomous driveable vehicle to a manual drive mode, Analyzing biological signals and behavior of the subject; Determining a sensory use state of the driver from the driver behavior; Deriving the possibility of the task candidates that can be generated from the driver while driving from the sensory use state of the driver, and deducing the task; Determining a driver's intention based on the probabilities for the inferred task candidates; And calculating the driver readiness using the driver intention.
상기 운전자의 신체감각적 사용 상태는, 운전자의 시각(V), 청각(A), 인지(C), 및 신체(P)의 사용 상태를 포함할 수 있다. The sensory use state of the driver may include the driver's time (V), hearing (A), perception (C), and the use state of the body (P).
상기 태스크 후보들에 대한 가능성은 각 태스크 후보의 신체감각적 사용 상태 및 운전자의 상황 인식 상태 중 적어도 하나를 이용하여 산출된 각 태스크 후보에 대한 사후 확률 값을 포함할 수 있다. The probability for the task candidates may include a posterior probability value for each task candidate calculated using at least one of the sensory use state of the task candidate and the driver's state recognition state.
상기 운전자의 신체감각적 사용 상태로부터 주행 중 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론하는 단계는, 적어도 하나의 태스크에 대한 신체 감각적 사용 레벨에 대한 정보를 축적하여 저장하는 태스크 모델로부터 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 획득하는 단계; 및 상기 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 사전 확률로 하여 해당 태스크에 대한 글로벌 사후 확률을 계산하는 단계를 포함할 수 있다. The step of inferring a task by deriving a possibility for the task candidates that may occur during driving from the sensory use state of the driver may include at least one of a task model for accumulating and storing information on a bodily sensory use level for at least one task Acquiring bodily sensory use state information for a task candidate of the task candidate; And computing a global posterior probability for the task using the bodily sensory use state information for the at least one task candidate as a prior probability.
상기 추론된 태스크 후보들에 대한 가능성에 기초하여 운전자의 의도를 판단하는 단계에서는, 누적된 태스크 추론 히스토리를 이용해 추론된 태스크로부터 운전자의 의도를 결정할 수 있다. In the step of determining the driver's intention based on the possibility of the inferred task candidates, the intention of the driver can be determined from the inferred task using the accumulated task reasoning history.
상기 운전자 의도를 이용해 운전자 준비도를 산출하는 단계에서는, 상기 운전자의 의도 및 운전자의 전체 워크로드 중 적어도 하나를 고려하여 운전자 준비도를 계산할 수 있다. In the step of calculating the driver readiness using the driver intention, the driver readiness can be calculated in consideration of at least one of the intention of the driver and the entire workload of the driver.
상기 운전자 준비도 예측 방법은, 상기 운전자의 생체 정보를 수집하는 단계; 및 상기 운전자의 생체 정보를 분석하여 운전자의 건강 상태를 파악하는 단계를 더 포함할 수 있다. The driver preparation degree predicting method includes: collecting biometric information of the driver; And analyzing the biometric information of the driver to determine the health status of the driver.
또한, 상기 운전자 의도를 이용해 운전자 준비도를 산출하는 단계는, 상기 운전자의 건강 상태 및 전환요청(Take Over Request; TOR) 반응시간 정보를 추가로 고려하여 운전자 준비도를 산출하는 단계를 포함할 수 있다. The step of calculating the driver readiness using the driver intention may further include calculating a driver readiness by further considering the health state of the driver and the changeover request (TOR) response time information have.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 운전자 준비도 예측 장치는, 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고, 상기 적어도 하나의 명령은, 수집된 운전자 정보를 통해 운전자의 생체 신호 및 행동을 분석하도록 하는 명령; 운전자 행동으로부터 운전자의 신체감각적 사용 상태를 결정하도록 하는 명령; 상기 운전자의 신체감각적 사용 상태로부터 주행 중 운전자로부터 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론하도록 하는 명령; 상기 추론된 태스크 후보들에 대한 가능성에 기초하여 운전자의 의도를 판단하도록 하는 명령; 및 운전자 의도를 이용해 운전자 준비도를 산출하도록 하는 명령을 포함할 수 있다. According to another aspect of the present invention, there is provided an apparatus for predicting driver readiness, comprising: a processor; And a memory for storing at least one instruction executed through the processor, the at least one instruction comprising: instructions for analyzing a driver ' s biomedical signal and behavior through collected driver information; An instruction to determine the sensory use state of the driver from the driver behavior; A command for deducing a task from the sensory use state of the driver by deriving a possibility for the task candidates that can be generated from the driver while driving; Determine an intention of the driver based on the probabilities for the inferred task candidates; And an instruction to calculate the driver readiness using the driver intention.
상기 운전자의 신체감각적 사용 상태는, 운전자의 시각(V), 청각(A), 인지(C), 및 신체(P)의 사용 상태를 포함할 수 있다. The sensory use state of the driver may include the driver's time (V), hearing (A), perception (C), and the use state of the body (P).
상기 태스크 후보들에 대한 가능성은 각 태스크 후보의 신체감각적 사용 상태 및 운전자의 상황 인식 상태 중 적어도 하나를 이용하여 산출된 각 태스크 후보에 대한 사후 확률 값을 포함할 수 있다. The probability for the task candidates may include a posterior probability value for each task candidate calculated using at least one of the sensory use state of the task candidate and the driver's state recognition state.
상기 태스크를 추론하도록 하는 명령은, 적어도 하나의 태스크에 대한 신체 감각적 사용 레벨에 대한 정보를 축적하여 저장하는 태스크 모델로부터 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 획득하도록 하는 명령; 및 상기 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 사전 확률로 하여 해당 태스크에 대한 글로벌 사후 확률을 계산하도록 하는 명령을 포함할 수 있다. Instructions to infer the task include instructions to obtain bodily sensory usage status information for at least one task candidate from a task model that accumulates and stores information about a bodily sensory usage level for at least one task; And an instruction to calculate a global posterior probability for the task with the prior probability of bodily sensory use state information for the at least one task candidate.
상기 운전자의 의도를 판단하도록 하는 명령은 누적된 태스크 추론 히스토리를 이용해 추론된 태스크로부터 운전자의 의도를 결정하도록 하는 명령을 포함할 수 있다. The instruction to determine the intention of the driver may include instructions to determine an intention of the driver from the inferred task using accumulated task reasoning history.
상기 운전자 의도를 이용해 운전자 준비도를 산출하도록 하는 명령은, 상기 운전자의 의도 및 운전자의 전체 워크로드 중 적어도 하나를 고려하여 운전자 준비도를 계산하도록 하는 명령을 포함할 수 있다. The instruction to calculate the driver readiness using the driver intention may include an instruction to calculate the driver readiness in consideration of at least one of the intention of the driver and the entire workload of the driver.
상기 적어도 하나의 명령은, 상기 운전자의 생체 정보를 수집하도록 하는 명령; 및 상기 운전자의 생체 정보를 분석하여 운전자의 건강 상태를 파악하도록 하는 명령을 더 포함할 수 있다. Wherein the at least one command comprises: instructions for collecting biometric information of the driver; And analyzing the biometric information of the driver to grasp the health state of the driver.
상기 또 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 운전자 지원 방법은, 운전자의 신체감각적 사용 상태로부터 주행 중 운전자로부터 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론하는 단계; 상기 태스크 후보들에 대한 가능성에 기초하여 운전자 준비도를 산출하는 단계; 상기 운전자 준비도가 준비 임계치 이상인지 판단하는 단계; 및 상기 운전자 준비도에 기초하고 주행 환경, 주행 경로, 차량 정보 및 사용자의 건강 상태 중 적어도 하나를 추가로 고려하여, 적어도 하나의 운전자 인터랙션 장치를 동작시키는 단계를 포함할 수 있다. According to another aspect of the present invention, there is provided a method of supporting a driver, the method comprising the steps of: deducing a task from a sensory use state of a driver by deriving a possibility of a task candidate that can be generated from a driver during driving; Calculating a driver readiness based on the likelihood of the task candidates; Determining whether the driver readiness is greater than or equal to a readiness threshold; And operating the at least one driver interaction apparatus based on the driver readiness and further considering at least one of the driving environment, the driving route, the vehicle information, and the health state of the user.
상기 운전자의 신체감각적 사용 상태는, 운전자의 시각(V), 청각(A), 인지(C), 및 신체(P)의 사용 상태를 포함할 수 있다. The sensory use state of the driver may include the driver's time (V), hearing (A), perception (C), and the use state of the body (P).
상기 태스크 후보들에 대한 가능성은 각 태스크 후보의 신체감각적 사용 상태 및 운전자의 상황 인식 상태 중 적어도 하나를 이용하여 산출된 각 태스크 후보에 대한 사후 확률 값을 포함할 수 있다. The probability for the task candidates may include a posterior probability value for each task candidate calculated using at least one of the sensory use state of the task candidate and the driver's state recognition state.
상기 태스크 후보들에 대한 가능성에 기초하여 운전자 준비도를 산출하는 단계는, 누적된 태스크 추론 히스토리를 이용해 추론된 태스크로부터 운전자의 의도를 결정하는 단계; 및 상기 운전자의 의도 및 운전자의 전체 워크로드 중 적어도 하나를 고려하여 운전자 준비도를 계산하는 단계를 포함할 수 있다. The step of calculating the driver readiness based on the possibility of the task candidates may include the steps of: determining an intention of the driver from the inferred task using the accumulated task reasoning history; And calculating the driver readiness considering at least one of the intention of the driver and the entire workload of the driver.
상기와 같은 본 발명의 실시예들에 따르면, 자동주행모드에서 수동운전모드로 변경될 수 있도록 운전자의 운전자 준비도를 실시간으로 측정함으로써 자율주행자동차의 안전성을 상승시킬 수 있는 효과를 제공할 수 있다.According to the embodiments of the present invention described above, it is possible to provide an effect of increasing the safety of an autonomous traveling vehicle by measuring the driver's readiness of the driver in real time so that the mode can be changed from the automatic driving mode to the manual driving mode .
본 발명에 따르면, 자율주행자동차가 자동운전으로도 주행이 가능한 지점을 통과할 때 운전자가 잠시 졸거나 짧은 수면을 취하여도 안전운전이 보장될 수 있다. According to the present invention, safe driving can be assured even when the driver is sleeping or taking a short sleep when the autonomous drive vehicle passes through a point where the drive is possible even in the automatic operation.
따라서, 본 발명은 주행경로와 주행환경을 고려하여 운전자 준비도를 결정함으로써 운전자 상황 맞춤형 자율주행 시스템을 제공할 수 있다.Therefore, the present invention can provide a driver-tailored autonomous traveling system by determining the driver's preparedness in consideration of the traveling route and the traveling environment.
또한, 운전자 준비도가 임계치 이하로 하강할 경우, 이를 탐지하여 자동차 내부의 사용자 인터랙션 장치를 구동시켜 운전자에게 자극을 제공함으로써 운전자 준비도를 일정 수준 이상으로 유지시킬 수 있다.In addition, when the driver readiness falls below a threshold value, it detects the driver's readiness and drives the user interaction apparatus in the automobile to provide a stimulus to the driver, thereby maintaining the driver readiness to a certain level or more.
추가적으로, 본 발명에 따르면, 자동차 내부에 설치된 생체신호 센싱 장치를 이용하여 운전자의 건강상태를 지속적으로 모니터링할 수 있어, 위험한 운전을 예방할 수 있는 효과를 제공한다.In addition, according to the present invention, a health condition of a driver can be continuously monitored by using a bio-signal sensing device installed in an automobile, thereby providing an effect of preventing dangerous driving.
도 1은 SAE J3016 에 따른 6 레벨의 운전 자동화 개념을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 자율 주행에서 자동 및 수동 운전과 운전자 준비도와의 관계를 표시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 운전자 준비도 예측 장치(Driver Readiness Estimator; DRE)의 블록 구성도이다.
도 4는 본 발명의 일 실시예에 따른 각 태스크 후보들에 대한 각 신체감각의 사용 정도를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 운전자 준비도 예측 방법의 동작 순서도이다.
도 6 은 본 발명의 일 실시예에 따른 운전자 지원 방법의 동작 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 운전자 준비도 예측 장치의 블록 구성도이다. FIG. 1 is a diagram showing a six-level operation automation concept according to SAE J3016. FIG.
FIG. 2 is a graph showing the relationship between automatic and manual operation and driver preparation in autonomous driving according to an embodiment of the present invention.
3 is a block diagram of a Driver Readiness Estimator (DRE) according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating the degree of use of each body sensation for each task candidate according to an exemplary embodiment of the present invention. Referring to FIG.
5 is a flowchart illustrating an operation of the method for predicting driver readiness according to an exemplary embodiment of the present invention.
6 is an operational flowchart of a driver assistance method according to an embodiment of the present invention.
7 is a block diagram of a driver readiness prediction apparatus according to another embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. The term " and / or " includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 SAE J3016 에 따른 6 레벨의 운전 자동화 개념을 나타내는 도면이다. FIG. 1 is a diagram showing a six-level operation automation concept according to SAE J3016. FIG.
자동화된 주행을 위한 공통 용어를 제공한다는 목표 하에, SAE International의 표준 J3016은 "Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles"이라는 제목 하에, "자동화 없음"에서 "완전 자동화"까지 도 1에 도시된 바와 같은 6 가지 레벨의 운전 자동화를 정의하고, 기술의 기능 측면에 대한 기본 정의 및 레벨을 규정하며, 이러한 레벨들을 통한 단계별 진행에 대한 카테고리별 구분을 설명하고 있다. 여기서 정의되는 사항들은 현재 업계의 실정과 일치하고, 혼란을 제거하며 다양한 분야 (엔지니어링, 법률, 언론 및 대중 담론)에서 유용하다. 또한, 운전 자동화 시스템이 가동되는 동안 운전자가 동적 운전 업무를 수행할 때 갖는 역할(있을 경우)을 각 단계별로 명확히 한다. 여기서, SAE(Society of Automotive Engineers)는 국제자동차기술자협회를 지칭한다.With the goal of providing a common term for automated driving, SAE International's standard J3016 is called "Full Automation" under the heading "No Automation" under the heading "Taxonomy and Definitions for Terms for Driving Automation Systems for On-Road Motor Vehicles" Defines six levels of operation automation as shown in FIG. 1, defines the basic definitions and levels of functional aspects of the technology, and describes the categorization of step-by-step progress through these levels. The issues defined here are consistent with current industry practices, eliminate confusion and are useful in a variety of disciplines (engineering, law, media, and popular discourse). In addition, the role (if any) of the driver in performing the dynamic driving task while the driving automation system is operating is clarified at each step. Here, SAE (Society of Automotive Engineers) refers to the International Society of Automotive Engineers.
여기서, 동적 운전 업무는 운전의 동작적 측면(운전, 조향, 제동, 가속, 차량 및 도로 모니터링) 및 전술적(사고 대응, 차선 변경, 방향 전환, 신호 사용 등 결정) 측면을 포함하되, 정책적 측면(목적지 및 경유지 결정)은 포함하지 않는다. Here, the dynamic operation task includes the operational aspects of driving (steering, steering, braking, acceleration, vehicle and road monitoring) and tactical (accident response, lane change, Destination and route determination).
SAE J3016에서 정의하는 운전 자동화 레벨을 좀더 구체적으로 살펴보면, 레벨 0은 "No Automation" 레벨이며, 휴먼 운전자에 의해 조향, 가속, 감속 등의 수행이 이루어지며, 주행 환경에 대한 모니터링 및 동적 운전 업무(Dynamic Driving Task)의 대비 퍼포먼스(Fallback performance) 또한 모두 휴먼 운전자에 의해 수행된다.Level 0 is the "No Automation" level, and the steering, acceleration, and deceleration are performed by the human driver, and monitoring and dynamic operation of the driving environment The dynamic performance of the dynamic driving task is also performed by the human driver.
레벨 1은 "Driver Assistance" 레벨, 레벨 2는 "Partial Automation", 레벨 3은 "Conditional Automation", 레벨4는 "High Automation"로 정의될 수 있다. 레벨 5는 "Full Automation" 즉, 완전한 운전 자동화가 이루어지는 단계로, 조향, 가속, 감속 등의 운전 동작, 주행 환경에 대한 모니터링 및 동적 운전 업무(Dynamic Driving Task)의 대비 퍼포먼스(Fallback performance) 등이 모두 자동화 시스템에 의해 이루어지는 레벨이다. Level 1 can be defined as "Driver Assistance", Level 2 as "Partial Automation",
도 1을 참조하면, 운전 자동화의 6개 레벨 중 가장 중요하게 구분되는 지점이 레벨 2와 레벨 3의 사이다. 레벨 2까지는 휴먼 운전자가 동적 운전 업무를 담당하고, 레벨 3부터는 자동화된 운전 시스템이 전체적인 동적 운전 업무를 담당하기 때문이다. 즉, 레벨 0, 1, 2에서는 휴먼 운전자가 주행 환경을 모니터링하지만, 레벨 3, 4, 5에서는 자동화 시스템이 주행 환경을 모니터링하게 된다. Referring to FIG. 1, the most important division among the six levels of operation automation is between level 2 and
정리하면, 자율주행상황에서 운전자의 역할은 자율주행 단계에 따라 달라진다. 레벨 3까지가 운전자의 역할이 강조되고 레벨 4 이상에서는 운전자의 개입이 거의 없어진다. 매뉴얼(manual) 모드에서 대부분의 운전 작업(Task)은 운전자가 관여를 하고, 자율주행상황의 운전 작업(Task)은 차량 내에 장착된 자율주행시스템(ADS: Automatic Driving System)이 수행하게 된다. 하지만, 자율주행모드에서 ADS가 실패할 경우 운전자는 제어권을 넘겨 받아서 운전을 수행해야 한다. In summary, the role of the driver in autonomous driving depends on the autonomous driving stage. The role of the driver is emphasized up to
또한, 앞서 살펴본 바와 같이 6개의 레벨 중 가장 크게 구분되는 SAE 레벨 2와 레벨 3간의 전환시 운전자와 차량 간 안정적인 차량 제어권 전환이 중요한 이슈가 된다. 제어권 전환 과정에서 문제가 생긴다면 차량 제어에 공백이 생겨 사고가 발생할 수 있기 때문이다. 운전자가 차량에게 제어권을 이양할 때에는 자율주행 모드가 즉각 활성화되므로 사고 가능성이 낮으나 차량에서 운전자에게로 제어권이 전환될 때에는 운전자의 주의 분산으로 대응 속도가 늦어져 사고가 발생할 수 있으므로(예를 들어, 자율주행 중에는 운전자가 운전과 관련이 없는 다른 행동(Non-Driving Related Task)을 할 수 있어서 주의 분산이 발생) 운전자가 제어권을 받아 운전을 할 수 있는 준비 상태를 평가하고 판단할 수 있는 기술이 필요하다.In addition, as described above, when switching between SAE level 2 and
본 발명에서는 자율주행자동차가 자율주행시스템에 의한 자동운전에서 수동운전으로 운전제어권을 전환하고자 할 때 운전자가 전환을 받고 수동운전을 할 수 있는지를 판단하고 분석할 수 있는 방법 및 이러한 방법을 사용하는 운전자 준비도 예측 시스템(Driver Readiness Estimator; DRE)을 제안하고자 한다. According to the present invention, there is provided a method for judging and analyzing whether a driver is allowed to perform a manual operation when a driver of an autonomous driving vehicle attempts to switch a driving control right from an automatic operation by an autonomous driving system to a manual operation, We propose a Driver Readiness Estimator (DRE).
본 발명은 수동운전상태에서 운전자가 졸거나 운전불가능한 상태를 감시하는 것이 아니라, 자율주행자동차에서 자동운전이 진행되고 있을 때, 운전자가 언제든지 운전할 수 있는 환경을 준비할 수 있기 위해 운전자를 관찰하여 운전자의 준비도(Readiness)를 일정 임계치로 유지할 수 있는 시스템이다.The present invention is not limited to monitoring the driver's sleeping or inoperable state in the manual operation state, but rather observing the driver so that the driver can prepare an environment in which the driver can always drive when the automatic operation is proceeding in the self- Is a system capable of maintaining the readiness of a user at a certain threshold.
또한, 본 발명은 운전자의 휴식/수면, 문자, 영상 시청, 먹기/마시기, 대화 등 운전 저해 요소와 관련한 다양한 운전자의 행동을 검출 가능하며, 주변 도로상황과 주행상황을 고려하여, 무조건 운전자를 깨우고 운전 준비를 시키는 것이 아니라, 수동운전이 임박한 시점을 예측하고, 이에 따라 수동운전을 위한 운전자 준비도를 임계치 이상으로 조절할 수 있는 시스템을 제공한다. In addition, the present invention can detect various driver's actions related to driving inhibition factors such as driver's rest / sleep, character, video viewing, eating / drinking, conversation, The present invention provides a system capable of predicting a time point at which the manual operation is imminent and adjusting the driver readiness for manual operation to a value equal to or higher than a threshold value.
도 2는 본 발명의 일 실시예에 따른 자율 주행에서 자동 및 수동 운전과 운전자 준비도와의 관계를 표시한 도면이다.FIG. 2 is a graph showing the relationship between automatic and manual operation and driver preparation in autonomous driving according to an embodiment of the present invention.
SAE 레벨 2와 레벨 3의 자율주행자동차에서 운전자가 차량에게 제어권을 이양할 때에는 자율주행모드가 즉각 활성화되므로 사고 가능성이 낮다. 하지만, 차량에서 운전자에게로 제어권이 전환될 때에는 운전자의 주의분산으로 대응 속도가 늦어져 사고가 발생할 수 있으므로, 운전자가 제어권을 받아 운전을 할 수 있는 준비상태를 평가하고 판단할 수 있는 기술이 필요하다. In the
따라서, 본 발명은 차량에 설치된 센싱 장치를 활용하여 분석된 운전자의 행동 정보, 건강상태 정보, 주변 주행환경정보와 차량주행정보 등을 동기화한 후 운전자의 운전준비 상태인 운전자 준비도(Driver Readiness)를 판단하고 분석할 수 있는 DRE(Driver Readiness Estimator) 시스템을 제안하고자 한다.Accordingly, the present invention synchronizes the analyzed behavior information, health state information, surrounding driving environment information, and vehicle driving information of the driver using the sensing device installed in the vehicle, We propose a DRE (Driver Readiness Estimator) system which can analyze and analyze the system.
도 2를 참조하면, 운전자 준비도는 자율주행자동차의 자율주행 상황에서 수동운전으로 전환하고자 할 때 운전자가 운전 제어권을 넘겨 받고 수동 운전을 할 준비가 되어 있는지를 수치로 나타내는 개념일 수 있다. 예를 들어, 운전자가 지루한 상태이거나 부수적인 일(secondary task)에 몰입하게 되면 운전자 준비도 단계는 낮게 표현되며, 수동 운전 전환에 대한 요청 후 안정적인 운전을 할 수 없을 위험성이 높아진다. Referring to FIG. 2, the driver readiness may be a concept of a numerical value indicating whether the driver is ready to pass the driving control right and perform manual driving when switching from the autonomous driving situation of the autonomous driving motor to the manual driving. For example, if a driver is immersed in a dull or secondary task, the driver's readiness is also expressed in a low level, increasing the risk of not being able to operate steadily after a request for manual switching.
따라서, 자율주행 중에 언제든지 수동 운전이 가능할 수 있도록 일정한 운전자 준비도 임계치(Driver Readiness Threshold) 이상의 준비도 유지가 운전자에게 요구될 수 있다. 여기서, TOR은 전환 요청(Take Over Request)를 나타낸다.Thus, the driver may be required to maintain readiness above a certain Driver Readiness Threshold so that manual operation is possible at any time during autonomous driving. Here, the TOR indicates a takeover request (Take Over Request).
도 3은 본 발명의 일 실시예에 따른 운전자 준비도 예측 장치(Driver Readiness Estimator; DRE)의 블록 구성도이다.3 is a block diagram of a Driver Readiness Estimator (DRE) according to an embodiment of the present invention.
도 3을 참조하면, 자율주행차량의 DRE시스템은 자율주행시 운전자가 운전 이외의 다른 행동을 하는 것을 모니터링할 수 있다.Referring to FIG. 3, the DRE system of the autonomous driving vehicle can monitor the driver's behavior other than driving during autonomous driving.
운전자 준비도 예측 장치(200)는 운전자정보(11), 자동차 주행상황정보(12) 및 주변환경 데이터(13)를 활용하여 운전자의 행동 유추를 통해 운전자의 인지상태를 파악함으로써, 신뢰성 높은 운전자 준비도 값을 도출할 수 있다.The driver
운전자정보(11)는 차량 내에 설치된 센서를 이용하여 수집되며, 운전자의 행동을 분석하는 데 활용될 수 있다. 즉, 행동 분석부(210)는 수집된 정보 중 운전자의 행동과 관련한 정보를 분석한다. 운전자의 행동을 분석하기 위해 운전자 준비도 예측 장치(200)는 신체 움직임 감지 기능을 갖는 센서, 모듈 또는 장치, 시선 추적 기능을 갖는 센서, 모듈 또는 장치, 머리 움직임(Head Movement) 감지 기능을 갖는 센서, 모듈 또는 장치 등을 포함할 수도 있고, 차량 내에 설치된 이러한 장치들와 연동하여 동작할 수도 있다. The
또한, 운전자 정보 중 운전자의 생체 정보는 운전자의 건강상태를 분석하는 데 활용될 수 있다. 생체신호 분석부(220)는 운전자 정보 중 운전자의 생체 정보를 수집 및 분석하여 운전자의 건강상태 관리부(221)로 전달하고, 건강상태 관리부(221)는 생체신호 분석부로부터 분석된 여러 데이터에 대해 시각(time) 동기화를 수행한 후, 건강 관련 기준치 등과 비교하여 운전자의 건강 상태를 종합적으로 판단하고 운전자의 건강 상태를 통합하여 관리할 수 있다. 운전자의 건강상태를 분석하기 위해 생체신호를 수집하기 위한 센서, 모듈, 또는 장치가 차량에 설치될 수 있다. 여기서, 생체 신호는 EEG(Electroencephalogram), ECG(Electrocardiogram), GSR(Galvanic Skin Response), PPG(Photoelectric Pulse diaGram), SKT(Skin Temperature), 호흡률 등을 포함할 수 있다. In addition, biometric information of the driver out of the driver information can be utilized for analyzing the health condition of the driver. The
자율 주행 중인 차량의 자동 운전 모드에서 운전자가 취할 수 있는 운전자 행동은 휴식/수면, 문자, 영상시청, 먹기/마시기, 탑승자와 대화하기 등 다양한 행동 등을 포함한다.The driver's actions that the driver can take in the auto mode of the autonomous vehicle include a variety of behaviors such as rest / sleep, text, watching video, eating / drinking, talking with the occupant, and the like.
행동 분석부(210)(Behavior Analysis)는 이러한 운전자 행동 정보를 검출하여 인지 추론부(Cognition Inference)(230)로 전달한다. The
인지 추론부(230)는 행동에 따른 인지(Cognition) 정보를 추출한다. 좀더 구체적으로, 인지 추론부는 이미 축적되어 있는 인지 모델(Cognition Model)(231)을 이용하여 운전자 행동에 따른 운전자의 신체감각적 사용 상태를 결정할 수 있다. 여기서, 신체감각적 사용 상태는, 시각적(Visual), 청각적(Auditory), 인지적(Cognitive), 신체적(Psychomotor) 사용 레벨(상태)를 포함할 수 있다. 예를 들어, 탑승자와 대화를 하는 경우와 문자메시지를 하는 경우, 인지 추론부의 출력값인 시각(V)-청각(A)-인지(C)-신체(P) 사용 레벨이 각 행동 특성에 따라 다르게 결정될 수 있다. The
인지 추론부(230)의 출력 값인 인지 추론 결과는 태스크 추론부(Task Inference)(240)로 입력될 수 있다. 태스크 추론부(240)는 인지 추론부로부터 입력되는 인지 추론 결과, 즉 시각(V)-청각(A)-인지(C)-신체(P) 사용 레벨을 기준으로 자율주행 중 운전자가 취할 수 있는 태스크(Task) 후보들에 대한 가능성을 산출할 수 있다. The cognitive reasoning result, which is the output value of the
이때, 운전자가 주행상황을 얼마나 인식하고 있는지를 파악하기 위해 수행하는 상황 인식(Situation Awareness; SA)도 태스크 후보에 포함될 수 있다. 즉, 운전자의 상황 인식 상태는 운전자가 주행환경(전방의 사고 또는 공사구간 정보 등), 주행경로, 자율주행 시 남은 거리 및 시간 등의 주행 상황을 얼마나 잘 파악하고 있는지를 수치로 나타낸 것이라고 할 수 있다. At this time, the status candidate (SA) that is performed to grasp how much the driver is aware of the driving situation may be included in the task candidate. That is, the driver's situation recognition state is a numerical value indicating how well the driver is grasping the driving situation such as the driving environment (forward accident or construction section information), the driving route, the remaining distance and time during the autonomous driving have.
태스크 추론부(240)는 태스크 모델(241)에 축적된 태스크 후보들에 따른 V-A-C-P 분포를 부가적으로 이용할 수 있다. 예를 들어, 태스크1에 대한 V-A-C-P 분포는 시각, 청각, 인지, 신체의 각 요소에 대한 확률 p(v|T1), p(a|T1), p(c|T1), p(p|T1)를 이용하여 표현될 수 있다. 여기서, T1 은 Task1을 의미할 수 있다.The
태스크 후보들의 가능성을 산출하기 위해 각 태스크에 대한 V-A-C-P 분포를 사전 확률(prior probability)로 설정하여 글로벌 사후 확률(global posterior probability)을 계산할 수 있다. 현재 V-A-C-P 값에 대한 태스크(Task) T의 가능성(P(T|v, a, c, p)), 즉, 사후 확률 pT 는 아래 수학식 1과 같이 나타낼 수 있다.In order to calculate the probability of task candidates, the global posterior probability can be calculated by setting the VACP distribution for each task as a prior probability. The probability P (T | v, a, c, p) of the task T with respect to the current VACP value, that is, the posterior probability p T , can be expressed by Equation 1 below.
수학식 1에서, p T 는 사후 확률, p(T)는 Task T 가 발생할 수 있는 사전 확률이고 p(SA), p(Read), p(Others) 등으로 수식에 표기하였다. q T 는 Task T를 하는 경우, v, a, c, p의 발생 확률, 즉 likelihood를 나타내고 p(v, a, c, p | T)와 같다. 또한, likelihood p(v, a, c, p | T)는 태스크 모델(241)로부터 얻을 수 있다.In Equation 1, p T is posterior probability, p (T) is the prior probability that Task T can occur, and p (SA), p (Read), p (Others) q T represents the likelihood of occurrence of v, a, c, and p in Task T, and is equal to p (v, a, c, p | T). Likelihood p (v, a, c, p | T) can be obtained from the
태스크 추론부(240)에서 산출되는 운전자의 V-A-C-P 사용 레벨과 산출된 태스크 가능성(확률)은 운전자 의도 판단부(250)로 전송될 수 있다. The V-A-C-P use level of the driver calculated by the
태스크 추론부(240)가 현 시점의 측정치로부터 운전자의 태스크를 추론한다면, 운전자의도 판단부(250)는 누적된 태스크 추론(Task Inference) 이력(History)으로부터 운전자의 의도를 결정할 수 있다. 운전자의도 판단부(250)는 순간적으로 운전자의 V-A-C-P가 저하된다고 해도 운전자가 수면 상태라고 판단하지는 않고, 이력 정보를 보고 결정할 수 있다.If the
SA라는 태스크에 대한 의도를 결정하는 것에 대해 예를 들어보면, 누적된 태스크 추론 히스토리로부터 아래 수학식 2와 같이 운전자의 SA 태스크에 대한 의도 PDI를 결정할 수 있다. As an example of determining the intent of a task SA, an intention P DI for a driver's SA task can be determined from the accumulated task reasoning history as shown in Equation 2 below.
수학식 2에서, Pj는 현 시점까지 쌓인 이력(히스토리) 정보를 나타낼 수 있으며, 시간이 지남에 따라 그 영향력이 감소할 수 있다. 한편, 수학식 2는 SA태스크에 대해 예를 들어 설명한 경우이고, 다른 태스크에 대해서도 이와 동일한 방법이 적용될 수 있다.In Equation (2), P j can represent history information (history information) accumulated up to the present time, and its influence may decrease over time. Equation (2) is an example of an SA task, and the same method can be applied to another task.
여기서, Pj는 수학식 3과 같이 나타낼 수 있다.Here, P j can be expressed by Equation (3).
수학식 3에서, α는 망각 인자(forgetting factor)를 나타낸다.In Equation (3),? Represents a forgetting factor.
운전자의도 판단부(250)에서 산출된 SA 태스크에 대한 운전자 의도와 운전자의 V-A-C-P 사용레벨은 DR 결정부(260)로 전송될 수 있다. The driver's intention for the SA task calculated by the driver's
최종적인 운전자 준비도는 운전자가 수행하는 태스크에 대한 운전자의 의도와 운전자의 V-A-C-P 사용레벨을 이용하여 계산될 수 있는데. 특정 시각 t에서의 운전자 준비도 DRt 는 예를 들어, 아래 수학식 4에 따라 결정될 수 있다. The final driver readiness can be calculated using the driver's intention to the task the driver performs and the driver's VACP usage level. Preparation of the driver at a specific time t Fig DR t, for example, can be determined according to Equation (4) below.
수학식 4에서 Wt는 운전자의 전체 워크로드를 의미하며, 예를 들어, 아래 수학식 5와 같이 정의될 수 있다. In Equation (4), Wt denotes the entire workload of the driver, and may be defined as Equation (5), for example.
여기서, at, bt, ct, dt 운전자의 V, A, C, P 각각에 대한 가중 팩터이고, t는 시간 인덱스이다. V, A, C, P에 대한 가중 팩터는 앞서 판단된 운전자의 의도에 따라 도 4에 도시된 바와 같이 달라질 수 있다. Where a t , b t , c t , d t is the weight factor for each of V, A, C, P of the driver and t is the time index. The weighting factor for V, A, C, and P may be varied as shown in FIG. 4 according to the driver's intention determined above.
도 4는 본 발명의 일 실시예에 따른 각 태스크 후보들에 대한 각 신체감각의 사용 정도, 즉 워크로드(workload)를 나타낸다. FIG. 4 illustrates the degree of use of each bodily sensation, that is, workload, for each task candidate according to an embodiment of the present invention.
도 4를 살펴보면, 텍스팅 태스크의 경우, 인지, 및 신체 사용 레벨이 중간 값 정도를 나타내고, 음식/음료 섭취의 경우 신체 사용 레벨이 중간 값 정도를, 대화를 하는 경우에는 청각 및 인지 레벨의 값이 높은 정도를 나타내고 있다. 즉, 운전자의 의도, 즉 어떠한 태스크를 수행 중인지에 따라 각 신체감각에 대한 가중치는 다르게 설정될 수 있다. Referring to FIG. 4, in the case of a texturing task, the recognition and the level of use of the body represent about the middle value, the level of the body use in the case of food / beverage consumption is about the middle value, Is high. That is, the weight for each body sensation may be set differently depending on the intention of the driver, that is, what task is being performed.
정리하면, 운전자의 전체 워크로드는 운전자의 V-A-C-P 사용레벨 및 운전자의 의도에 따른 가중치를 사용하여 산출될 수 있다. 또한, 수학식 4를 통해 드러나는 바와 같이, 운전자 준비도는 운전자의 전체 워크로드가 높아질수록 낮아지는 반비례 관계일 수 있다. In summary, the entire workload of the driver can be calculated using the V-A-C-P use level of the driver and the weight according to the intention of the driver. Also, as evidenced by equation (4), the driver readiness may be an inverse relationship that decreases as the driver ' s total workload increases.
상술한 실시예들을 통해 운전자의 V-A-C-P에 의해 운전자 준비도가 추론되는 과정을 설명하였으나, 본 발명의 범주가 이러한 구체적인 방법에 제한되지 않으며, V-A-C-P 뿐만이 아니라 운전자의 다른 행동 혹은 생체 정보도 추가로 포함될 수 있다.Although the process of inferring the driver's readiness by the driver's VACP has been explained through the above-described embodiments, the scope of the present invention is not limited to the specific method, and it is possible to include not only the VACP but also other behavior or biometric information of the driver have.
운전자의 생체정보는 차량에 탑승한 순간부터 계속적으로 차량의 센서를 이용하여 측정하여 생체신호 분석부(Bio-Signal Analysis)(220)에 송신될 수 있다. 다양한 센서로부터 측정된 생체신호(EEG, ECG, GSR, PPG, SKT, 호흡률 등) 정보가 생체신호 별로 분석되어 건강상태 관리부(221)로 송신될 수 있다. 건강상태 관리부(221)는 분석된 생체신호 정보를 종합하여 운전자의 호흡 상태, 스트레스, 피로 등의 건강상태를 DR 결정부(260)로 송신할 수 있다.The biometric information of the driver can be continuously transmitted to the
DR(Driver Readiness) 결정부(260)는 운전이 가능한 상태인지 판단하기 위해 운전자 상태(2-500)로부터 입력되는 V-A-C-P 가용능력(Availability)과 TOR 반응시간 정보, 건강상태 관리부(Health Status Management)(221)로부터 입력되는 운전자 건강상태 정보, 차량 정보 중 차량속도 정보, 도로주행 환경정보 등을 종합하여 운전자 준비도를 결정할 수 있다.The DR (Driver Readiness)
자율주행상황에서 운전자의 역할은 자율주행 단계에 따라 달라질 수 있다. SAE J3016을 살펴보면, 레벨 3까지가 운전자의 역할이 강조되고 레벨 4 이상에서는 운전자의 개입이 없어진다. 따라서, SAE 레벨 2와 레벨 3에서의 자율주행자동차는 주행하는 중에 언제라도 자동운전 모드에서 수동운전 모드로 운전제어권이 전환될 수 있다. The role of driver in autonomous driving situation can be changed according to autonomous driving stage. Looking at SAE J3016, the role of the driver is emphasized up to
본 발명의 일 실시예에 따른 자율주행시스템은 DR 결정부(260)에 의해 결정된 운전자 준비도 정보가 임계치(threshold) 아래로 떨어지는지 주기적으로 감시하여 임계치 아래로 내려간 경우 이를 DR 부스터(261)로 통지한다.The autonomous drive system according to an embodiment of the present invention periodically monitors whether the driver readiness information determined by the
DR 부스터(261)는 적어도 하나의 운전자 인터랙션 장치를 동작시켜 운전자 준비도를 상승시킬 수 있다. 여기서, 운전자 인터랙션 장치는 시각, 청각, 촉각과 관련한 동작 장치로서, 운전자와의 액티브 인터랙션을 제어함으로써 운전자 준비도를 높이는 데 기여할 수 있다. 이때, 인터랙션 장치의 예로는 시트 벨트 동작, 경고 알람 등이 될 수 있으며, DR 부스터(261)는 운전자의 상황에 맞게 다양하게 운전자의 시각, 청각, 촉각을 리프레시할 수 있는 장치를 활용할 수 있다. The
개별 운전자의 운전 능력과 건강상태는 개인마다 다를 수 있기 때문에, 앞서 설명된 운전자 준비도는 계속적으로 운전자에게 최적화된 시스템으로 튜닝되는 것이 바람직하다. Since the driving ability and health condition of individual drivers may differ from person to person, it is desirable that the above-described driver readiness is continuously tuned to a system optimized for the driver.
또한, DR 결정부(260)는 차량 정보(12) 및 주행 환경 정보(13)를 종합적으로 파악하여 DR 부스터(261)에 의해 사용자 인터랙션 장치의 활성화를 억제할 수도 있다. 다시 말해, 내비게이션에 의해 설정된 주행 경로 및 주변 주행 등을 파악하여, 예를 들어, 목적지까지 30분 이상 고속도로 자율 주행이 예정된 경우 운전자 준비도가 임계치 이하의 상황이라도 DR 부스터의 동작을 억제하여, 운전자의 짧은 수면 또는 졸림이 가능하도록 제어할 수 있다. The
도 5는 본 발명의 일 실시예에 따른 운전자 준비도 예측 방법의 동작 순서도이다.5 is a flowchart illustrating an operation of the method for predicting driver readiness according to an exemplary embodiment of the present invention.
도 5를 참조하면, 본 발명의 일 실시예에 따른 운전자 준비도 예측 방법은 우선 운전자 정보를 수집하고(S410), 수집된 운전자 정보를 통해 운전자의 생체 신호 및 행동을 분석한다(S420). 운전자 행동은 운전자의 신체감각적 사용 상태를 결정하는 데 사용된다(S430). 여기서, 운전자의 신체감각적 사용 상태는, 운전자의 시각(V), 청각(A), 인지(C), 및 신체(P)의 사용 상태를 포함할 수 있다. 운전자의 신체감각적 사용 상태를 결정할 때 인지 모델이 추가로 이용될 수 있다. Referring to FIG. 5, the driver preparation predictive method according to an embodiment of the present invention first acquires driver information (S410), and analyzes the driver's bio signal and behavior through the collected driver information (S420). The driver behavior is used to determine the sensory use state of the driver (S430). Here, the bodily sensory use state of the driver may include the driver's time (V), hearing (A), recognition (C), and usage state of the body (P). A cognitive model may be further used to determine the driver's physical sensory use condition.
운전자의 신체감각적 사용 상태가 결정되면, 이로부터 주행 중 운전자로부터 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론한다(S440). 여기서, 태스크 후보들에 대한 가능성은 각 태스크 후보의 신체감각적 사용 상태를 이용하여 산출된 각 태스크 후보에 대한 사후 확률 값을 포함할 수 있다. 또한, 태스크를 추론하는 단계는 구체적으로, 적어도 하나의 태스크에 대한 신체 감각적 사용 레벨에 대한 정보를 축적하여 저장하는 태스크 모델로부터 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 획득하고, 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 사전 확률로 하여 해당 태스크에 대한 글로벌 사후 확률을 계산할 수 있다.If the sensory use state of the driver is determined, the task is inferred by deriving the possibility of the task candidates that can be generated from the driver during driving (S440). Here, the probability for the task candidates may include a posterior probability value for each task candidate calculated using the sensory use state of each task candidate. The step of deducing the task may also include obtaining at least one bodily sensory use status information for at least one task candidate from a task model that accumulates and stores information about a bodily sensory usage level for at least one task, The global posterior probability for the task can be calculated with the prior probability of the bodily sensory use state information of the task candidate of the task candidate.
또한, 추론된 태스크 후보들에 대한 가능성에 기초하여 운전자의 의도를 판단한다(S450). 운전자의 의도는 누적된 태스크 추론 히스토리를 이용해 추론된 태스크로부터 결정될 수 있다. In addition, the driver's intention is determined based on the probabilities of the inferred task candidates (S450). The intention of the driver can be determined from the inferred task using the accumulated task reasoning history.
운전자 의도가 판단되면, 이를 이용해 운전자 준비도를 산출한다(S460). 아래에서 살펴볼 것이지만, 본 발명의 일 실시예에 따른 운전 지원 방법에 따르면, 운전자 준비도에 따라 사용자 인터랙션 장치를 구동하여 운전자 준비도를 일정 임계치 이상으로 유지하는 데 도움을 준다. If the intention of the driver is determined, the driver readiness is calculated using the intention (S460). As will be described below, the driving support method according to an embodiment of the present invention drives the user interaction apparatus according to the degree of driver readiness to help maintain the driver readiness to a predetermined threshold value or more.
도 6은 본 발명의 일 실시예에 따른 운전자 지원 방법의 동작 순서도이다.6 is an operational flowchart of a driver assistance method according to an embodiment of the present invention.
도 6에 도시된 본 발명의 일 실시예에 따른 운전자 지원 방법은, 자율주행이 가능한 차량에서 수동 운전으로의 전환시 운전자를 지원하는 방법에 관한 것이다. The driver assistance method according to an embodiment of the present invention as shown in FIG. 6 relates to a method of supporting a driver in switching from a vehicle capable of autonomous travel to a manual operation.
도 6을 참조하면, 자율주행 차량이 운행을 시작하면 본 발명에 따른 운전자 준비도 예측 시스템이 구동되어 태스크 후보들에 대한 가능성을 도출하고(S510), 운전자 준비도를 산출한다(S520). Referring to FIG. 6, when the autonomous vehicle starts to operate, the driver readiness prediction system according to the present invention is driven to derive a possibility for the task candidates (S510) and calculate the driver readiness (S520).
산출된 운전자 준비도는 임계치와 비교된다(S530). 운전자 준비도가 운전자가 제어권을 받아 운전할 수 있는 임계치 미만이면 (S530의 아니오), 운전자 준비도를 상승시킬 수 있도록DR 부스터가 호출된다(S540). DR부스터는 운전자의 V-A-C-P 사용 상태에 따라 인터랙션 장치를 각각의 경우마다 다르게 구동한다(S540). 이후, 주행 상태가 계속되는지 판단하여(S560), 계속 주행 중에 있으면(S560의 예) 상술한 단계들을(S510 내지 S550)반복한다. 반대로, 주행 상태가 종료되었을 경우에는 DRE 시스템은 종료된다(S560의 아니오).The calculated driver readiness is compared with a threshold (S530). If the driver readiness is less than a threshold that allows the driver to operate under control (NO in S530), the DR booster is called to increase the driver readiness (S540). The DR booster drives the interaction apparatus differently according to the V-A-C-P use state of the driver (S540). Then, it is determined whether the running state continues (S560). If the running state continues (YES in S560), the above-described steps (S510 to S550) are repeated. Conversely, when the running state has ended, the DRE system is terminated (NO in S560).
도 7은 본 발명의 다른 실시예에 따른 운전자 준비도 예측 장치의 블록 구성도이다. 7 is a block diagram of a driver readiness prediction apparatus according to another embodiment of the present invention.
본 발명의 다른 실시예에 따른 운전자 준비도 예측 장치(100)는 프로세서(110) 및 상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리(120)를 포함할 수 있다. The driver
도 7을 참조하면, 운전자 준비도 예측 장치(100)는 인지 모델 저장부(130) 및 태스크 모델 저장부(140)을 더 포함할 수 있다.Referring to FIG. 7, the driver
인지 모델 저장부(130)는 운전자의 행동에 대한 운전자의 신체감각적 사용 상태, 즉 시각적(Visual), 청각적(Auditory), 인지적(Cognitive), 신체적(Psychomotor) 사용 레벨(상태)에 대한 정보를 포함하는 적어도 하나의 인지 모델을 저장할 수 있다. The cognitive
태스크 모델 저장부(140) 적어도 하나의 태스크 후보들에 대한 신체감각적 사용 분포에 대한 정보를 포함하는 적어도 하나의 태스크 모델을 저장할수 있다. The task
상기 적어도 하나의 명령은, 수집된 운전자 정보를 통해 운전자의 생체 신호 및 행동을 분석하도록 하는 명령; 운전자 행동으로부터 운전자의 신체감각적 사용 상태를 결정하도록 하는 명령; 상기 운전자의 신체감각적 사용 상태로부터 주행 중 운전자로부터 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론하도록 하는 명령; 상기 추론된 태스크 후보들에 대한 가능성에 기초하여 운전자의 의도를 판단하도록 하는 명령; 및 운전자 의도를 이용해 운전자 준비도를 산출하도록 하는 명령을 포함할 수 있다. Wherein the at least one command comprises: instructions for analyzing a driver ' s vital signs and behavior through collected driver information; An instruction to determine the sensory use state of the driver from the driver behavior; A command for deducing a task from the sensory use state of the driver by deriving a possibility for the task candidates that can be generated from the driver while driving; Determine an intention of the driver based on the probabilities for the inferred task candidates; And an instruction to calculate the driver readiness using the driver intention.
상기 운전자의 신체감각적 사용 상태는, 운전자의 시각(V), 청각(A), 인지(C), 및 신체(P)의 사용 상태를 포함할 수 있다. The sensory use state of the driver may include the driver's time (V), hearing (A), perception (C), and the use state of the body (P).
상기 태스크 후보들에 대한 가능성은 각 태스크 후보의 신체감각적 사용 상태 및 운전자의 상황 인식 상태 중 적어도 하나를 이용하여 산출된 각 태스크 후보에 대한 사후 확률 값을 포함할 수 있다. The probability for the task candidates may include a posterior probability value for each task candidate calculated using at least one of the sensory use state of the task candidate and the driver's state recognition state.
상기 태스크를 추론하도록 하는 명령은, 적어도 하나의 태스크에 대한 신체 감각적 사용 레벨에 대한 정보를 축적하여 저장하는 태스크 모델로부터 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 획득하도록 하는 명령; 및 상기 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 사전 확률로 하여 해당 태스크에 대한 글로벌 사후 확률을 계산하도록 하는 명령을 포함할 수 있다. Instructions to infer the task include instructions to obtain bodily sensory usage status information for at least one task candidate from a task model that accumulates and stores information about a bodily sensory usage level for at least one task; And an instruction to calculate a global posterior probability for the task with the prior probability of bodily sensory use state information for the at least one task candidate.
상기 운전자의 의도를 판단하도록 하는 명령은 누적된 태스크 추론 히스토리를 이용해 추론된 태스크로부터 운전자의 의도를 결정하도록 하는 명령을 포함할 수 있다. The instruction to determine the intention of the driver may include instructions to determine an intention of the driver from the inferred task using accumulated task reasoning history.
상기 운전자 의도를 이용해 운전자 준비도를 산출하도록 하는 명령은, 상기 운전자의 의도 및 운전자의 전체 워크로드 중 적어도 하나를 고려하여 운전자 준비도를 계산하도록 하는 명령을 포함할 수 있다. The instruction to calculate the driver readiness using the driver intention may include an instruction to calculate the driver readiness in consideration of at least one of the intention of the driver and the entire workload of the driver.
상기 적어도 하나의 명령은, 상기 운전자의 생체 정보를 수집하도록 하는 명령; 및 상기 운전자의 생체 정보를 분석하여 운전자의 건강 상태를 파악하도록 하는 명령을 더 포함할 수 있다. Wherein the at least one command comprises: instructions for collecting biometric information of the driver; And analyzing the biometric information of the driver to grasp the health state of the driver.
추가적으로, 본 발명에 따른 운전자 준비도 예측 장치는 운전자 정보, 차량 정보, 주행환경 정보 등을 센싱하는 적어도 하나의 센서, 및 운전자 준비도를 기준치 이상으로 유지하기 위한 적어도 하나의 사용자 인터랙션 장치와 연동할 수 있다. 이 경우, 운전자 준비도 예측 장치, 적어도 하나의 센서, 및 적어도 하나의 사용자 인터랙션 장치는 하나의 시스템으로 통합되어 본 발명의 일 실시예에 따른 운전자 지원 시스템을 구성할 수 있다. In addition, the driver readiness prediction apparatus according to the present invention may include at least one sensor for sensing driver information, vehicle information, driving environment information, and the like, and at least one user interaction device for maintaining the driver readiness above a reference value . In this case, the driver readiness prediction device, the at least one sensor, and the at least one user interaction device may be integrated into one system to constitute a driver assistance system according to an embodiment of the present invention.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다. The operation of the method according to an embodiment of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. The computer-readable recording medium may also be distributed and distributed in a networked computer system so that a computer-readable program or code can be stored and executed in a distributed manner.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.Also, the computer-readable recording medium may include a hardware device specially configured to store and execute program instructions, such as a ROM, a RAM, a flash memory, and the like. Program instructions may include machine language code such as those produced by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다. While some aspects of the invention have been described in the context of an apparatus, it may also represent a description according to a corresponding method, wherein the block or apparatus corresponds to a feature of the method step or method step. Similarly, aspects described in the context of a method may also be represented by features of the corresponding block or item or corresponding device. Some or all of the method steps may be performed (e.g., by a microprocessor, a programmable computer or a hardware device such as an electronic circuit). In some embodiments, one or more of the most important method steps may be performed by such an apparatus.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.In embodiments, a programmable logic device (e.g., a field programmable gate array) may be used to perform some or all of the functions of the methods described herein. In embodiments, the field programmable gate array may operate in conjunction with a microprocessor to perform one of the methods described herein. Generally, the methods are preferably performed by some hardware device.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the invention as defined in the appended claims. It can be understood that it is possible.
100, 200: 운전자 준비도 예측 장치
110: 프로세서
120: 메모리
130: 인지 모델 저장부
140: 태스크 모델 저장부
210: 행동 분석부
220: 생체신호 분석부
230: 인지 추론부
240: 태스크 추론부
250: 운전자의도 판단부
260: DR 결정부100, 200: driver readiness prediction device 110: processor
120: memory 130: recognition model storage unit
140: Task model storage unit 210: Behavior analysis unit
220: Biological signal analysis unit 230: Cognitive reasoning unit
240: Task inference unit 250:
260: DR decision unit
Claims (20)
수집된 운전자 정보를 통해 운전자의 생체 신호 및 행동을 분석하는 단계;
운전자 행동으로부터 운전자의 신체감각적 사용 상태를 결정하는 단계;
상기 운전자의 신체감각적 사용 상태로부터 주행 중 운전자로부터 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론하는 단계;
상기 추론된 태스크 후보들에 대한 가능성에 기초하여 운전자의 의도를 판단하는 단계; 및
운전자 의도를 이용해 운전자 준비도를 산출하는 단계를 포함하는, 운전자 준비도 예측 방법.A method for predicting a driver's readiness in an autonomous vehicle,
Analyzing a driver's bio-signal and behavior through collected driver information;
Determining a sensory use state of the driver from the driver behavior;
Deriving a possibility for the task candidates that can be generated from the driver while driving from the sensory use state of the driver, and deducing the task;
Determining a driver's intention based on the probabilities for the inferred task candidates; And
And calculating the driver readiness using the driver intention.
상기 운전자의 신체감각적 사용 상태는, 운전자의 시각(V), 청각(A), 인지(C), 및 신체(P)의 사용 상태를 포함하는, 운전자 준비도 예측 방법.The method according to claim 1,
Wherein the sensory use state of the driver includes a driver's time (V), a hearing (A), a recognition (C), and a usage state of the body (P).
상기 태스크 후보들에 대한 가능성은 각 태스크 후보의 신체감각적 사용 상태 및 운전자의 상황 인식(Situation Awaraness) 상태 중 적어도 하나를 이용하여 산출된 각 태스크 후보에 대한 사후 확률 값을 포함하는, 운전자 준비도 예측 방법.The method according to claim 1,
Wherein the probability for the task candidates includes a posterior probability value for each task candidate calculated using at least one of a sensory use state of each task candidate and a situation awareness state of the driver .
상기 운전자의 신체감각적 사용 상태로부터 주행 중 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론하는 단계는,
적어도 하나의 태스크에 대한 신체 감각적 사용 레벨에 대한 정보를 축적하여 저장하는 태스크 모델로부터 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 획득하는 단계; 및
상기 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 사전 확률로 하여 해당 태스크에 대한 글로벌 사후 확률을 계산하는 단계를 포함하는, 운전자 준비도 예측 방법.The method according to claim 1,
Wherein the step of deducing a task by deriving a possibility for the task candidates that may occur during driving from the sensory use state of the driver,
Obtaining bodily sensory usage status information for at least one task candidate from a task model that accumulates and stores information on a bodily sensory usage level for at least one task; And
And calculating a global posterior probability for the task with prior probability of bodily sensory use state information for the at least one task candidate.
상기 추론된 태스크 후보들에 대한 가능성에 기초하여 운전자의 의도를 판단하는 단계는,
누적된 태스크 추론 히스토리를 이용해 추론된 태스크로부터 운전자의 의도를 결정하는 단계를 포함하는, 운전자 준비도 예측 방법.The method according to claim 1,
Wherein the step of determining the driver's intention based on the probabilities for the inferred task candidates comprises:
And determining an intention of the driver from the inferred task using the cumulative task inference history.
상기 운전자 의도를 이용해 운전자 준비도를 산출하는 단계는,
상기 운전자의 의도 및 운전자의 전체 워크로드 중 적어도 하나를 고려하여 운전자 준비도를 계산하는 단계를 포함하는, 운전자 준비도 예측 방법.The method of claim 5,
Wherein the step of calculating the driver readiness using the driver intention comprises:
Calculating the driver readiness in consideration of at least one of the intention of the driver and the entire workload of the driver.
상기 운전자의 생체 정보를 수집하는 단계; 및
상기 운전자의 생체 정보를 분석하여 운전자의 건강 상태를 파악하는 단계를 더 포함하는, 운전자 준비도 예측 방법.The method according to claim 1,
Collecting biometric information of the driver; And
Further comprising the step of analyzing the biometric information of the driver to determine a driver's health condition.
상기 운전자 의도를 이용해 운전자 준비도를 산출하는 단계는,
상기 운전자의 건강 상태 및 전환요청(Take Over Request; TOR) 반응시간 정보를 추가로 고려하여 운전자 준비도를 산출하는 단계를 포함하는, 운전자 준비도 예측 방법.The method of claim 6,
Wherein the step of calculating the driver readiness using the driver intention comprises:
And calculating a driver readiness by further considering the health state of the driver and the takeover request (TOR) response time information.
프로세서; 및
상기 프로세서를 통해 실행되는 적어도 하나의 명령을 저장하는 메모리를 포함하고,
상기 적어도 하나의 명령은,
수집된 운전자 정보를 통해 운전자의 생체 신호 및 행동을 분석하도록 하는 명령;
운전자 행동으로부터 운전자의 신체감각적 사용 상태를 결정하도록 하는 명령;
상기 운전자의 신체감각적 사용 상태로부터 주행 중 운전자로부터 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론하도록 하는 명령;
상기 추론된 태스크 후보들에 대한 가능성에 기초하여 운전자의 의도를 판단하도록 하는 명령; 및
운전자 의도를 이용해 운전자 준비도를 산출하도록 하는 명령을 포함하는, 운전자 준비도 예측 장치.An apparatus for predicting a driver's readiness in an autonomous vehicle,
A processor; And
And a memory for storing at least one instruction executed via the processor,
Wherein the at least one instruction comprises:
An instruction to analyze the driver's bio-signal and behavior through the collected driver information;
An instruction to determine the sensory use state of the driver from the driver behavior;
A command for deducing a task from the sensory use state of the driver by deriving a possibility for the task candidates that can be generated from the driver while driving;
Determine an intention of the driver based on the probabilities for the inferred task candidates; And
And to calculate the driver readiness using the driver intention.
상기 운전자의 신체감각적 사용 상태는, 운전자의 시각(V), 청각(A), 인지(C), 및 신체(P)의 사용 상태를 포함하는, 운전자 준비도 예측 장치.The method of claim 9,
Wherein the sensory use state of the driver includes a driver's time (V), a hearing (A), a recognition (C), and a usage state of the body (P).
적어도 하나의 태스크에 대한 신체 감각적 사용 레벨에 대한 정보를 축적하여 저장하는 태스크 모델을 더 포함하는, 운전자 준비도 예측 장치.The method of claim 9,
Further comprising a task model for accumulating and storing information on a bodily sensory usage level for at least one task.
상기 태스크 후보들에 대한 가능성은 각 태스크 후보의 신체감각적 사용 상태 및 운전자의 상황 인식(Situation Awaraness) 상태 중 적어도 하나를 이용하여 산출된 각 태스크 후보에 대한 사후 확률 값을 포함하는, 운전자 준비도 예측 장치.The method of claim 9,
Wherein the probability for the task candidates includes a posterior probability value for each task candidate calculated using at least one of a sensory use state of the task candidates and a status awareness status of the driver (Situation Awareness) .
상기 태스크를 추론하도록 하는 명령은,
적어도 하나의 태스크에 대한 신체 감각적 사용 레벨에 대한 정보를 축적하여 저장하는 태스크 모델로부터 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 획득하도록 하는 명령; 및
상기 적어도 하나의 태스크 후보에 대한 신체감각적 사용 상태 정보를 사전 확률로 하여 해당 태스크에 대한 글로벌 사후 확률을 계산하도록 하는 명령을 포함하는, 운전자 준비도 예측 장치.The method of claim 9,
Wherein the instruction to infer the task comprises:
Instructions for acquiring bodily sensory usage status information for at least one task candidate from a task model that accumulates and stores information about a bodily sensory usage level for at least one task; And
And to calculate a global posterior probability for the task with prior probability of bodily sensory use state information for the at least one task candidate.
상기 운전자의 의도를 판단하도록 하는 명령은,
누적된 태스크 추론 히스토리를 이용해 추론된 태스크로부터 운전자의 의도를 결정하도록 하는 명령을 포함하는, 운전자 준비도 예측 장치.The method of claim 9,
Wherein the instruction to determine the intention of the driver comprises:
And to determine an intention of the driver from the inferred task using the accumulated task inference history.
상기 운전자 의도를 이용해 운전자 준비도를 산출하도록 하는 명령은,
상기 운전자의 의도 및 운전자의 전체 워크로드 중 적어도 하나를 고려하여 운전자 준비도를 계산하도록 하는 명령을 포함하는, 운전자 준비도 예측 장치.15. The method of claim 14,
Wherein the instruction to calculate the driver readiness using the driver intention comprises:
And calculating the driver readiness in consideration of at least one of the intention of the driver and the entire workload of the driver.
상기 적어도 하나의 명령은,
상기 운전자의 생체 정보를 수집하도록 하는 명령; 및
상기 운전자의 생체 정보를 분석하여 운전자의 건강 상태를 파악하도록 하는 명령을 더 포함하는, 운전자 준비도 예측 장치.The method of claim 9,
Wherein the at least one instruction comprises:
A command to collect biometric information of the driver; And
Further comprising instructions for analyzing the biometric information of the driver to grasp the health condition of the driver.
운전자의 신체감각적 사용 상태로부터 주행 중 운전자로부터 발생 가능한 태스크 후보들에 대한 가능성을 도출하여 태스크를 추론하는 단계;
상기 태스크 후보들에 대한 가능성에 기초하여 운전자 준비도를 산출하는 단계;
상기 운전자 준비도가 준비 임계치 이상인지 판단하는 단계; 및
상기 운전자 준비도에 기초하고 주행 환경, 주행 경로, 차량 정보 및 사용자의 건강 상태 중 적어도 하나를 추가로 고려하여, 적어도 하나의 운전자 인터랙션 장치를 동작시키는 단계를 포함하는 운전자 지원 방법.A method of supporting a driver in an autonomous vehicle,
Deriving the possibility of the task candidates that can be generated from the driver during driving from the sensory use state of the driver, and deducing the task;
Calculating a driver readiness based on the likelihood of the task candidates;
Determining whether the driver readiness is greater than or equal to a readiness threshold; And
Further comprising: operating at least one driver interaction device based on the driver readiness and further considering at least one of the driving environment, the driving route, the vehicle information, and the health state of the user.
상기 운전자의 신체감각적 사용 상태는, 운전자의 시각(V), 청각(A), 인지(C), 및 신체(P)의 사용 상태를 포함하는, 운전자 지원 방법.18. The method of claim 17,
Wherein the sensory use state of the driver includes the driver's time (V), auditory (A), perception (C), and usage state of the body (P).
상기 태스크 후보들에 대한 가능성은 각 태스크 후보의 신체감각적 사용 상태 및 운전자의 상황 인식(Situation Awaraness) 상태 중 적어도 하나를 이용하여 산출된 각 태스크 후보에 대한 사후 확률 값을 포함하는, 운전자 지원 방법.18. The method of claim 17,
Wherein the probability for the task candidates includes a posterior probability value for each task candidate calculated using at least one of a sensory use state of the task candidate and a status awareness state of the driver.
상기 태스크 후보들에 대한 가능성에 기초하여 운전자 준비도를 산출하는 단계는,
누적된 태스크 추론 히스토리를 이용해 추론된 태스크로부터 운전자의 의도를 결정하는 단계; 및
상기 운전자의 의도 및 운전자의 전체 워크로드 중 적어도 하나를 고려하여 운전자 준비도를 계산하는 단계를 포함하는, 운전자 지원 방법.
18. The method of claim 17,
Wherein the step of calculating the driver readiness based on the possibility of the task candidates comprises:
Determining an intention of a driver from an inferred task using an accumulated task inference history; And
Calculating the driver readiness in consideration of at least one of the intention of the driver and the entire workload of the driver.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/184,163 US11027741B2 (en) | 2017-11-15 | 2018-11-08 | Apparatus and method for estimating driver readiness and method and system for assisting driver |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170152570 | 2017-11-15 | ||
| KR20170152570 | 2017-11-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190055723A true KR20190055723A (en) | 2019-05-23 |
| KR102525413B1 KR102525413B1 (en) | 2023-04-25 |
Family
ID=66681358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180120004A KR102525413B1 (en) | 2017-11-15 | 2018-10-08 | Apparatus and method for estimating driver readiness and system and method for assisting driver |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102525413B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102234194B1 (en) * | 2019-11-08 | 2021-03-31 | 재단법인대구경북과학기술원 | Apparatus for assessing safety of control transition in autonomous vehicles and assessing method using the same apparatus |
| KR20210097394A (en) * | 2020-01-30 | 2021-08-09 | 인제대학교 산학협력단 | Interface device utilizing human head movement in the vehicle |
| KR20220168458A (en) * | 2021-06-16 | 2022-12-23 | 아주대학교산학협력단 | Apparatus and method for transition of control authority in consideration of change in driving environmental factor |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090114553A (en) * | 2008-04-30 | 2009-11-04 | 한국전자통신연구원 | The human workload management system and method |
| US20170282930A1 (en) * | 2016-04-05 | 2017-10-05 | Ford Global Technologies, Llc | Method and apparatus for predictive driver assistance |
| JP6315082B2 (en) * | 2014-03-26 | 2018-04-25 | 日産自動車株式会社 | Information presentation device and information presentation method |
| JP6323549B2 (en) * | 2014-04-02 | 2018-05-16 | 日産自動車株式会社 | Vehicle information presentation device |
-
2018
- 2018-10-08 KR KR1020180120004A patent/KR102525413B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090114553A (en) * | 2008-04-30 | 2009-11-04 | 한국전자통신연구원 | The human workload management system and method |
| JP6315082B2 (en) * | 2014-03-26 | 2018-04-25 | 日産自動車株式会社 | Information presentation device and information presentation method |
| JP6323549B2 (en) * | 2014-04-02 | 2018-05-16 | 日産自動車株式会社 | Vehicle information presentation device |
| US20170282930A1 (en) * | 2016-04-05 | 2017-10-05 | Ford Global Technologies, Llc | Method and apparatus for predictive driver assistance |
Non-Patent Citations (1)
| Title |
|---|
| Mioch T. 외 2명, "Driver Readiness Model for Regulating the Transfer from Automation to Human Control", Proc. of the 22nd Int. Conf. on Intelligent User Interfaces, 2017.3.13., pp.205~213.* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102234194B1 (en) * | 2019-11-08 | 2021-03-31 | 재단법인대구경북과학기술원 | Apparatus for assessing safety of control transition in autonomous vehicles and assessing method using the same apparatus |
| KR20210097394A (en) * | 2020-01-30 | 2021-08-09 | 인제대학교 산학협력단 | Interface device utilizing human head movement in the vehicle |
| KR20220168458A (en) * | 2021-06-16 | 2022-12-23 | 아주대학교산학협력단 | Apparatus and method for transition of control authority in consideration of change in driving environmental factor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102525413B1 (en) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7204739B2 (en) | Information processing device, mobile device, method, and program | |
| US11507086B2 (en) | Manual control re-engagement in an autonomous vehicle | |
| EP1891490B1 (en) | Dialogue system | |
| CN102316805B (en) | Physiological condition estimation device and vehicle control device | |
| Biondi et al. | 80 MPH and out-of-the-loop: Effects of real-world semi-automated driving on driver workload and arousal | |
| US10349892B2 (en) | Biological signal measuring system based on driving environment for vehicle seat | |
| Collet et al. | Associating vehicles automation with drivers functional state assessment systems: A challenge for road safety in the future | |
| KR20190055723A (en) | Apparatus and method for estimating driver readiness and system and method for assisting driver | |
| US10583840B2 (en) | Methods and apparatus to monitor an activity level of a driver | |
| WO2019208450A1 (en) | Driving assistance device, driving assistance method, and program | |
| US10877444B1 (en) | System and method for biofeedback including relevance assessment | |
| US20230211780A1 (en) | Operation support method, operation support system, and operation support server | |
| US11027741B2 (en) | Apparatus and method for estimating driver readiness and method and system for assisting driver | |
| EP4213124A1 (en) | Information processing device, information processing method, and information processing program | |
| Urbano et al. | Cooperative driver stress sensing integration with eCall system for improved road safety | |
| JP2011227883A (en) | Device for determining ability to drive and method for determining ability to drive | |
| JPH10146321A (en) | Driver monitoring device | |
| US20210323559A1 (en) | Data processing device, human-machine interface system including the device, vehicle including the system, method for evaluating user discomfort, and computer-readable medium for carrying out the method | |
| WO2018222028A1 (en) | A system and a method to determine and control emotional state of a vehicle operator | |
| CN107007292B (en) | Method for learning fatigue | |
| Zhang et al. | Learning-based driver workload estimation | |
| JP2004329956A (en) | Driver monitoring device and safety device using the same | |
| WO2023204218A1 (en) | Cognitive ability estimation apparatus and program | |
| WO2024062769A1 (en) | Driver assistance device, driver assistance system, and driver assist method | |
| Saito et al. | Bringing a Vehicle to a Controlled Stop: Effectiveness of a Dual-Control Scheme for Identifying Driver Drowsiness and Executing Safety Control under Hands-off Partial Driving Automation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |