JP2017168097A - 状況に特有の車両ドライバとの交信を提供するためのシステムおよび方法 - Google Patents
状況に特有の車両ドライバとの交信を提供するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2017168097A JP2017168097A JP2017040659A JP2017040659A JP2017168097A JP 2017168097 A JP2017168097 A JP 2017168097A JP 2017040659 A JP2017040659 A JP 2017040659A JP 2017040659 A JP2017040659 A JP 2017040659A JP 2017168097 A JP2017168097 A JP 2017168097A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- module configured
- state
- situation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000003993 interaction Effects 0.000 title description 2
- 230000009471 action Effects 0.000 claims abstract description 58
- 239000013598 vector Substances 0.000 claims description 41
- 206010041349 Somnolence Diseases 0.000 claims description 13
- 230000001815 facial effect Effects 0.000 claims description 5
- 230000004886 head movement Effects 0.000 claims description 4
- 230000004399 eye closure Effects 0.000 claims 1
- 230000010354 integration Effects 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000036626 alertness Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000006855 networking Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 208000032140 Sleepiness Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000037321 sleepiness Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000010344 pupil dilation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004622 sleep time Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/26—Incapacity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
Abstract
【課題】ドライバが眠そうである際に考慮するよう、ドライバの注意力のレベルを測定して注意力のレベルを向上させる。
【解決手段】ドライバの状況に基づいてドライバと交信することは、ドライバに警告し続けるのに役立つ。状況は、興味を含むドライバの特徴を判定すること、車両に含まれるセンサを使用してドライバの状態、車両の状態およびドライバの現在の位置に関する情報など、ドライバの周囲の環境を監視することにより、判定される。ドライバの興味の情報が取得され、ドライバの状況に基づいてドライバへ推奨可能な動作を生成するために使用される。動作はドライバに警告し続けるために使用される。
【選択図】図2
【解決手段】ドライバの状況に基づいてドライバと交信することは、ドライバに警告し続けるのに役立つ。状況は、興味を含むドライバの特徴を判定すること、車両に含まれるセンサを使用してドライバの状態、車両の状態およびドライバの現在の位置に関する情報など、ドライバの周囲の環境を監視することにより、判定される。ドライバの興味の情報が取得され、ドライバの状況に基づいてドライバへ推奨可能な動作を生成するために使用される。動作はドライバに警告し続けるために使用される。
【選択図】図2
Description
本出願は、一般的に車両の安全に関し、より具体的には、状況に特有の車両ドライバとの交信を提供するためのシステムおよび方法に関する。
注意深いドライバは、安全な道路のための必須条件である。残念ながら、不十分な睡眠時間、長い労働時間、および、長い通勤時間など、現代生活の絶えず続く要求により、多くの人々は、疲労が大きく道路に集中できない際にも運転をしており、疲労状態にあるにもかかわらず、道路から離れる選択肢を有さない。その結果として、米国における1つの世論調査では、成人ドライバの60%が眠気を感じながら運転したことがあり、3分の1を超える人々が、実際に過去に運転しながら眠ってしまったことがあると推定している。そのようなドライバは、道路条件、他の車両、および、道路上の歩行者に対する反応が間に合わない可能性があり、致命的となり得る交通事故を起こすリスクが高まる。そのようなリスクは、ドライバが運転中に完全に眠ってしまった場合、さらに増大する。一貫して、国家道路交通局(National Highway Traffic Administration)は、保守的に見積もって、米国における少なくとも100,000件の警察に報告された追突がドライバの疲労によるものであり、結果的に、推定1,550件の死亡を引き起こしたとしている。
疲労に関連する追突を防ごうとする複数の技術が存在するが、理想的なものはない。例えば、Nad−Zapper(商標)Anti−Sleep Alarmは、ドライバの頭が特定の速度で前方に傾いた際にアラームを鳴らしてドライバを起こす、ドライバの耳の後ろに装着可能な動作検出器を含む。しかしながら、アラームは、ドライバが眠ってしまい車両の制御ができなくなるリスクが生じた後にのみ起動するため、眠りに落ちるドライバが危険な状態に陥るのを防げない。さらに、次に眠ってしまうまで、アラームは、ドライバの目を覚ましておくための策を何も講じない。
同様に、ミシガン州ディアボーンのFord(登録商標)Motor Companyにより生産されるドライバ警告システムなど、他のシステムは、車両の側方位置、ハンドルの角度、および、速度の変動を評価して、ドライバが車両を制御できていないか判定する。しかしながら、そのような技術は、車が直線道路上にある間のマイクロスリープ、数秒間のみ続く睡眠を検出せず、事故が起こる前にドライバの目を覚まさせようとしない可能性がある。さらに、そのようなシステムは、ドライバが実際に車両を制御できなくなる前に、道路上に止まる必要があるドライバの目を覚ましておこうとしない。
同様に、スウェーデンのヨーテボリにあるVolvo(登録商標)Groupにより調査されたシステムなど、他のシステムは、車両内のカメラを使用してドライバの視覚的な分析を行い、画像を処理してドライバの顔における眠気の兆候を検出する。眠気の兆候を検出すると、そのようなシステムは、ドライバが休息のために十分な休憩をとるという想定のもとに、ドライバが眠そうであるという警告をドライバに提供する。そのようなシステムは、ドライバの注意力を直接的に向上させるものではなく、特定の状態においてはドライバが休息をとれない可能性があるため、そのようなシステムの警告はドライバに無視される可能性がある。
したがって、ドライバが眠そうである際に考慮するよう、ドライバの注意力のレベルを測定して注意力のレベルを向上させる手法が必要である。
ドライバの状況に基づいてドライバと交信することは、ドライバに警告し続けるのに役立ち得る。状況は、ドライバの興味を含むドライバの特徴を判定することにより、および、車両に含まれるセンサを使用してドライバの状態、車両の状態、および、ドライバの現在の場所に関する情報など、ドライバの周囲環境を監視することにより、判定され得る。特徴および監視された環境は、ドライバの状況を規定する。ドライバに対する興味の情報が取得され、ドライバの状況に基づいてドライバへ推奨可能である動作を生成するために使用される。動作は、ドライバに警告し続けるために使用される。
1つの実施形態において、状況に特有の動作を車両のドライバへ向けて行うためのシステムおよび方法が開示される。車両のドライバの状況は、以下を含んで判定される:ドライバの状態を判定すること;車両の状態を判定すること;および、ドライバの1つ以上の特徴を判定すること。1つ以上の動作が、システムによりドライバに対して状況に基づいて行われるよう推奨される。推奨動作のうちの1つ以上が、行われる。
さらに、本発明の他の実施形態が、本発明を実行するために検討される最良の様式を図示する目的で本発明の実施形態が記載される、以下の詳細な説明から当業者に容易に明らかになるであろう。理解されるように、本発明は、他の実施形態および異なる実施形態が可能であり、いくつかの詳細は、全てが本発明の精神および範囲から逸脱することなく、様々な明確な態様において修正可能である。したがって、図および詳細な説明は、本質的に図示であると見なされ、制限とは見なされない。
ドライバの注意力は、および、その結果として道路上の安全は、ドライバの現状に基づくようドライバとの交信をカスタマイズすることにより、向上し得る。図1は、1つの実施形態による、状況に特有の動作を車両のドライバへ向けて行うためのシステム10を示すブロック図である。システム10は、車両15のドライバ14の状態13を監視する役割を果たす検知/視覚モジュール12を実行する1つ以上のサーバ11を含む。ドライバの状態は、ドライバが注意を傾けているか、または、眠そうかを表し得るが、他の種類の状態も可能である。例えば、さらなる実施形態において、ドライバの状態13は、ドライバの感情を含み得る。検知/視覚モジュール12は、状態を監視するために車両15の内部の1つ以上のセンサと交信する。センサは、ドライバを監視する少なくとも1つのドライバと直面するデジタルカメラ16を含む。カメラ16は、可視光画像を記録するカメラ16であり得る。代替的に、カメラ16は、さらに、赤外線カメラ16であってよい。他の種類のカメラも可能である。加えて、他のセンサがユーザを監視していてよい。例えば、生体センサは、スマートウォッチ17に組み込まれるなど、ドライバに装着されることができ、ドライバ14の生理学的データを検知し得る。したがって、センサは、ドライバの光電脈波(「PPG波」)を記録し得るスマートウォッチ17内に組み込まれるパルスオキシメータであり得る。さらに、他の種類のセンサが可能である。
さらに、サーバ11は、ドライバの状況、特定の時間にドライバと関連付けられる環境のセットを判定する状況モジュール18を実行する。状況は、状況モジュール18に保存され、追加的にバックアップ保存媒体20に保存され得る、状況グラフ19に表される。状況グラフ19は、意味グラフ19である(状況グラフ19は、以降、以下の記載において「意味グラフ19」と称される)。ドライバ14の状態に加えて、意味グラフ19は、車両の速度または車両のエンジンの毎分反復など、車両15の状態21、車の前方の任意の物体、車両15が運行している道路の状態、および、車両が道路のレーンに対する位置を維持しているか(車両内のセンサを使用して判定され得る)を反映するが、さらに、他の種類の車両の状態情報も可能である。加えて、ストレージ20は、特定の都市または国など、ドライバの位置に関する空間データ22を含み得るが、他の種類の地理的な位置も可能である。空間データ22は、レストラン、店舗、および、位置において興味のある他の地点を含み得る。空間データ22は、状況モジュール18により、インターネットまたはセルラーネットワークなど、インターネットワーク23を介してアクセス可能な1つ以上のウェブページ21から取得され得る。状況モジュール18は、車両に内蔵されるGPS受信器を使用して取得され、インターネットワーク23と接続し得る車両15に内蔵される無線送受信器を介して送信され得る、車両の現在位置を受信することができ、ドライバの位置に近い興味のある地点を特定できる。状況モジュール18は、意味グラフ19に興味のある地点を含み得る。
さらなる実施形態において、カメラまたは他のセンサなど、車両15のセンサは、以下のいずれに該当するかなど、ドライバの負荷(図示せず)を測定し得る:負荷が高く、ドライバは運転に集中する必要があり、注意散漫であるべきではない;通常の負荷であり、一部のドライバは運転に注意を傾ける必要があり、会話のための追加的な負荷が許可される;または、負荷は低く、ドライバは停車しているか、または、信号でアイドリングしている。負荷は、瞬きの頻度(以下に記載されるように判定され得る)を評価することにより、衝動性運動を測定することにより、または、瞳孔拡張を測定することにより、測定され得るが、ドライバの負荷を評価する他の手法も可能である。センサからのデータは、無線送受信器によりセンサへ送信されてよく、意味グラフ19内に組み込まれ得る。意味グラフ19は、2015年12月8日に発行された、Roberts等の同一出願人による米国特許第9,208,439号に記載されるように、ドライバの状態13、車両の状態21、位置情報22、および、他の情報から生成され得る。意味グラフ19を作成するための他の手法も可能である。
さらに、サーバ11は、ドライバに関する情報を収集して、収集された情報に基づいて、ドライバの現在および過去の興味など、ドライバの特徴を学習する、個人データモジュール24を実行するが、ドライバの他の特徴も可能である。特徴は、さらに図5と関連して以下に記載されるように、ドライバの提示されたプロファイル25である。簡潔に言えば、個人データモジュールは、23個のデータ項目を、サーバ11によりインターネットワーク23を介して取り込まれ得る、ドライバと関連付けられるウェブコンテンツ26から抽出する。ウェブコンテンツ26は、ドライバによる、または、ドライバのソーシャルネットワーク接続による、ソーシャルネットワーキング投稿などの情報フィード、ドライバが承認するRSSフィード、1つ以上のサーバ27上に保持されるドライバのソーシャルネットワークプロファイルを含み得るが、他の種類のウェブコンテンツ26も可能である。
抽出データ項目は、個人データモジュール24により、トピックの階層28(異なるカテゴリにグループ化されるトピックを含み得る)と比較され、ストレージ20に保存され得るが、他の種類の比較も可能である。比較に基づいて、各データ項目と関連付けられる階層28におけるトピックが特定される。特定されたトピックに基づいて、データ項目は、統一されたパラメータ空間に分類され得る。特に、1つの実施形態において、表現ベクトルが、特定されたトピックからデータ項目ごとに生成され得る。そのようなベクトルは、階層的なトピックに関して文書の分類を示し、データ項目のコンテンツに特有の高次元ベクトル空間における地点を定義する。ベクトルは、データ項目の経年に基づいて重み付けされてよく、より最近のデータ項目に対するベクトルが、より多く重み付けされる。重み付けベクトルは、ドライバの現在および過去の興味を示す描写ベクトルにおいてドライバのプロファイル25として機能する単一のベクトルに組み合わされる。ベクトルにおける領域は、階層28に含まれるトピックと関連する数値に対応する。さらなる実施形態において、個人データモジュール24は、複数のユーザと関連付けられるベクトルを組み合わせて母集団事前分布29を形成し得る。
事前分布29は、クラスタリングおよび教師なし学習などの技術を介して作成され得るが、さらに、他の技術も可能である。例えば、事前分布29は、類似性に基づいてプロファイル25を組み合わせるよう推奨するために使用され得る、協調フィルタリング規則を介して構築され得る。同様に、母集団事前分布は、ドライバの年齢、および、プロファイル25における他のデータなど、ドライバ13と関連付けられる他の情報に基づいて構築されてよい。さらに、母集団事前分布を作成するための他の手法が可能である。特定のドライバのプロファイル25に最も近い母集団事前分布が、さらに以下に記載されるように、動作を推奨するためにドライバのプロファイル25の代わりに使用され得る。
意味グラフ19およびドライバ14のプロファイル25(または、最も近い事前分布)は、サーバ11により実行されるレコメンダ30により、ドライバの個人的な特徴(ドライバの興味など)、ドライバの状態、車両の状態、位置を全て網羅する、ドライバの現状を表す単一のベクトル空間「現状」ベクトル31に統合される。さらに、レコメンダ30は、ドライバ14に対して取り込まれる可能性がある可能な動作32のリストへのアクセスを有する。そのような動作は、実行されるドライバ14との特定の会話パターンおよび他の動作を含み得る。例えば、そのような動作は、以下を含み得る:ドライバ14のソーシャルネットワーキング接続により行われるソーシャルネットワーキング投稿など、トピックに関してドライバ14と会話すること;ドライバ14が、ニュース記事の読み上げで近所の興味のある特定の地点に関して聞きたいか、ドライバ14に尋ねること。さらに、リスト32における他の可能な動作が可能である。可能な動作は、実施を推奨され得るパラメータ化された推奨可能な動作33を生成するために使用される。
推奨可能な動作33を生成するために、レコメンダ30は、ドライバと関連付けられる現在の情報を表す最近のデータ項目を、ドライバ14が接続した最近のソーシャルネットワーク、最近のニュース記事など、ウェブコンテンツ26から抽出し、抽出されたコンテンツを使用して可能な動作をパラメータ化する。さらに、動作33は、現状ベクトル31に基づいて生成される。したがって、例えば、可能な動作32がドライバと会話することであり、ベクトル31に示されるドライバの興味が料理を含んでいて、抽出された現在の情報が料理に関するソーシャルネットワーキング投稿を含む場合、生成される動作は、抽出されたソーシャルネットワーキング投稿に関する会話となり得る。
生成される推奨可能な動作の各々は、高次元ベクトル空間において動作を示す特徴ベクトルにより表される。ベクトル空間は、トピック28の階層の表現に対応する。例えば、中国/アジア融合レストランである興味の地点に関して話すことは、「アジア融合料理」および「中華料理」の描写ベクトルにおいて高い値を有するかもしれない。同様に、ユーザが眠そうな際に再生する予定のコンテンツは、「眠気」に対して高い値を有するかもしれない。さらに、そのようなコンテンツが親しい友人による投稿と関連する場合、コンテンツは、さらに、親しくない友人項目に対する0とは対照的に、1に近い「親友」の値を有するかもしれない。
さらに、生成された動作32の少なくとも一部は、さらに以下に記載されるように、動作が実施される前に満たされなければならない始動条件34と関連付けられ得る。例えば、ドライバ14と会話することを含む動作は、ドライバの認知的な負荷が安全に会話するのに十分なほど低くなることにより始動されるまで、実施されなくてよい。同様に、特定の興味がある地点に関して会話することは、興味のある地点が近くなることにより、始動され得る。
レコメンダ30は、生成された動作の特徴ベクトルを分析して、それらをランク付けする。ランク付けは、複数の手法で行われ得る。例えば、特徴ベクトルは、ドライバのプロファイル25との近さに基づいて比較され得る。例えば、1つの実施形態において、特徴ベクトルのスロットの値に、ドライバのプロファイル25であるベクトルにおける対応するスロットの値を乗じ、その後、これらの値を合計して項目に対するスコアを与える。レコメンダ30は、異なるベクトルのスコアを比較して、推奨可能な動作33に対するベクトルを比較に基づいてランク付けする。さらなる実施形態において、動作は、動作が以前に行われたかを示す新規性、および、特定の動作がどのくらい最近に行われたかを示す新近性、に基づいて、ランク付けされ得る。さらなる実施形態において、複数の技術を使用する複数のランク付けが、異なって重み付けされ組み合わされる結果を伴って、行われ得る。重みは、機械学習を使用して最適化され得る。
上位2つのスコアベクトルなど、ベクトルが特定のランクである動作33は、実行のためにレコメンダ30により推奨される。さらなる実施形態において、さらに、他のランクの他の動作33が使用されてよい。データ項目の生成および推奨は、2015年5月21日に発行された、Roberts等の同一出願人による米国特許出願第2015/0142785号に記載されるように、および、2008年4月5日のCHI2008のBelotti等による「Activity−based serendipitous recommendations with the Magitti mobile leisure guide(マジッティのモバイルレジャーガイドによる活動ベースの予期せぬ推奨)」に記載されるように、行われ得る。
推奨動作33は、サーバ11により実装される動作モジュール35により実施される。動作モジュール35は、ドライバ14との自然言語の会話に従事する自然言語コンポーネント36を含む。会話は、2015年10月15日に公開された、同一出願人による米国特許出願公開番号第2015/0293904号に記載されるように、行われ得る。レコメンダ30は、推奨動作33を、連続するJSONオブジェクトの形式など、様々な形式で動作モジュール35に提供することができ、動作33の記載に加えて、ドライバ14の現状13および動作を実施するのに必要な任意の情報を提供し得る。したがって、提供される情報は、以下を含み得る:関連する従事地点(眠そうなドライバおよび興味のある地点の近くなど)で動作を行うためのトリガ34;意味グラフ19から取り込まれるドライバの注意力の状態に関する状況情報(情報がリアルタイムで変化する際に更新される情報を伴う);ドライバ14のプロファイル25からの個人データ;および、ソーシャルネットワーキング更新および推奨動作33を実施するために使用され得るスポーツおよびエンターテインメントなど、抽出されたウェブコンテンツ26。動作モジュールは、ドライバの状態13および他の提供情報を分析して始動条件34が起こった時期を認識し、生じた始動条件34と関連付けられる推奨動作を行う。
自然言語コンポーネント36は、会話の促進および対話作用の両方をサポートし得る。会話の促進は、コンポーネント36に、ソーシャルネットワーキング投稿を読むこと、または、ゲームをすることなど、事前に規定されたパターンのうちの1つを起動させる。対話作用は、音楽の選択を確認するなど、他のモジュールからの単純な交信を提供する。例えば、ドライバが眠気を感じないでいられるようアップビートの曲が推奨される場合、レコメンダ30は、ConfirmTune(X)の要求を発行し得る。ここで、Xはドライバの現状および既知の好みが与えられた推奨の曲である。要求により、自然言語コンポーネント36は、ドライバに質問して提案された音楽に対するドライバの認証または否認を提供する。
動作モジュール35は、車両に配置されるドライバインタフェース37によりインターネットワーク23を介してドライバ14と交信し、推奨動作を行う。1つの実施形態において、ドライバインタフェース37は、ソフトウェアコンポーネントであってよく、トリップまたはナビゲーションコンピュータ、バックモニタ、および、他のコンポーネントなど、車両15に組み込まれるオンボードコンピュータシステムを利用し得る。さらなる実施形態において、ドライバインタフェース37は、独占的にシステム10の一部であり、他のオンボード車両コンポーネントにより使用されない、ハードウェアコンポーネントを含み得る。ドライバインタフェース37は、インタフェースが発話を行う際に形状および不透明性を変化させるアニメ化された輪の形状など、視覚表示を含み得るが、インタフェースの他の視覚表現も可能である。特定の会話に従事するための動作モジュール35を決定すると、動作モジュール35は、ドライバ14に話しかけるテキストを車両内の代理インタフェース37へ送信し、マサチューセッツ州バーリントンのNuance Communications,Inc.により生産されるNuance(登録商標)のような、商業的に使用する入手可能なTTSソフトウェアを使用するなどのテキスト音声変換(TTS)を行うが、テキスト音声変換を行う他の手法でもよい。受信された音声は、自然言語の音声である。音声は、車両15に組み込まれるスピーカ(図示せず)を介して伝えられる。ドライバ14の応答は、ドライバインタフェース37と接続される1つ以上のマイクロホンを介して拾い上げられ、さらに、ドライバ14と交信するために使用され得る。インタフェース37は、適切な音声テキスト変換ソフトウェアを使用して音声テキスト変換を行い、分析のために、および、可能であれば、会話の続行または別の動作の実施のために、テキストを自然言語コンポーネント36へ送信する前に、ドライバの音声に基本の閾値化および他の必要な音声処理を行う。さらに、インタフェース37は、ユーザを起こすためにユーザに浴びせ得る光など、動作を行うための他のコンポーネントを含み得る。さらに、ドライバインタフェース37における他のコンポーネントが可能である。
上述されたように、サーバ11は、本明細書に開示される実施形態を実行するための複数のモジュールを含む。モジュールは、ソースコードとして従来のプログラミング言語で書かれたコンピュータプログラムまたはプロシージャとして実施されることができ、中央処理装置によりオブジェクトまたはバイトコードとして実行するために提示される。代替的に、さらに、モジュールは、集積回路または焼き付け読み出し専用メモリコンポーネントのいずれかとしてハードウェアに実装されてよく、サーバの各々は、専用コンピュータとして作用し得る。例えば、モジュールがハードウェアとして実装される際、特定のハードウェアは、上述された通信を行うことに特化しており、他のコンピュータは使用され得ない。追加的に、モジュールが焼き付け読み出し専用メモリコンポーネントである場合、読み出し専用メモリを保存するコンピュータは、他のコンピュータが行い得ない上述の動作を行うことに特化することになる。ソースコードおよびオブジェクトおよびバイトコードの様々な実装が、フロッピーディスク、ハードドライブ、デジタルビデオディスク(DVD)、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、および、類似の保存媒体など、コンピュータ可読保存媒体に保持され得る。他の種類のモジュールおよびモジュール機能が、他の物理的なハードウェアコンポーネントと共に可能である。例えば、サーバ11は、入力/出力ポート、ネットワークインタフェース、および、不揮発性ストレージなど、プログラマブル計算デバイスに見られる他のコンポーネントを含み得るが、他のコンポーネントも可能である。サーバ11およびストレージ20は、クラウドコンピューティング環境の一部であってよく、または、専用サーバであってよい。
ドライバに対して行われる動作を状況および興味に基づいて調整することが、ドライバが注意深い安全な運転を続けるのに役立つ。図2は、1つの実施形態による、状況に特有の動作を車両のドライバへ向けて行うための方法40を示すフロー図である。方法40は、図1のシステムを使用して実施され得る。現在のドライバの状況が、さらに図3と関連して以下に記載されるように、判定される(ステップ41)。ドライバに対して行われる1つ以上の動作が、さらに図6と関連して以下に記載されるように、推奨される(ステップ42)。推奨動作のうちの1つ以上が行われ、方法40が終了する(ステップ43)。図1と関連して上述されたように、推奨動作は、ドライバを会話に従事させること、または、ドライバに従事させ続ける他の動作を行うことを含み得る。図1と関連して上述されたように、推奨された項目のうちの少なくとも一部は、トリガと関連付けられてよく、推奨動作と関連付けられるトリガが認識される際に実行される。さらに、一部の動作はトリガと関連付けられず、推奨されることにより実行されてよい。
ドライバの状況は、複数のコンポーネントを含み得る。図3は、1つの実施形態による、図2の方法において使用するドライバの状況を判定するためのルーチン50を示すフロー図である。ドライバの状態は、カメラなど、車両に含まれる1つ以上のセンサを使用して判定されるが、さらに図4と関連して以下に記載されるように、状況を判定するための他の手法も可能である(ステップ51)。車両の状態は、車両のセンサを使用して判定される(ステップ52)。ドライバが現在位置する場所に関する空間情報が、インターネットからの情報検索などにより、取得される(ステップ53)。ドライバの状態、車両の状態、および、空間情報は、意味グラフに表される(ステップ54)。ドライバのプロファイルを含むドライバの特徴は、さらに図6と関連して以下に記載されるように、判定される(ステップ55)。さらなる実施形態において、プロファイルの事前分布が作成されてよい(図示せず)。ドライバの特徴、ドライバの状態、車両の状態、および、現在の位置情報の全てを網羅する、現在の状況を特徴づけるベクトルが、さらに図5と関連して以下に記載されるように、意味グラフをドライバのプロファイル(または、ドライバのプロファイルと最も近い事前分布)と統合することにより作成され(ステップ56)、ルーチン50が終了する。
図4は、1つの実施形態による、図3のルーチンにおいて使用するドライバの状態を監視するためのルーチン60を示すフロー図である。最初に、コース姿勢の予測(左側−正面−右側)が、車両のカメラにより撮像される画像に、正面、左側、および、右側の顔検出器を同時に起動することにより行われる(ステップ61)。正面の顔姿勢として検出されるこれらのフレームごとに、顔のランドマーク特性のセットが検出され、カルマンフィルタの適用などの技術により経時的に追跡されるが、他の技術も可能である(ステップ62)。特性は、目、鼻、および、口など、顔のパーツの相対的な位置を含み得るが、他の特性も可能である。通常の方向を見ているドライバの細かい凝視の予測は、さらに図5と関連して記載されるように、ドライバが見ている場所を予測するために使用されているドライバの特性を含む特性に基づいて行われる(ステップ63)。1つの実施形態において、凝視の予測は、8つの異なる方向に関して行われるが、さらなる実施形態において他の数の方向も可能である。細かい凝視の予測の結果は、ドライバのルートおよび車両の速度など、他の状況情報と組み合わされて、ドライバの注意散漫のレベルの測定値を取得する(ステップ64)。瞬きの頻度および目を閉じる割合など、目のメトリクスは、カメラを使用して予測される(ステップ65)。頷きおよび垂下の動きの頻発など、頭の動きは、E.Murphy−Chutorian,M.Trivediの「Head Pose Estimation in Computer Vision: A Survey(コンピュータビジョンにおける頭の姿勢予測:調査)」(IEEE TP AMI,vol.31,no.4,pp.607−626,2009)、および、E.Murphy−Chutorian,A.Doshi,M.M.Trivediの「Head Pose Estimation for Driver Assistance Systems: A Robust Algorithm and Experimental Evaluation(ドライバ支援システムのための頭の姿勢予測:ロバストアルゴリズムおよび実験評価)」(IEEE ITSC,2007)に記載されている技術などを使用して、予測されるが、他の技術も可能である(ステップ66)。ドライバにより装着されるPPG波形センサの出力が取得され、ピークトゥピーク統計値およびパワースペクトル密度など、PPG波形の特性は、B.LeeおよびW.Chungの「Driver alertness monitoring using fusion of facial features and bio−signals(顔の特性および生体信号を融合して使用するドライバの注意力監視)」(IEEE Sensors Journal,Vol.12,No.7,pp.2416−2422)にさらに記載される方法などで計算されるが、特性を計算する他の手法も可能である(ステップ67)。計算されたPPG波形、予測された目のメトリクス、および、予測された頭の動きは、異なる時間帯からの長い旅から戻ってきた直後のドライバなど、ドライバに関する時刻および他の関連情報など、他の状況情報と組み合わされて(処理されて意味グラフ内に含まれてよく、ドライバの車両におけるセンサに基づいて、または、ソーシャルネットワーキング投稿を分析することにより、判定され得るが、そのような情報を判定する他の手法も可能である)、ドライバの眠気の測定を提供する(ステップ68)。選択的に、予測されたメトリクスは、ドライバへ表示されてよく、または、インターネットワークへの接続を介して第三者へ提供されてよく(ステップ69)、ルーチン60を終了する。さらなる実施形態において、ドライバの身振りまたはドライバの周囲の環境など、他のデータが、車両のセンサを使用して分析され得る。
ドライバが見ている方向を予測することは、ドライバの眠気の程度を判定するのに役立ち得る。図5は、1つの実施形態による、図4のルーチン60において使用する細かい凝視の予測を行うためのルーチン70を示すフロー図である。既知の方向を見ているドライバの1つ以上の映像が記録され、既知の方向でラベル付けされる(ステップ71)。映像は、ストレージに保存され得る。訓練映像の各々におけるドライバの顔の特性が、特定される(ステップ72)。ステップ72で取得されたドライバの顔の特性が、訓練映像における顔の特性と比較され(ステップ73)、細かい凝視の予測が比較に基づいて行われる。時間平滑化が凝視の予測に対して行われ(ステップ74)、隣接するフレーム間の一貫性および整合性を取得し(ステップ75)、ルーチン70を終了する。
図6は、1つの実施形態による、図2の方法40において使用するドライバの特徴を判定するためのルーチン80を示すフロー図である。ドライバ、ドライバの興味、ソーシャルネットワーキング接続と関連付けられるデータ項目を含むユーザモデルは、ドライバが属するソーシャルネットワーク、または、ドライバが属する他のウェブサイトなど、ホストユーザが生成したコンテンツであるウェブコンテンツから抽出される(ステップ81)。抽出されたデータ項目はトピックの階層と比較され、各データ項目と関連付けられる階層のトピックが特定される(ステップ82)。データ項目は、統一されたパラメータ空間に特定されたトピックを使用して分類され得る(ステップ83)。図1と関連して上述されたように、1つの実施形態において、分類は、特定されたトピックの表現ベクトルを生成することを含み得る。データ項目の各々に対するベクトルは、データ項目の経年に基づいて重み付けされ、古いデータ項目より、最近のデータ項目(ドライバの現在の特徴を表す)のベクトルに、より多く重み付けされる(ステップ84)。重み付けされたベクトルは、興味など、ドライバの現在および過去の特徴を示すドライバのプロファイルとして機能する単一ベクトルに統合される(ステップ85)。選択的に、個人データおよびプロファイルベクトルが組み合わされて、母集団事前分布を形成してよく(ステップ86)、ルーチン80を終了する。
ドライバの状況およびドライバの特徴に基づいて、ドライバに対して実行するための動作が推奨され得る。図7は、1つの実施形態による、図2の方法40において使用するドライバに対して行われる動作を推奨するためのルーチン90を示すフロー図である。可能な動作のリストが管理される(ステップ91)。ドライバのソーシャルネットワーキング接続の最近のソーシャルネットワーキング投稿など、ドライバに関する現在の情報がウェブから抽出され、選択的に、意味グラフ19に指標化される(ステップ92)。推奨可能な動作は、現在の抽出された情報、可能な項目、および、現在の状況ベクトルに基づいて生成される(ステップ93)。推奨可能な動作は、ランク付けされる(ステップ94)。図1と関連して上述されたように、ランク付けを行う複数の方法が可能である。1つ以上の動作が、図1と関連して上述されたように、実行するためにランクに基づいて選択され(ステップ95)、ルーチン90を終了する。
Claims (10)
- 状況に特有の動作を車両のドライバへ向けて行うためのシステムであって、
インターネットワークを介して車両と接続される1つ以上のサーバであって、前記サーバはコードを実行するよう構成され、
前記車両のドライバの状況を判定するよう構成される状況モジュールであって、
前記ドライバの状態を判定するよう構成されるドライバ状態モジュール、および、
前記車両の状態を判定するよう構成される車両状態モジュール、
を備える、状況モジュール、
前記ドライバの1つ以上の特徴を判定するよう構成される特徴モジュール、
前記ドライバに対して行われる1つ以上の動作を前記状況に基づいて推奨するよう構成される推奨モジュール、および、
前記推奨動作のうちの1つ以上を行うよう構成される実行モジュール、
を備える、サーバを備える、システム。 - 前記車両の位置を判定するよう構成される位置モジュール、
前記判定された位置に関するデータを取得するよう構成されるデータモジュール、
をさらに備える、請求項1に記載のシステム。 - 前記ドライバの状態、前記車両の状態、および、前記位置データを、意味グラフに表すよう構成されるグラフモジュール、
前記特徴をベクトルに表すよう構成されるベクトルモジュール、および、
前記意味グラフおよび前記ベクトルを、前記状況を表す異なるベクトルに統合するよう構成される統合モジュール、
をさらに備える、請求項2に記載のシステム。 - コース姿勢の予測を前記ドライバに、前記車両に含まれるカメラを使用して行うよう構成される姿勢モジュール、
コース姿勢の予測の結果のうちの少なくとも一部を使用して、前記ドライバの顔における1つ以上の顔のランドマーク特性を検出するよう構成される特性モジュール、
前記検出された顔のランドマーク特性を使用して、前記ドライバの凝視の1つ以上の方向を判定することを備える、細かい凝視の予測を前記ドライバに行うよう構成される凝視モジュール、および、
前記細かい凝視の予測および前記車両の状態を使用して、前記ドライバの注意散漫のレベルを測定するよう構成される注意散漫モジュール、
をさらに備える、請求項1に記載のシステム。 - 前記ドライバの1つ以上の目のメトリクスを、前記カメラを使用して予測するよう構成される目のメトリクスモジュールであって、前記メトリクスは瞬きの頻度および目を閉じる割合のうちの少なくとも1つを備える、目のメトリクスモジュール、
生体データを前記ドライバにより装着されるセンサを使用して取得するよう構成される生体データモジュール、および、
前記生体データ、前記目のメトリクス、および、前記頭の動きを使用して、前記ドライバの眠気のレベルを測定するよう構成される眠気モジュール、
をさらに備える、請求項4に記載のシステム。 - 状況に特有の動作を車両のドライバへ向けて行うための方法であって、前記方法は、
車両のドライバの状況を判定するステップであって、
前記ドライバの状態を判定するステップ、および、
前記車両の状態を判定するステップ、
を備える、判定するステップ、
前記ドライバの1つ以上の特徴を判定するステップ、
前記ドライバに対して行われる1つ以上の動作を前記状況に基づいて推奨するステップ、および、
前記推奨動作のうちの1つ以上を行うステップ、
を備え、
前記ステップは少なくとも1つの適切にプログラム化されたコンピュータにより行われる、方法。 - 前記状況を判定することは、
前記車両の位置を判定すること、
前記判定された位置に関するデータを取得すること、
をさらに備える、請求項6に記載の方法。 - 前記ドライバの状態、前記車両の状態、および、前記位置データを、意味グラフに表すこと、
前記特徴をベクトルに表すこと、および、
前記意味グラフおよび前記ベクトルを、前記状況を表す異なるベクトルに統合すること、
をさらに備える、請求項7に記載の方法。 - コース姿勢の予測を前記ドライバに、前記車両に含まれるカメラを使用して行うこと、
前記ドライバの顔における1つ以上の顔のランドマーク特性を、コース姿勢の予測の結果のうちの少なくとも一部を使用して検出すること、
前記検出された顔のランドマーク特性を使用して、前記ドライバの凝視の1つ以上の方向を判定することを備える、細かい凝視の予測を前記ドライバに行うこと、および、
前記細かい凝視の予測および前記車両の状態を使用して、前記ドライバの注意散漫のレベルを測定すること、
をさらに備える、請求項6に記載の方法。 - 前記ドライバの1つ以上の目のメトリクスを、前記カメラを使用して予測することであって、前記メトリクスは瞬きの頻度および目を閉じる割合のうちの少なくとも1つを備える、予測すること、
生体データを前記ドライバにより装着されるセンサを使用して取得すること、および、
前記生体データ、前記目のメトリクス、および、前記頭の動きを使用して、前記ドライバの眠気のレベルを測定すること、
をさらに備える、請求項9に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/070,516 | 2016-03-15 | ||
US15/070,516 US20170267251A1 (en) | 2016-03-15 | 2016-03-15 | System And Method For Providing Context-Specific Vehicular Driver Interactions |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017168097A true JP2017168097A (ja) | 2017-09-21 |
Family
ID=58261546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017040659A Pending JP2017168097A (ja) | 2016-03-15 | 2017-03-03 | 状況に特有の車両ドライバとの交信を提供するためのシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170267251A1 (ja) |
EP (1) | EP3220368A1 (ja) |
JP (1) | JP2017168097A (ja) |
KR (1) | KR20170107373A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020188942A1 (ja) * | 2019-03-15 | 2020-09-24 | ||
JP2021135058A (ja) * | 2020-02-21 | 2021-09-13 | 本田技研工業株式会社 | 情報処理システムおよび情報処理方法 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018048407A1 (en) * | 2016-09-08 | 2018-03-15 | Ford Motor Company | Methods and apparatus to monitor an activity level of a driver |
US10290158B2 (en) * | 2017-02-03 | 2019-05-14 | Ford Global Technologies, Llc | System and method for assessing the interior of an autonomous vehicle |
KR20180104235A (ko) * | 2017-03-10 | 2018-09-20 | 만도헬라일렉트로닉스(주) | 운전자 상태 모니터링 방법 및 장치 |
US10509974B2 (en) | 2017-04-21 | 2019-12-17 | Ford Global Technologies, Llc | Stain and trash detection systems and methods |
US10304165B2 (en) | 2017-05-12 | 2019-05-28 | Ford Global Technologies, Llc | Vehicle stain and trash detection systems and methods |
WO2018217736A1 (en) * | 2017-05-22 | 2018-11-29 | Avis Budget Car Rental, LLC | Connected driver communications system and platform |
US11027741B2 (en) | 2017-11-15 | 2021-06-08 | Electronics And Telecommunications Research Institute | Apparatus and method for estimating driver readiness and method and system for assisting driver |
KR101984284B1 (ko) * | 2017-11-28 | 2019-05-30 | 주식회사 제네시스랩 | 기계학습모델을 이용한 자동화된 운전자관리 시스템 |
KR102506866B1 (ko) * | 2017-12-13 | 2023-03-08 | 현대자동차주식회사 | 차량 환경에서 선발화 안내 장치, 방법 및 시스템 |
US11780483B2 (en) | 2018-05-22 | 2023-10-10 | Transportation Ip Holdings, Llc | Electronic job aid system for operator of a vehicle system |
IT201900005868A1 (it) * | 2019-04-16 | 2020-10-16 | St Microelectronics Srl | Procedimento di elaborazione di un segnale elettrofisiologico, sistema, prodotto informatico e veicolo corrispondenti |
CN110134233B (zh) * | 2019-04-24 | 2022-07-12 | 福建联迪商用设备有限公司 | 一种基于人脸识别的智能音箱唤醒方法及终端 |
US12012107B2 (en) | 2019-05-06 | 2024-06-18 | University Of Florida Research Foundation, Incorporated | Operator monitoring and engagement |
US20210217510A1 (en) * | 2020-01-10 | 2021-07-15 | International Business Machines Corporation | Correlating driving behavior and user conduct |
US11989174B2 (en) * | 2020-02-05 | 2024-05-21 | Microstrategy Incorporated | Systems and methods for data insight generation and display |
US12024206B2 (en) * | 2020-03-18 | 2024-07-02 | Waymo Llc | Testing situational awareness of drivers tasked with monitoring a vehicle operating in an autonomous driving mode |
JP2021167163A (ja) * | 2020-04-13 | 2021-10-21 | マツダ株式会社 | ドライバ異常判定装置 |
EP3895949B1 (en) * | 2020-04-17 | 2023-08-16 | Toyota Jidosha Kabushiki Kaisha | Method and device for evaluating user discomfort |
TWI758717B (zh) * | 2020-04-26 | 2022-03-21 | 新煒科技有限公司 | 基於汽車a柱的車載顯示裝置、方法、系統及存儲介質 |
US20240211995A1 (en) * | 2021-04-14 | 2024-06-27 | Zoom Video Communications, Inc. | Systems and methods for event recommendation |
KR20230090051A (ko) * | 2021-12-14 | 2023-06-21 | 현대자동차주식회사 | 차량 사운드 제어 장치 및 방법 |
CN114179811B (zh) * | 2022-02-17 | 2022-06-10 | 北京心驰智途科技有限公司 | 一种获取驾驶状态的数据处理方法、设备、介质及产品 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE0303122D0 (sv) * | 2003-11-20 | 2003-11-20 | Volvo Technology Corp | Method and system for communication and/or interaction between a vehicle driver and a plurality of applications |
US9149236B2 (en) * | 2013-02-04 | 2015-10-06 | Intel Corporation | Assessment and management of emotional state of a vehicle operator |
US9208439B2 (en) | 2013-04-29 | 2015-12-08 | Palo Alto Research Center Incorporated | Generalized contextual intelligence platform |
US9582547B2 (en) | 2013-11-18 | 2017-02-28 | Palo Alto Research Center Incorporated | Generalized graph, rule, and spatial structure based recommendation engine |
US9542648B2 (en) | 2014-04-10 | 2017-01-10 | Palo Alto Research Center Incorporated | Intelligent contextually aware digital assistants |
-
2016
- 2016-03-15 US US15/070,516 patent/US20170267251A1/en not_active Abandoned
-
2017
- 2017-02-28 KR KR1020170026715A patent/KR20170107373A/ko unknown
- 2017-03-03 JP JP2017040659A patent/JP2017168097A/ja active Pending
- 2017-03-06 EP EP17159469.0A patent/EP3220368A1/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2020188942A1 (ja) * | 2019-03-15 | 2020-09-24 | ||
WO2020188942A1 (ja) * | 2019-03-15 | 2020-09-24 | 本田技研工業株式会社 | 車両用コミュニケーション装置及びプログラム |
JP7379463B2 (ja) | 2019-03-15 | 2023-11-14 | 本田技研工業株式会社 | 車両用コミュニケーション装置及びプログラム |
JP2021135058A (ja) * | 2020-02-21 | 2021-09-13 | 本田技研工業株式会社 | 情報処理システムおよび情報処理方法 |
JP7421949B2 (ja) | 2020-02-21 | 2024-01-25 | 本田技研工業株式会社 | 情報処理システムおよび情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20170107373A (ko) | 2017-09-25 |
EP3220368A1 (en) | 2017-09-20 |
US20170267251A1 (en) | 2017-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017168097A (ja) | 状況に特有の車両ドライバとの交信を提供するためのシステムおよび方法 | |
US12032730B2 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
Kashevnik et al. | Cloud-based driver monitoring system using a smartphone | |
Chan et al. | A comprehensive review of driver behavior analysis utilizing smartphones | |
Craye et al. | A multi-modal driver fatigue and distraction assessment system | |
US20220095975A1 (en) | Detection of cognitive state of a driver | |
CN110291478B (zh) | 驾驶员监视和响应*** | |
JP7092116B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
Li et al. | Modeling of driver behavior in real world scenarios using multiple noninvasive sensors | |
JP6972629B2 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US11609565B2 (en) | Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine | |
JP2019195377A (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
Kashevnik et al. | Multimodal corpus design for audio-visual speech recognition in vehicle cabin | |
JP7303901B2 (ja) | 複数の候補からドライバーを選択する提案システム | |
WO2021067380A1 (en) | Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness | |
Rong et al. | Artificial intelligence methods in in-cabin use cases: A survey | |
US11772674B2 (en) | Systems and methods for increasing the safety of voice conversations between drivers and remote parties | |
Smirnov et al. | Human-smartphone interaction for dangerous situation detection and recommendation generation while driving | |
Pandey et al. | A survey on visual and non-visual features in Driver’s drowsiness detection | |
KR102401607B1 (ko) | 운전자의 운행 집중도 레벨 분석방법 | |
KR20240013829A (ko) | 콘텐츠 표시순위 결정 장치, 콘텐츠 표시순위 결정 장치의 제어방법 및 콘텐츠 표시순위 결정 장치를 포함한 차량 | |
Kashevnik et al. | Dangerous situation prediction and driving statistics accumulation using smartphone | |
Karas et al. | Audiovisual Affect Recognition for Autonomous Vehicles: Applications and Future Agendas | |
Rusmin et al. | Design and implementation of driver drowsiness detection system on digitalized driver system | |
Barisic et al. | Driver model for Take-Over-Request in autonomous vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170313 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170314 |