JP6950346B2 - 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 - Google Patents
運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 Download PDFInfo
- Publication number
- JP6950346B2 JP6950346B2 JP2017155259A JP2017155259A JP6950346B2 JP 6950346 B2 JP6950346 B2 JP 6950346B2 JP 2017155259 A JP2017155259 A JP 2017155259A JP 2017155259 A JP2017155259 A JP 2017155259A JP 6950346 B2 JP6950346 B2 JP 6950346B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- shoulder
- state
- unit
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 100
- 238000001514 detection method Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 65
- 238000013500 data storage Methods 0.000 claims description 24
- 230000004043 responsiveness Effects 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000012546 transfer Methods 0.000 claims description 16
- 230000002093 peripheral effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000011410 subtraction method Methods 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0057—Estimation of the time available or required for the handover
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Description
上記のように運転者が眠気を催して自動運転中に居眠りをした場合、運転者が責任をもって自動運転システムを監視することができない状態になる。運転者が責任をもって自動運転システムを監視することができない状態には、前記居眠りをした状態の他にも様々な状態が考えられる。一方、運転者が責任をもって自動運転システムを監視しているかどうかを判定するには、自動運転中であっても運転者が運転操作をすぐに引き継ぐことができる姿勢をとっているか否かを把握しておくことも重要である。ところが特許文献1に記載されている運転者の眠気情報を用いる監視方法では、運転者の姿勢は適切に把握できないという課題があった。
前記運転者の上半身の状態把握データを取得する状態把握データ取得部と、
該状態把握データ取得部で取得した前記状態把握データを用いて前記運転者の肩を検出する肩検出部と、
該肩検出部の検出情報に基づいて、自動運転中に前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定する即応性判定部とを備えていることを特徴としている。
前記距離推定部が、
前記肩検出部で検出された画像中の前記運転者の肩の位置と、前記カメラの仕様及び位置姿勢とを含む情報を用いて、三角測量の原理に基づき前記距離を演算して推定するものであってもよい。
前記車両のハンドル上に設けた原点が、前記カメラと前記運転者の肩とを結ぶ線分を斜辺とする直角三角形の直角の頂点にあり、
前記カメラの仕様には、該カメラの画角α、幅方向の画素数Widthの情報が含まれ、
前記カメラの位置姿勢には、該カメラの取付角度θ、前記カメラから前記原点までの距離D1の情報が含まれ、
前記画像中の前記運転者の肩の位置をXとした場合に、
前記原点と前記運転者の肩とを結ぶ線分と、前記カメラと前記運転者の肩とを結ぶ線分とのなす角φを、式1:φ=θ+α/2−α×X/Widthで演算し、
前記運転者の肩と前記車両のハンドルとの距離Dを、式2:D=D1/tanφで演算して推定するものであってもよい。
前記通知処理部が、
前記情報取得部で取得した前記自動運転中の情報に応じて前記運転者に姿勢の適正化を促すための通知処理を行ってもよい。
前記運転者の状態を把握する状態把握部から前記運転者の上半身の状態把握データを取得するステップと、
取得した前記状態把握データを状態把握データ記憶部に記憶させるステップと、
前記状態把握データ記憶部から前記状態把握データを読み出すステップと、
読み出した前記状態把握データを用いて前記運転者の肩を検出するステップと、
検出された前記運転者の肩の検出情報に基づいて、自動運転中に前記運転者が前記車両のハンドルをすぐに把持できる状態にあるか否かを判定するステップと、を含んでいることを特徴としている。
自動運転システム1は、運転者状態把握装置20、状態把握部30、ナビゲーション装置40、自動運転制御装置50、周辺監視センサ60、音声出力部61、及び表示部62を含んで構成され、これら各部がバスライン70で接続されている。
カメラ31の車室内での取付位置は、運転席3に着座している運転者4の上半身(少なくとも顔と肩の部分)を撮像できる位置であれば、特に限定されない。例えば、図2に示すようにハンドル5のコラム部分であってもよい。また、別の取付位置としては、ハンドル内A、メーターパネル部分B、ダッシュボードの上C、ルームミラー近傍位置D、Aピラー部分Eの他、ナビゲーション装置40などに設置してもよい。
また、状態把握部30には、カメラ31とともに、又はカメラ31の代わりに、Time of Flight(TOF)センサやTOF方式のキネクト(kinect)(登録商標)センサなどのセンサ32を用いてもよい。これら種類の異なるカメラやセンサを組み合わせて用いてもよい。カメラ31で撮像された画像データやセンサ32の検出データが運転者状態把握装置20へ送出される。運転者状態把握装置20と、状態把握部30であるカメラ31及び/又はセンサ32とを含んで運転者状態把握システム10が構成されている。
また、前記TOFセンサやキネクト(登録商標)センサは、パルス光を発光する発光部、該パルス光の対象物からの反射光を検出する受光部、該反射光の位相差を計測して、対象物までの距離計測を行う距離計測部、及び距離画像生成部など(いずれも図示せず)を含んで構成されている。前記発光部には、近赤外線LEDなどが採用され、前記受光部には、距離画像取得用のCMOS画像センサなどが採用され得る。前記TOFセンサやキネクト(登録商標)センサを用いた場合には、監視対象である運転者の検出及び運転者までの距離を計測することが可能となる。
表示部62は、運転者状態把握装置20などからの指示に基づく各種の通知や案内を文字や図形で表示したり、又はランプ等を点灯点滅表示したりする装置であり、各種のディスプレイや表示ランプなどを含んで構成されている。
運転者状態把握装置20は、外部I/F21、制御部22、及び記憶部26を含んで構成されている。外部I/F21は、カメラ31の他に、自動運転制御装置50、周辺監視センサ60、音声出力部61、表示部62など、自動運転システム1の各部と接続され、これら各部との間で信号の授受を行うためのインターフェース回路や接続コネクタなどで構成されている。
肩検出方法記憶部26bには、制御部22の肩検出部22bで実行される肩検出プログラムや該プログラムの実行に必要なデータなどが記憶されている。
距離推定部22dは、肩検出部22bでの処理に引き続いて、肩検出部22bの検出情報に基づいて、運転者の肩と車両のハンドルとの距離を推定する処理を行う。
距離推定部22dで行う距離推定処理には、例えば、肩検出部22bで検出された画像中の運転者の肩の位置情報、カメラ31の仕様や取付位置姿勢などの情報、及びカメラ31とハンドルとの距離情報などを用いて、三角測量の原理に基づきハンドルから運転者の肩までの距離を演算により推定する処理を用いてもよい。また、センサ32にTOFセンサやキネクト(登録商標)センサを用いて、センサ32から取得した測距データなどを用いて、運転者の肩と車両のハンドルまでの距離を推定する処理を行ってもよい。
また、カメラ31の画角をα、画像31aの幅方向の画素数をWidthで示している。画像31a中の運転者4aの右肩位置(幅方向の画素数)をXR、左肩位置(幅方向の画素数)をXLで示すものとする。
=θ+α/2−α×XR/Width
式2:φL=90°−((90°−θ)−α/2+α×XL/Width)
=θ+α/2−α×XL/Width
なお、図4(a)に示したカメラ31の線分L1に対する角度θは0°である。
同様に、角度φLを求めることができれば、原点OL、撮像面の中心I、左肩位置SLを結んだ三角形が、原点OLを直角の頂点とする直角三角形となるため、既知である原点OLから撮像面の中心Iまでの距離D1、角度φLを利用して、以下の式4により、運転者4の左肩SLから原点OL(ハンドル5)までの距離DLを推定することができる。
(なお、φR=θ+α/2−α×XR/Width)
(但し、θ+α/2>α×XR/Widthとする。)
式4:DL=D1/tanφL
(なお、φL=θ+α/2−α×XL/Width)
(但し、θ+α/2>α×XL/Widthとする。)
また、前記所定の範囲として、運転者状態把握装置20に予め運転者によって登録された距離範囲を用いてもよい。また、手動運転モード時の運転席の座面位置を検出し、該座面位置に基づいて設定された距離範囲を用いてもよい。また、手動運転モード時にカメラ31で撮影された画像を用いて算出された運転者の肩とハンドルとの距離に基づいて設定された距離範囲を用いてもよい。
運転者が車両のハンドルを適切な姿勢で把持しようとした場合、運転者はハンドルと略対面した状態になる。そのため、車両のハンドルをすぐに把持できる状態では、画像31a中における運転者4aの肩は画像中の一定の領域内に位置することとなる。該画像中の一定の領域が肩位置判定領域31bとして設定される。肩位置判定領域31bは、予め定められた正常運転姿勢に基づいて定めることができる。肩検出部22bで検出された、画像中における運転者4aの肩の位置が、肩位置判定領域31b内に位置するか否かにより、車両のハンドルをすぐに把持できる状態にあるか否かが判定できるようになっている。
まず、ステップS1では、カメラ31で撮像された運転者の画像データを取得する処理を行い、次のステップS2に進み、取得した画像データを状態把握データ記憶部26aに記憶する処理を行う。次のステップS3では、状態把握データ記憶部26aから画像データを読み出し、ステップS4に進む。
また、運転席等への振動付与など、表示や音声以外による通知を組み合わせてもよい。またステップS15では、自動運転制御装置50に対して、自動運転を解除せず、自動運転を継続させるように通知する信号を出力してもよい。
ステップS14において、引き継ぎ要請がなかったと判断すれば、ステップS16の軽度の通知処理に進む。ステップS16では、ハンドルを把持することができる姿勢をとるように軽度の通知処理を行い、その後処理を終える。軽度の通知処理では、表示のみの通知など、運転者にとってやさしい通知を行うことが、自動運転と運転者との調和を図る上で好ましい。
一方ステップS14において、引き継ぎ要請があったと判断すれば、ステップS17に進む。ステップS17では、直ちにハンドルを把持して運転を引き継ぐように音声や表示による引継の通知を行い、その処理を終える。
また、システムの故障発生時や動作限界時、又は手動運転への引き継ぎ要請時などにおいて、運転者がハンドルを把持して運転操作の引き継ぎが完了するまでの時間を短くすることができ、自動運転システム1の状況に応じた、運転者にもやさしい、適切な通知を行うことが可能となる。
10、10A 運転者状態把握システム
20、20A 運転者状態把握装置
21 外部I/F
22、22A 制御部
22a 状態把握データ取得部
22b 肩検出部
22c、22g 即応性判定部
22d 距離推定部
22e 判定部
22f、22j 通知処理部
22h 肩位置判定部
22i 情報取得部
23 CPU
24 RAM
25 ROM
26、26A 記憶部
26a 状態把握データ記憶部
26b 肩検出方法記憶部
26c 距離推定方法記憶部
26d、26e 判定方法記憶部
27 プログラム
30 状態把握部
31 カメラ
32 センサ
40 ナビゲーション装置
50 自動運転制御装置
60 周辺監視センサ
61 音声出力部
62 表示部
Claims (11)
- 自動運転モードと手動運転モードとの切替が可能な自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握装置であって、
前記車両に設けられたカメラで撮像された前記運転者の上半身の画像データを含む状態把握データを取得する状態把握データ取得部と、
該状態把握データ取得部で取得した前記状態把握データを用いて画像中における前記運転者の肩の位置又は肩の領域を検出する肩検出部と、
該肩検出部により検出された前記運転者の肩の位置又は肩の領域の検出情報に基づいて、前記自動運転モード中に前記運転者が前記車両のハンドルをすぐに把持できる姿勢であるか否かを判定する即応性判定部と
を備えていることを特徴とする運転者状態把握装置。 - 前記車両のハンドルをすぐに把持できる姿勢が、予め定められた正常運転姿勢に基づいて定められていることを特徴とする
請求項1記載の運転者状態把握装置。 - 前記即応性判定部が、
前記肩検出部により検出された前記検出情報に基づいて、前記運転者の肩と前記車両のハンドルとの距離を推定する距離推定部を備え、
該距離推定部で推定された前記距離に基づいて、前記自動運転モード中に前記運転者が前記車両のハンドルをすぐに把持できる姿勢であるか否かを判定するものであることを特徴とする
請求項1又は請求項2記載の運転者状態把握装置。 - 前記距離推定部が、
前記肩検出部で検出された画像中の前記運転者の肩の位置と、前記カメラの仕様及び位置姿勢とを含む情報を用いて、三角測量の原理に基づき前記距離を演算して推定するものであることを特徴とする
請求項3記載の運転者状態把握装置。 - 前記距離推定部が、
前記車両のハンドル上に設けた原点が、前記カメラと前記運転者の肩とを結ぶ線分を斜辺とする直角三角形の直角の頂点にあり、
前記カメラの仕様には、該カメラの画角α、幅方向の画素数Widthの情報が含まれ、
前記カメラの位置姿勢には、該カメラの取付角度θ、前記カメラから前記原点までの距離D1の情報が含まれ、
前記画像中の前記運転者の肩の位置をXとした場合に、
前記原点と前記運転者の肩とを結ぶ線分と、前記カメラと前記運転者の肩とを結ぶ線分とのなす角φを、式1:φ=θ+α/2−α×X/Widthで演算し、
前記運転者の肩と前記車両のハンドルとの距離Dを、式2:D=D1/tanφで演算して推定するものであることを特徴とする
請求項4記載の運転者状態把握装置。 - 前記即応性判定部が、
前記肩検出部により検出された前記検出情報に基づいて、前記運転者の肩の位置を推定し、推定された前記運転者の肩の位置が画像中における所定の肩位置判定領域内に位置するか否かに基づいて、前記運転者が前記車両のハンドルをすぐに把持できる姿勢であるか否かを判定するものであることを特徴とする
請求項1又は請求項2記載の運転者状態把握装置。 - 前記即応性判定部により、前記運転者が前記車両のハンドルをすぐに把持できる姿勢ではないと判定された場合、前記運転者に姿勢の適正化を促すための通知処理を行う通知処理部を備えていることを特徴とする
請求項1〜6のいずれかの項に記載の運転者状態把握装置。 - 前記自動運転システムから自動運転中の情報を取得する情報取得部を備え、
前記通知処理部が、
前記情報取得部で取得した前記自動運転中の情報に応じて前記運転者に姿勢の適正化を促すための通知処理を行うものであることを特徴とする
請求項7記載の運転者状態把握装置。 - 前記自動運転中の情報は、前記車両周囲の監視情報、及び自動運転から手動運転への引き継ぎ要請情報のうちの少なくともいずれかを含むことを特徴とする
請求項8記載の運転者状態把握装置。 - 請求項1〜9のいずれかの項に記載の運転者状態把握装置と、
前記状態把握データを前記運転者状態把握装置に出力する状態把握部と
を備えていることを特徴とする運転者状態把握システム。 - 自動運転モードと手動運転モードとの切替が可能な自動運転システムを備えた車両の運転者の状態を把握する運転者状態把握方法であって、
前記運転者の状態を把握する状態把握部から前記運転者の上半身の画像データを含む状態把握データを取得するステップと、
取得した前記状態把握データを状態把握データ記憶部に記憶させるステップと、
前記状態把握データ記憶部から前記状態把握データを読み出すステップと、
読み出した前記状態把握データを用いて画像中における前記運転者の肩の位置又は肩の領域を検出するステップと、
検出された前記運転者の肩の位置又は肩の領域の検出情報に基づいて、前記自動運転モード中に前記運転者が前記車両のハンドルをすぐに把持できる姿勢であるか否かを判定するステップと、
を含んでいることを特徴とする運転者状態把握方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017155259A JP6950346B2 (ja) | 2017-08-10 | 2017-08-10 | 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 |
DE102018005490.0A DE102018005490A1 (de) | 2017-08-10 | 2018-07-11 | Fahrerzustands-erkennungsapparat, fahrerzustands-erkennungssystem und fahrerzustands-erkennungsverfahren |
CN201810757565.2A CN109383525A (zh) | 2017-08-10 | 2018-07-11 | 驾驶员状态掌握装置、驾驶员状态掌握***及方法 |
US16/038,367 US20190047588A1 (en) | 2017-08-10 | 2018-07-18 | Driver state recognition apparatus, driver state recognition system, and driver state recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017155259A JP6950346B2 (ja) | 2017-08-10 | 2017-08-10 | 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019034574A JP2019034574A (ja) | 2019-03-07 |
JP6950346B2 true JP6950346B2 (ja) | 2021-10-13 |
Family
ID=65084473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017155259A Active JP6950346B2 (ja) | 2017-08-10 | 2017-08-10 | 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190047588A1 (ja) |
JP (1) | JP6950346B2 (ja) |
CN (1) | CN109383525A (ja) |
DE (1) | DE102018005490A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4242592A1 (en) * | 2022-03-08 | 2023-09-13 | TeleNav, Inc. | Navigation system with voice assistant mechanism and method of operation thereof |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6920112B2 (ja) * | 2017-06-15 | 2021-08-18 | 株式会社デンソーテン | 運転支援装置および運転支援方法 |
US10642266B2 (en) * | 2017-12-28 | 2020-05-05 | Automotive Research & Testing Center | Safe warning system for automatic driving takeover and safe warning method thereof |
US11654936B2 (en) * | 2018-02-05 | 2023-05-23 | Sony Corporation | Movement device for control of a vehicle based on driver information and environmental information |
US11345362B2 (en) * | 2018-12-31 | 2022-05-31 | Robert Bosch Gmbh | Adaptive warnings and emergency braking for distracted drivers |
US10471969B1 (en) * | 2019-01-07 | 2019-11-12 | GM Global Technology Operations LLC | System and method to restrict vehicle operations in response to driver impairment |
US11541895B2 (en) * | 2019-04-03 | 2023-01-03 | Industrial Technology Research Institute | Driving assistance system and driving assistance method |
JP7147715B2 (ja) * | 2019-08-07 | 2022-10-05 | トヨタ自動車株式会社 | 運転支援装置および運転支援方法 |
US11254286B2 (en) | 2019-09-17 | 2022-02-22 | GM Global Technology Operations LLC | System and method to disable automated driving mode based on vehicle operation context |
CN110826521A (zh) * | 2019-11-15 | 2020-02-21 | 爱驰汽车有限公司 | 驾驶员疲劳状态识别方法、***、电子设备和存储介质 |
DE102019009068A1 (de) * | 2019-12-23 | 2021-06-24 | Daimler Ag | Verfahren zum Betrieb eines Fahrzeuges |
CN113761982A (zh) * | 2020-06-04 | 2021-12-07 | 耀鸿(嘉兴)电子科技有限公司 | 疲劳驾驶辨识***及其辨识方法 |
KR20220042886A (ko) * | 2020-09-28 | 2022-04-05 | 현대자동차주식회사 | 스마트 운전 자세 제어 시스템 및 방법 |
CN112287795B (zh) * | 2020-10-22 | 2023-09-01 | 北京百度网讯科技有限公司 | 异常驾驶姿态检测方法、装置、设备、车辆和介质 |
KR20230079788A (ko) * | 2021-11-29 | 2023-06-07 | 현대모비스 주식회사 | 스티어링 휠 조정 장치 및 방법 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9102220B2 (en) * | 1992-05-05 | 2015-08-11 | American Vehicular Sciences Llc | Vehicular crash notification system |
JP4122814B2 (ja) * | 2002-04-03 | 2008-07-23 | トヨタ自動車株式会社 | 乗員検知装置 |
JP4333797B2 (ja) | 2007-02-06 | 2009-09-16 | 株式会社デンソー | 車両用制御装置 |
US8068968B2 (en) * | 2007-02-06 | 2011-11-29 | Denso Corporation | Vehicle travel control system |
US20100182425A1 (en) * | 2009-01-21 | 2010-07-22 | Mazda Motor Corporation | Vehicle interior state recognition device |
US8872640B2 (en) * | 2011-07-05 | 2014-10-28 | Saudi Arabian Oil Company | Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles |
JP5692049B2 (ja) * | 2011-12-26 | 2015-04-01 | 株式会社デンソー | ステアリング位置制御システム |
US9751534B2 (en) * | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US9454150B2 (en) * | 2013-07-17 | 2016-09-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Interactive automated driving system |
JP5967309B2 (ja) * | 2013-07-23 | 2016-08-10 | 日産自動車株式会社 | 車両用運転支援装置及び車両用運転支援方法 |
WO2015198540A1 (ja) * | 2014-06-23 | 2015-12-30 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
JP2017155259A (ja) | 2016-02-29 | 2017-09-07 | 住友金属鉱山株式会社 | 希土類元素を含む鉄系合金微粉末の製造方法 |
US9707913B1 (en) * | 2016-03-23 | 2017-07-18 | Toyota Motor Enegineering & Manufacturing North America, Inc. | System and method for determining optimal vehicle component settings |
CN106778532B (zh) * | 2016-11-28 | 2019-05-31 | 合肥工业大学 | 基于去差异化尺寸参量的驾驶姿态特征分类方法 |
JP6686869B2 (ja) * | 2016-12-22 | 2020-04-22 | 株式会社デンソー | 運転交代制御装置、及び運転交代制御方法 |
JP7005933B2 (ja) * | 2017-05-09 | 2022-01-24 | オムロン株式会社 | 運転者監視装置、及び運転者監視方法 |
-
2017
- 2017-08-10 JP JP2017155259A patent/JP6950346B2/ja active Active
-
2018
- 2018-07-11 DE DE102018005490.0A patent/DE102018005490A1/de not_active Withdrawn
- 2018-07-11 CN CN201810757565.2A patent/CN109383525A/zh active Pending
- 2018-07-18 US US16/038,367 patent/US20190047588A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4242592A1 (en) * | 2022-03-08 | 2023-09-13 | TeleNav, Inc. | Navigation system with voice assistant mechanism and method of operation thereof |
Also Published As
Publication number | Publication date |
---|---|
DE102018005490A1 (de) | 2019-02-14 |
JP2019034574A (ja) | 2019-03-07 |
US20190047588A1 (en) | 2019-02-14 |
CN109383525A (zh) | 2019-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6950346B2 (ja) | 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 | |
CN108860154B (zh) | 驾驶员监视装置以及驾驶员监视方法 | |
US10217343B2 (en) | Alert generation correlating between head mounted imaging data and external device | |
US11787408B2 (en) | System and method for controlling vehicle based on condition of driver | |
JP2019034575A (ja) | 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法 | |
US10455882B2 (en) | Method and system for providing rear collision warning within a helmet | |
KR101793370B1 (ko) | 차량 제어 장치 | |
JP2018195301A (ja) | 制御装置及び制御方法 | |
JP6409699B2 (ja) | 自動運転システム | |
US9606536B2 (en) | Vehicle control device | |
US11001271B2 (en) | Drive assistance device | |
US20190073546A1 (en) | Driver state recognition apparatus, driver state recognition system, and driver state recognition method | |
JP5179686B2 (ja) | 運転行動危険度演算装置 | |
US20190047417A1 (en) | Driver state recognition apparatus, driver state recognition system, and driver state recognition method | |
JP6565408B2 (ja) | 車両制御装置及び車両制御方法 | |
JP6683185B2 (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
JP6693489B2 (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
JP6509940B2 (ja) | 運転支援装置および運転支援方法 | |
WO2019155914A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
JP7140154B2 (ja) | 車両制御装置 | |
JP6418341B1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム | |
WO2018212090A1 (ja) | 制御装置及び制御方法 | |
US20210370956A1 (en) | Apparatus and method for determining state | |
US20240059310A1 (en) | Method for controlling drive-through and apparatus for controlling drive-through | |
JP7380656B2 (ja) | イベント記録システム、イベント記録装置、イベント記録方法、イベント記録プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210906 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6950346 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |