JP2021527900A - 運転状態検出方法及び装置、運転者監視システム並びに車両 - Google Patents
運転状態検出方法及び装置、運転者監視システム並びに車両 Download PDFInfo
- Publication number
- JP2021527900A JP2021527900A JP2020571644A JP2020571644A JP2021527900A JP 2021527900 A JP2021527900 A JP 2021527900A JP 2020571644 A JP2020571644 A JP 2020571644A JP 2020571644 A JP2020571644 A JP 2020571644A JP 2021527900 A JP2021527900 A JP 2021527900A
- Authority
- JP
- Japan
- Prior art keywords
- state
- driver
- distraction
- predetermined
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0051—Handover processes from occupants to vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
【選択図】図1
Description
<関連出願の相互参照>
本開示は、2018年10月19日に中国特許局に提出された、出願番号がCN201811224308.9であり、発明の名称が「運転状態検出方法及び装置、運転者監視システム並びに車両」である中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。
運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得る操作と、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定する操作と、を含む運転状態検出方法を提供する。
運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得るための第1検出モジュールと、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定するための第1決定モジュールと、を含む運転状態検出装置を提供する。
運転者画像及び運転者の疲労状態と注意散漫状態の検出結果を表示するための表示装置と、
運転者画像に対して頭部姿勢検出と目部状態検出を行って頭部姿勢情報と目部状態情報を得、前記頭部姿勢情報と前記目部状態情報に基づいて運転者の疲労状態と注意散漫状態の検出結果を決定するための運転者状態検出装置と、を含む運転者監視システムを提供する。
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されているコンピュータプログラムを実行するためのものであって、前記コンピュータプログラムが実行されると、上記のいずれか1つの実施例に記載の運転状態検出方法を実現するプロセッサと、を含む電子機器を提供する。
頭部姿勢情報に基づいて決定された運転者画像における運転者の頭部位置情報によって、運転者の頭部位置のずれ角度が所定範囲を超えたか否かを決定する操作と、
運転者の頭部位置のずれ角度が所定範囲を超えていない場合に、上記操作104を実行し、即ち、頭部姿勢情報と目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定する操作と、
運転者の頭部位置のずれ角度が所定範囲を超えた場合に、頭部姿勢情報と目部状態情報に基づいて、運転者の注意散漫状態の検出結果を決定する操作と、を更に含んでよい。
頭部姿勢情報に基づいて運転者画像における運転者の頭部位置を決定して頭部位置情報を得、例えば、頭部姿勢情報中のピッチ角を取得して頭部位置としてよく、所定時間内の頭部位置情報に基づいて頭部位置ずれ度合いのパラメータ値を取得する。ここで、頭部位置ずれ度合いのパラメータ値は、例えば、頭部位置ずれ状態、頭部位置ずれ方向、頭部位置の頭部位置ずれ方向におけるずれ角度、頭部位置のずれ持続時間、頭部位置ずれ頻度の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
頭部姿勢情報に基づいて運転者画像における運転者の顔向きを決定して顔向き情報を得、この顔向き情報は、例えば、顔転動の方向及び角度を含んでよく、ここの転動方向は左への転動、右への転動、下への転動及び/又は上への転動等であってよく、例えば、頭部姿勢情報中のピッチ角とヨー角を取得して顔向きとし、所定時間内の顔向き情報に基づいて顔向きずれ度合いのパラメータ値を取得するようにしてよい。ここで、顔向きずれ度合いのパラメータ値は、例えば、頭回し回数、頭回し持続時間、頭回し頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
頭部姿勢情報に基づいて運転者画像における運転者の視線方向を決定して視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得し、又は、顔キーポイントに基づいて運転者画像における目部領域画像を決定し、第6ニューラルネットワークによって目部領域画像における運転者の視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する。ここで、視線方向ずれ度合いのパラメータ値は、例えば、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する。ここで、漫然度合いのパラメータ値は、例えば、開眼幅、開眼持続時間、開眼累計時間が統計時間窓で占める割合等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されない。
頭部姿勢情報に基づいて運転者画像における運転者の頭部位置を決定して頭部位置情報を得、例えば、頭部姿勢情報中のピッチ角を取得して頭部位置としてよく、所定時間内の頭部位置情報に基づいて頭部位置ずれ度合いのパラメータ値を取得する。ここで、頭部位置ずれ度合いのパラメータ値は、例えば、頭部位置ずれ状態、頭部位置ずれ方向、頭部位置の頭部位置ずれ方向におけるずれ角度、頭部位置のずれ持続時間、頭部位置ずれ頻度の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
頭部姿勢情報に基づいて運転者画像における運転者の顔向きを決定して顔向き情報を得、例えば、頭部姿勢情報中のピッチ角とヨー角を取得して顔向きとしてよく、所定時間内の顔向き情報に基づいて顔向きずれ度合いのパラメータ値を取得する。ここで、顔向きずれ度合いのパラメータ値は、例えば、頭回し回数、頭回し持続時間、頭回し頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
頭部姿勢情報に基づいて運転者画像における運転者の視線方向を決定して視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得し、又は、顔キーポイントに基づいて運転者画像における目部領域画像を決定し、第6ニューラルネットワークによって目部領域画像における運転者の視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する。ここで、視線方向ずれ度合いのパラメータ値は、例えば、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する。ここで、漫然度合いのパラメータ値は、例えば、開眼幅、開眼持続時間、開眼累計時間が統計時間窓で占める割合等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
頭部姿勢情報に基づいて運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の頭部位置情報に基づいて居眠り度合いのパラメータ値を取得する。ここで、居眠り度合いのパラメータ値は、例えば、居眠りうなずき状態、居眠りうなずき幅、居眠りうなずき回数、居眠りうなずき頻度、居眠りうなずき持続時間等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
所定時間内の目部状態情報に基づいて、閉眼度合いのパラメータ値を取得する。ここで、閉眼度合いのパラメータ値は、例えば、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半分閉眼回数、半分閉眼頻度、閉眼累計時間が統計時間窓で占める割合等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
所定時間内の目部状態情報に基づいて、まばたき度合いのパラメータ値を取得する。本開示の実施例では、目部状態情報に基づいて、目が開眼状態から閉眼状態に変化し更に開眼状態に変化する過程は、1回のまばたき動作が完了したと考えられ、1回のまばたき動作に必要な時間が例えば0.2s〜1s程度であってよい。ここで、まばたき度合いのパラメータ値は、例えば、まばたき回数、まばたき頻度、まばたき持続時間、まばたき累計時間が統計時間窓で占める割合等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、
所定時間内の口部状態情報に基づいて、あくび度合いのパラメータ値を取得する。ここで、あくび度合いのパラメータ値は、例えば、あくび状態、あくび回数、あくび持続時間、あくび頻度等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されない。
条件20a、半分閉眼や閉眼現象がない。
条件20b、あくび現象がない。
上記条件20a、条件20bの全てを満たした場合に、運転者が現在正常運転レベル(即ち、非疲労状態)にある。
条件20c、半分閉眼現象があった。
条件20d、あくび現象があった。
上記条件20c、条件20dのうちのいずれか一方を満たした場合に、運転者が現在プロンプト疲労レベルにある。
条件20d、閉眼現象があったか、所定時間内の閉眼回数が所定回数に到達したか、所定時間内の閉眼時間が所定時間に到達した。
条件20e、所定時間内のあくびの回数が所定回数に到達した。
上記条件20d、条件20eのうちのいずれか一方を満たした場合に、運転者が現在警告疲労レベルにある。
運転者画像の特徴を抽出する操作と、
特徴に基づいて所定注意散漫動作を含む可能性がある複数の候補枠を抽出する操作と、
複数の候補枠に基づいて動作目標枠を決定する操作と、
動作目標枠に基づいて所定注意散漫動作の分類検出を行って、所定注意散漫動作が発生したか否かを決定する操作と、を含んでよく、
ここで、動作目標枠は、顔の局所領域と動作関連物を含み、更に選択可能に手部領域を含んでもよい。ここで、顔の局所領域は、例えば、口部領域、耳部領域、目部領域等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されなく、及び/又は、動作関連物は、例えば、容器、タバコ、携帯電話、食物、工具、飲料ボトル、眼鏡、マスク等の中のいずれか一つ又は複数を含んでもよいが、それらに限定されない。
注意散漫度合いを表すための指標のパラメータ値が満たした注意散漫動作等級条件に基づいて、注意散漫動作等級を決定する操作と、
決定された注意散漫動作等級を運転者の所定注意散漫動作の検出結果とする操作と、を更に含んでよい。
運転者状態の検出結果が所定警報条件を満たした時に、警報条件に対応するプロンプト/警報情報を出力する。例えば、声(例えば、音声又はベル等)/光(点灯又は点滅等)/振動等の方式で運転者にプロンプトして、運転者の注意を喚起して、運転者に散った注意力を運転に戻させたり又は運転者を休憩させたりして、安全運転を可能にして、道路交通事故を回避し、及び/又は、
運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替えて、安全運転を可能にして、道路交通事故を回避する。
疲労状態の検出結果が疲労状態である時に、疲労状態の検出結果に対応するプロンプト/警報情報を出力する。ここで、運転者疲労状態の検出結果が疲労状態等級である時に、疲労状態等級に基づいて対応するプロンプト又は警報情報を出力し、及び/又は、
注意散漫状態の検出結果が注意散漫状態である時に、注意散漫状態の検出結果に対応するプロンプト/警報情報を出力する。ここで、運転者の注意散漫状態の検出結果が注意散漫状態等級である時に、注意散漫状態等級に基づいて対応するプロンプト又は警報情報を出力し、及び/又は、
所定注意散漫動作の検出結果として所定注意散漫動作が発生した時に、所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する。ここで、所定注意散漫動作の検出結果が注意散漫動作等級である時に、注意散漫動作等級に基づいて対応するプロンプト又は警報情報を出力し、及び/又は、
運転者疲労状態の検出結果として疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作が検出された検出結果のうちの任意の二つ又は三つがあった時に、所定方式でプロンプト/警報情報を出力する。例えば、
運転者状態の検出結果が疲労状態と注意散漫状態である時に、疲労状態の検出結果に対応するプロンプト/警報情報を出力し、又は、注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、疲労状態の検出結果と注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、及び/又は、
運転者状態の検出結果が注意散漫状態であり、所定注意散漫動作が発生した時に、注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、注意散漫状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、及び/又は、
運転者状態の検出結果が疲労状態であり、所定注意散漫動作が検出された時に、疲労状態の検出結果に対応するプロンプト/警報情報を出力し、又は、所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、疲労状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、及び/又は、
運転者状態の検出結果が疲労状態、注意散漫状態であり、所定注意散漫動作が検出された時に、疲労状態の検出結果に対応するプロンプト/警報情報を出力し、又は、注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、疲労状態の検出結果と注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、注意散漫状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、疲労状態の検出結果と所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、疲労状態の検出結果、注意散漫状態の検出結果及び所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する。例えば、上記実施例によれば、疲労状態の検出結果が疲労状態である時に、疲労状態の検出結果に対応するプロンプト/警報情報を出力する操作は、以下の操作を含んでよい。
頭部位置情報に基づいて、運転者が居眠りうなずき動作をしていることを見つけた時に、運転者疲労状態の検出結果を疲労状態と決定し、疲労プロンプト情報を出力する。運転者がずっと居眠りうなずき動作をしている場合に、運転者の疲労度合いが深刻になり続け(即ち、疲労状態等級が高くなる)、疲労度合いが順に軽度疲労レベル、中等度疲労レベル、重度疲労レベルになり、よって、運転者疲労状態の検出結果が非疲労状態になり、即ち運転者が正常な運転状態に復帰するまで、X秒毎に疲労警報情報を1回出力し、ここで、Xが0より大きい数値であり、
目部状態情報に基づいて、運転者が両眼を閉じた時間が所定時間に到達するまで持続したか、まばたき頻度が所定数値に到達したことを見つけた場合に、運転者疲労状態の検出結果を疲労状態と決定し、疲労プロンプト情報を出力する。運転者が両眼を閉じた時間が増加し続けているか、まばたき頻度がずっと高すぎている場合に、運転者の疲労度合いが深刻になり続け(即ち、疲労状態等級が高くなる)、疲労度合いが順に軽度疲労レベル、中等度疲労レベル、重度疲労レベルになり、よって、運転者疲労状態の検出結果が非疲労状態になり、即ち運転者が正常な運転状態に復帰するまで、X秒毎に疲労警報情報を1回出力し、
口部状態情報に基づいて、運転者があくび動作をしていることを見つけた場合に、運転者疲労状態の検出結果を疲労状態と決定し、疲労プロンプト情報を出力する。運転者がずっとあくび動作をしている場合に、運転者の疲労度合いが深刻になり続け(即ち、疲労状態等級が高くなる)、疲労度合いが順に軽度疲労レベル、中等度疲労レベル、重度疲労レベルになり、よって、運転者疲労状態の検出結果が非疲労状態になり、即ち運転者が正常な運転状態に復帰するまで、X秒毎に疲労警報情報を1回出力し、
頭部位置情報、目部状態情報、口部状態情報に基づいて、運転者が居眠りでうなずいていること、両眼の閉眼持続時間が所定時間に到達したこと、まばたき頻度が所定数値に到達したこと、あくびをしたことといった4種の行動のうちの二つ又は二つ以上があったことを見つけた場合に、運転者が重度疲労レベルにあると判定し、よって、運転者疲労状態の検出結果が非疲労状態になり、即ち運転者が正常な運転状態に復帰するまで、X秒毎に疲労警報情報を1回出力する。例えば、上記実施例によれば、注意散漫状態の検出結果が注意散漫状態である時に、注意散漫状態の検出結果に対応するプロンプト/警報情報を出力する操作は、以下の操作を含んでよい。
頭部位置情報に基づいて、運転者の頭部位置ずれ角度が所定範囲を超え、且つずれ時間がY秒を超えた場合に、運転者注意散漫状態の検出結果を注意散漫状態と決定し、注意散漫プロンプト情報を出力する。運転者の頭部位置ずれ度合いが所定範囲を超えたずれ時間が増加し続けるにつれて、運転者の注意散漫度合いが深刻になり続け(即ち、注意散漫状態等級が高くなる)、注意散漫度合いが順に運転者注意力軽度散漫、運転者注意力中等度散漫、運転者注意力重度散漫等になり、よって、運転者注意散漫状態の検出結果が非注意散漫状態になり、即ち運転者が正常な運転状態に復帰するまで、X秒毎に注意散漫警報情報を1回出力し、
頭部位置情報と視線方向情報に基づいて、運転者の頭部位置ずれ角度が所定範囲を超えていないが、視線方向ずれ角度が所定視線安全範囲を超え、且つ持続時間がY秒を超えた場合に、運転者注意散漫状態の検出結果を注意散漫状態と決定し、注意散漫プロンプト情報を出力する。視線方向ずれ角度が所定視線安全範囲を超えた持続時間が増加するにつれて、運転者の注意散漫度合いが深刻になり続け(即ち、注意散漫状態等級が高くなる)、注意散漫度合いが順に運転者注意力軽度散漫、運転者注意力中等度散漫、運転者注意力重度散漫等になり、よって、運転者注意散漫状態の検出結果が非注意散漫状態になり、即ち運転者が正常な運転状態に復帰するまで、X秒毎に注意散漫警報情報を1回出力し、
頭部位置情報、視線方向情報及び目開閉状態情報に基づいて、運転者の頭部位置ずれ角度が所定範囲を超えておらず、且つ視線方向ずれ角度が所定視線安全範囲を超えていないが、運転者が漫然状態にあることが検出された場合に、運転者注意散漫状態の検出結果を注意散漫状態と決定し、注意散漫プロンプト情報を出力する。運転者の注意散漫度合いが深刻になり続け(即ち、注意散漫状態等級が高くなる)、注意散漫度合いが順に運転者注意力軽度散漫、運転者注意力中等度散漫、運転者注意力重度散漫等になり、よって、運転者注意散漫状態の検出結果が非注意散漫状態になり、即ち運転者が正常な運転状態に復帰するまで、X秒毎に注意散漫警報情報を1回出力する。
疲労状態に対応するプロンプト/警報情報を出力した後の所定時間内に、運転者状態の検出結果のうちの他の検出結果に対応するプロンプト/警報情報(例えば、注意散漫状態に対応するプロンプト/警報情報、所定注意散漫動作の検出結果に対応するプロンプト/警報情報)を抑える操作、及び/又は、
注意散漫状態に対応するプロンプト/警報情報を出力した後の所定時間内に、運転者状態の検出結果のうちの他の検出結果に対応するプロンプト/警報情報(例えば、疲労状態に対応するプロンプト/警報情報、所定注意散漫動作の検出結果に対応するプロンプト/警報情報)を抑える操作、及び/又は、
所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力した後の所定時間内に、運転者状態の検出結果のうちの他の検出結果に対応するプロンプト/警報情報(例えば、注意散漫状態に対応するプロンプト/警報情報、疲労状態に対応するプロンプト/警報情報)を抑える操作を更に含んでよい。
車両が走行状態にある時に赤外線カメラによって画像を取得して運転者画像を得、及び/又は、車両の走行速度が所定車速を超えると、赤外線カメラによって画像を取得して運転者画像を得、及び/又は、車両が起動したことが検出されると、赤外線カメラによって画像を取得して運転者画像を得、及び/又は、車両の起動コマンドが検出されると、赤外線カメラによって画像を取得して運転者画像を得、及び/又は、車両又は車両における部材或いはシステムへの制御コマンド(例えば、加速(accelerating)、加速(speeding UP)、方向転換、車窓開閉、エアコンオンオフ、娯楽システムオンオフ等)が検出されると、赤外線カメラによって画像を取得して運転者画像を得るようにしてよい。
Claims (112)
- 運転状態検出方法であって、
運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得る操作と、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定する操作と、を含むことを特徴とする運転状態検出方法。 - 運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得る前記操作の後、
前記頭部姿勢情報に基づいて決定された前記運転者画像における運転者の頭部位置情報により、前記運転者の頭部位置のずれ角度が所定範囲を超えたか否かを決定する操作と、
前記運転者の頭部位置のずれ角度が所定範囲を超えた場合に、前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の注意散漫状態の検出結果を決定する操作、及び/又は、
前記運転者の頭部位置のずれ角度が所定範囲を超えていない場合に、前記頭部姿勢情報と前記目部状態情報に基づいて運転者の疲労状態と注意散漫状態の検出結果を決定する前記操作を実行する操作と、を更に含むことを特徴とする請求項1に記載の方法。 - 前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の注意散漫状態の検出結果を決定する前記操作は、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定する操作と、
運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定する操作と、を含むことを特徴とする請求項2に記載の方法。 - 前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定する前記操作は、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値と運転者の注意散漫状態を表すための指標のパラメータ値を決定する操作と、
前記の運転者の疲労状態を表すための指標のパラメータ値に基づいて、運転者の疲労状態の検出結果を決定し、前記の運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定する操作と、を含むことを特徴とする請求項1−3のいずれか一項に記載の方法。 - 運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得る前記操作は、
前記運転者画像に対して顔キーポイント検出を行う操作と、
検出された前記顔キーポイントに基づいて前記頭部姿勢情報と前記目部状態情報を取得する操作と、を含むことを特徴とする請求項1−4のいずれか一項に記載の方法。 - 検出された前記顔キーポイントに基づいて頭部姿勢情報を取得する前記操作は、
第1ニューラルネットワークによって、前記顔キーポイントに基づいて前記頭部姿勢情報を取得する操作を含むことを特徴とする請求項5に記載の方法。 - 検出された前記顔キーポイントに基づいて目部状態情報を取得する前記操作は、
前記顔キーポイントに基づいて前記運転者画像における目部領域画像を決定する操作と、
第2ニューラルネットワークによって、前記目部領域画像に対して上眼瞼線と下眼瞼線の検出を行う操作と、
前記上眼瞼線と下眼瞼線との間の間隔に基づいて前記運転者の目開閉状態情報を決定する操作と、を含み、前記目部状態情報は前記目開閉状態情報を含むことを特徴とする請求項5又は6に記載の方法。 - 検出された前記顔キーポイントに基づいて目部状態情報を取得する前記操作は、
前記顔キーポイントに基づいて前記運転者画像における目部領域画像を決定する操作と、
第3ニューラルネットワークによって前記目部領域画像に対して開眼閉眼の分類処理を行って、開眼又は閉眼の分類結果を得る操作と、を含み、前記目部状態情報は開眼状態又は閉眼状態を含むことを特徴とする請求項5又は6に記載の方法。 - 運転者画像に対して口部状態検出を行って、口部状態情報を得る操作を更に含み、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値を決定する前記操作は、
前記頭部姿勢情報、前記目部状態情報及び前記口部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値を決定する操作を含むことを特徴とする請求項4−8のいずれか一項に記載の方法。 - 運転者画像に対して口部状態検出を行って、口部状態情報を得る前記操作は、
前記運転者画像に対して顔キーポイント検出を行う操作と、
検出された前記顔キーポイントに基づいて口部状態情報を取得する操作と、を含むことを特徴とする請求項9に記載の方法。 - 検出された前記顔キーポイントに基づいて口部状態情報を取得する前記操作は、
前記顔キーポイントに基づいて前記運転者画像における口部領域画像を決定する操作と、
第4ニューラルネットワークによって前記口部領域画像に対して上***線と下***線の検出を行う操作と、
前記上***線と下***線との間の間隔に基づいて前記運転者の口開閉状態情報を決定する操作と、を含み、前記口部状態情報は前記口開閉状態情報を含むことを特徴とする請求項10に記載の方法。 - 検出された前記顔キーポイントに基づいて口部状態情報を取得する前記操作は、
前記顔キーポイントに基づいて前記運転者画像における口部領域画像を決定する操作と、
第5ニューラルネットワークによって前記口部領域画像に対して口開閉の分類処理を行って、開口又は閉口の分類結果を得る操作と、を含み、前記口部状態情報は開口状態又は閉口状態を含むことを特徴とする請求項10に記載の方法。 - 前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定する前記操作は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の前記頭部位置情報に基づいて頭部位置ずれ度合いのパラメータ値を取得する操作、及び/又は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の顔向きを決定して顔向き情報を得、所定時間内の顔向き情報に基づいて顔向きずれ度合いのパラメータ値を取得する操作、及び/又は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の視線方向を決定して視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得し、又は、前記顔キーポイントに基づいて前記運転者画像における目部領域画像を決定し、第6ニューラルネットワークによって前記目部領域画像における運転者の視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する操作、及び/又は、
所定時間内の前記目部状態情報に基づいて、漫然度合いのパラメータ値を取得する操作を含むことを特徴とする請求項3−12のいずれか一項に記載の方法。 - 前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値と運転者の注意散漫状態を表すための指標のパラメータ値を決定する前記操作は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の前記頭部位置情報に基づいて頭部位置ずれ度合いのパラメータ値を取得する操作、及び/又は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の顔向きを決定して顔向き情報を得、所定時間内の顔向き情報に基づいて顔向きずれ度合いのパラメータ値を取得する操作、及び/又は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の視線方向を決定して視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得し、又は、前記顔キーポイントに基づいて前記運転者画像における目部領域画像を決定し、第6ニューラルネットワークによって前記目部領域画像における運転者の視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する操作、及び/又は、
所定時間内の前記目部状態情報に基づいて、漫然度合いのパラメータ値を取得する操作、及び/又は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の前記頭部位置情報に基づいて居眠り度合いのパラメータ値を取得する操作、及び/又は、
所定時間内の前記目部状態情報に基づいて、閉眼度合いのパラメータ値を取得する操作、及び/又は、
所定時間内の前記目部状態情報に基づいて、まばたき度合いのパラメータ値を取得する操作、及び/又は、
所定時間内の前記口部状態情報に基づいて、あくび度合いのパラメータ値を取得する操作を含むことを特徴とする請求項4−13のいずれか一項に記載の方法。 - 前記の運転者疲労状態を表すための指標は、居眠り度合い、閉眼度合い、まばたき度合い、あくび度合いの中のいずれか一つ又は複数を含み、及び/又は、
前記の運転者注意散漫状態を表すための指標は、頭部位置ずれ度合い、顔向きずれ度合い、視線方向ずれ度合い、漫然度合いの中のいずれか一つ又は複数を含むことを特徴とする請求項13又は14に記載の方法。 - 前記頭部姿勢情報に基づいて前記運転者画像における運転者の頭部位置を決定する前記操作は、前記頭部姿勢情報中のピッチ角を取得して前記頭部位置とする操作を含み、及び/又は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の顔向きを決定する前記操作は、前記頭部姿勢情報中のピッチ角とヨー角を取得して前記顔向きとする操作を含むことを特徴とする請求項13−15のいずれか一項に記載の方法。 - 前記頭部姿勢情報に基づいて前記運転者画像における運転者の視線方向を決定して、視線方向情報を取得する前記操作は、
前記顔キーポイントのうちの目キーポイントによって位置決めされた目画像に基づいて瞳縁位置を決定し、前記瞳縁位置に基づいて瞳中心位置を計算する操作と、
前記瞳中心位置と目中心位置に基づいて前記頭部姿勢情報に対応する頭部姿勢での眼球回転角度情報を取得する操作と、
前記頭部姿勢情報と前記眼球回転角度情報に基づいて前記運転者の視線方向を決定して、視線方向情報を得る操作と、を含むことを特徴とする請求項13−16のいずれか一項に記載の方法。 - 前記顔キーポイントのうちの目キーポイントによって位置決めされた目画像に基づいて瞳縁位置を決定する前記操作は、
第7ニューラルネットワークによって、前記顔キーポイントに基づいて分割された前記画像における目領域画像に対して瞳縁位置の検出を行い、前記第7ニューラルネットワークの出力した情報に基づいて前記瞳縁位置を取得する操作を含むことを特徴とする請求項17に記載の方法。 - 所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する前記操作は、
所定時間内の視線方向情報の基準視線方向に対するずれ角度に基づいて、視線方向ずれ度合いのパラメータ値を取得する操作を含むことを特徴とする請求項13−18のいずれか一項に記載の方法。 - 前記基準視線方向を予め設定する操作、又は、
前記運転者画像の所在するビデオ中の前のNフレームの運転者画像に基づいて決定された平均視線方向を前記基準視線方向とする操作を更に含み、Nが1より大きい整数であることを特徴とする請求項19に記載の方法。 - 所定時間内の前記目部状態情報に基づいて、漫然度合いのパラメータ値を取得する前記操作は、
前記目部状態情報に基づいて、前記運転者の目が開眼状態にあり且つ所定漫然時間に到達するまで持続した時に、前記運転者が漫然状態にあると決定する操作と、
所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する操作と、を含み、前記所定時間は前記所定漫然時間を含むことを特徴とする請求項13−20のいずれか一項に記載の方法。 - 所定時間内の前記頭部位置情報に基づいて、居眠り度合いのパラメータ値を取得する前記操作は、
前記頭部位置情報に基づいて、前記運転者の頭部位置の所定基準頭部位置に対するずれ度合いが第1所定時間内に所定ずれ範囲に到達し、且つ第2所定時間内に前記所定基準頭部位置に復帰した時に、前記運転者が居眠り状態にあると決定する操作と、
所定時間内の前記頭部位置情報に基づいて、居眠り度合いのパラメータ値を取得する操作と、を含み、前記所定時間は前記第1所定時間と前記第2所定時間を含むことを特徴とする請求項14−21のいずれか一項に記載の方法。 - 所定時間内の前記口部状態情報に基づいて、あくび度合いのパラメータ値を取得する前記操作は、
前記口部状態情報に基づいて、前記運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間が所定時間範囲内にある時に、前記運転者が1回のあくび動作を完了したと決定する操作と、
所定時間内の口部状態情報に基づいて、あくび度合いのパラメータ値を取得する操作と、を含み、前記所定時間は前記運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間を含むことを特徴とする請求項14−22のいずれか一項に記載の方法。 - 前記頭部位置ずれ度合いのパラメータ値は、頭部位置ずれ状態、頭部位置ずれ方向、頭部位置の前記頭部位置ずれ方向におけるずれ角度、頭部位置のずれ持続時間、頭部位置ずれ頻度の中のいずれか一つ又は複数を含み、及び/又は、
前記顔向きずれ度合いのパラメータ値は、頭回し回数、頭回し持続時間、頭回し頻度の中のいずれか一つ又は複数を含み、及び/又は、
前記視線方向ずれ度合いのパラメータ値は、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度の中のいずれか一つ又は複数を含み、及び/又は、
前記漫然度合いのパラメータ値は、開眼幅、開眼持続時間、開眼累計時間が統計時間窓で占める割合の中のいずれか一つ又は複数を含み、及び/又は、
前記居眠り度合いのパラメータ値は、居眠りうなずき状態、居眠りうなずき幅、居眠りうなずき回数、居眠りうなずき頻度、居眠りうなずき持続時間の中のいずれか一つ又は複数を含み、及び/又は、
前記閉眼度合いのパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半分閉眼回数、半分閉眼頻度、閉眼累計時間が統計時間窓で占める割合の中のいずれか一つ又は複数を含み、及び/又は、
前記まばたき度合いのパラメータ値は、まばたき回数、まばたき頻度、まばたき持続時間、まばたき累計時間が統計時間窓で占める割合の中のいずれか一つ又は複数を含み、及び/又は、
前記あくび度合いのパラメータ値は、あくび状態、あくび回数、あくび持続時間、あくび頻度の中のいずれか一つ又は複数を含むことを特徴とする請求項13−23のいずれか一項に記載の方法。 - 前記の運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定する操作は、
いずれか一つ又は複数の前記の運転者の注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者の注意散漫状態の検出結果を注意散漫状態と決定する操作、及び/又は、
前記の運転者の注意散漫状態を表すための指標のパラメータ値がいずれも所定注意散漫条件を満たさない時に、運転者の注意散漫状態の検出結果を非注意散漫状態と決定する操作を含むことを特徴とする請求項3−24のいずれか一項に記載の方法。 - 前記所定注意散漫条件は、複数の注意散漫等級条件を含み、
いずれか一つ又は複数の前記の運転者の注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者の注意散漫状態の検出結果を注意散漫状態と決定する前記操作は、
前記の運転者の注意散漫状態を表すための指標のパラメータ値が満たした注意散漫等級条件に基づいて、注意散漫状態等級を決定する操作と、
決定された注意散漫状態等級を運転者の注意散漫状態の検出結果とする操作と、を含むことを特徴とする請求項25に記載の方法。 - 前記の運転者の疲労状態を表すための指標のパラメータ値に基づいて、運転者の疲労状態の検出結果を決定する操作は、
いずれか一つ又は複数の前記の運転者の疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者の疲労状態の検出結果を疲労状態と決定する操作、及び/又は、
前記の運転者の疲労状態を表すための指標のパラメータ値がいずれも所定疲労条件を満たさない時に、運転者の疲労状態の検出結果を非疲労状態と決定する操作を含むことを特徴とする請求項4−26のいずれか一項に記載の方法。 - 前記所定疲労条件は、複数の疲労等級条件を含み、
いずれか一つ又は複数の前記の運転者の疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者の疲労状態の検出結果を疲労状態と決定する前記操作は、
前記の運転者の疲労状態を表すための指標のパラメータ値が満たした疲労等級条件に基づいて、疲労状態等級を決定する操作と、
決定された疲労状態等級を運転者の疲労状態の検出結果とする操作と、を含むことを特徴とする請求項27に記載の方法。 - 前記運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する操作と、
所定注意散漫動作が発生した場合に、所定時間内に前記所定注意散漫動作が発生したか否かの決定結果に基づいて、運転者の注意散漫度合いを表すための指標のパラメータ値を取得する操作と、
前記の運転者の注意散漫度合いを表すための指標のパラメータ値に基づいて、運転者の所定注意散漫動作の検出結果を決定する操作と、を更に含むことを特徴とする請求項1−28のいずれか一項に記載の方法。 - 前記所定注意散漫動作は、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作、化粧動作の中のいずれか一つ又は複数を含むことを特徴とする請求項29に記載の方法。
- 前記運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する前記操作は、
前記運転者画像の特徴を抽出する操作と、
前記特徴に基づいて所定注意散漫動作を含む可能性がある複数の候補枠を抽出する操作と、
複数の前記候補枠に基づいて、顔の局所領域と動作関連物を含む動作目標枠を決定する操作と、
前記動作目標枠に基づいて所定注意散漫動作の分類検出を行って、前記所定注意散漫動作が発生したか否かを決定する操作と、を含むことを特徴とする請求項30に記載の方法。 - 前記顔の局所領域は、口部領域、耳部領域、目部領域の中のいずれか一つ又は複数を含み、及び/又は、
前記動作関連物は、容器、タバコ、携帯電話、食物、工具、飲料ボトル、眼鏡、マスクの中のいずれか一つ又は複数を含むことを特徴とする請求項31に記載の方法。 - 前記動作目標枠は、手部領域を更に含むことを特徴とする請求項31又は32に記載の方法。
- 前記運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する前記操作は、
第8ニューラルネットワークによって前記運転者画像に対して顔検出を行って顔検出枠を取得し、前記顔検出枠の特徴情報を抽出する操作と、
前記第8ニューラルネットワークによって前記顔検出枠の特徴情報に基づいて喫煙動作が発生したか否かを決定する操作と、を含むことを特徴とする請求項30に記載の方法。 - 前記運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定する前記操作は、
第9ニューラルネットワークによって前記運転者画像に対して前記飲食動作/飲水動作/電話通話動作/娯楽動作/化粧動作に対応する所定目標対象の検出を行って、容器、食物、電子機器、化粧品の中のいずれか一つ又は複数を含む動作関連物、手部、口部、および、目部を含む所定目標対象の検出枠を得る操作と、
前記所定目標対象の検出枠に基づいて、所定注意散漫動作が発生したか否かを決定する操作と、を含み、所定注意散漫動作が発生したか否かの決定結果は、飲食動作/飲水動作/電話通話動作/娯楽動作/化粧動作が発生しなかったこと、飲食動作が発生したこと、飲水動作が発生したこと、電話通話動作が発生したこと、娯楽動作が発生したこと、化粧動作が発生したことの中の一項を含むことを特徴とする請求項30に記載の方法。 - 前記所定目標対象の検出枠に基づいて、所定注意散漫動作が発生したか否かを決定する前記操作は、
手部の検出枠、口部の検出枠、目部の検出枠及び動作関連物の検出枠が検出されたか否か、および、手部の検出枠と動作関連物の検出枠とが重なっているか否か、前記動作関連物の種類及び動作関連物の検出枠と口部の検出枠又は目部の検出枠との間の距離が所定条件を満たすか否かに応じて、所定注意散漫動作が発生したか否かを決定する操作を含むことを特徴とする請求項35に記載の方法。 - 手部の検出枠と動作関連物の検出枠とが重なっているか否か、前記動作関連物の種類及び動作関連物の検出枠と口部の検出枠又は目部の検出枠との間の距離が所定条件を満たすか否かに応じて、所定注意散漫動作が発生したか否かを決定する前記操作は、
前記手部の検出枠と前記動作関連物の検出枠とが重なっており、前記動作関連物の種類が容器又は食物であり、且つ前記動作関連物の検出枠と口部の検出枠とが重なっている場合に、飲食動作、飲水動作又は化粧動作が発生したと決定する操作、及び/又は、
前記手部の検出枠と前記動作関連物の検出枠とが重なっており、前記動作関連物の種類が電子機器であり、且つ前記動作関連物の検出枠と口部の検出枠との間の最小距離が第1所定距離より小さく、又は前記動作関連物の検出枠と目部の検出枠との間の最小距離が第2所定距離より小さい場合に、娯楽動作又は電話通話動作が発生したと決定する操作を含むことを特徴とする請求項36に記載の方法。 - 手部の検出枠、口部の検出枠及びいずれか1つの前記動作関連物の検出枠が同時に検出されなく、且つ手部の検出枠、目部の検出枠及びいずれか1つの前記動作関連物の検出枠が同時に検出されなかった場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったと決定する操作、及び/又は、
手部の検出枠と前記動作関連物の検出枠とが重なっていない場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作、化粧動作が検出されなかったと決定する操作、及び/又は、
前記動作関連物の種類が容器又は食物であり、且つ前記動作関連物の検出枠と口部の検出枠とが重なっておらず、及び/又は、前記動作関連物の種類が電子機器であり、且つ前記動作関連物の検出枠と口部の検出枠との間の最小距離が第1所定距離より小さくなく、又は前記動作関連物の検出枠と目部の検出枠との間の最小距離が第2所定距離より小さくない場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったと決定する操作を更に含むことを特徴とする請求項36又は37に記載の方法。 - 前記注意散漫度合いのパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度の中のいずれか一つ又は複数を含むことを特徴とする請求項29−38のいずれか一項に記載の方法。
- 所定注意散漫動作が発生したと決定した場合に、
前記の注意散漫度合いを表すための指標のパラメータ値が満たした注意散漫動作等級条件に基づいて、注意散漫動作等級を決定する操作と、
決定された注意散漫動作等級を運転者の所定注意散漫動作の検出結果とする操作と、を更に含むことを特徴とする請求項29−39のいずれか一項に記載の方法。 - 疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作の検出結果の中のいずれか一つ又は複数を含む前記運転者状態の検出結果に基づいて、警報及び/又はインテリジェント運転制御を行う操作を更に含むことを特徴とする請求項1−40のいずれか一項に記載の方法。
- 運転者状態の検出結果に基づいて、警報及び/又はインテリジェント運転制御を行う前記操作は、
運転者状態の検出結果が所定警報条件を満たした時に、前記警報条件に対応するプロンプト/警報情報を出力する操作、及び/又は、
運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替える操作を含むことを特徴とする請求項41に記載の方法。 - 運転者状態の検出結果が所定警報条件を満たした時に、前記警報条件に対応するプロンプト/警報情報を出力する前記操作は、
疲労状態の検出結果が疲労状態である時に、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、
注意散漫状態の検出結果が注意散漫状態である時に、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、
所定注意散漫動作が発生した時に、前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、
運転者状態の検出結果として、疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作が発生した検出結果のうちの任意の二つ又は三つがあった時に、所定方式でプロンプト/警報情報を出力する操作を含むことを特徴とする請求項42に記載の方法。 - 前記疲労状態に対応するプロンプト/警報情報を出力した後の所定時間内に、前記運転者状態の検出結果のうちの他の検出結果に対応するプロンプト/警報情報を抑える操作、及び/又は、
前記注意散漫状態に対応するプロンプト/警報情報を出力した後の所定時間内に、前記運転者状態の検出結果のうちの他の検出結果に対応するプロンプト/警報情報を抑える操作、及び/又は、
前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力した後の所定時間内に、前記運転者状態の検出結果のうちの他の検出結果に対応するプロンプト/警報情報を抑える操作を更に含むことを特徴とする請求項43に記載の方法。 - 運転者状態の検出結果として、疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作が発生した検出結果のうちの任意の二つ又は三つがあった時に、所定方式でプロンプト/警報情報を出力する前記操作は、
運転者状態の検出結果が疲労状態と注意散漫状態である時に、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果と注意散漫状態の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、
運転者状態の検出結果が注意散漫状態であり、所定注意散漫動作が検出された時に、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、前記注意散漫状態の検出結果と前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、
運転者状態の検出結果が疲労状態であり、所定注意散漫動作が検出された時に、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力し、又は、所定注意散漫動作が検された検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果と前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、
運転者状態の検出結果が疲労状態、注意散漫状態であり、所定注意散漫動作が発生した時に、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果と前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記注意散漫状態の検出結果と前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果と前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果、前記注意散漫状態の検出結果及び前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する操作を含むことを特徴とする請求項43又は44に記載の方法。 - 疲労状態の検出結果が疲労状態等級である時に、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力する前記操作は、前記疲労状態等級に基づいて対応するプロンプト又は警報情報を出力する操作を含み、及び/又は、
注意散漫状態の検出結果が注意散漫状態等級である時に、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力する前記操作は、前記注意散漫状態等級に基づいて対応するプロンプト又は警報情報を出力する操作を含み、
所定注意散漫動作の検出結果が注意散漫動作等級である時に、前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する前記操作は、前記注意散漫動作等級に基づいて対応するプロンプト又は警報情報を出力する操作を含むことを特徴とする請求項43−45のいずれか一項に記載の方法。 - 運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替える前記操作は、
前記疲労状態等級及び/又は前記注意散漫状態等級及び/又は前記注意散漫動作等級が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替える操作を含むことを特徴とする請求項46に記載の方法。 - 赤外線カメラによって画像を取得して前記運転者画像を得る操作を更に含むことを特徴とする請求項1−47のいずれか一項に記載の方法。
- 赤外線カメラによって画像を取得する前記操作は、
車両内の少なくとも1つの位置に設置された前記赤外線カメラによって画像を取得する操作を含むことを特徴とする請求項48に記載の方法。 - 前記少なくとも1つの位置は、インストルメントパネルの上方又は近傍位置、センターコンソールの上方又は近傍位置、Aピラー又は近傍位置、バックミラー又は近傍位置の中のいずれか1つ又は複数の位置を含むことを特徴とする請求項49に記載の方法。
- 赤外線カメラによって画像を取得して前記運転者画像を得る前記操作は、
前記車両が走行状態にある時に赤外線カメラによって画像を取得して前記運転者画像を得る操作、及び/又は、
前記車両の走行速度が所定車速を超えると、赤外線カメラによって画像を取得して前記運転者画像を得る操作、及び/又は、
前記車両が起動したことが検出されると、赤外線カメラによって画像を取得して前記運転者画像を得る操作、及び/又は、
前記車両の起動コマンドが検出されると、赤外線カメラによって画像を取得して前記運転者画像を得る操作、及び/又は、
前記車両又は前記車両中の部材或いはシステムへの制御コマンドが検出されると、赤外線カメラによって画像を取得して前記運転者画像を得る操作を含むことを特徴とする請求項48−50のいずれか一項に記載の方法。 - 運転状態検出装置であって、
運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得るための第1検出モジュールと、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定するための第1決定モジュールと、を含むことを特徴とする運転状態検出装置。 - 前記頭部姿勢情報に基づいて決定された前記運転者画像における運転者の頭部位置情報により、前記運転者の頭部位置のずれ角度が所定範囲を超えたか否かを決定するための第2決定モジュールを更に含み、
前記第1決定モジュールは、
前記運転者の頭部位置のずれ角度が所定範囲を超えた時に、前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の注意散漫状態の検出結果を決定するための第1決定ユニット、及び/又は、
前記運転者の頭部位置のずれ角度が所定範囲を超えていない時に、前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定するための第2決定ユニットを含むことを特徴とする請求項52に記載の装置。 - 前記第1決定ユニットは、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定するための第1決定サブユニットと、
運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定するための第2決定サブユニットと、を含むことを特徴とする請求項53に記載の装置。 - 前記第2決定ユニットは、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値を決定するための第3決定サブユニットと、
前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の注意散漫状態を表すための指標のパラメータ値を決定するための第1決定サブユニットと、
前記の運転者の疲労状態を表すための指標のパラメータ値に基づいて、運転者の疲労状態の検出結果を決定するための第4決定サブユニットと、
前記の運転者の注意散漫状態を表すための指標のパラメータ値に基づいて、運転者の注意散漫状態の検出結果を決定するための第2決定サブユニットと、を含むことを特徴とする請求項52−54のいずれか一項に記載の装置。 - 前記第1検出モジュールは、
前記運転者画像に対して顔キーポイント検出を行うためのキーポイント検出ユニットと、
検出された前記顔キーポイントに基づいて前記頭部姿勢情報と前記目部状態情報を取得するための第1取得ユニットと、を含むことを特徴とする請求項52−55のいずれか一項に記載の装置。 - 前記第1取得ユニットは、検出された前記顔キーポイントに基づいて頭部姿勢情報を取得する時に、第1ニューラルネットワークによって、前記顔キーポイントに基づいて前記頭部姿勢情報を取得するために用いられることを特徴とする請求項56に記載の装置。
- 前記第1取得ユニットは、検出された前記顔キーポイントに基づいて目部状態情報を取得する時に、前記顔キーポイントに基づいて前記運転者画像における目部領域画像を決定する操作と、第2ニューラルネットワークによって前記目部領域画像に対して上眼瞼線と下眼瞼線の検出を行う操作と、前記上眼瞼線と下眼瞼線との間の間隔に基づいて前記運転者の目開閉状態情報を決定する操作とに用いられ、前記目部状態情報は前記目開閉状態情報を含むことを特徴とする請求項56又は57に記載の装置。
- 前記第1取得ユニットは、検出された前記顔キーポイントに基づいて目部状態情報を取得する時に、前記顔キーポイントに基づいて前記運転者画像における目部領域画像を決定する操作と、第3ニューラルネットワークによって前記目部領域画像に対して開眼閉眼の分類処理を行って、開眼又は閉眼の分類結果を得る操作とに用いられ、前記目部状態情報は開眼状態又は閉眼状態を含むことを特徴とする請求項56又は57に記載の装置。
- 前記第1検出モジュールは、更に、運転者画像に対して口部状態検出を行って、口部状態情報を得るために用いられ、
前記第3決定サブユニットは、前記頭部姿勢情報、前記目部状態情報及び前記口部状態情報に基づいて、運転者の疲労状態を表すための指標のパラメータ値を決定するために用いられることを特徴とする請求項55−59のいずれか一項に記載の装置。 - 前記第1検出モジュール中の第1取得ユニットは、更に、検出された前記顔キーポイントに基づいて口部状態情報を取得するために用いられることを特徴とする請求項60に記載の装置。
- 前記第1取得ユニットは、検出された前記顔キーポイントに基づいて口部状態情報を取得する時に、前記顔キーポイントに基づいて前記運転者画像における口部領域画像を決定する操作と、第4ニューラルネットワークによって前記口部領域画像に対して上***線と下***線の検出を行う操作と、前記上***線と下***線との間の間隔に基づいて前記運転者の口開閉状態情報を決定する操作とに用いられ、前記口部状態情報は前記口開閉状態情報を含むことを特徴とする請求項61に記載の装置。
- 前記第1取得ユニットは、検出された前記顔キーポイントに基づいて口部状態情報を取得する時に、前記顔キーポイントに基づいて前記運転者画像における口部領域画像を決定する操作と、第5ニューラルネットワークによって前記口部領域画像に対して口開閉の分類処理を行って、開口又は閉口の分類結果を得る操作とに用いられ、前記口部状態情報は開口状態又は閉口状態を含むことを特徴とする請求項61に記載の装置。
- 前記第1決定サブユニットは、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の前記頭部位置情報に基づいて頭部位置ずれ度合いのパラメータ値を取得する操作、及び/又は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の顔向きを決定して顔向き情報を得、所定時間内の顔向き情報に基づいて顔向きずれ度合いのパラメータ値を取得する操作、及び/又は、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の視線方向を決定して視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得し、又は、前記顔キーポイントに基づいて前記運転者画像における目部領域画像を決定し、第6ニューラルネットワークによって前記目部領域画像における運転者の視線方向情報を取得し、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する操作、及び/又は、
所定時間内の前記目部状態情報に基づいて、漫然度合いのパラメータ値を取得する操作に用いられることを特徴とする請求項54−63のいずれか一項に記載の装置。 - 前記第3決定サブユニットは、
前記頭部姿勢情報に基づいて前記運転者画像における運転者の頭部位置を決定して頭部位置情報を得、所定時間内の前記頭部位置情報に基づいて居眠り度合いのパラメータ値を取得する操作、及び/又は、
所定時間内の前記目部状態情報に基づいて、閉眼度合いのパラメータ値を取得する操作、及び/又は、
所定時間内の前記目部状態情報に基づいて、まばたき度合いのパラメータ値を取得する操作、及び/又は、
所定時間内の前記口部状態情報に基づいて、あくび度合いのパラメータ値を取得する操作に用いられることを特徴とする請求項55−64のいずれか一項に記載の装置。 - 前記の運転者疲労状態を表すための指標は、居眠り度合い、閉眼度合い、まばたき度合い、あくび度合いの中のいずれか一つ又は複数を含み、及び/又は、
前記の運転者注意散漫状態を表すための指標は、頭部位置ずれ度合い、顔向きずれ度合い、視線方向ずれ度合い、漫然度合いの中のいずれか一つ又は複数を含むことを特徴とする請求項64又は65に記載の装置。 - 前記第1決定サブユニットは、前記頭部姿勢情報に基づいて前記運転者画像における運転者の頭部位置を決定する時に、前記頭部姿勢情報中のピッチ角を取得して前記頭部位置とするために用いられ、及び/又は、
前記第1決定サブユニットは、前記頭部姿勢情報に基づいて前記運転者画像における運転者の顔向きを決定する時に、前記頭部姿勢情報中のピッチ角とヨー角を取得して前記顔向きとするために用いられることを特徴とする請求項64−66のいずれか一項に記載の装置。 - 前記第1決定サブユニットは、前記頭部姿勢情報に基づいて前記運転者画像における運転者の視線方向を決定して視線方向情報を得る時に、前記顔キーポイントのうちの目キーポイントによって位置決めされた目画像に基づいて瞳縁位置を決定し、前記瞳縁位置に基づいて瞳中心位置を計算する操作と、前記瞳中心位置と目中心位置に基づいて前記頭部姿勢情報に対応する頭部姿勢での眼球回転角度情報を取得する操作と、前記頭部姿勢情報と前記眼球回転角度情報に基づいて前記運転者の視線方向を決定して視線方向情報を得る操作とに用いられることを特徴とする請求項64−67のいずれか一項に記載の装置。
- 前記第1決定サブユニットは、前記顔キーポイントのうちの目キーポイントによって位置決めされた目画像に基づいて瞳縁位置を決定する時に、第7ニューラルネットワークによって、前記顔キーポイントに基づいて分割された前記画像における目領域画像に対して瞳縁位置の検出を行い、前記第7ニューラルネットワークの出力した情報に基づいて前記瞳縁位置を取得するために用いられることを特徴とする請求項68に記載の装置。
- 前記第1決定サブユニットは、所定時間内の視線方向情報に基づいて視線方向ずれ度合いのパラメータ値を取得する時に、所定時間内の視線方向情報の基準視線方向に対するずれ角度に基づいて、視線方向ずれ度合いのパラメータ値を取得するために用いられることを特徴とする請求項64−69のいずれか一項に記載の装置。
- 前記基準視線方向は、予め設定されたものであるか、前記運転者画像の所在するビデオ中の前のNフレームの運転者画像に基づいて決定された平均視線方向であり、Nが1より大きい整数であることを特徴とする請求項70に記載の装置。
- 前記第1決定サブユニットは、所定時間内の前記目部状態情報に基づいて漫然度合いのパラメータ値を取得する時に、前記目部状態情報に基づいて、前記運転者の目が開眼状態にあり且つ所定漫然時間に到達するまで持続した時に、前記運転者が漫然状態にあると決定する操作と、所定時間内の目部状態情報に基づいて、漫然度合いのパラメータ値を取得する操作とに用いられ、前記所定時間は前記所定漫然時間を含むことを特徴とする請求項64−71のいずれか一項に記載の装置。
- 前記第3決定サブユニットは、所定時間内の前記頭部位置情報に基づいて居眠り度合いのパラメータ値を取得する時に、前記頭部位置情報に基づいて、前記運転者の頭部位置の所定基準頭部位置に対するずれ度合いが第1所定時間内に所定ずれ範囲に到達し、且つ第2所定時間内に前記所定基準頭部位置に復帰した時に、前記運転者が居眠り状態にあると決定する操作と、所定時間内の前記頭部位置情報に基づいて、居眠り度合いのパラメータ値を取得する操作とに用いられ、前記所定時間は前記第1所定時間と前記第2所定時間を含むことを特徴とする請求項65−72のいずれか一項に記載の装置。
- 前記第3決定サブユニットは、所定時間内の前記口部状態情報に基づいてあくび度合いのパラメータ値を取得する時に、前記口部状態情報に基づいて、前記運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間が所定時間範囲内にある時に、前記運転者が1回のあくび動作を完了したと決定する操作と、所定時間内の口部状態情報に基づいて、あくび度合いのパラメータ値を取得する操作とに用いられ、前記所定時間は前記運転者の口が閉口状態から開口状態に変化し、更に閉口状態に復帰した時間を含むことを特徴とする請求項65−73のいずれか一項に記載の装置。
- 前記頭部位置ずれ度合いのパラメータ値は、頭部位置ずれ状態、頭部位置ずれ方向、頭部位置の前記頭部位置ずれ方向におけるずれ角度、頭部位置のずれ持続時間、頭部位置ずれ頻度の中のいずれか一つ又は複数を含み、及び/又は、
前記顔向きずれ度合いのパラメータ値は、頭回し回数、頭回し持続時間、頭回し頻度の中のいずれか一つ又は複数を含み、及び/又は、
前記視線方向ずれ度合いのパラメータ値は、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度の中のいずれか一つ又は複数を含み、及び/又は、
前記漫然度合いのパラメータ値は、開眼幅、開眼持続時間、開眼累計時間が統計時間窓で占める割合の中のいずれか一つ又は複数を含み、及び/又は、
前記居眠り度合いのパラメータ値は、居眠りうなずき状態、居眠りうなずき幅、居眠りうなずき回数、居眠りうなずき頻度、居眠りうなずき持続時間の中のいずれか一つ又は複数を含み、及び/又は、
前記閉眼度合いのパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半分閉眼回数、半分閉眼頻度、閉眼累計時間が統計時間窓で占める割合の中のいずれか一つ又は複数を含み、及び/又は、
前記まばたき度合いのパラメータ値は、まばたき回数、まばたき頻度、まばたき持続時間、まばたき累計時間が統計時間窓で占める割合の中のいずれか一つ又は複数を含み、及び/又は、
前記あくび度合いのパラメータ値は、あくび状態、あくび回数、あくび持続時間、あくび頻度の中のいずれか一つ又は複数を含むことを特徴とする請求項64−74のいずれか一項に記載の装置。 - 前記第2決定サブユニットは、いずれか一つ又は複数の前記の運転者の注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者の注意散漫状態の検出結果を注意散漫状態と決定する操作、及び/又は、前記の運転者の注意散漫状態を表すための指標のパラメータ値がいずれも所定注意散漫条件を満たさない時に、運転者の注意散漫状態の検出結果を非注意散漫状態と決定する操作に用いられることを特徴とする請求項54−75のいずれか一項に記載の装置。
- 前記所定注意散漫条件は、複数の注意散漫等級条件を含み、
前記第2決定サブユニットは、いずれか一つ又は複数の前記の運転者の注意散漫状態を表すための指標のパラメータ値が所定注意散漫条件を満たした時に、運転者の注意散漫状態の検出結果を注意散漫状態と決定する時に、前記の運転者の注意散漫状態を表すための指標のパラメータ値が満たした注意散漫等級条件に基づいて、注意散漫状態等級を決定する操作と、決定された注意散漫状態等級を運転者の注意散漫状態の検出結果とする操作とに用いられることを特徴とする請求項76に記載の装置。 - 前記第4決定サブユニットは、いずれか一つ又は複数の前記の運転者の疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者の疲労状態の検出結果を疲労状態と決定する操作、及び/又は、前記の運転者の疲労状態を表すための指標のパラメータ値がいずれも所定疲労条件を満たさない時に、運転者の疲労状態の検出結果を非疲労状態と決定する操作に用いられることを特徴とする請求項55−77のいずれか一項に記載の装置。
- 前記所定疲労条件は、複数の疲労等級条件を含み、
前記第4決定サブユニットは、いずれか一つ又は複数の前記の運転者の疲労状態を表すための指標のパラメータ値が所定疲労条件を満たした時に、運転者の疲労状態の検出結果を疲労状態と決定する時に、前記の運転者の疲労状態を表すための指標のパラメータ値が満たした疲労等級条件に基づいて、疲労状態等級を決定する操作と、決定された疲労状態等級を運転者の疲労状態の検出結果とする操作とに用いられることを特徴とする請求項78に記載の装置。 - 前記運転者画像に対して所定注意散漫動作検出を行って、所定注意散漫動作が発生したか否かを決定するための第2検出モジュールと、
所定注意散漫動作が発生した時に、所定時間内に前記所定注意散漫動作が発生したか否かの決定結果に基づいて、運転者の注意散漫度合いを表すための指標のパラメータ値を取得するための第1取得モジュールと、
前記の運転者の注意散漫度合いを表すための指標のパラメータ値に基づいて、運転者の所定注意散漫動作の検出結果を決定するための第3決定モジュールと、を更に含むことを特徴とする請求項52−79のいずれか一項に記載の装置。 - 前記所定注意散漫動作は、喫煙動作、飲水動作、飲食動作、電話通話動作、娯楽動作、化粧動作の中のいずれか一つ又は複数を含むことを特徴とする請求項80に記載の装置。
- 前記第2検出モジュールは、前記運転者画像の特徴を抽出する操作と、前記特徴に基づいて所定注意散漫動作を含む可能性がある複数の候補枠を抽出する操作と、複数の前記候補枠に基づいて、顔の局所領域と動作関連物を含む動作目標枠を決定する操作と、前記動作目標枠に基づいて所定注意散漫動作の分類検出を行って、前記所定注意散漫動作が発生したか否かを決定する操作とに用いられることを特徴とする請求項81に記載の装置。
- 前記顔の局所領域は、口部領域、耳部領域、目部領域の中のいずれか一つ又は複数を含み、及び/又は、
前記動作関連物は、容器、タバコ、携帯電話、食物、工具、飲料ボトル、眼鏡、マスクの中のいずれか一つ又は複数を含むことを特徴とする請求項82に記載の装置。 - 前記動作目標枠は、手部領域を更に含むことを特徴とする請求項82又は83に記載の装置。
- 前記第2検出モジュールは、第8ニューラルネットワークによって前記運転者画像に対して顔検出を行って顔検出枠を取得し、前記顔検出枠の特徴情報を抽出する操作と、前記第8ニューラルネットワークによって前記顔検出枠の特徴情報に基づいて喫煙動作が発生したか否かを決定する操作とに用いられることを特徴とする請求項81に記載の装置。
- 前記第2検出モジュールは、第9ニューラルネットワークによって前記運転者画像に対して前記飲食動作/飲水動作/電話通話動作/娯楽動作/化粧動作に対応する所定目標対象の検出を行って、容器、食物、電子機器、化粧品の中のいずれか一つ又は複数を含む動作関連物、手部、口部、および、目部を含む所定目標対象の検出枠を得る操作と、前記所定目標対象の検出枠に基づいて、所定注意散漫動作が発生したか否かを決定する操作とに用いられ、所定注意散漫動作が発生したか否かの決定結果は、飲食動作/飲水動作/電話通話動作/娯楽動作/化粧動作が発生しなかったこと、飲食動作が発生したこと、飲水動作が発生したこと、電話通話動作が発生したこと、娯楽動作が発生したこと、化粧動作が発生したことの中の一項を含むことを特徴とする請求項81に記載の装置。
- 前記第2検出モジュールは、前記所定目標対象の検出枠に基づいて所定注意散漫動作が発生したか否かを決定する時に、手部の検出枠、口部の検出枠、目部の検出枠及び動作関連物の検出枠が検出されたか否か、および、手部の検出枠と動作関連物の検出枠とが重なっているか否か、前記動作関連物の種類及び動作関連物の検出枠と口部の検出枠又は目部の検出枠との間の距離が所定条件を満たすか否かに応じて、所定注意散漫動作が発生したか否かを決定するために用いられることを特徴とする請求項86に記載の装置。
- 前記第2検出モジュールは、手部の検出枠と動作関連物の検出枠とが重なっているか否か、および、動作関連物の検出枠と口部の検出枠又は目部の検出枠との間の位置関係が所定条件を満たすか否かに応じて、所定注意散漫動作が発生したか否かを決定する時に、前記手部の検出枠と前記動作関連物の検出枠とが重なっており、前記動作関連物の種類が容器又は食物であり、且つ前記動作関連物の検出枠と口部の検出枠とが重なっている場合に、飲食動作、飲水動作又は化粧動作が発生したと決定する操作、及び/又は、前記手部の検出枠と前記動作関連物の検出枠とが重なっており、前記動作関連物の種類が電子機器であり、且つ前記動作関連物の検出枠と口部の検出枠との間の最小距離が第1所定距離より小さく、又は前記動作関連物の検出枠と目部の検出枠との間の最小距離が第2所定距離より小さい場合に、娯楽動作又は電話通話動作が発生したと決定する操作に用いられることを特徴とする請求項87に記載の装置。
- 前記第2検出モジュールは、更に、手部の検出枠、口部の検出枠及びいずれか1つの前記動作関連物の検出枠が同時に検出されなく、且つ手部の検出枠、目部の検出枠及びいずれか1つの前記動作関連物の検出枠が同時に検出されなかった場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったと決定する操作、及び/又は、手部の検出枠と前記動作関連物の検出枠とが重なっていない場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作、化粧動作が検出されなかったと決定する操作、及び/又は、前記動作関連物の種類が容器又は食物であり、且つ前記動作関連物の検出枠と口部の検出枠とが重なっておらず、及び/又は、前記動作関連物の種類が電子機器であり、且つ前記動作関連物の検出枠と口部の検出枠との間の最小距離が第1所定距離より小さくなく、又は前記動作関連物の検出枠と目部の検出枠との間の最小距離が第2所定距離より小さくない場合に、所定注意散漫動作が発生したか否かの決定結果として、飲食動作、飲水動作、電話通話動作、娯楽動作及び化粧動作が検出されなかったと決定する操作に用いられることを特徴とする請求項87又は88に記載の装置。
- 前記注意散漫度合いのパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度の中のいずれか一つ又は複数を含むことを特徴とする請求項80−89のいずれか一項に記載の装置。
- 前記の注意散漫度合いを表すための指標のパラメータ値が満たした注意散漫動作等級条件に基づいて、注意散漫動作等級を決定するための第4決定モジュールを更に含み、
前記第3決定モジュールは、決定された注意散漫動作等級を運転者の所定注意散漫動作の検出結果とするために用いられることを特徴とする請求項80−90のいずれか一項に記載の装置。 - 前記運転者状態の検出結果に基づいて、警報を行うための警報モジュール、及び/又は、
疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作の検出結果の中のいずれか一つ又は複数を含む前記運転者状態の検出結果に基づいて、インテリジェント運転制御を行うための運転制御モジュールを更に含むことを特徴とする請求項52−91のいずれか一項に記載の装置。 - 前記警報モジュールは、運転者状態の検出結果が所定警報条件を満たした時に、前記警報条件に対応するプロンプト/警報情報を出力するために用いられ、及び/又は、
前記運転制御モジュールは、運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替えるために用いられることを特徴とする請求項92に記載の装置。 - 前記警報モジュールは、疲労状態の検出結果が疲労状態である時に、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、注意散漫状態の検出結果が注意散漫状態である時に、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、所定注意散漫動作が発生した時に、前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、運転者状態の検出結果として、疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作が発生した検出結果のうちの任意の二つ又は三つがあった時に、所定方式でプロンプト/警報情報を出力する操作に用いられることを特徴とする請求項93に記載の装置。
- 前記警報モジュールは、更に、前記疲労状態に対応するプロンプト/警報情報を出力した後の所定時間内に、前記運転者状態の検出結果のうちの他の検出結果に対応するプロンプト/警報情報を抑える操作、及び/又は、前記注意散漫状態に対応するプロンプト/警報情報を出力した後の所定時間内に、前記運転者状態の検出結果のうちの他の検出結果に対応するプロンプト/警報情報を抑える操作、及び/又は、前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力した後の所定時間内に、前記運転者状態の検出結果のうちの他の検出結果に対応するプロンプト/警報情報を抑える操作に用いられることを特徴とする請求項94に記載の装置。
- 前記警報モジュールは、運転者状態の検出結果として、疲労状態の検出結果、注意散漫状態の検出結果、所定注意散漫動作が発生した検出結果のうちの任意の二つ又は三つがあった時に、所定方式でプロンプト/警報情報を出力する時に、
運転者状態の検出結果が疲労状態と注意散漫状態である時に、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果と注意散漫状態の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、
運転者状態の検出結果が注意散漫状態であり、所定注意散漫動作が検出された時に、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、前記注意散漫状態の検出結果と前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、
運転者状態の検出結果が疲労状態であり、所定注意散漫動作が検出された時に、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力し、又は、所定注意散漫動作が検された検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果と前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する操作、及び/又は、
運転者状態の検出結果が疲労状態、注意散漫状態であり、所定注意散漫動作が発生した時に、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果と前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力し、又は、前記注意散漫状態の検出結果と前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果と前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力し、又は、前記疲労状態の検出結果、前記注意散漫状態の検出結果及び前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する操作に用いられることを特徴とする請求項94又は95に記載の装置。 - 疲労状態の検出結果が疲労状態等級である時に、前記警報モジュールは、前記疲労状態の検出結果に対応するプロンプト/警報情報を出力する時に、前記疲労状態等級に基づいて対応するプロンプト又は警報情報を出力するために用いられ、及び/又は、
注意散漫状態の検出結果が注意散漫状態等級である時に、前記警報モジュールは、前記注意散漫状態の検出結果に対応するプロンプト/警報情報を出力する時に、前記注意散漫状態等級に基づいて対応するプロンプト又は警報情報を出力するために用いられ、
所定注意散漫動作の検出結果が注意散漫動作等級である時に、前記警報モジュールは、前記所定注意散漫動作の検出結果に対応するプロンプト/警報情報を出力する時に、前記注意散漫動作等級に基づいて対応するプロンプト又は警報情報を出力するために用いられることを特徴とする請求項94−96のいずれか一項に記載の装置。 - 前記運転制御モジュールは、前記疲労状態等級及び/又は前記注意散漫状態等級及び/又は前記注意散漫動作等級が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替えるために用いられることを特徴とする請求項97に記載の装置。
- 画像を取得して前記運転者画像を得るための赤外線カメラを更に含むことを特徴とする請求項52−98のいずれか一項に記載の装置。
- 前記赤外線カメラが車両内の少なくとも1つの位置に設置されることを特徴とする請求項99に記載の装置。
- 前記少なくとも1つの位置は、インストルメントパネルの上方又は近傍位置、センターコンソールの上方又は近傍位置、Aピラー又は近傍位置、バックミラー又は近傍位置の中のいずれか1つ又は複数の位置を含むことを特徴とする請求項100に記載の装置。
- 前記赤外線カメラは、前記車両が走行状態にある時に画像を取得して前記運転者画像を得る操作、及び/又は、前記車両の走行速度が所定車速を超えると、画像を取得して前記運転者画像を得る操作、及び/又は、前記車両が起動したことが検出されると、画像を取得して前記運転者画像を得る操作、及び/又は、前記車両の起動コマンドが検出されると、画像を取得して前記運転者画像を得る操作、及び/又は、前記車両又は前記車両中の部材或いはシステムへの制御コマンドが検出されると、画像を取得して前記運転者画像を得る操作に用いられることを特徴とする請求項99−101のいずれか一項に記載の装置。
- 運転者監視システムであって、
運転者画像、および、運転者の疲労状態と注意散漫状態の検出結果を表示するための表示装置と、
運転者画像に対して頭部姿勢検出と目部状態検出を行って、頭部姿勢情報と目部状態情報を得、前記頭部姿勢情報と前記目部状態情報に基づいて、運転者の疲労状態と注意散漫状態の検出結果を決定するための運転者状態検出装置と、を含むことを特徴とする運転者監視システム。 - 前記運転者状態検出装置は、請求項52−102のいずれか一項に記載の運転状態検出装置を含むことを特徴とする請求項103に記載のシステム。
- 電子機器であって、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されているコンピュータプログラムを実行するためのものであって、前記コンピュータプログラムが実行されると、上記請求項1−51のいずれか一項に記載の運転状態検出方法を実現するプロセッサと、を含むことを特徴とする電子機器。 - コンピュータプログラムが記憶されているコンピュータ読取可能記憶媒体であって、
前記コンピュータプログラムがプロセッサにより実行されると、上記請求項1−51のいずれか一項に記載の運転状態検出方法を実現することを特徴とするコンピュータ読取可能記憶媒体。 - 中央制御システムを含む車両であって、
前記中央制御システムと通信可能に接続される請求項52−102のいずれか一項に記載の運転状態検出装置、又は、前記中央制御システムと通信可能に接続される請求項103−104のいずれか一項に記載の運転者監視システムを更に含むことを特徴とする車両。 - 前記中央制御システムは、
前記運転状態検出装置又は前記運転者監視システムの出力した運転者状態の検出結果に基づいて、運転者状態の検出結果が所定警報条件を満たした時に、前記車両中の娯楽システム又は前記車両の外部に接続される娯楽システムを呼び出して前記警報条件に対応するプロンプト/警報情報を出力する操作、及び/又は、
運転者状態の検出結果が所定運転モード切り替え条件を満たした時に、運転モードを自動運転モードに切り替え、且つ自動運転モードで前記車両に対して自動運転制御を行う操作に用いられることを特徴とする請求項107に記載の車両。 - 前記中央制御システムは、更に、手動運転に切り替える運転コマンドを受信すると、運転モードを手動運転モードに切り替えるために用いられることを特徴とする請求項107又は108に記載の車両。
- 前記中央制御システムの制御コマンドに基づいて、前記警報条件に対応するプロンプト/警報情報を出力する操作、及び/又は、前記中央制御システムの制御コマンドに基づいて、プロンプト/警報情報の警報効果又は娯楽項目の再生効果を調整する操作に用いられる娯楽システムを更に含むことを特徴とする請求項107−109のいずれか一項に記載の車両。
- 画像を取得するための少なくとも1つの赤外線カメラを更に含むことを特徴とする請求項107−110のいずれか一項に記載の車両。
- 前記赤外線カメラが、インストルメントパネルの上方又は近傍位置、センターコンソールの上方又は近傍位置、Aピラー又は近傍位置、バックミラー又は近傍位置の中のいずれか1つ又は複数の位置を含む前記車両内の少なくとも1つの位置に設置されることを特徴とする請求項111に記載の車両。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811224308.9A CN111079475A (zh) | 2018-10-19 | 2018-10-19 | 驾驶状态检测方法和装置、驾驶员监控***、车辆 |
CN201811224308.9 | 2018-10-19 | ||
PCT/CN2019/111931 WO2020078464A1 (zh) | 2018-10-19 | 2019-10-18 | 驾驶状态检测方法和装置、驾驶员监控***、车辆 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021527900A true JP2021527900A (ja) | 2021-10-14 |
JP7146959B2 JP7146959B2 (ja) | 2022-10-04 |
Family
ID=70282880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020571644A Active JP7146959B2 (ja) | 2018-10-19 | 2019-10-18 | 運転状態検出方法及び装置、運転者監視システム並びに車両 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11308723B2 (ja) |
JP (1) | JP7146959B2 (ja) |
KR (1) | KR102469233B1 (ja) |
CN (1) | CN111079475A (ja) |
SG (1) | SG11202009437SA (ja) |
WO (1) | WO2020078464A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023228758A1 (ja) * | 2022-05-24 | 2023-11-30 | 住友重機械工業株式会社 | 建設機械、建設機械の支援システム |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018033137A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 在视频图像中展示业务对象的方法、装置和电子设备 |
CN109902560A (zh) * | 2019-01-15 | 2019-06-18 | 浙江师范大学 | 一种基于深度学习的疲劳驾驶预警方法 |
KR20210009596A (ko) * | 2019-07-17 | 2021-01-27 | 엘지전자 주식회사 | 지능적 음성 인식 방법, 음성 인식 장치 및 지능형 컴퓨팅 디바이스 |
CN111539333B (zh) * | 2020-04-24 | 2021-06-29 | 湖北亿咖通科技有限公司 | 驾驶员的注视区域识别及分心检测方法 |
CN111680592A (zh) * | 2020-05-28 | 2020-09-18 | 东风柳州汽车有限公司 | 车内生物检测方法、装置、设备及存储介质 |
KR20210128491A (ko) * | 2020-06-29 | 2021-10-26 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 위험 주행 행위 식별 방법, 장치, 전자 설비 및 저장매체 |
CN111785008A (zh) * | 2020-07-04 | 2020-10-16 | 苏州信泰中运物流有限公司 | 一种基于gps和北斗定位的物流监控管理方法、装置及计算机可读存储介质 |
CN112585583B (zh) * | 2020-07-17 | 2021-12-03 | 华为技术有限公司 | 数据处理方法、装置及智能车辆 |
CN213056885U (zh) * | 2020-08-11 | 2021-04-27 | 上海商汤临港智能科技有限公司 | 车辆 |
CN112016457A (zh) * | 2020-08-27 | 2020-12-01 | 青岛慕容信息科技有限公司 | 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质 |
CN112052775A (zh) * | 2020-08-31 | 2020-12-08 | 同济大学 | 一种基于梯度直方图视频识别技术的疲劳驾驶检测方法 |
CN112052770A (zh) * | 2020-08-31 | 2020-12-08 | 北京地平线信息技术有限公司 | 用于疲劳检测的方法、装置、介质以及电子设备 |
CN112289003B (zh) * | 2020-10-23 | 2022-06-17 | 江铃汽车股份有限公司 | 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控*** |
CN114495069A (zh) * | 2020-10-27 | 2022-05-13 | 中车株洲电力机车研究所有限公司 | 一种监测司机驾驶状态的方法及*** |
CN112277957B (zh) * | 2020-10-27 | 2022-06-24 | 广州汽车集团股份有限公司 | 一种用于驾驶员分心纠正的预警方法及其***、存储介质 |
TWI741892B (zh) * | 2020-12-01 | 2021-10-01 | 咸瑞科技股份有限公司 | 車內駕駛監測系統 |
CN112455327A (zh) * | 2020-12-03 | 2021-03-09 | 上海汽车集团股份有限公司 | 一种车灯控制方法、装置及计算机可读存储介质 |
CN112660157B (zh) * | 2020-12-11 | 2022-12-27 | 重庆邮电大学 | 一种多功能无障碍车远程监控与辅助驾驶*** |
CN112633247A (zh) * | 2021-01-04 | 2021-04-09 | 珠海研果科技有限公司 | 驾驶状态监测方法和装置 |
CN112754498B (zh) * | 2021-01-11 | 2023-05-26 | 一汽解放汽车有限公司 | 驾驶员的疲劳检测方法、装置、设备及存储介质 |
CN112668548B (zh) * | 2021-01-15 | 2024-07-12 | 重庆大学 | 一种驾驶员发呆检测方法及*** |
CN112829767B (zh) * | 2021-02-22 | 2024-05-17 | 清华大学苏州汽车研究院(相城) | 一种基于监测驾驶员误操作的自动驾驶控制***及方法 |
CN112907408A (zh) * | 2021-03-01 | 2021-06-04 | 北京安博创赢教育科技有限责任公司 | 一种评价学生学习效果的方法、装置、介质和电子设备 |
CN113060144A (zh) * | 2021-03-12 | 2021-07-02 | 上海商汤临港智能科技有限公司 | 分心提醒方法及装置、电子设备和存储介质 |
CN113119981B (zh) * | 2021-04-09 | 2022-06-17 | 东风汽车集团股份有限公司 | 车辆主动安全控制方法、***及存储介质 |
CN113119970A (zh) * | 2021-04-26 | 2021-07-16 | 徐州工程学院 | 一种用于复杂环境下的自动驾驶*** |
CN113468956A (zh) * | 2021-05-24 | 2021-10-01 | 北京迈格威科技有限公司 | 注意力判定方法、模型训练方法及对应装置 |
CN113298041B (zh) * | 2021-06-21 | 2024-07-02 | 黑芝麻智能科技(上海)有限公司 | 用于标定驾驶员分心参考方向的方法及*** |
CN113361452B (zh) * | 2021-06-24 | 2023-06-20 | 中国科学技术大学 | 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及*** |
CN113593183A (zh) * | 2021-06-25 | 2021-11-02 | 湖南大学 | 一种基于声学的疲劳驾驶和分心驾驶的检测方法、装置、设备及介质 |
CN113537115A (zh) * | 2021-07-26 | 2021-10-22 | 东软睿驰汽车技术(沈阳)有限公司 | 驾驶员的驾驶状态获取方法、装置及电子设备 |
CN113569785A (zh) * | 2021-08-04 | 2021-10-29 | 上海汽车集团股份有限公司 | 驾驶状态感知方法及装置 |
US11830259B2 (en) * | 2021-08-24 | 2023-11-28 | Nvidia Corporation | Robust state estimation |
CN113978475A (zh) * | 2021-09-22 | 2022-01-28 | 东风汽车集团股份有限公司 | 一种驾驶员疲劳驾车时自动驾驶介入的控制方法与*** |
CN114148336A (zh) * | 2021-12-09 | 2022-03-08 | 奇瑞汽车股份有限公司 | 车辆控制方法及装置 |
KR102442203B1 (ko) * | 2022-03-30 | 2022-09-08 | 라이트하우스(주) | 얼굴 인식 및 아이 트래킹에 기반한 운전자 졸음 예측 방법, 장치 및 시스템 |
CN114821549A (zh) * | 2022-04-22 | 2022-07-29 | 电子科技大学 | 一种利用方向盘定位驾驶区域的驾驶行为识别方法 |
CN115303946B (zh) * | 2022-09-16 | 2023-05-26 | 江苏省特种设备安全监督检验研究院 | 基于数字孪生的塔式起重机工作监测方法、*** |
KR102594256B1 (ko) * | 2022-11-15 | 2023-10-26 | 주식회사 에딘트 | 인공지능 기반 행동 모니터링 방법, 프로그램 및 장치 |
CN116052136B (zh) * | 2023-03-27 | 2023-09-05 | 中国科学技术大学 | 分心检测方法、车载控制器和计算机存储介质 |
CN117935231B (zh) * | 2024-03-20 | 2024-06-07 | 杭州臻稀生物科技有限公司 | 一种无感式疲劳驾驶监测干预方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008140266A (ja) * | 2006-12-04 | 2008-06-19 | Toyota Motor Corp | 状態推定装置 |
JP2016027452A (ja) * | 2014-06-23 | 2016-02-18 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
JP2016539446A (ja) * | 2013-10-29 | 2016-12-15 | キム,ジェ−チョル | 動作と、顔面と、目及び口形状の認知を通じた2段階に亘っての居眠り運転の防止装置 |
JP2018133007A (ja) * | 2017-02-16 | 2018-08-23 | いすゞ自動車株式会社 | 警報装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102013013B (zh) * | 2010-12-23 | 2013-07-03 | 华南理工大学广州汽车学院 | 疲劳驾驶监测方法 |
US9751534B2 (en) | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
TWI493511B (zh) * | 2013-09-04 | 2015-07-21 | Ind Tech Res Inst | 駕駛狀態偵測系統、駕駛狀態偵測方法與電子裝置 |
CN104688251A (zh) | 2015-03-02 | 2015-06-10 | 西安邦威电子科技有限公司 | 一种多姿态下的疲劳及非正常姿态驾驶检测方法 |
DE102015204247A1 (de) * | 2015-03-10 | 2016-09-15 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen eines Müdigkeits- und/oder Schlafzustandes eines Fahrers eines Fahrzeugs |
TWI598258B (zh) * | 2016-11-28 | 2017-09-11 | Driving behavior detection method and system thereof | |
CN108229284B (zh) * | 2017-05-26 | 2021-04-09 | 北京市商汤科技开发有限公司 | 视线追踪及训练方法和装置、***、电子设备和存储介质 |
CN108022451A (zh) * | 2017-12-06 | 2018-05-11 | 驾玉科技(上海)有限公司 | 一种基于云端的驾驶员状态预警上报及分发*** |
CN108446600A (zh) * | 2018-02-27 | 2018-08-24 | 上海汽车集团股份有限公司 | 一种车辆驾驶员疲劳监测预警***及方法 |
CN108583430B (zh) * | 2018-05-22 | 2024-03-15 | 长安大学 | 一种用于检测和提醒驾驶员分心的驾驶***及判断方法 |
-
2018
- 2018-10-19 CN CN201811224308.9A patent/CN111079475A/zh active Pending
-
2019
- 2019-10-18 WO PCT/CN2019/111931 patent/WO2020078464A1/zh active Application Filing
- 2019-10-18 JP JP2020571644A patent/JP7146959B2/ja active Active
- 2019-10-18 KR KR1020207029577A patent/KR102469233B1/ko active IP Right Grant
- 2019-10-18 SG SG11202009437SA patent/SG11202009437SA/en unknown
-
2020
- 2020-09-24 US US17/031,017 patent/US11308723B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008140266A (ja) * | 2006-12-04 | 2008-06-19 | Toyota Motor Corp | 状態推定装置 |
JP2016539446A (ja) * | 2013-10-29 | 2016-12-15 | キム,ジェ−チョル | 動作と、顔面と、目及び口形状の認知を通じた2段階に亘っての居眠り運転の防止装置 |
JP2016027452A (ja) * | 2014-06-23 | 2016-02-18 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
JP2018133007A (ja) * | 2017-02-16 | 2018-08-23 | いすゞ自動車株式会社 | 警報装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023228758A1 (ja) * | 2022-05-24 | 2023-11-30 | 住友重機械工業株式会社 | 建設機械、建設機械の支援システム |
Also Published As
Publication number | Publication date |
---|---|
WO2020078464A1 (zh) | 2020-04-23 |
JP7146959B2 (ja) | 2022-10-04 |
KR20200132945A (ko) | 2020-11-25 |
US20210004618A1 (en) | 2021-01-07 |
CN111079475A (zh) | 2020-04-28 |
US11308723B2 (en) | 2022-04-19 |
KR102469233B1 (ko) | 2022-11-18 |
SG11202009437SA (en) | 2020-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021527900A (ja) | 運転状態検出方法及び装置、運転者監視システム並びに車両 | |
CN111079476B (zh) | 驾驶状态分析方法和装置、驾驶员监控***、车辆 | |
KR102391279B1 (ko) | 운전 상태 모니터링 방법 및 장치, 운전자 모니터링 시스템 및 차량 | |
JP6932208B2 (ja) | 運転管理方法及びシステム、車載スマートシステム、電子機器並びに媒体 | |
US10915769B2 (en) | Driving management methods and systems, vehicle-mounted intelligent systems, electronic devices, and medium | |
WO2020186801A1 (zh) | 驾驶员注意力监测方法和装置及电子设备 | |
JP6916307B2 (ja) | 車両制御方法及びシステム、車載インテリジェントシステム、電子機器並びに媒体 | |
JPWO2019198179A1 (ja) | 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 | |
WO2022224173A1 (en) | Systems and methods for determining driver control over a vehicle | |
CN118155192A (zh) | 疲劳驾驶检测方法、车辆、设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7146959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |