JP2019212226A - ドライバ監視装置 - Google Patents

ドライバ監視装置 Download PDF

Info

Publication number
JP2019212226A
JP2019212226A JP2018110478A JP2018110478A JP2019212226A JP 2019212226 A JP2019212226 A JP 2019212226A JP 2018110478 A JP2018110478 A JP 2018110478A JP 2018110478 A JP2018110478 A JP 2018110478A JP 2019212226 A JP2019212226 A JP 2019212226A
Authority
JP
Japan
Prior art keywords
face
driver
detection
cause
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018110478A
Other languages
English (en)
Other versions
JP6870660B2 (ja
Inventor
健一郎 原
Kenichiro Hara
健一郎 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018110478A priority Critical patent/JP6870660B2/ja
Priority to US16/430,528 priority patent/US10853622B2/en
Priority to CN201910490333.XA priority patent/CN110580436B/zh
Publication of JP2019212226A publication Critical patent/JP2019212226A/ja
Application granted granted Critical
Publication of JP6870660B2 publication Critical patent/JP6870660B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)

Abstract

【課題】撮像装置を用いてドライバの飲食動作を検出する。【解決手段】ドライバ監視装置１は、車両のドライバの顔を撮影して画像を生成する撮像装置２と、画像からドライバの顔を検出する顔検出部３１、顔検出部によって顔が検出された場合に画像に基づいてドライバの顔向きを推定する顔向き推定部３２及び顔検出部によって顔が検出されない場合に、顔が検出されない原因を判定する原因判定部３３を有するＥＣＵ３と、を備える。顔検出部は、画像から顔の特徴点を抽出することによって顔を検出する。原因判定部は、顔の検出状態が検出から非検出に変化したときに、検出状態が検出から非検出に変化するまでの所定数の画像において、顔向き推定部によって推定された顔向きが正面であり且つ顔検出部によって顔の下方領域の特徴点が抽出されていない場合には、顔が検出されない原因がドライバの飲食動作であると判定する。【選択図】図１

Description

本発明はドライバ監視装置に関する。
従来、ドライバの異常（居眠り、脇見、離席等）を検出すべく、車両に設けられた撮像装置を用いて車両のドライバを監視する装置が知られている（例えば特許文献１）。斯かる装置では、撮像装置によって生成されたドライバの画像からドライバの顔が検出され、検出された顔に基づいてドライバの顔向き等が推定される。
しかしながら、ドライバが異常である場合、例えば、ドライバがスマートフォン等を見ている場合、ドライバが離席している場合等には、ドライバの顔が検出されない。この場合、ドライバの状態を正常にすべく、ドライバに警報が与えられる。
特開２００８−２１７６９３号公報
ところで、ドライバは車両の走行中に飲食を行うことがある。ドライバによって飲食が行われると、飲食物によってドライバの顔が隠され、ドライバの顔が検出されない場合がある。しかしながら、ドライバの飲食によってドライバが異常であると判定されてドライバに警報が与えられると、ドライバが不快に感じるおそれがある。
上記課題に鑑みて、本発明の目的は、撮像装置を用いてドライバの飲食動作を検出することにある。
本開示の要旨は以下のとおりである。
（１）車両のドライバの顔を撮影して画像を生成する撮像装置と、前記画像から前記顔を検出する顔検出部と、前記顔検出部によって前記顔が検出された場合に前記画像に基づいて前記ドライバの顔向きを推定する顔向き推定部と、前記顔検出部によって前記顔が検出されない場合に、該顔が検出されない原因を判定する原因判定部とを備え、前記顔検出部は、前記画像から前記顔の特徴点を抽出することによって前記顔を検出し、前記原因判定部は、前記顔の検出状態が検出から非検出に変化したときに、該検出状態が検出から非検出に変化するまでの所定数の前記画像において、前記顔向き推定部によって推定された前記顔向きが正面であり且つ前記顔検出部によって前記顔の下方領域の特徴点が抽出されていない場合には、前記原因が前記ドライバの飲食動作であると判定する、ドライバ監視装置。
（２）前記判定部は、前記状況が発生したときに、前記所定期間において前記画像が不鮮明であることが検出された回数又は頻度が所定値以上である場合に、前記原因が前記撮像装置にあると判定する、上記（１）に記載のドライバ監視装置。
（３）前記警報部は、前記顔の検出状態が未検出である状態が閾値時間継続した場合に前記ドライバに警報を与え、前記警報部は、前記原因が前記ドライバの飲食動作であると判定された場合には、前記原因が前記ドライバの飲食動作以外であると判定された場合に比べて、前記閾値時間を長くする、上記（２）に記載のドライバ監視装置。
本発明によれば、撮像装置を用いてドライバの飲食動作を検出することができる。
図１は、本発明の第一実施形態に係るドライバ監視装置の構成を示すブロック図である。 図２は、ドライバ監視装置を搭載した車両の内部を概略的に示す図である。 図３は、ドライバが飲食を行うときの画像を時系列に示す図である。 図４は、第一実施形態における顔検出処理の制御ルーチンを示すフローチャートである。 図５は、第一実施形態における顔向き推定処理の制御ルーチンを示すフローチャートである。 図６は、第一実施形態における原因判定処理の制御ルーチンを示すフローチャートである。 図７は、第一実施形態における警報処理の制御ルーチンを示すフローチャートである。 図８は、第二実施形態における警報処理の制御ルーチンを示すフローチャートである。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
＜第一実施形態＞
以下、図１〜図７を参照して、本発明の第一実施形態について説明する。
＜ドライバ監視装置の構成＞
図１は、本発明の第一実施形態に係るドライバ監視装置の構成を示すブロック図である。ドライバ監視装置１は、撮像装置２及びＥＣＵ（電子制御ユニット）３を備え、車両のドライバを監視する。
図２は、ドライバ監視装置１を搭載した車両の内部を概略的に示す図である。車両１０は、例えば自動走行が可能な自動運転車両である。撮像装置２は、車両１０のドライバの顔を撮影して画像を生成する。撮像装置２はいわゆるドライバモニタカメラである。
撮像装置２は車両１０の内部に設けられる。具体的には、図２に示すように、撮像装置２は車両１０のステアリングコラム１１の上部に設けられる。図２には、撮像装置２の投影範囲が破線で示されている。なお、撮像装置２は、車両１０のステアリング１２、ルームミラー、メータパネル、メータフード等に設けられてもよい。
撮像装置２はカメラ及び投光器を備える。カメラは、レンズ及び撮像素子を含み、例えばＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラである。投光器は、ＬＥＤ（発光ダイオード）であり、例えばカメラの両側に配置された二個の近赤外ＬＥＤである。ドライバに近赤外光を照射することによって、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができる。また、近赤外以外の波長成分の光を除去するするバンドパスフィルタがカメラの内部に設けられ、近赤外ＬＥＤから照射される赤色波長成分の光を除去する可視光カットフィルタが投光器の前面に設けられる。
撮像装置２の動作はＥＣＵ３によって制御される。例えば、撮像装置２は、車両１０のイグニッションスイッチがオンであるときに、所定間隔で繰り返しドライバの顔を撮影する。撮像装置２によって生成された画像（以下、単に「画像」と称する）は撮像装置２からＥＣＵ３に送信される。
＜ドライバ監視装置の制御＞
ＥＣＵ３は、車両１０に設けられたマイクロコンピュータであり、各種制御を実行する。ＥＣＵ３は、ＲＯＭ（読み出し専用メモリ）及びＲＡＭ（ランダムアクセスメモリ）のようなメモリ、ＣＰＵ（中央演算装置）、電源回路、入力ポート、出力ポート、通信モジュール等を備える。本実施形態では、メモリに記憶されたコンピュータプロフラムをＣＰＵが実行することによって、ＥＣＵ３は、顔検出部３１、顔向き推定部３２、原因判定部３３及び警報部３４として機能する。なお、本実施形態では、一つのＥＣＵ３が設けられているが、機能毎に複数のＥＣＵが設けられてもよい。
顔検出部３１は、画像を撮像装置２から受信し、画像からドライバの顔を検出する。基本的には、ドライバの状態が正常である場合、すなわち走行中の車両１０の周囲の監視義務をドライバが果たしている場合には、ドライバの顔が撮像装置２のカメラの画角内に入り、ドライバの顔が検出される。一方、ドライバが異常である場合に、例えば、ドライバが自分の体又は所有物によって撮像装置２のレンズを塞いでいる場合、ドライバがスマートフォン等を見ている場合、ドライバが離席している場合等には、ドライバの顔が検出不可能となる。
顔検出部３１は画像からドライバの顔の特徴点を抽出することによってドライバの顔を検出する。例えば、顔検出部３１は、抽出可能な特徴点の数が所定値以上である場合にはドライバの顔を検出し、抽出可能な特徴点の数が所定値未満である場合には、ドライバの顔を検出しない。また、顔検出部３１は、顔の特徴点から顔部品を検出し、所定の顔部品（例えば眼及び鼻）が検出可能である場合にはドライバの顔を検出し、所定の顔部品が検出不可能である場合にはドライバの顔を検出しなくてもよい。
顔向き推定部３２は、顔検出部３１によってドライバの顔が検出された場合に画像に基づいてドライバの顔向きを推定する。顔向き推定部３２は、画像からドライバの顔の角度を算出し、ドライバの顔の角度が所定値以下である場合に、ドライバの顔向きが正面であると推定する。顔向き推定部３２は、例えば、顔のヨー角及びピッチ角が±１０〜３０度以内である場合に、ドライバの顔向きが正面であると推定する。顔のヨー角は、ドライバが顔を左右に振る方向の角度であり、顔のピッチ角は、ドライバが顔を上下に振る方向の角度である。
顔向き推定部３２は、例えば以下のように画像からドライバの顔の角度を算出する。顔向き推定部３２は、ドライバの顔の角度が０度であるときの顔形状データと、画像の顔領域とのマッチングを行う。顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。顔形状データはＥＣＵ３のメモリに記憶される。顔向き推定部３２は、顔形状データと画像の顔領域との一致率が最大となるように画像の顔領域を回転させ、一致率が最大となるときの回転角度をドライバの顔の角度として算出する。
なお、顔向き推定部３２は、公知の他の方法によってドライバの顔向きを推定してもよい。例えば、顔向き推定部３２は、正面を向いているドライバの顔画像を大量に学習し、ディープラーニング等の手法によってドライバの顔向きを推定してもよい。
原因判定部３３は、顔検出部３１によってドライバの顔が検出されない場合に、顔が検出されない原因を判定する。図３は、ドライバが飲食を行うときの画像を時系列に示す図である。図３には、４枚の画像が示され、画像の番号の順に画像が生成されている。各画像に示される黒丸の印は、顔の特徴点を示している。なお、これら特徴点は一例であり、特徴点の位置及び数は、図３に示される位置及び数と異なっていてもよい。
図３の４番の画像から分かるように、ドライバが飲食物（この例では缶ジュース）を顔の正面付近に移動させると、飲食物によってドライバの顔の大部分が隠される。この結果、４番目の画像では、顔検出部３１によってドライバの顔が検出されない。したがって、ドライバの顔が検出されない原因として、上述したドライバの異常に加えて、ドライバの飲食動作も考えられる。
車両１０の走行中にドライバが飲食を行う場合、ドライバは正面を向く傾向にある。このため、ドライバが飲食を行おうとしているときにドライバの顔が検出されている場合には、ドライバが正面を向いている可能性が高い。また、通常、ドライバは下から上に飲食物を移動させる。このため、ドライバが飲食を行うとき、顔の全ての特徴点の中で顔の下方領域の特徴点が先に抽出不可能となる。
そこで、本実施形態では、原因判定部３３は、ドライバの顔の検出状態が検出から非検出に変化したときに、過去の画像において、顔向き推定部３２によって推定された顔向きが正面であり且つ顔検出部３１によって顔の下方領域の特徴点が抽出されていない場合には、顔が検出されない原因がドライバの飲食動作であると判定する。過去の画像は、ドライバの顔の検出状態が検出から非検出に変化するまでの所定数の画像である。また、顔の下方領域は、画像の顔領域における下半分の領域であり、例えば口の領域である。上記の制御によれば、撮像装置２を用いてドライバの飲食動作を検出することができる。
警報部３４は、車両１０に設けられたＨＭＩ（ヒューマン・マシン・インターフェース（Human Machine Interface））等を介して、ドライバに警報を与える。また、警報部３４は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合には、この原因がドライバの飲食動作以外であると判定された場合に比べて、ドライバへの警報を抑制する。このことによって、飲食時に警報が与えられることによるドライバの不快感を低減することができる。
例えば、警報部３４は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合にはドライバに警報を与えず、この原因がドライバの飲食動作以外であると判定された場合にはドライバに警報を与える。また、警報部３４は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合には、この原因がドライバの飲食動作以外であると判定された場合に比べて、警報の強度（例えば音量、文字の大きさ等）を小さくしてもよい。
＜顔検出処理＞
以下、図４〜図７のフローチャートを参照して、ドライバ監視装置１の制御について詳細に説明する。図４は、第一実施形態における顔検出処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置２からＥＣＵ３に画像が送信される間隔である。
最初に、ステップＳ１０１において、顔検出部３１は撮像装置２から画像を受信する。次いで、ステップＳ１０２において、顔検出部３１は画像からドライバの顔の特徴点を抽出する。
次いで、ステップＳ１０３において、顔検出部３１は、検出条件が満たされるか否かを判定する。例えば、顔検出部３１は、ステップＳ１０３において抽出された特徴点の数が所定値以上である場合には検出条件が満たされると判定し、そうでなければ検出条件が満たされないと判定する。また、顔検出部３１は、ステップＳ１０３において抽出された特徴点から顔部品を検出し、所定の顔部品（例えば眼及び鼻）が検出可能である場合には検出条件が満たされると判定し、そうでなければ検出条件が満たされないと判定してもよい。
ステップＳ１０３において検出条件が満たされると判定された場合、本制御ルーチンはステップＳ１０４に進む。この場合、ドライバの顔の検出が可能であるため、ステップＳ１０４では、顔検出部３１はドライバの顔を検出する。すなわち、顔の検出状態が検出となる。
一方、ステップＳ１０３において検出条件が満たされないと判定された場合、本制御ルーチンはステップＳ１０３をスキップしてステップＳ１０５に進む。この場合、ドライバの顔が検出不可能であるため、顔検出部３１はドライバの顔を検出しない。すなわち、顔の検出状態が非検出となる。
ステップＳ１０５では、顔検出部３１は顔の検出情報をＥＣＵ３のメモリに記憶する。具体的には、顔検出部３１は、ステップＳ１０１において受信された画像について、顔の検出状態と、非抽出の顔の特徴点の位置とをＥＣＵ３のメモリに記憶する。ＥＣＵ３のメモリでは、これら情報に対応する画像の総数が所定数以下になるように、記憶された情報が古い画像から順に削除される。
＜顔向き推定処理＞
図５は、第一実施形態における顔向き推定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置２からＥＣＵ３に画像が送信される間隔である。
最初に、ステップＳ２０１において、顔向き推定部３２は、顔検出部３１によってドライバの顔が検出されたか否かを判定する。ドライバの顔が検出されたと判定された場合、本制御ルーチンはステップＳ２０２に進む。ステップＳ２０２では、顔向き推定部３２は上記のいずれかの方法によってドライバの顔向きを推定する。
一方、ステップＳ２０１においてドライバの顔が検出されなかったと判定された場合、本制御ルーチンはステップＳ２０２をスキップしてステップＳ２０３に進む。ステップＳ２０３では、顔向き推定部３２は、ステップＳ２０２において推定された顔向きをＥＣＵ３のメモリに記憶する。ＥＣＵ３のメモリでは、顔向きが記憶された画像の総数が所定数以下になるように、記憶された情報が古い画像から順に削除される。なお、ドライバの顔向きが推定されなかった場合（ステップＳ２０２がスキップされた場合）には、ドライバの顔向きとして正面以外の所定の顔向きがＥＣＵ３のメモリに記憶される。
＜原因判定処理＞
図６は、第一実施形態における原因判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置２からＥＣＵ３に画像が送信される間隔である。
最初に、ステップＳ３０１において、原因判定部３３は、ＥＣＵ３のメモリに記憶された検出情報に基づいて、顔の検出状態が検出から非検出に変化したか否かを判定する。顔の検出状態が検出から非検出に変化しなかったと判定された場合、本制御ルーチンは終了する。一方、顔の検出状態が検出から非検出に変化したと判定された場合、本制御ルーチンはステップＳ３０２に進む。
ステップＳ３０２では、原因判定部３３は、ＥＣＵ３のメモリに記憶された顔向きの情報に基づいて、過去の画像において顔向き推定部３２によって推定されたドライバの顔向きが正面であるか否かを判定する。過去の画像は、ドライバの顔の検出状態が検出から非検出に変化するまでの所定数の画像である。なお、所定数は１であってもよい。すなわち、過去の画像は、ドライバの顔の検出状態が非検出に変化する直前の一つの画像であってもよい。
ステップＳ３０２において過去の画像においてドライバの顔向きが正面であると判定された場合、本制御ルーチンはステップＳ３０３に進む。ステップＳ３０３では、原因判定部３３は、ＥＣＵ３のメモリに記憶された検出情報に基づいて、過去の画像において顔検出部３１によって顔の下方領域の特徴点が抽出されていないか否かを判定する。
ステップＳ３０３において過去の画像において顔の下方領域の特徴点が抽出されていないと判定された場合、本制御ルーチンはステップＳ３０４に進む。ステップＳ３０４では、原因判定部３３は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定する。ステップＳ３０４の後、本制御ルーチンは終了する。
一方、ステップＳ３０２において過去の画像において顔向きが正面以外であると判定された場合、又はステップＳ３０３において過去の画像において顔の下方領域の特徴点が抽出されたと判定された場合、本制御ルーチンはステップＳ３０５に進む。ステップＳ３０５では、原因判定部３３は、ドライバの顔が検出されない原因がドライバの異常であると判定する。ステップＳ３０５の後、本制御ルーチンは終了する。
＜警報処理＞
図７は、第一実施形態における警報処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ３によって所定の実行間隔で繰り返し実行される。所定の実行間隔は、例えば、撮像装置２からＥＣＵ３に画像が送信される間隔である。
最初に、ステップＳ４０１において、警報部３４は、顔検出部３１によってドライバの顔が検出されたか否かを判定する。ドライバの顔が検出されなかったと判定された場合、本制御ルーチンはステップＳ４０２に進む。
ステップＳ４０２では、警報部３４は、原因判定部３３によって判定された原因がドライバの飲食動作であるか否かを判定する。原因判定部３３によって判定された原因がドライバの飲食動作以外であると判定された場合、本制御ルーチンはステップＳ４０３に進む。ステップＳ４０３では、警報部３４はＨＭＩ等を介してドライバに警報を与える。ステップＳ４０３の後、本制御ルーチンは終了する。
一方、ステップＳ４０１においてドライバの顔が検出されたと判定された場合、又はステップＳ４０２において原因判定部３３によって判定された原因がドライバの飲食動作であると判定された場合、ドライバに警報が与えられることなく、本制御ルーチンは終了する。
なお、警報部３４は、ステップＳ４０２において原因判定部３３によって判定された原因がドライバの飲食動作であると判定された場合には、ステップＳ４０２において、原因判定部３３によって判定された原因がドライバの飲食動作以外であると判定された場合に比べて、警報の強度（例えば音量、文字の大きさ等）を小さくしてもよい。
＜第二実施形態＞
第二実施形態に係るドライバ監視装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ監視装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。
ドライバによる飲食が長時間継続されると、ドライバの注意力が低下し、ひいては車両１０の安全性が低下するおそれがある。このため、ドライバによる飲食が長時間継続された場合には、飲食の中止をドライバに促すことが望ましい。
第二実施形態では、警報部３４は、ドライバの顔の検出状態が未検出である状態が閾値時間以上継続した場合に、ドライバへ警報を与える。また、警報部３４は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合には、この原因がドライバの飲食動作以外であると判定された場合に比べて、ドライバへの警報を抑制する。具体的には、警報部３４は、ドライバの顔が検出されない原因がドライバの飲食動作であると判定された場合には、この原因がドライバの飲食動作以外であると判定された場合に比べて、閾値時間を長くする。このことによって、飲食時に警報が与えられることによるドライバの不快感を低減しつつ、長時間の飲食を抑制することができる。
＜警報処理＞
第二実施形態においても、第一実施形態と同様に図４〜図６の制御ルーチンが実行される。また、第二実施形態では、図７の制御ルーチンの代わりに図８の制御ルーチンが実行される。図８は、第二実施形態における警報処理の制御ルーチンを示すフローチャートである。本制御ルーチンはＥＣＵ３によって繰り返し実行される。
最初に、ステップＳ５０１において、警報部３４は、顔検出部３１によってドライバの顔が検出されたか否かを判定する。ドライバの顔が検出されたと判定された場合、本制御ルーチンは終了する。ドライバの顔が検出されなかったと判定された場合、本制御ルーチンはステップＳ５０２に進む。
ステップＳ５０２では、警報部３４は、原因判定部３３によって判定された原因がドライバの飲食動作であるか否かを判定する。原因判定部３３によって判定された原因がドライバの飲食動作以外であると判定された場合、本制御ルーチンはステップＳ５０３に進む。ステップＳ５０３では、警報部３４は、予め定められた初期値に閾値時間を設定する。
一方、ステップＳ５０２において原因がドライバの飲食動作であると判定された場合、本制御ルーチンはステップＳ５０４に進む。ステップＳ５０４では、警報部３４は、閾値時間を初期値よりも長い値に設定する。初期値よりも長い値は予め定められる。
ステップＳ５０３又はステップＳ５０４の後、ステップＳ５０５において、警報部３４は、ドライバの顔の検出状態が未検出である状態が閾値時間継続したか否かを判定する。ドライバの顔の検出状態が未検出である状態が閾値時間継続していないと判定された場合、本制御ルーチンは終了する。
一方、ステップＳ５０５においてドライバの顔の検出状態が未検出である状態が閾値時間継続したと判定された場合、本制御ルーチンはステップＳ５０６に進む。ステップＳ５０６では、警報部３４はＨＭＩ等を介してドライバに警報を与える。ステップＳ５０６の後、本制御ルーチンは終了する。
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。
１ ドライバ監視装置
２ 撮像装置
３ ＥＣＵ
１０ 車両
３１ 顔検出部
３２ 顔向き推定部
３３ 原因判定部
３４ 警報部

Claims (3)

  1. 車両のドライバの顔を撮影して画像を生成する撮像装置と、
    前記画像から前記顔を検出する顔検出部と、
    前記顔検出部によって前記顔が検出された場合に前記画像に基づいて前記ドライバの顔向きを推定する顔向き推定部と、
    前記顔検出部によって前記顔が検出されない場合に、該顔が検出されない原因を判定する原因判定部と
    を備え、
    前記顔検出部は、前記画像から前記顔の特徴点を抽出することによって前記顔を検出し、
    前記原因判定部は、前記顔の検出状態が検出から非検出に変化したときに、該検出状態が検出から非検出に変化するまでの所定数の前記画像において、前記顔向き推定部によって推定された前記顔向きが正面であり且つ前記顔検出部によって前記顔の下方領域の特徴点が抽出されていない場合には、前記原因が前記ドライバの飲食動作であると判定する、ドライバ監視装置。
  2. 前記ドライバに警報を与える警報部を更に備え、
    前記警報部は、前記原因が前記ドライバの飲食動作であると判定された場合には、前記原因が前記ドライバの飲食動作以外であると判定された場合に比べて、前記ドライバへの警報を抑制する、請求項１に記載のドライバ監視装置。
  3. 前記警報部は、前記顔の検出状態が未検出である状態が閾値時間継続した場合に前記ドライバに警報を与え、
    前記警報部は、前記原因が前記ドライバの飲食動作であると判定された場合には、前記原因が前記ドライバの飲食動作以外であると判定された場合に比べて、前記閾値時間を長くする、請求項２に記載のドライバ監視装置。
JP2018110478A 2018-06-08 2018-06-08 ドライバ監視装置 Active JP6870660B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018110478A JP6870660B2 (ja) 2018-06-08 2018-06-08 ドライバ監視装置
US16/430,528 US10853622B2 (en) 2018-06-08 2019-06-04 Driver monitoring device
CN201910490333.XA CN110580436B (zh) 2018-06-08 2019-06-06 驾驶员监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018110478A JP6870660B2 (ja) 2018-06-08 2018-06-08 ドライバ監視装置

Publications (2)

Publication Number Publication Date
JP2019212226A true JP2019212226A (ja) 2019-12-12
JP6870660B2 JP6870660B2 (ja) 2021-05-12

Family

ID=68765105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018110478A Active JP6870660B2 (ja) 2018-06-08 2018-06-08 ドライバ監視装置

Country Status (3)

Country Link
US (1) US10853622B2 (ja)
JP (1) JP6870660B2 (ja)
CN (1) CN110580436B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255075A1 (ja) * 2021-06-03 2022-12-08 株式会社デンソー シート制御装置、シート制御プログラム、状態推定装置、及び状態推定プログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
JP6973298B2 (ja) * 2018-05-31 2021-11-24 トヨタ自動車株式会社 物体監視装置
JP7232008B2 (ja) * 2018-09-27 2023-03-02 株式会社アイシン 乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム
CN111661059B (zh) * 2019-03-08 2022-07-08 虹软科技股份有限公司 分心驾驶监测方法、***及电子设备
US11205083B2 (en) * 2019-04-02 2021-12-21 Magna Electronics Inc. Vehicular driver monitoring system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2011227663A (ja) * 2010-04-19 2011-11-10 Denso Corp 運転補助装置、及びプログラム
JP2015133050A (ja) * 2014-01-15 2015-07-23 みこらった株式会社 自動運転車
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4204336B2 (ja) * 2003-01-30 2009-01-07 富士通株式会社 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム
JP2008217693A (ja) 2007-03-07 2008-09-18 Toyota Motor Corp 顔向き警告装置、顔向き警告装置の警告方法
DE112015002948T5 (de) * 2014-06-23 2017-03-09 Denso Corporation Vorrichtung zum erfassen eines fahrunvermögenzustands eines fahrers
EP3345127A4 (en) * 2015-08-31 2019-08-21 SRI International METHOD AND SYSTEM FOR MONITORING DRIVING BEHAVIORS
JP6641916B2 (ja) * 2015-11-20 2020-02-05 オムロン株式会社 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム
WO2018144537A1 (en) * 2017-01-31 2018-08-09 The Regents Of The University Of California Machine learning based driver assistance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097379A (ja) * 2008-10-16 2010-04-30 Denso Corp ドライバモニタリング装置およびドライバモニタリング装置用のプログラム
JP2011227663A (ja) * 2010-04-19 2011-11-10 Denso Corp 運転補助装置、及びプログラム
JP2015133050A (ja) * 2014-01-15 2015-07-23 みこらった株式会社 自動運転車
JP2017217472A (ja) * 2016-06-02 2017-12-14 オムロン株式会社 状態推定装置、状態推定方法、及び状態推定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022255075A1 (ja) * 2021-06-03 2022-12-08 株式会社デンソー シート制御装置、シート制御プログラム、状態推定装置、及び状態推定プログラム

Also Published As

Publication number Publication date
JP6870660B2 (ja) 2021-05-12
CN110580436A (zh) 2019-12-17
US20190377933A1 (en) 2019-12-12
US10853622B2 (en) 2020-12-01
CN110580436B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
JP6870660B2 (ja) ドライバ監視装置
JP6915502B2 (ja) ドライバ状態検出装置
KR101386823B1 (ko) 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
WO2016038784A1 (ja) ドライバ状態判定装置
US10417512B2 (en) Driver abnormality detection device and driver abnormality detection method
US9888875B2 (en) Driver monitoring apparatus
US10970572B2 (en) Driver condition detection system
JP4793269B2 (ja) 眠気検知装置
JP2008204107A (ja) 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
JP4742921B2 (ja) 覚醒度推定装置
JP2008199515A (ja) 同乗者着座姿勢検出・判定装置及び方法
WO2015079657A1 (ja) 視認領域推定装置
US20180201276A1 (en) Driver condition detection system
JP2008243031A (ja) 漫然運転判定装置
JP2008171065A (ja) 眠気検知装置
JP2018128974A (ja) ドライバ状態監視装置
CN107169481A (zh) 一种提醒方法及装置
JP7024332B2 (ja) ドライバモニタシステム
KR20110062651A (ko) 차선 이탈 경보 방법
JP6962141B2 (ja) ドライバ状態検出装置
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
JP6852407B2 (ja) ドライバ状態検出装置
KR20190044818A (ko) 운전자 모니터링 장치 및 방법
JP4692447B2 (ja) 居眠り検知装置、居眠り検知方法
JP2019079285A (ja) 安全運転促進装置及び安全運転促進方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210329

R151 Written notification of patent or utility model registration

Ref document number: 6870660

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151