JP6572538B2 - Downward view determination device and downward view determination method - Google Patents
Downward view determination device and downward view determination method Download PDFInfo
- Publication number
- JP6572538B2 JP6572538B2 JP2014252941A JP2014252941A JP6572538B2 JP 6572538 B2 JP6572538 B2 JP 6572538B2 JP 2014252941 A JP2014252941 A JP 2014252941A JP 2014252941 A JP2014252941 A JP 2014252941A JP 6572538 B2 JP6572538 B2 JP 6572538B2
- Authority
- JP
- Japan
- Prior art keywords
- downward
- shape
- change
- eye
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、下方視判定装置および下方視判定方法に関する。 The present invention relates to a downward view determination apparatus and a downward view determination method.
近年、撮像された静止画像または動画像に含まれる顔の位置および向き、ならびに眼および口等の顔部品の状態を検出する顔検出技術の開発が進められている。例えば、運転者の目の位置と開閉眼の状態とを検出し、目の位置と開閉眼の状態とから、運転中の運転者の左右方向と下方向の脇見を検出して、障害物が接近しているときには、脇見警報を出力する技術が知られている（例えば、特許文献１参照）。 In recent years, development of a face detection technique for detecting the position and orientation of a face included in a captured still image or moving image and the state of facial parts such as eyes and mouth has been promoted. For example, the position of the driver's eyes and the state of the open / closed eyes are detected. From the position of the eyes and the state of the open / closed eyes, the driver's left and right sideways and downward looking sideways of the driver are detected. A technique for outputting a side-arming alarm when approaching is known (see, for example, Patent Document 1).
しかしながら、従来技術では、開閉眼の状態を上下瞼間の距離で判断し、この開閉眼の状態で下方視か否かを判断しているが、上下瞼間の距離が小さくなるのは、下方視以外の場合もある。このため、従来技術では、正確な下方視判定を行うことが困難である。 However, in the prior art, the state of the open / close eye is determined by the distance between the upper and lower eyelids, and it is determined whether or not the eye is viewed downward in this open / closed eye state. It may be other than visual. For this reason, it is difficult for the conventional technology to accurately determine the downward view.
そこで、本発明の課題の一つは、より正確な運転者の下方視判定を行うことができる下方視判定装置および下方視判定方法を提供することである。 Accordingly, one of the objects of the present invention is to provide a downward-view determination device and a downward-view determination method that can perform more accurate downward-view determination of a driver.
本発明の下方視判定装置は、被験者の三次元顔形状と、被験者の目の位置と、目の標準の状態から被験者の下方視の状態までの変化を示している目の形状の変化の状態と形状パラメータとが対応付けられた変化情報と、が登録された三次元顔モデルを記憶する記憶部と、撮像装置で運転者を撮像するごとに、撮像された前記運転者の撮像画像を、逐次、前記三次元顔形状と照合して、顔の向きを特定する照合部と、前記運転者を撮像するごとに、前記撮像画像における目の開眼の状態を示す開眼度を算出する開眼度算出部と、前記形状パラメータを変化させて、前記撮像画像における前記目の形状の状態に対応する形状パラメータを特定する形状パラメータ判定部と、前記顔の向きの下方への変化と、前記運転者の視線方向としての前記開眼度の減少の変化とが同期しているか否かを判断し、同期している場合に、特定された前記形状パラメータが下方視を示す範囲内であるか否かまたは特定された前記形状パラメータの時系列変化が下方視側へ所定量を超える変化であるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合または前記形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、前記運転者は下方視状態であると判定する下方視判定部と、を備えた。上記構成により、より正確な下方視判断を行うことができる。また、上記構成により、下方視の誤判断に伴う警報の出力を防止することができる。 The downward-viewing determination device of the present invention is a state of change in the shape of the eye showing the three-dimensional face shape of the subject, the eye position of the subject, and the change from the standard state of the eye to the state of the downward view of the subject. Change information in which the shape parameters are associated with each other, a storage unit that stores the registered three-dimensional face model, and each time the driver is imaged by the imaging device, the captured image of the driver is captured, Sequentially collating with the three-dimensional face shape to identify the orientation of the face, and each time the driver is imaged, the eye opening degree calculation that calculates the degree of eye opening in the captured image A shape parameter determining unit that changes the shape parameter to identify a shape parameter corresponding to the state of the eye shape in the captured image , a change in the downward direction of the face, and the driver's The eye opening as a gaze direction It is determined whether the change and the decrease is synchronized, when synchronized, when the shape parameters specified is the shape parameter a is whether or identified within showing a downward gaze It is determined whether or not the series change is a change exceeding a predetermined amount to the downward view side, and if the shape parameter is within the range indicating the downward view, or the time series change of the shape parameter decreases the predetermined amount to the downward view side. And a downward-viewing determination unit that determines that the driver is in the downward-viewing state when the change is greater than the above. With the above configuration, it is possible to make a more accurate downward view determination. Further, with the above configuration, it is possible to prevent an alarm from being output due to an erroneous determination of the downward view.
また、本発明の下方視判定装置は、前記運転者が下方視状態であると判定された場合には、警報を出力する処理部、をさらに備えた。上記構成により、運転者の脇見運転を防止することができる。 The downward-viewing determination device of the present invention further includes a processing unit that outputs an alarm when it is determined that the driver is in the downward-viewing state. With the above configuration, the driver's side-by-side driving can be prevented.
また、本発明の下方視判定装置は、前記被験者の撮像画像に基づいて、前記三次元顔形状と前記目の位置とを含む三次元顔構造データと、前記目の形状の変化の状態と前記形状パラメータとが対応付けられた前記変化情報と、を求める計測部と、計測された前記三次元顔構造データと前記変化情報とを、前記三次元顔モデルとして前記記憶部に登録するモデル生成部と、をさらに備えた。上記構成により、より一層正確な下方視判断を行うことができる。 Further, the downward-viewing determination device of the present invention is based on the captured image of the subject, the three-dimensional face structure data including the three-dimensional face shape and the eye position, the state of the eye shape change, and the A measurement unit that obtains the change information associated with a shape parameter; and a model generation unit that registers the measured three-dimensional face structure data and the change information in the storage unit as the three-dimensional face model. And further provided. With the above configuration, it is possible to make a more accurate downward view determination.
また、本発明の下方視判定方法は、下方視判定装置で実行される下方視判定方法であって、前記下方視判定装置は、被験者の三次元顔形状と、被験者の目の位置と、目の標準の状態から被験者の下方視の状態までの変化を示している目の形状の変化の状態と形状パラメータとが対応付けられた変化情報と、が登録された三次元顔モデルを記憶する記憶部、を備え、運転者を撮像するごとに、撮像された前記運転者の撮像画像を、逐次、前記三次元顔形状と照合して、顔の向きを特定し、前記運転者を撮像するごとに、前記撮像画像における目の開眼の状態を示す開眼度を算出し、前記形状パラメータを変化させて、前記撮像画像における前記目の形状の状態に対応する形状パラメータを特定し、前記顔の向きの下方への変化と、前記運転者の視線方向としての前記開眼度の減少の変化とが同期しているか否かを判断し、同期している場合に、特定された前記形状パラメータが下方視を示す範囲内であるか否かまたは特定された前記形状パラメータの時系列変化が下方視側へ所定量を超える変化であるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合または前記形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、前記運転者は下方視状態であると判定する。また、上記構成により、下方視の誤判断に伴う警報の出力を防止することができる。 In addition, the downward-view determination method of the present invention is a downward-view determination method executed by the downward-view determination device, and the downward-view determination device includes a subject's three-dimensional face shape, a subject's eye position , A memory for storing a registered three-dimensional face model with change information in which a shape parameter and an eye shape change state indicating a change from a standard state of the subject to a downward view state of the subject are associated with each other Each time the driver is imaged, the captured image of the driver is sequentially checked against the three-dimensional face shape, the orientation of the face is specified, and the driver is imaged. Calculating an eye opening degree indicating an eye opening state in the captured image, changing the shape parameter, specifying a shape parameter corresponding to the eye shape state in the captured image, and determining the orientation of the face and changes in the downward, of the driver It is determined whether the change and the eye opening degree of the decrease in the linear direction is synchronized, if you are synchronized, whether or particular said shape parameters specified is within the range showing a downward gaze It is determined whether or not the time-series change of the shape parameter is a change exceeding a predetermined amount toward the downward view, and if the shape parameter is within the range indicating the downward view or the time-series change of the shape parameter is When the change is greater than a predetermined amount toward the downward viewing side, the driver determines that the driver is in the downward viewing state. Further, with the above configuration, it is possible to prevent an alarm from being output due to an erroneous determination of the downward view.
以下、本実施形態の下方視判定装置を車両１に搭載した例をあげて説明する。
本実施形態では、車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
Hereinafter, an example in which the downward-viewing determination device of the present embodiment is mounted on the
In the present embodiment, the
図１に示されるように、車両１の車体２は、運転者（不図示）が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４等が設けられている。本実施形態では、一例として、操舵部４は、ダッシュボード（インストルメントパネル）１２から突出したステアリングホイールである。
As shown in FIG. 1, the
また、図１に示されるように、本実施形態では、一例として、車両１は、四輪車（四輪自動車）であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。さらに、本実施形態では、これら四つの車輪３は、いずれも操舵されうるように（転舵可能に）構成されている。
As shown in FIG. 1, in the present embodiment, as an example, the
また、車室２ａ内のダッシュボード１２の車幅方向すなわち左右方向の中央部には、モニタ装置１１が設けられている。モニタ装置１１には、表示装置や音声出力装置が設けられている。表示装置は、例えば、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）や、ＯＥＬＤ（ｏｒｇａｎｉｃ ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ ｄｉｓｐｌａｙ）等である。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、タッチパネル等、透明な操作入力部で覆われている。乗員は、操作入力部を介して表示装置の表示画面に表示される画像を視認することができる。また、乗員は、表示装置の表示画面に表示される画像に対応した位置において手指等で操作入力部を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。
In addition, a
また、図２に示すように、ハンドルコラム２０２には、撮像装置２０１が設置されている。この撮像装置２０１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等である。撮像装置２０１は、座席２ｂに着座する運転者３０２の顔が、視野中心に位置するように、視野角及び姿勢が調整されている。この撮像装置２０１は、運転者３０２の顔を順次撮影し、撮影により得た画像についての画像データを順次出力する。
As shown in FIG. 2, an
次に、本実施形態にかかる車両１における下方視判定装置を有する下方視判定システムについて説明する。図３は、本実施形態にかかる下方視判定システム１００の構成の一例を示すブロック図である。図３に例示されるように、下方視判定システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６，１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部等の操作信号等を、受け取ることができる。ここで、ＥＣＵ１４は、下方視判定装置の一例である。
Next, a downward vision determination system having a downward vision determination device in the
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や、ＲＯＭ１４ｂ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ１４ｃ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ、フラッシュメモリ）等を有している。ＣＰＵ１４ａは、車両１全体の制御を行う。ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた画像データを用いた画像処理や、表示装置で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積されうる。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
The
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。 The configuration, arrangement, electrical connection form, and the like of the various sensors and actuators described above are examples, and can be set (changed) in various ways.
図４は、本実施形態のＥＣＵ１４の機能的構成を示すブロック図である。図４に示されるように、ＥＣＵ１４は、入力部４０１と、顔データ計測部４０２と、モデル生成部４０３と、照合部４０４と、形状パラメータ判定部４０５と、開眼度算出部４０６と、下方視判定部４０７と、処理部４０８と、三次元顔モデル４１０と、第１バッファ４２０と、第２バッファ４３０と、第３バッファ４４０と、を主に備えている。図４に示される、入力部４０１、顔データ計測部４０２、モデル生成部４０３、照合部４０４、形状パラメータ判定部４０５、開眼度算出部４０６、下方視判定部４０７、処理部４０８の各構成は、ＥＣＵ１４として構成されたＣＰＵ１４ａが、ＲＯＭ１４ｂ内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェアで実現するように構成しても良い。
FIG. 4 is a block diagram showing a functional configuration of the
第１バッファ４２０、第２バッファ４３０、第３バッファ４４０はデータを一時的に保存するメモリ領域であり、ＲＡＭ１４ｃやＳＳＤ１４ｆ等の記憶媒体に確保される。本実施形態では、後述するとおり、第１バッファ４２０には時系列に運転者の顔の向き、第２バッファ４３０には時系列に運転者の開眼度、第３バッファ４４０には時系列に運転者の目の形状の形状パラメータがそれぞれ一時的に保存される。
The
三次元顔モデル４１０は、ＳＳＤ１４ｆ等の記憶媒体に保存されている。三次元顔モデル４１０は、統計的顔形状モデルであり、平均的な被験者の三次元顔形状と、被験者の目や口、鼻等の顔部品の位置と、被験者の目の形状の変化情報とが登録されている。三次元顔モデル４１０は、一例として、ＣＬＭ（Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ），ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ），ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）を用いることができるが、これらに限定されるものではない。
The three-
本実施形態のＥＣＵ１４は、この三次元顔モデル４１０を用いて、運転者の顔をトラッキングしながら、運転者の顔の向きと、運転者の視線方向としての開眼度（例えば、目の上下瞼間距離）とを逐次検出し、顔の向きが下方に向く動作と開眼度が低下する状態とが時間的に同期した場合に、すなわち、運転者の顔の向きの下方への変化と運転者の目の開眼度の減少の変化とが時間的に同期している場合に、運転者が下方視の状態であると判断する。
The
これは、運転者が前方を向いている状態から下方へ顔を下げて下方視の状態になる動作の際に、視線方向も同期して下方に下がっていくこと、すなわち、運転者の顔の向きの下方へ変化と、運転者の目の視線方向の下方の変化とが同期している場合に、運転者が下方視を行おうとしていることが過去の実験データ等から得られたことに基づいている（図１１（ａ），（ｂ）参照）。本実施形態のＥＣＵ１４は、視線方向そのものではなく、開眼度を用い、運転者の顔の向きの下方への変化と開眼度の減少の変化とが時間的に同期するか否かで、運転者が下方視を行おうとしているか否かを判断している。すなわち、視線が下方に向かうと、それに伴って目の上下瞼間距離（開眼度）も小さくなっていくことから、本実施形態のＥＣＵ１４は、開眼度を視線方向と同等に捉えて、顔の向きとの同期の有無を判断している。以下、詳細を説明する。
This is because the direction of the line of sight is also lowered in the downward direction when the driver lowers his / her face downward from the state of facing forward, that is, the direction of the driver's face. When the downward change in direction and the downward change in the driver's eye gaze direction are synchronized, it has been obtained from past experimental data that the driver is looking downward. Based (see FIGS. 11A and 11B). The
図５は、本実施形態の三次元顔モデル４１０の一例を説明するための模式図である。図５では、例示的な顔のモデルＭを示している。モデルＭは、例えば１００人の被験者から得られた顔形状から平均的な顔の立体的形状を示し、それぞれ所定の顔部品を表す複数の特徴点Ｐを含んでいる。特徴点Ｐは、任意の点を原点とした座標により表される。図５に示す例では、眉、目、鼻、口および輪郭を表す特徴点Ｐを示しているが、モデルＭはより図５に示したものは異なる特徴点Ｐを含んでもよい。
FIG. 5 is a schematic diagram for explaining an example of the three-
三次元顔モデル４１０には、さらに、変化情報が登録されている。変化情報は、運転者の顔の表情や動作の変化に伴う運転者の目の形状の段階的な変化と、段階ごとの形状パラメータとが対応付けられたデータである。具体的には、変化状態として、顔が無表情で正面を向いて目が開いている状態を標準の状態とし、この標準の状態から表情が笑顔になるまでの目の形状の段階的な変化、標準の状態から目を閉じるまでの目の形状の段階的な変化、標準の状態から下を向く（下方視）までの目の形状の段階的な変化等の各状態が形状パラメータと対応付けられて三次元顔モデル４１０に登録されている。
Further, change information is registered in the three-
図６は、本実施形態の三次元顔モデル４１０に登録された変化情報の一例を示す模式図である。図６に示す例では、標準の目の状態から目を閉じるまでの目の形状の段階的な変化が段階ごとに異なる値をとる形状パラメータ１と対応付けられている。また、標準の目の状態から笑顔になるまでの目の形状の段階的な変化が段階ごとに異なる値をとる形状パラメータ２と対応付けられている。さらに、標準の目の状態から下方視までの目の形状の段階的な変化が段階ごとに異なる値をとる形状パラメータ３と対応付けられている。それぞれの形状パラメータ１，２，３は、いずれも標準の目の状態から変化後の目の形状の状態に向かうに従って、値が段階的に小さくなる。
FIG. 6 is a schematic diagram illustrating an example of change information registered in the three-
但し、これに限定されるものではなく、変化後の状態に向かうに従って、値が大きくなるように形状パラメータを構成してもよい。または、変化の種類に応じて、値が大きくなったり小さくなったり等異なる変化となるように、形状パラメータを構成してもよい。 However, the present invention is not limited to this, and the shape parameter may be configured so that the value increases as the state changes. Alternatively, the shape parameter may be configured so as to change differently depending on the type of change, such as a value increasing or decreasing.
なお、変化情報として登録される目の形状の変化は、図６に示す例に限定されるものではなく、他に、標準の目の状態からあくびをしたときまでの目の形状の段階的な変化、標準の目の状態から目を凝らす状態までの目の形状の段階的な変化、標準の目の状態から目を見開いた状態までの目の形状の段階的な変化を、段階ごとに形状パラメータと対応付けて三次元顔モデル４１０に登録するように構成することができる。
The change in the shape of the eye registered as the change information is not limited to the example shown in FIG. 6. In addition, the eye shape is gradually changed from the standard eye state until yawning. Changes, step-by-step changes in eye shape from standard eye condition to eye-closed state, and step-by-step changes in eye shape from standard eye state to eye-open state It can be configured to be registered in the three-
三次元顔モデル４１０の生成は、図４に示す、入力部４０１、顔データ計測部４０２、モデル生成部４０３により、以下のように行われる。図７は、本実施形態における三次元顔モデル４１０の生成処理の手順の一例を示すフローチャートである。
The generation of the three-
まず、管理者等は、３Ｄスキャナ等で例えば１００人の被験者の顔を撮像する（Ｓ１１）。また、Ｓ１１では、上記多数の被験者のそれぞれに対し、標準の顔の状態から、笑顔や、目を閉じた状態、下向きの状態等の種々の変化の動作を行わせて、３Ｄスキャナ等で撮像する。なお、被験者の人数は１００人に限定されるものではない。 First, the administrator or the like images the faces of, for example, 100 subjects with a 3D scanner or the like (S11). In S11, each of the large number of subjects is imaged by a 3D scanner or the like by performing various changing operations such as a standard face state, a smile, a closed eye state, and a downward state. To do. Note that the number of subjects is not limited to 100.
入力部４０１は、かかる撮像画像を入力する。そして、顔データ計測部４０２は、入力された撮像画像から、複数人の被験者の顔形状、目や口等の顔部品の特徴点を抽出して、平均的な顔形状、顔部品の位置等の三次元顔構造データを計測する（Ｓ１２）。ここで、顔データ計測部４０２は、計測部の一例である。
The
さらに、Ｓ１２では、顔データ計測部４０２は、Ｓ１１で撮像した被験者の種々の変化の動作の撮像画像から、例えば、非特許文献「Active Appearance Model 探索による目領域構造の自動抽出 森山 剛 金出 武雄 Jeffrey F. Cohn 小沢 慎治『画像の認識・理解シンポジウム（ＭＩＲＵ２００６）』」に示されるような三次元顔モデル作成の手順に従って、主成分分析等の統計的データ解析手法により、目の形状の段階的な変化の状態に対応する形状パラメータを抽出する。
Further, in S12, the face
具体的には、撮像画像中の目の輪郭を構成する各点の座標を並べたベクトルをｘで表すと、ｘは形状を表す。顔データ計測部４０２は、これを標準の目の状態から変化後の状態までの全ての撮像画像について平均し、平均形状ｘavを求める。顔データ計測部４０２は、標準の目の状態から変化後の状態までの各ｘのｘavとの偏差を主成分分析して、固有ベクトルＰsを求める。このとき、ｘは次の（１）式で表される。
Specifically, when a vector in which the coordinates of each point constituting the outline of the eye in the captured image are arranged is represented by x, x represents the shape. The face
ｘ＝ｘav＋Ｐsｂs・・・（１）
ここで、ｂsは主成分得点ベクトルであり、これを形状パラメータと呼ぶ。すなわち、顔データ計測部４０２は、（１）式から形状パラメータｂsを求める。
x = x av + P s b s (1)
Here, b s is a principal component score vector, which is called a shape parameter. That is, the face
そして、顔データ計測部４０２は、目の形状の段階的な変化の状態と形状パラメータとを対応付けて図６に示したような変化情報を生成する。
Then, the face
モデル生成部４０３は、計測された三次元顔構造データである平均的な顔形状、顔部品の位置、および上記変化情報を、三次元顔モデル４１０として生成する（Ｓ１３）。これにより、平均的な顔のモデルが三次元顔モデル４１０に登録されて生成されることになる。
The
次に、本実施形態の下方視判定処理について説明する。図８、図９は、本実施形態にかかる下方視判定処理の手順の一例を示すフローチャートである。図８，９のフローチャートは、一定時間間隔で実行される。まず、撮像装置２０１が運転者を撮像する（Ｓ３１）。撮像された運転者の撮像画像は、照合部４０４へ入力される。
Next, the downward vision determination process of this embodiment will be described. FIG. 8 and FIG. 9 are flowcharts showing an example of the procedure of the downward-looking determination process according to the present embodiment. The flowcharts of FIGS. 8 and 9 are executed at regular time intervals. First, the
照合部４０４は、運転者の二次元の撮像画像と、三次元顔モデル４１０を構成する三次元顔構造データに適合させる（Ｓ３２）。すなわち、照合部４０４は、モデルフィッティングとモデルのトラッキングを行う。これにより、照合部４０４は、運転者の顔の向きを特定（推定）する。照合部４０４は、さらに、三次元顔モデル４１０上での目の位置の検索を行い特定（推定）する。そして、照合部４０４は、特定された顔の向きを、第１バッファ４２０に保存する（Ｓ３３）。ここで、図８、９の処理は、一定時間ごとに繰り返し実行されるため、実行ごとにＳ３１で運転者の顔が逐次（周期的に）撮像され、顔の向きが逐次特定されるが、照合部４０４は、逐次特定される顔の向きを、特定されるごとに時系列に第１バッファ４２０に保存する。
The
ここで、本実施形態において、モデルフィッティングは、統計的顔形状モデルである三次元顔モデル４１０に図７の手順で作成された平均的な顔のモデルを初期状態として用い、該モデルの特徴点Ｐを撮像画像の顔の各部分に位置させることによって、該顔に近似したモデルＭを生成する。
Here, in the present embodiment, model fitting uses an average face model created by the procedure of FIG. 7 as an initial state for a three-
また、本実施形態において、モデルのトラッキングでは、モデルフィッティングにおいてモデルＭが生成された後に、Ｓ３１で周期的に撮像される運転者の撮像画像中の顔に合うようにモデルＭを継続的に適合させる。本実施形態では、テンプレートを用いることによってモデルのトラッキングを行っている。 In the present embodiment, in model tracking, after the model M is generated in model fitting, the model M is continuously adapted to match the face in the driver's captured image that is periodically imaged in S31. Let In this embodiment, the model is tracked by using a template.
図１０は、本実施形態における三次元顔モデル４１０における顔のモデルＭについて作成されるテンプレートＴを示す模式図である。テンプレートＴは、画像中のモデルＭの特徴点Ｐを含む所定範囲の領域を有する。例えば、テンプレートＴは、眉を表す特徴点Ｐを含む領域、目を表す特徴点Ｐを含む領域、鼻を表す特徴点Ｐを含む領域、口を表す特徴点Ｐを含む領域および輪郭を表す特徴点Ｐを含む領域を有する。テンプレートＴの各領域は、１または２以上の特徴点と対応しており、該特徴点の座標と紐付けられている。すなわち、テンプレートＴが有する領域の画像中の位置が決まれば、該領域に対応する特徴点Ｐの座標を算出することができる。
FIG. 10 is a schematic diagram showing a template T created for a face model M in the three-
本実施形態に係るモデルのトラッキングでは、テンプレートＴが有する各領域の画像中の位置を決定し、該各領域の位置を用いてモデルＭの該画像中の角度、位置および大きさを決定する。そして、モデルＭに対してこれらの決定された角度、位置および大きさを適用することによって、モデルＭを該画像に適合させることができる。テンプレートＴが有する領域の位置および数は、モデルのトラッキングが可能である限り任意に選択され得る。 In the tracking of the model according to the present embodiment, the position of each area of the template T in the image is determined, and the angle, position, and size of the model M in the image are determined using the position of each area. Then, by applying these determined angles, positions and sizes to the model M, the model M can be adapted to the image. The position and number of regions of the template T can be arbitrarily selected as long as the model can be tracked.
図８に戻り、開眼度算出部４０６は、撮像画像における運転者の開眼度を算出する（Ｓ３４）。開眼度は、運転者の開眼の状態を示すものであり、本実施形態では、上下瞼間の距離である。開眼度算出部４０６による開眼度の算出手法としては、撮像画像の画素から算出する等の公知の手法を用いる。なお、本実施形態では、開眼度として上下瞼間の距離を用いているが、開眼の状態を示すものであれば、これに限定されるものではない。
Returning to FIG. 8, the eye opening
そして、開眼度算出部４０６は、算出した開眼度を、第２バッファ４３０に保存する（Ｓ３５）。ここで、図８、９の処理は、一定時間ごとに繰り返し実行されるため、開眼度は、実行ごとに逐次算出されるが、開眼度算出部４０６は、逐次算出される開眼度を、算出するごとに時系列に第２バッファ４３０に保存する。
Then, the eye opening
Ｓ３２により適合された三次元顔モデルにより、目の位置が特定されるため、形状パラメータ判定部４０５は、三次元眼モデルを作成する。そして、形状パラメータ判定部４０５は、二次元の撮像画像を三次元眼モデルに適合させる（Ｓ３６）。すなわち、形状パラメータ判定部４０５は、形状パラメータを変化させ、形状パラメータに対応する目の形状と撮像画像の目の形状とを照合する。そして、形状パラメータ判定部４０５は、撮像画像中の目の形状に対応する形状パラメータを三次元顔モデル４１０から特定する。そして、形状パラメータ判定部４０５は、特定した形状パラメータを第３バッファ４４０に保存する（Ｓ３７）。ここで、図８、９の処理は、一定時間ごとに繰り返し実行されるため、形状パラメータは、実行ごとに逐次特定されるが、形状パラメータ判定部４０５は、逐次特定される形状パラメータを、特定するごとに時系列に第３バッファ４４０に保存する。
Since the position of the eye is specified by the three-dimensional face model adapted in S32, the shape
このようにして、第１バッファ４２０には運転者の顔の向きが、第２バッファ４３０には運転者の開眼度が、第３バッファ４４０には運転者の目の形状の形状パラメータが、それぞれ時系列に保存されていく。
Thus, the
次に、下方視判定部４０７は、第１バッファ４２０から、現時点から所定時間遡った時刻までの第１区間の複数の顔の向きを取得する（Ｓ４０）。また、下方視判定部４０７は、第１バッファ４２０から、現時点から遡った上記第１区間の複数の開眼度を取得する（Ｓ４１）。
Next, the downward-
そして、下方視判定部４０７は、当該第１区間の間で、顔の向きの下方への変化と開眼度の減少の変化が時間的に同期しているか否かを判断する（Ｓ４２）。具体的には、下方視判定部４０７は、第１区間の間で、顔の向きが下方へ変化しており、かつ、開眼度も減少しており、かつ顔の向きの下方への変化と開眼度の減少の変化のタイミングが一致しているか否かにより同期しているか否かを判断する。このような同期の判断を行う下方視判定部４０７を、例えば、カルマンフィルタ等で構成することができるが、これに限定されるものではない。図１１は、本実施形態における顔の向き、開眼度、下方視の形状パラメータのそれぞれの経時的変化を示す図である。図１１（ａ）が顔の向きの経時的変化、図１１（ｂ）が開眼度の経時的変化、図１１（ｃ）が形状パラメータの経時的変化を示している。図１１（ａ）、（ｂ）に示しように、顔の向きの下方への変化と開眼度の減少の変化とは、点線で囲まれる区間Ｔ１で同期している。このため、この区間Ｔ１で、運転者は顔を下方向に向けにいく状態をしていると考えられる。なお、下方視判定部４０７は、第１区間の間にで、顔の向きの下方への変化と開眼度の減少変化が所定量を超えている場合に、下方視であると判定してもよい。
Then, the downward
そして、両者が同期していない場合には（Ｓ４２：Ｎｏ）、処理は終了する。一方、両者が同期している場合には（Ｓ４２：Ｙｅｓ）、下方視判定部４０７は、第３バッファ４４０から、上記第１区間の複数の形状パラメータを取得する（Ｓ４３）。そして、下方視判定部４０７は、当該第１区間の最新の形状パラメータが所定の下方視閾値以下であるか否かを判断する（Ｓ４４）。
And when both are not synchronizing (S42: No), a process is complete | finished. On the other hand, when both are synchronized (S42: Yes), the downward-
ここで、上述したとおり、運転者の顔の向きの下方へ変化と、運転者の視線方向として目の開眼度の減少の変化とが同期している場合に、運転者が下方視を行おうとしていることが過去の実験データ等から得られた。このため、Ｓ４２で、下方視判定部４０７は、両者が同期していると判断される場合には、運転者が下方視を行おうとしている状態、あるいは下方視の状態であるとの判定を確定してもよい。しかしながら、本実施形態では、下方視の判断の正確性をより向上させるために、Ｓ４４のように、下方視判定部４０７は、さらに形状パラメータによる判断を加えて下方視判定を行っている。
Here, as described above, when the change in the downward direction of the driver's face is synchronized with the decrease in the degree of eye opening as the driver's line of sight, the driver will look down. It was obtained from past experimental data. For this reason, in S42, when it is determined that the two are synchronized, the downward-
ここで、下方視閾値は、運転者が下方視をしているときの目の形状の形状パラメータの最大値である。従って、形状パラメータが下方視閾値以下の範囲である場合には、目の形状が下方視のときの目の形状の範囲であることを意味する。下方視閾値は予め定められており、ＲＯＭ１４ｂやＳＳＤ１４ｆ等に記憶されている。 Here, the downward viewing threshold is the maximum value of the shape parameter of the eye shape when the driver is looking downward. Therefore, when the shape parameter is within the range below the downward viewing threshold, it means that the eye shape is within the range of the eye shape when viewed downward. The downward viewing threshold is determined in advance and stored in the ROM 14b, the SSD 14f, or the like.
なお、本実施形態では、形状パラメータが下方視閾値以下の場合に目の形状が下方視の範囲としているが、これは、図６を用いて上述したとおり、標準の目の形状が下方視に近づくに従って、本実施形態の形状パラメータが小さくなるように設定されているからである。従って、形状パラメータの設定の仕方によっては、下方視の範囲の境界となる下方視閾値の定め方は異なってくる。 In this embodiment, when the shape parameter is equal to or lower than the downward viewing threshold, the shape of the eye is set as the downward viewing range. However, as described above with reference to FIG. This is because the shape parameter of the present embodiment is set to be smaller as it gets closer. Accordingly, depending on how the shape parameters are set, the method of determining the downward viewing threshold value that becomes the boundary of the downward viewing range differs.
Ｓ４４で、形状パラメータが下方視閾値以下の場合には（Ｓ４４：Ｙｅｓ）、下方視判定部４０７は、運転者が下方視を行っていると判断する（Ｓ４５）。すなわち、Ｓ４２の判断で、顔の向きの下方への変化と開眼度の減少の変化とが同期しており、さらに形状パラメータが下方視の範囲であることから、下方視判定部４０７は、運転者が下方視の状態であるという、顔の向きの下方への変化と開眼度の減少の変化の同期による推定を確定している。すなわち、図１１（ｃ）に示すように、下方視判定部４０７は、形状パラメータの減少の変化も、顔の向きの下方への変化、開眼度の減少の変化と同期しているときに、運転者の顔が下方視に向かっていると判断することができる。しかし、下方視判定部４０７は、目の形状の形状パラメータが下方視閾値以下となったときに、運転者の顔が下方視の状態であるとの判断を確定すれば、下方視の判断がより正確なものとなる。なお、形状パラメータが、第１区間の間で、所定量変化した場合に、すなわち、形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、運転者は下方視状態であると判断するように下方視判定部４０７を構成してもよい。
If the shape parameter is equal to or smaller than the downward viewing threshold value in S44 (S44: Yes), the downward
この場合、運転者は開眼状態ではあるが、運転中に前方を見ずに、スマートフォン等の操作等で下方をみていることが考えられる。このため、処理部４０８は、前方を向かせるための警報を、モニタ装置１１の音声出力装置から出力させる（Ｓ４６）。そして、処理は終了する。
In this case, although the driver is in an open state, it is conceivable that the driver is looking downward by operating a smartphone or the like without looking forward while driving. For this reason, the
なお、本実施形態では、下方視と判定された場合に警報を出力しているが、これに限定されるものではない。例えば、運転者に警告を促して脇見運転をやめて前方を向かせるような動作であれば、いずれの動作を行うように処理部４０８を構成することができる。
In the present embodiment, an alarm is output when it is determined to look downward, but the present invention is not limited to this. For example, the
一方、Ｓ４４で、形状パラメータが下方視閾値より大きい場合には（Ｓ４４：Ｎｏ）、下方視判定部４０７は、下方視の状態と判定せずに、処理は終了する。
On the other hand, when the shape parameter is larger than the downward viewing threshold value in S44 (S44: No), the downward
なお、本実施形態では、図８，９のフローチャートが実行される度に、Ｓ４０からＳ４６までの処理、すなわち、各バッファから逐次蓄積されたデータ（顔の向き、開眼度、形状パラメータ）を読み出して下方視を判定する処理をおこなっているが、これに限定されるものではない。例えば、図８，９のフローチャートが実行される度に各バッファに顔の向き、開眼度、形状パラメータを保存しておき、一定の期間ごとにのみ、Ｓ４０からＳ４６までの下方視判定を行うように下方視判定部４０７を構成してもよい。
In this embodiment, every time the flowcharts of FIGS. 8 and 9 are executed, the processing from S40 to S46, that is, the data (face orientation, eye opening degree, shape parameter) sequentially accumulated from each buffer is read out. However, the present invention is not limited to this. For example, each time the flowcharts of FIGS. 8 and 9 are executed, the face orientation, the degree of eye opening, and the shape parameters are stored in each buffer, and the downward view determination from S40 to S46 is performed only at regular intervals. Alternatively, the downward
このように本実施形態では、下方視判定部４０７は、運転者の顔の向きと開眼度とを検出して、顔の向きの下方への変化と開眼度の減少の変化とが時間的に同期したときに、運転者が下方視に向かっていると判断しているので、より正確な下方視判断を行うことができる。これにより、本実施形態によれば、下方視の誤判断に伴う警報の出力を防止することができる。
As described above, in the present embodiment, the downward-
また、本実施形態では、三次元顔モデル４１０に、目の形状の変化に対応した形状パラメータを登録している。そして、下方視判定部４０７は、運転者の顔の向きと開眼度とを検出して、顔の向きの下方への変化と開眼度の減少の変化とが時間的に同期したときに、さらに目の形状を示す形状パラメータが下方視の範囲にあるか否かを判断して、形状パラメータが下方視の範囲にある場合に、下方視の推定を確定している。このため、本実施形態によれば、運転者の下方視判断をより一層正確に行うことができる。
In the present embodiment, shape parameters corresponding to changes in the shape of the eyes are registered in the three-
また、本実施形態では、運転者の顔の目の形状を、二次元の撮像画像だけでなく、三次元の顔モデルを用いて推定（特定）しているので、撮像装置２０１に対する垂直方向の相対的な顔の位置および顔の向きの影響を受けることが少ない。このため、本実施形態によれば、より正確に目の形状を推定することができ、これにより、より正確に運転者の下方視を判定することができる。 In the present embodiment, the shape of the eyes of the driver's face is estimated (specified) using not only a two-dimensional captured image but also a three-dimensional face model. Less affected by relative face position and face orientation. For this reason, according to the present embodiment, the shape of the eyes can be estimated more accurately, and thereby the driver's downward view can be determined more accurately.
また、本実施形態では、運転者が下方視であると判定された場合には、処理部４０８は、運転者に警告を促す動作の一例として警報を、モニタ装置１１の音声出力装置から出力させるので、運転者の脇見運転を防止することができる。
In the present embodiment, when it is determined that the driver is looking downward, the
なお、本実施形態では、視線方向の下方への変化の一例として、開眼度の減少の変化を用いているが、公知の手法で視線方向を直接検知して、顔の向きの下方への変化との同期を判断するように、下方視判定部４０７を構成してもよい。
In this embodiment, as an example of the downward change in the line-of-sight direction, a change in the degree of eye opening is used. However, the change in the face direction is detected by directly detecting the line-of-sight direction using a known method. The downward-
また、本実施形態では、運転者の顔の向きの下方への変化と開眼度の減少の変化との時間的な同期と形状パラメータの値とにより運転者の下方視の判断を行っているが、形状パラメータを用いずに、運転者の顔の向きの下方への変化と開眼度の減少の変化とが時間的に同期した場合には、運転者が下方視の状態にあるとの判断を確定するように下方視判断部４０７を構成してもよい。
In the present embodiment, the driver's downward view is determined based on the temporal synchronization of the downward change in the driver's face direction and the change in the reduction in the degree of eye opening and the value of the shape parameter. If the change in the downward direction of the driver's face and the change in the decrease in the degree of eye opening are synchronized in time without using the shape parameter, it is determined that the driver is in the downward viewing state. The downward
本実施形態では、三次元顔モデル４１０に、標準の目の状態から下方視に至るまでの目の形状の変化を形状パラメータとともに登録して、下方視の判定を行っているが、さらに、下方視以外の判定を行うように、三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成してもよい。
In the present embodiment, the change in the shape of the eye from the standard eye state to the downward view is registered in the three-
例えば、三次元顔モデル４１０に、さらに、標準の目の状態からあくびをしたときまでの目の形状の段階的な変化を形状パラメータとともに登録し、あくびの判定を行うように三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成することができる。
For example, in the three-
また、三次元顔モデル４１０に、さらに、標準の目の状態から目を凝らす状態までの目の形状の段階的な変化までの目の形状の段階的な変化を形状パラメータとともに登録し、まぶしくて目を細めたことを判定するように、三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成してもよい。
In addition, the gradual change of the eye shape from the standard eye state to the squinting state is registered in the three-
また、形状パラメータを、上記非特許文献「Active Appearance Model 探索による目領域構造の自動抽出 森山 剛 金出 武雄 Jeffrey F. Cohn 小沢 慎治『画像の認識・理解シンポジウム（ＭＩＲＵ２００６）』」や非特許文献「Costen, N., Cootes, T.F., Taylor, C.J.: Compensating for ensemble-specificity effects when building facial models. Image and Vision Computing 20, 673−682」に示されているように、個人内差と個人間差とに分類して登録されるように三次元顔モデル４１０を構成してもよい。
In addition, the shape parameters are extracted from the above-mentioned non-patent document “Automatic Extraction of Eye Region Structure by Active Appearance Model Search Takeshi Moriyama Takeo Kanade Jeffrey F. Cohn Shinji Ozawa“ Image Recognition and Understanding Symposium (MIRU2006) ”” and non-patent document “ Costen, N., Cootes, TF, Taylor, CJ: Compensating for ensemble-specificity effects when building facial models.Image and
また、本実施形態では、運転者の脇見運転の判断を行うために、下方視の判定を行っているが、これに限定されるものではない、インタフェースとの対話等、人間的なやり取りにおいて、本実施形態の手法の下方視の検出を用いるように、三次元顔モデル４１０、形状パラメータ判定部４０５、下方視判定部４０７等を構成してもよい。
Further, in the present embodiment, in order to determine the driver's side-view driving, the determination of the downward view is performed, but is not limited to this, in human interaction such as dialogue with the interface, The three-
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１ 車両
１４ ＥＣＵ
２０１ 撮像装置
４０１ 入力部
４０２ 顔データ計測部
４０３ モデル生成部
４０４ 照合部
４０５ 形状パラメータ判定部
４０６ 開眼度算出部
４０７ 下方視判定部
４０８ 処理部
４１０ 三次元顔モデル
1
201
Claims (4)
撮像装置で運転者を撮像するごとに、撮像された前記運転者の撮像画像を、逐次、前記三次元顔形状と照合して、顔の向きを特定する照合部と、
前記運転者を撮像するごとに、前記撮像画像における目の開眼の状態を示す開眼度を算出する開眼度算出部と、
前記形状パラメータを変化させて、前記撮像画像における前記目の形状の状態に対応する形状パラメータを特定する形状パラメータ判定部と、
前記顔の向きの下方への変化と、前記運転者の視線方向としての前記開眼度の減少の変化とが同期しているか否かを判断し、同期している場合に、特定された前記形状パラメータが下方視を示す範囲内であるか否かまたは特定された前記形状パラメータの時系列変化が下方視側へ所定量を超える変化であるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合または前記形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、前記運転者は下方視状態であると判定する下方視判定部と、を備えている下方視判定装置。 The three-dimensional face shape of the subject, the eye position of the subject, the eye shape change state indicating the change from the normal state of the eye to the state of the subject's downward view, and the shape parameter are associated. A storage unit for storing change information and a registered three-dimensional face model;
Each time the driver is imaged by the imaging device, the captured image of the driver is sequentially verified with the three-dimensional face shape, and a collation unit that identifies the orientation of the face;
Each time the driver is imaged, an eye opening degree calculation unit that calculates an eye opening degree indicating an eye opening state in the captured image;
A shape parameter determining unit that changes the shape parameter to identify a shape parameter corresponding to a state of the shape of the eye in the captured image;
It is determined whether or not the change in the downward direction of the face and the change in the decrease in the degree of eye opening as the driver's line-of-sight direction are synchronized , and the identified shape when synchronized It is determined whether the parameter is within a range indicating downward viewing or whether the time-series change of the specified shape parameter is a change exceeding a predetermined amount toward the downward viewing side, and the shape parameter A downward-viewing determination unit that determines that the driver is in the downward-viewing state when the shape parameter is within the range shown or when the time-series change of the shape parameter is a change exceeding a predetermined amount toward the downward-viewing side. A downward-viewing determination device.
をさらに備えた請求項１に記載の下方視判定装置。 When it is determined that the driver is in a downward looking state, a processing unit that outputs an alarm,
Further downward gaze determination device according to claim 1 comprising a.
計測された前記三次元顔構造データと前記変化情報とを、前記三次元顔モデルとして前記記憶部に登録するモデル生成部と、
をさらに備えた請求項１または２に記載の下方視判定装置。 The change information in which the three-dimensional face structure data including the three-dimensional face shape and the eye position, the change state of the eye shape, and the shape parameter are associated with each other based on the captured image of the subject. And a measurement unit for
A model generation unit that registers the measured three-dimensional face structure data and the change information in the storage unit as the three-dimensional face model;
The downward-viewing determination apparatus according to claim 1 or 2 , further comprising:
前記下方視判定装置は、被験者の三次元顔形状と、被験者の目の位置と、目の標準の状態から被験者の下方視の状態までの変化を示している目の形状の変化の状態と形状パラメータとが対応付けられた変化情報と、が登録された三次元顔モデルを記憶する記憶部、を備え、
運転者を撮像するごとに、撮像された前記運転者の撮像画像を、逐次、前記三次元顔形状と照合して、顔の向きを特定し、
前記運転者を撮像するごとに、前記撮像画像における目の開眼の状態を示す開眼度を算出し、
前記形状パラメータを変化させて、前記撮像画像における前記目の形状の状態に対応する形状パラメータを特定し、
前記顔の向きの下方への変化と、前記運転者の視線方向としての前記開眼度の減少の変化とが同期しているか否かを判断し、同期している場合に、特定された前記形状パラメータが下方視を示す範囲内であるか否かまたは特定された前記形状パラメータの時系列変化が下方視側へ所定量を超える変化であるか否かを判定し、前記形状パラメータが下方視を示す範囲内である場合または前記形状パラメータの時系列変化が下方視側へ所定量を超える変化である場合に、前記運転者は下方視状態であると判定する、
ことを含む下方視判定方法。 A downward vision determination method executed by the downward vision determination device,
The downward-viewing determination device includes a three-dimensional face shape of the subject, a position of the subject's eyes, and a change state and shape of the eye shape indicating a change from a standard state of the eye to a state of the subject's downward view A storage unit for storing change information associated with parameters and a registered three-dimensional face model,
Each time the driver is imaged, the captured image of the driver is sequentially compared with the three-dimensional face shape to identify the orientation of the face,
Every time the driver is imaged, an eye opening degree indicating an eye opening state in the captured image is calculated,
Change the shape parameter to identify the shape parameter corresponding to the state of the eye shape in the captured image,
It is determined whether or not the change in the downward direction of the face and the change in the decrease in the degree of eye opening as the driver's line-of-sight direction are synchronized , and the identified shape when synchronized It is determined whether the parameter is within a range indicating downward viewing or whether the time-series change of the specified shape parameter is a change exceeding a predetermined amount toward the downward viewing side, and the shape parameter The driver determines that the driver is in the downward-viewing state when the shape parameter is within the range shown or when the time-series change of the shape parameter is a change exceeding a predetermined amount toward the downward-viewing side ,
A method for determining downward vision including the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014252941A JP6572538B2 (en) | 2014-12-15 | 2014-12-15 | Downward view determination device and downward view determination method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014252941A JP6572538B2 (en) | 2014-12-15 | 2014-12-15 | Downward view determination device and downward view determination method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016115118A JP2016115118A (en) | 2016-06-23 |
| JP6572538B2 true JP6572538B2 (en) | 2019-09-11 |
Family
ID=56141890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014252941A Active JP6572538B2 (en) | 2014-12-15 | 2014-12-15 | Downward view determination device and downward view determination method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6572538B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015211444A1 (en) * | 2015-06-22 | 2016-12-22 | Robert Bosch Gmbh | A method and apparatus for distinguishing blink events and instrument views using an eye opening width |
| JP6922686B2 (en) | 2017-11-20 | 2021-08-18 | トヨタ自動車株式会社 | Operating device |
| CN110866864A (en) | 2018-08-27 | 2020-03-06 | 阿里巴巴集团控股有限公司 | Face pose estimation/three-dimensional face reconstruction method and device and electronic equipment |
| JP7378681B2 (en) * | 2021-08-12 | 2023-11-13 | 三菱電機株式会社 | Occupant condition determination device, occupant condition determination method, and occupant condition determination system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3855790B2 (en) * | 2002-02-12 | 2006-12-13 | 日産自動車株式会社 | Driver status detection device |
| JP4840146B2 (en) * | 2007-01-09 | 2011-12-21 | 株式会社デンソー | Sleepiness detection device |
| JP4793269B2 (en) * | 2007-01-09 | 2011-10-12 | 株式会社デンソー | Sleepiness detection device |
| JP4893507B2 (en) * | 2007-07-04 | 2012-03-07 | オムロン株式会社 | Aside look detection device and method, and program |
| JP5493593B2 (en) * | 2009-08-26 | 2014-05-14 | アイシン精機株式会社 | Sleepiness detection apparatus, sleepiness detection method, and program |
-
2014
- 2014-12-15 JP JP2014252941A patent/JP6572538B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016115118A (en) | 2016-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3033999B1 (en) | Apparatus and method for determining the state of a driver | |
| EP3488382B1 (en) | Method and system for monitoring the status of the driver of a vehicle | |
| JP2016115117A (en) | Determination device and determination method | |
| CN112590794A (en) | Method and apparatus for determining an estimate of the ability of a vehicle driver to take over control of a vehicle | |
| US9928404B2 (en) | Determination device, determination method, and non-transitory storage medium | |
| JP5664603B2 (en) | On-vehicle acoustic device and program | |
| US9606623B2 (en) | Gaze detecting apparatus and method | |
| CN110765807A (en) | Driving behavior analysis method, driving behavior processing method, driving behavior analysis device, driving behavior processing device and storage medium | |
| CN111665513B (en) | Facial feature detection device and facial feature detection method | |
| JP7290930B2 (en) | Occupant modeling device, occupant modeling method and occupant modeling program | |
| JP6572538B2 (en) | Downward view determination device and downward view determination method | |
| JP2020126638A (en) | Method and device for adjusting driver assistance apparatus automatically for personalization and calibration according to driver's status | |
| JP6479272B1 (en) | Gaze direction calibration apparatus, gaze direction calibration method, and gaze direction calibration program | |
| JP2017199302A (en) | Determination device, determination method, determination program and storage medium | |
| JP2016115120A (en) | Opened/closed eye determination device and opened/closed eye determination method | |
| JPWO2019163124A1 (en) | 3D position estimation device and 3D position estimation method | |
| US7599546B2 (en) | Image information processing system, image information processing method, image information processing program, and automobile | |
| JP2016192177A (en) | Vehicle detection system, vehicle detection device, vehicle detection method and vehicle detection program | |
| US20220230474A1 (en) | Activity identification method and apparatus | |
| JP7263734B2 (en) | Visual recognition target determination device | |
| JP6459856B2 (en) | Vehicle driving support device, vehicle driving support method, and program | |
| JP7267467B2 (en) | ATTENTION DIRECTION DETERMINATION DEVICE AND ATTENTION DIRECTION DETERMINATION METHOD | |
| WO2017217044A1 (en) | Viewing direction estimation device | |
| JPWO2019123582A1 (en) | Object information generator and object information generator | |
| KR102486161B1 (en) | Vehicle, Control Method of the vehicle and Image tracking apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190716 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190729 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6572538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |