JP6708152B2 - 運転者状態推定装置、及び運転者状態推定方法 - Google Patents

Description

本発明は運転者状態推定装置、及び運転者状態推定方法に関し、より詳細には運転者の頭部の位置や車両前方正面に対する運転者の顔の向きなど、運転者の状態を推定することができる運転者状態推定装置、及び運転者状態推定方法に関する。

車室内カメラで撮影された運転者の画像から運転者の動作や視線などの状態を検知し、運転者に必要とされる情報の提示や警告などを行う技術が従来より開発されている。
また、近年開発が進められている自動運転システムでは、自動運転中においても、自動運転から手動運転への引き継ぎがスムーズに行えるように、運転者が運転操作可能な状態であるかどうかを推定しておく技術が必要になると考えられており、車室内カメラで撮像した画像を解析して、運転者の状態を推定する技術の開発が進められている。

運転者の状態を推定するためには、運転者の頭部位置や顔の向きを検出する技術が必要とされている。例えば、特許文献１には、車室内カメラで撮像された画像中における運転者の顔領域を検出し、検出した顔領域に基づいて、運転者の頭部位置を推定する技術が開示されている。

上記運転者の頭部位置の具体的な推定方法は、まず、車室内カメラに対する頭部位置の角度を検出する。該頭部位置の角度の検出方法は、画像上での顔領域の中心位置を検出し、該検出した顔領域の中心位置を頭部位置（頭部の中心位置）として、該顔領域の中心位置を通る頭部位置直線を求め、該頭部位置直線の角度（頭部位置の車室内カメラに対する角度）を決定する。

次に、頭部位置直線上の頭部位置を検出する。該頭部位置直線上の頭部位置の検出方法は、車室内カメラから所定距離に存在する場合の顔領域の標準大きさを記憶しておき、この標準大きさと実際に検出した顔領域の大きさとを比較して、車室内カメラから頭部位置までの距離を求める。そして、求めた距離だけ車室内カメラから離れた、頭部位置直線上の位置を頭部位置として推定するようになっている。

また、特許文献１記載の運転者の顔の向きの推定方法は、顔画像から特徴点（顔の各部位）を検出し、これら実際に検出された特徴点と、顔の向きが正面である場合の特徴点との変位量に基づいて運転者の顔の向きを推定するようになっている。

［発明が解決しようとする課題］
特許文献１記載の頭部位置の推定方法では、画像上での頭部位置（頭部の中心位置）を顔領域の中心位置を基準として検出しているが、顔領域の中心位置は顔の向きによって変わってしまう。そのため、頭の中心位置が同じ位置にあっても、顔の向きの違いより、画像上で検出される顔領域の中心位置（頭部位置）はそれぞれ異なる位置に検出される。そのため画像上で検出される頭部位置が実世界の頭部位置とは異なる位置に検出されてしまい、実世界における頭部位置を精度よく推定することができないという課題があった。

また、車両の運転席は、一般的に前後方向へ座席位置を調整できるようになっている。車室内カメラが、例えば、運転席の斜め前方に設置されている場合、運転者の顔の向きが正面に向いている場合でも、運転席の前後位置の違い、すなわち、運転者の頭部位置の違いによって、車室内カメラに写る運転者の顔の向き（角度）は異なる角度で検出されてしまう。具体的には、運転席を前寄りに位置させたときの方が、運転席を後寄りに位置させたときよりも、車室内カメラに写る運転者の顔の向き（角度）は大きく検出される。したがって、特許文献１記載の顔の向き推定方法では、運転席の前後位置（運転者の頭部位置）の違いに伴って変化する、車室内カメラに写る運転者の顔の向き（角度）の違いに対応できておらず、運転者の車両前方正面に対する顔の向きも正確に検出できていないという課題があった。

特開２０１４−２１８１４０号公報

課題を解決するための手段及びその効果

本発明は上記課題に鑑みなされたものであって、運転者の顔の向きの違いや運転席位置の違いによる影響を受けることなく、実世界における運転者の頭部の位置を画像から精度良く推定することができる運転者状態推定装置、及び運転者状態推定方法を提供することを目的としている。

上記目的を達成するために本発明に係る運転者状態推定装置（１）は、撮像された画像から運転者の状態を推定する運転者状態推定装置であって、
運転席に着座している運転者の顔を含む画像を撮像する単眼の撮像部と、
少なくとも１つのハードウェアプロセッサとを備え、
該少なくとも１つのハードウェアプロセッサが、
前記撮像部により撮像された画像中の前記運転者の顔にフィッティングさせた３次元顔形状モデルを用いて前記画像中の前記運転者の頭部中心位置を推定する頭部中心位置推定部と、
該頭部中心位置推定部により推定された前記画像中の前記運転者の頭部中心位置と、前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、前記運転席の正面方向に設けた原点と実世界における前記運転者の頭部中心位置との距離を推定する距離推定部とを備えていることを特徴としている。

上記運転者状態推定装置（１）によれば、前記画像中の前記運転者の顔にフィッティングさせた３次元顔形状モデルを用いて前記画像中の前記運転者の頭部中心位置を推定するので、前記運転者の顔の向きの違いに関わらずに、前記画像中の前記運転者の頭部中心位置を精度良く推定することができる。前記画像中の前記運転者の頭部中心位置が精度良く推定されることにより、該頭部中心位置と、前記撮像部の仕様（画角や解像度など）、及び位置姿勢（角度や原点からの距離など）を含む情報とに基づいて、前記運転席の正面方向に設けた原点と実世界における前記運転者の頭部中心位置との距離を精度良く推定することができる。

また本発明に係る運転者状態推定装置（２）は、上記運転者状態推定装置（１）において、前記少なくとも１つのハードウェアプロセッサが、
前記距離推定部により推定された前記距離を用いて、前記運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴としている。

上記運転者状態推定装置（２）によれば、前記距離推定部で推定された前記距離に基づいて、前記運転者が運転操作可能な状態であるか否かを判定することができる。例えば、前記原点がハンドル位置となるように設定すれば、前記距離に基づいて、前記運転者がハンドルに手が届く範囲内にいる状態か否かを判定することができ、前記運転者の監視を適切に行うことができる。

また本発明に係る運転者状態推定装置（３）は、上記運転者状態推定装置（１）又は（２）において、前記少なくとも１つのハードウェアプロセッサが、
前記撮像部により撮像された画像から前記撮像部に対する前記運転者の顔の向きを検出する顔の向き検出部と、
前記頭部中心位置推定部により推定された前記画像中の前記運転者の頭部中心位置と、前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、実世界における前記運転者の頭部中心位置からの前記撮像部の方向と前記運転席の正面方向とのなす角度を推定する角度推定部と、
前記顔の向き検出部で検出された前記運転者の顔の向きと、前記角度推定部で推定された角度とに基づいて、前記運転席の正面方向を基準とする前記運転者の顔の向きを推定する顔の向き推定部とを備えていることを特徴としている。

上記運転者状態推定装置（３）によれば、精度良く推定された前記画像中の前記運転者の頭部中心位置と、前記撮像部の仕様（画角や解像度など）、及び位置姿勢（角度）とを含む情報とに基づいて、実世界における前記運転者の頭部中心位置からの前記撮像部の方向と前記運転席の正面方向とのなす角度を精度良く推定することができる。該推定された角度を用いることにより、前記運転席の位置（運転者の頭部位置）の違いや前記運転者の顔の向きの違いの影響を受けることなく、前記撮像部に対する運転者の顔の向きから前記運転席の正面方向を基準とする前記運転者の顔の向きを精度良く推定することができる。

また本発明に係る運転者状態推定装置（４）は、上記運転者状態推定装置（３）において、前記少なくとも１つのハードウェアプロセッサが、前記顔の向き推定部で推定された前記運転者の顔の向きに基づいて、前記運転者の状態を判定する運転者状態判定部を備えていることを特徴としている。

上記運転者状態推定装置（４）によれば、前記顔の向き推定部で推定された前記運転者の顔の向きに基づいて、前記運転者の状態、例えば、脇見している状態などを精度良く判定することができ、前記運転者の監視を適切に行うことできる。

また本発明に係る運転者状態推定方法（１）は、運転席に着座している運転者の顔を含む画像を撮像する単眼の撮像部と、
少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
前記撮像部で撮像された画像を用いて運転者の状態を推定する運転者状態推定方法であって、
前記少なくとも１つのハードウェアプロセッサが、
前記撮像部で撮像された画像中の前記運転者の顔にフィッティングさせた３次元顔形状モデルを用いて前記画像中の前記運転者の頭部中心位置を推定する頭部中心位置推定ステップと、
該頭部中心位置推定ステップにより推定された前記画像中の前記運転者の頭部中心位置と、前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、前記運転席の正面方向に設けた原点と実世界における前記運転者の頭部中心位置との距離を推定する距離推定ステップとを含んでいることを特徴としている。

上記運転者状態推定方法（１）によれば、前記運転席の位置（運転者の頭部位置）の違いや前記運転者の顔の向きの違いの影響を受けることなく、前記運転席の正面方向に設けた原点と実世界における前記運転者の頭部中心位置との距離を推定することができる。該推定された距離を前記運転者が運転操作可能な状態かどうかの判定に利用することが可能となる。

また本発明に係る運転者状態推定方法（２）は、上記運転者状態推定方法（１）において、前記少なくとも１つのハードウェアプロセッサが、
前記撮像された画像から前記撮像部に対する前記運転者の顔の向きを検出する顔の向き検出ステップと、
前記頭部中心位置推定ステップにより推定された前記画像中の前記運転者の頭部中心位置と、前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、実世界における前記運転者の頭部中心位置からの前記撮像部の方向と前記運転席の正面方向とのなす角度を推定する角度推定ステップと、
前記顔の向き検出ステップにより検出された前記運転者の顔の向きと、前記角度推定ステップにより推定された角度とに基づいて、前記運転席の正面方向を基準とする前記運転者の顔の向きを推定する顔の向き推定ステップとを含んでいることを特徴としている。

上記運転者状態推定方法（２）によれば、前記運転席の位置（運転者の頭部位置）の違いや前記運転者の顔の向きの違いの影響を受けることなく、前記撮像部に対する運転者の顔の向きから前記運転席の正面方向を基準とする前記運転者の顔の向きを精度良く推定することができる。

本発明の実施の形態に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。 実施の形態に係る運転者状態推定装置の構成を示すブロック図である。 実施の形態に係る運転者状態推定方法を説明するための車室内平面図である。 実施の形態に係る運転者状態推定装置で推定する画像中の頭部中心位置と運転席位置との関係について説明するためのイラスト図である。 実施の形態に係る運転者状態推定装置で推定する画像中の頭部中心位置と運転者の顔の向きとの関係などについて説明するためのイラスト図である。 実施の形態に係る運転者状態推定装置におけるプロセッサの行う処理動作を示したフローチャートである。

以下、本発明に係る運転者状態推定装置、及び運転者状態推定方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。

図１は、実施の形態に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。図２は、実施の形態に係る運転者状態推定装置の構成を示すブロック図である。

自動運転システム１は、車両を道路に沿って自動で走行させるためのシステムであり、運転者状態推定装置１０、ＨＭＩ（Human Machine Interface）４０、及び自動運転制御装置５０を含んで構成され、これら各装置が通信バス６０を介して接続されている。なお、通信バス６０には、自動運転や運転者による手動運転の制御に必要な各種センサや制御装置（図示せず）も接続されている。

運転者状態推定装置１０は、撮像された画像から運転者の状態、具体的には、運転席の正面方向を基準とする運転者の顔の向きを推定する処理、ハンドル位置から運転者の頭部中心位置までの距離を推定する処理を行い、これら推定結果に基づいて運転者の位置姿勢などの状態を判定し、これら判定結果を出力する処理などを行う。

運転者状態推定装置１０は、単眼カメラ１１、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、記憶部１５、及び入出力インターフェース（Ｉ／Ｆ）１６を含んで構成され、これら各部が通信バス１７を介して接続されている。

撮像部としての単眼カメラ１１は、運転席に着座している運転者の顔を含む画像を定期的（例えば、１秒間に３０〜６０回）に撮像可能なものであり、単眼のレンズ系、ＣＣＤ又はＣＭＯＳなどの撮像素子、及び近赤外光を照射する近赤外ＬＥＤなどの赤外線照射器（いずれも図示せず）などを含んで構成されている。

ＣＰＵ１２は、ハードウェアプロセッサであり、ＲＯＭ１３に記憶されているプログラムを読み出し、該プログラムに基づいて単眼カメラ１１から取得した画像データの各種処理などを行う。ＣＰＵ１２を複数装備してもよい。
ＲＯＭ１３には、図２に示す顔検出部２２、頭部中心位置推定部２３、角度推定部２５、顔の向き推定部２６、脇見判定部２７、距離推定部２８、及び運転操作可否判定部２９としての処理を、ＣＰＵ１２に実行させるためのプログラムや３次元（３Ｄ）顔形状モデル適合アルゴリズム２４などが記憶されている。なお、ＣＰＵ１２で実行される前記プログラムの全部又は一部をＲＯＭ１３とは別の記憶部１５や他の記憶媒体（図示せず）に記憶してもよい。

ＲＡＭ１４には、ＣＰＵ１２で実行される各種処理に必要なデータやＲＯＭ１３から読み出したプログラムなどが一時記憶される。
記憶部１５は、単眼カメラ１１で撮像された画像データを記憶する画像記憶部１５ａと、単眼カメラ１１の画角や画素数（幅×縦）などの仕様情報、単眼カメラ１１の取付位置や取付角度などの位置姿勢情報などを記憶する情報記憶部１５ｂとを含んでいる。また、ＣＰＵ１２が、単眼カメラ１１で撮像された画像データを記憶部１５の一部である画像記憶部１５ａに記憶させる処理（記憶指示）や、画像記憶部１５ａから画像を読み出す処理（読み出し指示）を行うようにしてもよい。単眼カメラ１１の取付位置や取付角度などの位置姿勢情報は、例えば、単眼カメラ１１の設定メニューをＨＭＩ４０で読み出せるように構成しておき、取付時に、前記設定メニューから予め入力設定できるようにしておけばよい。記憶部１５は、例えば、ＥＥＰＲＯＭ、フラッシュメモリなどの１つ以上の不揮発性の半導体メモリで構成されている。入出力インターフェース（Ｉ／Ｆ）１６は、通信バス６０を介して各種外部装置とのデータのやり取りを行うためのものである。

ＨＭＩ４０は、運転者状態推定装置１０から送信されてきた信号に基づいて、運転者に脇見や運転姿勢等の状態を報知する処理、自動運転システム１の作動状況や自動運転の解除情報などを運転者に報知する処理、自動運転制御に関連する操作信号を自動運転制御装置５０に出力する処理などを行う。ＨＭＩ４０は、例えば、運転者が視認しやすい位置に設けられた表示部４１や音声出力部４２の他、図示しない操作部や音声入力部などを含んで構成されている。

自動運転制御装置５０は、図示しない動力源制御装置、操舵制御装置、制動制御装置、周辺監視センサ、ナビゲーションシステム、外部と通信を行う通信装置などにも接続され、これら各部から取得した情報に基づいて、自動運転を行うための制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御や自動速度調整制御など）を行う。

図２に示した運転者状態推定装置１０の各部を説明する前に、図３〜図５を用いて、運転者状態推定装置１０による運転者状態推定方法について説明する。
図３は、運転者状態推定装置１０による運転者状態推定方法を説明するための車室内平面図である。図４は、運転者状態推定装置１０で推定する画像中の頭部中心位置と運転席位置との関係などについて説明するためのイラスト図である。図５は、運転者状態推定装置１０で推定する画像中の頭部中心位置と運転者の顔の向きとの関係などについて説明するためのイラスト図である。

図３に示すように、運転者３０が運転席３１に着座しているとする。運転席３１の正面前方にはハンドル３２が設置されており、運転席３１は、前後方向に位置調整可能となっている。単眼カメラ１１は、運転席３１の左斜め前方に設置され、運転者の顔を含む画像を撮像可能に設置されている。なお、単眼カメラ１１の設置位置姿勢はこの形態に限定されるものではない。

本実施の形態では、ハンドル３２の中心位置を原点Ｏ、原点Ｏとシート中心Ｓとを結ぶ線分をＬ１、原点Ｏで線分Ｌ１と直交する線分をＬ２とした場合、単眼カメラ１１の取付角度は、線分Ｌ２に対して角度θに設定され、単眼カメラ１１の撮像面の中心Ｉと原点Ｏとの距離はＡに設定されている。また、線分Ｌ１上に実世界における運転者３０の頭部中心位置Ｈがあるものとする。原点Ｏは、単眼カメラ１１と実世界における運転者３０の頭部中心位置Ｈとを結ぶ線分Ｌ３を斜辺とする直角三角形の直角の頂点となっている。なお、原点Ｏの位置は、ハンドル３２の中心位置以外に設定してもよい。

また、単眼カメラ１１の画角をα、画像１１ａの幅方向の画素数をWidthで示している。画像１１ａ中の運転者３０Ａの頭部中心位置（幅方向の画素数）をｘ、画像１１ａ中の運転者３０Ａの頭部中心位置ｘを示す線分（垂直線）をＬｘで示すものとする。

また、単眼カメラ１１に対する実世界における運転者３０の顔の向き（角度）をφ１、運転者３０の頭部中心位置Ｈからの単眼カメラ１１の方向（線分Ｌ３）と運転席３１の正面方向（線分Ｌ１）とのなす角度をφ２、運転席３１の正面方向（線分Ｌ１）を基準とする運転者３０の顔の向き（角度）をφ３として説明する。

運転者状態推定装置１０では、撮像された画像１１ａ中の運転者３０Ａの頭部中心位置ｘを、後述する３次元顔形状モデルのフィッティング処理を実行して推定する。
運転者３０Ａの頭部中心位置ｘを推定することができれば、既知の情報、すなわち、単眼カメラ１１の仕様（画角α、幅方向の画素数Width）、単眼カメラ１１の位置姿勢（取付角度θ、原点Ｏからの距離Ａ）を利用して、以下の式１で角度φ２（線分Ｌ３と線分Ｌ１とのなす角度）を求めることができる。なお、単眼カメラ１１のレンズ歪み等を厳密に考慮する場合は、内部パラメータを用いたキャリブレーションを行う。

式１：φ２＝９０°−（（９０°−θ）−α／２＋α×ｘ／Width）
＝θ＋α／２−α×ｘ／Width

そして、後述する３次元顔形状モデルのフィッティング処理などで求めた、単眼カメラ１１に対する運転者３０の顔の向き（角度φ１）を用いて、
式２：角度φ１−角度φ２を計算することで、運転席３１の正面方向（線分Ｌ１）を基準とする運転者３０の顔の向き（角度）φ３を求めることができる。

運転席３１の座席位置（前後位置）、すなわち、運転者３０の頭部位置で異なる角度になる角度φ２を求め、この角度φ２を用いて、角度φ１（単眼カメラ１１に対する顔の向き）を補正することにより、運転席３１の座席位置に関わらずに、運転席３１の正面方向（線分Ｌ１）を基準とする運転者３０の顔の向き（角度）φ３を正確に求めることが可能となる。

また、角度φ２を求めることができれば、原点Ｏ、撮像面の中心Ｉ、頭部中心位置Ｈを結んだ三角形が、原点Ｏを直角の頂点とする直角三角形となるため、既知である原点Ｏから撮像面の中心Ｉまでの距離Ａ、角度φ２を利用して、以下の式３により、運転者３０の頭部中心位置Ｈから原点Ｏ（ハンドル３２）までの距離Ｂを推定することができる。推定された距離Ｂを用いて、運転者３０がハンドル操作可能な状態（ハンドル操作可能な範囲内にいる）か否かを判定することが可能となる。

式３：Ｂ＝Ａ／ｔａｎφ２
（なお、φ２＝θ＋α／２−α×ｘ／Width）
（但し、θ＋α／２＞α×ｘ／Widthとする。）

図４の（ａ）〜（ｄ）には、運転席３１の位置を段階的に前方へ移動させたときの車室内平面図と、単眼カメラ１１で撮像された画像１１ａとの関係を示している。いずれも運転者３０は、車両前方正面を向いている状態である。画像１１ａには、画像１１ａ中の運転者３０Ａの頭部中心位置ｘを線分Ｌｘで示している。

運転席３１を前方へ移動させることにより、単眼カメラ１１に対する運転者３０の顔の向き（角度）φ１は次第に大きくなる。したがって、角度φ１だけでは、運転者３０が、車両前方正面を向いているのかどうかを正確に把握することができない。

一方、運転席３１を前方へ移動させることにより、実世界における運転者３０の頭部中心位置Ｈも前方に移動し、画像１１ａ中の運転者３０Ａの頭部中心位置ｘを示す線分Ｌｘは、画像１１ａ中を左側に移動してゆく。画像１１ａ中の頭部中心位置ｘを示す線分Ｌｘが左側に移動するにしたがって角度φ２（線分Ｌ３と線分Ｌ１とのなす角度）は大きくなる。

したがって、上記した式２：角度φ１−角度φ２を計算して、運転席３１の正面方向（線分Ｌ１）を基準とする運転者３０の顔の向き（角度）φ３を求めると、この場合、φ３＝φ１−φ２の値は、約０°となり、いずれの座席位置でも、運転者３０は車両前方正面を向いていることが推定可能となる。
また、既知である原点Ｏから撮像面の中心Ｉまでの距離Ａ、角度φ２を利用して、上記した式３より、運転者３０の頭部中心位置Ｈから原点Ｏ（ハンドル）までの距離Ｂも推定することが可能となる。

図５の（ａ）〜（ｃ）には、運転席３１が同じ位置にあり、運転者３０の顔の向きを変化させたときの車室内平面図と、単眼カメラ１１で撮像された画像１１ａと、該画像１１ａにフィッティングさせる３次元顔形状モデル３３及び頭部中心位置ｘを示す線分Ｌｘと、３次元顔形状モデル３３の画像１１ａへのフィッティング処理により推定された運転者３０Ａの頭部中心位置ｘを線分Ｌｘで示した画像とを示している。

図５（ａ）は、運転者３０の顔の向きが車両前方正面方向に対して右側を向いている場合を示している。図５（ｂ）は、運転者３０の顔の向きが車両前方正面を向いている場合を示している。図５（ｃ）は、運転者３０の顔の向きが車両前方正面方向に対して左側を向いている場合を示している。
図５（ａ）〜（ｃ）の画像１１ａに示すように、運転者３０Ａの顔の目、鼻、口などの器官点の位置は、顔の向きによって変化するが、頭部中心位置ｘ（線分Ｌｘ）は、顔の向きによって変化しない。なお、運転席３１が同じ位置にある場合、頭部中心位置ｘ（線分Ｌｘ）は運転者３０の性別（男性、女性）や体格等の違いによる差（ずれ）はなく、略同位置となる。

運転者３０が顔の向きを変えると、単眼カメラ１１に対する運転者３０の顔の向き（角度）φ１は変化する。したがって、角度φ１だけでは、運転者３０が、どの方向を向いているのかを正確に把握することができない。

一方、運転者３０が顔の向きを変えた場合であっても、実世界における運転者３０の頭部中心位置Ｈと、画像１１ａ中の運転者３０Ａの頭部中心位置ｘを示す線分Ｌｘの位置は、殆ど変化しない。したがって、上記した式１で求められる角度φ２（線分Ｌ３と線分Ｌ１とのなす角度）は、運転者３０が顔の向きを変えた場合であっても、略同じ値を示す。

したがって、上記した式２：角度φ１−角度φ２を計算して、運転席３１の正面方向（線分Ｌ１）を基準とする運転者３０の顔の向き（角度）φ３を求めることにより、運転席３１の正面方向に対する運転者３０の顔の向き（角度）を略正確に推定することが可能となる。また、既知である原点Ｏから撮像面の中心Ｉまでの距離Ａ、角度φ２を利用して、上記した式３により、運転者３０の頭部中心位置Ｈから原点Ｏ（ハンドル）までの距離Ｂも推定することが可能となる。

次に運転者状態推定装置１０の具体的構成について、図２に示したブロック図に基づいて説明する。
運転者状態推定装置１０は、ＲＯＭ１３に記憶された各種のプログラムがＲＡＭ１４に読出され、ＣＰＵ１２で実行されることによって、画像入力部２１、顔検出部２２、頭部中心位置推定部２３、３次元（３Ｄ）顔形状モデル適合アルゴリズム２４、角度推定部２５、顔の向き推定部２６、脇見判定部２７、距離推定部２８、及び運転操作可否判定部２９としての処理を行う装置として成立する。

画像入力部２１は、単眼カメラ１１で撮像された運転者の顔を含む画像データを画像記憶部１５ａから読み出してＲＡＭ１４に取り込む処理を行う。
顔検出部２２は、単眼カメラ１１で撮像された画像から運転者の顔を検出する処理を行う。画像から顔を検出する手法は特に限定されないが、高速で高精度に顔を検出する手法が採用される。例えば、顔の局所的な領域の明暗差（輝度差）やエッジ強度、これら局所的領域間の関連性（共起性）を特徴量として捉え、これら多数の特徴量を組み合わせて学習することで検出器を作成し、階層的な構造（顔をおおまかにとらえる階層から顔の細部をとらえる階層構造）の検出器を備えることで、顔の領域検出を高速に行うことが可能となる。また、顔の向きや傾きに対応するために、顔の向きや傾きごとに別々に学習させた複数の検出器を備えるようにしてもよい。

頭部中心位置推定部２３は、画像１１ａ中の運転者３０Ａの顔に３次元顔形状モデル３３（図５を参照）をフィッティング（適合）させ、該フィッティングさせた３次元顔形状モデル３３を用いて画像１１ａ中の運転者３０Ａの頭部中心位置ｘを推定する処理を行う。画像中の人の顔に３次元顔形状モデルをフィッティングさせる技術は、特開２００７−２４９２８０号公報、特許第４５０１９３７号公報などに記載された技術を好適に用いることができるが、これに限定されるものではない。

３次元顔形状モデルを画像中の運転者の顔にフィッティングさせる技術の一例の概略を説明する。
予め学習処理により、３次元顔形状モデルの取得、レティナ構造によるサンプリング、及び正準層間分析による誤差推定行列の取得を行い、これら学習処理による学習結果（誤差推定行列、正規化パラメータなど）がＲＯＭ１３内の３Ｄ顔形状モデル適合アルゴリズム２４に記憶されている。

３次元顔形状モデルは、多数の人の顔画像に対し、目尻、目頭、鼻の穴の両端、唇の両端など顔器官の特徴的器官点を入力し、これらの平均３次元座標間を結ぶことで作成される。各特徴的器官点では、その特徴的器官点の検出精度を高めるために、レティナ構造によるサンプリングが実施される。レティナ構造とは、着目する特徴的器官点の周囲に放射状に離散的（中心に近づくほど密で、離れるほど疎な点列）に配置された網目状のサンプリング構造のことをいう。

３次元顔形状モデルは、顔を正面から見たときの左右水平方向の軸をＸ軸、上下垂直方向の軸をＹ軸、奥行き（前後）方向の軸をＺ軸とした場合の、Ｘ軸回りの回転（pitch）、Ｙ軸回りの回転（yaw）、Ｚ軸回りの回転（roll）、拡大縮小などの複数のパラメータを用いて自由自在に変形させることができる。
誤差推定行列は、３次元顔形状モデルの各特徴的器官点が誤った位置（検出すべき特徴的器官点と異なる位置）に配置されたときにどの方向に修正すべきかの相関関係についての学習結果（特徴的器官点での特徴量から、正解位置からのパラメータの変化分への変換行列）である。
誤差推定行列の取得方法は、正解位置にある３次元顔形状モデル（正解モデル）の変形パラメータ（正解モデルパラメータ）を作成し、次に正解モデルパラメータを乱数などにより一定範囲内でずらしたずれ配置モデルを作成する。次に、ずれ配置モデルに基づいて取得したサンプリング特徴量と、ずれ配置モデルと正解モデルとの差（パラメータの変化分）とを組として相関関係についての学習結果として取得する。

３次元顔形状モデル３３の画像１１ａ中の運転者３０Ａの顔へのフィッティング処理について説明する。顔検出部２２で検出された顔検出の結果に基づき、顔の位置、向き、大きさなどに対して適切な位置に３次元顔形状モデル３３を初期配置する。その初期位置における特徴的器官点の位置を検出し、その特徴的器官点での特徴量を算出する。その特徴量を誤差推定行列に入力し、正解位置近傍への形状変化パラメータの変化分を算出する。現在位置での３次元顔形状モデル３３の形状変化パラメータに、上記算出された正解位置近傍への形状変化パラメータの変化分を加算する。これら処理により３次元顔形状モデル３３が画像上の正解位置近傍へ高速にフィッティングされる。上記した３次元顔形状モデルの制御方法を、Active Structured Appearance Model (ASAM)と呼ぶ。

また、３次元顔形状モデル３３を用いているため、顔の器官の位置や形状だけでなく、単眼カメラ１１に対する顔姿勢、すなわち、顔が向いている方向やその角度φ１を直接求めることが可能となっている。
また、３次元顔形状モデル３３から３次元での頭部中心位置、例えば、頭部を球体と仮定したときの、該球体の中心位置（中心軸）を推定し、２次元の画像１１ａ上に射影して、画像１１ａ中の運転者３０Ａの頭部中心位置ｘを推定する。３次元での頭部中心位置を２次元平面に射影する方法としては、平行投影法、単点透視投影などの透視投影法などの各種の手法が採用され得る。

角度推定部２５は、頭部中心位置推定部２３により推定された画像１１ａ中の運転者３０Ａの頭部中心位置ｘと、情報記憶部１５ｂに記憶されている単眼カメラ１１の仕様（画角α、幅方向の画素数Width）及び位置姿勢（角度θ）とを含む情報に基づいて、実世界における運転者３０の頭部中心位置Ｈからの単眼カメラ１１の方向（線分Ｌ３）と運転席３１の正面方向（線分Ｌ１）とのなす角度φ２を上記した式１（φ２＝θ＋α／２−α×ｘ／Width）に基づいて推定する。

顔の向き推定部２６は、顔検出部２２での検出処理、又は頭部中心位置推定部２３での３次元顔形状モデルフィッティング処理時に検出された運転者の顔の向き（角度φ１）と、角度推定部２５で推定された角度φ２とに基づいて、運転席３１の正面方向（原点Ｏを通る線分Ｌ１）を基準とする運転者３０の顔の向き（角度φ３＝φ１−φ２）を推定する。

脇見判定部２７は、顔の向き推定部２６で推定された運転者３０の顔の向き（角度φ３）に基づいて、例えば、ＲＯＭ１３又は情報記憶部１５ｂに記憶された、脇見状態ではない角度範囲をＲＡＭ１４に読み出し、比較演算を行うことにより脇見状態であるか否かを判定し、該判定結果を示す信号をＨＭＩ４０や自動運転制御装置５０へ出力する。

距離推定部２８は、頭部中心位置推定部２３により推定された画像１１ａ中の運転者３０Ａの頭部中心位置ｘと、情報記憶部１５ｂに記憶されている単眼カメラ１１の仕様（画角α、幅方向の画素数Width）及び位置姿勢（角度θと距離Ａ）とを含む情報（換言すれば、角度φ２と距離Ａ）に基づいて、運転席３１の正面方向に設けた原点Ｏと実世界における運転者３０の頭部中心位置Ｈとの距離Ｂを上記した式３（Ｂ＝Ａ／ｔａｎφ２）に基づいて推定する。

運転操作可否判定部２９は、距離推定部２８で推定された距離Ｂに基づいて、運転者３０が運転操作可能な状態であるか否か、例えば、ＲＯＭ１３又は情報記憶部１５ｂに記憶された、適切なハンドル操作が可能な範囲をＲＡＭ１４に読み出し、比較演算を行うことにより、運転者３０がハンドル３２に手が届く範囲内にいるか否かを判定し、該判定結果を示す信号をＨＭＩ４０や自動運転制御装置５０へ出力する。

図６は、実施の形態に係る運転者状態推定装置１０におけるＣＰＵ１２の行う処理動作を示したフローチャートである。単眼カメラ１１では、例えば、毎秒３０〜６０フレームの画像が撮像され、各フレーム、又は一定間隔のフレーム毎に本処理が行われる。

まず、ステップＳ１では、単眼カメラ１１で撮像された画像１１ａ（運転者の顔を含む画像）データを画像記憶部１５ａから取得し、ステップＳ２で、取得した画像１１ａから運転者３０Ａの顔（顔領域、顔の向きなど）を検出する処理を行う。

ステップＳ３では、検出された画像１１ａ中の顔の位置に対して適切な位置（初期位置）に３次元顔形状モデル３３を配置する。ステップＳ４では、初期位置における各特徴的器官点の位置を求め、レティナ構造に基づき各特徴的器官点の特徴量を取得する。

ステップＳ５では、取得した特徴量を誤差推定行列に入力し、３次元顔形状モデル３３と正解モデルパラメータとの誤差推定量を取得する。ステップＳ６では、現在位置での３次元顔形状モデル３３の形状変化パラメータに上記誤差推定量を加算し、正解モデルパラメータの推定値を取得する。

ステップＳ７では、取得した正解モデルパラメータが正常範囲内であり、処理が収束したか否かを判断する。ステップＳ７において、処理が収束していないと判断すれば、ステップＳ４に戻り、取得した正解モデルパラメータに基づいて作成した新たな３次元顔形状モデル３３の各特徴的器官点の特徴量を取得する。一方ステップＳ７において、処理が収束したと判断すればステップＳ８に進み、正解位置近傍への３次元顔形状モデル３３の配置を完了する。

ステップＳ９では、正解位置近傍に配置された３次元顔形状モデル３３のパラメータに含まれる相似変換（平行移動、回転）パラメータから単眼カメラ１１に対する運転者３０の顔の向き（角度φ１）を求める。単眼カメラ１１に対して右向き角度は＋（プラス）、左向き角度は−（マイナス）で示すものとする。

ステップＳ１０では、３次元顔形状モデル３３を用いて画像１１ａ中の運転者３０Ａの頭部中心位置ｘを求める。例えば、３次元顔形状モデル３３から３次元での頭部中心位置（頭部を球体と仮定し、該球体の中心位置）を推定し、２次元の画像１１ａ上に射影して、画像１１ａ中の運転者３０Ａの頭部中心位置ｘを推定する。

次のステップＳ１１では、ステップＳ９で推定された画像１１ａ中の運転者３０Ａの頭部中心位置ｘと、単眼カメラ１１の仕様（画角α、幅方向の画素数Width）及び位置姿勢（角度θ）とを含む情報に基づいて、実世界における運転者３０の頭部中心位置Ｈからの単眼カメラ１１の方向（線分Ｌ３）と運転席３１の正面方向（線分Ｌ１）とのなす角度φ２を上記した式１に基づいて推定する。

次のステップＳ１２では、運転席３１の正面方向（原点Ｏ）を基準とする運転者３０の顔の向き（角度φ３）を推定する。具体的には、ステップＳ９で求めた単眼カメラ１１に対する運転者３０の顔の向き（角度φ１）とステップＳ１１で推定した角度φ２（線分Ｌ３と線分Ｌ１とのなす角）との差の（φ１−φ２）を求める。運転席３１の正面方向（原点Ｏ）に対して右向き角度は＋（プラス）、左向き角度は−（マイナス）で示すものとする。

ステップＳ１３では、ＲＡＭ１３又は情報記憶部１５ｂに記憶された、脇見状態ではない角度範囲を読み出し、比較演算を行うことにより、角度φ３が、脇見状態ではない角度範囲内（−φ_Ａ＜φ３＜＋φ_Ｂ）であるか否かを判定する。−φ_Ａ、＋φ_Ｂは、脇見状態であると判定する角度を示す。ステップＳ１３において、脇見状態ではない（−φ_Ａ＜φ３＜＋φ_Ｂである）と判定すればステップＳ１５に進む一方、脇見状態である（−φ_Ａ＜φ３＜＋φ_Ｂではない）と判定すればステップＳ１４に進む。

ステップＳ１４では、ＨＭＩ４０や自動運転制御装置５０に脇見状態信号を出力する。
ＨＭＩ４０では、脇見状態信号を入力した場合、例えば、表示部４１に脇見警告表示や、音声出力部４２より脇見警告アナウンスを実行する。また、自動運転制御装置５０では、脇見状態信号を入力した場合、例えば、減速制御などを実行する。

ステップＳ１５では、運転席３１の正面方向に設けた原点Ｏと実世界における運転者３０の頭部中心位置Ｈとの距離Ｂを上記した式３（Ｂ＝Ａ／ｔａｎφ２）に基づいて推定する。

ステップＳ１６では、ＲＡＭ１３又は情報記憶部１５ｂに記憶された、適切なハンドル操作が可能な範囲を読み出し、比較演算を行うことにより、距離Ｂが、適切なハンドル操作が可能な範囲内（距離Ｄ_１＜距離Ｂ＜距離Ｄ_２）であるか否かを判定する。例えば、距離Ｄ_１は４０ｃｍ、距離Ｄ_２は７０ｃｍ程度の値に設定することができる。ステップＳ１６において、距離Ｂが、適切なハンドル操作が可能な範囲内であると判定すれば、その後処理を終える一方、距離Ｂが、適切なハンドル操作が可能な範囲内ではないと判定すればステップＳ１７に進む。

ステップＳ１７では、ＨＭＩ４０や自動運転制御装置５０に運転操作不可信号を出力し、その後処理を終える。ＨＭＩ４０では、運転操作不可信号を入力した場合、例えば、表示部４１に運転姿勢や座席位置を警告する表示や、音声出力部４２より運転姿勢や座席位置を警告するアナウンスを実行する。また、自動運転制御装置５０では、運転操作不可信号を入力した場合、例えば、減速制御などを実行する。なお、ステップＳ１２〜Ｓ１４の処理と、ステップＳ１５〜Ｓ１７の処理の順序を入れ替えてもよく、また、経時的に異なるタイミングでステップＳ１２〜Ｓ１４の処理と、ステップＳ１５〜Ｓ１７の処理とを別々に実施するようにしてもよい。

実施の形態に係る運転者状態推定装置１０によれば、画像１１ａ中の運転者３０Ａの顔にフィッティングさせた３次元顔形状モデル３３を用いて画像１１ａ中の運転者３０Ａの頭部中心位置ｘを推定するので、図５で説明したように、運転者３０の顔の向きの違いに関わらずに、画像１１ａ中の運転者３０Ａの頭部中心位置ｘを精度良く推定することができる。

画像１１ａ中の運転者３０Ａの頭部中心位置ｘを精度良く推定できることにより、頭部中心位置ｘと、既知の情報である単眼カメラ１１の仕様情報（画角α、幅方向の画素数Width）、及び位置姿勢情報（角度θ）とに基づいて、実世界における運転者３０の頭部中心位置Ｈからの単眼カメラ１１の方向（線分Ｌ３）と運転席３１の正面方向（原点Ｏを通る線分Ｌ１）とのなす角度φ２を精度良く推定することができる。

そして、角度φ２を用いることにより、運転席３１の位置（運転者３０の頭部位置）の違いや運転者３０の顔の向きの違いの影響を受けることなく、単眼カメラ１１に対する運転者の顔の向き（角度φ１）から運転席３１の正面方向（原点Ｏ）を基準とする運転者３０の顔の向き（φ３）を精度良く推定することができる。
また、顔の向き推定部２６で推定された運転者の顔の向き（角度φ３）に基づいて、実世界の運転者３０の状態、例えば、脇見している状態などを精度良く判定することができる。

また、頭部中心位置推定部２３により推定された画像１１ａ中の運転者３０Ａの頭部中心位置ｘと、既知の情報である単眼カメラ１１の仕様情報（画角α、幅方向の画素数Width）、及び位置姿勢情報（角度θや原点Ｏからの距離Ａなど）とに基づいて、運転席３１の正面方向に設けた原点Ｏと実世界における運転者３０の頭部中心位置Ｈとの距離Ｂを精度良く推定することができる。そして、距離推定部２８で推定された距離Ｂに基づいて、運転者３０が適切なハンドル操作が可能な範囲内にいるか否かを判定することができる。
運転者状態推定装置１０によれば、単眼カメラ１１に加えて別のセンサを設けることなく、上記した運転者までの距離Ｂや運転者の顔の向き（角度φ３）を精度良く推定することができ、装置構成の簡素化を図ることができ、また、前記別のセンサを設ける必要がないため、それに伴う追加の処理も不要となり、ＣＰＵ１２にかかる負荷を低減させることができ、装置の小型化や低コスト化を図ることができる。

運転者状態推定装置１０が自動運転システム１に搭載されることにより、運転者に自動運転の監視を適切に実行させることができ、自動運転での走行制御が困難状況になっても、手動運転への引き継ぎを迅速かつ安全に行うことができ、自動運転システム１の安全性を高めることができる。

（付記１）
撮像された画像から運転者の状態を推定する運転者状態推定装置であって、
運転席に着座している運転者の顔を含む画像を撮像する単眼の撮像部と、
少なくとも１つの記憶部と、
少なくとも１つのハードウェアプロセッサとを備え、
前記少なくとも１つの記憶部が、
前記撮像部で撮像された画像を記憶する画像記憶部と、
前記撮像部の仕様及び位置姿勢を含む情報を記憶する情報記憶部とを備え、
前記少なくとも１つのハードウェアプロセッサが、
前記撮像部で撮像された画像を前記画像記憶部に記憶させる記憶指示部と、
前記画像記憶部から前記画像を読み出す読み出し指示部と、
前記画像記憶部から読み出された前記画像中の前記運転者の顔にフィッティングさせた３次元顔形状モデルを用いて前記画像中の前記運転者の頭部中心位置を推定する頭部中心位置推定部と、
該頭部中心位置推定部により推定された前記画像中の前記運転者の頭部中心位置と、前記情報記憶部から読み出された前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、前記運転席の正面方向に設けた原点と実世界における前記運転者の頭部中心位置との距離を推定する距離推定部とを備えている運転者状態推定装置。

（付記２）
運転席に着座している運転者の顔を含む画像を撮像する単眼の撮像部と、
少なくとも１つの記憶部と、
少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
前記撮像部で撮像された画像を用いて運転者の状態を推定する運転者状態推定方法であって、
前記少なくとも１つの記憶部が、
前記撮像部で撮像された画像を記憶する画像記憶部と、
前記撮像部の仕様及び位置姿勢を含む情報を記憶する情報記憶部とを備え、
前記少なくとも１つのハードウェアプロセッサが、
前記撮像部で撮像された画像を前記画像記憶部に記憶させる記憶指示ステップと、
前記画像記憶部から前記画像を読み出す読み出しステップと、
前記画像記憶部から読み出された前記画像中の前記運転者の顔にフィッティングさせた３次元顔形状モデルを用いて前記画像中の前記運転者の頭部中心位置を推定する頭部中心位置推定ステップと、
該頭部中心位置推定ステップにより推定された前記画像中の前記運転者の頭部中心位置と、前記情報記憶部から読み出された前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、前記運転席の正面方向に設けた原点と実世界における前記運転者の頭部中心位置との距離を推定する距離推定ステップとを含んでいる運転者状態推定方法。

１０ 運転者状態推定装置
１１ 単眼カメラ
１１ａ 画像
１２ ＣＰＵ
１３ ＲＯＭ
１４ ＲＡＭ
１５ 記憶部
１５ａ 画像記憶部
１５ｂ 情報記憶部
２１ 画像入力部
２２ 顔検出部
２３ 頭部中心位置推定部
２４ ３Ｄ顔形状モデル適合アルゴリズム
２５ 角度推定部
２６ 顔の向き推定部
２７ 脇見判定部
２８ 距離推定部
２９ 運転操作可否判定部
３０ 実世界の運転者
３０Ａ 画像中の運転者
３１ 運転席
３２ ハンドル
Ｌｘ 線分（画像中の頭部中心位置ｘを示す）
Ｏ 原点
Ｓ シート中心
Ｈ 実世界における運転者の頭部中心位置
Ｉ 撮像面の中心
Ｌ１、Ｌ２、Ｌ３ 線分
α 画角
θ 単眼カメラの取付角度

Claims (6)

1. 撮像された画像から運転者の状態を推定する運転者状態推定装置であって、
   運転席に着座している運転者の顔を含む画像を撮像する単眼の撮像部と、
   少なくとも１つのハードウェアプロセッサとを備え、
   該少なくとも１つのハードウェアプロセッサが、
   前記撮像部により撮像された画像中の前記運転者の顔にフィッティングさせた３次元顔形状モデルを用いて前記画像中の前記運転者の頭部中心位置を推定する頭部中心位置推定部と、
   該頭部中心位置推定部により推定された前記画像中の前記運転者の頭部中心位置と、前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、前記運転席の正面方向に設けた原点と実世界における前記運転者の頭部中心位置との距離を推定する距離推定部とを備えていることを特徴とする運転者状態推定装置。
2. 前記少なくとも１つのハードウェアプロセッサが、
   前記距離推定部により推定された前記距離を用いて、前記運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴とする請求項１記載の運転者状態推定装置。
3. 前記少なくとも１つのハードウェアプロセッサが、
   前記撮像部により撮像された画像から前記撮像部に対する前記運転者の顔の向きを検出する顔の向き検出部と、
   前記頭部中心位置推定部により推定された前記画像中の前記運転者の頭部中心位置と、前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、実世界における前記運転者の頭部中心位置からの前記撮像部の方向と前記運転席の正面方向とのなす角度を推定する角度推定部と、
   前記顔の向き検出部で検出された前記運転者の顔の向きと、前記角度推定部で推定された角度とに基づいて、前記運転席の正面方向を基準とする前記運転者の顔の向きを推定する顔の向き推定部とを備えていることを特徴とする請求項１又は請求項２記載の運転者状態推定装置。
4. 前記少なくとも１つのハードウェアプロセッサが、
   前記顔の向き推定部で推定された前記運転者の顔の向きに基づいて、前記運転者の状態を判定する運転者状態判定部を備えていることを特徴とする請求項３記載の運転者状態推定装置。
5. 運転席に着座している運転者の顔を含む画像を撮像する単眼の撮像部と、
   少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
   前記撮像部で撮像された画像を用いて運転者の状態を推定する運転者状態推定方法であって、
   前記少なくとも１つのハードウェアプロセッサが、
   前記撮像部で撮像された画像中の前記運転者の顔にフィッティングさせた３次元顔形状モデルを用いて前記画像中の前記運転者の頭部中心位置を推定する頭部中心位置推定ステップと、
   該頭部中心位置推定ステップにより推定された前記画像中の前記運転者の頭部中心位置と、前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、前記運転席の正面方向に設けた原点と実世界における前記運転者の頭部中心位置との距離を推定する距離推定ステップとを含んでいることを特徴とする運転者状態推定方法。
6. 前記少なくとも１つのハードウェアプロセッサが、
   前記撮像された画像から前記撮像部に対する前記運転者の顔の向きを検出する顔の向き検出ステップと、
   前記頭部中心位置推定ステップにより推定された前記画像中の前記運転者の頭部中心位置と、前記撮像部の仕様及び位置姿勢とを含む情報に基づいて、実世界における前記運転者の頭部中心位置からの前記撮像部の方向と前記運転席の正面方向とのなす角度を推定する角度推定ステップと、
   前記顔の向き検出ステップにより検出された前記運転者の顔の向きと、前記角度推定ステップにより推定された角度とに基づいて、前記運転席の正面方向を基準とする前記運転者の顔の向きを推定する顔の向き推定ステップとを含んでいることを特徴とする請求項５記載の運転者状態推定方法。

Images