JP2017217472A - 状態推定装置、状態推定方法、及び状態推定プログラム - Google Patents

Abstract

【課題】対象者の取り得る多様な状態を適切に推定可能な技術を提供する。【解決手段】本発明の一側面に係る状態推定装置は、所定の場所に存在し得る対象者を撮影するように配置された撮影装置から撮影画像を取得する画像取得部と、前記撮影画像に基づいて前記対象者の顔の挙動を解析し、前記対象者の顔の挙動に関する第１情報を取得する第１解析部と、前記撮影画像に基づいて前記対象者の身体動作を解析し、前記対象者の身体動作に関する第２情報を取得する第２解析部と、前記第１情報及び前記第２情報に基づいて、前記対象者の状態を推定する推定部と、を備える。【選択図】図３Ａ

Description

本発明は、状態推定装置、状態推定方法、及び状態推定プログラムに関する。

近年、車両を運転する運転者を撮影した画像を画像処理することで、居眠り運転、脇見運転、体調急変等の運転者の状態を推定し、重大な事故の発生を防止するための装置の開発が進められている。例えば、特許文献１には、車両の運転者の視線を検出し、検出した視線の停留時間が長い場合には、運転者の集中度が低下してものと推定する集中度判定装置が提案されている。特許文献２には、車両の運転者の免許証の顔画像と運転中の運転者の撮影画像とを比較して、運転者の眠気度及び脇見度を判定する画像解析装置が提案されている。特許文献３には、運転者のまぶたの動きを検出し、検出直後に運転者の顔の角度の変化の有無に応じて、運転者の眠気を判定することで、下方視を眠気と誤検出してしまうことを防止する眠気検出装置が提案されている。特許文献４には、運転者の口の周りの筋肉の動きに基づいて、運転者の眠気レベルを判定する眠気判定装置が提案されている。特許文献５には、撮影画像を縮小リサイズした画像中の運転者の顔を検出し、さらに顔の特定部位（眼、鼻、口）を抽出して、各特定部位の動きから居眠り等の状態を判定する顔状況判定装置が提案されている。また、特許文献６には、運転者の顔の向きの判定、視線の推定等の複数の処理を周期的に順に処理する画像処理装置が提案されている。

特開２０１４−１９１４７４号公報 特開２０１２−０８４０６８号公報 特開２０１１−０４８５３１号公報 特開２０１０−１２２８９７号公報 特開２００８−１７１１０８号公報 特開２００８−２８２１５３号公報

本件発明者らは、上記のような運転者の状態を推定する従来の方法には、次のような問題点があることを見出した。すなわち、従来の方法では、顔の向き、眼の開閉、視線の変化等の運転者の顔に生じる部分的な変化にのみ着目して、運転者の状態を推定している。そのため、例えば、右左折時に周辺を確認するために顔を振る、目視確認のために後ろを振り返る、ミラー、メータ及び車載装置の表示を確認するために視線を変化させる等の運転に必要な動作を脇見行為又は集中度の低下した状態と誤ってしまう可能性がある。また、例えば、前方を注視しながら飲食又は喫煙を行う、前方を注視しながら携帯電話で通話を行う等の運転に集中できていない状態を正常な状態と誤ってしまう可能性がある。このように、従来の方法では、顔に生じる部分的な変化を捉えた情報のみを利用しているため、運転者の取り得る多様な状態を反映して、運転者の運転に対する集中度を的確に推定することができないという問題点があることを本件発明者らは見出した。なお、この問題点は、運転者の他、例えば、工場の作業員等の対象者の状態を推定する場合にも同様に生じ得る。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、対象者の取り得る多様な状態を適切に推定可能な技術を提供することである。

本発明の一側面に係る状態推定装置は、所定の場所に存在し得る対象者を撮影するように配置された撮影装置から撮影画像を取得する画像取得部と、前記撮影画像に基づいて前記対象者の顔の挙動を解析し、前記対象者の顔の挙動に関する第１情報を取得する第１解析部と、前記撮影画像に基づいて前記対象者の身体動作を解析し、前記対象者の身体動作に関する第２情報を取得する第２解析部と、前記第１情報及び前記第２情報に基づいて、前記対象者の状態を推定する推定部と、を備える。

当該構成に係る状態推定装置は、対象者の顔の挙動に関する第１情報と身体動作に関する第２情報とを取得し、取得した第１情報及び第２情報に基づいて、当該対象者の状態を推定する。そのため、対象者の顔の挙動という局所的な情報だけではなく、対象者の身体動作という大局的な情報を、当該対象者の状態の解析に反映させることができる。したがって、当該構成によれば、対象者の取り得る多様な状態を推定することができる。

上記一側面に係る状態推定装置において、前記第１情報及び前記第２情報はそれぞれ１又は複数の特徴量で表現されてよく、前記推定部は、前記各特徴量の値に基づいて、前記対象者の状態を推定してもよい。当該構成によれば、各情報を特徴量で表現することで、対象者の取り得る多様な状態を推定する計算処理を容易に設定することができる。

上記一側面に係る状態推定装置は、前記各特徴量の優先度合いを定める重みを前記各特徴量に設定する重み設定部を更に備えてよく、前記推定部は、前記重みが適用された前記各特徴量の値に基づいて、前記対象者の状態を推定してもよい。当該構成によれば、各特徴量の重み付けを適切に行うようにすることで、対象者の状態の推定精度を高めることができる。

上記一側面に係る状態推定装置において、前記重み設定部は、前記対象者の状態を過去に推定した結果に基づいて、前記重みの値を決定してもよい。当該構成によれば、過去に推定した結果を反映することで、対象者の状態の推定精度を高めることができる。例えば、対象者が後方に振り返った状態を推定した場合、当該対象者が取り得る次の行動は前方への振り返りと想定される。このような場合には、前方への振り返りに関連する特徴量の重み付けを他の特徴量よりも大きくすることで、対象者の状態の推定精度を高めることができる。

上記一側面に係る状態推定装置は、前記撮影画像の解像度を低下させる解像度変換部を更に備えてよく、前記第２解析部は、解像度を低下させた前記撮影画像に対して前記身体動作の解析を行うことで、前記第２情報を取得してもよい。顔の挙動に比べて、身体動作の挙動は、撮影画像内で大きく表れ得る。そのため、撮影画像から顔の挙動に関する第１情報を取得する際に比べて、撮影画像から身体動作に関する第２情報を取得する際には、情報量の少ない、換言すると、解像度の低い撮影画像を利用可能である。そこで、当該構成では、第２情報を取得する際に、解像度を低下させた撮影画像を利用する。これにより、第２情報を取得する際の演算処理の計算量を低減することができ、対象者の状態を推定するのにかかるプロセッサの負荷を抑えることができる。

上記一側面に係る状態推定装置において、前記第２解析部は、解像度を低下させた前記撮影画像から抽出されるエッジの位置、エッジの強度、及び局所的な周波数成分の少なくとも１つに関する特徴量を前記第２情報として取得してもよい。当該構成によれば、解像度を低下させた撮影画像から身体動作に関する第２情報を適切に取得することができるため、対象者の状態を精度よく推定することができる。

上記一側面に係る状態推定装置において、前記撮影画像は、複数のフレームで構成されてよく、前記第２解析部は、前記撮影画像に含まれる２以上のフレームに対して前記身体動作の解析を行うことにより、前記第２情報を取得してもよい。当該構成によれば、２以上のフレームにわたる身体動作を抽出することができるため、対象者の状態の推定精度を高めることができる。

上記一側面に係る状態推定装置において、前記第１解析部は、前記撮影画像に対して所定の画像解析を行うことで、前記対象者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び眼の開閉の少なくともいずれか１つに関する情報を前記第１情報として取得してもよい。当該構成によれば、顔の挙動に関する第１情報を適切に取得することができるため、対象者の状態を精度よく推定することができる。

上記一側面に係る状態推定装置において、前記撮影画像は、複数のフレームで構成されてよく、前記第１解析部は、前記撮影画像に対する前記顔の挙動の解析を１フレーム単位で行うことにより、前記第１情報を取得してもよい。当該構成によれば、１フレーム単位で第１情報を取得するようにすることで、顔の挙動の細かな変化を検出することができ、対象者の状態を精度よく推定することができるようになる。

上記一側面に係る状態推定装置において、前記対象者は、車両の運転を行う運転者であってよく、前記画像取得部は、前記車両の運転席に着いた前記運転者を撮影するように配置された前記撮影装置から前記撮影画像を取得してもよく、前記推定部は、前記第１情報及び前記第２情報に基づいて、前記運転者の状態を推定してもよい。また、当該推定部は、前記運転者の状態として、前記運転者の前方注視、眠気、脇見、服の着脱、電話操作、寄り掛かり、同乗者又はペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション又はオーディオの操作、眼鏡又はサングラスの着脱、及び写真撮影のうち少なくとも１つを推定してもよい。当該構成によれば、運転者の多様な状態を推定可能な状態推定装置を提供することができる。

上記一側面に係る状態推定装置において、前記対象者は、工場の作業者であってよく、前記画像取得部は、所定の作業場所に存在し得る前記作業者を撮影するように配置された前記撮影装置から前記撮影画像を取得してもよく、前記推定部は、前記第１情報及び前記第２情報に基づいて、前記作業者の状態を推定してもよい。また、当該推定部は、前記作業者の状態として、前記作業者の行う作業に対する集中度、又は前記作業者の健康状態を推定してもよい。当該構成によれば、作業者の多様な状態を推定可能な状態推定装置を提供することができる。なお、作業者の健康状態は、何らかの健康に関する指標で表されればよく、例えば、体調、疲労度等の指標で表現されてよい。

なお、上記各形態に係る状態推定装置の別の形態として、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記録したコンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

例えば、本発明の一側面に係る状態推定方法は、コンピュータが、所定の場所に存在し得る対象者を撮影するように配置された撮影装置から撮影画像を取得するステップと、前記撮影画像に基づいて前記対象者の顔の挙動を解析するステップと、前記顔の挙動を解析するステップの結果、前記対象者の顔の挙動に関する第１情報を取得するステップと、前記撮影画像に基づいて前記対象者の身体動作を解析するステップと、前記身体動作を解析するステップの結果、前記対象者の身体動作に関する第２情報を取得するステップと、前記第１情報及び前記第２情報に基づいて、前記対象者の状態を推定するステップと、を実行する、情報処理方法である。

また、例えば、本発明の一側面に係る状態推定プログラムは、コンピュータに、所定の場所に存在し得る対象者を撮影するように配置された撮影装置から撮影画像を取得するステップと、前記撮影画像に基づいて前記対象者の顔の挙動を解析するステップと、前記顔の挙動を解析するステップの結果、前記対象者の顔の挙動に関する第１情報を取得するステップと、前記撮影画像に基づいて前記対象者の身体動作を解析するステップと、前記身体動作を解析するステップの結果、前記対象者の身体動作に関する第２情報を取得するステップと、前記第１情報及び前記第２情報に基づいて、前記対象者の状態を推定するステップと、を実行させるためのプログラムである。

本発明によれば、対象者の取り得る多様な状態を適切に推定することができる。

図１は、実施の形態に係る状態推定装置の利用場面の一例を模式的に例示する。 図２は、実施の形態に係る状態推定装置のハードウェア構成の一例を模式的に例示する。 図３Ａは、実施の形態に係る状態推定装置の機能構成の一例を模式的に例示する。 図３Ｂは、顔器官状態検出部の機能構成の一例を模式的に例示する。 図４は、運転者の状態とそれを推定するのに利用する情報との組み合わせの一例を例示する。 図５は、運転者の状態のより具体的な推定条件を例示する。 図６は、実施の形態に係る状態推定装置の処理手順の一例を例示する。 図７は、運転者の顔の向き、視線方向、眼の開閉度等を複数の段階に分けて検出する方法の一例を例示する。 図８は、運転者の身体動作に関する特徴量を抽出する処理の過程の一例を例示する。 図９は、各特徴量を算出する過程の一例を例示する。 図１０は、各特徴量に基づいて運転者の状態を推定する過程、及び推定結果に基づいて各特徴量の重み付けを変更する過程を例示する。 図１１は、運転者の後方への振り返りを推定した後に行われる重み付け処理を例示する。 図１２は、運転者が突っ伏す際に検出される各特徴量（時系列情報）を例示する。 図１３は、右方向に気を取られた運転者の集中度が低下していく際に検出される各特徴量（時系列情報）を例示する。 図１４は、他の形態に係る対象者の状態推定方法を例示する。 図１５は、他の形態に係る状態推定装置の構成を例示する。 図１６は、他の形態に係る状態推定装置の構成を例示する。 図１７は、他の形態に係る状態推定装置の利用場面を例示する。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、一実施形態に係る状態推定装置１０を自動運転システム２０に適用した例を模式的に例示する。

図１に示されるとおり、自動運転システム２０は、カメラ２１（撮影装置）と、状態推定装置１０と、自動運転支援装置２２と、を備えており、車両Ｃの運転を行う運転者Ｄを監視しながら、当該車両Ｃの自動運転を実施するように構成される。車両Ｃの種類は、自動運転システムを搭載可能であれば、特に限定されなくてもよく、例えば、自動車等であってよい。

カメラ２１は、本発明の「撮影装置」に相当し、対象者の存在し得る場所を撮影可能に適宜配置される。本実施形態では、車両Ｃの運転席に着いた運転者Ｄが、本発明の「対象者」に相当し、カメラ２１は、当該運転者Ｄを撮影するように適宜配置される。例えば、カメラ２１は、車両Ｃの運転席の前方上部に設置され、運転者Ｄが存在し得る運転席を正面から連続的に撮影する。これにより、運転者Ｄの上半身の略全体が含まれ得る撮影画像を取得することができる。そして、カメラ２１は、当該撮影により得られた撮影画像を状態推定装置１０へ送信する。なお、撮影画像は、静止画であってもよいし、動画であってもよい。

状態推定装置１０は、カメラ２１から撮影画像を取得し、取得した撮影画像を解析することで、運転者Ｄの状態を推定するコンピュータである。具体的には、状態推定装置１０は、カメラ２１から取得した撮影画像に基づいて運転者Ｄの顔の挙動を解析し、当該運転者Ｄの顔の挙動に関する第１情報（後述する第１情報１２２）を取得する。また、状態推定装置１０は、撮影画像に基づいて運転者Ｄの身体動作を解析し、当該運転者Ｄの身体動作に関する第２情報（後述する第２情報１２３）を取得する。そして、状態推定装置１０は、取得した第１情報及び第２情報に基づいて、運転者Ｄの状態を推定する。

自動運転支援装置２２は、車両Ｃの駆動系及び制御系を制御することで、運転者Ｄによる手動により運転操作を行う手動運転モードと、運転者Ｄによらずに自動的に運転操作を行う自動運転モードと、を実施するコンピュータである。本実施形態では、自動運転支援装置２２は、状態推定装置１０の推定結果、カーナビゲーション装置の設定等に応じて、手動運転モードと自動運転モードとの切り替えを行うように構成される。

以上のとおり、本実施形態では、運転者Ｄの顔の挙動に関する第１情報と身体動作に関する第２情報とを取得し、取得した第１情報及び第２情報に基づいて、当該運転者Ｄの状態を推定する。そのため、運転者Ｄの顔の挙動という局所的な情報だけではなく、運転者Ｄの身体動作という大局的な情報を、当該運転者Ｄの状態の推定に反映することができる。したがって、本実施形態によれば、運転者Ｄの取り得る多様な状態を推定することができる。また、その推定結果を自動運転の制御に利用することで、運転者Ｄの取り得る多様な状態に適した車両Ｃの制御を実現することができる。

§２ 構成例
［ハードウェア構成］
次に、図２を用いて、本実施形態に係る状態推定装置１０のハードウェア構成の一例について説明する。図２は、本実施形態に係る状態推定装置１０のハードウェア構成の一例を模式的に例示する。

図２に示されるとおり、本実施形態に係る状態推定装置１０は、制御部１１０、記憶部１２０、及び外部インタフェース１３０が電気的に接続されたコンピュータである。なお、図２では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

制御部１１０は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。記憶部１２０は、例えば、ＲＡＭ、ＲＯＭ等で構成され、プログラム１２１、第１情報１２２、第２情報１２３等を記憶する。記憶部１２０は、「メモリ」に相当する。

プログラム１２１は、状態推定装置１０に後述する運転者Ｄの状態を推定する情報処理（図６）を実行させるためのプログラムである。第１情報１２２は、カメラ２１により得られた撮影画像に対して運転者Ｄの顔の挙動を解析する処理を実行した結果として得られるものである。また、第２情報１２３は、カメラ２１により得られた撮影画像に対して運転者Ｄの身体動作を解析する処理を実行した結果として得られるものである。詳細は後述する。

外部インタフェース１３０は、外部装置と接続するためのインタフェースであり、接続する外部装置に応じて適宜構成される。本実施形態では、外部インタフェース１３０は、例えば、ＣＡＮ（Controller Area Network）を介して、カメラ２１及び自動運転支援装置２２に接続される。

カメラ２１は、上記のとおり、車両Ｃの運転席に着いた運転者Ｄを撮影するように配置される。例えば、図１の例では、カメラ２１は、運転席の前方上方に配置されている。しかしながら、カメラ２１の配置場所は、このような例に限定されなくてもよく、運転席に着いた運転者Ｄを撮影可能であれば、実施の形態に応じて適宜選択されてよい。なお、カメラ２１には、一般のデジタルカメラ、ビデオカメラ等が用いられてよい。

自動運転支援装置２２は、状態推定装置１０と同様に、制御部、記憶部、及び外部インタフェースが電気的に接続されたコンピュータにより構成することができる。この場合、記憶部には、自動運転モードと手動運転モードとを切り替えて、車両Ｃの運転操作を支援するためのプログラム及び各種データが保存される。また、自動運転支援装置２２は、外部インタフェースを介して状態推定装置１０と接続される。これにより、自動運転支援装置２２は、状態推定装置１０の推定結果を利用して、車両Ｃの自動運転の動作を制御可能に構成される。

なお、外部インタフェース１３０には、上記以外の外部装置が接続されてもよい。例えば、外部インタフェース１３０には、ネットワークを介してデータ通信を行うための通信モジュールが接続されてもよい。外部インタフェース１３０に接続される外部装置は、上記の各装置に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。また、図２の例では、状態推定装置１０は、１つの外部インタフェース１３０を備えている。しかしながら、外部インタフェース１３０の数は、実施の形態に応じて適宜選択可能である。例えば、外部インタフェース１３０は、接続する外部装置毎に設けられてもよい。

本実施形態に係る状態推定装置１０は、以上のようなハードウェア構成を有する。ただし、状態推定装置１０のハードウェア構成は、上記の例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。状態推定装置１０の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１０は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。記憶部１２０は、制御部１１０に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。記憶部１２０は、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置で構成されてもよい。また、状態推定装置１０には、提供されるサービス専用に設計された情報処理装置の他、汎用のコンピュータが用いられてもよい。

［機能構成］
次に、図３Ａを用いて、本実施形態に係る状態推定装置１０の機能構成の一例を説明する。図３Ａは、本実施形態に係る状態推定装置１０の機能構成の一例を模式的に例示する。

状態推定装置１０の制御部１１０は、記憶部１２０に記憶されたプログラム１２１をＲＡＭに展開する。そして、制御部１１０は、ＲＡＭに展開されたプログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図３Ａに示されるとおり、本実施形態に係る状態推定装置１０は、画像取得部１１、第１解析部１２、解像度変換部１３、第２解析部１４、特徴ベクトル生成部１５、重み設定部１６、及び推定部１７を備えるコンピュータとして機能する。

画像取得部１１は、運転者Ｄを撮影するように配置されたカメラ２１から撮影画像（以下、「第１画像」とも記載する）を取得する。そして、画像取得部１１は、取得した第１画像を第１解析部１２及び解像度変換部１３に送信する。

第１解析部１２は、取得した第１画像に基づいて運転者Ｄの顔の挙動を解析し、当該運転者Ｄの顔の挙動に関する第１情報を取得する。第１情報は、顔の挙動に関するものであれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。第１情報は、例えば、運転者Ｄ（対象者）の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び眼の開閉の少なくとも１つを示すように構成されてもよい。これに応じて、第１解析部１２は、次のように構成することができる。

図３Ｂは、本実施形態に係る第１解析部１２の構成を模式的に例示する。図３Ｂに示されるとおり、本実施形態に係る第１解析部１２は、顔検出部３１、顔器官点検出部３２、及び顔器官状態検出部３３を備える。また、顔器官状態検出部３３は、眼開閉検出部３３１、視線検出部３３２、及び顔向き検出部３３３を備える。

顔検出部３１は、第１画像の画像データを解析することで、第１画像中の運転者Ｄの顔の有無及び顔の位置を検出する。顔器官点検出部３２は、第１画像中で検出された運転者Ｄの顔の含まれる各器官（眼、口、鼻、耳等）の位置を検出する。このとき、顔器官点検出部３２は、顔全体又は顔の一部分の輪郭を補助的に顔の器官として検出してもよい。

そして、顔器官状態検出部３３は、第１画像中で位置の検出がなされた運転者Ｄの顔の各器官の状態を推定する。具体的には、眼開閉検出部３３１は、運転者Ｄの眼の開閉度を検出する。視線検出部３３２は、運転者Ｄの視線の方向を検出する。顔向き検出部３３３は、運転者Ｄの顔の向きを検出する。

ただし、顔器官状態検出部３３の構成は、このような例に限定されなくてもよい。顔器官状態検出部３３は、これら以外の顔の各器官の状態に関する情報を検出するように構成されてもよい。例えば、顔器官状態検出部３３は、顔の動きを検出してもよい。第１解析部１２の解析結果は、顔の挙動に関する第１情報（局所的な情報）として特徴ベクトル生成部１５に送られる。なお、図３Ａに示されるとおり、第１解析部１２の解析結果（第１情報）は、記憶部１２０に蓄積されてもよい。

解像度変換部１３は、第１画像の画像データに低解像度化処理を適用することで、当該第１画像よりも解像度を低下させた撮影画像（以下、「第２画像」とも記載する）を生成する。この第２画像は、記憶部１２０に一時的に保存されてよい。第２解析部１４は、解像度を低下させた第２画像に対して運転者Ｄの身体動作を解析する処理を実施することで、運転者の身体動作に関する第２情報を取得する。

第２情報は、運転者の身体動作に関するものであれば、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。第２情報は、例えば、運転者Ｄの身体の動き、姿勢等を示すように構成されてよい。第２解析部１４の解析結果は、運転者Ｄの身体動作に関する第２情報（大局的な情報）として特徴ベクトル生成部１５に送られる。なお、第２解析部１４の解析結果（第２情報）は、記憶部１２０に蓄積されてもよい。

特徴ベクトル生成部１５は、第１情報及び第２情報を受け取り、運転者Ｄの顔の挙動及び身体動作を示す特徴ベクトルを生成する。後述するとおり、第１情報及び第２情報はそれぞれ、各検出結果により得られる特徴量で表現される。この第１情報及び第２情報を構成する各特徴量をまとめて「動作特徴量」と称してもよい。すなわち、動作特徴量は、運転者Ｄの顔の器官に関する情報、及び運転者Ｄの身体動作に関する情報の両方を含む。特徴ベクトル生成部１５は、各動作特徴量を要素として、特徴ベクトルを生成する。

重み設定部１６は、生成される特徴ベクトルの各要素（各特徴量）に対して、当該各要素の優先度合いを定める重みを設定する。重みの値は、適宜決定されてよい。本実施形態に係る重み設定部１６は、後述する推定部１７により運転者Ｄの状態を過去に推定した結果に基づいて、各要素の重みの値を決定する。重み付けのデータは、記憶部１２０に適宜保存される。

推定部１７は、第１情報及び第２情報に基づいて、運転者Ｄの状態を推定する。具体的には、推定部１７は、特徴ベクトルに重みを適用することで得られる状態ベクトルにより、運転者Ｄの状態を推定する。推定対象となる運転者Ｄの状態は、実施の形態に応じて適宜決定されてよい。推定部１７は、運転者Ｄの状態として、例えば、運転者Ｄの前方注視、眠気、脇見、服の着脱、電話操作、窓側又は肘掛けへの寄り掛かり、同乗者又はペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション又はオーディオ操作、眼鏡又はサングラスの着脱、及び写真撮影のうちの少なくとも１つを推定してもよい。

図４は、運転者Ｄの状態とそれを推定するのに利用する情報との組み合わせの一例を例示する。図４に示されるように、顔の挙動に関する第１情報（局所的な情報）と身体動作に関する第２情報（大局的な情報）とを組み合わせることで、運転者Ｄの多様な状態を適切に推定することができる。なお、図４において、「○」は、対象の運転者（ドライバ）の状態を推定するのに対象の情報が必要であることを示している。また、「△」は、対象の運転者（ドライバ）の状態を推定するのに対象の情報を利用するのが好ましいことを示している。

図５は、運転者Ｄの状態を推定する条件の一例を例示する。例えば、運転者Ｄが眠気に襲われている場合、運転者Ｄの眼は閉じた状態になり、かつ運転者Ｄの身体の動きが無くなり得る。そこで、推定部１７は、第１解析部１２により検出された眼の開閉度を局所的な情報として、かつ第２解析部１４により検出された運転者Ｄの動きに関する情報を大局的な情報として利用して、運転者Ｄが眠気に襲われている状態であるか否かを判定してもよい。

また、例えば、運転者Ｄが脇見運転をしている場合、運転者Ｄの顔の向き及び視線が正面から外れ、かつ運転者Ｄの身体が正面以外の方向を向いた状態になり得る。そこで、推定部１７は、第１解析部１２により検出された顔の向き及び視線方向の情報を局所的な情報として、かつ第２解析部１４により検出された運転者Ｄの姿勢に関する情報を大局的な情報として利用して、運転者Ｄが脇見運転をしているか否かを判定してもよい。

また、例えば、運転者Ｄが携帯端末を操作中（電話中）である場合、運転者Ｄの顔の向きが正面から外れ、それに伴って運転者Ｄの姿勢が崩れ得る。そこで、推定部１７は、第１解析部１２により検出された顔の向きの情報を局所的な情報として、かつ第２解析部１４により検出された運転者Ｄの姿勢に関する情報を大局的な情報として利用して、運転者Ｄが携帯端末を操作中であるか否かを判定してもよい。

また、例えば、運転者Ｄが窓（ドア）側に肘を突いて寄り掛かっている場合には、運転者Ｄの顔の位置が運転に適した所定の位置になく、身体の動きが無くなり、かつ姿勢が崩れた状態になり得る。そこで、推定部１７は、第１解析部１２により検出された顔の位置を局所的な情報として、かつ第２解析部１４により検出された運転者Ｄの動き及び姿勢に関する情報を大局的な情報として利用して、運転者Ｄが窓側に寄り掛かっているか否かを判定してもよい。

また、例えば、運転者Ｄが同乗者又はペットから運転妨害を受けている場合には、運転者Ｄの顔の向き及び視線が正面から外れ、妨害に応じて身体が動き、かつ妨害を避けた姿勢になり得る。そこで、推定部１７は、第１解析部１２により検出された顔の向き及び視線方向の情報を局所的な情報として、かつ第２解析部１４により検出された運転者Ｄの動き及び姿勢に関する情報を大局的な情報として利用して、運転者Ｄが運転妨害を受けているか否かを判定してもよい。

また、例えば、運転者Ｄが突然の病気（呼吸困難、心臓発作等）を発症した場合には、顔の向き及び視線が正面から外れ、眼が閉じた状態になり、かつ所定の身体部位を抑えるような動き及び姿勢になり得る。そこで、推定部１７は、第１解析部１２により検出された眼の開閉度、顔の向き、及び視線の情報を局所的な情報として、かつ第２解析部１４により検出された運転者Ｄの動き及び姿勢に関する情報を大局的な情報として利用して、運転者Ｄが突然の病気を発症したか否かを判定してもよい。

状態推定装置１０の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、状態推定装置１０の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、状態推定装置１０の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。

§３ 動作例
次に、図６を用いて、状態推定装置１０の動作例を説明する。図６は、状態推定装置１０の処理手順の一例を例示するフローチャートである。以下で説明する運転者Ｄの状態を推定する処理手順は、本発明の「状態推定方法」に相当する。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１１）
まず、ステップＳ１１では、制御部１１０は、画像取得部１１として機能し、車両Ｃの運転席に着いた運転者Ｄを撮影するように配置されたカメラ２１から撮影画像を取得する。撮影画像は、動画像であってもよいし、静止画であってもよい。本実施形態では、制御部１１０は、撮影画像の画像データをカメラ２１から連続的に取得する。これにより、取得される撮影画像は、複数のフレームで構成される。

（ステップＳ１２〜Ｓ１４）
次のステップＳ１２〜Ｓ１４では、制御部１１０は、第１解析部１２として機能し、取得した撮影画像（第１画像）に対して所定の画像解析を行うことで、当該撮影画像に基づいて運転者Ｄの顔の挙動を解析し、運転者Ｄの顔の挙動に関する第１情報を取得する。

具体的には、まず、ステップＳ１２では、制御部１１０は、第１解析部１２の顔検出部３１として機能して、取得した撮影画像に含まれる運転者Ｄの顔を検出する。顔の検出には、公知の画像解析方法が用いられてよい。これにより、制御部１１０は、顔の検出可否及び位置に関する情報を取得する。

次のステップＳ１３では、制御部１１０は、ステップＳ１２において、撮影画像中に顔が検出されたか否かを判定する。顔が検出された場合、制御部１１０は、次のステップＳ１４に処理を進める。一方、顔が検出されなかった場合には、制御部１１０は、ステップＳ１４の処理をスキップして、次のステップＳ１５に処理を進める。この場合、制御部１１０は、顔の向き、眼の開閉度、及び視線方向の検出結果を０とする。

次のステップＳ１４では、制御部１１０は、顔器官点検出部３２として機能して、検出した顔の画像内において、運転者Ｄの顔に含まれる各器官（眼、口、鼻、耳等）を検出する。各器官の検出には、公知の画像解析方法が用いられてよい。これにより、制御部１１０は、顔の各器官の位置に関する情報を取得することができる。また、制御部１１０は、顔器官状態検出部３３として機能し、検出した各器官の状態を解析することで、顔の向き、顔の動き、眼の開閉度、視線方向等を検出する。

ここで、図７を用いて、顔の向き、眼の開閉度、及び視線方向の検出方法の一例について説明する。図７は、顔の向き、眼の開閉度、及び視線方向の検出方法の一例を模式的に例示する。図７に例示されるように、制御部１１０は、顔向き検出部３３３として機能し、撮影画像内における運転者Ｄの顔の向きを、縦方向及び横方向の２軸方向について、縦３段階、横５段階の度数で検出する。また、制御部１１０は、視線検出部３３２として機能し、運転者Ｄの視線方向を、顔の向きと同じく、縦方向及び横方向の２軸方向について、縦３段階、横５段階の度数で検出する。更に、制御部１１０は、眼開閉検出部３３１として機能し、撮影画像内における運転者Ｄの眼の開閉度を１０段階に分けて検出する。

以上により、制御部１１０は、運転者Ｄの顔の検出可否、顔の位置、顔の向き、顔の動き、視線方向、顔の各器官の位置、及び眼の開閉度に関する情報を第１情報として取得する。この第１情報の取得は、フレーム毎に行われるのが好ましい。すなわち、取得される撮影画像は複数のフレームで構成されているため、制御部１１０は、撮影画像に対する顔の挙動の解析を１フレーム単位で行うことで、第１情報を取得してもよい。この場合、制御部１１０は、全てのフレームに対して顔の挙動の解析を行ってもよいし、所定数のフレームおきに顔の挙動の解析を行ってもよい。これにより、運転者Ｄの顔の挙動をフレーム毎に細かく検出することができるため、当該運転者Ｄの顔の挙動を詳細に示す第１情報を取得することができる。なお、本実施形態に係るステップＳ１２〜Ｓ１４までの処理には、カメラ２１によって取得された撮影画像（第１画像）がそのまま利用される。

（ステップＳ１５及びＳ１６）
図６に戻り、次のステップＳ１５では、制御部１１０は、解像度変換部１３として機能し、ステップＳ１１で取得した撮影画像の解像度を低下させる。これにより、制御部１１０は、低解像度の撮影画像（第２画像）をフレーム単位で形成する。低解像度化の処理方法は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。制御部１１０は、例えば、ニアレストネイバー法、バイリニア補間法、バイキュービック法等の手法により、低解像度の撮影画像を形成してもよい。

次のステップＳ１６では、制御部１１０は、第２解析部１４として機能し、解像度を低下させた撮影画像（第２画像）に対して運転者Ｄの身体動作の解析を行うことで、当該運転者Ｄの身体動作に関する第２情報を取得する。第２情報は、例えば、運転者Ｄの姿勢、上半身の動き、運転者Ｄの有無等に関する情報を含んでよい。

ここで、図８を用いて、運転者Ｄの身体動作に関する第２情報を検出する方法の一例について説明する。図８は、低解像度化した撮影画像から第２情報を検出する過程の一例を模式的に例示する。図８の例では、制御部１１０は、第２画像から画像特徴量として第２情報を抽出する。

具体的には、制御部１１０は、各画素の輝度値に基づいて、第２画像内でエッジを抽出する。エッジの抽出には、予め設計済みの画像フィルタ（例えば、３×３のサイズ）が用いられてもよい。また、エッジの抽出には、機械学習によりエッジ検出を学習済みの学習器（例えば、ニューラルネットワーク等）が用いられてもよい。制御部１１０は、画像フィルタ又は学習器に第２画像の各画素の輝度値を入力することで、当該第２画像内でエッジを検出することができる。

次に、制御部１１０は、輝度値及び抽出されたエッジに関する情報を、前フレームの第２画像の輝度値及び抽出されたエッジに関する情報とそれぞれ比較して、フレーム間の差分を求める。「前フレーム」とは、現在処理中のフレームから見て所定数（例えば、１つ）分だけ前のフレームである。当該比較処理の結果、制御部１１０は、現在フレームの輝度値情報、現在フレームのエッジの位置を示すエッジ情報、前フレームと比較した輝度値差分情報、前フレームと比較したエッジ差分情報という４種類の情報を画像特徴量（第２情報）として取得することができる。輝度値情報及びエッジ情報は、主に、運転者Ｄの姿勢及び運転者Ｄの有無を示す。また、輝度値差分情報及びエッジ差分情報は、主に、運転者Ｄの（上半身の）動きを示す。

制御部１１０は、上記のようなエッジの位置の他に、エッジの強度、及び画像の局所的な周波数成分に関する画像特徴量を取得してもよい。エッジの強度とは、画像に含まれるエッジの位置の周辺の輝度の変化の度合いである。画像の局所的な周波数成分とは、例えば、ガボール・フィルタ、ソーベルフィルタ、ラプラシアンフィルタ、キャニーエッジ検出器、ウェーブレットフィルタ等の画像処理を画像に施すことにより得られる画像特徴量である。また、画像の局所的な周波数成分は、上記の画像処理に限られず、機械学習により予め設計されたフィルタにより画像処理を施すことで得られる画像特徴量であってもよい。これにより、運転者Ｄ毎に体格差があるケース、運転席がスライド移動可能であることで、運転者Ｄの位置が相違するケース等であっても、運転者Ｄの身体状態を適切に表す第２情報を取得することができる。

なお、本実施形態では、撮影画像（第１画像）が複数のフレームで構成されているため、低解像度化した撮影画像（第２画像）も複数のフレームで構成される。そこで、制御部１１０は、第２画像に含まれる２以上のフレームに対して身体動作の解析を行うことにより、上記輝度値差分情報、エッジ差分情報等の第２情報を取得する。このとき、制御部１１０は、差分を算出するフレームのみを記憶部１２０又はＲＡＭに保存してもよい。これにより、不要なフレームを保存しなくてもよくなり、メモリ容量を効率的に利用することができるようになる。また、身体動作の解析に利用する複数のフレームは互いに時刻が隣接するものであってもよいが、運転者Ｄの身体動作の変化は顔の各器官の変化と比べてゆっくりであると想定されるため、身体動作の解析には、所定の時間間隔を空けた複数のフレームを利用するのが好ましい。

また、運転者Ｄの身体動作は、顔の挙動に比べて、撮影画像内に大きく表れ得る。そのため、上記ステップＳ１２〜Ｓ１４により顔の挙動に関する第１情報を取得する際に比べて、本ステップＳ１６で身体動作に関する第２情報を取得する際には、解像度の低い撮影画像を利用可能である。そこで、本実施形態では、制御部１１０は、本ステップＳ１６を実施する前に、ステップＳ１５を実施することで、顔の挙動に関する第１情報を取得するための撮影画像（第１画像）から低解像度化した撮影画像（第２画像）を取得する。そして、制御部１１０は、低解像度化した撮影画像（第２画像）を利用して、運転者Ｄの身体動作に関する第２情報を取得している。これにより、第２情報を取得する際の演算処理の計算量を低減することができ、本ステップＳ１６の処理にかかる制御部１１０の負荷を抑えることができる。

なお、上記ステップＳ１５及びＳ１６は、上記ステップＳ１２〜Ｓ１４と並列に実行されてもよい。上記ステップＳ１５及びＳ１６は、上記ステップＳ１２〜Ｓ１４の前に実行されてもよい。上記ステップＳ１５及びＳ１６は、上記ステップＳ１２〜Ｓ１４の間に実行されてもよい。上記ステップＳ１５が、上記ステップＳ１２〜Ｓ１４のいずれかの前に実行され、ステップＳ１６が、上記ステップＳ１２〜Ｓ１４の後に実行されてもよい。すなわち、上記ステップＳ１５及びＳ１６は、上記ステップＳ１２〜Ｓ１４に依存せずに実行されてよい。

（ステップＳ１７）
図６に戻り、次のステップＳ１７では、制御部１１０は、特徴ベクトル生成部１５として機能し、取得した第１情報及び第２情報から特徴ベクトルを生成する。

ここで、図９を用いて、特徴ベクトルを生成する過程の一例について説明する。図９は、特徴ベクトルの各要素（各特徴量）を算出する過程の一例を模式的に例示する。図９に例示されるとおり、カメラ２１により連続的に撮影を行うことで、上記ステップＳ１１で取得される撮影画像（第１画像）は、時刻ｔ＝０、１、・・・、Ｔの複数のフレームで構成される。

上記ステップＳ１２〜Ｓ１４では、制御部１１０は、第１解析部１２として機能して、取得した第１画像について、１フレーム単位で顔の挙動を解析する。これにより、制御部１１０は、運転者Ｄの顔の検出可否、顔の位置、顔の向き、顔の動き、視線方向、顔の各器官の位置、及び眼の開閉度をそれぞれ示す特徴量（ヒストグラム）を第１情報として算出する。

また、上記ステップＳ１５では、制御部１１０は、解像度変換部１３として機能し、第１画像を低解像度化した第２画像を形成する。そして、上記ステップＳ１６では、制御部１１０は、第２解析部１４として機能して、形成した第２画像に含まれる２以上のフレームから画像特徴量を第２情報として抽出する。

制御部１１０は、上記で第１情報及び第２情報として取得した各特徴量を特徴ベクトルの各要素に設定する。これにより、制御部１１０は、運転者Ｄの顔の挙動と身体動作とを示す特徴ベクトルを生成する。

（ステップＳ１８〜Ｓ２０）
図６に戻り、次のステップＳ１８では、制御部１１０は、重み設定部１６として機能し、特徴ベクトルの各要素（各特徴量）に対して、当該各要素の優先度合いを定める重みを設定する。次のステップＳ１９では、制御部１１０は、設定した重みを特徴ベクトルに適用することで得られる状態ベクトル、すなわち、設定した重みが適用された各特徴量の値に基づいて、運転者Ｄの状態を推定する。上記図４及び図５のとおり、制御部１１０は、運転者Ｄの状態として、例えば、運転者の前方注視、眠気、脇見、服の着脱、電話操作、窓側又は肘掛けへの寄り掛かり、同乗者又はペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション又はオーディオ操作、眼鏡又はサングラスの着脱、及び写真撮影のうちの少なくとも１つを推定することができる。

次のステップＳ２０では、制御部１１０は、自動運転システム２０からの指令（不図示）に応じて、運転者Ｄの状態の推定を継続するか否かを判定する。運転者Ｄの状態の推定を継続しないと判定した場合、制御部１１０は、本動作例に係る処理を終了する。例えば、車両Ｃが停車した場合に、制御部１１０は、運転者Ｄの状態の推定を継続しないと判定し、運転者Ｄの状態の監視を終了する。一方、運転者Ｄの状態の推定を継続すると判定した場合、制御部１１０は、ステップＳ１１から処理を繰り返す。例えば、車両Ｃの自動運転が継続している場合に、制御部１１０は、運転者Ｄの状態の推定を継続すると判定して、ステップＳ１１から処理を繰り返すことで、運転者Ｄの状態を継続的に監視する。

この運転者Ｄの状態を繰り返し推定する過程で、制御部１１０は、上記ステップＳ１８では、ステップＳ１９により運転者Ｄの状態を過去に推定した結果に基づいて、各要素に対する重みの値を決定する。すなわち、制御部１１０は、運転者Ｄの状態の推定結果に基づいて、その推定を実施した次のサイクルで運転者Ｄの状態を推定する際に重要視される項目（顔の器官、身体の動き、姿勢等）が優先されるように各特徴量に対する重みを決定する。

例えば、運転者Ｄの後方への振り返りをある時点で推定した場合、その時点からしばらくの間、取得される第１画像には、運転者Ｄの顔の眼等の器官は殆ど写っていないが、当該運転者Ｄの顔の輪郭は写っていると想定される。そこで、次のサイクルで推定される運転者Ｄの状態は前方への振り返りであると推測して、制御部１１０は、顔の有無を示す特徴量の重みを大きくし、視線方向及び眼の開閉度を示す特徴量の重みが小さくなるように重み付けを行ってもよい。

なお、制御部１１０は、ステップＳ１８により重み付けの値を変更しながら、運転者Ｄの状態の推定結果が所定の確度を超えるまで、ステップＳ１９による推定処理を繰り返し実行してもよい。推定の確度を定める閾値は、予め設定されて記憶部１２０に保存されていてもよいし、利用者により設定されてもよい。

ここで、図１０及び図１１を用いて、前のサイクルの推定結果に基づいて次のサイクルで利用する重みを変更する処理について具体的に説明する。図１０は、各特徴量に基づいて運転者の状態を推定する過程及び推定結果に基づいて各特徴量の重み付けを変更する過程を例示する。図１１は、運転者Ｄの後方への振り返りを推定した後に行われる重み付け処理を例示する。

図１０に例示されるように、制御部１１０は、上記ステップＳ１７により、特徴ベクトルｘを取得する。特徴ベクトルｘは、顔の有無、顔の向き、視線方向、眼の開閉度等の特徴量（第１情報）と身体の動き、姿勢等の特徴量（第２情報）とを各要素として含んでいる。制御部１１０は、この特徴ベクトルｘの各要素に重みを適用することで、すなわち、特徴ベクトルｘと重みベクトルＷとの積を計算することで、状態ベクトルｙ（＝Ｗｘ）を算出する。重みベクトルＷの各要素には、対応する各特徴量の重みが設定される。上記ステップＳ１９では、制御部１１０は、この状態ベクトルｙに基づいて、運転者Ｄの状態を推定する。

図１０の例では、制御部１１０は、状態ベクトルｙの各要素の中で最も値の大きい要素のインデックス（ＡｒｇＭａｘ（ｙ（ｉ）））を推定結果として出力する。ｙ＝（ｙ（１）、ｙ（２）、ｙ（３））と表現した場合に、ＡｒｇＭａｘ（ｙ（ｉ））は、ｙ（ｉ）（ｉ＝１，２，３）のうちで最もｙ（ｉ）が大きくなるｉを示す。例えば、状態ベクトルｙ＝（０．３，０．５，０．１）であったとすると、ＡｒｇＭａｘ（ｙ（ｉ））＝２となる。

この例では、状態ベクトルｙの各要素は、運転者Ｄの状態と関連付けられる。例えば、１番目の要素が「前方注視」、２番目の要素が「眠気あり」、及び３番目の要素が「脇見」に関連付けられているとすると、上記「ＡｒｇＭａｘ（ｙ（ｉ））＝２」との出力は、運転者Ｄが「眠気あり」の状態であるとの推定結果を示す。

制御部１１０は、この推定結果に基づいて、次のサイクルで利用する重みベクトルＷの各要素の値を変更する。推定結果に対応する重みベクトルＷの各要素の値は、実施の形態に応じて適宜決定されてよい。重みベクトルＷの各要素の値は、例えば、強化学習等の機械学習の手法によって決定されてよい。なお、過去の推定結果が存在しない場合には、制御部１１０は、予め与えられた初期値等で適宜重み付けを行ってもよい。

例えば、ある時点でのＡｒｇＭａｘ（ｙ（ｉ））の値が、運転者Ｄの後方への振り返りを示していたとする。この場合、運転者Ｄの次の動作は、前方への振り返りであると予測される。そのため、撮影画像中に運転者Ｄの顔が検出されるまで、顔の向き、視線方向、眼の開閉度等の顔の器官に関する特徴量は、運転者Ｄの状態の推定に不要と想定される。

そこで、運転者Ｄの後方への振り返りを推定した場合、図１１に例示されるように、制御部１１０は、次のサイクル以降のステップＳ１８において、顔の向き、視線方向、眼の開閉度等の顔の器官に関する各特徴量の重み付けを徐々に小さくしてもよい。一方、制御部１１０は、顔の有無に関する特徴量の重みを徐々に大きくしてもよい。これにより、次のサイクル以降で、運転者Ｄの前方への振り返りが推定されるまで、顔の器官に関する特徴量が運転者Ｄの状態の推定に反映されないようにすることができる。なお、運転者Ｄの前方への振り返りを推定した後には、取得される撮影画像には運転者Ｄの顔の各器官が写り得る。そのため、制御部１１０は、運転者Ｄの前方への振り返りを推定した場合、次のサイクル以降のステップＳ１８において、顔の向き、視線方向、眼の開閉度等の顔の器官に関する各特徴量の重み付けを大きくしてもよい。

なお、重みの値が０である又は閾値より小さい場合には、対象の特徴量の検出を一旦停止させてもよい。例えば、上記の公報への振り返りの例の場合、顔の向き、視線方向、眼の開閉度等の顔の器官に関する各特徴量に対する重みが０になったときには、制御部１１０は、上記ステップＳ１４において、顔の向き、視線方向、及び眼の開閉度の検出を省略してもよい。これにより、一連の処理の計算量を低減することができ、運転者Ｄの状態の推定処理を高速に実行することができるようになる。

次に、図１２及び図１３を用いて、ステップＳ１１〜Ｓ２０の一連の処理が繰り返されることで検出される各特徴量及びそれにより推定される運転者Ｄの状態の具体例について説明する。図１２は、運転者Ｄが突っ伏す際に検出される各特徴量（時系列情報）を例示する。また、図１３は、右方向に気を取られた運転者Ｄの集中度が低下していく際に検出される各特徴量（時系列情報）を例示する。

まず、図１２の例について説明する。運転者Ｄが突っ伏す際には、検出されていた顔が検出されなくなり、身体が大きく動いた後にその身体の動きが停止し、かつ姿勢が、通常の運転姿勢から前傾姿勢に移行するものと想定される。そのため、重みベクトルＷを適宜設定することで、制御部１１０は、ステップＳ１９において、このような変化を捉えて、運転者Ｄが突っ伏しの状態にあることを推定する。

図１２の例では、フレームＮｏ．４まで検出されていた運転者Ｄの顔が、フレームＮｏ．４からＮｏ．５にかけて、見えなく（検出されなく）なっている。また、運転者Ｄの身体の動きがフレームＮｏ．３からＮｏ．５にかけて大きくなり、フレームＮｏ．６で当該身体の動きが止まっている。更に、フレームＮｏ．２からＮｏ．３にかけて、運転者Ｄの姿勢が通常の運転姿勢から前傾姿勢へ移行している。制御部１１０は、状態ベクトルｙによりこの傾向を捉えて、フレームＮｏ．３からＮｏ．６にかけて、運転者Ｄが突っ伏し状態に移行したと推定してもよい。

次に、図１３の例について説明する。図１３は、運転者Ｄの運転に対する集中力が散漫になっていく場面を例示する。運転者Ｄが運転に集中しているときには、運転者Ｄは、あまり身体を動かさずに、前方方向を注視する。これに対して、運転に対する集中力が低下してきたときには、運転者Ｄは、前方以外の方向に顔又は視線を向けたり、身体を大きく動かしたりする。そのため、重みベクトルＷを適宜設定することで、制御部１１０は、ステップＳ１９において、運転者Ｄの顔の向き、視線方向、及び身体の動きに関する各特徴量に基づいて、運転者Ｄの状態として、当該運転者Ｄの運転に対する集中度を推定してもよい。

図１３の例では、フレームＮｏ．３からＮｏ．４にかけて、運転者Ｄの顔の向きが前方向から右方向へ変化している。また、運転者Ｄの視線は、フレームＮｏ．２からＮｏ．４にかけて前方向から右方向に変化した後、フレームＮｏ．６で一旦前方向に戻り、フレームＮｏ．７以降で再び右方向へ変化している。更に、運転者Ｄの動きが、フレームＮｏ．４からＮｏ．５にかけて大きくなっている。制御部１１０は、状態ベクトルｙによりこの傾向を捉えて、Ｎｏ．２から徐々に右方向の物体に気を取られて、姿勢がだんだんと右向きになり、集中度が低下していっていると推定してもよい。

制御部１１０は、このような推定結果を自動運転支援装置２２に送信する。自動運転支援装置２２は、この状態推定装置１０の推定結果を利用して、自動運転の動作を制御する。例えば、運転者Ｄが急病を発症したことを推定した場合に、自動運転支援装置２２は、車両Ｃの動作を手動運転モードから自動運転モードに切り替えて、当該車両Ｃを安全な場所（例えば、付近の病院、駐車場等）に移動した後に停止するように制御してもよい。

［作用・効果］
以上のように、本実施形態に係る状態推定装置１０は、上記ステップＳ１２〜Ｓ１４により、運転者Ｄを撮影するように設定されたカメラ２１から取得した撮影画像（第１画像）に基づいて、運転者Ｄの顔の挙動に関する第１情報を取得する。また、状態推定装置１０は、上記ステップＳ１６により、低解像度化した撮影画像（第２画像）に基づいて、運転者Ｄの身体動作に関する第２情報を取得する。そして、状態推定装置１０は、ステップＳ１９により、取得した第１情報及び第２情報に基づいて、運転者Ｄの状態を推定する。

そのため、本実施形態では、運転者Ｄの顔の挙動という局所的な情報（第１情報）だけではなく、運転者Ｄの身体動作という大局的な情報（第２情報）を、当該運転者Ｄの状態を推定するのに反映することができる。したがって、本実施形態によれば、上記図４、図５、図１２、及び図１３に例示されるように、運転者Ｄの取り得る多様な状態を推定することができる。

また、ステップＳ１１〜Ｓ２０の処理を繰り返し実行する過程で、制御部１１０は、ステップＳ１８において、過去のサイクルの推定結果に基づいて、現サイクルの推定に適するように、特徴ベクトルｘに適用する重みベクトルＷの各要素の値を変更することができる。そのため、本実施形態によれば、多様な運転者Ｄの状態を高精度に推定することができる。

また、身体動作は、顔の挙動に比べて、撮影画像内に大きく表れ得るため、顔の挙動の解析に利用する撮影画像よりも解像度の低い撮影画像を利用して、当該身体動作の解析を十分に行うことができる。そのため、本実施形態では、顔の挙動の解析には、カメラ２１から取得された撮影画像（第１画像）をそのまま利用し、身体動作の解析には、カメラ２１から取得された撮影画像を低解像度化した撮影画像（第２画像）を利用している。これにより、運転者Ｄの状態を推定する精度を落とさずに、身体動作の解析にかかる計算量を低減し、プロセッサの負荷を抑えることができる。したがって、本実施形態によれば、多様な運転者Ｄの状態を高速、低負荷かつ高精度に推定することができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
上記実施形態では、第１情報は、運転者Ｄの顔の検出可否、顔の位置、顔の向き、顔の動き、視線方向、顔の各器官の位置、及び眼の開閉度に関する特徴量を含む。また、第２情報は、現在フレームの輝度値情報、現在フレームのエッジの位置を示すエッジ情報、前フレームと比較した輝度値差分情報、及び前フレームと比較したエッジ差分情報に関する特徴量を含む。しかしながら、第１情報及び第２情報それぞれに含まれる特徴量の数は、実施の形態に応じて適宜決定されてよい。第１情報及び第２情報はそれぞれ１又は複数の特徴量（動作特徴量）で表現されてよい。また、第１情報及び第２情報それぞれの構成は、実施の形態に応じて適宜決定されてよい。第１情報は、運転者Ｄの顔の検出可否、顔の位置、顔の向き、顔の動き、視線方向、顔の各器官の位置、及び眼の開閉度の少なくとも１つに関する情報により構成されてよい。また、第２情報は、第２画像から抽出されるエッジの位置、エッジの強度、及び画像の局所的な周波数成分の少なくとも１つに関する特徴量により構成されてもよい。第１情報及び第２情報はそれぞれ、上記実施形態とは異なる特徴量、情報等により構成されてよい。

＜４．２＞
また、上記実施形態では、制御部１１０は、低解像度化した第２画像を利用して、運転者Ｄの身体動作の解析を行っている（上記ステップＳ１６）。しかしながら、身体動作の解析は、このような形態に限られなくてもよく、カメラ２１から取得した第１画像に対して行われてもよい。この場合、上記機能構成において、解像度変換部１３は省略されてもよい。また、上記処理手順において、ステップＳ１５は、省略されてよい。

＜４．３＞
上記ステップＳ１２〜１４における顔の挙動の解析、ステップＳ１６における身体動作の解析、ステップＳ１８における重み付け、及びステップＳ１９における運転者Ｄの状態の推定には、それぞれの処理を機械学習した学習済みの学習器（例えば、ニューラルネットワーク等）を利用してもよい。例えば、顔の挙動の解析及び身体動作の解析それぞれには、撮影画像を利用するため、その学習器には、畳み込み層とプーリング層とが交互に接続した構造を有する畳み込みニューラルネットワークを用いるのが好ましい。また、過去の推定結果を反映するためには、学習器には、例えば、中間層から入力層への経路のように、内部にループを有する再帰型ニューラルネットワークを用いるのが好ましい。

図１４は、再帰型ニューラルネットワークを利用して第２解析部１４を構成した例を示す。第２解析部１４を構成する再帰型ニューラルネットワークは、いわゆる深層学習に利用される多層構造のニューラルネットワークである。図１４の例では、制御部１１０は、時刻ｔ＝０、１、・・・、Ｔ−１、Ｔまでの間に取得された第２画像の各フレームをニューラルネットワークの入力層に入力する。そして、制御部１１０は、入力側から順に、各層に含まれる各ニューロンの発火判定を行う。これにより、制御部１１０は、ニューラルネットワークから身体動作の解析結果を示す出力を得る。

なお、このニューラルネットワークは、入力層と出力層との間に設けられた中間層の出力が当該中間層の入力に再帰しているため、時刻ｔ１の中間層の出力が時刻ｔ１＋１の中間層の入力に利用される。これにより、過去の解析結果を次の解析に活用することができるため、運転者Ｄの身体動作の解析精度を高めることができる。

＜４．４＞
上記実施形態では、推定される運転者Ｄの状態として、前方注視、眠気、脇見、服の着脱、電話操作、窓側又は肘掛けへの寄り掛かり、同乗者又はペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション又はオーディオ操作、眼鏡又はサングラスの着脱、及び写真撮影を例示した。しかしながら、推定対象となる運転者Ｄの状態は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１０は、居眠り、モニタ画面の注視等の他の状態を運転者Ｄの状態推定の候補としてもよい。また、状態推定装置１０は、推定対象となる状態の候補をディスプレイ（不図示）等に提示し、推定対象とする状態の指定を受け付けてもよい。

＜４．５＞
上記実施形態では、制御部１１０は、ステップＳ１２〜１４において、運転者Ｄの顔及びその器官を検出することで、当該運転者Ｄの顔の向き、視線方向（視線の変化）、眼の開閉度等を検出する。しかしながら、検出対象となる顔の挙動は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部１１０は、運転者Ｄの瞬きの回数、呼吸の速さ等の上記以外の情報を取得してもよい。また、例えば、制御部１１０は、第１情報及び第２情報以外に、脈拍等の生体情報を利用して、運転者の状態を推定してもよい。

＜４．６＞
上記実施形態では、図１及び図３Ａに例示するように、車両Ｃの自動運転制御を行う自動運転支援装置２２を備える自動運転システム２０に状態推定装置１０を適用した例について説明した。しかしながら、状態推定装置１０の適用範囲は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。

例えば、図１５に示されるとおり、状態推定装置１０は、自動運転支援装置２２を持たない車両システム２００に適用されてもよい。図１５は、自動運転支援装置２２を持たない車両システム２００に状態推定装置１０を適用した例を模式的に例示する。自動運転支援装置２２を備えない点を除き、本変形例は、上記実施形態と同様に構成される。この場合、本変形例に係る車両システム２００は、運転者Ｄの状態の推定結果に基づいて、適宜警告等を行ってもよい。例えば、居眠り、危険運転等の危険を伴う状態を推定した場合に、車両システム２００は、運転者Ｄに対して自動的に警告を発してもよい。また、急病の発症を推定した場合には、車両システム２００は、救急車の要請を行う連絡を行ってもよい。これにより、自動運転支援装置２２を備えない車両システム２００であっても、状態推定装置１０の推定結果を有向に活用することができる。

＜４．７＞
上記実施形態では、図３Ａ、図９及び図１０に示すように、制御部１１０は、運転者Ｄの状態の推定結果に基づいて、特徴ベクトルｘに適用する重みベクトルＷの各要素の値を変更する。しかしながら、この重み付けの処理は、省略されてもよい。また、第１情報及び第２情報は、特徴量以外の形態で表現されてもよい。

この場合、図１６に例示されるように、状態推定装置１０の機能構成のうち、特徴ベクトル生成部１５及び重み設定部１６は、省略されてもよい。図１６は、本変形例に係る状態推定装置１００を模式的に例示する。状態推定装置１００は、特徴ベクトル生成部１５及び重み設定部１６を備えない点を除いて、上記実施形態に係る状態推定装置１０と同様に構成される。

この状態推定装置１００は、第１画像に基づいて運転者Ｄの顔の挙動に関する第１情報を検出し、第１画像を低解像度化した第２画像に基づいて運転者Ｄの身体動作に関する第２情報を検出する。そして、状態推定装置１００は、これらの検出結果を融合することで、運転者Ｄの状態を推定する。これにより、上記実施形態と同様に、運転者Ｄの状態を推定する精度を落とさずに、身体動作の解析にかかる計算量を低減し、プロセッサの負荷を抑えることができる。したがって、本変形例によれば、多様な運転者Ｄの状態を高速、低負荷かつ高精度に推定することができる。

＜４．８＞
上記実施形態では、図１に示すとおり、車両Ｃに設置された１台のカメラ２１によって連続的に撮影された運転者Ｄが存在し得る運転席の撮影画像を用いて、運転者Ｄの状態を推定している。しかしながら、撮影画像を取得するためのカメラ２１の数は、１台に限られなくてもよく、複数台であってもよい。例えば、車両Ｃには、運転者Ｄを様々な角度から撮影するように、複数台のカメラ２１が運転者Ｄの周囲に適宜設置されてよい。そして、状態推定装置１０は、各カメラ２１から取得される撮影画像を利用して、運転者Ｄの状態を推定してもよい。これにより、１台のカメラでは撮影できなかった角度の撮影画像を得ることができるため、運転者Ｄの状態を更に精度よく推定することができるようになる。

＜４．９＞
上記実施形態では、状態を推定する対象者は、車両Ｃの運転者Ｄである。図１では、この車両Ｃの種類として、自動車の例を示している。しかしながら、車両Ｃの種類は、自動車に限られなくてもよく、トラック、バス、船舶、各種作業車両、新幹線、電車等であってよい。また、状態を推定する対象者は、各種車両の運転者に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、状態を推定する対象者は、工場等の施設において作業を行う作業者、介護施設に入居した要介護者等であってよい。この場合、カメラ２１は、所定の場所に存在し得る対象者を撮影するように配置されればよい。

図１７は、工場Ｆの作業者Ｌの状態を推定するシステムに状態推定装置１０１を適用した場面を模式的に例示する。状態推定装置１０１は、状態を推定する対象者が工場Ｆの作業者Ｌであること、作業者Ｌの状態を推定すること、及び自動運転支援装置２２に接続されていないことを除き、上記実施形態に係る状態推定装置１０と同様に構成される。この場合、カメラ２１は、所定の作業場所に存在し得る作業者Ｌを撮影するように適宜配置される。

状態推定装置１０１（制御部１１０）は、上記実施形態と同様に、カメラ２１から取得される撮影画像（第１画像）に基づいて作業者Ｌの顔の挙動に関する第１情報を取得する。また、状態推定装置１０１は、カメラ２１から取得される撮影画像を低解像度化した撮影画像（第２画像）に基づいて作業者Ｌの身体動作に関する第２情報を取得する。そして、状態推定装置１０１は、第１情報及び第２情報に基づいて、作業者Ｌの状態を推定する。このとき、状態推定装置１０１は、作業者Ｌの状態として、作業者Ｌの行う作業に対する集中度、健康状態（例えば作業者の体調又は疲労度）を推定ことができる。また、例えば、介護施設に入居した要介護者に適用した場合には、当該要介護者の異常行動等を推定することができる。

＜４．１０＞
また、上記実施形態では、撮影画像は、複数のフレームで構成され、制御部１１０は、ステップＳ１２〜Ｓ１４では、１フレーム単位で顔の挙動を解析し、ステップＳ１６では、２以上のフレームに対して身体動作の解析を行っている。しかしながら、撮影画像及び各解析方法は、このような例に限定されなくてもよい。例えば、制御部１１０は、ステップＳ１６において、１フレームで構成された撮影画像に対して身体動作の解析を行ってもよい。

本発明の一側面に係る状態推定装置は、多種多様な対象者の状態を従来よりも精度よく推定することができるという効果を奏することから、当該対象者の状態を推定する装置として広く適用可能である。

（付記１）
ハードウェアプロセッサと、
前記ハードウェアプロセッサで実行するプログラムを保持するメモリと、
を備える状態推定装置であって、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
所定の場所に存在し得る対象者を撮影するように配置された撮影装置から撮影画像を取得するステップと、
前記撮影画像に基づいて前記対象者の顔の挙動を解析し、前記対象者の顔の挙動に関する第１情報を取得するステップと、
前記撮影画像に基づいて前記対象者の身体動作を解析し、前記対象者の身体動作に関する第２情報を取得するステップと、
前記第１情報及び前記第２情報に基づいて、前記対象者の状態を推定するステップと、
を実行するように構成される、
状態推定装置。

（付記２）
ハードウェアプロセッサにより、所定の場所に存在し得る対象者を撮影するように配置された撮影装置から撮影画像を取得するステップと、
ハードウェアプロセッサにより、前記撮影画像に基づいて前記対象者の顔の挙動を解析し、前記対象者の顔の挙動に関する第１情報を取得するステップと、
ハードウェアプロセッサにより、前記撮影画像に基づいて前記対象者の身体動作を解析し、前記対象者の身体動作に関する第２情報を取得するステップと、
ハードウェアプロセッサにより、前記第１情報及び前記第２情報に基づいて、前記対象者の状態を推定するステップと、
を備える、
状態推定方法。

１０…状態推定装置、
１１…画像取得部、１２…第２解析部、
１３…解像度変換部、１４…第２解析部、
１５…特徴ベクトル生成部、１６…重み設定部、
１７…推定部、
３１…顔検出部、３２…顔器官検出部、
３３…顔器官状態検出部、
３３１…眼開閉検出部、３３２…視線検出部、
３３３…顔向き検出部、
１１０…制御部、１２０…記憶部、
１３０…外部インタフェース、
２０…自動運転システム、
２１…カメラ、２２…自動運転支援装置

Claims (15)

1. 所定の場所に存在し得る対象者を撮影するように配置された撮影装置から撮影画像を取得する画像取得部と、
   前記撮影画像に基づいて前記対象者の顔の挙動を解析し、前記対象者の顔の挙動に関する第１情報を取得する第１解析部と、
   前記撮影画像に基づいて前記対象者の身体動作を解析し、前記対象者の身体動作に関する第２情報を取得する第２解析部と、
   前記第１情報及び前記第２情報に基づいて、前記対象者の状態を推定する推定部と、
   を備える、
   状態推定装置。
2. 前記第１情報及び前記第２情報はそれぞれ１又は複数の特徴量で表現され、
   前記推定部は、前記各特徴量の値に基づいて、前記対象者の状態を推定する、
   請求項１に記載の状態推定装置。
3. 前記各特徴量の優先度合いを定める重みを前記各特徴量に設定する重み設定部を更に備え、
   前記推定部は、前記重みが適用された前記各特徴量の値に基づいて、前記対象者の状態を推定する、
   請求項２に記載の状態推定装置。
4. 前記重み設定部は、前記対象者の状態を過去に推定した結果に基づいて、前記重みの値を決定する、
   請求項３に記載の状態推定装置。
5. 前記撮影画像の解像度を低下させる解像度変換部を更に備え、
   前記第２解析部は、解像度を低下させた前記撮影画像に対して前記身体動作の解析を行うことで、前記第２情報を取得する、
   請求項１から４のいずれか１項に記載の状態推定装置。
6. 前記第２解析部は、解像度を低下させた前記撮影画像から抽出されるエッジの位置、エッジの強度、及び局所的な周波数成分の少なくとも１つに関する特徴量を前記第２情報として取得する、
   請求項５に記載の状態推定装置。
7. 前記撮影画像は、複数のフレームで構成され、
   前記第２解析部は、前記撮影画像に含まれる２以上のフレームに対して前記身体動作の解析を行うことにより、前記第２情報を取得する、
   請求項１から６のいずれか１項に記載の状態推定装置。
8. 前記第１解析部は、前記撮影画像に対して所定の画像解析を行うことで、前記対象者の顔の検出可否、顔の位置、顔の向き、顔の動き、視線の方向、顔の器官の位置、及び眼の開閉の少なくともいずれか１つに関する情報を前記第１情報として取得する、
   請求項１から７のいずれか１項に記載の状態推定装置。
9. 前記撮影画像は、複数のフレームで構成され、
   前記第１解析部は、前記撮影画像に対する前記顔の挙動の解析を１フレーム単位で行うことにより、前記第１情報を取得する、
   請求項１から８のいずれか１項に記載の状態推定装置。
10. 前記対象者は、車両の運転を行う運転者であり、
    前記画像取得部は、前記車両の運転席に着いた前記運転者を撮影するように配置された前記撮影装置から前記撮影画像を取得し、
    前記推定部は、前記第１情報及び前記第２情報に基づいて、前記運転者の状態を推定する、
    請求項１から９のいずれか１項に記載の状態推定装置。
11. 前記推定部は、前記運転者の状態として、前記運転者の前方注視、眠気、脇見、服の着脱、電話操作、寄り掛かり、同乗者又はペットによる運転妨害、病気の発症、後ろ向き、突っ伏し、飲食、喫煙、めまい、異常行動、カーナビゲーション又はオーディオの操作、眼鏡又はサングラスの着脱、及び写真撮影のうち少なくとも１つを推定する、
    請求項１０に記載の状態推定装置。
12. 前記対象者は、工場の作業者であり、
    前記画像取得部は、所定の作業場所に存在し得る前記作業者を撮影するように配置された前記撮影装置から前記撮影画像を取得し、
    前記推定部は、前記第１情報及び前記第２情報に基づいて、前記作業者の状態を推定する、
    請求項１から９のいずれか１項に記載の状態推定装置。
13. 前記推定部は、前記作業者の状態として、前記作業者の行う作業に対する集中度、又は前記作業者の健康状態を推定する、
    請求項１２に記載の状態推定装置。
14. コンピュータが、
    所定の場所に存在し得る対象者を撮影するように配置された撮影装置から撮影画像を取得するステップと、
    前記撮影画像に基づいて前記対象者の顔の挙動を解析するステップと、
    前記顔の挙動を解析するステップの結果、前記対象者の顔の挙動に関する第１情報を取得するステップと、
    前記撮影画像に基づいて前記対象者の身体動作を解析するステップと、
    前記身体動作を解析するステップの結果、前記対象者の身体動作に関する第２情報を取得するステップと、
    前記第１情報及び前記第２情報に基づいて、前記対象者の状態を推定するステップと、
    を実行する、
    状態推定方法。
15. コンピュータに、
    所定の場所に存在し得る対象者を撮影するように配置された撮影装置から撮影画像を取得するステップと、
    前記撮影画像に基づいて前記対象者の顔の挙動を解析するステップと、
    前記顔の挙動を解析するステップの結果、前記対象者の顔の挙動に関する第１情報を取得するステップと、
    前記撮影画像に基づいて前記対象者の身体動作を解析するステップと、
    前記身体動作を解析するステップの結果、前記対象者の身体動作に関する第２情報を取得するステップと、
    前記第１情報及び前記第２情報に基づいて、前記対象者の状態を推定するステップと、
    を実行させるための、
    状態推定プログラム。