JP6689470B1 - 情報処理装置、プログラム及び情報処理方法 - Google Patents

Abstract

運転手の頭部を含む画像から、運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う姿勢保持機能評価部（１０２）と、評価を用いて、運転手の覚醒度のレベルを推定する覚醒度推定部（１０６）とを備える。

Description

本発明は、情報処理装置、プログラム及び情報処理方法に関する。

ドライバーモニタリングシステムが実用化されている。ドライバーモニタリングシステムは、トラック又はバス等の業務用車両に限らず、一般車への普及も進んでいる。

ドライバーモニタリングシステムに搭載されている機能として主たるものは、安全運転支援機能として、居眠り運転及びわき見運転の検出機能である。また、自動運転Ｌｖ（Ｌｅｖｅｌ）３においては、自動運転システムから人間への権限移譲が行われるため、これらの機能は、ドライバーが運転可能な状態にあるかを判断する技術として求められている。

従来の技術は、車内に取り付けられたカメラによって、ドライバーの顔を撮影し、その表情等から、ドライバーの状態の推定を行っている。例えば、眠気を推定する技術としては、特許文献１に記載されているように、眼の開き度合いを検出する技術がよく用いられている。

特開昭６１−１７５１２９号公報

従来の眠気を検出する技術は、走行中において運転手の眠気を常時検出することは困難である。例えば、従来の技術では、赤外線カメラを用いていることが多いが、赤外線を遮光するサングラスを運転手が着用している場合、眼の様子が見えないため、瞼の開き度合いを検出することができない。

そこで、本発明は、運転手の眼が隠れている場合でも、運転手の覚醒度のレベルを検出できるようにすることを目的とする。

本発明の一態様に係る情報処理装置は、運転手の頭部を含む画像から、前記運転手の頭部の座標である頭部座標を検出する頭部座標検出部と、前記画像から、前記運転手の頭部の傾斜角である頭部傾斜角を検出する頭部傾斜角検出部と、予め定められた期間における前記頭部座標の分散と、前記予め定められた期間における前記頭部傾斜角の分散とから、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う評価部と、前記評価を用いて、前記運転手の覚醒度のレベルを推定する覚醒度推定部と、を備えることを特徴とする。

本発明の一態様に係るプログラムは、コンピュータを、運転手の頭部を含む画像から、前記運転手の頭部の座標である頭部座標を検出する頭部座標検出部、前記画像から、前記運転手の頭部の傾斜角である頭部傾斜角を検出する頭部傾斜角検出部、予め定められた期間における前記頭部座標の分散と、前記予め定められた期間における前記頭部傾斜角の分散とから、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う評価部、及び、前記評価を用いて、前記運転手の覚醒度のレベルを推定する覚醒度推定部、として機能させることを特徴とする。

本発明の一態様に係る情報処理方法は、頭部座標検出部が、運転手の頭部を含む画像から、前記運転手の頭部の座標である頭部座標を検出し、頭部傾斜角検出部が、前記画像から、前記運転手の頭部の傾斜角である頭部傾斜角を検出し、評価部が、予め定められた期間における前記頭部座標の分散と、前記予め定められた期間における前記頭部傾斜角の分散とから、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行い、覚醒度推定部が、前記評価を用いて、前記運転手の覚醒度のレベルを推定することを特徴とする。

本発明の一又は複数の態様によれば、運転手の眼が隠れている場合でも、運転手の覚醒度のレベルを検出することができる。

実施の形態１に係る情報処理装置の構成を概略的に示すブロック図である。 実施の形態１における座標系を説明するための概略図である。 実施の形態１に係る情報処理装置の車両への配置例を示す概略図である。 実施の形態１に係る情報処理装置のハードウェア構成例を示すブロック図である。 実施の形態１に係る情報処理装置の動作を示すフローチャートである。 実施の形態２に係る情報処理装置の構成を概略的に示すブロック図である。 実施の形態２に係る情報処理装置の車両への配置例を示す概略図である。 実施の形態２に係る情報処理装置の動作を示すフローチャートである。

実施の形態１．
図１は、実施の形態１に係る覚醒度推定装置である情報処理装置１００の構成を概略的に示すブロック図である。
図１に示されているように情報処理装置１００は、撮像装置１３０と、覚醒度低下通知装置１４０とに接続されている。

情報処理装置１００は、撮像装置１３０で撮像された画像を示す画像データの入力を受けて、運転手の覚醒度のレベルを推定して、推定されたレベルにより運転手の覚醒度が低下したと判断した場合には、覚醒度低下通知装置１４０に通知を行わせる。
撮像装置１３０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等を利用すればよく、覚醒度低下通知装置１４０は、ディスプレイ又はスピーカ等を利用すればよい。

情報処理装置１００は、入力インターフェース部（以下、入力Ｉ／Ｆ部という）１０１と、姿勢保持機能評価部１０２と、覚醒度推定部１０６と、出力インターフェース部（以下、出力Ｉ／Ｆ部という）１０７とを備える。
姿勢保持機能評価部１０２は、頭部座標検出部１０３と、頭部傾斜角検出部１０４と、評価部１０５とを備える。

入力Ｉ／Ｆ部１０１は、撮像装置１３０から画像データの入力を受ける入力部である。入力Ｉ／Ｆ部１０１は、入力された画像データを頭部座標検出部１０３及び頭部傾斜角検出部１０４に与える。

ここで、画像データで示される画像には、一名の運転手が映っていてもよいし、他の乗員が映っていてもよい。また、頭部座標の検出と、頭部傾斜角の検出とが可能であれば、画像は、ＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）画像でも、ＩＲ（ｉｎｆｒａｒｅｄ）画像でも、距離画像でもよい。

姿勢保持機能評価部１０２は、画像データで示される画像から、運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う。

頭部座標検出部１０３は、入力Ｉ／Ｆ部１０１から与えられる画像データで示される画像から、運転手の頭部の座標である頭部座標を検出する。頭部座標検出部１０３は、検出された頭部座標を評価部１０５に与える。

例えば、頭部座標検出部１０３は、入力Ｉ／Ｆ部１０１から与えられる画像データで示される画像から、運転手の顔を検出する。
運転手の顔を検出する方法である顔検出方法は、特に問わない。
具体的には、頭部座標検出部１０３は、一般的に利用されているＨａａｒ−ｌｉｋｅ特徴量を使ったＡｄａＢｏｏｓｔベースの検出器を用いて、運転手の顔を検出してもよい。

なお、「Ｈａａｒ−ｌｉｋｅ特徴量」は、画像の明暗差により特徴を捉える特徴量であり、画素値をそのまま特徴量として用いる場合と比べて、照明条件の変動又はノイズの影響を受けにくい。また、「ＡｄａＢｏｏｓｔ」は、Ａｄａｐｔｉｖｅ Ｂｏｏｓｔｉｎｇ の略で、弱い分類器を複数組み合わせて利用することで、パフォーマンスを改善した機械学習アルゴリズムである。

次に、頭部座標検出部１０３は、検出された顔を含む領域である顔検出枠から、運転手の頭部の座標である頭部座標を検出する。
頭部座標の算出方法は、顔検出枠の中心であってもよく、顔の特徴点から頭部の代表点を設定し、その代表点を頭部座標としてもよい。例えば、左右の眼の間の中点を代表点としてもよい。但し、眼の間には特徴的なエッジが存在しなかったり、眼鏡の着用によりエッジができたりするため、直接左右の眼の中点の検出は行わず、左右の目頭の中点としたり、目尻の中点としたりすることで代表点の推定を行ってもよい。

なお、「顔検出枠」は、画像中から顔の存在する領域を示す枠で、顔の特徴点を内包する。多くの場合枠の形状は正方形である。「顔の特徴点」は、顔らしさを構成する座標で、輪郭、鼻孔、目尻、目頭、口角、唇又は眉等の座標を指す。

なお、頭部座標検出部１０３は、検出された顔検出枠を示す顔領域情報を頭部傾斜角検出部１０４に与える。

頭部傾斜角検出部１０４は、入力Ｉ／Ｆ部１０１から与えられる画像データで示される画像から、運転手の頭部の傾斜角である頭部傾斜角を検出する。頭部傾斜角検出部１０４は、検出された頭部傾斜角を評価部１０５に与える。

例えば、頭部傾斜角検出部１０４は、入力Ｉ／Ｆ部１０１から与えられる画像データで示される画像の内、頭部座標検出部１０３から与えられる顔領域情報で示される顔検出枠内の画像である顔領域画像から、運転手の頭部の傾斜角を検出する。

具体的には、頭部の傾斜角を検出する方法として、頭部傾斜角検出部１０４は、頭部の傾斜角１０度毎に撮影した画像から検出器を作成しておき、顔領域画像と、その検出器とを用いて、頭部傾斜角を検出してもよい。
また、頭部傾斜角検出部１０４は、顔領域画像から複数の特徴点を特定し、その特徴点間の距離から、頭部傾斜角を検出してもよい。例えば、頭部傾斜角検出部１０４は、顔領域画像の垂直方向に二つの特徴点を特定し、その二つの特徴点間の距離により頭部傾斜角を検出してもよい。例えば、頭部傾斜角が大きくなると、その二つの特徴点間の距離は短くなる。この場合に、距離が求められるステレオカメラ又はＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ等で撮像された画像データを用いると、正確かつ容易に、その距離を求めることができる。

評価部１０５は、予め定められた期間において頭部座標検出部１０３で検出される頭部座標のばらつきと、予め定められた期間において頭部傾斜角検出部１０４で検出される頭部傾斜角のばらつきとを用いて、運転手の姿勢保持機能の状態の評価を行う。
ここでは、評価部１０５は、予め定められた期間において頭部座標検出部１０３で検出される頭部座標の分散と、予め定められた期間において頭部傾斜角検出部１０４で検出される頭部傾斜角の分散とを用いて、運転手の姿勢保持機能の状態の評価を行う。

例えば、評価部１０５は、予め定められた期間における頭部座標の分散を算出する。具体的には、評価部１０５は、直近２０秒間の頭部座標の分散を算出する。この場合、撮像装置１３０が３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で画像データを入力すると仮定すると、評価部１０５は、６００フレーム分の地球の重力方向の頭部座標を記録し、その座標の分散を算出する。図２に示されているように、地球の重力方向を、ここでは、Ｙ軸とする。なお、撮像装置１３０のフレームレート、及び、分散を算出する時間はこの例に限定されない。
また、図２に示されている例では、Ｘ軸の周りの方向がＰｉｔｃｈ方向、Ｙ軸の周りの方向がＹａｗ方向、Ｚ軸の周りの方向がＲｏｌｌ方向である。

ここでは、評価部１０５は、地球の重力方向の座標の分散を算出したが、同様に地面に対して水平方向の座標の分散を算出してもよい。なお、図２に示されているように、地面に対して水平方向を、ここではＸ軸とする。水平方向の座標の分散から後述する姿勢保持機能の状態を推定する場合、対応する頭部傾斜角は、Ｙａｗ方向又はＲｏｌｌ方向となる。

また、評価部１０５は、予め定められた期間における頭部傾斜角の分散を算出する。具体的には、評価部１０５は、直近２０秒間の頭部傾斜角の分散を算出する。この場合、撮像装置１３０が３０ｆｐｓで画像データを入力すると仮定すると、評価部１０５は、６００フレーム分の地球の重力方向の傾斜角であるＰｉｔｃｈ方向の角度を記録し、その分散を算出する。

ここでは、評価部１０５は、Ｐｉｔｃｈ方向の角度を記録し分散を算出したが、上述のように、Ｙａｗ方向又はＲｏｌｌ方向の角度を記録し分散を算出してもよい。

そして、評価部１０５は、頭部座標の分散と頭部傾斜角の分散とから、姿勢保持機能の状態を示す評価値を算出する。例えば、評価部１０５は、予め定められた期間における頭部座標の分散を、予め定められた期間における頭部傾斜角の分散で割った値、又は、予め定められた期間における頭部傾斜角の分散を、予め定められた期間における頭部座標の分散で割った値を評価値として算出する。

具体的には、評価部１０５は、下記の（１）式により、評価値を算出する。
評価値＝（Ｐｉｔｃｈ角の分散）÷（Ｙ座標の分散） （１）
なお、評価部１０５は、下記の（２）式又は（３）式により、評価値を算出してもよい。
評価値＝（Ｘ座標の分散）÷（Ｙａｗ角の分散） （２）
評価値＝（Ｒｏｌｌ角の分散）÷（Ｘ座標の分散） （３）
評価部１０５は、以上のようにして算出した評価値を覚醒度推定部１０６に与える。

例えば、（１）式において、評価値が大きくなる場合、頭部の位置が変わらずに、頭部が上下方向にスイングしているため、運転手の覚醒度が低下して、姿勢保持機能が発揮されていない状態と判断することができる。
（２）式でも、評価値が大きくなる場合、頭部が回転せずに左右に揺れているため、運転手の覚醒度が低下して、姿勢保持機能が発揮されていない状態と判断することができる。
（３）式でも、評価値が大きくなる場合、頭部の位置が変わらずに、頭部が左右にスイングしているため、運転手の覚醒度が低下して、姿勢保持機能が発揮されていない状態と判断することができる。

覚醒度推定部１０６は、姿勢保持機能評価部１０２で行われた評価を用いて、運転手の覚醒度のレベルを推定する。
例えば、覚醒度推定部１０６は、評価部１０５から与えられる評価値に基づいて、運転手の覚醒度のレベルを推定する。
覚醒度のレベルは、例えば、ＮＥＤＯ（Ｎｅｗ Ｅｎｅｒｇｙ ａｎｄ Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｏｒｇａｎｉｚａｔｉｏｎ）が定めた公知の評価法のように、表情又は体の動き等から推測できる６段階に分けてもよいし、任意の覚醒度レベルに分けてもよい。

ＮＥＤＯの評価法で覚醒度をレベル分けする場合、覚醒度推定部１０６は、レベル毎に評価値の閾値を設けて、覚醒度のレベルを推定する。言い換えると、評価値には、対応するレベルが予め特定されているものとする。そして、推定された覚醒度のレベルが、予め定められた閾値を下回る場合、覚醒度推定部１０６は、出力Ｉ／Ｆ部１０７から、覚醒度低下通知装置１４０に通知指示を行う。

出力Ｉ／Ｆ部１０７は、覚醒度低下通知装置１４０に指示等を出力するための出力部である。
覚醒度低下通知装置１４０は、覚醒度推定部１０６からの通知指示に応じて、運転者及び同乗者に、覚醒度の低下を通知する。例えば、覚醒度低下通知装置１４０は、スピーカとディスプレイとを用いて覚醒度の低下を運転者等に通知し、休憩を促すか運転移譲不能状態であることを示す。

図３は、実施の形態１に係る情報処理装置１００の車両１５０への配置例を示す概略図である。
車両１５０の内部には、撮像装置１３０として機能する車載カメラ１５１と、情報処理装置１００と、記憶装置１５２と、覚醒度低下通知装置１４０として機能するスピーカ１５３及びディスプレイ１５４とが配置されている。

ここで、車載カメラ１５１は、検出対象となる運転手の頭部を含む上半身を撮像する。車載カメラ１５１は、情報処理装置１００と接続されている。なお、図３に示されている車載カメラ１５１は、ワイヤハーネス等の配線を介して接続されてもよく、無線により接続されてもよい。

また、車載カメラ１５１は、一般的なＲＧＢカメラでもよいし、ＩＲカメラでもよい。さらに、車載カメラ１５１は、Ｄｅｐｔｈセンサでもよい。
「ＲＧＢカメラ」は、異なった３本のケーブル等を用いて、赤、緑及び青の３色の信号を通信するカメラであり、一般に３つの独立したＣＣＤセンサを用いるものである。
「ＩＲカメラ」は、赤外線カメラであり、赤外線領域の波長に感度をもつカメラである。
「Ｄｅｐｔｈセンサ」は、３Ｄ（ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎｓ）センサ、測距センサ又はＤｅｐｔｈカメラともいい、二次元画像に加えて深度画像を生成することができるセンサである。測距方式としてステレオカメラ方式、パターン照射方式、ＴＯＦ方式等があるが、どの方式のセンサでもよい。

図４は、実施の形態１に係る情報処理装置１００のハードウェア構成例を示すブロック図である。
情報処理装置１００は、ＣＰＵ１６０と、プログラムメモリ１６１と、データメモリ１６２と、インターフェース１６３と、これらを接続するバス１６４とを備える。
インターフェース１６３には、車載カメラ１５１と、スピーカ１５３と、ディスプレイ１５４とが接続される。

ここで、頭部座標検出部１０３、頭部傾斜角検出部１０４、評価部１０５及び覚醒度推定部１０６は、ＣＰＵ１６０がプログラムメモリ１６１に記憶されているプログラムを実行することにより構成することができる。
入力Ｉ／Ｆ部１０１及び出力Ｉ／Ｆ部１０７は、インターフェース１６３により構成することができる。
以上のように、情報処理装置１００は、特定のプログラムを記憶したコンピュータにより実現することができる。

なお、「ＣＰＵ」は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称であり、演算及び制御を行う装置である。
ＣＰＵ１６０は、プログラムメモリ１６１に記憶されたプログラムに従って動作する。ＣＰＵ１６０は、動作の過程で種々のデータをデータメモリ１６２に記憶させる。車載カメラ１５１からインターフェース１６３を介して入力された画像の認識の結果、インターフェース１６３を介してスピーカ１５３とディスプレイ１５４が制御される。
以下、情報処理装置１００で行われる動作を、図５を参照して説明する。

図５は、実施の形態１に係る情報処理装置１００の動作を示すフローチャートである。
図５に示されているフローチャートは、画像データ取得ステップ（Ｓ１０）と、顔検出ステップ（Ｓ１１）と、頭部座標検出ステップ（Ｓ１２）と、頭部座標分散算出ステップ（Ｓ１３）と、頭部傾斜角検出ステップ（Ｓ１４）と、頭部傾斜角分散算出ステップ（Ｓ１５）と、評価値算出ステップ（Ｓ１６）と、覚醒度推定ステップ（Ｓ１７）と、覚醒度低下通知ステップ（Ｓ１８）とを有する。

画像データ取得ステップＳ１０では、入力Ｉ／Ｆ部１０１は、運転手の頭部を含む上半身を撮像した画像の画像データを取得する。

顔検出ステップＳ１１では、頭部座標検出部１０３は、取得された画像データで示される画像から、運転手の顔を検出する。なお、頭部座標検出部１０３は、検出された顔を含む領域である顔検出枠を示す顔領域情報を頭部傾斜角検出部１０４に与える。

頭部座標検出ステップＳ１２では、頭部座標検出部１０３は、顔検出ステップＳ１１で検出された顔を含む領域である顔検出枠から、頭部座標を検出する。
頭部座標分散算出ステップＳ１３では、評価部１０５は、頭部座標の分散を算出する。

頭部傾斜角検出ステップＳ１４では、頭部傾斜角検出部１０４は、顔検出ステップＳ１１で検出された顔を含む領域である顔検出枠から、頭部傾斜角を検出する。
頭部傾斜角分散算出ステップＳ１５では、評価部１０５は、頭部傾斜角検出ステップＳ１４で検出された頭部傾斜角の分散を算出する。

評価値算出ステップＳ１６では、評価部１０５は、頭部座標の分散と、頭部傾斜角の分散とから、姿勢保持機能の状態を示す評価値を算出する。
覚醒度推定ステップＳ１７では、覚醒度推定部１０６は、評価値算出ステップＳ１６で算出された評価値から、覚醒度のレベルを推定する。

覚醒度低下通知ステップＳ１８では、覚醒度推定部１０６は、覚醒度推定ステップＳ１７で推定された覚醒度のレベルが予め定められた閾値を下回った場合に、出力Ｉ／Ｆ部１０７を介して、覚醒度低下通知装置１４０に、運転手等へ覚醒度の低下を通知するように指示を行う。このような指示を受けた覚醒度低下通知装置１４０は、運転手及び同乗者等に対してスピーカ１５３及びディスプレイ１５４の少なくとも何れか一方を用いて、覚醒度の低下を通知し、休憩を促すか運転移譲不能状態であることを示す。

以上のように、実施の形態１によれば、運転手の覚醒度のレベルを姿勢保持機能の状態より推定することができる。また、その推定結果に応じて、運転手及び同乗者等に通知を行うことができる。

実施の形態１は、頭部の座標と、頭部の傾斜角とから頭部の姿勢保持機能の状態の評価を行うことで覚醒度のレベルを推定するため、眼が隠れている状態でも覚醒度のレベルを推定することができる。
また、覚醒度の推定にカメラ以外のセンサを必要としないため、コスト削減かつ小型化が可能である。
さらに、頭部の傾斜角を推定に用いているため、頭部の動きが、顔の振り向きに起因するものか、車両の振動によるものなのか分離することができる。これにより、安全確認時の振り向き等によって生じる頭部の動きによる誤検出を防ぐことができる。

実施の形態２．
図６は、実施の形態２に係る覚醒度推定装置である情報処理装置２００の構成を概略的に示すブロック図である。
図６に示されているように情報処理装置２００は、撮像装置１３０と、覚醒度低下通知装置１４０とに接続されている。実施の形態２における撮像装置１３０及び覚醒度低下通知装置１４０は、実施の形態１における撮像装置１３０及び覚醒度低下通知装置１４０と同様である。

また、実施の形態２における情報処理装置２００は、ＣＡＮ２７０にも接続されている。「ＣＡＮ」は、Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋの略称であり、車載機器間の通信技術として開発された電子回路及び各装置を接続するための規格に対応したネットワークである。

情報処理装置２００は、入力Ｉ／Ｆ部２０１と、姿勢保持機能評価部１０２と、覚醒度推定部２０６と、出力Ｉ／Ｆ部１０７と、ＰＥＲＣＬＯＳ算出部２０８と、あくび検出部２０９とを備える。
姿勢保持機能評価部１０２は、頭部座標検出部１０３と、頭部傾斜角検出部１０４と、評価部１０５とを備える。

実施の形態２における姿勢保持機能評価部１０２及び出力Ｉ／Ｆ部１０７は、実施の形態１における姿勢保持機能評価部１０２及び出力Ｉ／Ｆ部１０７と同様である。
但し、姿勢保持機能評価部１０２の頭部座標検出部１０３は、検出された顔検出枠を示す顔領域情報を頭部傾斜角検出部１０４の他、ＰＥＲＣＬＯＳ算出部２０８及びあくび検出部２０９にも与える。

入力Ｉ／Ｆ部２０１は、撮像装置１３０から画像データの入力を受ける。入力Ｉ／Ｆ部２０１は、入力された画像データを頭部座標検出部１０３、頭部傾斜角検出部１０４、ＰＥＲＣＬＯＳ算出部２０８及びあくび検出部２０９に与える。
また、入力Ｉ／Ｆ部２０１は、ＣＡＮ２７０から、ステアリングの操舵角、ギアの位置又は車速等の、運転者が運転する車両の状態を示す車両情報の入力を受ける。入力Ｉ／Ｆ部２０１は、入力された車両情報を覚醒度推定部２０６に与える。

ＰＥＲＣＬＯＳ算出部２０８は、入力Ｉ／Ｆ部２０１から与えられる画像データで示される画像から、運転手の眼が開いている割合である開眼度を検出し、その開眼度に従って、一定時間において運転手が眼を閉じている時間の割合である閉眼割合を算出する閉眼割合算出部である。
ここでは、ＰＥＲＣＬＯＳ算出部２０８は、運転者のＰＥＲＣＬＯＳを算出する。ＰＥＲＣＬＯＳは、ｐｅｒｃｅｎｔａｇｅ ｏｆ ｅｙｅ ｃｌｏｓｕｒｅの略で、一定時間内における閉眼時間の割合である。ＰＥＲＣＬＯＳは、対象者（ここでは、運転者）の主観的な眠気と相関が高いことで知られており、眠気指標として用いることができる。

例えば、ＰＥＲＣＬＯＳ算出部２０８は、入力Ｉ／Ｆ部２０１から与えられる画像データで示される画像の内、頭部座標検出部１０３から与えられる顔領域情報で示される顔検出枠に対応する顔領域画像において、眼の開き度合いを上下の瞼間の距離から算出する。具体的には、ＰＥＲＣＬＯＳ算出部２０８は、上瞼及び下瞼の円弧上の目尻目頭間の中点をそれぞれ求め、最大開眼時の上下の瞼間の距離に対する上下の瞼間の距離の割合を開眼度とする。
なお、最大開眼時の上下の瞼間の距離に対する上下の瞼間の距離は、予め定められているものとする。このため、開眼度の定義は、眼をつぶっているときの開眼度を０％、覚醒時の開眼度を１００％とし、フレーム毎に算出されるものとする。

そして、ＰＥＲＣＬＯＳ算出部２０８は、算出された開眼度からＰＥＲＣＬＯＳを算出する。ＰＥＲＣＬＯＳ算出部２０８は、算出された開眼度に対して、フレーム毎に、予め定められた閾値で開眼又は閉眼の判定を実施し、閉眼であると判定された場合、閉眼フレームとして積算する。例えば、ＰＥＲＣＬＯＳ算出部２０８は、１分間のバッファを設けて、１０ｆｐｓの撮像装置１３０で撮影された画像からＰＥＲＣＬＯＳを算出する場合、１分間で積算された閉眼フレーム数を、６０００フレームで割ることで、ＰＥＲＣＬＯＳを算出することができる。

あくび検出部２０９は、入力Ｉ／Ｆ部２０１から与えられる画像データで示される画像から、運転手の口が開いている割合である開口度を検出し、その開口度に従って、運転手があくびをしているか否かを検出する。

例えば、あくび検出部２０９は、入力Ｉ／Ｆ部２０１から与えられる画像データで示される画像の内、頭部座標検出部１０３から与えられる顔領域情報で示される顔検出枠に対応する顔領域画像において、顔の特徴点から口の開き度合いを上下の唇間の距離から検出する。具体的には、あくび検出部２０９は、上唇、下唇の円弧上の左右口角間の中点をそれぞれ求め、最大開口時における上下中点間の距離に対する上下中点間の距離を開口度として算出する。

そして、あくび検出部２０９は、算出した開口度をもとに、運転手のあくびを検出する。あくびの特徴として、口が一定時間連続して開く、鼻の穴が広がる、涙が出る、又は、あくび発生前に吸気を行う等の特長があるが、ここでは口が一定時間連続して開く特徴を利用した場合について説明する。

具体的には、あくび検出部２０９は、算出された開口度が予め定められた閾値以上となった場合に、対応するフレームをあくびフレームと判断する。そして、あくび検出部２０９は、あくびフレームが予め定められた時間である閾値以上継続したときに、あくびであると判定する。また、あくびは短時間で連続して発生しないため、あくび検出部２０９は、一度あくびを検出した後は、一定時間あくびを検出しない。これにより誤検出を防止することができる。

覚醒度推定部２０６は、入力Ｉ／Ｆ部２０１から与えられる車両情報と、評価部１０５から与えられる評価値と、ＰＥＲＣＬＯＳ算出部２０８から与えられるＰＥＲＣＬＯＳと、あくび検出部２０９から与えられるあくびの有無とから、運転手の覚醒度のレベルを推定する。

例えば、覚醒度推定部２０６は、車両状態情報で示される車両状態を参照し、車両状態が予め定められた条件に該当しない場合に、運転手の覚醒度のレベルを推定する。
ここで、予め定められた条件は、ギアとしてバック又はパーキングが選択されているとき、車速が予め定められた閾値を下回っているとき、又は、操舵角が予め定められた閾値を上回っているときである。これらの条件の何れにも該当しない場合に、覚醒度推定部２０６は、覚醒度のレベルを推定する。

以上の予め定められた条件を考慮することで、実施の形態２においては、覚醒度推定部２０６は、車両状態情報で示される車両状態が、予め定められた車速以上で、前方に向かって直進している場合に、運転手の覚醒度のレベルを推定する。

そして、覚醒度推定部２０６は、運転手の覚醒度のレベルを推定すると判断した場合に、入力Ｉ／Ｆ部２０１から与えられる車両情報と、評価部１０５から与えられる評価値と、ＰＥＲＣＬＯＳ算出部２０８から与えられるＰＥＲＣＬＯＳと、あくび検出部２０９から与えられるあくびの有無とから、運転手の覚醒度のレベルを推定する。

なお、覚醒度推定部２０６は、入力Ｉ／Ｆ部２０１から与えられる車両情報、評価部１０５から与えられる評価値、ＰＥＲＣＬＯＳ算出部２０８から与えられるＰＥＲＣＬＯＳ、及び、あくび検出部２０９から与えられるあくびの有無の各々から、各々に対応する覚醒度のレベルを推定する。そして、覚醒度推定部２０６は、同じタイミングで最も低い覚醒度のレベルをそのタイミングにおける覚醒度のレベルとして採用する。

ここでは、車両情報として、ステアリングの操舵角の経時変化が用いられる。覚醒度のレベルが低下すると、ステアリングの操舵角は細かく変化すると知られており、この指標を利用する。即ち、操舵角の経時変化の大きさに応じて、覚醒度のレベルが予め対応付けられていればよい。
また、ＰＥＲＣＬＯＳについては、それぞれの値に覚醒度のレベルが予め対応付けられていればよく、あくびの有無についても、それぞれに覚醒度のレベルが予め対応付けられていればよい。

ここで、評価値に対応する覚醒度のレベルを第１のレベル、車両情報で示される車両の状態に対応する覚醒度のレベルを第２のレベル、ＰＥＲＣＬＯＳに対応する覚醒度のレベルを第３のレベル、及び、あくびをしているか否かに対応する覚醒度のレベルを第４のレベルとすると、覚醒度推定部２０６は、第１のレベル、第２のレベル、第３のレベル及び第４のレベルから最終的な覚醒度のレベルを特定する。但し、サングラスを着用している等の理由で、第３のレベルが取得できない場合には、第１のレベル、第２のレベル及び第４のレベルから最終的な覚醒度のレベルが特定される。ここでは、これらのレベルの内、最も覚醒度が低いものが最終的な覚醒度のレベルとして特定される。

なお、覚醒度のレベルは、実施の形態１と同様に、ＮＥＤＯの評価法が用いられればよいが、任意の覚醒度のレベルが用いられてもよい。覚醒度のレベルは、指標毎に信頼度とともに算出しておくことが望ましい。信頼度とは、出力される値が尤もらしい値であるかを示す指標である。信頼度が高い時に出力される値は尤もらしい値であり、信頼度が低い時に出力される値は誤りであることが多くなるように調整しておく。

覚醒度の推定方法としては、各指標のうち信頼度が予め定められた閾値を上回っているものの中から最も低いレベルが採用されればよい。これにより開閉眼に特徴の出ない運転手でもあくび又は操舵角のばらつき等によって覚醒度のレベルを正しく判定することができる。

即ち、運転者の覚醒度のレベルの推定には、瞼の開き度合いから推定する方式が有効であり、ドライバーの覚醒度のレベルが低下すると、ＰＥＲＣＬＯＳが高くなることが知られている。赤外線に感度のある撮像装置１３０を用いて開閉眼を検出する手法が一般的であるが、赤外線の透過率の低いサングラス着用時には眼の状態を検出できない。しかしながら、上述の方法であれば、サングラス着用時等には、ＰＥＲＣＬＯＳによる覚醒度のレベルは推定されないが、他の方法で推定されたレベルを適用することができる。

図７は、実施の形態２に係る情報処理装置２００の車両１５０への配置例を示す概略図である。
車両１５０の内部には、撮像装置１３０として機能する車載カメラ１５１と、情報処理装置２００と、記憶装置１５２と、覚醒度低下通知装置１４０として機能するスピーカ１５３及びディスプレイ１５４と、車速センサ２５５と、ギアボックス２５６と、ステアリング２５７とが配置されている。

実施の形態２における車載カメラ１５１、記憶装置１５２、スピーカ１５３及びディスプレイ１５４は、実施の形態１における車載カメラ１５１、記憶装置１５２、スピーカ１５３及びディスプレイ１５４と同様である。
実施の形態２では、車速センサ２５５、ギアボックス２５６及びステアリング２５７から取得できる情報が、車両情報として、ＣＡＮ２７０を介して、情報処理装置２００に送られる。

図４に示されているように、実施の形態２に係る情報処理装置２００も、ＣＰＵ１６０と、プログラムメモリ１６１と、データメモリ１６２と、インターフェース１６３と、これらを接続するバス１６４とを備える。
インターフェース１６３には、車載カメラ１５１と、スピーカ１５３と、ディスプレイ１５４とが接続される。
なお、実施の形態２においては、インターフェース１６３は、ＣＡＮ２７０にも接続されている。

図８は、実施の形態２に係る情報処理装置２００の動作を示すフローチャートである。
図８に示されているフローチャートは、画像データ取得ステップ（Ｓ２０）と、顔検出ステップ（Ｓ２１）と、頭部座標検出ステップ（Ｓ２２）と、頭部座標分散算出ステップ（Ｓ２３）と、頭部傾斜角検出ステップ（Ｓ２４）と、頭部傾斜角分散算出ステップ（Ｓ２５）と、開眼度検出ステップ（Ｓ２６）と、ＰＥＲＣＬＯＳ算出ステップ（Ｓ２７）と、開口度検出ステップ（Ｓ２８）と、あくび検出ステップ（Ｓ２９）と、評価値算出ステップ（Ｓ３０）と、覚醒度推定ステップ（Ｓ３１）と、覚醒度低下通知ステップ（Ｓ３２）とを有する。

画像データ取得ステップＳ２０では、入力Ｉ／Ｆ部２０１は、運転手の頭部を含む上半身を撮像した画像の画像データを取得する。画像データで示される画像は、後段の処理で実施する頭部座標の算出と、頭部傾斜角の算出と、ＰＥＲＣＬＯＳの算出と、あくびの検出とが可能であれば、ＲＧＢ画像、ＩＲ画像又は距離画像等のどのような画像であってもよい。

顔検出ステップＳ２１では、頭部座標検出部１０３は、取得された画像データで示される画像から、運転手の顔を検出する。なお、頭部座標検出部１０３は、検出された顔を含む領域である検出枠を示す顔領域情報を頭部傾斜角検出部１０４、ＰＥＲＣＬＯＳ算出部２０８及びあくび検出部２０９に与える。

頭部座標検出ステップＳ２２では、頭部座標検出部１０３は、顔検出ステップＳ２１で検出された顔を含む領域である顔検出枠から、頭部座標を検出する。
頭部座標分散算出ステップＳ２３では、評価部１０５は、頭部座標の分散を算出する。

頭部傾斜角検出ステップＳ２４では、頭部傾斜角検出部１０４は、顔検出ステップＳ２１で検出された顔を含む領域である顔検出枠から、頭部傾斜角を検出する。
頭部傾斜角分散算出ステップＳ２５では、評価部１０５は、頭部傾斜角検出ステップＳ２４で検出された頭部傾斜角の分散を算出する。

開眼度検出ステップＳ２６では、ＰＥＲＣＬＯＳ算出部２０８は、顔検出ステップＳ２１で検出された顔を含む領域である顔検出枠から、運転手の顔の特徴点を用いて眼の開き度合いである開眼度を検出する。
ＰＥＲＣＬＯＳ算出ステップＳ２７では、ＰＥＲＣＬＯＳ算出部２０８は、開眼度検出ステップＳ２６で検出された開眼度からＰＥＲＣＬＯＳを算出する。

開口度検出ステップＳ２８では、あくび検出部２０９は、顔検出ステップＳ２１で検出された顔を含む領域である顔検出枠から、運転手の顔の特徴点を用いて、口の開き度合いである開口度を検出する。
あくび検出ステップＳ２９では、あくび検出部２０９は、開口度検出ステップＳ２８で検出された開口度を用いて、あくびの有無を検出する。

評価値算出ステップＳ３０では、評価部１０５は、頭部座標の分散と、頭部傾斜角の分散とから、姿勢保持機能の状態を示す評価値を算出する。

覚醒度推定ステップＳ３１では、覚醒度推定部２０６は、車両状態情報で示される車両状態を参照し、車両状態が予め定められた条件に該当しない場合に、運転手の覚醒度のレベルを推定する。例えば、覚醒度推定部２０６は、入力Ｉ／Ｆ部２０１から与えられる車両情報と、評価部１０５から与えられる評価値と、ＰＥＲＣＬＯＳ算出部２０８から与えられるＰＥＲＣＬＯＳと、あくび検出部２０９から与えられるあくびの有無とから、運転手の覚醒度のレベルを推定する。

覚醒度低下通知ステップＳ３２では、覚醒度推定部２０６は、覚醒度推定ステップＳ３１で推定された覚醒度のレベルが予め定められた閾値を下回った場合に、出力Ｉ／Ｆ部１０７を介して、覚醒度低下通知装置１４０に、運転手等へ覚醒度の低下を通知するように指示を行う。このような指示を受けた覚醒度低下通知装置１４０は、運転手及び同乗者等に対してスピーカ１５３及びディスプレイ１５４の少なくとも何れか一方を用いて、覚醒度の低下を通知し、休憩を促すか運転移譲不能状態であることを示す。

以上のように、実施の形態２によれば、運転手の覚醒度のレベルを評価するに適した指標でその評価を行うことができる。
また、その評価の結果に応じてスピーカ１５３及びディスプレイ１５４の制御を行うことで、運転手及び同乗者に覚醒度を通知することができる。

１００，２００ 情報処理装置、 １０１，２０１ 入力Ｉ／Ｆ部、 １０３ 頭部座標検出部、 １０４ 頭部傾斜角検出部、 １０５ 評価部、 １０６，２０６ 覚醒度推定部、 １０７ 出力Ｉ／Ｆ部、 ２０８ ＰＥＲＣＬＯＳ算出部、 ２０９ あくび検出部、 １３０ 撮像装置、 １４０ 覚醒度低下通知装置、 １５０ 車両、 １５１ 車載カメラ、 １５２ 記憶装置、 １５３ スピーカ、 １５４ ディスプレイ、 １６０ ＣＰＵ、 １６１ プログラムメモリ、 １６２ データメモリ、 １６３ インターフェース、 １６４ バス。

Claims (8)

1. 運転手の頭部を含む画像から、前記運転手の頭部の座標である頭部座標を検出する頭部座標検出部と、
   前記画像から、前記運転手の頭部の傾斜角である頭部傾斜角を検出する頭部傾斜角検出部と、
   予め定められた期間における前記頭部座標の分散と、前記予め定められた期間における前記頭部傾斜角の分散とから、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う評価部と、
   前記評価を用いて、前記運転手の覚醒度のレベルを推定する覚醒度推定部と、を備えること
   を特徴とする情報処理装置。
2. 前記評価部は、前記予め定められた期間における前記頭部座標の分散を前記予め定められた期間における前記頭部傾斜角の分散で割った値、又は、前記予め定められた期間における前記頭部傾斜角の分散を前記予め定められた期間における前記頭部座標の分散で割った値を評価値として算出すること
   を特徴とする請求項１に記載の情報処理装置。
3. 前記評価値に対応する前記レベルが予め特定されていること
   を特徴とする請求項２に記載の情報処理装置。
4. 前記運転手が運転する車両の状態である車両状態を示す車両状態情報の入力を受ける入力部と、
   前記画像から、前記運転手の眼が開いている割合である開眼度を検出し、前記開眼度に従って、一定時間において前記運転手が眼を閉じている時間の割合である閉眼割合を算出する閉眼割合算出部と、
   前記画像から、前記運転手の口が開いている割合である開口度を検出し、前記開口度に従って、前記運転手があくびをしているか否かを検出するあくび検出部と、をさらに備え、
   前記評価に対応する前記覚醒度の第１のレベル、前記車両状態に対応する第２のレベル、前記閉眼割合に対応する前記覚醒度の第３のレベル、及び、前記あくびをしているか否かに対応する前記覚醒度の第４のレベルが予め定められており、
   前記覚醒度推定部は、前記第１のレベル、前記第２のレベル、前記第３のレベル、及び、前記第４のレベルから、前記レベルを特定すること
   を特徴とする請求項１又は２に記載の情報処理装置。
5. 前記覚醒度推定部は、前記第１のレベル、前記第２のレベル、前記第３のレベル、及び、第４のレベルの内、前記覚醒度が最も低いものを前記レベルとして特定すること
   を特徴とする請求項４に記載の情報処理装置。
6. 前記覚醒度推定部は、前記車両状態が、予め定められた車速以上で、前方に向かって直進していることを示している場合に、前記レベルを特定すること
   を特徴とする請求項４又は５に記載の情報処理装置。
7. コンピュータを、
   運転手の頭部を含む画像から、前記運転手の頭部の座標である頭部座標を検出する頭部座標検出部、
   前記画像から、前記運転手の頭部の傾斜角である頭部傾斜角を検出する頭部傾斜角検出部、
   予め定められた期間における前記頭部座標の分散と、前記予め定められた期間における前記頭部傾斜角の分散とから、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行う評価部、及び、
   前記評価を用いて、前記運転手の覚醒度のレベルを推定する覚醒度推定部、として機能させること
   を特徴とするプログラム。
8. 頭部座標検出部が、運転手の頭部を含む画像から、前記運転手の頭部の座標である頭部座標を検出し、
   頭部傾斜角検出部が、前記画像から、前記運転手の頭部の傾斜角である頭部傾斜角を検出し、
   評価部が、予め定められた期間における前記頭部座標の分散と、前記予め定められた期間における前記頭部傾斜角の分散とから、前記運転手が姿勢を保持する機能である姿勢保持機能の状態の評価を行い、
   覚醒度推定部が、前記評価を用いて、前記運転手の覚醒度のレベルを推定すること
   を特徴とする情報処理方法。

Images