JP2008099884A - 状態推定装置 - Google Patents

Abstract

【課題】 対象者の状態の推定精度を向上させることができる状態推定装置を提供する。
【解決手段】 状態推定装置１は、運転者の顔を撮像するカメラ２と、このカメラ２の撮像画像に基づいて、運転者の意識状態（覚醒度）を推定する推定処理ユニット３とを備えている。推定処理ユニット３は、カメラ２の撮像画像を画像処理し、運転者の開眼量を検出する画像処理部５と、画像処理部５により得られた所定時間分の開眼量検出値を所定幅毎に分類し、各開眼量検出値と検出頻度との関係を示す度数分布を作成し、その度数分布から得られた包絡近似曲線の極大値を抽出する開眼・閉眼抽出部６と、開眼・閉眼抽出部６で抽出された包絡近似曲線の極大値の時間変化に基づいて、運転者の意識状態を判定する意識状態推定部７とを有している。
【選択図】 図１

Description

本発明は、例えば自動車の運転者の意識状態等を推定する状態推定装置に関するものである。

運転者の意識状態等を推定する状態推定装置としては、例えば特許文献１に記載されているものが知られている。この特許文献１に記載の状態推定装置は、カメラの画像データから眼の開度を検出し、その開度の時系列データから複数の極小値を抽出し、これらの極小値を開眼候補群と閉眼候補群とに分離し、その開眼候補群及び閉眼候補群に基づいて閉眼閾値を設定して、運転者の意識状態を推定するものである。
特開２００４−４１４８５号公報

しかしながら、上記従来技術においては、運転者の意識状態を推定するにあたって、開眼及び閉眼のいずれの状態であるかを識別するための閉眼閾値が必要となるので、この閉眼閾値の設定を誤ると推定精度に悪影響を与えてしまう。一般に人間の開眼状態は多様であり、瞳の大きな人もいれば、閉眼との区別がつきにくい人もいるので、カメラの画像データから閉眼閾値を設定することは困難である。また、車載を考慮して低コストのカメラを用いた場合には、短い瞬き状態の開眼・閉眼を正確に検出することは難しいため、閉眼閾値を的確に設定することが出来ない。その結果、運転者の意識状態の推定精度が低下してしまう。

本発明の目的は、対象者の状態の推定精度を向上させることができる状態推定装置を提供することである。

本発明の状態推定装置は、対象者の状態に関する特徴量を検出する検出手段と、検出手段で検出した特徴量の度数分布を作成し、当該度数分布の極値を抽出する抽出手段と、抽出手段で抽出した度数分布の極値の時間変化に基づいて対象者の状態を推定する推定手段とを備えることを特徴とするものである。

このように本発明においては、対象者の状態に関する特徴量を検出し、その検出値の度数分布を作成し、当該度数分布の極値を抽出する。ここで、例えば対象者の意識（覚醒）状態が変化すると、対象者の意識状態に関する特徴量の度数分布が変化し、これに伴って当該度数分布の極値も変化するようになる。従って、意識状態に関する特徴量の度数分布の極値の時間変化から、対象者の意識状態を直接的に推定することができる。そこで、対象者の状態に関する特徴量の度数分布の極値の時間変化に基づいて対象者の状態を推定することにより、対象者の状態を判定するための閾値を設定する必要が無いため、閾値の設定誤りに起因した誤推定を防止することができる。これにより、対象者の意識状態等の推定を高精度に行うことが可能となる。

また、本発明は、車両に搭載された状態推定装置であって、運転者の状態に関する特徴量を検出する検出手段と、検出手段で検出した特徴量の度数分布を作成し、当該度数分布の極値を抽出する抽出手段と、抽出手段で抽出した度数分布の極値の時間変化に基づいて運転者の状態を推定する推定手段とを備えることを特徴とするものである。

このように本発明においては、運転者の状態に関する特徴量を検出し、その検出値の度数分布を作成し、当該度数分布の極値を抽出する。ここで、例えば運転者の意識（覚醒）状態が変化すると、運転者の意識状態に関する特徴量の度数分布が変化し、これに伴って当該度数分布の極値も変化するようになる。従って、意識状態に関する特徴量の度数分布の極値の時間変化から、運転者の意識状態を直接的に推定することができる。そこで、運転者の状態に関する特徴量の度数分布の極値の時間変化に基づいて運転者の状態を推定することにより、運転者の状態を判定するための閾値を設定する必要が無いため、閾値の設定誤りに起因した誤推定を防止することができる。これにより、運転者の意識状態等の推定を高精度に行うことが可能となる。

好ましくは、運転者の状態は、運転者の覚醒状態であり、検出手段は、運転者の状態に関する特徴量として運転者の開眼度を検出する。この場合には、運転者の開眼度の度数分布の極値を抽出し、この極値の時間変化に基づいて運転者の覚醒状態を推定することになるので、個人差の大きい開眼・閉眼を識別するための閾値を設定しなくて済む。

このとき、好ましくは、抽出手段は、開眼度の検出頻度の度数分布を作成する。運転者の意識が低下してくると、開眼度の高い状態の検出頻度が少なくなり、開眼度の低い状態の検出頻度が多くなる。そこで、開眼度の検出頻度の度数分布を作成し、当該度数分布の極値の時間変化を検出することにより、運転者の覚醒状態を確実に推定することができる。

また、抽出手段は、開眼度の検出継続時間の度数分布を作成してもよい。運転者の意識が低下してくると、開眼度の高い状態の検出継続時間が短くなり、開眼度の低い状態の検出継続時間が長くなる。そこで、開眼度の検出継続時間の度数分布を作成し、当該度数分布の極値の時間変化を検出することにより、運転者の覚醒状態を確実に推定することができる。

また、好ましくは、車両の走行状態を検出する手段を更に備え、抽出手段は、車両の走行状態毎に、検出手段で検出した特徴量の度数分布を作成する。車両の走行状態（例えば速度）が一定になるほど、運転者にとって運転の緊張感が継続せずに意識が低下してくる傾向にある。従って、運転者の覚醒状態の推定をより高精度に行うためには、車両の走行状態毎に度数分布の極値の時間変化を検出するのが好適である。

本発明によれば、対象者の状態の推定精度を向上させることができる。これにより、例えば居眠り運転を効果的に防止することが可能となる。

以下、本発明に係わる状態推定装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる状態推定装置の第１実施形態を示す概略構成図である。同図において、本実施形態の状態推定装置１は、自動車等の車両に搭載されている。状態推定装置１は、運転者の顔を撮像するカメラ２と、このカメラ２の撮像画像に基づいて、運転者の意識状態（覚醒度）を推定する推定処理ユニット３と、この推定処理ユニット３による推定結果に応じて警報を発する警報器４とを備えている。カメラ２は、運転者の片眼を含む部位のみを撮像するように構成されていても良いし（図２参照）、運転者の両眼を含む顔全体を撮像するように構成されていても良い。

推定処理ユニット３は、画像処理部５と、開眼・閉眼抽出部６と、意識状態推定部７とを有している。

画像処理部５は、カメラ２の撮像画像を画像処理し、運転者の開眼量（開眼度）を検出する。画像処理部５は、図２に示すように、運転者の眼における上まぶたと下まぶたとの間の最大長さＰを画素（ピクセル）数で表したものを、運転者の開眼量として検出する。画像処理部５は、例えば１００ｍｓ周期のタイミングで運転者の開眼量を連続的に検出する。画像処理部５により得られた検出データの一例を図３に示す。図３において、横軸が計測時間を示し、縦軸が開眼量の検出生値（開眼量検出値）を示している。

開眼・閉眼抽出部６は、画像処理部５により得られた検出データに基づいて運転者の開眼・閉眼状態を抽出する。開眼・閉眼抽出部６による処理手順の詳細を図４に示す。

同図において、まず画像処理部５により得られた開眼量検出値を順次取り込む（手順１０１）。そして、最新の所定時間分の開眼量検出値をメモリに記憶する（手順１０２）。このとき、検出周期毎に順次最新のデータに更新され、最も古いデータが消去される。

続いて、メモリに記憶されている所定時間分の開眼量検出値（画素数）を所定幅（ここでは１画素）毎に分類し、その分類された所定幅毎の各開眼量検出値の検出頻度を計数する（手順１０３）。続いて、所定幅毎の各開眼量検出値と検出頻度との関係を示す２軸の度数分布を作成し、その度数分布に対して包絡近似を行う（手順１０４）。

図５は、各開眼量検出値の検出頻度の度数分布の一例を示したものである。図５において、横軸が検出頻度（回数）を示し、縦軸が開眼量検出値を示している。また、図中の線Ｑは、棒グラフ状の度数分布に対して包絡近似を施して得られた包絡近似曲線を示している。

続いて、手順１０４で得られた包絡近似曲線の極大値（山の頂点）を抽出する（手順１０５）。例えば図５に示す包絡近似曲線Ｑでは、点ａ，ｂが極大値となる。

意識状態推定部７は、開眼・閉眼抽出部６で抽出された包絡近似曲線の極大値の時間変化に基づいて、運転者の意識状態を判定する。意識状態推定部７による処理手順の詳細を図６に示す。

同図において、まず所定時間分の開眼量検出値の記憶更新毎に得られた包絡近似曲線の極大値のデータを順次取り込む（手順１１１）。そして、時間経過による包絡近似曲線の極大値の変化具合から、運転者の意識が低下しているかどうか、つまり運転者が眠くなっているかどうかを判定する（手順１１２）。

具体的には、図７（ａ）に示すように、開眼量が大きいほうの分布（開眼分布）Ａの極大値ａの検出頻度が高く、開眼量が小さいほうの分布（閉眼分布）Ｂの極大値ｂの検出頻度が低くなるような傾向にある状況では、運転者の意識としては通常状態にあると判定する。なお、図７（ａ）に示すような閉眼分布Ｂが存在するのは、通常状態では運転者が眼の瞬きを頻繁に行うためである。一方、図７（ｂ）に示すように、開眼分布Ａの極大値ａの検出頻度が低く、閉眼分布Ｂの極大値ｂの検出頻度が高くなるような傾向にある状況では、運転者の意識が低下して眠くなっている状態にあると判定する。

そして、手順１１２で運転者の意識が低下したと判定されたときは、警報器４から警報を発生させるように警報器４を制御する（手順１１３）。

以上のように本実施形態においては、所定時間分の開眼量検出値を所定幅毎に分類し、その分類された各開眼量検出値の検出頻度の度数分布を作成し、その度数分布の包絡近似線の極大値を抽出し、包絡近似線の極大値の時間変化に基づいて運転者の意識状態を推定する。従って、特に開眼・閉眼を識別するための閾値を設定して二値化処理を行う必要が無いため、閾値の設定誤りによる意識状態の推定精度の悪化を防ぐことができる。また、瞬時に発生する瞬きを検出するために高速画像処理が可能な高価な開眼・閉眼センサ等を使用しなくても、運転者の意識状態を的確に推定することができる。これにより、運転者の意識状態の推定を高精度に且つ安価に行うことが可能となる。

上記第１実施形態では、所定幅毎に分類された各開眼量検出値の検出頻度の度数分布を作成し、この度数分布を用いて意識状態の推定を行ったが、各開眼量検出値の検出頻度の度数分布に代えて、各開眼量検出値の検出継続時間の度数分布を作成しても良い。以下、その変形例について説明する。

図８は、推定処理ユニット３の開眼・閉眼抽出部６による他の処理手順の詳細を示すフローチャートである。

同図において、まず図４に示す手順１０１，１０２を実行した後、メモリに記憶されている所定時間分の開眼量検出値（画素数）を所定幅（ここでは１画素）毎に分類し、その分類された所定幅毎の各開眼量検出値の検出継続時間を計測する（手順１０６）。開眼量検出値の検出継続時間は、例えば図９に示すように表される。これにより、時間経過による開眼量検出値の検出継続時間の変化状況が分かる。

続いて、分類された所定幅毎の各開眼量検出値と各開眼量検出値の検出継続時間とその検出継続時間の頻度との関係を示す３軸の度数分布を作成し、その度数分布に対して包絡近似を行う（手順１０７）。この時に得られる包絡近似曲線は、図１０に示すようなものとなる。そして、包絡近似曲線の極大値を抽出する（手順１０８）。

その後、意識状態推定部７において、上記のようにして得られた包絡近似曲線の極大値の時間変化に基づいて、運転者の意識状態を判定する。

具体的には、図１０に示す破線Ｒでは、開眼量が大きいほうの分布（開眼分布）Ａ_１の極大値ａ_１の検出継続時間が長く、且つその検出継続時間の頻度が高くなっており、開眼量が小さいほうの分布（閉眼分布）Ｂ_１の極大値ｂ_１の検出継続時間が短く、且つその検出継続時間の頻度が低くなっている。この状況では、運転者の意識としては通常状態にあると判定される。なお、閉眼分布Ｂ_１が存在するのは、通常状態では運転者が眼の瞬きを頻繁に行うためである。

一方、図１０に示す実線Ｓでは、開眼分布Ａ_２の極大値ａ_２の検出継続時間が短く、且つその検出継続時間の頻度が低くなっており、閉眼分布Ｂ_２の極大値ｂ_２の検出継続時間が長く、且つその検出継続時間の頻度が高くなっている。この状況では、運転者の意識が低下して眠くなっている状態にあると判定される。

従って、本変形実施形態においても、運転者の意識状態の推定を高精度に且つ安価に行うことができる。

図１１は、本発明に係わる状態推定装置の第２実施形態を示す概略構成図である。図中、上述した実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の状態推定装置１０は、上記の実施形態におけるカメラ２、推定処理ユニット３及び警報器４に加え、車両の走行速度を計測する車速センサ１１を備えている。推定処理ユニット３は、上記の実施形態における開眼・閉眼抽出部６及び意識状態推定部７に代えて、開眼・閉眼抽出部１２及び意識状態推定部１３を有している。

図１２は、開眼・閉眼抽出部１２による処理手順の詳細を示すフローチャートである。同図において、まず画像処理部５により得られた開眼量検出値と車速センサ１１の計測値（車速計測値）とを順次取り込む（手順１２１）。そして、最新の所定時間分の開眼量検出値を車速計測値と共にメモリに記憶する（手順１２２）。

続いて、メモリに記憶されている所定時間分の開眼量検出値を所定幅毎に分類し、その分類された所定幅毎の各開眼量検出値の検出頻度を計数する（手順１２３）。続いて、所定幅毎の各開眼量検出値と検出頻度との関係を示す２軸の度数分布を、予め区分けされた所定の車速範囲（例えば２０ｋｍ／ｈ）毎に作成し、車速範囲毎の各度数分布に対して包絡近似を行う（手順１２４）。そして、各車速範囲における包絡近似曲線の極大値を抽出する（手順１２５）。

図１３は、意識状態推定部１３による処理手順の詳細を示すフローチャートである。同図において、まず各車速範囲について所定時間分の開眼量検出値の記憶更新毎に得られた包絡近似曲線の極大値のデータを順次取り込む（手順１３１）。そして、各車速範囲について時間経過による包絡近似曲線の極大値の変化具合から、運転者の意識が低下したかどうかを判定する（手順１３２）。運転者の意識状態の判定手法は、図６に示す手順１１２（図７に示すもの）と同様である。運転者の意識が低下したと判定されたときは、警報器４から警報を発生させるように警報器４を制御する（手順１３３）。

ところで、車両の走行速度が一定でない場合には、運転者にとってはある程度の緊張感が保たれるので、意識の低下が起こりにくいが、例えば高速道路において車両の走行速度が一定である場合には、運転者にとって緊張感が保たれにくくなり、意識の低下が生じやすくなる。

本実施形態においては、所定幅毎に分類された各開眼量検出値の検出頻度の度数分布を予め分けられた車速範囲毎に作成し、各車速範囲において度数分布の包絡近似曲線の極大値を抽出し、同一車速範囲における包絡近似曲線の極大値の時間変化に基づいて運転者の意識状態を推定するので、運転者の意識状態の推定をより高精度に行うことができる。

なお、運転者の意識状態を推定するにあたっては、前述した第１実施形態の変形例と同様に、各開眼量検出値の検出頻度の度数分布の代わりに、各開眼量検出値の検出継続時間の度数分布を作成しても良い。以下、その変形例について説明する。

図１４は、開眼・閉眼抽出部１２による他の処理手順の詳細を示すフローチャートである。

同図において、まず上記の手順１２１，１２２を実行した後、メモリに記憶されている所定時間分の開眼量検出値を所定幅毎に分類し、その分類された所定幅毎の各開眼量検出値の検出継続時間を計測する（手順１２６）。続いて、所定幅毎の各開眼量検出値と各開眼量検出値の検出継続時間とその検出継続時間の頻度との関係を示す３軸の度数分布を、予め区分けされた所定の車速範囲（例えば２０ｋｍ／ｈ）毎に作成し、車速範囲毎の各度数分布に対して包絡近似を行う（手順１２７）。そして、各車速範囲における包絡近似曲線の極大値を抽出する（手順１２８）。

その後、意識状態推定部１３において、上記のようにして得られた同一車速範囲における包絡近似曲線の極大値の時間変化に基づいて、運転者の意識状態を判定する。この判定手法は、図１０に示すものと同様である。

このような本変形実施形態においても、運転者の意識状態の推定をより高精度に行うことができる。

また、上記の第２実施形態及びその変形例では、予め決められた車速範囲毎に度数分布を作成して、運転者の意識状態を推定するようにしたが、その車速以外の走行状態、例えば道路種別（例えば高速道路及び一般道路）若しくは道路曲率毎に度数分布を作成して、運転者の意識状態を推定しても良い。

以上、本発明に係わる状態推定装置の好適な実施形態について幾つか説明してきたが、本発明は上記実施形態に限定されるものではない。例えば上記実施形態は、運転者の意識状態（覚醒度）の推定を行うものであるが、本発明の状態推定装置は、運転者の感情や興奮度等といった状態の推定にも適用可能である。この場合には、運転者の状態に関する特徴量として、運転者の脈拍数や心拍数等を検出する。

また、上記実施形態は、推定処理ユニット３の推定結果が警報器４に送られるものであるが、本発明の状態推定装置は、各種運転システムの制御入力として使用することができる。

さらに、上記実施形態は、運転者の状態を推定するために車両に搭載されるものであるが、本発明の状態推定装置は、車載用以外にも適用可能である。

本発明に係わる状態推定装置の第１実施形態を示す概略構成図である。 図１に示した画像処理部により画像処理される部位の一例を示す図である。 図１に示した画像処理部により得られる検出データの一例を示すグラフである。 図１に示した開眼・閉眼抽出部による処理手順の詳細を示すフローチャートである。 図１に示した開眼・閉眼抽出部により得られる各開眼量検出値の検出頻度の度数分布及び包絡近似曲線の一例を示すグラフである。 図１に示した意識状態推定部による処理手順の詳細を示すフローチャートである。 図１に示した意識状態推定部により運転者の意識状態を判定する手法を示すグラフである。 図１に示した開眼・閉眼抽出部による他の処理手順の詳細を示すフローチャートである。 図１に示した開眼・閉眼抽出部により得られる開眼量検出値の検出継続時間の一例を示すグラフである。 図１に示した意識状態推定部により運転者の意識状態を判定する他の手法を示すグラフである。 本発明に係わる状態推定装置の第２実施形態を示す概略構成図である。 図１１に示した開眼・閉眼抽出部による処理手順の詳細を示すフローチャートである。 図１１に示した意識状態推定部による処理手順の詳細を示すフローチャートである。 図１１に示した開眼・閉眼抽出部による他の処理手順の詳細を示すフローチャートである。

符号の説明

１…状態推定装置、２…カメラ（検出手段）、３…推定処理ユニット、５…画像処理部（検出手段）、６…開眼・閉眼抽出部（抽出手段）、７…意識状態推定部（推定手段）、１０…状態推定装置、１１…車速センサ、１２…開眼・閉眼抽出部（抽出手段）、１３…意識状態推定部（推定手段）。

Claims (6)

1. 対象者の状態に関する特徴量を検出する検出手段と、
   前記検出手段で検出した前記特徴量の度数分布を作成し、当該度数分布の極値を抽出する抽出手段と、
   前記抽出手段で抽出した前記度数分布の極値の時間変化に基づいて前記対象者の状態を推定する推定手段とを備えることを特徴とする状態推定装置。
2. 車両に搭載された状態推定装置であって、
   運転者の状態に関する特徴量を検出する検出手段と、
   前記検出手段で検出した前記特徴量の度数分布を作成し、当該度数分布の極値を抽出する抽出手段と、
   前記抽出手段で抽出した前記度数分布の極値の時間変化に基づいて前記運転者の状態を推定する推定手段とを備えることを特徴とする状態推定装置。
3. 前記運転者の状態は、前記運転者の覚醒状態であり、
   前記検出手段は、前記運転者の状態に関する特徴量として前記運転者の開眼度を検出することを特徴とする請求項２記載の状態推定装置。
4. 前記抽出手段は、前記開眼度の検出頻度の度数分布を作成することを特徴とする請求項３記載の状態推定装置。
5. 前記抽出手段は、前記開眼度の検出継続時間の度数分布を作成することを特徴とする請求項３記載の状態推定装置。
6. 前記車両の走行状態を検出する手段を更に備え、
   前記抽出手段は、前記車両の走行状態毎に、前記検出手段で検出した前記特徴量の度数分布を作成することを特徴とする請求項２〜５のいずれか一項記載の状態推定装置。
   
   
   

Images