JP3836488B2 - 状態監視装置 - Google Patents

Description

本発明は、住空間、行動空間における人間や動物の被検体の行動を監視する状態監視装置に関する。

従来のユーザインターフェースでは、人間が意識的に起こす行動を認知し、その意図を反映した制御を行うことを目的とした設計されてきた。

例えば、目標とする物体を指さし、その指の方向を画像認識により検知するという、ポインティングに利用するといったもの（例えば、非特許文献１参照）等が挙げられる。

この場合、常に注意を装置に向けておく必要がある。例えば就寝時のように、意識して行動をしていない時、従来の方法では、人間の意図を伝えられない。このとき照明等をつけたままにして寝てしまった場合、照明を消してほしい、といった意図を伝えることはできない。

人間が意識しなくても、その人間の状態を認識して、機器の制御をする方法について考える必要がある。例えば就寝時の寝返り、あくび、まぶたの開閉などの人間の意識しない行動を検出し、その情報に基づいた機器の制御を行うためには、その人間の状態を的確に把握する必要性がある。

人間の状態判断を行うために、人間に特別な測定機器（例えば、脳波測定、血圧測定機器、データグローブ、データスーツ等）をつけて様々な測定を行い、その結果に基づいて、電気機器などを操作するといったものもある。しかし、このような機器を身体に装着することは人間にとっては煩雑、面倒であり、就寝時などの状態を容易に把握できないという問題がある。そのためには、画像情報を利用した状態の認識が適当と考えられる。

また、同様の働きをするものとしては各種の監視装置が知られており、画像情報を用いた情報の取得を行い、警報装置等と連動させてセキュリティに用いられている。しかしこれらは、人間の細かな動きを管理するのではなく、ドア付近での人の入退出管理などが行われているのが現状である。
福本雅朗、間瀬健二、末永康仁：「画像処理を用いた指示動作検出の実験システム」１９９１電子情報通信学会春季全国大会予稿集Ａ−２５１（１９９１））

上記したように、人間が意識しなくても、その人間の状態を認識して、機器の制御をする方法については、従来実現されていなかった。

そこで、本発明では、人間や動物の無意識な行動を検知し、その状態を認識する状態監視装置を提供する。

本発明は、人間を観測する画像入力手段と、前記画像入力手段によって観測した画像から人間の口の状態を検出する口検出手段とを有し、前記口検出手段は、前記画像入力手段によって観測した人間の口の画像から、その口の状態が閉じた状態、あくび状態または会話状態であるかを判断するものであって、前記観測した画像から唇部分を抽出し、上唇と下唇のモデルを前記抽出した唇部分の画像の大きさに合わせマッチングし、前記マッチングした画像における口全体の縦横の開口時の大きさを計測し、前記開閉の大きさの時間的変化を求め、前記時間的変化の微分を行って変曲点で時間を区切り、前記区切った時間系列中の分節の数と各分節の時間の長さを計測し、前記分節の数と前記各分節の時間の長さに基づいてあくび状態または会話状態であるかを判断することを特徴とする状態監視装置である。

本発明の状態監視装置は、人間の無意識に起こすあくびの行動を判定できる。

本発明の一実施例を図面に基づき説明する。本実施例では、被検体を人間とし、システムで監視する環境に一人の人間が存在するという設定で行っている。なお、「被検体」とは、人間及びライオン、象、犬等の動物をいう。

図１にシステム全体の構成を示す。

システムの装置は、検出部１、判断部２、制御部３の３つからなる。

検出部１は、室内または人間の状態を検出するためのものであり、その情報を判断部２に送る。

判断部２は、検出部１から受け取った情報に基づき人間の状態を判断する。

制御部３は、機器の制御を行うためのインターフェースを持ち、機器のコントロールを行う。

［検出部１］
まず、検出部１について図２を用いて説明する。

検出部１は、複数台のカメラ、マイク、温度、湿度センサを入力機器として持ち、これらの入力を処理する入力制御部１１とそれぞれの検出機能部１４，１５１６，１７、そして、各種のモデルデータベース１２で結果を統合し、判断部２への出力をまとめる結果収集部１３からなる。

検出部１の機能としては、姿勢検出機能、顔検出機能、目部分観測機能、口部分観測機能がある。

［姿勢検出機能部１４］
姿勢検出機能部１４は、複数台のカメラによって撮影された画像中に存在する人間の姿勢を検出するものである。図３を用いて説明する。

動画像（時系列画像）の差分画像を求めることによって、動いた物体の絞り込みを行う。

まず、画像メモリ２１に蓄えられた画像から差分画像生成部２２によって差分画像を生成する。

その動物体の領域に対してラベリング部２３で、ラベリングを行う。

それぞれのラベリングされた領域に対して、原画像から新たにエッジ抽出部２４で、エッジ抽出を行う。

得られたエッジ画像から、輪郭情報生成部２５により、輪郭情報を求め、モデルデータベース２６に蓄えられた図４(a) ，(b) のような、３次元モデルを用いて、モデル照合部２７によりマッチングを行い、姿勢を判定する。

人間がどのような動作をしたかを定量化することができれば、その評価関数の値を用いて、動作の判定が可能となる。

本実施例では、次のような評価関数を定義し、評価関数計算部２８で計算する。そして、この結果が姿勢の動きの定量化した動作値となる。

手、足、首などの動作、体軸方向の回転、腰の曲げ等のそれぞれの関節等の曲げ角は、３次元空間中での角度を表すのではなく、２次元平面（画像）上に投影された時の角度とし、図４(b) と(c) の差を取り、(d) のようにθｘ（ｘは注視する関節数１〜ｎ）とする。また、それぞれの重み係数をｗｘとするとき、その評価関数ｆは

と定義できる。

なお、この重み定数は実験等によって、予め求められているとする。上に挙げた評価関数は体全体の動きの評価関数である。

例えば、右腕のみの動作を評価する関数として、

のように定義でき、個別の関節の動きをそれぞれ監視するのではなく、その評価関数の定量化した動作値を持って肢体の動作判定を行う。

［顔検出機能部１５］
顔検出機能部１５について述べる。顔検出機能は人間の顔を検出し、人間が向いている方向を推定する機能で、図５に示す。

先に述べた姿勢検出によって、取得した画像のどの辺りに顔が存在するかを仮定することができる。

画像メモリ３１に蓄えられた画像から、姿勢検出機能部１４で検出された姿勢から頭部を推定し顔部分推定切出部３２で部分画像を生成する。

その部分画像に対して、色相彩度画像生成部３３では、色相、彩度画像を作成し、肌色領域を検出する。

検出した領域が顔であるかどうかを判定するためにモデルデータベース３４に蓄えられた顔モデルに基いて顔部分抽出部３５でマッチングを行う。

次に、その結果から顔部品抽出部３６で顔の部品の検索を行う。

目や口といった特徴のある部品の抽出を行った後、それぞれの部品が存在する顔領域に対する相対的な存在位置から、顔の向き判定部３７で、人間の対軸方向に対して何度向いているか、また室内のどの方向を向いているかなど、顔の向いている方向の推定を行う。

例えば、顔の縦方向の回転をθｘ、顔の横方向の回転をθｙとし、重み係数をそれぞれｗｘ，ｗｙとすると、評価関数ｆは、

ｆ＝ｗｘ・θｘ＋ｗｙ・θｙ

となる。

そして、この評価関数の定量化した動作値を持って顔の動作判定を行う。

ここで、暗い室内の場合について述べる。

本実施例では、赤外線カメラを使う方法を取る。すなわち、色情報は利用できない。よって形状情報、輝度情報を利用した検出を行う。これらの処理をすべての観測カメラ、すなわち、それぞれのカメラ板から投影した画像から推定を行い、それらの推定結果をまとめて一つの結果を算出する。

［目部分観測機能部１６］
目部分観測機能部１６は、人間が目を開けている、閉じているといった情報や、睡眠状態における眼球運動を観測する機能で、図６に示す。

顔検出機能部１５によって、目の位置はわかっており、画像メモリ４１の画像から、目部分検出部４２で、目の部分を含むようにトリミングした矩形の部分画像を作成する。

部分画像中では、必ず目の部分が矩形に対して平行になっているとは限らないので、後処理のために回転画像生成部４３によって、画像を回転させる。

その画像に対し、瞳検出部４４では、瞳（虹彩と瞳孔）と白眼のモデルによって検出を行う。

これに失敗する場合として、（１）部分画像の生成時に失敗していること、すなわち目の部分が画像内に存在しない場合、（２）目を閉じている場合である。

（１） 何か別のものに隠されており検出できない場合がある。再抽出を試みて、取得が不可能な場合、さらに別の視点から抽出を行い、どこからも取得が不可能な場合は処理を中止する。この時、検出モジュールでは別の物体によって「隠されている」と判定する。

（２） 目を閉じている場合については、目をつぶった状態では目を閉じた時にできるまぶたの線を抽出することによって目を閉じているかどうかを判定する。まぶたの線の検出は、まぶた検出部４５で検出する。目を閉じている場合まぶたの線は、顔の表面色に比べると輝度が低く観測され、比較的安定して画像上のエッジとして検出される。

図７に基づいて説明する。

ステップａ１において、画像からエッジ検出を行う。

ステップａ２において、２値化を行う。

ステップａ３において、そのエッジ画像から、ハフ変換(H.K.Yuen, J.Illingworth, J.Kittler,“Ellipse detection using the Hough Transform ”, Alvey Vision Conference, Manchester, (1988))などを用いた円弧の抽出を行う。

ステップａ４において、円弧の位置、組合せ検出から複数の候補として抽出された円弧の組合せ、相対的な位置関係を考慮し、まぶたを検出する。

次に、睡眠状態について次のことを考える。

睡眠中に眼球が急速に動く現象であるＲＥＭ(Rapid Eye Movement)を起こす睡眠状態をレム睡眠と呼ぶ。この状態は浅い眠りの状態であるということが知られている。これらの睡眠の状態検出を行うために、まぶた痙攣検出を画像情報を用いて取得する方法について図８(a)(b)(c) に基づいて述べる。

眼球運動検出部４６では、人間を撮影した時系列画像から図８(a) のような処理を行う。

図８(a) のステップｂ１において、目の回りの部分画像（図８(b) ）に対しての差分画像を生成する。

目の部分の差分画像が細かく変化している場合は眼球運動と判断する。

図８(a) のステップｂ２において、その差分画像の各画素値から評価関数ｍを図８(c) のようにまぶたの部分（肌色領域Ｈ）とまぶたの線（低輝度領域Ｌ）の部分があるため、

（Ｉｉは部分画像中のある画素値）のように設定する。

図８(a) のステップｂ３，４において、閾値以上の変化が数十秒間認められた場合、眼球運動があると判断する。各重み定数（ｗ２，ｗ２）また閾値については、多くのサンプルから実験によって求めるものとする。各検出結果は結果を結果統合部４７に送り、その結果をまとめる。

［口部分観測機能部１７］
口部分観測機能部１７は、人間が会話している状態か、そうでないか、また、
あくびをしたかどうかを観測する機能である。

ここでは、口を開けているかどうかの判定が必要となるので、図９(a)(b)(c) に基づいて説明する。

図９(a) のステップｃ１において、まず口を探すために、位置情報、色情報を用いることによって、口の部分を探索し、目部分観測機能部１６と同様に、矩形に切り取り部分画像を生成する。本実施例では図９(b) のような、唇の形状モデルとの照合を行う。

図９(a) のステップｃ２において、明度情報などから唇部分の抽出、２値化を行う。

図９(a) のステップｃ３において、上唇、下唇のモデルを２値化した画像の大きさに合わせ、モデルをマッチングする。

図９(a) のステップｃ４において、図９(c) のように、口全体の縦横、開口時の大きさを計測する。

次に、会話、あくびの検出について図１０(a)(b)(c) に基づいて説明する。

会話の場合、時間的な軸での変化を考えた場合、口の開閉の変化が大きい。

また、あくびは、初めに緩やかな長い呼吸を行うために、大きく口を開け、次にしばらく開けた状態が続き、そして閉める。

このような図１０(a) で示されるような「会話モデル」「あくびモデル」を用意し、時間的な変化系列をパターンとして認識する方法を図１０(b) に示す。

図１０(b) のステップｄ１において、図１０(a) に示すような口形状の変化を表すグラフを生成する。

図１０(b) のステップｄ２において、それを図１０(c) に示すように、曲線の微分を行い、変曲点で時間を区切り、一次元のパターンに投影する。

図１０(b) のステップｄ３において、一定区間内での変化の系列を次のように識別する。区切った時間系列（ｔ_ｓｅｐ ）中に、いくつ分節が存在するか（上の例１６、下の例３）各分節の時間の長さ等のパターンマッチングを行い、判定する。

［判断部２］
次に、図１の判断部２について、図１１で説明する。

判断部２は、検出部１から受けとった情報に基づいて、機器をどのように制御すればよいか、また、どのような指示を人間に与えるかを決定し、状態統合判断機能、制御指示機能、会話機能を有する。

［状態統合判断機能部５０］
状態統合判断機能部５０は、検出位置から得られる各種情報の識別、履歴、統合を行い、各種の指示を出すための中枢機能を司る。

まず、人間に対する状態について次のような幾つかの状態を設定する。

・活動状態（起きている状態）
静止状態（テレビ等を見ている、本を読んでいる等）
会話状態（話しをしている）
運動状態（歩行等も含む）
・就眠状態（寝ている状態）
入眠状態（いまにも眠たそうな状態）
睡眠状態（普通に目をつむって寝ている状態）
熟睡状態（少々のことでは起きない状態）
ＲＥＭ睡眠状態（眼球運動が観測される睡眠状態）
目覚状態（起きてから数分までの状態）
観測情報受取部５１では、各検出機能から得られた情報を受け、それぞれの情報を数段階の度合に変換する。姿勢については細かい動きを行う場合が多いため、動きがないとするものは設けていない。よって、それぞれの状態において、注視する動作を変える必要がある。

判断決定部５２では、表１のようなテーブルを状態情報データベース管理部５３より参照し、状態を決定する。

ここで、テーブルを用いた方法では、検出装置の失敗などによっていずれの状態にも識別できない場合について述べる。例えば、顔の検出ができない場合、眠
っているかどうかを判定することが困難となる。これを補助するものとして、姿
勢の変化の度合いから、動きが少ない場合には「寝ている」と判断する。

あくびの場合、通常人間は手で口を覆い隠す。この場合は図１２に示すように、口形状の認識のみでは失敗する。よって、前述した腕の動きの評価関数等と組み合わせた統合的な判断が必要となる。

判断決定部５２は、制御装置へどのような指示を出すかを決め、制御情報データベース管理部５４に登録されているデータに基づき、制御装置への指示を送る。このとき、制御する機器の状態も管理し、無駄な制御（例えば、照明が消えているのに消そうとしない等）をしない等や、エアコンの温度調整の必要性の有無等を行う。

制御情報データベース管理部５４には次のようなデータを登録されている。

活動状態時に対する処理をまとめる。

状態が判定された場合、次のような環境に設定する。入退室時、すなわち室内での人間の存在の有無を確かめた後、室内照明の入切、その他のテレビ等の器具の電源の入切を行う。移動の方向によっては、移動した場所（ホテルの室内等ではユニットバス等）の照明の入切を行う。また判断装置はあくびの回数をカウントし、履歴を保存する。時間的な頻度を観測し、多くなってきた場合には、就寝を促すメッセージを流す。

睡眠状態時に対する処理をまとめる。

入眠時には、テレビの電源切、オーディオの音量調節や電源の切、照明の入切を行う。就眠時には主にエアコンの温度風向調節を行う。起床時はテレビの電源入、オーディオの音量調節や電源の入、照明の入切を行う。また、起床時間をユーザによって設定するが、本装置では必ずしも、その時間通りには起こさない。設定時間よりも早い時点で、ＲＥＭ睡眠のように睡眠が浅いと判断できる場合、そちらの方が「目覚めがよい」と判断して起床を促す。

［会話機能部５５］
会話機能部５５は、会話認識モジュール５６と音声合成警報モジュール５７を有し、ユーザとのインターフェースとして働き、ユーザからの機能選択の受付、
また、ユーザへの指示を行うための機能である。例えば、目覚しの時刻設定、人
間からの機器制御の指示を受ける。システムからは人間に対する指示（あくびが多い時に「寝た方がよい」等）、起床時、挨拶等を行う。

［制御部３］
図１の制御部３は、機器制御を行う機能を持ち、図１３に示す。

指示選択部６１では、判断部２からの制御機器情報を選別し、指示変換部６２に送る。指示変換部６２は、制御指示を具体的な操作（スイッチを入れる電気信号等）へ変換する。各種の電気製品の赤外線リモートコントロールを行うための送信機能６３や照明器具のように直接電源のＯＮ／ＯＦＦを行うための附属装置６４を取付けることによるスイッチング機能を持つ。これらは現在の室内設備に対して容易に対応可能であることを特徴とする。

なお、本発明は上述した実施例に限定されるものではない。

(1) 姿勢検出機能部１４の変形例
姿勢検出機能部１４により複雑な動作を扱うために次のことが考えられる。

最近のＣＧの研究では、人物のモデルを動かすために人間の動作を記述するための言語処理系を構築し、その言語を用いて動作系列の生成を行っている。この記述系を表現形式として、画像から得られた特徴量からこのような言語へと変換する方法を考え、その言語を用いた構文的なマッチング方法をとる。

(2) 口部分観測機能部１７の変形例
口部分観測機能部１７において、エネルギー最小化原理に基づいた、動的な輪郭抽出法であるスネーク（M. Kass, A. Witkin, D. Terzopouls,“Snakes: Active Contour Models ”, In Proc. 1st Int. Conf. on Computer Vision, pp.259-268(1987)）を利用することが考えられる。スネークによって唇の輪郭形状を抽出し、追跡することによって形状情報を得る。

(3) 顔検出機能部１５等の変形例
顔検出機能部１５等の色情報を利用するモジュールについては、暗くなった場合、赤外線カメラを利用する方法を述べたが、人間が寝ている場合、数秒間だけ
照明をつけ、撮影することによって、より確実な情報を得るという変形例も挙げ
られる。

(4) 判断部２の変形例
判断部２の変形例を図１４(a) に挙げる。

人間だけでなく物体認識部７１を採り入れ、布団、服装等の認識を行い、温度調節等に対する有益な情報を得るように拡張することが挙げられる。

音声認識部７２を付け加えることにより、会話状態や就寝時のいびき等の状態を監視するために用いられ、画像情報によって得られた情報を補助するために使う。例えば、画像情報として会話をしているかどうか、不確かな場合、音声情報を組み合わせることによって判断が可能になる。

各認識モジュールが情報の取得に失敗した場合、失敗することによって新たな情報が得られる場合がある。

例えば、姿勢検出が失敗する例としては、図１４(b) のように、睡眠中に布団を掛けている場合では、体全体が見えなくなってしまうため、うまく画像から姿勢が取得できない。しかし、時間が経ち、暑さのために布団を外した場合は、これまで失敗していた姿勢の取得が可能になる。ここで、判断装置は「暑い、寝づらい」等と判断することができ、時間的な観測結果の変化を考慮することで、状態の判定が可能となる。

このような、失敗に基づく推論を採り入れたモジュール７３を採り入れる。このモジュール７３の構成は、図１４(c) に図示する。すなわち、失敗例データベース８２，マッチング部８３，履歴蓄積部７１とよりなる。

また、制御情報についても、ある方向をずっと見ているという情報が取得可能であるため、テレビの方向をずっと見るだけで、電源を入れる等の操作拡張を、データベースの拡張によって可能である。

(5) 本実施例では、人間の就寝時の場面を想定したものであるが、「あくび」「まばたき」といった無意識な行動の検出とそれに伴う機器の制御については、他の場面においても有効である。

例えば、次のような通常の行動時におこる無意識な行動の検出を行うような変形例も考えられる。

劇場や会場の観客個々について、あくび、まばたき等の回数、会話の頻度を調べることにより、観客全体の状態判断を行い、照明、空調等を制御するといったもの。

会議の出席者の状態として、あくび、まばたきの回数等を記録することによって、出席者の集中度を把握するといったもの。

ＶＤＴ作業者のまばたき等の回数を記録し、疲労度を判断し注意を促すといったもの。

この際、姿勢検出機能の変形例として、顔の向き、首の動き、手足の動き等を検出することにより、「腰に手をやる」「肩を叩く」「伸びをする」「首のコリをほぐす」といった無意識的な身体の動きを検出することが考えられる。これらの動作は、同じ動作を繰り返し行うことを特徴としており、それぞれの動作の大きさ、回数等記録しておくことにより、人間の状態を把握できるようになる。

(6) 上記実施例では、被検体を人間としたが、これに代えてライオンや象などの動物を被検体としてシステムを用いてもよい。この場合には、例えば、動物園の檻の中にいる動物の監視に使用することができ、この動物が就寝中か、起床状態にあるかを判断できて、飼育係の仕事の負担を軽減できる。また、サファリパークにおいても。本システムを使用して動物の監視を行うことができる。

以上、本発明はその趣旨を逸脱しない範囲で種々変形して実施することが可能である。

システムのブロック図である。 検出部のブロック図である。 姿勢検出機能部のブロック図である。 姿勢モデルの説明図である。 顔検出機能部のブロック図である。 目部分観測機能部のブロック図である。 まぶた検出のフローチャートである。 ＲＥＭ睡眠検出のフローチャートと説明図である。 口検出のフローチャートと説明図である。 口形状の時間的推移モデルと検出のフローチャートと説明図である。 判断部のブロック図である。 あくびの統合判断の例を示す図である。 制御部のブロック図である。 判断部の変形例のブロック図である。

符号の説明

１ 検出部
２ 判断部
３ 制御部

Claims (2)

1. 人間を観測する画像入力手段と、前記画像入力手段によって観測した画像から人間の口の状態を検出する口検出手段とを有し、
   前記口検出手段は、
   前記画像入力手段によって観測した人間の口の画像から、その口の状態が閉じた状態、あくび状態または会話状態であるかを判断するものであって、
   前記観測した画像から唇部分を抽出し、
   上唇と下唇のモデルを前記抽出した唇部分の画像の大きさに合わせマッチングし、
   前記マッチングした画像における口全体の縦横の開口時の大きさを計測し、
   前記開閉の大きさの時間的変化を求め、
   前記時間的変化の微分を行って変曲点で時間を区切り、
   前記区切った時間系列中の分節の数と各分節の時間の長さを計測し、
   前記分節の数と前記各分節の時間の長さに基づいてあくび状態または会話状態であるかを判断する
   ことを特徴とする状態監視装置。
2. 人間を観測する画像入力装置を有し、前記画像入力装置によって観測した画像から人間の口の状態をコンピュータによって検出する口検出ステップを有し、
   前記口検出ステップは、
   前記観測した人間の口の画像から、その口の状態が閉じた状態、あくび状態または会話状態であるかを判断するものであって、
   前記観測した画像から唇部分を抽出し、
   上唇と下唇のモデルを前記抽出した唇部分の画像の大きさに合わせマッチングし、
   前記マッチングした画像における口全体の縦横の開口時の大きさを計測し、
   前記開閉の大きさの時間的変化を求め、
   前記時間的変化の微分を行って変曲点で時間を区切り、
   前記区切った時間系列中の分節の数と各分節の時間の長さを計測し、
   前記分節の数と前記各分節の時間の長さに基づいてあくび状態または会話状態であるかを判断する
   ことを特徴とする状態監視方法。

Images