JP4808420B2 - 目の検出を利用した電子装置の制御および電力管理 - Google Patents

Description

本発明は制御装置に関し、詳しくは装置に対する電源供給を人の目の有無や目の動きを検出することにより制御する制御装置に関する。

人が見ているときにしか有用性を得られない種々の異なるタイプの電子装置がある。そうしたタイプの装置には、テレビ、コンピュータのモニタ、ラップトップディスプレイ、携帯電話や携帯情報端末のディスプレイ、タブレットコンピュータのディスプレイなどがある。

人の役に立つ視覚的な画像を表示する電子装置の中には、プラズマスクリーンテレビのように、大量の電力を必要とするものがある。もっと高いエネルギ効率で視覚的な画像を表示する装置もあるが、そうした装置は少なくとも１つのバッテリを使用する必要がある。バッテリは一般に充電することができるが、バッテリの充電はユーザにとって不都合なことが多い。装置によっては、エネルギに制限のあるエネルギの貴重な環境で動作するものもある。したがって、消費電力の縮小は製品の重要な機能である。

電子装置の動作をその動作が有用であるときだけに制限することによって得られる利点は、消費電力の対策以外にもある。そうした利点の１つは、装置の有効寿命が延びることである。プラズマスクリーンテレビのように使用時間に関する有効寿命を有する電子装置は、装置の使用を適切に制限することにより、長い目で見ればその装置の価値を増加させることができる。これは、光源などの視覚的表示装置を備えていない安価な装置にも当てはまる。すなわち、オーブンやクローゼットなどの庫内灯は、オーブンの窓やクローゼットの中を人が覗き込んだときにだけオンにすれば、その有効寿命が延びると思われる。

装置を適当なタイミングで自動的に「オン」または「オフ」する方法は、幾つかある。１つの既知の技術は、コンピュータシステムの入力デバイスの動きをモニタリングすることである。すなわち、キーボードやコンピュータマウスに長い時間動きが無い場合、コンピュータシステムは低電力状態に切替えることができる。その後、コンピュータシステムのユーザがマウスを動かしたり、キーを打ち始めたりすると、システムは完全な動作状態に戻される。多くのテレビは、所定時間が経過したときにテレビを自動的にオフにする「スリープ」タイマを備えている。装置の状態を自動的に変更する種々の既知の技術は、意図された目的については良好に機能するが、制限も有している。

電子装置の動作パラメタの中には、装置に触れることなく調節できるパラメタもある。例えばテレビのボリュームやチャンネルは、リモートコントロールユニットを用いて変更することができる。リモートコントロールユニットは、装置の動作パラメタを繰り返し調節するのに非常に便利である。ただし、リモートコントロールユニットを置き忘れた場合などのように、リモートコントロールユニットを直ぐに使用できない場合もある。特許文献１は、目の動きを利用して装置と通信するシステムおよび方法を開示している。光を目に向けて放射する放射器と、目から反射された光を検出するセンサとを有する特別な眼鏡を装着する。そして、無線周波数送信器から装置制御用の受信処理ユニットのような遠隔の場所へデータストリームを送信する。データストリームにはモールス符号のような２値信号が使用される。特許文献１には、そのようなセンサとして眼鏡のフレームに接続された一個の光電池を使用することが記載されており、光電池はセンサアレイで置き換えることもでき、その場合、各センサからの信号をプロセッサで受信し、まぶたで覆われた目の表面積の割合を示すデータストリームをプロセッサで生成するということが記載されている。特許文献１に記載のシステムおよび方法は、従来のリモートコントロールユニットの使用に比べて利点があるものの、信頼性の高い情報を得るためには、光学部品を目の近くに配置しなければならない。

米国特許第６，１６３，２８１号明細書

従って、本発明の目的の１つは、撮像装置および目の検出処理装置を用いて装置の動作パラメタをハンズフリーで制御する制御システムを提供することである。本発明の他の目的は、目の有無の単なる検出、または目の特定の動きの検出、あるいはそれら両方を利用した制御方法を提供することである。

一実施形態において、目の検出処理装置の出力は、装置を少なくとも２つの電力消費状態間で切替えることが可能なコントローラに接続される。コントローラは、タイミングの考慮と目の検出の考慮の両方を含む条件付き応答として、ある電力消費状態から別の電力消費状態への切替を実行するように構成される。実行される第１の条件付応答としては、例えば、目が検出されることなく第１の時間が経過したときに装置を電源オン状態から低電力消費状態へ切り替えるという応答が可能である。第２の条件付き応答としては、装置が低電力消費状態のときに目が検出された場合、制御システムがその装置を電源オン状態に切り替えるという応答が可能である。その場合、目の有無だけを考慮し、人が見つめている角度（すなわち、視線）は考慮しない。表示装置を備えたテレビその他の電子装置は、電源オン状態、スリープ状態およびオフ状態のように、３以上の電力消費状態を有する場合がある。その場合コントローラは、タイミングの考慮と目の検出の考慮との組合せに基づく、１以上の自動応答をさらに実行するようにプログラミングされる場合がある。

他の実施形態では、第１の光源および第２の光源を用いて、目の動きおよび／または目の存在に関する信頼性の高い情報を得る。ただし、第１の光源は、第２の光源の照明角よりも実質的に小さい第１の照明角で光を放射するように配置される。本明細書で使用される「照明角」とは、撮像装置の軸に対する放射光の軸の角度である。２つの光源の照明角が異なれば、それらの光が人の目で反射された後に形成される画像には、検出可能な違いが現れる。本制御システムは、撮像装置、２つの光源、およびコントローラの他に、「アイ・コマンド」を記憶する記憶装置をさらに含む場合がある。アイ・コマンドは、所定のまばたきパターンと、制御対象装置の動作パラメタを変更するコマンドとの間の関係である。アイ・コマンドによって変更できる動作パラメタには、例えば装置の電力消費状態、および／または、テレビその他の映像表示システムのボリュームやチャンネルなどがある。

第３の実施形態において本制御システムは、フレーム間比較により、撮像装置の視野内に目が存在するか否かかに関する信頼性の高い情報を得る。第１の画像データフレームおよび第２の画像データフレームを生成し、それらを用いて差分画像フレームを形成する。２つのフレームを選択して差分画像フレームを生成する技術は、２つのフレーム間に違いがあるときに有用な目の検出データが得られるように設計される。応用形態として、２つのフレームを形成する技術は、２つのフレームが形成されたときに点灯された光源によって２つのフレームを区別するものであってもよい。例えば、第１のフレームを生成するときに第１の光源を点灯させ、第２のフレームを生成するときに第２の光源を点灯させる。２つの光源は、照明角、偏光、変調特性、波長のうちの１以上によって区別される。２つのフレームは、時間的に区別することもできる。たとえば、第１の光源と第２の光源を交互に点灯させ、第１のフレーム取得と第２のフレーム取得との間で交互に切替える。あるいは２つのフレームは、二次元画素アレイの画素によって空間的に区別されるものであってもよい。画素をその光学特性や、画素をサンプリングする電気技術によって区別できれば（レンズや画素自体の物理的違いを利用して）、２つのフレームを区別することができる。

図１は、人の目を照らすための検出光源（複数の場合もあり）１２を含む本発明の一実施形態による制御システム１０を示す。本発明の多くの用途において、人に対するシステムの影響は最小限に抑えることが望ましい。例えば、本システムをテレビの電力消費その他の動作パラメタ（例えばボリュームやチャンネル）の調節に使用する場合、目の検出はテレビを見ている者にとって分からないように実施することが好ましい。そのため、各光源は、可視光スペクトルの範囲外の光を放射するものにする場合がある。後で詳しく説明するように、赤外線や近赤外線の光は人の目の瞳孔の検出に適している。実施形態によっては、検出光源１２は省略される場合もある。例えば、システムが専用の光源を備えていなくても検出対象物（人の目）から検出周波数の光が十分に反射または生成される場合、本システムは検出光源１２を省略してもよい。一方、光源が様々な照射角、波長、偏光、および／または、変調特性で光を照射する場合のように、実施形態によっては、性能を最大にするために複数の光源を必要とする場合もある。

制御システム１０は撮像装置１６をさらに含む。撮像装置１６は、目標位置内にある人の目（複数の場合もあり）１４から、制御対象装置１８の動きに関連する光を受信するように配置される。制御対象装置１８は、電力管理を目的とした装置であってもよい。代替または追加として、他の動作を自動的に変更することもできる。電力管理のためには、特定時刻または特定時間内に目が検出されたか否かに応じて（見つめている角度は考慮しない）、装置または装置のコンポーネントを少なくとも２つの電力消費状態の間で切替える。制御対象装置は、電力消費状態を２つしか有しないものであってもよい。例えば、オーブン内のライトは、オーブンの中を眺める位置に人が居るか否かに応じて点灯または消灯させる場合がある。他の例として、テレビその他の映像表示装置は、３つの電力消費状態の間で切り替えされる場合がある。すなわち電源オン状態、スリープ状態、およびオフ状態である。

制御システム１０のユーザは、「受動入力」と「能動入力」を行なうことができる。受動入力の場合、システムは目の有無を単にモニタし、それに応じて少なくとも１つの動作パラメタを変更する。例えば、人が部屋から出た場合や、人が目を所定時間（例えば５分間）のあいだ閉じていた場合、テレビを「オフ」に切替えることができる。あるいは、他の時間内に目が検出されなかった場合、コンピュータシステムのモニタをスリープ状態に切替えることができる。そして目が検出されると、制御対象装置１８は電源オン状態に戻される。能動入力の場合、システムは目の動きをモニタし、特定のコマンドに関連付けられたまばたきパターンを検出して、動作パラメタを変更する。したがって、障害者はまばたきパターンを利用して、車椅子その他の装置を制御することができる。

撮像装置１６には、例えば電荷結合素子（ＣＣＤ）を使用することができる。二次元素子アレイ内の各画素は、その画素で受信した光の強度に応じた信号を生成する。これは当業界でよく知られている。あるいは撮像装置には、相補型金属酸化膜半導体（ＣＭＯＳ）撮像装置を使用することもできる。一般に、ＣＭＯＳ撮像装置はＣＣＤ検出装置ほど高価ではなく、赤外線／近赤外線の波長で比較的高い感度を有するものが多い。本発明は、どちらのタイプの撮像装置であっても良好に機能する。さらに、他のタイプの撮像装置を使用することもできる。

検出光源（複数の場合もあり）１２および撮像装置１６は目の検出処理装置２０に接続される。目の検出処理装置２０は、制御システム１０に専用のものであってもよいし、あるいは、制御対象装置１８の回路を用いて実行されるシステム専用ソフトウェアのような共用処理装置であってもよい。米国特許出願第１０／３７７，６８７号に記載の方法と同じ方法により、ハードウェアコンポーネントとソフトウェアコンポーネントとを協働させることもできる。米国特許出願第１０／３７７，６８７号は、２００３年２月２８日に出願された「Apparatus and Method for Detecting Pupils」と題するＨａｖｅｎ他による特許出願であり、本発明の譲受人に譲渡されている。本発明の実施に関係する同じ譲受人の他の特許出願としては、２００３年１２月１８日に出願された「Method and System for Wavelength-Dependent Imaging and Detection Using a Hybrid Filter」と題するＦｏｕｑｕｅｔ他による米国特許出願第１０／７３９，８３１号がある。さらに本発明に関係する特許として、Ｇｒａｃｅ他に付与された「Apparatus and method of monitoring a subject's eyes using two different wavelengths of light 」と題する米国特許第６，０８２，８５８号がある。これら２つの特許文献に開示された方法を用いると、自動車の運転手の警戒態勢をモニタすることができる。

図１において、撮像装置１６は画像情報のフレームを形成し、目の検出処理装置２０はそれらのフレームを処理して目１４を撮像装置の視野内にある他の形状から区別する。画像情報の２つのフレームをもとにして差分画像を生成することにより、信頼性が向上することが分かっている。この信頼性の高い実施形態では、一方の画像が、検出装置の軸の近く又はちょうど軸上に配置された照明を用いて取得され（「軸上撮像」）、他方の画像が、検出装置に対してもっと大きな角度を有する照明を用いて取得される（「軸外撮像」）。対象者の目が開いていれば、２枚の画像間の差分画像において瞳孔が強調される。これは、網膜からの幾らか拡散された反射が、軸上撮像の方からしか検出されないからである。従来のフラッシュ撮影では、軸上撮像の際に現れる強い瞳孔信号のことを「赤目」と呼んでいる。それ以外の顔の特徴や周囲の形状はほぼ除去され、瞳孔だけが主な特徴として差分画像に残る。差分画像中に瞳孔が検出されなければ、撮影対象領域内に人が存在しないか、または、制御対象装置１８を継続的に動作させようとしている人が居ないもの（例えば制御対象であるテレビと同じ部屋で人が寝ている場合など）と推定される。ただし、目１４を区別する方法は、他の方法で代用してもよい。

図示のように、検出処理装置２０はタイマ２２にも接続される。このタイマは、目の検出処理装置２０が時間による判定を実施できるものであれば、いかなる既知の手段であってもよい。例えば、制御対象装置１８がプラズマテレビである場合、第１の所定時間（たとえば５分間）テレビが見られていなかったという判定に応じて、テレビを電源オン状態からスリープ状態へ切替え、スリープ状態に切替えてから第２の時間（たとえば１０分間）が経過したことに応じて、スリープ状態からオフ状態へ切替える場合がある。ただし、テレビがスリープ状態であるときに目１４が検出されると、テレビは完全に動作する電源オン状態に戻される。

制御システム１０の判定時間（タイミング）およびその他の態様は、ユーザが設定できるようにしてもよい。ユーザ入力装置２４を使用すると、それらを個別に設定することができる。プラズマテレビを制御する場合、ユーザ入力装置として従来のリモートコントロール装置を用いることもできる。リモートコントロール装置を用いると、所有者は、種々の設定のうちの任意の設定を変更することができる。他の例としては、制御対象装置１８がコンピュータシステムやコンピュータシステムのコンポーネントである場合、ユーザ入力装置はコンピュータマウスやキーボードであってもよい。

他の機能として、切替え発生の履歴などの要因を考慮するアルゴリズムを実行することにより、判定時間（タイミング）が自動的に調節されるようにしてもよい。例えば、第１の所定時間よりもわずかに長い時間にわたって人が部屋に繰り返し出入りするような場合（すなわち、制御対象装置１８の電力消費状態が２つの電力消費状態の間を不必要に循環するような場合）、適応型アルゴリズムを使用すれば、第１の所定時間を自動的に増加させることができる。

目の検出処理装置２０を用いると、人による能動制御が可能になる。例えば、目１４の複数の不自然なまばたきパターンを制御対象装置１８の制御コマンドに関連付ける。そして、４回のすばやいまばたきによって、制御対象装置の「オン」と「オフ」を切替える。さらに、ボリューム制御や他の動作パラメタの制御を行なってもよい。図１では、それらのコマンドがデータベース２６の形で記憶されている。すなわち、データベースその他の記憶フォーマットを用いると、まばたきパターンとコマンドとの間の所定の相関関係にアクセスすることができる。目の検出処理装置２０が特定の不自然なまばたきパターンを認識すると、それに関連付けられたコマンドがコントローラ２１で生成され、そのコマンドが制御対象装置で実行される。

人による能動制御のためのまばたきパターンは、実際には符号である。符号は単純なものであってもよいが、制御システム１０をセキュリティ環境で使用する場合、幾らか複雑さを有するものであってもよい。この符号には、例えば従来のモールス符号を使用することができる。セキュリティ用途に関する他の機能としては、第２レベルの目の認識がある。第２レベルの目の認識は、指紋の使用に似たものであり、人の目（複数の場合もある）が個々に有する特徴を識別することによって人の素性を確認するものである。それによって、制御対象装置１８の能動制御を特定の人、または特定の少数の人々に制限することができる。

制御対象装置１８の自動電力消費調節が必要とされる理由は、種々の異なる理由のうちのいずれか１つである場合もあれば、複数の理由の組み合わせである場合もある。自動的な電力遮断機能は、電力を節約することができる。バッテリ駆動式装置の場合、これによってバッテリの寿命を伸ばすことができる。また、テレビのような電力を集中的に使用する多くの家電製品の場合、その動作を使用に利点があるときだけに厳密に制限することが可能になる。これにより、コスト的および環境的な利点が得られるとともに、装置の有効寿命が伸びる可能性も得られる。また、自動電力管理を行なう他の理由としては、利便性もあるであろう。これは、オーブンの庫内灯のような「手元照明」を実施する制御対象装置について特に言える。手元照明の用途では、制御対象装置自体を見ているか否かではなく、ある領域を見ているか否かが判定される。まばたきパターンによる能動制御を使用する実施形態では、リモートコントロールユニットを常に使用可能にしておく必要はない。また、テレビの自動電源遮断機能の場合、見ている人が寝てしまったときに、見ていた人がその機能を作動させる必要はない。

図２、図３、および図４は、制御システム１０の応用形態の例を示す。図２において、システム１０はコンピュータシステム２８に接続されている。他の例として、「制御対象装置」はコンピュータシステム全体ではなく、コンピュータシステムのモニタだけであってもよい。代替または追加として、目の検出に基づいてコンピュータの処理機能を制御することもできる。制御システム１０は通常、図２に示すような外部コンポーネントではなく、コンピュータシステムに組み込まれる。ラップトップコンピュータで使用される場合、制御システムは、バッテリの充電間隔を伸ばす目的で使用されることが多い。

図３において、「制御対象装置」は、例えばディスプレイ画面３０である。ディスプレイ画面は、携帯電話や携帯情報端末（ＰＤＡ）の一部であってもよいし、プラズマテレビやラップトップコンピュータのディスプレイのようなもっと大きな装置であってもよい。画面を囲むフレーム３２内に、第１の光源３４および第２の光源３６、並びに二次元撮像装置３８がある。画面３０が携帯電話のコンポーネントである場合、撮像装置３８の視野は、テレビ用の撮像装置で可能な視野に比べて制限される場合がある。同様に、光源３４および３６からの光の放射角も、一部の用途では他の用途に比べて狭くなる場合がある。テレビの応用形態の場合、光は、テレビ画面に対する視野範囲をカバーするように「放射」される。

あるいは、図３は、制御可能な２状態の窓と考えることもできる。例えば、窓の偏向状態を切り替えることによって影響を受ける人が居るか否かに応じて、オフィスや家庭の窓の偏向状態を自動的に切り替えることができる。このような自動切替によれば、セキュリティ上または健康上の利点が得られる可能性がある。

図４は、庫内灯４２を有するとともに、撮像装置４８の両側に第１の光源４４および第２の光源４６を有するオーブン４０を示す。撮像装置および光源は、オーブンの中を見る位置に人がいる状況を判定するためのものである。そのような状況になると、庫内灯が「オン」状態にされる。一方、撮像装置によって取得された画像情報が、人の視線上にオーブンの内部がないことを示すものである場合、庫内灯は「オフ」状態のまま維持される。

図５は、本発明を実施するための本発明の一実施形態によるプロセスの各ステップの流れを示すフロー図である。ステップ５０で、検出光を放射する。上述のように、検出波長の光を人工的に生成しなくても信頼性の高い検出が可能な実施形態の場合、このステップは省略してもよい。逆に、このステップが重要とされる実施形態もある。

ステップ５２で画像情報を得る。制御システムの撮像装置の各サンプル時間に画像情報のフレームを生成する。各サンプル時間は繋がっていてもよいが、目の検出のためには、不連続にモニタしたほうが有益な実施形態もある。例えば電池駆動式機器の場合、２分ごとに１秒間モニタすることにより、電力消費が１２０分の１に低減される場合がある。ステップ５４に示すように、人の目を検出する手段としては、例えば差分画像が使用される。差分画像は１対の画像フレームから形成される。次に、図６、図７、図８、および図９を参照し、目を検出するための差分画像を形成する方法について詳しく説明する。

判断ステップ５６において、ステップ５４で形成された差分画像が、本システムの撮像装置の視野内に目があることを示すものであるか否かを判定する。差分画像が目の存在を示す証拠を有していない場合、プロセスはステップ５８へ進む。制御対象装置が「オフ」であり、差分画像が目の存在を示す証拠を有していない場合、プロセスは単にステップ５２へ戻る。一方、制御対象装置が「オン」であり、制御対象装置が電力管理制御を受けている場合、プロセスはステップ６０へ進む。そしてここで第１の所定時間が経過したか否かを判定する。先の例では、第１の時間は、テレビなどの制御対象装置が見える位置に人（すなわち目）がいた最後の時点から５分間であった。第１のタイマは、ステップ５６における判定が肯定的な結果である度にステップ６７でリセットされる。一方、最後のリセットからその時間制限を超えるまでステップ５６における判定がずっと否定的な結果（応答）であり、ステップ５８における判定が肯定的な結果であった場合、ステップ６０における判定は否定的な結果となり、プロセスは、ステップ５２および５４へと戻り、画像情報の取得および新たな差分画像の形成が行なわれる。しかしながら、第１の時間が経過した後、次の判定で、差分画像が目の画像を含むものでないという判定が成されると、電力管理システムは制御対象装置の電力消費状態を切替える。この自動切替は「オン」から「オフ」への切替えである。代替実施形態として、制御対象装置は、３以上の電力消費状態を有するものでもよく、例えば第２の所定時間が経過したか否かに関連する電力消費状態をさらに有していてもよい。図５の実施形態では、プロセスは２つの所定時間を有している。

ステップ６０における第１の時間が経過したか否かの判定で肯定的な結果（応答）が得られる度に、続く同様のステップ６２において、第２の時間が経過したか否かが判定される。ステップ６０とステップ６２の組合せにより、３つの時間判定が得られる可能性がある。第１の可能性は、いずれの時間も経過していないために、ステップ６０の判定が否定的な結果となり、プロセスがステップ５２および５４へ戻るという可能性である。第２の可能性は、第１の時間は経過したが、第２の時間は経過していないという可能性である。その場合、プロセスはステップ６４へ進み、制御対象装置は自動的にスリープ状態に切替えられる。もちろん、第２の時間が非常に長ければ、プロセスはステップ６４へ何度も戻ることになるが、切替が実施されるのは最初に戻ったときだけである。プロセスはステップ５２および５４へ戻り、画像情報の取得および差分画像の形成を行い、次いでその差分画像から目を検出する処理を行なう。

判断ステップ６０および６２に関する第３の可能性は、どちらの時間も経過しているという可能性である。その場合、制御対象装置が再び切替えられる。今回はスリープ状態からオフ状態に切替えられる。第２の切替えはステップ６６として図示されている。さらに任意選択で、制御対象装置をオフに切替えた後に目が検出された場合、制御対象装置をオン状態に戻すように、制御システムをプログラムしてもよい。この切替はステップ６７で実施するのが望ましい。あるいは、この種のスイッチの場合、オフ状態からの不慮の切替えを防止するために、不自然なまばたきパターンの認識処理（ステップ６９およびステップ７１）が必要となる場合もある。

ステップ５６に戻ると、ステップ５４で形成された差分画像内に目の存在を示す証拠があった場合、ステップ６７に示すように、必要に応じてタイマをリセットする。例えば、制御対象装置がオン状態であり、ステップ６０およびステップ６２に関して説明したような第１の時間および第２の時間を有する場合、タイマ（複数の場合もあり）をゼロにリセットする。さらにステップ６７において、制御対象装置がスリープモードであれば、制御対象装置を電源オン状態に切替える。本発明の応用形態が能動制御を有するものである場合、次にプロセスは、まばたきを検出するための判断ステップ６９へ進む。最初のまばたき検出では、複数の差分画像を比較しなければならない。

ステップ６９でまばたきを検出した後、ステップ７１で能動制御処理を開始する。能動制御処理を開始するためには、フレーム間分析を終了し、データストリーム分析を開始する必要がある。人の目（複数の場合もあり）の位置を撮像装置の視野内の位置として指定し、目をモニタして、目の動きが所定のまばたきパターンのうちの１つと一致するか否かを判定する。まばたきパターンと、図１に示す制御対象装置１８の動作パラメタを変更するためのコマンドとの間の関係は、データベース２６に記憶される。目の検出処理装置２０がまばたきパターンを認識すると、目の検出処理装置２０は、制御対象装置に対して適当なコマンドを発行させるための出力を、コントローラ２１に対して生成する。

データベース２６は、まばたきパターンと制御対象装置１８の動作パラメタを変更するためのコマンドとの間の関係の他に、特定の目１４と特定の人との間の関係をさらに含む場合がある。前述のように、目の物理的特徴は、指紋の物理的特徴と同様に、人の識別に使用することができる。任意選択で、能動制御は限られた人数に制限してもよい。

２フレームの画像情報に基づいて差分画像を生成することにより、目の検出の信頼性が向上することが分かっている。その場合、一方のフレームは軸上撮像によって取得され、他方のフレームは軸外撮像によって取得される。そのような方法の一実施形態を図６、図７、図８、および図９に示す。図６では、第１の光源７０および第２の光源７２を用いて対象者６８の目を照らしている。説明を分かりやすくするために、第１の光源７０および第２の光源７２は、検出装置７４の両側に描かれている。しかしながら、２つの光源は検出装置の同じ側に配置してもよい。

目の網膜の反射率を異ならせる際に重要となる原理は、網膜の反射率が光源と検出装置との間の角度によって決まることである。この角度は「照明角」と呼ばれる場合もある。検出装置７４に対して光源７０および７２をどのような位置に配置するかも、考慮する必要がある。画像間に違いを作り、網膜からの反射に対応するスポットを画像に形成するためには、２つの異なる照明角において、残りの視野の照明特性が十分に似たような照明特性になるようにすることが望ましい。システムの用途がテレビの電力消費状態の切替えである場合、「残りの視野」には、対象者の顔、対象者の服、リビングのインテリアなどが含まれる。したがって、一方の側の軸上光源からの照明によって生成される影は、第２の軸外光源によって生成される影とは大きく異なるようにすることが望ましい。

図６において、第１の光源７０は検出装置７４の軸８０に対して第１の照明角７６を有し、第２の光源７２は検出装置７４の軸８０に対して第２の照明角７８を有する。一般に、第１の照明角が小さくなるほど、網膜反射も減少する。本明細書において「網膜反射」という用語は、目の後部で反射され、検出装置で受信される光の強度（すなわち実際の光子数またはその等価物）を指す。例えば、第１の照明角７６は約０度から３度の範囲である。

一般に、第２の照明角７８の大きさは、検出装置７４で検出される第２の光源７２からの網膜反射が非常に少なくなるように選択される。瞳孔を囲んでいる虹彩（絞り）はこの信号を遮断することがあるので、第２の照明角７８を選択する際には、様々な照明条件における瞳孔サイズを考慮しなければならない。第２の照明角は、第１の照明角７６よりも大きくする。ただし、第２の照明角は、第１の照明角よりも僅かに大きくするだけに留めなければならない。これは、第２の光源を用いてキャプチャされた画像が、瞳孔の部分を除いて、第１の光源を用いてキャプチャされた画像と似たような画像になるようにするためである。従って、一実施形態において、第２の照明角は約３度から１５度の範囲に設定される。

第１の光源７０と第２の光源７２は、概ね同じ強度で光を放射する。しかしながら、光源が異なる強度で光を放射することが望ましい用途もある。特に、それらの光源が異なる波長の光を放射するように設計され、波長の違いに基づいて、差分画像を形成する元となる画像を形成できるようにすることが望ましい用途がある。光源から放射される光の波長および／または照明強度は、光が対象者にとって迷惑になることがなく、光によって対象者の目の虹彩が収縮されることがないような値が選択される。赤外線または近赤外線の光源を使用するのが望ましい。

差分フレームの生成に使用するための２つのフレームをキャプチャする場合、検出装置７４を照明し、サンプリングすることによって第１のフレームを生成した後、ある時間の後に、検出装置７４を照明し、サンプリングすることによって第２のフレームを生成する。ただし、フレーム形成の際にそのような時間差を設ける代わりに、二次元検出装置の画素アレイ中の画素に空間的な差を設けてもよい。例えば、検出装置内の互いに隣接する画素を物理的に区別できるようにし、フレーム間の差異によって目があるか否かに関する有用な情報が得られるようにしてもよい。すなわち、互いに隣接する画素から得られる信号をその偏光依存性によって区別できるようにすれば、一方の画素を第１のフレームの一部として使用し、それに隣接する画素を第２のフレームを形成するためのサンプルとして使用することができる。各サンプルは、その偏向依存性を識別できる形に符号化される。また、対象者６８の目と検出装置７４との間に適当な光学素子を設けることにより、フレーム形成の際に１つの照明から空間的な違いを作り出すこともできる。

図７は、開いた状態の目の画像を示す。この画像は、軸上光源７０を用いて生成されたものである。軸上照明角の場合、網膜からの反射が強いので、明るい瞳孔８４を含む画像が得られる。

図８も、開いた状態の目８２の画像を示す。ただし、この画像は、軸外照明角で生成されているので、暗い瞳孔８６になっている。図７および図８の画像は、同時に生成してもよいし、１つの検出装置から順次形成された画像情報のフレームであってもよい。

図９は、軸上光源７０および軸外光源７２を用いて生成された２つの画像データのフレーム間の差から得られる差分画像を示す。図７の画像と図８の画像の差をとると、目が開いている場合、比較的暗い背景９０に対して比較的明るいスポット８８が残る。それ以外の目の形状の痕跡が背景９０に残ることもあるが、明るいスポットは一般に、背景と比較すると目立つであろう。図７および図８の画像データを取得したときに目が閉じていた場合、またはほぼ閉じていた場合、あるいは検出装置７４の視野内に対象者がいなかった場合、差分画像中の明るいスポットは全く形成されないか、あるいは部分的に消えることになる。したがって、この電力管理システムを用いると、人が寝てしまったときにテレビのスイッチを自動的に切ることができる。

図７、図８、および図９は、対象者の片目だけをターゲットとしていた。当然ながら両目をモニタすることも可能である。また、画像が対象者の他の特徴および／または対象者の周囲の特徴を含む場合であっても、同様な効果を実現することは可能である。それらの他の特徴は、多くの目の特徴と同様の方法で概ね除去することができ、明るいスポット８８だけを差分画像に残すことができる。

２つの光源７０および７２からの光は、検出装置７４のフレームレートに同期するパルスとして放射することもできる。例えば、検出装置が３０フレーム／秒のフレームレートで動作する場合、光は３０パルス／秒のレートで放射される場合がある。ただし、パルスを常に放射し続ける必要はない。例えば、フレームレートが３０フレーム／秒である場合、４／３０秒の間に４個の光パルスを放射し、残りの２６／３０秒の間は光パルスを放射しなくてもよい。１秒のうちのわずかな部分で十分な情報を収集することにより、対象者にとって迷惑になる可能性を減らすことができる。

図６の光源７０と光源７２の光の波長は、同じであってもよいし違っていてもよい。実質的に同じ波長で光を放射する実施形態の場合、それらの光源は異なる時間に動作させてもよい。たとえば、１バースト長の間に、第１の光源７０からパルスを放射した後、続いて第２の光源７２からパルスを放射し、・・・というように以下同様に放射することができる。一般に、それらの光源は光パルスを交互に放射することが望ましく、画像情報の軸上フレームと軸外フレームとが連続的に生成されるようにすることが望ましい。たとえば、第１の光源のパルスに偶数番号のフレームを関連付け、第２の光源のパルスに奇数番号のフレームを関連付ける場合がある。フレームが迅速に取得されるので、画像間の類似性が増し、動きのアーチファクトが低減され、２つの連続したフレーム間の差を見つける処理が容易になる。

連続して取得された２つの情報フレームに基づいて差分画像を形成する代わりに、複数の画像フレームを同時に収集してもよい。これは、収集された画像データが、波長、変調、偏光などの光学的性質によって区別できる場合に可能である。例えば、図６の第１の光源７０から放射される光の波長が、第２の光源７２から放射される光の波長とは異なる場合、それらの光は、実質的に同時に放射させることができる。そのような１つの実施形態では、最も強い網膜反射の得られる波長を、検出装置７４に最も近い光源で使用する。従来のシリコンベースの検出装置で測定したところ、網膜反射信号は通常、波長８００ｎｍ〜９５０ｎｍにおいて比較的強い信号となる。一般に、より短い波長を軸上光源に関連づけることが望ましい。

変調を利用して２つの光源からの光を区別することも可能である。例えば、同期検出方法（ロックインまたは位相感知）を使用することができる。一般に同期検出方法では、光源（たとえばレーザ）からの光を「チョッパ」に通し、そこでその光の周波数を選択された周波数に変調する。なお、光源によっては、半導体発光ダイオードのように周波数を直接電気的に変調できるものもある。選択された周波数に変調されたチョッパの同期出力は、ロックイン増幅器に入力される。さらに、検出装置７４で検出された信号もロックイン増幅器に入力される。ロックイン増幅器は、チョッパの同期出力を光学的に検出された信号と混合する。狭帯域フィルタ（選択された周波数付近のもの）を用いて、ほぼ選択された周波数の信号を生成する。その結果、その信号は、他の選択された周波数に変調された信号や未変調の信号から区別することができるようになる。

両方の光源７０および７２から光を実質的に同時に放射した場合、軸上フレームと軸外フレームとが、検出装置７４または１対の波長選択検出装置によって実質的に同時に取得される。その結果、動きのアーチファクトが除去され、検出装置に課せられる時間制限が緩和される。また、一連の測定サイクル間の時間は、それほど重要とはならない。そのため、プロセスの信頼性を損なうこと無く、一連の測定サイクル間の時間を増加させることができる。例えば、画像の取得は１秒当たり４回ではなく、１秒当たり１回にしてもよい。測定サイクルを伸ばすことによって得られる利点としては、キャプチャ画像に対する感度の向上、画像処理要件の低減、コストの低減、対象者が受ける光の低減などが挙げられる。

２つの光源７０および７２に異なる波長を用いることにより、軸上フレームおよび軸外フレームを様々な方法で取得することが可能になる。そのような方法としては、例えばバルク光学素子を用いた方法や、ピクセルベースのフィルタを備えたセンサを用いる方法などがある。

あるいは、偏向を利用して２つの信号を分離することもできる。一実施形態において、第１の光源７０は一方向に偏光された光を放射し、第２の光源７２はそれと直交する方向に偏光された光を放射する場合がある。通常は、図６に示すような１つの検出装置７４ではなく、２つの検出装置を使用する。検出装置の正面に適当な偏光器を配置したり、偏光ビームスプリッタを使用したりする場合もある。

図６〜図９は、種々のシステムコンポーネントの配置に関する一実施形態と、目の検出処理装置に関する一実施形態とを示したものであるが、本発明から外れることなくそれらに変更を施すことも可能である。本発明による最大限の利点を得るために、本発明の方法およびシステムは、用途に応じて変更を施すことができる。

本発明による制御システムの構成要素を示すブロック図である。 コンピュータシステムに接続された図１の制御システムを示す概略図である。 図１の制御システムを有するように構成されたテレビ画面、ディスプレイ画面、または２状態窓を示す正面図である。 図１の制御システムを有するように構成されたオーブンを示す斜視図である。 図１のシステムを使用するための一実施形態によるプロセスの各ステップの流れを示すフロー図である。 本発明による１対の光源を使用した瞳孔検出に関する概念図である。 図６のシステムによってキャプチャされた人の目の画像である。 図６のシステムによってキャプチャされた人の目の画像である。 図６のシステムによってキャプチャされた人の目の画像である。

Claims (36)

1. 装置の動作を制御するために前記装置に組み込まれる制御システムであって、
   一方向に偏光された第１の光を所定の視野に向けて放射する第１の光源と、
   前記第１の光の偏光方向に対し直交する方向に偏光された第２の光を前記所定の視野に向けて放射する第２の光源と、
   前記所定の視野内の対象の画像を生成する撮像装置と、
   前記所定の視野内の対象と前記撮像装置との間に配置され、前記所定の視野内の対象からの前記第１の光の反射光と前記第２の光の反射光をその偏光に基いて分離し、前記撮像装置の空間的に異なる領域にそれぞれ投影する光学素子と、
   前記撮像装置の前記空間的に異なる領域から第１の画像フレーム及び第２の画像フレームを同時に取得し、取得された前記第１の画像フレームと前記第２の画像フレームとの間の差に基いて前記所定の視野内における人の目の有無を判定し、判定結果に基いて前記装置を制御するための信号をコントローラに出力する目の検出処理装置と、
   前記目の検出処理装置から前記信号を受信し、受信した信号に従って前記装置の動作を制御するコントローラと、
   を含み、前記第１の光源は、前記撮像装置の軸に対し第１の照明角を成して配置され、前記第２の光源は、前記撮像装置の軸に対し前記第１の照明角よりも大きい第２の照明角を成して配置され、
   前記目の検出処理装置は、
   （ａ）前記所定の視野内において人の目が検出されることなく第１の時間が経過したときに、前記コントローラに対し、前記装置を電源オン状態から低電力消費状態へ切り替えさせるための信号を出力し、
   （ｂ）前記所定の視野内において人の目が検出されたときに、前記コントローラに対し、前記装置を電源オン状態へ切り替えさせるための信号を出力するように構成される、制御システム。
2. 前記目の検出処理装置は、前記所定の視野内において人の目が検出されることなく第２の時間が経過したときに、前記コントローラに対し、前記装置を低電力消費状態から電源オフ状態へ切り替えさせるための信号を出力するようにさらに構成される、請求項１に記載の制御システム。
3. 前記低電力消費状態はスリープ状態である、請求項１または請求項２に記載の制御システム。
4. ユーザ入力装置をさらに含み、
   前記目の検出処理装置は、前記第１の時間を前記ユーザ入力装置を使用して調節できるようにさらに構成される、請求項１〜３のうちのいずれか一項に記載の制御システム。
5. 前記目の検出処理装置は、前記コントローラによって実行された前記装置の動作の切替の履歴データを含む要素に基づいて前記第１の時間を調節する制御アルゴリズムを含む、請求項１〜３のうちのいずれか一項に記載の制御システム。
6. 前記撮像装置は、画像フレームを生成するように構成される二次元画素アレイである、請求項１〜５のうちのいずれか一項に記載の制御システム。
7. 前記装置は、表示画面を有する電子装置である、請求項１〜６のうちのいずれか一項に記載の制御システム。
8. 前記電子装置は、コンピュータシステムおよび映像表示システムのうちのいずれか一方である、請求項７に記載の制御システム。
9. 前記目の検出処理装置は、所定のまばたきパターンの検出に応答して、前記コントローラに対し、前記装置の電力消費状態を切り替えさせるための信号を出力するようにさらに構成される、請求項１〜８のうちのいずれか一項に記載の制御システム。
10. 前記目の検出処理装置は、前記所定のまばたきパターンの検出に応答して、前記コントローラに対し、前記装置の「オン」状態と「オフ」状態とを切り替えさせるための信号を出力するようにさらに構成される、請求項９に記載の制御システム。
11. 前記装置の動作を制御するためのコマンドと所定のまばたきパターンとの間の関係を記憶する記憶装置をさらに含み、
    前記目の検出処理装置は、前記所定のまばたきパターンの検出に応答して、前記コントローラに対し、前記装置の動作を制御するためのコマンドを発行させるための信号を出力するようにさらに構成される、請求項１〜８のうちのいずれか一項に記載の制御システム。
12. 前記目の検出処理装置は、前記装置が電源オン状態に切り替えられた後に、前記所定のまばたきパターンの検出を開始するように構成される、請求項１１に記載の制御システム。
13. 前記記憶装置は、特定の人と、前記特定の人の目との間の関係を示す情報をさらに記憶し、
    前記眼の検出処理装置は、前記所定のまばたきパターンに応答して実施される前記装置の動作の制御を、前記情報に基いて、前記特定の人のまばたきパターンにのみ応答して実施されるように制限する、請求項１１または請求項１２に記載の制御システム。
14. 前記目の検出処理装置は、前記第１の画像フレームと前記第２の画像フレームとの差における人の目の瞳孔に対応する明るいスポットの有無により、前記所定の視野内における人の目の有無を判定するように構成される、請求項１〜１３のうちのいずれか一項に記載の制御システム。
15. 前記撮像装置は、前記装置に対する視線を有する人を該撮像装置の視野内に捕捉するような固定位置に配置される、請求項１〜１４のうちのいずか一項に記載の制御システム。
16. 前記装置がテレビであり、
    前記装置の動作を制御するためのコマンドは、前記テレビのチャンネルまたはボリュームを設定するコマンドである、請求項１１に記載の制御システム。
17. 前記第１の照明角は、０〜３度の範囲であり、
    前記第２の照明角は、３〜１５度の範囲である、請求項１〜１６のうちのいずれか一項に記載の制御システム。
18. 前記目の検出処理装置は、二次元画素アレイである前記撮像装置の一回のサンプリングで得られた画素画像データを分離することにより前記第１の画像フレームおよび前記第２の画像フレームを形成するデータサンプリング処理回路を含む、請求項１〜１７のうちのいずれか一項に記載の制御システム。
19. 装置に組み込まれた制御システムによって前記装置の動作を制御する方法であって、前記制御システムが、一方向に偏光された第１の光を所定の視野に向けて放射する第１の光源と、前記第１の光の偏光方向に対し直交する方向に偏光された第２の光を前記所定の視野に向けて放射する第２の光源と、前記所定の視野内の対象の画像を生成する撮像装置と、目の検出処理装置と、前記目の検出処理装置から前記信号を受信し、受信した信号に従って前記装置の動作を制御するコントローラとを含み、前記第１の光源が、前記撮像装置の軸に対し第１の照明角を成して配置され、前記第２の光源が、前記撮像装置の軸に対し前記第１の照明角よりも大きい第２の照明角を成して配置されるものにおいて、
    前記目の検出処理装置により、前記撮像装置の前記空間的に異なる領域から第１の画像フレーム及び第２の画像フレームを同時に取得するステップと
    前記目の検出処理装置により、前記第１の画像フレームと前記第２の画像フレームとの間の差分画像フレームを生成するステップと、
    前記目の検出処理装置により、前記差分画像フレームに基いて前記所定の視野内における人の目の有無を判定するステップと、
    前記所定の視野内において人の目が検出されることなく第１の時間が経過したときに、前記目の検出処理装置により、前記コントローラに対し、前記装置を電源オン状態から低電力消費状態へ切り替えさせるための信号を出力するステップと、
    前記所定の視野内において人の目が検出されたときに、前記目の検出処理装置により、前記コントローラに対し、前記装置を電源オン状態へ切り替えさせるための信号を出力するステップと
    からなる方法。
20. 前記所定の視野内において人の目が検出されることなく第２の時間が経過したときに、前記目の検出処理装置により、前記コントローラに対し、前記装置を低電力消費状態から電源オフ状態へ切り替えさせるための信号を出力するステップをさらに含む、請求項１９に記載の方法。
21. 前記低電力消費状態は、スリープ状態である、請求項１９または請求項２０に記載の方法。
22. 前記制御システムは、ユーザ入力装置をさらに含み、
    前記目の検出処理装置は、前記第１の時間を前記ユーザ入力装置を使用して調節できるようにさらに構成される、請求項１９〜２１のうちのいずれか一項に記載の方法。
23. 前記目の検出処理装置は、前記コントローラによって実行された前記装置の動作の切替の履歴データを含む要素に基づいて前記第１の時間を調節する制御アルゴリズムを含む、請求項１９〜２１のうちのいずれか一項に記載の方法。
24. 前記撮像装置は、画像フレームを生成するように構成される二次元画素アレイである、請求項１９〜２３のうちのいずれか一項に記載の方法。
25. 前記装置は、表示画面を有する電子装置である、請求項１９〜２４のうちのいずれか一項に記載の方法。
26. 前記電子装置は、コンピュータシステムおよび映像表示システムのうちのいずれか一方である、請求項２５に記載の方法。
27. 前記目の検出処理装置により、所定のまばたきパターンの検出に応答して、前記コントローラに対し、前記装置の電力消費状態を切り替えさせるための信号を出力するステップをさらに含む、請求項４４に記載の方法。
28. 前記目の検出処理装置により、前記所定のまばたきパターンの検出に応答して、前記コントローラに対し、前記装置の「オン」状態と「オフ」状態とを切り替えさせるための信号を出力するステップをさらに含む、請求項２７に記載の方法。
29. 前記制御システムは、前記装置の動作を制御するためのコマンドと所定のまばたきパターンとの間の関係を記憶する記憶装置をさらに含み、
    前記方法は、前記目の検出処理装置により、前記所定のまばたきパターンの検出に応答して、前記コントローラに対し、前記装置の動作を制御するためのコマンドを発行させるための信号を出力するステップをさらに含む、請求項１９〜２６のうちのいずれか一項に記載の方法。
30. 前記目の検出処理装置は、前記装置が電源オン状態に切り替えられた後に、前記所定のまばたきパターンの検出を開始するように構成される、請求項２９に記載の方法。
31. 前記記憶装置は、特定の人と、前記特定の人の目との間の関係を示す情報をさらに記憶し、
    前記目の検出処理装置は、前記所定のまばたきパターンに応答して実施される前記装置の動作の制御を、前記情報に基いて、前記特定の人のまばたきパターンにのみ応答して実施されるように制限する、請求項２９または請求項３０に記載の方法。
32. 前記目の検出処理装置は、前記第１の画像フレームと前記第２の画像フレームとの差における人の目の瞳孔に対応する明るいスポットの有無により、前記所定の視野内における人の目の有無を判定するように構成される、請求項１９〜３１のうちのいずれか一項に記載の方法。
33. 前記撮像装置は、前記装置に対する視線を有する人を該撮像装置の視野内に捕捉するような固定位置に配置される、請求項１９〜３２のうちのいずか一項に記載の方法。
34. 前記装置がテレビであり、
    前記装置の動作を制御するためのコマンドは、前記テレビのチャンネルまたはボリュームを設定するコマンドである、請求項１１に記載の方法。
35. 前記第１の照明角は、０〜３度の範囲であり、
    前記第２の照明角は、３〜１５度の範囲である、請求項１〜１６のうちのいずれか一項に記載の方法。
36. 前記目の検出処理装置は、二次元画素アレイである前記撮像装置の一回のサンプリングで得られた画素画像データを分離することにより前記第１の画像フレームおよび前記第２の画像フレームを形成するデータサンプリング処理回路を含む、請求項１〜１７のうちのいずれか一項に記載の方法。

Images