JP3735947B2

JP3735947B2 - 視線入力装置

Info

Publication number: JP3735947B2
Application number: JP16548396A
Authority: JP
Inventors: 博司渡辺; 浩斉藤; 則政岸; 雅男坂田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1996-06-26
Filing date: 1996-06-26
Publication date: 2006-01-18
Anticipated expiration: 2016-06-26
Also published as: JPH105178A

Description

【０００１】
【発明の属する技術分野】
本発明は、操作者の視線方向を計測し、注視によって周辺機器（車両の場合、ナビゲーションやラジオ、エアコン等）の制御を行う視線入力装置に関する。
【０００２】
【従来の技術】
従来、このような情報入力装置としては、機械式スイッチや電気式スイッチ、電子式スイッチあるいは音声認識を利用したスイッチ等が知られている。
【０００３】
また、視線による情報入力の研究も行われており、１眼レフカメラやビデオカメラ用として実用化例が見られる。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の入力装置にあっては、以下のような問題点がある。
（ａ）操作対象となるスイッチを目で探して手で操作するという一連の動作を必要とするため、例えば、車載されたナビゲーションシステムの目的地入力のような複雑な操作（スケール変換、スクロール、ポイント設定）では、地図情報を目で確認して手で操作し、結果を再び目で確認するというループを数多く回すことになり、操作性の観点からは必ずしも優れたマンマシン・インタフェースとは言い難い。
（ｂ）手の届く所にスイッチを設置しなければならないため、装置のデザイン上の制約が生じる。
【０００５】
（ｃ）リモコンによる遠隔操作が普及しているが、例えば車載を考えた時、リモコンの設置場所について有効な案がないことや、車の振動や車線変更、カーブ走行によってリモコン装置が不用意に移動する等の問題がある。
（ｄ）音声認識を利用した入力装置も提案されているが、
・指令の言葉を覚えておかなければならないため、多くの操作を音声で行わせようとすると、指令語の忘却や錯誤が発生する
・使用者に発声を要求するため、人によっては好き嫌いが生じる
・スイッチ操作中は、言葉によるコミュニケーションが阻害される
といった問題が発生する。
【０００６】
先に述べたように、スイッチ操作には、スイッチ位置の確認やスイッチ動作状況の確認といった視覚に関わる作業が、必ずといってよいほど発生する。従って、視線のみで情報の伝達を行うことができれば、スイッチ操作者の意図を、手指の操作や音声を使うことなしに制御装置に伝達可能である。また、視線を利用すれば、一つの情報入力に一つの注視領域や一つの視線移動を対応付けられるため、指令の忘却・錯誤といった問題を解決できる。さらに、視線を利用すれば、言葉によるコミュニケーションを阻害しないため、上記各問題を解決することができる。
【０００７】
ところが、視線方向をインタフェースの道具に使うには、一般に、高い計測精度が要求される。特に、非接触で視線を測る場合、一般にカメラで顔の２次元画像を捉え、眼球を抽出して視線方向を特定することが行われる。そこでは、使用者の動きを拘束しない広い撮影視野と高い計測精度の両立が大きな課題である。すなわち、高い計測精度を得ようとすると、狭い撮影視野を観測するカメラを使わざるをえず、使用者は、眼球が撮影視野から外れないように意識しなければならない。結果的にマンマシン・インタフェースの使い勝手を阻害する要因になってしまうという問題点がある。
【０００８】
先に述べた１眼レフカメラやビデオカメラへの応用例では、使用者の眼球は必ずファインダー内にあるため、使用中に眼球がフレームアウトする心配がなく、狭い撮影視野と高い計測精度を両立可能である。
【０００９】
また、例えば特開平１−２７４７３６号公報に、観察系の視野内に注視対象を表示する表示手段を持たせる旨の記載があるように、操作者に注視位置を知らせる工夫はなされている。
【００１０】
しかし、完全非接触な視線計測手段を用いて、視線入力装置を自由空間で利用しようとした場合、先に述べたように操作者に注視位置を知らせるだけでは不十分である。
すなわち、カメラ視野からの眼球逸脱を操作者に容易に知らせる、あるいは操作者の眼球がカメラ視野のどこにあるのか、ピントの状態はどうかといった情報を合わせて提示する必要がある。
【００１１】
本発明は、このような従来の問題点に着目してなされたもので、操作者の眼球位置の保持を容易にして、狭い撮影視野と高い視線計測精度を容易に両立可能な、優れた視線入力装置を実現するものである。
【００１２】
【課題を解決するための手段】
本発明は上述の課題を解決するために、車両運転者の視線方向や眼球位置を計測するための視線検知エリアから車両運転者の視線方向や眼球位置を計測し、計測した情報によってコンソールモニタに指示を与えることにより、周辺機器の制御を行う視線入力装置において、視線検知エリアを予め車室内空間に設定しておき、視線検知エリア内からは視認可能であるが、視線検知エリア外からでは視認ができなくなる表示を行う構成とする。
【００１５】
また、本発明は、表示には、車両運転者の視線方向を検出するカメラ映像内の眼球位置のアライメントに関わるターゲットマーカが含まれる構成とする。
【００１６】
また、本発明は、表示には、視線入力に関わるメニューバーが含まれる構成とする。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１８】
（第１の実施の形態）
図１及び図２は、本発明の第１の実施の形態を示す図である。
本実施の形態は、本発明を、操作者の視線方向によって目的地入力が可能な車載ナビゲーション装置に応用したものである。ナビゲーションの目的地設定は複雑な操作を伴うため、従来、車両停止中にしか行えない構成になっていた。本装置においても、車両停止時にのみ動作する構成としている。
【００１９】
図１は、本装置の全体構造を示し、図２は、本装置に車載状態、および図３はナビゲーション画面の構成を示す。
【００２０】
装置の構成を説明すると、本装置は、操作者の顔面領域を画像を入力するＣＣＤカメラ等の撮像手段からなる画像入力部１０１、レンズ中心に画像入力部１０１と共軸系をなすように配された近赤外ＬＥＤ等の不可視光を発する照明１０２、照明１０２との相対関係が既知の位置に置かれた照明１０２と同一仕様を有する照明１０３、照明１０２，１０３の発光を制御する照明発光制御部１０４、画像入力部１０１から入力した画像信号をディジタルデータに変換するＡ／Ｄ変換器１０５、入力された画像データを保持する画像メモリ１０６、入力画像から網膜反射像（瞳孔位置）を抽出する瞳孔抽出部１０７、瞳孔近傍から照明１０２の角膜反射像を抽出する角膜反射像抽出部１０８、角膜反射像の抽出結果から、角膜反射像への合焦度合を算出する合焦判断部１０９、眼球の抽出結果に応じて視線入力を開始するか否かを判断する視線入力開始判断部１１０、抽出した瞳孔と角膜反射像の位置から注視位置を算出する注視位置算出部１１１、ナビゲーション画面の特定位置を注視しているか否かを判定する注視判定部１１２、計測に先立って行う校正作業のため、校正用視標を画面の特定位置に描画する校正用視標制御部１１４、校正結果から、注視位置算出に必要な変換係数を算出する校正データ算出部１１５、およびそのデータを記憶しておく校正データ記憶部１１６、校正開始を合図する校正開始スイッチ１１３、注視判定結果に応じてナビゲーション画面の表示を制御するナビゲーション地図制御部１１７、ナビ表示を行うナビ表示画面１１８、および、装置全体の制御を行う全体制御部１１９、車両操作者１３０とからなる。さらに、特定の位置、方向からのみ視認が可能な表示を行うための虚像表示部１２０が設けられている。虚像表示部１２０は、全体制御部１１９の信号を受けて表示を行う表示体１２１と、特定方向に投影するための光学系１２２、ハーフミラー１２３からなる。
【００２１】
次に、図２の構成を説明する。図２は本発明の車載状態を示すものである。構成を説明すると、ナビゲーション用地図画面を表示するナビ表示画面１１８、ナビ表示画面１１８近傍に設置された、校正開始を指示する校正開始スイッチ１１３、ナビ表示画面１１８の下方に設置された、画像入力部１０１、照明１０２、照明１０３からなる。
【００２２】
さらに、図３にナビ表示画面１１８の例を示す。ナビ表示画面１１８には、各種アイコンが表示されている。各アイコンの状態は、ナビゲーション制御の状態によって異なるため、詳しくは作用の項で説明する。
【００２３】
以下、本発明の作用を説明する。
本装置は、本発明を車両に搭載し、車載ナビゲーション装置の目的地設定に利用したものである。ナビゲーションの目的地設定は複雑な操作を伴うため、従来、車両停止中にしか行えない構成になっていた。本装置においても、車両停止時にのみ動作する構成としている。
（ａ）視線方向の計測には、予め校正作業が必要となる。すなわち、操作者１３０は、ナビ表示画面１１８の近傍に設置された校正開始スイッチ１１３を押して校正を開始する。校正時には、ナビ表示画面１１８上に図４−（１）に示すような視標がひとつずつ順次呈示される。操作者１３０は、その間、視標を注視し続ける。
【００２４】
（ｂ）表示体１２１からは、虚像用の表示像が投影され、光学系１２２に入射する。光学系１２２からの表示像はハーフミラー１２３により反射され、操作者１３０へ向けて投影される。したがって、操作者１３０からは、あたかも表示像が、ナビ表示画面１１８上に表示されているように虚像が視認できる。ここで表示する虚像は、円や四角形のような単純図形でよい。この虚像を視認可能なエリアを、視線検知を行うための画像入力部１０１の撮影視野と同様のエリアに設定することにより、操作者１３０の眼球位置が画像入力部１０１の撮影視野にある場合、ナビ表示画面１１８上に虚像が視認でき、撮影視野に操作者１３０の眼球があるかどうかの判断が直感的に行える。
また、ここではナビ表示画面１１８上に表示したが、光学系１２２及びハーフミラー１２３の配置とによって、虚像の表示距離を変えることも可能である。
【００２５】
（ｃ）画像入力部１０１からは、操作者１３０の眼球を含む顔画像が入力され、Ａ／Ｄ変換器１０５でディジタルデータに変換されて画像メモリ１０６にストアされる。この時、照明１０２が点灯し照明１０３が消灯した時の画像Ａと、照明１０３が点灯し照明１０２が消灯した時の画像Ｂが入力される。
【００２６】
（ｄ）瞳孔抽出部１０７において、画像Ａから画像Ｂの差分演算を行う。画像Ａでは網膜からの反射光により瞳孔が明るく光って観測され、画像Ｂでは瞳孔が暗く観測されるため、両者の差分結果は、瞳孔領域が強調されたものとなる。差分画像を固定しきい値で２値化し、さらにラベリング処理を施し、領域の番号付けを行う。
差分画像の中には、網膜反射像の他に、例えば、眼鏡レンズ反射像、眼鏡フレーム反射像、外部照明の変動で生じた顔の一部等、様々なノイズが含まれる可能性がある。
これらのノイズは、一般に不定形状、かつ面積も不定であるため、予め予想される面積の円もしくは楕円として観測される網膜反射像と識別可能である。ここでは、領域の面積と形状による識別を行う。
ラベリングの結果得られた各領域の面積Ｒｉを、予め決めておいたしきい値Ｓ１，Ｓ２（Ｓ１＜Ｓ２）と比較して、Ｓ１＜Ｒｉ＜Ｓ２を満足する領域のみ抜き出す。ここで、Ｓ１，Ｓ２は、カメラの撮像倍率から推定した、予想される瞳孔径（直径２〜８ｍｍの瞳孔が、面積何画素の領域として観測されるか）にセットしておけばよい。
眼鏡レンズ反射像も円形領域として観測されるが、例えば、レンズの絞りを絞ることによって、網膜反射像の面積より眼鏡レンズ反射像の面積が小さくなるようにしておけば、面積により両者を識別可能である。
次に、残った領域に対して、その外接長方形に対する領域面積の比率Ｆを計算する。
網膜反射像は円または楕円形状で観測されるため、比率Ｆがある一定値Ｆｔｈ以上であるのに対し、例えば眼鏡フレーム反射は、フレームに沿った細長い領域になるため、仮に網膜反射像と同等の面積を有していても、Ｆが小さくなり識別可能である。
以上の識別の結果、残った領域を網膜反射像に決定する。なお、抽出した網膜反射像の面積Ｓは記憶しておく。以上までの処理の流れを簡単に図８に示す。
【００２７】
（ｅ）この時、瞬きやフレームアウトによって網膜反射像が発見されない時は、網膜反射像が発見されないことを示す表示を行う。この時は、再びステップ（ｂ）に戻って処理が繰り返される。
【００２８】
（ｆ）角膜反射像抽出部１０８において、抽出した網膜反射像の重心位置（ｘｇ，ｙｇ）を求め、差分画像上で、重心位置を中心とし、網膜反射像を包含する小領域Ａを設定する。小領域Ａ内で最大輝度を有する点を角膜反射像とする。
【００２９】
（ｇ）合焦判断部１０９において、抽出した角膜反射像の輝度値Ｉを求め、小領域Ａ内をα・Ｉ（０＜α＜２）で２値化する。差分画像の画素値がα・Ｉより大きければ１を、小さければ０を与えることにし、２値化の結果得られるα・Ｉより明るい画素の個数Ｋを算出する。もし、差分画像が焦点の合った画像であるならば、角膜反射像の輝度ピークは鋭いものとなり、Ｋは小さい値となる。一方、差分画像が焦点のぼけた画像であるならば、角膜反射像の輝度ピークはゆるやかなものとなり、Ｋは大きい値となる。
もし、Ｋが予め決めておいた値より大きかったら、入力した画像はピントのボケた画像であると判断する。ピントがボケていると判断された時は、ステップ（ｃ）で算出した網膜反射像の面積Ｓを参照する。もし、Ｓが予め設定しておいたしきい値Ｓｔｈ１より大きい時は、操作者がカメラに近づき過ぎ（後ピン）であると判定し、逆にＳが予め設定しておいたしきい値Ｓｔｈ２（Ｓｔｈ１＞Ｓｔｈ２）より小さい時は、操作者がカメラから遠ざかり過ぎ（前ピン）であると判定する。
【００３０】
（ｈ）眼球に合焦した画像が得られ、かつ瞳孔重心が画像中央付近に観測された時、校正データ算出部１１５において、画像上の瞳孔重心（ｘｇ，ｙｇ）、角膜反射像座標（Ｐｘ，Ｐｙ）から、２個のパラメータδｘ＝Ｘｇ−ｐｘ、δｙ＝Ｙｇ−Ｐｙを求める。
【００３１】
（ｉ）瞳孔抽出部１０７、合焦判断部１０９では、さらに、瞳孔重心（ｘｇ，ｙｇ）と角膜反射像への合焦の有無を示す表示パターンを作成し、ナビ表示画面１１８に表示する。表示パターン例を図４−（１）に示す。図４−（１）では、校正用視標位置を網膜反射像の重心位置に見立て、その外部に移動フレームを設けて、該移動フレーム内の校正用視標位置によって、視野内の眼球位置を表示している。
また、同図に示すように、角膜反射像に合焦している時は校正用視標を塗りつぶしパターンにし、角膜反射像に合焦していない時は、白抜きパターンにして表示する。さらに、前ピンの時は視標を小さく、後ピンの時は視標を大きく表示する。
すなわち、フレームアウトの場合は虚像が視認できなくなることで、判定できるうえ、フレーム内の場合は、眼球が撮影視野のどこにあるかに加え、眼球にピントが合っているか否か、前ピンか後ピンかが表示されるため、操作者自身が、眼球のピントのぼけを確認でき、状況に応じて頭部位置を移動して定位置に復帰することが可能となる。
【００３２】
（ｊ）（ａ）〜（ｈ）を、同一視標について、校正データがＮ回得られるまで行う。この結果得られたＮ個のδｘ，δｙをそれぞれ平均し、視標ｉに対する校正結果としてδｘｉ，δｙｉを得、校正データ記憶部１１６に記憶しておく。
【００３３】
（ｋ）用意された全ての視標（本実施の形態では、図４−（２）に示すように水平方向５点、垂直方向５点）について（ａ）〜（ｈ）のループが終了すると、水平方向について算出された校正データδｘのグループと、垂直方向について算出された校正データδｙのグループ各々に対し、最小２乗法によって、視標位置とδｘもしくはδｙの変換式を決定する。すなわち、一般に視線の偏角が小さい領域においては、δｘもしくはδｙの値と視標位置とが１次式ｙ＝ａｘ＋ｂで既述されるものと考えてａ，ｂを決定する。
【００３４】
以上の処理によって校正作業が完了する。なお、この校正作業は、毎回行う必要はなく、１度行っておけばよい。得られた校正データを保存しておけば、後で再利用可能である。
【００３５】
以下、実際の目的値入力の動作を説明する。
（ｌ）ナビの目的地入力が必要になった時、ナビ表示画面１１８に設けられた目的地入力開始スイッチを押すと、ナビ表示画面１１８が図３に示すようになり、目的地入力を受け入れる状態となる。
【００３６】
（ｍ）以下、目的地入力の手順を説明する。
（ｍ−１）地図表示のスケール変換を行って、ナビ表示画面１１８に目的地が表示された状態とする。この手続きは以下のように行えばよい。
（ｍ−２）目的地入力開始スイッチ（図示せず）が押されると、その後連続して（ｂ）〜（ｈ）の処理が行われ、δｘ，δｙが随時算出される。
（ｍ−３）（ｍ−２）と並行して、（ｂ）〜（ｈ）によって、画面内の瞳孔位置、角膜反射像への合焦度合が算出され、ナビ表示画面１１８の左上方へ眼球状態表示がなされる。
（ｍ−４）算出されたδｘ，δｙは、その都度（ｉ）で求めた変換式によってナビ表示画面１１８上の位置座標に変換され、算出された位置に、図３に示す注視領域表示マーカがスーパーインポーズされる。
（ｍ−５）操作者１３０がナビ表示画面１１８の下方に設定された広域表示マーカまたは詳細表示マーカを注視すると、注視領域表示が該マーカ上に移動する。
（ｍ−６）ここで、例えば広域表示マーカを注視して暫く（３００ｍｓｅｃ程度）目を閉じると、広域表示マーカが選択確定される。これは、１回の注視位置算出に１００ｍｓｅｃを要するものとした時、３回連続して眼球が発見されなかったことにより判定すればよい。通常の瞬きは約１００ｍｓｅｃで完了するため、不用意な瞬きによって選択確定が起こる危険性はない。
広域表示マーカが選択確定されると、ナビ表示画面１１８に表示された地図の縮尺が１ステップ変更され、再表示される。
（ｍ−７）一般に（ｍ−６）のステップを複数回行えば、目的地を画面内に表示することができる。
（ｍ−８）次に、ナビ表示画面１１８の４辺上に設定されたスクロールマーカを注視し、暫く（３００ｍｓｅｃ程度）目を閉じることによって、スクロール方向が選択確定され、所定方向への画面スクロールが行われる。
（ｍ−９）（ｍ−８）ステップを複数回行って、目的地近傍が画面中央に表示されるようにする。
（ｍ−１０）目的地近傍が画面中央に表示されたら、詳細表示マーカを選択確定して画面を拡大表示する。このステップを複数回繰り返し、真の目的地が画面に詳細表示されるようにする。
（ｍ−１１）真の目的地が画面に詳細表示されたら、操作者１３０は、自分が設定したい目的地を注視し、注視領域表示が目的地を指した時、約３００ｍｓｅｃの閉眼によって目的地を確定する。
なお、（ｍ）のステップ全てにおいて、常に、フレームアウトの場合は虚像が視認できなくなることで判定できるうえ、フレーム内の場合は眼球が撮影視野のどこにあるかに加え、眼球にピントが合っているか否かが表示されるため、操作者自身が、眼球のピントのぼけを確認でき、状況に応じて頭部位置を移動して定位置に復帰することが可能となる。
【００３７】
以上、（ｍ−１）〜（ｍ−１１）の処理概要を、ナビ表示画面の内容とともに図５に示す。
（ｎ）目的地が確定すると、ナビゲーション地図制御部１１７において、現在地から目的地までの最適経路が計算され、地図上にセットされる。
（ｏ）ナビ表示画面１１８が（ｌ）の初期状態に戻り、目的地に向けたナビゲーションが開始される。
（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。
図６は、第１の実施の形態に示したナビゲーション制御装置において、虚像表示部１２０は、全体制御部１１９及び、合焦判断部１０９、瞳孔抽出部１０７よりの信号を受けて表示を行うように構成されたものである。この構成により、表示体１２１の虚像用表示像として、構成用視標を表示するようにしたものである。この時、眼球アライメントの表示は図７に示すようなものでも良い。さらに、目的地入力時の注視領域マーカを表示してもよい。
この表示像は虚像で、ナビ表示画面上に重ね合わせて表示されるため、同様の効果が得られる。また、操作者のみに見えるため、他の乗員には、地図のみを視認させられるという効果もある。
【００３８】
（第３の実施の形態）
次に、本発明の第３の実施の形態を説明する。
図８は、第１の実施の形態に示したナビゲーション制御装置において、虚像表示部１２０が、全体制御部１１９及び、ナビゲーション地図制御部１１７よりの信号を受けて表示を行うように構成されたものである。この構成により、虚像用の表示像として、図９に示すような、メニューバーを表示するようにしたものである。したがって、操作者は、メニューバーが見えた場合に、眼球の位置が撮影視野内に入ったことを確認できるため、スムーズにメニューの操作に入ることができるという効果がある。
【００３９】
【発明の効果】
以上説明してきたように、本発明によると、車両運転者の視線方向や眼球位置を計測するための視線検知エリアから車両運転者の視線方向や眼球位置を計測し、計測した情報によってコンソールモニタに指示を与えることにより、周辺機器の制御を行う視線入力装置において、視線検知エリアを予め車室内空間に設定しておき、視線検知エリア内からは視認可能であるが、視線検知エリア外からでは視認ができなくなる表示を行う。
【００４０】
したがって、操作者が、眼球位置の保持が容易になって、狭い撮影視野における高い視線計測精度を安定して容易に発揮できる優れた視線入力装置を実現可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】本発明の第１の実施の形態の構成を示すブロック図である。
【図３】本発明における画素の表示例である。
【図４】（１）は本発明の校正用視標の表示例、（２）は本発明の校正用視標のレイアウト図である。
【図５】目的地設定の処理を示すフローチャートである。
【図６】本発明の第２の実施の形態の構成を示す図である。
【図７】第２の実施の形態における眼球位置合致表示例である。
【図８】本発明の第３の実施の形態の構成を示す図である。
【図９】第３の実施の形態におけるメニュー画面の表示例である。
【図１０】本発明における網膜反射像の抽出処理の流れを示す図である。
【符号の説明】
１，２，３，４スクロールマーカ
１０１画像入力部
１０２，１０３照明
１０４照明発光制御部
１０５Ａ／Ｄ変換器
１０６画像メモリ
１０７瞳孔抽出部
１０８角膜反射像抽出部
１０９合焦判断部
１１０視線入力開始判断部
１１１注視位置算出部
１１２注視判定部
１１３校正開始スイッチ
１１４校正用視標制御部
１１５校正データ算出部
１１６校正データ記憶部
１１７ナビゲーション地図制御部
１１８ナビ表示画面
１１９全体制御部
１２０虚像表示部
１２１表示体
１２２光学系
１２３ハーフミラー
１３０操作者（運転者）
２０１ウィンドシールド
２０２ステアリング

Claims

車両運転者の視線方向や眼球位置を計測するための視線検知エリアから車両運転者の視線方向や眼球位置を計測し、計測した情報によってコンソールモニタに指示を与えることにより、周辺機器の制御を行う視線入力装置において、
前記視線検知エリアを予め車室内空間に設定しておき、前記視線検知エリア内からは視認可能であるが、前記視線検知エリア外からでは視認ができなくなる表示を行う
ことを特徴とする視線入力装置。
請求項１に記載の視線入力装置において、
前記表示には、車両運転者の視線方向を検出するカメラ映像内の眼球位置のアライメントに関わるターゲットマーカが含まれることを特徴とする視線入力装置。
請求項１に記載の視線入力装置において、
前記表示には、視線入力に関わるメニューバーが含まれることを特徴とする視線入力装置。