JPH09251342A

JPH09251342A - 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法

Info

Publication number: JPH09251342A
Application number: JP8059071A
Authority: JP
Inventors: Osamu Yamaguchi; 修山口; Kazuhiro Fukui; 和広福井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-03-15
Filing date: 1996-03-15
Publication date: 1997-09-22

Abstract

(57)【要約】【課題】使用者の視線情報を用いて容易で迅速な情報
選択装置を提供する。【解決手段】選択される情報の提示を行う情報提示部
２０と、使用者が注視している場所を推定する注視点推
定部３０と、使用者が選択している情報の表示部分の表
示方法を変更する表示変更部５０と、使用者の選択する
情報を予測する予測部４０と、使用者が入力したい情報
を決定することをシステムに伝えるための意図伝達部６
０と、選択された情報を保持し他の装置に送る結果出力
部７０を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動販売機、券売
機等の対面型装置システム、また、パソコン、ワークス
テーション等におけるＯＡ機器、観光ガイド等の情報提
供装置等を使用する使用者の注視箇所推定装置とその方
法及びそれを使用した情報表示装置とその方法に関す
る。

【０００２】

【従来の技術】自動販売機、券売機等の対面型装置シス
テム、また、パソコン、ワークステーション等における
ＯＡ機器、観光ガイド等の情報提供装置等において、利
用者が所望とする商品、切符、情報等をシステムに伝え
る場合には、ボタン、キーボード、マウスによる入力、
また、画面に表示されたものをタッチパネルを用いて選
択する入力法等がある。

【０００３】しかし、すぐには手で操作できない状況、
また手を使わなくても十分に指示可能な状況等もあり、
この場合には利用者の意図を入力するには、上記した入
力装置では人間の行動を妨げ、面倒な操作を強いること
となる。

【０００４】特に最近の装置にはボタンが数多く配置さ
れ、所望の情報、商品を選択する場合には、「システム
全体の構成を把握する→所望のものを見ながら探す→そ
の場所に手を持って行く」という行動の流れになり、一
つの選択を行うために多くの時間を必要とする場合があ
るため、迅速な対応が要求されるシステムには、別の入
力手段が必要と考えられる。

【０００５】手を使わずに位置選択を行なう方法として
は、視線検出があげられる。視線から得られる情報とし
ては、単に位置情報だけでなく、人間の意図、意思表示
等が挙げられ、複数の対象の中から興味あるものを選択
するという作業が容易に行われることになる。

【０００６】従来から、視線を検出するという発明が数
多くあり、これらには次の２つのタイプがある。

【０００７】第１は、アイカメラに代表される眼鏡のよ
うな器具を用いる接触型のものであり、第２は、ＣＣＤ
カメラ等を用いて撮影した画像から、人間の視線を検出
するといった非接触型のものである。

【０００８】接触型のものは、眼鏡、ゴーグルといった
機器を装着し、その機器に取り付けられた検出装置によ
って視線を入力する。

【０００９】非接触型のものは、ＣＣＤカメラで離れた
位置から顔を撮影し、目付近の特徴量を使って、視線方
向を推定する。

【００１０】例えば、特開平４−２５５０１５号では、
視線の相対的な移動量を瞳の輪郭データを抽出瞳の中心
座標の変化から求める。この発明は、誤差の蓄積があ
り、それを補償する機構ももっているが、不十分であ
る。

【００１１】また、特開平３−１７６９６号では、ワー
ドプロセッサ等のカーソル位置を、視線によって制御す
ることを目的として、目の領域を瞳孔中心を通る垂直線
と水平線で分割し、分けられた領域の面積比を特徴量と
して視点位置を算出する。

【００１２】一般に視線検出の問題として、視線検出の
精度をあげるためには、接触型もしくは頭を固定する等
の身体的制約を必要とする。人間の自然な行動を妨げる
ものや、わざわざ装置を身に付ける必要があるものは入
力装置として使いにくいという問題がある。

【００１３】視線を用いた入力装置として、特開平４−
３７２０１２号では、音声認識と視線検出、まばたき等
の動作検出等を組み合わせて、相補的にそれら利用する
ことによって意図伝達を行ない、情報を入力するという
ものがある。

【００１４】また、文献（Integrating Simultaneous I
nput from Speech, Gazo, and handGestures David B K
oons, Carlton J.Spartell, and Kristinn R. Thorisso
n,Intellelligent Multimedia Interfaces Edited by M
ark T. Maybury, MIT Press(1993) ）では、視線、会話
認識、手によるジェスチャを用いたインタフェースにつ
いて、その統合方法について述べている。この試作シス
テムでは、地図情報のやりとりや３次元のブロックワー
ルドでの操作を行っている。

【００１５】視線を用いたこれらの発明の多くは、キー
ボード、もしくはマウスの代用として使われることが主
眼であり、視線検出の精度の問題が残ることとなる。

【００１６】

【発明が解決しようとする課題】ところで、視線を用い
た入力装置として、特開平４−３７２０１２号がある。
これは情報の提示がディスプレイに限定されており、デ
ィスプレイに表示されたアイコン等を視線で特定し、音
声による指示手段によって操作することを目的としてい
る。しかし、これらの操作を行うためには、高精度の視
線検出手段が必要とされ、現状のマウス等のインタフェ
ースの代替とするためには、困難な部分が多い。

【００１７】上記にあげた問題点に対し本発明では、視
線検出の精度を考慮して、使用者が選択する情報を効率
良く提示し、視線検出に必要以上の精度を要求せずと
も、情報等を容易に選択可能な装置の提供を目的とす
る。例えばディスプレイを４分割した程度を見分けるこ
とのできる視線検出手段を用意したとしても、効率良く
情報を提示することによって、情報選択を可能にする。

【００１８】また、視線と他の動作等を同時使用するこ
とにより、「所望の情報を探す→選択」が行え、利用者
が自然な行動で対応できるインタフェースを提供でき
る。例えば、利用者が所望の商品、情報、場所等を視線
によって選択し、設置された一つのボタンを押すこと
や、設定した言葉を発声することにより、意図伝達が行
なわれた時点での、視線の推定方向の結果を用いて注視
点を決定し、情報を素早く選択、指定を可能にすること
が目的である。

【００１９】さらに、人間の行動を予め予測し、システ
ムが情報を提示する際、最も適していると考えられる情
報を提示することにより、使用者の情報選択の負担を軽
減できる。また、入力を行う際、どの時点での情報が選
択されるかを動的に変化させる、いわゆる「タイミン
グ」を制御することにより、より人間の立場に立った使
いやすい装置の提供を目的とする。

【００２０】

【課題を解決するための手段】請求項１の発明は、使用
者の注視点を推定する注視点推定装置であって、前記使
用者の画像を入力する画像入力手段と、前記画像入力手
段によって入力された前記画像から前記使用者の顔画像
を抽出する顔抽出手段と、前記顔抽出手段で抽出された
前記顔画像から目頭の位置を検出する目頭検出手段と、
前記顔抽出手段で抽出された前記顔画像から瞳の位置を
検出する瞳検出手段と、前記目頭検出手段で検出された
前記目頭の位置から前記瞳検出手段で検出された前記瞳
の位置に向かうベクトルを求め、この求めたベクトルか
ら前記使用者の注視点を検出する注視点検出手段とを備
えたことを特徴とする注視点推定装置である。

【００２１】請求項２の発明は、使用者の注視点を推定
する注視点推定装置であって、前記使用者の画像を入力
する画像入力手段と、前記画像入力手段によって入力さ
れた前記画像から前記使用者の顔画像を抽出する顔抽出
手段と、前記顔抽出手段で抽出された前記顔画像から両
目の目頭の位置または目尻の位置を検出する目検出手段
と、前記顔抽出手段で抽出された前記顔画像から口の位
置または鼻孔の位置を検出する口鼻検出手段と、前記目
検出手段及び前記口鼻検出手段で検出された両目の目頭
の位置または目尻の位置と口の位置または鼻孔の位置を
結ぶ顔方向面を算出する顔方向面算出手段と、前記顔方
向面算出手段で算出された前記顔方向面の法線ベクトル
から前記使用者の注視点を検出する注視点検出手段とを
備えた注視点推定装置である。

【００２２】請求項３の発明は、複数の情報の中から必
要な情報を使用者が選択するための情報表示装置であっ
て、前記使用者の注視点を推定する注視点推定手段と、
前記注視点推定手段によって推定された前記注視点から
前記使用者の選択する情報を予測する予測手段と、前記
予測手段によって予測された情報の表示を行う情報表示
手段とを備えたことを特徴とする情報表示装置である。

【００２３】これにより、使用者は視線により選択を行
い、その視線方向から注視点推定手段により注視点を推
定し、予測手段により所望の情報、商品等を予測し、情
報表示手段によって選択対象となる情報、商品等を表示
する。したがって、使用者の選択の負担を軽減する。

【００２４】請求項４の発明は、前記予測手段は、前記
注視点推定手段によって推定された前記注視点が移動し
た場合に、前記使用者の選択する情報を改めて予測し直
す予測変更手段と、前記予測変更手段によって予測し直
した情報を表示するように前記情報表示手段に指示する
表示変更手段を備えたことを特徴とする請求項３記載の
情報表示装置である。

【００２５】これにより、使用者自身が視線によってど
の情報を選択しているかを知覚させるために、表示変更
手段により、注視点にある情報の表示部分を変更する。

【００２６】請求項５の発明は、前記予測手段は、前記
注視点推定手段の推定した前記注視点が、前記使用者が
前記情報表示手段に表示されている情報内にある場合
は、その注視している情報に基づいて前記使用者の選択
する情報を予測し、前記注視点が、前記情報表示手段以
外にある場合は、その注視している場所に基づいて前記
使用者の選択する情報を予測することを特徴とする請求
項３記載の情報表示装置である。

【００２７】これにより、情報表示手段以外の場所を見
るといった行動から、表示内容を変更することができ
る。

【００２８】請求項６の発明は、使用者の注視点を推定
する注視点推定方法であって、前記使用者の画像を入力
する画像入力ステップと、前記画像入力ステップによっ
て入力された前記画像から前記使用者の顔画像を抽出す
る顔抽出ステップと、前記顔抽出ステップで抽出された
前記顔画像から目頭の位置を検出する目頭検出ステップ
と、前記顔抽出ステップで抽出された前記顔画像から瞳
の位置を検出する瞳検出ステップと、前記目頭検出ステ
ップで検出された前記目頭の位置から前記瞳検出ステッ
プで検出された前記瞳の位置に向かうベクトルを求め、
この求めたベクトルから前記使用者の注視点を検出する
注視点検出ステップとを備えたことを特徴とする注視点
推定方法である。

【００２９】請求項７の発明は、使用者の注視点を推定
する注視点推定方法であって、前記使用者の画像を入力
する画像入力ステップと、前記画像入力ステップによっ
て入力された前記画像から前記使用者の顔画像を抽出す
る顔抽出ステップと、前記顔抽出ステップで抽出された
前記顔画像から両目の目頭の位置または目尻の位置を検
出する目検出ステップと、前記顔抽出ステップで抽出さ
れた前記顔画像から口の位置または鼻孔の位置を検出す
る口鼻検出ステップと、前記目検出ステップ及び前記口
鼻検出ステップで検出された両目の目頭の位置または目
尻の位置と口の位置または鼻孔の位置を結ぶ顔方向面を
算出する顔方向面算出ステップと、前記顔方向面算出ス
テップで算出された前記顔方向面の法線ベクトルから前
記使用者の注視点を検出する注視点検出ステップとを備
えたことを特徴とする注視点推定方法である。

【００３０】請求項８の発明は、複数の情報の中から必
要な情報を使用者が選択するための情報選択方法であっ
て、前記使用者の注視点を推定する注視点推定ステップ
と、前記注視点推定ステップによって推定された前記注
視点から前記使用者の選択する情報を予測する予測ステ
ップと、前記予測ステップによって予測された情報を情
報表示手段に表示する情報表示ステップとを備えたこと
を特徴とする情報選択方法である。

【００３１】請求項９の発明は、前記予測ステップは、
前記注視点推定ステップによって推定された前記注視点
が移動した場合に、前記使用者の選択する情報を改めて
予測し直す予測変更ステップと、前記予測変更ステップ
によって予測し直した情報を表示するように前記情報表
示手段に指示する表示変更ステップを備えたことを特徴
とする請求項８記載の情報選択方法である。

【００３２】請求項１０の発明は、前記予測ステップ
は、前記注視点推定ステップの推定した前記注視点が、
前記使用者が前記情報表示手段に表示されている情報内
にある場合は、その注視している情報に基づいて前記使
用者の選択する情報を予測し、前記注視点が、前記情報
表示手段以外にある場合は、その注視している場所に基
づいて前記使用者の選択する情報を予測することを特徴
とする請求項８記載の情報選択方法である。

【００３３】

【発明の実施の形態】以下に本発明の一実施例の情報選
択装置１０を説明する。本実施例は、自動販売機、券売
機等に情報選択装置１０が組込まれた場合について説明
する。なお、説明中の「システム」とは、自動販売機、
券売機等の装置を意味する。

【００３４】情報選択装置１０のブロック図を図１に示
す。

【００３５】情報選択装置１０は、ディスプレイ、ＣＲ
Ｔ、液晶、パネル、看板、表示版等の情報提示部２０
と、使用者の注視点を推定する注視点推定部３０と、使
用者の選択内容を予測する予測部４０と、表示内容の変
更を行う表示変更部５０と、ユーザまたはシステム内か
らの信号を入力する意図伝達部６０と、選択結果を保持
する結果出力部７０からなる。

【００３６】情報提示部２０情報提示部２０は、ディスプレイ等の情報表示部２２、
情報記憶部２４、表示駆動部２６から構成され、図２に
示す。

【００３７】情報記憶部２４に登録された画像、文字列
等の情報は、それらの表示位置情報と組で格納されてお
り、表示位置情報にしたがって表示駆動部２６は、情報
表示部２２に表示を行なう。

【００３８】情報記憶部２４、表示駆動部２６は、汎用
のパーソナルコンピュータ等を用いて、図３のようなフ
ローチャートにしたがって実装する。

【００３９】表示駆動部２６は、後に述べる表示変更部
５０からの指示で表示内容を変更する。状態判別におけ
る「状態」とは、初期状態、予測状態におけるいくつか
の状態、意図入力が行われた後の確定状態等の状態を判
別する。各状態において、情報記憶部２４に記憶された
情報を提示する。

【００４０】システムが自動販売機の場合、商品Ａ〜Ｄ
を図４のように表示する。

【００４１】選択される情報等は、情報提示部２０にお
いて比較的大きく表示される。情報の提示に関しては、
注視点推定部３０の空間分解能を考慮した大きさで表示
を行なう。本実施例の場合はディスプレイの画面を４分
割した程度であり、空間分解能の低い視線検出手段を用
いても、十分識別できる。

【００４２】注視点推定部３０通常、人間が選択対象であるボタン、表示部を探す場
合、その対象が表示、設置されている場所を見ることに
よって探すことになる。その視線方向を獲得し、注視し
ている点を推定する注視点推定部３０について述べる
（図５参照）。

【００４３】注視点推定部３０は、画像入力部３１、顔
方向検出部３２、瞳位置検出部３３、注視点決定部３
４、データベース部３５からなる。

【００４４】（画像入力部３１）画像入力部３１は、単
眼によるカラー画像の取得を行い、得られた画像は、顔
方向検出部３２に送られる。

【００４５】（顔方向検出部３２）顔が、どの方向を向
いているかを判定する顔方向検出部３２について説明す
る。

【００４６】(1) 顔方向検出部３２では、図６（ａ）に
示すように、顔の切り出しを行う。

【００４７】これは、取得画像に対して領域分割を行
い、各領域の色相、彩度の情報から顔領域をみつける。

【００４８】(2) 次に、図６（ｂ）に示すように、目部
分と口部分の切り出しといった顔部品の抽出を図７によ
り行う。

【００４９】顔領域の部分に対して、色相画像の２値化
により、肌色部分とは異なる色属性を持つ眼部分と口部
分の候補を出す。次に、影等のノイズにより、生成され
た領域を形状の制約によって選択する。領域形状を表現
する特徴量としては、モーメント不変量や自己回帰モデ
ル等を用いて定量化する。さらに選択された領域に対
し、目や口の濃淡パターンとの照合を行い、目領域、口
領域を決定する。ここでの濃淡パターンとの照合とは、
予め染めた目の部分画像や口の部分画像から認識のため
の辞書をＫＬ展開により構成し、複合類似度等を用いて
それぞれのパターンに近いものを選択する。

【００５０】(3) 目、口を検出した後、右目、左目、口
に対して、図６（ｃ）に示すように、エッジ画像を生成
する。エッジ画像の生成には、従来手法のＳｏｂｅｌフ
ィルタゃＣａｎｎｙの方法を用いる。

【００５１】(4) そして、エッジ画像を一次元の軸方向
に垂直に写像し、目頭の検出を行う。口部分に関しても
同様の処理を行い、左右の口もとを検出する。その一次
元の軸に垂直な方向に画像を走査し、最も明度の低い点
を目頭点とする。

【００５２】(5) 図６（ｅ）に示すように、４点から構
成される平面の歪みにより、顔の面の法線方向を歪対象
を用いて算出する方法（A.H.Gee and R.Cipolla:Deterr
niningthe Gaze of Faces in Images,CUED/F-INFENG/TR
-174(1994) ）があるが、ここでは、予め実験によって
求めた４点の位置関係の情報と顔の向きの情報から線形
補間を行い、データベース化しておくことにより求め
る。

【００５３】(7) 例えば、図６（ｆ）に示す４点の位置
に対して、水平方向のパラメータをα、垂直方向のパラ
メータをβを次式で求める。

【００５４】

【数１】なお、このα、βの式については、この限りでなく、顔
の向きを出す場合に、その他の顔特徴を用いても良い。

【００５５】（瞳位置検出部３３）次に、瞳が目の中の
どの位置にあるかを判定する瞳位置検出部３３について
説明する。

【００５６】(1) 顔方向検出部３２で得られた目の切り
出し結果から、その部分画像に対して、図８（ａ）に示
すように、２値化を行う。２値化の結果から、黒画素の
重心を求め、瞳の部分の検出を行う。

【００５７】(2) 瞳の重心を求め、先に求めた目頭点と
からベクトルＶを求める（図８（ｂ））。

【００５８】(3) 一方、顔方向検出部３２で得た、目
頭、口もとの点のそれぞれを通る２本の直線Ａ′，Ａ″
を求め、その２本の直線の傾きを平均して、直線Ａを求
める（図８（ｃ））。

【００５９】(4) ベクトルＶと直線Ａのなす角度をθ、
ベクトルＶの長さをσとする。このθ、σを瞳の位置の
パラメータとして用いる。

【００６０】（注視点決定部３４）注視点決定部３４は
視線方向に対する情報提示部２０のどの場所を見ている
かを決定する。ある顔の向きα、βにおける目の位置
θ、σより、注視点を求める。

【００６１】図９は、水平方向に関して注視点を算出す
るための、顔の向き（ｆ（α））と目の位置（ｇ（θ，
σ））との関係図である。ここでは、

【数２】とする。ａ、ｂは個人差等を考慮したパラメータであ
る。なお、ｆ，ｇの関数はこの限りではなく、求める精
度、個人差等によって変更される。

【００６２】図９（ａ）に示されるのは、情報提示部２
０であり、水平方向に４分割している。このとき、顔の
向きと目の位置との関係を表す図９（ｂ）のように、分
割された場所を見ている時のパラメータの部分空間とな
る。定性的に説明すると、「顔が右を向いていても、目
が左を大きく向いていれば左を見ている」といった関係
を表している。

【００６３】垂直方向に関しても同様に決定できる。

【００６４】（データベース部３５）データベース部３
５には、図９（ｂ）の下部に示されるようなデータがシ
ステムからの距離に応じて数種類のものが用意され、シ
ステムからの距離が遠い場合には、顔の向きを重視して
注視方向を決定するようにできる。

【００６５】注視点推定部３０からは、距離に応じた注
視方向が決定できるように、（距離、注視方向）の組に
なった情報が予測部４０に送られる。

【００６６】予測部４０予測部４０は、使用者が選択する情報の予測を行なう。

【００６７】予測部４０は、距離推定部４１、データベ
ース部４２、情報記録部４３、予測情報構成部４４から
なり、ブロック図を図１０に示す。

【００６８】（距離推定部４１）距離推定部４１では、
使用者とシステムまでの距離を算出する。本実施例で
は、ステレオカメラによる観測を行い、三角測量により
使用者までの距離を求める。なお、超音波センサ等によ
る他の計測方法でもよいし、単眼視カメラによって撮影
される人の面積から距離を求めても良い。

【００６９】距離を３つから５つ程度に分けて、各距離
における予測内容を変更する。本実施例では３つに分
け、近距離からシステム操作可能範囲（数十センチ）、
システム可視範囲（数メートル）、システム無視範囲の
３段階（それ以上）とする。

【００７０】（データベース部４２）データベース部４
２には、提示内容データベースと行動データベースの二
つを持つ。

【００７１】提示内容データベースは、システムに設置
された情報提示部２０における、位置情報と内容がリン
クされたデータを保持する。位置情報は、その情報の位
置する（ｘ１，ｙ１）−（ｘ２，ｙ２）の矩形で表現さ
れ、その内容と、情報提示部２０への表示形態が一組で
表現される。

【００７２】行動データベースは、使用者の行動パター
ンについて予め幾つかのパターンを用意しておく。特に
システムを操作中、システムに近付いてくるときの行動
パターンを用意しておき、どのような行動パターンに近
いかを知るために使われる。

【００７３】（情報記録部４３）情報記録部４３では、
一定間隔毎に視線方向を記録しておく。

【００７４】視線方向は、注視点推定部３０から送られ
た情報の中から、距離推定部４１で得られた距離によっ
て一つが選ばれて決定され、その視線方向が記録され
る。

【００７５】情報記録部４３はリングバッファを用いて
構成する。

【００７６】リングバッファは、図１２の下段のように
模式的に表される。例えば、１から８までの順序通りに
情報が蓄えられたら、次は１を消して新たな情報を加え
る。このように順次書換えが行われるため、一定時間よ
り前の情報は自動的に更新される。記録内容は、注視点
検出手段から得られる視線方向と、距離検出部から得ら
れた距離情報と取得時刻を（視線方向、取得時刻、距
離）の一組にして、リングバッファに登録する（図１２
の中段参照）。

【００７７】（予測情報構成部４４）予測情報構成部４
４は、情報記録部４３に記録された内容とデータベース
部４２に記憶された行動パターン情報と照合を行い、ど
のような情報、商品等をもとめているかを予め予測す
る。

【００７８】行動パターン情報とは、時系列の情報で、
図１１のように表される。なお、図における注視点は実
際には２次元の視点の動きであるが、説明上一次元的に
表す。

【００７９】図１１（ｂ−１）は、「ある点を見つめた
まま近付く」ことを表している。

【００８０】図１１（ｂ−２）は「あるところまで近付
きながら定点を見ており、それからシステムの方を向い
て近付く」ことを表している。

【００８１】図１１（ｂ−３）は「きょろきょろしなが
らで近付いてくる」ことを表している。

【００８２】図１１（ｃ）は「遠くできょろきょろして
いる」ということを表す。

【００８３】これらの行動パターンを幾つか用意してお
き、データベース部４２に登録しておく。

【００８４】予測の方法は、使用者までの距離を考慮
し、機能を変更する。

【００８５】［システム操作可能範囲］システム操作可
能範囲での行動パターンとして、（ａ−１）「興味のあ
るものを見続ける」（ａ−２）「興味のあるものに近付
いて見る」（ａ−３）「興味が無く他の情報を欲しがっ
ている」（ａ−４）「興味がない」等が挙げられる。

【００８６】（ａ−１）「興味のあるものを見続ける」
（ａ−２）「興味のあるものに近付いて見る」等の場
合、どの情報を選択しているのかの注視点の情報を結果
出力部７０へ送る。

【００８７】また、興味のない情報が提示されている場
合、注視点が情報提示部２０の外側に向けられている場
合は（ａ−３）のように、興味をしめしていないと判断
し、新たな情報が必要であると判断する。これについて
は、後に表示変更部５０でその機能について述べる。

【００８８】［システム可視範囲］システム可視範囲で
は、使用者はシステムだけでなく、他の情報提示物を見
ることが可能である。例えば、新幹線の切符を券売機で
購入する場合、通常券売機列の上部に路線図等が提示さ
れており、その路線図を見て、行き先と料金を確認す
る。この時、路線図のどのあたりを見ていたかという情
報を獲得できれば、購入するであろう料金区間をいくつ
か表示する事により、必要とはしない区間を表示せず、
素早く目的とする切符を選択できる事になる。

【００８９】この状況を先に図１１に挙げた行動パター
ンの（ｂ−１）の場合として考える。このとき、以前見
ていた情報が何であるかに基づいて、どのような情報を
提示すればよいかを決定できる。例えば上記した例で
は、路線図の東側、西側のいずれを見ていたかにより、
目的とする場所の候補のいくつかを提示するといった方
法をとる。そのとき、リングバッファ内の情報は図１２
中段のようになっていれば、遠くの距離で見ていた注視
点（ｘ１，ｙ１）にある情報に基づいて、情報提示の内
容を決定する。このようにして、予想される情報を提示
する事により、操作時間の短縮が計られる。

【００９０】［システム無視範囲］システム無視範囲で
は、図１１（ｃ）にあげた行動パターンに当てはまる場
合は、予測を行わず、初期状態のままでいる。

【００９１】行動パターンを各図で説明したような場合
一次元の波形パターンとした場合、その照合方法として
は、登録パターンと入力パターンの各時間毎における、
差の２乗和を類似度として、もっとも類似度の高いもの
をその行動パターンとして選択する。照合方法として、
従来の単純類似度、複合類似度といったパターン認識手
法によるものや、ＤＰマッチング、ニューラルネットワ
ーク等を用いても良い。行動パターンが当てはまらない
場合や、処理を失敗した場合には、設定された初期状態
から人間との対応を開始する。

【００９２】予測部４０からの指示によって、指示内容
の変更する場合は、視線位置を表示するものと、選択す
る情報の表示内容を変更するものがある。予測部４０か
らは、視線位置と予測内容についての指示が表示変更部
５０に送る。提示内容の変更する場合は、情報提示部２
０に、状態の変更を指示すると、情報提示部２０は予測
部４０によって得られた情報に基づいて、情報提示部２
０が状態判別を行い、情報提示を行う。

【００９３】また、予測した行動パターンと各時間にお
ける選択内容を結果出力部７０に送る。このとき、選択
された情報は一つだけが送られるのではなく、システム
と選択を行うためにやりとりを行なっている時間のすべ
ての選択内容が結果出力部７０に送られる。一つに選択
されるのは、結果出力部７０で指定された時間に見てい
たものが選択内容としてにおいて決定される。

【００９４】表示変更部５０表示変更部５０は、注視点表示部５１と、選択情報表示
変更部５２からなり、図１３に示す。

【００９５】（注視点表示部５１）注視点表示部５１
は、予測部４０から送られた注視点の位置にある情報部
分を、例えば色を変更して表示する、または、反転する
等の表示を変更し、使用者が現在どの情報を注視してい
るのかを、使用者自身が知覚できるようにする。例え
ば、図１４のように商品Ｂを見た場合（ａ）、商品Ｄを
見た場合（ｂ）のように、反転して出力する。また確定
された場合（ｃ）のように表示を変更する。

【００９６】（選択情報表示変更部５２）選択情報表示
変更部５２では、予測部４０から送られた指示に基づい
て、提示内容を変更する。使用者の注視点が情報提示部
２０の外側に出た場合、その方向に表示情報をスクロー
ルする機能を実現する方法について述べる。

【００９７】一般に表示できる情報の数が少ない場合、
例えば図４のように４つの異なる情報だけが表示可能な
場合で、図１５のように２４個もの情報を選択したい場
合は、通常階層的な選択が行われる。図１５の左側の列
に示すように、まず、左上段の大分類の中から選択し、
次に左中段の中分類の中から選択し、最後に目的とする
もの（ここでは、Ｄを選択）の選択が階層化されて行わ
れる。しかしながら、視線を用いる利点として、「情報
が表示されていない場合は見ない」という意思表示が可
能であること、さらに目的とする情報がありそうな方向
を見ておくという事が可能であるため、図１５の右側の
列に示すような、情報の表示方法が可能である。

【００９８】図１５の右側では、太線で囲まれた領域が
情報提示部２０によって、表示されている４つの情報を
示す。ここで、目的とする情報（例ではＤ）がある場所
の方向を見る。すなわち右中段のように、情報提示部２
０の外側の×印を見る事により、表示される場所が変更
され、右下段のように、情報提示を変更する。

【００９９】図１５における座標系（ｘ，ｙ）につい
て、画面の範囲を（０，０）−（ｘｓ，ｙｓ）とする。
今、注視点が（ｘｐ，ｙｐ）のように、画面の範囲
（０，０）−（ｘｓ，ｙｓ）から外れている場合、提示
情報の内容としてその方向に情報が存在する場合、提示
情報を変更する。図１７がそのフローチャートである。

【０１００】このとき実際には、使用者の視線は情報提
示部２０の外側にあるが、提示されている情報が変化し
たかどうかは、人間は周辺視によって確認すればよい。
表示の変更が行われた場合、使用者が視線を情報提示部
２０の内部に向けた場合には、ふたたび注視点の表示を
行う。

【０１０１】また、空間分解能の低い視線検出装置を用
いている場合では、小さく表示されているものを注視し
ている場合、表示の解像度を変化させる次のような機能
を実現する。図１６上のように、細かな表示がなされて
いる場合、図中の楕円部付近を注視しつづけている場
合、ある一定以下の表示情報に対しては、解像度を大き
くして表示する場合の表示情報も蓄えておき、その注視
部分の表示内容を、図１６中央のように情報提示部２０
に大きく表示する。さらに図１６下のように階層的に大
きさを変化させることも可能である。このような視線情
報を用いて表示の解像度を変えることによって、より選
択しやすい情報提示が可能となる。

【０１０２】意図伝達部６０意図伝達部６０は、音声、スイッチの切入等の信号を入
力する入力部６１と入力の内容を認識する入力判断部６
２とからなる（図１８参照）。

【０１０３】入力部６１は、マイクまたはスイッチ、マ
ウス、カメラ等で、その入力結果を入力判断部６２へ送
る。入力判断部６２は、入力機器の種類、内容を考慮
し、入力内容を解析し、入力情報を結果出力部７０へ送
る。

【０１０４】音声を入力装置とした場合の入力判断部６
２のブロック図としては、入力判断部６２に音声認識装
置を用いる。例えば、ある商品を見ながら、「それくだ
さい」と発声することにより、入力装置から音声認識装
置に音声が入力され、その認識結果が結果出力部７０に
送られる。

【０１０５】入力情報が入ったと同時点での注視点の情
報を出すことにより、見ている場所の情報が選択される
こととなる。例えば、使用者が目的とする情報を注視し
ながら、「それください」「これ」等の簡単な言葉を発
声することにより、その発声した時点での注視点の情報
が選択できる。

【０１０６】他の入力例として、自動販売機の実施例で
は、コイン、紙幣等の投入口に取り付けられた入力部６
１により金銭が投入されることを入力信号としてもよ
い。

【０１０７】結果出力部７０結果出力部７０は、注視情報保持部７１、状態保持部７
２、タイミング調整部７３からなり、図２０にその構成
値を示す。

【０１０８】（注視情報保持部７１）注視情報保持部７
１は、使用者が注視した情報、商品等が何であるかを保
持する。予測部４０によって、予測された情報も保持す
る。

【０１０９】（タイミング調整部７３）タイミング調整
部７３は、提示されたものを視線により選択した時間と
入力部６１によって入力された時間の同時性の調節を行
なう。入力情報が入った時点で、いつの時点の注視点の
情報を出力するかを設定する。タイミング調整部７３
は、一つまたは複数の入力部６１の入力時刻を評価し、
意図伝達の時刻を決定する手段で、タイミング設定部７
４、時間設定部７５からなる。

【０１１０】タイミング調整部７３の動作を、図１９に
示す。

【０１１１】タイミング設定部７４では、各行動パター
ンに対してのタイミングを実験等によってもとめてお
き、使用者が使いやすいようにタイミングとる。時間設
定部７５では、タイミング設定部７４によって設定され
ている時間と入力判断部６２から信号が来た時間の総和
の時刻を結果出力部７０へ送る。

【０１１２】例えば、タイミング設定部７４によって設
定されている時間ｔ_ｋ＝０とするとき、（ａ−１）「見
続ける」パターンを行っている場合、入力判断部６２か
ら入力がなされる時間ｔｉｎがなされた時刻を、状態保
持部７２に送る。

【０１１３】他の入力例として、自動販売機の実施例で
は、コイン、紙幣等の投入口に取り付けられた入力部６
１により、金銭が投入されることを入力信号とする場合
について述べる。この場合、入力判断部６２は、投入さ
れた金額を判断する。タイミング設定手段により、金銭
が投入された時間ｔ１からタイミング設定時間ｔ_ｋ後の
時間に注視点のあった商品を選択する。ｔ_ｋを−１．０
（ｓｅｃ）≦ｔ_ｋ≦１．０（ｓｅｃ）を設定することに
より、「商品を見ながら、コインを投入する」ことによ
り、ボタン等を押す必要無しに、商品が選択される。こ
の場合、金銭を投入する際に、使用者の視線は金銭の投
入口にあることが多いとも考えられる。よって、タイミ
ング設定時間ｔ_ｋを数秒後に設定し、金銭の投入が行な
われた後しばらく商品を注視することにより、商品を選
択することができる。

【０１１４】（状態保持部７２）状態保持部７２は、初
期状態、予測状態、確定状態等の状態を出力し、その状
態とその状態における注視情報を保持し、システムや他
の手段に送る。確定状態であれば、システムは結果出力
部７０から使用者の注視点にある情報、商品等の情報を
受けとり、販売、サービスの開始等を行う。また別の情
報表示等の動作を行ってもよい。

【０１１５】変形例について述べる。

【０１１６】情報提示部２０の変形例情報提示部２０はディスプレイに表示されるような動的
に変化するものだけでなくともよい。例えば、常に固定
された商品、情報のパネル等を、装置または装置付近に
設置することでも構わない。

【０１１７】情報提示部２０がディスプレイ上に動的に
表示されるのではなく、固定の情報が提示されている場
合は、注視点の方向がわかるように、ランプ、ＬＥＤ等
を設置しても良い。

【０１１８】注視点推定部３０の変形例実施例では、単眼カメラによる非接触の視線検出手法に
ついて説明したが、接触、非接触を問わず、視線検出手
法についてはこの限りではない。

【０１１９】例えば、文献（伴野明、岸野文郎、小林幸
雄“瞳孔の抽出処理と頭部の動きを許容する視線検出装
置の試作”、電子通信学会論文誌(D)Vol.J76-D-II,No.
3,pp.636-646(1993))のように、複数のカメラを用いて
人間を撮影し、顔の向き、眼の向きを求めるといった方
法等を用いてもよい。

【０１２０】自動販売機の例のように、短時間の対応を
目的とした機器だけでなく、例えば、大量のデータ等を
より分ける必要があるような応用例の場合で、正確な視
線検出方法が要求される場合等もある。この場合は、ア
イカメラ、アイトラッカー等等の接触型の視線検出手法
を用いても良い。

【０１２１】意図伝達部６０の変形例意図伝達部６０は、音声や実施例に示したような金銭の
投入のような入力方法だけでなく、システムにボタン等
を取り付けるといった手段や、顔の向きを検知している
ことから次のような伝達手法があげられる。同じ場所に
視点を置いて、首を上下に動かす（「うなづく」動作）
等のどうさを行う。このように、画像情報に基づいた動
作検出手段を付加して入力に変えても良い。

【０１２２】また、意図伝達部６０において、音声認識
等の高度の入力判断部を備えている場合、その入力内容
から、明示的に表示内容の変更等を操作する構成に変形
しても良い。具体的には、「次の内容」等と音声で入力
することにより、表示変更部５０によって、別の情報提
示がなされる。

【０１２３】口検出手段に代えて、鼻孔を検出する鼻孔
検出手段を用いてもよい。この鼻孔検出手段の構成とし
ては、色相画像の二値化によって、目、口の候補を出す
際にすでに肌色部分とは異なる色の部分を発見している
ため、それら各部分に、２つの鼻孔を含んだように撮影
されている鼻孔の部分画像から生成された辞書とのパタ
ーン照合を行い、２つの鼻孔を同時に検出する。

【０１２４】そして、顔方向を検出する場合は、２つの
目頭と２つの鼻孔を結ぶように面を構成すればよい（図
６の（ｇ）参照）。

【０１２５】表示変更部５０の変形例注視点表示部５１では、情報の色変換反転等に限らず、
注視点をそのままカーソルのようなもので表示しても構
わない。

【０１２６】また、注視点表示部５１自身を外した構成
としても良い。すなわち注視点が変化しているようすを
人間が常時知覚できるようにすることが目的であるが、
それを知覚させないようにしたい応用例が存在するかも
しれない。その際には、意図伝達部６０により、指定さ
れた場合にだけ、注視点を確認できる構成に変形しても
良い。

【０１２７】選択情報表示変更部５２では、意図伝達部
６０と組み合わせ、意図伝達、例えば「表示を変えてほ
しい」という信号が送られた場合のみ、情報のスクロー
ルを行っても良い。

【０１２８】また、表示変更部５０を持たない構成でも
よく、固定された表示内容に基づいた予測を行ない、選
択を行なう方法でもよい。

【０１２９】以上、本発明はその趣旨を逸脱しない範囲
で種々変形して実施することが可能である。

【０１３０】

【発明の効果】請求項１，２，６，７の注視点推定装置
とその方法であると、使用者の注視点を確実に推定でき
る。

【０１３１】請求項３，４，５，８，９，１０の情報選
択装置とその方法であうと、使用者の視線を用いた情
報、商品等の選択が容易に行え、あらゆる装置におい
て、迅速な対応が可能となる。また、人間の自然な行動
を妨げることなく、使用者にやさしいユーザインタフェ
ースを提供できる。

【図面の簡単な説明】

【図１】装置のブロック図である。

【図２】情報提示部２０のブロック図である。

【図３】情報提示部２０のフローチャートである。

【図４】情報提示の一例の図である。

【図５】注視点推定部３０のブロック図である。

【図６】顔方向検出部３２の説明図である。

【図７】顔部品の抽出の図である。

【図８】瞳位置検出部３３の説明図である。

【図９】注視点の決定方法の説明図である。

【図１０】予測部４０のブロック図である。

【図１１】行動パターン例の図である。

【図１２】情報記録部４３の情報格納例の図である。

【図１３】表示変更部５０のブロック図である。

【図１４】情報提示部２０における表示変更例の図であ
る。

【図１５】表示情報変更例におけるスクロール機能例の
図である。

【図１６】表示情報変更例における解像度変換例の図で
ある。

【図１７】選択情報表示変更部５２の動作例の図であ
る。

【図１８】意図である。伝達部６０のブロック図であ
る。

【図１９】タイミング調整部７３のフローチャートであ
る。

【図２０】結果出力部７０のブロック図である。

【図２１】タイミング調整部７３のブロック図である。

【符号の説明】

１０情報選択装置２０情報提示部３０注視点推定部４０予測部５０表示変更部６０意図伝達部７０結果出力部

Claims

【特許請求の範囲】

【請求項１】人間の操作によって動作する装置またはシ
ステムを使用する使用者の注視箇所を推定する注視箇所
推定装置であって、前記使用者の画像を入力する画像入力手段と、前記画像入力手段によって入力された前記画像から前記
使用者の顔画像を抽出する顔抽出手段と、前記顔抽出手段で抽出された前記顔画像から少なくとも
一方の目の目頭の位置を検出する目頭検出手段と、前記顔抽出手段で抽出された前記顔画像から前記目の瞳
の位置を検出する瞳検出手段と、前記目頭検出手段で検出された前記目頭の位置から前記
瞳検出手段で検出された前記瞳の位置に向かうベクトル
を求め、この求めたベクトルから前記使用者の注視箇所
を検出する注視箇所検出手段とを備えたことを特徴とす
る注視箇所推定装置。
【請求項２】人間の操作によって動作する装置またはシ
ステムを使用する使用者の注視箇所を推定する注視箇所
推定装置であって、前記使用者の画像を入力する画像入力手段と、前記画像入力手段によって入力された前記画像から前記
使用者の顔画像を抽出する顔抽出手段と、前記顔抽出手段で抽出された前記顔画像から両目の目頭
の位置または目尻の位置を検出する目検出手段と、前記顔抽出手段で抽出された前記顔画像から口の位置ま
たは鼻孔の位置を検出する口鼻検出手段と、前記目検出手段及び前記口鼻検出手段で検出された両目
の目頭の位置または目尻の位置と口の位置または鼻孔の
位置を結ぶ顔方向面を算出する顔方向面算出手段と、前記顔方向面算出手段で算出された前記顔方向面の法線
ベクトルから前記使用者の注視箇所を検出する注視箇所
検出手段とを備えたことを特徴とする注視箇所推定装
置。
【請求項３】情報を表示する情報表示装置であって、前記情報表示装置を使用する使用者の注視箇所を推定す
る注視箇所推定手段と、前記注視箇所推定手段によって推定された前記注視箇所
から前記使用者が必要としている情報を予測する予測手
段と、前記予測手段によって予測された情報の表示を行う情報
表示手段とを備えたことを特徴とする情報表示装置。
【請求項４】前記予測手段は、前記注視箇所推定手段によって推定された前記注視箇所
が移動した場合に、その移動した前記注視箇所に基づい
て前記使用者の必要な情報を再予測する予測変更手段
と、前記予測変更手段によって再予測した情報を表示するよ
うに前記情報表示手段に指示する表示変更手段を備えた
ことを特徴とする請求項３記載の情報表示装置。
【請求項５】前記予測手段は、前記注視箇所推定手段の推定した前記注視箇所が、前記
情報表示手段内にある場合は、その注視している情報に
基づいて前記使用者の必要な情報を予測し、前記注視箇所が、前記情報表示手段以外にある場合は、
その注視している部分に基づいて前記使用者の必要な情
報を予測することを特徴とする請求項３記載の情報表示
装置。
【請求項６】人間の操作によって動作する装置またはシ
ステムを使用する使用者の注視箇所を推定する注視箇所
推定方法であって、前記使用者の画像を入力する画像入力ステップと、前記画像入力ステップによって入力された前記画像から
前記使用者の顔画像を抽出する顔抽出ステップと、前記顔抽出ステップで抽出された前記顔画像から少なく
とも一方の目の目頭の位置を検出する目頭検出ステップ
と、前記顔抽出ステップで抽出された前記顔画像から前記目
の瞳の位置を検出する瞳検出ステップと、前記目頭検出ステップで検出された前記目頭の位置から
前記瞳検出ステップで検出された前記瞳の位置に向かう
ベクトルを求め、この求めたベクトルから前記使用者の
注視箇所を検出する注視箇所検出ステップとを備えたこ
とを特徴とする注視箇所推定方法。
【請求項７】人間の操作によって動作する装置またはシ
ステムを使用する使用者の注視箇所を推定する注視箇所
推定方法であって、前記使用者の画像を入力する画像入力ステップと、前記画像入力ステップによって入力された前記画像から
前記使用者の顔画像を抽出する顔抽出ステップと、前記顔抽出ステップで抽出された前記顔画像から両目の
目頭の位置または目尻の位置を検出する目検出ステップ
と、前記顔抽出ステップで抽出された前記顔画像から口の位
置または鼻孔の位置を検出する口鼻検出ステップと、前記目検出ステップ及び前記口鼻検出ステップで検出さ
れた両目の目頭の位置または目尻の位置と口の位置また
は鼻孔の位置を結ぶ顔方向面を算出する顔方向面算出ス
テップと、前記顔方向面算出ステップで算出された前記
顔方向面の法線ベクトルから前記使用者の注視箇所を検
出する注視箇所検出ステップとを備えたことを特徴とす
る注視箇所推定方法。
【請求項８】情報表示手段を用いて情報を表示する情報
表示方法であって、前記情報表示手段を使用する使用者の注視箇所を推定す
る注視箇所推定ステップと、前記注視箇所推定ステップによって推定された前記注視
箇所から前記使用者が必要としている情報を予測する予
測ステップと、前記予測ステップによって予測された情報を前記情報表
示手段によって表示する情報表示ステップとを備えたこ
とを特徴とする情報表示方法。
【請求項９】前記予測ステップは、前記注視箇所推定ステップによって推定された前記注視
箇所が移動した場合に、その移動した前記注視箇所に基
づいて前記使用者の必要な情報を再予測する予測変更ス
テップと、前記予測変更ステップによって再予測した情報を表示す
るように前記情報表示手段に指示する表示変更ステップ
を備えたことを特徴とする請求項８記載の情報表示方
法。
【請求項１０】前記予測ステップは、前記注視箇所推定ステップの推定した前記注視箇所が、
前記情報表示手段内にある場合は、その注視している情
報に基づいて前記使用者の必要な情報を予測し、前記注視箇所が、前記情報表示手段以外にある場合は、
その注視している部分に基づいて前記使用者の必要な情
報を予測することを特徴とする請求項８記載の情報表示
装置。