JP2000187553A - 入力装置および入力装置用ヘッドマウントディスプレイ - Google Patents

Abstract

(57)【要約】 【課題】 視線解析と他の意思表示を解析することによ
り、情報処理装置と操作者との間の意思伝達を達成す
る。 【解決手段】 操作対象となる情報群を視覚的に表示す
るための映像表示手段（１）と、情報操作者の注視位置
を推定する視点解析手段（２）と、情報操作者の発話を
認識する音声認識手段（３）と、注視位置と発話内容に
基づいて指示内容を判断する指示内容推論手段（４）
と、指示内容の操作を実行する指示操作実行手段（５）
とを備える。注視対象を特定する際、操作者の選択意図
発生を正確に反映し、操作者が真に意図する対象物に対
して選択が行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザインターフ
ェースとして映像表示装置を有する情報処理装置におい
て、該映像表示装置上に視覚的に表示された操作情報群
を操作するための情報操作者の意思をキーボードやマウ
スを用いることなく情報処理装置側に伝達するための入
力装置に関する。そして、本発明は、特にＣＲＴ等の映
像表示装置を情報出力装置の一つとして有し、キーボー
ドやマウスなどの手操作型情報入力手段以外の情報入力
手段、すなわち音声入力，視線入力，および／または動
作入力を備え、映像表示装置に表示される視覚的情報出
力手段以外の情報出力手段として音声合成装置などを備
えて、マルチ・メディア対応の情報処理装置を構成する
情報処理システムに適用して有効な入力装置を提供する
ものである。

【０００２】

【従来の技術】情報処理装置に操作者の意思を伝達する
手段としては、従来からキーボードやマウス、その他の
手操作型入力手段が採用されている。しかし、近年の情
報処理環境の進展に伴い、情報処理装置，すなわち機械
とその操作者である人間との間における意思の伝達が、
記号情報を媒体としたものから感覚情報や感情的情報を
含んだ幅広い情報を授受することで、機械と人間との融
和を醸成すべき段階に達しつつある。その初期的な試み
として、機械と人間との間の意思伝達に物理的な接触を
伴わない手段が種々提案されている。

【０００３】その一つとして、人間（以下、操作者とい
う）の視線の動きを機械（以下、情報処理装置という）
に認識させることで操作者の意思を伝達する所謂アイカ
メラが知られている。この視線の動きによる意思表示の
情報処理装置への伝達は、操作者の眼球の回転を検知し
てその視線方向を特定することにより、操作者が情報処
理装置に備えるインターフェースの一つである映像表示
装置に表示された情報群の中から特定の情報を認識させ
るものである。眼球回転角度の検出により操作者の視線
方向を特定する方式としては、特開平１−１６０５２７
号公報、特開平２−８８０３４号公報に開示されたもの
が知られている。この種の視線検出装置は、手を用いな
い対象指示装置として、既に各種の情報機器，医療用機
器等に組み込まれている。特開昭６４−４６１２２号公
報、特開昭６０−１８８９７６号公報、特開昭６３−７
５８２４号公報などに記載されたシステムがその例であ
る。

【０００４】

【発明が解決しようとする課題】このような視線検出装
置を注視対象の選択意志認識装置，すなわち情報処理装
置への入力装置として利用する際に問題となるのは、操
作者が対象を注視したときに、どの時点でその対象を選
択している意志が発生したかを判断することである。特
開昭６３−７５８２４号公報に記載されたシステムにお
いては、当該対象を注視している注視時間を監視し、所
定以上の時間が継続したことによってその意志発生を判
定している。

【０００５】また、特開昭６４−４６１２２号公報に記
載されたシステムでは、脳の活動に伴う磁気変化、すな
わち注視した対象を選択するという思考の発生に伴う脳
の活動の結果として発生する脳磁気の変化を検知するこ
とによって当該注視対象の選択意志の発生を判定してい
る。しかしながら、注視時間によって選択の意志ありと
見做す方式は、操作者の無意識な注視，眼球の微小な振
動の存在による注視点の変動，あるいは操作者の計時認
識の曖昧さにより誤判定を生じ易いという問題がある。
また、脳活動の磁気を測定する方法は、現在のところコ
ストがかかり、装置も大がかりなものになりがちである
ため、通常のシステム環境への組み込みが困難であると
いう問題がある。

【０００６】なお、一般に、前記した視線解析手段は、
完全な顔面固定等を施さない限り、例えばＣＲＴ等の表
示画面上に表示されたカーソルやアイコン等の表象に対
して精度の高い位置特定を実現することは困難である。
前記公報に開示されたもののように、操作者の顔面固定
を実施することは、操作者が病床人である場合や、ある
いは既知の，スチルカメラやビデオカメラのように装置
（注視対象）と頭部との相対位置を固定できる特殊な場
合を除き、ＣＲＴ等を表示手段として用いる一般の情報
操作機器に応用することには大きな制約がある。また、
視線解析手段の代わりに頭部の動きを解析する動作解析
手段を使用することが考えられる。そして、前記音声認
識手段により認識された発話及び前記動作解析手段によ
り解析された前記操作者の頭部の動きに基づいて操作す
べき指示内容を判断する指示内容推論手段により入力を
行うことが可能である。

【０００７】本発明は前記問題点に鑑み、次の記載内容
（Ｏ01）を課題とする。 （Ｏ01）操作者の意思を表す音声を認識する音声認識手
段を有する入力装置に加えて、視線解析手段（あるいは
視点解析手段）または頭部の動きを解析する動作解析手
段を併用することにより、映像表示手段に表示された操
作対象となる情報群の中で情報操作者が選択した情報を
正確に特定できるようにすること。すなわち、映像表示
手段上で操作者が真に意図する対象物（操作対象となる
情報）を正確に特定できるようにして、前記意図する対
象物付近の別の対象物（操作対象となる情報）が誤って
選択される割合を減少させること。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、操作の対象となる情報群に対応した表象
を２次元もしくは３次元映像として視覚的に複数個表示
する映像表示手段と、操作者が映像表示手段に表示され
た映像表現（情報群）のどれを対象として注視している
かをリアルタイムで推定する視点解析手段と、表示され
た表象を操作するための言葉、すなわち表象名と操作コ
マンド名とに関して、操作者の発話をリアルタイムで認
識する音声認識手段と、操作者の頭部の動きあるいは瞬
きなどの操作者の動作をモニターし、この動作をリアル
タイムで解析する動作解析手段と、上記視点解析手段の
解析結果と音声認識手段の認識結果および／または上記
動作解析手段の解析結果とに基づいて情報操作者の指示
内容を判断するとともに、前記音声認識手段の認識した
発話に対応する表示情報の候補が複数抽出された場合に
は、表示情報データべースに記憶され且つ現在表示され
ている表示情報であって抽出順序の最も高い表示情報を
情報操作者の指示内容であると判断する指示内容推論手
段と、この指示内容推論手段の推論結果に従ってその指
示内容を実行する指示操作実行手段を備えた構成とする
ことによって達成される。また、操作者に対して、必要
な確認情報を合成音声で与える音声合成出力手段とを備
えることによって指示内容の推論結果をその実行前に確
認する構成とすることもできる。

【０００９】（第１発明）すなわち、第１発明の入力装
置は、操作対象となる情報群を視覚的に表示するための
映像表示手段と、発光器から出射して情報操作者の眼球
で反射した反射光を検出する光位置検出素子の検出信号
に基づいて前記映像表示手段における情報操作者の注視
位置を推定する視点解析手段と、前記映像表示手段の表
示位置を特定する前記情報操作者の発話および前記映像
表示手段の表示情報を特定する発話を認識する音声認識
手段と、前記視点解析手段の解析により推定した情報操
作者の注視位置と、前記音声認識手段により認識した発
話内容に基づいて、情報操作者の指示内容を判断すると
ともに、前記音声認識手段の認識した発話に対応する表
示情報の候補が複数抽出された場合には、表示情報デー
タべースに記憶され且つ現在表示されている表示情報で
あって抽出順序の最も高い表示情報を情報操作者の指示
内容であると判断する指示内容推論手段と、前記指示内
容推論手段により判断された情報操作者の指示内容の操
作を実行する指示操作実行手段と、を備えたことを特徴
とする。

【００１０】前記指示内容推論手段は、表示情報データ
べースに記憶され且つ現在表示されている表示情報であ
って抽出順序の最も高い表示情報が複数有る場合には、
前記抽出順序の最も高い複数の表示情報の中で、前記表
示情報データベースにより定まる表示位置と情報操作者
の注視位置とが一致している表示情報を情報操作者の指
示内容であると判断するように構成することが可能であ
る。また、前記指示内容推論手段は、前記音声認識手段
の認識した発話に対応する表示情報の候補が、現在表示
されている表示情報でない場合には前記発話を無視する
ように構成することが可能である。また、前記視点解析
手段は、発光器から出射して情報操作者の眼球で反射し
た反射光を検出する光位置検出素子の出力信号に基づい
て前記映像表示手段における情報操作者の注視位置を推
定することが可能である。

【００１１】また、第１発明は前記情報操作者の意図的
動作を認識する動作解析手段を設けることが可能であ
り、その場合、前記指示内容推論手段は、前記動作解析
手段により認識した意図的動作に基づいて情報操作者の
指示内容を判断するように構成することが可能である。
また、前記動作解析手段は、発光器から出射して情報操
作者の眼球で反射した反射光を検出する光位置検出素子
の出力信号から瞬きを検知し、前記瞬きを検知したとき
に前記意図的動作を認識する瞬き検知手段により構成す
ることが可能である。また、前記動作解析手段は、頭部
の動きを検知したときに前記意図的動作を認識するよう
に構成することが可能である。その場合、前記動作解析
手段は、頭部のうなづき動作を検知したときに前記意図
的動作を認識するように構成することが可能である。

【００１２】また、第１発明の入力装置は、前記映像表
示手段と、前記情報操作者の眼球に光を入射させる発光
器と、前記眼球で反射した反射光を検出する前記光位置
検出素子とを有し情報操作者の頭部に装着されるヘッド
マウントディスプレイを備えることが可能である。

【００１３】さらに第１発明は、前記指示内容推論手段
により判断された内容を音声信号に変換して情報操作者
の確認を促すための音声合成出力手段と、前記指示内容
推論手段により判断された情報操作者の指示内容の操作
を前記音声認識手段により認識した確認結果にしたがっ
て実行する指示操作実行手段とを設けることが可能であ
る。さらにまた、第１発明の入力装置は、前記音声認識
手段により認識した発話内容および前記動作解析手段に
より認識した意図的動作に基づいて、情報操作者の指示
内容を判断する指示内容推論手段により判断された内容
を音声信号に変換して情報操作者の確認を促すための音
声合成出力手段と、前記指示内容推論手段により判断さ
れた情報操作者の指示内容の操作を前記動作解析手段の
確認結果にしたがって実行する指示操作実行手段とを設
けることが可能である。

【００１４】（第２発明）また、第２発明の情報操作者
の頭部に装着される入力装置は、操作対象となる情報群
を視覚的に表示する映像表示手段と、操作者の発話を認
識する音声認識手段と、前記操作者の頭部の動きを解析
する動作解析手段と、前記音声認識手段により認識され
た発話及び前記動作解析手段により解析された前記操作
者の頭部の動きに基づいて操作すべき指示内容を判断す
る指示内容推論手段と、前記指示内容推論手段により判
断された指示内容を実行する指示操作実行手段と、を備
えたことを特徴とする入力装置。 （第３発明）また、第３発明の情報操作者の頭部に装着
される入力装置用ヘッドマウントディスプレイは、情報
操作者の視認可能な位置に配置されて操作対象となる情
報群を視覚的に表示する映像表示手段と、前記情報操作
者の眼球に光を入射させる発光器と、前記眼球で反射し
た反射光を検出する前記光位置検出素子とを有すること
を特徴とする。

【００１５】

【作用】前記第１または第２発明による入力装置は、情
報処理装置に対する選択指示やコマンドの入力方式とし
て、音声，視線，および／または動作の二以上の解析あ
るいは認識手段を多重に備えることにより、各方式の情
報を互いに補い合わせて操作者の意図を正確に特定する
ことができる。前記指示内容推論手段は、音声認識手段
の認識した発話に対応する表示情報の候補が複数抽出さ
れた場合には、現在表示されている情報を記憶する表示
情報データべースに記憶されている表示情報であって且
つ抽出順序の最も高い表示情報を情報操作者の指示内容
であると判断する。

【００１６】これにより、従来は視線（表示装置上の注
視位置）だけで映像表示上の位置を指定することはかな
り困難であったが、発話情報から操作者の意図する注視
対象を絞りこめるので、この発話情報を併せて利用する
ことで正確な位置決めを実行できるようになる。逆に、
発話だけでは言葉のあいまいさから対象を特定できない
場合にも、注視位置付近に存在する対象を考え併せるこ
とによって、操作者の発話意図を推論して正しく認識さ
せることができる。また、操作者の頭部の動きや瞬き、
その他の操作者の動作を操作者の意思確認情報として利
用することにより、情報処理装置に対して、より確実な
意思伝達を行うことができる。

【００１７】このように、指示入力，すなわち処理機能
の選択あるいはコマンドの入力に関しては主に音声が担
当し、位置の指定については主に視線が担当し、さらに
必要に応じて選択された処理対象の実行の可否に関する
確認情報は動作が担当するという様に、各コミュニケー
ション方式に適切な情報項目を分担させることにより、
言葉で位置を特定するといった不自然な作業を排除でき
るので、操作者の作業効率，作業疲労を改善することが
できる。そして、上記したように、視線解析により選択
あるいはコマンド等の指示作業を行う情報処理装置の場
合、当該情報処理装置からのフィードバック情報を、一
般に行われているような表示手段上での視覚的メッセー
ジだけでなく、合成音声で操作者に与えることにより、
視点の移動量を増加させることがなく、さらに操作者の
発話（音声）→視認（視覚）という心理的なモード切換
えを要することがないことで、操作者の作業効率・作業
疲労を飛躍的に改善できる。

【００１８】また、前記第３発明の入力装置用ヘッドマ
ウントディスプレイは情報操作者の頭部に着脱可能に装
着される。前記入力装置用ヘッドマウントディスプレイ
は、情報操作者の視認可能な位置に配置されて操作対象
となる情報群を視覚的に表示する映像表示手段と、前記
情報操作者の眼球に光を入射させる発光器と、前記眼球
で反射した反射光を検出する前記光位置検出素子とを有
するので、前記情報操作者の視線（表示装置上の注視位
置）を検出することができる。そして前記視線が指定す
る映像表示上の位置を検出することができる。

【００１９】

【実施例】以下、本発明の実施例を詳細に説明する。図
１は本発明による入力装置の基本構成を説明するブロツ
ク図であって、１は映像表示手段、２は視点解析手段、
３は音声認識手段、４は指示内容推論手段、５は指示操
作実行手段、６は動作解析手段、７は音声合成出力手段
である。映像表示手段１は、操作の対象となる情報群に
対応した指示対象であるカーソルあるいは複数の表象
（アイコン）を２次元もしくは３次元映像として視覚的
に表示して、操作者に提示する。視点解析手段２は、操
作者が映像表示手段１上のどの対象を注視しているかを
リアルタイムで特定する。

【００２０】音声認識手段３は、表示された表象を操作
するための言葉、すなわち当該表象名と操作コマンド名
の発話を認識する。指示内容推論手段４は、視点解析手
段２で解析された映像表示手段１上の注視位置と音声認
識手段３で認識された発話を基にして操作すべき指示内
容を判断する。指示内容実行手段５は、指示内容推論手
段４の推論結果で判断された操作内容を映像表示手段１
上で視覚表現すると共に、当該操作内容を実行させる。
なお、推論結果を映像表示手段１上の当該表象の表示状
態を白黒反転する等で視覚表現したのち、実行コマンド
を音声入力する等の方法で当該操作の実行を開始させる
構成としてもよい。

【００２１】以上の視点解析手段２，音声認識手段３お
よび指示内容推論手段４によって得たパラメータを用い
て操作者の意思を高確率で推論できるが、操作者の頭部
の動き、あるいは瞬きを検出して上記推論のパラメータ
とする動作解析手段６を備えることにより、さらに上記
の推論の正確さを向上させることができる。動作解析手
段６は、操作者の頭部の動き，例えば頷きなどの動作あ
るいは瞬きなどの動作をモニターする機能を有するもの
であり、この動作解析手段６の解析結果を推論条件とし
て付加することで、指示内容推論手段４の確度を上げる
構成とすることができる。さらに、指示内容推論手段４
の推論結果を音声合成出力手段７により音声情報として
操作者に与えることにより、作業効率と作業疲労を軽減
できる。

【００２２】以下、上記した本発明の基本構成に基づく
実施例について詳細に説明する。図２は本発明による入
力装置の第１の実施例を説明するブロック図であって、
１０は映像表示手段に対応する映像表示装置、２０は視
点解析手段２に対応する視点解析装置（所謂、アイカメ
ラ）、２１は操作者の眼球からの反射光を受光する反射
光受光器、２２は反射光重心演算回路、２３は眼球表面
の曲率と映像表示手段１の表示画面との非線形を補正す
る画面座標変換回路、２４は注視対象推定回路、３０は
音声認識手段３に対応する音声認識装置、３１は音素変
換回路、３２は発話照合回路、３３は操作用語／表示情
報辞書、３４は発話推定回路、４０は指示内容推論手段
に対応する操作推定回路、５０は表示情報データべー
ス、６０は指示操作実行手段５に対応する操作実行回路
（コマンド実行回路）である。

【００２３】次に、上記構成における各機能について説
明する。 ［注視位置推定］まず、操作者は視点解析装置２０によ
って、常に視線がモニターされる。この視点解析装置２
０は図３に示された構成を有し、操作者の眼球２００に
対して赤外線発光ダイオード（ＩＲ−ＬＥＤ）等の光源
２０１から赤外光を投射し、その反射光をＣＣＤ等の反
射光受光器２０３で受光する。光源２０１からの赤外光
は眼球２００の角膜付近で反射し、光学レンズ２０２を
介して反射光受光器２０３にスポット光として集められ
る。受光された反射光は反射光重心演算回路２２におい
て、そのスポット光の重心点が計算される。

【００２４】眼球表面は非球面であるため、また表象が
表示される画面が略々平面であるため、この重心点演算
により計算されたスポツト光の重心値を示す座標は、そ
のままでは映像表示装置の画面に対応する空間的な座標
位置の値と直接対応するものとはならないので、画面座
標変換回路２３によって非線型座標変換を施して映像表
示装置の画面における座標値に変換される。この変換さ
れた座標値により注視対象推定回路２４で映像表示装置
１上の注視対象が推定される。推定された注視対象推定
データは操作推定回路４０に与えられる。上記画面座標
変換回路２３は、操作者の眼球曲面と表示画面との間の
対応補正値を書き込んだ変換テーブル（非線型変換テー
ブル）を用いる。この変換テーブルは作業開始前に画面
状の複数の表象の視線取込みを行う学習によって変換パ
ラメータの書込みを実行する。

【００２５】［発話推定］操作者の発話が発生すると、
その音声データは、ただちに音素変換器３１によって原
波形から音素時系列データへ変換されて発話照合回路３
２に送られる。発話照合回路３２は、音素時系列データ
を、操作用語および表示情報名に関する音素データを格
納した操作用語／表示情報辞書３３と照合することによ
り、操作コマンドもしくは指示情報（操作者が音声で指
示した表示情報）の候補を抽出する。この照合過程は既
知の所謂ＤＰマッチング等の音声認識手法によって実行
される。抽出された指示情報の候補について、発話推定
回路３４により操作者の発話が推定され、操作推定回路
４０に送られる。なお、指示情報の候補が複数抽出され
た場合には複数の指示情報の候補が抽出順位を付けて送
られる。 ［操作推定：操作および操作対象の推定］操作推定回路
４０は、以上説明した視点解析装置２０と音声認識装置
３０の処理により推定された注視位置データと発話内容
データとを用いて、操作者の真に意図する操作内容を推
定する。

【００２６】表示情報に対する操作は、基本的には以下
の３つのタイプである。 １．［対象選択］・・・ 操作者は、映像表示装置に映
し出されている対象表象の中から、選択したいものを発
見した場合、それを注視しながら、指示選択を意味する
発話をおこなう。このときの単語は、操作用語／表示情
報辞書３３に格納済みの予め定めたものであるとする。 ２．［位置推定］・・・ 情報操作において位置情報を
必要とする際、例えば情報の表示位置を変えたい場合に
は、その位置を注視しながら位置指定を意味する発話、
例えば「ソコ」と発話することで、位置の指定をおこな
う。 ３．［操作指定］・・・ 選択されている情報に対する
操作は、発話により操作コマンドを特定し実行する。

【００２７】図４は操作推定回路の処理を説明するデー
タフロー図であって、４１は発話の認識結果と表示情報
を比較する比較器、４３は指示情報（操作者が音声で指
示した表示情報）とコマンドと指示位置の間の関係整合
性を照合する整合器、４４はコマンドや処理を実行する
所定の操作命令列を生成する操作命令列インタプリタ、
５０は現在表示されている情報を含む全表示情報を記憶
する表示情報データべース、６０はコマンド／処理実行
回路、なお、５３は表示情報データベース５０を含むシ
ステム全体の情報を格納する情報データべースである。
図４に示された「推定単語および推定信頼度」の中の
「推定信頼度」の意味は次のとおりである。すなわち、
前記音声認識装置３０（図２参照）が操作者の発話の音
声データと、表示情報、位置情報および操作コマンドの
単語の音声データとの類似度が高い単語を、発話に対応
する単語として推定する。前記推定された単語（推定単
語）の類似度の高さが推定信頼度である。前記推定信頼
度は操作者の発話の音声データ（発話データ）と前記単
語の音声データ（単語データ）とを比較して、発話デー
タに類似する単語データが複数有る場合に類似度の高い
単語程、推定信頼度（抽出順位）が高くなる。同図４に
おいて、音声認識装置３０（図２参照）によって推定さ
れた単語（発話）は、比較器４１において表示情報デー
タベース５０と比較されて、それがオブジェクト語（表
示情報を特定する語）かコマンド語かの判断、すなわち
単語タイプの判断がなされる。

【００２８】当該単語がオブジェクト語である場合は、
オブジェクトとして現在の画面状態を保持している表示
情報データベースに照らし合わせられる。発話単語の推
定信頼度が高く（すなわち、候補単語の抽出順位が上位
で）、表示情報データベース５０にもその対象が存在す
る場合には、その推定単語を採用する。推定信頼度が低
い場合には、注視点推定値と表示情報データベース５０
から期待される対象と合致しているかを比較器４１で確
認する。合致している場合は該当対象を選択する。合致
しない場合には、認識不能の処置をとる。また、推定単
語の特定する情報対象名が複数存在する場合、すなわ
ち、同名のラベルづけされた情報が呼ばれた場合は、注
視点位置が参照され、注視点により近い情報を選択す
る。以上は、情報対象の選択に関する手続きである。選
択された情報は、像の反転によって選択状態を表現す
る。

【００２９】一方、発話では、情報操作に関するコマン
ドの入力も行われる。操作コマンドには、「移動」「コ
ピー」「開示」「閉める」などがある。それらの操作に
は、対象の特定が必要な場合や位置情報の指定が必要な
場合がある。まず、前者，すなわちコマンドの選択に関
しては、注視点推定によりある程度操作対象の特定が可
能である。そして、移動不可能なものを注視している際
に、「イドウ」という発話推定があったり、すでに開示
されている対象を注視しているときに、「ヒラケ」とい
う発話推定がなされるのは誤りの可能性が大きい。その
ような際には発話推定の第二候補以下を検討したり、推
定を却下する（何もせずに発話を無視する）ことにす
る。

【００３０】次に後者，すなわち位置情報を必要とする
処理について説明する。図５は発話受理に伴うインタプ
リタの状態遷移図であって、Ｓは初期状態、Ｏは「コ
レ」，「レポート」，「週報」，「伝票」などのアイコ
ン名（オブジェクト）を指定する対象指定語、Ｐは「ソ
コ」，「ミギウエ」などの場所を表す場所指定語、Ａは
アクションすなわちコマンドの実行を示す。位置情報の
入力は、選択しようとする例えばアイコンを注視しなが
ら、位置選択を示す発話（場所指定語）を、例えば「ソ
コ」と指定する。このとき、図４の整合器４３は、表示
情報データベース５０と確認をとりながら、移動できな
い位置への指定がなされていないかを検査する。このと
きは２−オペランドコマンド語であるから、２−オペラ
ンドコマンドを実行して初期状態に戻る。アイコンを注
視しながら対象指定語のみの発話である「アケル」とか
「サクジョ」というコマンドは、１−オペランドコマン
ド語であり、また「トジル」というコマンドは０−オペ
ランドコマンド語であり、それぞれのコマンド実行後初
期状態に戻る。

【００３１】なお、発話の例としては、次のようなもの
を挙げることができる。 対象指定語：「コレ」，「ソレ」，「アイコン名（レポ
ート、伝票、…）」等 場所指定語：「ソコ」，「ミギウエ」，「マンナカ」，
「ヨコニ」，…等 ２−オペランドコマンド：コピー，イドウ，…等 １−オペランドコマンド：アケル，サクジョ，プロパテ
ィ，…等 ０−オペランドコマンド：トジル，…等 すなわち、２−オペランドコマンド語は、「ソレ」を
「コピー」というような２つのオペランドを持つコマン
ド、１−オペランドコマンド語は「アケル」，「サクジ
ョ」のようにオペランドが１つのコマンド、０−オペラ
ンドコマンド語は、「トジル」のようにオペランドを要
しないコマンドを意味する。

【００３２】以上に記述した、情報対象、操作コマン
ド、位置情報の内容は、操作命令列インタプリタ４４に
順次送られ、コマンド実行回路６０により実際のコマン
ドあるいは操作が情報データベース５３に対して実行さ
れる。なお、実際の操作発生のためには、上記の情報対
象、操作コマンド、位置情報が操作列（シーケンス）と
して所定の整合がとれていなれけばならない。この整合
の検証は操作命令列インタプリタ４４内でなされ、解消
できない不整合が発見された場合は、指示されたシーケ
ンスは無視される。上記の推定結果を、表示もしくは音
声合成によるメッセージとして操作者にを与えて、確認
を促すようにすることもできる。また、その結果、コマ
ンドあるいは処理の操作が発生した際には、表示情報デ
ータベース５０を情報データベース５３と整合的に書き
換えておくことはいうまでもない。

【００３３】図６は音声認識による発話音声データとア
イカメラによる視点解析データを用いたコマンド選択実
行の処理におけるデータフロー図である。まず、音声認
識により得た発話音声データは、音素辞書を参照して音
素変換される。音素変換された発話単語は登録単語辞書
に予め登録された単語とマッチングが取られる（ＤＰマ
ッチング）。ＤＰマッチングにより認識された単語につ
いて、一般コマンド（「ヒラケ」，「トジル」など）
か，アイコン名（ファイル名など）か，アイコン選択コ
マンド（「コレ」，「ソレ」など）かが判断される。そ
の結果、当該単語が一般コマンド名である場合は、コマ
ンドの整合性をチェックした後、整合すればそのコマン
ドを実行する。このとき、該当するアイコンの表示状態
を反転し、これをアイコン状態保存メモリに保存する。

【００３４】認識された単語がアイコン選択コマンドで
ある場合は、該当するアイコンを選択し、その表示状態
を反転する処理に入る。なお、このとき、アイカメラに
より視点位置が推定されてカーソルの位置が解析されて
いるので、当該アイコンがカーソル位置にあればその表
示状態を反転し、カーソル位置から外れている場合には
何もしない。認識された単語がアイコン名である場合
は、そのアイコン名に対応するアイコンの表示状態を反
転する。このようにして、表示画面上のカーソル、アイ
コンを選択し、対応する操作やコマンドを実行させる。

【００３５】図７は本発明による入力装置の第２の実施
例を説明する構成図であって、操作者の視点解析手段と
視線を認識するための瞬き動作検出手段を備えた３次元
表示ヘッドマウントディスプレイ装置の概略構造説明図
であって、１００は左目用液晶ディスプレイ、１０１は
右目用液晶ディスプレイ、１０２は赤外線発光ダイオー
ド（赤外ＬＥＤ）、１０３は光位置検出素子（例えば、
浜松ホトニクス社製のＰＳＤ）、１０４は集光レンズで
ある。操作者は、このディスプレイ装置を眼鏡の要領で
顔面に装着し、液晶ディスプレィ１００，１０１により
３次元的に表示されるカーソルやアイコンなどの表象か
らなる情報群のうちの特定の表象を注視する。赤外ＬＥ
Ｄ１０２から発射される赤外光は、常に操作者の眼球
（ここでは右目）に投射されている。そのスポット光は
角膜で反射し、集光レンズ１０４を経て光位置検出素子
１０３に集光される。角膜の曲率は眼球全体より小さ
く、その曲率の中心点も眼球の回転中心とずれているの
で、反射光角度は眼球の回転によって変化する。従って
光位置検出素子１０３上での眼球反射光の入力位置を求
めることにより、間接的に眼球回転角を検出することが
できる。

【００３６】図８は図７に示したヘッドマウントディス
プレイ装置の入力処理を説明するデータフロー図であっ
て、８１はＰＳＤからなる空間位置検出素子、８２は差
分回路、８３は眼球角度−画面位置変換回路（画面座標
変換回路）、８４は瞬き検出回路、８５は制御回路（マ
イクロプロセッサ）、８６は液晶ディスプレイ、８７は
表示情報メモリである。以下、図７に示した装置の動作
を図８を参照して説明する。 ［視線検知］まず、眼球からの反射光を受光する空間位
置検出素子８１の出力は所定の周期でサンプリングさ
れ、時間軸上における前後の座標値を差分回路で差分演
算し、その差分値を得る。

【００３７】この差分値は変換回路によって非線型的な
座標変換をほどこされ、液晶ディスプレィ１０１上にお
ける注視点の空間的位置を示す値が検出される。この非
線形変換は、眼球の形状やディスプレィと視点との位置
関係により定まるものである。そして、この変換関数
は、使用前にあらかじめ学習することによって取り込ま
れ、変換テーブル上に保持される。この学習は、液晶デ
ィスプレィ上の数か所を指定して操作者に凝視させるこ
とで、その位置と眼球角度との関数関係を得る。この関
数関係は、装置使用中にも定期的に校正することで高精
度な位置特定性能を保証できる。この校正処理は、ある
情報の表象選択が発生したときに、その瞬間における表
象の配置位置と眼球角度とのデータ対によって行う。そ
のため、わざわざ別個の校正処理プログラムを動かす必
要がなく、校正作業による作業効率の低下を来すことは
ない。なお、この学習は、前記第１の実施例においても
同様である。

【００３８】［まばたき検知］空間位置検出素子８１の
出力値は、オペレータの視線検出と併せて、瞬きの検出
にも用いられる。すなわち、空間位置検出素子８１から
の（差分前の）生出力は、該素子上での光量分布を反映
しているので、瞬き検出回路８４は単位時間毎に上記空
間位置検出素子８１の出力を積分し、それらの単位時間
積分値が閾値以下になったときに、瞬きが発生したと見
做す。この瞬きの発生が検出されたという情報はただち
に制御回路８５へ送られる。

【００３９】［制御回路］制御回路８５は、マイクロプ
ロセサ上にソフトウェアとして実現される。図９は制御
回路による液晶ディスプレイ上の表象の表示処理過程を
説明するフローチヤートである。図８の差分回路８２か
らの注視点位置データは、常にポーリングおよびデータ
照合ステップ８１で取り込まれて表示データメモリ８２
上の表象位置データと照合される。この照合結果のデー
タ状態について、注視位置に表象が配置されている場合
には、液晶ディスプレィ上での表象表示をグレー反転さ
せる（８４）。これは、オペレータがその表象を注視し
ていることを示しているだけの表示である。

【００４０】瞬き検出回路から瞬き発生の信号がきた際
に、このグレー反転表象が存在する場合には、この表象
を完全に反転させる（ステップ８６）。この表示は、そ
の表象がシステムにおいて選択された旨を示すものであ
る。すなわち、表象がいわゆるメニュー形式のものであ
れば、選択された項目が選ばれ、該当するアプリケーシ
ョンのプログラムが実行されたことを示す（ステップ８
７）。ただし、具体的な表象システムの設計については
千差万別なものが可能であるので、ここでは特定なもの
を例示したにすぎない。一方、瞬き発生の信号がきた際
にグレー反転表象が存在しない場合には、選択状態の対
象すなわち白黒反転表象をすべてクリアし、反転解除す
る（ステップ８５）。これらの処理がなされた後は、再
び注視点位置データと瞬き検出信号のポーリングおよび
データ照合のステップ（ステツプ８１）にもどる。

【００４１】このように、頭部に固定した３次元映像表
示手段（図７に示したヘッドマウントディスプレイ）
に、操作者の操作対象となる情報群に対応した表象群を
空間的に布置する。視線検出手段は操作者の眼球運動角
度により注視している表象を特定する。このとき、映像
表示手段は操作者の身体運動に拘わらず操作者の眼球と
の相対的位置関係を不変に保っているので、長時間の使
用においても注視位置がずれることがない。さらに、位
置指定の精度を保持するために表示装置との間で頻繁な
レジストーションを実施したり、注視点カーソルを表示
して操作者に制御させたり、頭部の動きを固定したりす
る必要がまったくない。このことは、作業効率の向上と
操作者の心理・整理的負担軽減をもたらす。

【００４２】［対象選択意志発生の告知］頭部に固定し
た映像表示手段は、通常の視認活動を妨げるのでキーボ
ードその他のスイッチ類を用いて情報選択意志を入力す
ることは困難である。そこで、操作者の意図的な瞬き，
すなわち通常の生理的なまばたき動作よりも長時間にわ
たる随意的な瞬き行為により情報選択意志を検出し、円
滑な作業を実現させる。

【００４３】

【発明の効果】以上説明したように、本発明によれば、
操作対象となる情報群を視覚的に表示するための映像表
示手段における情報操作者の注視位置を推定する視点解
析手段と、映像表示手段の表示位置を特定する前記情報
操作者の発話および前記映像表示手段の表示情報を特定
する発話を認識する音声認識手段とを組み合わせて入力
装置を構成することにより、操作対象となる情報群の中
で情報操作者が選択した情報を正確に特定することがで
きる。また、前記音声認識手段の認識した発話に対応す
る表示情報の候補が複数抽出された場合には、指示内容
推論手段は、表示情報データべースに記憶され且つ現在
表示されている表示情報であって抽出順序の最も高い表
示情報を情報操作者の指示内容であると判断するので、
映像表示手段上で操作者が真に意図する対象物（操作対
象となる情報）を正確に特定できるようになり、前記意
図する対象物付近の別の対象物が誤って選択される割合
を減少できる。また、上記視点解析手段，音声認識手
段、操作者の動作解析手段を組合せた入力装置を使用す
ることにより、操作対象となる情報の中で選択された情
報の特定をより正確に行うことができる。また、音声合
成による音声出力手段を操作コマンド推定の補助情報と
して用いた場合には、操作対象となる情報の中で選択さ
れた情報の特定をより正確に行うことが可能となる。

【図面の簡単な説明】

【図１】 本発明による入力装置の基本構成を説明する
ブロツク図である。

【図２】 本発明による入力装置の第１の実施例を説明
するブロック図である。

【図３】 本発明に用いる視点解析装置の概略構成の説
明図である。

【図４】 操作推定回路の処理を説明するデータフロー
図である。

【図５】 発話受理に伴うインタプリタの状態遷移図で
ある。

【図６】 音声認識による発話音声データとアイカメラ
による視点解析データを用いたコマンド選択実行の処理
におけるデータフロー図である。

【図７】 本発明による入力装置の第１の実施例を説明
するブロック図であって、操作者の視点解析手段と視線
を認識するための瞬き動作検出手段を備えた３次元表示
ヘッドマウントディスプレイ装置の概略構造説明図であ
る。

【図８】 図７に示したヘッドマウントディスプレイ装
置の入力処理を説明するデータフロー図である。

【図９】 制御回路による液晶ディスプレイ上の表象の
表示処理過程を説明するフローチヤートである。

【符号の説明】

１…映像表示手段、２…視点解析手段、３…音声認識手
段、４…指示内容推論手段、５…指示操作実行手段、６
…動作解析手段、７…音声合成出力手段。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 操作対象となる情報群を視覚的に表示す
   るための映像表示手段と、 前記映像表示手段における情報操作者の注視位置を推定
   する視点解析手段と、 前記映像表示手段の表示位置を特定する前記情報操作者
   の発話および前記映像表示手段の表示情報を特定する発
   話を認識する音声認識手段と、 前記視点解析手段の解析により推定した情報操作者の注
   視位置と、前記音声認識手段により認識した発話内容に
   基づいて、情報操作者の指示内容を判断するとともに、
   前記音声認識手段の認識した発話に対応する表示情報の
   候補が複数抽出された場合には、表示情報データべース
   に記憶され且つ現在表示されている表示情報であって抽
   出順序の最も高い表示情報を情報操作者の指示内容であ
   ると判断する指示内容推論手段と、 前記指示内容推論手段により判断された情報操作者の指
   示内容の操作を実行する指示操作実行手段と、を備えた
   ことを特徴とする入力装置。
2. 【請求項２】 表示情報データべースに記憶され且つ現
   在表示されている表示情報であって抽出順序の最も高い
   表示情報が複数有る場合には、前記抽出順序の最も高い
   複数の表示情報の中で、前記表示情報データベースによ
   り定まる表示位置と情報操作者の注視位置とが一致して
   いる表示情報を情報操作者の指示内容であると判断する
   前記指示内容推論手段を備えた請求項１記載の入力装
   置。
3. 【請求項３】 前記音声認識手段の認識した発話に対応
   する表示情報の候補が、現在表示されている表示情報で
   ない場合には前記発話を無視する前記指示内容推論手段
   を備えた請求項１または２記載の入力装置。
4. 【請求項４】操作対象となる情報群を視覚的に表示する
   映像表示手段と、 操作者の発話を認識する音声認識手段と、 前記操作者の頭部の動きを解析する動作解析手段と、 前記音声認識手段により認識された発話及び前記動作解
   析手段により解析された前記操作者の頭部の動きに基づ
   いて操作すべき指示内容を判断する指示内容推論手段
   と、 前記指示内容推論手段により判断された指示内容を実行
   する指示操作実行手段と、を備えたことを特徴とする入
   力装置。
5. 【請求項５】 情報操作者の視認可能な位置に配置され
   て操作対象となる情報群を視覚的に表示する映像表示手
   段と、前記情報操作者の眼球に光を入射させる発光器
   と、前記眼球で反射した反射光を検出する前記光位置検
   出素子とを有し情報操作者の頭部に装着される入力装置
   用ヘッドマウントディスプレイ。