JP2013254406A - 表示装置、表示方法及びプログラム。 - Google Patents

Abstract

【課題】視線を用いて操作を行う場合にユーザの意図どおりの操作ができるようにする。
【解決手段】視線検出部２０２は、撮像部１０６で撮像したユーザの顔の画像からユーザの視線を検出する。特定部２０１は、表示部１０４２の表面においてユーザが触れた位置を特定する。第１制御部２０３は、特定部２０１で特定された位置に表示装置を操作するためのサブメニューが表示されるように、表示部１０４２を制御する。第２制御部２０４は、表示部１０４２にサブメニューが表示されている場合、カーソルの位置を固定し、表示部１０４２にサブメニューが表示されていない場合、カーソルの位置を視線検出部で検出された視線に基づいて決定し、決定した位置にカーソルが表示されるように表示部１０４２を制御する。
【選択図】図２

Description

本発明は、ユーザインターフェースに関する。

ユーザが見ている位置を用いるユーザインターフェースの発明として、例えば特許文献１に開示された入力装置がある。この入力装置の第１の実施の形態においては、表示画面においてユーザが見ている位置を特定し、特定した位置に対応した処理を実行する。

特開平１０−１６１８０１号公報

上述した第１の実施の形態においては、視点の位置に対応した処理を実行してしまう。このため、ユーザが意図せずに所望の位置とは異なる位置を見てしまった場合、その見た位置に対応した処理が実行されてしまい、ユーザの想定していなかった処理が実行されてしまうこととなる。

本発明は、上述した背景の下になされたものであり、視線を用いて操作を行う場合にユーザの意図どおりの操作ができるようにすることを目的とする。

上述した目的を達成するため、本発明は、画像を表示する表示面を有する表示手段と、ユーザの視線を検出する視線検出手段と、前記表示面上においてユーザが触れた位置を特定する特定手段と、前記特定手段で特定された位置に自装置を操作するための操作画像が表示されるように、前記表示手段を制御する第１制御手段と、前記表示手段にカーソルを表示させる手段であって、前記表示手段に前記操作画像が表示されている場合、前記カーソルの位置を固定し、前記表示手段に前記操作画像が表示されていない場合、前記カーソルの位置を前記視線検出手段で検出された視線に基づいて決定し、決定した位置に前記カーソルが表示されるように前記表示手段を制御する第２制御手段とを備える表示装置を提供する。

本発明においては、前記第１制御手段は、ユーザの触れた位置を前記特定手段が特定したときに前記カーソルに重なって表示されている画像に対応した操作画像が表示されるように前記表示手段を制御する構成としてもよい。

また本発明においては、前記操作画像が表示されている場合の前記カーソルの表示態様と前記操作画像が表示されていない場合の前記カーソルの表示態様とが異なる構成としてもよい。

また、本発明は、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記特定ステップで特定された位置に前記表示手段を有する表示装置を操作するための操作画像が表示されるように、前記表示手段を制御する第１制御ステップと、前記表示手段にカーソルを表示させるステップであって、前記表示手段に前記操作画像が表示されている場合、前記カーソルの位置を固定し、前記表示手段に前記操作画像が表示されていない場合、前記カーソルの位置を前記視線検出ステップで検出された視線に基づいて決定し、決定した位置に前記カーソルが表示されるように前記表示手段を制御する第２制御ステップとを備える表示方法を提供する。

また、本発明は、コンピュータに、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、前記特定ステップで特定された位置に前記表示手段を有する表示装置を操作するための操作画像が表示されるように、前記表示手段を制御する第１制御ステップと、前記表示手段にカーソルを表示させるステップであって、前記表示手段に前記操作画像が表示されている場合、前記カーソルの位置を固定し、前記表示手段に前記操作画像が表示されていない場合、前記カーソルの位置を前記視線検出ステップで検出された視線に基づいて決定し、決定した位置に前記カーソルが表示されるように前記表示手段を制御する第２制御ステップとを実行させるためのプログラムを提供する。

本発明によれば、視線を用いて操作を行う場合にユーザの意図どおりの操作ができる。

情報処理装置１のハードウェア構成を示した図である。 情報処理装置１の機能ブロック図。 制御部１０２が行う処理の流れを示したフローチャート。 制御部１０２が行う処理の流れを示したフローチャート。 制御部１０２が行う処理の流れを示したフローチャート。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。 表示部１０４２に表示される画面の一例を示した図。

［実施形態］
（ハードウェアの構成）
図１は、本発明の一実施形態に係る情報処理装置１のハードウェア構成を示した図である。情報処理装置１は、板状の筐体にタッチスクリーンやハードウェアのボタンなどを備えた所謂タブレット端末と呼ばれるコンピュータ装置である。図１に示したように、情報処理装置１の各部はバス１０１により接続されている。

通信部１０５は、無線通信を行う通信インターフェースの機能を備えている。情報処理装置１は、通信部１０５を制御して無線ＬＡＮ（Local Area Network）や移動体通信網に接続し、データ通信や音声通信を行う。
操作部１０４は、情報処理装置１を操作するための複数のハードウェアのボタンを備えている。また、操作部１０４は、画像を表示する表示手段の一例である表示部１０４２と、表示部１０４２の表面に設けられ、表示部１０４２が表示した画像を透過し、指が触れた位置を検出する位置検出部１０４１とが一体化したタッチスクリーン１０４Ａを備えている。なお、表示部１０４２としては、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイが用いられるが、これらに限定されるものではなく他のディスプレイであってもよい。また、位置検出部１０４１としては、触れている複数の指の位置を検出するもの（例えば静電容量方式のもの）が用いられる。
撮像部１０６は、レンズや固体撮像素子を備えており、レンズによって固体撮像素子に結像した像を表す画像を生成する。

記憶部１０３は、不揮発性メモリを備えている。記憶部１０３は、オペレーティングシステムを実現させるプログラムＯＳや、各種アプリケーションプログラムを記憶する。制御部１０２は、ＣＰＵ（Central Processing Unit）１０２Ａ、ＲＯＭ（Read Only Memory）１０２ＢおよびＲＡＭ（Random Access Memory）１０２Ｃ等を備えている。ＣＰＵ１０２Ａが、ＲＯＭ１０２Ｂに記憶されているＩＰＬ（Initial Program Loader）を実行すると、記憶部１０３に記憶されているプログラムＯＳが実行されてオペレーティングシステムが実現し、各種アプリケーションプログラムの実行が可能となる。本実施形態においては、オペレーティングシステムが実現すると、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。

（機能ブロックの説明）
図２は、制御部１０２において実現する機能のうち本発明に係る特徴的な機能に関係する機能ブロックを示した図である。本実施形態においては、上述したように、タッチスクリーン１０４Ａと撮像部１０６を用いるユーザインターフェースが実現する。図２は、このユーザインターフェース機能に係る機能ブロック図である。

特定部２０１は、位置検出部１０４１においてユーザが触れた指の位置を特定するものである。特定部２０１は、位置検出部１０４１で生成される位置データを取得する。この位置データは、表示部１０４２の表示面上でユーザが指で触れた位置を表す。特定部２０１は、この位置データを基にしてユーザが触れた指の位置を特定する。
視線検出部２０２は、ユーザの視線を検出するものである。視線検出部２０２は、ユーザの顔の画像を取得する。視線検出部２０２は、取得した顔の画像からユーザの視線を検出する。

第１制御部２０３は、特定部２０１で特定された位置に情報処理装置１を操作するための操作画像の一例であるサブメニューが表示されるように表示部１０４２を制御するものである。サブメニューの項目は、カーソルのある位置に応じて変更する。
第２制御部２０４は、表示部１０４２にカーソルを表示させるものである。第２制御部２０４は、表示部１０４２にサブメニューが表示されている場合、表示されているカーソルの位置を固定する。また、第２制御部２０４は、表示部１０４２にサブメニューが表示されていない場合、カーソルの位置を視線検出部２０２が検出した視線に基づいて決定し、決定した位置にカーソルが表示されるように表示部１０４２を制御する。

（実施形態の動作例）
次に本実施形態の動作の一例について、図３〜５のフローチャートと、図６〜８に示した画面例を用いて説明する。図６は、情報処理装置１において表示される操作画面の一例である。この画面においては、カーソル１０が表示され、絵文字の一例であるアイコン２０−１、２０−２が表示されている。また、この画面においては、写真を表示するアプリケーションプログラムに係る表示領域３０（所謂ウィンドウ）が表示されている。まず、カーソル１０を移動させるときの動作例について説明する。

図６の画面が表示されている状態においてユーザが表示画面に目を向けると、ユーザの顔が撮像部１０６で撮像される。撮像部１０６においては、ユーザの顔を含む画像（以下、顔画像と称する）が生成される。制御部１０２は、この顔画像を取得する（図３：ステップＳＡ１）。制御部１０２は、顔画像を取得すると、例えば、特開平１０−３９９９５号公報に開示されている技術を用いてユーザの視線を検出し、表示画面においてユーザが見ている位置を特定する（ステップＳＡ２）。なお、ユーザの視線を検知する技術は、上記の方法に限定されるものではなく、ユーザの頭部に取り付けられたカメラでユーザの眼球を撮像し、この撮像した画像から視線を検知する方法など、他の周知の方法を用いてもよい。

制御部１０２は、ユーザが見ている位置を特定すると、後述するサブメニューが表示されているか判断する。制御部１０２は、後述するサブメニューが表示部１０４２に表示されていない場合（ステップＳＡ３でＹＥＳ）、ステップＳＡ２で特定した位置にカーソル１０が表示されるように表示部１０４２を制御する（ステップＳＡ４）。
例えば、ユーザがアイコン２０−２の位置を見つめると、図７の（ａ）に示したように、カーソル１０がアイコン２０−２上に表示される。また、ユーザが表示領域３０内を見つめると、図７の（ｂ）に示したように、カーソル１０が表示領域３０内に表示される。

次に、サブメニューを表示させるときの動作例について図４を用いて説明する。サブメニューが表示されていない状態において、ユーザがタッチスクリーン１０４Ａに触れると、ユーザが触れた指の位置を表す位置データを位置検出部１０４１が生成し、制御部１０２は、この位置データを取得する（図４：ステップＳＢ１）。次に制御部１０２は、カーソル１０と重なっている画像を特定する（ステップＳＢ２）。そして制御部１０２は、特定した画像に対応したサブメニューが位置データの表す位置に表示されるように表示部１０４２を制御する（ステップＳＢ３）。

例えば、制御部１０２は、図７の（ａ）に示したうようにカーソル１０がアイコン２０−２の位置にある場合、図８の（ａ）に示したように、アイコン２０−２に対応したサブメニューＭ１が表示されるように表示部１０４２を制御する。なお、サブメニューＭ１は、タッチスクリーン１０４Ａに触れた指４０の位置に表示される。また、制御部１０２は、図７の（ｂ）に示したようにカーソル１０が表示領域３０内の位置にある場合、図８の（ｂ）に示したように、表示領域３０に係るアプリケーションに対応したサブメニューＭ２が表示されるように表示部１０４２を制御する。なお、サブメニューＭ２も、タッチスクリーン１０４Ａに触れた指４０の位置に表示される。

次に、サブメニューが表示されている状態でユーザが視線を動かすと、制御部１０２は、ステップＳＡ３でＮＯと判定する。制御部１０２は、ステップＳＡ３でＮＯと判定すると、ステップＳＡ４の処理を実行せずに図３の処理を終了する。つまり、サブメニューが表示されている状態においては、ユーザが見る位置を変えてもステップＳＡ４の処理が実行されずにカーソル１０が移動しないため、カーソル１０の位置が固定されることとなる。

次に、サブメニューの表示中にユーザがタッチスクリーンから指を離した場合の動作例について図５を用いて説明する。サブメニューの表示中にユーザが指をタッチスクリーン１０４Ａから離すと、位置検出部１０４１において位置データが生成されず、制御部１０２は、位置データを取得できなくなる。制御部１０２は、サブメニューの表示中に位置データを取得できなくなると、図５の処理を実行する。
まず、制御部１０２は、位置データを取得できなくなってから経過した時間、即ち、タッチスクリーン１０４Ａからユーザが指を離してから経過した時間が、予め定められた時間（本実施形態では３秒）を超えたか判断する。なお、この時間は３秒に限定されるものではなく、３秒未満の時間や３秒を超える時間であってもよい。制御部１０２は、ユーザが指を離してから経過した時間が予め定められた時間を超えた場合（ステップＳＣ１でＹＥＳ）、表示されているサブメニューを消去する（ステップＳＣ２）。この後、制御部１０２が図３の処理を実行すると、サブメニューが表示されていないためステップＳＡ３でＮＯと判定されてステップＳＡ４の処理が実行されるため、ユーザが見ている位置にカーソル１０が表示される。つまり、サブメニューが消去された後は、視線を動かすと再びカーソル１０の位置が移動することとなる。

なお、ステップＳＣ１でＮＯと判断した場合、制御部１０２は、位置データが生成されているか判断する。ユーザが指をタッチスクリーン１０４Ａから離した後、予め定められた時間内にタッチスクリーン１０４Ａに再び触れると、位置検出部１０４１で位置データが生成され、制御部１０２はステップＳＣ３でＹＥＳと判断する。
制御部１０２は、ステップＳＣ３でＹＥＳと判断すると、位置データを取得する（ステップＳＣ４）。次に制御部１０２は、取得した位置データが表す位置が、サブメニューの項目上であるか判断する。制御部１０２は位置データの位置がサブメニューの項目上ではない場合（ステップＳＣ４でＮＯ）、サブメニューを消去せずに図５の処理を終了する。この後、制御部１０２は、図４の処理を実行し、生成された位置データが表す位置にサブメニューを表示する。

一方、制御部１０２は、位置データが表す位置がサブメニューの項目上である場合（ステップＳＣ４でＹＥＳ）、当該位置にある項目を特定し、特定した項目に対応した処理を実行する（ステップＳＣ５）。例えば、制御部１０２は、特定した位置がサブメニューＭ１の「開く」の位置であった場合、カーソル１０がアイコン２０−２の位置にあるため、アイコン２０−２に係るアプリケーションプログラムを実行する。また、制御部１０２は、特定した位置がサブメニューＭ２の「拡大」の位置であった場合、表示領域３０内に表示されている画像が拡大されて表示されるように表示部１０４２を制御し、特定した位置がサブメニューＭ２の「縮小」の位置であった場合、表示領域３０内に表示されている画像が縮小されて表示されるように表示部１０４２を制御する。

本実施形態によれば、サブメニューが表示されるとカーソルの位置が固定されるため、ユーザは、サブメニューがどのアイコンやアプリケーションに対応しているのか容易に知ることができる。また、サブメニューが表示されるとカーソルの位置が固定されるため、サブメニューを見ながら操作するときにカーソルがサブメニューに重ならず、ユーザは煩わしさを感じることがない。また、指でタッチスクリーン１０４Ａに触れるだけでカーソルが固定され、指をタッチスクリーンから離すだけでカーソルが移動可能となるため、カーソルの移動や固定をメニュー操作やハードウェアボタンで指示する場合と比較すると、容易にカーソルの移動と固定をすることができる。また、本実施形態によれば、カーソルの位置に対応したサブメニューが表示され、サブメニューが表示された後はカーソルが固定される。そして、カーソルが固定された後は実行させる処理を視線で指定することはできなくなるため、視線だけで操作を行う特許文献１の発明の第１の実施の形態の構成と比較すると、ユーザの意図どおりの操作を行うことができる。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。

上述した実施形態においては、カーソルの移動とサブメニューの表示を行う機能がオペレーティングシステムのプログラムを実行することにより実現しているが、この機能を実現するのは、オペレーティングシステムのプログラムに限定されるものではない。例えば、オペレーティングシステムのプログラムとは別のアプリケーションプログラムを実行することにより、カーソルの移動とサブメニューの表示を行う機能が実現するようにしてもよい。

上述した実施形態においては、撮像部１０６が情報処理装置１に内蔵されている構成となっているが、この構成に限定されるものではない。例えば、レンズと固定撮像素子とを備えるカメラを情報処理装置１に接続し、このカメラでユーザの顔を撮像するようにしてもよい。また、レンズと固定撮像素子とを備えるカメラを眼鏡のフレームに配置し、このフレームに設けられたカメラでユーザの顔を撮像するようにしてもよい。

情報処理装置１においては、一つのアプリケーションプログラムに係る画面が表示画面の全面に表示される場合がある。このように、一つのアプリケーションプログラムに係る画面が表示画面の全面に表示されている場合においても、指が触れた位置にサブメニューを表示するようにしてもよい。また、この構成の場合には、カーソルの位置に応じてサブメニューの項目を変更するようにしてもよい。

上述した実施形態においては、ユーザがタッチスクリーン１０４Ａに触れるとサブメニューが表示されるが、サブメニューを表示する契機は、この操作に限定されるものではない。例えば、ユーザがタッチスクリーン１０４Ａに指を接触させたまま指をスライドさせるとサブメニューを表示するようにしてもよい。

上述した実施形態においては、カーソル１０が移動可能な状態とカーソル１０の位置が固定されている状態とでカーソル１０の表示態様を異ならせるようにしてもよい。
例えば、カーソル１０が移動可能な状態にある場合にはカーソル１０の色を白とし、カーソル１０の位置が固定されている状態にある場合には、カーソル１０の色を白以外の色に変更してもよい。また、カーソル１０の位置が固定されている状態にある場合には、カーソル１０が点滅するように表示し、カーソル１０が移動可能な状態にある場合にはカーソル１０を点滅させないようにしてもよい。また、カーソル１０の位置が固定されている状態にある場合のカーソル１０の面積を、カーソル１０が移動可能な状態にある場合の面積より広くするようにしてもよい。また、カーソル１０が移動可能にある状態とカーソル１０の位置が固定されている状態とでカーソル１０の形状を異ならせるようにしてもよい。また、これらの変形例を組み合わせてもよい。

上述した実施形態においては、情報処理装置１は、通信ネットワークを介した通信を行う機能を備えているが、この機能を備えたものに限定されるものではない。例えば、電子ブックリーダなど、通信ネットワークを介した通信を行う機能を備えていないものであってもよい。

上述した実施形態の機能を実現するプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤ（Flexible Disk）））など、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、情報処理装置１にインストールしてもよい。また、通信回線を介して情報処理装置１にダウンロードしてインストールしてもよい。

１…情報処理装置、１０１…バス、１０２…制御部、１０２Ａ…ＣＰＵ、１０２Ｂ…ＲＯＭ、１０２Ｃ…ＲＡＭ、１０３…記憶部、１０４…操作部、１０４Ａ…タッチスクリーン、１０５…通信部、１０６…撮像部、２０１…特定部、２０２…視線検出部、２０３…第１制御部、２０４…第２制御部、１０４１…位置検出部、１０４２…表示部

Claims (5)

1. 画像を表示する表示面を有する表示手段と、
   ユーザの視線を検出する視線検出手段と、
   前記表示面上においてユーザが触れた位置を特定する特定手段と、
   前記特定手段で特定された位置に自装置を操作するための操作画像が表示されるように、前記表示手段を制御する第１制御手段と、
   前記表示手段にカーソルを表示させる手段であって、前記表示手段に前記操作画像が表示されている場合、前記カーソルの位置を固定し、前記表示手段に前記操作画像が表示されていない場合、前記カーソルの位置を前記視線検出手段で検出された視線に基づいて決定し、決定した位置に前記カーソルが表示されるように前記表示手段を制御する第２制御手段と
   を備える表示装置。
2. 前記第１制御手段は、ユーザの触れた位置を前記特定手段が特定したときに前記カーソルに重なって表示されている画像に対応した操作画像が表示されるように前記表示手段を制御すること
   を特徴とする請求項１に記載の表示装置。
3. 前記操作画像が表示されている場合の前記カーソルの表示態様と前記操作画像が表示されていない場合の前記カーソルの表示態様とが異なること
   を特徴とする請求項１又は請求項２に記載の表示装置。
4. ユーザの視線を検出する視線検出ステップと、
   画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
   前記特定ステップで特定された位置に前記表示手段を有する表示装置を操作するための操作画像が表示されるように、前記表示手段を制御する第１制御ステップと、
   前記表示手段にカーソルを表示させるステップであって、前記表示手段に前記操作画像が表示されている場合、前記カーソルの位置を固定し、前記表示手段に前記操作画像が表示されていない場合、前記カーソルの位置を前記視線検出ステップで検出された視線に基づいて決定し、決定した位置に前記カーソルが表示されるように前記表示手段を制御する第２制御ステップと
   を備える表示方法。
5. コンピュータに、
   ユーザの視線を検出する視線検出ステップと、
   画像を表示する表示手段の表示面上においてユーザが触れた位置を特定する特定ステップと、
   前記特定ステップで特定された位置に前記表示手段を有する表示装置を操作するための操作画像が表示されるように、前記表示手段を制御する第１制御ステップと、
   前記表示手段にカーソルを表示させるステップであって、前記表示手段に前記操作画像が表示されている場合、前記カーソルの位置を固定し、前記表示手段に前記操作画像が表示されていない場合、前記カーソルの位置を前記視線検出ステップで検出された視線に基づいて決定し、決定した位置に前記カーソルが表示されるように前記表示手段を制御する第２制御ステップと
   を実行させるためのプログラム。

Images