JP2014191629A - 表示装置および同装置における画面制御方法 - Google Patents

Abstract

【課題】３Ｄ表示の場合でも立体視を阻害せずに視線入力だけで補助的な操作を不要とするシームレスな操作を可能にする。
【解決手段】３Ｄ画面表示を行う表示部１３と、表示部１３の画面に対する視線位置を計測する視線計測部１２とを備えた表示装置（携帯譲歩端末１０）であって、アプリケーションを実行する制御部１１を更に備え、制御部１１は、視線計測部１２から出力される情報に基づき、画面の奥行き方向に対する視線移動を検出し、関連する画面を表示部１３に重ね合わせ表示してアプリケーションに対する入力を検知する。
【選択図】図１

Description

本発明は、３Ｄ映像表示を行う表示装置および同装置における画面制御方法に関する。

携帯情報端末の高機能化とアプリケーションの多様化に伴い、画面上に多数のアイコンが配置されるようになった。アイコンの配置が多くなったため、それらの表示を管理するページめくりのような画面切り替えの方法が一般化してきた。

また、近年、携帯情報端末に３Ｄ液晶が搭載されるようになり、立体空間上に多数のアイコンを表示することが可能になった。３Ｄ液晶は、光の進行方向を制御して左右の目に異なる画像が見えるようにすることで専用の眼鏡を必要とせずに立体表示が可能な表示装置である。例えば、右目用画像と左目用画像とを足し合わせ画像をＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶に表示することで、それぞれの目に応じた画像を見ることができる。

ところで、マンマシンインタフェースとして頻繁に使用されるマウスやキーボード、あるいは現在主流となっているタッチパネルに加え、ユーザの視線を利用して操作が可能な視線入力インタフェースが知られている。視線入力によれば、ユーザの視線位置から画面上のどの位置を見ているかを判別することができる。例えば、特許文献１には、視線情報で画面決定を行う技術が開示されている。しかしながら、特許文献１に開示された技術は、２Ｄ画面上での操作方法であって３Ｄ画面上での適用はできない。

特開平９−２０４２８７号公報

上記したように、携帯情報端末では３Ｄ液晶の搭載により立体空間で多数表示されたアイコンを効率的に操作する方法が必要となったが、タッチパネルでは、３Ｄ液晶画面を隠すことに繋がり、立体視を阻害するという問題があった。これに対し、画面を隠すことがない視線入力であれば、３Ｄ画面上でも立体視を阻害することなく操作が可能になる。

しかしながら、視線入力には、マウスのクリック操作のようなユーザの意思決定を伝える手段が存在せず、このため、ボタンによる補助的な操作、視線位置を一定時間固定する方法、あるいはウィンク等による方法で代替している。したがって、３Ｄ表示の場合でも立体視を阻害することなく視線入力だけで補助的な操作を不要とするシームレスな操作方法の出現が望まれている。

本発明は上記した課題を解決するためになされたものであり、３Ｄ表示の場合でも立体視を阻害せずに視線入力だけで補助的な操作を不要とするシームレスな操作を可能とした、表示装置および同装置における画面制御方法を提供することを目的とする。

上記した課題を解決するために本発明の一態様による表示装置は、３Ｄ画面表示を行う表示部と、前記表示部の画面に対する視線位置を計測する視線計測部とを備えた表示装置であって、アプリケーションを実行する制御部を更に備え、前記制御部は、前記視線計測
部から出力される情報に基づき、前記画面の奥行き方向に対する視線移動を検出し、関連する画面を前記表示部に重ね合わせ表示して前記アプリケーションに対する入力を検知することを特徴とする。

本発明の別の態様による表示装置において、前記制御部は、前記奥行き方向へしきい値以上の移動を検出した場合に、前記アプリケーションに対する入力の検知を確定することを特徴とする。

本発明の別の態様による表示装置において、前記制御部は、予め登録された情報に基づき、ユーザ毎に左目映像と右目映像間の距離を調整することにより焦点距離を変更制御することを特徴とする。

本発明の別の態様による表示装置において、前記制御部は、前記視線が手前の画面にある場合、前記表示部の奥の画面をぼけた背景画像とし、手前で何も表示されていない位置で視線を奥行き方向に移動すると、前記手前の画面を透明にして奥の画面をぼけた状態から正常表示に変更制御することを特徴とする。

本発明の別の態様による表示装置において、前記制御部は、前記表示部に表示された奥の画面に視線を移動する際に、前記奥の画面の任意の位置に焦点を合わせたガイド映像を表示することを特徴とする。

本発明の別の態様による表示装置において、前記制御部は、前記手前の画面で何も表示されていない任意の位置に視点を移動したときにキャンセル操作として認識することを特徴とする。

本発明の別の態様による表示装置において、前記制御部は、前記奥行き方向への視点の移動に伴い前記表示部の画面に表示されるコンテンツを追従させて拡大縮小表示を行うことを特徴とする。

また、本発明の一態様による画像制御方法は、３Ｄ画面表示を行う表示部と、前記表示部の画面に対する視線位置を計測する視線計測部と、アプリケーションを実行する制御部とを備えた表示装置において、前記アプリケーションに対する入力検知を行う画面制御方法であって、前記視線計測部から出力される情報に基づき、前記画面の奥行き方向に対する視線移動を検出するステップと、前記視線移動に関連する画面を前記表示部に重ね合わせ表示して前記アプリケーションに対する入力を検知するステップと、を有することを特徴とする。

本発明の一態様による表示装置および同装置における画面制御方法によれば、３Ｄ表示の場合でも立体視を阻害せずに視線入力だけで補助的な操作を不要とするシームレスな操作が可能になる。

本発明の実施の形態に係る携帯情報端末の構成を示すブロック図である。 本発明の実施の形態に係る携帯情報端末の画面操作イメージを示す図である。 本発明の実施の形態に係る携帯情報端末における視点の焦点距離変更による決定処理の流れを示すフローチャートである。 本発明の実施の形態に係る携帯情報端末の３Ｄ表示イメージを示す図である。 本発明の実施の形態に係る携帯情報端末の別の画面操作イメージを示す図である。 図５に続いて、携帯情報端末の画面操作イメージを示す図である。 図６に続いて、携帯情報端末の画面操作イメージを示す図である。 図７に続いて、携帯情報端末の画面操作イメージを示す図である。

以下、添付図面を把握して本発明を実施するための実施の形態（以下、単に本実施形態という）について詳細に説明する。

（実施形態の構成）
図１は、本実施形態に係る表示装置としての携帯情報端末１０の構成を示すブロック図である。図１に示すように、本実施形態に係る携帯情報端末１０は、制御部１１と、視線計測部１２と、表示部１３とを含み、いずれも、アドレス、データ、コントロールのためのラインが複数本で構成されたシステムバス１４に接続されている。

制御部１１は、例えば、メモリを含むマイクロプロセッサで構成され、メモリに記録されたプログラムを逐次読み出し実行することにより、例えば、アプリケーションを実行する。また、制御部１１は、視線計測部１２から出力される情報に基づき、画面の奥行き方向に対する視線移動を検出し、関連する画面を表示部１３に重ね合わせ表示（スーパーインポーズ）してアプリケーションに対する入力を検知する機能を有する。

制御部１１は、奥行き方向へ、しきい値以上の移動を検出した場合に、アプリケーションに対する入力の検知を確定する。また、制御部１１は、ユーザ毎に予め登録された情報に基づき、ユーザの左目映像と右目映像間の距離を調整することにより焦点距離を変更制御することができる。また、制御部１１は、表示部１３に重ね合わせ表示された画面構成において、ユーザの視線が手前の画面にある場合、表示部１３の奥の画面をぼけた背景画像とし、手前で何も表示されていない位置で視線を奥行き方向に移動すると、手前の画面を透明にして奥の画面をぼけた状態から正常表示に変更制御してもよい。

制御部１１は、表示部１３に表示された奥の画面に視線を移動する際に、奥の画面の任意の位置に焦点を合わせたガイド映像を表示してもよい。また、制御部１１は、手前の画面で何も表示されていない任意の位置で視線を奥行き方向に移動すると、キャンセル操作として認識してもよい。また、制御部１１は、奥行き方向への視点の移動に伴い表示部１３の画面に表示されるコンテンツを追従させて拡大縮小表示を行なってもよい。

視線計測部１２は、例えば、赤外線カメラで構成され、眼球に赤外線を照射してその反射光を検出することで眼球の移動角度（回転、角度）を追尾し、制御部１１と協働してユーザが注視しているエリアを特定する機能を有する。

表示部１３は、例えば、３Ｄ液晶により構成される。３Ｄ液晶は、視差バリアを利用して立体表示を行うもので、例えば、ＴＦＴ液晶ディスプレイとスイッチ液晶との組み合わせにより構成される。このスイッチ液晶を制御することにより光学視差バリアを発生させ、左右の目に異なる光が届くように光を分離し、右目画像と左目画像とを足し合わせた画像を３Ｄ表示用画像としてＴＦＴ液晶ディスプレイに表示する。このことにより、ユーザにそれぞれの目に応じた画像が見える仕組みになっている。

（実施形態の動作）
以下、図１に示す本実施形態に係る携帯情報端末１０の動作について、図２〜図４を参照しながら詳細に説明する。

まず、図２に示す画面操作イメージから説明する。３Ｄ画面上で視線入力による画面制御の方式として、まず、奥行き方向の特定位置に幾つかの座標を決める。図２に示す例では、Ａ，Ｂの２箇所としている。ここで、ユーザがブラウジング等を行う場合の画面を、“画面位置Ｂ”に表示させていたとする。ユーザがブラウジングを行う場合、“ＯＫ”、“ＮＧ”の決定画面、またはリンク等の決定操作が必要になるが、視線入力の特徴として、ユーザが視点を奥行き方向へ意識的に動かすことで決定する方法がある。

具体的に、ユーザが画面位置Ａに表示されたボタンＡを見ている場合、視点はこのボタンＡの表示枠範囲（ＸＹ座標）内であって、且つ、画面位置Ａの焦点距離（Ｚ軸座標）にある。この視点は、ＸＹ軸座標枠内でＺ軸のみを移動変化させる（焦点距離を変える）ことが可能であるため、このＺ軸方向へのしきい値（Ｚ軸方向への移動距離）を超えた時点で、ボタンＡの押下を決定したとみなす。そして、画面位置Ｂにボタン決定後の操作画面を表示することで、改めて視点距離（Ｚ軸）を画面位置Ａまで戻す必要がなくなるため、ユーザはスムーズでシームレスな画面操作が可能になる。

尚、ボタンではなく、リンクの場合は、そのリンク表示を囲むように一定の枠を設定することにより同様に処理することが可能である。図３に、制御部１１による始点の焦点距離による決定処理の流れがフローチャートで示されている。

図３において、制御部１１は、まず、視線計測部１２から出力される情報に基づきユーザがボタンまたはリンク枠内を見ているか否かを判定する（ステップＳ１０１）。視点がボタンの表示枠範囲（ＸＹ座標）内、あるいはリンクの表示枠範囲（ＸＹ座標）内であって（ステップＳ１０１“Ｙｅｓ”）、且つ、ユーザによるＺ軸方向への視線の移動を検知すると（ステップＳ１０２“Ｙｅｓ”）、この視点は、ＸＹ軸座標枠内でＺ軸のみを移動変化させる（焦点距離を変える）ことが可能であることから、制御部１１は、Ｚ軸方向へのしきい値（Ｚ軸方向への移動距離）以上の移動か否かを判定する（ステップＳ１０３）。制御部１１は、しきい値を超えた場合に（ステップＳ１０３“Ｙｅｓ”）、ボタン枠内（ステップＳ１０４“Ｙｅｓ”）、および決定方向であるＺ軸方向への視線移動を確認して（ステップＳ１０５“Ｙｅｓ”）、ボタンあるいはリンクを決定したと認識する（ステップＳ１０６）。

続いて、制御部１１は、表示部１３に決定後の画面を表示し（ステップＳ１０７）、ステップＳ１０１のボタンまたはリンク枠内判定処理に戻り、視点の焦点距離変更による決定処理を繰り返す。

なお、視点がボタンの表示枠範囲（ＸＹ座標）内、あるいはリンクの表示枠範囲（ＸＹ座標）内にない（ステップＳ１０１“Ｎｏ”）、Ｚ軸方向への視線の移動でない（ステップＳ１０２“Ｎｏ”）、しきい値以上の移動でない（ステップＳ１０３“Ｎｏ”）、ボタン枠内でない（ステップＳ１０４“Ｎｏ”）、決定方向であるＺ軸方向への移動でない（ステップＳ１０５“Ｎｏ”）、いずれの場合もステップＳ１０１のボタンまたはリンク枠内判定処理に戻って、視点の焦点距離変更による決定処理を繰り返す。

図４に、本実施形態に係る携帯情報端末１０の３Ｄ表示イメージが示されている。通常、ユーザが立体視を行う場合、ユーザ毎に立体視が快適に行える距離（ｚ軸座標）がある。また、３Ｄ映像は、例えば、図４のように左右の目にそれぞれ異なる映像を送ることで立体的に見せることで実現しており、立体映像のＺ軸方向の距離は、この左右の目に送り込む映像間の距離Ａで決まる。

つまり、立体映像を遠くに見せるには、立体映像が表示部１３の物理的な画面の手前に
表示される場合（つまり、図４のように立体映像が飛び出して見える場合）には、距離Ａを狭めると同時に映像を小さくすることで可能になり、立体映像が表示部１３の物理的な画面の奥に表示される場合（つまり、立体映像が奥に見える場合）には、距離Ａを離すと同時に映像を小さくすることで可能になる。よって、映像のサイズを変更せずに距離Ａだけを調整することで、ユーザが認識する立体映像の大きさを変えずに、焦点距離だけを変更することができる。これを利用して、ユーザが閲覧中に、少しずつ距離Ａをユーザが快適に行える距離に調整することで、ユーザに違和感を与えずに楽な焦点距離に画像表示を移動させることが可能になる。

これを焦点距離による決定後の画面に適用することで、画面位置Ｂに表示された画像を、ユーザが違和感を感じることがないように快適な頂点距離（仮に画面位置Ａ）に移動させる。また、Ｗｅｂブラウジングや２Ｄの動画視聴など、画面位置Ａで長時間閲覧するような場合に、距離Ａを徐々に変更させることで、目のストレッチを行うことが可能になり、目の疲れ防止が可能になる。また、視線のＺ軸方向への移動による決定動作は、Ｚ軸の奥方向と手前方向のどちらでも可能であり、画面位置Ａより手前に焦点距離を動かして、画面位置Ｃを表示することも可能である。

このとき、ユーザがＺ軸のいずれの方向に焦点を動かすことで決定と見なすかをわかりやすく表示するため、ボタン映像を半透明にし、画面位置Ｂに焦点を合わすガイド映像を表示しても良い。

（実施形態の効果）
以上説明のように本実施形態に係る携帯情報端末１０によれば、制御部１１は、視線計測部１２から出力される情報に基づき、画面の奥行き方向に対する視線移動を検出し、関連する画面を表示部１３に重ね合わせ表示してアプリケーションに対する入力を検知する。したがって、３Ｄ表示の場合でも立体視を阻害することなく視線入力だけで補助的な操作を不要とするシームレスな操作を実現できる。すなわち、視線入力では、ユーザの視線位置から画面上のどの位置を見ているかを判別するが、タッチパネルやマウスのような入力デバイスと異なり、ＸＹ軸（平面）だけでなく、Ｚ軸（奥行き）の座標も焦点位置から判別可能になる。したがって、ユーザが意図的に奥行き方向の視点移動をユーザの意思表示の手段とすることで、補助的な操作が要らない視線入力だけでの操作が可能になる。

例えば、立体空間上に配置された特定のアイコンＡのデータが表示されており、ユーザはアイコンＡに視点を合わせた状態であるとする。ユーザがこのアイコンＡのデータをエディタ等により編集する場合、マウス等ではダブルクリックなどの意思表示でエディタ画面を開くが、本実施形態に係る携帯情報端末１０では、ユーザが視線をアイコンＡに固定（ＸＹ軸を固定）した状態から、Ｚ軸方向に視線をずらすことでダブルクリックに相当する意思表示とし、ユーザがずらしたＺ軸座標位置に関連する画面を表示する。具体的には、エディタ等の選択画面を表示し、あるいは直接エディタを開いたりすることが可能である。この方法を利用すると、視線入力だけで手軽に異なる機能を呼び出すことが可能になる。

尚、本実施形態に係る携帯情報端末１０では、視点をずらした際に、制御部１１は、表示部１３に画面を重ね合わせ表示（スーパインポーズ）するため、画面が複数重なった状態になる。この場合、手前の画面から奥の画面に戻りたい場合に、手前の画面で奥の画面が隠れると視点移動が困難になると考えられることから、ユーザが手前の画面を見ている際は、制御部１１は、手前の画面を背景画像とし、ピントがぼけた奥の画面として表示しておく。そして、手前の画面でアイコンが表示された位置で、視点を奥の画面のＺ軸方向に位置をずらすと、手前の画面を透明にして、奥の画面をぼけ表示から正常表示に変更制御する。また、手前の画面で何も表示されていない位置で、視点を奥の画面のＺ軸方向に
位置をずらすと、キャンセル操作として認識する。

ここで、図５乃至図７を用いて、より具体的な画面操作イメージを例示する。まず、図５に示すように、手前から奥に向かってＡ，Ｂ，Ｃの画面が重なって存在し、ユーザは視点を画面ＢのＺ軸位置に合わせているとする。その際、制御部１１は、画面Ａを透明化（または半透明でぼかす）し、画面Ｃはピントがぼけた画像として、表示部１３に画面Ｂの背景画像として表示する。次に、ユーザが画面Ｂに表示された特定のテキストファイル（ファイルｂ）に視点を合わせた状態から、画面Ａの位置に焦点を合わせて視点を移動した場合に、制御部１１は、表示部１３に画面Ａを表示させて画面Ａのエディタ等のアイコン（ボタン）を表示する。ここでは、エディタアイコンの他に、例えば、ファイルを削除するための削除アイコン、ファイルを単に閲覧するための閲覧アイコン等を表示する。

そして、ユーザが画面Ａ上でエディタアイコンに視点を合わせ（図６）、画面Ｂ位置に視点をずらすと、制御部１１は、表示部１３の画面Ｂに、「ＹＥＳ ｏｒ Ｎｏ」の選択画面を表示する（図７）。なお、このとき、画面Ｂではなく、画面Ａの手前の位置に選択画面を表示してもよいし、画面Ｃに選択画面を表示してもよい。図７に示す選択画面において、ユーザがＹＥＳを選択する、すなわち画面Ｂの選択画面において「ＹＥＳ」に視点を合わせて、そのまま画面Ａに視線をずらすと、制御部１１は、表示部１３の画面Ａに、ファイルｂを編集するためのエディタ画面を表示する。なお、図６において、画面Ａでエディタ等を起動せずに画面Ｂに戻る場合は、画面Ａのアイコン表示が無い位置で画面Ｂの位置に焦点を戻す。

ところで、立体視を行うことにより目の疲労が発生しやすく、また、ユーザ毎に３Ｄ画面を閲覧中に疲労を感じにくいポイント（奥行き）が異なることが知られている。３Ｄ空間上でユーザが文字や画像情報を閲覧する際に、ユーザ毎に表示する奥行き座標（Ｚ座標）を調整することで、目の疲労を軽減できる。これは、制御部１１が、予めユーザ毎に登録された情報に基づき、ユーザ毎に左目映像と右目映像間の距離を調整することにより焦点距離を変更制御することで実現できる。

したがって、視線入力中に文字や画面情報を閲覧しているユーザが、意識的に立体視が楽なポイント（Ｚ座標）に視点を移動させ、そのＺ座標に追従して文字や画像情報を追従させることで、ユーザの疲労が少ないポイントでの立体視が可能になる。なお、文字や画像情報をＺ軸方向に移動させる際は、ユーザにとって文字の大きさが変わらないように、拡大縮小表示を行うことで、ユーザに違和感を感じさせないようにする。すなわち、例えば、手前から奥に風船の画像を移動させる際に、ユーザに見える大きさが変わらないように膨らませるイメージである。

また、上記したユーザの意識的な視点移動に合わせるのとは逆に、立体視で特定画像を長時間見る場合等、見かけの大きさが変わらないように、Ｚ軸方向に画像情報を徐々に前後させることで、ユーザに違和感を与えずに視点をずらすことが可能になるため目の疲労防止がはかれる。更に、Ｚ軸方向へ視点を移動した際に、制御部１１が画像を拡大縮小処理することで、視点移動により、ピンチイン、ピンチアウトのような操作も可能になる。

なお、本実施形態に係る表示装置として、携帯情報端末１０のみ例示したが、ゲーム機、スマートフォン、タブレット、ＰＣ等、３Ｄ表示可能な表示部１３を有するものであれば、赤外線カメラ等の視点計測部１２を付加するだけで、いずれの電子機器にも適用が可能である。

以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更
又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０…表示装置（携帯情報端末）、１１…制御部、１２…視線計測部、１３…表示部、１４…システムバス

Claims (8)

1. ３Ｄ画面表示を行う表示部と、前記表示部の画面に対する視線位置を計測する視線計測部とを備えた表示装置であって、
   アプリケーションを実行する制御部を更に備え、
   前記制御部は、
   前記視線計測部から出力される情報に基づき、前記画面の奥行き方向に対する視線移動を検出し、関連する画面を前記表示部に重ね合わせ表示して前記アプリケーションに対する入力を検知することを特徴とする表示装置。
2. 前記制御部は、
   前記奥行き方向へしきい値以上の移動を検出した場合に、前記アプリケーションに対する入力の検知を確定することを特徴とする請求項１記載の表示装置。
3. 前記制御部は、
   予め登録された情報に基づき、ユーザ毎に左目映像と右目映像間の距離を調整することにより焦点距離を変更制御することを特徴とする請求項１または２記載の表示装置。
4. 前記制御部は、
   前記視線が手前の画面にある場合、前記表示部の奥の画面をぼけた背景画像とし、視線を奥行き方向に移動すると、前記手前の画面を透明にして奥の画面をぼけた状態から正常表示に変更制御することを特徴とする請求項１〜３のいずれか１項記載の表示装置。
5. 前記制御部は、
   前記表示部に表示された奥の画面に視線を移動する際に、前記奥の画面の任意の位置に焦点を合わせたガイド映像を表示することを特徴とする請求項４記載の表示装置。
6. 前記制御部は、
   前記手前の画面で何も表示されていない任意の位置で、視線が奥行き方向に移動すると、キャンセル操作として認識することを特徴とする請求項１〜５のいずれか１項記載の表示装置。
7. 前記制御部は、
   前記奥行き方向への視点の移動に伴い前記表示部の画面に表示されるコンテンツを追従させて拡大縮小表示を行うことを特徴とする請求項１記載の表示装置。
8. ３Ｄ画面表示を行う表示部と、前記表示部の画面に対する視線位置を計測する視線計測部と、アプリケーションを実行する制御部とを備えた表示装置において、前記アプリケーションに対する入力検知を行う画面制御方法であって、
   前記視線計測部から出力される情報に基づき、前記画面の奥行き方向に対する視線移動を検出するステップと、
   前記視線移動に関連する画面を前記表示部に重ね合わせ表示して前記アプリケーションに対する入力を検知するステップと、
   を有することを特徴とする表示装置における画面制御方法。