JP5558983B2

JP5558983B2 - 画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置

Info

Publication number: JP5558983B2
Application number: JP2010206384A
Authority: JP
Inventors: 陽中山
Original assignee: NEC Casio Mobile Communications Ltd
Current assignee: NEC Casio Mobile Communications Ltd
Priority date: 2010-09-15
Filing date: 2010-09-15
Publication date: 2014-07-23
Anticipated expiration: 2030-09-15
Also published as: US8866860B2; JP2012063899A; US20130106921A1

Description

本発明は、携帯端末等の端末装置に用いて好適な画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置に関する。

近年電子ブックの流行により携帯電話機、専用端末等タッチパネルを備える大画面液晶を持つモバイル機器が出始めており、今後は複数画面を備えるモバイル端末が多く発売されることが想定される。複数画面で構成される端末では常に複数の画面で表示を行い続けると消費電力が増加し、バッテリのもちなどの課題が発生する。このような課題に対し、特許文献１では、ユーザの視線を検出することでユーザが見ている画面を判別し、複数の画面の明るさを個別に制御する技術が提案されている。また、特許文献２には、視線検出を用いて画面表示に要する消費電力を制御する技術が示されている。

特開平７−１４６８４５号公報特開２００３−１７４５０５号公報

ところで、現在発売されている多くの電子ブックリーダでは、物理ボタンやタッチパネル操作によって小説などのコンテンツのページ送りを行うようになっている。このような端末を用いて実際にコンテンツを読む際には片手で端末を固定して逆の手でページ送りの操作を行うことが必要であり、毎回操作を行うことに対して、手間がかかるという課題がある。これらのことから、将来のモバイル機器を考える上で、特許文献１に示されているような消費電力の低減という課題とともに、ページ送りなどの操作性の向上が課題になると考えられる。

そこでこの発明は、上述の課題を解決することのできる画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置を提供することを目的としている。

上記課題を解決するため、本発明は、複数の画面表示部を備える画面表示装置であって、ユーザの視線を表すユーザ視線情報に基づき、ユーザの視線の画面間での移動方向と個々の画面に対する視線の滞在時間とを表す履歴情報を生成して視線履歴保存部に保存する視線情報・記録分析部と、視線移動方向と滞在時間に対応するものであって画面制御の条件となる視線移動条件及び時間条件と、制御内容を表す制御情報とを含む切替制御情報を記憶する切替制御情報保存部と、前記切替制御情報保存部を参照し、前記履歴情報と前記視線移動条件及び時間条件とを比較し、前記履歴情報が前記視線移動条件及び時間条件を満足する場合に、前記複数の画面表示部における各画面の画面毎の表示内容と通電制御内容とを切替制御する画面表示制御部とを備えることを特徴とする。

本発明によれば、複数画面を持つ端末装置で、端末を扱うユーザによる視線移動と、その視線の画面上の滞在状況により、それぞれの画面上における表示内容と通電状況との制御が可能となる。

本発明によるモバイル端末の一実施の形態の構成を示すブロック図である。図１のモバイル端末１で用いられる切替制御情報２（（ａ））と画面制御変更通知３（（ｂ））の各構成例を示す図である。図１のモバイル端末１の動作を説明するためのフローチャートである。本発明によるモバイル端末の他の実施の形態の構成を示すブロック図である。

次に、本発明の実施形態の構成について図１及び図２を参照して詳細に説明する。図１を参照すると、本発明の情報端末装置は、携帯電話機等やＰＤＡ、電子ブックリーダなどのモバイル端末１として構成されている。本実施形態のモバイル端末１は、視線情報取得部１１と、視線情報・記録分析部１２と、画面表示制御部１３と、画面表示部Ａ１４と、画面表示部Ｂ１５と、視線履歴保存部１６と、切替制御情報保存部１７とを備えている。

視線情報取得部１１は、視線センサを具備し、ユーザの視線が、画面表示部Ａ１４が有する画面Ａに向けられているか、画面表示部Ｂ１５が有する画面Ｂに向けられているか、それ以外にあるかを検知し、その情報を一定時間ごとにユーザ視線情報として視線情報・記録分析部１２に通知する。この実施形態では、ユーザ視線情報が、「ユーザの視線が画面Ａにある」、「ユーザの視線が画面Ｂにある」又は「ユーザの視線が画面Ａ又は画面Ｂ以外にある」ことを表す情報である。視線センサの構成は特に限定されないが、例えば、赤外線発光ダイオード、撮像素子、信号処理装置からなり、ユーザの瞳孔の動きを抽出することで視線の向きを検知する構成などを用いることができる。

視線情報・記録分析部１２は、視線センサ１１からのユーザ視線情報を受け、複数のユーザ視線情報に基づいて画面間の視線移動履歴と視線滞在時間を分析し、分析した結果を履歴情報として視線履歴保存部１６へ保存する。視線情報・記録分析部１２は、また、視線履歴保存部１６内の履歴情報を更新した場合に視線履歴更新通知を画面表示制御部１３に通知する。履歴情報は、視線移動履歴と視線滞在時間とを表す情報である。視線移動履歴は、ユーザ視線情報の変化または継続状態を表す情報である。また、視線滞在時間は、画面Ａ、画面Ｂ又はそれ以外のいずれかに視線が継続して向いていた時間やそれらの累計時間を表す情報である。例えば、視線が画面Ａから画面Ｂへ移動した場合には、視線移動履歴が「画面Ａから画面Ｂ」、視線滞在時間が移動前に「画面Ａ」に視線が滞在して時間や、移動前の所定時間内（あるいは所定の視線移動回数内）における「画面Ａ」、「画面Ｂ」及び「それ以外」の各累計滞在時間を表すこととなる。

画面表示制御部１３は、視線情報・記録分析部１２より視線履歴更新通知を受けると、切替制御情報保存部１７より切替制御情報２を取得する。切替制御情報２は、画面制御内容を変更する条件と各条件に対応した制御内容を含む情報である。切替制御情報２は、例えば図２（ａ）に示すように視線移動条件２１、時間条件２２及び制御情報２３を含んで構成されている。視線移動条件２１は、画面Ａ、画面Ｂ間の移動内容に対応する条件を表す情報であって、例えば、「画面Ａから画面Ｂへの移動」、「画面Ｂから画面Ａへの移動」などの情報が含まれている。時間条件２２は、視線履歴に対する時間条件を示す情報である。具体例としては、「視線移動発生前の画面に視線が置かれていた時間」（例えば「視線移動発生前の画面Ａに視線が１０秒間あった」）や「画面Ｂに視線が置かれていた累計時間」等を示す。制御情報２３は、視線移動条件２１と時間条件２２が満たされた場合の画面表示部Ａ１３、画面表示部Ｂ１５に対する画面制御変更内容を示す。

画面表示制御部１３は、視線履歴保存部１６に保存される履歴情報が、取得した切替制御情報２に含まれる視線移動条件２１と、時間条件２２とに合致するかどうかを比較し、条件に合致した場合には制御情報２３に設定されている内容に従い、画面表示部Ａ１４及び画面表示Ｂ１５に画面制御変更通知３を行う。また、画面表示制御部１３は、例えば視線履歴保存部１６に保存されている履歴情報と切替制御情報２との比較処理を終えた場合に視線履歴保存部１６にある履歴情報を削除する。画面制御変更通知３は、図２（ｂ）に示すように、画面通電状態３１と、コンテンツ切替３２とを含む。画面通電状態３１は、画面Ａおよび画面Ｂに対する変更後の通電状態を示す情報である。コンテンツ切替３２は、画面Ａおよび画面Ｂに対する変更後のコンテンツ切替の内容を示す情報である。コンテンツ切替３２は、例えばコンテンツ切替後の各画面に表示されるコンテンツを表す情報そのものや、その格納場所を表す情報からなる情報である。なお、モバイル端末１には、図示していない構成であるが、各画面に表示されるコンテンツを画面単位（すなわち画面毎）で切替表示可能な形式で内蔵あるいは着脱自在の記憶装置に保存するための構成が設けられているものとする。

画面表示部Ａ１４は、ユーザにコンテンツを表示する為の画面Ａを具備し、画面表示制御部１３より画面制御変更通知３を受けると、画面制御変更通知３に設定される画面通電状態３１に従い画面の通電状態のオン／オフ制御や通常／省電力制御を行う。画面表示部Ａ１４は、またコンテンツ切替３２の設定に従い、画面Ａのページ毎（すなわち画面毎）の表示内容の切替である、コンテンツ表示切替を行う。

画面表示部Ｂ１５は、ユーザにコンテンツを表示する為の画面Ｂを具備し、動作については画面表示部Ａ１５と同様である。

視線履歴保存部１６は、視線情報・記録分析部１２から出力された履歴情報、すなわち視線センサ１１から出力されたユーザ視線情報を視線情報・記録分析部１２で分析することで得られた視線移動履歴と視線滞在時間とを表す履歴情報が、随時更新、保存される。

また、視線履歴保存部１６は、画面表示制御部１３によって視線移動履歴と視線滞在時間を表す履歴情報が参照されるとともに、画面表示制御部１３によって上記特定タイミングにて視線移動履歴と視線滞在時間を表す履歴情報の削除が行われる。

切替制御情報保存部１７は、切替制御情報２を複数保持し、画面表示制御部１３によって参照される。

次に、図３を参照して、図１のモバイル端末１における画像表示制御に係る処理の流れについて説明する。図３は、視線情報取得部１１が定期的にユーザの視線情報を取得開始した際の動作シーケンスを示す。すなわち、視線情報取得部１１がユーザ視線情報を取得する度にステップＳ１以降の処理が繰り返し行われる。

視線情報取得部１１が動作を開始すると、視線センサによりユーザの視線が画面Ａにあるか、画面Ｂにあるか、それ以外にあるかが取得される（ステップＳ１）。視線情報取得部１１は、取得した情報をユーザ視線情報として視線情報・記録分析部１２に通知する。

視線情報・記録分析部１２は、視線センサ１１からのユーザ視線情報を受け、画面間の視線移動履歴と視線滞在時間からなる履歴情報を生成し、視線履歴保存部１６内の履歴情報を更新する（ステップＳ２）。その後、視線情報・記録分析部１２は、視線履歴更新通知を画面表示制御部１３に通知する。

画面表示制御部１３は、視線情報・記録分析部１２より視線履歴更新通知を受けると、切替制御情報保存部１７から切替制御情報２を取得する（ステップＳ３）。

画面表示制御部１３は、切替制御情報２を取得すると、まず切替制御情報２に含まれる視線移動条件２１を取得し、視線履歴保存部１６に含まれる履歴情報内の視線移動履歴と合致する箇所があるか確認を行う。具体例として、視線移動条件２１に「画面Ａから画面Ｂへの移動」が設定されているときに、視線履歴保存部１６に含まれる履歴情報内の視線移動履歴の中に画面Ａから画面Ｂへの視線移動があるかを確認する。条件を満たした場合には処理を継続し、条件を満たせない場合はここで処理を終了する（ステップＳ４）。

次に画面表示制御部１３は、切替制御情報２に含まれる時間条件２２を取得し、視線履歴保存部１６に含まれる履歴情報内の視線滞在時間と合致する箇所があるか確認を行う。具体例として、時間条件２２に「視線移動発生前の画面Ａにて視線が１０秒間ある」が設定されている場合に、視線履歴保存部１６に含まれる視線滞在時間の中に画面Ａにて視線が継続して１０秒間あったかことに対応するものがあるかを確認する。条件を満たした場合には処理を継続し、条件を満たせない場合はここで処理を終了する（ステップＳ５）。

画面表示制御部１３は、ステップＳ５にて処理継続の場合、制御情報２３に含まれる制御情報に基づいて画面制御変更通知３を作成し、画面表示部Ａ１４及び画面表示部Ｂ１５に通知する。また、画面表示制御部１３は、このとき視線履歴保存部１６に保存される視線移動履歴と視線滞在時間を削除する。通知を受けた画面表示部Ａ１４及び画面表示部Ｂ１５は画面制御変更通知３に基づき、画面通電状態３１、コンテンツ切替３２の条件に従い、表示画面Ａ、画面Ｂに対する表示コンテンツの変更と通電制御を行う（ステップＳ６）。

これにより、あらかじめ切替制御情報２として切替制御情報保存部１７に保存しておいた条件に従い、ユーザ視線情報に基づいて画面Ａ及び画面Ｂの表示内容の更新と通電制御を行うことが可能となる。

ここでコンテンツ切替制御の一具体例について説明する。この例では、視線移動条件２１に「画面Ａから画面Ｂへの移動」、時間条件２２に「視線移動発生前の画面Ａにて視線が１０秒間ある」が設定されていることとする。また、モバイル端末１の画面Ａと画面Ｂが左右に並んだ状態で（この場合、画面Ａが向かって左、画面Ｂが右に並んでいる状態で）ユーザがモバイル端末１保持していて、コンテンツが縦書きの小説であることとする。例えば、画面Ｂにページ１、画面Ａにページ２のコンテンツが表示されている状態で、ユーザがページ１（画面Ｂ）からページ２（画面Ａ）へと小説を読み進み、ページ２を読み終わったところで、ユーザの視線が画面Ａから画面Ｂへ移動したとする。この視線移動前にユーザが１０秒間以上ページ２（画面Ａ）に視線を向けていたとすると、上記の視線移動条件２１と時間条件２２が満たされるので、コンテンツ切替制御が行われることになる。このコンテンツ切替では、画面Ｂにページ３のコンテンツを表示し、画面Ａにページ４のコンテンツを表示するという切替を行う。こうすることで、ユーザは視線移動によってページめくりの操作を行うことができる。

なお、上記の例で、画面通電状態の制御としては、画面Ｂを通電（あるいは輝度を高く）し、画面Ａを非通電（あるいは輝度を低く）設定している状態で、画面Ａへの視線移動が発生した場合に、画面Ｂを非通電（あるいは輝度を低く）し、画面Ａを通電（あるいは輝度を高く）設定するというような制御を行うことができる。

また、視線履歴保存部１６、切替制御情報保存部１７等の記憶部は、個々に独立した記憶装置として設けてもよいし、１または複数の記憶装置内に対応する記憶領域を設けることで構成するようにしてもよい。また、視線情報取得部１１、視線情報・記録分析部１２、画面表示制御部１３等の各部は、ハードウェアの構成としては必ずしも分離されている必要はなく、１部または全部を共通のハードウェアを用いて構成することができる。

本実施形態によれば次の効果を得ることができる。第１の効果は、ユーザの２画面間の視線移動に合わせて、表示するコンテンツを切替えることが可能な点である。その理由は、ユーザの２画面間の視線移動に合わせたコンテンツ切替や通電制御条件をあらかじめ切替制御情報２として設定しておくことでユーザの２画面間の視線移動が発生した際に条件に従い通電制御やコンテンツ切替を行うことが可能となる為である。

第２の効果は、瞬間的な視線移動による画面切替を防ぐことができる点である。その理由は、ユーザの２画面間の視線移動だけでなく、視線に対する時間条件をつけることで、瞬間的な視線移動による条件での画面切替を発生しないようにすることが可能な為である。

第３の効果は、ユーザの２画面間の視線移動に合わせて視線移動先の画面のみを表示することが可能となる点である。

次に、図４を参照して、本発明の他の実施形態について説明する。図４に示す他の実施形態は、その基本的構成は上記の通りであるが、切替制御情報２の設定についてさらに工夫している。図４に示す実施形態では、モバイル端末１ａに新たに制御情報更新部１８を追加している。その他の構成は、図１に示すものと同一である（ただし視線履歴保存部１６と切替制御情報保存部１７には制御情報更新部１８からの更新指示を受け付けるための構成が追加されているものとする）。

制御情報更新部１８は、図３を参照して説明した動作について以下の動作を追加する。制御情報更新部１８は、モバイル端末１ａで実行されるアプリケーション（この実施形態では表示内容の制御プログラム）の一部であり、アプリケーションからの要求により切替制御情報保存部１７へ、切替制御情報２の変更、追加、削除を行う。またこの際に、視線履歴保存部１６に保存される視線移動履歴と視線滞在時間からなる履歴情報の削除を行う。

本動作の追加により、モバイル端末１内で固定であった切替制御情報２をモバイル端末１ａではアプリケーションごとに変更することが可能となる。

なお、図１の実施形態について、画面表示部Ａ１４と画面表示部Ｂ１５としてそれぞれに画面Ａ、画面Ｂを割り当てることで二画面間での条件を設定することとしていたが、新たに画面表示部と画面を割り当て、画面表示部Ａ１４と同様に振る舞う構成を具備してもよい。これにより、３画面以上でのユーザ視線によるモバイル端末１での画面制御を行うことが可能となる。

また、本発明によれば、複数画面にて表示されるコンテンツを視線により制御し、表示コンテンツを制御する用途に使用できる為、複数画面を持つ電子ブックリーダや携帯電話機といった分野への利用が考えられる。

なお、本発明によるモバイル端末あるいはその内部構成は、コンピュータとその周辺装置とを用い、コンピュータによってプログラムを実行することで実現することができる。この場合のプログラムは、コンピュータ読み取り可能な記憶媒体や通信回線を介して配布することが可能である。
＊
なお、特許請求の範囲に記載した「複数の画面表示部を備える画面表示装置」は、図１のモバイル端末１のうち、少なくとも視線情報・記録分析部１２、画面表示制御部１３、画面表示部Ａ１４、画面表示部Ｂ１５、視線履歴保存部１６及び切替制御情報保存部１７を含む構成に対応している。

１、１ａモバイル端末
２切替制御情報
３画面制御変更通知
１１視線情報取得部
１２視線情報・記録分析部
１３画面表示制御部
１４画面表示部Ａ
１５画面表示部Ｂ
１６視線履歴保存部
１７切替制御情報保存部
１８制御情報更新部

Claims

複数の画面表示部を備える画面表示装置であって、
ユーザの視線を表すユーザ視線情報に基づき、ユーザの視線の画面間での移動方向と個々の画面に対する視線の滞在時間とを表す履歴情報を生成して視線履歴保存部に保存する視線情報・記録分析部と、
視線移動方向と滞在時間に対応するものであって画面制御の条件となる視線移動条件及び時間条件と、制御内容を表す制御情報とを含む切替制御情報を記憶する切替制御情報保存部と、
前記切替制御情報保存部を参照し、前記履歴情報と前記視線移動条件及び時間条件とを比較し、前記履歴情報が前記視線移動条件及び時間条件を満足する場合に、前記複数の画面表示部における各画面の画面毎の表示内容と通電制御内容とを切替制御する画面表示制御部と
を備えることを特徴とする画面表示装置。
前記視線移動条件及び時間条件が、異なる画面間の視線移動方向と移動前の１画面における視線の滞在時間との情報を含む
ことを特徴とする請求項１に記載の画面表示装置。
前記切替制御情報保存部内の切替制御情報が、表示内容の制御プログラムに応じて変更可能である
ことを特徴とする請求項１又は２に記載の画面表示装置。
複数の画面表示部を制御する画面表示制御方法であって、
ユーザの視線を表すユーザ視線情報に基づき、ユーザの視線の画面間での移動方向と個々の画面に対する視線の滞在時間とを表す履歴情報を生成して視線履歴保存部に保存する視線情報・記録分析動作と、
視線移動方向と滞在時間に対応するものであって画面制御の条件となる視線移動条件及び時間条件と、制御内容を表す制御情報とを含む切替制御情報を記憶する切替制御情報保存部を参照し、前記履歴情報と前記視線移動条件及び時間条件とを比較し、前記履歴情報が前記視線移動条件及び時間条件を満足する場合に、前記複数の画面表示部における各画面の画面毎の表示内容と通電制御内容とを切替制御する画面表示制御動作と
を含むことを特徴とする画面表示制御方法。
複数の画面表示部を制御するための画面表示制御プログラムであって、
ユーザの視線を表すユーザ視線情報に基づき、ユーザの視線の画面間での移動方向と個々の画面に対する視線の滞在時間とを表す履歴情報を生成して視線履歴保存部に保存する視線情報・記録分析動作と、
視線移動方向と滞在時間に対応するものであって画面制御の条件となる視線移動条件及び時間条件と、制御内容を表す制御情報とを含む切替制御情報を記憶する切替制御情報保存部を参照し、前記履歴情報と前記視線移動条件及び時間条件とを比較し、前記履歴情報が前記視線移動条件及び時間条件を満足する場合に、前記複数の画面表示部における各画面の画面毎の表示内容と通電制御内容とを切替制御する画面表示制御動作と
をコンピュータに実行させるための画面表示制御プログラム。
複数の画面表示部を備える画面表示装置であって、
ユーザの視線を表すユーザ視線情報に基づき、ユーザの視線の画面間での移動方向と個々の画面に対する視線の滞在時間とを表す履歴情報を生成して視線履歴保存部に保存する視線情報・記録分析部と、
視線移動方向と滞在時間に対応するものであって画面制御の条件となる視線移動条件及び時間条件と、制御内容を表す制御情報とを含む切替制御情報を記憶する切替制御情報保存部と、
前記切替制御情報保存部を参照し、前記履歴情報と前記視線移動条件及び時間条件とを比較し、前記履歴情報が前記視線移動条件及び時間条件を満足する場合に、前記複数の画面表示部における各画面の画面毎の表示内容と通電制御内容とを切替制御する画面表示制御部と
を有する画面表示装置を備えることを特徴とする情報端末装置。