JP2004213486A

JP2004213486A - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP2004213486A
Application number: JP2003001551A
Authority: JP
Inventors: Yutaka Hasegawa; 豊長谷川
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-01-07
Filing date: 2003-01-07
Publication date: 2004-07-29

Abstract

【課題】複数の情報内から、簡便に１つの情報を選択できるようにする。
【解決手段】表示部２５に複数の子画面が表示されているとき、視線検出部２４は、ユーザの視線を検出する。画像特定部２２は、視線検出部２４から供給されるユーザの視線に関する情報から、表示部２５に表示されている子画面のうち、どの子画面が、注視されているかを判断する。注視されている子画面が、大きなサイズで表示されるような制御を、表示制御部２３は行う。本発明は、複数の番組を子画面として同時に表示するようなテレビジョン受像機に適用できる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、ユーザの視線を検出し、その検出された視線の方向に位置する部分の情報に応じた処理を行うようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、テレビジョン放送は、多チャンネル時代になりつつある。その時代の流れに対応し、テレビジョン受像機のなかには、１つのチューナを用いて、時分割に複数の番組を順次受信し、記憶したり、複数のチューナを用いて複数の番組を受信し、１画面を複数の小画面に分割して生成した、いわゆるマルチ画面に、同時に複数の番組を表示することができるものがある。
【０００３】
また、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）プレーヤや、そのＤＶＤプレーヤで再生できるＤＶＤソフトウェアが普及しつつあるが、そのようなプレーヤとソフトウェアの組み合わせにより、マルチアングルなどと称される機能が実現されている。マルチアングルとは、１場面を複数のアングル（角度）から撮像した画像を、ユーザの指示により切り換えられるような機能である。このようなことは、本格化しつつあるデジタルテレビジョン放送などでも実施することが可能であると考えられる。
【０００４】
さらにパーソナルコンピュータの普及により、また、そのパーソナルコンピュータが高性能化になることにより、複数の作業を１台のパーソナルコンピュータで並列的に行うことが可能となってきている。そのような複数の作業を並列的に行うとき、パーソナルコンピュータに接続されているディスプレイ上には、複数のウィンドウ（画像）が表示されている。複数のウィンドウが表示されている状態では、ユーザが所望のウィンドウを選択することが面倒であるような場合があるが、そのような不都合を回避するために、ユーザが表示されているウィンドウの内、所望のウィンドウを簡便に選択できるようにする方法も提案されている。（例えば、特許文献１参照）
【０００５】
【特許文献１】
特開平５−１５０９２９号公報
【０００６】
【発明が解決しようとする課題】
上述したテレビジョン受像機が複数の番組の画像を同時に表示している場合に、１つの番組を選択するとき、又は、ＤＶＤプレーヤなどによる再生で、表示された複数のアングルの画像から１つの画像（アングル）を選択するとき、ユーザは、リモートコントローラなどに備え付けられている所定のボタンを操作する。しかしながら、近年のテレビジョン受像機やＤＶＤプレーヤなどには、機能がたくさん付加されているため、リモートコントローラに備えつけられているボタンの数も増え、どのボタンを操作すれば所望の処理が行えるのかを理解しずらいといった課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、ユーザの視線を検出し、所定の時間以上、ユーザが注視している部分を検出し、その部分に位置する情報に対応した処理ができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、ユーザの視線を検出する検出手段と、画像を表示する表示手段に複数の画像を表示させる表示制御手段と、表示手段により表示されている複数の画像の内、ユーザが注視している画像を、検出手段による検出結果から判断する判断手段と、判断手段により、ユーザが注視していると判断された画像に関する処理を制御する処理制御手段とを備えることを特徴とする。
【０００９】
前記処理制御手段は、ユーザが注視していると判断された画像を、その画像のみを拡大して表示手段に表示させる処理、または、他の画像より大きいサイズで表示手段に表示させる処理を制御するようにすることができる。
【００１０】
前記処理制御手段は、ユーザが注視していると判断された画像にリンクされている情報を取得する処理を制御するようにすることができる。
【００１１】
前記表示制御手段は、表示手段により表示される複数の画像が、時間経過とともに、表示されるサイズが変更され、表示される位置が変更されるように制御するようにすることができる。
【００１２】
前記表示制御手段は、表示手段により表示される複数の画像それぞれが、表示される位置が、それぞれの画像に付随する位置情報に基づいて決定されるように制御するようにすることができる。
【００１３】
本発明の画像処理方法は、ユーザの視線を検出する検出ステップと、表示手段により表示されている複数の画像の内、ユーザが注視している画像を、検出ステップの処理による検出結果から判断する判断ステップと、判断ステップの処理で、ユーザが注視していると判断された画像に関する処理を制御する処理制御ステップとを含むことを特徴とする。
【００１４】
本発明の記録媒体のプログラムは、ユーザの視線を検出する検出ステップと、表示手段により表示されている複数の画像の内、ユーザが注視している画像を、検出ステップの処理による検出結果から判断する判断ステップと、判断ステップの処理で、ユーザが注視していると判断された画像に関する処理を制御する処理制御ステップとを含むことを特徴とする。
【００１５】
本発明のプログラムは、ユーザの視線を検出する検出ステップと、表示手段により表示されている複数の画像の内、ユーザが注視している画像を、検出ステップの処理による検出結果から判断する判断ステップと、判断ステップの処理で、ユーザが注視していると判断された画像に関する処理を制御する処理制御ステップとを含む。
【００１６】
本発明においては、ユーザの注視している部分の画像に関する処理が実行される。
【００１７】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照して説明する。図１は、本発明を適用した画像処理装置の一実施の形態の構成を示す図である。画像処理装置１０は、画像供給部２１を備える。画像供給部２１は、画像特定部２２と表示制御部２３に、画像データを供給する。画像特定部２２には、視線検出部２４からの視線検出情報も入力される。
【００１８】
画像供給部２１から供給される画像データに基づく画像が、複数の異なる画像を含む場合、ここでは、後述するように、複数の異なる画像のうちから１つの画像が選択できるようになされているが、その選択された画像は、どの画像であるかを判断し、特定するための判断手段として、画像特定部２２が設けられている。選択された画像を特定するための情報として、視線検出部２４からの視線検出情報が用いられる。
【００１９】
画像特定部２２からの画像特定情報は、表示制御部２３に供給される。表示制御部２３は、画像供給部２１から供給された画像データのうち、画像特定情報に基づき、ユーザにより選択されたと判断される画像の画像データを抽出し、その抽出した画像データに基づき、表示部２５における画像の表示を制御する表示制御手段として設けられている。記憶部２６は、画像特定部２２が、画像を特定するうえで必要となるデータを適宜記憶し、必要に応じ、画像特定部２２に、記憶されているデータを供給する。
【００２０】
画像供給部２１は、例えば、テレビジョン放送を受信するアンテナや、受信したテレビジョン放送から所定のチャンネルのデータを抽出するチューナなどから構成される。又は、ＤＶＤプレーヤなどの、所定の記録媒体に記憶されている画像データや音声データを読み出せる機能の装置で構成されるようにしても良い。画像供給部２１は、表示部２５に表示される画像を供給できる機能を有していればよい。
【００２１】
視線検出部２４は、ユーザの視線を検出するための検出手段として設けられているが、その検出方法は、どのようなものを用いても良い。例えば、図２に示すように、ユーザが装着する眼鏡４１に、視線を検出するための機能を設けるようにしても良い。その眼鏡４１としては、眼鏡形状のものであることが好ましいと考えられるが、ユーザの視線を監視できるような部分に位置するように、ユーザが装着することが可能な形状であればどのような形状でもよい。
【００２２】
そのような眼鏡４１を用いた場合、ユーザの眼球のうち、黒目と称される部分を検出し、その検出された黒目の動きを監視することにより、ユーザの視線を検出することができる。ユーザの黒目の部分を検出する方法としては、白（白目の部分）と黒（黒目の部分、白以外の色）を識別できる機能を有するカメラなどを用いることにより実現できる。
【００２３】
眼鏡４１などを用いた場合、その眼鏡４１をかけたユーザの視線のみが、視線検出部２４が視線を検出する対象となる。そのため、例えば、複数のユーザが、同時に、表示部２５に表示されている複数の画像を閲覧しているような状況においても、どのユーザの視線を監視すればよいのかなどの問題が発生するようなこと防ぐことが可能となる。
【００２４】
しかしながら、眼鏡４１などをユーザに装着させなくてはならないと、ユーザの視線を監視できないという問題がある。すなわち、ユーザが、そのような眼鏡４１を装着していなければ、後述するような画像の選択は行えないことになる。勿論、画像の選択を行うか否かの判断を、ユーザ側が、眼鏡４１を装着するか否かで意思表示できるということは、１つの利点ともなるが、通常、眼鏡を装着しないユーザにとっては、眼鏡４１を装着して画像を閲覧することは煩わしいことである。また、眼鏡を普段から装着しているユーザにとっても、その眼鏡の代わりに、または、その上に眼鏡４１を装着するというのは煩わしいことである。
【００２５】
このようなことを考慮すると、ユーザが装着するという動作を行わなくても、視線を検出できるようにすることが好ましい。例えば、ユーザの顔の画像を撮像できる位置に、撮像装置を設け、その撮像装置により撮像された画像により、ユーザの視線を検出するようにしても良い。その撮像装置が取り付けられる位置としては、例えば、図３に示したような位置が考えられる。
【００２６】
この場合、ユーザが表示部２５に表示されている複数の画像から１つの画像を選択する際、ユーザの視線を検出することにより行うことができるようにすることを目的としているため、ユーザが、表示部２５の方向に向き、表示部２５を閲覧しているときだけ、ユーザの視線が検出されれば良い。このようなことを考慮し、表示部２５の例えば、右側の上部に、撮像装置６１を設ける。このような位置に撮像装置６１を設置することにより、ユーザが、表示部２５に表示されている画像を閲覧しているときに、ユーザの顔を撮像することが可能となる。
【００２７】
この撮像装置６１により撮像されたユーザの顔のうち、例えば、目と口の位置を検出する。目は俗に、白目と黒目から構成されている。黒目の部分は、ユーザにより異なる色の場合が考えられるが、白目の部分は、通常、白である。よって、例えば、撮像された画像のうち、白色と判断される部分を抽出し、さらに、その白色と判断される部分の中に、黒などの他の色が存在しているか否かを判断することにより、目の部分を検出することが可能である。
【００２８】
また、口は、赤など、顔の他の部分（肌色の部分）とは異なる色をしているため、その特徴を利用することにより、撮像装置６１により撮像された画像から、口であると判断される部分を抽出することは可能である。このようにして抽出された目と口とを結ぶ線から構成される三角形を用いて、ユーザが向いている方向を検出することは可能である。すなわち、定点からユーザの顔を撮像しているような場合、ユーザが顔の向きを変えると、その変化に応じて、目と口を結んだ線から構成される三角形の形も変化するため、その変化を監視することにより、ユーザの向いている方向を検出することが可能である。
【００２９】
又は、撮像装置６１により撮像された画像から、目の部分を検出し、その検出された目の部分のうち、黒目の部分の向きを監視するようにすれば、ユーザの視線の方向を検出することが可能である。
【００３０】
どのような方式を用いても良いが、視線検出部２４は、ユーザの視線を検出する機能を有する。視線検出部２４は、画像処理装置１０の一部を構成するが、画像処理装置１０を構成する他の部分と一体化されている必要は必ずしもなく、例えば、図２に示した眼鏡４１のように、表示部２５とは別体として構成されるようにしても良い。
【００３１】
表示部２５は、テレビジョン受像機や、プロジェクタとスクリーンの組み合わせにより構成される。
【００３２】
次に、図１に示した画像処理装置１０の動作について、図４のフローチャートを参照して説明する。図４のフローチャートに基づく処理が実行されるのは、ユーザにより、画像処理装置１０の電源がオンにされ、画像を表示部２５に表示できる状態にされていることを前提とする。ステップＳ１１において、視線検出部２４による、ユーザ（視聴者）の視線の検出が開始される。視線検出部２４により検出されたユーザの視線に関する視線検出情報は、画像特定部２２に出力される。
【００３３】
ステップＳ１２において、マルチ画面の表示が、表示部２５において、表示制御部２３の制御のもと行われる。マルチ画面は、画像処理装置１０の電源がオンにされたとき、初期画面として表示されるようにしても良いし、その他の処理により表示されるようにしても良い。そのような設定は、ユーザにより行われるようにしても良いし、画像供給部２１により供給される画像に関する情報（メタデータ）などを判断材料として行われるようにしても良い。
【００３４】
ここで、表示部２５において表示されるマルチ画面について説明する。図５は、表示部２５に表示されるマルチ画面の一例であり、テレビジョン放送として送信されている複数のチャンネルの画像データに基づき複数の画面で構成されるマルチ画面として表示されている例を示している。図５の表示例では、表示部２５の表示画面に、チャンネル（ＣＨ）１乃至７の７チャンネル分の画像を表示するための領域が、それぞれ設けられている例を示し、それらの対応する領域に、それぞれのチャンネルで放送されている番組の１画像が表示されている。
【００３５】
画像処理装置１０は、このようなマルチ画面を表示部２５に表示させる場合、は、所定の７個のチャンネルの信号を順次受信し、各チャンネルの画像データを、通常の画面の大きさ（例えば、表示部２５の表示可能領域と同等の大きさ）の１／７の大きさに縮小し（但し、図５に示すように、各領域間に所定の隙間を設ける場合その隙間を考慮し、また、ボタンなども表示させる場合、そのボタンなどのスペースも考慮し、１／７以下の大きさに縮小される）、所定の位置に配置して、マルチ画面を生成し、表示部２５に表示させる。このような画像の表示の制御は、表示制御部２３が、画像供給部２１からの画像データを用いて行う。
【００３６】
図５に示した表示例において、“前へ”というボタン１０１は、表示されているチャンネルよりも、番号の小さいチャンネルの画像を表示させたときに操作される（注視される）ボタンであり、“次へ”というボタン１０２は、表示されているチャンネルよりも、番号の大きいチャンネルの画像を表示させたときに操作される（注視される）ボタンである。
【００３７】
次に、表示部２５における他の表示例を示す。テレビジョン放送やインターネットなどの情報を表示部２５に表示させたときの表示例を図６に示す。図６に示した表示例では、表示部２５上に世界地図が表示されている。その世界地図上には、対応する国名が表示されている。その国名が、この場合、選択対象とされる。各国名は、例えば、その国の情報を取得できるホームページとリンクされている、その国の番組を放送しているチャンネルとリンクしているなどの実施の形態が考えられる。
【００３８】
図７は、表示部２５に表示される他の表示例を示す図である。図７に示した表示例は、所定のチャンネルの番組として、サッカーの試合が中継されており、そのサッカーの試合の画像が表示されている状態を示している。図７に示した表示例は、背景として、サッカースタジアムをイメージする絵が表示され、その絵の上に、仮に、スタジアムに座って観戦していたら見られるであろう試合の画像が、スタジアムの絵の対応する位置（すなわち、撮像しているカメラが設置されている位置）に設けられた領域内に表示されている。
【００３９】
図７に示した例では、例えば、領域１３１には、メインスタンドから観戦しているときの画像が、領域１３２には、ホームチーム側のスタンドから観戦しているときの画像が、領域１３３には、バックスタンド側のスタンドから観戦しているときの画像が、領域１３４には、アウェイ（ＡＷＡＹ）のチーム側のスタンドから観戦しているときの画像が、それぞれ表示されている。
【００４０】
図７に示した表示例では、サッカースタジアムの４つの位置に撮像用のカメラが設置されている状態を示している。このような画像を表示部２５上で表示させるには、画像特定部２２または表示制御部２３で、画像供給部２１から供給される画像データを解析し、表示部２５のどの領域に表示させるべきかを判断する必要がある。
【００４１】
そのために、例えば、画像供給部２１が供給する画像データ、換言すれば、この場合、テレビジョン放送として放送されている番組の画像データであり、画像供給部２１により受信される画像データには、どの位置に表示されるべきかの情報が含まれる。例えば、送受信されるデータには、図８に示すように、領域１３１用のデータとして、位置情報１３１’と画像データ１３１”が含まれ、領域１３２用のデータとして、位置情報１３２’と画像データ１３２”が含まれ、領域１３３用のデータとして、位置情報１３３’と画像データ１３３”が含まれ、領域１３４用のデータとして、位置情報１３４’と画像データ１３４”が含まれる。
【００４２】
このようなデータが受信されるときの画像処理装置１０の動作について、図９のフローチャートを参照して説明する。図９に示したフローチャートの処理は、ステップＳ１２の処理として行われる。すなわち、テレビジョン放送で、マルチアングルによるマルチ画面を表示させるときの処理であり、他のデータを受信したときは、そのデータに合わせた処理がマルチ画面の表示に関わる処理として行われる。ステップＳ３１において、画像供給部２１は、図８に示したようなデータを受信し、画像特定部２２と表示制御部２３に、それぞれ供給する。
【００４３】
ステップＳ３１において、画像特定部２２に対してデータの供給が開始されると、ステップＳ３２において、画像特定部２２は、供給されたデータから、位置情報と、画像データを分離する。図８に示したようなデータが供給された場合、位置情報１３１’乃至１３４’と画像データ１３１”乃至１３４”が、それぞれ分離される。
【００４４】
ステップＳ３２における処理により、画像特定部２２において、位置情報と画像データの分離が行われると、画像特定部２２は、分離された位置情報、この場合、位置情報１３１’乃至１３４’を用いて、ステップＳ３３における表示させる位置（領域）の決定の処理を実行する。
【００４５】
分離された位置情報としては、例えば、試合を撮像しているカメラにＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）装置を備えておき、そのＧＰＳから得られる位置情報が考えられる。そのＧＰＳから得られる位置情報を、カメラから出力される画像データと共に、ユーザ側の画像処理装置１０に対して送信できるようにしておけば、上述したように画像処理装置１０で、その位置情報を画像データと分離し、位置決定の際の情報として用いることが可能となる。
【００４６】
例えば、位置情報としてＧＰＳから得られた情報が用いられる場合、画像特定部２２は、分離された位置情報１３１’乃至１３４’のそれぞれの位置情報が示す緯度と経度を比較する。例えば、位置情報１３１’乃至１３４’が示す緯度のうち、最も北緯が高いのは、どの位置情報であるかを判断する。そして、その判断の結果、最も北緯が高いと判断された位置情報（例えば、位置情報１３１’とする）に対応する画像データ（この場合、画像データ１３１”）に基づく画像が、領域１３１（図７）に表示されるように処理が実行されるようにすればよい。
【００４７】
このような判断の結果を示すデータは、画像特定部２２から表示制御部２３に供給される。なお、位置情報としてＧＰＳにより得られる情報が用いられるようにしても良いし、他の情報が用いられるようにしても良い。他の情報としては、表示部２５のどの領域に表示させるかを示す端的な情報、例えば、上の領域に表示させる、下の領域に表示されるといった情報そのものを用いるようにしても良い。
【００４８】
位置情報の、他の情報の例として、画像の属性を用いるようにしても良い。例えば、画像の属性として、情緒的、活動的、色合いが暖色系、色合いが寒色系という４つの属性を設ける。この属性により、表示される位置が特定されるようにしても良い。４つの属性を設けるのは、縦方向と横方向を規定するためである。すなわち、例えば、情緒的と活動的という属性は、横方向の表示位置を決めるのに用いられ、色合いの暖色系、寒色系という属性は、縦方向の表示位置を決めるのに用いられる。
【００４９】
これらの属性は、１つの画像データに１つの属性が割り当てられるわけではなく、それぞれの属性の割合が割り当てられるようにしても良い。
【００５０】
図７に示したようなサッカーの試合の中継などの場合においても、選手達が活発に動いている画像を撮像してるカメラから出力されるデータに、活動的という属性の情報を含め、その逆に、選手達が活発に動いていない画像を撮像してるカメラから出力されるデータに、情緒的という属性の情報を含めるようにする。このようにすれば、活動的という属性のデータにより画像が、例えば、常に、上側に表示されるようにするといったことが可能となり、さらに、その上側に表示される画像が、大きなサイズで表示されるように設定しておけば、常に、ユーザは、選手達が活発に動いている、観戦していて最もおもしろいと思われる画像を、閲覧することが可能となる。
【００５１】
また、そのような属性により位置表示の制御を行うようにすると、１つの子画像が、属性により、さまざまな位置に表示されることになり、子画像を動的に表示させることが可能となる。
【００５２】
いずれかの情報に基づき、ステップＳ３３において、画像特定部２２が、供給された画像データに基づく画像の表示するための領域を決定し、その決定内容を示すデータを表示制御部２３に供給すると、ステップＳ３４において、表示制御部２３は、画像特定部２２により決定された領域に、その決定に対応する画像データに基づく画像が配置されて表示されるように、表示部２５を制御する。
【００５３】
すなわち、表示制御部２３には、画像供給部２１から、図８に示したような位置情報や画像データを含むデータが供給されるわけだが、表示制御部２３は、供給された画像データを処理し、その処理した画像データに基づく画像が、画像特定部２２からのデータが示す表示部２５の所定の領域に表示されるように、表示部２５を制御する。
【００５４】
このような処理が実行されることにより、図７に示したような画面が、表示部２５に表示される。
【００５５】
ここでは、マルチ画面の表示例として、図５乃至図７に示した例を挙げて説明したが、それらの表示は一例であり、限定を示すものではない。
【００５６】
なお、上述した実施の形態においては、マルチ画面を構成する画像の領域（以下、適宜、子画面と称する）の大きさや位置は、固定されているとして説明したが、必ずしも固定されている必要はなく、１つの子画面に注目したとき、その子画面が、表示部２５の表示領域内を動きまわる感じで表示されたり、表示されるサイズが変化するように表示されるようにしても良い。
【００５７】
例えば、図７に示した表示例のような、サッカーの試合の中継番組が表示部２５に表示されているような場合、ボールの動きに合わせて、最も良いと思われる子画面が、他の子画面よりも大きく表示されるようにしても良い。また、臨場感を出すために、子画面を動きまわらせといった表示が行われるようにしても良い。このようにした場合、どの子画面を大きく表示させる、移動させるのかといった情報を、番組を放送する側で、送信するデータ内に含ませるようにすればよい。また、子画面自体を、ボールの動きに合わせて移動させるといったような表示を行うようにしても良い。
【００５８】
図４に示したフローチャートを参照した説明に戻り、ステップＳ１２において、マルチ画面が、表示部２５に表示されると、ステップＳ１３において、所定の時間以上、同一の画像（領域）が注視されたか否かが判断される。この判断は、画像特定部２２が、視線検出部２４により検出されたユーザの視線が、例えば、５秒間動かずに、マルチ画面内の１つの領域に注がれていたか否かを判断することにより行われる。
【００５９】
ユーザが所定の時間以上、同一の領域を注視していたと判断されるまで、ステップＳ１３の処理は繰り返される。ユーザが、所定の時間以上、同一の領域を注視するということは、その領域に表示されている画像（番組）に興味があると判断することができる。
【００６０】
ステップＳ１３において、所定時間以上、同一の領域が注視されたと判断された場合、ステップＳ１４に進み、注視されたと判断された領域（子画面）に対応する画像（画面）が拡大表示される。マルチ画面では、表示されている各画面は、表示部２５が表示できる最大のサイズよりも小さいサイズで表示されている。そのような小画面が、その子画面より大きいサイズの画面として表示部２５上に表示される。
【００６１】
例えば、図７に示したマルチ画面の状態で、ユーザが、領域１３１に表示されている画像を注視したと判断された場合、領域１３１のマルチ画面のときと比較してサイズが大きくされ、図１０に示したような画面になる。図１０に示した表示例では、ユーザが注視したと判断された領域１３１が、他の領域１３２乃至１３４と比較して大きいサイズで表示されている一方で、領域１３２乃至１３４は、小さいサイズに変更されている。
【００６２】
図１０に示した表示例では、領域１３２乃至１３４も表示されているが、領域１３１のみが表示されるようにしても良い。そのようにした場合、表示部２５の表示可能領域と同一の大きさ、又は、ほぼ同一の大きさにされて表示される。そのような、選択された領域のみが表示されるような表示は、例えば、図５や図６に示したようなマルチ画面のときから、１つの画面（番組）が選択されたときの表示に適している。
【００６３】
図５に示したマルチ画面は、異なるチャンネルで放送されている番組を、異なる領域に同時期に表示させるというものであるが、このようなマルチ画面から１つの番組が選択されたときには、その選択された番組のみが表示される方が好まし。逆に、選択された後も、選択された番組以外のチャンネルの番組も、表示し続けるようにすると、選択した番組に集中できず、見づらい画面となってしまう。
【００６４】
また、図６に示したマルチ画面は、世界地図と、その地図上に対応する国名が表示されているような画面であるが、このような画面から、１つの国名が選択された場合、その国名（国）に関する情報を取得できるホームページや番組に表示が切り換えられる。この場合、選択された国に関するホームページや番組のみが表示されれば良く、選択されていない国の国名を、マルチ画面の状態から、そのまま引き続き表示を維持する必要はないと考えられる。また、引き続き表示を維持すると、逆に、見づらいものとなってしまうと考えられる。
【００６５】
このようなマルチ画面に対し、図７に示したようなサッカー中継のようなマルチ画面の場合、図１０に示したように、選択された領域（この場合、領域１３１）以外の領域（この場合、領域１３２乃至１３４）も、合わせて表示させておいた方が良いと考えられる。領域１３２乃至１３４の表示を維持することにより、ユーザは、他の領域の画像も合わせて閲覧でき、また、後述する処理により、他の領域の画像に表示を切り換えることも可能となるので、図１０に示したように、複数の領域を表示させておくようにしても良い。
【００６６】
このような場合、１つの情報（この場合、サッカーの試合）に対して、複数の観点からの情報（この場合、複数のアングルから撮像された画像）を、同時にユーザに提供することにより、ユーザに沢山の情報を提供することが可能となる。また、このような沢山の情報をユーザに、同時に提供したとしても、同一の情報に対する異なる観点からの情報なので、各情報が、どのような情報であるのかを把握しづらい、混乱してしまうといったような状況が発生することはないと考えられる。よって、このような時には、複数の情報を、同時に提供した方が、１つの情報しか提供しないよりも、ユーザに対して好ましい形態であると考えられる。
【００６７】
このように、マルチ画面から１つの画面が選択された際、その選択された画面のみを表示させるか、又は、その選択された画面と、選択されていない画面を合わせて表示させるかは、表示される情報（内容）に合わせて切り換えられるようにすればよい。その切り換えは、ユーザが選択できるようにしても良いし、画像処理装置１０側で、例えば、受信したデータに含まれるデータを参照することにより行うなどの仕組みを設けるようにしても良い。
【００６８】
さらに、サッカーの試合の中継のように、例えば、ゴールシーンだけを繰り返し、または、他のアングルからみたいといったような要望があると考えられる番組の場合、図１１に示すように、現在のシーンの後ろに、時間的に前の時刻のシーンの一部が表示されるようにする。例えば、領域１３１−１は、その時点でのリアルタイムの画像とし、その領域１３１−１の背後の領域１３１−２は、所定の時間（数十秒単位でも良いし、数分単位でも良い）だけ前の時刻の画像であり、さらに、その領域１３１−２の背後の領域１３１−３は、所定の時間だけ前の時刻の画像である。
【００６９】
他の領域に対しても、同様に、時間的に前の時刻の画像が、リアルタイムの画像の背後に表示されている。このように、１つのアングルに対して、複数の時刻における画像を選択可能な状態にした表示においても、ユーザは、背後に表示されている画像も合わせて、所望の領域の画像を、注視するだけで、選択することが可能とされている。
【００７０】
このように、背後に表示されている領域も選択可能な画像として表示させることにより、例えば、見逃してしまったゴールシーンをみることが可能となり、また、同一のゴールシーンを複数のアングルから楽しむことができるようになる。なお、同一のアングル（領域）に対して、背後に表示する領域の数は、幾つでも良い。
【００７１】
いずれの表示がされるにせよ、このようにして、１つの番組（領域）が選択され、その領域内の画像が、通常再生されている最中に、ユーザが再びマルチ画面を表示させたいと思った場合、図１０に示したマルチ画面を表示させるためのボタンとして設けられているマルチ画面ボタン１５０が操作（注視）される。
【００７２】
ステップＳ１５（図４）においては、図１０（図１１）に示したマルチ画面ボタン１５０が注視されたか否かが判断される。ステップＳ１５において、マルチ画面ボタン１５０は注視されていないと判断された場合、そのままの拡大された画像の表示が継続される。一方、ステップＳ１５において、マルチ画面ボタン１５０が注視されたと判断された場合、ステップＳ１２に戻り、それ以降の処理が繰り返される。
【００７３】
図１０（図１１）に示したようなマルチ画面ボタン１５０を表示させるようにし、そのボタンが注視されたか否かを判断するようにしても良いが、そのようなボタンを表示させずに、マルチ画面への切り換えが行われるようにしても良い。例えば、マルチ画面への切り換えが指示されるときは、ユーザが、その表示されている番組などに飽きて、他の番組などを閲覧したいと所望しているときであると考えられる。そのようなときには、拡大表示されている画面から、ユーザは、視線をはずすと考えられる。
【００７４】
よって、ステップＳ１５の処理として、拡大表示されている画面（領域）から、ユーザの視線が、所定の時間だけ、はずされたか否かを判断することにより、マルチ画面への切り換えの指示があったか否かを判断するようにしても良い。
【００７５】
ステップＳ１２に処理が戻ることにより、例えば、図１１に示したようなサッカーの試合を中継しているような番組が閲覧されているときには、図７に示したようなマルチ画面に、表示部２５の表示が切り換えられる。
【００７６】
このように、マルチ画面からユーザが注視した画像が通常再生（他の領域に表示されている画像とは異なる表示）されるようにすることにより、ユーザは、ボタン操作を行うことなく、所望の番組を迅速かつ容易に選択することができる。
【００７７】
上述した実施の形態においては、図５に示したようなマルチ画面からは、番組が選択されるとし、図６に示したようなマルチ画面からは、国名（その国の情報）が選択されるとし、図７に示したようなマルチ画面からは、所定のアングルから撮像された画像が選択されるとして説明した。このように、本実施の形態においては、どのようなマルチ画面を表示させ、どのようなものを選択させるかは、適宜変更が可能であり、上述した実施の形態に限定されるものではない。
【００７８】
例えば、図示はしないが、マルチ画面として、コンパクトディスクに記録されている楽曲の曲名を一覧表示させ、その一覧表示された曲名のなかから、再生を所望する楽曲をユーザが注視すると、その楽曲が再生されるようにすることも、本発明を適用することにより可能である。
【００７９】
上述した実施の形態において、例えば、図５に示したマルチ画面、すなわち、複数の番組に対応する子画面が、表示されているようなマルチ画面の場合、多チャンネル化が進むと、ユーザが全ての番組の子画面を閲覧するまで、時間がかかってしまうという問題がある。そこで、ユーザの嗜好により、マルチ画面に表示させる番組を、予め画像処理装置１０側で選択するような機能を持たせるようにしても良い。
【００８０】
ユーザの嗜好に関する情報は、ユーザが、図５に示したマルチ画面から、番組を選択する毎に、記憶部２６（図１）に蓄積されるようにする。蓄積される情報としては、番組を選択する毎に、その番組が属するジャンルを判断し、そのジャンルの番組が選択された回数を累積していくことにより、ユーザの好みのジャンルを判断するようにする。番組が属するジャンルの情報は、受信される番組のデータ内に含ませることが可能であり、そのようにして含まれているデータを抽出することにより、ジャンルの情報を取得することが可能となる。
【００８１】
累積された回数が、少ないジャンルの番組は、マルチ画面の子画面として表示させない、又は、表示させたとしても、時間的に後の方で表示されるようにする。換言すれば、累積された回数が多いジャンルの番組から順に、マルチ画面の子画面として表示されるようにする。
【００８２】
このようなユーザの嗜好に関する情報は、マルチ画面や、選択された画像が拡大表示されている状態においても用いることができる。例えば、マルチ画面または拡大された画像が表示されている状態において、図１２に示したように、異なる２つの領域１７１と領域１７２が重なり合ってしまうことがあると考えられる。図１２に示した例では、領域１７２が領域１７２の背後に位置するため、ユーザ側からは、領域１７２に表示されている画像が見られない状態となっている。
【００８３】
そのため、ユーザは、領域１７１の背後に領域１７２が存在していることを認識することができない。このようなことは、例えば、領域１７１で表示されている番組で、新たなアングルの画像の放送が開始されることにより、領域１７２が新たに設けられたような場合などに発生する可能性がある。
【００８４】
このような場合、記憶部２６に記憶されてるユーザの嗜好に関する情報を用い、ユーザが好みとしている画像（情報、番組など）を表示している領域を判断し、その判断に基づき、領域１７１又は領域１７２のどちらかを、前面に表示させるようにする。このような機能を持たせることにより、ユーザに、認識しづらいような位置に表示されている情報も提供することが可能となる。
【００８５】
勿論、一方の領域が他方の領域に隠されてしまう場合や、一方の領域が他方の領域と重なってしまう場合など以外でも、ユーザの好みの画像（情報や番組）を、画像処理装置１０が判断して、提供するような仕組みを設けることも、上述したような仕組みを適用することで可能である。
【００８６】
上述した一連の処理、例えば、視線の検出やその検出に基づく画像の切り換えなどの処理は、それぞれの機能を有するハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８７】
記録媒体について説明する前に、簡便に、記録媒体からのデータの読み出し、又は、書き込みを行うパーソナルコンピュータについて説明する。図１３は、汎用のパーソナルコンピュータの内部構成例を示す図である。パーソナルコンピュータのＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３０１は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３０２に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３０３には、ＣＰＵ３０１が各種の処理を実行する上において必要なデータやプログラムなどが適宜記憶される。入出力インタフェース３０５は、キーボードやマウスから構成される入力部３０６が接続され、入力部３０６に入力された信号をＣＰＵ３０１に出力する。また、入出力インタフェース３０５には、ディスプレイやスピーカなどから構成される出力部７も接続されている。
【００８８】
さらに、入出力インタフェース３０５には、ハードディスクなどから構成される記憶部３０８、および、インターネットなどのネットワークを介して他の装置とデータの授受を行う通信部３０９も接続されている。ドライブ３１０は、磁気ディスク３２１、光ディスク３２２、光磁気ディスク３２３、半導体メモリ３２４などの記録媒体からデータを読み出したり、データを書き込んだりするときに用いられる。
【００８９】
記録媒体は、図１３に示すように、パーソナルコンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク３２１（フレキシブルディスクを含む）、光ディスク３２２（ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ），ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）を含む）、光磁気ディスク３２３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｃ）（登録商標）を含む）、若しくは半導体メモリ３２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記憶されているＲＯＭ３０２や記憶部３０８が含まれるハードディスクなどで構成される。
【００９０】
なお、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に従って、時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９１】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【００９２】
【発明の効果】
本発明によれば、マルチ画面を表示することができる。
【００９３】
本発明によれば、マルチ画面から所望の画面を、視線により簡便に選択することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示す図である。
【図２】視線検出部について説明するための図である。
【図３】視線検出部について説明するための図である。
【図４】画像処理装置の動作について説明するためのフローチャートである。
【図５】マルチ画面について説明するための図である。
【図６】マルチ画面について説明するための図である。
【図７】マルチ画面について説明するための図である。
【図８】画像処理装置が受信するデータについて説明するための図である。
【図９】マルチ画面の表示に関する処理について説明するフローチャートである。
【図１０】拡大された画面を含む表示例を示す図である。
【図１１】拡大された画面を含む表示例を示す図である。
【図１２】領域が重なったときについて説明するための図である。
【図１３】媒体を説明する図である。
【符号の説明】
１０画像処理装置，２１画像供給部，２２画像特定部，２３表示制御部，２４視線検出部，２５表示部，２６記憶部，４１眼鏡，６１撮像装置

Claims

ユーザの視線を検出する検出手段と、
画像を表示する表示手段に複数の画像を表示させる表示制御手段と、
前記表示手段により表示されている前記複数の画像の内、ユーザが注視している画像を、前記検出手段による検出結果から判断する判断手段と、
前記判断手段により、ユーザが注視していると判断された前記画像に関する処理を制御する処理制御手段と
を備えることを特徴とする画像処理装置。
前記処理制御手段は、ユーザが注視していると判断された前記画像を、その画像のみを拡大して前記表示手段に表示させる処理、または、他の画像より大きいサイズで前記表示手段に表示させる処理を制御する
ことを特徴とする請求項１に記載の画像処理装置。
前記処理制御手段は、ユーザが注視していると判断された前記画像にリンクされている情報を取得する処理を制御する
ことを特徴とする請求項１に記載の画像処理装置。
前記表示制御手段は、前記表示手段に表示される前記複数の画像が、時間経過とともに、表示されるサイズが変更され、表示される位置が変更されるように制御する
ことを特徴とする請求項１に記載の画像処理装置。
前記表示制御手段は、前記表示手段に表示される前記複数の画像それぞれが、表示される位置が、それぞれの画像に付随する位置情報に基づいて決定されるように制御する
ことを特徴とする請求項１に記載の画像処理装置。
画像を表示する表示手段に複数の画像を表示させる表示制御手段を備える画像処理装置の画像処理方法において、
ユーザの視線を検出する検出ステップと、
前記表示手段により表示されている前記複数の画像の内、ユーザが注視している画像を、前記検出ステップの処理による検出結果から判断する判断ステップと、
前記判断ステップの処理で、ユーザが注視していると判断された前記画像に関する処理を制御する処理制御ステップと
を含むことを特徴とする画像処理方法。
画像を表示する表示手段に複数の画像を表示させる表示制御手段を備える画像処理装置のプログラムであって、
ユーザの視線を検出する検出ステップと、
前記表示手段により表示されている前記複数の画像の内、ユーザが注視している画像を、前記検出ステップの処理による検出結果から判断する判断ステップと、
前記判断ステップの処理で、ユーザが注視していると判断された前記画像に関する処理を制御する処理制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
画像を表示する表示手段に複数の画像を表示させる表示制御手段を備える画像処理装置を制御するコンピュータに実行させるプログラムにおいて、
ユーザの視線を検出する検出ステップと、
前記表示手段により表示されている前記複数の画像の内、ユーザが注視している画像を、前記検出ステップの処理による検出結果から判断する判断ステップと、
前記判断ステップの処理で、ユーザが注視していると判断された前記画像に関する処理を制御する処理制御ステップと
を含むことを特徴とするプログラム。