JP6638804B2 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP6638804B2
JP6638804B2 JP2018231808A JP2018231808A JP6638804B2 JP 6638804 B2 JP6638804 B2 JP 6638804B2 JP 2018231808 A JP2018231808 A JP 2018231808A JP 2018231808 A JP2018231808 A JP 2018231808A JP 6638804 B2 JP6638804 B2 JP 6638804B2
Authority
JP
Japan
Prior art keywords
information
display
window
control unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018231808A
Other languages
English (en)
Other versions
JP2019083023A (ja
Inventor
重文 田村
重文 田村
亮介 野村
亮介 野村
祐輔 清水
祐輔 清水
笠原 正樹
正樹 笠原
顕司 西山
顕司 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2019083023A publication Critical patent/JP2019083023A/ja
Application granted granted Critical
Publication of JP6638804B2 publication Critical patent/JP6638804B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
特許文献1には、ウインドウ毎に管理権限を設定する技術が開示されている。特許文献2には、ウインドウの表示位置に応じてウインドウの管理権限を設定する技術が開示されている。特許文献3には、ユーザの位置を検出し、検出結果に基づいてユーザに対応するウインドウの表示位置を決定する技術が開示されている。
特開2006−65558号公報 特開2013−145451号公報 特開2010−26327号公報
しかし、これらの特許文献には、複数の情報処理装置を連携させる技術については何ら開示されていなかった。
一方、情報処理装置に表示させるウインドウの表示位置を他の情報処理装置を用いて指定する技術が求められていた。
本開示によれば、ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信する通信部と、表示部の表示エリアのうち、表示位置指定情報が示す表示位置にウインドウを表示する制御を行う制御部と、を備える情報処理装置が提供される。
本開示によれば、ウインドウの表示位置を指示する表示位置指定情報を生成する制御部と、表示位置指定情報を、ウインドウを表示可能な他の情報処理装置に送信する通信部と、を備える、情報処理装置が提供される。
本開示によれば、ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信することと、表示部の表示エリアのうち、表示位置指定情報が示す表示位置にウインドウを表示する制御を行うことと、を含む、情報処理方法が提供される。
本開示によれば、コンピュータに、ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信する通信機能と、表示部の表示エリアのうち、表示位置指定情報が示す表示位置にウインドウを表示する制御を行う制御機能と、を実現させる、プログラムが提供される。
本開示によれば、情報処理装置は、他の情報処理装置から表示位置指定情報を受信し、この表示位置指定情報が示す表示位置にウインドウを表示することができる。
以上説明したように本開示によれば、表示させるウインドウの表示位置を他の情報処理装置を用いて指定することができる。なお、本開示に係る技術による効果はここで記載された効果に限定されない。本開示に係る技術は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。
本開示の第1の実施形態に係る情報処理装置(他の情報処理装置)の構成を示すブロック図である。 同実施形態に係る情報処理装置のハードウェア構成図である。 同実施形態に係る表示装置(情報処理装置)の構成を示すブロック図である。 同実施形態に係る表示装置のハードウェア構成図である。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理装置による表示例を示す説明図である。 情報処理装置による表示例を示す説明図である。 情報処理装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 情報処理装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 情報処理装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 情報処理装置及び表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 表示装置による表示例を示す説明図である。 本開示の第2の実施形態に係るヘッドマウントディスプレイ(他の情報処理装置)の構成を示すブロック図である。 同実施形態に係るヘッドマウントディスプレイのハードウェア構成図である。 同実施形態に係るサーバの構成を示すブロック図である。 同実施形態に係るサーバのハードウェア構成図である。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すフローチャートである。 情報処理システムによる処理の手順を示すシーケンス図である。 情報処理システムによる処理の手順を示すシーケンス図である。 情報処理システムによる処理の手順を示すシーケンス図である。 情報処理システムの全体構成を示す説明図である。 表示装置による表示例を示す説明図である。 ヘッドマウントディスプレイによる表示例を示す説明図である。 ヘッドマウントディスプレイによる表示例を示す説明図である。 ヘッドマウントディスプレイによる表示例を示す説明図である。 ヘッドマウントディスプレイによる表示例を示す説明図である。 表示装置及びヘッドマウントディスプレイによる表示例を示す説明図である。 表示装置及びヘッドマウントディスプレイによる表示例を示す説明図である。 対応テーブルの一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施の形態(表示装置及び情報処理装置を備える情報処理システムの例)
1−1.全体構成
1−2.情報処理装置の構成
1−3.表示装置の構成
1−4.情報処理システムによる処理の例
1−4−1.第1処理例
1−4−2.第2処理例
1−4−3.第3処理例
1−4−4.第4処理例
1−4−5.第5処理例
1−4−6.第6処理例
1−4−7.第7処理例
1−4−8.第8処理例
1−4−9.第9処理例
1−4−10.第10処理例
1−4−11.第11処理例
2.第2の実施の形態(第1の実施形態にヘッドマウントディスプレイを追加した例)
2−1.全体構成
2−2.ヘッドマウントディスプレイの構成
2−3.サーバの構成
2−4.情報処理システムによる処理の例
2−4−1.第1処理例
2−4−2.第2処理例
2−4−3.第3処理例
2−4−4.第4処理例
2−4−5.第5処理例
2−4−6.第6処理例
<1.第1の実施形態>
(1−1.全体構成)
まず、第1の実施形態に係る情報処理システムの全体構成について説明する。情報処理システムは、1または複数の情報処理装置10と、表示装置20とを備える。なお、情報処理システムは、情報処理装置10を有していなくてもよい。すなわち、後述する処理例のうち、いくつかの処理例では、必ずしも情報処理装置10は必要ない。この場合、情報処理システムは、情報処理装置10を有していなくてもよい。情報処理システムが複数の情報処理装置10を有する場合、これらの情報処理装置10は異なるユーザによって所持されていてもよい。
情報処理装置10は、ユーザによる入力操作に応じて表示装置20との間で通信を行う。情報処理装置10は、好ましくはユーザにより携行される情報処理装置、例えばスマートフォン、スマートタブレット、及び携帯電話等であるが、これらに限定されない。すなわち、情報処理装置10は、後述する各処理例が実現されるものであればどのようなものであってもよい。
表示装置20は、情報処理装置10との間で通信を行い、これに応じて各種画像を表示する。表示装置20は、複数のウインドウを表示する場合がある。また、これらのウインドウは互いに異なるユーザによる操作対象となりうる。詳細は後述する処理例にて説明する。表示装置20は、複数のウインドウを表示するので、解像度は大きいことが好ましい。また、表示装置20は、解像度が大きく、かつ大画面であってもよい。例えば、部屋の壁一面が表示装置20となっていてもよい。
なお、以下の説明において、「スロー(throw)」は、情報処理装置10に表示された情報を表示装置20に表示させることを意味する。また、「キャッチ(catch)」は、表示装置20に表示された情報を情報処理装置10に表示させることを意味する。また、「右」、「左」は、ユーザから見た方向を意味する。
(1−2.情報処理装置の構成)
つぎに、図1及び図2に基づいて、第1の実施形態に係る情報処理装置10の構成について説明する。図1に示すように、情報処理装置10は、表示部11、操作部12、検出部13、通信部14、記憶部15、制御部16、及び音声出力部17を備える。
表示部11は、制御部16による制御により各種画像を表示する。操作部12は、ユーザによる入力操作を受け付ける。操作部12は、入力操作情報を制御部16に出力する。検出部13は、情報処理装置10の姿勢等を検出し、検出結果に関する検出情報を制御部16に出力する。通信部14は、表示装置20との間で通信を行い、これにより得られた情報を制御部16に出力する。通信部14は、ネットワークを経由して他の情報処理装置と通信を行ってもよい。記憶部15は、各種情報、例えば情報処理装置10に表示部11、操作部12、検出部13、通信部14、記憶部15、及び制御部16を実現させるためのプログラム、及び各種画像情報等を記憶する。制御部16は、情報処理装置10全体を制御する他、後述する各処理例に示される処理を行う。音声出力部17は、制御部16による制御により音声情報を出力する。
情報処理装置10は、図2に示すハードウェア構成を有し、これらのハードウェア構成によって上記の表示部11、操作部12、検出部13、通信部14、記憶部15、制御部16、及び音声出力部17が実現される。
すなわち、情報処理装置10は、ハードウェア構成として、ディスプレイ11a、操作装置12a、センサ13a、通信装置14a、不揮発性メモリ15a、RAM15b、CPU16a、及び音声出力装置17aを備える。
ディスプレイ11aは、各種画像情報を表示する。操作装置12aは、ユーザによる入力操作を受け付ける。操作装置12aは、好ましくはタッチパネルであるが、ハードキー等であってもよい。センサ13aは、情報処理装置10の姿勢等を検出する。センサ13aの具体例としては、例えばジャイロセンサ、加速度センサ等が挙げられる。
通信装置14aは、表示装置20との間で通信を行う。不揮発性メモリ15aは、各種プログラム及び画像情報等を記憶する。ここで、当該プログラムには、情報処理装置10に表示部11、操作部12、検出部13、通信部14、記憶部15、制御部16、及び音声出力部17を実現させるためのプログラムが含まれる。RAM15bは、CPU16aによる作業領域となるものである。CPU16aは、不揮発性メモリ15aに記憶されたプログラムを読みだして実行する。したがって、CPU16aが不揮発性メモリ15aに記憶されたプログラムを読みだして実行することで、表示部11、操作部12、検出部13、通信部14、記憶部15、及び制御部16が実現される。すなわち、CPU15aは、情報処理装置10の実質的な動作主体となりうるものである。音声出力装置17aは、音声情報を出力する装置であり、例えばスピーカ及びヘッドフォンである。
(1−3.表示装置の構成)
つぎに、図3及び図4に基づいて、第1の実施形態に係る表示装置20の構成について説明する。図3に示すように、表示装置20は、表示部21、音声出力部22、撮像部23(検出部)、通信部24、記憶部25、制御部26、及び音声検出部27を備える。
表示部21は、制御部26による制御により各種画像を表示する。音声出力部22は、音声情報を出力する。ここで、音声出力部22は指向性の音声情報を出力する場合がある。撮像部23は、表示装置20を視認するユーザ等を撮像し、これによって得られた撮像画像を制御部26に出力する。通信部24は、情報処理装置10との間で通信を行い、これによって得られた情報を制御部26に出力する。通信部24は、ネットワークを経由して他の情報処理装置と通信を行ってもよい。記憶部25は、各種情報、例えば表示装置20に表示部21、音声出力部22、撮像部23、通信部24、記憶部25、制御部26、及び音声検出部27を実現させるためのプログラム、及び各種画像情報等を記憶する。制御部26は、表示装置20全体を制御する他、後述する各処理例に示される処理を行う。音声検出部27は、音声情報、例えばユーザの声を検出し、制御部26に出力する。
表示装置20は、図4に示すハードウェア構成を有し、これらのハードウェア構成によって上記の表示部21、音声出力部22、撮像部23、通信部24、記憶部25、制御部26、及び音声検出部27が実現される。
すなわち、表示装置20は、ハードウェア構成として、ディスプレイパネル21a、スピーカ22a、撮像装置23a、通信装置24a、不揮発性メモリ25a、RAM25b、CPU26a、及びマイク27aを備える。
ディスプレイパネル21aは、各種画像情報を表示する。スピーカ22aは、音声情報を出力する。スピーカ22aは、指向性の音声情報を出力する場合がある。撮像装置23aは、撮像を行うことで、撮像画像を生成する。
通信装置24aは、情報処理装置10との間で通信を行う。不揮発性メモリ25aは、各種プログラム及び画像情報等を記憶する。ここで、当該プログラムには、表示装置20に表示部21、音声出力部22、撮像部23、通信部24、記憶部25、制御部26、及び音声検出部27を実現させるためのプログラムが含まれる。RAM25bは、CPU26aによる作業領域となるものである。CPU26aは、不揮発性メモリ25aに記憶されたプログラムを読みだして実行する。したがって、CPU26aが不揮発性メモリ25aに記憶されたプログラムを読みだして実行することで、表示部21、音声出力部22、撮像部23、通信部24、記憶部25、及び制御部26が実現される。すなわち、CPU25aは、表示装置20の実質的な動作主体となりうるものである。マイク27aは、音声情報を検出する。なお、表示装置20とは別体となるセットトップボックスを用意し、このセットトップボックスによって制御部26を実現させるようにしてもよい。この場合、セットトップボックスは、制御部26(及び表示装置20と通信を行う通信部)を実現させるために必要なハードウェア構成を有する。また、制御部26は、情報処理装置10(の一部)によって実現されてもよい。また、少なくとも表示装置20とネットワークを介して通信可能な情報処理サーバを用意し、この情報処理サーバによって制御部26を実現させるようにしてもよい。この場合、情報処理サーバは、制御部26(及び表示装置20と通信を行う通信部)を実現させるために必要なハードウェア構成を有する。
(1−4.情報処理システムによる処理の例)
以下、情報処理システムによる処理例を説明する。なお、以下の説明では、情報処理装置10はいわゆるスマートフォンであるものとする。したがって、上述した操作部12はいわゆるタッチパネルによって実現される。
(1−4−1.第1処理例)
次に、情報処理システムによる第1の処理例について説明する。第1の処理例では、ユーザは、throw操作を行うことで、情報処理装置10に表示された情報を表示装置20に表示させる。情報処理装置10は、表示装置20が表示中の情報をミラー表示する。
第1処理例の具体的な内容を図5、図6、図14〜図18に基づいて説明する。情報処理装置10は、図5に示すフローチャートに沿った処理を行い、表示装置20は、図6に示すフローチャートに沿った処理を行う。
(情報処理装置による処理)
ステップS10において、制御部16は、画像情報を表示部11に表示させる一方で、ユーザがthrow操作を行うまで待機する。ここで、当該画像情報は、表示装置20に表示される画像情報、すなわちthrow画像情報となるものである。操作部12は、throw操作がなされた場合には、throw操作情報を制御部16に出力する。制御部16は、throw操作情報が与えられた場合、すなわちthrow操作を検出した場合、ステップS20に進む。
表示例を図14に示す。この例では、制御部16は、throw画像情報としてウェブページを表示する他、throwボタン100を表示する。具体的には、制御部16は、throwボタン100、及びthrow画像表示用ウインドウ120を表示する。throwボタン100は、ユーザがthrow操作を行うためのボタンである。すなわち、ユーザは、throwボタン100をタップすることで、throw操作を行う。なお、throw操作はこの例に限られない。例えば、何らかのジェスチャ操作(例えば表示部11上を下端から上端に向けてフリックする操作)をthrowとしてもよい。この場合、throwボタン100は表示されても良いし、省略されてもよい。throw画像表示用ウインドウ120には、throw画像情報が表示される。具体的には、throw画像表示用ウインドウ120には、アドレス画像情報120aと、ウェブページ120bと、更新ボタン120cとが表示される。アドレス画像情報120aは、現在表示中のウェブページ120bのアドレスを示す。更新ボタン120cは、ウェブページ120bを最新の情報に更新するためのボタンであり、ユーザが更新ボタン120cをタップした場合、制御部16は、最新のウェブページ120bを取得し、throw画像表示用ウインドウ120に表示する。もちろん、制御部16は、ウェブページ以外の画像をthrowボタン100と共に表示してもよい。
ステップS20以降において、制御部16は、情報処理装置10が表示中の情報を表示装置20に表示させたい旨のthrowリクエスト情報を通信部14に出力する。通信部14は、throwリクエスト情報を表示装置20に送信する。これに応じて、表示装置20は、throw画像情報を表示可能な表示エリア(表示位置)、すなわち表示可能エリアに関する表示可能エリア情報を情報処理装置10に送信する。詳細は後述する。
ステップS30において、通信部14は、表示可能エリア情報を受信し、制御部16に出力する。
ステップS40において、制御部16は、表示可能エリア情報に基づいて、表示エリア選択ダイアログを生成し、表示エリアダイアログを表示部11に表示する。表示エリアダイアログは、ユーザにウインドウの表示エリアを選択させるためのダイアログである。ユーザが選択した表示エリアにウインドウが表示され、このウインドウ内に情報処理装置10が表示中の情報が表示される。表示例を図15に示す。この例では、制御部16は、throwボタン100、アドレス画像情報120a、ウェブページ120b、及び更新ボタン120cをグレーアウトし、表示エリアダイアログ130を表示する。
表示エリアダイアログ130は、表示装置画像140と、表示エリア選択ボタン150、160と、キャンセルボタン170とを含む。表示装置画像140は、表示装置20をデフォルメ表示した画像である。表示エリア選択ボタン150,160は、ユーザに表示エリアを選択させるためのボタンであり、表示装置画像140のうち、表示可能エリアに相当する部分に表示される。すなわち、表示エリア選択ボタン150、160は、表示可能エリアを示す。この例では、表示部21の左端及び右端が表示可能エリアとなっている。表示エリア選択ボタン150は、左端の表示可能エリアを示し、表示エリア選択ボタン160は、右端の表示可能エリアを示す。したがって、例えば表示部21の上端及び下端が表示可能エリアとなっている場合、表示装置画像140の上端と下端に表示エリア選択ボタンが表示されることとなる。
ここで表示エリアダイアログはこの例に限られない。例えば、表示エリアダイアログは、表示可能エリアの位置を示す文字情報をリスト表示してもよい。この場合、リスト中の各行が表示エリア選択ボタンとなる。
ステップS50において、制御部16は、ユーザが表示エリア選択操作、すなわち表エリアを選択する操作を行うまで待機する。操作部12は、表示エリア選択操作がなされた場合には、表示エリア選択操作情報を制御部16に出力する。制御部16は、表示エリア選択操作情報が与えられた場合、すなわち表示エリア選択操作を検出した場合、ステップS60に進む。ここで、表示エリア選択操作としては、例えば上述した表示エリア選択ボタンをタップする操作等が挙げられる。
ステップS60において、制御部16は、表示エリア選択操作に基づいて、ユーザが選択した表示エリアを認識する。そして、制御部16は、ユーザが選択した表示エリアに関する選択エリア情報(表示位置指定情報)を生成する。制御部16は、選択エリア情報を通信部14に出力する。通信部14は、選択エリア情報を表示装置20に送信する。これに応じて、表示装置20は、選択エリア情報が示す表示可能エリアにウインドウを表示する。詳細は後述する。
ステップS70において、制御部16は、表示部11に表示中の画像情報、すなわちthrow画像情報を通信部14に出力し、通信部14は、throw画像情報を表示装置20にストリーミング送信する。表示装置20は、ストリーミング送信されたthrow画像情報を受信し、throw画像表示用ウインドウ内にthrow画像情報を表示する。なお、送信形態はこの例に限られない。一方、制御部16は、ストリーミング送信中のthrow画像情報を表示部11にも表示する。すなわち、制御部16は、表示装置20に表示されるthrow画像情報を表示部11にもミラー表示する。
表示例を図16に示す。この表示例は、ステップS40の表示例で左端の表示エリアが選択された場合に表示される。すなわち、制御部16は、インジケータ200と、表示エリア切り替えボタン210と、リターンボタン220と、ウインドウ230とを表示する。インジケータ200は、throw中であることを示す文字情報である。表示エリア切り替えボタン210は、throw画像情報の表示エリアを切り替えるためのボタンである。表示エリア切り替えボタン210は、表示可能エリアの数だけ表示されてもよい。この例では、表示可能エリア切り替えボタン210は、右端の表示可能エリアを示す。制御部16は、ユーザが表示エリア切り替えボタン210をタップした場合、その旨の切り替えリクエスト情報を通信部14に出力する。通信部14は、切り替えリクエスト情報を表示装置20に送信する。表示装置20は、切り替えリクエスト情報に基づいて、ウインドウの表示エリアを切り替える。リターンボタン220は、表示装置20へのストリーミング送信を終了するためのボタンである。ウインドウ230には、ストリーミング送信中のthrow画像情報が表示される。例えば上述したウェブページが表示される。
ステップS80において、制御部16は、ユーザが終了操作を行ったか否かを判定する。例えば、制御部16は、リターンボタン220のタップを終了操作と判定してもよい。また、制御部16は、何らかのジェスチャ操作を終了操作としてもよい。操作部12は、終了操作が行われた場合には、終了操作情報を制御部16に出力する。制御部16は、終了操作情報が与えられた場合、すなわち終了操作を検出した場合には、ステップS90に進み、終了操作を検出しない場合には、ステップS70に戻る。
ステップS90において、制御部16は、切断処理を行う。例えば、制御部16は、ストリーミング送信を終了する旨の終了通知情報を通信部14に出力する。通信部14は、終了通知情報を表示装置20に送信する。その後、制御部16は、表示装置20との通信を切断する。
(表示装置による処理)
ステップS100において、表示装置20の通信部24は、throwリクエスト情報を受信し、制御部26に出力する。なお、制御部26は、throwリクエスト情報の待機中に、何らかの画像情報(以下、「ベース画像情報」とも称する)を表示部21に表示してもよい。表示例を図17に示す。この例では、制御部16は、表示部21にベース画像情報として画像情報170を表示する。
ステップS110において、制御部26は、ウインドウ表示可能エリアを決定する。ウインドウ表示可能エリアの決定方法については特に制限されない。表示可能エリアは、予め設定されていてもよく、ユーザが任意に設定してもよい。
ステップS120において、制御部26は、表示可能エリアに関する表示可能エリア情報を生成し、通信部24に出力する。通信部24は、表示可能エリア情報を情報処理装置10に送信する。
ステップS130において、通信部24は、選択エリア情報を受信し、制御部26に出力する。
ステップS140において、制御部26は、選択エリア情報が示す表示可能エリアに新規のウインドウ、すなわちthrow画像表示用ウインドウを開く。
ステップS150において、通信部24は、throw画像情報をストリーミング受信し、制御部26に出力する。
ステップS160において、制御部26は、throw画像情報をthrow画像表示用ウインドウに表示する。
表示例を図18に示す。この表示例は、ステップS40の表示例で左端の表示エリアが選択された場合に表示される。すなわち、制御部26は、ベース画像表示用ウインドウ171と、throw画像表示用ウインドウ180と、各種情報表示用ウインドウ190と、カーソル193とを表示する。
ベース画像表示用ウインドウ171は、ベース画像表示エリア171aと、ベース画像インジケータ171bとを含む。ベース画像表示エリア171aには、ベース画像情報171cが表示される。インジケータ171bは、ベース画像情報の題名等、ベース画像情報を識別するための情報を示す。ここで、ベース画像表示エリア171aのアスペクト比は表示部21のアスペクト比に一致している。すなわち、制御部16は、ベース画像情報の表示エリアを右方向に縮小し、開いた表示エリアにthrow画像表示用ウインドウ180を表示している。また、ベース画像表示エリア171aのアスペクト比は表示部21のアスペクト比に一致するため、ベース画像表示エリア171aの下方の表示エリアが空く。そこで、制御部26は、空いた表示エリアに各種情報表示用ウインドウ190を表示する。もちろん、ベース画像表示エリア171aのアスペクト比は表示部21のアスペクト比と異なっていてもよい。
throw画像表示用ウインドウ180は、throw画像を表示するためのウインドウである。throw画像表示用ウインドウ180は、インジケータ181と、throw画像表示エリア182と、表示エリア切り替えボタン184と、縮小ボタン185と、拡大ボタン186と、カーソル193とを含む。
インジケータ181は、表示装置20にthrow画像情報をストリーミング送信中の情報処理装置10を識別するための情報、例えば情報処理装置10の所有者の名称を示す。throw画像表示エリア182には、throw画像情報が表示される。この例では、throw画像表示エリア182には、アドレス画像情報182aと、ウェブページ182bとが表示される。アドレス画像情報182aは、ウェブページ182bのアドレスを示す。
表示エリア切り替えボタン184は、throw画像の表示エリア、すなわちthrow画像表示用ウインドウの表示エリアを切り替えるためのボタンである。表示エリア切り替えボタン184は、表示可能エリアの数だけ表示されてもよい。この例では、表示可能エリア切り替えボタン210は、右端の表示可能エリアを示す。縮小ボタン185は、throw画像表示用ウインドウを縮小するためのボタンである。拡大ボタン186は、throw画像表示用ウインドウを拡大するためのボタンである。
各種情報表示用ウインドウ190には、ベース画像情報及びthrow画像情報等に関連する情報等が表示される。具体的には、各種情報表示用ウインドウ190には、広告情報191、及び操作ボタン192が含まれる。広告情報191は、任意の広告情報であるが、例えばthrow画像情報またはベース画像情報に関連する広告情報であってもよい。操作ボタン192は、ユーザが各種操作を行うためのボタンである。操作ボタン192には、音声入力等を行うためのユーザインタフェースが含まれていてもよい。
カーソル193は、ユーザによる入力操作に基づいて移動する。ここで、カーソル193を移動するための入力操作は、表示装置20用のリモートコントローラを用いて行われればよい。なお、後述する第2処理例では、カーソルの移動等が情報処理装置10を用いて行われる。
すなわち、制御部26は、リモートコントローラから与えられた操作情報に基づいて、カーソル193の移動等を行う。そして、制御部26は、ユーザが表示エリア切り替えボタン184を押した場合、throw画像表示用ウインドウ180の表示エリアを右端に移動する。ここで、表示エリア切り替えボタン184を押す操作としては、カーソル193が表示エリア切り替えボタン184上に存在する状態でリモートコントローラの決定ボタンを押す操作等が挙げられる。縮小ボタン185、拡大ボタン186、及び操作ボタン192を選択する操作も同様である。
また、制御部26は、ユーザが縮小ボタン185を押した場合、throw画像表示用ウインドウ180を縮小する。具体的には、制御部26は、throw画像表示用ウインドウ180とベース画像表示用ウインドウ171との境界線183を左方向にシフトする。
また、制御部26は、ユーザが拡大ボタン186を押した場合、throw画像表示用ウインドウ180を拡大する。具体的には、制御部26は、throw画像表示用ウインドウ180とベース画像表示用ウインドウ171との境界線183を右方向にシフトする。
また、制御部26は、ユーザが操作ボタン192を押した場合、操作ボタン192の種類に応じた処理を行う。例えば、制御部26は、「Full screen」ボタンが押された場合には、throw画像情報をフルスクリーン表示する。制御部26は、「Close」ボタンが押された場合には、throw画像表示用ウインドウを閉じる。また、制御部26は、「Home」ボタンが押された場合には、所定の初期画像をベース画像として表示する。操作ボタン192の種類は上記に限られない。
また、制御部26は、切り替えリクエスト情報が与えられた場合には、throw画像表示用ウインドウの表示エリアを切り替えリクエスト情報が示す表示エリアに移動する。
ステップS170において、制御部26は、終了通知情報を受信したか否かを判定する。制御部26は、終了通知情報を受信したと判定した場合には、ステップS180に進み、終了通知情報を受信していないと判定した場合には、ステップS140に進む。ステップS180において、制御部26は、切断処理を行う。例えば、制御部26は、情報処理装置10との通信を切断する。
ここで、第1処理例では、情報処理装置10は1つだけ示したが、情報処理装置10は複数存在してもよい。すなわち、複数のユーザが自己の情報処理装置10の画像情報を表示装置20に表示させるようにしてもよい。
第1処理例によれば、情報処理装置10は、表示装置20に表示されるウインドウ、すなわちthrow画像表示用ウインドウの表示位置を指定することができる。したがって、ユーザは、自己の情報処理装置10を用いて、表示部21内の所望の位置に容易にウインドウを表示させることができる。
また、表示装置20は、throw画像表示用ウインドウの表示可能位置に関する情報を情報処理装置10に送信するので、情報処理装置10は、例えば表示エリア選択ダイアログを表示することができる。したがって、ユーザは、より容易に所望の表示エリアを選択することができる。
(1−4−2.第2処理例)
次に、図7及び図8に基づいて、第2処理例について説明する。第2処理例は、情報処理装置10をリモートコントローラとして使用する例である。
(情報処理装置による処理)
図7に示すステップS190〜S240において、情報処理装置10は、図5に示すステップS10〜ステップS60と同様の処理を行う。
ステップS250において、制御部16は、コンテクスト情報を生成する。ここで、コンテクスト情報は、throw画像情報に関する情報等を含む。例えば、コンテクスト情報には、情報処理装置10で実行中のアプリケーションに関する情報(アプリケーションID等)、throw画像情報の所在(例えばURL)、現在のthrow画像情報の表示状態(表示位置、再生位置など)、操作履歴などを含む。
ステップS260において、制御部16は、ユーザからの入力操作を受け付ける。この入力操作は、ユーザが表示装置20のウインドウに表示されたthrow画像情報に対して行われる入力操作を含む。入力操作としては、タッチパネルを使用した操作、情報処理装置10自体を動かす操作(以下、「遠隔ポインティング操作」とも称する)等が挙げられる。タッチパネルを使用した操作としては、例えばドラッグ操作、タップ操作、ピンチイン、ピンチアウト操作等が挙げられる。
具体的には、制御部16は、検出部13から与えられた検出情報、及び操作部12から与えられた操作情報に基づいて、ユーザが行った入力操作を認識する。そして、制御部16は、認識した入力操作に関する遠隔操作情報を通信部14に出力し、通信部14は、遠隔操作情報を表示装置20に送信する。表示装置20は、遠隔操作情報に基づいた処理を行う。具体的には後述する。
ステップS270において、制御部16は、終了通知情報を受信したか否かを判定する。制御部16は、終了通知情報を受信したと判定した場合には、ステップS280に進み、終了通知情報を受信していないと判定した場合には、ステップS260に進む。ステップS280において、制御部16は、切断処理を行う。例えば、制御部16は、表示装置20との通信を切断する。
(表示装置による処理)
図8に示すステップS290〜S330において、表示装置20は、図6に示すステップS100〜ステップS140と同様の処理を行う。
ステップS340において、通信部24は、コンテクスト情報を受信し、制御部26に出力する。
ステップS350において、制御部26は、コンテクスト情報に基づく処理を行う。具体的には、制御部26は、コンテクスト情報が示すアプリケーションを実行し、コンテクスト情報が示す所在からthrow画像情報を取得する。そして、制御部26は、throw画像表示用ウインドウにthrow画像情報を表示する。
ステップS360において、通信部24は、遠隔操作情報を受信し、制御部26に出力する。
ステップS370において、制御部26は、遠隔操作情報に基づく処理を行う。例えば、制御部26は、ドラッグ操作に基づいて、throw画像情報をスクロールさせる。また、制御部26は、タップ操作に基づいて、決定処理(例えば上述した各種ボタン184、185、186、192を押す処理)を行う。また、制御部26は、ピンチイン操作に基づいて、throw画像表示用ウインドウを縮小させる。また、制御部26は、ピンチアウト操作に基づいて、throw画像表示用ウインドウを拡大させる。また、制御部26は、遠隔ポインティング操作に基づいて、カーソル(例えばカーソル193)を移動させる。
ステップS380において、制御部26は、ユーザが終了操作を行ったか否かを判定する。例えば、制御部26は、「Close」ボタンを押す操作を終了操作と判定してもよい。制御部26は、終了操作を検出した場合には、ステップS390に進み、終了操作を検出しない場合には、ステップS350に戻る。
ステップS390において、制御部26は、切断処理を行う。例えば、制御部26は、throw画像情報の表示を終了する旨の終了通知情報を通信部24に出力する。通信部24は、終了通知情報を情報処理装置10に送信する。その後、制御部26は、情報処理装置10との通信を切断する。
ここで、第2処理例では、情報処理装置10は1つだけ示したが、情報処理装置10は複数存在してもよい。すなわち、複数のユーザが自己の情報処理装置10の画像情報を表示装置20に表示させるようにしてもよい。
第2処理例によれば、第1処理例と同様の効果が得られる。また、ユーザは、throw画像情報をより容易に操作することができる。なお、第2処理例においてもthrow画像情報を表示部11に表示しても良い。
(1−4−3.第3処理例)
次に、図19及び図20に基づいて、第3処理例について説明する。第3処理例は、第1処理例及び第2処理例の変形例に相当するものである。第3処理例では、制御部26は、情報処理装置10の使用状態(縦置き、横置き、斜め置き等)に基づいて、throw画像表示用ウインドウの表示状態を決定する。
具体的には、制御部16は、検出部13から与えられた検出情報に基づいて、情報処理装置10の使用状態を判定する。そして、制御部16は、使用状態に関する使用状態情報を通信部14に出力する。通信部14は、使用状態情報を表示装置20に送信する。表示装置20の通信部24は、使用状態情報を受信し、制御部26に出力する。制御部26は、使用状態情報に基づいて、throw画像表示用ウインドウの表示状態を決定する。例えば、制御部26は、使用状態が縦置きとなる場合、throw画像表示用ウインドウを縦長の形状とし、使用状態が横置きとなる場合、throw画像表示用ウインドウを横長の形状とする。また、制御部26は、使用状態が斜め置きとなる場合、throw画像表示用ウインドウを斜めに長い形状とする。
処理例を図19及び図20に示す。すなわち、図19に示すように、情報処理装置10が横置きとなっている場合、図20に示すように、制御部26は、throw画像表示用ウインドウ180を横長の形状で表示する。この場合、制御部26は、表示部21の下端全体にthrow画像表示用ウインドウ180を表示してもよい。また、制御部26は、throw画像表示用ウインドウ180を表示部21の下端からせり上がるように表示してもよい。
第3処理例によれば、表示装置20は、情報処理装置10の使用状態に基づいて、ウインドウの表示状態を決定するので、ユーザは、所望の表示状態でウインドウを表示させることができる。
(1−4−4.第4処理例)
次に、図21に基づいて、第4処理例について説明する。第4処理例は、第1処理例及び第2処理例の変形例に相当するものである。第4処理例では、制御部26は、情報処理装置10の空間中の位置及び/または姿勢に基づいて、throw画像表示用ウインドウを表示する。より具体的には、制御部26は、情報処理装置10の中心を通り、かつ情報処理装置10の長手方向に伸びる直線と、表示部21との交点にthrow画像表示用ウインドウを表示する。
具体的には、情報処理装置10の制御部16は、遠隔ポインティング操作に関する遠隔ポインティング操作情報を通信部14に出力する。通信部14は、遠隔ポインティング操作情報を表示装置20に送信する。表示装置20の通信部24は、遠隔ポインティング操作情報を受信し、制御部26に出力する。制御部26は、遠隔ポインティング操作情報に基づいて、throw画像表示用ウインドウの表示位置を決定する。例えば、制御部26は、上述した交点がthrow画像表示用ウインドウの上のいずれかに配置されるように、throw画像表示用ウインドウの表示位置を決定する。
表示例を図21に示す。この例では、ユーザAが情報処理装置10を移動させる。制御部26は、情報処理装置10の中心を通り、かつ情報処理装置10の長手方向に伸びる直線P1と、表示部21との交点P2がthrow画像表示用ウインドウ180の左上端部に位置するように、throw画像表示用ウインドウ180の表示位置を決定する。例えば、制御部26は、交点P2が位置P2aから位置P2bに移動した場合、throw画像表示用ウインドウ180を位置180aから180bまで移動させる。
なお、制御部26は、表示部21を複数の小領域に区分し、上述した交点を含む小領域にthrow画像表示用ウインドウを表示するようにしてもよい。
第4処理例によれば、ユーザは、所望の位置にthrow画像表示用ウインドウを表示させることができる。
(1−4−5.第5処理例)
次に、図9、図10、図22〜図24に基づいて、第5処理例について説明する。第5処理例は、いわゆるキャッチ(catch)を行うものである。
(情報処理装置による処理)
図9に示すステップS400において、制御部16は、ユーザがcatchのトリガ操作を行うまで待機する。ここで、トリガ操作としては、例えば表示部11上を上端から下端に向けてフリックする操作等が挙げられる。また、制御部16は、表示部11にcatchボタンを表示してもよい。そして、制御部16は、ユーザがcatchボタンをタップする操作をトリガ操作と判定してもよい。
ステップS410において、制御部16は、表示内容情報をリクエストする旨のcatchリクエスト情報を通信部14に出力する。ここで、表示内容情報は、表示装置20の現在の表示内容を示す情報である。表示内容情報は、ユーザによるcatchの対象となりうるウインドウ、すなわちcatch可能ウインドウの表示エリア(表示位置)を示す。通信部14は、catchリクエスト情報を表示装置20に送信する。これに応じて、表示装置20は、表示内容情報を情報処理装置10に送信する。詳細は後述する。
ステップS420において、通信部14は、表示内容情報を受信し、制御部16に出力する。
ステップS430において、制御部16は、表示内容情報に基づいて、catch可能ウインドウを表示する。具体的には、制御部16は、表示内容情報に基づいて、catch対象ウインドウ選択ダイアログを生成し、catch対象ウインドウ選択ダイアログを表示部11に表示する。catch対象ウインドウ選択ダイアログは、ユーザにcatch対象ウインドウを選択させるためのダイアログである。ユーザが選択したcatch対象ウインドウ内の画像情報が情報処理装置10の表示部11に表示される。
表示例を図22に示す。この例では、制御部16は、catch対象ウインドウ選択ダイアログ250及びインジケータ260を表示する。制御部16は、キャンセルボタンを表示してもよい。catch対象ウインドウ選択ダイアログ250は、表示装置画像250aと、catch対象ウインドウ選択ボタン251〜254とを含む。
表示装置画像250aは、表示装置20をデフォルメ表示した画像である。catch対象ウインドウ選択ボタン251〜254は、ユーザにcatch対象ウインドウを選択させるためのボタンであり、表示装置画像250aのうち、catch可能ウインドウの表示位置に相当する部分に表示される。すなわち、catch対象ウインドウ選択ボタン251〜254は、catch可能ウインドウを示す。この例では、表示部21上に4つのcatch可能ウインドウが表示されている。また、例えばcatch対象ウインドウ選択ボタン251は、表示部21の左上端に表示されたcatch可能ウインドウを示す。インジケータ260は、ユーザにcatch対象ウインドウの選択を促す文字情報である。
ここでcatch対象ウインドウ選択ダイアログはこの例に限られない。例えば、catch対象ウインドウ選択は、catch可能ウインドウの表示位置を示す文字情報をリスト表示してもよい。この場合、リスト中の各行がcatch対象ウインドウ選択ボタンとなる。
ステップS440において、制御部16は、ユーザがウインドウ指定操作、すなわちcatch対象ウインドウを選択する操作を行うまで待機する。操作部12は、ウインドウ指定操作がなされた場合には、ウインドウ指定操作情報を制御部16に出力する。制御部16は、ウインドウ指定操作情報が与えられた場合、すなわちウインドウ指定操作を検出した場合、ステップS450に進む。ここで、ウインドウ指定操作としては、例えば上述したcatch対象ウインドウ選択ボタンをタップする操作等が挙げられる。
ステップS450において、制御部16は、ウインドウ指定操作に基づいて、ユーザが選択したcatch対象ウインドウを認識する。そして、制御部16は、ユーザが選択したcatch対象ウインドウに関するウインドウ指定情報を生成する。ここで、ウインドウ指定情報として、catch対象ウインドウを識別するためのID(ウインドウID)、catch対象ウインドウの表示エリアを示す情報等が挙げられる。制御部16は、これらの情報を全てウインドウ指定情報に含めても良いし、いずれか一方のみをウインドウ指定情報に含めてもよい。制御部16は、ウインドウ指定情報を通信部14に出力する。通信部14は、ウインドウ指定情報を表示装置20に送信する。これに応じて、表示装置20は、catch対象ウインドウに表示中の画像情報、すなわちウインドウ表示情報を情報処理装置10に送信する。
ステップS460において、通信部14は、ウインドウ表示情報を受信し、制御部16に出力する。ステップS470において、制御部16は、ウインドウ表示情報を表示する。
(表示装置による処理)
図10に示すステップS480において、表示装置20の通信部24は、catchリクエスト情報受信し、制御部26に出力する。
ステップS490において、制御部26は、表示内容情報を生成する。例えば、制御部26は、図23に示すcatch可能ウインドウ241〜244を表示している場合、catch可能ウインドウ241〜244の表示エリアを示す表示内容情報を生成する。ここで、制御部26は、各catch対象ウインドウにウインドウIDを付与し、このウインドウIDをcatch可能ウインドウの表示エリアに関する情報に含めてもよい。また、制御部26は、ウインドウIDのみを表示内容情報としてもよい。制御部26は、表示内容情報を通信部24に出力し、通信部24は、表示内容情報を情報処理装置10に送信する。
ステップS500において、通信部24は、ウインドウ指定情報を受信し、制御部26に出力する。ステップS510において、制御部26は、ウインドウ指定情報に基づいてcatch対象ウインドウを認識し、catch対象ウインドウに表示中の画像情報、すなわちウインドウ表示情報を取得する。そして、制御部26は、ウインドウ表示情報を通信部24に出力する。通信部24は、ウインドウ表示情報を情報処理装置10に送信する。
ステップS520において、制御部26は、catch対象ウインドウを表示部21から消去する。制御部26は、catch対象ウインドウを残してもよい。
処理例を図24に基づいて説明する。この例では、表示装置20は、図23に示すcatch可能ウインドウ241〜244を表示している。したがって、情報処理装置10は、図22に示すcatch対象ウインドウ選択ダイアログ250を表示する。情報処理装置10は、ユーザがcatch可能ウインドウ243をcatch対象ウインドウとして選択した場合、その旨のウインドウ指定情報を表示装置20に送信する。表示装置20は、catch対象ウインドウに表示中の画像情報をウインドウ表示情報として取得し、情報処理装置10に送信する。情報処理装置10は、ウインドウ表示情報260(すなわち、catch可能ウインドウ243に表示されていた画像情報)を表示する。また、表示装置20は、catch可能ウインドウ243を消去する。
なお、表示装置20は、以下の処理によりcatch対象ウインドウを判定してもよい。すなわち、撮像部23は、ユーザを撮像し、これによって得られた撮像画像を制御部26に出力する。一方、ユーザは、catch可能ウインドウのいずれかを指定するジェスチャ操作(例えばいずれかのcatch可能ウインドウをポインティングする(指さす)操作)を行う。制御部26は、撮像画像に基づいて、ユーザが指定したcatch可能ウインドウをcatch対象ウインドウと判定する。
この場合、制御部26は、以下の処理によりウインドウ表示情報の送り先をユーザに選択させてもよい。すなわち、制御部26は、送り先の一覧を示すリスト画像を表示部21に表示する。ユーザは、リストアップされた送り先からいずれかの送り先を選択するジェスチャ操作(例えば、いずれかの送り先をポインティングする操作、catch可能ウインドウをドラッグアンドドロップする操作)を行う。なお、ドラッグアンドドロップ操作は、例えば、catch可能ウインドウをポインティングし、その後、指をいずれかの送り先を指し示す位置まで移動させることで行われる。制御部26は、撮像画像に基づいて、ユーザが選択した送り先を判定し、この送り先にウインドウ表示情報を送信する。一覧表示される送り先には、情報処理装置10以外の情報処理装置(据え置きPC等)が含まれていてもよい。
また、ユーザは、音声情報によりcatch対象ウインドウ及びウインドウ表示情報の送り先を指定してもよい。この場合、音声検出部27は、音声情報を制御部26に出力し、制御部26は、音声情報に基づいて、catch対象ウインドウ及びウインドウ表示情報の送り先を認識する。
第5処理例によれば、表示装置20は、複数のウインドウのうち、いずれか一のウインドウに表示された画像情報が情報処理装置10から要求された場合には、一のウインドウに表示された画像情報を情報処理装置10に送信する。したがって、情報処理装置10のユーザは、所望の画像情報を容易に取得することができる。
さらに、表示装置20は、一のウインドウを消去する制御を行うので、ユーザは、一のウインドウに表示された画像情報を取得したことを容易に把握することができる。
(1−4−6.第6処理例)
つぎに、図11、図25〜図28に基づいて、第6処理例について説明する。第6処理例は、ユーザの位置に応じてウインドウの表示位置を決定する処理である。この第6処理例では、情報処理システムは、必ずしも情報処理装置10を有していなくてもよい。また、第6処理例では、表示装置20の前(撮像部23による撮像範囲)に1または複数のユーザが存在する。
(表示装置による処理)
図11に示すステップS530において、音声検出部27は、ユーザによる音声指示情報を検出し、制御部26に出力する。ここで、音声指示情報には、少なくともウインドウの表示を指示する旨の音声情報が含まれる。音声指示情報には、ウインドウの表示内容を示す音声情報が含まれていてもよい。
ステップS540において、撮像部23は、ユーザを撮像し、これによって得られた撮像画像を制御部26に出力する。制御部26は、撮像画像に基づいて、音声指示情報を発したユーザの位置を特定する。
ステップS550において、制御部26は、音声指示情報を発したユーザの位置を判定する。ここで、制御部26は、撮像部23の撮像範囲をユーザから向かって右側、中央、及び左側に分類し、ユーザの位置がこれらの分類のどれに該当するのかを判定する。もちろん、分類はこの例に限られない。例えば、分類はより細分化されても良い。制御部26は、ユーザが右側に存在すると判定した場合には、ステップS560に進み、ユーザが左側に存在すると判定した場合には、ステップS570に進み、ユーザが中央に存在すると判定した場合には、ステップS580に進む。
ステップS560において、制御部26は、表示部21の右側(右端)にウインドウを表示する。制御部26は、音声指示情報にウインドウの表示内容が含まれる場合には、ウインドウにユーザが指定した表示内容を表示する。
ステップS570において、制御部26は、表示部21の左側(左端)にウインドウを表示する。制御部26は、音声指示情報にウインドウの表示内容が含まれる場合には、ウインドウにユーザが指定した表示内容を表示する。
ステップS580において、制御部26は、プロンプトを表示する。ここで、プロンプトは、ウインドウの表示位置の指定を促す情報である。具体例は後述する。
ステップS590において、音声検出部27は、ユーザによる音声指示情報を検出し、制御部26に出力する。ここでの音声指示情報には、少なくともウインドウの表示位置を指示する旨の音声情報が含まれる。
ステップS600において、制御部26は、音声指示情報が右を示すか否かを判定し、音声指示情報が右を示すと判定した場合には、ステップS610に進み、音声指示情報が左を示すと判定した場合には、ステップS620に進む。
ステップS610において、制御部26は、表示部21の右側(右端)にウインドウを表示する。制御部26は、音声指示情報にウインドウの表示内容が含まれる場合には、ウインドウにユーザが指定した表示内容を表示する。
ステップS620において、制御部26は、表示部21の左側(左端)にウインドウを表示する。制御部26は、音声指示情報にウインドウの表示内容が含まれる場合には、ウインドウにユーザが指定した表示内容を表示する。なお、ユーザは、ジェスチャ操作(ポインティング、フリックなど)によりウインドウの表示位置を指定してもよい。この場合、制御部26は、撮像画像に基づいて、ウインドウの表示位置を決定する。すなわち、制御部26は、ジェスチャ操作したユーザを判定し、その結果に基づいて、ウインドウの表示位置を決定する。
処理例を図25〜図28に基づいて説明する。図25に示すように、表示装置20(制御部26)は、任意の画像情報、例えば画像情報170を表示する。この例では、3人のユーザA〜Cが画像情報170を視認している。また、ユーザA〜Cは撮像部23の撮像範囲に含まれる。ユーザA〜Cは、情報処理装置10を有していても有していなくてもよい。
その後、左端に存在するユーザAが「地図を表示」と発声した場合、図26に示すように、表示装置20は、ウインドウ270を表示部21の左端に表示する。ウインドウ270には、ウインドウ270の表示内容を示すインジケータ271と、地図画像が表示される画像表示エリア272とが含まれる。また、表示装置20は、画像情報170のアスペクト比を固定して縮小し、画像情報170の上側にインジケータ171を表示する。インジケータ171は、画像情報170を識別するための情報を示す。
一方、中央に存在するユーザBが「地図を表示」と発声した場合、図27に示すように、表示装置20は、プロンプト281、282を表示部21の両端に表示する。プロンプト281は、表示部21の右端に表示され、「R」の文字が描かれる。プロンプト282は、表示部21の左端に表示され、「L」の文字が描かれる。これにより、表示装置20は、ユーザにウインドウの表示位置の指定を促すことができる。その後、ユーザBが「左」と発声した場合、表示装置20は、図28に示すように、表示装置20は、ウインドウ290を表示部21の左端に表示する。ウインドウ290には、ウインドウ290の表示内容を示すインジケータ291と、地図画像が表示される画像表示エリア292とが含まれる。また、表示装置20は、画像情報170のアスペクト比を固定して縮小し、画像情報170の上側にインジケータ171を表示する。インジケータ171は、画像情報170を識別するための情報を示す。
第6処理例によれば、各ユーザは、自己の見やすい位置に所望のウインドウを容易に表示させることができる。
(1−4−7.第7処理例)
つぎに、図12及び図29に基づいて、第7処理例について説明する。第7処理例は、第1及び第2処理例の変形例に相当する。
まず、制御部26は、第1及び第2処理例と同様の画像を表示する。表示例を図29に示す。この例では、制御部26は、ベース画像表示用ウインドウ171と、throw画像表示用ウインドウ180とを表示する。この例では、各種情報表示用ウインドウ190と、カーソル193とが省略されるが、これらの画像が表示されても良いことはもちろんである。また、ユーザA、Bが表示装置20を視認している。ユーザBは情報処理装置10を有していなくてもよい。
ベース画像表示用ウインドウ171は、ベース画像表示エリア171aと、ベース画像インジケータ171bとを含む。ベース画像表示エリア171aには、ベース画像情報171cが表示される。インジケータ171bは、ベース画像情報の題名等、ベース画像情報を識別するための情報を示す。詳細な内容は図18と同様である。
throw画像表示用ウインドウ180は、throw画像を表示するためのウインドウである。throw画像表示用ウインドウ180は、インジケータ181と、throw画像表示エリア182とを含む。具体的な内容は図18と同様である。なお、この例では、表示エリア切り替えボタン184と、縮小ボタン185と、拡大ボタン186と、カーソル193とが省略されるが、これらの画像が表示されても良いことはもちろんである。
また、この例では、throw画像表示エリア182には、ユーザAの情報処理装置10から送信された(またはコンテクスト情報により得られた)throw画像情報(すなわちアドレス画像情報182a、ウェブページ182b)が表示されている。なお、制御部26は、throw画像表示用ウインドウの代わりに、他のウインドウ、例えば第7処理例で説明したウインドウを表示してもよい。
また、情報処理装置10の制御部16は、throw画像情報(または上述した他のウインドウ)に対応する音声情報S1を出力している。
ここで、制御部26は、表示部21の表示内容を示す表示内容情報を通信部24に出力し、通信部24は、表示内容情報をユーザAの情報処理装置10に送信する。情報処理装置10の通信部14は、表示内容情報を受信し、制御部16に出力する。制御部16は、表示内容情報を表示部11に表示する。表示例は図29に示す通りである。すなわち、この例では、制御部16は、表示内容情報300を表示する。表示内容情報300は、表示装置20の表示内容をデフォルメした画像である。表示内容画像300は、throw画像表示用ウインドウに相当するウインドウ選択ボタン310と、ベース画像表示用ウインドウ171に相当するウインドウ選択ボタン320とを含む。
制御部16は、ユーザがいずれかのウインドウ選択ボタンをタップした場合、ユーザがタップした(選択した)ウインドウ選択ボタンに関する選択ウインドウ情報を通信部14に出力する。通信部14は、選択ウインドウ情報を表示装置20に出力する。表示装置20の通信部24は、選択ウインドウ情報を制御部26に出力する。制御部26は、選択ウインドウ情報に基づいて、ユーザが選択したウインドウを認識し、当該ウインドウに対応する音声情報を取得する。ここで、制御部26は、音声情報をネットワークから取得してもよく、記憶部25から取得するようにしてもよい。制御部26は、音声情報を通信部24に出力し、通信部24は、音声情報を情報処理装置10に送信する。情報処理装置10の通信部14は、音声情報を受信し、制御部16に出力する。制御部16は、音声情報を音声出力部17から出力させる。なお、制御部16は、当該音声情報を表示装置20から取得する代わりに、ネットワークから取得するようにしてもよい。また、記憶部15に音声情報を予め記憶させておき、制御部16は、記憶部15から音声情報を取得するようにしてもよい。
また、制御部26から表示内容情報を情報処理装置10に送信する代わりに、以下の処理を行ってもよい。この場合、情報処理装置10に撮像部を備えさせる必要がある。すなわち、ユーザは、情報処理装置10の撮像部を用いて表示部21を撮像する。撮像部は、当該撮像により得られた撮像画像を制御部16に出力する。制御部16は、この撮像画像を表示内容情報として表示部11に表示する。
一方、表示装置20は、ユーザBに対しては、図12に示すフローチャートに沿った処理を行う。なお、この場合、音声出力部22は指向性の音声情報を出力できることが好ましい。
すなわち、ステップS630において、撮像部23は、ユーザBを撮像し、これによって得られた撮像画像を制御部26に出力する。制御部26は、撮像画像に基づいて、ユーザBの視点を検出する。
ステップS640において、制御部26は、検出結果に基づいて、ユーザBが対応音声ありのウインドウを所定時間見たか否かを判定する。この例では、対応音声ありのウインドウは、ベース画像表示用ウインドウ171及びthrow画像表示用ウインドウ180のいずれかとなる。制御部26は、ユーザBが対応音声ありのウインドウを所定時間見たと判定した場合には、ステップS650に進み、それ以外の場合には、本処理を終了する。
制御部26は、ユーザBが視認中のウインドウに対応する音声情報を音声出力部22から出力する。すなわち、音声情報を切り替える。例えば、ユーザBの視点(視線X1)がベース画像表示用ウインドウ171に向いている場合、制御部26は、ベース画像表示用ウインドウ171に対応する音声情報S2を出力する。なお、制御部26は、音声出力部22からユーザBに向けて音声情報を出力してもよい。また、制御部26は、ユーザBが視認中のウインドウに対応する音声情報を大きく、他の音声情報を小さく出力するようにしてもよい。また、制御部26は、音声切り換え時にそれまで出力していた音声情報をフェードアウトし、新たに出力する音声情報をフェードインしてもよい。
第7処理例によれば、各ユーザは、自己が所望する音声情報をより容易に聞き取ることができる。
(1−4−8.第8処理例)
つぎに、図13及び図30に基づいて、第8処理例について説明する。この第8処理例においても、情報処理システムは、情報処理装置10を有していなくてもよい。また、第8処理例では、1または複数のユーザが表示装置20を視認している。
ステップS660において、撮像部23は、ユーザを撮像し、これによって得られた撮像画像を制御部26に出力する。
ステップS670において、制御部26は、撮像画像から顔検出を行うことで、撮像範囲内にユーザが存在するか否かを判定する。制御部26は、撮像範囲内にユーザが存在すると判定した場合には、ステップS680に進み、撮像範囲内にユーザが存在しないと判定した場合には、本処理を終了する。
ステップS680において、制御部26は、顔検出の結果に基づいて、ユーザの左右方向の位置を特定する。
ステップS690において、制御部26は、顔検出の結果、具体的には顔の大きさに基づいて、ユーザの前後方向の位置(表示装置20からユーザまでの距離)を特定する。
ステップS700において、制御部26は、ユーザの左右方向の位置に基づいて、ウインドウの左右方向の表示位置を決定する。例えば、制御部26は、ユーザの左右方向の位置とウインドウの左右方向の位置とが一致するように、ウインドウの左右方向の位置を特定してもよい。
ステップS710において、制御部26は、ユーザの前後方向の位置に基づいて、ウインドウの表示サイズを決定する。例えば、制御部26は、ユーザが表示装置20から離れるほど、ウインドウの表示サイズを大きくしてもよい。なお、制御部26は、ウインドウの表示サイズを調整する代わりに、ウインドウに表示される画像情報の大きさを調整してもよい。例えば、制御部26は、ユーザが表示装置20から離れるほど、画像情報を大きくしてもよい。
ステップS720において、制御部26は、ユーザの前後方向の位置に基づいて、ウインドウの高さ方向の表示装置(表示部21の下端部からの距離)を決定する。例えば、制御部26は、ユーザの顔の高さにウインドウが配置されるように、ウインドウの高さ方向の位置を特定してもよい。
ステップS730において、制御部26は、ウインドウを上記で決定された位置及び表示サイズで表示する。
処理例を図30に示す。この例では、ユーザA、Bがそれぞれ表示装置20を視認している。表示装置20は、顔検出を行うことでユーザA、Bの顔を検出し、検出結果に基づいて、ユーザAに対応するウインドウ295、ユーザBに対応するウインドウ300の表示位置、及び表示サイズを決定する。そして、表示装置20は、ウインドウ295、300を当該決定された表示位置、及び表示サイズで表示する。例えば、表示装置20は、ユーザAの視線P3の先にウインドウ295が、ユーザBの視線P4の先にウインドウ300が配置されるように、ウインドウ295、300を表示する。制御部26は、ウインドウ295、300のそれぞれに、ユーザA、Bが指定した画像情報等を表示する。
例えば、制御部26は、ユーザA、Bの各々が有する情報処理装置10から送信されたthrow画像情報を表示する。この場合、記憶部25には、情報処理装置10の識別情報(情報処理装置ID)とユーザの識別情報とが関連付けられたユーザ特定用情報が記憶されている。ユーザの識別情報としては、ユーザの氏名、顔画像等が挙げられる。また、情報処理装置10から送信されるthrow画像情報には、情報処理装置10の識別情報が付加されている。そして、制御部26は、throw画像情報に付加された情報処理装置10の識別情報と、記憶部25に記憶されたユーザ特定用情報とに基づいて、throw画像情報をいずれのウインドウに表示させるかを決定する。
また、制御部26は、ユーザの左右方向の位置が変動した場合、それに応じてウインドウの左右方向の表示位置も変更してよい。
処理例を図31、図32に示す。図31に示すように、制御部26は、ウインドウ295、300に画像情報を表示している。また、制御部26は、ウインドウ295、300の間にウインドウ310を表示し、このウインドウ310にも画像情報を表示している。
ここで、ユーザAが矢印P5方向に移動し、ユーザBが矢印P6方向に移動することで、ユーザA、Bの位置が入れ替わった場合、制御部26は、ウインドウ295、300の表示位置を入れ替える。具体的には、制御部26は、ウインドウ295の表示位置を矢印P7方向に移動させる一方、ウインドウ300の表示位置を矢印P8方向に移動させることで、ウインドウ295、300の表示位置を入れ替える。具体的には、制御部26は、ユーザの位置が変動した場合、ステップS660〜ステップS730の処理を再度行う。これにより、制御部26は、ユーザA、Bの位置が変動しても、ユーザA、Bの視線の先にウインドウ295、300を表示することができる。
また、制御部26は、ユーザの位置の変動に応じてウインドウ表示位置を変更する場合、表示位置の変更があったウインドウを他の部分と異なる態様で(すなわち強調して)表示してもよい。例えば、制御部26は、ウインドウの表示位置を変更する場合、ウインドウの表示位置を変更してから所定時間の間は、当該ウインドウの境界部分を他の部分と異なる態様で表示してもよい。ウインドウの表示態様としては、例えばウインドウの境界部分を他の部分よりも目立つ色で表示する、ウインドウの境界付近を輝くようなエフェクトで表示する、ウインドウを点滅させる等が挙げられる。これにより、ユーザは、移動中に視線を表示装置20から外しても、視線を表示装置20に戻した際に自己に対応するウインドウを容易に発見することができる。
また、制御部26は、ウインドウの表示位置を変更してから所定時間の間は、当該ウインドウに対応するユーザを示すインジケータを当該ウインドウ内(またはウインドウの近傍)に表示してもよい。このようなインジケータとしては、ユーザの顔画像を示すアイコン、ユーザの氏名等を示す文字情報、ユーザを撮像することにより得られるライブ映像等が挙げられる。ライブ映像はスルー画像として表示されても良い。制御部26は、インジケータをウインドウ内に表示する場合、インジケータをウインドウ内の一部に表示しても良いし、ウインドウ内の画像情報とインジケータとをαブレンディングしたものを表示しても良い。これにより、ユーザは、移動中に視線を表示装置20から外しても、視線を表示装置20に戻した際に自己に対応するウインドウを容易に発見することができる。
また、制御部26は、ウインドウの表示位置を変更する場合、ウインドウを変更後の表示位置まで連続的に移動させてもよいし、一旦ウインドウを消去し、その後変更後の表示位置にウインドウを表示してもよい。前者の場合、制御部26は、ウインドウが新たな表示位置に到達するまで(またはウインドウが新たな表示位置に到達してから所定時間内)は、ウインドウを透過表示してもよい。これにより、制御部26は、ウインドウの移動中にウインドウが他の画像情報と重複した場合であっても、他の画像情報の視認性の低下を抑えることができる。
第8処理例によれば、表示装置20は、情報処理装置10のユーザの位置に基づいて、情報処理装置10に関連付けられたウインドウの表示位置を決定するので、ユーザは、所望のウインドウをより容易に視認することができる。
また、表示装置20は、情報処理装置10のユーザの位置が変動した場合、情報処理装置10に関連付けられたウインドウの表示位置を変動させるので、ユーザは、所望のウインドウをより容易に視認することができる。
(1−4−9.第9処理例)
つぎに、図33に基づいて、第9処理例について説明する。第9処理例は、第1及び第2処理例の変形例に相当する。
まず、制御部26は、第1及び第2処理例と同様の画像を表示する。表示例を図33に示す。この例では、制御部26は、ベース画像表示用ウインドウ171と、throw画像表示用ウインドウ180とを表示する。この例では、各種情報表示用ウインドウ190と、カーソル193とが省略されるが、これらの画像が表示されても良いことはもちろんである。また、ユーザAが表示装置20を視認している。また、ユーザAは情報処理装置10を所持しており、情報処理装置10は、throw画像情報を表示装置20に送信する。
ベース画像表示用ウインドウ171は、ベース画像表示エリア171aと、ベース画像インジケータ171bとを含む。ベース画像表示エリア171aには、ベース画像情報171cが表示される。インジケータ171bは、ベース画像情報の題名等、ベース画像情報を識別するための情報を示す。詳細な内容は図18と同様である。
throw画像表示用ウインドウ180は、throw画像を表示するためのウインドウである。throw画像表示用ウインドウ180は、インジケータ181と、throw画像表示エリア182とを含む。具体的な内容は図18と同様である。なお、この例では、表示エリア切り替えボタン184と、縮小ボタン185と、拡大ボタン186と、カーソル193とが省略されるが、これらの画像が表示されても良いことはもちろんである。
また、この例では、throw画像表示エリア182には、ユーザAの情報処理装置10から送信された(またはコンテクスト情報により得られた)throw画像情報(すなわちアドレス画像情報182a、ウェブページ182b)が表示されている。なお、制御部26は、throw画像表示用ウインドウの代わりに、他のウインドウ、例えば第7処理例で説明したウインドウを表示してもよい。
そして、撮像部23は、ユーザAを撮像し、撮像画像を制御部26に出力する。制御部26は、撮像画像から顔検出を行うことで、ユーザAを認識する。制御部26は、ユーザAが撮像部23の撮像範囲から外れる方向に移動を開始した場合、ユーザAの移動量に応じてthrow画像表示用ウインドウ180を縮小する。そして、制御部26は、ユーザAが撮像範囲から離脱した際に、throw画像表示用ウインドウ180を消去する。
例えば、制御部26は、ユーザAが矢印P9方向へ移動を開始した場合、throw画像表示用ウインドウ180とベース画像表示用ウインドウ171との境界線183をユーザAの移動量に応じて矢印P10方向に移動させる。制御部26は、境界線183の移動に応じて、throw画像情報も横方向に縮小する。すなわち、制御部26は、throw画像表示用ウインドウ180を横方向に縮小する。そして、制御部26は、ユーザAが撮像範囲から離脱した際に、境界線183を表示部21の左端に到達させる。これにより、制御部26は、throw画像表示用ウインドウを消去する。
なお、ユーザAの移動とthrow画像表示用ウインドウ180の消去との間にはタイムラグがあってもよい。すなわち、制御部26は、ユーザAが撮像範囲から離脱したタイミングよりも遅いタイミングでthrow画像表示用ウインドウ180を消去するようにしてもよい。
また、制御部26は、以下の各方法によりthrow画像表示用ウインドウ180を消去してもよい。例えば、制御部26は、throw画像表示用ウインドウ180を画面外に移動させることで、throw画像表示用ウインドウ180を消去してもよい。また、制御部26は、throw画像表示用ウインドウ180を縦方向に縮小してもよい。また、制御部26は、throw画像表示用ウインドウ180の透過度を高くすることで、throw画像表示用ウインドウ180を消去してもよい。また、制御部26は、上記処理を行うか否かをユーザに設定させるようにしてもよい。
その後、制御部26は、ユーザAが撮像部23の撮像範囲内への進入を開始した場合、ユーザAの移動量に応じてthrow画像表示用ウインドウ180を再表示する。そして、制御部26は、ユーザAの全体(例えば顔全体)が撮像範囲内に入った際に、throw画像表示用ウインドウ180を元の大きさに戻す。
例えば、制御部26は、ユーザAが撮像範囲外から矢印P11方向へ移動を開始した場合、throw画像表示用ウインドウ180とベース画像表示用ウインドウ171との境界線183をユーザAの移動量に応じて矢印P12方向に移動させる。制御部26は、境界線183の移動に応じて、throw画像情報も横方向に拡大する。すなわち、制御部26は、throw画像表示用ウインドウ180を横方向に拡大する。そして、制御部26は、ユーザAの全体が撮像範囲内に入った際に、境界線183を元の位置に到達させる。これにより、制御部26は、throw画像表示用ウインドウを再表示する。
なお、ユーザAの移動とthrow画像表示用ウインドウ180の表示との間にはタイムラグがあってもよい。すなわち、制御部26は、ユーザA全体が撮像範囲内に入ったタイミングよりも遅いタイミングでthrow画像表示用ウインドウ180を元の大きさに戻してもよい。
また、制御部26は、以下の各方法によりthrow画像表示用ウインドウ180を再表示してもよい。例えば、制御部26は、throw画像表示用ウインドウ180を画面外から画面内に移動させることで、throw画像表示用ウインドウ180を再表示してもよい。また、制御部26は、throw画像表示用ウインドウ180を縦方向に拡大することで、throw画像表示用ウインドウ180を再表示してもよい。また、制御部26は、throw画像表示用ウインドウ180の透過度を低くすることで、throw画像表示用ウインドウ180を再表示してもよい。また、制御部26は、上記処理を行うか否かをユーザに設定させるようにしてもよい。
また、制御部26は、throw画像表示用ウインドウ180の消去中は、throw画像情報の再生を一時停止させてもよい。制御部26は、ベース画像情報のストリーミングも一時停止してもよい。制御部26は、ユーザAが中座する(すなわち撮像範囲から外れる)時間が所定時間よりも長い場合、上記の再表示を行わなくてもよい。また、制御部26は、ユーザAが撮像範囲内で静止した位置に基づいて、throw画像表示用ウインドウ180の表示位置を決定してもよい。具体的な処理内容は第8処理例と同様であればよい。
第9処理例によれば、表示装置20は、ユーザが撮像範囲内に存在する場合にウインドウを表示することができるので、例えばユーザの不在時に他のユーザがウインドウを煩わしく感じないようにすることができる。
(1−4−10.第10処理例)
次に、図35に基づいて、第10処理例について説明する。第10処理例では、表示部21の表示エリア毎に異なるユーザに操作権限が設定される。なお、図35に示す例では、ユーザA、Bが表示装置20を視認している。第10の処理例では、情報処理システムは、情報処理装置10を有していても有していなくてもよい。情報処理システムが情報処理装置10を有する場合、すなわち各ユーザが異なる情報処理装置10を有する場合、記憶部25は、情報処理装置10の識別情報とユーザの識別情報(例えば顔画像)とが関連付けられたユーザ特定用情報が記憶されていてもよい。これにより、制御部26は、いずれかのユーザの情報処理装置10から遠隔操作情報が与えられた場合、その遠隔操作情報がどのユーザから発せられたのかを認識することができる。
例えば、撮像部23は、ユーザを撮像し、これによって得られた撮像画像を制御部26に出力する。制御部26は、撮像画像から顔検出を行うことで、ユーザA、Bを検出し、ユーザA、Bの左右方向の位置を特定する。そして、制御部26は、ユーザAの正面の表示エリア330の操作権限をユーザAに付与し、ユーザBの正面の表示エリア340の操作権限をユーザBに付与する。制御部26は、表示エリア330、340間の表示エリア350の操作権限をユーザA、Bの双方に付与する。なお、表示エリアの区分及び操作権限の付与方法についてはこの例に限られない。例えば、制御部26は、表示エリアを任意に区分し、表示エリア毎に異なるユーザに操作権限を付与してもよい。
そして、制御部26は、ユーザAによるウインドウ表示指示操作により表示エリア330内にウインドウ330a、330bを表示し、ユーザBによる入力操作により表示エリア340内にウインドウ340aを表示する。
ここで、ユーザによるウインドウ表示指示操作としては、例えば第1処理例及び第2処理例と同様の操作(例えば、throwボタン100をタップする操作)、各種ジェスチャ操作、音声操作(発声により指示する操作)等が挙げられる。なお、制御部26は、どのユーザがジェスチャ操作または音声操作を行ったのかを、撮像画像に基づいて判定することができる。
また、制御部26は、ユーザAによるウインドウ操作に基づいて、ウインドウ330a、330bに関する処理(例えば画像情報の表示、画像情報の切り替え等)を行う。また、制御部26は、ユーザBによるウインドウ操作に基づいて、ウインドウ340aに関する処理(例えば画像情報の表示、画像情報の切り替え等)を行う。ここで、ユーザによるウインドウ操作としては、上述した第2処理例と同様の操作(例えば、カーソル193をウインドウ内の所望の位置に移動させて情報処理装置10をタップする操作)の他、各種ジェスチャ操作、音声操作等が挙げられる。
また、制御部26は、ユーザAによるウインドウ移動指示操作に基づいて、ウインドウ330a、330bを移動させ、ユーザBによるウインドウ移動指示操作に基づいて、ウインドウ340aを移動させる。ここで、ユーザによるウインドウ移動指示操作としては、上述した第2処理例と同様の操作(例えば、カーソル193を用いてウインドウをドラッグアンドドロップする操作)の他、各種ジェスチャ操作、音声操作等が挙げられる。
また、制御部26は、例えばウインドウ330bが表示エリア350に進入した場合、ウインドウ330bをユーザA、Bによって操作可能なウインドウ350aとする。
このように、制御部26は、表示エリア内に表示されたウインドウの操作権限を、当該表示エリアの操作権限を有するユーザに付与する。
第10処理例によれば、表示装置20は、表示部21の表示エリアを複数の表示エリア(小領域)に区分し、複数の表示エリアの各々と、複数の情報処理装置10の各々とを関連付ける。
したがって、表示エリア毎に操作権限が付与されるので、ユーザは、自己に操作権限があるウインドウをより容易に把握することができる。
(1−4−11.第11処理例)
次に、図36及び図37に基づいて、第11処理例について説明する。第11処理例では、表示部21のウインドウ毎に異なるユーザに操作権限が設定される。なお、図36に示す例では、ユーザA、B、Cが表示装置20を視認しており、図37に示す例では、ユーザA、Bが表示装置20を視認している。第11の処理例では、情報処理システムは、情報処理装置10を有していても有していなくてもよい。情報処理システムが情報処理装置10を有する場合、すなわち各ユーザが異なる情報処理装置10を有する場合、記憶部25は、情報処理装置10の識別情報とユーザの識別情報とが関連付けられたユーザ特定用情報が記憶されていてもよい。ユーザの識別情報としては、ユーザの氏名、顔画像等が挙げられる。これにより、制御部26は、いずれかのユーザの情報処理装置10から遠隔操作情報が与えられた場合、その遠隔操作情報がどのユーザから発せられたのかを認識することができる。
例えば、撮像部23は、ユーザを撮像し、これによって得られた撮像画像を制御部26に出力する。制御部26は、撮像画像から顔検出を行うことで、ユーザA、B、Cを検出する。
そして、図36に示すように、制御部26は、ウインドウ360〜390を表示し、ウインドウ毎に異なるユーザに操作権限を付与する。例えば、制御部26は、ウインドウ360の操作権限をユーザAに付与し、ウインドウ370の操作権限をユーザCに付与し、ウインドウ380の操作権限をユーザA、Bに付与する。制御部26は、ウインドウ390の操作権限をユーザBに付与する。そして、制御部26は、ウインドウ360〜390の端部にインジケータ361〜391を表示する。インジケータ361〜391は、ウインドウ360〜390の操作権限を有するユーザを示す。
なお、ウインドウ380の操作権限はユーザA、Bに付与される(すなわちウインドウ380はユーザA、Bの共有となる)が、例えば、制御部26は、初期状態ではユーザAに操作権限を付与してもよい。そして、制御部26は、ユーザAによる操作により、ウインドウ380の操作権限をBにも付与してもよい。例えば、制御部26は、ユーザAによるジェスチャ操作(例えばウインドウ380のポインティング操作)に基づいて、操作権限を共有させるユーザのリストを表示する。リストアップされるユーザは、例えば撮像画像に写っているユーザに限定してもよい。そして、制御部26は、ユーザAがいずれかのユーザ(例えばユーザB)を選択した場合、ウインドウ380をユーザAと選択されたユーザとの共有としてもよい。
このように、制御部26は、ウインドウ360〜390とユーザA、B、Cとを関連付ける。ここで、各ユーザA、B、Cが情報処理装置10を保持する場合、制御部26は、情報処理装置10から送信された遠隔操作情報と、記憶部15に記憶されたユーザ特定用情報とに基づいて、遠隔操作情報による操作対象となるウインドウを判定する。したがって、制御部26は、ウインドウ360〜390と各ユーザA、B、Cと情報処理装置10とを関連付けることとなる。
また、制御部26は、ユーザAによるウインドウ操作に基づいて、ウインドウ360、380に関する処理(例えば画像情報の表示、画像情報の切り替え等)を行う。また、制御部26は、ユーザBによるウインドウ操作に基づいて、ウインドウ381、390に関する処理(例えば画像情報の表示、画像情報の切り替え等)を行う。また、制御部26は、ユーザCによるウインドウ操作に基づいて、ウインドウ370に関する処理を行う。ウインドウ操作の具体的な内容は第10処理例と同様である。また、制御部26は、ユーザA、B、Cによるウインドウ移動指示操作に基づいて、ユーザA、B、Cが操作権限を有するウインドウの移動を行う。具体的な処理は第10処理例と同様である。
このように、制御部26は、表示部21に表示されたウインドウの操作権限を、各ユーザに付与する。
また、制御部26は、図37に示すように、ユーザAが矢印P13方向に移動することで、ユーザAが撮像範囲から離脱した場合、ユーザAの操作権限を解除する。すなわち、制御部26は、ユーザAの情報処理装置10とウインドウとの関連付けを解除する。例えば、制御部26は、ユーザAのウインドウ360、380に対する操作権限を解除する。
そして、制御部26は、操作権限を有するユーザが存在しないウインドウが存在する場合、そのウインドウの操作権限を撮像範囲内に存在する全てのユーザに付与する。
例えば、ウインドウ360は、ユーザAが離脱することで、操作権限を有するユーザが存在しなくなるので、制御部26は、ユーザB、Cにウインドウ360の操作権限を付与する。すなわち、制御部26は、ユーザA以外のユーザの情報処理装置10にウインドウ360を関連付ける。
制御部26は、上記の処理に応じて、インジケータ361〜391の表示内容を変更する。例えば、制御部26は、インジケータ361に「Free」、すなわちユーザB、Cに操作権限を付与したことを示す文字情報を表示する。また、制御部26は、インジケータ381にユーザBの識別情報を表示する。なお、制御部26は、操作権限を有するユーザが存在しないウインドウ360を消去してもよい。
第11処理例によれば、表示装置20は、複数のウインドウを表示する制御を行う一方、複数のウインドウの各々と、複数の情報処理装置10の各々とを関連付ける。したがって、各ユーザは、自己の情報処理装置10が関連付けられたウインドウを操作することができるので、操作に混乱する可能性が低減される。
さらに、表示装置20は、情報処理装置10のユーザを検出できなかった場合、情報処理装置10に関連付けられたウインドウと当該情報処理装置10との関連付けを解除する。したがって、あるユーザが撮像範囲外に離脱した場合、そのユーザに関連付けられたウインドウが操作できなくなるという可能性が低減される。
さらに、表示装置20は、情報処理装置10との関連付けが解除されたウインドウを、当該情報処理装置10以外の情報処理装置10に関連付ける。したがって、あるユーザが撮像範囲外に離脱した場合、そのユーザに関連付けられたウインドウが他のユーザによって操作可能となる。
さらに、表示装置20は、情報処理装置10のユーザを検出できなかった場合、当該情報処理装置10に関連付けられたウインドウを消去する。したがって、ユーザが混乱する可能性が低減される。なお、上述した各処理例は適宜組み合わせても良いことはもちろんである。例えば、第11処理例のウインドウには、ユーザが第1処理例で指定したthrow画像表示用ウインドウが含まれてもよい。
<2.第2の実施の形態(第1の実施形態にヘッドマウントディスプレイを追加した例)>
次に、第2の実施形態について説明する。
(2−1.全体構成)
まず、図38〜図41、及び図49に基づいて、全体構成について説明する。第2の実施形態に係る情報処理システムは、情報処理装置10と、表示装置20と、ヘッドマウントディスプレイ(以下、「HMD」とも称する)30とを備える。情報処理装置10と、表示装置20と、HMD30とは、いずれも各種サーバ(例えば翻訳サーバ40、字幕サーバ50、及びACRサーバ60)との間で通信を行う。
(2−2.HMDの構成)
情報処理装置10及び表示装置20の構成は第1の実施形態と同様である。そこで、ここでは、HMD30の構成について説明する。
HMD30は、図40に示すように、表示部31、外部撮像部32、内部撮像部33、操作部34、検出部35、通信部(取得部)36、記憶部37、制御部38、及び音声出力部39を備える。
表示部31は、制御部38による制御により、各種画像を表示する。なお、表示部31は、透過型となっており、ユーザは、HMD30を装着した際に、表示部31に表示された画像情報の他、表示部31の奥側に存在する各種オブジェクトを視認することができる。表示部31は2枚存在するが、2枚の表示部31の各々に略同一の画像情報が表示される。なお、これらの表示部31に視差のある画像情報を表示することで、画像情報を立体視させるようにしてもよい。
外部撮像部32は、HMD30の前方を撮像し、これにより得られた撮像画像を制御部38に出力する。外部撮像部32の撮像範囲は、ユーザの視野と略同一となるように調整されてもよい。また、外部撮像部32は、録音も可能であってもよい。内部撮像部33は、HMD30を装着したユーザの視点を撮像し、これにより得られた撮像画像を制御部38に出力する。
操作部34は、ユーザによる入力操作を受け付け、これにより得られた操作情報を制御部38に出力する。検出部35は、HMD30の姿勢等を検出し、検出結果に関する検出情報を制御部38に出力する。通信部36は、情報処理装置10及び各種サーバとの間で通信を行う。通信部36は、これら以外の装置、例えば表示装置20と通信を行ってもよい。
記憶部37は、HMD30に、表示部31、外部撮像部32、内部撮像部33、操作部34、検出部35、通信部36、記憶部37、及び制御部38を実現させるためのプログラム等を記憶する。制御部38は、HMD30全体を制御する他、後述する各処理例に示される処理を行う。音声出力部39は、制御部38による制御により、各種音声情報を出力する。
HMD30は、図39に示すハードウェア構成を有し、これらのハードウェア構成によって上記の表示部31、外部撮像部32、内部撮像部33、操作部34、検出部35、通信部36、記憶部37、制御部38、及び音声出力部39が実現される。
すなわち、HMD30は、ハードウェア構成として、ディスプレイ31a、外部撮像装置32a、内部撮像装置33a、操作装置34a、センサ35a、通信装置36a、不揮発性メモリ37a、RAM37b、CPU38a、及び音声出力装置39aを備える。
ディスプレイ31aは、各種画像情報を表示する。外部撮像装置32aは、HMD30の周囲を撮像する。内部撮像装置33aは、HMD30を装着したユーザの視点を撮像する。操作装置34aは、ユーザによる入力操作を受け付ける。操作装置34aは、好ましくはタッチパネル(タッチセンサ)であるが、ハードキー等であってもよい。センサ35aは、HMD30の姿勢等を検出する。センサ35aの具体例としては、例えばジャイロセンサ、加速度センサ等が挙げられる。
通信装置36aは、情報処理装置10及び各種サーバとの間で通信を行う。不揮発性メモリ37aは、各種プログラム及び画像情報等を記憶する。ここで、当該プログラムには、HMD30に表示部31、外部撮像部32、内部撮像部33、操作部34、検出部35、通信部36、記憶部37、制御部38、及び音声出力部39を実現させるためのプログラムが含まれる。RAM37bは、CPU38aによる作業領域となるものである。CPU38aは、不揮発性メモリ37aに記憶されたプログラムを読みだして実行する。したがって、CPU38aが不揮発性メモリ37aに記憶されたプログラムを読みだして実行することで、表示部31、外部撮像部32、内部撮像部33、操作部34、検出部35、通信部36、記憶部37、制御部38、及び音声出力部39が実現される。すなわち、CPU38aは、HMD30の実質的な動作主体となりうるものである。音声出力装置39aは、音声情報を出力する装置であり、例えばスピーカ及びヘッドフォンである。
(2−3.サーバの構成)
次に、図40及び図41に基づいて、第2の実施形態で使用される翻訳サーバ40、字幕サーバ50、及びACRサーバ60の構成について説明する。
翻訳サーバ40は、図40に示すように、通信部41、記憶部42、及び制御部43を備える。通信部36は、情報処理装置10、表示装置20、及びHMD30等との間で通信を行う。記憶部42は、翻訳サーバ40に、通信部41、記憶部42、及び制御部43を実現させるためのプログラム、及び各種翻訳情報(同じ意味を有する英語、日本語等の言語が関連付けられた情報等)等を記憶する。制御部43は、翻訳サーバ40全体を制御する他、後述する各処理例に示される処理を行う。
翻訳サーバ40は、図41に示すハードウェア構成を有し、これらのハードウェア構成によって上記の通信部41、記憶部42、及び制御部43が実現される。すなわち、翻訳サーバ40は、ハードウェア構成として、通信装置41a、不揮発性メモリ42a、RAM42b、外部記憶媒体42c、及びCPU43aを備える。
通信装置41aは、情報処理装置10、表示装置20、及びHMD30等との間で通信を行う。不揮発性メモリ42aは、各種プログラム等を記憶する。ここで、当該プログラムには、翻訳サーバ40に通信部41、記憶部42、及び制御部43を実現させるためのプログラムが含まれる。RAM42bは、CPU43aによる作業領域となるものである。外部記憶媒体42cは、翻訳情報等を記憶する。CPU43aは、不揮発性メモリ42aに記憶されたプログラムを読みだして実行する。したがって、CPU43aが不揮発性メモリ42aに記憶されたプログラムを読みだして実行することで、通信部41、記憶部42、及び制御部43が実現される。すなわち、CPU43aは、翻訳サーバ40の実質的な動作主体となりうるものである。
字幕サーバ50は、図40に示すように、通信部51、記憶部52、及び制御部53を備える。通信部51は、情報処理装置10、表示装置20、及びHMD30等との間で通信を行う。記憶部52は、字幕サーバ50に、通信部51、記憶部52、及び制御部53を実現させるためのプログラム、及び字幕特定用情報(コンテンツIDと字幕情報(関連情報)とが関連付けられた情報)等を記憶する。制御部53は、字幕サーバ50全体を制御する他、後述する各処理例に示される処理を行う。
字幕サーバ50は、図41に示すハードウェア構成を有し、これらのハードウェア構成によって上記の通信部51、記憶部52、及び制御部53が実現される。すなわち、字幕サーバ50は、ハードウェア構成として、通信装置51a、不揮発性メモリ52a、RAM52b、外部記憶媒体52c、及びCPU53aを備える。
通信装置51aは、情報処理装置10、表示装置20、及びHMD30等との間で通信を行う。不揮発性メモリ52aは、各種プログラム等を記憶する。ここで、当該プログラムには、字幕サーバ50に通信部51、記憶部52、及び制御部53を実現させるためのプログラムが含まれる。RAM52bは、CPU53aによる作業領域となるものである。外部記憶媒体52cは、字幕特定用情報等を記憶する。CPU53aは、不揮発性メモリ52aに記憶されたプログラムを読みだして実行する。したがって、CPU53aが不揮発性メモリ52aに記憶されたプログラムを読みだして実行することで、通信部51、記憶部52、及び制御部53が実現される。すなわち、CPU53aは、字幕サーバ50の実質的な動作主体となりうるものである。
ACR(Automatic content recognition)サーバ60は、図40に示すように、通信部61、記憶部62、及び制御部63を備える。通信部61は、情報処理装置10、表示装置20、及びHMD30等との間で通信を行う。記憶部62は、ACRサーバ60に、通信部61、記憶部62、及び制御部63を実現させるためのプログラム、及びコンテンツID特定用情報(画像情報及び音声情報とコンテンツIDとが関連付けられた情報)等を記憶する。記憶部62は、付加情報特定用情報(コンテンツIDと付加情報とが関連付けられた情報)を記憶していてもよい。付加情報は、画像情報がドラマ等の映像コンテンツである場合、例えば、出演者情報、関連コンテンツ、広告、スコア(評価)などであってもよい。また、付加情報は、画像情報がスポーツ番組である場合、選手情報などであってもよい。
画像情報の内容を説明する情報(出演者情報等)である。制御部63は、ACRサーバ60全体を制御する他、後述する各処理例に示される処理を行う。
ACRサーバ60は、図41に示すハードウェア構成を有し、これらのハードウェア構成によって上記の通信部61、記憶部62、及び制御部63が実現される。すなわち、ACRサーバ60は、ハードウェア構成として、通信装置61a、不揮発性メモリ62a、RAM62b、外部記憶媒体62c、及びCPU63aを備える。
通信装置61aは、情報処理装置10、表示装置20、及びHMD30等との間で通信を行う。不揮発性メモリ62aは、各種プログラム等を記憶する。ここで、当該プログラムには、ACRサーバ60に通信部61、記憶部62、及び制御部63を実現させるためのプログラムが含まれる。RAM62bは、CPU63aによる作業領域となるものである。外部記憶媒体62cは、コンテンツID特定用情報等を記憶する。CPU63aは、不揮発性メモリ62aに記憶されたプログラムを読みだして実行する。したがって、CPU63aが不揮発性メモリ62aに記憶されたプログラムを読みだして実行することで、通信部61、記憶部62、及び制御部63が実現される。すなわち、CPU63aは、ACRサーバ60の実質的な動作主体となりうるものである。
(2−4.情報処理システムによる処理の例)
(2−4−1.第1処理例)
次に、図42及び図50〜図54に基づいて、第1の処理例について説明する。第1〜第4処理例では、HMD30を装着したユーザが表示装置20を視認している場合に、表示部31に字幕情報を表示する。
図42に示すステップS740において、HMD30の外部撮像部32は、表示装置20の表示部21を撮像し、これにより得られた撮像画像を制御部38に出力する。
ステップS750において、制御部38は、撮像画像中の表示装置20及び各ウインドウの位置を特定する。
ステップS760において、制御部38は、各ウインドウの字幕情報(字幕テキスト情報、関連情報)を取得する。制御部38は、字幕情報のみならず、各種付加情報(画像情報の内容を説明する情報等)を取得してもよい。具体的な処理内容は後述する。
ステップS770において、制御部38は、撮像画像中の表示装置20及び各ウインドウの位置に基づいて、字幕情報の表示位置を決定する。具体的には、制御部38は、字幕情報が当該字幕情報に対応する画像情報に重畳するように、字幕情報の表示位置を決定する。ステップS780において、制御部38は、字幕情報の表示制御を行う。制御部38は、例えば字幕情報のフォントサイズ、枠・吹き出しの位置(ウインドウに対する相対位置)、形状、色、アニメーションの仕方(及び有無)等を調整して、字幕情報を表示してもよい。付加情報に関しても同様である。
ここで、HMD30は、図46〜図48に示す処理のいずれかにより字幕情報を取得すれば良い。
例えば、図46に示すステップS950において、表示装置20(TV)の制御部26は、現在表示中の画像情報に対応する字幕情報(日本語)を翻訳サーバ40に送信する。ステップS960において、翻訳サーバ40の制御部43は、字幕情報(日本語)に対応する字幕情報(英語または任意の外国語)を取得し、表示装置20に送信する。ステップS965において、表示装置20の制御部26は、字幕情報(英語または任意の外国語)をHMD30に送信する。
例えば、図47に示すステップS970において、表示装置20(TV)の制御部26は、現在表示中の画像情報に対応するコンテンツIDを情報処理装置10(スマートフォン)に送信する。ステップS980において、情報処理装置10の制御部16は、コンテンツIDを字幕サーバ50に送信する。ステップS990において、字幕サーバ50の制御部53は、コンテンツIDに対応する字幕情報を情報処理装置10に送信する。ステップS1000において、情報処理装置10の制御部16は、字幕情報をHMD30に送信する。
例えば、図48に示すステップS1001において、HMD30の外部撮像部32は、表示装置20の表示部21(TV画面)を撮像することで、撮像画像(映像)を取得する。外部撮像部32は、撮像画像(映像)を取得する代わりに、表示装置20から出力される音声情報(音データ)を録音してもよい。また、制御部38は、表示装置20から音声情報を取得してもよい。外部撮像部32は、撮像画像または音声情報を制御部38に出力する。
ステップS1010において、制御部38は、撮像画像または音声情報をACRサーバ60に送信する。ステップS1020において、ACRサーバ60の制御部63は、撮像画像または音声情報に対応するコンテンツIDをHMD30に送信する。ステップS1030において、HMD30の制御部38は、コンテンツIDを字幕サーバ50に送信する。ステップS1040において、字幕サーバ50の制御部53は、コンテンツIDに対応する字幕情報をHMD30に送信する。
処理例を図50、図51に基づいて説明する。表示装置20は、ウインドウ400、410を表示する。ウインドウ400は、インジケータ401と、画像情報表示エリア402とを備える。インジケータ401は、画像情報表示エリア402に表示中のコンテンツを識別するための情報を表示する。画像情報表示エリア402には、画像情報が表示される。ウインドウ410は、インジケータ411と、画像情報表示エリア412とを備える。インジケータ411は、画像情報表示エリア412に表示中のコンテンツを識別するための情報を表示する。画像情報表示エリア412には、画像情報が表示される。
これに対し、HMD30は、図51に示すように、表示部31のうち、ウインドウ400に重畳する位置に、ウインドウ400に対応する字幕情報420を表示し、ウインドウ410に重畳する位置に、ウインドウ410に対応する字幕情報430を表示する。
第1処理例によれば、表示装置20は、ウインドウに表示中の画像情報に関連する関連情報、すなわち字幕情報HMD30に送信することができる。したがって、HMD30は、関連情報、例えば字幕情報及び関連情報を表示することができる。
そして、第1処理例によれば、HMD30に字幕情報を表示するので、よりパーソナル性の高い(HMD30を装着したユーザしか見えない)字幕情報を表示することができる。第1処理例は、例えば表示装置20に多数のウインドウが表示され、多数のユーザが互いに異なるウインドウ(すなわち異なる画像情報)を視認している場合に特に好適である。すなわち、これらのユーザがHMD30を装着していれば、ユーザが視認中のウインドウに対する字幕情報をそのユーザのHMD30に表示するので、各ユーザは、自己が知りたい字幕情報をより容易に把握することができる。
(2−4−2.第2処理例)
次に、図43、図50、図52、及び図53に基づいて、第2処理例について説明する。図43に示すステップS790において、HMD30の外部撮像部32は、表示装置20の表示部21を撮像し、これにより得られた外部撮像画像を制御部38に出力する。一方、内部撮像部33は、HMD30を装着したユーザの視点を撮像し、これにより得られた内部撮像画像を制御部38に出力する。
ステップS800において、制御部38は、外部撮像画像中の表示装置20及び各ウインドウの位置を特定する。ステップS810において、制御部38は、内部撮像画像からユーザの視点位置(視線方向)を特定する。
ステップS820において、制御部38は、ステップS800及びS810の結果に基づいて、ユーザの視点位置に対応するウインドウ、すなわちユーザが視認中のウインドウを特定する。
ステップS830において、制御部38は、各ウインドウの字幕情報(字幕テキスト情報、関連情報)を取得する。具体的な処理内容は上述した通りである。制御部38は、字幕情報のみならず、各種付加情報(画像情報の内容を説明する情報等)を取得してもよい。具体的な処理内容は後述する。ステップS840において、制御部38は、字幕情報の表示制御を行う。
処理例を図50、図52、及び図53に基づいて説明する。図50に示すように、表示装置20は、ウインドウ400、410を表示している。そして、HMD30を装着したユーザがウインドウ400を視認している場合、HMD30は、ウインドウ400に対応する字幕情報420を取得する。そして、図52に示すように、HMD30は、ウインドウ400に対応する字幕情報420を表示部31に表示する。一方、ユーザがウインドウ410を視認している場合、HMD30は、ウインドウ410に対応する字幕情報430を取得する。そして、図53に示すように、HMD30は、ウインドウ410に対応する字幕情報430を表示部31に表示する。
第2処理例によれば、各ユーザは、自己が知りたい字幕情報をより容易に把握することができる。
(2−4−3.第3処理例)
次に、図44、図50、図52、及び図53に基づいて、第3処理例について説明する。図44に示すステップS850において、HMD30の外部撮像部32は、表示装置20の表示部21を撮像し、これにより得られた撮像画像を制御部38に出力する。
ステップS860において、制御部38は、撮像画像中の表示装置20及び各ウインドウの位置を特定する。ステップS870において、制御部38は、撮像画像に基づいて、ユーザ視野の中央に最も近い位置に存在するウインドウを特定する。
ステップS880において、制御部38は、ステップS860及びS870の結果に基づいて、ユーザ視野の中心に存在するウインドウの字幕情報(字幕テキスト情報、関連情報)を取得する。具体的な処理内容は上述した通りである。制御部38は、字幕情報のみならず、各種付加情報(画像情報の内容を説明する情報等)を取得してもよい。具体的な処理内容は後述する。ステップS890において、制御部38は、字幕情報の表示制御を行う。
処理例を図50、図52、及び図53に基づいて説明する。図50に示すように、表示装置20は、ウインドウ400、410を表示している。そして、HMD30を装着したユーザ視野の中心にウインドウ400が存在する場合、HMD30は、ウインドウ400に対応する字幕情報420を取得する。そして、図52に示すように、HMD30は、ウインドウ400に対応する字幕情報420を表示部31に表示する。一方、ユーザ視野の中心にウインドウ410が存在する場合、HMD30は、ウインドウ410に対応する字幕情報430を取得する。そして、図53に示すように、HMD30は、ウインドウ410に対応する字幕情報430を表示部31に表示する。
第3処理例によれば、各ユーザは、自己が知りたい字幕情報をより容易に把握することができる。
(2−4−4.第4処理例)
次に、図45及び図50、図54に基づいて、第4の処理例について説明する。図45に示すステップS900において、HMD30の外部撮像部32は、表示装置20の表示部21を撮像し、これにより得られた撮像画像を制御部38に出力する。
ステップS910において、制御部38は、撮像画像中の表示装置20及び各ウインドウの位置を特定する。
ステップS920において、制御部38は、各ウインドウの字幕情報(字幕テキスト情報、関連情報)及び付加情報を取得する。字幕情報の取得方法は上述した通りである。制御部38は、例えば図48に示すフローに従ってコンテンツIDと共に付加情報を取得すればよい。
ステップS930において、制御部38は、撮像画像中の表示装置20及び各ウインドウの位置に基づいて、字幕情報及び付加情報の表示位置を決定する。具体的には、制御部38は、字幕情報及び付加情報が当該字幕情報及び付加情報に対応する画像情報に重畳するように、字幕情報の表示位置を決定する。ステップS940において、制御部38は、字幕情報の表示制御を行う。
処理例を図50、図54に基づいて説明する。表示装置20は、ウインドウ400、410を表示している。HMD30を装着したユーザは、ウインドウ400、410を視認している。HMD30は、吹き出しを有する字幕情報460、480、効果音に対応する効果音情報470、及び付加情報490を、これらに対応するウインドウに重畳するように表示してもよい。効果音情報は付加情報の一種である。この例では、字幕情報460及び効果音情報470がウインドウ400に対応し、字幕情報480及び付加情報490がウインドウ410に対応する。制御部38は、表示装置20と重畳する位置、または重畳しない位置に字幕情報等を表示しても良い。
第4処理例によれば、各ユーザは、自己が知りたい字幕情報をより容易に把握することができる。
上述した第1処理例〜第4処理例において、ユーザが第1の実施形態の第1及び第2処理例(throw)または第6処理例(音声またはジェスチャ操作)により指定したウインドウが表示されている場合、制御部38は、以下の処理を行ってもよい。すなわち、制御部38は、当該ウインドウに対応する字幕情報及び付加情報等を継続して表示し続けてもよい。
また、上述した第1処理例〜第4処理例において、HMD30の制御部38は、複数のウインドウのうち、少なくとも1つのウインドウの音声情報を音声出力部39から出力してもよい。また、HMD30の制御部38は、残りのウインドウのうち、少なくとも1つのウインドウの字幕情報を表示部31に表示してもよい。表示装置20が音声情報を出力するウインドウは、予め設定されていてもよく、字幕表示されていないウインドウまたはユーザが見ていないウインドウであってもよい。ユーザは、第1〜第4処理例のどの処理を行わせるかについて、任意に選択できるようにしてもよい。
(2−4−5.第5処理例)
次に、図55及び図56に基づいて、第5処理例について説明する。第5処理例では、HMD30の使用状態に基づいて、字幕情報を表示する表示部を決定するものである。なお、付加情報についても同様の処理を行ってもよい。
具体的には、HMD30の外部撮像部32は、HMD30の前方(ユーザの視界)を撮像し、これにより得られた撮像画像を制御部38に出力する。制御部38は、撮像画像に基づいて、ユーザが表示装置20を視認しているか否かを判定する。制御部38は、ユーザが表示装置20を視認していると判定した場合には、字幕情報表示リクエスト情報を表示装置20に送信する。表示装置20の制御部26は、図46に示すフローに従って字幕情報を取得し、表示部21に表示する。一方、制御部38は、ユーザが表示装置20を視認していないと判定した場合には、上述した方法により字幕情報を取得し、表示部31に表示する。
処理例を図55及び図56に示す。ユーザが表示装置20を視認していない場合、図55に示すように、HMD30は字幕情報500(表示装置20に表示中の画像情報に対応するもの)を表示部31に表示する。一方、ユーザが表示装置20を視認している場合、表示装置20の制御部26は、字幕情報500を表示部21に表示する。
なお、制御部38は、HMD30を装着したユーザが表示装置20を視認しているか否かに応じて、字幕情報及び音声情報の出力方法を変えてもよい。例えば、制御部38は、ユーザが表示装置20を視認している場合、音声情報を第1言語(例えば英語)で出力し、字幕情報を第2言語(例えば日本語)で出力するようにしてもよい。また、制御部38は、ユーザが表示装置20を視認していない場合、音声情報を第2言語(例えば日本語)で出力し、字幕情報を第1言語(例えば英語)で出力するようにしてもよい。出力場所は、例えば上述した第5処理例と同様に決定されてもよい。なお、出力場所は表示装置20または情報処理装置10とされてもよい。この場合、制御部16、26が出力制御を行う。また、この場合、情報処理システムは、HMD30を有していなくてもよい。
また、制御部38は、HMD30がユーザによって装着されている場合、表示部31に字幕情報を表示してもよく、ユーザがHMD30を外している場合、表示部21に字幕情報を表示してもよい。
第5処理例によれば、ユーザにとってより必要性が高いと推定される情報を提供することができる。第5の処理例は第1〜第4処理例と組み合わせてもよい。
(2−4−6.第6処理例)
次に、第6処理例について説明する。第6処理例では、画像情報毎(あるいは画像情報のジャンル毎)に、音声情報及び画像情報の出力先を変更するものである。
画像情報のジャンルと出力先との対応関係の一例を図57に示す。このテーブルは、例えば情報処理装置10、表示装置20、及びHMD30のいずれかに記憶させればよい。例えばHMD30の記憶部37にテーブルが記憶される場合、制御部38が出力先を決定する。そして、制御部38は、音声情報及び字幕情報の出力先を決定し、決定された出力先に音声情報及び字幕情報を出力させる。なお、このテーブルには、さらに他の情報、例えば画像情報のジャンルと言語の種類(日本語、英語等の種類)及び字幕情報のボリューム(簡易かフルか等)との対応関係が含まれていてもよい。この場合、字幕サーバ50には、簡易版の字幕情報及びフル版の字幕情報が記憶される。制御部38は、テーブルにしたがって、音声情報及び字幕情報の出力先を決定するとともに、字幕情報の言語の種類、及びボリュームを決定する。そして、制御部38は、決定された種類及びボリュームの字幕情報を取得し(具体的な取得方法は図46〜図48に準ずる)決定された出力先から字幕情報を出力させる。また、制御部38は、複数のユーザがHMD30を装着している場合、HMD30毎に異なる種類の字幕情報を表示してもよい。
第6処理例によれば、ユーザのニーズに近いと推定される情報を提供することができる。第6処理例の表示態様は、第1〜第5処理例にも適用可能である。
なお、第1及び第2の実施形態は、本明細書中に記載されたいずれかの効果、または他の効果を有するものであってもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信する通信部と、
表示部の表示エリアのうち、前記表示位置指定情報が示す表示位置にウインドウを表示する制御を行う制御部と、を備える情報処理装置。
(2)
前記制御部は、前記ウインドウの表示可能位置に関する情報を前記他の情報処理装置に送信する制御を行う、前記(1)記載の情報処理装置。
(3)
前記制御部は、前記他の情報処理装置の使用状態に基づいて、前記ウインドウの表示状態を決定する、前記(1)または(2)記載の情報処理装置。
(4)
前記他の情報処理装置は複数存在し、
前記制御部は、複数のウインドウを表示する制御を行う一方、複数のウインドウの各々と、複数の他の情報処理装置の各々とを関連付ける、前記(1)〜(3)のいずれか1項に記載の情報処理装置。
(5)
前記他の情報処理装置のユーザの位置を検出する検出部を備え、
前記制御部は、前記他の情報処理装置のユーザの位置に基づいて、前記他の情報処理装置に関連付けられたウインドウの表示位置を決定する、前記(4)記載の情報処理装置。
(6)
前記制御部は、前記他の情報処理装置のユーザの位置が変動した場合、前記他の情報処理装置に関連付けられたウインドウの表示位置を変動させる、前記(5)記載の情報処理装置。
(7)
前記他の情報処理装置のユーザの位置を検出する検出部を備え、
前記制御部は、前記他の情報処理装置のユーザの位置が所定の範囲に存在しないと判定されることに応じて、前記他の情報処理装置に関連付けられたウインドウと前記他の情報処理装置との関連付けを解除する、前記(4)記載の情報処理装置。
(8)
前記制御部は、前記他の情報処理装置との関連付けが解除されたウインドウを、前記他の情報処理装置以外の情報処理装置に関連付ける、前記(7)記載の情報処理装置。
(9)
前記制御部は、前記検出部が前記他の情報処理装置のユーザの位置が所定の範囲に存在しないと判定されることに応じて、前記他の情報処理装置に関連付けられたウインドウを消去する、前記(7)記載の情報処理装置。
(10)
前記制御部は、前記表示エリアを複数の小領域に区分し、複数の小領域の各々と、複数の他の情報処理装置の各々とを関連付ける、前記(4)記載の情報処理装置。
(11)
前記制御部は、複数のウインドウを表示する制御を行う一方、複数のウインドウのうち、いずれか一のウインドウに表示された画像情報が前記他の情報処理装置から要求された場合には、前記一のウインドウに表示された画像情報を前記他の情報処理装置に送信する制御を行う、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記制御部は、前記一のウインドウを消去する制御を行う、前記(11)記載の情報処理装置。
(13)
前記制御部は、前記ウインドウに表示中の画像情報に関連する関連情報を前記他の情報処理装置に送信する、前記(1)〜(12)のいずれか1項に記載の情報処理装置。
(14)
ウインドウの表示位置を指示する表示位置指定情報を生成する制御部と、
前記表示位置指定情報を、前記ウインドウを表示可能な他の情報処理装置に送信する通信部と、を備える、情報処理装置。
(15)
ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信することと、
表示部の表示エリアのうち、前記表示位置指定情報が示す表示位置にウインドウを表示する制御を行うことと、を含む、情報処理方法。
(16)
コンピュータに、
ウインドウの表示位置を指示する表示位置指定情報を他の情報処理装置から受信する通信機能と、
表示部の表示エリアのうち、前記表示位置指定情報が示す表示位置にウインドウを表示する制御を行う制御機能と、を実現させる、プログラム。
10 情報処理装置
11 表示部
12 操作部
13 検出部
14 通信部
15 記憶部
16 制御部
17 音声出力部
20 表示装置
21 表示部
22 音声出力部
23 撮像部
24 通信部
25 記憶部
26 制御部
27 音声検出部


Claims (9)

  1. 表示部の表示エリアに第一のウインドウと第二のウインドウとを表示する制御を行い、ウインドウと情報処理装置を関連付けるためのユーザ特定用情報に基づいて、前記第一のウインドウと第一の情報処理装置とを関連付けることにより、前記第一のウインドウの操作権限を第一の情報処理装置の第一のユーザに付与し、前記第二のウインドウと第二の情報処理装置とを関連付けることにより、前記第二のウインドウの操作権限を第二の情報処理装置の第二のユーザに付与し、
    検出部が取得するユーザの位置に関する情報に基づいて、前記ウインドウの操作権限を持つユーザを変更し、
    前記検出部によって、前記ユーザの位置が所定の範囲に存在しないと判定されることに応じて、当該ユーザに付与された前記ウインドウの操作権限を解除し、
    操作権限を持つユーザが存在しなくなったウインドウと前記所定の範囲に存在するユーザの情報処理装置とを関連付けることにより、当該操作権限を持つユーザが存在しなくなったウインドウの操作権限を当該所定の範囲に存在するユーザに付与する
    制御部を備える、表示装置。
  2. 前記制御部は、前記第一の情報処理装置の第一のユーザによる操作入力に応じて、前記第一のウインドウに設定された操作権限を持つユーザを変更する、請求項1に記載の表示装置。
  3. 前記制御部は、前記第一の情報処理装置の第一のユーザによる操作入力に応じて、前記第一のウインドウの操作権限を前記第二のユーザに付与する、請求項2に記載の表示装置。
  4. 前記制御部は、前記第一の情報処理装置の第一のユーザによる操作入力に応じて、前記第一のウインドウに設定された操作権限を第二のユーザと共有する、請求項2に記載の表示装置。
  5. 前記制御部は、前記操作権限を付与するユーザを前記検出部が検出する所定の範囲に存在するユーザに限定する、請求項に記載の表示装置。
  6. 前記制御部は、前記検出部によって、前記第一のユーザの位置が所定の範囲に存在しないと判定されることに応じて、前記第一の情報処理装置に関連付けられたウインドウを消去する、請求項に記載の表示装置。
  7. 前記制御部は、前記情報処理装置から取得した前記ウインドウの表示位置を指示する表示位置指定情報に基づいて、前記表示エリアに前記ウインドウを表示する制御を行う、請求項1に記載の表示装置。
  8. 前記ユーザ特定用情報は、前記情報処理装置の識別情報とユーザの識別情報とを関連付けた情報である、請求項1に記載の表示装置。
  9. 前記制御部は、前記第一のウインドウと前記第二のウインドウに操作権限を有するユーザを示すインジケータを表示する、請求項1に記載の表示装置。
JP2018231808A 2013-10-04 2018-12-11 表示装置 Active JP6638804B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013208828 2013-10-04
JP2013208828 2013-10-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015540422A Division JP6455435B2 (ja) 2013-10-04 2014-08-20 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019083023A JP2019083023A (ja) 2019-05-30
JP6638804B2 true JP6638804B2 (ja) 2020-01-29

Family

ID=52778527

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015540422A Active JP6455435B2 (ja) 2013-10-04 2014-08-20 情報処理装置、情報処理方法、及びプログラム
JP2018231808A Active JP6638804B2 (ja) 2013-10-04 2018-12-11 表示装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015540422A Active JP6455435B2 (ja) 2013-10-04 2014-08-20 情報処理装置、情報処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US10545623B2 (ja)
EP (1) EP3054378B1 (ja)
JP (2) JP6455435B2 (ja)
WO (1) WO2015049931A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030778B2 (en) * 2014-03-31 2021-06-08 Healthy.Io Ltd. Methods and apparatus for enhancing color vision and quantifying color interpretation
JP6412778B2 (ja) * 2014-11-19 2018-10-24 東芝映像ソリューション株式会社 映像装置、方法、およびプログラム
KR102306536B1 (ko) * 2015-04-01 2021-09-29 삼성전자주식회사 위젯 제공 시스템 및 방법
KR102389038B1 (ko) * 2015-09-02 2022-04-21 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20170096408A (ko) * 2016-02-16 2017-08-24 삼성전자주식회사 어플리케이션을 표시하는 방법 및 이를 지원하는 전자 장치
US10937460B2 (en) * 2016-06-09 2021-03-02 Apple Inc. Media files and protocols supporting runtime dependent tracks
US11076112B2 (en) * 2016-09-30 2021-07-27 Lenovo (Singapore) Pte. Ltd. Systems and methods to present closed captioning using augmented reality
US10331394B1 (en) * 2017-12-21 2019-06-25 Logmein, Inc. Manipulating shared screen content
WO2019235135A1 (ja) * 2018-06-07 2019-12-12 ソニー株式会社 タスク対応情報の表示位置を変更する情報処理装置
JP7153522B2 (ja) * 2018-10-11 2022-10-14 日本放送協会 字幕表示装置及びそのプログラム
JP7450906B2 (ja) 2019-10-08 2024-03-18 株式会社セイビ堂 作業現場用の表示システム、情報伝達方法
CN113542825B (zh) * 2020-04-20 2022-10-11 华为技术有限公司 投屏显示方法、***、终端设备和存储介质
JPWO2022239152A1 (ja) * 2021-05-12 2022-11-17
CN113590251B (zh) * 2021-08-05 2024-04-12 四川艺海智能科技有限公司 单屏多窗口的数字化互动展示***及方法
WO2023157241A1 (ja) * 2022-02-18 2023-08-24 任天堂株式会社 システム、ポータブル電子機器、処理方法、およびプログラム
JP7519486B1 (ja) 2023-02-28 2024-07-19 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及びプレゼンテーション支援方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3524187B2 (ja) * 1994-12-28 2004-05-10 キヤノン株式会社 共有ウィンドウ操作権管理システムおよびその制御方法
JP4171123B2 (ja) * 1998-12-15 2008-10-22 富士通株式会社 端末操作装置
JP2004021595A (ja) * 2002-06-17 2004-01-22 Mitsubishi Electric Corp 会議支援協調作業システム
JP2004318121A (ja) * 2003-04-04 2004-11-11 Canon Inc 表示制御装置及び表示システム及びtv装置
JP2006065558A (ja) 2004-08-26 2006-03-09 Canon Inc 入力表示装置
US20060150108A1 (en) * 2005-01-06 2006-07-06 Canon Kabushiki Kaisha Information processing device, information processing method, storage medium, and program
JP5100003B2 (ja) * 2005-01-06 2012-12-19 キヤノン株式会社 情報処理装置、方法、記憶媒体並びプログラム
JP5037061B2 (ja) 2005-10-28 2012-09-26 シャープ株式会社 画像出力装置、画像一覧表示システム、プログラム、記録媒体、及び画像出力方法
JP4827626B2 (ja) * 2006-06-14 2011-11-30 キヤノン株式会社 被制御機器、遠隔制御システムおよび遠隔制御システムの制御方法、プログラム
JP5093884B2 (ja) * 2007-04-17 2012-12-12 シャープ株式会社 表示制御装置及び表示制御プログラム
WO2009125481A1 (ja) * 2008-04-10 2009-10-15 パイオニア株式会社 画面表示システム及び画面表示プログラム
JP5248225B2 (ja) * 2008-07-11 2013-07-31 富士フイルム株式会社 コンテンツ表示装置、コンテンツ表示方法およびプログラム
JP2010026327A (ja) 2008-07-22 2010-02-04 Canon Inc 表示装置の制御装置、制御方法、及びコンピュータプログラム
JP2010177848A (ja) * 2009-01-28 2010-08-12 Sharp Corp テレビ装置、pc装置、テレビ装置とpc装置とからなる表示システム
JP5375338B2 (ja) * 2009-05-29 2013-12-25 セイコーエプソン株式会社 画像表示システム、画像表示装置、画像表示方法、画像供給装置、およびプログラム
US9344510B2 (en) * 2009-07-03 2016-05-17 International Business Machines Corporation Pushing content from a local device to a remote display
US9201627B2 (en) * 2010-01-05 2015-12-01 Rovi Guides, Inc. Systems and methods for transferring content between user equipment and a wireless communications device
US8789131B2 (en) * 2010-05-14 2014-07-22 Lg Electronics Inc. Electronic device and method of sharing contents thereof with other devices
JP2012019413A (ja) * 2010-07-08 2012-01-26 Toshiba Corp 表示システム、端末装置、表示装置、及びプログラム
JP5516882B2 (ja) * 2010-07-29 2014-06-11 セイコーエプソン株式会社 プログラム、情報記憶媒体、端末装置、表示システムおよび画像生成方法
US8554897B2 (en) * 2011-01-24 2013-10-08 Lg Electronics Inc. Data sharing between smart devices
JP6196017B2 (ja) 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2013179553A (ja) * 2012-01-30 2013-09-09 Sharp Corp 画面分割表示システム及び画面分割表示方法
US10365874B2 (en) * 2013-01-28 2019-07-30 Sony Corporation Information processing for band control of a communication stream
US8938558B2 (en) * 2013-03-04 2015-01-20 Microsoft Corporation Modifying functionality based on distances between devices
US9063631B2 (en) * 2013-03-15 2015-06-23 Chad Dustin TILLMAN System and method for cooperative sharing of resources of an environment
US20140282103A1 (en) * 2013-03-16 2014-09-18 Jerry Alan Crandall Data sharing
JP2014232228A (ja) * 2013-05-29 2014-12-11 ソニー株式会社 情報処理装置、および情報処理システム

Also Published As

Publication number Publication date
US20160231872A1 (en) 2016-08-11
EP3054378A1 (en) 2016-08-10
EP3054378A4 (en) 2017-06-14
EP3054378B1 (en) 2022-11-02
WO2015049931A1 (ja) 2015-04-09
US10545623B2 (en) 2020-01-28
JPWO2015049931A1 (ja) 2017-03-09
JP6455435B2 (ja) 2019-01-23
JP2019083023A (ja) 2019-05-30

Similar Documents

Publication Publication Date Title
JP6638804B2 (ja) 表示装置
KR102266901B1 (ko) 디스플레이 장치 및 디스플레이 방법
ES2958183T3 (es) Procedimiento de control de aparatos electrónicos basado en el reconocimiento de voz y de movimiento, y aparato electrónico que aplica el mismo
US10757335B2 (en) Mobile terminal
KR101469520B1 (ko) 제어 디바이스 및 그 제어 방법
JP7092028B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11818425B2 (en) Methods, systems, and media for presenting caption information based on volume setting adjustments
US20210345017A1 (en) Methods, systems, and media for presenting interactive elements within video content
EP3024220A2 (en) Display apparatus and display method
KR20140085931A (ko) 손 움직임 감지를 통한 방송 서비스 제공 방법 및 장치
WO2017104089A1 (ja) ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置
CN115175004A (zh) 用于视频播放的方法、装置、可穿戴设备及电子设备
KR20180057034A (ko) 이동 단말기 및 그 제어방법
WO2019138682A1 (ja) 情報処理装置、情報処理方法及びプログラム
US9774812B1 (en) Image processing terminal and method for providing a service based on sensing levels of a key in a remote controller
EP4345817A1 (en) Display device and operating method thereof
KR20240037796A (ko) 전자 장치 및 그 동작 방법
JP2020076997A (ja) ヘッドマウントディスプレイ装置
JP2013109459A (ja) 表示装置、表示方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181227

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R151 Written notification of patent or utility model registration

Ref document number: 6638804

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151