JP2013211712A - 出力制御装置、出力制御方法、及びプログラム - Google Patents
出力制御装置、出力制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2013211712A JP2013211712A JP2012080986A JP2012080986A JP2013211712A JP 2013211712 A JP2013211712 A JP 2013211712A JP 2012080986 A JP2012080986 A JP 2012080986A JP 2012080986 A JP2012080986 A JP 2012080986A JP 2013211712 A JP2013211712 A JP 2013211712A
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic image
- viewer
- display
- sound
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereophonic System (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】立体画像が表示限界を超えて視聴者に近づいた場合でも、視聴者が立体画像の位置を知覚することができるようにした出力制御装置を提供すること。
【解決手段】視聴者が知覚する立体画像の表示位置を制御する表示制御部と、前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御部と、を備える出力制御装置が提供される。
【選択図】図３
【解決手段】視聴者が知覚する立体画像の表示位置を制御する表示制御部と、前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御部と、を備える出力制御装置が提供される。
【選択図】図３
Description
本技術は、出力制御装置、出力制御方法、及びプログラムに関する。
人間は、右目と左目とで捉えた画像の違い（視差）を利用して、物体を立体的に認識している。眼球の回転運動は輻湊角を変化させ、人間はこれを物体までの距離として認識する。輻湊角とは、視線の交差角である。この人間の特性を利用すべく、視差を考慮して用意された左目用及び右目用の二次元画像をそれぞれ左右の目に別々に映すと、これら二次元画像で表現された輻湊角により人間は物体までの距離を錯覚して立体を感じる。視差とは、左目用画像と右目用画像との間のずれ量である。このような原理に基づいて立体的に表示された画像を立体画像と呼ぶ場合がある。また、当該立体画像を各フレームに利用した映像を立体映像と呼ぶ場合がある。なお、立体画像の表示方法に関しては、例えば、下記の特許文献１に記載がある。
視聴者に対して立体画像の変化や空間位置を認識させる方法として、例えば、立体画像の表示サイズや色を変化させるような視覚的な効果を利用する方法がある。しかし、視覚的な効果だけでは、効果の内容によって視聴者が受ける認識が異なってしまうことがある。また、立体画像の表示位置には限界があり、現状では、表示面から所定以上に離れた位置で立体画像を知覚させることが困難である。そのため、表示限界を超えて立体画像を視聴者に近づけようとしても、視聴者に知覚されず、実際には表示限界を超えた空間領域を利用することは困難であった。
そこで、本技術は、上記のような事情を受けて考案されたものであり、立体画像が表示限界を超えて視聴者に近づいた場合でも、視聴者が立体画像の位置を知覚することができるようにした、新規かつ改良された出力制御装置、出力制御方法、及びプログラムを提供することを意図している。
本技術のある観点によれば、視聴者が知覚する立体画像の表示位置を制御する表示制御部と、前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御部と、を備える出力制御装置が提供される。
また、本技術の別の観点によれば、視聴者が知覚する立体画像の表示位置を制御するステップと、前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させるステップと、を含む出力制御方法が提供される。
また、本技術の別の観点によれば、視聴者が知覚する立体画像の表示位置を制御する表示制御機能と、前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御機能と、をコンピュータに実現させるためのプログラムが提供される。
以上説明したように本技術によれば、立体画像が表示限界を超えて視聴者に近づいた場合でも、視聴者が立体画像の位置を知覚することができるようにする。
以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
［説明の流れについて］
ここで、以下に記載する説明の流れについて簡単に述べる。
ここで、以下に記載する説明の流れについて簡単に述べる。
まず、本技術の一実施形態に係る技術的思想の概要について述べる。次いで、図１及び図２を参照しながら、当該技術的思想を具現化することが可能な同実施形態に係る情報処理システム１０のシステム構成例について説明する。次いで、図３〜図６を参照しながら、同実施形態に係る情報処理システム１０の機能構成例について説明する。
次いで、図７〜図２０を参照しながら、同実施形態に係る情報処理システム１０が有する表示出力機能及び音声出力機能について、より詳細に説明する。次いで、図２１及び図２２を参照しながら、同実施形態に係る情報処理システム１０が実行する処理の流れについて、一例を挙げて説明する。次いで、図２３を参照しながら、同実施形態に係る情報処理システム１０及び当該情報処理システム１０の各構成要素が有する機能を実現することが可能なハードウェア構成例について説明する。
最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
（説明項目）
１：はじめに
２：実施形態
２−１：システム構成例
２−１−１：クラウド構成
２−１−２：非クラウド構成
２−２：詳細な機能構成
２−３：表示・音声制御方法
２−３−１：制御例＃１（背後への移動を表現）
２−３−２：制御例＃２（追従及び表現の連続性）
２−３−３：制御例＃３（飛び出し速度に応じた音声表現）
２−３−４：制御例＃４（エフェクト処理）
２−３−５：制御例＃５（回転ＵＩ表現）
２−３−６：処理の流れについて
３：ハードウェア構成例
４：まとめ
１：はじめに
２：実施形態
２−１：システム構成例
２−１−１：クラウド構成
２−１−２：非クラウド構成
２−２：詳細な機能構成
２−３：表示・音声制御方法
２−３−１：制御例＃１（背後への移動を表現）
２−３−２：制御例＃２（追従及び表現の連続性）
２−３−３：制御例＃３（飛び出し速度に応じた音声表現）
２−３−４：制御例＃４（エフェクト処理）
２−３−５：制御例＃５（回転ＵＩ表現）
２−３−６：処理の流れについて
３：ハードウェア構成例
４：まとめ
＜１：はじめに＞
はじめに、本実施形態に係る技術的思想の概要について述べる。本実施形態は、立体画像の挙動や操作対象物を示す立体画像に対する操作に応じて音像定位を制御する技術に関する。とりわけ、本実施形態に係る技術は、立体画像と表示面との距離や配置に応じて視聴者が立体画像を知覚（可視）可能な空間領域（以下、可視領域）に制限があることを意識し、立体画像の存在や挙動を立体音声を利用して視聴者に知覚させる仕組みを提供するものである。
はじめに、本実施形態に係る技術的思想の概要について述べる。本実施形態は、立体画像の挙動や操作対象物を示す立体画像に対する操作に応じて音像定位を制御する技術に関する。とりわけ、本実施形態に係る技術は、立体画像と表示面との距離や配置に応じて視聴者が立体画像を知覚（可視）可能な空間領域（以下、可視領域）に制限があることを意識し、立体画像の存在や挙動を立体音声を利用して視聴者に知覚させる仕組みを提供するものである。
以下では、この仕組みを具現化するための一実施例として、視聴者が立体画像を知覚できない空間領域（以下、不可視領域）に立体画像が存在するものと仮定して、その立体画像の位置から音声が出力されるように制御する仕組みなどを紹介する。さらに、可視領域と不可視領域との境界付近を立体画像が通過する際、或いは、視聴者の側を仮想的に立体画像が通過する際に、立体画像が通り過ぎたことを表現する音声を境界付近から発生させる仕組みなどを紹介する。その他にも、立体画像が境界付近を通過する際に、立体画像自体にエフェクトを付与して、境界付近における立体画像の表示が視聴者に違和感を与えないようにする仕組みを紹介する。
こうした仕組みを利用することにより、不可視領域に立体画像が存在することを視聴者に知覚させることが可能になる。その結果、一時的に可視領域から不可視領域へと立体画像を退避させておき、必要に応じて立体画像を不可視領域から可視領域へと呼び出すといったユーザインターフェースが実現される。例えば、操作ボタン、操作パネル、表示ウィンドウ（各種アプリケーションの実行ウィンドウなども含む）などを一時的に不可視領域へと退避させておき、必要に応じて不可視領域から呼び出すといったユーザインターフェースが実現される。その結果、限られた可視領域を有効に利用することが可能になる。
このようなユーザインターフェースは、不可視領域の立体画像を視聴者に認識させる仕組みがなければ現実的に意味をなさず、当該インターフェースの実現には本実施形態に係る技術の適用が実質的に求められる。なお、本実施形態に係る技術の応用例として、立体画像の表示限界と同様に、視聴者の知覚限界に基づく可視領域や、立体画像の好適な視認が可能な領域を上述した可視領域として扱う仕組みも考えられる。つまり、立体画像が知覚可能な領域であっても、視聴者への身体的又は精神的影響、或いは、ユーザインターフェースとしての操作性などを考慮して上述した可視領域を定めるのが好ましい場合、そのような好ましい領域を可視領域として利用すればよい。このような応用例も当然に本実施形態の技術的範囲に属する。
以上、本実施形態に係る技術的思想の概要について述べた。以下では、当該技術的思想を具現化するために参考とすべき実施例について詳細に説明する。
＜２：実施形態＞
本技術の一実施形態について詳細に説明する。
本技術の一実施形態について詳細に説明する。
［２−１：システム構成例（図１、図２）］
まず、図１及び図２を参照しながら、本実施形態に係る技術的思想を具現化することが可能な情報処理システム１０のシステム構成例について説明する。図１及び図２は、本実施形態に係る技術的思想を具現化することが可能な情報処理システム１０のシステム構成例について説明するための説明図である。
まず、図１及び図２を参照しながら、本実施形態に係る技術的思想を具現化することが可能な情報処理システム１０のシステム構成例について説明する。図１及び図２は、本実施形態に係る技術的思想を具現化することが可能な情報処理システム１０のシステム構成例について説明するための説明図である。
（２−１−１：クラウド構成（図１））
まず、図１を参照する。図１に示すように、本実施形態に係る情報処理システム１０の構成として、クラウドシステムを活用したシステム構成例が考えられる。図１の例では、端末装置１１、１２、１３、１４、１５、１６と、情報処理装置１７とにより情報処理システム１０が構成されている。
まず、図１を参照する。図１に示すように、本実施形態に係る情報処理システム１０の構成として、クラウドシステムを活用したシステム構成例が考えられる。図１の例では、端末装置１１、１２、１３、１４、１５、１６と、情報処理装置１７とにより情報処理システム１０が構成されている。
なお、図１に示した端末装置１１、１２、１３、１４、１５、１６は情報処理システム１０の構成要素として利用可能な機器の例であり、例えば、テレビジョン受像機、録画再生装置、携帯電話、情報端末、プロジェクタ、ＰＣなどがある。もちろん、情報処理システム１０に端末装置１１、１２、１３、１４、１５、１６が全て含まれている必要はなく、少なくとも１つのものが含まれていればよい。従って、情報処理システム１０は、端末装置１１、１２、１３、１４、１５、１６の少なくとも１つ及び情報処理装置１７により構成されうる。また、図１の例では、情報処理装置１７として、クラウドシステムが例示されている。このクラウドシステムは、例えば、ネットワークで接続された１台又は複数台の情報処理装置、或いは、当該情報処理装置と１台又は複数台の外部記憶装置との組み合わせにより構成される。
以上説明したようなシステム構成を有する情報処理システム１０に対し、本実施形態に係る技術を適用可能である。また、クラウドシステムに代えて、単にネットワークで接続された１台又は複数台のサーバ装置を利用するシステム構成例に対しても同様に本実施形態に係る技術を適用可能である。
（２−１−２：非クラウド構成（図２））
次に、図２を参照する。図２に示した情報処理システム１０のシステム構成例は、１台の機器により情報処理システム１０の機能を実現するものである。なお、図２には、一例としてテレビジョン受像機を模した端末装置１１が示されているが、情報処理システム１０として利用可能な機器はテレビジョン受像機に限定されない。但し、ここでは説明の都合上、テレビジョン受像機の態様を有する端末装置１１を例に挙げて説明を進める。
次に、図２を参照する。図２に示した情報処理システム１０のシステム構成例は、１台の機器により情報処理システム１０の機能を実現するものである。なお、図２には、一例としてテレビジョン受像機を模した端末装置１１が示されているが、情報処理システム１０として利用可能な機器はテレビジョン受像機に限定されない。但し、ここでは説明の都合上、テレビジョン受像機の態様を有する端末装置１１を例に挙げて説明を進める。
図２に示すように、情報処理システム１０として機能する端末装置１１は、主に、画像出力機能Ｆ１１１と、音声出力機能Ｆ１１２と、通信機能Ｆ１１３と、情報処理機能Ｆ１１４とを有する。画像出力機能Ｆ１１１は、表示すべき画像データから右目用画像と左目用画像とを生成し、輻輳角を考慮して両画像を表示することが可能な表示機能である。つまり、画像出力機能Ｆ１１１は、立体画像を表示する機能である。また、音声出力機能Ｆ１１２は、立体画像が視聴者に知覚される位置に応じて仮想音源の位置を制御し、当該仮想音源の位置から音声が出力されているように音声を出力する機能である。
通信機能Ｆ１１３は、無線又は有線のネットワークを通じて外部機器と通信し、当該外部機器から情報を取得したり、当該外部機器へと情報を提供したりする機能である。例えば、通信機能Ｆ１１３は、画像出力機能Ｆ１１１が表示する立体画像の元画像データを外部機器から取得したり、音声出力機能Ｆ１１２が出力する立体音声の元音声データを外部機器から取得したりする。また、情報処理機能Ｆ１１４は、撮像機能（非図示）やセンサ機能（非図示）により取得された視聴者の情報から視聴者の位置を検出したり、或いは、操作に関する視聴者の動作を検出したりする機能を提供する。なお、立体画像の生成や伝達関数の生成などの演算処理を情報処理機能Ｆ１１４が実行するように構成されていてもよい。
以上説明したような構成を有する機器（情報処理システム１０）に対し、本実施形態に係る技術を適用可能である。なお、機器の態様に応じて、一部の機能を省略したり、他の機器を介して一部の機能を提供したりするように適宜変形される。例えば、機器として録画再生装置を利用する場合、画像出力機能Ｆ１１１の一部機能（実際に表示する機能など）は表示デバイスを利用し、音声出力機能Ｆ１１２の一部機能（実際に音声出力する機能など）はスピーカなどを利用することになる。このような変形例についても、同様にして本実施形態に係る技術を適用可能である。
以上、本実施形態に係る技術的思想を具現化することが可能な情報処理システム１０のシステム構成例について説明した。
［２−２：詳細な機能構成（図３〜図６）］
次に、図３〜図６を参照しながら、本実施形態に係る情報処理システム１０の詳細な機能構成について説明する。図３〜図６は、本実施形態に係る情報処理システム１０の詳細な機能構成について説明するための説明図である。なお、当該機能構成は、上述したいずれのシステム構成例についても適用可能である。
次に、図３〜図６を参照しながら、本実施形態に係る情報処理システム１０の詳細な機能構成について説明する。図３〜図６は、本実施形態に係る情報処理システム１０の詳細な機能構成について説明するための説明図である。なお、当該機能構成は、上述したいずれのシステム構成例についても適用可能である。
（全体構成）
まず、図３を参照する。図３に示すように、情報処理システム１０は、主に、画像出力制御部１０１と、立体画像表示部１０２と、音声出力制御部１０３と、立体音声出力部１０４と、視聴者位置検出部１０５と、視聴者操作検出部１０６とにより構成される。
まず、図３を参照する。図３に示すように、情報処理システム１０は、主に、画像出力制御部１０１と、立体画像表示部１０２と、音声出力制御部１０３と、立体音声出力部１０４と、視聴者位置検出部１０５と、視聴者操作検出部１０６とにより構成される。
（画像出力制御部１０１、立体画像表示部１０２）
画像出力制御部１０１は、立体画像表示部１０２を介して表示される立体画像の表示位置や表現方法などを制御する。例えば、画像出力制御部１０１は、後述する視聴者操作検出部１０６から入力された視聴者の操作情報に基づいて立体画像の表示位置や表現方法などを制御する。また、画像出力制御部１０１は、表示位置の制御に関し、立体画像の表示位置に関する表示位置情報を音声出力制御部１０３に入力する。立体画像表示部１０２は、画像データから右目用画像及び左眼用画像を生成し、画像出力制御部１０１により指定された表示位置や表現方法などを考慮して両画像を表示する。なお、立体画像の表示制御方法については後段において詳述する。
画像出力制御部１０１は、立体画像表示部１０２を介して表示される立体画像の表示位置や表現方法などを制御する。例えば、画像出力制御部１０１は、後述する視聴者操作検出部１０６から入力された視聴者の操作情報に基づいて立体画像の表示位置や表現方法などを制御する。また、画像出力制御部１０１は、表示位置の制御に関し、立体画像の表示位置に関する表示位置情報を音声出力制御部１０３に入力する。立体画像表示部１０２は、画像データから右目用画像及び左眼用画像を生成し、画像出力制御部１０１により指定された表示位置や表現方法などを考慮して両画像を表示する。なお、立体画像の表示制御方法については後段において詳述する。
（音声出力制御部１０３、立体音声出力部１０４）
音声出力制御部１０３は、立体音声出力部１０４を介して出力される立体音声について仮想音源の位置及び表現方法などを制御する。例えば、音声出力制御部１０３は、画像出力制御部１０１から入力された表示位置情報に基づいて仮想音源の位置を移動させたり、後述する視聴者位置検出部１０５から入力される視聴者の位置情報に基づいて仮想音源の位置を設定したりする。また、音声出力制御部１０３は、後述する視聴者操作検出部１０６から入力された視聴者の操作情報に基づいて仮想音源の位置や表現方法などを制御する。また、立体音声出力部１０４は、音声出力制御部１０３により指定された仮想音源の位置や表現方法などを考慮して立体音声を出力する。なお、立体音声の出力制御方法については後段において詳述する。
音声出力制御部１０３は、立体音声出力部１０４を介して出力される立体音声について仮想音源の位置及び表現方法などを制御する。例えば、音声出力制御部１０３は、画像出力制御部１０１から入力された表示位置情報に基づいて仮想音源の位置を移動させたり、後述する視聴者位置検出部１０５から入力される視聴者の位置情報に基づいて仮想音源の位置を設定したりする。また、音声出力制御部１０３は、後述する視聴者操作検出部１０６から入力された視聴者の操作情報に基づいて仮想音源の位置や表現方法などを制御する。また、立体音声出力部１０４は、音声出力制御部１０３により指定された仮想音源の位置や表現方法などを考慮して立体音声を出力する。なお、立体音声の出力制御方法については後段において詳述する。
（視聴者位置検出部１０５、視聴者操作検出部１０６）
視聴者位置検出部１０５は、視聴者の位置を検出する機能を提供する。例えば、視聴者位置検出部１０５は、撮像デバイス（非図示）やセンサデバイス（非図示）などを利用して表示画面（或いは、所定の基準位置）から視聴者までの距離や、表示画面の正面（或いは、所定の基準方向）から見た視聴者の角度などを検出する。撮像デバイスを利用する場合、視聴者位置検出部１０５は、撮像デバイスを利用して撮像された撮像画像を画像解析（例えば、物体検出、デプスマップ検出など）し、当該撮像画像から視聴者の位置や視聴者の角度などを含む視聴者の位置情報を検出する。一方、センサデバイスを利用する場合、視聴者位置検出部１０５は、センサデバイス（例えば、赤外線センサや熱感センサなど）から検出されたセンサ情報を利用して視聴者の位置情報を取得する。
視聴者位置検出部１０５は、視聴者の位置を検出する機能を提供する。例えば、視聴者位置検出部１０５は、撮像デバイス（非図示）やセンサデバイス（非図示）などを利用して表示画面（或いは、所定の基準位置）から視聴者までの距離や、表示画面の正面（或いは、所定の基準方向）から見た視聴者の角度などを検出する。撮像デバイスを利用する場合、視聴者位置検出部１０５は、撮像デバイスを利用して撮像された撮像画像を画像解析（例えば、物体検出、デプスマップ検出など）し、当該撮像画像から視聴者の位置や視聴者の角度などを含む視聴者の位置情報を検出する。一方、センサデバイスを利用する場合、視聴者位置検出部１０５は、センサデバイス（例えば、赤外線センサや熱感センサなど）から検出されたセンサ情報を利用して視聴者の位置情報を取得する。
上記の視聴者の位置情報は、視聴者位置検出部１０５から音声出力制御部１０３に入力される。また、視聴者操作検出部１０６は、視聴者位置検出部１０５と同様に、撮像デバイスやセンサデバイスなどを利用して視聴者の操作を検出する。例えば、視聴者操作検出部１０６は、操作対象として表示される立体画像の表示領域を撮像デバイスで撮像したり、センサデバイスでモニタリングしたりしておき、これら撮像デバイス又はセンサデバイスの出力に基づいて視聴者の操作を検出する。なお、視聴者が利用するリモートコントローラなどの操作体の動きを検出する機器もセンサデバイスの一例である。視聴者操作検出部１０６により検出された視聴者の操作に関する操作情報は、視聴者操作検出部１０６から画像出力制御部１０１及び音声出力制御部１０３に入力される。
以上、情報処理システム１０が有する機能構成の全体像について説明した。なお、上述した情報処理システム１０が有する構成要素の機能は、単独の機器で実現されてもよいし、複数の機器を組み合わせて実現されてもよい。以下、立体画像の表示制御方法及び立体音声の出力制御方法に関する機能構成について、より詳細に説明する。
（立体画像表示部１０２及び視聴者操作検出部１０６の機能について（図４））
ここで、図４を参照しながら、立体画像表示部１０２及び視聴者操作検出部１０６の機能について説明を補足する。図４は、立体画像表示部１０２及び視聴者操作検出部１０６の機能について、より詳細に説明するための説明図である。
ここで、図４を参照しながら、立体画像表示部１０２及び視聴者操作検出部１０６の機能について説明を補足する。図４は、立体画像表示部１０２及び視聴者操作検出部１０６の機能について、より詳細に説明するための説明図である。
まず、立体画像表示部１０２の機能について説明する。立体画像表示部１０２は、ユーザが立体的に視認できる立体視オブジェクトを提供する。立体視オブジェクトの鑑賞方式としては、例えば、視差を設けた左眼用オブジェクトＬと右眼用オブジェクトＲとを鑑賞者に鑑賞させる両目視差方式がある。さらに、両目視差方式には、大きく分けて２種類の方式がある。一つの方式はメガネを用いるメガネ方式であり、もう一つの方式はメガネを用いない裸眼方式である。
裸眼方式としては、例えば、かまぼこ型の細かなレンズ（レンチキュラーレンズ）を表示面に配列させることで左眼用オブジェクトＬの光路と右眼用オブジェクトＲの光路とを分離するレンチキュラースクリーン方式や、縦のスリット（パララックスバリア）により左眼用オブジェクトＬの光路と右眼用オブジェクトＲの光路とを分離するパララックスバリア方式などがある。なお、立体画像表示部１０２は、ここで説明した方式又は他の方式を用いて立体視オブジェクトを提供することができる。
図４に示すように、立体画像表示部１０２は、左眼用オブジェクトＬ及び右眼用オブジェクトＲを表示する。左眼用オブジェクトＬ及び右眼用オブジェクトＲを表示すると、図４に模式的に示したように、ユーザは、これらの前方に立体視オブジェクトＯＢＪが表示されているように知覚する。なお、画像出力制御部１０１は、左眼用オブジェクトＬ及び右眼用オブジェクトＲの表示（輻輳角）を制御することにより、表示面から立体視オブジェクトＯＢＪまでの距離感などを調整することが可能である。
次に、視聴者操作検出部１０６の機能について説明する。視聴者操作検出部１０６は、例えば、表示面の近くを撮影する撮影デバイスと、当該撮影デバイスにより撮影された撮影画像を処理する処理デバイスとで構成される。撮影デバイスは、図４に示すように、表示面の近くに位置する操作体を撮影する。一方、処理デバイスは、撮影画像に基づいて空間上のユーザ操作を検出する。なお、撮影デバイス及び処理デバイスに代えて、空間上のユーザ操作を検出可能なセンサを設けてもよい。
例えば、アイコンやサムネイルなどの操作対象の立体視オブジェクトが表示され、ユーザが当該立体視オブジェクトに対して操作行為を実施した場合、視聴者操作検出部１０６は、ユーザの操作行為を検出する。このように、空間上のユーザ操作が検出できると、ユーザの操作行為に応じた表示内容の制御や、当該操作行為に対応する処理の実行などが可能になる。例えば、立体視オブジェクトとして表示されたボタンをユーザが押した場合、そのボタンが実際に押されたように知覚させるべく、その立体視オブジェクトを表示面に近い位置に表示させるなどの制御が実行される。
以上、立体画像表示部１０２及び視聴者操作検出部１０６の機能について、より詳細に説明した。
（音声出力制御部１０３の機能について（図５、図６））
ここで、図５及び図６を参照しながら、音声出力制御部１０３の機能について説明を補足する。図５及び図６は、音声出力制御部１０３の機能について、より詳細に説明するための説明図である。ここでは一例として、コンテンツに含まれている音声信号（Ｓｉｇ１、Ｓｉｇ２、…ＳｉｇＮ）を、左チャンネル及び右チャンネルの２チャンネルから出力して立体音響を実現する仕組みについて説明する。但し、音声信号Ｓｉｇ１〜ＳｉｇＮはマルチチャンネルの音声信号を意味し、５．１チャンネルの例であれば、指向性の低い低音域の０．１チャンネルを除いてＮ＝５となる。
ここで、図５及び図６を参照しながら、音声出力制御部１０３の機能について説明を補足する。図５及び図６は、音声出力制御部１０３の機能について、より詳細に説明するための説明図である。ここでは一例として、コンテンツに含まれている音声信号（Ｓｉｇ１、Ｓｉｇ２、…ＳｉｇＮ）を、左チャンネル及び右チャンネルの２チャンネルから出力して立体音響を実現する仕組みについて説明する。但し、音声信号Ｓｉｇ１〜ＳｉｇＮはマルチチャンネルの音声信号を意味し、５．１チャンネルの例であれば、指向性の低い低音域の０．１チャンネルを除いてＮ＝５となる。
図５に示すように、音声出力制御部１０３は、音声信号Ｓｉｇ１〜ＳｉｇＮのそれぞれについて、左チャンネル出力用のデジタルフィルタ（Ｆ１Ｌ〜ＦＮＬ）と右チャンネル出力用のデジタルフィルタ（Ｆ１Ｒ〜ＦＮＲ）を適用する。各デジタルフィルタは、各音声信号Ｓｉｇ１〜ＳｉｇＮについて仮想的な伝達特性を付与するものである。以下、当該デジタルフィルタにより実現される伝達特性について説明する。
図６には、視聴者Ｕと、視聴者Ｕから距離ａだけ離して設置された一組のスピーカＳａＲ及びＳａＬと、距離ｂだけ離して設置された一組のスピーカＳｂＲ及びＳｂＬと、距離ｃだけ離して設置された一組のスピーカＳｃＲ及びＳｃＬとが示されている。スピーカＳａＲとスピーカＳａＬとの間の距離、スピーカＳｂＲとスピーカＳｂＬとの間の距離、スピーカＳｃＲとスピーカＳｃＬとの間の距離は、それぞれ距離ａ、距離ｂ、距離ｃに比例しているものとする。また、スピーカＳａＬから出力された音が視聴者Ｕの左耳に到達する間の伝達特性をＴａＬＬ及び右耳に到達する間の伝達特性をＴａＬＲとする。
視聴者Ｕの右耳の位置にマイクＭＲを配置し、左耳の位置にマイクＭＬを配置し、各スピーカからインパルス音（エネルギー的に平坦な周波数特性を持つ短音）を出力し、マイクＭＲ及びマイクＭＬで集音する場合について考える。この場合、視聴者Ｕとスピーカとの間の距離が異なると、各スピーカから出力された音が同一であっても、マイクによって集音される音の波形は異なる。このようなスピーカとマイクとの間の距離に応じて変化する音の波形特性（例えば、周波数、振幅、到達時間などの特性）は、後述する伝達特性で表現することができる。
伝達特性は、後述する頭部伝達関数を用いて表現することが可能である。頭部伝達関数は、音源から出力される音と視聴者に聞こえる音との関係を表す関数である。例えば、スピーカＳａＬ及びスピーカＳａＲから音が出力された場合、視聴者Ｕの左耳に入力される音の波形ＹＬ（ｓ）は、頭部伝達関数を用いて下記の式（１）で表現される。但し、ＸＬ（ｓ）はスピーカＳａＬの出力波形、ＸＲ（ｓ）はスピーカＳａＲの出力波形、ＨＬ_Ａ（ｓ）はスピーカＳａＬと左耳との間の頭部伝達関数、ＨＬ_Ｂ（ｓ）はスピーカＳａＲと左耳との間の頭部伝達関数を表す。
同様に、視聴者Ｕの右耳に入力される音の波形ＹＲ（ｓ）は、頭部伝達関数を用いて下記の式（２）で表現される。但し、ＨＲ_Ａ（ｓ）はスピーカＳａＬと右耳との間の頭部伝達関数、ＨＲ_Ｂ（ｓ）はスピーカＳａＲと右耳との間の頭部伝達関数を表す。
上記のように、スピーカＳａＲ及びスピーカＳａＬから出力された音が視聴者Ｕの両耳に入るまでの伝達特性は上記の式（１）及び式（２）により表現されることから、逆に、出力時に上記の伝達特性を制御することで、実際の音源位置とは異なる仮想的な位置に音源が存在するかのように視聴者Ｕに知覚させることができる。このようにして視聴者が知覚する音源の位置（以下、仮想音源）を制御する仕組みを仮想音像定位又は立体音響制御などと呼ぶ。音声出力制御部１０３は、上記のようにして仮想音源の位置を制御する。
以上、音声出力制御部１０３の機能について、より詳細に説明した。
以上、本実施形態に係る情報処理システム１０の機能構成について説明した。ここで説明した機能構成を有することで、情報処理システム１０は、以下で説明する表示・音声制御方法を実現することができる。
［２−３：表示・音声制御方法（図７〜図２２）］
以下では、図７〜図２２を参照しながら、上記の機能構成を有する情報処理システム１０により実現可能な表示・音声制御方法について説明する。図７〜図２２は、上記の機能構成を有する情報処理システム１０により実現可能な表示・音声制御方法について説明するための説明図である。なお、後述する制御例＃１〜＃５は、適宜組み合わせて実施することも可能であるし、或いは、それぞれ単独で実施することも可能である。
以下では、図７〜図２２を参照しながら、上記の機能構成を有する情報処理システム１０により実現可能な表示・音声制御方法について説明する。図７〜図２２は、上記の機能構成を有する情報処理システム１０により実現可能な表示・音声制御方法について説明するための説明図である。なお、後述する制御例＃１〜＃５は、適宜組み合わせて実施することも可能であるし、或いは、それぞれ単独で実施することも可能である。
（２−３−１：制御例＃１（背後への移動を表現）（図７〜図９））
まず、図７〜図９を参照し、立体画像ＯＢＪを視聴者の背後へと移動させる表示制御方法、及びこの表示制御方法を実施する際に有効な音声出力の制御方法について紹介する。ここで説明する処理は、主に画像出力制御部１０１及び音声出力制御部１０３の機能を利用して実行される。
まず、図７〜図９を参照し、立体画像ＯＢＪを視聴者の背後へと移動させる表示制御方法、及びこの表示制御方法を実施する際に有効な音声出力の制御方法について紹介する。ここで説明する処理は、主に画像出力制御部１０１及び音声出力制御部１０３の機能を利用して実行される。
図４を参照して説明したように、輻輳角を制御することにより、立体画像ＯＢＪを視聴者Ｕが知覚する位置を奥行き方向（表示画面から視聴者Ｕに向かう方向）の前後に移動することができる（図７を参照）。また、立体画像を現実的又は仮想的に移動可能な領域は、表示画面と視聴者Ｕとの間の領域に留まらず、図８に示すように、視聴者Ｕの背後にも及ぶ。しかしながら、視聴者Ｕの背後に立体画像が位置すると、当然のことながら、視聴者Ｕは、その立体画像を視認することができない。また、立体画像が視聴者Ｕの前方に表示されていても、視聴者Ｕが立体画像を視認可能な領域は可視領域に限られている。もちろん、視聴者Ｕへの身体的又は精神的影響、或いは、ユーザインターフェースとしての操作性などを考慮して可視領域（立体画像を表示する領域）が設定されることもある。
そのため、図８に示すように、可視領域と不可視領域との境界（以下、可視限界）を越え、立体画像ＯＢＪが不可視領域に入ると、視聴者Ｕは、立体画像ＯＢＪを視認できなくなる。なお、図８において、ハッチングを施した立体画像ＯＢＪは視聴者に視認可能な状態にあることを示し、ハッチングを施していない立体画像ＯＢＪは視聴者に視認可能な状態にないことを示している。図８以降の図においても同様の表現を用いる。上記のように、立体画像ＯＢＪを視聴者Ｕが認識できない場合、仮想的に立体画像ＯＢＪの位置を仮定しても、視聴者Ｕにとって立体画像ＯＢＪの存在はないものと等しい。そこで、情報処理システム１０は、立体音声を利用して不可視領域における立体画像ＯＢＪの存在を視聴者Ｕに認識させる（図９を参照）。
例えば、可視領域における立体画像ＯＢＪの動きを考慮して仮想的に不可視領域における立体画像ＯＢＪの位置を制御する場合について考えてみよう。この場合、情報処理システム１０は、図９に示すように、視聴者Ｕの位置に仮想音源Ｓｖの位置を設定し、立体画像ＯＢＪが視聴者Ｕの側を通り過ぎる際に仮想音源Ｓｖから音声を出力させる。出力する音声としては、物体の通過を連想させるような音声が好ましい。このような音声の出力方法として、例えば、風切り音の出力や、ドップラー効果を考慮した周波数・音量制御に基づく所定音声の出力などが考えられる。もちろん、衝撃音を出力したり、ビープ音などの単調な音声を出力したりする方法などを適用してもよい。
また、図９に示した音声出力制御方法の変形例として、例えば、仮想音源Ｓｖを視聴者Ｕの位置に設定するのではなく、可視限界に設定し、可視限界を立体画像ＯＢＪが通過した際に所定の音声を出力する仕組みなどが考えられる。この場合、上記の音声出力表現の他、例えば、ショックウェーブの発生を表現した音声を発するようにしてもよいし、或いは、フェードアウトを表現した音声を発するようにしてもよい。また、図７〜図９の例では表示画面に平行な直線で模式的に可視限界を表現しているが、実際上想定される可視限界（或いは、予め任意に設定された形状の可視限界）に対して上述した表示出力制御及び音声出力制御が実施されうる。
以上、立体画像を視聴者の背後へと移動させる表示制御方法、及びこの表示制御方法を実施する際に有効な音声出力の制御方法について説明した。
（２−３−２：制御例＃２（追従及び表現の連続性）（図１０））
次に、図１０を参照し、立体画像ＯＢＪの動きに立体音声を追従させる表現方法、及び可視限界における音声表現の連続性について述べる。ここで説明する処理は、主に画像出力制御部１０１及び音声出力制御部１０３の機能を利用して実行される。
次に、図１０を参照し、立体画像ＯＢＪの動きに立体音声を追従させる表現方法、及び可視限界における音声表現の連続性について述べる。ここで説明する処理は、主に画像出力制御部１０１及び音声出力制御部１０３の機能を利用して実行される。
上述した制御例＃１においては、立体画像ＯＢＪが視聴者Ｕの側を仮想的に通過した際に視聴者Ｕの側で音声出力する方法及びその際に利用する音声表現について紹介した。ここでは、立体画像ＯＢＪに立体音声を追従させる表現方法について説明する。図１０に示すように、立体画像ＯＢＪを視聴者Ｕに向かって移動する場合、情報処理システム１０は、仮想音源Ｓｖを立体画像ＯＢＪの位置付近に設定し、立体画像ＯＢＪの動きに追従して仮想音源Ｓｖの位置を移動させる。なお、仮想音源Ｓｖの移動は、実際に音声を出力するか否かに関係なく実施される。そして、立体画像ＯＢＪが不可視領域に侵入した場合、情報処理システム１０は、仮想的な立体画像ＯＢＪの動きに追従して仮想音源Ｓｖの位置を移動させる。
このとき、情報処理システム１０は、必要に応じて仮想的な立体画像ＯＢＪの位置を視聴者Ｕに認識させるための音声を仮想音源Ｓｖから連続的又は間欠的に出力するようにしてもよい。また、立体画像ＯＢＪの動きに追従する仮想音源Ｓｖから音声が出力されている状態で立体画像ＯＢＪが可視境界を越えた場合、情報処理システム１０は、可視境界の通過前後で仮想音源Ｓｖから出力される音声の連続性が維持されるようにする。このような音声出力制御を実施することで、可視限界を通過して立体画像ＯＢＪが視界から消えても、立体音声に基づいて立体画像ＯＢＪの仮想的な移動軌跡が想起され、視聴者Ｕが不可視領域における立体画像ＯＢＪの位置を認識しやすくなる。
以上、立体画像の動きに立体音声を追従させる表現方法、及び可視限界における音声表現の連続性について説明した。なお、ここで説明した制御例＃２と上記の制御例＃１とを組み合わせることも可能である。また、必要に応じて仮想音源Ｓｖの数を増やし、立体画像ＯＢＪに追従する仮想音源Ｓｖと、視聴者Ｕの側に配置される仮想音源Ｓｖとを利用して立体画像ＯＢＪの動きを視聴者Ｕに認識させるようにしてもよい。
（２−３−３：制御例＃３（飛び出し速度に応じた音声表現）（図１１））
次に、図１１を参照し、立体画像ＯＢＪが可視限界を通過する際の飛び出し速度に応じた音声表現について述べる。ここで説明する処理は、主に画像出力制御部１０１及び音声出力制御部１０３の機能を利用して実行される。
次に、図１１を参照し、立体画像ＯＢＪが可視限界を通過する際の飛び出し速度に応じた音声表現について述べる。ここで説明する処理は、主に画像出力制御部１０１及び音声出力制御部１０３の機能を利用して実行される。
上述したように、可視限界を超えて不可視領域に侵入すると、立体画像ＯＢＪは、視聴者Ｕに見えなくなる。しかし、視聴者Ｕは、可視領域における立体画像ＯＢＪの動きを視認しているため、可視限界付近における立体画像ＯＢＪの動きから、不可視領域における立体画像ＯＢＪの動きを予測するだろう。仮に、不可視領域において、可視境界付近における立体画像ＯＢＪの動きから予測した動きと異なる動きを立体画像ＯＢＪがした場合、視聴者Ｕは、立体音声の出力位置や出力タイミングに違和感を覚え、ひいては混乱を来す可能性すらある。
そこで、情報処理システム１０は、可視限界付近における立体画像ＯＢＪの動き（例えば、飛び出し速度）を考慮して不可視領域における仮想的な立体画像ＯＢＪの動きを決定する。一例として、上述した制御例＃１のように、視聴者Ｕの側を立体画像ＯＢＪが通過した場合に、視聴者Ｕの側で音声が出力されるケースについて考えてみよう。この場合、立体画像ＯＢＪが視聴者Ｕの側を通過するタイミングが重要になる。例えば、可視領域において立体画像ＯＢＪがほぼ等速で視聴者Ｕに向かって進んでいたとしよう。この場合、視聴者Ｕは、可視境界付近における立体画像ＯＢＪの飛び出し速度と、可視境界（視聴者Ｕは立体画像ＯＢＪの消失で判断可能）から自身までの距離から、おおよそ自身の側に立体画像ＯＢＪが到達するまでの時間（以下、到達時刻Ｔ）を予測する。
そこで、情報処理システム１０は、図１１のＡ１に示すように、可視境界付近における立体画像ＯＢＪの飛び出し速度Ｖに反比例する到達時刻Ｔを算出し、その到達時刻Ｔに視聴者Ｕの側に設定した仮想音源Ｓｖから音声を出力する。このような出力制御を実施することで、視聴者Ｕが予測した音声出力タイミングと、実際の音声出力タイミングとがほぼ一致し、視聴者Ｕが違和感を覚えずに済むようになる。なお、立体画像ＯＢＪの種類、立体画像ＯＢＪを不可視領域に移動させる目的、視聴者Ｕの認識性向上などの目的で、敢えて視聴者Ｕの予測を裏切るように、図１１のＡ２に示すような到達時刻Ｔの設定することも可能である。例えば、可視境界を越えた立体画像ＯＢＪが急加速して視聴者Ｕの後方へと飛び去る表現を実現したい場合には、図１１のＡ２のような設定にすることになる。
また、上述した制御例＃２のように立体画像ＯＢＪに仮想音源Ｓｖを追従させる場合には、可視境界付近における立体画像ＯＢＪに基づいて設定される立体画像ＯＢＪの動きに仮想音源Ｓｖを追従させればよい。もちろん、上述した例と同様、可視境界を越えた瞬間に立体画像ＯＢＪを急加速させるような表現方法を用いる場合、急加速する立体画像ＯＢＪの位置に追従して仮想音源Ｓｖを移動させればよい。なお、ここでは立体画像ＯＢＪが不可視領域で等速運動するケース及び急加速するケースについて述べたが、例えば、減速するケースや停止するケース（つまり、不可視領域における視聴者Ｕの前方で静止する場合）なども考えられる。このようなケースについても同様である。
また、飛び出す速さだけでなく、飛び出し方向についても考慮される。つまり、情報処理システム１０は、可視境界付近における立体画像ＯＢＪの速度ベクトルを検出し、検出した速度ベクトルに基づいて不可視領域における立体画像ＯＢＪの動きに追従する仮想音源Ｓｖの位置を制御する。このような出力制御を実施することにより、立体画像ＯＢＪが迫ってくる方向及び飛び去る方向が視聴者Ｕに的確に認識されやすくなるため、視聴者Ｕによる立体画像ＯＢＪの認識度合いが高まる。
以上、立体画像ＯＢＪが可視限界を通過する際の飛び出し速度に応じた音声表現について説明した。
（２−３−４：制御例＃４（エフェクト処理）（図１２〜図１７））
次に、図１２〜図１７を参照し、可視境界付近における立体画像ＯＢＪの表示方法（エフェクトの付与）について述べる。ここで説明する処理は、主に画像出力制御部１０１の機能を利用して実行される。
次に、図１２〜図１７を参照し、可視境界付近における立体画像ＯＢＪの表示方法（エフェクトの付与）について述べる。ここで説明する処理は、主に画像出力制御部１０１の機能を利用して実行される。
上述した制御例＃１〜＃３に係る音声表現を適用することで、不可視領域における立体画像ＯＢＪの存在を視聴者Ｕに十分認識させることが可能になる。しかし、可視境界付近で立体画像ＯＢＪが突然消失してしまうことは、視聴者Ｕに違和感や不測の驚きを与えてしまうことになる。何の情報もなく可視境界の位置を視聴者Ｕが正確に認識することは非常に難しく、視聴者Ｕは、立体画像ＯＢＪの消失を予測することが困難である。また、立体画像の表示原理又は表示デバイスの性能限界により決まる可視境界までの空間領域を可視領域に設定している場合、可視境界付近で立体画像ＯＢＪの表示に乱れが生じる可能性が考えられる。そのため、視聴者Ｕがスムーズに立体画像ＯＢＪの消失を受け入れられるように表現を工夫することが好ましい。
（集中線）
例えば、図１２及び図１３に示すように、可視境界付近において立体画像ＯＢＪの周囲に集中線を表示する方法が考えられる。この方法によると、視聴者Ｕが立体画像ＯＢＪの消失タイミングを容易に認識することができる。また、集中線の表現は、集中線の本数や太さを調整することで様々な表情を演出することができる。そこで、可視境界付近における飛び出し速度が小さい場合、図１２に示すように、集中線の太さを細く、集中線の本数を少なく描く。一方、可視境界付近における飛び出し速度が大きい場合、図１３に示すように、集中線の太さを太く、集中線の本数を多く描く。このように、可視境界付近における飛び出し速度に応じて表現を変えることで、視聴者Ｕは、可視境界付近における立体画像ＯＢＪの動きを容易に認識できるようになり、不可視領域における立体画像ＯＢＪの動きを予測しやすくなる。
例えば、図１２及び図１３に示すように、可視境界付近において立体画像ＯＢＪの周囲に集中線を表示する方法が考えられる。この方法によると、視聴者Ｕが立体画像ＯＢＪの消失タイミングを容易に認識することができる。また、集中線の表現は、集中線の本数や太さを調整することで様々な表情を演出することができる。そこで、可視境界付近における飛び出し速度が小さい場合、図１２に示すように、集中線の太さを細く、集中線の本数を少なく描く。一方、可視境界付近における飛び出し速度が大きい場合、図１３に示すように、集中線の太さを太く、集中線の本数を多く描く。このように、可視境界付近における飛び出し速度に応じて表現を変えることで、視聴者Ｕは、可視境界付近における立体画像ＯＢＪの動きを容易に認識できるようになり、不可視領域における立体画像ＯＢＪの動きを予測しやすくなる。
（ワープ表現）
また、可視境界付近における立体画像ＯＢＪの表現として、図１４及び図１５に示すようなワープ表現が考えられる。ここで言うワープ表現とは、奥行き方向に向けて画像を急激に伸縮させることにより、奥行き方向への加速感を表現するものである。例えば、奥行き方向手前側に立体画像ＯＢＪが加速する様子を表現する場合、図１４に示すように、加速度的に急拡大して表示することで、手前側への加速感を表現することができる。一方、奥行き方向の奥側へと立体画像ＯＢＪが加速する様子を表現する場合、図１５に示すように、加速度的に急縮小して表示することで、奥側への加速感を表現することができる。例えば、情報処理システム１０は、可視領域から不可視領域へと立体画像ＯＢＪを移動させる場合、図１４に示すように、手前側への加速感を表現するワープ表現を用いる。一方、情報処理システム１０は、不可視領域から可視領域へと立体画像ＯＢＪを移動させる場合、図１５に示すように、奥側への加速感を表現するワープ表現を用いる。
また、可視境界付近における立体画像ＯＢＪの表現として、図１４及び図１５に示すようなワープ表現が考えられる。ここで言うワープ表現とは、奥行き方向に向けて画像を急激に伸縮させることにより、奥行き方向への加速感を表現するものである。例えば、奥行き方向手前側に立体画像ＯＢＪが加速する様子を表現する場合、図１４に示すように、加速度的に急拡大して表示することで、手前側への加速感を表現することができる。一方、奥行き方向の奥側へと立体画像ＯＢＪが加速する様子を表現する場合、図１５に示すように、加速度的に急縮小して表示することで、奥側への加速感を表現することができる。例えば、情報処理システム１０は、可視領域から不可視領域へと立体画像ＯＢＪを移動させる場合、図１４に示すように、手前側への加速感を表現するワープ表現を用いる。一方、情報処理システム１０は、不可視領域から可視領域へと立体画像ＯＢＪを移動させる場合、図１５に示すように、奥側への加速感を表現するワープ表現を用いる。
（ぼかし表現・残像表現）
また、可視境界付近における立体画像ＯＢＪの表現として、図１６に示すようなぼかし表現や、図１７に示すような残像表現が考えられる。例えば、立体画像ＯＢＪが手前側へと移動する場合（時刻：ｔ１＜ｔ２＜ｔ３）について考えてみよう。ぼかし表現を用いる場合、図１６に示すように、情報処理システム１０は、可視境界に近づくにつれて立体画像ＯＢＪをにじませたり、輝度を下げたり、色あせさせたりして画像をぼかす。一方、残像表現（例えば、モーションブラー効果など）を用いる場合、図１７に示すように、情報処理システム１０は、可視境界に近づくにつれて立体画像ＯＢＪに付与する残像効果の度合いを高める。このような表現を用いることで、可視境界に立体画像ＯＢＪが近づいていることを視聴者Ｕが容易に認識できるようになる。また、可視境界付近で立体画像ＯＢＪの劣化が生じる場合でも、その劣化を視聴者Ｕに感じさせにくくなる。
また、可視境界付近における立体画像ＯＢＪの表現として、図１６に示すようなぼかし表現や、図１７に示すような残像表現が考えられる。例えば、立体画像ＯＢＪが手前側へと移動する場合（時刻：ｔ１＜ｔ２＜ｔ３）について考えてみよう。ぼかし表現を用いる場合、図１６に示すように、情報処理システム１０は、可視境界に近づくにつれて立体画像ＯＢＪをにじませたり、輝度を下げたり、色あせさせたりして画像をぼかす。一方、残像表現（例えば、モーションブラー効果など）を用いる場合、図１７に示すように、情報処理システム１０は、可視境界に近づくにつれて立体画像ＯＢＪに付与する残像効果の度合いを高める。このような表現を用いることで、可視境界に立体画像ＯＢＪが近づいていることを視聴者Ｕが容易に認識できるようになる。また、可視境界付近で立体画像ＯＢＪの劣化が生じる場合でも、その劣化を視聴者Ｕに感じさせにくくなる。
以上、可視境界付近における立体画像ＯＢＪの表示方法（エフェクトの付与）について説明した。なお、ここで説明した以外のエフェクトについても、上記の例と同様にして立体画像ＯＢＪに適用することが可能である。
（２−３−５：制御例＃５（回転ＵＩ表現）（図１８〜図２０））
これまで、立体画像ＯＢＪが表示画面と視聴者Ｕとの間で現実的又は仮想的に移動する状況を想定して説明を進めてきた。しかし、本実施形態に係る技術は、立体画像ＯＢＪの動き方に依存するものではない。そこで、非直線的に立体画像ＯＢＪを動かすユーザインターフェースの一例として、立体画像ＯＢＪを視聴者Ｕの周囲に回転させるユーザインターフェースの形態（以下、回転ＵＩ表現）について紹介する（図１８を参照）。なお、ここで説明する処理は、主に画像出力制御部１０１及び音声出力制御部１０３の機能を利用して実行される。
これまで、立体画像ＯＢＪが表示画面と視聴者Ｕとの間で現実的又は仮想的に移動する状況を想定して説明を進めてきた。しかし、本実施形態に係る技術は、立体画像ＯＢＪの動き方に依存するものではない。そこで、非直線的に立体画像ＯＢＪを動かすユーザインターフェースの一例として、立体画像ＯＢＪを視聴者Ｕの周囲に回転させるユーザインターフェースの形態（以下、回転ＵＩ表現）について紹介する（図１８を参照）。なお、ここで説明する処理は、主に画像出力制御部１０１及び音声出力制御部１０３の機能を利用して実行される。
図１８に示すように、回転ＵＩ表現は、一又は複数の立体画像ＯＢＪを視聴者Ｕの周囲で回転させるものである。但し、視聴者Ｕが知覚可能な範囲は、上述した可視限界及び視聴者Ｕの視界により制限を受ける。そのため、情報処理システム１０は、視聴者Ｕが視認できない領域を上述した不可視領域と同様に扱い、当該不可視領域における立体画像ＯＢＪの位置を立体音声で視聴者Ｕに知覚させる。図１８に示すように、不可視領域に立体画像ＯＢＪが位置する場合、情報処理システム１０は、立体画像ＯＢＪの位置に仮想音源Ｓｖを設定し（上図）、仮想音源Ｓｖから所定の音声を出力することで、立体画像ＯＢＪの位置を視聴者Ｕに認識させる（下図）。なお、可視領域と不可視領域との境界において、情報処理システム１０は、上述した制御例＃１〜＃５と同様の表現を適用してもよい。
但し、回転ＵＩ表現の場合、立体画像ＯＢＪが視聴者Ｕの周囲に位置しているため、視聴者Ｕは、自身の周囲に立体画像ＯＢＪがあることを意識している。そのため、情報処理システム１０は、視聴者Ｕに対して不可視領域にある立体画像ＯＢＪの存在を常に認識させておかなくてもよい。そこで、情報処理システム１０は、図１９に示すように、不可視領域から可視領域へと立体画像ＯＢＪが移動した場合、可視領域から不可視領域へと立体画像ＯＢＪが移動した場合に、その可視境界に設定した仮想音源Ｓｖから音声を出力する。また、図２０に示すように、情報処理システム１０は、可視境界に近づくにつれて立体画像ＯＢＪに付与されるエフェクトの効果が大きくなるように表示制御してもよい。
以上、立体画像ＯＢＪを視聴者Ｕの周囲に回転させるユーザインターフェースの形態（回転ＵＩ表現）について説明した。上述した回転ＵＩ表現の応用例として、例えば、左から右、右から左へと、視聴者Ｕの視界の外から内へ、内から外へと立体画像ＯＢＪが移動するようなユーザインターフェースも考えられる。このようなユーザインターフェースする場合も、上述した回転ＵＩ表現と同様の表現が利用可能である。
（２−３−６：処理の流れについて（図２１、図２２））
次に、図２１及び図２２を参照しながら、本実施形態に係る表示・音声制御方法に係る処理の流れについて説明する。図２１及び図２２は、本実施形態に係る表示・音声制御方法に係る処理の流れについて説明するための説明図である。なお、上記の説明においては可視境界を意識した表示制御及び音声出力制御の方法について述べたが、ここでは視聴者Ｕの操作に応じた音声出力制御の例などについても簡単に触れる。
次に、図２１及び図２２を参照しながら、本実施形態に係る表示・音声制御方法に係る処理の流れについて説明する。図２１及び図２２は、本実施形態に係る表示・音声制御方法に係る処理の流れについて説明するための説明図である。なお、上記の説明においては可視境界を意識した表示制御及び音声出力制御の方法について述べたが、ここでは視聴者Ｕの操作に応じた音声出力制御の例などについても簡単に触れる。
まず、図２１を参照する。図２１に示すように、情報処理システム１０は、視聴者位置検出部１０５の機能により、視聴者の位置を検出する（Ｓ１０１）。次いで、情報処理システム１０は、画像出力制御部１０１及び音声出力制御部１０３の機能により、立体画像及び立体音声の出力制御を実施する（Ｓ１０２）。また、情報処理システム１０は、視聴者操作検出部１０６の機能の機能により視聴者による操作の検出を試みる（Ｓ１０３）。視聴者の操作を検出した場合、情報処理システム１０は、処理をステップＳ１０４に進める。一方、視聴者の操作を検出していない場合、情報処理システム１０は、処理をステップＳ１０２に進め、立体画像及び立体音声の出力制御を続ける。
処理をステップＳ１０４に進めた場合、情報処理システム１０は、音声出力制御部１０３の機能により、立体画像の位置付近で所定の音声を出力する（Ｓ１０４）。次いで、情報処理システム１０は、ステップＳ１０３で検出した操作の内容に応じて所定の処理を実行する（Ｓ１０５）。処理を実行した後、情報処理システム１０は、視聴者の操作に応じた所定の処理の実行に関する一連の処理を終了する。但し、情報処理システム１０は、立体画像の表示処理及び立体音声の出力処理を継続する場合、ステップＳ１０２以降の処理を継続して実行する。
ここで、図２２を参照しながら、ステップＳ１０２の処理について、より詳細に説明する。図２２に示すように、出力制御を開始した情報処理システム１０は、まず、立体画像を移動させ、その立体画像の位置に追従して仮想音源を移動させ、必要に応じて仮想音源から音声を出力する（Ｓ１１１）。次いで、情報処理システム１０は、立体画像と表示面との距離を示す情報を取得する（Ｓ１１２）。次いで、情報処理システム１０は、表示画像が可視限界（表示限界）付近に位置するか否かを判定する（Ｓ１１３）。
可視限界付近に位置する場合、情報処理システム１０は、処理をステップＳ１１４に進める。一方、可視限界付近に位置しない場合、情報処理システム１０は、処理をステップＳ１１１に進める。処理をステップＳ１１４に進めた場合、情報処理システム１０は、立体画像にエフェクトを付与する（Ｓ１１４）。次いで、情報処理システム１０は、可視境界を越えた立体画像の位置を立体音声により表現する（Ｓ１１５）。情報処理システム１０は、必要に応じて上述した出力制御の処理を継続的に実行し、出力制御の処理を終了する条件を満たした場合に上記の出力制御を終了する。
以上、本実施形態に係る表示・音声制御方法に係る処理の流れについて説明した。なお、ここで説明した処理が情報処理システム１０の実施可能な処理の全てではなく、当該処理の流れに上述した制御例の処理を加えたり、一部の処理を上述した制御例の処理に置き換えたりすることで、様々な処理の流れを容易に創出することが可能である。こうして創出された実施例についても当然に本実施形態の技術的範囲に属する。
＜３：ハードウェア構成例（図２３）＞
上記の情報処理システム１０、或いは、当該情報処理システム１０を構成する各構成要素の機能は、例えば、図２３に示すハードウェア構成の一部又は全部を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図２３に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。
上記の情報処理システム１０、或いは、当該情報処理システム１０を構成する各構成要素の機能は、例えば、図２３に示すハードウェア構成の一部又は全部を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図２３に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。
図２３に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。
接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。
＜４：まとめ＞
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、ゲーム機、情報端末、情報家電、カーナビゲーションシステム、撮像装置、映像機器、録画再生装置、セットトップボックス、通信装置など、出力制御装置として機能する種々の情報処理装置に対して適用することができる。
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、ゲーム機、情報端末、情報家電、カーナビゲーションシステム、撮像装置、映像機器、録画再生装置、セットトップボックス、通信装置など、出力制御装置として機能する種々の情報処理装置に対して適用することができる。
上記の出力制御装置の機能構成は以下のように表現することができる。例えば、下記（１）に記載の出力制御装置によれば、立体画像の表示限界を超えた場合に、本来立体画像が表示されるべき表示位置に立体画像の存在を立体音声により感じさせることができる。そのため、立体画像の表示限界を超える空間領域に対して仮想的に立体画像を配置したりすることが可能になり、空間領域の有効利用が実現される。
例えば、立体画像として操作ボタンや表示ウィンドウなどの利用対象を想定してみよう。この利用対象を視聴者が利用しない場合、立体画像の表示限界内に当該利用対象を配置しておく必要性は低い。このような場合、例えば、当該利用対象を視聴者の背後に配置しておき、必要に応じて当該利用対象を立体画像の表示限界内に呼び出せれば、空間の有効利用が実現される。但し、視聴者の背後に利用対象が位置していること、或いは、利用対象が視聴者の背後に移動したことが視聴者に知覚されるようにしないと、当該利用対象を視聴者が利用することはできない。しかし、下記（１）に記載の出力制御装置を利用すれば、見えない利用対象を視聴者が認識可能になり、ひいては上記説明のように空間領域の有効活用に寄与する。
（１）
視聴者が知覚する立体画像の表示位置を制御する表示制御部と、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御部と、
を備える
出力制御装置。
視聴者が知覚する立体画像の表示位置を制御する表示制御部と、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御部と、
を備える
出力制御装置。
（２）
前記音声制御部は、前記仮想表示位置が前記視聴者の知覚できない空間領域に移動したことを前記視聴者に知覚させる音声を立体音響で出力させる
上記（１）に記載の出力制御装置。
前記音声制御部は、前記仮想表示位置が前記視聴者の知覚できない空間領域に移動したことを前記視聴者に知覚させる音声を立体音響で出力させる
上記（１）に記載の出力制御装置。
（３）
前記音声制御部は、前記仮想表示位置が前記視聴者の背後に移動したことを前記視聴者に知覚させる音声を立体音響で出力させる
上記（２）に記載の出力制御装置。
前記音声制御部は、前記仮想表示位置が前記視聴者の背後に移動したことを前記視聴者に知覚させる音声を立体音響で出力させる
上記（２）に記載の出力制御装置。
（４）
前記音声制御部は、前記表示位置又は前記仮想表示位置の動きに追従して音像定位を制御し、当該表示位置又は当該仮想表示位置に前記立体画像が位置することを前記視聴者に知覚させる音声を立体音響で出力させる
上記（１）〜（３）のいずれか１項に記載の出力制御装置。
前記音声制御部は、前記表示位置又は前記仮想表示位置の動きに追従して音像定位を制御し、当該表示位置又は当該仮想表示位置に前記立体画像が位置することを前記視聴者に知覚させる音声を立体音響で出力させる
上記（１）〜（３）のいずれか１項に記載の出力制御装置。
（５）
前記音声制御部は、前記仮想表示位置が前記視聴者の近傍を通過するタイミングで前記表示画像が当該視聴者の近傍を通過したことを前記視聴者に知覚させる音声を立体音響で出力させる
上記（１）〜（４）のいずれか１項に記載の出力制御装置。
前記音声制御部は、前記仮想表示位置が前記視聴者の近傍を通過するタイミングで前記表示画像が当該視聴者の近傍を通過したことを前記視聴者に知覚させる音声を立体音響で出力させる
上記（１）〜（４）のいずれか１項に記載の出力制御装置。
（６）
前記音声制御部は、前記仮想表示位置が前記視聴者の近傍を通過するタイミングで当該視聴者の近傍から仮想音源にて風切り音を出力させる
上記（５）に記載の出力制御装置。
前記音声制御部は、前記仮想表示位置が前記視聴者の近傍を通過するタイミングで当該視聴者の近傍から仮想音源にて風切り音を出力させる
上記（５）に記載の出力制御装置。
（７）
前記音声制御部は、前記所定の表示限界を超える直前における前記立体画像の動きと、前記所定の表示限界を超えた直後における仮想的な前記立体画像の動きとが連続するように、前記仮想的な立体画像の動きを表現した音声を立体音響で出力させる
上記（１）に記載の出力制御装置。
前記音声制御部は、前記所定の表示限界を超える直前における前記立体画像の動きと、前記所定の表示限界を超えた直後における仮想的な前記立体画像の動きとが連続するように、前記仮想的な立体画像の動きを表現した音声を立体音響で出力させる
上記（１）に記載の出力制御装置。
（８）
前記音声制御部は、前記所定の表示限界から前記視聴者の方向へと前記立体画像が飛び出す瞬間において前記視聴者が知覚する立体画像の移動速度で前記仮想表示位置が移動しているように前記視聴者に知覚させる音声を立体音響で出力させる
上記（１）に記載の出力制御装置。
前記音声制御部は、前記所定の表示限界から前記視聴者の方向へと前記立体画像が飛び出す瞬間において前記視聴者が知覚する立体画像の移動速度で前記仮想表示位置が移動しているように前記視聴者に知覚させる音声を立体音響で出力させる
上記（１）に記載の出力制御装置。
（９）
前記表示制御部は、前記立体画像の表示位置が前記所定の表示限界に近づいた場合に当該立体画像に対して動きを表現するためのエフェクトを施す
上記（１）〜（８）のいずれか１項に記載の出力制御装置。
前記表示制御部は、前記立体画像の表示位置が前記所定の表示限界に近づいた場合に当該立体画像に対して動きを表現するためのエフェクトを施す
上記（１）〜（８）のいずれか１項に記載の出力制御装置。
（１０）
前記立体画像を表示する立体画像表示部と、
前記立体音声を出力する立体音声出力部と、
をさらに備え、
前記立体画像表示部は、前記表示制御部による制御に応じて前記立体画像を表示し、
前記立体音声出力部は、前記音声制御部による制御に応じて前記立体音声を出力する
上記（１）に記載の出力制御装置。
前記立体画像を表示する立体画像表示部と、
前記立体音声を出力する立体音声出力部と、
をさらに備え、
前記立体画像表示部は、前記表示制御部による制御に応じて前記立体画像を表示し、
前記立体音声出力部は、前記音声制御部による制御に応じて前記立体音声を出力する
上記（１）に記載の出力制御装置。
（１１）
視聴者が知覚する立体画像の表示位置を制御するステップと、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させるステップと、
を含む
出力制御方法。
視聴者が知覚する立体画像の表示位置を制御するステップと、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させるステップと、
を含む
出力制御方法。
（１２）
視聴者が知覚する立体画像の表示位置を制御する表示制御機能と、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御機能と、
をコンピュータに実現させるためのプログラム。
視聴者が知覚する立体画像の表示位置を制御する表示制御機能と、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御機能と、
をコンピュータに実現させるためのプログラム。
（１３）
視聴者が知覚する立体画像の表示位置を制御する表示制御機能と、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御機能と、
をコンピュータに実現させるためのプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
視聴者が知覚する立体画像の表示位置を制御する表示制御機能と、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御機能と、
をコンピュータに実現させるためのプログラムが記録された、コンピュータにより読み取り可能な記録媒体。
（備考）
上記の情報処理システム１０、端末装置１１、１２、１３、１４、１５、１６、情報処理装置１７は、出力制御装置の一例である。上記の画像出力制御部１０１は、表示制御部の一例である。上記の音声出力制御部１０３は、音声制御部の一例である。
上記の情報処理システム１０、端末装置１１、１２、１３、１４、１５、１６、情報処理装置１７は、出力制御装置の一例である。上記の画像出力制御部１０１は、表示制御部の一例である。上記の音声出力制御部１０３は、音声制御部の一例である。
以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。
１０ 情報処理システム
１１、１２、１３、１４、１５、１６ 端末装置
１７ 情報処理装置
１０１ 画像出力制御部
１０２ 立体画像表示部
１０３ 音声出力制御部
１０４ 立体音声出力部
１０５ 視聴者位置検出部
１０６ 視聴者操作検出部
Ｆ１１１ 画像出力機能
Ｆ１１２ 音声出力機能
Ｆ１１３ 通信機能
Ｆ１１４ 情報処理機能
１１、１２、１３、１４、１５、１６ 端末装置
１７ 情報処理装置
１０１ 画像出力制御部
１０２ 立体画像表示部
１０３ 音声出力制御部
１０４ 立体音声出力部
１０５ 視聴者位置検出部
１０６ 視聴者操作検出部
Ｆ１１１ 画像出力機能
Ｆ１１２ 音声出力機能
Ｆ１１３ 通信機能
Ｆ１１４ 情報処理機能
Claims (12)
- 視聴者が知覚する立体画像の表示位置を制御する表示制御部と、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御部と、
を備える
出力制御装置。 - 前記音声制御部は、前記仮想表示位置が前記視聴者の知覚できない空間領域に移動したことを前記視聴者に知覚させる音声を立体音響で出力させる
請求項１に記載の出力制御装置。 - 前記音声制御部は、前記仮想表示位置が前記視聴者の背後に移動したことを前記視聴者に知覚させる音声を立体音響で出力させる
請求項２に記載の出力制御装置。 - 前記音声制御部は、前記表示位置又は前記仮想表示位置の動きに追従して音像定位を制御し、当該表示位置又は当該仮想表示位置に前記立体画像が位置することを前記視聴者に知覚させる音声を立体音響で出力させる
請求項１に記載の出力制御装置。 - 前記音声制御部は、前記仮想表示位置が前記視聴者の近傍を通過するタイミングで前記表示画像が当該視聴者の近傍を通過したことを前記視聴者に知覚させる音声を立体音響で出力させる
請求項１に記載の出力制御装置。 - 前記音声制御部は、前記仮想表示位置が前記視聴者の近傍を通過するタイミングで当該視聴者の近傍から仮想音源にて風切り音を出力させる
請求項５に記載の出力制御装置。 - 前記音声制御部は、前記所定の表示限界を超える直前における前記立体画像の動きと、前記所定の表示限界を超えた直後における仮想的な前記立体画像の動きとが連続するように、前記仮想的な立体画像の動きを表現した音声を立体音響で出力させる
請求項１に記載の出力制御装置。 - 前記音声制御部は、前記所定の表示限界から前記視聴者の方向へと前記立体画像が飛び出す瞬間において前記視聴者が知覚する立体画像の移動速度で前記仮想表示位置が移動しているように前記視聴者に知覚させる音声を立体音響で出力させる
請求項１に記載の出力制御装置。 - 前記表示制御部は、前記立体画像の表示位置が前記所定の表示限界に近づいた場合に当該立体画像に対して動きを表現するためのエフェクトを施す
請求項１に記載の出力制御装置。 - 前記立体画像を表示する立体画像表示部と、
前記立体音声を出力する立体音声出力部と、
をさらに備え、
前記立体画像表示部は、前記表示制御部による制御に応じて前記立体画像を表示し、
前記立体音声出力部は、前記音声制御部による制御に応じて前記立体音声を出力する
請求項１に記載の出力制御装置。 - 視聴者が知覚する立体画像の表示位置を制御するステップと、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させるステップと、
を含む
出力制御方法。 - 視聴者が知覚する立体画像の表示位置を制御する表示制御機能と、
前記立体画像の表示画面と前記立体画像の表示位置との間の距離が所定の表示限界を越えた領域において前記立体画像が表示されるべき仮想表示位置を前記視聴者に知覚させる音声を立体音響で出力させる音声制御機能と、
をコンピュータに実現させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012080986A JP2013211712A (ja) | 2012-03-30 | 2012-03-30 | 出力制御装置、出力制御方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012080986A JP2013211712A (ja) | 2012-03-30 | 2012-03-30 | 出力制御装置、出力制御方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013211712A true JP2013211712A (ja) | 2013-10-10 |
Family
ID=49529192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012080986A Pending JP2013211712A (ja) | 2012-03-30 | 2012-03-30 | 出力制御装置、出力制御方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013211712A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016021169A (ja) * | 2014-07-15 | 2016-02-04 | Kddi株式会社 | 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法 |
| JP2016197830A (ja) * | 2015-04-06 | 2016-11-24 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
| WO2019146032A1 (ja) * | 2018-01-25 | 2019-08-01 | 三菱電機株式会社 | ジェスチャー操作装置およびジェスチャー操作方法 |
| US10725300B2 (en) | 2014-07-31 | 2020-07-28 | Seiko Epson Corporation | Display device, control method for display device, and program |
| JP2021160423A (ja) * | 2020-03-31 | 2021-10-11 | 本田技研工業株式会社 | 車両 |
-
2012
- 2012-03-30 JP JP2012080986A patent/JP2013211712A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016021169A (ja) * | 2014-07-15 | 2016-02-04 | Kddi株式会社 | 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法 |
| US10725300B2 (en) | 2014-07-31 | 2020-07-28 | Seiko Epson Corporation | Display device, control method for display device, and program |
| JP2016197830A (ja) * | 2015-04-06 | 2016-11-24 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
| WO2019146032A1 (ja) * | 2018-01-25 | 2019-08-01 | 三菱電機株式会社 | ジェスチャー操作装置およびジェスチャー操作方法 |
| JPWO2019146032A1 (ja) * | 2018-01-25 | 2020-07-02 | 三菱電機株式会社 | ジェスチャー操作装置およびジェスチャー操作方法 |
| JP2021160423A (ja) * | 2020-03-31 | 2021-10-11 | 本田技研工業株式会社 | 車両 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9898863B2 (en) | Information processing device, information processing method, and program | |
| US9544706B1 (en) | Customized head-related transfer functions | |
| EP2891955B1 (en) | In-vehicle gesture interactive spatial audio system | |
| JP5890523B2 (ja) | オーディオ信号処理装置及びオーディオ信号処理方法 | |
| US20110157327A1 (en) | 3d audio delivery accompanying 3d display supported by viewer/listener position and orientation tracking | |
| CN109691141B (zh) | 空间化音频***以及渲染空间化音频的方法 | |
| JP7338626B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6764490B2 (ja) | 媒介現実 | |
| EP3036601B1 (en) | Video display with pan function controlled by viewing direction | |
| JP2013211712A (ja) | 出力制御装置、出力制御方法、及びプログラム | |
| JP7099326B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| US11069137B2 (en) | Rendering captions for media content | |
| US20200111257A1 (en) | Sound reproduction apparatus for reproducing virtual speaker based on image information | |
| JP6757420B2 (ja) | 音声制御装置、音声制御方法及びプログラム | |
| US11102604B2 (en) | Apparatus, method, computer program or system for use in rendering audio | |
| JP5860629B2 (ja) | 音源定位制御プログラムおよび音源定位制御装置 | |
| CN109791436A (zh) | 内容发现 | |
| JP2012080294A (ja) | 電子機器、映像処理方法、及びプログラム | |
| JP4955718B2 (ja) | 立体表示制御装置、立体表示システムおよび立体表示制御方法 | |
| EP3467791A1 (en) | Information processing device, information processing method, and program | |
| EP3036918B1 (en) | Video display having audio controlled by viewing direction | |
| WO2022219877A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| GB2569576A (en) | Audio generation system | |
| WO2024001174A1 (zh) | 虚拟现实数据处理方法、控制器及虚拟现实设备 | |
| US20140176502A1 (en) | Image display apparatus and method |