JP4513645B2

JP4513645B2 - 複数視点映像表示方法及び複数視点映像表示装置並びに複数視点映像表示プログラム

Info

Publication number: JP4513645B2
Application number: JP2005141971A
Authority: JP
Inventors: 晃也末廣; 伸司中村; 邦男山田; 隆幸菅原
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-05-13
Filing date: 2005-05-13
Publication date: 2010-07-28
Anticipated expiration: 2025-05-13
Also published as: JP2006319819A

Description

本発明は複数視点映像表示方法及び複数視点映像表示装置並びに複数視点映像表示プログラムに係り、特に１台の映像表示装置を使用して、複数の観察者が互いに異なる映像情報を観察することができる映像表示装置を好適に実現する複数視点映像表示方法及び複数視点映像表示装置並びに複数視点映像表示プログラムに関する。

従来、カーナビゲーション装置や携帯電話機等の画面において、その画面を分割することなく、１つの画面で複数の観察者が異なる画像を同時に見ることができるいわゆる多重映像表示装置及び方法に関する技術が知られている（例えば、特許文献１参照）。この特許文献１記載の従来の多重映像表示装置は、図１９に示すように、複数の視点を得られるレンズ５と、レンズ５の一端に対向して配置された第１の液晶素子６及び第２の液晶素子７と、第１の液晶素子６に画像信号を供給する第１の画像信号出力手段８と、第２の液晶素子７に画像信号を供給する第２の画像信号出力手段９とから構成されている。

そして、第１の視点１から第１の視線３によりレンズ５を見ると、第１の画像信号出力手段８から第１の液晶素子６に供給された第１の画像信号による画像を見ることができ、一方、第２の視点２から第２の視線４によりレンズ５を見ると、第２の画像信号出力手段９から第２の液晶素子７に供給された第２の画像信号による画像を見ることができる。この従来技術によれば、運転席側に対してはナビゲーション画面のみを表示させ、助手席側にはテレビ画面のみを表示させるといった表示形態が可能になる。

かかる従来例は２つの視点で異なる映像を提示するものであるが、２つ以上の視点で異なる映像を提示する技術として映像表示技術が知られている。特に、いわゆる多眼式ステレオグラムやインテグラルフォトグラフィー方式の場合には、マイクロレンズアレイ等の光学素子を用いて光線の向きを制御することにより、複数の視点から異なる視差画像を観察することができる（非特許文献１）。さらに、音に関しては、複数のスピーカを用いて空間上に音場を定位させることにより、聞く位置によって異なる音を提示させることができる立体音響技術が知られている（非特許文献２）。

一方、ＣＤ（Compact Disc）やＤＶＤ(Digital Versatile Disc)などの一般の情報記録媒体とその表示機において、表示するコンテンツ（情報の内容）を年齢等に応じて段階的に表示プロテクト制御するいわゆるパレンタルロックに関する本出願人による特許発明が開示されている（特許文献２）。

特開２００３−７６２８９号公報特許第２８５３７２７号公報ＮＨＫ放送技術研究所，「３次元映像の基礎」，オーム社，１９９５年イエンスブラウエルト，「空間音響」，鹿島出版会，１９８５年

確かに、特許文献１に開示された従来の多重映像表示装置は、カーナビゲーション等の小型ディスプレイへの応用においては好適な表示形態を実現するものと考えられている。しかし、家庭用テレビやプロジェクタ等の比較的大画面の表示装置を多人数で観察する場面に適用しようとすると、次のような問題が生じる。それは、お互いの見る情報の内容が独立していることにより、個人のプライバシーを保つことができる反面、相手の見る情報の内容を容易にコントロールすることができなくなることである。例えば、家庭のリビングにおいて、未成年者が視聴するのにふさわしくないテレビ番組、映画、テレビゲーム、コマーシャルフィルム、特にホラー映画の予告編等で時折見られる暴力的なシーン、インターネット情報等を親権者が随時コントロールすることができないのである。

一方、本出願人によるパレンタル制御に関する特許文献２記載の再生プロテクト方法及び再生装置では、親権者がＤＶＤの再生前に予め暴力的なシーンにモザイクによる規制がかかるように再生機のパレンタルレベルを設定したり、再生機の製造者が出荷する世界の地域毎にリージョンコードを設定したりすることで、映像にきめ細かな規制を施すことができる技術を提供するものである。

しかしながら、この再生プロテクト方法及び再生装置はあくまで親が子供のために設定したり、あるいは特定の国や地域でのみの再生モードを設定したりするものであるから、子供と親が一緒に映像を鑑賞したり、あるいは複数の国や地域の人が一緒に映像コンテンツを楽しむことは想定されていない。いいかえれば、特許文献２記載の視聴規制に関する特許発明は、複数人で視聴する場合には、設定された視聴レベルに適合する観察者にのみ恩恵が与えられるに過ぎないものであり、視聴レベルが適合しない他の観察者はそれを我慢しなければならないという課題がある。

本発明は以上の点に鑑みなされたもので、１台のディスプレイを視聴する複数の観察者の位置毎に互いに異なる映像音響情報を同時に表示させるに際し、各々の観察者に対して表示するコンテンツの表示の仕方を変化させる機能を付加することで、上記した２つの課題を同時に解決し得る複数視点映像表示方法及び複数視点映像表示装置並びに複数視点映像表示プログラムを提供することを目的とする。

上記の目的を達成するため、本発明の複数視点映像表示方法は、少なくとも一の映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる映像情報を表示し、更に、二以上の音響情報出力手段を用いて複数の観察者の各々に対して個別に音響情報を出力することが可能な複数視点映像表示方法において、複数の観察者の各々についての位置情報及び観察者の年齢又は国籍又は視力情報のうち少なくとも一つを含む個人情報を記憶する第１のステップと、入力された映像情報又は音響情報に予め付与された視聴制限情報と、入力された個人情報とを組み合わせて、映像情報入力時には複数の観察者の各々に個別的に映像情報の表示態様を決定し、映像情報及び音響情報入力時には複数の観察者の各々に個別的に映像情報及び音響情報の表示態様を決定する第２のステップと、位置情報を有する観察者の各々が、一の映像情報表示手段又は二以上の音響情報出力手段にて第２のステップで決定された表示態様により映像情報又は音響情報を視聴できるように、映像情報又は音響情報を局所的に出力する第３のステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明の複数視点映像表示装置は、少なくとも一の映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる映像情報を表示し、更に、二以上の音響情報出力手段を用いて複数の観察者の各々に対して個別に音響情報を出力することが可能な複数視点映像表示装置において、複数の観察者の各々についての位置情報及び観察者の年齢又は国籍又は視力情報のうち少なくとも一つを含む個人情報を入力する情報入力手段と、入力された映像情報又は音響情報に予め付与された視聴制限情報と、入力された個人情報とを組み合わせて、映像情報入力時には複数の観察者の各々に個別的に映像情報の表示態様を決定し、映像情報及び音響情報入力時には複数の観察者の各々に個別的に映像情報及び音響情報の表示態様を決定する表示態様決定手段と、位置情報を有する観察者の各々が、一の映像情報表示手段又は二以上の音響情報出力手段にて表示態様決定手段で決定された表示態様により映像情報又は音響情報を視聴できるように、映像情報又は音響情報を局所的に出力する局所的情報出力手段とを有することを特徴とする。

更に、本発明は、上記の目的を達成するため、少なくとも一の映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる映像情報を表示し、更に、二以上の音響情報出力手段を用いて複数の観察者の各々に対して個別に音響情報を出力することが可能な複数視点映像表示方法をコンピュータに実行させる複数視点映像表示プログラムにおいて、コンピュータに、
入力された複数の観察者の各々についての位置情報及び観察者の年齢又は国籍又は視力情報のうち少なくとも一つを含む個人情報をリンクして記憶する第１のステップと、入力された映像情報又は音響情報に予め付与された視聴制限情報と、入力された個人情報とを組み合わせて、映像情報入力時には複数の観察者の各々に個別的に映像情報の表示態様を決定し、映像情報及び音響情報入力時には複数の観察者の各々に個別的に映像情報及び音響情報の表示態様を決定する第２のステップと、位置情報を有する観察者の各々が、一の映像情報表示手段又は二以上の音響情報出力手段にて第２のステップで決定された表示態様により映像情報又は音響情報を視聴できるように、映像情報又は音響情報を局所的に出力する第３のステップとを実行させることを特徴とする。

本発明の複数視点映像表示方法、表示装置及び表示プログラムでは、複数の観察者の個人情報と入力された映像情報又は音響情報に予め付与された視聴制限情報とを組み合わせて複数の観察者の各々に個別的に映像情報、更には音響情報の表示態様を決定し、それに基づいて、映像情報又は音響情報を局所的に出力するようにしたため、複数の観察者の各々は入力した位置情報に位置にて、自己の個人情報と視聴制限情報に応じた表示態様で映像情報や音響情報を個別に視聴することができる。従って、特に観察者が子供の場合には、子供が視聴するのにふさわしくないコンテンツの表示を制限できる。

また、本発明は上記の目的を達成するため、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を表示する複数視点映像表示方法において、視点の位置情報と当該視点を有する観察者の個人情報とをリンクさせて映像情報表示手段に入力するステップと、映像情報表示手段に入力される映像情報の所定の区間毎に予め付与された表示プロテクト情報と個人情報とを組み合わせることにより観察者毎に適切な表示態様を個別的に決定するステップと、表示態様を位置情報に対応させることにより位置情報を有する観察者の各々に対して局所的映像情報を表示態様により出力するステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像ディスプレイを用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を表示させる複数視点映像表示方法において、観察者の各々の観察者情報及び当該観察者の視点位置に対応する局所的映像情報の映像コンテンツの表示プロテクト情報を組み合わせることによって、観察者の各々に適した局所的映像情報の表示態様を個別的に決定し、当該表示態様にて観察者の各々に対して同一の映像コンテンツを適切な表示プロテクトレベルの局所的映像として表示することを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる映像情報を表示する複数視点映像表示装置において、観察者の位置情報および個人情報を入力する情報入力手段と、映像情報に付与された制御情報及び個人情報により適切な表示態様を決定する表示態様決定手段と、位置情報を有する観察者の各々に対して映像情報を表示態様により局所的に出力する局所的映像情報出力手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像情報表示手段を用いて、複数の観察者の各々の視点に応じて互いに異なる局所的映像情報を表示させる複数視点映像表示装置において、視点の位置情報及び／又は当該観察者の個人情報を入力する情報入力手段と、情報入力手段により入力された情報と映像コンテンツに予め付与されたコンテンツ表示制限情報とに基づいて観察者毎に最適な表示態様を個別的に決定する表示態様決定手段と、最適化された表示態様にて局所的映像情報を観察者の各々に対して局所的に出力する局所的映像情報出力手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を表示させる複数視点映像表示装置において、観察者の各々の観察者情報及び当該観察者の視点位置に対応する局所的映像情報の映像コンテンツの表示プロテクト情報を組み合わせることによって、観察者の各々に適した局所的映像情報の表示態様を個別的に決定し、当該表示態様にて観察者の各々に対して同一の映像コンテンツを適切な表示プロテクトレベルの局所的映像として表示することを特徴とする。

また、上記の目的を達成するため、本発明は、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を表示する一の映像情報表示手段を制御するための複数視点映像表示プログラムにおいて、視点の位置情報と当該視点を有する観察者の個人情報とをリンクさせて記憶するステップと、映像情報表示手段に入力される映像情報の所定の区間毎に予め付与された表示プロテクト情報を読み出すステップと、表示プロテクト情報と個人情報とを組み合わせることにより観察者毎に適切な表示態様を決定するステップと、表示態様を位置情報に対応させることにより位置情報を有する観察者の各々に対して局所的映像情報を表示態様により出力するステップとをコンピュータに実行させることを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の視聴者の各々の視聴点に対して互いに異なる映像情報及び／又は音響情報を表示する複数視聴点映像音響表示方法において、視聴者の位置情報および個人情報を入力するステップと、映像情報及び／又は音響情報に付与された制御情報と個人情報とに基づいて表示態様を決定するステップと、位置情報を有する視聴者の各々に対して映像情報及び／又は音響情報を表示態様により局所的に出力するステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の視聴者の視聴点の各々に対して互いに異なる局所的映像情報及び／又は局所的音響情報を表示する複数視聴点映像音響表示方法において、視聴点の位置情報と当該視聴点を有する視聴者の個人情報とをリンクさせて映像情報表示手段又は音響情報表示手段に入力するステップと、映像情報表示手段又は音響情報表示手段に供給される映像情報及び／又は音響情報の所定の区間毎に予め付与された表示プロテクト情報と個人情報とを組み合わせることにより視聴者毎に適切な表示態様を個別的に決定するステップと、表示態様を位置情報に対応させることにより位置情報を有する視聴者の各々に対して局所的映像及び／又は局所的音響情報を表示態様により出力するステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像情報表示手段と二以上の音響情報表示手段を用いて、複数の視聴者の視聴点の各々に対して互いに異なる局所的映像情報及び／又は局所的音響情報を表示させる複数視聴点映像音響表示方法において、視聴者の各々の視聴者情報及び当該視聴者の視聴点位置に対応する局所的映像情報及び／又は局所的音響情報の映像音響コンテンツの表示プロテクト情報を組み合わせることによって、視聴者の各々に適した局所的映像情報及び／又は局所的音響情報の表示態様を個別的に決定し、当該表示態様にて視聴者の各々に対して同一の映像音響コンテンツを適切な表示プロテクトレベルの局所的映像情報及び／又は局所的音響情報として表示することを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の視聴者の各々の視聴点に対して互いに異なる映像情報及び／又は音響情報を表示する複数視聴点映像音響表示システムにおいて、視聴者の位置情報及び個人情報を入力する情報入力手段と、映像情報及び／又は音響情報に付与された制御情報及び個人情報により表示態様を決定する表示態様決定手段と、位置情報を有する視聴者各々に対して映像情報を表示態様により局所的に出力する局所的映像情報出力手段と、位置情報を有する視聴者の各々に対して音響情報を表示態様により局所的に出力する局所的音響情報出力手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の視聴者の各々の視聴点に応じて互いに異なる局所的映像情報及び／又は局所的音響情報を表示させる複数視聴点映像音響表示システムにおいて、視聴点の位置情報及び／又は当該視聴者の個人情報を入力する情報入力手段と、情報入力手段により入力された情報と映像音響コンテンツに予め付与されたコンテンツ表示制限情報とに基づいて視聴者ごとに最適な表示態様を個別的に決定する表示態様決定手段と、最適化された表示態様にて局所的映像情報を視聴者の各々に対して局所的に出力する局所的映像情報出力手段と、最適化された表示態様にて局所的音響情報を視聴者の各々に対して局所的に出力する局所的音響情報出力手段と、を有することを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の視聴者の視聴点の各々に対して互いに異なる局所的映像情報及び／又は局所的音響情報を表示させる複数視聴点映像音響表示システムにおいて、視聴者の各々の視聴者情報及び当該視聴者の視聴点位置に対応する局所的映像情報及び／又は局所的音響情報の映像音響コンテンツの表示プロテクト情報を組み合わせることによって、視聴者の各々に適した局所的映像情報及び／又は局所的音響情報の表示態様を個別的に決定し、当該表示態様にて視聴者の各々に対して同一の映像音響コンテンツを適切な表示プロテクトレベルの局所的映像情報及び／又は局所的音響情報として表示することを特徴とする。

更に、上記の目的を達成するため、本発明は、複数の視聴者の視聴点の各々に対して互いに異なる局所的映像情報及び／又は局所的音響情報を表示する一の映像情報表示手段と二以上の音響情報表示手段を制御するための複数視聴点映像音響表示プログラムにおいて、視聴点の位置情報と当該視聴点を有する視聴者の個人情報とをリンクさせて記憶するステップと、映像情報表示手段又は音響情報表示手段に入力させる映像情報及び／又は音響情報の所定の区間毎に予め付与された表示プロテクト情報を呼び出すステップと、表示プロテクト情報と個人情報とを組み合わせることにより視聴者ごとに適切な表示態様を決定するステップと、表示態様を位置情報に対応させることにより位置情報を有する視聴者の各々に対して局所的映像情報及び／又は局所的音響情報を表示態様により出力するステップとをコンピュータに実行させることを特徴とする。

本発明によれば、複数の観察者の個人情報と入力された映像情報及び／又は音響情報に予め付与された視聴制限情報とを組み合わせて複数の観察者の各々に個別的に映像情報、更には音響情報の表示態様を決定し、それに基づいて、映像情報及び／又は音響情報を局所的に出力することにより、複数の観察者の各々は入力した位置情報に位置にて、自己の個人情報と視聴制限情報に応じた表示態様で映像情報や音響情報を個別に視聴するようにしたため、各々の観察者に適したコンテンツの表示が可能となり、その結果、観察者同士の年齢の違いを気にすることなく同一コンテンツのテレビ番組や映画を同時に安心して視聴できるようになり、映像鑑賞スタイルや映画音楽鑑賞スタイルのバリアフリー化をもたらすという効果を奏する。

また、本発明によれば、従来の多重映像表示技術と再生プロテクト技術とを組み合わせることにより、複数の観察者が一の映像情報表示手段（一台のディスプレイ）を異なる位置から視聴する際に、各々の位置に応じてコンテンツの表示プロテクトレベルを決定するように構成することにより、各々の観察者に適したコンテンツの表示が可能となり、その結果、異なる国籍や人種の観察者の間の信仰の違いを気にすることなく同一の映像コンテンツを同時に安心して視聴できるようになり、映像鑑賞スタイルや映画音楽鑑賞スタイルの国際化をもたらすという効果を奏する。

次に、発明を実施するための最良の形態について、図面と共に説明する。図１は本発明になる複数視点映像表示装置の第１の実施の形態のブロック図を示す。同図において、まず符号化されたデジタル信号による映像情報の内容であるデジタル映像コンテンツａが情報分離化器１１に入力される。

デジタル映像コンテンツａは、純粋な映像情報ｂと、その映像情報ｂの読み取りを制限する視聴制限情報ｃとが多重化された形で構成されている。例えば、ＤＶＤ（Digital Versatile Disc）などの光ディスクに記録されたデジタル映像コンテンツａとしての映画は、すべての映像情報ｂと共に、それらの情報の一部を選択的に再生する視聴制限情報ｃとして年齢規制に関わるパレンタルロック情報や地域規制に関わるリージョンコード等が記録されている。もちろん、本実施の形態においては、デジタル映像コンテンツａは、光ディスク等のような情報記録媒体に記録されたコンテンツに限定されるものではなく、Ｗｅｂサーバー上の情報を情報端末の記憶媒体に通信回線によりダウンロードするようなコンテンツや、あるいはＷｅｂサーバー上に保管されてストリーミング配信により供給されるコンテンツによっても同様に実施可能であることはいうまでもない。

情報分離化器１１は、上述したデジタル映像コンテンツａに含まれる多重化された情報を分離する機能を有するものであり、具体的にはデジタル信号処理回路においてよく知られたデマルチプレックスのことである。図１に示すように、情報分離化器１１は、多重化されたデジタル映像コンテンツａを映像情報ｂと視聴制限情報ｃとに分離し、分離した映像情報ｂを復号化器１５に入力し、分離した視聴制限情報ｃを表示態様決定器１３に入力する。

一方、この複数視点映像表示装置に対するもう一つの入力として、映像を観察する複数の観察者の個人情報ｄと、ディスプレイとの相対的な位置関係に関する情報である位置情報ｅとが、観察者情報入力器１２に入力される。

観察者の個人情報ｄとは、少なくとも観察者の年齢及び／又は国籍及び／又は視力情報を含むものである。観察者の年齢を入力するのは、後述するように、観察者の年齢によって、デジタル映像コンテンツａに含まれる性的あるいは暴力的なシーンなどの精神的発育上問題のあるコンテンツをどの程度まで再生するかを決定するためである。これは、一般的なＤＶＤプレーヤに付属し、ディスクの再生前に親が子供の視聴制限の設定を行うことができる、公知のパレンタルロック技術に類似するものである。本実施の形態は、かかる従来技術を年齢層の異なる複数の観察者が互いに異なる再生レベルで同じコンテンツを視聴できるように発展させたところに特徴がある。

また、観察者の年齢を入力させるもう一つの理由として、後述するように、観察者の国籍によって、デジタル映像コンテンツａに含まれる思想あるいは信条的に問題のあるシーンの再生を制限できるようにするためである。これは、光ディスクプレーヤを販売する際に、出荷地域毎に設定される、公知のリージョンコード技術に関連するものである。本実施の形態は、かかる従来技術を国籍の異なる複数の観察者が異なる再生レベルで同じコンテンツを視聴できるように発展させたところに特徴がある。

もちろん、国籍は同じであっても、思想・信条が異なる観察者は多数存在する。従って、個人情報ｄの入力に関する実施にあたっては、国籍だけに止まらず、個人が信仰する信教等を直接入力できるようにすることも考えられる。但し、このように個人の内心に関わる事項を映像視聴にあたって入力させることは予期しない人権問題が生ずるおそれがあるため、本実施の形態を実施するアプリケーションを慎重に検討しなければならない。

多国籍の観察者が映像を観察するようなアプリケーションのうち、本発明を好適に実施可能な例としては、いろいろな国の人が利用する映画館や国際会議場、あるいは国際競技場等に設置された大画面ディスプレイがある。映画については、シナリオ全体にわたって思想・信条的な偏りのある内容のものについては本発明を適用しても無意味であるが、一部のシーンにのみ問題があるような映画については、その部分のみを視聴制限した形の再生が可能となるので本発明が好適に機能しうる。

また、競技場に設置された大画面ディスプレイに応用する場合には、国別に設けられた観客席のエリア毎に位置情報ｅと個人情報ｄをあらかじめ設定しておけばよい。そうすることにより、例えば、大画面ディスプレイに時折映し出される観客の映像のうち、自国の文化では受け入れがたい服装などの精神的苦痛を与える蓋然性の高い映像の一部を、観客に自己の思想・信条に基づく視聴制限の意思表示を強制することなく、特定の観客席のエリアには再生させないように制限することが可能になる。このように、本発明は、アプリケーションを慎重に選択することにより、映像鑑賞のスタイルの国際化を促すという劇的な効果を奏する可能性がある。

さて、これらの個人情報ｄと位置情報ｅを入力するには、図１に示す観察者情報入力器１２を要する。観察者情報入力器１２の実施形態としては、家庭用リビングでは、リモートコントローラ（以下リモコンと略記）が適している。一般家庭に普及しているテレビ用リモコンは、リモコンに内蔵された発光ダイオードから近赤外光をディスプレイの受光部に送信するものであるから、それを操作する人のおおよその位置情報ｅを特定するのに利用することができる。

また、リモコンに付属の一般的なキーを利用して、ディスプレイ（画像表示手段１６）に表示させた図９に例示する個人情報設定メニュー画面において、個人情報ｄを入力させるように構成することは容易である。また、上述した大画面ディスプレイのような屋外で使用するようなアプリケーションにおける観察者情報入力器１２としては、携帯電話機などの携帯用情報端末が適している。

もっとも、映画館や競技場の座席のように、ディスプレイと観察者の相対位置関係が常に一定であるようなアプリケーションにおいては、わざわざ携帯情報端末による入力をさせなくても、座席毎に予め設定（プリセット）しておいてもよい。かかる場合においては、キーボードやマウスなどの一般的な情報入力機器が観察者情報入力器１２の実施形態となる。もちろん、家庭のリビングにおけるディスプレイにおいても、家族の座る位置が大体決まっているような場合には、リモコンで視聴位置毎の個人情報ｄと位置情報ｅとをプリセットしておけば、視聴を開始する前に毎回設定する煩わしさを避けることができる。

次に、図１に示した表示態様決定器１３について説明する。表示態様決定器１３は、情報分離化器１１から出力された視聴制限情報ｃと、観察者情報入力器１２から出力された個人情報ｄ及び位置情報ｅを入力として受け、観察者毎に適した表示態様、すなわち上述したデジタル映像コンテンツａを再生する際の制限レベルを決定するものである。表示態様の決定方法の基本的な概念は、本出願人が先に開示した特許第２８５３７２７号公報に記載されているように、再生機側で設定した制限レベルである再生機プロテクトレベルと、媒体側に付与された設定制限レベルである媒体プロテクトレベルとの組み合わせにより、実際に再生する制限レベルである再生プロテクトレベル（表示態様）を決定するものである。

本実施の形態は、上記の再生プロテクト方法の概念を発展させ、同一ディスプレイを同時に観察する観察者毎に異なるプロテクトレベルによる再生を可能とするものである。表示態様の詳細は後述する。

図１において、表示態様決定器１３により、位置情報ｅの異なる複数の観察者の各々の個人情報ｄに基づいて、個別的に再生プロテクトレベルが決定されると、表示態様制御信号発生器１４により、個々の再生プロテクトレベルに対応して、映像情報ｂの再生レベルをコントロールするデジタル信号である表示態様制御信号ｆが生成される。この表示態様制御信号ｆは、情報分離化器１１で分離された映像情報ｂと共に復号化器（デコーダ）１５に入力され、映像情報ｂが、観察者毎に異なる再生許可度合をもつ表示態様で復号化される。

復号化の方法は、映像情報ｂがＭＰＥＧ１により圧縮符号化されている場合には、決定された再生プロテクトレベルに応じて伸張符号化（フーリエ逆変換、逆量子化、可変長復号化）により行う。かかる復号化により、段階的にモザイク状の粗い画像を生成することができる。また、本出願人による特開２０００−４１２３２号公報に開示されているように、映像情報ｂの圧縮符号化がＭＰＥＧ４によりなされている場合には、シーンの中で視聴制限すべき任意形状のオブジェクトのみを該当するオブジェクトをぼかしたり、モザイクにしたり、表示しないなどの制御を行うことが可能であるため、モザイク表示に比べて、観察者に違和感を感じることなく、制限的な再生を行うことが可能である。

このように復号化された信号は、図示しない駆動回路により増幅された後、画像表示手段１６に供給されて個別的に表示される。画像表示手段１６としては、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、フィールドエミッションディスプレイ（ＦＥＤ）、有機ＥＬディスプレイ等の直視型ディスプレイや、米国テキサス・インスツルメンツ社のマイクロミラーを利用したＤＬＰ（登録商標）型プロジェクタや、シリコン上に反射型液晶を形成したＬＣＯＳ（Liquid Crystal on Silicon）型プロジェクタなどの投射型ディスプレイなどを用い得る。特に、ＬＣＯＳ型プロジェクタの具体例として、本出願人が製造販売を行っているＤ−ＩＬＡ（登録商標）プロジェクタを利用することができる。

画像表示手段１６の表示態様としては、一般的には、ディスプレイの表示領域を観察者の数だけの領域に分割して表示する方法（空間分割表示）と、空間分割は行わずに時間的に分割して表示させる方法（時間分割表示あるいは時分割表示、あるいはフィールドシーケンシャル表示ともいう）とがある。前者は、視点の数に反比例して解像度が低下するが、画面のちらつき（フリッカ）のない画像が得られる。一方、後者は、各瞬間ではディスプレイの全面を利用して表示するため解像度の低下はないが、視点数に反比例して一視点あたりのリフレッシュレートが低下するので、十分高速な描画速度が確保できない限りフリッカが生じるという問題がある。

本出願の時点においては、上述の空間分割表示および時間分割表示は、高解像度素子と高速駆動回路の製造困難性により、大画面ディスプレイに適用するには性能的に不十分であるという課題がある。ところで、これが長い年月をかけて研究開発が続けられている自然な立体ディスプレイ（３次元ディスプレイ、３Ｄディスプレイともいう）の実用化を妨げている最大の課題であることは映像分野の当業者の間ではよく知られた事実である。

現時点のデバイスでは、一般に、左右２種類の視点画像のみを表示させる２眼式ディスプレイでないと、商品として成立するのに十分な解像度あるいは十分なリフレッシュレートの映像表示を行うことができないのである。従って、本実施の形態においても、現行の解像度のディスプレイを１台だけ用いて、複数の観察者の各々に適切な表示態様の映像を表示させようとすると、映像表示の場合と同様な空間解像度の低下あるいは時間解像度の低下という問題が発生することが容易に想像される。

しかしながら、この問題は以下に述べるように克服することが可能である。その理由は、本発明においては、異なる観察者に対して、全く異なる画像を提示するわけではなく、大部分の画像が同一であることである。つまり、異なるのは、視聴制限されたシーンのオブジェクトのみであり、その他のシーンについては、視点の増加に伴う空間的あるいは時間的解像度の低下が一切生じることがないのである。

例えば、図１において画像表示手段１６の内部に記載された表示態様１、表示態様２、表示態様３、・・・、表示態様ｎのブロックは、ディスプレイを空間的あるいは時間的にｎ分割しなければならないことを意味しない。むしろ、通常のシーンにおいては、各観察者は、ディスプレイの全ての画素からの、最高解像度の映像を視聴することができる。

もちろん、視聴制限されたシーンにおいては、各観察者に対して異なる映像を表示しなければならないため、解像度の低下を避けることは原理的に不可能である。しかし、かかるシーンは、本発明が想定する先に述べたアプリケーションにおいては、空間的または時間的に小さい領域にとどまる蓋然性が高いものであるから、視聴制限されたシーンにおける解像度の低下は実際上問題にならないものと考えられる。

このように、本発明は、各視点の観察者に対して、再生プロテクトされた空間的・時間的領域以外の映像を共通化することにより、カーナビ応用などの複数視点で全く異なる画像を観察しようとするアプリケーションでは避けられない解像度の低下の問題を克服し、ディスプレイが本来有する解像度で快適に視聴することができるという特徴がある。

さて、図１の画像表示手段１６によって上述のように表示された画像からの光は、複数の観察者の各々の眼球の瞳孔内に入射するように、局所的映像情報出力手段１７によって、その進行方向を制御される。かかる局所的映像情報出力手段１７の具体例としては、立体ディスプレイ用途では一般的な屈折型光学素子（レンチキュラーレンズ、マイクロレンズアレイ）や回折型光学素子（フレネルレンズアレイやホログラフィック光学素子）あるいは開口素子（スリットアレイやピンホールアレイ）がある。

後者は、液晶パネルなどの電子デバイスで構成することができるため、視聴制限されたシーンにのみ開口を形成して、開口を通してのみ見えるようにし、それ以外のシーンではパネル全面を透過させるように制御することにより、先に述べた解像度の劣化のないシーンを表示させることができる。もちろん、屈折型光学素子についても、液晶レンズ等の電子デバイスの研究も進んできており、将来的には、本発明の実施に好適に利用しうるものと考えられる。

図２は、図１の表示態様決定器１３に入力される３つの信号である、個人情報ｄ、位置情報ｅ及び視聴制限情報ｃの関係を示す概念図である。図２に示すように、これらの３つの情報ｃ〜ｅは、個人情報ｄを内容とする変数ｕ、視聴制限情報ｃを内容とする変数ｖ、位置情報ｅを内容とする変数ｗにより、ｕｖｗ空間を構成する。そして、このような３次元空間における点が、表示態様決定器１３が決定する表示態様を表している。例えば、同図において（ｕ１，ｖ１，ｗ１）と示された点は、ある観察者の個人情報の変数ｕ１、視聴制限情報の変数ｖ１、位置情報の変数ｗ１の値によって決定されることを意味する。

ここで、本出願人の特許発明である特許第２８５３７２７号公報に記載された再生プロテクト方法と比較すると、上記の特許公報に記載された「再生機プロテクトレベル」が本実施の形態の個人情報の変数ｕに対応し、上記の特許公報に記載された「媒体プロテクトレベル」が本実施の形態の視聴制限情報の変数ｖに対応する。従って、単に各々の位置情報を有する観察者に対して、個人情報の変数ｕと視聴制限情報の変数ｖとからなる２次元ｕｖ平面のレイヤーを位置情報の枚数だけ決定すれば足りる場合もあり、そのような場合には、わざわざ３次元ｕｖｗ空間の概念を持ち出すまでもない。

しかし、後述するように、アプリケーションによっては、視聴制限情報の変数ｖと位置情報の変数ｗとが密接に関わり合ったり、あるいは個人情報の変数ｕと位置情報の変数ｗとが密接に関わり合ったりする場合が存在する。そこで、本実施の形態では、個人情報の変数ｕと視聴制限情報の変数ｖと位置情報の変数ｗを３つの独立変数として表示態様決定に利用しうる三次元ｕｖｗ空間の概念を導入したのである。

図３〜図７は、先に述べた三次元ｕｖｗ空間における個人情報の変数ｕと位置情報の変数ｗとから表示態様の決定の仕方の一例を示すテーブルである。同テーブルに示すように、個人情報（テーブル第１列に１〜５と記載）と位置情報（テーブル第３列に１〜５と記載）の組み合わせによって、Ａ〜Ｅまでの表示態様、すなわち、図１３に例示する可視グレードが決定される。また、テーブルの第２列に１〜５のいずれかの値の視聴制限情報が格納されている。

図３〜図７のテーブルにおける個人情報の変数ｕの実施例を図１０に示す。図１０に示すように、個人情報は年齢、性別、国籍、信教、バリアフリーの各々について１〜５までの５段階に分類されている。観察者は、これらの中から必要なものを選択し、先に述べたリモコン等の方法により、観察者情報入力器１２に入力する。何を選択するかについては、例えば家庭で大人と子供が同じ映画を見る場合には、年齢情報を選択すればよい。そうすることにより、子供に対しては精神の発育上問題のあるような暴力的なシーンや、あるいはカメラのフラッシュのような生体影響の懸念される光刺激性のある高速で光が点滅するコンテンツが規制されて表示され、大人に対しては規制のないコンテンツが再生されることとなる。

また、男女が同時に同じコンテンツを視聴するような状況において、男性一般あるいは女性一般にとって不快感をもたらすような情報を表示規制したい場合には、性別情報を選択すればよい。また、国際会議や、国際的な競技場などで、異なる国籍を有する人々が１つのディスプレイから映像を見るような場合には、それぞれの国の文化の違いに基づくコンテンツの規制をかけることができるように国籍情報を選択すればよい。例えば、図１０に示すように、米国、欧州、アジア、中東、中国、そして図示しないオセアニア、アフリカ、南米等の様々な文化の違いに応じて、適切な表示態様でコンテンツを再生させることが可能となる。

さらに、民族や信仰の問題に関わるものであるが、たとえ国籍は同じであっても、思想・信条の異なる場合には、信仰に触れるコンテンツの規制をかけることのできる信教情報を個人情報として入力すればよい。例えば、図１０に示すように、キリスト教、イスラム教、ヒンドゥー教、仏教、儒教、それから図示しない世界中の様々な信教情報を観察者が入力することとすれば、映像コンテンツにおける暴力的なシーンや身体の露出のシーンの再生の仕方を個人個人の信教に応じて段階的設定して表示させることが可能となる。

また、観察者間における非障害者と障害者との関係をバリアフリー化する目的で、バリアフリー情報を入力するように構成してもよい。例えば、視覚障害者に対しては、映像の輝度やコントラストを最適化して表示させることができるし、また聴覚障害者に対しては、音の大きさや周波数特性を最適化して再生することができる。かかるバリアフリーの映像音響技術は、個人的鑑賞にとどまるものについては公知技術であるが、本実施の形態では、複数の観察者が同時に視聴する場面に適用したことに特徴がある。

このように、個人情報ｄは、映像を個別的に視聴していた従来の映像鑑賞スタイルに対して、年齢間の障壁、性別間の障壁、障害者と非障害者間の障壁を除去するというバリアフリー化をもたらすと共に、国家間の壁や異なる信教の間の壁を除去するという国際化をもたらすものということができる。

図１１は図３〜図７のテーブルの位置情報の一例を示す。図１１に示すように、ディスプレイと観察者との相対的な位置情報として、視点からディスプレイ（の中心）に向かうベクトルである視線ベクトルとディスプレイ面の法線のなす角度がそれぞれ±２０度以上、±２０度〜１０度、±１０度〜５度、±５度〜０度、０度以上の１〜５段階にレベル分けされている。一般に、ディスプレイの正面から見る確率が最も高いものであるから、ディスプレイ正面である０度の位置が最も規制のレベルの高い「５」にしてある。

また、図１１に示すように、位置情報はディスプレイからの角度のみならず、ディスプレイとの距離、すなわち視線ベクトルの大きさも重要なパラメータとしている。同図に示すように、Ｈをディスプレイの高さとして、１.５Ｈ以上、１.２〜１.５Ｈ、０.８Ｈ〜１.２Ｈ、０.４Ｈ〜０.８Ｈ、０.４Ｈ以下の１〜５段階にレベル分けされている。ディスプレイに最も近い視線ベクトルの大きさ０.４Ｈが視覚に与える影響が大きいため、規制レベルを「５」にしている。

図１２は図３〜図７のテーブルの視聴制限情報の一例を示す。図１２に示すように、視聴制限情報ｃは、暴力的なシーン（残虐行為、殺人、重度障害、軽度障害、すべて制限の５段階）、露出的なシーン（過度な露出、全体的露出、部分的露出、露出的服装、すべて規制の５段階）、信教に係るシーン（過激な表現、穏やかな表現、すべて制限の３段階）、視覚刺激性のあるシーン（高周波の光刺激、中間周波数の光刺激、低周波の光制激、すべて制限の４段階）のジャンルに分けられている。必要に応じて、視覚刺激性のあるシーンとして高いコントラストのパターンを含むシーンを加えたり、国家間の文化的な遣いを含むシーンを加えたりしてもよい。これは、映像コンテンツの供給側が設定する。かかる技術は、一般的なＷｅｂブラウザの規制オプションとして既に導入されており、技術的に困難な問題は生じないと考えられる。

図１３はかかる具体的な表示態様の一実施の形態を示す。同図に示すように、表示態様Ａが表示規制の度合が最も緩く、すべての映像コンテンツを表示させるモードである。そして、表示態様Ｂ〜Ｅでは次第に規制がかかり、表示態様Ｅが表示規制の度合いが最も強い。規制の態様については、空間方向の規制、時間方向の規制、データ表示ビット数による規制がある。これらの詳細な説明については、特許第２８５３７２７号公報に記載されているので省略する。

また、映像がステレオ映像である場合においては、目の輻輳運動と調節運動の不一致（輻輳調節矛盾）を緩和するために、規制レベルに応じて、映像の奥行き再生量を制限するように構成するのがよい。例えば、同図に示すように、レベルＡでは奥行き圧縮のない、フルサイズの映像をそのまま再生し、Ｂ以下では、奥行き量を圧縮するように再生させる。そして、最も規制の厳しいＥでは、奥行き情報をすべて捨象して、２次元画像を表示させる。

次に、図１に示した表示態様決定器１３が行う処理について、図８のフローチャートと共に説明する。まず、情報分離化器１１からの信号入力待ちの状態となり（ステップＳ１００）、情報分離化器１１から多重化されたデジタル映像コンテンツａに含まれる視聴制限情報ｃが入力されると（ステップＳ１０１）、観察者情報入力器１２からの信号の入力を待機する（ステップＳ１０２）。この状態は、ステップＳ１０３の条件分岐において、観察者すべての個人情報ｄと位置情報ｅとが入力されるまで続けられる（ステップＳ１０３のＮｏ）。

なお、入力された個人情報ｄ及び位置情報ｅは、表示態様決定器１３が有する図示しない記憶装置（ＲＡＭ）に記憶される。そして、観察者の全員（Ｎ人とする）の個人情報ｄと位置情報ｅとが入力されると（ステップＳ１０３におけるＹｅｓ）、表示態様決定器１３が有する図示しない記憶装置（ＲＡＭ）に変数ｎの領域が確保され、変数ｎの値が１に初期化される（ステップＳ１０４）。変数ｎの初期化が終了すると、まずｎ＝１番目の観察者の表示態様の決定処理が行われる（ステップＳ１０５）。表示態様の決定処理は、位置情報ｅ及び個人情報ｄ並びに視聴制限情報ｃの３つの変数の３次元マトリックス演算により行う。処理の詳細は、特許第２８５３７２７号公報に記載された２次元マトリックス演算を３次元に拡張したものであるので、別段説明を要しないであろう。

ｎ番目の観察者の表示態様が決定されると、変数ｎの値が１だけカウントアップされる（ステップＳ１０６）。続いて、観察者全員の表示態様決定処理が終了したかどうかを判定する（ステップＳ１０７）。終了していない場合には、ステップＳ１０５に戻り、次の観察者の表示態様決定処理を行う。最後に、観察者全員の処理が終了した場合には（ステップＳ１０７におけるＹｅｓ）、表示態様の決定の処理を終了する。

これにより、例えば、４歳〜１２歳の子供は個人情報が図１０から「４」であり、また、視聴制限情報は図１２から「すべて制限」を示す「５」に設定した場合は、図６に示すように、位置情報に関係なく、可視グレード（表示態様）はＥ、すなわち図１３に示したように最も規制の強い画像表示が行われる。また、４歳〜１２歳の子供であっても、コンテンツの内容によっては視聴制限情報を図１２の「４」に設定した場合は、図６に示すように、位置情報に関係なく可視グレードはＤであり、これにより図１３に示したように、比較的規制の厳しい画像表示が行われる。

次に、図１において説明した画像表示手段１６と局所的映像情報出力手段１７の具体例について説明する。図１４は、画像表示手段１６と局所的映像情報出力手段１７の一例を示す。同図において、フラットディスプレイ１６１は上記の画像表示手段１６の一例であり、その表面に、局所的映像情報出力手段１７の一例としてのレンチキュラーレンズ１７１が配置されている。第１の視線方向へはフラットディスプレイ１６１のディスプレイ面１の画像を、第２の視線方向へはディスプレイ面２の画像を表示するものである。このディスプレイ表示をするには図示せぬフラットディスプレイ駆動回路が必要である。

図１５は、画像表示手段１６と局所的映像情報出力手段１７の他の例を示す。この例は、２つの視線方向へ異なった画像を表示する方法としてパララックスバリア方式を用いている。パララックスバリアは液晶によって実現することができる。これは２枚の液晶パネルを積層するもので、図１５に示すように、一方の液晶パネル１７２は、開口部１７２ａと遮蔽部１７２ｂとが交互に形成された、すなわち、細かいスリット上の開口部１７２ａを有し、その裏側に画像を表示する液晶パネル１６２とバックライト１６３とが設けられている。

液晶パネル１６２は、適当な間隔を置いて左右２眼分の画像を交互に配置し、所定の視点から液晶パネル１７２の開口部１７２ａを通してみた場合に２つの異なった画像に分離できるものである。このディスプレイ表示をするにも同様に図示せぬフラットディスプレイ駆動回路、及び、この視線方向へ異なった画像表示をするときと、しないとき、で切り替えるステップや回路を備えて、液晶パネル１７２による液晶スリットバリアをスリット化するか、しないかを切り替える操作が必要である。

図１６は本発明になる複数視点映像表示装置の第２の実施の形態のブロック図を示す。同図中、図１及び図１４と同一構成部分には同一符号を付してある。図１６において、光ディスクなどの記録媒体２１に記録されているデジタル映像コンテンツ情報（音響情報含む）が、再生器２２により公知の方法で再生された後、情報分離化器１１に入力され、ここで映像情報、音響情報及び視聴制限情報に分離される。これらの情報の記録媒体２１の記録時の多重化や情報分離化器１１での分離は、例えばＭＰＥＧ２規格の多重化システム方式を用いて実現する。

多重化はＭＰＥＧシステムレイヤーの同期方式でプログラムストリーム方式を用いてエレメンタリー毎にパック化し、表示時の同期をとれるようにプレゼンテーションタイムスタンプを打ちながら多重化する。タイムスタンプは図示せぬタイムスタンプ発生器から２７ＭＨｚまたは９０ｋＨｚのカウンタ情報が使用され、図示せぬ情報多重化器に入力される。この仕組みはＭＰＥＧ多重化の規格を用いれば可能であるので詳細な説明は省略する。

多重化されているストリームデータは、例えばＤＶＤやＤ−ＶＨＳなどのパッケージメディアフォーマット化されて、後述するＤＶＤやＤ−ＶＨＳの規格に準拠した形式で、所定の記録器によって記録媒体２１に記録されている。情報分離化器１１で分離された映像情報はビデオ復号器２３に供給され、分離された音響情報はオーディオ復号器２４に供給され、分離された視聴制限情報は表示態様決定器１３に供給される。

ビデオ復号器２３、オーディオ復号器２４ではビデオ信号とオーディオ信号が復号され、それぞれ、映像ＣＨ（チャンネル）分離器２５及び音響ＣＨ分離器２６に供給される。映像ＣＨ分離器２５及び音響ＣＨ分離器２６は入力される復号されたビデオ信号や復号されたオーディオ信号から、ＭＰＥＧの例えばStream_idという識別子を用いて、識別されているチャンネルＩＤを識別して、視線ごとに映像データを識別する。

Stream_idはＭＰＥＧ２規格ではＰＥＳ（パケッタイズドエレメンタリストリーム）パケットというチャンネル毎の要素圧縮データをパケット化したヘッダ情報の中に記述することができる８ビットの情報体である。これによって、ビデオやオーディオの識別、ＣＨの識別をすることができる。映像ＣＨ分離器２５からＣＨ毎に分離されて出力されたビデオデータは、フラットディスプレイ１６１に入力され、図１４で説明したように、レンチキュラーレンズ１７１を通して２つの視線方向へ画像として表示される。

一方、音響ＣＨ分離器２６においてＣＨ毎に分離されて出力されたオーディオデータは、局在音場発生器２７に伝送される。局在音場発生器２７では、第ｎの視線方向に局在化させるオーディオデータに関しては、空間上の焦点付近の音圧を局所的に上昇させるように、スピーカアレイ２８の中心から焦点までの経路と、各スピーカから焦点までの経路との差に応じた遅延量を与えた表示信号をスピーカアレイ２８に伝送する。スピーカアレイ２８はアレイ状に複数のスピーカが組まれていて、一つ一つに遅延回路を聴取位置近傍に焦点を結ぶように遅延値を設定し、聴取位置においてスピーカからの直接音よりも、第１の視線方向に局在化させるオーディオ表示音の発生する音圧成分が極めて高くなるように表示する。

第２の視線方向に局在化させるオーディオデータに関しては、空間上の焦点付近の音圧を局所的に上昇させるようにスピーカアレイ２８の中心から焦点までの経路と、各スピーカから焦点までの経路との差に応じた遅延量を与えた表示信号を、同様にスピーカアレイ２８に伝送する。聴取位置においてスピーカからの直接音よりも、第ｎ＋１の視線方向に局在化させるオーディオ表示音の発生する音圧成分が極めて高くなるように表示する。スピーカにｎ個の局在音場を発生させるために、２つの音信号を伝送する場合には、各スピーカはｎ個の音信号を加算し、ダイナミックレンジを超えない程度のゲインコントロールを行って出力すればよい。

次に、本発明になる複数視点映像表示方法の第２の実施の形態について、図１７のフローチャートと共に説明する。この複数視点映像表示方法は、コンピュータプログラムによりコンピュータにより実現される。まず、記録媒体もしくは伝送路から、ＭＰＥＧ多重化された映像音響データ及び視聴制限情報を所定の単位で読み取り再生する（ステップＳ２０１）。次に、再生したＭＰＥＧ多重化されている映像音響データと視聴制限情報とを分離化する（ステップＳ２０２）。続いて、視聴者からの観察者情報の入力があったかどうか判定し（ステップＳ２０３）、観察者情報の入力があった場合にのみ、再生態様を決定する（ステップＳ２０４）。

観察者情報の入力が無い場合、又はステップＳ２０４で再生態様を決定した場合には、映像音響データを復号化する（ステップＳ２０５）。続いて、復号した映像データと音響データを視線毎のＣＨに分離する（ステップＳ２０６）。続いて、視線毎の映像データを画像表示手段及び局所的映像情報出力手段から出力し、音響データを局所音場発生用のスピーカ（若しくは超指向性のスピーカやヘッドホン、イヤホン）で出力する（ステップＳ２０７）。

そして、すべての映像データ及び音響データがあるかどうか判定し（ステップＳ２０８）、まだ再生されるべき映像データや音響データがあるときにはステップＳ２０１に戻り、上記と同様の動作を繰り返し、すべての映像データ及び音響データの再生が終了した時にはこのプログラムを終了する。

なお、上記の実施の形態では、情報を記録媒体２１から再生するように説明したが、通信や放送特有のパケットかがなされているパケット情報を受信して、通信特有フォーマットであるパケット解除を行って放送や通信網から受信表示することも容易である。

また、本実施の形態では、視線方向によって異なる画像を表示する方式として、レンチキュラーレンズ方式について説明したが、液晶パララックスバリア方式、偏光フィルタ方式、インテグラルフォトグラフィー、超多眼方式など、視差を標本化するタイプの立体映像表示技術などはどれでも応用できるものであり、異なる映像を知覚できる方式であればなんであってもよい。

また音像位置制御方式は、音像定位制御方式としてアレイスピーカ方式で説明したが、仮想音場空間を実現できる方式、例えばバイノーラル・トランスオーラル方式であっても、Kirchhoff-Helmhotz徴分方程式に代表される波動音響理論を用いた音場制御法を用いる方式であってもよい。

また、記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また表示装置は受信装置として使用することも可能である。

また、記録媒体は、媒体という定義はデータを記録できる媒体という、狭義な媒体というものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での、電子ファイルなどのデータ自身を含むものとする。

次に、本発明になる複数視点映像表示装置の第３の実施の形態について説明する。図１８は本発明になる複数視点映像表示装置の第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態は、複数の観察者の位置と個人情報を認識させ、それぞれに個別最適な映像の再生プロテクトレベルを決定すると共に、音響をリンクさせることにより、各々の再生モードで個別に局所的な映像音響を再生する装置である。

図１８において、符号化されたデジタル信号による映像及び音響情報の内容であるデジタル映像音響コンテンツｊが情報分離化器１１に入力される。デジタル映像音響コンテンツｊは、映像音響情報ｋと、その映像音響情報ｋの読み取りを制限する視聴制限情報ｃとが多重化された形で構成されている。例えば、ＤＶＤ（Digital Versatile Disc）などの光ディスクに記録されたデジタル映像音響コンテンツｊとしての映画は、すべての映像音響情報ｋと共に、それらの情報の一部を選択的に再生する視聴制限情報ｃとして年齢規制に関わるパレンタルロック情報や地域規制に関わるリージョンコード等が記録されている。

もちろん、本実施の形態においては、デジタル映像音響コンテンツｊは、光ディスク等のような情報記録媒体に記録されたコンテンツに限定されるものではなく、Ｗｅｂサーバー上の情報を情報端末の記憶媒体に通信回線によりダウンロードするようなコンテンツや、あるいはＷｅｂサーバー上に保管されてストリーミング配信により供給されるコンテンツによっても同様に実施可能であることはいうまでもない。

情報分離化器１１は、上述したデジタル映像音響コンテンツｊに含まれる多重化された情報を分離する機能を有するものであり、具体的にはデジタル信号処理回路においてよく知られたデマルチプレックスのことである。同図に示すように、情報分離化器１１は、多重化されたデジタル映像音響コンテンツｊを映像音響情報ｋと視聴制限情報ｃとに分離し、分離した映像音響情報ｋを復号化器１８に入力し、分離した視聴制限情報ｃを表示態様決定器１３に入力する。

復号化器１８は、表示態様制御信号発生器１４からの表示態様制御信号ｆに基づいて、映像音響情報ｋを観察者毎に異なる再生許可度合をもつ表示態様で、映像情報と音響情報とに復号化する。復号化された映像情報は画像表示手段１６に供給され、更にこれより局所的映像情報出力手段１７により複数視点映像情報ｇ１〜ｇｎとされて出力される。

一方、復号化された音響情報は移相器１９により映像情報の遅延時間に対応して移相された後、局所的音響情報出力手段２０に供給され、これより複数の視点１〜ｎの観察者に対する視点毎の音響情報ｈ１〜ｈｎとして出力される。なお、局所的音響情報出力手段２０は、二以上の音響情報出力手段を用いて複数の観察者の各々に対して個別に音響情報を出力する。これにより、本実施の形態では、各々視点の異なる複数の観察者は、各視点に対応した画像を見ることができると共に、各視点に対応した音響を聴取することができる。

なお、本発明は以上の実施の形態をコンピュータにより実行させるコンピュータプログラムも含むものである。この場合、コンピュータプログラムは、記録媒体に記録して表示装置に取り込んでもよいし、通信ネットワークを介して表示装置の記憶部にダウンロードするようにしてもよい。

なお、本発明は上に例示した具体的な実施形態を可能ならしめる以下の抽象的な技術的思想を包含するものである。すなわち、本発明は、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を同時に表示させる複数視点映像表示方法において、前記観察者の各々の観察者情報及び該観察者の視点位置に対応する前記局所的映像情報の映像コンテンツによって、前記観察者の各々に適した前記局所的映像情報の表示態様を個別的に決定し、当該表示態様にて前記観察者の各々に対して最適化された個別的な前記局所的映像情報を表示することを特徴とする複数視点映像表示方法を提供する。

また、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の観察者の視聴点の各々に対して互いに異なる局所的映像情報とそれに対応する局所的音響情報とを同時に表示させる複数視聴点映像音響表示方法において、前記観察者の各々の観察者情報及び該観察者の視聴点位置に対応する前記局所的映像情報の映像コンテンツ並びに前記局所的音響情報の音響コンテンツによって、前記観察者の各々に適した前記局所的映像情報及び局所的音響情報の表示態様を個別的に決定し、当該表示態様にて前記観察者の各々に対して個別的な前記局所的映像情報及び局所的音響情報を表示することを特徴とする複数視聴点映像音響表示方法を提供する。

また、本発明は、前記局所的映像情報及び前記局所的音響情報の表示態様が、前記表示プロテクト情報を含むシーンの部分的表示、当該シーン直前のシーンのスチル表示、若しくは予め設定された安全なシーンの表示、又は非表示の少なくともいずれか一を含むことを特徴とする複数視聴点映像音響表示方法を提供する。

また、本発明は、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を同時に表示させる複数視点映像表示装置において、前記観察者の観察者情報を前記視点の位置とともに検出する観察者情報検出手段と、当該観察者に対応する前記局所的映像情報の映像コンテンツを読み取る映像コンテンツ読取手段と、前記観察者情報と前記映像コンテンツとの双方によって、前記観察者の各々に適した前記局所的映像情報の表示態様を個別的に決定する映像表示態様決定手段と、前記映像表示態様にて前記観察者の各々に対して個別的な局所的映像情報を表示する局所的映像情報表示手段とを有することを特徴とする複数視点映像表示装置を提供する。

また、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の観察者の視聴点の各々に対して互いに異なる局所的映像情報とそれに対応する局所的音響情報とを同時に表示させる複数視聴点映像音響表示装置において、前記観察者の各々の観察者情報を該観察者の視聴点位置とともに検出する観察者情報検出手段と、当該観察者に対応する前記局所的映像情報の映像コンテンツ及び局所的音響情報の音響コンテンツを読み取るコンテンツ読取手段と、前記観察者情報及び前記映像コンテンツ並びに前記音響コンテンツによって、前記観察者の各々に適した前記局所的映像情報及び局所的音響情報の表示態様を個別的に決定する表示態様決定手段と、前記表示態様にて前記観察者の各々に対して個別的な局所的映像情報及び局所的音響情報を表示する局所的映像音響情報表示手段と、を有することを特徴とする複数視聴点映像音響表示装置を提供する。

また、本発明はさらに、前記局所的映像情報又は前記局所的音響情報のコンテンツが、前記観察者の年齢に不相応な情報の表示を制限する表示プロテクト情報を含むことを特徴とする複数視聴点映像音響表示装置を提供する。

また、本発明は、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を同時に表示させる複数視点映像表示装置を制御する複数視点映像表示プログラムにおいて、前記観察者の観察者情報を検出する観察者情報検出手段により前記視点の位置とともに検出された観察者情報を読み取るステップと、該観察者に対応する前記局所的映像情報の映像コンテンツを読み取るステップと、前記観察者情報と前記映像コンテンツとを比較することにより、前記局所的映像情報の表示態様を蓄積した表示態様データベースから前記観察者の各々に適した表示態様を抽出するステップと、抽出された前記表示態様において前記観察者の各々に対する局所的映像情報の表示を行うことを制御するステップと、を有することを特徴とする複数視点映像表示プログラムを提供する。

また、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の観察者の視聴点の各々に対して互いに異なる局所的映像情報とそれに対応する局所的音響情報とを表示させる複数視点映像音響表示装置を制御する複数視聴点映像音響表示プログラムにおいて、前記観察者の観察者情報を検出する観察者情報検出手段により前記視聴点の位置とともに検出された観察者情報を読み取るステップと、該観察者に対応する前記局所的映像情報の映像コンテンツ及び前記局所的音響情報の音響コンテンツを読み取るステップと、読み取られた観察者情報と前記映像コンテンツと前記音響コンテンツとを比較することにより、前記局所的映像情報及び前記局所的音響情報の表示態様を蓄積した表示態様データベースから前記観察者の各々に適した表示態様を抽出するステップと、抽出された前記表示態様において前記観察者の各々に対する前記局所的映像情報及び前記局所的音響情報の表示を行うことを制御するステップと、を有することを特徴とする複数視聴点映像音響表示プログラムを提供する。

また、本発明は、前記局所的映像情報が局所的映像情報であって、シーンを構成するオブジェクトの３次元情報から空間上に表示すべき奥行き範囲を算出し、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する機能をさらに有することを特徴とする複数視点映像表示方法を提供する。

また、本発明は、前記局所的映像情報及び局所的音響情報が各々局所的映像情報及び局所的立体音響情報であって、シーンを構成するオブジェクトの３次元情報から空間上に表示すべき奥行き範囲を算出し、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する機能をさらに有することを特徴とする複数視点映像音響表示方法を提供する。

また、本発明は、前記局所的映像情報が局所的映像情報であって、シーンを構成するオブジェクトの３次元情報から、空間上に表示すべき奥行き範囲を算出する手段と、視覚機能の異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する手段をさらに有することを特徴とする複数視点映像表示装置を提供する。

また、本発明は、前記局所的映像情報及び局所的音響情報が各々局所的映像情報及び局所的立体音響情報であって、シーンを構成するオブジェクトの３次元情報から、空間上に表示すべき奥行き範囲を算出する手段と、視覚機能の異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する手段とをさらに有することを特徴とする複数視点映像表示装置を提供する。

また、本発明は、前記局所的映像情報が局所的映像情報であって、シーンを構成するオブジェクトの３次元情報から空間上に表示すべき奥行き範囲を算出するステップと、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示するステップとをさらに有することを特徴とする複数視点映像表示方法を提供する。

また、本発明は、前記局所的映像情報及び局所的音響情報が各々局所的映像情報及び局所的立体音響情報であって、シーンを構成するオブジェクトの３次元情報から空間上に表示すべき奥行き範囲を算出するステップと、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを算出するステップとをさらに有することを特徴とする複数視点映像音響表示方法を提供する。

ここで、前記観察者情報は、前記観察者の身長、年齢その他個人情報を含むことを特徴とする。また、前記映像コンテンツは、前記観察者の年齢に不相応な情報の表示を制限する表示プロテクト情報を含むことを特徴とする。また、前記局所的映像情報の表示態様は、前記表示プロテクト情報を含むシーンの部分的表示、当該シーン直前のシーンのスチル表示、若しくは予め設定された安全なシーンの表示、又は非表示の少なくともいずれか一を含むことを特徴とする。

本発明の複数視点映像表示装置の第１の実施の形態のブロック図である。図１の表示態様決定器に入力される個人情報、位置情報及び視聴制限情報の関係を示す概念図である。図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その１）である。図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その２）である。図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その３）である。図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その４）である。図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その５）である。図１中の表示態様決定器が行う処理説明用フローチャートである。個人情報設定メニュー画面の一例を示す図である。図３〜図７のテーブルの個人情報の具体例を示す図である。図３〜図７のテーブルの位置情報の具体例を示す図である。図３〜図７のテーブルの視聴制限情報の具体例を示す図である。図３〜図７のテーブルの可視グレードの具体例を示す図である。図１中の画像表示手段と局所的映像情報出力手段の具体的な一例を示す図である。図１中の画像表示手段と局所的映像情報出力手段の具体的な他の例を示す図である。本発明の複数視点映像表示装置の第２の実施の形態のブロック図である。複数視点映像表示方法の第２の実施の形態のフローチャートである。本発明の複数視点映像表示装置の第３の実施の形態のブロック図である。従来の多重映像表示装置の一例の構成図である。

符号の説明

１１情報分離化器
１２観察者情報入力器
１３表示態様決定器
１４表示態様制御信号発生器
１５、１８復号化器
１６画像表示手段
１７局所的映像情報出力手段
１９移相器
２０局所的音響情報出力手段
２１記録媒体
２２再生器
２３ビデオ復号器
２４オーディオ復号器
２５映像ＣＨ分離器
２６音響ＣＨ分離器
２７局在音場発生器
２８スピーカアレイ
１６１フラットディスプレイ
１６２レンチキュラーレンズ

Claims

少なくとも一の映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる映像情報を表示し、更に、二以上の音響情報出力手段を用いて前記複数の観察者の各々に対して個別に音響情報を出力することが可能な複数視点映像表示方法において、
入力された前記複数の観察者の各々についての位置情報及び観察者の年齢又は国籍又は視力情報のうち少なくとも一つを含む個人情報を記憶する第１のステップと、
入力された映像情報又は音響情報に予め付与された視聴制限情報と、入力された前記個人情報とを組み合わせて、映像情報入力時には前記複数の観察者の各々に個別的に前記映像情報の表示態様を決定し、映像情報及び音響情報入力時には前記複数の観察者の各々に個別的に前記映像情報及び音響情報の表示態様を決定する第２のステップと、
前記位置情報を有する前記観察者の各々が、前記一の映像情報表示手段及び／又は前記二以上の音響情報出力手段にて前記第２のステップで決定された表示態様により前記映像情報又は前記音響情報を視聴できるように、前記映像情報又は前記音響情報を局所的に出力する第３のステップと
を含むことを特徴とする複数視点映像表示方法。
少なくとも一の映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる映像情報を表示し、更に、二以上の音響情報出力手段を用いて前記複数の観察者の各々に対して個別に音響情報を出力することが可能な複数視点映像表示装置において、
前記複数の観察者の各々についての位置情報及び観察者の年齢又は国籍又は視力情報のうち少なくとも一つを含む個人情報を入力する情報入力手段と、
入力された映像情報又は音響情報に予め付与された視聴制限情報と、入力された前記個人情報とを組み合わせて、映像情報入力時には前記複数の観察者の各々に個別的に前記映像情報の表示態様を決定し、映像情報及び音響情報入力時には前記複数の観察者の各々に個別的に前記映像情報及び音響情報の表示態様を決定する表示態様決定手段と、
前記位置情報を有する前記観察者の各々が、前記一の映像情報表示手段又は前記二以上の音響情報出力手段にて前記表示態様決定手段で決定された表示態様により前記映像情報又は前記音響情報を視聴できるように、前記映像情報又は前記音響情報を局所的に出力する局所的情報出力手段と
を有することを特徴とする複数視点映像表示装置。
少なくとも一の映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる映像情報を表示し、更に、二以上の音響情報出力手段を用いて前記複数の観察者の各々に対して個別に音響情報を出力することが可能な複数視点映像表示方法をコンピュータに実行させる複数視点映像表示プログラムにおいて、
前記コンピュータに、
入力された前記複数の観察者の各々についての位置情報及び観察者の年齢又は国籍又は視力情報のうち少なくとも一つを含む個人情報をリンクして記憶する第１のステップと、
入力された映像情報又は音響情報に予め付与された視聴制限情報と、入力された前記個人情報とを組み合わせて、映像情報入力時には前記複数の観察者の各々に個別的に前記映像情報の表示態様を決定し、映像情報及び音響情報入力時には前記複数の観察者の各々に個別的に前記映像情報及び音響情報の表示態様を決定する第２のステップと、
前記位置情報を有する前記観察者の各々が、前記一の映像情報表示手段又は前記二以上の音響情報出力手段にて前記第２のステップで決定された表示態様により前記映像情報又は前記音響情報を視聴できるように、前記映像情報又は前記音響情報を局所的に出力する第３のステップと
を実行させることを特徴とする複数視点映像表示プログラム。