JP2006262191A - 複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラム - Google Patents

Abstract

【課題】 裸眼立体ディスプレイに対しては、観察者がセンサを身につけることなく生体反応を検出することは容易ではない。超多眼ディスプレイにおいても、視聴する位置によって超多眼状態から外れて、目の調節機能の働かない多眼状態で視聴する可能性がある。
【解決手段】情報分離化器１１で分離された映像情報ｂは、復号化器１５で観察者毎に異なる再生許可度合をもつ表示態様で復号化され、画像表示手段１６を用いて表示され、更に局所的立体映像情報出力手段１７を通して異なる位置から観察する複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示する。このとき、個人情報ｄ及び視聴制限情報ｃに基づき、複数の観察者個々に適した立体映像情報の表示ができる。これにより、大人が子供の目の安全性を気にかけることなく立体映像コンテンツを子供と一緒に楽しむことができる。
【選択図】 図１

Description

本発明は複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラムに係り、特に１台の立体映像表示装置を使用して、複数の観察者が互いに異なる立体映像情報を観察することができる立体映像表示装置を好適に実現する複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラムに関する。

３次元ディスプレイ（立体映像ディスプレイ）の実用化を目指して、これまで様々な方式が提案されている。それらの方式は、（１）被写体からの視差情報（光の強度と向きの情報）を標本化する方式（２眼式、多眼式、インテグラル・フォトグラフィ（ＩＰ）等）、（２）被写体の奥行き情報（被写体の体積要素の３次元位置情報と輝度情報）を標本化する方式（移動スクリーン方式、ＤＦＤ方式等）、（３）被写体からの光波情報（光の強度と位相の情報）を標本化する方式（ホログラフィ、ＣＧＨ等）の３つのカテゴリーに大別される（例えば、非特許文献１参照）。

上記のカテゴリーに属する２眼式は、特殊な眼鏡を使用することなく立体映像を観察する方式であり、これには様々な方式が存在するが、現在実用化されている方式として、ステレオグラムが知られている。ステレオグラムは、立体形状の被写体の表面から四方八方に散乱される無数の光線のうち、被写体の観察者の右目及び左目の各々の瞳に入射する２種類の光線群のみを取り出す（標本化する）ことにより視差画像を取得した後に、その画像をディスプレイなどの平面上に表示したものである。

このディスプレイに表示された２種類の視差画像からの光線群は、ディスプレイを観察する観察者の右目及び左目のそれぞれの瞳に入射するように光線の向きが制御される。かかる光線制御手段として屈折光学素子又は開口光学素子等があり、前者を利用した方式としてはレンチキュラーレンズ方式、そして後者を利用した方式としてパララックスバリア方式があることはよく知られている。

さて、上に述べたレンチキュラーレンズ方式やパララックスバリア方式その他のステレオグラムによる立体映像は、目の焦点が視差画像の発光面たるディスプレイ面上にあるにもかかわらず、脳内ではディスプレイ面よりも手前あるいは奥に存在するように認識されるという性質を有する。この性質は、立体視をする際に互いに内向きに向かう両眼の視線方向のベクトルが交差する点（輻輳点）と眼の水晶体のピント調節による焦点とが一致しないことにより起こるものである。

かかる輻輳と調節の不一致は、日常生活における立体視とは全く異なる視覚状態を強要するものであるため、観察者に対して目の疲労感や、不快感などの生体影響をもたらすことが知られている（例えば、非特許文献２参照）。この非特許文献２には、え目が疲れない自然な立体映像ディスプレイが実用化される時期は数十年以上先になると予想されること、そして当面は目の調節機能が働かない立体映像表示であるステレオグラムを使用せざるを得ない状況であること、さらに自然界の立体物を視覚する場合とは異なる特殊な視覚形態を強要するステレオグラムが人体に対して様々な生体影響を及ぼすこと等が記載されている。

このような従来の立体映像ディスプレイにおける輻輳調節矛盾による生体影響を緩和するために、輻輳点と調節点との距離が過度に大きくならないように表示させることが試みられている（例えば、特許文献１参照）。すなわち、この特許文献１には、映像による視覚的な刺激による生体反応を取得して、それをトリガー信号として画面の操作や観察装置の制御を行う技術が開示されている。この技術を応用すれば、観察者の眼球運動をモニターしながら、輻輳と調節の矛盾量が一定のレベルを超えないように表示内容を制御することができる。

また、（１）のカテゴリーに属する他の立体映像表示方式としてＩＰがある。このＩＰは、視覚負担のない３次元画像を再生可能な方式として約１００年前より知られた写真技術であり、医療用写真として応用されてきたが（例えば、特許文献２参照）、近年は電子化することにより自然な３次元ディスプレイとしての応用が期待されている。しかし、かかる電子化されたＩＰは、現在の表示素子の解像度が、写真フィルムのそれよりも２桁程度低いために、未だ実用レベルの３次元映像を表示する段階に至っていない。しかも、表示素子の高精細化は半導体プロセス技術の進歩に依存するため、２桁の微細化にはまだしばらく時間を要することが予想される。そこで、現在のＩＰの研究開発の主流は、電子化されたＩＰそのものの研究ではなく、現在の解像度と同程度の表示素子を用いながらも実用的なアプリケーションに使用できる新たな方式の研究開発へと移行しつつある。

このような研究開発の一つとして、「超多眼」の概念を用いた立体映像ディスプレイが知られている。これは、従来の多眼式映像ディスプレイにおける視点画像の間隔を小さくしていき、その間隔が単眼の瞳孔に複数の視点画像が入射する状態（超多眼状態）で立体表示を行うものである。この方式によれば、単眼視差効果により水晶体の調節運動を誘起することができるため、目の疲れの主要因である輻輳と調節の不一致による視覚負担の問題を解決する画期的な概念と考えられている。

その詳細は、通信・放送機構が平成４年から平成９年に行った高度立体動画像通信プロジェクトの最終成果報告書に開示されている（例えば、非特許文献３参照）。また、立体映像に伴う音に関する技術として、複数のスピーカを用いて空間上に音場を定位させることにより、聞く位置によって異なる音を提示させることができる立体音響技術が知られている（例えば、非特許文献４参照）。

ＮＨＫ放送技術研究所,「３次元映像の基礎」,オーム社，１９９５年 財団法人機械システム振興協会,「３次元映像に関するガイドライン試案」,社団法人電子情報技術産業協会，平成１４年７月 通信・放送機構,「高度立体動画像通信プロジェクト 最終成果報告書」,１７９頁〜１９２頁,平成９年９月 イエンスブラウエルト，「空間音響」，鹿島出版会，１９８５年 特開２００３−１５７１３６号公報 特許第１８９７５３２号公報

しかしながら、特許文献１に開示された立体映像表示装置では、ヘッドマウントディスプレイなどの眼鏡を着用する立体ディスプレイに対しては有効に機能するものと考えられるが、眼鏡を使用しない裸眼立体ディスプレイに対しては、観察者がセンサを身につけることなく生体反応を検出することは容易ではないという課題がある。また、たとえ何らかの方法で観察者の生体反応を検出したとしても、裸眼立体ディスプレイにおいては、観察者以外の人間の目に触れる可能性があるという性質上、以下の課題がある。

それは、ある観察者に適合するように立体映像を表示させたとしても、その観察者付近の別の観察者にとっては適合しないことがあり得るということである。例えば、家庭のリビングで親と子が一緒に立体映像を鑑賞するような状況を考えてみる。かかる状況では、親にとっては適度な飛び出し量であっても、子にとっては飛び出し量が大きすぎて著しい疲労を伴ったり、あるいは逆に、子にとっては適度な飛び出し量であっても、親にとっては飛び出し量が小さすぎて物足りなかったり、ということが起こり得るのである。とりわけ、子が小学生以下である場合には、目の正常な発育に対する深刻な影響が懸念されているため、親は子が不用意に飛び出し量の大きいシーンを見てしまうことがないように最大の注意を払わなければならない。

一方、ＩＰは将来的には立体像に対して目の調節機能が働く理想的な方式である。しかしながら、現時点における電子デバイスを用いた場合には、解像度が低いという課題だけでなく、目の調節機能が必ずしも働くとは限らないという重大な課題を有する。後で詳しく述べるように、超多眼の概念によれば、ＩＰにおいて目に入射する光線の数が少ない場合には、図２９に示すような局所的立体画像２１０又は２１１の位置に調節が働くとは限らない。

また、将来的に電子デバイスの解像度が向上して超多眼状態が実現できたとしても、次のような課題もある。それは、かかる超多眼ディスプレイにおいても、実際には視距離によって、目に入射する光線の本数は異なるものであるから、家庭内で複数の視聴者が同時に観察する場合には、視聴する位置によって超多眼状態から外れて、目の調節機能の働かない多眼状態で視聴することも十分に考えられる。従って、理想的な方式と考えられているＩＰにおいても、単に電子デバイスの解像度を上げていくだけでは、子供と大人が安全かつ同時に楽しむことができない場合が起こり得ることになる。

本発明は以上の点に鑑みなされたもので、１台の立体映像表示装置を使用して、複数の観察者が各々に適合する表示態様で個別的に立体映像情報を観察し得る複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラムを提供することを目的とする。

また、本発明の他の目的は、目の疲労を伴う従来の裸眼立体ディスプレイを観察する複数の観察者の中に子供が含まれている場合には、子供に対しては過度な飛び出し量を伴う立体映像コンテンツの表示を規制し、その他の大人に対してはかかる規制のないコンテンツを表示する複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラムを提供することにある。

更に、本発明の他の目的は、ＩＰなどの自然な立体ディスプレイを観察する複数の観察者の中に子供が含まれている場合には、子供に対しては超多眼状態を維持して多眼状態に陥らないように立体映像コンテンツの表示態様を制御するか、または超多眼状態の維持が難しい場合には、ディスプレイの手前に飛び出す映像ではなく背後にあるように表示させるようにする複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラムを提供することにある。

上記の目的を達成するため、第１の発明は、一の立体映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示する複数視点立体映像表示方法において、複数の観察者の位置情報及び個人情報を入力する第１のステップと、立体映像情報の所定の区間毎に予め付与された奥行き情報及び／又は視点間隔情報と個人情報とを組み合わせて、複数の観察者の各々に個別的に局所的立体映像情報の表示態様を決定する第２のステップと、入力された位置情報を有する複数の観察者の各々に対して、第２のステップで決定された表示態様で局所的立体映像情報を出力する第３のステップとを含むことを特徴とする。

また、上記の目的を達成するため、第２の発明は、一の立体映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示する複数視点立体映像表示装置において、複数の観察者の位置情報及び個人情報を入力する情報入力手段と、情報入力手段により入力された個人情報と、立体映像情報の所定の区間毎に予め付与された奥行き情報及び／又は視点間隔情報とを組み合わせて、複数の観察者の各々に個別的に局所的立体映像情報の表示態様を決定する表示態様決定手段と、情報入力手段により入力された位置情報を有する前記複数の観察者の各々に対して、表示態様決定手段で決定された表示態様で局所的立体映像情報を出力する局所的立体映像情報出力手段とを有することを特徴とする。

また、上記の目的を達成するため、第３の発明は、複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示する複数視点立体映像表示装置をコンピュータにより実行させるための複数視点立体映像表示プログラムにおいて、コンピュータに、複数の観察者の位置情報及び個人情報をリンクさせて記憶する第１のステップと、立体映像情報の所定の区間毎に予め付与された奥行き情報及び／又は視点間隔情報と個人情報とを組み合わせて、複数の観察者の各々に個別的に局所的立体映像情報の表示態様を決定する第２のステップと、入力された位置情報を有する複数の観察者の各々に対して、第２のステップで決定された表示態様で局所的立体映像情報を出力する第３のステップとを実行させることを特徴とする。

また、上記の目的を達成するため、本発明は、一の立体映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的立体映像情報を表示する複数視点立体映像表示方法において、視点の位置情報と当該視点を有する観察者の個人情報とをリンクさせて立体映像情報表示手段に入力するステップと、立体映像情報表示手段に入力される立体映像情報の所定の区間毎に予め付与された奥行き情報及び／又は視点間隔情報と個人情報とを組み合わせることにより観察者毎に適切な表示態様を個別的に決定するステップと、表示態様を位置情報に対応させることにより位置情報を有する観察者の各々に対して局所的立体映像情報を表示態様により出力するステップとを含むことを特徴とする。

また、上記の目的を達成するため、本発明は、一の映像表示装置を用いて、複数の観察者の視点の各々に対して互いに異なる局所的立体映像情報を表示させる複数視点立体映像表示方法において、観察者の各々の観察者情報及び当該観察者の視点位置に対応する局所的立体映像情報の立体映像コンテンツの奥行き情報を組み合わせることによって、観察者の各々に適した局所的立体映像情報の表示態様を個別的に決定し、当該表示態様にて観察者の各々に対して同一の立体映像コンテンツを適切な奥行き範囲の局所的映像として表示することを特徴とする。

また、上記の目的を達成するため、本発明は、一の立体映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示する複数視点立体映像表示装置において、観察者の位置情報および個人情報を入力する情報入力手段と、立体映像情報に付与された制御情報及び個人情報により適切な表示態様を決定する表示態様決定手段と、位置情報を有する観察者の各々に対して立体映像情報を表示態様により局所的に出力する局所的立体映像情報出力手段とを有することを特徴とする。

ここで、上記の局所的立体映像情報出力手段は、画像を空間的及び／又は時間的に領域分割して表示させる画像表示手段と、画像からの光線の進行方向を各々の領域毎に観察者の位置情報に基づいて光学的に偏向させる光偏向手段とから構成されることを特徴とする。

また、上記の目的を達成するため、本発明は、一の立体映像情報表示手段を用いて、複数の観察者の各々の視点に応じて互いに異なる局所的立体映像情報を表示させる複数視点立体映像表示装置において、視点の位置情報及び／又は当該観察者の個人情報を入力する情報入力手段と、情報入力手段により入力された情報と立体映像コンテンツに含まれる奥行き情報及び／又は視点間隔情報とに基づいて観察者毎に表示態様を個別的に決定する表示態様決定手段と、表示態様にて局所的立体映像情報を観察者の各々に対して局所的に出力する局所的立体映像情報出力手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明は一の立体映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的立体映像情報を表示させる複数視点立体映像表示装置において、観察者の各々の観察者情報及び当該観察者の視点位置に対応する局所的立体映像情報の立体映像コンテンツの奥行き情報を組み合わせることによって、観察者の各々に適した局所的立体映像の奥行き表現態様を個別的に決定し、決定された奥行き表現態様にて観察者の各々に対して立体映像コンテンツを表示することを特徴とする。

更に、上記の目的を達成するため、本発明は、複数の観察者の視点の各々に対して互いに異なる局所的立体映像情報を表示する立体映像情報表示装置を制御するための複数視点立体映像表示プログラムにおいて、コンピュータに視点の位置情報と当該視点を有する観察者の個人情報とをリンクさせて記憶するステップと、立体映像情報表示手段に入力される立体映像情報の所定の区間毎に含まれる奥行き情報及び／又は視点間隔情報を読み出すステップと、奥行き情報及び／又は視点間隔情報と個人情報とを組み合わせることにより観察者毎に適切な奥行き表現態様を決定するステップと、奥行き表現態様及び／又は視点間隔情報を位置情報に対応させることにより、位置情報を有する観察者の各々に対して局所的立体映像情報を奥行き表現態様により出力するステップとを実行させることを特徴とする。

本発明によれば、一の立体映像情報表示手段を用いて、異なる位置から観察する複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示するに際し、複数の観察者個々に適した立体映像情報の表示ができるようにしたため、大人が子供の目の安全性を気にかけることなく立体映像コンテンツを子供と一緒に楽しむことができ、ひいてはメガネ無し立体ディスプレイ（特に多眼式ステレオグラム）の一般家庭への普及に資するという効果がある。

また本発明によれば、一の立体映像情報表示手段を用いて、異なる位置から観察する複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示するに際し、複数の観察者個々に適した立体映像情報の表示ができるようにしたため、各々の観察者に適した立体映像情報の表示が可能となり、その結果、観察者同士の年齢や視覚能力の違いを気にすることなく立体映像コンテンツを一緒に安心して視聴できるようになり、立体映像鑑賞スタイルのバリアフリー化をもたらすという効果を奏する。

次に、発明を実施するための最良の形態について、図面と共に説明する。図１は本発明になる複数視点立体映像表示装置の第１の実施の形態のブロック図を示す。同図において、まず符号化されたデジタル信号による映像情報の内容であるデジタル立体映像コンテンツａが情報分離化器１１に入力される。

デジタル立体映像コンテンツａは、純粋な映像情報ｂと、その映像情報ｂの読み取りを制限する視聴制限情報ｃとが多重化された形で構成されている。例えば、ＤＶＤ（Digital Versatile Disc）などの光ディスクに記録されたデジタル立体映像コンテンツａとしての映画は、すべての映像情報ｂと共に、それらの情報の一部を選択的に再生する視聴制限情報ｃとして年齢規制に関わるパレンタルロック情報や地域規制に関わるリージョンコード等が記録されている。もちろん、本実施の形態においては、デジタル立体映像コンテンツａは、光ディスク等のような情報記録媒体に記録されたコンテンツに限定されるものではなく、Ｗｅｂサーバー上の情報を情報端末の記憶媒体に通信回線によりダウンロードするようなコンテンツや、あるいはＷｅｂサーバー上に保管されてストリーミング配信により供給されるコンテンツによっても同様に実施可能であることはいうまでもない。

情報分離化器１１は、上述したデジタル立体映像コンテンツａに含まれる多重化された情報を分離する機能を有するものであり、具体的にはデジタル信号処理回路においてよく知られたデマルチプレックスのことである。同図に示すように、情報分離化器１１は、多重化されたデジタル立体映像コンテンツａを映像情報ｂと視聴制限情報ｃとに分離し、分離した映像情報ｂを復号化器１５に入力し、分離した視聴制限情報ｃを表示態様決定器１３に入力する。

一方、この複数視点立体映像表示装置に対するもう一つの入力として、映像を観察する複数の観察者の個人情報ｄと、ディスプレイとの相対的な位置関係に関する情報である位置情報ｅとが、観察者情報入力器１２に入力される。

観察者の個人情報ｄとは、少なくとも観察者の年齢及び／又は国籍及び／又は視力情報を含むものである。観察者の年齢を入力するのは、後述するように、観察者の年齢によって、デジタル立体映像コンテンツａに含まれる性的あるいは暴力的なシーンなどの精神的発育上問題のあるコンテンツをどの程度まで再生するかを決定するためである。これは、一般的なＤＶＤプレーヤに付属し、ディスクの再生前に親が子供の視聴制限の設定を行うことができる、公知のパレンタルロック技術に類似するものである。本実施の形態は、かかる従来技術を年齢層の異なる複数の観察者が互いに異なる再生レベルで同じコンテンツを視聴できるように発展させたところに特徴がある。

また、観察者の年齢を入力させるもう一つの理由として、視聴可能な立体映像の奥行き表現量が異なることが挙げられる。すなわち、前記非特許文献２に記載されているように、視覚の発達段階が子供時代には存在しており、そのような時期に両眼視差、運動視差を利用した擬似的な３次元システムや、過度な奥行き表現量を伴うステレオ立体画像を見ることにより、正常な視覚の成長に影響を及ぼすことがあるため、充分な注意が必要だということである。

例えば、０歳児から１０歳児までの角膜、網膜、両眼立体視、縞視力、電気刺激瞬目反射、視神経、光刺激瞬目反射、調節機能に関して調査した終果を見ると、子供には活発な成長期があることが、各種文献（関谷：「幼児期の発達、視覚の科学」（１９９８）、山本：「視力の発達、神経眼科５」（１９９８）、菅原、他：「幼児視力の読み分け困難から見た弱視の感受性期間の検討、日本眼科紀要」（１９８４）、田淵：「視界の機能的、形態的発達、新臨床眼科全書」（１９９０）、Dobson：「幼児からの小児視力 American Orthopt Journal 35」（１９８５）、山本、関谷：「平成１０年報告者１−３」（１９９８）、関谷、他：「Photic blink reflex in childhood、神経眼科３」（１９８６）、奥田：「視神経の髄鞘形成について日眼会誌」（１９８５）、八子：「調節の発達、眼科ＭＯＯＫ３８」（１９８９）など）から知られている。これらのデータから映像に関して子供への生体影響を考慮した再生システムを考えなければならないことが分かる。

また、観察者の国籍を入力させるのは、後述するように、観察者の国籍によって、デジタル立体映像コンテンツａに含まれる思想あるいは信条的に問題のあるシーンの再生を制限できるようにするためである。これは、光ディスクプレーヤを販売する際に、出荷地域毎に設定される、公知のリージョンコード技術に関連するものである。本実施の形態は、かかる従来技術を国籍の異なる複数の観察者が異なる再生レベルで同じコンテンツを視聴できるように発展させたところに特徴がある。

もちろん、国籍は同じであっても、思想・信条が異なる観察者は多数存在する。従って、個人情報ｄの入力に関する実施にあたっては、国籍だけに止まらず、個人が信仰する信教等を直接入力できるようにすることも考えられる。但し、このように個人の内心に関わる事項を映像視聴にあたって入力させることは予期しない人権問題が生ずるおそれがあるため、本実施の形態を実施するアプリケーションを慎重に検討しなければならない。

多国籍の観察者が映像を観察するようなアプリケーションのうち、本発明を好適に実施可能な例としては、いろいろな国の人が利用する映画館や国際会議場、あるいは国際競技場等に設置された大画面ディスプレイがある。映画については、シナリオ全体にわたって思想・信条的な偏りのある内容のものについては本発明を適用しても無意味であるが、一部のシーンにのみ問題があるような映画については、その部分のみを視聴制限した形の再生が可能となるので本発明が好適に機能しうる。

また、競技場に設置された大画面ディスプレイに応用する場合には、国別に設けられた観客席のエリア毎に位置情報ｅと個人情報ｄをあらかじめ設定しておけばよい。そうすることにより、例えば、大画面ディスプレイに時折映し出される観客の映像のうち、自国の文化では受け入れがたい服装などの精神的苦痛を与える蓋然性の高い映像の一部を、観客に自己の思想・信条に基づく視聴制限の意思表示を強制することなく、特定の観客席のエリアには再生させないように制限することが可能になる。このように、本発明は、アプリケーションを慎重に選択することにより、映像鑑賞のスタイルの国際化を促すという劇的な効果を奏する可能性がある。

また、観察者の視力情報を入力させるのは、左右の視力の不均衡や、老眼、弱視その他の視覚能力により、奥行き表現可能な最大範囲が異なるからである。本発明は、視覚能力の異なる人間同士が同時に立体ディスプレイを楽しむことを可能とするものであり、立体映像鑑賞スタイルのバリアフリー化を促すという効果を奏する可能性をも有する。

さて、これらの個人情報ｄと位置情報ｅを入力するには、図１に示す観察者情報入力器１２を要する。観察者情報入力器１２の実施形態としては、家庭用リビングでは、リモートコントローラ（以下リモコンと略記）が適している。一般家庭に普及しているテレビ用リモコンは、リモコンに内蔵された発光ダイオードから近赤外光をディスプレイの受光部に送信するものであるから、それを操作する人のおおよその位置情報ｅを特定するのに利用することができる。

また、リモコンに付属の一般的なキーを利用して、ディスプレイ（画像表示手段１６）に表示させた図９に例示する個人情報設定メニュー画面において、個人情報ｄを入力させるように構成することは容易である。また、上述した大画面ディスプレイのような屋外で使用するようなアプリケーションにおける観察者情報入力器１２としては、携帯電話機などの携帯用情報端末が適している。

もっとも、映画館や競技場の座席のように、ディスプレイと観察者の相対位置関係が常に一定であるようなアプリケーションにおいては、わざわざ携帯情報端末による入力をさせなくても、座席毎に予め設定（プリセット）しておいてもよい。かかる場合においては、キーボードやマウスなどの一般的な情報入力機器が観察者情報入力器１２の実施形態となる。もちろん、家庭のリビングにおけるディスプレイにおいても、家族の座る位置が大体決まっているような場合には、リモコンで視聴位置毎の個人情報ｄと位置情報ｅとをプリセットしておけば、視聴を開始する前に毎回設定する煩わしさを避けることができる。

次に、図１に示した表示態様決定器１３について説明する。表示態様決定器１３は、情報分離化器１１から出力された視聴制限情報ｃと、観察者情報入力器１２から出力された個人情報ｄ及び位置情報ｅを入力として受け、観察者毎に適した表示態様、すなわち上述したデジタル立体映像コンテンツａを再生する際の制限レベルを決定するものである。表示態様の決定方法の基本的な概念は、本出願人が先に開示した特許第２８５３７２７号公報に記載されているように、再生機側で設定した制限レベルである再生機プロテクトレベルと、媒体側に付与された設定制限レベルである媒体プロテクトレベルとの組み合わせにより、実際に再生する制限レベルである再生プロテクトレベル（表示態様）を決定するものである。

本実施の形態は、上記の再生プロテクト方法の概念を発展させ、同一ディスプレイを同時に観察する観察者毎に異なるプロテクトレベルによる再生を可能とするものである。表示態様の詳細は後述する。

図１において、表示態様決定器１３により、位置情報ｅの異なる複数の観察者の各々の個人情報ｄに基づいて、個別的に再生プロテクトレベルが決定されると、表示態様制御信号発生器１４により、個々の再生プロテクトレベルに対応して、映像情報ｂの再生レベルをコントロールするデジタル信号である表示態様制御信号ｆが生成される。この表示態様制御信号ｆは、情報分離化器１１で分離された映像情報ｂと共に復号化器（デコーダ）１５に入力され、映像情報ｂが、観察者毎に異なる再生許可度合をもつ表示態様で復号化される。

復号化の方法は、映像情報ｂがＭＰＥＧ１により圧縮符号化されている場合には、決定された再生プロテクトレベルに応じて伸張符号化（フーリエ逆変換、逆量子化、可変長復号化）により行う。かかる復号化により、段階的にモザイク状の粗い画像を生成することができる。また、本出願人による特開２０００−４１２３２号公報に開示されているように、映像情報ｂの圧縮符号化がＭＰＥＧ４によりなされている場合には、シーンの中で視聴制限すべき任意形状のオブジェクトのみを該当するオブジェクトをぼかしたり、モザイクにしたり、表示しないなどの制御を行うことが可能であるため、モザイク表示に比べて、観察者に違和感を感じることなく、制限的な再生を行うことが可能である。

このように復号化された信号は、図示しない駆動回路により増幅された後、画像表示手段１６に供給されて個別的に表示される。画像表示手段１６としては、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル（ＰＤＰ）、フィールドエミッションディスプレイ（ＦＥＤ）、有機ＥＬディスプレイ等の直視型ディスプレイや、米国テキサス・インスツルメンツ社のマイクロミラーを利用したＤＬＰ（登録商標）型プロジェクタや、シリコン上に反射型液晶を形成したＬＣＯＳ（Liquid Crystal on Silicon）型プロジェクタなどの投射型ディスプレイなどを用い得る。特に、ＬＣＯＳ型プロジェクタの具体例として、本出願人が製造販売を行っているＤ−ＩＬＡ（登録商標）プロジェクタを利用することができる。

画像表示手段１６の表示態様としては、一般的には、ディスプレイの表示領域を観察者の数だけの領域に分割して表示する方法（空間分割表示）と、空間分割は行わずに時間的に分割して表示させる方法（時間分割表示あるいは時分割表示、あるいはフィールドシーケンシャル表示ともいう）とがある。前者は、視点の数に反比例して解像度が低下するが、画面のちらつき（フリッカ）のない画像が得られる。一方、後者は、各瞬間ではディスプレイの全面を利用して表示するため解像度の低下はないが、視点数に反比例して一視点あたりのリフレッシュレートが低下するので、十分高速な描画速度が確保できない限りフリッカが生じるという問題がある。

本出願の時点においては、上述の空間分割表示および時間分割表示は、高解像度素子と高速駆動回路の製造困難性により、大画面ディスプレイに適用するには性能的に不十分であるという課題がある。ところで、これが長い年月をかけて研究開発が続けられている自然な立体ディスプレイ（３次元ディスプレイ、３Ｄディスプレイともいう）の実用化を妨げている最大の課題であることは立体映像分野の当業者の間ではよく知られた事実である。

現時点のデバイスでは、一般に、左右２種類の視点画像のみを表示させる２眼式ディスプレイでないと、商品として成立するのに十分な解像度あるいは十分なリフレッシュレートの立体映像表示を行うことができないのである。従って、本実施の形態においても、現行の解像度のディスプレイを１台だけ用いて、複数の観察者の各々に適切な表示態様の映像を表示させようとすると、立体映像表示の場合と同様な空間解像度の低下あるいは時間解像度の低下という問題が発生することが容易に想像される。

しかしながら、この問題は以下に述べるように克服することが可能である。その理由は、本発明においては、異なる観察者に対して、全く異なる画像を提示するわけではなく、大部分の画像が同一であることである。つまり、異なるのは、視聴制限されたシーンのオブジェクトのみであり、その他のシーンについては、視点の増加に伴う空間的あるいは時間的解像度の低下が一切生じることがないのである。

例えば、図１において画像表示手段１６の内部に記載された表示態様１、表示態様２、表示態様３、・・・、表示態様ｎのブロックは、ディスプレイを空間的あるいは時間的にｎ分割しなければならないことを意味しない。むしろ、通常のシーンにおいては、各観察者は、ディスプレイの全ての画素からの、最高解像度の映像を視聴することができる。

もちろん、視聴制限されたシーンにおいては、各観察者に対して異なる映像を表示しなければならないため、解像度の低下を避けることは原理的に不可能である。しかし、かかるシーンは、本発明が想定する先に述べたアプリケーションにおいては、空間的または時間的に小さい領域にとどまる蓋然性が高いものであるから、視聴制限されたシーンにおける解像度の低下は実際上問題にならないものと考えられる。

このように、本発明は、各視点の観察者に対して、再生プロテクトされた空間的・時間的領域以外の映像を共通化することにより、カーナビ応用などの複数視点で全く異なる画像を観察しようとするアプリケーションでは避けられない解像度の低下の問題を克服し、ディスプレイが本来有する解像度で快適に視聴することができるという特徴がある。

さて、図１の画像表示手段１６によって上述のように表示された画像からの光は、複数の観察者の各々の眼球の瞳孔内に入射するように、局所的立体映像情報出力手段１７によって、その進行方向を制御される。かかる局所的立体映像情報出力手段１７の具体例としては、立体ディスプレイ用途では一般的な屈折型光学素子（レンチキュラーレンズ、マイクロレンズアレイ）や回折型光学素子（フレネルレンズアレイやホログラフィック光学素子）あるいは開口素子（スリットアレイやピンホールアレイ）がある。

後者は、液晶パネルなどの電子デバイスで構成することができるため、視聴制限されたシーンにのみ開口を形成して、開口を通してのみ見えるようにし、それ以外のシーンではパネル全面を透過させるように制御することにより、先に述べた解像度の劣化のないシーンを表示させることができる。もちろん、屈折型光学素子についても、液晶レンズ等の電子デバイスの研究も進んできており、将来的には、本発明の実施に好適に利用しうるものと考えられる。

また、図１に示す局所的立体映像情報出力手段１７から出力される局所的立体映像ｇ１、ｇ２、・・・、ｇｎは、図２９に示すような位置に観察されるものである。すなわち、図２９に示す画像表示手段１６に表示された視点画像Ｒ１とＬ１からの光線束が、局所的立体映像情報出力手段１７によってその向きを偏向されて視点１の観察者の両眼、すなわち同図に示すＥＬ１とＥＲ１に入射する。そうすると、網膜上の視点画像Ｌ１とＲ１が脳内で１つの像として融像するように、両眼は互いに内向きに回転する輻輳運動を行う。その結果、寄り目状態となった視線の交差する点（輻輳点）に、局所的立体映像２１０として立体映像が観察されることとなる。

かかる状態では、両眼の目のピントは画像表示手段１６上のＲ１及びＬ１に合っている。なぜなら、目のピント調節は、像がより鮮明に見えるようにオートフォーカスを行うものであるが、Ｒ１及びＬ１から発光する光線束は次第に広がるものでるために、局所的立体映像２１０の位置よりも画像表示手段１６上のＲ１またはＬ１の位置の方が、より小さいスポットで鮮明な像を観察できるからである。このようにして、先に述べた輻輳点と調節点の不一致が発生することとなる。自然界における物体を観察する際には、よほど近くのものを見る場合を除いて、輻輳点と調節点は一致する。

ところが、ステレオグラムにおいては、輻輳と調節の不一致が発生し、これが眼精疲労や酔いの原因となっている。従って、この輻輳と調節の矛盾量、すなわち輻輳点（局所的立体映像２１０の位置）と調節点（画像表示手段１６上のＲ１またはＬ１）との距離Ｃ１が、過度に大きくなりすぎないように映像の奥行き表現量を制御するのである。

一方、図２９における視点２に位置する観察者は、画像表示手段１６上に表示された視点画像Ｒ２とＬ２のそれぞれを両眼で観察し、局所的立体映像２１１を観察することとなる。視点２の観察者に対する輻輳調節矛盾量はＣ２であり、上に述べた視点１の観察者の輻輳調節矛盾量Ｃ１よりも小さい。従って、視点２の観察者は視点１の観察者よりも疲労度合が小さいことになる。

これは、例えば、視点１に大人の観察者がおり、視点２に子供の観察者がいる場合に優れた表示形態である。大人は、輻輳調節矛盾量Ｃ１を有する迫力ある局所的立体映像２１０を堪能することができ、同時に子供も輻輳調節矛盾量Ｃ２を有する穏やかな局所的立体映像２１１を堪能することができる。本発明は、かかる具体的実施形態を一般化して、年齢や視覚状態の異なる複数の観察者の同時視聴を可能とするものであり、立体映像鑑賞スタイルのバリアフリー化を促進するものである。

図２は、図１の表示態様決定器１３に入力される３つの信号である、個人情報ｄ、位置情報ｅ及び視聴制限情報ｃの関係を示す概念図である。図２に示すように、これらの３つの情報ｃ〜ｅは、個人情報ｄを内容とする変数ｕ、視聴制限情報ｃを内容とする変数ｖ、位置情報ｅを内容とする変数ｗにより、ｕｖｗ空間を構成する。そして、このような３次元空間における点が、表示態様決定器１３が決定する表示態様を表している。例えば、同図において（ｕ１，ｖ１，ｗ１）と示された点は、ある観察者の個人情報の変数ｕ１、視聴制限情報の変数ｖ１、位置情報の変数ｗ１の値によって決定されることを意味する。

ここで、本出願人の特許発明である特許第２８５３７２７号公報に記載された再生プロテクト方法と比較すると、上記の特許公報に記載された「再生機プロテクトレベル」が本実施の形態の個人情報の変数ｕに対応し、上記の特許公報に記載された「媒体プロテクトレベル」が本実施の形態の視聴制限情報の変数ｖに対応する。従って、単に各々の位置情報を有する観察者に対して、個人情報の変数ｕと視聴制限情報の変数ｖとからなる２次元ｕｖ平面のレイヤーを位置情報の枚数だけ決定すれば足りる場合もあり、そのような場合には、わざわざ３次元ｕｖｗ空間の概念を持ち出すまでもない。

しかし、後述するように、アプリケーションによっては、視聴制限情報の変数ｖと位置情報の変数ｗとが密接に関わり合ったり、あるいは個人情報の変数ｕと位置情報の変数ｗとが密接に関わり合ったりする場合が存在する。そこで、本実施の形態では、個人情報の変数ｕと視聴制限情報の変数ｖと位置情報の変数ｗを３つの独立変数として表示態様決定に利用しうる三次元ｕｖｗ空間の概念を導入したのである。

図３〜図７は、先に述べた三次元ｕｖｗ空間における個人情報の変数ｕと位置情報の変数ｗとから表示態様の決定の仕方の一例を示すテーブルである。同テーブルに示すように、個人情報（テーブル第１行に１〜５と記載）と位置情報（テーブル第１列に１〜５と記載）の組み合わせによって、Ａ〜Ｅまでの表示態様、すなわち、図１３に例示する可視グレードが決定される。

図３〜図７のテーブルにおける個人情報の変数ｕの実施例を図１０に示す。図１０に示すように、個人情報は年齢、性別、国籍、信教、バリアフリーの各々について１〜５までの５段階に分類されている。観察者は、これらの中から必要なものを選択し、先に述べたリモコン等の方法により、観察者情報入力器１２に入力する。何を選択するかについては、例えば家庭で大人と子供が同じ映画を見る場合には、年齢情報を選択すればよい。そうすることにより、子供に対しては精神の発育上問題のあるような暴力的なシーンや、あるいはカメラのフラッシュのような生体影響の懸念される光刺激性のある高速で光が点滅するコンテンツが規制されて表示され、大人に対しては規制のないコンテンツが再生されることとなる。

また、男女が同時に同じコンテンツを視聴するような状況において、男性一般あるいは女性一般にとって不快感をもたらすような情報を表示規制したい場合には、性別情報を選択すればよい。また、国際会議や、国際的な競技場などで、異なる国籍を有する人々が１つのディスプレイから映像を見るような場合には、それぞれの国の文化の違いに基づくコンテンツの規制をかけることができるように国籍情報を選択すればよい。例えば、図１０に示すように、米国、欧州、アジア、中東、中国、そして図示しないオセアニア、アフリカ、南米等の様々な文化の違いに応じて、適切な表示態様でコンテンツを再生させることが可能となる。

さらに、民族や信仰の問題に関わるものであるが、たとえ国籍は同じであっても、思想・信条の異なる場合には、信仰に触れるコンテンツの規制をかけることのできる信教情報を個人情報として入力すればよい。例えば、図１０に示すように、キリスト教、イスラム教、ヒンドゥー教、仏教、儒教、それから図示しない世界中の様々な信教情報を観察者が入力することとすれば、立体映像コンテンツにおける暴力的なシーンや身体の露出のシーンの再生の仕方を個人個人の信教に応じて段階的設定して表示させることが可能となる。

また、観察者間における非障害者と障害者との関係をバリアフリー化する目的で、バリアフリー情報を入力するように構成してもよい。例えば、視覚障害者に対しては、映像の輝度やコントラストを最適化して表示させることができるし、また聴覚障害者に対しては、音の大きさや周波数特性を最適化して再生することができる。かかるバリアフリーの映像音響技術は、個人的鑑賞にとどまるものについては公知技術であるが、本実施の形態では、複数の観察者が同時に視聴する場面に適用したことに特徴がある。

このように、個人情報ｄは、映像を個別的に視聴していた従来の映像鑑賞スタイルに対して、年齢間の障壁、性別間の障壁、障害者と非障害者間の障壁を除去するというバリアフリー化をもたらすと共に、国家間の壁や異なる信教の間の壁を除去するという国際化をもたらすものということができる。

図１１は図３〜図７のテーブルの位置情報の一例を示す。図１１に示すように、ディスプレイと観察者との相対的な位置情報として、視点からディスプレイ（の中心）に向かうベクトルである視線ベクトルとディスプレイ面の法線のなす角度がそれぞれ±２０度以上、±２０度〜１０度、±１０度〜５度、±５度〜０度、０度以上の１〜５段階にレベル分けされている。一般に、ディスプレイの正面から見る確率が最も高いものであるから、ディスプレイ正面である０度の位置が最も規制のレベルの高い「５」にしてある。

また、図１１に示すように、位置情報はディスプレイからの角度のみならず、ディスプレイとの距離、すなわち視線ベクトルの大きさも重要なパラメータとしている。同図に示すように、Ｈをディスプレイの高さとして、１.５Ｈ以上、１.２〜１.５Ｈ、０.８Ｈ〜１.２Ｈ、０.４Ｈ〜０.８Ｈ、０.４Ｈ以下の１〜５段階にレベル分けされている。ディスプレイに最も近い視線ベクトルの大きさ０.４Ｈが視覚に与える影響が大きいため、規制レベルを「５」にしている。

図１２は図３〜図７のテーブルの視聴制限情報の一例を示す。図１２に示すように、視聴制限情報ｃは、暴力的なシーン（残虐行為、殺人、重度障害、軽度障害、すべて制限の５段階）、露出的なシーン（過度な露出、全体的露出、部分的露出、露出的服装、すべて規制の５段階）、信教に係るシーン（過激な表現、穏やかな表現、すべて制限の３段階）、視覚刺激性のあるシーン（高周波の光刺激、中間周波数の光刺激、低周波の光制激、すべて制限の４段階）、ステレオ立体映像（融像限界以上、大きい飛び出し、中程度の飛び出し、小さい飛出し、すべて制限の５段階）のジャンルに分けられている。

必要に応じて、視覚刺激性のあるシーンとして高いコントラストのパターンを含むシーンを加えたり、国家間の文化的な遣いを含むシーンを加えたりしてもよい。これは、立体映像コンテンツの供給側が設定する。かかる技術は、一般的なＷｅｂブラウザの規制オプションとして既に導入されており、技術的に困難な問題は生じないと考えられる。

図１３はかかる具体的な表示態様の一実施の形態を示す。同図に示すように、表示態様Ａが表示規制の度合が最も緩く、すべての立体映像コンテンツを表示させるモードである。そして、表示態様Ｂ〜Ｅでは次第に規制がかかり、表示態様Ｅが表示規制の度合いが最も強い。規制の態様については、空間方向の規制、時間方向の規制、データ表示ビット数による規制がある。これらの詳細な説明については、特許第２８５３７２７号公報に記載されているので省略する。

また、映像がステレオ立体映像である場合においては、目の輻輳運動と調節運動の不一致（輻輳調節矛盾）を緩和するために、表示態様に応じて、立体映像の奥行き再生量を制限するように構成するのがよい。例えば、同図に示すように、表示態様Ａでは奥行き圧縮のない、フルサイズの立体映像をそのまま再生し、表示態様Ｂ〜Ｅでは、奥行き量を圧縮するように再生させる。そして、最も規制の厳しい表示態様Ｅでは、視点間隔情報をすべて捨象して、２次元画像を表示させる。

ところで、特許文献１その他の立体映像に関する文献でよく知られているように、輻輳調節矛盾による目の疲労の影響は、特に水晶体の調節機能が完成する以前の約１０歳以下の子供にとっては、目の発育上、極めて深刻な影響を及ぼすことが懸念されている。かかる健康問題は、今後表示デバイスの解像度が向上すれば、多数の視点画像を表示できるようになるため、目の単眼に複数の視点画像が入射する状態、すなわち、いわゆる超多眼状態となって調節刺激を引き起こすようになるため、デバイス技術の進歩とともに徐々に解決に向かうものと考えられている。

従って、デバイスが進歩するまでは、現在の解像度でステレオ立体視、あるいは不十分な光線数で準超多眼状態の立体視をすることを受忍せざるを得ない。そうすると、子供に見せることができないものであれば、到底家庭に普及させることはできない。そして、このままでは国民の立体映像に対する期待が低下し、次世代の立体映像ディスプレイに対する投資が抑制されることとなり、３Ｄ先進国の日本にとって国家的な損失ともいえる。

本発明は、先に述べたような複数人視聴の際のパレンタルロックに関する課題を解決するのみならず、立体映像表示に関する上記課題をも一気に解決してしまうものである。すなわち、図１３に示すように奥行き圧縮を観察者毎に行うことにより、個人情報（特に年齢情報１〜３）と位置情報とで規定される大人の観察者に対しては、奥行き圧縮をほとんどかけることなく表示させる。そして、子供の観察者に対しては、輻輳調節矛盾量が十分小さくなるように視点間隔情報の圧縮を行って、殆ど飛出し量のない映像を表示させる。こうして、家庭のリビングで大人と子供が同時にコンテンツを楽しむことができるのである。

次に、表示態様決定器１３が行う処理について、図８のフローチャートと共に説明する。まず、情報分離化器１１からの信号入力待ちの状態となり（ステップＳ１００）、情報分離化器１１から多重化されたデジタル立体映像コンテンツａに含まれる視聴制限情報ｃが入力されると（ステップＳ１０１）、観察者情報入力器１２からの信号の入力を待機する（ステップＳ１０２）。この状態は、ステップＳ１０３の条件分岐において、観察者すべての個人情報ｄと位置情報ｅとが入力されるまで続けられる（ステップＳ１０３のＮｏ）。

なお、入力された個人情報ｄ及び位置情報ｅは、表示態様決定器１３が有する図示しない記憶装置（ＲＡＭ）に記憶される。そして、観察者の全員（Ｎ人とする）の個人情報ｄと位置情報ｅとが入力されると（ステップＳ１０３におけるＹｅｓ）、表示態様決定器１３が有する図示しない記憶装置（ＲＡＭ）に変数ｎの領域が確保され、変数ｎの値が１に初期化される（ステップＳ１０４）。変数ｎの初期化が終了すると、まずｎ＝１番目の観察者の表示態様の決定処理が行われる（ステップＳ１０５）。表示態様の決定処理は、位置情報ｅ及び個人情報ｄ並びに視聴制限情報ｃの３つの変数の３次元マトリックス演算により行う。処理の詳細は、特許第２８５３７２７号公報に記載された２次元マトリックス演算を３次元に拡張したものであるので、別段説明を要しないであろう。

ｎ番目の観察者の表示態様が決定されると、変数ｎの値が１だけカウントアップされる（ステップＳ１０６）。続いて、観察者全員の表示態様決定処理が終了したかどうかを判定する（ステップＳ１０７）。終了していない場合には、ステップＳ１０５に戻り、次の観察者の表示態様決定処理を行う。最後に、観察者全員の処理が終了した場合には（ステップＳ１０７におけるＹｅｓ）、表示態様の決定の処理を終了する。

これにより、例えば、４歳〜１２歳の子供は個人情報が図１０から「４」であり、また、視聴制限情報は図１２から「すべて制限」を示す「５」に設定した場合は、図６に示すように、位置情報に関係なく、可視グレード（表示態様）はＥ、すなわち図１３に示したように最も規制の強い立体画像表示が行われる。また、４歳〜１２歳の子供であっても、コンテンツの内容によっては視聴制限情報が図１２の「４」に設定した場合は、図６に示すように、位置情報に関係なく可視グレードはＤであり、図１３に示したように、比較的規制の厳しい立体画像表示が行われる。

次に、本発明の第２の実施の形態について図１４〜図１６と共に説明する。図１４は図１において説明した画像表示手段１６と局所的立体映像情報出力手段１７の具体的な一例を示す。同図において、フラットディスプレイ１６１は上記の画像表示手段の一例であり、その表面に、局所的立体映像情報出力手段１７の一例としてのレンチキュラーシート（又はマイクロレンズアレイ）１７１などの屈折型光学素子が配置されている。

この構成により、第１の視線方向へはフラットディスプレイ１６１の表面の１の画像を、第６の視線方向へはフラットディスプレイ１６１の表面の６の画像を表示するものである。同様にして、この例ではフラットディスプレイ１６１の表面の画像は８分割されて８つの視線方向にて画像表示させる。このディスプレイ表示をするには、図示せぬフラットディスプレイ駆動回路が必要である。

図１５は本発明になる複数視点立体映像表示装置の第２の実施の形態のブロック図を示す。同図中、図１及び図１４と同一構成部分には同一符号を付してある。図１５において、光ディスクなどの記録媒体２１に記録されているデジタル立体映像コンテンツ情報（音響情報含む）が、再生器２２により公知の方法で再生された後、情報分離化器１１に入力され、ここで映像情報、音響情報及び視聴制限情報に分離される。これらの情報の記録媒体２１の記録時の多重化や情報分離化器１１での分離は、例えばＭＰＥＧ２規格の多重化システム方式を用いて実現する。

多重化はＭＰＥＧシステムレイヤーの同期方式でプログラムストリーム方式を用いてエレメンタリー毎にパック化し、表示時の同期をとれるようにプレゼンテーションタイムスタンプを打ちながら多重化する。タイムスタンプは図示せぬタイムスタンプ発生器から２７ＭＨｚまたは９０ｋＨｚのカウンタ情報が使用され、図示せぬ情報多重化器に入力される。この仕組みはＭＰＥＧ多重化の規格を用いれば可能であるので詳細な説明は省略する。

多重化されているストリームデータは、例えばＤＶＤやＤ−ＶＨＳなどのパッケージメディアフォーマット化されて、後述するＤＶＤやＤ−ＶＨＳの規格に準拠した形式で、所定の記録器によって記録媒体２１に記録されている。情報分離化器１１で分離された映像情報はビデオ復号器２３に供給され、分離された音響情報はオーディオ復号器２４に供給され、分離された視聴制限情報は表示態様決定器１３に供給される。

ビデオ復号器２３、オーディオ復号器２４ではビデオ信号とオーディオ信号が復号され、それぞれ、映像ＣＨ（チャンネル）分離器２５及び音響ＣＨ分離器２６に供給される。映像ＣＨ分離器２５及び音響ＣＨ分離器２６は入力される復号されたビデオ信号や復号されたオーディオ信号から、ＭＰＥＧの例えばStream_idという識別子を用いて、識別されているチャンネルＩＤを識別して、視線ごとに映像データを識別する。

Stream_idはＭＰＥＧ２規格ではＰＥＳ（パケッタイズドエレメンタリストリーム）パケットというチャンネル毎の要素圧縮データをパケット化したヘッダ情報の中に記述することができる８ビットの情報体である。これによって、ビデオやオーディオの識別、ＣＨの識別をすることができる。映像ＣＨ分離器２５からＣＨ毎に分離されて出力されたビデオデータは、フラットディスプレイ１６１に入力され、図１４で説明したように、レンチキュラーシート（又はマイクロレンズアレイ）１７１を通して８つの視線方向へ立体画像として表示される。

一方、音響ＣＨ分離器２６においてＣＨ毎に分離されて出力されたオーディオデータは、局在音場発生器２７に伝送される。局在音場発生器２７では、第ｎの視線方向に局在化させるオーディオデータに関しては、空間上の焦点付近の音圧を局所的に上昇させるように、スピーカアレイ２８の中心から焦点までの経路と、各スピーカから焦点までの経路との差に応じた遅延量を与えた表示信号をスピーカアレイ２８に伝送する。スピーカアレイ２８はアレイ状に組まれていて、一つ一つに遅延回路を聴取位置近傍に焦点を結ぶように遅延値を設定し、聴取位置においてスピーカからの直接音よりも、第１の視線方向に局在化させるオーディオ表示音の発生する音圧成分が極めて高くなるように表示する。

第２の視線方向に局在化させるオーディオデータに関しては、空間上の焦点付近の音圧を局所的に上昇させるようにスピーカアレイ２８の中心から焦点までの経路と、各スピーカから焦点までの経路との差に応じた遅延量を与えた表示信号を、同様にスピーカアレイ２８に伝送する。聴取位置においてスピーカからの直接音よりも、第ｎ＋１の視線方向に局在化させるオーディオ表示音の発生する音圧成分が極めて高くなるように表示する。スピーカにｎ個の局在音場を発生させるために、２つの音信号を伝送する場合には、各スピーカはｎ個の音信号を加算し、ダイナミックレンジを超えない程度のゲインコントロールを行って出力すればよい。

次に、本発明になる複数視点立体映像表示方法の第２の実施の形態について、図１６のフローチャートと共に説明する。この複数視点立体映像表示方法は、コンピュータプログラムによりコンピュータにより実現される。まず、記録媒体もしくは伝送路から、ＭＰＥＧ多重化された映像音響データ及び視聴制限情報を所定の単位で読み取り再生する（ステップＳ２０１）。次に、再生したＭＰＥＧ多重化されている映像音響データと視聴制限情報とを分離化する（ステップＳ２０２）。続いて、視聴者からの観察者情報の入力があったかどうか判定し（ステップＳ２０３）、観察者情報の入力があった場合にのみ、再生態様を決定する（ステップＳ２０４）。

観察者情報の入力が無い場合、又はステップＳ２０４で再生態様を決定した場合には、映像音響データを復号化する（ステップＳ２０５）。続いて、復号した映像データと音響データを視線毎のＣＨに分離する（ステップＳ２０６）。続いて、視線毎の映像データを画像表示手段及び局所的立体映像情報出力手段（レンチキュラーシートやマイクロレンズアレイ等）から出力し、音響データを局所音場発生用のスピーカ（若しくは超指向性のスピーカやヘッドホン、イヤホン）で出力する（ステップＳ２０７）。

そして、すべての映像データ及び音響データがあるかどうか判定し（ステップＳ２０８）、まだ再生されるべき映像データや音響データがあるときにはステップＳ２０１に戻り、上記と同様の動作を繰り返し、すべての映像データ及び音響データの再生が終了した時にはこのプログラムを終了する。

なお、上記の実施の形態では、情報を記録媒体２１から再生するように説明したが、通信や放送特有のパケットかがなされているパケット情報を受信して、通信特有フォーマットであるパケット解除を行って放送や通信網から受信表示することも容易である。

また、本実施の形態では、視線方向によって異なる画像を表示する方式として、レンチキュラーレンズ方式について説明したが、液晶パララックスバリア方式、偏光フィルタ方式、インテグラルフォトグラフィー、超多眼方式など、視差を標本化するタイプの立体映像表示技術などはどれでも応用できるものであり、異なる映像を知覚できる方式であればなんであってもよい。

また音像位置制御方式は、音像定位制御方式としてアレイスピーカ方式で説明したが、仮想音場空間を実現できる方式、例えばバイノーラル・トランスオーラル方式であっても、Kirchhoff-Helmhotz徴分方程式に代表される波動音響理論を用いた音場制御法を用いる方式であってもよい。

また、記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また表示装置は受信装置として使用することも可能である。

また、記録媒体は、媒体という定義はデータを記録できる媒体という、狭義な媒体というものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での、電子ファイルなどのデータ自身を含むものとする。

以上の実施の形態は、複数の観察者の位置情報と個人情報と視聴制限情報トを取得し、奥行き情報の圧縮・伸張を行うことにより個別最適な奥行き表現レベルを決定し、各々の再生モードで個別に局所的な２眼式の立体映像を表示する方法及び装置について説明したが、次に、複数点画像間隔の圧縮・伸張を行うことにより個別最適な単眼視差数を決定し、各々の再生モードで個別にＩＰによる立体映像を表示する方法及び装置について説明する。この場合の複数視点立体映像表示装置の基本的構成は図１と同様である。

まず、本発明において超多眼状態をコントロールする光学系の実施の形態について詳細に説明する。図１７は本発明における光学系の幾何光学的関係の一例を示す図である。ＬＣＤ（液晶表示素子）等の一般的な２次元ディスプレイやプロジェクタのスクリーンにより表現される２次元画像表示面２００に表示した間隔Ｐｅの多視点画像からの光が、当該表示面２００からｇだけ離れた位置に配置したマイクロレンズアレイやピンホールアレイなどで表現される偏向光学素子３００により偏向される。なお、視点画像の間隔はマイクロレンズアレイの間隔とは異なるが、ここでは簡単のため、両者は同一とする。

これらの偏向光学素子３００のそれぞれからの光線は、空間上で交差することにより、立体像５００を形成する。図１７は、映像オブジェクトを構成する一点のみに着目して図示したものであり、それがディスプレイの手前に像を結ぶ場合（実像）を示している。後述するように、ディスプレイの背後に像を結ぶ場合（虚像）もある。空間上の実像５００で交差した光は、その後直進して、両眼間隔Ｄｅ、瞳径Ｄｐの観察者の眼球４００に入射する。図１７に示すように、観察者の眼球は偏向光学素子３００から距離Ｌだけ離れており、実像５００から１／Ｄだけ離れているものとする。

図１７には２つのレンズから射出された角度θを有する２本の光線が、瞳に同時に入射する様子を示している。２本の光線は立体像５００の点で交差しているために、観察者にとっては、立体像５００からあたかも光が出ているかのように観察され、立体像５００に目の調節運動が誘起される。こうして、輻輳と調節の矛盾がなくなり、自然な立体像５００が観察されることになる。かかる超多眼状態においては、幾何学的関係より以下の式が成立することが容易にわかる。

ただし、偏向光学素子３００と立体像５００との距離をａとしてａ＝Ｌ−１／Ｄとおいた。同様に、次式が成立することも容易にわかる。

超多眼条件、すなわち瞳孔に２.５本以上の視差画像を入射するためには、
φ≧２．５θ （３）
であることが必要であるから、（１）式〜（３）式から次式が得られる。

つまり、実像の飛び出し量ａが大きい（即ち（４）式の分子が大きい）ほど、又は観察者と実像の距離が近い（即ち（４）式の分母が小さい）ほど、ピッチＰｅに対する要求は緩くなる。即ちＰｅが多少大きくても超多眼条件を満たすことになる。

具体例として、Ｄｐ＝５.５ｍｍ，Ｄｅ＝６５ｍｍ，ａ＝１００ｍｍ，ｇ＝１０.０ｍｍ，Ｌ＝１５００ｍｍの場合、Ｐｅ＜０.１７ｍｍが必要である。例えば、ピッチＰｅ＝１ｍｍの場合は、視距離Ｌ＜１５０ｍｍで観察すれば超多眼条件を満たすが、視距離Ｌ＝１５００ｍｍで観察した場合には、通常の多眼式の観察になり、目のストレスが生じることになる。

つまり、ディスプレイに対する観察者の目４００の位置Ｌや、立体像５００の位置ａ等によって、複数の光線が瞳に入射する超多眼状態になったり、一本の光線しか入射しない多眼状態になったりすることがわかる。従って、複数の観察者が観察する場合において、それぞれの観察者の視距離によって、立体像５００の位置をコントロールすることが必要になってくる。特に、観察者が子供である場合には、輻輳調節矛盾を引き起こす多眼状態になることを避け、なるべく超多眼領域で観察できるようにしなければならない。本実施の形態は、異なる視聴位置の観察者のそれぞれに対して、立体像位置５００をコントロールすることにより、目のストレスのない超多眼状態を個別に設定することを特徴とするものである。

図１８は、複数の観察者が異なる立体像を観察する様子を示す図である。ＬＣＤ等の画像表示手段２０５（図１の画像表示手段１６に相当）に表示された多視点画像からの光は、局所的立体映像情報出力手段２０６（図１の局所的立体映像情報出力手段１７に相当）により向きを偏向された後、視点１または視点２の観察者に入射する。図１８に示す局所的立体映像２１２又は２１３は、先の図１７における立体像５００の集合体であり、多数の光線が空間上に交わることによって生じた三次的光源によって構成されている。

例えば、画像表示手段２０５に表示された視点画像Ｒ１１、Ｒ１２、Ｌ１１、Ｌ１２は視点１の観察者の左目（Ｌ１）４０１に入射するが、観察者の右目（Ｒ１）４０２に入射する光線Ｒ１１、Ｒ１２は、空間上で交差して局所的立体映像２１２の１点を構成し、光源の位置が（Ｒ１１、Ｒ１２ではなく）局所的立体映像２１２の１点であるかのように振舞うことになる。同様に、観察者の左目（Ｌ１）に入射する光線Ｌ１１、Ｌ１２についても、空間上で交差することにより２次光源を形成する。

視点２の観察者は、視点１の観察者よりもディスプレイから離れているため、超多眼領域の観察になりにくい状態にある。そのため、視点画像であるＲ２１、Ｒ２２、Ｌ２１、Ｌ２２の間隔を、視点１の観察者に対するＲ１１、Ｒ１２、Ｌ１１、Ｌ１２の間隔よりも狭くするようにコントロールすることが必要になる。視点画像の間隔の具体的なコントロール方法や視点画像の配置方法の詳細についてはここでは立ち入らず、以下に本発明を実施するに最低限必要な基本的な考え方を示すにとどめることとする。

図１９は、単眼４００で実像５００を観察する様子を示す図である。ＬＣＤ等の画像出力手段２０５に表示した多視点画像からの光をマイクロレンズアレイ等の光偏向手段によって空間上で収束させて実像５０１を形成する。図１９には、１０個のレンズから１０本の構成が射出されて交差する様子を描いている。

これらの光線は、収束したのちに発散し、その一部が眼球４０５の虹彩４１１で遮られて、６本程度の光線が水晶体４１０で屈折されて網膜４１２上に像を結ぶ。このとき、水晶体４１０は、網膜上の像が最も鮮明に見えるようにレンズの厚さを自律的に変化させることによる調節、すなわちオートフォーカスを行う。目のピントが合う位置は、一見したところでは１本１本の光線の径が最も小さいレンズアレイ２０６上に合うようにも思えるが、実は瞳に入射した６本全体として最も鮮明に見えるのは光線同士が交差した５０１の位置であることになるため、５０１の位置にフォーカスされることになる。この効果は、光線の数に依存するが、少なくとも２.５本以上必要であることが、既に述べたように非特許文献３に開示された内容である。

図２０は図１９の拡大図であり、ＬＣＤ等の画像表示手段２０５に表示された画像からの光がマイクロレンズアレイ等の局所的立体映像情報出力手段２０６により、光の進行方向が偏向される様子を示す図である。図２０には、等間隔の並んだ１０個の画素からの光が、１０個のレンズにより偏向される様子を示している。

一般に、画像表示手段２０５上の画素からの光は、四方八方に広がるが、ここでは個々のレンズを射出瞳とする光線を考える。その場合には、図２０に示すようにそれぞれ扇形状に広がってレンズで屈折される。このとき、画像表示手段２０５がレンズ２０６の焦点の位置にあれば、レンズから射出する光線はほぼ平行光となるが、軸外光線については平行光とはならず収差が発生する。いまのところ、この収差を減らす技術は開示されていないようであり、当面は無視することとする。

さて、マイクロレンズアレイのレンズの光軸に対して、発光点がずれていた場合には、ずれ量に応じて、偏向角、すなわちレンズによる屈折角が変化することがわかる。例えば、１０個のレンズのうち、中央付近の２個（２０６ｅおよび２０６ｆ）については、点灯する画素２０５ｅおよび２０６ｅと光軸とのずれが小さいため小さい屈折角で出射する。しかし、周辺のレンズである２０６ａや２０６ｊについては、点灯する画素２０５ａや２０５ｊと光軸とのずれが大きくなるため、レンズによる屈折角が大きくなる。

図２１は図２０における１０個のレンズのうち２０６ｄから２０６ｇの４個のレンズの部分を拡大したものである。図２１に示すように、レンズ２０６ｄ〜２０６ｇの間隔よりも点灯する画素２０５ｄ〜２０５ｇの間隔の方が広い。図２１では、点灯する画素が１１画素間隔で並んでいることを示している。この間隔をコントロールすることにより、図２０で述べたレンズの屈折角を制御することができ、ひいては図１９で述べた光線同士の重なり具体をコントロールすることにより超多眼状態と多眼状態とも制御することができる。すなわち、本発明の複数の視聴者毎に異なる態様で表示することが具体的に可能になるのである。

図２２は、図１８等の局所的立体映像出力手段２０６を構成する一つのレンズの内部での光線の振る舞いを示す図で、１つのレンズの中に１０個の画素が存在し、そのいずれもが点灯した場合の光線を描画したものである。これらの１０本の光線は、レンズで屈折された後に空間上で交差することはなく、他のレンズからの光線と交差することによって、それぞれ１０個の異なる２次光源を形成することとなる。１つのレンズからは１０視点分の光線が出射されることがわかる。

なお、球面または非球面の屈折型レンズ２０６１を、その基板２０６２上に成形することができる。成形材料はガラスでも樹脂でもよい。そして、これらのレンズは、ＬＣＤ等の画像表示手段２０５に密着させてもよいが、保護層２０６３、ガラス基板２０６４をスペ−サとして挿入してもよい。

図２３は、３つのレンズ２０７により実像を結ぶ様子を示す図である。これは既に説明したように、ディスプレイ前面の空間上に光線が交差することにより、仮想的な２次光源を形成するものである。実像を結ぶためには、図２３から明らかなように、画像表示手段２０５上に表示した視点画像の間隔Ｗｄと、局所的立体映像出力手段２０６であるマイクロレンズアレイ２０７の間隔Ｐｅとの関係が、Ｐｅ＜Ｗｄでなければならない。

これに対して、Ｐｅ＝Ｗｄの場合には、図２４に示すように、光線は互いに平行になり決して交差することはない。従って、この場合には．立体像の結像は起きないことになる。さらに、Ｐｅ＞Ｗｄになると図２５に示すように、レンズ２０７から射出される光線は、発散するようになり、現実の光線は交差することがない。しかし、ディスプレイ前方に観察者にとっては、発散する光線をその向きとは逆に延長した、画像表示手段２０５の背後の５０２の位置で交差しているかのように観察する。

すなわち、Ｐｅ＞Ｗｄの場合には、立体像が画像表示手段２０５であるディスプレイの奥に虚像として観察されることになる。ディスプレイの奥に立体像を表示した場合には、２眼式や多眼式ディスプレイで知られているように、ディスプレイの手前に表示させる場合に比べて、目のストレスが少ないことが知られている。

そこで、本実施の形態においては、超多眼ディスプレイにおいて、観察者の視点位置、あるいは映像コンテンツの種類によって、光線を重複させる超多眼状態を作り出すことが困難である場合、その観察者に対しては虚像にシフトさせるように構成してもよい。虚像は、実像に比べて、ビームの広がりの影響が少ないために、奥行き位置によって解像度が劣化する度合いが小さく、特に視覚機能の発達が不十分な子供が観察するのにより適した安全な表示態様である。

図２６は立体像が実像として形成される場合の実際の光線を示す図、図２７は図２６の拡大図である。図２６及び図２７は、立体像５０３を構成する１点を再生するのに寄与する２３本の光線を図示している。なお、縦軸の０の位置は、マイクロレンズの位置を示す。これらの光線の画像表示手段における間隔は、マイクロレンズアレイの間隔に対して、約１０５％である。この場合には、図２６に破線で示す立体像５０３を構成する１点が約１７０ｍｍの距離に結像することを示している。そして、ディスプレイから約６００ｍｍ以内では光線同士が交差する超多眼領域にあり、それより離れると光綿同士が分離して多眼領域となる。

観察者の位置を検出することにより、多眼領域にあれば、超多眼状態になるように視点画像間隔の検定を狭くするように変更する。この際に、連続的な運動視差が得られる領域（すなわち視聴）も狭くなってしまうが、隣の視聴で観察できるので実際上問題はない。隣の視聴は、視点画像が本来射出するレンズの隣のレンズを通して射出されることにより生ずるものであるが、像の劣化は実際上殆ど問題がない。ただ、視聴同士で像の飛び（フリッピング）が発生するため、視点画像間隔をコントロールすることにより視聴が変化した際に、観察者がちょうど視聴の境界に来ることがないように、制御することが大切である。

なお、以上の実施の形態は、２眼式又はＩＰにより立体映像を表示する例であったが、本発明は更にこの立体映像に、立体音響をリンクさせることにより、各々の再生モードで個別に局所的な立体音響を表示する方法及び装置を構成することもできる。

図２８はこの場合の本発明の複数視点立体映像表示装置の第３の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図２８において、符号化されたデジタル信号による映像及び音響情報の内容であるデジタル映像音響コンテンツｊが情報分離化器１１に入力される。

デジタル映像音響コンテンツｊは、映像音響情報ｋと、その映像音響情報ｋの読み取りを制限する視聴制限情報ｃとが多重化された形で構成されている。例えば、ＤＶＤ（Digital Versatile Disc）などの光ディスクに記録されたデジタル映像音響コンテンツｊとしての映画は、すべての映像音響情報ｋと共に、それらの情報の一部を選択的に再生する視聴制限情報ｃとして年齢規制に関わるパレンタルロック情報や地域規制に関わるリージョンコード等が記録されている。

もちろん、本実施の形態においては、デジタル映像音響コンテンツｊは、光ディスク等のような情報記録媒体に記録されたコンテンツに限定されるものではなく、Ｗｅｂサーバー上の情報を情報端末の記憶媒体に通信回線によりダウンロードするようなコンテンツや、あるいはＷｅｂサーバー上に保管されてストリーミング配信により供給されるコンテンツによっても同様に実施可能であることはいうまでもない。

情報分離化器１１は、上述したデジタル映像音響コンテンツｊに含まれる多重化された情報を分離する機能を有するものであり、具体的にはデジタル信号処理回路においてよく知られたデマルチプレックスのことである。同図に示すように、情報分離化器１１は、多重化されたデジタル映像音響コンテンツｊを映像音響情報ｋと視聴制限情報ｃとに分離し、分離した映像音響情報ｋを復号化器１８に入力し、分離した視聴制限情報ｃを表示態様決定器１３に入力する。

復号化器１８は、表示態様制御信号発生器１４からの表示態様制御信号ｆに基づいて、映像音響情報ｋを観察者毎に異なる再生許可度合をもつ表示態様で、映像情報と音響情報とに復号化する。復号化された映像情報は画像表示手段１６に供給され、更にこれより局所的立体映像情報出力手段１７により立体映像情報とされて出力される。

一方、復号化された音響情報は移相器１９により立体映像情報の遅延時間に対応して移相された後、局所的音響情報出力手段２０に供給され、これより複数の視点１〜ｎの観察者に対する視点毎の音響情報ｈ１〜ｈｎとして出力される。これにより、本実施の形態では、各々視点の異なる複数の観察者は、各視点に対応した立体画像を見ることができると共に、各視点に対応した音響を聴取することができる。

なお、本発明は以上の実施の形態をコンピュータにより実行させるコンピュータプログラムも含むものである。この場合、コンピュータプログラムは、記録媒体に記録して表示装置に取り込んでもよいし、通信ネットワークを介して表示装置の記憶部にダウンロードするようにしてもよい。

なお、本発明は上に例示した具体的な実施形態を可能ならしめる以下の抽象的な技術的思想を包含するものである。すなわち、本発明の複数視点立体映像表示方法は、一の映像情報表示手段を用いて、複徴の観察者の視点の各々に対して互いに異なる局所的映像情報を同時に表示させる複数視点立体映像表示方法において、前記観察者の各々の観察者情報及び該観察者の視点位置に対応する前記局所的映像情報の立体映像コンテンツによって、前記観察者の各々に適した前記局所的映像情報の表示態様を個別的に決定し、当該表示態様にて前記観察者の各々に対して最適化された個別的な前記局所的映像情報を表示することを特徴とする。

ここで、前記観察者情報は、前記観察者の身長、年齢その他の個人情報を含み、また、前記立体映像コンテンツが、前記観察者の年齢に不相応な情報の表示を制限する視聴制限情報を含んでいてもよい。

また、本発明の複数視点立体映像表示方法は、前記局所的映像情報の表示態様が、前記視聴制限情報を含むシーンの部分的表示、当該シーン直前のシーンのスチル表示、苦しくは予め設定された安全なシーンの表示、又は非表示の少なくともいずれか一を含むことを特徴とする。

また、本発明の複数視点立体映像音響表示方法は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の観察者の視聴点の各々に対して互いに異なる局所的映像情報とそれに対応する局所的音響情報とを同時に表示させる複数視聴点映像音響表示方法において、前記観察者の各々の観察者情報及び該観察者の視聴点位置に対応する前記局所的映像情報の立体映像コンテンツ並びに前記局所的音響情報の音響コンテンツによって、前記観察者の各々に適した前記局所的映像情報及び局所的音響情報の表示態様を個別的に決定し、当該表示態様にて前記観察者の各々に対して個別的な前記局所的映像情報及び局所的音響情報を表示することを特徴とする。

また、本発明の複数視聴点立体映像音響表示方法は、前記局所的映像情報及び前記局所的音響情報の表示態様が、前記表示プロテクト情報を含むシーンの部分的表示、当該シーン直前のシーンのスチル表示、若しくは予め設定された安全なシーンの表示、又は非表示の少なくともいずれか一を含むことを特徴とする。

また、本発明の立体映像情報表示装置は、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を同時に表示させる複数視点立体映像表示装置において、前記観察者の観察者情報を前記視点の位置とともに検出する観察者情報検出手段と、当該観察者に対応する前記局所的映像情報の立体映像コンテンツを読み取る立体映像コンテンツ読取手段と、前記観察者情報と前記立体映像コンテンツとの双方によって、前記観察者の各々に適した前記局所的映像情報の表示態様を個別的に決定する映像表示態様決定手段と、前記映像表示態様にて前記観察者の各々に対して個別的な局所的映像情報を表示する局所的映像情報表示手段とを有することを特徴とする。

ここで、本発明の複数視点立体映像表示装置は、前記観察者情報が、前記観察者の身長、年齢その他の個人情報を含んでいてもよく、前記立体映像コンテンツが、前記観察者の年齢に不相応な情報の表示を制限する視聴制限情報を含んでいてもよい。

また、本発明の複数視点立体映像表示装置はさらに、前記局所的映像情報及又は前記局所的音響情報の表示態様が、前記視聴制限情報を含むシーン直前のシーンのスチル表示、若しくは予め設定された安全なシーンの表示、又は非表示の少なくともいずれか一を含むことを特徴とする。

また、本発明の複数視聴点映像音響表示装置は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の観察者の視聴点の各々に対して互いに異なる局所的映像情報とそれに対応する局所的音響情報とを同時に表示させる複数視聴点映像音響表示装置において、前記観察者の各々の観察者情報を該観察者の視聴点位置とともに検出する観察者情報検出手段と、当該観察者に対応する前記局所的映像情報の立体映像コンテンツ及び局所的音響情報の音響コンテンツを読み取るコンテンツ読取手段と、前記観察者情報及び前記立体映像コンテンツ並びに前記音響コンテンツによって、前記観察者の各々に適した前記局所的映像情報及び局所的音響情報の表示態様を個別的に決定する表示態様決定手段と、前記表示態様にて前記観察者の各々に対して個別的な局所的映像情報及び局所的音響情報を表示する局所的映像音響情報表示手段とを有することを特徴とする。

また、本発明の複数視点立体映像表示プログラムは、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を同時に表示させる複数視点立体映像表示装置を制御する複数視点立体映像表示プログラムにおいて、コンピュータに、前記観察者の観察者情報を検出する観察者情報検出手段により前記視点の位置とともに検出された観察者情報を読み取るステップと、該観察者に対応する前記局所的映像情報の立体映像コンテンツを読み取るステップと、前記観察者情報と前記立体映像コンテンツとを比較することにより、前記局所的映像情報の表示態様を蓄積した表示態様データベースから前記観察者の各々に適した表示態様を抽出するステップと、抽出された前記表示態様において前記観察者の各々に対する局所的映像情報の表示を行うことを制御するステップとを実行することを特徴とする。

また、本発明の複数視点立体映像表示プログラムは、前記観察者情報が、前記観察者の身長、年齢その他の個人情報を含んでいてもよく、前記立体映像コンテンツが、前記観察者の年齢に不相応な情報の表示を制限する表示プロテクト情報を含んでいてもよい。

また、本発明の複数視点立体映像表示プログラムは、更に、前記表示態様データベースが、前記表示プロテクト情報を含むシーン直前のシーンのスチル表示、若しくは予め設定された安全なシーンの表示、又は非表示の少なくともいずれか一を含むことを特徴とする。

また、本発明の複数視点立体映像表示プログラムは、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の観察者の視聴点の各々に対して互いに異なる局所的映像情報とそれに対応する局所的音響情報とを表示させる複数視点立体映像音響表示装置を制御する複数視聴点映像音響表示プログラムにおいて、前記観察者の観察者情報を検出する観察者情報検出手段により前記視聴点の位置とともに検出された観察者情報を読み取るステップと、該観察者に対応する前記局所的映像情報の立体映像コンテンツ及び前記局所的音響情報の音響コンテンツを読み取るステップと、読み取られた前記観察者情報と前記立体映像コンテンツと前記音響コンテンツとを比較することにより、前記局所的映像情報及び前記局所的音響情報の表示態様を蓄積した表示態様データベースから前記観察者の各々に適した表示態様を抽出するステップと、抽出された前記表示態様において前記観察者の各々に対する前記局所的映像情報及び前記局所的音響情報の表示を行うことを制御するステップとを含むことを特徴とする。

また、本発明の複数視点立体映像表示方法は、前記局所的映像情報が局所的立体映像情報であって、シーンを構成するオブジェクトの３次元情報から空間上に表示すべき奥行き範囲を算出し、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する機能を更に含むことを特徴とする。

また、本発明の複数視点立体映像音響表示方法はさらに、前記局所的映像情報及び局所的音響情報が各々局所的立体映像情報及び局所的立体音響情報であって、シーンを構成するオブジェクトの３次元情報から空間上に表示すべき奥行き範囲を算出し、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する機能を有することを特徴とする。

また、本発明の複数視点立体映像表示装置は、前記局所的映像情報が局所的立体映像情報であって、シーンを構成するオブジェクトの３次元情報から、空間上に表示すべき奥行き範囲を算出する手段と、視覚機能の異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する手段を更に有することを特徴とする。

また、本発明の複数視点立体映像表示装置は、前記局所的映像情報及び局所的音響情報が各々局所的立体映像情報及び局所的立体音響情報であって、シーンを構成するオブジェクトの３次元情報から、空間上に表示すべき奥行き範囲を算出する手段と、視覚機能の異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する手段とを更に有することを特徴とする。

また、本発明の複数視点立体映像表示方法はさらに、前記局所的映像情報が局所的立体映像情報であって、シーンを構成するオブジェクトの３次元情報から空間上に表示すべき奥行き範囲を算出するステップと、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示するステップとを含むことを特徴とする。

また、本発明の複数視点立体映像音響表示方法は、前記局所的映像情報及び局所的音響情報が各々局所的立体映像情報及び局所的立体音響情報であって、シーンを構成するオブジェクトの３次元情報から空間上に表示すべき奥行き範囲を算出するステップと、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示するステップとを更に含むことを特徴とする。

本発明の複数視点立体映像表示装置の第１の実施の形態のブロック図である。 図１の表示態様決定器に入力される個人情報、位置情報及び視聴制限情報の関係を示す概念図である。 図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その１）である。 図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その２）である。 図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その３）である。 図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その４）である。 図１における個人情報の変数ｕと位置情報の変数ｗと視聴制限情報ｖとから表示態様の決定の仕方の一例を示すテーブルを示す図（その５）である。 図１中の表示態様決定器が行う処理説明用フローチャートである。 個人情報設定メニュー画面の一例を示す図である。 図３〜図７のテーブルの個人情報の具体例を示す図である。 図３〜図７のテーブルの位置情報の具体例を示す図である。 図３〜図７のテーブルの視聴制限情報の具体例を示す図である。 図３〜図７のテーブルの可視グレードの具体例を示す図である。 図１中の画像表示手段と局所的立体映像情報出力手段の具体的な一例を示す図である。 本発明の複数視点立体映像表示装置の第２の実施の形態のブロック図である。 複数視点立体映像表示方法の第２の実施の形態のフローチャートである。 本発明における光学系の超多眼状態における幾何光学的関係の一例を示す図である。 複数の観察者が異なる立体像を観察する様子を示す図である。 単眼で実像を観察する様子を示す図である。 図１９の要部の拡大図である。 図２０における１０個のレンズのうちの４個のレンズの部分の拡大図である。 局所的立体映像出力手段を構成する一つのレンズの内部での光線の振る舞いを示す図である。 ３つのレンズにより実像を結ぶ様子を示す図である。 ３つのレンズにより像を結ばない様子を示す図である。 ３つのレンズにより虚像を結ぶ様子を示す図である。 立体像が実像として形成される場合の実際の光線を示す図である。 図２６の拡大図である。 本発明の複数視点立体映像表示装置の第３の実施の形態のブロック図である。 複数の観察者が局所的立体映像を観察することを示す概念図である。単レンズにより光線が偏向される様子を示す図である。

符号の説明

１１ 情報分離化器
１２ 観察者情報入力器
１３ 表示態様決定器
１４ 表示態様制御信号発生器
１５、１８ 復号化器
１６、２０５ 画像表示手段
１７、２０６ 局所的立体映像情報出力手段
１９ 移相器
２０ 局所的音響情報出力手段
２１ 記録媒体
２２ 再生器
２３ ビデオ復号器
２４ オーディオ復号器
２５ 映像ＣＨ分離器
２６ 音響ＣＨ分離器
２７ 局在音場発生器
２８ スピーカアレイ
２００ ２次元画像表示面
２０５ａ〜２０５ｊ 画像表示手段における画素
２０６ａ〜２０６ｊ マイクロレンズアレイのレンズ
３００ 偏向光学素子
４００、４０５ 眼球
５００ 立体像

Claims (3)

1. 一の立体映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示する複数視点立体映像表示方法において、
   前記複数の観察者の位置情報及び個人情報を入力する第１のステップと、
   前記立体映像情報の所定の区間毎に予め付与された奥行き情報及び／又は視点間隔情報と前記個人情報とを組み合わせて、前記複数の観察者の各々に個別的に局所的立体映像情報の表示態様を決定する第２のステップと、
   入力された前記位置情報を有する前記複数の観察者の各々に対して、前記第２のステップで決定された表示態様で前記局所的立体映像情報を出力する第３のステップと
   を含むことを特徴とする複数視点立体映像表示方法。
2. 一の立体映像情報表示手段を用いて、複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示する複数視点立体映像表示装置において、
   前記複数の観察者の位置情報及び個人情報を入力する情報入力手段と、
   前記情報入力手段により入力された前記個人情報と、前記立体映像情報の所定の区間毎に予め付与された奥行き情報及び／又は視点間隔情報とを組み合わせて、前記複数の観察者の各々に個別的に局所的立体映像情報の表示態様を決定する表示態様決定手段と、
   前記情報入力手段により入力された前記位置情報を有する前記複数の観察者の各々に対して、前記表示態様決定手段で決定された表示態様で前記局所的立体映像情報を出力する局所的立体映像情報出力手段と
   を有することを特徴とする複数視点立体映像表示装置。
3. 複数の観察者の各々の視点に対して互いに異なる立体映像情報を表示する複数視点立体映像表示装置をコンピュータにより実行させるための複数視点立体映像表示プログラムにおいて、前記コンピュータに、
   前記複数の観察者の位置情報及び個人情報をリンクさせて記憶する第１のステップと、
   前記立体映像情報の所定の区間毎に予め付与された奥行き情報及び／又は視点間隔情報と前記個人情報とを組み合わせて、前記複数の観察者の各々に個別的に局所的立体映像情報の表示態様を決定する第２のステップと、
   入力された前記位置情報を有する前記複数の観察者の各々に対して、前記第２のステップで決定された表示態様で前記局所的立体映像情報を出力する第３のステップと
   を実行させることを特徴とする複数視点立体映像表示プログラム。
   
   

Images