JP2004357156A - 映像受信装置および映像再生装置 - Google Patents

Abstract

【課題】既存の機器に対する互換性を維持しつつ、ステレオ撮影時の映像データに汎用性を持たせるための付加情報を含んで構成された映像データの再生を容易に行うことのできるようにする。
【解決手段】映像データと付加情報を含む多重化データをデータ受信部１５１により受信し、データ分離部１５２により映像データと付加情報に分離する。制御部１５３は付加情報に基づき映像変換部１５５を制御し、映像データを表示形式に変換してから表示部１５６に表示する。
【選択図】 図１１

Description

【０００１】
【発明の属する技術分野】
本発明は、両眼視差を利用した３次元映像を撮影して通信路により伝送された映像データを受信して３次元表示するための映像受信装置および両眼視差を利用した３次元映像を撮影して記録媒体に記録された映像データを読み出して３次元表示するための映像再生装置に関するものである。
【０００２】
【従来の技術】
従来、被写体に対して視差を持った複数の映像を左右の眼で別々に見ることにより、撮影された被写体を立体的に見ることのできるステレオ映像を撮影するための方法として、一般的な単眼カメラに視点の異なる複数の被写体像を形成するステレオアダプタを装着して、１画面に視差のある複数の映像を撮影するということが行われている。
【０００３】
図２０は、ステレオアダプタを装着した際の撮影映像を説明するための図である。
【０００４】
図２０（ａ）はステレオアダプタを装着しない状態で撮影した映像であり、図２０（ｂ）は、画角が１／２になるタイプのステレオアダプタを装着して撮影した映像を、図２０（ｃ）は、画角は変化せず、撮影できる範囲が狭くなるタイプのステレオアダプタを装着して撮影した映像を示す。ステレオアダプタを装着した場合、一般に画面の左側に左眼用映像が、右側に右眼用映像が映される。
【０００５】
このようにして撮影された映像は、左眼用映像を左眼のみで、右眼用映像を右眼のみで見ることで立体視することができる。
【０００６】
図２１は、両眼視差を利用して立体視を実現する代表的な方式の１つである、パララクスバリア方式を説明するための図である。
【０００７】
図２１（ａ）は、視差が生じる原理を示す図である。図２１（ｂ）は、パララクスバリア方式で表示される画面の表示形式を示す図であり、左眼用映像と右眼用映像が水平方向１画素おきに交互にならんだ形に配置されている。
【０００８】
図２１（ａ）では、図２１（ｂ）に示すような映像を、映像表示パネル６０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア６０２を映像表示パネル６０１の前面に置くことにより、左眼用映像は左眼６０３だけで、右眼用映像は右眼６０４だけで観察することになり、立体視を行うことができる。
【０００９】
ところで、このようにステレオ撮影した３次元映像に適した再生を行うためには、単眼撮影された２次元映像と、ステレオ撮影された３次元映像を区別する必要があり、後述する特許文献１においては、ステレオ撮影された３次元映像と単眼撮影された２次元映像とを区別するために、前者には、”ｓｔｅｒｅｏ１”，”ｓｔｅｒｅｏ２”，…といった記録名を、後者には、”ｎｏｒｍａｌ１”，”ｎｏｒｍａｌ２”，…といった記録名を、それぞれ識別情報として付加することで、３次元映像と２次元映像とを識別する方法が開示されている。
【００１０】
【特許文献１】
特開２００１−２２２０８３号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、付加される識別情報が記録名のみであるために、記録された映像がどのような条件で撮影されたものであるか知ることができない。ある特定の撮影機器で撮影した映像のみを再生するための再生機器を用いる場合にはよいが、他の撮影機器で撮影した映像の場合、同じ再生機器を用いて再生することができないことがある。
【００１２】
例えば、図２０（ｂ）に示すようなステレオ撮影された映像を図２１（ｂ）の表示形式に変換するためには、左眼用映像と右眼用映像を水平方向１画素おきに交互に並べればよい。一方、図２０（ｃ）に示す映像を図２１（ｂ）の表示形式に変換するためには、左眼用映像と右眼用映像を、それぞれ水平方向に１／２に間引きしてから水平方向１画素おきに交互に並べる必要がある。
【００１３】
このようにステレオ撮影された３次元映像を再生するためには、表示デバイスに適合した形式に変換する必要がある。ところが、再生する映像のデータ形式が異なれば、必要となる処理方法も異なるため、同一の再生機器においても、再生する映像のデータ形式がわからない場合には、表示形式に正しく変換することができない。反対に同じ撮影機器で撮影された映像であっても、再生機器側の表示方式が異なれば、必要となる処理方法が異なるため、正しく変換することができない。
【００１４】
つまり、撮影機器と再生機器が１対１に対応していればよいが、異なる機器間で映像をやり取りするためには撮影条件および再生条件が一致する必要があるため、撮影した映像の汎用性が大きく損なわれるという問題があった。
【００１５】
また、ステレオ撮影時のみならず単眼撮影時においても識別情報を記録しているが、記録の仕方によっては、他の機器において再生できなくなるという問題点があった。
【００１６】
本発明は、上記の問題点に鑑みてなされたものであり、既存の機器に対する互換性を維持しつつ、ステレオ撮影時の映像データに汎用性を持たせるための付加情報を含んで構成された映像データの視聴を容易に行うことのできる映像再生装置および映像受信装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上記の課題を達成するために、本発明の１つの局面に従うと、通信路から所定の形式の映像データおよび映像データの付随情報を受信する受信手段を備えた映像受信装置であって、映像データを３次元表示するための付加情報を付随情報から検出する検出手段を備え、検出手段により付加情報が検出された場合に、映像データを３次元表示するための信号を生成する。
【００１８】
この発明の他の局面に従うと、記録媒体に記録された映像データおよび映像データの付随情報を読み出す手段を備えた映像再生装置であって、映像データを３次元表示するための付加情報を付随情報から検出する検出手段を備え、検出手段により付加情報が検出された場合に、映像データを３次元表示するための信号を生成する。
【００１９】
好ましくは、本発明は、付加情報の有無に応じて、映像データを、付加情報の付加された３次元映像とそれ以外の２次元映像に分類した分類情報を作成する。
【００２０】
また、好ましくは、本発明は、分類情報に基づいて選択した映像データを再生する。
【００２１】
また、好ましくは、本発明は、分類情報に基づいて選択した映像データを記録媒体に記録する記録手段を備える。
【００２２】
また、好ましくは、本発明は、分類情報を記録媒体に記録する記録手段を備える。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２４】
［第１の実施の形態］
図１は、本発明における第１の実施の形態による映像記録装置１００の構成を示すブロック図である。
【００２５】
図１を参照して、映像記録装置１００は、被写体を撮影した映像を記録媒体２００に記録し、記録媒体２００に記録された映像を再生する。したがって、映像記録装置１００は、映像再生装置としても機能する。
【００２６】
映像記録装置１００は、単眼撮影とステレオ撮影の撮影機能を選択的に切替えるための機能選択部１０１と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子やオートフォーカス回路を備えた撮像部１０２と、所定のフォーマットの３次元情報（以下、「３Ｄ情報」と呼ぶ）を生成する３Ｄ情報生成部１０３と、映像データと３Ｄ情報とをフォーマット化して記録媒体２００に記録するデータ記録部１０４とを備える。映像記録装置１００は、さらに、記録媒体２００から記録データを読み出すデータ読出し部１０６と、映像データを表示形式に変換する映像変換部１０７と、３Ｄ情報に基づき映像変換部１０７の制御を行う制御部１０５と、パララックスバリア方式などの３次元表示デバイスを備えた表示部１０８とを備える。
【００２７】
以上のように構成された映像記録装置１００について、以下、その動作を説明する。
【００２８】
はじめに、撮影時の動作について説明する。なお、本実施の形態では、図２０（ｂ）に示すように、２つに分割された画面に左眼用の映像と右眼用の映像がそれぞれ水平方向に１／２だけ縮小された状態で撮影されるタイプのステレオアダプタを使用するものとして説明するが、本発明はこれに限定されるものではなく、他のタイプのステレオアダプタや２眼式のカメラを使用しても構わない。
【００２９】
撮影者は、撮影を開始する前に機能選択部１０１を操作して、撮影動作の選択を行う。２次元映像を撮影する際には通常撮影動作を、３次元映像を撮影する際には、撮像部１０２にステレオアダプタを装着し、ステレオ撮影動作を選択する。機能選択部１０１は３Ｄ情報生成部１０３に対して、選択された撮影動作を機能選択信号により通知する。
【００３０】
撮影者が撮影を開始すると、所定の周期で撮像部１０２により映像１コマの取り込みが行われ、映像データがデータ記録部１０４に対して出力される。通常撮影動作では、データ記録部１０４は、撮像部１０２により入力された映像データを所定のフォーマットで記録媒体２００に記録する。なお、図１には図示していないが、音声や音楽を記録する場合は、それらのデータもデータ記録部１０４にて多重化される。
【００３１】
また、表示部１０８は、撮像部１０２によりデータ記録部１０４に入力された映像データを読み出して表示する。撮影者は表示部１０８に表示された映像により、記録内容を確認しながら撮影を行うことができる。
【００３２】
一方、ステレオ撮影動作では、３Ｄ情報生成部１０３は、画角などのステレオアダプタの特性に関するパラメータから３次元表示のために用いる３Ｄ情報を生成する。これらのパラメータはステレオアダプタに固有のものであるので、予め撮影者等により設定がなされて３Ｄ情報生成部１０３に記憶されているものとする。
【００３３】
図２は、このときの３Ｄ情報の一例を示す図である。
図２において、“＝”で結ばれた左側が３Ｄ情報の項目名を、右側が設定値を表している。図２に示した３Ｄ情報は、図２０（ｂ）の映像のデータ形式を示している。すなわち、水平方向の視点数は「２」、垂直方向の視点数は「１」であり、左右の２視点の映像が存在することを示し、映像配置は「水平配置」であり、左右２つの映像が水平方向に結合されていることを示している。また、水平方向の縮小は「あり」であり、画角が変わらないために水平方向に縮小されていることを示し、続く縮小比で１／２に縮小されていることを示している。垂直方向には縮小されていないため、縮小比は指定されない。２Ｄ映像は、２次元表示をするときに選択する視点を示しており、ここでは左眼用映像が指定されている。なお、３Ｄ情報開始データは３Ｄ情報の開始を表す固定値のデータであり、バージョン情報は３Ｄ情報の互換性を示すためのものである。以上のようにして生成された３Ｄ情報は、映像データに付随する情報の一部としてデータ記録部１０４に対して出力される。
【００３４】
データ記録部１０４は、３Ｄ情報生成部１０３から入力された３Ｄ情報と撮像部１０２から入力された映像データを、所定のフォーマットに従って記録媒体２００に記録する。記録データを記録するための記録媒体には、一般にＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどが使用されるが、ここでは磁気テープを使用する場合について説明する。
【００３５】
一般に、磁気テープへの記録方式としてはヘリカルスキャンと呼ばれる方式が普及している。この方式では図３に示すように、磁気テープ上に不連続に構成されたトラック３００に対してデータが記録される。
【００３６】
図４はトラック３００の１つを拡大したものであり、トラックフォーマットの一例を示している。
【００３７】
図４において、トラック３００は、アフレコを確実にするためのＩＴＩ（Ｉｎｓｅｒｔ ａｎｄ Ｔｒａｃｋ Ｉｎｆｏｒｍａｔｉｏｎ）領域３０１と、音声に関するデータが記録される音声記録領域３０２と、映像に関するデータが記録される映像記録領域３０３と、トラック番号やタイムコードなどの付随情報が記録されるサブコード記録領域３０４とを含む。
【００３８】
図５は、図４に示した映像記録領域３０３を拡大したものである。
映像記録領域３０３は、同期パターンなどが記録されたプリアンブル４０１と、映像に関する付随情報が記録される領域ＶＡＵＸ（Ｖｉｄｅｏ ＡＵＸｉｌｉａｒｙ ｄａｔａ）α４０２及びＶＡＵＸβ４０４と、映像符号化データが記録される映像符号化データ記録領域４０３と、エラー訂正符号４０５と、マージンを稼ぐための機能を持つポストアンブル４０６とを含む。
【００３９】
本実施の形態では、映像に関する付随情報が記録される領域が、領域ＶＡＵＸα４０２と領域ＶＡＵＸβ４０４の２つに分かれているが、以後はこの２つをまとめてＶＡＵＸ領域と呼ぶことにする。なお、図示はしないが音声記録領域３０２にも、音声に関する付随情報を記録する領域としてＡＡＵＸ（Ａｕｄｉｏ ＡＵＸｉｌｉａｒｙ ｄａｔａ）領域が用意されている。３Ｄ情報はＶＡＵＸ領域、ＡＡＵＸ領域、サブコード領域のいずれかの領域に記録される。本実施の形態では、ＶＡＵＸ領域に記録する場合について説明する。
【００４０】
データ記録部１０４は、入力された映像データを、複数のトラックに分割して記録する。映像データは所定の方式により符号化された後、映像符号化データ記録領域４０３に配置される。３Ｄ情報は固定長符号化や可変長符号化によりビット列に変換されて、他の付随情報と共にＶＡＵＸ領域に配置される。３Ｄ情報のデータ量は、ＶＡＵＸ領域のサイズと比較して十分小さいので、映像１コマのデータを記録する複数トラックの各々に記録するものとする。その際には、常にＶＡＵＸα４０２に配置してもよいし、トラックごとにＶＡＵＸα４０２とＶＡＵＸβ４０４とに交互に配置してもよい。また、他の付随情報を含めてＶＡＵＸ領域に収まらない場合には、複数のトラックに分割して記録してもよい。
【００４１】
これらにプリアンブル４０１と、エラー訂正符号４０５と、ポストアンブル４０６とを付加して１トラック分の映像記録領域用データを作成し、同様に作成した音声記録領域用データとサブコード記録領域用データとを、図４に示したフォーマットとなるよう合成した後、さらにＩＴＩ情報３０１や各領域間のマージンを付加して記録データを出力する。
【００４２】
なお、３Ｄ情報は、ＶＡＵＸ領域、ＡＡＵＸ領域、サブコード領域、それぞれに分割して記録してもよい。さらにデジタルＶＴＲには付随情報を記録するためのカセットメモリを搭載しているものがあり、上記の３Ｄ情報をカセットメモリに記録してもよい。
【００４３】
次に、記録媒体２００に記録された映像を再生する再生機能について説明する。
【００４４】
図１において、データ読出し部１０６は磁気テープのトラック３００から記録データを読み出し、トラック３００から読み出した順に音声データ、映像データおよびサブコードに分割し、それぞれエラー訂正を行う。映像データの場合、映像符号化データ記録領域４０３から読み出した映像符号化データを所定の方式により復号し、復号した映像データを映像変換部１０７に出力する。また、ＶＡＵＸ領域から読み出した付随情報の中から３Ｄ情報開始マーカを検索して、３Ｄ情報を抽出し、制御部１０５に出力する。
【００４５】
制御部１０５は、データ読出し部１０６から入力された３Ｄ情報の中のバージョン情報を参照し、これ以降に続く項目が解釈可能か否かの判定を行う。３Ｄ情報の項目が解釈可能な場合には、解釈した３Ｄ情報から制御情報を決定し映像変換部１０７に出力する。３Ｄ情報がない場合には、２次元表示を行うための制御情報を映像変換部１０７に対して出力する。
【００４６】
例えば３Ｄ情報が、図２に示すような構成をとる場合には、映像データは、図２０（ｂ）に示すように左右映像が水平に結合され、水平方向に１／２に縮小された形式であることがわかる。したがって、制御部１０５は、この映像データを水平方向に１画素おきに並べ換えて表示部１０８にあわせた形式に変換するように映像変換部１０７に対して制御情報を出力する。
【００４７】
なお、３次元映像を表示する際には、必要に応じて２次元表示と３次元表示を手動で切替えられるようにしてもよい。２次元表示に切替えられた場合には、３Ｄ情報の２Ｄ映像で指定された視点の映像が表示されるように映像変換部１０７に対して制御情報を出力する。３Ｄ情報が存在しない場合にはデータ読出し部１０６から入力された映像データをそのまま出力するように映像変換部１０７に対して制御情報を出力する。
【００４８】
以上のように、映像を記録する際に、映像データの付随情報の記録領域に他の付随情報と識別可能に３Ｄ情報を記録するため、既存の機器に対する互換性を維持したまま、再生機器側で表示装置に適した表示形式に変換することが可能となり、記録した映像に汎用性を持たせることを容易に行うことが可能となる。
【００４９】
なお、上記の実施の形態では、記録媒体として磁気テープを使用する場合について述べたが、ファイルシステムが構築されたＩＣメモリや光磁気ディスク、ハードディスクなどの記録媒体を用いて、映像データをファイルとして記録してもよい。この場合、３Ｄ情報は映像ファイルのファイルヘッダに記録してもよいし、映像データとは別のファイルに記録してもよい。
【００５０】
図６は、３Ｄ情報を映像ファイルのファイルヘッダに記録する際のファイル形式の一例を示す図である。図６では、データは図の上から下に向かう順にファイルに記録されるものとする。図６に示すように、３Ｄ情報は従来のファイル形式に用意されているヘッダ部を拡張する仕組みを用いて、既存のヘッダ部の一部として記録されるものとする。ここでは、拡張されたヘッダを拡張ヘッダと呼ぶ。例えば、映像符号化方式の国際標準であるＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４）を使用する場合、ファイルヘッダはＶｉｓｕａｌ Ｏｂｊｅｃｔ Ｓｅｑｕｅｎｃｅまたは／およびＶｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒを指し、３Ｄ情報はこれらの中にユーザデータとして記録される。
【００５１】
また、映像１コマを静止画として記録する際には、例えば静止画符号化方式の国際標準であるＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）を使用し、この場合、ファイルヘッダはアプリケーションデータセグメントを指し、新たなアプリケーションデータセグメントを定義して３Ｄ情報を記録する。こうすることで、既存のファイル形式と互換性を保ったまま、記録した映像に汎用性を持たせることができる。
【００５２】
また、上記の実施の形態では、ステレオ撮影動作中に記録媒体２００に記録される映像データのデータ形式を撮影された映像の形式と一致するようにして記録しているが、機能選択部１０１により、撮影者が所望のデータ形式を選択できるようにしてもよい。このとき映像データのデータ形式に関するパラメータが３Ｄ情報生成部１０３に送られ、３Ｄ情報生成部１０３は入力されたパラメータに基づき３Ｄ情報を生成する。データ記録部１０４は３Ｄ情報生成部１０３から入力された３Ｄ情報に基づいて、撮像部１０２から入力された映像データの形式を変更する。
【００５３】
また、上記の実施の形態では、撮影者により録画機能が選択されたとき、表示部１０８は、撮像部１０２により撮影された映像データを、データ記録部１０４から読み出して表示しているが、この映像はステレオ撮影動作時には、図２０（ｂ）に示すように、２つに分割された画面に左眼用映像と右眼用映像がそれぞれ水平方向に１／２だけ縮小された状態となっている。このとき、データ記録部１０４から出力される記録データを直接データ読出し部１０６に対して入力して記録データを再生するようにしてもよい。または、データ記録部１０４により記録媒体２００に記録された記録データをすぐに読出して再生するようにしてもよい。こうすることで、記録媒体から再生するときと同じようにステレオ撮影中の３次元映像を表示し、内容を確認することができる。
【００５４】
また、本発明は、記録データを通信路に送信する映像送信装置に対して適用することも可能である。
【００５５】
［第２の実施の形態］
図７は、映像データを送信する映像送信装置１４０と映像データを受信する映像受信装置１５０を伝送路１６０により接続し、伝送路１６０を介して、映像データのほか接続先の装置を制御するためのコマンドのやり取りを行うようにした映像再生システムである。
【００５６】
図８は、映像送信装置１４０の構成例を示すブロック図である。
図８において、図１と同一部分には同一符号が付して、その説明は繰り返さない。映像送信装置１４０は、機能選択部１０１と、撮像部１０２と、３Ｄ情報生成部１０３と、データ記録部１４１と、制御部１０５と、データ読出し部１４２と、映像変換部１０７と、表示部１０８と、送信部１４３と、受信部１４５と、記録媒体２００とを含む。
【００５７】
以上のように構成された映像送信装置１４０について、以下、その動作を説明する。しかしながら、撮影が開始されてから記録データが記録媒体２００に記録されるまでの動作は、上述した第１の実施の形態と同様であるので、ここでの説明は省略する。
【００５８】
データ記録部１４１は、映像データと３Ｄ情報を所定の記録フォーマットにしたがって多重化した多重化データを記録媒体２００に記録するほか、前記多重化データを送信部１４３に対して出力する。あるいは、データ読出し部１４２は記録媒体２００に記録されている多重化データを読み出し、送信部１４３に対して出力する。
【００５９】
送信部１４３は、データ記録部１４１またはデータ読出し部１４２から入力されたデータを所定の通信規約に定められる形式のパケットに格納して、伝送路１６０に送信する。
【００６０】
伝送路１６０としては、ＩＥＥＥ１３９４（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ １３９４）規格やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格のシリアルバス等が使用される。本実施の形態においてはＩＥＥＥ１３９４規格のシリアルバスを使用する場合について説明する。
【００６１】
ＩＥＥＥ１３９４規格では、データ伝送の方式として、アシンクロナス通信方式とアイソクロナス通信方式の２種類の通信方式があるが、映像データをリアルタイム伝送する場合には、事前に保証された帯域を確保できるアイソクロナス通信方式を使用する。
【００６２】
図９は、ＩＥＥＥ１３９４規格のアイソクロナス通信方式におけるパケット形式を示す図である。
【００６３】
図９に示すようにパケット６００は、パケットヘッダ６０１と、パケットヘッダ６０１に対するＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）であるヘッダＣＲＣ６０２と、伝送するデータを格納するための領域であるデータフィールド６０３と、データフィールドに対するＣＲＣであるデータＣＲＣ６０４とを含む。
【００６４】
さらに、データフィールドは、伝送するデータであるデータ６３２と当該データ６３２の属性を示すＣＩＰ（Ｃｏｍｍｏｎ Ｉｓｏｃｈｒｏｎｏｕｓ Ｐａｃｋｅｔ）ヘッダ６３１からなる。ＣＩＰヘッダ６３１にはデータ６３２のサイズや同期のための時間情報などが記録される。
【００６５】
記録方式にＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）方式を用いた場合、データ記録部１４１またはデータ読み出し部１４２から送信部１４３へ、図４に示されるようなトラックデータが、トラック同期信号と共に入力される。送信部１４３は、入力されたトラックデータを８０バイトのデータブロック（３バイトはＩＤに使用される）に分割する。
【００６６】
図１０は、分割されたデータブロックの伝送順を示す図である。
図１０において、ブロックＨ０は図４におけるＩＴＩ３０１等の記録データを格納するブロックであり、ブロックＳＣｉ（ｉ＝０，１）は図４におけるサブコード記録領域３０４の記録データを、ブロックＶＡｊ（ｊ＝０、１，２）は、図５における領域ＶＡＵＸα４０２およびＶＡＵＸβ４０４の記録データを、ブロックＶｋ（ｋは０から１３４までの整数）は、図５における映像符号化領域４０３の記録データを、ブロックＡｍ（ｍは０から８までの整数）は図４における音声記録領域３０２の記録データを分割したデータブロックを示している。またデータブロックの上側の数字は伝送順を示している。
【００６７】
送信部１４３は、図１０に示す伝送順となるように６データブロックを１パケットに格納して、通信路１６０に送信する。したがって１トラックあたり２５パケットが送信される。前述のようにＶＡＵＸ領域に３Ｄ情報を格納した場合、各トラックにおける最初のパケットにより３Ｄ情報が伝送されることになる。
【００６８】
なお、伝送されるパケットに３Ｄ情報が含まれているか否かを示す情報をパケットヘッダに付けて伝送するようにしてもよい。例えば、前述のアイソクロナス通信方式の場合には、３Ｄ情報が含まれているか否かを示す情報を図９に示すＣＩＰヘッダ６３１の拡張領域に記録するようにしてもよい。
【００６９】
次に、映像受信装置１５０について説明する。
図１１は、映像受信装置１５０の構成例を示すブロック図である。
【００７０】
図１１に示すように、映像受信装置１５０は、通信路１６０を介してデータを受信する受信部１５１と、多重化されたデータを分離するデータ分離部１５２と、受信データ中の３Ｄ情報の有無と制御情報を出力する制御部１５３と、符号化された映像データを復号する映像復号部１５４と、映像データのデータ形式を変換する映像変換部１５５と、３次元表示と２次元表示の２つの表示モードが切り替え可能な表示部１５６、送信部１５８とを含む。
【００７１】
次に、以上のように構成された映像受信装置１５０について、一般的な動作を説明する。
【００７２】
受信部１５１は、通信路１６０からパケット化された受信データを受信し、パケットヘッダ等を除いて図９に示したデータ６３２を抽出し、データ分離部１５２に対して出力する。また、パケットのヘッダ部分から該パケットに３Ｄ情報が含まれているか否かの情報を読み取り、３Ｄ情報の有無（「あり」、「なし」および「不定」のいずれかの値をとる）として、データ分離部１５２に出力する。
【００７３】
データ分離部１５２は、受信部１５１から入力された多重化データから映像データを分離し、映像復号部１５４に対して出力する。また、３Ｄ情報の有無が「あり」を示す場合には、多重化データから３Ｄ情報を分離して、制御部１５３に対して出力する。
【００７４】
３Ｄ情報の有無が「不定」を示す場合には、受信部１５１から入力された多重化データの中から３Ｄ情報開始コードを検索し、３Ｄ情報が該多重化データに含まれているか否かを判定する。３Ｄ情報が存在する場合、前記３Ｄ情報開始コード以降の所定バイト数のデータを３Ｄ情報として抽出する。
【００７５】
例えば、前述のように映像送信装置１４０においてＤＶ形式のデータがパケット化されて送信された場合、受信部１５１は１トラック分のデータを受信したのち、図４に示したトラックデータを再構成し、データ分離部１５７に出力する。
【００７６】
また前述のＣＩＰヘッダ６３１の時間情報から同期信号（図示しない）を復元する。この同期信号により受信した映像データを同期して表示することができる。
【００７７】
データ分離部１５２は、データ受信部１５１により入力されたトラックデータから音声データ、映像データおよびサブコードに分離する。さらに、分離された映像データを、図５に示すように映像符号化データ記録領域４０３に格納されている映像符号化データとＶＡＵＸ領域に格納されている付随情報に分離し、映像符号化データは映像復号部１５４に対して出力する。また附随情報から３Ｄ情報を抽出して制御部１５３に出力する。
【００７８】
映像復号部１５４は、データ分離部１５２から入力された映像データが符号化されている場合には、所定の方式で復号処理を行う。それ以外の場合には入力された映像データをそのまま映像変換部１５５に対して出力する。
【００７９】
制御部１５３は、３Ｄ情報の中のバージョン情報を参照し、解釈可能な３Ｄ情報のバージョン番号以前のバージョンを解釈可能と判定する。３Ｄ情報の各項目が解釈可能ならば、解釈した３Ｄ情報を基に映像変換部１５５を制御するための制御情報を映像変換部１５５に対して出力する。３Ｄ情報が抽出されない場合には３Ｄ情報が存在しない旨を示す情報を映像変換部１５５に対して出力する。
【００８０】
なお、バージョンの違いにより３Ｄ情報が解釈できない場合には処理を中止してもよいし、少なくとも３次元映像であることはわかるため、デフォルトの制御情報を映像変換部１５５に対して出力するようにしてもよい。
【００８１】
３Ｄ情報から入力された映像データの形式を知ることができる。例えば、３Ｄ情報の内容が図１２に示すものである場合、「水平方向の視点数」、「垂直方向の視点数」、「映像結合」、「映像配置」、「水平方向の縮小」、「垂直方向の縮小」および「縮小比」のパラメータにより、映像データは図２０（ｂ）で示されるような水平方向に１／２に縮小された左右の映像が水平方向に結合された形式であると判別できる。
【００８２】
さらに、制御部１５３は、３Ｄ情報の有無（ここでは「あり」、「なし」のいずれかの値をとる）および表示部１５６における表示モードを決定する。３Ｄ情報が存在する場合、３Ｄ情報の有無を「あり」、表示モードを「３Ｄ」とし、３Ｄ情報が存在しない場合、３Ｄ情報の有無を「なし」、表示モードを「２Ｄ」とする。ただし、表示モードについては、ユーザにより表示モードが指定された場合には、３Ｄ情報の有無の値にかかわらず、ユーザ指定の表示モードを出力する。制御部１５３は、３Ｄ情報の有無をスイッチＳＷ１に、表示モードを表示部１５６に対して出力する。
【００８３】
スイッチＳＷ１は、３Ｄ情報の有無が「あり」を示す場合、画像変換部１５５の出力が表示部１５６へ入力されるように切り替わり、３Ｄ情報の有無が「なし」を示す場合、映像復号部１５４の出力が表示部１５６に入力されるように切り替わる。
【００８４】
映像変換部１５５では、制御部１５３から入力された制御情報に応じて、映像復号部１５４から入力された映像データを表示部１５６で表示可能な形式に変換する。
【００８５】
ここで表示部１５６における３次元表示の例について説明する。表示部１５６の画面全体に３次元映像を表示する場合、制御部１５３は、入力された映像データの画素を水平方向に１画素おきに並べ換えて表示部１５６にあわせた形式に変換するように映像変換部１５５に対して制御情報を出力する。表示部１５６に表示された映像を視聴者が３次元映像を見ることができる。
【００８６】
なお、入力された映像データの解像度と表示部１５６の解像度が一致しない場合には、映像データに解像度変換を施して全画面表示してもよいし、解像度はそのままで表示部１５６の画面の中央部分に表示するようにしてもよい。
【００８７】
一方、図１３（ａ）に示すように、画面７０１の一部に表示用の窓７０２を設けて、窓７０２の中に３次元映像を表示する場合、制御部１５３は、窓７０２の中に表示する３次元映像については前述の全画面表示の場合と同様に変換し、窓７０２以外の２次元表示の部分については左右の眼に同じ映像が見えるように、単視点の画像を二重に並べるように映像変換部１５５に対して制御情報を出力する。
【００８８】
また図１３（ｂ）に示すように、３次元表示の窓７０２の上に２次元表示の窓７０３を表示する場合には、画面全体において２次元表示を行うようにしてもよい。
【００８９】
なお、図１２の項目「２Ｄ映像」は、３次元映像を２次元表示する際に表示すべき視点の映像を示している。例えば、図１２の場合には、ユーザ指定による表示モードが「２Ｄ」の場合、「２Ｄ映像」で指定された左眼映像を表示する。図２０（ｂ）の場合なら左眼映像を水平方向に２倍に拡大する。ただし、２次元表示にどの視点の映像を用いるかは、これに限定されるものではなく、映像受信装置１５０において予め決められた視点の映像を表示するようにしてもよいし、ユーザ指定により選択できるようにしてもよい。これは「２Ｄ映像」が不定値である場合にも同様である。
【００９０】
また、図１２の「飛び出し量調整」は、表示部１５６の表示面から３次元映像が飛び出して見える量を示している。
【００９１】
飛び出し量について、図１４を用いて説明する。図１４において、左眼映像の画素Ｌ１は表示位置８０１に表示され、右眼映像の対応する画素Ｒ１は表示位置８０２に表示される。これらの画素は位置８０３に結像する。
【００９２】
ここで、右眼映像の画素Ｒ１の表示位置を左に移動して８０２から８０４に変更すると、位置８０３に像を結んでいた映像が位置８０５に見えるようになる。位置８０５は位置８０３と比べて手前にあるため、表示面から飛び出して見えるようになる。逆に画素Ｒ１を８０２よりも右に移動させると、位置８０３に像を結んでいた映像が表示面よりも奥に見えるようになる。ここで、画素Ｒ１を画素Ｌ１の対応点と呼ぶ。
【００９３】
このように「飛び出し量調整」により指定された飛び出し量を実現するために、制御部１５３は左右いずれかの映像を、水平方向に所定の画素数だけシフトさせるように、映像変換部１５５に対して制御情報を出力する。
【００９４】
図１５は右眼映像を左にシフトした場合を示す図である。
図１５（ａ）はシフト前の状態を示しており、表示画面の全域が３次元表示されている。図１５（ｂ）はシフト後の状態を示しており、右眼映像をシフトさせた結果、右眼映像のうち点線で示した領域９０１が表示画面の外にでるため映像全体は表示できなくなる。
【００９５】
図１６はこのときの表示例を示す図である。図１６（ａ）はシフトした右眼映像を表示せず、右眼映像をシフトすることにより、左眼映像のうち対応点のなくなった部分を２次元表示する場合である。図１６（ｂ）は反対に右眼映像を残して左眼映像を表示しない場合を示しており、図１６（ａ）と同様に右眼映像のうち対応点のなくなった部分を２次元表示している。図１６（ｃ）は対応点のある部分のみを３次元表示した場合を示している。
【００９６】
また、図１２の項目「調整基準映像」は、飛び出し量を調整した結果、２次元表示として残す映像を示すためのものであり、「調整基準映像」として左眼映像が指定された場合は図１６（ａ）に示されるようになり、「調整基準映像」として右眼映像が指定された場合は図１６（ｂ）に示されるようになる。
【００９７】
なお、「飛び出し量調整」および「調整基準映像」は、映像受信装置１５０において予め決められた設定を用いてもよいし、ユーザ指定により変更できるようにしてもよい。ユーザ指定により変更する場合、シフトする側の映像と調整基準映像は一致するように選択してもよいし、別々に選択するようにしてもよい。
【００９８】
また、図１２の項目「上下ずらし調整量」は、左右映像における垂直方向の調整量を示すためのものである。図１７（ａ）に示したように撮影時に左右映像に上下のずれが生じた場合に、図１７（ｂ）のようにずれを補正するために使用される。図１２の例ではシフトの方向は正負の符号で表現しており、−３は下方向に３画素シフトすることを示している。ここでは、シフトの方向は正負の符号で表現しているが、シフトする画素数と分離して「上下ずらし方向」として独立に指定できるようにしてもよい。シフトする映像は前述の「調整基準映像」に基づいて決定する。
【００９９】
また、図１２の項目「３Ｄ表示強度」および「３Ｄ表示制限閾値」は、３次元映像を視聴しつづけると、健康に悪影響を及ぼす可能性があることから、３次元映像の視聴制限を行うために使用される。３次元映像の表示中に所定の周期で「３Ｄ表示強度」を加算した累積強度が、所定の視聴制限閾値を越えた場合に、制御部１５３は表示モードを「３Ｄ」から「２Ｄ」に切り替え、画像変換部１５５において３次元映像が２次元映像に変換するように制御情報を出力する。表示部１５６では強制的に２次元表示に切替えるられる。この場合、所定の時間が経過した後に、２次元表示と３次元表示の切替を可能とするが、それまではユーザの操作による３次元表示への切替は禁止される。なお、視聴制限閾値としては「３Ｄ表示制限閾値」の値を使用してもよいし、この値を基に映像受信装置１５０で補正した値を用いてもよい。
【０１００】
［第３の実施の形態］
次に、図１１に示した映像受信装置１５０において、映像送信装置１４０に装着された記録媒体２００に記録されている映像コンテンツの一覧を作成し、ユーザに提示する方法について説明する。
【０１０１】
ここでは前述のように記録方式としてＤＶ方式を使用する場合を例にあげる。また、映像データを記録媒体２００に記録する際に、図１８に示すように、３Ｄ情報のうち高速サーチ時に必要となる要素を図４のサブコード領域３０４に予め記録しておき、映像送信装置１４０は記録媒体を高速サーチする際に、記録媒体２００から読み出したデータのうちサブコードのみをパケット化して、伝送路１６０に送信するものとする。
【０１０２】
映像受信装置１５０は、通信路１６０からパケットを受信し、最初に受信したタイムコードを最初の映像コンテンツの開始位置とする。パケットに３Ｄ情報が含まれていれば、属性を３Ｄとし、そうでなければ２Ｄとする。次に３Ｄ情報の有無に変化があった時点、つまり前記属性が３Ｄの場合には３Ｄ情報があり→なしに変化したとき、または前記属性が２Ｄの場合には３Ｄ情報がなし→ありに変化したときを、次の映像コンテンツの開始位置とし、以降３Ｄ情報の有無に変化があるたびに同一の手順が行われる。
【０１０３】
映像コンテンツが３Ｄの場合には、制御部１５３は「３Ｄ映像タイプ」と「３Ｄ表示強度」を読み取り、図１９に示すような映像コンテンツの分類情報をリストとしてユーザに提示する。このとき、リストに表示する「３Ｄ映像タイプ」および「３Ｄ表示強度」については、制御部１５３において映像コンテンツの開始から終了までの統計をとり、最頻値を提示するものとするが、表示する値はこれに制限されるものではなく、最大値、最小値、中央値あるいは平均値であってもよい。
【０１０４】
映像受信装置１５０は、送信部１５８により、ユーザにより選択された映像コンテンツの伝送を要求するコマンドを映像送信装置１４０に対して送信する。映像送信装置１４０は受信部１４５により、そのコマンドを受けて、映像コンテンツの再生し、映像コンテンツの伝送を開始する。
【０１０５】
なお、映像受信装置１５０にハードディスクやメモリなどの記録媒体が設けられ、受信したデータをファイルとして記録する場合、前述のようにヘッダ部には受信した３Ｄ情報を記録するが、この３Ｄ情報のうち「立体画像タイプ」と「３Ｄ表示強度」には、リストに表示した値を記録するようにしてもよい。
【０１０６】
また、上記の実施の形態では記録媒体として磁気テープを用いる場合について述べたが、ファイルシステムが構築されたＩＣメモリや光磁気ディスク、ハードディスクなどの記録媒体を用いて、リスト情報を映像データとは別のファイルとして記録してもよい。
【０１０７】
また、本発明は記録媒体から映像データを読み出す映像再生装置に対して適用することも可能である。
【０１０８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１０９】
【発明の効果】
以上説明したとおり、本発明によれば、通信路から所定の形式の映像データおよび映像データの付随情報を受信する受信手段を備えた映像受信装置または、記録媒体に記録された映像データおよび映像データの付随情報を読み出す手段を備えた映像再生装置において、映像データを３次元表示するための付加情報を付随情報から検出する検出手段を備え、検出手段により付加情報が検出された場合に、映像データを３次元表示することで、汎用性を持たせた３次元映像を視聴することを容易に行うことができるという効果が得られる。
【０１１０】
あるいは、好ましくは、本発明では、付加情報の有無に応じて、映像データを、付加情報の付加された３次元映像とそれ以外の２次元映像に分類した分類情報を作成することで、汎用性を持たせた３次元映像を視聴することを容易に行うことができるという効果が得られる。
【０１１１】
あるいは、好ましくは、本発明では、分類情報に基づいて選択した映像データを再生することで、汎用性を持たせた３次元映像を視聴することを容易に行うことができるという効果が得られる。
【０１１２】
あるいは、好ましくは、本発明では、分類情報に基づいて選択した映像データを記録媒体に記録する記録手段を備えることで、汎用性を持たせた３次元映像を視聴することを容易に行うことができるという効果が得られる。
【０１１３】
あるいは、好ましくは、本発明では、分類情報を記録媒体に記録する記録手段を備えることで、汎用性を持たせた３次元映像を視聴することを容易に行うことができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明における第１の実施の形態による映像記録装置の構成例を示す図である。
【図２】本発明における付加情報の一例を示す図である。
【図３】磁気テープのトラック構成例を示す図である。
【図４】磁気テープのトラックのフォーマットを示す図である。
【図５】磁気テープのトラックフォーマットの映像記録領域のフォーマットを示す図である。
【図６】本発明における映像データのファイルへの記録形式の一例を示す図である。
【図７】本発明における第２の実施の形態による映像再生システムの構成例を示す図である。
【図８】本発明における第２の実施の形態による映像送信装置の構成例を示す図である。
【図９】パケットの構成例を示す図である。
【図１０】ＤＶ形式におけるデータブロックの伝送順を示す図である。
【図１１】本発明における第２の実施の形態による映像受信装置の構成例を示す図である。
【図１２】本発明における付加情報の一例を示す図である。
【図１３】３次元表示の例を示す図である。
【図１４】飛び出し量調整の原理を説明するための図である。
【図１５】飛び出し量調整時の画像形式の変化を説明するための図である。
【図１６】飛び出し量調整時の表示方法を説明するための図である。
【図１７】垂直位置の調整を説明するための図である。
【図１８】本発明において３Ｄ情報のうち高速サーチ時に必要となる要素の一例を示す図である。
【図１９】本発明における分類情報の一例を示す図である。
【図２０】ステレオアダプタを装着した際の撮影画面を説明するための図である。
【図２１】パララクスバリア方式の原理を説明するための図である。
【符号の説明】
１００ 立体映像記録装置、１０１ 機能選択部、１０２ 撮像部、１０３ ３Ｄ情報生成部、１０４，１４１ データ記録部、１０５ 制御部、１０６，１４２ データ読出し部、１０７ 映像変換部、１０８，１５６ 表示部、１４０映像送信装置、１４３ 送信部、１４５ 受信部、１５０ 映像受信装置、１５１ 受信部、１５２ データ分離部、１５３ 制御部、１５４ 映像復号部、１５５ 映像変換部、１５６ 表示部、１５８ 送信部、１６０ 通信路、２００ 記録媒体。

Claims (10)

1. 映像受信装置であって、
   通信路から所定の形式の映像データと前記映像データの付随情報を受信する受信手段と、
   前記映像データを３次元表示するため情報であって少なくとも前記所定の形式を示す付加情報を前記付随情報から検出する検出手段と、
   前記検出手段により前記付加情報が検出された場合に、前記映像データを前記所定の形式に従う３次元表示するための信号を生成する手段とを備えることを特徴とする、映像受信装置。
2. 前記付加情報の有無に応じて、前記映像データを、前記付加情報の付加された３次元映像とそれ以外の２次元映像に分類した分類情報を作成することを特徴とする、請求項１に記載の映像受信装置。
3. 前記分類情報に基づいて選択した映像データを再生することを特徴とする、請求項２に記載の映像受信装置。
4. 前記分類情報に基づいて選択した映像データを記録媒体に記録する記録手段を備えることを特徴とする、請求項２に記載の映像受信装置。
5. 前記分類情報を記録媒体に記録する記録手段を備えることを特徴とする、請求項２に記載の映像受信装置。
6. 映像再生装置であって、
   記録媒体に記録された映像データおよび前記映像データの付随情報を読み出す手段と、
   前記映像データを３次元映像として表示するための情報であって少なくとも前記所定の形式を示す付加情報を前記付随情報から検出する手段と、
   前記検出手段により前記付加情報が検出された場合に、前記映像データを前記所定の形式に従う３次元表示するための信号を生成する手段とを備えることを特徴とする、映像再生装置。
7. 前記付加情報の有無に応じて、前記映像データを、前記付加情報の付加された３次元映像とそれ以外の２次元映像に分類した分類情報を作成することを特徴とする、請求項６に記載の映像再生装置。
8. 前記分類情報に基づいて選択した映像データを再生することを特徴とする、請求項７に記載の映像再生装置。
9. 前記分類情報に基づいて選択した映像データを前記記録媒体に記録する記録手段を備えることを特徴とする、請求項７に記載の映像再生装置。
10. 前記３次元映像と前記２次元映像の分類情報を記録媒体に記録する記録手段を備えることを特徴とする、請求項７に記載の映像再生装置。

Images