JP2010220186A - 映像変換装置、映像出力装置、映像変換システム、映像、記録媒体、映像変換方法 - Google Patents

Abstract

【課題】 映像の立体映像表示用の画素配置変換をハードウェア上で実現する。
【解決手段】 本発明の映像変換装置は、映像出力装置より複数視点の映像を映像信号として受信する受信手段と、該受信手段により受信した該複数視点の映像をフレームごとに記憶素子に記憶する記憶手段と、該記憶手段により該記憶素子に記憶された該複数視点の映像の画素配置を、予め設定された変換制御情報に基づいて立体映像表示用の画素配置に変換する指示を制御する変換制御手段と、該変換制御手段からの指示により、該画素配置を即時変換する変換手段と、該変換手段により該画素配置を変換された映像を映像信号として立体映像表示装置に送信する送信手段と、を備えたことにより、複数視点の映像の立体映像表示用の画素配置変換をハードウェア上で実現する。
【選択図】 図１

Description

本発明は、複数視点の映像の画素配置を、立体映像表示用の画素配置に変換する映像変換装置に関する。

パララックスバリア方式、レンチキュラー方式等を用いて、ユーザに視差を起こさせることにより、映像の立体視を実現する立体映像表示装置が特許文献１などにより従来から周知である。

ここで、映像の立体視には、立体映像表示装置に立体表示用の映像を送信することが必要である。具体的には、立体映像を表示させようとする立体映像表示装置に対応した画素配置により予め制作した映像を送信するか、または既存の映像の画素配置を立体映像表示装置に対応した画素配置に変換することが必要である。

映像の画素配置を立体映像表示装置に対応した画素配置に変換する既存の技術として、特許文献１には映像の画素配置をパララックスバリア方式の立体映像表示装置に対応した画素配置に変換する技術が段落００８８および図１に開示されている。この段落００８８および図１には、装置内に映像の画素配置を立体表示用に変換する技術的解決手段として、画像合成回路が備えられた立体映像表示装置が開示されている。

また、非特許文献１には、パーソナルコンピュータ上において実行する、映像の画素配置を立体表示用に変換するためのソフトウェアが開示されている。

特開２００４−１７９８０６（２００４年６月２４日公開）

Ｖｉｓｕｍｏｔｉｏｎ ＧＭＢＨが提供するソフトウェアである「Ｄｉｓｐｌａｙ Ｃｏｎｆｉｇｕｒａｔｏｒ」および「３Ｄ Ｍｏｖｉｅ Ｃｅｎｔｅｒ」のマニュアル

しかしながら、特許文献１にかかる立体映像表示装置は、前述の通り、映像の画素配置を立体表示用に変換する手段を装置内に備えていることから、高価となる。

しかも、映像の画素配置を立体表示用に変換するため、パララックスバリアとの調整に精度を有し、キャリブレーションも容易ではない。

なお、かかる問題は、映像を立体映像表示装置に出力する側の装置である地上波、衛星放送、インターネット上からのストリーミングまたはダウンロードにより取得するセットトップボックス、もしくはスタンドアローンのＤＶＤプレーヤー、Ｂｌｕ−ｒａｙ（登録商標）プレーヤー等の再生機器（録画機能を持つものも含める）の装置内に映像の画素配置を立体表示用に変換する手段を備えたとしても、同様に起こりうることである。

そして、パーソナルコンピュータが非特許文献１にかかるソフトウェアを実行して、映像の画素配置を立体表示用に変換しようとすることは、高速のCPU、大容量のメモリ、高性能グラフィックボードなど、リソースの消費が大きく高価であり、調達も困難である。また、パーソナルコンピュータ特有のソフトウェアのインストールからコンテンツの登録、OS、ソフトウェアの起動、ソフトウェアの終了、OSのシャットダウン、フリーズ、故障など、現場でのオペレーションには労力を要し、安定した運営が困難である。

そのため、非特許文献１にかかるソフトウェアを実行する専用のパーソナルコンピュータが事実上必要となる。

上記の問題点は、いずれも立体映像表示技術の普及にあたっての障害となっている。

そこで、本発明は、上記の障害を一掃し、安価かつ、実用性に富んだ立体映像表示技術を提供することを課題とする。具体的には、映像の、立体映像表示装置に対応した画素配置変換を、ハードウェア上において実現する。

上記課題を解決するために、本発明にかかる映像変換装置は、映像出力装置より複数視点の映像を映像信号として受信する受信手段と、該受信手段により受信した該複数視点の映像をフレームごとに記憶素子に記憶する記憶手段と、該記憶手段により該記憶素子に記憶された該複数視点の映像の画素配置を、予め設定された変換制御情報に基づいて立体映像表示用の画素配置に変換する指示を制御する変換制御手段と、該変換制御手段からの指示により、該画素配置を即時変換する変換手段と、該変換手段により該画素配置を変換された映像を映像信号として立体映像表示装置に送信する送信手段と、を備えたことを特徴とする。

上記の特徴によれば、本発明にかかる映像変換装置は、映像出力装置および立体映像表示装置とは別の装置であるため、既存の映像出力装置および立体映像表示装置をそのまま流用して、立体映像を提供することが可能となる。

前記送信手段は、前記受信手段が前記映像出力装置より受信する映像信号と、同一規格の映像信号を前記立体映像表示装置に送信することが好ましい。

上記の特徴によれば、前記映像変換装置を介しても映像信号の規格が変わらないため、映像出力装置は本発明にかかる映像変換装置に対して、仮に映像変換装置を介さない場合に立体映像表示装置に直接送信する映像信号に何ら変更を加えることなく、同一規格の映像信号を送信することができるため、既存の映像出力装置および立体映像表示装置をそのまま流用できる。

前記受信手段は、電気的接続または無線通信により前記映像出力装置から映像信号を受信し、前記送信手段は、電気的接続または無線通信により前記立体映像表示装置に対し映像信号を送信することが好ましい。

上記の特徴によれば、本発明にかかる映像変換装置は、電気的接続または無線通信の簡易な設定をするだけで立体映像表示が可能となる。

前記受信手段は、各視点用の映像を形成する画像がフレーム内を分割してタイル状に配置した画像により形成された、一映像である前記複数視点の映像を映像信号として受信することが好ましい。

前記受信手段は、非可逆性圧縮された映像を前記映像出力装置により解凍した、映像である前記複数視点の映像を映像信号として受信することが好ましい。

前記受信手段は、各視点用の映像（ｋ視点映像）を形成する画像（ｋＦｔ、ｔ＝１〜ｌ）が、同一時間フレームごとに視点映像順（ｋ＝１〜ｎ）に並べられ、さらに時間方向に配列された画像(Ｆ’ｔ’、ｔ’＝１〜ｎ・ｌ)により形成された映像である前記複数視点の映像を映像信号として受信することが好ましい。

前記受信手段は、各視点用の映像（ｋ視点映像）を形成する画像の同一走査線画像情報（Ｓｉ、ｉ＝１〜ｊ）が視点映像順（ｋ＝１〜ｎ）に並べて該走査線画像情報の全てを1フレームの画像に配置された画像（Ｓ’ｉ’、ｉ＝１〜ｎ・ｊ）により形成された映像である前記複数視点の映像を映像信号として受信することが好ましい。

上記の特徴によれば、本発明にかかる映像変換装置は、既存の映像ファイルの規格をそのままそのまま利用して、立体映像表示を可能とする。
＜映像情報認識手段＞
前記受信手段は、さらに、電気的接続または無線通信により外部記憶手段に記憶された変換制御情報を制御信号として受信し、前記変換制御手段は、該受信手段が該制御信号を受信したときは、前記記憶手段により前記記憶素子に記憶された前記複数視点の映像の画素配置を、前記予め設定された変換制御情報に代えて、該外部記憶手段に記憶された変換制御情報に基づいて立体映像表示用の画素配置に変換する指示を制御することが好ましい。

上記の特徴によれば、外部記憶手段により、新たな変換制御情報を映像変換装置に追加することができる。

前記受信手段は、さらに、前記映像出力装置より平面映像を映像信号として受信し、該映像信号とは別に、制御信号を受信し、前記変換制御手段は、該受信手段が映像出力装置より受信した映像が前記複数視点の映像であるか該平面映像であるか、該複数視点の映像と該平面映像とが混在する映像であるかの、該制御信号に基づく判別を制御し、該映像が該複数視点の映像または該複数視点の映像と該平面映像とが混在する映像であると判別したときに限り、該複数視点の映像の立体映像表示用の画素配置への変換する指示を制御し、前記送信手段は、さらに、該平面映像を映像信号として前記立体映像表示装置に送信することが好ましい。

上記の特徴によれば、映像出力装置からの制御信号により、該複数視点の映像に対応した、新たな変換制御情報を映像変換装置に追加することができる。

前記映像変換装置は、映像情報解析手段をさらに備え、前記受信手段は、前記制御信号および前記複数視点の映像に代えて、前記複数視点の映像の先頭フレームまたは全フレームの所定の位置に映像情報として定義された複数の画素情報が所定の配置パターンに基づいて埋め込まれた映像を映像信号として受信し、該映像情報解析手段は、該所定の配置パターンに基づいて該画素情報の埋め込まれた位置を特定して、該映像情報を照合するヘッダーの有無を判別し、ヘッダーがあるときは、該映像情報を解析し、前記変換制御手段は、該ヘッダーの有無により、該映像が複数視点の映像か平面映像かの判別をさらに制御し、該映像が該複数視点の映像であると判別したときに限り、該映像情報解析手段により解析された該映像情報に基づいて該複数視点の映像を立体映像表示用の画素配置へ変換する指示を制御し、前記送信手段は、該変換手段により該画素配置を変換された映像または平面映像を映像信号として前記立体映像表示装置に送信することが好ましい。

上記の特徴によれば、映像に埋め込まれた映像情報により、該複数視点の映像に対応した、新たな変換制御情報を映像変換装置に追加することができる。

前記受信手段は、前記複数視点の映像と、平面映像と、が一の映像として混在する映像を映像信号として受信し、前記映像情報解析手段は、該混在する映像の全フレームの該映像情報を解析し、該混在する映像のフレームが該複数視点の映像であると判別したときに限り、該複数視点の映像の立体映像表示用の画素配置への変換する指示を制御し、前記送信手段は、さらに、該平面映像を映像信号として前記立体映像表示装置に送信することが好ましい。

上記の特徴によれば、本発明にかかる映像変換装置は、一の映像ファイルに複数視点の映像と平面映像が混在していても、複数視点の映像のフレームのみを変換することができる。特に、従来は平面映像のフレームであってもタイル分割して同じ映像を複数配置したものを用意する必要があり、平面映像時の解像度が落ちるという問題があったが、平面映像にあっては通常の平面映像のように一の映像をフレーム全体に配置した映像を用いることができるようになり、平面映像時にタイル分割して同じ映像を複数配置したものを用意する必要がなくなった。

前記変換制御手段は、前記映像情報解析手段により解析された前記映像情報に基づいて、前記複数視点の映像の走査方式と、該複数視点の映像の解像度と、該複数視点の映像の視点数と、前記立体映像表示装置の視点数と、の少なくとも１つを認識して制御し、前記予め設定された変換制御情報に代えて、該走査方式と、該複数視点の映像の解像度と、該複数視点の映像の視点数と、該立体映像表示装置の視点数と、に基づいて該複数視点の映像を立体映像表示用の画素配置へ変換する指示を制御することが好ましい。

上記の特徴によれば、本発明にかかる映像変換装置は、映像ファイルに埋め込まれた映像情報をユーザが別途入力することなく自ら認識して、該映像情報に基づいて複数視点の映像を立体映像表示用の画素配置へ変換することができる。

前記受信手段は、同一の映像情報として定義された画素情報がＸＹ方向に連続して複数配置された画素マトリクスが、所定の配置パターンに基づいて複数埋め込まれた映像を映像信号として受信し、前記映像情報解析手段は、該所定の配置パターンに基づいて該画素マトリクスの埋め込まれた位置を特定し、該画素マトリクスの所定位置の該映像情報を解析することが好ましい。

上記の特徴によれば、本発明にかかる映像変換装置は、映像情報解析手段が画素マトリクス所定位置の映像情報を解析することにより、埋め込み位置周囲の画素から影響を受けても本来定義された映像情報を解析することができる。

前記映像情報解析手段は、中心位置の画素情報または中心位置周辺の複数の画素情報の平均値により映像情報を解析することが好ましい。

上記の特徴によれば、映像情報解析手段が埋め込み位置周囲の画素から影響を特に受けにくい中心位置の画素情報または中心位置周辺の複数の画素情報の平均値により映像情報を解析することにより、より映像情報を確実に解析することができる。

前記受信手段は、前記画素マトリクスが、前記複数視点の映像の上端に沿って埋め込まれている映像を映像信号として受信することが好ましい。

上記の特徴によれば、画素マトリクスはユーザからは目立たない複数視点の映像の上端に埋め込まれているため、画素マトリクスを埋め込むことによる映像の品質の低下が防げる。

前記受信手段は、前記画素マトリクスの外周部分に、前記画素情報に代えて、該画素マトリクスに隣接する画素と、該画素情報と、の中間値の画素または両画素に所定の重み付けをして補間した画素が配置された該画素マトリクスが所定の配置パターンに基づいて複数埋め込まれた映像を映像信号として受信することが好ましい。

上記の特徴によれば、画素マトリクスを埋め込むことによる映像への影響を低減することができる。

前記受信手段は、前記画素情報の所定桁数の上位ビットのみが映像情報として定義された映像を映像信号として受信し、前記映像情報解析手段は、該複数の画素情報の該所定の桁数の上位ビットのみを参照して映像情報を解析することが好ましい。

上記の特徴によれば、画素情報は上位ビットのみが映像情報として定義され、映像情報解析手段は上位ビットのみを参照して映像情報を解析することにより、画素情報の値が変化しても、解析結果に影響が出ない。

前記受信手段は、前記立体映像表示装置より制御信号を受信し、前変換制御手段は、該制御信号に基づいて、該立体映像表示装置の走査方式と、該立体映像表示装置の解像度と、該立体映像表示装置の視点数と該立体映像表示装置の画素配置方法と、の少なくとも１つを認識して制御し、前記予め設定された変換制御情報に代えて、該立体映像表示装置の走査方式と、該立体映像表示装置の解像度と、該立体映像表示装置の視点数と、該画素配置の変換方法と、に基づいて該複数視点の映像を立体映像表示用の画素配置へ変換する指示を制御することが好ましい。

上記の特徴によれば、立体映像表示装置からの制御信号により、該複数視点の映像に対応した、新たな変換制御情報を映像変換装置に追加することができる。

前記画素配置方法は、１以上の画素の組み合わせを繰り返すことによって形成され、１画素を構成する行数と、該１画素を構成するサブピクセル数と、該画素の組み合わせ内で連結される画素数と、該画素ごとの連結位置摂動サブピクセル数と、からなることが好ましい。

前記受信手段は、不可視領域と、上方から下方に所定の傾きでスリットもしくは穴が連続するようスリット状に複数配置された透過領域とにより形成されたパララックスバリアをモニター前面に所定の空隙を設けて貼り付けられた前記立体映像表示装置により、画素を構成するサブピクセルのサイズと、該透過領域の平均傾きと、該スリットもしくは該穴の水平方向の該透過領域の平均幅に相当するサブピクセル数と、隣り合う該スリットもしくは該穴の中心間の平均距離に相当するサブピクセル数と、表示装置の解像度と、を制御信号として受信し、前記変換制御手段は、該制御信号に基づき、複数視点の映像を最も効果的に立体映像表示できる画素配置に変換する画素配置変換法を選択して、該画素配置変換法により変換する指示を制御することが好ましい。

上記の特徴によれば、映像変換装置に立体映像表示装置に関する僅かな情報を与えることのみにより最適な画素配置の変換が可能となる。

前記映像変換装置は、変換制御情報記憶手段をさらに備え、前記受信手段は、インデックス情報がさらに定義された前記制御信号を受信するか、または、インデックス情報がさらに定義された複数の画素情報が所定の配置パターンに基づいて埋め込まれた映像を映像信号として受信し、該変換制御情報記憶手段は、前記変換制御手段が前記制御信号または前記映像情報に基づいて、前記複数視点の映像の画素配置の変換を前記変換手段に対して指示したときに、変換指示を新たな変換制御情報として、該インデックス情報と対応させて記憶し、該変換制御手段は、該受信手段が受信した該制御信号または該映像信号の該インデックス情報と対応する変換制御情報が該変換制御情報記憶手段に記憶されているときは、該変換制御情報記憶手段に記憶された変換制御情報に基づいて該複数視点の映像の画素配置を立体映像表示用の画素配置に変換する指示を制御することが好ましい。

上記の特徴によれば、制御信号または映像情報にはインデックス情報が定義されており、変換制御情報記憶手段が変換制御情報をインデックス情報と対応づけて記憶することにより、変換制御手段は一度使用した変換制御情報を再び使用するときは再度制御信号または映像情報を取得することなく、変換制御情報記憶手段に記憶された変換制御情報に基づいて映像の変換を変換手段に指示することができる。

前記受信手段は、さらに、外部入力手段によりインデックス情報が定義された入力信号を受信し、前記変換制御手段は、前記制御信号また前記映像信号に代えて、該受信手段が受信した該入力信号の該インデックス情報と対応する変換制御情報が前記変換制御情報記憶手段に記憶されているときは、該変換制御情報記憶手段に記憶された変換制御情報に基づいて該複数視点の映像の画素配置を立体映像表示用の画素配置に変換する指示を制御することが好ましい。

本発明にかかる映像出力装置は、各視点用の映像を撮影する複数の撮影手段と、該複数の撮影手段により撮影された該各視点用の映像を形成する画像を、フレーム内においてタイル状に分割して配置した画像に即時配置して一映像を形成する映像配置手段と、該一映像を構成する画素の配置を変換する前記映像変換装置に対して、該一映像を映像信号として送信する送信手段とからなることを特徴とする。

上記の特徴によれば、複数視点の映像をリアルタイムに撮影して、即時に立体映像を出力することが可能となる。

本発明にかかる映像変換システムは、複数視点の映像を映像信号として送信する映像出力手段と、該映像出力手段により該複数視点の映像を映像信号として受信する受信手段と、該受信手段により受信した映像をフレームごとに記憶素子に記憶する記憶手段と、該記憶手段に記憶された映像の画素配置を、所定の立体映像表示用の画素配置に変換する指示を制御する変換制御手段と、該変換制御手段からの指示により、該画素配置を即時変換する変換手段と、該変換手段により該画素配置を変換された映像を映像信号として送信する送信手段と、該送信手段により送信された映像信号を受信して、立体映像を表示する表示手段と、を備えたことを特徴とする。

上記の特徴によれば、映像変換装置は、映像出力装置および立体映像表示装置とは別の装置であるため、既存の映像出力装置および立体映像表示装置をそのまま流用して、立体映像を提供することが可能となる。

前記映像変換システムは、各視点用の映像を撮影する複数の撮影手段と、該複数の撮影手段により撮影された各視点用の映像を形成する画像を、フレーム内においてタイル状に分割して配置した画像に即時配置して一映像を形成し、前記映像再生手段に送信する映像配置手段と、をさらに備え、該映像出力手段は、該映像配置手段が変換した映像を映像信号として送信することが好ましい。

前記表示手段は、不可視領域と、上方から下方に所定の傾きでスリットもしくは穴が連続するようスリット状に複数配置された透過領域とにより形成されたパララックスバリアをモニター前面に所定の空隙を設けて貼り付けられた立体映像表示手段であって、前記受信手段は、該透過領域の平均傾きと、該スリットもしくは該穴の水平方向の該透過領域の平均幅に相当するサブピクセル数と、隣り合う該スリットもしくは該穴の中心間の平均距離に相当するサブピクセル数と、画素を構成するサブピクセルのサイズと、表示装置の解像度と、を制御信号として受信し、前記変換制御手段は、該制御信号に基づき、複数視点の映像を最も効果的に立体映像表示できる画素配置に変換する画素配置変換法を選択して、前記変換手段に該画素配置変換法で変換する指示を制御することが好ましい。

本発明にかかる映像は、複数視点の映像の先頭フレームまたは全フレームの所定の位置に、映像情報を照合するヘッダーと、変換制御情報と、が映像情報として定義された複数の画素情報が所定の配置パターンに基づいて埋め込まれたことを特徴とする。

本発明にかかる映像は、複数視点の映像と、平面映像と、が一の映像として混在する映像であって、最初の映像が該複数視点の映像では、先頭フレームの所定の位置に、前記映像情報に該混在する映像かの判別情報をさらに備え、最初の映像が該平面映像では、先頭フレームの所定の位置に、映像情報を照合するヘッダーと、該混在する映像かの判別情報と、が映像情報として定義された複数の画素情報が所定の配置パターンに基づいて埋め込まれていることが好ましい。

本発明にかかる映像は、同一の映像情報として定義された前記画素情報が、所定のフレーム数以上にわたって、同一の配置パターンにより埋め込まれていることが好ましい。

本発明にかかる映像は、映像情報を照合するヘッダーと、変換制御情報と、が映像情報として定義された、同一の画素情報がＸＹ方向に連続して複数配置された画素マトリクスが、所定の配置パターンに基づいて複数埋め込まれたことを特徴とする。

前記映像は、前記画素マトリクスの外周部分に、前記画素情報に代えて、該画素マトリクスに隣接する画素情報と、前記映像情報を定義する画素情報とにおいて、所定の重み付けで線形補完した画素情報を有する画素が配置された該画素マトリクスが所定の配置パターンに基づいて複数埋め込まれていることが好ましい。

前記映像情報は、前記複数視点の映像と、平面映像と、が一の映像として混在する映像であるかを判別するための判別情報と、該映像の走査方式がインタレス方式かプロブレッシブ方式であるかを判別するための判別情報と、映像の解像度と、前記映像の視点数と、であることが好ましい。

前記映像は、記録媒体に記録されていることが好ましい。

本発明にかかる映像変換方法は、映像出力装置より複数視点の映像を映像信号として受信し、受信した該複数視点の映像をフレームごとに記憶素子に記憶し、該記憶素子に記憶された該複数視点の映像の画素配置を、予め設定された変換制御情報に基づいて立体映像表示用の画素配置に変換することを指示し、該指示により、該画素配置を即時変換し、該画素配置を変換された映像を映像信号として立体映像表示装置に送信することを特徴とする
本発明にかかる映像出力方法は、各視点用の映像を複数の撮影手段により撮影し、該複数の撮影手段により撮影された該各視点用の映像を形成する画像を、映像配置手段によりフレーム内においてタイル状に分割して配置した画像に即時配置して一映像を形成し、該一映像を構成する画素の配置を変換する映像変換装置に対して、送信手段により該一映像を映像信号として送信することを特徴とする。

本発明によれば、映像の立体映像表示装置に対応した画素配置変換をハードウェア上において実現することにより、安価かつ、実用性に富んだ立体映像表示技術を提供することができる。

本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。 本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。 本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。 本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。 本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。 本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。 本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。 本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。 本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。 本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。 本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。 本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。 本発明にかかる映像変換装置１において用いる、立体映像表示装置のパララックスバリアの形状の一例を示す図である。 本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第一の実施例を示す図である。 本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第二の実施例を示す図である。 本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第三の実施例を示す図である。 本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第四の実施例を示す図である。 本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第五の実施例を示す図である。 本発明にかかる映像変換装置１が映像信号として受信する、映像情報が定義された画素情報２１が埋め込まれた複数視点の映像の第一の実施例を示す図である。 本発明にかかる映像変換装置１が映像信号として受信する、映像情報が定義された画素情報２１が埋め込まれた複数視点の映像の第二の実施例を示す図である。 本発明にかかる映像変換装置１が映像信号として受信する、映像情報が定義された画素情報２１が埋め込まれた複数視点の映像の第三の実施例を示す図である。 本発明にかかる映像変換装置１が映像信号として受信する、映像情報が定義された画素情報２１が埋め込まれた複数視点の映像の第四の実施例を示す図である。 ８色の元映像ファイル２３のイメージ図である。 ７つの画素マトリクス２３が埋め込まれた画素埋め込み映像ファイル２４のイメージ図である。 映像情報が実際にどのような情報を意味するものであるのか説明する図である。 映像情報が実際にどのような情報を意味するものであるのか説明する図である。 複数視点の映像に常に映像情報として定義された画素情報２１を埋め込むことにより、平面映像と複数視点の映像の判別を行う方法を示したフローチャートである。 複数視点の映像が開始および終了する瞬間の映像にのみ映像情報として定義された画素情報２１を埋め込むことにより、平面映像と複数視点の映像の判別を行う方法を示したフローチャートである。 第１の画素構成およびブレンド方法の例を説明する図である。 第１の画素構成およびブレンド方法における具体的なサブピクセル単位の配置を示す図である。 第２の画素構成およびブレンド方法の例を説明する図である。 第２の画素構成およびブレンド方法における具体的なサブピクセル単位の配置を示す図である。 第３の画素構成およびブレンド方法の例を説明する図である。 第３の画素構成およびブレンド方法における具体的なサブピクセル単位の配置を示す図である。 ＲＧＢピクセル自動ブレンド記述の例として、「ＲＬ２Ｌ３Ｐ２＋３，＋２」に対応したブレンドを示す図である。 ＲＧＢピクセル自動ブレンド記述と対応するブレンド方法との例を示す図である。 ＲＧＢピクセル自動ブレンド記述と対応するブレンド方法との例を示す図である。 ＲＧＢピクセル自動ブレンド記述と対応するブレンド方法との例を示す図である。 ＲＧＢピクセル自動ブレンド記述と対応するブレンド方法との例を示す図である。 ＲＧＢピクセル自動ブレンド記述と対応するブレンド方法との例を示す図である。 ＲＧＢピクセル自動ブレンド記述と対応するブレンド方法との例を示す図である。 ＴＭＰＧＥｎｃ Ｐｌｕｓ２．５の設定方法を示す図である。 ＴＭＰＧＥｎｃ Ｐｌｕｓ２．５の設定方法を示す図である。 ＴＭＰＧＥｎｃ Ｐｌｕｓ２．５の設定方法を示す図である。 ＴＭＰＧＥｎｃ Ｐｌｕｓ２．５の設定方法を示す図である。

本発明の実施形態について説明すると以下の通りである。

＜全体概要＞
以下に、本発明にかかる映像変換装置１の全体概要を、外観図およびブロック図を用いて説明する。

＜外観＞
図１は、本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。

同図に示すように、第一の実施形態にかかる映像変換装置１は、一般的な映像出力装置２と、一般的な立体映像表示装置３（ディスプレイ）と、の間に映像ケーブル４によって電気的に接続して用い、映像出力装置２から映像信号（映像入力信号）として送信された複数視点の映像を受信し、予め設定された変換制御情報（走査方式、視点数、解像度、画素配置法等の情報。詳細は後述する。）に基づいて立体映像表示用の画素配置に変換し、画素配置変換後の映像を映像信号（映像出力信号）として立体映像表示装置３に送信する。

ここで、映像変換装置１、映像出力装置２、立体映像表示装置３を電気的に接続する映像ケーブル４とは、具体的には、ＶＤＩ、ＨＭＶＩ等の規格の、映像出力装置２と立体映像表示装置３を電気的に接続して、映像信号を送信するケーブルとして従来から普及しているものを用いることができる。

図２は、本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。

また、同図に示すように、映像変換装置１は、映像出力装置２と、立体映像表示装置３とのいずれか一方または両方と制御ケーブル５によってさらに電気的に接続することにより、制御信号を受信してもよい。

制御信号とは、詳細は後述するが、映像変換装置１に対して、走査方式、解像度、視点数、画素配置方法等の映像以外の変換制御情報を与える信号を意味する。

ここで、制御ケーブル５は具体的には、ｉ・ＬＩＮＫ、シリアル等の規格の映像出力装置２と立体映像表示装置３を電気的に接続する制御ケーブル５として従来から普及しているものを用いることができる。

ただし、説明の便宜を図るため同図においては映像ケーブル４と制御ケーブル５は別のケーブルであるものとして説明したが、これらのケーブルを束ねて一つのケーブルとしてもよい。

図３は、本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。

同図に示すように、かかる実施形態における映像変換装置１は、図示しない無線通信手段により、映像出力装置２から映像信号（映像入力信号）として送信された複数視点の映像を受信し、立体映像表示用の画素配置に変換し、画素配置変換後の映像を映像信号（映像出力信号）として立体映像表示装置３に送信する。

ここで、無線通信手段とは、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＷＢ、等の規格の無線通信手段として従来から普及しているものを用いることができる。

図４は、本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。

同図に示すように、かかる実施形態における映像変換装置１は、複数の変換制御情報をインデックス情報と関連づけた第一のテーブル６として予め記憶しており、リモコン７のような入力機器によりインデックス情報を入力することで、かかるインデックス情報と対応した変換制御情報を出力することが可能である。

なお、同図には走査方式と視点数が変換制御情報として記憶されているものとして図示しているが、解像度、画素配置方法等の情報も当然ながら記憶することができるものとする。

また、変換制御情報は予め映像変換装置１に記憶したものの他に、ＵＳＢメモリ８のような外部記憶媒体にインデックス情報と関連づけた第二のテーブル９として記憶された変換制御情報を用いてもよい。ただし、図示はしないが外部記憶媒体のみならず、ネット上からダウンロード、地上波や衛星放送からデータ取得してもよい。

さらに、映像変換装置１が予め記憶していない変換制御情報を取得したときは、取得した変換制御情報を追加した第三のテーブル１０を新たに生成することができるものとしてもよい。この場合、次回からはインデックス情報を入力するだけで変換制御情報の切り替えが可能となる。

図５は本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。

同図に示すように、かかる実施形態における映像変換装置１は、映像出力装置２が、複数視点用のカメラ１１がリアルタイムに撮影した各視点用の映像をタイル状に配置した複数視点の映像に変換して出力した映像を受信して、立体映像表示用の画素配置に変換し、画素配置変換後の映像を映像信号（映像出力信号）として立体映像表示装置３に送信する。

図６は本発明にかかる映像変換装置１の実施形態の一例を示す外観図である。

同図に示すように、かかる実施形態における映像変換装置１は、複数視点用のカメラ１１と直接接続されており、カメラ１１がリアルタイムに撮影した各視点用の映像を直接複数視点の映像としてそれぞれ受信して、立体映像表示用の画素配置に変換し、画素配置変換後の映像を映像信号（映像出力信号）として立体映像表示装置３に送信する。

なお、本発明にかかる映像変換装置１と、映像出力装置２、立体映像表示装置３を総称して映像変換システム、と呼称する。

＜ブロック図＞
図７は本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。

同図に示すように、かかる実施形態における映像変換装置１は、映像出力装置２より複数視点の映像を映像信号として受信する受信部１２と、該受信部１２（受信手段）により受信した該複数視点の映像をフレームごとに記憶素子に記憶する記憶部１３（記憶手段）と、該記憶部１３により該記憶素子に記憶された該複数視点の映像の画素配置を、予め設定された変換制御情報に基づいて立体映像表示用の画素配置に変換する指示を制御する変換制御部１４（変換制御手段）と、該変換制御部１４からの指示により、該画素配置を即時変換する変換部１５（変換手段）と、該変換部１５により該画素配置を変換された映像を映像信号として立体映像表示装置３に送信する映像変換装置の送信部１６（送信手段）と、からなる。

図８は本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。

同図に示すように、かかる実施形態における映像変換装置１は、記憶部１３と、変換制御部１４との間に映像情報解析部１７（映像情報解析手段）をさらに備える。

図９は本発明にかかる映像変換装置１の実施形態の一例を示す第三のブロック図である。

同図に示すように、かかる実施形態における映像変換装置１は、変換制御情報記憶部１８（変換制御情報記憶手段）がさらに、変換制御部１４と接続されている。

図１０は本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。

同図に示すように、かかる実施形態における映像変換装置１は、前述の映像情報解析部１７と変換制御情報記憶部１８の両方を備える。

図１１は本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。

同図に示すように、かかる実施形態における映像変換装置１は、複数視点用のカメラ１１（撮影手段）と、映像配置部１９（映像配置手段）と、映像出力装置の送信部２０を備えた映像出力装置２と接続されている。

図１２は本発明にかかる映像変換装置１の実施形態の一例を示すブロック図である。

同図に示すように、かかる実施形態における映像変換装置１は、複数視点用のカメラ１１と接続されている。

＜映像出力装置＞
以下に、本発明にかかる映像変換装置１が映像信号（映像入力信号）を受信する映像出力装置２について説明する。

映像出力装置２は既存の映像出力技術をそのまま流用することが、本発明の趣旨に照らして最も好ましい。すなわち、映像出力装置２とは、既存の、映像を地上波、衛星放送、インターネット上からのストリーミングまたはダウンロードにより取得するセットトップボックス、もしくはスタンドアローンのＤＶＤプレーヤー、Ｂｌｕ−ｒａｙ（登録商標）プレーヤー等の再生機器（録画機能を持つものも含める）であることが好ましい。

また、図５に示したように、映像出力装置２は複数視点用のカメラ１１を備えてもよい。この場合、カメラ１１が撮影した複数の映像を映像配置部１９によりタイル上に配置した複数視点の映像にして、リアルタイムに変換することが可能となる。
＜立体映像表示装置３＞
以下に、本発明にかかる映像変換装置１が映像信号（映像出力信号）を送信する立体映像表示装置３（ディスプレイ）について説明する。

立体映像表示装置３は既存の立体映像表示装置に何ら改良を加えることなく、そのまま流用することが、本発明の趣旨に照らして最も好ましい。すなわち、立体映像表示装置３とは、既存の、パララックスバリア方式、レンチキュラー方式等を採用した、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等の、立体映像表示装置であることが好ましい。ただし、上記の立体映像表示装置以外にも本発明にかかる映像変換装置１を用いることができることはいうまでもない。
＜パララックスバリアの具体例＞
なお、立体映像表示装置３が備えるパララックスバリアのスリットの形状は、図１３（ａ）に示すように、斜めの直線状のスリット、図１３（ｂ）は、斜めの階段状のスリット、（ｃ）は、楕円弧を連結させた団子状のスリット、（ｄ）は、提灯状の穴を、（ｅ）は、平行四辺形の穴を、それぞれ斜め方向に配置したパララックスバリアであり、いずれを使用してもよい。

＜本発明に用いる映像＞
本発明にかかる映像変換装置１が変換する映像は以下の通りである。

＜８タイル映像＞
図１４は本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第一の実施例を示す図である。かかる映像は周知であり、複数視点の映像をタイル状に配置したタイルフォーマットにより作成することが可能である。通常、タイルフォーマットに配置した上で、所定の動画圧縮ファイルを生成する。解像度は任意であり、通常、非可逆性圧縮である動画圧縮規格MPG2を使用する場合が多い。図示しないが、任意の視点数（例えば、４〜９視点）に対応するタイルフォーマットを生成して複数視点の映像としてよい。

＜基準化６タイル映像＞
図１５は本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第二の実施例を示す図である。本発明にかかる推奨の複数視点の映像の標準化タイルフォーマットであり、立体映像表示用の画素配置に変換するために複数視点の映像から読み出す画素のみが配置されている。図示しないが、任意の視点数（例えば、４〜９視点）に対応するタイルフォーマットを生成して複数視点の映像としてよい。特に１画素のRGBを構成する３サブピクセルを３行３列で斜めに配置した画素配置方法で、１６：９のアスペクト比で任意の解像度の画像を水平９６０画素に、垂直３６０画素に基準化して各視点の画像とし、立体映像表示用の画素配置に変換することが望ましい。これにより、６視点のタイル映像の解像度は、１９２０×１０８０となり、ハイビジョンの映像としてタイル映像を受信し、最も画質欠落のない立体映像に変換できる。
＜マルチストリーミング映像＞
図１６は本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第三の実施例を示す図である。かかる映像は周知であり、動画圧縮規格MPG4のマルチストリーミングにより作成することが可能である。１動画ファイルに同期が取られた複数の動画を記録できる。受信された１視点からn視点までの画像を記憶手段に所定の配置で記憶して、立体映像表示用の画素配置に変換する。
＜複数視点映像を時間方向に繰り返し割り当て＞
図１７は本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第四の実施例を示す図である。複数視点の映像は、各視点の映像を連続する各フレームに割り当て、時間方向に繰り返し形成されている。受信された１視点からn視点までの画像を順々に記憶手段に記憶して、立体映像表示用の画素配置に変換する。
＜複数視点映像を走査線ごとに繰り返し割り当て＞
図１８は本発明にかかる映像変換装置１が映像信号として受信する複数視点の映像の第五の実施例を示す図である。複数視点の映像は、各視点の映像を連続する各走査線に割り当て、走査線方向に繰り返し形成されている。受信された画像を記憶手段に記憶して、各視点の画像を形成する走査線上の画素より立体映像表示用の画素配置に変換する。

なお、上記の複数視点の映像と平面映像とを、混在させた一の映像ファイルを作成してもよい。

＜映像フォーマット＞
図１９は本発明にかかる映像変換装置１が映像信号として受信する、映像情報が定義された画素情報２１が埋め込まれた複数視点の映像の第一の実施例を示す図である。

同図（ａ）は、映像上における画素情報２１の埋め込み位置を示す図である。同図（ａ）によれば、画素情報２１は映像の左上端部に埋め込まれている。ただし、画素情報２１の埋め込み位置は予め定義された配置パターンに基づくものであるため、常に左上端部である必要はないが、映像の端部は立体映像表示装置３のモニタフレームと重畳する部分であってユーザには見えないため、画素情報２１を埋め込んでもユーザに対する立体映像表示に影響を与えないというメリットがある
同図（ｂ）は、埋め込まれた画素情報２１を示す拡大図である。同図（ｂ）によれば、画素情報２１は横一列に隙間無く埋め込まれている。ただし、図示はしないが所定の間隔をおいて埋め込んでもよい。

図２０は本発明にかかる映像変換装置１が映像信号として受信する、映像情報が定義された画素情報２１が埋め込まれた複数視点の映像の第二の実施例を示す図である。

同図（ａ）は、映像上における画素情報２１の埋め込み位置を示す図である。

同図（ｂ）は、画素情報２１の埋め込まれた部分を拡大した図である。第二の実施例においては、同一の映像情報として定義された画素情報２１がＸＹ方向に連続して複数配置された画素マトリクス２２が埋め込まれている。

同図（ｃ）は、同図（ｂ）の画素マトリクス２２の１つを示す拡大図である。中央の太枠で囲まれた３×３のマトリクスが、画素マトリクス２２であり、同一の映像情報が定義された画素情報Ｃｍ・ｎが９個配置されている。本発明にかかる映像変換装置１においては丸印で示す画素マトリクス２２中央の画素情報２１から映像情報を解析する。なお、かかる画素マトリクス２２中央の画素情報２１の位置は、予め定義された配置パターンに基づき、画素情報２１のＸＹ座標を特定することにより、位置を特定するのが適当である。ただし、画素マトリクス２２中の複数の画素情報２１の平均値から映像情報を求めてもよい。

図２１は本発明にかかる映像変換装置１が映像信号として受信する、映像情報が定義された画素情報２１が埋め込まれた複数視点の映像の第三の実施例を示す図である。

同図（ａ）は、映像上における画素情報２１の埋め込み位置を示す図である。

同図（ｂ）は、画素情報２１の埋め込まれた部分を拡大した図である。

同図（ｃ）は、同図（ｂ）の画素マトリクス２２の１つを示す拡大図である。第三の実施例においては、映像情報として定義された画素情報２１が画素マトリクス２２中央に配置され、画素マトリクス２２の外周部分に、画素マトリクス２２に隣接する画素と、画素情報２１と、の中間値の画素情報２１が埋め込まれている。

図２２は本発明にかかる映像変換装置１が映像信号として受信する、映像情報が定義された画素情報２１が埋め込まれた複数視点の映像の第四の実施例を示す図である。

同図（ａ）は、映像上における画素情報２１の埋め込み位置を示す図である。

同図（ｂ）は、画素情報２１の埋め込まれた部分を拡大した図である。第四の実施例においては、画素マトリクス２２が２×３からなり、第三の実施例の画素マトリクス２２と比較すると上の一行の画素情報２１が除かれて、映像の上端部に配置されている。画素マトリクス２２の占める面積が小さくなると、映像に与える影響も小さくなるため、かかる実施例は好適である。

同図（ｃ）は、同図（ｂ）の画素マトリクス２２の１つを示す拡大図である。映像情報を定義した画素情報２１は画素マトリクス２２の上の行中央部分に配置され、画素マトリクス２２の外周部分に、画素マトリクス２２に隣接する画素と、画素情報２１と、の中間値の画素または両画素に所定の重み付けをして補間した画素が配置されている。

ここで、重み付けとは、画素情報２１が定義する映像情報をより確実に解析するため、中間値を求める際に画素情報２１の値を所定数倍することを意味する。同図（ｃ）によれば重み付けは画素情報２１の値を２倍しているが、必要に応じて３倍、４倍、としてもよい。なお、第三の実施例においても重み付けは可能である点を補足しておく。

以下に、上記の第二から第四までの実施例の複数視点の映像をｍｐｅｇ２圧縮した際に、映像情報が定義された画素情報２１のＲＧＢ値の変化を調べる実験方法について説明する。

まず、本実験の第一行程として、背景として用いる画像の全面が黒（Ｂｌａｃｋ）、赤（Ｒ）、緑（Ｇ）、青（Ｂ）、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、白（Ｗｈｉｔｅ）の８色の元映像ファイル２３（ＡＶＩ形式）を用意する。図２３は元映像ファイル２３のイメージ図であり、この元映像ファイル２３のＲＧＢ値は、表１に示す通りである。

次に、本実験の第二行程として、上記８色の元映像ファイル２３に画素マトリクス２２を埋め込む。本実施例においては第一行程の元映像ファイル２３の作成と、第二行程の画素マトリクス２２の埋め込みには、ビデオコンポジットツールである「Ａｄｏｂｅ（登録商標） Ａｆｔｅｒ Ｅｆｆｅｃｔｓ（登録商標） ＣＳ３ Ｐｒｏｆｅｓｓｉｏｎａｌ」を使用している。

本実験においては赤（Ｒ）、緑（Ｇ）、青（Ｂ）、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、白（Ｗｈｉｔｅ）の７色の異なる色の画素情報２１と、該映像情報の周囲５方向、すなわち画素情報２１の左、右、下、左下、右下に隣接する位置に同じ画素情報２１を配置するか、または元映像ファイル２３のＲＧＢ値との中間値または所定の比率に基づき重み付けをした値のＲＧＢを取る画素を配置した２×３の画素マトリクスを８色の元映像ファイル２３の左上端に埋め込む。画素情報２１の値は、表２に示す通りである。

これにより、図２４に示すように７つの画素マトリクス２３が埋め込まれた画素埋め込み映像ファイル２４が８色分できる。

なお、画素情報２１は、「１１０１１１１１（２２３）」、「１００１１１１１（１５９）」、「０１０１１１１１（９５）」、「０００１１１１１（３１）」というように、上位３ビット目の値が必ず「０」となるようにする。これは、ｍｐｅｇ２圧縮により値が変化した際に、上位１ビット目および２ビット目の値に影響を与えないようにするためである。例えば、画素情報２１の値が「０１１１１１１１」である場合、ｍｐｅｇ２圧縮により値が１増分するだけで画素情報全体の値は「１０００００００（１２８）」となってしまい、上位１ビット目および２ビット目の値が変化してしまう。これに対し、画素情報２１の値が「０１０１１１１１（９５）」であれば、ｍｐｅｇ２圧縮により値が１増分しても、値は「０１１０００００（９６）」となるため、上位１ビット目および２ビット目の値が変化しない。

特に、画素情報２１のＲＧＢ値はｍｐｅｇ２圧縮による値の変化が許容される上限値と下限値との中間値であることが好ましい。すなわち、上位１ビット目および２ビット目の値を「１０」とする場合、上限値は「１０１１１１１１（１９１）」であり、下限値は「１０００００００（１２８）」であって、これらの中間値である「１００１１１１１（１５９）」を初期のＲＧＢ値として設定することにより、ｍｐｅｇ２圧縮によりＲＧＢ値が変化しても、上位１ビット目および２ビット目の値は変化しにくくなる。

ただし、画素情報２１の値は「１１１１１１１１（２５５）」または「００００００００（０）」としてもよい。かかる値はＲＧＢ値の上限値（下限値）であるため、ｍｐｅｇ２圧縮により値は下方向（上方向）にしか変化しないため、上位３ビット目の値が「０」である必要はない。

本実験の第三行程として、画素埋め込み映像ファイル２４をｍｐｅｇ２圧縮する。圧縮には「ＴＭＰＧＥｎｃ Ｐｌｕｓ２．５」を使用し、圧縮時の設定は図４２ないし図４５に示す設定による。

本実験の第四行程として、圧縮後のｍｐｅｇ２映像ファイル２５を「Ａｄｏｂｅ（登録商標） Ａｆｔｅｒ Ｅｆｆｅｃｔｓ（登録商標） ＣＳ３ Ｐｒｏｆｅｓｓｉｏｎａｌ」を使用して解凍し、圧縮前の画素埋め込み映像ファイル２４の画素情報２１と対応する座標の画素のＲＧＢ値を測定する。

表３ないし表７は、本実験の結果について説明する図である。

表３は、画素情報２１のＲ値、Ｇ値、Ｂ値をそれぞれ「２２３」か「０」とすることにより、７色の画素情報２１とし、画素情報２１の周囲５方向にはそれぞれの画素情報２１と同じＲＧＢ値を持つ画素を配置した画素マトリクス２２を元映像ファイル２３に埋め込み、ｍｐｅｇ２圧縮した場合の、圧縮後のｍｐｅｇ２映像ファイル２５の画素情報２１のＲＧＢの測定値を示す表である。

表４は、表３におけるＲＧＢの測定値のうち、各々の画素情報のＲＧＢ値の最大値と最小値を示す表である。

ここで、画素情報２１はＲ値のみにより映像情報を定義することもできるし（画素情報２１の色は赤）、Ｇ値とＢ値により映像情報を定義したり（画素情報２１の色はシアン）、Ｒ値、Ｇ値、Ｂ値の全てを用いて映像情報を定義することもできる（画素情報２１の色は白）。

例えば、かかる画素情報２１が、上位１〜２ビット目の値「１１」を映像情報として定義しているとする。この場合、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１〜２ビット目の値が「１１」である「１１００００００」〜「１１１１１１１１」、すなわち「１９２」〜「２５５」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

表３および表４によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、いずれも「１９２」〜「２５５」の間の値を取るため、映像情報解析部１７は圧縮後の画素情報２１から上位１〜２ビット目を映像情報として解析することができる。

また、画素情報２１が、上位１ビット目の値「１」を映像情報として定義しているとすれば、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１ビット目の値が「１」である「１０００００００」〜「１１１１１１１１」、すなわち「１２８」〜「２５５」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

表３および表４によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、いずれも「１２８」〜「２５５」の間の値を取るため、映像情報解析部１７は圧縮後の画素情報２１から上位１ビット目を映像情報として解析することができる。

表５は、画素情報２１のＲ値、Ｇ値、Ｂ値をそれぞれ「１５９」か「０」とすることにより、７色の画素情報２１とし、画素情報２１の周囲５方向にはそれぞれの画素情報２１と同じＲＧＢ値を持つ画素を配置した画素マトリクス２２を元映像ファイル２３に埋め込み、ｍｐｅｇ２圧縮した場合の、圧縮後のｍｐｅｇ２映像ファイル２５の画素情報２１のＲＧＢの測定値を示す表である。

表６は、表５におけるＲＧＢの測定値のうち、各々の画素情報のＲＧＢ値の最大値と最小値を示す表である。

例えば、かかる画素情報２１は、上位１〜２ビット目の値「１０」を映像情報として定義しているとする。この場合、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１〜２ビット目の値が「１０」である「１０００００００」〜「１０１１１１１１」、すなわち「１２８」〜「１９１」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

表５および表６によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、いずれも「１２８」〜「１９１」の間の値を取るため、映像情報解析部１７は圧縮後の画素情報２１から上位１〜２ビット目を映像情報として解析することができる。

また、画素情報２１が、上位１ビット目の値「１」を映像情報として定義しているとすれば、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１ビット目の値が「１」である「１０００００００」〜「１１１１１１１１」、すなわち「１２８」〜「２５５」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

表５および表６によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、いずれも「１２８」〜「２５５」の間の値を取るため、映像情報解析部１７は圧縮後の画素情報２１から上位１ビット目を映像情報として解析することができる。

表７は、画素情報２１のＲ値、Ｇ値、Ｂ値をそれぞれ「９５」か「０」とすることにより、７色の画素情報２１とし、画素情報２１の周囲５方向にはそれぞれの画素情報２１と同じＲＧＢ値を持つ画素を配置した画素マトリクス２２を元映像ファイル２３に埋め込み、ｍｐｅｇ２圧縮した場合の、圧縮後のｍｐｅｇ２映像ファイル２５の画素情報２１のＲＧＢの測定値を示す表である。

表８は、表７におけるＲＧＢの測定値のうち、各々の画素情報のＲＧＢ値の最大値と最小値を示す表である。

例えば、画素情報２１は、上位１〜２ビット目の値「０１」を映像情報として定義しているとする。この場合、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１〜２ビット目の値が「０１」である「０１００００００」〜「０１１１１１１１」、すなわち「６４」〜「１２７」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

表７および表８によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、いずれも「６４」〜「１２７」の間の値を取るため、映像情報解析部１７は圧縮後の画素情報２１から上位１〜２ビット目を映像情報として解析することができる。

また、画素情報２１が、上位１ビット目の値「０」を映像情報として定義しているとすれば、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１ビット目の値が「０」である「００００００００」〜「０１１１１１１１」、すなわち「０」〜「１２７」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

表７および表８によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、いずれも「０」〜「１２７」の間の値を取るため、映像情報解析部１７は圧縮後の画素情報２１から上位１ビット目を映像情報として解析することができる。

表９は、画素情報２１のＲ値、Ｇ値、Ｂ値をそれぞれ「３１」か「０」とすることにより、７色の画素情報２１とし、画素情報２１の周囲５方向にはそれぞれの画素情報２１と同じＲＧＢ値を持つ画素を配置した画素マトリクス２２を元映像ファイル２３に埋め込み、ｍｐｅｇ２圧縮した場合の、圧縮後のｍｐｅｇ２映像ファイル２５の画素情報２１のＲＧＢの測定値を示す表である。

表１０は、表９におけるＲＧＢの測定値のうち、各々の画素情報のＲＧＢ値の最大値と最小値を示す表である。

例えば、かかる画素情報２１は、上位１〜２ビット目の値「００」を映像情報として定義しているとする。この場合、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１〜２ビット目の値が「００」である「００００００００」〜「００１１１１１１」、すなわち「０」〜「６３」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

表９および表１０によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、いずれも「０」〜「６３」の間の値を取るため、映像情報解析部１７は圧縮後の画素情報２１から上位１〜２ビット目を映像情報として解析することができる。

また、画素情報２１が、上位１ビット目の値「０」を映像情報として定義しているとすれば、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１ビット目の値が「０」である「００００００００」〜「０１１１１１１１」、すなわち「０」〜「１２７」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

表９および表１０によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、いずれも「０」〜「１２７」の間の値を取るため、映像情報解析部１７は圧縮後の画素情報２１から上位１ビット目を映像情報として解析することができる。

表１１は、画素情報２１のＲ値、Ｇ値、Ｂ値をそれぞれ「２５５」か「０」とすることにより、７色の画素情報２１とし、画素情報２１の周囲５方向にはそれぞれの画素情報２１のＲＧＢ値と、元映像ファイル２３の画素のＲＧＢ値とを２：１の比率で重み付けして求めたＲＧＢ値を持つ画素を配置した画素マトリクス２２を元映像ファイル２３に埋め込み、ｍｐｅｇ２圧縮した場合の、圧縮後のｍｐｅｇ２映像ファイル２５の画素情報２１のＲＧＢの測定値を示す表である。

表１２は、表１１におけるＲＧＢの測定値のうち、各々の画素情報のＲＧＢ値の最大値と最小値を示す表である。

例えば、かかる画素情報２１は、上位１〜２ビット目の値「１１」を映像情報として定義しているとする。この場合、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１〜２ビット目の値が「１１」である「１１００００００」〜「１１１１１１１１」、すなわち「１９２」〜「２５５」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

しかし、表１１および表１２によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、一部「１９２」〜「２５５」の間の値を取らないものがあるため、上位１ビット目のみが映像情報として定義できる。

画素情報２１が、上位１ビット目の値「１」を映像情報として定義しているとすれば、圧縮後のＲＧＢ値が変化していても、変化後の値が上位１ビット目の値が「１」である「１０００００００」〜「１１１１１１１１」、すなわち「１２８」〜「２５５」の間の値を取れば圧縮後の画素情報２１からでも映像情報を読み込むことが可能となる。

表１１および表１２によれば、映像情報として定義した画素情報２１の圧縮後のＲ値、Ｇ値、ないしＢ値は、いずれも「１２８」〜「２５５」の間の値を取るため、映像情報解析部１７は圧縮後の画素情報２１から上位１ビット目を映像情報として解析することができる。

表１１および表１２の実験結果は、画素マトリクス２２が、画素情報２１の周囲に画素情報２１のＲＧＢ値と元映像ファイル２３の画素のＲＧＢ値とを２：１の比率で重み付けして求めたＲＧＢ値を持つ画素を配置した構成としたことに理由がある。すなわち、重み付けをすることにより、映像情報として定義した画素情報２１に対する元映像ファイル２３からの影響は大きくなり、ｍｐｅｇ２圧縮後のＲＧＢ値が大きく変化する。ただし、画素マトリクス２２を埋め込むことによる元映像ファイル２３への影響は相対的に小さくなる、すなわち画素マトリクス２２が目立たなくなるというメリットがあるため、元映像ファイルへの影響を抑えたい場合に好適である。これに対し、表３ないし６の実験結果からは、画素マトリクス２２を構成する画素をすべて画素情報２１と同じものにすることにより、ｍｐｅｇ２圧縮による画素情報２１のＲＧＢ値への影響を防ぎ、多くの情報を埋め込むことができるという、重み付けをしないことによるメリットが明らかとなる。

図２５、図２６は上記の実施例において映像情報が実際にどのような情報を意味するものであるのか説明する図である。図２５によれば、コードＣ_０からＣ_２３までは判定コード（ヘッダー）として用いる。かかる判定コードのＲＧＢ値の組み合わせは、自然界ではおよそあり得ない組み合わせとすることにより、画素情報が映像情報を定義するものとして埋め込まれたものであることを、映像情報解析部１７が認識することができるようになる。

コードＣ_２４からＣ_２９までは図２５に示す通りのパリティチェックに用いる。コードＣ_３０からＣ_８９までは図２６に具体的に示すように、変換制御情報および画素配置方法を意味する。変換制御情報および画素配置方法についての詳細は後述する。コードＣ_９０からＣ_９５は図２６に示すように、パリティチェックに用いる。

＜変換制御情報＞
本発明にかかる映像変換装置１において用いられる、変換制御情報について詳細に説明する。

変換制御情報とは、映像変換装置１が受信した複数視点の映像を立体映像表示装置に送信して立体表示をするために必要な情報を意味する。変換制御情報は、映像変換装置１が予め設定して持っているものと、前述の制御信号により入力するものと、前述の映像情報により入力するものと、があり、映像変換装置１はこれらに基づいて最適に立体表示ができるように複数視点の映像の画素配置を変換する。

詳細には変換制御情報とは、ＮＴＳＣ、ＰＡＬといった走査方式、インターレス、プログレッシブといった送信方式、視点数、解像度、画素配置方法等を意味する。

＜画素配置方法＞
画素配置方法とは、詳細には、１画素を構成する行数と、該１画素を構成するサブピクセル数と、該画素の組み合わせ内で連結される画素数と、該画素ごとの連結位置摂動サブピクセル数と、を意味する。

＜各部材の機能＞
以下に、本発明にかかる映像変換装置１の各部材の機能について詳細に説明する。

＜受信部＞
受信部１２は、映像出力装置２より映像信号として送信された映像を受信する機能を持つ。また、映像出力装置２または立体映像表示装置３より制御信号として送信された変換制御情報を受信する機能も持つ。受信部１２は、映像を受信すると、記憶部１３にこれを送信し、変換制御情報を受信すると、変換制御部１４にこれを送信する。

＜記憶部＞
記憶部１３は、受信部１２が映像信号として受信した映像を、記憶素子（フレームバッファ）に記憶させる機能を持つ。

＜映像情報解析部＞
映像情報解析部１７は、記憶部１３が記憶素子に記憶させた映像を参照して、映像情報を解析する機能を持つ。映像情報解析部１７は映像情報として定義された画素情報２１を映像に埋め込んだものを用いる場合に必要となる。

なお、画素情報２１は通常、立体映像にのみ埋め込む。なぜなら、既に膨大な量のコンテンツが存在する平面映像に画素情報２１を新たに埋め込む手間を省くためである。ただし、平面映像に画素情報２１を埋め込んでも、もちろんよい。

映像情報解析部１７の最も基本的な用途は、受信部１２が映像信号として受信した映像が、平面映像であるか、複数視点の映像（立体映像）であるかを判別するための映像情報を解析することにある。これは、受信部１２が受信した映像が平面映像である場合、画素配置の変換等の立体映像表示用の処理は一切行わずに、立体映像表示装置３にそのまま平面映像を出力する必要があるためである。

なお、画素情報２１のＲＧＢ値は前述のように非可逆性圧縮により変化するため、所定の桁数の上位ビットのみを参照して映像情報を解析することが好ましい。

映像情報解析部１７は、所定の配置パターンに基づいて画素情報２１の埋め込まれた位置を特定して、映像情報を照合するヘッダーの有無を判別し、ヘッダーがあるときは、映像情報を解析する。

＜変換制御部＞
変換制御部１４は、第一に、予め設定された変換制御情報に基づいて、複数視点の映像を立体映像表示用の画素配置に変換することを変換部１５に対して指示する（指示を制御する）機能を持つ。

変換制御部１４は、第二に、受信部１２が映像出力装置２より受信した映像が前記複数視点の映像であるか該平面映像であるか、該複数視点の映像と該平面映像とが混在する映像であるかを、映像情報または制御信号に基づいて判別する（判別を制御する）機能を持つ。

変換制御部１４は、第三に、予め設定された変換制御情報に代えて、映像情報または制御信号に基づいて認識した変換制御情報、もしくは後述する変換制御情報記憶部１８が記憶した変換制御情報に基づいて、複数視点の映像を立体映像表示用の画素配置に変換することを変換部１５に対して指示する機能を持つ。

＜変換制御情報記憶部＞
変換制御情報記憶部１８は、変換制御部１４が予め設定された変換制御情報に代えて、映像情報または制御信号に基づいて認識した変換制御情報に基づいて、複数視点の映像を立体映像表示用の画素配置に変換することを変換部１５に対して指示したときに、この新たな変換制御情報を記憶する機能を持つ。

＜変換部＞
変換部１５は、変換制御部１４からの指示を受けて、複数視点の映像の画素配置を、立体映像表示用の画素配置に変換する機能を持つ。すなわち、ブレンドする機能を持つ。ブレンド方法については後述する。

＜変換制御フロー＞
平面映像と複数視点の映像とが混在した一の映像ファイルを本発明にかかる映像変換装置１により変換する際、映像ファイル内の平面映像部分と複数視点の映像部分を認識する必要があるところ、映像情報に基づいて平面映像と複数視点の映像の判別を行う場合、複数視点の映像には常に映像情報として定義された画素情報２１を埋め込む方法と、複数視点の映像が開始および終了する瞬間の映像にのみ映像情報として定義された画素情報２１を埋め込む方法と、二通りがある。

図２７は、複数視点の映像に常に映像情報として定義された画素情報２１を埋め込むことにより、平面映像と複数視点の映像の判別を行う方法を示したフローチャートである。

ただし、非可逆性圧縮による時間方向からの影響を防ぐため、複数視点の映像が開始する瞬間のフレームの前後のフレームと、複数視点の映像が終了する瞬間のフレームの前後のフレームと、にそれぞれと同一の映像情報として定義された画素情報２１を埋め込んでもよい。

同図によれば、映像情報解析部１７は受信部１２が映像を受信すると、あらかじめ定義された所定の画素配置パターンに基づいて、所定位置のヘッダーの有無をフレームごとに解析する。（１）ヘッダーがあるときは、そのフレームは複数視点の映像のフレームであり、そのフレームには映像情報が定義されているため、映像情報解析部１７は映像情報を解析する。（２）ヘッダーがないときは、そのフレームは平面映像のフレームであり、そのフレームには映像情報が定義されていないため、映像情報解析部１７は映像情報を解析しない。上記の解析が終了すると、映像情報解析部１７は次のフレームの解析に移る。

図２８は、複数視点の映像が開始および終了する瞬間の映像にのみ映像情報として定義された画素情報２１を埋め込むことにより、平面映像と複数視点の映像の判別を行う方法を示したフローチャートである。

同図においては、映像情報解析部１７は複数視点映像識別子ｉ３Ｄおよび１つ前の映像状態識別子ｊ３Ｄを参照することにより、画素情報２１が埋め込まれていない映像のフレームが複数視点の映像のフレームであるのか平面映像のフレームであるのか判別することができる。

＜ブレンドについて＞
ブレンド、すなわち各視点用の画素をどのように立体映像表示装置３表面上に配置するかは、視点数および複数視点による水平解像度の低下の抑制やジャンプポイント緩和のために、パララックスバリアのスリットの形状・幅・傾きやスリット間の間隔を形成するための重要な設計条件である。

代表的なブレンドの例について、以下に示す。

＜ブレンドと圧縮について（その１）＞
次に、第１の、画素構成およびブレンド方法の例を説明する。

図２９（ａ）に示すように、各視点用の画素を構成するＲ、Ｇ、Ｂの各サブピクセルの配置は、３行にまたがる配置をとり、第１の視点用の画素であれば、上から３行目にＲのサブピクセル、その右上２行目にＧのサブピクセル、その右上にＢのサブピクセルという配置を取る。隣の第２の視点用は、下から、Ｇ、Ｂ、Ｒの順となる。この例では、６視点分のサブピクセル配置が分かり易いように、各視点用の画素を水平方向に離して描いているが、実際には、水平方向に連続したものである。

図２９（ｂ）において、圧縮前の第ｋ視点用画像における画素の配置を示す。例えば、「１１」という表示は、圧縮後の画像における第１行第１列に位置する画素を表す。

図２９（ｃ）において、図２９（ｂ）に示す画像から、第ｋ視点以外の視点用である部分（図において斜線で示している）を省いて、圧縮した画像を示す。

このブレンド方法では、ブレンド前の圧縮映像の解像度は、以下の計算により求めることが出来る。

立体映像表示装置３の水平方向の解像度は１９２０であり、視点数は６であり、１行あたり１つの画素を表すために、以前は３サブピクセルを用いたが、このブレンド方法では、１サブピクセルのみを用いるので３倍である。以下の計算式が成り立つ。

１９２０×３／６ ＝ ９６０
すなわち、圧縮画像の水平方向の解像度として、９６０を用いることが出来る。

また、立体映像表示装置３の垂直方向の解像度は１０８０であり、垂直方向には視点数は１であり、１列あたり１つの画素を表すために、以前は１行で表現していたが、このブレンド方法では、３行を用いるので、垂直方向の解像度は、１／３になる。以下の計算式が成り立つ。

１０８０／３ ＝ ３６０
すなわち、圧縮画像の垂直方向の解像度として、３６０を用いることが出来る。

図２９（ｃ）に示すように、圧縮画像のｍ行ｎ列の画素に対し、ｋ番目の視点用の画素を、ｋＰｍｎと表すとする。

図３０において、具体的なサブピクセル単位の配置を示す。

また、図３０は、圧縮画像の１つの画素と、ハイビジョンディスプレイ上においてブレンド処理された後の、その１つの画素に対応するサブピクセルグループとの対応も示している。

この図に示すように、このブレンド方法では、１行目のサブピクセルグループの位置に対し、２行目のサブピクセルグループは、左に３サブピクセルだけずれており、３行目のサブピクセルグループは、２行目のサブピクセルグループに対し、右に３サブピクセルだけずれている。１行目および３行目のサブピクセルグループ同士は、水平方向のずれは無い。

このずれを解消するために、図２９（ｂ）における第ｋ視点用の画素の配置がなされている。例えば、「１１」の画素の３行下、１列左に「２１」の画素が配置され、その３行下、一列右に「３１」の画素が配置されている。

＜ブレンドと圧縮について（その２）＞
次に、第２の、画素構成およびブレンド方法の例を説明する。

図３１（ａ）において、各視点用の画素を構成するサブピクセルの配置を示す。

図３１（ｂ）において、圧縮前の第ｋ視点用画像における画素の配置を示す。

図３１（ｃ）において、図３１（ｂ）に示す画像から、第ｋ視点以外の視点用である部分（図において斜線で示している）を省いて、圧縮した画像を示す。

このブレンド方法では、ブレンド前の圧縮映像の解像度は、前記と同様の計算により求めることが出来る。

立体映像表示装置３の水平方向の解像度は、以下の計算式が成り立つ。

（１９２０×３）／６ ＝ ９６０
また、立体映像表示装置３の垂直方向の解像度は、以下の計算式が成り立つ。

１０８０／５ ＝ ２１６
図３２において、画素を構成するサブピクセル単位およびサブピクセルグループの具体的な配置を示す。

このブレンド方法でもずれが発生するので、そのずれを解消するために、図３１（ｂ）における第ｋ視点用の画素の配置がなされている。例えば、「１１」の画素の５行下、同じ列に「２１」の画素が配置され、その５行下、同じ列に「３１」の画素が配置されている。

＜ブレンドと圧縮について（その３）＞
次に、第３の、画素構成およびブレンド方法の例を説明する。

各視点用の画素の配置を、図３３に示す。

図３３（ａ）において、圧縮前の第ｋ視点用画像における画素の配置を示す。

図３３（ｂ）において、図３３（ａ）に示す画像から、第ｋ視点以外の視点用である部分（図において斜線で示している）を省いて、圧縮した画像を示す。

このブレンド方法では、ブレンド前の圧縮映像の解像度は、前記と同様の計算により求めることが出来る。

立体映像表示装置３の水平方向の解像度は、以下の計算式が成り立つ。

（１９２０×３）／６ ＝ ９６０
また、立体映像表示装置３の垂直方向の解像度は、以下の計算式が成り立つ。

１０８０／２．５ ＝ ５３２
図３４において、画素を構成するサブピクセル単位およびサブピクセルグループの具体的な配置を示す。

このブレンド方法でもずれが発生するので、そのずれを解消するために、図３３（ａ）における第ｋ視点用の画素の配置がなされている。例えば、「１１」の画素の２行下、１列左に「２１」の画素が配置され、その３行下、１列右に「３１」の画素が配置されている。

＜ＲＧＢピクセル自動ブレンド記述＞
複数視点対応の立体映像表示装置３では、各視点用の画素（ピクセル）を、どのようにサブピクセル単位で混ぜて立体映像表示装置３上に配置するかが重要である。この配置をブレンドと言う。

本発明にかかる映像変換装置１では、既存の立体映像表示装置に取り付けられるパララックスバリアのスリット配置形状（例えば垂直線状、斜め直線状など）やスリットのエッジ形状（直線状、階段状、楕円弧状など）が予め定められたものではない。逆に言うと、本発明の映像変換装置１はどのようなスリット配置形状およびどのようなエッジ形状のパララックスバリアに対しても適用出来る。

そこで、立体映像表示装置３上に設置されるパララックスバリアのスリットの種類を各種想定し、それらのスリットに合ったブレンド方法を選択で来るようにすることが必要である。

例えば、裸眼立体コンテンツの再生の際に、本発明にかかる映像変換装置１は、設置されたパララックスバリアを自動認識したり、ユーザがパララックスバリアのＩＤを入力したりすることなどにより、以下の「ＲＧＢピクセル自動ブレンド記述」を受け取り、その記述に合わせたブレンドを行えばよい。

この方法（再生装置側において、どのようなパララックスバリアが用いられるかを把握してから、各視点用の画像データを把握結果に基づきブレンドし、裸眼立体表示用の画像を作成し、立体映像表示装置３に表示する）は、再生する裸眼立体コンテンツは、再生時のパララックスバリアの形状に依存しないので、どのような立体映像表示装置３により再生されるか特定できないような、裸眼立体ＴＶプログラムの放送などの際に有効である。

以下では、ＲＧＢピクセル自動ブレンド記述の例として、「ＲＬ２Ｌ３Ｐ２＋３，＋２」を挙げて説明する。なお、この記述に対応したブレンドを図３５に示す。
１．最初の文字列「ＲＬ」は、モニター正面から見て、右上から左下へ斜め方向に画素が配置されることを示す。この場合、右から左への方向が＋となる座標系である。「ＬＲ」であれば、左上から右下へ斜め方向に画素が配置されることを示す。この場合、左から右への方向が＋となる座標系である。
２．次の文字列「２Ｌ３Ｐ」は、１画素が２行３サブピクセルにより構成されることを示す。
３．次の文字列「２＋３、＋２」は、先頭画素から連結する２画素の配置法則を定め、これら２画素を繰り返して配置することを示す。画素の配置は、先頭画素を構成する左上のサブピクセル（図中、丸で示す）を基準とし、次に連結する画素の左上のサブピクセル（図中、丸で示す）までの、水平方向の左方向ズレ幅をサブピクセル数「＋３」により示す。さらに、その次に連結する画素の水平方向のズレ幅をサブピクセル数「＋２」により示す。なお、最初の文字列が「ＬＲ」の場合は、水平方向の右方向ズレ幅を「＋」により表記する。

図３６から図４１において、ＲＧＢピクセル自動ブレンド記述と対応するブレンド方法との例を示す。なお、各図の右側には、図に示したブレンド方法において、各画素を構成する複数のサブピクセルの配置パターンを示している。

＜選択等に関与するパラメータ＞
なお、ブレンド方法を選択するに際し、本発明にかかる映像変換装置１は、設置されたパララックスバリアの種類を、例えば予め作成し配布されているパララックスバリアとブレンド方法との組み合わせを記述したテーブルを参照し、ブレンド方法を選択する。

パララックスバリアを特定の立体映像表示装置３用に製造する場合、立体映像表示装置３の解像度、ピクセル幅、およびマルチビューの視点数をパラメータとして、パララックスバリアシートを製造する。

＜送信部＞
映像変換装置の送信部１６は、変換部１５により画素配置を変換された映像を映像信号として立体映像表示装置３に送信する機能を持つ。

以上のように、本発明にかかる映像変換装置によれば、安価かつ、実用性に富んだ立体映像表示技術を提供することが可能となる。

なお、本発明は以上説明した各実施形態に限定されるものではなく、請求項に示した範囲で種々の組み合わせが可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明にかかる映像変換装置は、複数視点の映像を既存の映像出力装置および立体映像表示装置に対応した画素配置に変換することにより、その立体映像表示装置に最適な立体表示を行うことができる。

１ 映像変換装置
２ 映像出力装置
３ 映像表示装置
４ 映像ケーブル
５ 制御ケーブル
６ 第一のテーブル
７ リモコン
８ ＵＳＢメモリ
９ 第二のテーブル
１０ 第三のテーブル
１１ カメラ
１２ 受信部
１３ 記憶部
１４ 変換制御部
１５ 変換部
１６ 映像変換装置の送信部
１７ 映像情報解析部
１８ 変換制御情報記憶部
１９ 映像配置部
２０ 映像出力装置の送信部
２１ 画素情報
２２ 画素マトリクス
２３ 元映像ファイル
２４ 画素埋め込み映像ファイル
２５ ｍｐｅｇ２映像ファイル

Claims (23)

1. 映像出力装置より先頭フレームまたは全フレームの所定の位置に映像情報として定義された複数の画素情報が所定の配置パターンに基づいて埋め込まれた複数視点の映像または平面映像を表示用映像信号として受信する受信手段と、
   該受信手段により受信した該複数視点の映像または該平面映像をフレームごとに記憶素子に記憶する記憶手段と、
   該所定の配置パターンに基づいて該画素情報の埋め込まれた位置を特定して、該映像情報を照合するヘッダーの有無を判別し、ヘッダーがあるときは、該映像情報を解析する映像情報解析手段と、
   該ヘッダーの有無により、該映像が複数視点の映像であるか平面映像であるかの判別をさらに制御し、該映像が該複数視点の映像であると判別したときに限り、該映像情報解析手段により解析された該映像情報に基づいて該複数視点の映像を立体映像表示用の画素配置へ変換する指示を制御する変換制御手段と、
   該変換制御手段からの指示により、該画素配置を変換する変換手段と、
   該変換手段により該画素配置を変換された映像または前記平面映像を表示用映像信号として立体映像表示装置に送信する送信手段と、を備えることにより、
   複数視点の映像を立体表示用映像へと即時に変換して視聴可能とする
   ことを特徴とする映像変換装置。
   
2. 映像出力装置より複数視点の映像を表示用映像信号として受信する受信手段と、
   該受信手段により受信した該複数視点の映像をフレームごとに記憶素子に記憶する記憶手段と、
   該記憶手段により該記憶素子に記憶された該複数視点の映像の画素配置を、予め設定された変換制御情報に基づいて立体映像表示用の画素配置に変換する指示を制御する変換制御手段と、
   該変換制御手段からの指示により、該画素配置を変換する変換手段と、
   該変換手段により該画素配置を変換された映像を表示用映像信号として立体映像表示装置に送信する送信手段と、を備えることにより、
   複数視点の映像を立体表示用映像へと即時に変換して視聴可能とする
   映像変換装置であって、
   前記受信手段は、
   さらに、電気的接続または無線通信により外部記憶手段に記憶された変換制御情報を制御信号として受信し、
   前記変換制御手段は、
   該受信手段が該制御信号を受信したときは、
   前記記憶手段により前記記憶素子に記憶された前記複数視点の映像の画素配置を、
   前記予め設定された変換制御情報に代えて、該外部記憶手段に記憶された変換制御情報に基づいて立体映像表示用の画素配置に変換する指示を制御する
   ことを特徴とする映像変換装置。
   
3. 映像出力装置より複数視点の映像を表示用映像信号として受信する受信手段と、
   該受信手段により受信した該複数視点の映像をフレームごとに記憶素子に記憶する記憶手段と、
   該記憶手段により該記憶素子に記憶された該複数視点の映像の画素配置を、予め設定された変換制御情報に基づいて立体映像表示用の画素配置に変換する指示を制御する変換制御手段と、
   該変換制御手段からの指示により、該画素配置を変換する変換手段と、
   該変換手段により該画素配置を変換された映像を表示用映像信号として立体映像表示装置に送信する送信手段と、を備えることにより、
   複数視点の映像を立体表示用映像へと即時に変換して視聴可能とする
   映像変換装置であって、
   前記受信手段は、
   前記立体映像表示装置より制御信号を受信し、
   前記変換制御手段は、
   該制御信号に基づいて、
   該立体映像表示装置の走査方式と、
   該立体映像表示装置の解像度と、
   該立体映像表示装置の視点数と
   該立体映像表示装置の画素配置方法と、の少なくとも１つを認識して制御し、
   前記予め設定された変換制御情報に代えて、該立体映像表示装置の走査方式と、該立体映像表示装置の解像度と、該立体映像表示装置の視点数と、該画素配置の変換方法と、に基づいて該複数視点の映像を立体映像表示用の画素配置へ変換する指示を制御し、
   前記画素配置方法は、
   １以上の画素の組み合わせを繰り返すことによって形成され、
   １画素を構成する行数と、
   該１画素を構成するサブピクセル数と、
   該画素の組み合わせ内で連結される画素数と、
   該画素ごとの連結位置摂動サブピクセル数と、からなる
   ことを特徴とする映像変換装置。
   
4. 映像出力装置より複数視点の映像を表示用映像信号として受信する受信手段と、
   該受信手段により受信した該複数視点の映像をフレームごとに記憶素子に記憶する記憶手段と、
   該記憶手段により該記憶素子に記憶された該複数視点の映像の画素配置を、予め設定された変換制御情報に基づいて立体映像表示用の画素配置に変換する指示を制御する変換制御手段と、
   該変換制御手段からの指示により、該画素配置を変換する変換手段と、
   該変換手段により該画素配置を変換された映像を表示用映像信号として立体映像表示装置に送信する送信手段と、を備えることにより、
   複数視点の映像を立体表示用映像へと即時に変換して視聴可能とする
   映像変換装置であって、
   前記受信手段は、
   不可視領域と、上方から下方に所定の傾きでスリットもしくは穴が連続するようスリット状に複数配置された透過領域とにより形成されたパララックスバリアをモニター前面に所定の空隙を設けて貼り付けられた前記立体映像表示装置により、
   画素を構成するサブピクセルのサイズと、該透過領域の平均傾きと、該スリットもしくは該穴の水平方向の該透過領域の平均幅に相当するサブピクセル数と、隣り合う該スリットもしくは該穴の中心間の平均距離に相当するサブピクセル数と、該立体映像表示装置の解像度と、を制御信号として受信し、
   前記変換制御手段は、該制御信号に基づき、
   複数視点の映像を最も効果的に立体映像表示できる画素配置に変換する画素配置変換法を選択して、該画素配置変換法により変換する指示を制御する
   ことを特徴とする映像変換装置。
   
5. 前記送信手段は、
   前記受信手段が前記映像出力装置より受信する表示用映像信号と、同一規格の表示用映像信号を前記立体映像表示装置に送信する
   ことを特徴とする請求項１ないし４のいずれかひとつに記載の映像変換装置。
   
6. 前記受信手段は、
   電気的接続または無線通信により前記映像出力装置から表示用映像信号を受信し、
   前記送信手段は、
   電気的接続または無線通信により前記立体映像表示装置に対し表示用映像信号を送信する
   ことを特徴とする請求項１ないし４のいずれかひとつに記載の映像変換装置。
   
7. 前記受信手段は、
   各視点用の映像を形成する画像がフレーム内を分割してタイル状に配置した画像により形成された、一映像である前記複数視点の映像を表示用映像信号として受信する
   ことを特徴とする請求項１ないし４のいずれかひとつに記載の映像変換装置。
   
8. 前記受信手段は、
   非可逆性圧縮された映像を前記映像出力装置により解凍した、映像である前記複数視点の映像または前記平面映像を表示用映像信号として受信する
   ことを特徴とする請求項１ないし４のいずれかひとつに記載の映像変換装置。
   
9. 前記受信手段は、
   各視点用の映像（ｋ視点映像）を形成する画像（ｋＦｔ、ｔ＝１〜ｌ）が、同一フレームごとに視点映像順（ｋ＝１〜ｎ）に並べられ、さらに時間方向に配列された画像（Ｆ’ｔ’、ｔ’＝１〜ｎ・ｌ）により形成された映像である前記複数視点の映像を表示用映像信号として受信する
   ことを特徴とする請求項１ないし４のいずれかひとつに記載の映像変換装置。
   
10. 前記受信手段は、
    各視点用の映像（ｋ視点映像）を形成する画像の同一走査線画像情報（Ｓｉ、ｉ＝１〜ｊ）が視点映像順（ｋ＝１〜ｎ）に並べて該走査線画像情報の全てを１フレームの画像に配置された画像（Ｓ’ｉ’、ｉ＝１〜ｎ・ｊ）により形成された映像である前記複数視点の映像を表示用映像信号として受信する
    ことを特徴とする請求項１ないし４のいずれかひとつに記載の映像変換装置。
    
11. 前記受信手段は、
    前記複数視点の映像と、平面映像と、が一の映像として混在する映像を表示用映像信号として受信し、
    前記映像情報解析手段は、
    該混在する映像の全フレームの該映像情報を解析し、
    前記変換制御手段は、
    前記ヘッダーの有無により、該映像が複数視点の映像か平面映像かの判別をさらに制御し、該混在する映像のフレームが該複数視点の映像であると判別したときに限り、該複数視点の映像の立体映像表示用の画素配置への変換する指示を制御し、
    前記送信手段は、
    さらに、該平面映像を表示用映像信号として前記立体映像表示装置に送信する
    ことを特徴とする請求項１に記載の映像変換装置。
    
12. 前記変換制御手段は、
    前記映像情報解析手段により解析された前記映像情報に基づいて、
    前記複数視点の映像の走査方式と、
    該複数視点の映像の解像度と、
    該複数視点の映像の視点数と、
    前記立体映像表示装置の視点数と、の少なくとも１つを認識して制御し、
    前記予め設定された変換制御情報に代えて、該走査方式と、該複数視点の映像の解像度と、該複数視点の映像の視点数と、該立体映像表示装置の視点数と、に基づいて該複数視点の映像を立体映像表示用の画素配置へ変換する指示を制御する
    ことを特徴とする請求項１に記載の映像変換装置。
    
13. 前記受信手段は、
    同一の映像情報として定義された画素情報がＸＹ方向に連続して複数配置された画素マトリクスが、所定の配置パターンに基づいて複数埋め込まれた映像を表示用映像信号として受信し、
    前記映像情報解析手段は、
    該所定の配置パターンに基づいて該画素マトリクスの埋め込まれた位置を特定し、該画素マトリクスの所定位置の該映像情報を解析する
    ことを特徴とする請求項１に記載の映像変換装置。
    
14. 前記映像情報解析手段は、
    中心位置の画素情報または中心位置周辺の複数の画素情報の平均値により映像情報を解析する
    ことを特徴とする請求項１３に記載の映像変換装置。
    
15. 前記受信手段は、
    前記画素マトリクスが、前記複数視点の映像の上端に沿って埋め込まれている映像を表示用映像信号として受信する
    ことを特徴とする請求項１３に記載の映像変換装置。
    
16. 前記受信手段は、
    前記画素マトリクスの外周部分に、前記画素情報に代えて、該画素マトリクスに隣接する画素と、該画素情報と、の中間値の画素または両画素に所定の重み付けをして補間した画素が配置された該画素マトリクスが所定の配置パターンに基づいて複数埋め込まれた映像を表示用映像信号として受信する
    ことを特徴とする請求項１３に記載の映像変換装置。
    
17. 前記受信手段は、
    前記画素情報の所定桁数の上位ビットのみに映像情報が定義された映像を表示用映像信号として受信し、
    前記映像情報解析手段は、
    該複数の画素情報の該所定の桁数の上位ビットのみを参照して映像情報を解析する
    ことを特徴とする請求項１または１１ないし１６のいずれかに記載の映像変換装置。
    
18. 前記映像変換装置は、
    変換制御情報記憶手段をさらに備え、
    前記受信手段は、
    インデックス情報がさらに定義された前記制御信号を受信するか、または、
    インデックス情報がさらに定義された複数の画素情報が所定の配置パターンに基づいて埋め込まれた映像を表示用映像信号として受信し、
    該変換制御情報記憶手段は、
    前記変換制御手段が前記制御信号または前記映像情報に基づいて、前記複数視点の映像の画素配置の変換を前記変換手段に対して指示したときに、変換指示を新たな変換制御情報として、該インデックス情報と対応させて記憶し、
    該変換制御手段は、
    該受信手段が受信した該制御信号または該表示用映像信号の該インデックス情報と対応する変換制御情報が該変換制御情報記憶手段に記憶されているときは、該変換制御情報記憶手段に記憶された変換制御情報に基づいて該複数視点の映像の画素配置を立体映像表示用の画素配置に変換する指示を制御する
    ことを特徴とする請求項１ないし４または１１ないし１７のいずれかひとつに記載の映像変換装置。
    
19. 前記受信手段は、
    さらに、外部入力手段によりインデックス情報が定義された入力信号を受信し、
    前記変換制御手段は、
    前記制御信号また前記表示用映像信号に代えて、
    該受信手段が受信した該入力信号の該インデックス情報と対応する変換制御情報が前記変換制御情報記憶手段に記憶されているときは、該変換制御情報記憶手段に記憶された変換制御情報に基づいて該複数視点の映像の画素配置を立体映像表示用の画素配置に変換する指示を制御する
    ことを特徴とする請求項１８に記載の映像変換装置。
    
20. 請求項１記載の前記映像出力装置と、
    請求項１記載の前記映像変換装置と、
    請求項１記載の立体映像表示装置と
    を備えたことにより、
    複数視点の映像を立体表示用映像へと即時に変換して視聴可能とする
    ことを特徴とする映像変換システム。
    
21. 前記映像変換システムは、
    各視点用の映像を撮影する複数の撮影手段をさらに備え、
    該映像出力装置は、
    該複数の撮影手段により撮影された各視点用の映像を形成する画像を、フレーム内においてタイル状に分割して配置した画像に配置して一映像を形成し、表示用映像信号として前記映像変換装置に送信する
    ことを特徴とする請求項２０に記載の映像変換システム。
    
22. 前記立体表示装置は、
    不可視領域と、上方から下方に所定の傾きでスリットもしくは穴が連続するようスリット状に複数配置された透過領域とにより形成されたパララックスバリアをモニター前面に所定の空隙を設けて貼り付けられた立体映像表示装置であって、
    前記映像変換装置の受信手段は、
    該透過領域の平均傾きと、該スリットもしくは該穴の水平方向の該透過領域の平均幅に相当するサブピクセル数と、隣り合う該スリットもしくは該穴の中心間の平均距離に相当するサブピクセル数と、画素を構成するサブピクセルのサイズと、表示装置の解像度と、を制御信号として受信し、
    前記変換制御手段は、該制御信号に基づき、
    複数視点の映像を最も効果的に立体映像表示できる画素配置に変換する画素配置変換法を選択して、前記変換手段に該画素配置変換法で変換する指示を制御する
    ことを特徴とする請求項２０に記載の映像変換システム。
    
23. 映像出力装置より先頭フレームまたは全フレームの所定の位置に映像情報として定義された複数の画素情報が所定の配置パターンに基づいて埋め込まれた複数視点の映像または平面映像を表示用映像信号として受信手段により受信し、
    受信した該複数視点の映像または該平面映像をフレームごとに記憶素子に記憶手段により記憶し、
    該所定の配置パターンに基づいて該画素情報の埋め込まれた位置を特定して、該映像情報を照合するヘッダーの有無を判別し、ヘッダーがあるときは、該映像情報を映像情報解析手段により解析し、
    該該ヘッダーの有無により、該映像が複数視点の映像か平面映像かの判別をさらに制御し、該映像が該複数視点の映像であると判別したときに限り、該複数視点の映像の画素配置を、解析された該映像情報に基づいて立体映像表示用の画素配置に変換する指示を変換制御手段により制御し、
    該指示により、該画素配置を変換手段により変換し、
    該変換により該画素配置を変換された映像または前記平面映像を表示用映像信号として立体映像表示装置に送信手段により送信することにより、
    複数視点の映像を立体表示用映像へと即時に変換して視聴可能とする
    ことを特徴とする映像変換方法。

Images