JP2015039083A - 映像処理装置、映像処理方法、送信装置および記憶媒体 - Google Patents

Abstract

【課題】高品位な立体映像信号を生成可能な映像処理装置および映像処理方法と、高品位な立体映像信号を生成するための送信装置および記憶媒体を提供する。
【解決手段】実施形態によれば、映像処理装置は、受信手段と、フレーム補間手段と、立体映像生成手段とを備える。前記受信手段は、互いに異なる視点から被写体を撮影した第１の映像信号および第２の映像信号を受信する。前記フレーム補間手段は、前記第１の映像信号の撮影タイミングと前記第２の映像信号の撮影タイミングとの時間差を示す時間差パラメータに基づいて、前記第１の映像信号に対してフレーム補間を行い、前記第２の映像信号と撮影タイミングが同期した第３の映像信号を生成する。前記立体映像生成手段は、前記第２の映像信号および前記第３の映像信号に基づいて立体映像信号を生成する。
【選択図】図１

Description

本発明の実施形態は、映像処理装置、映像処理方法、送信装置および記憶媒体に関する。

近年、映像を立体表示する表示装置が普及しつつある。一般に、右目用の映像と左目用の映像とをディスプレイに表示することにより、視聴者は映像を立体視できる。ところが、右目用および左目用の映像は必ずしも表示に適したタイミングで撮影されたものであるとは限らない。任意のタイミングで撮影された右目用および左目用の映像をそのまま表示しても、高品位な立体映像を表示するのは困難である。

特開２００４−３２２４４号公報

高品位な立体映像信号を生成可能な映像処理装置および映像処理方法と、高品位な立体映像信号を生成するための送信装置および記憶媒体を提供する。

実施形態によれば、映像処理装置は、受信手段と、フレーム補間手段と、立体映像生成手段とを備える。前記受信手段は、互いに異なる視点から被写体を撮影した第１の映像信号および第２の映像信号を受信する。前記フレーム補間手段は、前記第１の映像信号の撮影タイミングと前記第２の映像信号の撮影タイミングとの時間差を示す時間差パラメータに基づいて、前記第１の映像信号に対してフレーム補間を行い、前記第２の映像信号と撮影タイミングが同期した第３の映像信号を生成する。前記立体映像生成手段は、前記第２の映像信号および前記第３の映像信号に基づいて立体映像信号を生成する。

第１の実施形態に係る立体映像表示システムの概略ブロック図。 立体映像撮影装置１が撮影する被写体４の一例を示す図。 映像処理装置２の処理動作の一例を示すフローチャート。 各映像信号のタイミングを概略的に示す図。 各映像の一例を模式的に示す図。 映像信号Ｌ０〜Ｌ２と、Ｌ０’〜Ｌ２’と、Ｒ０〜Ｒ２との関係を示す図。 各映像信号のタイミングを概略的に示す図。 映像信号Ｌ０〜Ｌ２と、Ｌ０’ ’〜Ｌ２ ’’と、Ｒ０〜Ｒ２との関係を示す図。 第３の実施形態に係る立体映像表示システムの概略ブロック図。 映像処理装置２の処理動作の一例を示すフローチャート。 各映像信号のタイミングを概略的に示す図。 映像信号の入力元の例を示す図。

以下、実施形態について、図面を参照しながら具体的に説明する。

（第１の実施形態）
図１は、第１の実施形態に係る立体映像表示システムの概略ブロック図である。立体映像表示システムは、立体映像撮影装置１と、映像処理装置２と、表示モジュール３とを備えている。この立体映像表示システムは、いわゆる偏光グラス方式で立体表示するものである。また、図２は、立体映像撮影装置１が撮影する被写体４の一例を示す図である。

立体映像撮影装置１は、右目用カメラ１１Ｒと、左目用カメラ１１Ｌとを有する。右目用カメラ１１Ｒは、相対的に右側に位置する視点から被写体４を撮影し、右目用映像信号（第１の映像信号）を生成する。左目用カメラ１１Ｌは、相対的に左側に位置する視点から被写体４を撮影し、左目用映像信号（第２の映像信号）を生成する。右目用および左目用映像信号は、例えばＨＤＭＩ（High Definition Multimedia Interface）ケーブルを介して、映像処理装置２に送信される。なお、右目用カメラ１１Ｒと左目用カメラ１１Ｌは、一定のフレームレート（例えば６０ｆｐｓ（frame per second））で撮影を行うが、必ずしも互いに同じタイミングで撮影を行っているわけではない。

映像処理装置２は、受信モジュール２１と、映像処理モジュール２２と、映像信号分離モジュール２３と、フレーム補間モジュール２４と、立体映像生成モジュール２５とを有する。映像処理装置２は、１または複数の半導体チップとして実装されてもよいし、その少なくとも一部がソフトウェアで実装されてもよい。

受信モジュール２１は立体映像撮影装置１から右目用および左目用映像信号を受信し、必要に応じて一時的に記憶する。さらに、受信モジュール２１は、右目用カメラ１１Ｒの撮影タイミングと左目用カメラ１１Ｌの撮影タイミングとの時間差を示す時間差パラメータを取得する。右目用および左目用映像信号は映像処理モジュール２２に供給され、時間差パラメータはフレーム補間モジュール２４に供給される。

時間差パラメータは、例えばＨＤＭＩケーブルを介して、立体映像撮影装置１から受信モジュール２１に送信される。また、立体映像撮影装置１のメーカや型式ごとの時間差パラメータを予めデータベースとして受信モジュール２１内に記憶しておいてもよい。この場合、受信モジュール２１は立体映像撮影装置１のメーカや型式をＨＤＭＩケーブルを介して認識し、データベースから時間差パラメータを取得する。

映像処理モジュール２２は、右目用および左目用映像信号に対して、種々の映像信号処理を行う。ここでの処理は、例えば、復号処理、ノイズ除去等の高画質化処理であり、具体的な内容は問わない。処理後の右目用および左目用映像信号は映像信号分離モジュール２３に供給される。映像処理モジュール２２を１つのＳｏＣ（System on Chip）として実装してもよい。

映像信号分離モジュール２３は、処理後の右目用および左目用映像信号を分離し、右目用映像信号を立体映像生成モジュール２５に、左目用映像信号をフレーム補間モジュール２４に、それぞれ供給する。

フレーム補間モジュール２４は、時間差パラメータに応じて、左目用映像信号における少なくとも２つのフレームを用いてフレーム補間を行い、補間フレームを生成する。そして、フレーム補間モジュール２４は、補間フレームから構成される、右目用映像信号と撮影タイミングが同期したフレーム補間後の左目用映像信号（第３の映像信号）を生成する。本実施形態では偏光グラス方式を念頭に置いているため、フレーム補間モジュール２４は、右目用映像信号と撮影タイミングが揃うよう、左目用映像信号をフレーム補間して、フレーム補間後の左目用映像信号を生成する。フレーム補間後の左目用映像信号は立体映像生成モジュール２５に供給される。

立体映像生成モジュール２５は、右目用映像信号とフレーム補間後の左目用映像信号に基づいて、偏光グラス方式で立体表示するための立体映像信号を生成する。より具体的には、立体映像信号の奇数ラインには右目用映像信号の奇数ラインが割り当てられ、偶数ラインにはフレーム補間後の左目用映像信号の偶数ラインが割り当てられる。なお、偶数ラインと奇数ラインの割り当ては逆でもよい。立体映像信号は表示モジュール３に供給される。

表示モジュール３は、マトリクス状に配置された、例えば１９２０＊１０８０画素を有する液晶パネルを有する。もちろん、表示モジュール３の画素数に制限はないし、プラズマディスプレイパネルやＥＬ（ElectroLluminescence）パネルであってもよい。表示モジュール３の奇数ラインには右目用映像信号に応じた右目用映像が表示され、偶数ラインにはフレーム補間後の左目用映像信号に応じた左目用映像が表示される。表示パネルには不図示の偏光フィルタ（例えば、パターン化位相差フィルム）が設けられ、偶数ラインと奇数ラインとで、異なる偏光特性の光が出力される。

視聴者は、偏光フィルタが貼り付けられた特殊な眼鏡を用いて、表示モジュール３に表示された映像を見える。偏光フィルタにより、右目には右目用映像のみが見え、左目には左目用映像のみが見える。これにより、視聴者は、右目と左目とで異なる映像を見ることになり、映像を立体視できる。

図３は、映像処理装置２の処理動作の一例を示すフローチャートである。図４は、各映像信号のタイミング図を概略的に示す図である。図５は、各映像の一例を模式的に示す図である。図３〜図５を用いて、映像処理装置２の処理動作を説明する。

まず、受信モジュール２１は、立体映像撮像装置１から、右目用映像信号、左目用映像信号および時間差パラメータを取得する（ステップＳ１）。図４の例では、時刻ｔ１，ｔ３，ｔ５で左目用カメラ１１Ｌが被写体４を撮影し、図５の左目用映像信号Ｌ０，Ｌ１，Ｌ２をそれぞれ生成する。そして、時刻ｔ１，ｔ３，ｔ５から時間ｄｔだけそれぞれ遅れた時刻ｔ２，ｔ４，ｔ６で右目用カメラ１１Ｒが被写体４を撮影し、図５の右目用映像信号Ｒ０，Ｒ１，Ｒ２をそれぞれ生成する。このとき、時間差パラメータは時間差ｄｔ＝ｔ２−ｔ１を示す。なおｄｔの値は、例えば半フレームに相当する時間未満の値を示すが、ｄｔの値はこれに限らず半フレーム相当時間以上の値であってもよい。

次に、映像処理モジュール２２は、右目用および左目用映像信号に対して映像処理を行う（ステップＳ２）。

次いで、映像信号分離モジュール２３は、処理後の右目用および左目用映像信号を分離し、処理後の右目用映像信号を立体映像生成モジュール２５に、左目用映像信号をフレーム補間モジュール２４に、それぞれ供給する（ステップＳ３）。

フレーム補間モジュール２４は、時間差パラメータｄｔに応じて、左目用映像信号に対してフレーム補間を行い、右目用映像信号と撮影タイミングが揃った、フレーム補間後の左目用映像信号を生成する（ステップＳ４）。

図６は、左目用映像信号Ｌ０〜Ｌ２と、フレーム補間後の左目用映像信号Ｌ０’〜Ｌ２’と、右目用映像信号Ｒ０〜Ｒ２との関係を示す図である。例えば、フレーム補間モジュール２４は、時刻ｔ２に撮影されたのと等価なフレームＬ０’を生成するために、時刻ｔ２の前後の時刻ｔ１，ｔ３における各左目用映像信号のフレームＬ０，Ｌ１を用いてフレーム補間を行う。

フレーム補間モジュール２４は、例えば動きベクトルを用いて、フレーム補間を行うことができる。被写体４である振り子の球は、時刻ｔ１では位置ｐ１にあったが、時刻ｔ２では位置ｐ２へ動いている。よって、フレーム補間モジュール２４は、振り子の球を位置ｐ１とｐ２との間の位置に移動させる。また、図４の例では、時刻ｔ２は時刻ｔ１に近いため、振り子の球を位置ｐ１とｐ２との間であって、位置ｐ１に近い位置に移動させるのが望ましい。

このようにして、フレーム補間モジュール２４は、図４および図６に示すように、時刻ｔ２，ｔ４，ｔ６に撮影されたのと等価なフレーム補間後の左目用映像信号のフレームＬ０’，Ｌ１’，Ｌ２’等をそれぞれ生成する。

なお、フレーム補間の手法は任意であり、フレーム補間モジュール２４は、例えば３以上のフレームを用いてフレーム補間を行ってもよい。

続いて、立体映像生成モジュール２５は、フレーム補間モジュール２４から供給されるフレーム補間後の左目用映像信号と、映像信号分離モジュール２３から供給される右目用映像信号と、を用いて、偏光グラス方式で立体表示するための立体映像信号を生成する（ステップＳ５）。より具体的には、図４に示すように、立体映像生成モジュール２５は、右目用映像信号Ｒ０の奇数ラインと、フレーム補間後の左目用映像信号Ｌ０’の偶数ラインとを組み合わせて、時刻ｔ２における立体映像信号のフレームを生成する。すなわち、立体映像信号は右目用映像信号の奇数ラインおよびフレーム補間後の左目用映像信号の偶数ラインから構成される。

フレーム補間を行って、撮影タイミングが揃った右目用映像信号および左目用映像信号を用いるため、違和感のない高品位な立体映像信号を生成できる。

この立体映像信号は表示モジュール３に供給され、立体映像が表示される。

なお、フレーム補間モジュール２４が左目用映像信号にのみフレーム補間を行う例を示したが、右目用映像信号にのみフレーム補間を行ってもよいし、左目用および右目用映像信号の両方にフレーム補間を行ってもよい。例えば、右目用カメラ１１Ｒおよび左目用カメラ１１Ｌが６０ｆｐｓで撮影するのに対し、表示モジュール３が１２０ｆｐｓで映像を表示する場合、フレーム補間モジュール２４は、右目用映像信号にフレーム補間を行って１２０ｆｐｓのフレーム補間後の右目用映像信号を生成するとともに、左目用映像信号にフレーム補間を行って、フレーム補間後の右目用映像信号と撮影タイミングが揃い、かつ、１２０ｆｐｓのフレーム補間後の左目用映像信号を生成してもよい。

このように、第１の実施形態では、撮影タイミングが揃った左目用および右目用映像信号を生成し、これらを用いて偏光方式用の立体映像信号を生成するため、高品位な立体映像信号を生成できる。

（第２の実施形態）
上述した第１の実施形態は偏光グラス方式で立体表示するものであったが、以下に説明する第２の実施形態は、時分割方式で立体表示するものである。

立体映像表示システムの概略ブロック図および映像処理装置２の処理動作は第１の実施形態と類似している。第１の実施形態に対して、フレーム補間モジュール２４による処理（図３のステップＳ４）および立体映像生成モジュール２５による処理（ステップＳ５）が異なっている。

なお、以下の説明では、カメラ１１Ｒ，１１Ｌが６０ｆｐｓで撮影を行い、表示モジュール３が１２０ｆｐｓで映像を表示する例を示す。

時分割方式では、右目用および左目用映像は同時には表示されず、右目用および左目用映像が交互に表示される。表示モジュール３が１２０ｆｐｓで映像を表示する場合、右目用映像が６０ｆｐｓで表示され、カメラ１１Ｒ，１１Ｌのフレームレートの半フレーム分、言い換えると、表示モジュール３のフレームレートの１フレーム分に相当するに相当する１／１２０秒ずれて左目用映像が６０ｆｐｓで表示される。このことを考慮して、フレーム補間モジュール２４はフレーム補間を行う。

そして、視聴者は、表示モジュール３に表示される映像に同期して左目および右目の液晶シャッタが６０Ｈｚで開閉する眼鏡を用いて、映像を見る。よって、右目には右目用映像のみが見え、左目には左目用映像のみが見える。これにより、視聴者は、右目と左目とで異なる映像を見ることになり、映像を立体視できる。

図７は、各映像信号のタイミングを概略的に示す図である。図８は、映像信号Ｌ０〜Ｌ２と、Ｌ０’ ’〜Ｌ２ ’’と、Ｒ０〜Ｒ２との関係を示す図である。図７および図８を用いて、本実施形態におけるフレーム補間モジュール２４および立体映像生成モジュール２５の処理動作を説明する。

上述のように、右目用および左目用映像は１フレームずつ交互に表示される。よって、フレーム補間モジュール２４は、左目用映像信号に対してフレーム補間を行い、右目用映像信号に同期した信号として、右目用映像信号と撮影タイミングが半フレームずれた、フレーム補間後の左目用映像信号を生成する。

例えば、フレーム補間モジュール２４は、右目用映像信号の撮影タイミングである時刻ｔ２，ｔ４の中間である時刻ｔ１１に撮影されたのと等価なフレームＬ０’’を生成するために、時刻ｔ１１の前後の時刻ｔ１，ｔ３における各左目用映像信号のフレームＬ０，Ｌ１を用いてフレーム補間を行う。同様に、時刻ｔ４，ｔ６の中間である時刻ｔ１２に撮影されたのと等価なフレーム補間後の左目用映像信号のフレームＬ１’’等を生成する。

続いて、立体映像生成モジュール２５は、右目用映像信号と、フレーム補間後の左目用映像信号とを用いて、時分割方式で立体表示するための立体映像信号を生成する。より具体的には、立体映像生成モジュール２５は、右目用映像信号のフレームと、左目用映像信号のフレームとを交互に並べた立体映像信号を生成する。すなわち、立体映像信号は１フレームずつ交互に並べられた右目用映像信号およびフレーム補間後の左目用映像信号から構成される。
この立体映像信号は表示モジュール３に供給され、立体映像が表示される。

なお、上述した例では、表示モジュール３のフレームレート（表示レート）がカメラ１１Ｒ，１１Ｌのフレームレート（撮影レート）の２倍であり、右目用映像信号に対してフレーム補間を行わなくてもよい。そうでない場合、必要に応じて右目用および左目用映像信号の両方をフレーム補間してもよい。例えば、まず右目用映像信号のフレームレートが表示モジュール３のフレームレートの１／２になるように右目用映像信号に対してフレーム補間を行う。続いて、左目用映像信号に対してフレーム補間を行って、撮影タイミングがフレーム補間後の右目用映像信号と表示モジュール３の１フレーム分ずれた、フレーム補間後の左目用映像信号を生成する。また、表示モジュール３のフレームレートとカメラ１１Ｒ，１１Ｌのフレームレートとが等しいような場合には、フレーム補間モジュール２４は適宜右目用および左目用映像信号のフレームを間引いてもよい。

このように、第２の実施形態では、撮影タイミングが表示モジュール３の１フレーム分ずれた左目用および右目用映像信号を生成し、これらを用いて時分割方式用の立体映像信号を生成するため、高品位な立体映像信号を生成できる。

（第３の実施形態）
上述した第１および第２の実施形態は、いずれも眼鏡を用いて立体表示するものであったが、以下に説明する第３の実施形態は、複数の視差画像を同時に表示して裸眼方式で立体表示するものである。

図９は、第３の実施形態に係る立体映像表示システムの概略ブロック図である。図９では、図１と共通する構成部分には同一の符号を付しており、以下では相違点を中心に説明する。

立体映像表示システムは、さらに、デプスデータ生成モジュール２６を備えている。デプスデータ生成モジュール２６は、右目用映像信号およびフレーム補間後の左目用映像信号に基づいて、各画素のデプス値を生成する。デプス値は、どの程度、画素に表示される映像が表示モジュール３の手前または奥に見えるよう表示するか、を示すパラメータである。デプスデータ生成モジュール２６は、例えば右目用映像信号におけるある画素が、フレーム補間後の左目用映像信号におけるどの画素と対応しているか、等を考慮して、デプス値を生成する。

立体映像生成モジュール２５は、右目用映像信号およびフレーム補間後の左目用映像信号と、デプス値とに基づいて、例えばそれぞれ１２８０＊７２０画素を有する第１〜第９視差画像信号を生成する。第１〜第９視差画像信号に対応する第１〜第９視差画像は、水平方向に沿って左から右へ並ぶ９つの視点からそれぞれ被写体４を見た画像である。

表示モジュール３は、液晶パネルと、レンチキュラレンズとを有する。本実施形態の液晶パネルは水平方向に１１５２０（＝１２８０＊９）＊７２０画素を有する。レンチキュラレンズは液晶パネルの水平方向に沿って配置される複数の凸部を有し、その数は液晶パネルの水平方向画素数の１／９である。そして、水平方向に配置される９個の画素につき１つの凸部が対応するように、レンチキュラレンズが液晶パネルの表面に貼り付けられている。

各凸部に対応する９個の画素にそれぞれ第１〜第９視差画像の各画素が表示される。各画素に表示された画像は凸部の頂点付近から指向性を持って特定の方向へ出力される。視聴者は、レンチキュラレンズを介して、左目で第１〜第９視差画像のうちの１つの視差画像を、右目で他の１つの視差画像をそれぞれ見ることにより、映像を立体視できる。

なお、レンチキュラレンズに代えて、パララックスバリア等、出力される光の方向を制御可能な部材を用いてもよい。パララックスバリアを透過型液晶表示装置などで電子的に発生させてもよい。

図１０は、映像処理装置２の処理動作の一例を示すフローチャートである。図１１は、各映像信号のタイミングを概略的に示す図である。

第１の実施形態と同様のステップＳ１〜Ｓ４の後、デプスデータ生成モジュール２６は、右目用映像信号およびフレーム補間後の左目用映像信号に基づいて、各画素のデプス値を生成する（ステップＳ１１）。より具体的には、デプスデータ生成モジュール２６は、時刻ｔ２における右目用映像信号Ｒ０、フレーム補間後の左目用映像信号Ｌ０’に基づいて、時刻ｔ２におけるデプス値ＤＥＰ０を生成する。同様にして、デプスデータ生成モジュール２６は、時刻ｔ２，ｔ４におけるデプス値ＤＥＰ１，ＤＥＰ２等を生成する。このように、右目用映像信号およびフレーム補間後の左目用映像信号の撮影タイミングが揃っているため、デプスデータ生成モジュール２６は精度よくデプス値を生成できる。

その後、立体映像生成モジュール２５は、右目用映像信号と、フレーム補間後の左目用映像信号と、デプス値とを用いて、立体映像信号を生成する（ステップＳ５）。より具体的には、図１１に示すように、立体映像生成モジュール２５は、時刻ｔ２における右目用映像信号Ｒ０、フレーム補間後の左目用映像信号Ｌ０’、および、デプス値ＤＥＰ０を用いて、第１〜第９視差画像を含む時刻ｔ２における立体映像信号Ｖ０を生成する。

この立体映像信号は表示モジュール３ａに供給されて、立体映像が表示される。

このように、第３の実施形態では、撮影タイミングが揃った左目用および右目用映像信号を用いてデプス値を生成し、このデプス値を用いて立体映像信号を生成するため、高品位な立体映像信号を生成できる。

なお、視差画像の数は９つに限定されない。例えば、単に右目用および左目用の２つの視差画像を表示する場合、デプスデータ生成モジュール２６を省略して、撮影タイミングが揃った右目用映像信号およびフレーム補間後の左目用映像信号を、それぞれ、右目用視差画像および左目用視差画像として表示してもよい。また、本実施形態でも、右目用映像信号にフレーム補間を行ってもよい。

上述した各実施形態では、カメラを有する立体映像撮影装置１から映像処理装置２の受信モジュール２１に映像信号が入力される例を示したが、映像信号の入力元に特に制限はない。

図１２は、映像信号の入力元の例を示す図である。図１２（ａ）に示すように、放送局５から右目用および左目用映像と時間差パラメータとを含む放送波を受信してもよい。この場合、受信モジュール２１は、放送波をチューニングおよび復号して、右目用および左目用映像信号と時間差パラメータとを生成する。また、図１２（ｂ）に示すように、ＤＶＤ，ＨＤ ＤＶＤ，ＢＤ等の光ディスクやＨＤＤ等の記憶装置に記憶された右目用および左目用映像信号と時間差パラメータとを、光ディスク再生装置やパーソナルコンピュータ等の再生装置６により読み出して再生し、これを受信モジュール２１に送信してもよい。

これらの右目用および左目用映像信号は、例えばフレームパッキング（ＦＰ）、サイドバイサイド（ＳＢＳ）あるいはトップアンドボトム（ＴＡＢ）方式等の信号である。

また、放送局５や再生装置６から時間差パラメータを受信してもよいし、他から受信してもよい。あるいは、右目用および左目用映像信号の時間差パラメータが規格等により予め定められている場合は、受信モジュール２１が時間差パラメータを受信せず、フレーム補間モジュール２４が予め時間差パラメータを記憶しておいてもよい。

さらに、映像処理装置２と表示モジュール３とを一体にして映像処理装置としてもよいし、映像処理装置２を例えばＳＴＢ（Set Top box）等の放送受信装置や記録媒体の再生装置等に搭載して、映像処理装置を構成してもよい。

上述した実施形態で説明した映像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、映像処理装置の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、映像処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 立体映像撮影装置
１１Ｒ，１１Ｌ カメラ
２，２ａ 映像処理モジュール
２１ 受信モジュール
２２ 映像処理モジュール
２３ 映像信号分離モジュール
２４ フレーム補間モジュール
２５ 立体映像生成モジュール
２６ デプスデータ生成モジュール
３，３ａ 表示モジュール
４ 被写体
５ 放送局
６ 再生装置

Claims (16)

1. 互いに異なる視点から被写体を撮影した第１の映像信号および第２の映像信号を受信する受信手段と、
   前記第１の映像信号の撮影タイミングと前記第２の映像信号の撮影タイミングとの時間差を示す時間差パラメータに基づいて、前記第１の映像信号に対してフレーム補間を行い、前記第２の映像信号と撮影タイミングが同期した第３の映像信号を生成するフレーム補間手段と、
   前記第２の映像信号および前記第３の映像信号に基づいて立体映像信号を生成する立体映像生成手段と、を備える映像処理装置。
2. 前記フレーム補間手段は、前記時間差パラメータに基づいて、前記第１の映像信号に対してフレーム補間を行い、前記第２の映像信号と撮影タイミングが揃ったフレームを生成することにより、前記第３の映像信号を生成する、請求項１に記載の映像処理装置。
3. 前記立体映像信号生成手段は、偶数ラインに前記第２の映像信号および前記第３の映像信号の一方の偶数ラインが割り当てられ、奇数ラインに他方の奇数ラインが割り当てられた前記立体映像信号を生成する、請求項２に記載の映像処理装置。
4. 前記立体映像信号生成手段は、前記第２の映像信号および前記第３の映像信号に基づいて、複数の視差画像を含む前記立体映像信号を生成する、請求項２に記載の映像処理装置。
5. 前記第２の映像信号および前記第３の映像信号に基づいて、各画素の奥行きを示すデプス値を生成するデプスデータ生成手段を備え、
   前記立体映像信号生成手段は、前記デプス値に基づいて、前記複数の視差画像を含む前記立体映像信号を生成する、請求項４に記載の映像処理装置。
6. 前記フレーム補間手段は、前記時間差パラメータに基づいて、前記第１の映像信号に対してフレーム補間を行い、前記第２の映像信号と撮影タイミングが予め定めた時間だけずれたフレームを生成することにより、前記第３の映像信号を生成する、請求項１に記載の映像処理装置。
7. 前記予め定めた時間は、前記立体映像信号が表示される表示手段の１フレーム分に対応する時間である、請求項６に記載の映像処理装置。
8. 前記立体映像信号生成手段は、前記第２の映像信号と前記第３の映像信号とをフレーム単位で交互に表示するための前記立体映像信号を生成する、請求項６に記載の映像処理装置。
9. 前記フレーム補間手段は、前記時間差パラメータに基づいて、前記第１の映像信号に対してフレーム補間を行って前記第３の映像信号を生成するとともに、前記第２の映像信号に対してフレーム補間を行って第４の映像信号を生成し、前記第３の映像信号および前記第４の映像信号は撮影タイミングが互いに同期しており、
   前記立体映像信号生成手段は、前記第３の映像信号および前記第４の映像信号に基づいて前記立体映像信号を生成する、請求項１に記載の映像処理装置。
10. 第１の視点から撮影して前記第１の映像信号を生成する第１のカメラと、前記第１の視点とは異なる第２の視点から撮影して前記第２の映像信号を生成する第２のカメラと、を有する撮影装置から、前記受信手段は前記第１の映像信号および前記第２の映像信号ならびに前記時間差パラメータを受信する、請求項１に記載の映像処理装置。
11. 前記受信手段は、
    放送局から送信される放送波を受信し、これをチューニングおよび復調して前記第１の映像信号および前記第２の映像信号を生成するか、
    記憶媒体から読みだされた前記第１の映像信号および前記第２の映像信号を受信する、請求項１に記載の映像処理装置。
12. 前記立体映像信号に応じた立体映像を表示する表示手段を備える、請求項１に記載の映像処理装置。
13. 前記第１の映像信号および前記第２の映像信号の一方は右目用の映像信号であり、他方は左目用の映像信号である、請求項１に記載の映像処理装置。
14. 互いに異なる視点から被写体を撮影した第１の映像信号および第２の映像信号を受信するステップと、
    前記第１の映像信号の撮影タイミングと前記第２の映像信号の撮影タイミングとの時間差を示す時間差パラメータに基づいて、前記第１の映像信号に対してフレーム補間を行い、前記第２の映像信号と撮影タイミングが同期した第３の映像信号を生成するステップと、
    前記第２の映像信号および前記第３の映像信号に基づいて立体映像信号を生成するステップと、を備える映像処理方法。
15. 互いに異なる視点から被写体を撮影した第１の映像信号および第２の映像信号と、前記第１の映像信号の撮影タイミングと前記第２の映像信号の撮影タイミングとの時間差を示す時間差パラメータと、を送信する送信部を備える送信装置。
16. 互いに異なる視点から被写体を撮影した第１の映像信号および第２の映像信号と、前記第１の映像信号の撮影タイミングと前記第２の映像信号の撮影タイミングとの時間差を示す時間差パラメータと、を記憶した記憶媒体。

Images