JP2018191191A - 立体映像生成装置 - Google Patents

Abstract

【課題】映像の大きさを変えずに、不一致領域周囲の映像に因り両眼視野闘争の原因除去効果が薄れず、また右眼映像と左眼映像に上下方向のずれが存在しても対応可能な、両眼視野闘争の発生を防止すること。【解決手段】左右眼映像の一方に存在する第一の対象を抽出する第一の手段と、第一の対象を置換する第二の対象を生成する第二の手段と、第一の対象を第二の対象で置換する第三の手段と、を備え、第一の手段が左右眼映像の右端、左端、上端、下端から独立に定義する距離内の領域を対象に第一の対象を抽出し、第二の手段が第一の対象に接し左右眼映像に存在する領域を対象に立体視効果が最小の領域を抽出し、第一の対象と同一の形状でかつ抽出した立体視効果が最小の領域と同一の色情報を持つ第二の対象を生成し、第三の手段が第一の対象を第二の対象で置換し、立体視効果を両眼視差に依り定義する。【選択図】図１

Description

本発明は、立体映像生成装置に関する。

デジタル技術の進歩に因り、立体映像の撮影や編集が可能な機器が普及しつつある。例えば、従来大掛かりな装置が必要であった立体映像の撮影は、手持ちのカムコーダで可能となっている。立体映像の作成機器の普及に伴い、流布する立体映像の数も急激に増加している。

現在流布している立体映像の多くは、視差を利用して視聴者に立体感を知覚させる。視差は、右眼で見た映像と左眼で見た映像の違いである。左右の網膜が視覚した、右眼用の映像と左眼用の映像が視差を持つと、脳がそれぞれの映像の違いを処理し、右眼の網膜が視覚した映像と左眼の網膜が視覚した映像を融合して立体感を知覚する。立体映像を表示する装置は、右眼用の映像は右眼で左眼用の映像は左眼で視覚するように、空間的に右眼の映像と左眼の映像を分離して表示するか、あるいは時間的に右眼の映像と左眼の映像を分離して表示する。

しかし、右眼で視覚した映像あるいは左眼で視覚した映像のどちらか片方の映像にのみ存在する領域があると、当該領域では、右眼で視覚した映像と左眼で視覚した映像を無作為な時間間隔で選択したどちらか一方の映像のみを知覚する。これが、両眼視野闘争である。両眼視野闘争が生じると、脳が知覚する映像は不規則に変化する為、立体映像の視聴者は違和感や疲労感を覚える虞が生じる。

そこで、両眼視野闘争を回避する技術が提案されている。特許文献１が開示する技術は、右眼用映像と左眼用映像間の双方に存在する画素の存在範囲を求め、当該画素の存在範囲外の領域を右眼用映像あるいは左眼用映像から除去することで、両眼視野闘争の発生を防止する。また、特許文献２が開示する技術は、右眼用映像に対して左眼用映像の右側端を参照信号として不一致領域を求め、逆に左眼用映像に対して右眼用映像の左側端を参照信号として不一致領域を求める。そして、求めた不一致領域の信号レベルを０にすることで、両眼視野闘争を防止する。

特開平５−３１６５４１号公報 特開２０１１−４９７９９号公報

しかし、特許文献１が開示している技術は、右眼用映像と左眼用映像間の双方に存在する画素の存在範囲外の領域を除去することで両眼視野闘争を防止する技術の為、映像の表示範囲が縮小する。また、特許文献２が開示している技術は、不一致領域の信号レベルを０にすることで両眼視野闘争を防止する技術の為、不一致領域の周囲の信号レベルに依っては、信号レベルを０にした不一致領域が目立ち、却って両眼視野闘争を引き起こす。また、特許文献２が開示する技術は、不一致領域の検出を右眼あるいは左眼の映像の左右端を対象にしている為、右眼映像と左眼映像間に上下方向のずれが存在すると対応できない。

本発明は、映像の大きさを変えずに、不一致領域周囲の映像に因り両眼視野闘争の原因除去効果が薄れず、また右眼映像と左眼映像に上下方向のずれが存在しても対応可能な、両眼視野闘争の発生を防止した立体映像生成裝置を提供することを目的とする。

上記の目的を達成するために、本発明に係る立体映像生成裝置は、
右眼映像あるいは左眼映像のどちらか片方に存在する第一の対象を抽出する第一の手段と、前記第一の対象を置換する第二の対象を生成する第二の手段と、前記第一の対象を前記第二の対象で置換する第三の手段と、を具備し、前記第一の手段が右眼映像および左眼映像の右端、左端、上端、あるいは下端から独立に定義する距離内の領域を対象に前記第一の対象を抽出し、前記第二の手段が前記第一の対象に接し右眼映像および左眼映像の双方に存在する領域を対象に立体視効果が最小の領域を抽出し、前記第一の対象と同一の形状でかつ前記抽出した立体視効果が最小の領域と同一の色情報を持つ第二の対象を生成し、前記第三の手段が前記第一の対象を前記第二の対象で置換し、前記立体視効果を少なくとも両眼視差に依り定義する、ことを特徴とする。

本発明によれば、映像の大きさを変えることなく、不一致領域周囲の映像に因り効果が薄れることなく、また右眼映像と左眼映像に上下方向のずれが存在しても両眼視野闘争の原因を除去する作用がある。したがって、本発明に依れば、両眼視野闘争の発生を防止した立体映像を生成する立体映像生成裝置を提供することが可能となる。

本発明の第一の実施形態を示す図である。 第一の対象の一例を示す図である。 第一の対象領域の一例を示す図である。 第一の手段の動作の一例を示す図である。 第一の手段の動作を示す流れ図である。 第二の手段の動作を示す流れ図である。 第二の手段の動作の一例を示す図である。 第三の手段の動作を示す流れ図である。 第三の手段の動作の一例を示す図である。 本発明の第二の実施形態を示す図である。

以下、添付の図面に沿って本発明の実施の形態を説明する。ただし、本発明の趣旨及びその範囲から逸脱することなく、実施形態及び詳細を変更することは可能である。したがって、本実施の形態は記載内容に限定するものではない。また、以下に示す実施形態は、特に限定する場合を除き、ハードウェア上に実装しても、あるいはソフトウェアで実装しても構わない。なお、同一の機能を有する部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

［第１の実施形態］
図１は、本発明の第一の実施形態を示す図である。

本実施形態は、右眼映像あるいは左眼映像のどちらか片方に存在する第一の対象を抽出する第一の手段１１と、第一の対象を置換する第二の対象を生成する第二の手段１２と、第一の対象を第二の対象で置換する第三の手段１３を少なくとも有している。

第一の手段１１は、入力立体映像１０１から右眼映像あるいは左眼映像のどちらか片方に存在する第一の対象を抽出し、抽出した第一の対象の属性から第一の対象情報１０２を生成し出力する。第一の対象情報１０２は、以下に示す情報を少なくとも含むとする。

１）第一の対象の位置と範囲を表す情報
２）第一の対象を抽出したフレームのフレーム番号
第一の対象の位置と範囲を表す情報の一例は、第一の対象の各頂点の座標である。勿論、第一の対象の位置と範囲を表す情報を第一の対象の各頂点の座標に限定するものではない。

続いて、図２を使用して第一の対象の特徴を詳細に説明する。図２は、立体映像の右眼映像２０と立体映像の左眼映像２１、および立体映像が捉えている映像の範囲を表す映像全体２２を示している。立体視の為に両眼視差を附与して生成した右眼あるいは左眼が、右眼映像２０と左眼映像２１である。本実施形態の立体映像には中央に旗を持った人物、その左奥と右奥に木が存在している。尚、以下混同の虞が無い場合に限り、両眼視差を視差と記述する。

視差を附与した結果、右眼映像２０は左奥の木の一部が映像フレームからはみ出して表示できない。また、左眼映像２１は右奥の木の一部が映像フレームからはみ出して表示できない。しかし、右眼の映像フレームからはみ出して表示できない左奥の木の一部は、左眼映像２１には存在する。したがって、この右眼の映像フレームからはみ出して表示できない左奥の木の一部は、左眼映像のみに存在する為、第一の対象である。同様に、左眼の映像フレームからはみ出して表示できない右奥の木の一部も右眼映像のみに存在する為、第一の対象である。

図２の映像全体２２は、本実施形態に係わる、立体映像が捉えている映像の範囲と第一の対象２３の位置関係を示している。右奥の木の一部と左奥の木の一部が第一の対象２３に相当する。

続いて、第一の手段１１が第一の対象を抽出する領域３１の一実施形態を図３に示す。対象を抽出する領域３１は、右眼映像および左眼映像の右端、左端、上端、あるいは下端から独立に定義する距離内の領域である。図３に示す実施形態では、第一の対象を抽出する領域３１は、右眼映像２０にあっては、右眼映像２０の上端からｕ１以内、下端からｄ１以内、右端からｒ１以内、そして左端からｌ１以内の領域である。また、左眼映像２１にあっては、左眼映像２１の上端からｕ２以内、下端からｄ２以内、右端からｒ２以内、そして左端からｌ２以内の領域である。

ｕ１、ｄ１、ｒ１、ｌ１、ｕ２、ｄ２、ｒ２、ｌ２の値は、例えば、立体映像の特性、本実施形態に係わる立体映像生成裝置が出力する立体映像を表示する表示装置の特性や設置環境を基に、それぞれ独立して定義する。尚、以下混同の虞が無い場合は本実施形態に係わる立体映像生成裝置が出力する立体映像を表示する表示装置を、表示装置と記述する。

勿論、本発明は、ｕ１、ｄ１、ｒ１、ｌ１、ｕ２、ｄ２、ｒ２、ｌ２の値の決定手段を、ここに挙げた３要因、立体映像の特性、表示装置の特性、あるいは表示装置の設置環境に基づく手段に限定するものではない。ここに挙げた３要因以外の要因を使用してｕ１、ｄ１、ｒ１、ｌ１、ｕ２、ｄ２、ｒ２、ｌ２の値を決定してもよい。また、ここに挙げた３要因を必ずしも全て含む必要はない。

立体映像の特性、表示装置の特性、および表示装置の設置環境の一例を以下に示す。勿論、立体映像の特性、表示装置の特性、および表示装置の設置環境を、ここに挙げた項目に限定するものではない。

ａ）立体映像の特性 視差や左右眼映像の上下方向のずれ量
ｂ）表示装置の特性 表示装置の大きさや表示速度
ｃ）表示装置の設置環境 表示面から視聴者までの距離や設置場所の照度
次に、第一の対象を抽出する領域３１を定義する、ｕ１、ｄ１、ｒ１、ｌ１、ｕ２、ｄ２、ｒ２、ｌ２の決定手順を例を挙げて説明する。本実施形態では、以下の特性を持つ立体映像とする。

ａ）家庭用のカムコーダで撮影した立体映像
ｂ）左右眼映像の上下方向のずれは最大２．０％
ｃ）最大視差は２．５％
ｄ）解像度は１９２０＊１０８０ｐｉｘｅｌ
まず、上下端からの距離ｕ１、ｄ１、ｕ２、およびｄ２を決定する。第一の対象を抽出する領域３１のうち、立体映像の上下端から設定する領域は、右眼映像２０と左眼映像２１に上下方向のずれが存在する場合に対応した領域である。本実施形態が使用する立体映像は、右眼映像２０と左眼映像２１に最大２．０％の上下方向のずれが存在する。したがって、上下端からの距離ｕ１、ｄ１、ｕ２、およびｄ２は、上下方向の解像度１０８０ｐｉｘｅｌの２．０％以上に設定する必要がある。そこで、本実施形態では１０８０ｐｉｘｅｌの２．５％＝２７ｐｉｘｅｌを、上下端からの距離ｕ１、ｄ１、ｕ２、およびｄ２とする。

次に、右眼映像２０の右端からの距離ｒ２を決定する。右眼映像２０の右端から距離ｒ２の領域は、左眼映像２１の右端の領域に存在する第一の対象の抽出に使用する参照領域である。したがって、視差の最大値に相当する大きさの領域があれば、参照領域として対応可能である。よって、本実施形態では水平方向の解像度１９２０ｐｉｘｅｌの２．５％＝４８ｐｉｘｅｌをｒ２とする。

また、左眼映像２１の左端からの距離ｌ１もｒ２と同様に決定する。左眼映像２１の左端から距離ｌ１の領域は、右眼映像２０の左端の領域に存在する第一の対象の抽出に使用する参照領域であるから、視差の最大値に相当する大きさの領域があればよい。よって、本実施形態では水平方向の解像度１９２０ｐｉｘｅｌの２．５％＝４８ｐｉｘｅｌをｌ１とする。

次に、右眼映像２０の左端からの距離ｌ２を決定する。右眼映像２０の左端から距離ｌ２の領域は、右眼映像２０の左端の領域に存在する第一の対象を抽出する領域である。したがって、視差の最大値に相当する大きさの領域に余裕を含めた領域が必要である。本実施形態では、視差の最大値の２倍、すなわち２．５％＊２＝５．０％に相当する大きさの領域を右眼映像２０の左端の領域に存在する第一の対象を抽出する領域とする。よって、本実施形態では、水平方向の解像度１９２０ｐｉｘｅｌの５．０％＝９６ｐｉｘｅｌをｌ２とする。

また、左眼映像２１の右端からの距離ｒ１もｌ２と同様に決定する。左眼映像２１の右端からの距離ｒ１の領域は、左眼映像２１の右端に存在する第一の対象を抽出する領域であるから、ｌ２と同様に視差の最大値の２倍に相当する領域とする。よって、本実施形態では、水平方向の解像度１９２０ｐｉｘｅｌの５．０％＝９６ｐｉｘｅｌをｒ１とする。

勿論、第一の対象を抽出する領域３１を定義する、ｕ１、ｄ１、ｒ１、ｌ１、ｕ２、ｄ２、ｒ２、ｌ２の値を本実施形態の値に限定するものではない。

次に、図４を使用して、第一の対象を抽出する領域３１と第一の手段１１が抽出する第一の対象２３の関係を説明する。図４（ａ）は、右眼映像２０と左眼映像２１に第一の対象を抽出する領域３１を重畳した図である。図４（ａ）では、第一の対象を抽出する領域３１、すなわち第一の手段１１の対象領域の映像は実線で示している。一方、第一の対象を抽出する領域３１以外、すなわち第一の手段１１の対象領域以外の映像は破線で示している。

第一の手段１１は、第一の対象を抽出する領域３１内の映像、図４（ａ）では実線で示した右眼と左眼の映像から、右眼映像あるいは左眼映像のどちらか片方に存在する第一の対象を抽出する。図４（ａ）が示す一実施形態では、右奥の木の一部、左奥の木の一部、中央の人物が持つ旗の一部、中央の人物の頭部の上部、および中央の人物の足部が第一の対象を抽出する領域３１内に存在し、第一の手段１１の対象となる。

図４（ａ）が示す例に対して第一の手段１１を適用した結果が図４（ｂ）である。図４（ｂ）では、第一の手段１１が抽出した第一の対象２３を実線で、それ以外の映像を破線で示している。右眼映像２０に存在する右奥の木の一部は、左眼映像２１に存在しない為、第一の対象２３である。また、左奥の木の一部は右眼映像２０に存在しない為、第一の対象２３である。一方、中央の人物が持つ旗の一部、中央の人物の頭部の上部、および中央の人物の足部は、右眼映像２０と左眼映像２１の双方に存在する為、第一の対象２３ではない。

続いて、第一の手段１１が、入力立体映像１０１から第一の対象２３を抽出し、第一の対象情報１０２を生成する手順を図５を使用して詳細に説明する。図５に第一の手段１１が第一の対象情報１０２を生成する手順を表す流れ図を示す。図５（ａ）は、動的に再定義する第一の対象を抽出する領域３１を使用して、第一の対象情報１０２を生成する手順を表す流れ図である。図５（ａ）の流れ図が示す手順は、入力立体映像１０１のフレーム毎に第一の対象を抽出する領域３１を再定義してから、第一の対象情報１０２を生成する。一方、図５（ｂ）は、予め定義した第一の対象を抽出する領域３１を使用した、第一の対象情報１０２を生成する手順を表す流れ図である。

まず、図５（ａ）に示す、動的に再定義する第一の対象を抽出する領域３１を使用した、第一の対象情報１０２を生成する手順を説明する。ステップＳ１０１は、入力立体映像１０１を１フレーム読込む。ここで、入力立体映像１０１は視差を附加した右眼映像２０と左眼映像２１から構成した立体映像とする。

ステップＳ１０２は、第一の対象を抽出する領域３１を再定義する。例えば、入力立体映像１０１の視差、あるいは表示装置の設置環境に基づき第一の対象を抽出する領域３１を再定義する。勿論、第一の対象を抽出する領域３１の再定義を、入力立体映像１０１の視差、あるいは表示装置の設置環境に基づく手法に限定するものではない。また、第一の対象を抽出する領域３１の定義を単一の要因に限定するものではない。例えば、視差と照度、あるいは視差と表示装置の特性を使用して、ステップＳ１０２で第一の対象を抽出する領域３１を再定義してもよい。

入力立体映像１０１の視差に基づき、第一の対象を抽出する領域３１を定義するならば、視差が大きければ第一の対象を抽出する領域３１を大きく、反対に視差が小さければ第一の対象を抽出する領域３１を小さくする。第一の対象を抽出する領域３１の大きさは、視差の値に対応して連続的に変化してもよいし、視差の値に対応して段階的に変化してもよい。

表示裝置の設置環境に基づき第一の対象を抽出する領域３１を定義するならば、設置環境を測定するセンサを設け、その測定値を基に第一の対象を抽出する領域３１を定義する。例えば、表示裝置の設置環境として表示装置周辺の照度を使用するならば、照度センサを設け、照度が高ければ第一の対象を抽出する領域３１を大きく、反対に照度が低ければ第一の対象を抽出する領域３１を小さくする。視差に依る第一の対象を抽出する領域３１の定義と同様に、第一の対象を抽出する領域３１の大きさは、照度に対応して連続的に変化してもよいし、照度に対応して段階的に変化してもよい。

ステップＳ１０３は、第一の対象を抽出する領域３１内の立体映像を対象に視差を０にした映像を、右眼映像２０と左眼映像２１それぞれに対して求める。これは、次のステップＳ１０４で眼映像と左眼映像の差分を算出する際、視差に依る誤動作を防止する為である。

ステップＳ１０４は、ステップＳ１０３で求めた視差を０にした右眼映像と左眼映像の差分を抽出し、予め定義した閾値と比較する。抽出した差分と閾値の大小関係に依り、別のステップに分岐する。

１）抽出した差分 ＞ 閾値 ならば、抽出した差分は第一の対象２３である
よって、ステップＳ１０５に分岐し、第一の対象情報１０２を算出する
２）抽出した差分 ＜＝ 閾値 ならば、抽出した差分はノイズである
よって、ステップＳ１０１に分岐し、次のフレームを読込む
ステップＳ１０５は、第一の対象情報１０２を算出し出力する。本実施形態では、ステップＳ１０４で抽出した差分領域、すなわち第一の対象２３の頂点座標を算出し、算出した頂点座標を第一の対象情報１０２とする。勿論、第一の対象情報１０２を第一の対象２３の各頂点の座標に限定するものではない。したがって、第一の対象２３の位置と範囲を表すことができるならば、ステップＳ１０４で抽出した差分領域の頂点座標以外の諸元値を基に第一の対象情報１０２をステップＳ１０５で算出してもよい。

次に、図５（ｂ）に示す予め定義した第一の対象を抽出する領域３１を使用した第一の対象情報１０２を生成する手順を説明する。図５（ｂ）に示す、ステップＳ１０１、ステップＳ１０３、ステップＳ１０４、およびステップＳ１０５は、図５（ａ）と同じ動作である。したがって、図５（ａ）と図５（ｂ）で差異が存在するステップＳ１１１に関して詳細に説明する。

ステップＳ１１１は第一の対象を抽出する領域３１を定義する。図５（ｂ）の流れ図が示す手順では、第一の対象を抽出する領域３１を予め定義する為、動的に変化する入力立体映像１０１や表示装置の設置環境に基づく第一の対象を抽出する領域３１の定義は使用できない。したがって、ステップＳ１１１では、表示装置の特性や、動的に変化しない表示装置の設置環境に基づき第一の対象を抽出する領域３１を定義する。

例えば、第一の対象を抽出する領域３１を表示装置の特性である表示速度に基づき定義する。高速に移動する物体を表示速度の遅い表示装置に表示すると、いわゆる動体ボケが発生しやすい。この動体ボケは、両眼の融合を妨げ立体視の知覚に大きな影響を与える。そこで、動体ボケが発生する虞が存在するならば、広範囲に本発明を適用し両眼視野闘争を回避する。よって、表示速度が遅い表示装置を使用するならば、第一の対象を抽出する領域３１を大きく定義する。

次に、第二の手段１２の動作を詳細に説明する。第二の手段１２は、入力立体映像１０１と、第一の手段１１で算出した第一の対象情報１０２を基に第二の対象を生成し第二の対象情報１０３を出力する。第二の対象の形状と位置は、対応する第一の対象と同一である。

ここで、本実施形態に係わる第二の対象情報１０３は、以下に示す情報を少なくとも含むとする。

１）第二の対象の色を表す色情報
２）第二の対象の位置と範囲を表す情報
３）第二の対象を生成したフレームのフレーム番号
第二の対象の色を表す色情報の様式は入力立体映像１０１の色空間の定義に依存する。
例えば、入力立体映像１０１がＲＧＢαで定義した色空間を使用しているならば、第二の対象情報１０３が含む第二の対象の色情報はＲＧＢαで定義する。あるいは、入力立体映像１０１がＹＣｂＣｒで定義した色空間を使用しているならば、第二の対象情報１０３が含む第二の対象の色情報はＹＣｂＣｒで定義する。勿論、入力立体映像１０１が使用する色空間の定義をＲＧＢαとＹＣｂＣｒに限定するものではない。

尚、第二の対象の位置と範囲を表す情報は、第二の対象の形状と位置が対応する第一の対象と同一であるので、対応する第一の対象の位置と範囲を表す情報と同一である。

続いて、第二の手段１２が第二の対象を生成し、第二の対象情報１０３を出力する手順を、図６を使用して詳細に説明する。ステップＳ１２１は、処理対象の入力立体映像１０１を１フレーム読込み、第一の対象情報１０２を読込む。そして、ステップＳ１２１は第一の対象情報１０２から以下の情報を取り出す。

１）第一の対象の位置と範囲を表す情報
２）第一の対象を抽出したフレームのフレーム番号
さらに、ステップＳ１２１は、入力立体映像１０１と第一の対象情報１０２の同期を取る。同期を取る必要があるのは、第一の対象情報１０２は第一の手段１１の処理を経て第二の手段１２に到達する為、入力立体映像１０１到着時刻と第一の対象情報１０２の到着時刻に差異が生じているからである。

本実施形態では、入力立体映像１０１に遅延を附加することで到着時刻の差異を解消し同期を取る。遅延を附加した入力立体映像１０１のフレーム番号と第一の対象情報１０２から取り出した第二の対象を生成したフレームのフレーム番号が一致するように、入力立体映像１０１に附加する遅延量を適応的に定める。

ステップＳ１２２は、第一の対象情報１０２が示す第一の対象の位置と範囲を基に、第二の対象領域を設定する。第二の対象領域は、第一の対象に隣接し、右眼映像２０および左眼映像２１の双方に存在する領域である。また、第二の対象領域は、第一の対象毎に、右眼映像２０と左眼映像２１それぞれ独立して抽出する。

ステップＳ１２３は、ステップＳ１２２で設定した第二の対象領域内で立体視効果が最小の領域を抽出する。本実施形態では立体視効果は視差で表すとする。よって、ステップＳ１２３は、第二の対象領域内で最も視差が小さい領域を抽出する。ひとつの第二の対象領域に対して、立体視効果が最小の領域が複数存在する場合は、対応する第一の対象からの距離が最も近い領域を選択する。ここで使用する距離は、第一の対象の端部から立体視効果が最小の領域までの間隔で最も短い間隔とする。

ステップＳ１２４は、第一の対象毎に第二の対象を生成し、第二の対象の情報を出力する。第二の対象は、対応する第一の対象と形状および位置が同一である。よって、ステップＳ１２１で読込んだ第一の対象情報１０２から、対応する第一の対象の位置と範囲情報を基に、第二の対象の形状と位置を決定する。また、第二の対象の色は、ステップＳ１２３で抽出した立体視効果が最小の領域の色を表す色情報を基に決定する。

例えば、ステップＳ１２３で抽出した立体視効果が最小の領域が含む全画素の色を単純平均した値を、第二の対象の色とする。勿論、第二の対象の色を決定する手法を、ステップＳ１２３で抽出した立体視効果が最小の領域が含む全画素の色の単純平均に依る手法に限定するものではない。そして、生成した第二の対象の、色を表す色情報および形状と位置から、第二の対象情報１０３を生成し出力する。

続いて、図７を使用して第一の対象２３、第二の対象領域３３、および立体視効果が最小の領域３４を説明する。図７（ａ）は第二の対象領域３３と第一の対象２３の関係を示す図である。図７（ｂ）は、図７（ａ）に示す第二の対象領域３３の周辺を拡大した図であり、第一の対象２３、第二の対象領域３３、および立体視効果が最小の領域３４の関係を示している。第二の対象領域３３は、第一の対象２３に隣接し、右眼映像２０および左眼映像２１の双方に存在する領域であるから、本実施形態では図７（ａ）あるいは図７（ｂ）に示す位置に第二の対象領域３３が存在する。

第二の対象領域３３の形状は、例えば、立体映像の特性、表示装置の特性、あるいは表示装置の設置環境を基に定義する。勿論、本発明は、第二の対象領域３３の形状の決定手段を、ここに挙げた３要因、立体映像の特性、表示装置の特性、あるいは表示装置の設置環境に基づく手段に限定するものではない。ここに挙げた３要因以外の要因を使用して第二の対象領域３３の形状を決定してもよい。また、ここに挙げた３要因を必ずしも全て含む必要はない。

本実施形態では、第二の対象領域３３の形状のうち、第一の対象との接線方向の長さは、接線の両端に、（接線の長さ ＊ 最大視差）の余地を附加した長さとする。また、第一の対象との接線に対する垂直方向の長さ、すなわち第二の対象領域３３の幅は、水平方向の解像度に対する最大視差の２分の１とする。例えば、第一の対象２３と第二の対象領域３３が水平に接し、その接線の長さが１００ｐｉｘｅｌとする。前述の通り、最大視差は２．５％、水平方向の解像度は１９２０ｐｉｘｅｌであるから、第二の対象領域３３の形状は以下の大きさを持つ長方形になる。

垂直方向 ２００ ＊ （１ ＋ ２ ＊ ２．５％） ＝ ２１０ｐｉｘｅｌ
水平方向 １９２０ ＊ ２．５％／２ ＝ ２４ｐｉｘｅｌ
続いて、立体視効果が最小の領域３４を更に詳細に説明する。本実施形態では、立体視効果を視差で表しているので、第二の手段１２は最も視差が小さい領域を第二の対象領域３３内で抽出する。図７（ｂ）に示すように、右眼映像２０に存在する右奥の木附近に設定した第二の対象領域３３内で立体視効果が最小の領域３４は、木の上部に広がる背景の空である。同様に、左眼映像２１の左奥の附近に設定した第二の対象領域３３内で立体視効果が最小の領域３４は、木の上部に広がる背景の空である。

続いて、図８を使用して第三の手段１３の動作を説明する。第三の手段１３は、入力立体映像１０１と第二の手段１２で算出した第二の対象情報１０３を基に、出力立体映像１０４を生成し出力する。

ステップＳ１３１は、処理対象の入力立体映像１０１を１フレーム読込み、第二の対象情報１０３を読込む。そして、ステップＳ１３１は第二の対象情報１０３から以下の情報を取り出す。

１）第二の対象の色を表す色情報
２）第二の対象の位置と範囲を表す情報
３）第二の対象を生成したフレームのフレーム番号
さらに、ステップＳ１３１は、入力立体映像１０１と第二の対象情報１０３の同期を取る。同期を取る必要があるのは、第二の対象情報１０３は第一の手段１１と第二の手段１２の処理を経て第三の手段１３に到達する為、入力立体映像１０１と第二の対象情報１０３それぞれ到着時刻に差異が生じているからである。

本実施形態では、入力立体映像１０１に遅延を附加することで到着時刻の差異を解消し同期を取る。遅延を附加した入力立体映像１０１のフレーム番号と第二の対象情報１０３から取り出した第二の対象を生成したフレームのフレーム番号が一致するように、入力立体映像１０１に附加する遅延量を適応的に定める。

ステップＳ１３２は、入力立体映像１０１内の第一の対象２３を、対応する第二の対象３５で置換し、出力立体映像１０４を生成する。ここで、第二の対象３５の形状と位置は対応する第一の対象と同一であるから、ステップＳ１３１が、第二の対象の色を表す色情報で置換する範囲は、第二の対象の位置と範囲を表す情報が示す範囲である。

続いて、図９を使用して第三の手段１３の出力を詳細に説明する。図９（ａ）は、第一の手段１１の抽出結果である。図９（ｂ）と図９（ｃ）は、第三の手段１３の出力である出力立体映像１０４を示している。ここで、図９（ｂ）は、第三の手段１３の動作を明示的に示す為に、第二の対象３５を出力立体映像１０４に重畳して記載している。

図９（ａ）が示すように、右眼映像２０では右奥の木の一部に第一の対象２３が存在し、左眼映像２１では左奥の木の一部に第一の対象２３が存在する。したがって、入力立体映像１０１は、右眼映像２０あるいは左眼映像２１のどちらかのみ存在する対象、すなわち第一の対象２３を含んでいる。第一の対象２３の存在は両眼視野闘争の原因となるから、入力立体映像１０１は視聴者に違和感や疲労感を与える虞を有している。

図９（ｂ）示すように、第二の対象３５は、位置と範囲が第一の対象２３と同じである。また、第二の対象３５の色を表す色情報は、立体視効果が最小の領域３４を表す色情報と同一である。本実施形態では、右眼映像２０の第一の対象２３および左眼映像２１の第一の対象２３共に、立体視効果が最小の領域３４は背景である。

したがって、本実施形態では、図９（ｃ）に示すように出力立体映像１０４は背景で第一の対象２３を置換した映像になる。図９（ｃ）に示すように、出力立体映像１０４の右眼映像２０、左眼映像２１共に、両眼視野闘争の原因である第一の対象２３は存在しない。それ故、出力立体映像１０４は、両眼視野闘争を引き起こさず、視聴者に違和感や疲労感を与える虞が無い。

［第２の実施形態］
図１０は本発明の第二の実施形態を示す図である。本発明に係わる第二の実施形態は、以下に示す第一の手段１１、第二の手段１２、および第三の手段１３を少なくとも有している。

第二の実施形態に係わる第一の手段１１は、第一の実施形態と同様に入力立体映像１０１から右眼映像あるいは左眼映像のどちらか片方に存在する第一の対象を抽出し、第一の対象情報１０２を生成する。第二の実施形態に係わる第一の対象情報１０２は、第一の実施形態と同様に、第一の対象の位置と範囲を表す情報、および第一の対象を抽出したフレームのフレーム番号を、少なくとも含むものとする。ここで、第二の実施形態に係わる第一の対象情報１０２の様式は入力立体映像１０１の属性様式とする。

第二の実施形態に係わる第一の手段は、生成した第一の対象情報１０２を入力立体映像１０１に附加して、第一の対象情報を附加した立体映像１１１を生成し、出力する。このとき、第二の実施形態に係わる第一の手段１１は、入力立体映像１０１を第一の対象情報１０２を生成する時間分遅延させてから、第一の対象情報１０２を生成する素となったフレームに附加する。

第二の実施形態に係わる第二の手段１２は、第一の対象情報を附加した立体映像１１１を基に第二の対象情報１０３を生成する。第二の対象情報１０３の生成手段は、第一の実施形態と同様である。また、第二の実施形態に係わる第二の対象情報１０３は、第一の実施形態と同様に以下の情報を少なくとも含むとする。

１）第二の対象の色を表す色情報
２）第二の対象の位置と範囲を表す情報
３）第二の対象を生成したフレームのフレーム番号
ここで、第二の実施形態に係わる第二の対象情報１０３の様式は入力立体映像１０１の属性様式とする。

第二の実施形態に係わる第二の手段は、生成した第二の対象情報１０３を、第一の対象情報を附加した立体映像１１１に附加して、第二の対象情報を附加した立体映像１１２を生成し、出力する。このとき、第二の実施形態に係わる第二の手段１２は、第一の対象情報を附加した立体映像１１１を第二の対象情報１０３を生成する時間分遅延させてから、第二の対象情報１０３を生成する素となったフレームに附加する。また、第二の対象情報１０３の附加は、第一の対象情報を附加した立体映像１１１に追加する形でもよいし、第一の対象情報１０３を置換する形でもよい。

第二の実施形態に係わる第三の手段は、第二の対象情報を附加した立体映像１１２を基に出力立体映像１０４を生成し出力する。出力立体映像１０４の生成手段は、第一の実施形態と同様である。

１１ 第一の手段、１２ 第二の手段、１３ 第三の手段、２０ 右眼映像、
２１ 左眼映像、２２ 全体映像、２３ 第一の対象、３１ 第一の対象領域、
３３ 第二の対象領域、３４ 立体視効果が最小の領域、３５ 第二の対象、
１０１ 入力立体映像、１０２ 第一の対象情報、１０３ 第二の対象情報、
１０４ 出力立体映像、１１１ 第一の対象情報を附加した立体映像、
１１２ 第二の対象情報を附加した立体映像

Claims (2)

1. 右眼映像あるいは左眼映像のどちらか片方に存在する第一の対象を抽出する第一の手段と、
   前記第一の対象を置換する第二の対象を生成する第二の手段と、
   前記第一の対象を前記第二の対象で置換する第三の手段と、
   を具備し、
   前記第一の手段が右眼映像および左眼映像の右端、左端、上端、あるいは下端から独立に定義する距離内の領域を対象に前記第一の対象を抽出し、
   前記第二の手段が前記第一の対象に接し右眼映像および左眼映像の双方に存在する領域を対象に立体視効果が最小の領域を抽出し、前記第一の対象と同一の形状でかつ前記抽出した立体視効果が最小の領域と同一の色情報を持つ第二の対象を生成し、
   前記第三の手段が前記第一の対象を前記第二の対象で置換し、
   前記立体視効果を少なくとも両眼視差に依り定義する、
   ことを特徴とする立体映像生成裝置。
2. 前記第一の手段が、前記第一の対象を抽出する領域を右眼映像および左眼映像のフレーム毎に再定義することを特徴とする請求項１に記載の立体映像生成裝置。