JP2012500549A - 二次元／三次元再生モード決定方法及び装置 - Google Patents

Abstract

映像シーケンスが入力され、映像シーケンスのうち現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別し、映像シーケンスの再生モードを二次元再生モード及び三次元再生モードのうち判別結果に対応する一つに決定する二次元／三次元再生モード方法である。

Description

本発明は、二次元（２Ｄ）映像及び三次元（３Ｄ）映像の再生に関する。

二次元映像シーケンスは、１つの視点から撮影された映像によって構成されているが、三次元映像シーケンスは、２以上の視点から撮影された映像によって構成されている。特に、左右視点の映像によって構成された三次元映像シーケンスは、ユーザの左目及び右目に像を結ばせる三次元再生機器を介して三次元で再生されうる。

現在、三次元再生機器は、入力された三次元映像フォーマットを三次元で再生できるが、二次元映像シーケンスを入力されるときには、二次元再生も可能である。所定の三次元再生機器は、入力される映像シーケンスから、二次元または三次元で再生されるかを示すパラメータまたはフラグ（flag）を抽出して再生方式を決定できる。

本発明は、映像シーケンスの二次元／三次元再生モードを決定するためのものある。

本発明の一実施形態による二次元／三次元再生モード決定方法は、映像シーケンスが入力される段階と、前記映像シーケンスのうち、現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階と、前記判別結果に基づいて、前記現在映像の再生モードを二次元再生モード及び三次元再生モードのうちいずれか一つに決定する段階と、を含む。

一実施形態による二次元／三次元映像の判別段階は、前記映像シーケンスのうち現在映像の周囲映像を利用し、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階を含むことができる。

一実施形態による二次元／三次元映像の判別段階は、前記現在映像の周囲映像と、前記現在映像の特性変数とを決定する段階と、前記周囲映像及び前記現在映像のうち２つの映像の特性変数間の変化度を計算する段階と、前記変化度の比率を利用し、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階と、を含むことができる。

一実施形態による前記二次元／三次元映像の判別段階は、前記決定された特性変数を保存する段階をさらに含み、前記変化度の決定段階は、前記２つの映像の特性変数間の変化度を計算するために、前記保存された特性変数を呼び出す段階を含むことができる。

一実施形態による前記特性変数の決定段階は、前記前記現在映像の以前映像の第１統計値、前記現在映像の第２統計値、及び前記現在映像の次の映像の第三統計値を決定する段階を含み、前記変化度の決定段階は、前記第１統計値及び前記第２統計値の差の絶対値である第１変化度、前記第２統計値及び前記第３統計値の差の絶対値である第２変化度、及び前記第１統計値及び前記第３統計値の差の絶対値である第３変化度を計算する段階を含み、前記現在映像の二次元／三次元映像の判別段階は、前記第３変化度に対する前記第１変化度と前記第２変化度との和の比率を計算する段階を含むことができる。

一実施形態による前記統計値決定段階は、前記統計値として、それぞれの映像の所定領域に係わる平均、分散及び標準偏差のうち一つを利用できる。

一実施形態による前記特性変数の決定段階は、それぞれの映像の所定領域に対する変移（disparity）を利用し、前記所定映像の所定領域に対する変移は、前記所定映像の以前映像の所定領域に係わる前記所定映像の所定領域の変移を示すとき、前記現在映像の以前映像の第１変移ベクトル、前記現在映像の第２変移ベクトル、前記現在映像の次の映像の第３変移ベクトルを決定する段階と、前記特性変数として、前記第１変移ベクトルを利用した第１変移数値、前記第２変移ベクトルを利用した第２変移数値、前記第３変移ベクトルを利用した第３変移数値を決定する段階と、を含み、前記変化度の決定段階は、前記第１変移数値及び前記第２変移数値の差の絶対値である第１変化度、前記第２変移数値及び前記第３変移数値の差の絶対値である第２変化度、前記第１変移数値及び前記第３変移数値の差の絶対値である第３変化度を計算する段階を含み、前記現在映像の二次元／三次元映像の判別段階は、前記第３変化度に対する前記第１変化度と前記第２変化度との和の比率を計算する段階を含むことができる。

一実施形態による前記変移数値の決定段階は、前記以前映像の第１変移ベクトルのうち正の第１変移ベクトルを有するブロックの個数に対する負の第１変移ベクトルを有するブロックの個数の比率を示す第１変移数値、前記現在映像の第２変移ベクトルのうち正の第２変移ベクトルを有するブロックの個数に対する負の第２変移ベクトルを有するブロックの個数の比率を示す第２変移数値、前記次の映像の第３変移ベクトルのうち正の第３変移ベクトルを有するブロックの個数に対する負の第３変移ベクトルを有するブロックの個数の比率を示す第３変移数値を決定する段階を含むことができる。

一実施形態による前記現在映像の二次元／三次元映像の判別段階は、前記変化度の比率が所定臨界値より大きいか、あるいはそれと同じであるならば、前記現在映像を三次元映像と決定し、前記特性変数の比率が所定臨界値より小さければ、前記現在映像を二次元映像と決定できる。

一実施形態による前記二次元／三次元再生モード決定段階は、前記二次元映像及び三次元映像のうちいずれか一つと判別された映像シーケンスのうち、前記現在映像の判別結果が、所定個数の周囲映像の判別結果と異なる場合、前記現在映像の再生モードを、前記周囲映像の再生モードと同じ再生モードに変換する段階をさらに含むことができる。

一実施形態による前記二次元／三次元再生モード決定方法は、前記現在映像が二次元再生モードと決定された場合、前記現在映像を二次元映像フォーマットで出力する段階をさらに含むことができる。

一実施形態による前記二次元／三次元再生モード決定方法は、前記映像シーケンスが三次元再生モードと決定された場合、サイドバイサイド・フォーマット（side-by-side format）、トップボトム・フォーマット（top-bottom format）、垂直ラインインターリーブド・フォーマット（vertical line-interleaved format）、水平ラインインターリーブド・フォーマット（horizontal line-interleaved format）、フレームシーケンシャル・フォーマット（frame sequential format）及びフィールドシーケンシャル・フォーマット（field sequential format）のうち少なくともいずれか一つによって、互いに対応する左視点映像及び右視点映像を１つのフレームで構成して出力する段階をより含むことができる。

本発明の一実施形態による二次元／三次元再生モード決定装置は、映像シーケンスが入力される映像入力部と、前記映像シーケンスのうち現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する二次元／三次元映像判別部と、前記判別結果に基づいて、前記現在映像の再生モードを二次元再生モード及び三次元再生モードのうちいずれか一つに決定する二次元／三次元再生モード決定部と、を含む。

一実施形態による前記二次元／三次元映像判別部は、前記映像シーケンスのうち現在映像の周囲映像を利用し、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別することができる。

一実施形態による前記二次元／三次元映像判別部は、前記現在映像の周囲映像と、前記現在映像の特性変数とを決定する特性変数決定部と、前記周囲映像及び前記現在映像のうち２つの映像の特性変数間の変化度を計算する変化度計算部と、前記変化度の比率を利用し、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する変化度比率判別部と、を含むことができる。

一実施形態による前記二次元／三次元再生モード決定装置は、前記決定された特性変数を保存する保存部をさらに含み、前記変化度計算部は、前記保存部から入力された前記周囲映像及び前記現在映像の特性変数を利用し、前記周囲映像及び前記現在映像のうち２つの映像の特性変数間の変化度を計算することができる。

また本発明は、本発明の実施形態による二次元／三次元再生モードを決定する方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

本発明の実施形態による二次元／三次元再生モード決定方法及び装置により、三次元映像のためのパラメータまたはフラグを支援したり認識したりすることができない三次元再生機器でも、映像シーケンスの画素値情報だけを利用し、二次元映像シーケンスであるか三次元映像シーケンスであるかを判別し、正確な形式で再生することができる。

また、伝送端では、映像シーケンスが二次元／三次元映像であるかを示すフラグなどを伝送する必要がなく、受信端では、二次元／三次元映像フラグを別途に抽出する必要がない。従って、既存のグラフィック・カードとディスプレイシステムの伝送ケーブルなどのハードウェアをそのまま利用しても、二次元／三次元映像を再生することができる。

本発明の一実施形態による二次元／三次元再生モード決定装置のブロック図である。 三次元再生のための入力映像フォーマット及び出力映像フォーマットを図示する図である。 本発明の一実施形態による、映像シーケンスの二次元／三次元再生モードを決定する方法のフローチャートである。 本発明の一実施形態による二次元／三次元再生装置を図示する図である。 二次元映像シーケンスのフレーム別の平均分布を図示するグラフである。 三次元映像シーケンスのフレーム別の平均分布を図示するグラフである。 本発明の一実施形態による二次元／三次元映像鑑別のために利用されるフレーム別平均の関係を図示する図である。 三次元映像シーケンスのフレーム別変移ベクトル方向の分布を図示するグラフである。 本発明の一実施形態による二次元／三次元映像鑑別のために利用されるフレーム別変移ベクトルの関係を図示する図である。 本発明の一実施形態による、映像シーケンスの二次元／三次元再生モードを決定する方式を図示する図である。 本発明の他の実施形態による二次元／三次元再生モード決定方法のフローチャートである。 本発明の本発明の一実施形態による二次元／三次元再生モード決定装置の細部ブロック図である。

本発明の一実施形態による二次元（２Ｄ）／三次元（３Ｄ）の再生モード決定方法は、映像シーケンスが入力される段階と、前記映像シーケンスのうち現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階と、前記判別結果に基づいて、前記現在映像の再生モードを二次元再生モード及び三次元再生モードのうちいずれか一つに決定する段階と、を含む。

以下、本発明の実施形態に係わる技術的特徴について、添付された図面を参照しつつ詳細に説明を行う。

図１は、本発明の一実施形態による二次元／三次元再生モード決定装置のブロック図である。一実施形態による二次元／三次元再生モード決定装置１００は、映像入力部１１０、二次元／三次元映像判別部１２０及び二次元／三次元再生モード決定部１３０を含む。

映像入力部１１０は、映像シーケンスを入力される。映像シーケンスは、一連の二次元映像であって、一連の三次元映像でもありうる。このとき、三次元映像シーケンスは、互いに対応する左視点フレーム及び右視点フレームが交互に入力されるフレームシーケンシャル形式でありうる。

二次元／三次元映像判別部１２０は、映像入力部１１０に入力された映像シーケンスのうち、現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する。二次元／三次元映像判別部１２０は、現在映像を含んだ現在映像シーケンスが、二次元映像シーケンスまたは三次元映像シーケンスであるかを判別することもできる。

一実施形態による二次元／三次元映像判別部は、映像シーケンスのうち、現在映像の以前映像と次の映像とを含む周囲映像を利用し、現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別することができる。

図１１に図示されているように、一実施形態による二次元／三次元映像判別部は、現在映像の周囲映像及び現在映像の特性変数を決定する特性変数決定部１４０、周囲映像及び現在映像のうち２つの映像の特性変数間の変化度を計算する変化度計算部１５０、及び変化度の比率を利用し、現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する変化度比率判別部１６０を含むことができる。

特性変数間の変化度（variation）は、特性変数間の差、増加率、減少率などでありうる。以下、図６及び図８で、特性変数間の変化度として、特性変数間の差が利用される。

本発明の一実施形態による二次元／三次元再生モード決定装置１００は、映像シーケンスの二次元／三次元再生モードを決定するために使われるそれぞれの映像の特性変数を保存する保存部１６２をさらに含むことができる。本実施形態の特性変数決定部１４０は、現在映像及び周囲映像の特性変数を決定し、保存部１６２に出力できる。本実施形態の変化度計算部１５０は、保存部１６２から映像の特性変数を入力され、周囲映像及び現在映像のうち、２つの映像の特性変数間の変化度を計算することができる。

一実施形態の特性変数決定部１４０は、所定映像に係わる特性変数として、所定映像内画素の統計値、またはその以前映像に係わる所定映像の変移ベクトル関連数値を利用できる。統計価格は画素の平均、分散値、標準偏差などを利用できる。変移ベクトル関連数値は、所定映像の変移ベクトルのうち、変移ベクトル方向が正（＋）であるブロックの個数に対する変移ベクトル方向が負（−）であるブロックの個数の比率が利用されうる。

一実施形態の特性変数決定部１４０は、特性変数として、現在映像の以前映像の第１特性変数、現在映像の第２特性変数、及び現在映像の次の映像の第３特性変数を決定する。

一実施形態の変化度計算部１５０は、第１特性変数及び第２特性変数の差の絶対値である第１変化度、第２特性変数及び第３特性変数の差の絶対値である第２変化度、及び第１特性変数及び第３特性変数の差の絶対値である第３変化度を計算する。

一実施形態の変化度比率判別部１６０は、第３変化度に対する第１変化度と第２変化度との和の比率の変化度を計算する変化度比率計算部１７０を含むことができる。

前記変化度比率判別部１６０は、第１変化度、第２変化度及び第３変化度の比率を所定臨界値と比較し、現在映像が二次元または三次元映像であるかを決定する変化度比率比較部１８０を含むことができる。

変化度比率判別部１６０は、変化度比率計算部１７０で計算された変化度の比率が、所定臨界値より大きいか、あるいはそれと同じであるならば、現在映像を三次元映像と決定する。一方、変化度比率判別部１６０は、変化度比率計算部１７０で計算された変化度の比率が、所定臨界値より小さければ、現在映像を二次元映像と決定できる。

二次元／三次元映像判別部１２０で、特性変数、変化度、変化度の比率などを利用する具体的な実施形態は、以下の図５Ａないし図８を参考にしつつ詳述する。

二次元／三次元再生モード決定部１３０は、二次元／三次元映像判別部１２０での判別結果に基づいて、現在映像シーケンスの再生モードを、二次元再生モード及び三次元再生モードのうちいずれか一つに決定する。二次元／三次元映像判別部１２０で、一連の映像が三次元映像であると判別されたとすれば、二次元／三次元再生モード決定部１３０は、現在映像シーケンスの再生モードを、三次元再生モードと決定できる。同様に、一連の映像が二次元映像であると判別されたとすれば、二次元／三次元再生モード決定部１３０は、現在映像シーケンスの再生モードを、二次元再生モードと決定できる。

また、二次元／三次元再生モード決定部１３０は、フレーム単位で再生モードを決定し、フレームを含む映像シーケンス単位で再生モードを決定することもできる。

一実施形態の二次元／三次元再生モード決定部１３０は、二次元／三次元映像判別部１２０での現在映像の判別結果が、現在映像の周囲映像の判別結果と異なる場合、現在映像の再生モードを、周囲映像の再生モードと同じ再生モードに変換する再生モード変換部（図示せず）をさらに含むことができる。

一般的に、リアルタイム・システムでは、未来の映像に係わる情報はないので、過去の一定フレームの再生モード結果を介して、現在フレームの再生モード決定に反映する。再生モードで現在映像と比較される周囲映像は、入力された映像シーケンスのうち、現在映像を含む所定区間の一連の映像である。再生モード変換部を利用する一実施形態は、以下の図９を参考にしつつ詳述する。

一実施形態による二次元／三次元再生モード決定装置１００は、二次元／三次元再生モード決定部１３０で、三次元再生モードと決定された映像に対し、互いに対応する左視点映像情報及び右視点映像情報を含む三次元映像フォーマットに変換し、三次元映像フォーマットの映像シーケンスが出力装置１８５上で再生されるように出力する三次元映像フォーマット出力部１８４をさらに含むことができる。

また、一実施形態による二次元／三次元再生モード決定装置１００は、二次元／三次元再生モード決定部１３０で、二次元再生モードと決定された映像を、出力装置１８５上で再生されるための二次元映像フォーマットで出力する二次元映像フォーマット出力部１８６をさらに含むことができる。

三次元映像フォーマットの例として、サイドバイサイド・フォーマット（side-by-side format）、トップボトム・フォーマット（Top-bottom format）、垂直ラインインターリーブド・フォーマット（vertical line-interleaved format）、水平ラインインターリーブド・フォーマット（horizontal line-interleaved format）、フレームシーケンシャル・フォーマット（frame sequential format）及びフィールドシーケンシャル・フォーマット（field sequential format）を含むページフリップ・フォーマット（page-flip format）などがある。三次元映像フォーマットは、以下の図２で詳述する。

図２は、三次元再生のための入力映像フォーマット及び出力映像フォーマットを図示している。三次元映像シーケンスが入力される場合、三次元映像フォーマット２００として、サイドバイサイド・フォーマット２１０、トップボトム・フォーマット２２０、ラインインターリーブド・フォーマット２３０、フレームシーケンシャル・フォーマット２４０、及びフィールドシーケンシャル・フォーマット２５０を含むページフリップ・フォーマット２３８などがある。

サイドバイサイド・フォーマット２１０は、左視点映像及び右視点映像の横に半分に縮小させ、解像度を半分に低下させ、解像度が低下された左視点映像情報２１４及び右視点映像情報２１６を横に並べて配列し、１つの映像を構成する三次元映像フォーマットである。

トップボトム・フォーマット２２０は、左視点映像及び右視点映像の縦に半分に縮小させ、解像度を半分に低減させ、解像度が低下した左視点映像情報２２２及び右視点映像情報２２４を縦に並べて配列し、１つの映像を構成する三次元映像フォーマットである。

ラインインターリーブド・フォーマット２３０は、左視点映像及び右視点映像をライン別に交互に配列し、１つの映像を構成する三次元映像フォーマットである。左視点映像の横ライン２５２及び右視点映像の横ライン２５４を交互に配列した場合、水平ラインインターリーブド・フォーマットの三次元映像が構成され、左視点映像及び右視点映像の縦ラインを交互に配列した垂直ラインインターリーブド・フォーマットが構成されうる。

ページフリップ・フォーマット２３８は、正常な１枚の左視点映像及び右視点映像を、時系列に交互に配列する三次元映像フォーマットである。フレームシーケンシャル・フォーマット２４０は、互いに対応する左視点映像情報２５５及び右視点映像情報２５６が、時系列にフレーム単位で交互に配列され、フィールドシーケンシャル・フォーマット２５０は、左視点映像フィールド２５７及び右視点映像フィールド２５８を時系列に交互に配列することによって、三次元映像フォーマットを構成する。

ページフリップ・フォーマット２３８は、空間的に解像度が低下していない左視点映像情報及び右視点映像情報を利用できる代わりに、時間的に左視点映像及び右視点映像のそれぞれの周波数が半分に低下する。

三次元再生方式２６０としては、ＤＬＰ（digital light processing）再生機器２７１、ＰＤＰ（plasma display panel）２７２、ＬＣＤ（liquid crystal display）２７３、偏光シート（sheet）を利用した空間分割方式ディスプレイ２７４などで利用される再生方式２７０；偏光式プロジェクタで利用されるディスプレイ方式２８０；を含むことができる。

ディスプレイ装置２７５で利用される再生方式２７０によれば、ＤＬＰ再生機器２７１、ＰＤＰ ２７２、ＬＣＤ ２７３、偏光シートを利用した空間分割方式ディスプレイ２７４は、ページフリップ・フォーマット（フレームシーケンシャル・フォーマット２４０、フィールドシーケンシャル・フォーマット２５０）を利用できる。また、偏光シートを利用した空間分割方式ディスプレイ２７４は、垂直または水平のラインインターリーブド・フォーマット２３０を利用できる。それ以外にも、偏光式プロジェクタ２８０は、２つのチャネル２８２を介して受信された三次元映像を、第１プロジェクタ２８４及び第２プロジェクタ２８６を利用して再生する方式で三次元再生を具現できる。

図３は、本発明の一実施形態によって、映像シーケンスの二次元／三次元再生モードを決定する方法のフローチャートを図示している。

映像シーケンスが入力されれば（段階３１０）、入力された映像シーケンスが、三次元映像シーケンスであるか否かが分析される（段階３２０）。分析結果に基づいて、三次元映像シーケンスであるか否かを判断し（段階３３０）、入力された映像シーケンスが、三次元映像シーケンスであると判断されれば、シーケンスの映像を三次元映像フォーマットに変換する（段階３４０）。三次元映像フォーマットの映像は、三次元再生が可能な再生機器を介して、三次元で再生される（段階３５０）。三次元再生機器を介した三次元映像フォーマットの再生によって、ユーザは、立体感を感じることができる。

段階３２０の分析結果に基づいて、入力された映像シーケンスが二次元映像シーケンスであると判断されれば（段階３３０）、入力された映像シーケンスは、二次元映像フォーマットに変換され（段階３６０）、再生機器を介して、二次元で再生される（段階３７０）。本発明の一実施形態によって、入力映像シーケンスの映像情報だけを利用し、入力映像シーケンスが、二次元映像シーケンスまたは三次元映像シーケンスであるかを決定する方法及び装置について、以下の図４ないし図１０を参考にしつつ開示する。

図４は、本発明の一実施形態による二次元／三次元再生装置を図示している。

本発明の一実施形態による二次元／三次元再生モード決定方式を採用する三次元再生機器４３０には、グラフィック・カード４１０からの二次元映像シーケンス４１５、またはＤＶＤ再生機器またはＢＤ（blu-ray disk）再生機器からのフレームシーケンシャル・フォーマットの三次元映像シーケンス４２５が入力されうる。

一実施形態による三次元再生機器４３０は、三次元映像分析部４４０、三次元映像フォーマット変換部４５０及び再生部４６０を含む。図４のそれぞれの構成要素は、ＢＤプレイヤ（ＢＤ player）のような映像再生装置に含まれ、三次元ＴＶまたは三次元モニタのような三次元映像ディスプレイ装置に含まれもする。

三次元映像分析部４４０は、入力された映像シーケンス４１５，４２５の映像情報を利用し、映像シーケンス４１５，４２５の映像が三次元映像であるか否かが分析されて判別される。三次元映像分析部４４０で、三次元映像であると判別された映像シーケンスは、三次元映像フォーマット変換部４５０に出力され、二次元映像であると判別された映像シーケンスは、再生部４６０に直ちに出力される。

三次元映像フォーマット変換部４５０は、三次元映像であると判別された映像に対して、三次元映像フォーマットを変換して再生部４６０に出力する。三次元映像フォーマット変換部４５０は、再生部の三次元再生方式によって、映像を、サイドバイサイド・フォーマット、トップボトム・フォーマット、垂直／水平ラインインターリーブド・フォーマット、フレームシーケンシャル・フォーマット及びフィールドシーケンシャル・フォーマットに変換できる。

再生部４６０は、映像フォーマットによって、二次元映像フォーマットの映像シーケンスは、二次元で、三次元映像フォーマットの映像シーケンスは、三次元で再生することができる。

一実施形態による三次元再生機器４３０、及び一実施形態による二次元／三次元再生モード決定装置１００を対応させてみれば、三次元映像分析部４４０が、二次元／三次元映像判別部１２０の機能を含むことができ、三次元映像フォーマット変換部４５０が、二次元／三次元再生モード決定部１３０の機能を含むことができる。

本発明の実施形態による二次元／三次元再生モード決定方法及び装置によって、三次元映像のためのパラメータまたはフラグ（flag）を支援または認識できない三次元再生機器でも、映像シーケンスの画素値情報だけを利用して、二次元映像シーケンスであるか三次元映像シーケンスであるかを判別し、正確な形式で再生することができる。

また、伝送端では、映像シーケンスが二次元／三次元映像であるかを示すフラグなどを伝送する必要がなく、受信端では、二次元／三次元映像フラグを別途に抽出する必要がない。従って、既存のグラフィック・カードやディスプレイ・システムの伝送ケーブルのようなハードウェアをそのまま利用しても、二次元／三次元映像を再生することができる。

図５Ａは、二次元映像シーケンスのフレーム別の平均分布を図示し、図５Ｂは、三次元映像シーケンスのフレーム別の平均分布を図示している。

図５Ａに図示された二次元映像シーケンスは、１つの視点から撮影された映像が、フレーム単位で、時系列に羅列された形式である。図５Ｂに図示された三次元映像シーケンスは、左右視点から撮影された映像が、交互にフレーム単位で時系列に羅列された形式である。

図５Ａに図示された二次元映像シーケンスのグラフを参考にすれば、時系列の隣接フレームの画素値の平均間の変化幅が大きくない。一方、図５Ｂに図示された三次元映像シーケンスのグラフを参考にすれば、隣接フレームの画素値の平均がかなり変更されている。

三次元映像シーケンスで、交互に羅列された左視点フレームと右視点フレームは、互いに異なる特性の画素値を有するために、図５Ｂに図示されたグラフは、左視点フレームの画素値の平均５１０と、直前（直後）順序の右視点フレームの画素値の平均５２０との変化幅が大きい。

図５Ａ及び図５Ｂは、フレームの画素値の平均を利用して、二次元／三次元映像シーケンスのフレーム特性間の差を示したが、平均だけではなく、画素値の分散、標準偏差などを利用しても、フレーム特性間の差は確認されうる。

一実施形態の二次元／三次元映像判別部１２０は、図５Ａ及び図５Ｂのフレームの画素の平均分布特性を利用し、入力映像シーケンスが二次元／三次元映像シーケンスであるかを判別することができる。以下、図６を参考にしつつ、一実施形態の二次元／三次元映像判別部１２０が、それぞれのフレームの特性変数として、フレームの画素値の平均を利用する方法について詳述する。

図６は、本発明の一実施形態による二次元／三次元映像鑑別のために利用されるフレーム別平均の関係を図示している。

現在フレーム（ｔ）６２０を基準に、以前フレーム（ｔ−１）６１０は左視点映像Ｌ１、現在フレーム６２０は右視点映像Ｒ、次のフレーム（ｔ＋１）６３０はまた、左視点映像Ｌ２である。フレーム６１０，６２０，６３０別に左右視点映像が交互に羅列されるので、三次元映像シーケンス６３２のうち一部フレームである場合である。

フレーム別特性変数としてフレームの画素値の統計値が利用されるとき、一実施形態の二次元／三次元映像判別部１２０の特性変数決定部１４０は、それぞれのフレームの画素値の統計値を決定する統計値決定部６３４を含み、変化度計算部１５０は、隣接フレームの統計値の変化度を計算する統計値変化度計算部６３６を含むことができる。また、一実施形態の二次元／三次元映像判別部１２０の変化度比率判別部１６０は、フレーム間変化度の比率を計算する統計値変化度比率計算部６３８を含むことができる。

図６には、それぞれのフレーム６１０，６２０，６３０に、左右視点映像であることが図示されているが、一実施形態の二次元／三次元再生モード決定装置１００は、入力映像シーケンス上に、左右視点映像情報が交互に入力されたという情報なしにも、それぞれのフレーム６１０，６２０，６３０の画素値の統計値を利用し、二次元／三次元映像シーケンスであるか否かを判別することができる。図６では、統計値中の平均が利用されている。

一実施形態の統計値決定部６３４は、以前フレーム６１０の第１統計値、現在フレーム６２０の第２統計値、次のフレーム６３０の第３統計値を決定する。

図６に図示された実施形態を参考にして、統計値決定部６３４は、以前フレーム６１０の画素の平均Mean（ｔ−１）６４０、現在フレーム６２０の画素の平均Mean（ｔ）６５０、及び次のフレーム６３０の画素の平均Mean（ｔ＋１）６６０を決定できる。

一実施形態の統計値変化度計算部６３６は、以前フレーム６１０及び現在フレーム６２０の統計値間の第１変化度、現在フレーム６２０及び次のフレーム６３０の統計値間の第２変化度、以前フレーム６１０及び次のフレーム６３０の統計値間の第３変化度を計算する。

一実施形態の統計値変化度計算部６３６は、フレームの統計値間の差の絶対値を利用して変化度を計算する。統計値間の差の絶対値を利用する理由は、差の方向（＋，−）によって、変化度の和が相殺される場合を防止するためである。

図６に図示された実施形態を参考にして、統計値変化度計算部６３６は、以前フレーム平均Mean（ｔ−１）６４０及び現在フレーム平均Mean（ｔ）６５０間の差の絶対値である第１変化度ｄｉｆｆ_Ｍ１を決定できる。同様に、統計値変化度計算部６３６は、現在フレーム平均Mean（ｔ）６５０及び次のフレーム平均Mean（ｔ＋１）６６０間の差の絶対値である第２変化度ｄｉｆｆ_Ｍ２、及び以前フレーム平均Mean（ｔ−１）６４０及び次のフレーム平均Mean（ｔ＋１）６６０間の差の絶対値である第３変化度ｄｉｆｆ_Ｍ３を決定できる。

一実施形態の統計値変化度比率計算部６３８は、第３変化度に対する第１変化度と第２変化度との和の比率を計算する。統計値変化度比率Ｄ_Ｍは、第１変化度ｄｉｆｆ_Ｍ１と第２変化度ｄｉｆｆ_Ｍ２との和を、第３変化度ｄｉｆｆ_Ｍ３と定数ｃとの和で割った値である。

Ｄ_Ｍ＝（ｄｉｆｆ_Ｍ１＋ｄｉｆｆ_Ｍ２）／（ｄｉｆｆ_Ｍ３＋ｃ） （１）
ここで、定数ｃは、分母が０になる場合を防止するためである。

変化度比率比較部１８０は、現在映像が、二次元／三次元映像であるかを判別するために、変化度比率Ｄ_Ｍを所定臨界値と比較する。例えば、臨界値を１と仮定すれば、すぐ隣接したフレームとの変化度の和が、１フレーム飛び越えたフレームとの変化度に比べて大きいならば（すなわち、Ｄ_Ｍ＞＞１）、隣接フレーム間の統計値が大きく変わる場合であるから、変化度比率判別部１６０は、以前フレーム６１０、現在フレーム６２０及び次のフレーム６３０を、三次元映像シーケンスの映像であると判別することができる。

一方、すぐ隣接したフレームとの変化度の和が、１フレーム飛び越えたフレームとの変化度に比べて小さいならば（すなわち、Ｄ_Ｍ＜＜１）、隣接フレーム間の統計値が大きく変わらない場合であるから、変化度比率判別部１６０は、以前フレーム６１０、現在フレーム６２０及び次のフレーム６３０を、二次元映像シーケンスの映像であると判別することができる。

図７は、三次元映像シーケンスのフレーム別変移ベクトル方向の分布を図示している。

三次元映像シーケンスは、フレーム順序によって、左右視点映像情報が交互に羅列される。現在フレームが左視点フレームであるならば、以前フレーム及び次のフレームは、右視点フレームである。所定フレームの変移ベクトルは、以前フレームに対比される所定フレームの変移推定によって決定されうる。映像シーケンスの変移ベクトルに係わるパラメータが与えられるならば、変移ベクトルに係わるパラメータを利用し、それぞれのフレームの変移ベクトルが決定されもする。

所定フレームの変移ベクトルが、方向が負（−）であるブロックの個数８２０、及び正（＋）であるブロックの個数８２０の比率を利用し、左右視点映像が交互に羅列されているか否かを判別することができる。図７に図示された変移ベクトルの方向によるブロック個数の分布を参考にすれば、左視点フレーム（奇数番目のフレーム）に対比される右視点フレーム（偶数番号目のフレーム）の変移ベクトル方向によるブロック個数の比率と、右視点フレームに対比される左視点フレームの変移ベクトル方向によるブロック個数の比率は、差が大きい。

一実施形態の二次元／三次元映像判別部１２０は、図７のフレームの変移ベクトル方向特性に基づいて、所定フレームの変移ベクトル方向が、（＋）方向／（−）方向であるブロック個数比率を、周囲フレームの比率と比較することによって、入力映像シーケンスが、二次元／三次元映像シーケンスであるかを判別することができる。以下、図８を参考にしつつ、一実施形態の二次元／三次元映像判別部１２０が、それぞれのフレームの特性変数として、フレームの変移ベクトルを利用する方法について詳述する。

図８は、本発明の一実施形態による二次元／三次元映像鑑別のために利用されるフレーム別変移ベクトルの関係を図示している。

図８に図示された映像シーケンス９０２は、現在フレーム（ｔ）９３０を基準に、第１右視点フレーム（ｔ−２）９１０、第１左視点フレーム（ｔ−１）９２０、第２右視点フレーム（ｔ）９３０、第２左視点映像（ｔ＋１）９４０が交互に羅列される三次元映像シーケンスである。第２右視点フレーム（ｔ）９３０が現在映像である。

一実施形態の二次元／三次元再生モード決定装置１００は、入力映像シーケンス上に、左右視点映像情報が交互に入力されたという情報なしにも、それぞれのフレーム９１０，９２０，９３０，９４０の変移ベクトルの方向を利用し、二次元／三次元映像シーケンスであるか判別することができる。一実施形態の特性変数決定部１４０は、フレーム別特性変数として、フレームの変移ベクトルの方向によるブロック個数の比率を利用できる。

フレーム別特性変数として、フレームの画素値の統計値が利用されるとき、一実施形態の二次元／三次元映像判別部１２０の特性変数決定部１４０は、それぞれのフレームの変移ベクトルを決定する変移ベクトル決定部９５０、及びそれぞれのフレームの変移ベクトルを利用する変移数値を決定する変移数値決定部９６０を含むことができる。一実施形態の二次元／三次元映像判別部１２０の変化度計算部１５０は、隣接フレームの変移数値の変化度を計算する変移数値変化度計算部９７０を含むことができる。一実施形態の二次元／三次元映像判別部１２０の変化度比率判別部１６０は、変移数値の差値の比率を計算する変移値変化度比率計算部９８０を含むことができる。

一実施形態の変移ベクトル決定部９５０は、所定フレームの以前フレームの所定領域に対比させて、所定フレームの所定領域の変移を推定することによって、所定フレームの変移ベクトルを決定できる。従って、変移ベクトル決定部９５０は、フレーム全体領域に対する変移だけではなく、一部領域に対する変移を利用することもできる。フレームの変移ベクトルに係わるパラメータが入力された場合、変移ベクトル決定部９５０は、パラメータから変移ベクトル値を抽出できる。

一実施形態の変移ベクトル決定部９５０は、以前フレーム９２０の変移ベクトル第１変移ベクトル、現在フレーム９３０の第２変移ベクトル、次のフレーム９４０の第３変移ベクトルを決定できる。図８に図示された実施形態を参考にして、変移ベクトル決定部９５０は、以前フレーム９２０の変移ベクトルＤＶ_ｔ−１、現在フレーム９３０の変移ベクトルＤＶ_ｔ、次のフレーム９４０の変移ベクトルＤＶ_ｔ＋１を決定できる。

一実施形態の変移数値決定部９６０は、以前フレーム９２０の第１変移ベクトルの方向によるブロックの個数比率を示す第１変移数値、現在フレーム９３０の第２変移ベクトルの方向によるブロックの個数比率を示す第２変移数値、次のフレーム９４０の第３変移ベクトルの方向によるブロックの個数比率を示す第３変移数値を決定する。

図８に図示された実施形態を参考にして、変移数値決定部９６０は、以前フレーム９２０の第１変移ベクトルＤＶ_ｔ−１の方向によるブロック個数比率の変移数値Ｒ_ＤＶ（ｔ−１）を決定し、現在フレーム９３０の第２変移ベクトルＤＶ_ｔの方向によるブロック個数比率の変移数値Ｒ_ＤＶ（ｔ）、次のフレーム９４０の第３変移ベクトルＤＶ_ｔ＋１の方向によるブロック個数比率の変移数値Ｒ_ＤＶ（ｔ＋１）を決定できる。

一実施形態の変移数値決定部９６０は、ｎ番目のフレームの変移ベクトルの方向が（−）であるブロック個数を、変移ベクトルの方向が（＋）であるブロック個数と１との和で割ることにより、変移数値Ｒ_ＤＶ（ｎ）を決定する。

Ｒ_ＤＶ（ｎ）＝（＃ of blocks with negative disparity vectors）／（＃ of blocks with positive disparity vectors＋１） （２）
ここで、分母に１を加える理由は、分母が０になる場合を防止するためである。

一実施形態の変移数値変化度計算部９７０は、以前フレーム９２０及び現在フレーム９３０の変移数値間の第１変化度、現在フレーム９３０及び次のフレーム９４０の変移数値間の第２変化度、以前フレーム９２０及び次のフレーム９４０の変移数値間の第３変化度を計算する。

図８に図示された実施形態を参考にして、変移数値変化度計算部９７０は、以前フレーム９２０の変移数値Ｒ_ＤＶ（ｔ−１）と、在フレーム９３０の変移数値Ｒ_ＤＶ（ｔ）９３７との変化度ｄｉｆｆ_ＤＶ１、現在フレーム９３０の変移数値Ｒ_ＤＶ（ｔ）と、次のフレーム９４０の変移数値Ｒ_ＤＶ（ｔ＋１）との変化度ｄｉｆｆ_ＤＶ２、及び以前フレーム９２０の変移数値Ｒ_ＤＶ（ｔ−１）と、次のフレーム９４０の変移数値Ｒ_ＤＶ（ｔ＋１）との変化度ｄｉｆｆ_ＤＶ３を決定する。

一実施形態の変移値変化度比率計算部９８０は、第３変化度に対する第１変化度と第２変化度との和の比率を計算する。変移数値変化度比率Ｄ_Ｄは、第１変化度ｄｉｆｆ_ＤＶ１と第２変化度ｄｉｆｆ_ＤＶ２との和を、第３変化度ｄｉｆｆ_ＤＶ３と定数ｃとの和で割った値である。

Ｄ_Ｄ＝（ｄｉｆｆ_ＤＶ１＋ｄｉｆｆ_ＤＶ２）／（ｄｉｆｆ_ＤＶ３＋ｃ） （３）
ここで、定数ｃは、分母が０になる場合を防止するためである。

前述の通り、変化度比率判別部１８０は、現在映像が二次元／三次元映像であるかを判別するために、一実施形態の変移値変化度比率計算部９８０によって獲得された変化度比率Ｄ_Ｄを所定臨界値と比較できる。

図９は、本発明の一実施形態によって、映像シーケンスの二次元／三次元再生モードを決定する方式を図示している。

二次元／三次元映像判別部１２０により、映像シーケンス１１００のフレームが、二次元／三次元映像であるかを判別された結果１１１０で、特定フレーム１１２０だけが二次元（三次元）映像であると判別され、他のフレームは、いずれも三次元（二次元）映像であると判別された場合、一実施形態の二次元／三次元再生モード決定部１３０は、映像シーケンス１１００のフレーム全部の再生モードを三次元（二次元）再生モードと決定できる。これは、映像シーケンス１１００の再生モードの統一性を確保したり、あるいは二次元／三次元映像判別部１２０の判別結果の信頼性を高めるためである。

一実施形態の二次元／三次元再生モード決定部１３０は、システムのメモリなどの環境を考慮し、二次元／三次元映像判別部１２０の比較対象になる周囲フレームの範囲を調節できる。

二次元／三次元再生モード決定部１３０によって、現在映像または映像シーケンスが三次元再生モードと決定されれば、三次元で再生することができる映像再生機器の再生方式に適した映像フォーマットを変換して出力されねばならない場合がある。従って、他の実施形態による二次元／三次元再生モード決定装置１００の出力部は、三次元映像シーケンスを適切な三次元映像フォーマットに変換して出力できる。

例えば、フレームシーケンシャル・フォーマットによる再生方式による再生機器に、映像シーケンスを出力する場合、一実施形態の二次元／三次元再生モード決定装置１００は、現在映像に対応する左視点映像及び右視点映像を、１つのフレームずつ交互に、フレームシーケンシャル・フォーマットを構成して出力する三次元フレームシーケンシャル・フォーマット出力部をさらに含むことができる。

また、一実施形態の二次元／三次元再生モード決定装置１００は、再生方式によって、左視点映像及び右視点映像を、横軸方向に解像度を半分に縮小し、解像度が半分に縮小された左視点映像及び右視点映像の縦ラインが交互に配列される垂直ラインインターリーブド・フォーマットで構成して出力する三次元垂直ラインインターリーブド・フォーマット出力部をさらに含むことができる。

図１０は、本発明の他の実施形態による二次元／三次元再生モード決定方法のフローチャートを図示している。

段階１２１０で、映像シーケンスが入力される。本実施形態による二次元／三次元再生モード決定方法は、入力された映像シーケンスが二次元映像シーケンスであるか三次元映像シーケンスであるかを示す情報が別途に入力されない場合に、映像シーケンスだけを利用して判別することができる。

段階１２２０で、映像シーケンスのうち現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別される。フレーム単位で、二次元／三次元映像であるかが判別されたり、映像シーケンス単位で、二次元／三次元映像シーケンスであるかを判別することができる。時間的に隣接した映像または周囲フレーム間の特性変数の変化度を利用し、二次元／三次元映像（シーケンス）であるかを判別することができる。特性変数は、フレーム別画素の平均、分散、標準偏差などの統計値、またはフレーム別変移ベクトル関連情報などが利用されうる。

段階１２３０で、段階１２２０の判別結果に基づいて、現在映像の再生モードが二次元再生モード及び三次元再生モードのうちいずれか一つに決定される。段階１２２０で、二次元映像であると判別されれば、二次元再生モードに、三次元映像であると判別されれば、三次元再生モードと決定される。

ただし、所定区間の映像シーケンス内の映像のうち、所定映像のみが、その判別結果が多数の他の映像の判別結果と異なる場合、映像シーケンスの再生モードは、多数映像の再生モードと統一されて決定されうる。リアルタイム・システムの場合、過去一定映像の結果に基づいて、現在映像の再生モードが決定される。

段階１２４０で、段階１２３０の再生モード決定結果に基づいて、映像シーケンスが二次元または三次元映像のフォーマットで出力される。映像シーケンスが、三次元再生モードであると決定されても、再生機器が支援する三次元再生方式に基づいて、垂直ラインインターリーブド・フォーマット、フレームシーケンシャル・フォーマットなどの三次元映像フォーマットが決定されて変換されうる。

一方、前述の本発明の実施形態は、コンピュータで実行できるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されうる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例を上げれば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

本発明の実施形態はまた、伝送媒体上に記録されたコンピュータで読み取り可能なコードまたは命令語で具現されうる。例えば、伝送媒体は、キャリアウェーブや、インターネットを介したデータの送受信可能なデータ送受信装置を含むことができる。

以上、本発明についてその望ましい実施形態を中心に述べた。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性からはずれない範囲で変形された形態で具現できることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

Claims (25)

1. 二次元または三次元再生モードを決定する方法において、
   現在映像を含む映像シーケンスが入力される段階と、
   前記現在映像が二次元映像または三次元映像であるかを判別する段階と、
   前記現在映像が二次元及び三次元映像であるかを判別した結果に基づいて、前記映像シーケンスの再生モードを、二次元再生モードまたは三次元再生モードと決定する段階と、を含むことを特徴とする二次元／三次元再生モード決定方法。
2. 前記二次元／三次元映像の判別段階は、
   前記映像シーケンスのうち現在映像の周囲映像を基に、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階を含むことを特徴とする請求項１に記載の二次元／三次元再生モード決定方法。
3. 前記二次元／三次元映像の判別段階は、
   前記映像シーケンスのうち現在映像の周囲映像及び前記現在映像の特性変数を決定する段階と、
   前記周囲映像及び前記現在映像のうち２つの映像の特性変数間の変化度を計算する段階と、
   前記変化度の比率を基に、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別する段階と、をさらに含むことを特徴とする請求項２に記載の二次元／三次元再生モード決定方法。
4. 前記二次元／三次元再生モード決定方法は、
   前記決定された特性変数を保存する段階と、
   前記２つの映像の特性変数間の変化度を計算するために、前記保存された特性変数を抽出する段階と、をさらに含むことを特徴とする請求項３に記載の二次元／三次元再生モード決定方法。
5. 前記周囲映像は、前記現在映像の以前映像と次の映像とを含み、
   前記二次元／三次元再生モード決定方法は、
   前記特性変数として、前記以前映像の第１統計値、前記現在映像の第２統計値、及び前記次の映像の第３統計値を決定する段階と、
   前記第１統計値及び前記第２統計値の差の絶対値として第１変化度、前記第２統計値及び前記第３統計値の差の絶対値として第２変化度、及び前記第１統計値及び前記第３統計値の差の絶対値として第３変化度を計算する段階と、
   前記第３変化度に対する前記第１変化度と前記第２変化度との和の比率を計算する段階と、を含むことを特徴とする請求項３に記載の二次元／三次元再生モード決定方法。
6. 前記統計値決定段階は、
   前記統計値として、前記映像シーケンスのそれぞれの映像の所定領域に係わる平均、分散及び標準偏差のうち一つを利用することを特徴とする請求項５に記載の二次元／三次元再生モード決定方法。
7. 前記周囲映像は、前記現在映像の以前映像と次の映像とを含み、
   前記二次元／三次元再生モード決定方法は、
   それぞれの映像の現在領域に対する変移を基に、前記現在映像の変移は、前記以前映像の所定領域に係わる前記現在映像の所定領域の変移を示すとき、前記以前映像の第１変移ベクトル、前記現在映像の第２変移ベクトル、前記次の映像の第３変移ベクトルを決定する段階と、
   前記特性変数として、前記第１変移ベクトルを利用した第１変移数値、前記第２変移ベクトルを利用した第２変移数値、前記第３変移ベクトルを利用した第３変移数値を決定する段階と、
   前記第１変移数値及び前記第２変移数値の差の絶対値である第１変化度、前記第２変移数値及び前記第３変移数値の差の絶対値である第２変化度、前記第１変移数値及び前記第３変移数値の差の絶対値である第３変化度を計算する段階と、
   前記第３変化度に対する前記第１変化度と前記第２変化度との和の比率を計算する段階と、を含むことを特徴とする請求項３に記載の二次元／三次元再生モード決定方法。
8. 前記変移数値の決定段階は、
   前記以前映像の第１変移ベクトルのうち正の第１変移ベクトルを有するブロックの個数に対する負の第１変移ベクトルを有するブロックの個数の比率を示す第１変移数値、前記現在映像の第２変移ベクトルのうち正の第２変移ベクトルを有するブロックの個数に対する負の第２変移ベクトルを有するブロックの個数の比率を示す第２変移数値、前記次の映像の第３変移ベクトルのうち正の第３変移ベクトルを有するブロックの個数に対する負の第３変移ベクトルを有するブロックの個数の比率を示す第３変移数値を決定する段階を含むことを特徴とする請求項７に記載の二次元／三次元再生モード決定方法。
9. 前記現在映像の二次元／三次元映像の判別段階は、
   前記変化度の比率が所定臨界値より大きいか、あるいはそれと同じであるならば、前記現在映像を三次元映像と決定し、前記特性変数の比率が所定臨界値より小さければ、前記現在映像を二次元映像と決定する段階をさらに含むことを特徴とする請求項３に記載の二次元／三次元再生モード決定方法。
10. 前記二次元／三次元再生モード決定段階は、
    前記二次元映像及び三次元映像のうちいずれか一つと判別された映像シーケンスのうち、前記現在映像の判別結果が、所定個数の周囲映像の判別結果と異なる場合、前記現在映像の再生モードを、前記周囲映像の再生モードと同じ再生モードに変換する段階を含むことを特徴とする請求項２に記載の二次元／三次元再生モード決定方法。
11. 前記二次元／三次元再生モード決定方法は、
    前記現在映像が二次元再生モードと決定された場合、前記映像シーケンスを、二次元映像フォーマットで構成して出力する段階をさらに含むことを特徴とする請求項１に記載の二次元／三次元再生モード決定方法。
12. 前記二次元／三次元再生モード決定方法は、
    前記映像シーケンスが三次元再生モードと決定された場合、サイドバイサイド・フォーマット、トップボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマット、フレームシーケンシャル・フォーマット及びフィールドシーケンシャル・フォーマットのうち少なくともいずれか一つによって、互いに対応する左視点映像及び右視点映像を１つのフレームで構成する段階と、
    前記構成されたフレームを出力する段階と、をさらに含むことを特徴とする請求項１に記載の二次元／三次元再生モード決定方法。
13. 二次元または三次元再生モードを決定する装置は、
    現在映像を含む映像シーケンスが入力される映像入力部と、
    前記映像が二次元映像または三次元映像であるかを判別する二次元／三次元映像判別部と、
    前記映像が二次元映像または三次元映像であるかを判別した結果に基づいて、前記映像シーケンスの再生モードを二次元または三次元再生モードと決定する二次元／三次元再生モード決定部と、を含むことを特徴とする二次元／三次元再生モード決定装置。
14. 前記二次元／三次元映像判別部は、
    前記映像シーケンスのうち現在映像の周囲映像を基に、前記現在映像が二次元映像及び三次元映像のうちいずれか一つであるかを判別することを特徴とする請求項１３に記載の二次元／三次元再生モード決定装置。
15. 前記二次元／三次元映像判別部は、
    前記映像シーケンスのうち現在映像の周囲映像及び前記現在映像の特性変数を決定する特性変数決定部と、
    前記周囲映像及び前記現在映像のうち２つの映像の特性変数間の変化度を計算する変化度計算部と、
    前記変化度の比率を基に、前記現在映像を二次元映像または三次元映像であるかを判別する変化度比率判別部と、を含むことを特徴とする請求項１４に記載の二次元／三次元再生モード決定装置。
16. 前記二次元／三次元再生モード決定装置は、
    前記決定された特性変数を保存する保存部をさらに含むことを特徴とする請求項１５に記載の二次元／三次元再生モード決定装置。
17. 前記周囲映像は、前記現在映像の以前映像と次の映像とを含み、
    前記二次元／三次元再生モード決定装置は、
    前記特性変数として、前記以前映像の第１統計値、前記現在映像の第２統計値、及び前記次の映像の第３統計値を決定する統計値決定部と、
    前記変化度計算部は、前記第１統計値及び前記第２統計値の差の絶対値である第１変化度、前記第２統計値及び前記第３統計値の差の絶対値である第２変化度、及び前記第１統計値及び前記第３統計値の差の絶対値である第３変化度を計算する統計値変化度計算部と、
    前記変化度比率判別部は、前記第３変化度に対する前記第１変化度と前記第２変化度との和の比率を計算する統計値変化度比率計算部と、を含むことを特徴とする請求項１５に記載の二次元／三次元再生モード決定装置。
18. 前記統計値決定部は、
    前記統計値として、それぞれの映像の所定領域に係わる平均、分散及び標準偏差のうち一つを利用することを特徴とする請求項１７に記載の二次元／三次元再生モード決定装置。
19. 前記周囲映像は、前記現在映像の以前映像と次の映像とを含み、
    前記二次元／三次元再生モード決定装置は、
    それぞれの映像の所定領域に対する変移を基に、前記映像の変移は、前記現在映像の以前映像の所定領域に係わる前記現在映像の所定領域の変移を示すとき、前記現在映像の以前映像の第１変移ベクトル、前記現在映像の第２変移ベクトル、前記現在映像の次の映像の第３変移ベクトルを決定する変移ベクトル決定部と、
    前記特性変数として、前記第１変移ベクトルを利用した第１変移数値、前記第２変移ベクトルを利用した第２変移数値、前記第３変移ベクトルを利用した第３変移数値を決定する変移数値決定部と、
    前記第１変移数値及び前記第２変移数値の差の絶対値である第１変化度、前記第２変移数値及び前記第３変移数値の差の絶対値である第２変化度、前記第１変移数値及び前記第３変移数値の差の絶対値である第３変化度を計算する変移数値変化度計算部と、
    前記第３変化度に対する前記第１変化度と前記第２変化度との和の比率を計算する変移数値変化度比率計算部と、を含むことを特徴とする請求項１５に記載の二次元／三次元再生モード決定装置。
20. 前記変移数値決定部は、
    前記以前映像の第１変移ベクトルのうち正の第１変移ベクトルを有するブロックの個数に対する負の第１変移ベクトルを有するブロックの個数の比率を示す第１変移数値と、
    前記現在映像の第２変移ベクトルのうち正の第２変移ベクトルを有するブロックの個数に対する負の第２変移ベクトルを有するブロックの個数の比率を示す第２変移数値と、
    前記次の映像の第３変移ベクトルのうち正の第３変移ベクトルを有するブロックの個数に対する負の第３変移ベクトルを有するブロックの個数の比率を示す第３変移数値と、を決定するブロック個数比率計算部を含むことを特徴とする請求項１９に記載の二次元／三次元再生モード決定装置。
21. 前記変化度比率判別部は、
    前記変化度の比率が所定臨界値より大きいか、あるいはそれと同じであるならば、前記現在映像を三次元映像と決定し、前記特性変数の比率が所定臨界値より小さければ、前記現在映像を二次元映像と決定する変化度比率比較部を含むことを特徴とする請求項１５に記載の二次元／三次元再生モード決定装置。
22. 前記二次元／三次元再生モード決定部は、
    前記二次元映像及び三次元映像のうちいずれか一つと判別された映像シーケンスのうち、前記現在映像の判別結果が、所定個数の周囲映像の判別結果と異なる場合、前記現在映像の再生モードを、前記周囲映像の再生モードと同じ再生モードに変換する再生モード変換部をさらに含むことを特徴とする請求項１４に記載の二次元／三次元再生モード決定装置。
23. 前記二次元／三次元再生モード決定装置は、
    前記映像シーケンスが二次元再生モードと決定された場合、前記映像シーケンスを二次元映像フォーマットで構成して出力する二次元再生モード出力部をさらに含むことを特徴とする請求項１３に記載の二次元／三次元再生モード決定装置。
24. 前記二次元／三次元再生モード決定装置は、
    前記映像シーケンスが三次元再生モードと決定された場合、サイドバイサイド・フォーマット、トップボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマット、フレームシーケンシャル・フォーマット及びフィールドシーケンシャル・フォーマットのうち少なくともいずれか一つによって、互いに対応する左視点映像及び右視点映像を１つのフレームで構成して出力する三次元フォーマット出力部をさらに含むことを特徴とする請求項１３に記載の二次元／三次元再生モード決定装置。
25. 映像の再生モードを決定する方法を具現するために、コンピュータで実行可能なプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記映像再生モード決定方法は、
    現在映像を含む映像シーケンスが入力される段階と、
    前記現在映像が二次元または三次元映像であるかを判別する段階と、
    前記現在映像が二次元または三次元映像であるかを判別した結果に基づいて、前記映像シーケンスの再生モードを二次元または三次元再生モードと決定する段階と、を含むことを特徴とする記録媒体。

Images