JP2013534742A - デプスマップ情報を利用した立体映像変換方法及び装置 - Google Patents

Abstract

本発明は、デプスマップ情報を利用した立体映像変換方法及び装置に関する。 本発明の一実施形態は、各々のフレーム(Frame)内に存在する各々のピクセル(Pixel)別にデプスマップ(Depth Map)情報を推定するデプスマップ推定部と、前記各々のピクセルを前記デプスマップ情報に応じてＸ軸方向に移動させるデプスマップ適用部と、前記移動によって前記フレーム内に空いたピクセルが発生する場合、前記空いたピクセルの隣接ピクセルに加重値を適用して前記空いたピクセル内に補間(Interpolation)ピクセルが形成されるようにする立体映像補間部と、前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリング(Rendering)させる立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置を提供する。本発明の一実施形態によれば、２Ｄ映像のうち字幕のように隣接ピクセル間のデプスマップ情報に変化が大きい映像を立体映像に変換するとき、字幕の該当字のようなオブジェクトの原形を保存しながら立体感が現われるようにする効果がある。
【選択図】図１

Description

本発明は、デプスマップ情報を利用した立体映像方法及び装置に関し、より詳しくは、入力された２Ｄ映像コンテンツを立体映像に変換するとき、２Ｄ映像コンテンツに該当コンテンツに対するデプスマップ(Depth Map：距離画像)情報を適用して立体映像コンテンツを作ることにおいて、このときに発生するオクルージョン(Occlusion)現象を改善するため、空ピクセル情報を補間(Interpolation)処理して、立体カメラで撮影した映像と類似な立体イメージでレンダリング(Rendering)できるようにする立体映像変換方法及び装置に関する。

デジタル技術が高度に発展し、放送と通信の融合により放送媒体が多様化されることに従って、デジタル技術の特性を利用した放送関連付加サービスが新たに登場している。現在、ＴＶのような映像サービスの発展方向は高画質と大画面に行っているが、現在までは２Ｄ映像コンテンツのみを提供するから現在の映像コンテンツを通じて視聴者は立体感を感じることができない。

これによって、漸進的に立体映像の必要性が高まっているが、今までは立体映像のコンテンツが極めて不足な実情である。立体映像処理技術は、次世代情報通信サービス分野の核心技術として、情報産業社会への発達に連れて技術開発競争が激烈な最尖端技術である。このような立体映像処理技術は、マルチメディア応用において高品質の映像サービスを提供するために必須的な要素であり、今日には情報通信分野だけではなく、放送、医療、教育、軍事、ゲーム及び仮想現実などその応用分野が非常に多様化されている。

したがって、２Ｄ映像コンテンツを立体映像コンテンツで提供する技術が必要な実情である。しかし、現在の技術では、２Ｄ映像コンテンツを立体映像コンテンツに変換する場合、 画面内のオブジェクトと背景イメージが調和を成すことができなくて長期間視聴時に視聴者の目の疲れ感を加重させて、視聴者が十分な立体感を感じられないようになる問題点がある。

したがって、本発明は上述したような従来技術の問題点を解決するためになされたもので、その目的は、２Ｄ映像が立体カメラで撮影した映像と類似な立体イメージでレンダリングされるようにするオクルージョン(Occlusion)技術を提供するためのデプスマップ情報を利用した立体映像変換方法及び装置を提供することにある。

前記目的を達成するための本発明の一実施形態は、各々のフレーム(Frame)内に存在する各々のピクセル(Pixel)別にデプスマップ(Depth Map)情報を推定するデプスマップ推定部と、前記各々のピクセルを前記デプスマップ情報ほど（に応じて）Ｘ軸方向に移動させるデプスマップ適用部と、前記移動によって前記フレーム内に空ピクセルが発生する場合、前記空ピクセルの隣接ピクセルに加重値を適用して前記空ピクセル内に補間(Interpolation)ピクセルが形成されるようにする立体映像補間部と、前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリング(Rendering)されるようにする立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置を提供する。

また、本発明の他の目的によれば、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ推定部と、前記各々のピクセルを前記デプスマップ情報に応じてＸ軸方向に移動させるデプスマップ適用部と、前記移動による左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置を提供する。

また、本発明の他の目的によれば、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ堆定ステップと、前記各々のピクセルを前記デプスマップ情報に応じてＸ軸方向に移動させるデプスマップ適用ステップと、前記移動によって前記フレーム内に空ピクセルが発生する場合、前記空ピクセルの隣接ピクセルに加重値を適用して前記空ピクセル内に補間ピクセルが形成されるようにする立体映像補間ステップと、前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理ステップと、を含むことを特徴とするデプスマップ情報を利用した立体映像変換方法を提供する。

また、本発明の他の目的によれば、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ堆定ステップと、前記各々のピクセルを前記デプスマップ情報に応じてＸ軸方向に移動させるデプスマップ適用ステップと、前記移動による左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理ステップと、を含むことを特徴とするデプスマップ情報を利用した立体映像変換方法を提供する。

上述のように、本発明の一実施形態によれば、入力された２Ｄ映像コンテンツを立体映像コンテンツに変換するとき、２Ｄ映像コンテンツにデプスマップ情報を適用してデプスマップ情報適用による空ピクセルを補間処理することで、立体カメラで撮影した映像と類似な立体イメージがレンダリングされるようにする効果がある。

また、本発明の一実施形態によれば、２Ｄ映像のうち字幕のように隣接ピクセル間のデプスマップ情報に変化が大きい映像を立体映像に変換するとき、字幕の該当字のようなオブジェクトの原形を保存しながら立体感が現われるようにする効果がある。

本発明の一実施形態による立体映像変換装置を概略的に示したブロック構成図である。 本発明の一実施形態によるデプスマップ情報を利用した立体映像変換方法を説明するためのフローチャートである。 本発明の一実施形態によるデプスマップ適用による左側視野用イメージと右側視野用イメージの生成に対する例示図である。 本発明の一実施形態による空ピクセルと空ピクセルグループに対する例示図である。 本発明の一実施形態による左側視野用イメージと右側視野用イメージの生成方向に対する例示図である。 本発明の一実施形態による２Ｄイメージを右側視野用イメージに変換した場合の映像の位置変化を示した例示図である。 本発明の一実施形態による２Ｄイメージのオブジェクトを左側視野用イメージと右側視野用イメージに変換した場合の例示図である。 本発明の一実施形態による２Ｄイメージの字を左側視野用イメージと右側視野用イメージに変換した場合の例示図である。

以下、本発明の一部実施例を例示的な図面を通じて詳細に説明する。各図面の構成要素に参照符号を付与することにおいて、同一構成要素に対しては他の図面上に表示されてもできるだけ同一符号を付与する。また、本発明の説明において、関連の公知構成または機能に対する具体的な説明が本発明の要旨を不明にする恐れがあると判断される場合にはその詳細な説明は省略する。

また、本発明の構成要素の説明において、第１、第２、Ａ、Ｂ、(ａ)、(ｂ)などの用語を使うことができる。このような用語は、その構成要素を他の構成要素と区別するためもので、その用語により該当構成要素の本質や順番または手順などが限定されるものではない。ある構成要素が他の構成要素に『連結』、『結合』または『接続』されると記載した場合、その構成要素はその他の構成要素に直接的に連結されるか、または接続されることができ、各構成要素の間にまた他の構成要素が『連結』、『結合』または『接続』されることもできると理解しなければならない。

図１は、本発明の一実施形態による立体映像変換装置を概略的に示したブロック構成図である。

本発明の一実施形態による立体映像変換装置１００は、デプスマップ推定部１１０と、デプスマップ適用部１２０と、立体映像補間部１３０と、立体映像レンダリング処理部１４０と、を含む。一方、本発明の一実施形態では、立体映像変換装置１００がデプスマップ推定部１１０、デプスマップ適用部１２０、立体映像補間部１３０及び立体映像レンダリング処理部１４０のみを含むことで記載しているが、これは本発明の一実施形態の技術思想を例示的に説明したことに過ぎないことで、本発明の一実施形態が属する技術分野で通常の知識を有した者であれば、本発明の一実施形態の本質的な特性から脱しない範囲で立体映像変換装置１００に含まれる構成要素を多様に修正及び変形して適用することが可能である。

本発明の一実施形態による立体映像変換装置１００は、入力映像を立体映像に変換する装置である。すなわち、立体映像変換装置１００は、放送局のような映像コンテンツ提供社から２Ｄ映像データの入力を受けてこれをディスプレーする前に立体映像に変換することができる装置である。ここで、立体映像変換装置１００は、ＴＶ、モニターのようなディスプレー装置に搭載される形態で具現するか、セットトップボックス(Set-Top Box)のように別途の装置で具現してディスプレー装置と連動する形態で具現することができる。したがって、本発明では、立体映像変換装置１００が入力映像を立体映像である左側視野用イメージと右側視野用イメージに変換することまでに記述し、以後ディスプレー装置で立体映像をステレオスコピック(Stereoscopic)方式またはオートステレオスコピック(Auto-Stereoscopic)方式でディスプレーすることに対しては特別に言及しない。

本発明で記載した立体映像は、大きく二つの観点で定義することができる。１．立体映像は、映像にデプスマップ情報を適用させて映像の一部が画面から突き出される感じをユーザが感じることができる映像である。２．立体映像は、ユーザに多様な視点を提供してそれからユーザが映像からリアリティーを感じることができる映像である。すなわち、本発明に記載された立体映像は、視聴者が視聴覚的立体感を感じられるようにすることで動感及びリアリティーを提供する映像を意味する。このような立体映像は、獲得方式、デプスインプレッション(Depth Impression)、ディスプレー方式などによって、両眼式、多眼式、ＩＰ(Integral Photography)、多視点(オムニ(Omni)、パノラマ)、ホログラムなどに分類することができる。また、このような立体映像を表現する方法では、大きく映像基盤表現法(Image-Based Representation)とメッシュ基盤表現法(Mesh-Based Representation)がある。

また、立体映像を表現する方式で、デプス映像基盤レンダリング(ＤＩＢＲ：Depth Image-Based Rendering)方式がある。ＤＩＢＲは、関連された各ピクセルごとに深さや差角などの情報を有した参照映像を利用して他の視点でのフレームを新たに作り出す方式である。このようなＤＩＢＲは、３Ｄモデルの表現しにくくて複雑な形象を容易にレンダリングするだけではなく、一般的な映像フィルタリングのような信号処理方法の適用を可能とし、高品質の立体映像を生成することができる。このようなＤＩＢＲは、デプスカメラ及びマルチビューカメラを通じて獲得されるデプス映像とテクスチャ映像を利用する。

また、デプス映像は、３Ｄ空間上に位置するオブジェクトとそのオブジェクトを撮影するカメラとの間の距離を黒白の単位で示す映像である。このようなデプス映像は、デプスマップ情報とカメラパラメータを通じて３Ｄ復元技術または３Ｄワーピング(Warping)技術に利用される。また、デプス映像は、自由視点ＴＶと３ＤＴＶに応用される。自由視点ＴＶは、決まった一つの視点でのみ映像を鑑賞しないでユーザの選択によって任意の視点で映像を視聴することができるようにするＴＶである。３ＤＴＶは、既存２ＤＴＶにデプス映像を加えた映像を具現する。このような自由視点ＴＶと３ＤＴＶでの柔らかい視点転換のためには、中間映像を生成する必要があり、そのためには正確なデプスマップ情報を推定しなければならない。一方、本発明でデプスマップ情報を推定する方法に対しては、デプスマップ推定部１１０を通じて詳しく説明する。

デプスマップ推定部１１０は、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定する。ここで、各々のピクセルは、Ｒ、Ｇ、Ｂサブピクセルを含む。また、入力された映像データは、２Ｄ映像データである。一方、デプスマップ推定部１１０は、デプスマップ情報を推定するための一般的な方式では、ステレオマッチング(Stereo Matching)アルゴリズムが利用することができる。ステレオマッチングアルゴリズムは、変異値を求めるために周辺映像で水平方向にのみ探索を行い、並列カメラ構成から得た映像または修正(Rectification)過程を経た映像のみを入力する方式である。本発明に記載されたデプスマップ情報は、デプスインプレッションを示す情報を意味し、Ｚ−バッファー(Buffer)とも称する。

また、デプスマップ推定部１１０は、各々のフレームを分析して画面の傾き、オブジェクトの影、画面焦点及びオブジェクトパターンの中の少なくとも一つ以上の情報を利用してデプスマップ情報を推定する。例えば、デプスマップ推定部１１０は、フレーム内の傾きを利用する方式で、フレーム内の画面の下段に位置するオブジェクトが近くにあると判断し、フレーム内の画面の上段に位置するイメージは遠くにあると判断して、デプスマップ情報を推定することができる。また、デプスマップ推定部１１０は、オブジェクトの影を利用する方式で、フレーム内のオブジェクトの暗い部分は遠くにあると判断し、フレーム内のオブジェクトの明るい部分は近くにあると判断して、デプスマップ情報を推定することができる。すなわち、影は常にオブジェクトより後にある原理を利用した方式である。また、デプスマップ推定部１１０は、画面焦点を利用する方式で、鮮かな物体は前にあり、鮮明ではない物体は後にあると判断してデプスマップ情報を推定することができる。また、デプスマップ推定部１１０は、オブジェクトパターン(Pattern)を利用する方式で、同一類型のパターンが連続されて出る場合、パターンのサイズが大きいものが小さいものより前にあると判断してデプスマップ情報を推定することができる。

一方、本発明では、立体映像変換装置１００がデプスマップ推定部１１０を通じて入力映像からデプスマップ情報を抽出することのみを記載しているが、これは本発明の一実施形態に対することで、必ずこれに限定されるものではない。すなわち、立体映像変換装置１００が入力映像と共に別途のデプスマップ情報を外部から受信する場合、立体映像変換装置１００は、デプスマップ推定部１１０を利用して入力映像からデプスマップ情報を抽出する必要なしに外部から受信したデプスマップ情報を利用することができる。

デプスマップ適用部１２０は、各々のピクセルをデプスマップ情報に応じてＸ軸方向に移動させる機能を実行する。デプスマップ適用部１２０は、各々のピクセルをデプスマップ情報に応じて加算または減算して左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする。デプスマップ適用部１２０は、各々のピクセル別にデプスマップ情報に応じて加算したＸ軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルが左側視野用イメージになるようにする。デプスマップ適用部１２０は、フレーム内にＸ軸座標の終点であるＸｎのピクセル位置から開始点であるＸ_０のピクセル位置方向にデプスマップ情報を順次適用して左側視野用イメージになるようにする。

デプスマップ適用部１２０は、各々のピクセル別にデプスマップ情報に応じて減算したＸ軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルが右側視野用イメージになるようにする。デプスマップ適用部１２０は、フレーム内にＸ軸座標の開始点であるＸ_０のピクセル位置から終点であるＸｎのピクセル位置方向にデプスマップ情報を順次適用して右側視野用イメージになるようにする。一方、デプスマップ適用部１２０は、各々のフレームの中で現在フレームと、以前または未来フレームである参照フレームとの比較を通じて動きが推定されるオブジェクトを認識し、オブジェクトに該当するピクセルをデプスマップ情報に応じてＸ軸方向に移動させる。ここで、デプスマップ適用部１２０は、フレーム内のオブジェクト及び背景の全てに対してデプスマップ情報を適用することが好ましいが、本発明の一実施形態の適用において、フレーム内の背景とオブジェクトとを分離してオブジェクトにのみデプスマップ情報を適用してもよい。

立体映像補間部１３０は、移動されたピクセルによってフレーム内に空ピクセルが発生する場合、空ピクセルの隣接ピクセルに既設定された加重値を適用して空ピクセル内に補間(Interpolation)ピクセルが形成させる機能を実行する。ここで、空ピクセルは、ピクセル情報が入力されなかったピクセルを意味する。立体映像補間部１３０は、空ピクセルが一個である場合、前記空ピクセルが隣接ピクセルの平均値を有するように加重値を適用する。立体映像補間部１３０は、空ピクセルの隣接ピクセルである左側隣接ピクセルと右側隣接ピクセルに同一定数を掛けた後、同一定数が掛けられた左側隣接ピクセルと右側隣接ピクセルを加算した値で補間ピクセルを形成する。立体映像補間部１３０は、空ピクセル４１０が複数個である空ピクセルグループ４２０の場合、空ピクセルグループ４２０の中で補間しようとする特定空ピクセルと隣接ピクセルの距離に比例する定数を加重値に適用する。立体映像補間部１３０は、空ピクセルグループ４２０と隣接した最左側隣接ピクセルと最右側隣接ピクセルとの距離に比例した定数を掛けた後、距離に比例した定数が掛けられた最左側隣接ピクセルと最右側隣接ピクセルとを加算した値で補間ピクセルを形成する。一方、立体映像レンダリング処理部１４０は、補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリングさせる機能を実行する。このような２Ｄ映像データに含まれた２Ｄイメージのピクセルを３Ｄイメージである左側視野用イメージと右側視野用イメージに変換するためにピクセルを移動させることをオクルージョン(Occlusion)という。

図２は、本発明の一実施形態によるデプスマップ情報を利用した立体映像変換方法を説明するためのフローチャートである。

立体映像変換装置１００は、放送局のような映像コンテンツ提供社から２Ｄ映像データの入力を受ける。立体映像変換装置１００のデプスマップ推定部１１０は、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定する(ステップＳ２１０)。デプスマップ推定部１１０は、各々のフレームを分析して画面の傾き、オブジェクトの影、画面焦点及びオブジェクトパターンの中の少なくとも一つ以上の情報を利用してデプスマップ情報を推定する。

立体映像変換装置１００のデプスマップ適用部１２０は、各々のピクセルをデプスマップ情報に応じてＸ軸方向に移動させる(ステップＳ２２０)。すなわち、立体映像変換装置１００のデプスマップ適用部１２０は、各々のピクセル別にデプスマップ情報に応じて加算または減算して左側視野用イメージ及び右側視野用イメージをレンダリングさせる。より具体的に説明すると、立体映像変換装置１００のデプスマップ適用部１２０は、各々のピクセル別にデプスマップ情報に応じて加算したＸ軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルが左側視野用イメージになるようにする。すなわち、立体映像変換装置１００のデプスマップ適用部１２０は、フレーム内にＸ軸座標の終点であるＸｎのピクセル位置から開始点であるＸ_０のピクセル位置方向にデプスマップ情報を順次適用して左側視野用イメージになるようにする。立体映像変換装置１００のデプスマップ適用部１２０は、各々のピクセル別にデプスマップ情報に応じて減算したＸ軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルが右側視野用イメージになるようにする。また、立体映像変換装置１００のデプスマップ適用部１２０は、フレーム内にＸ軸座標の開始点であるＸ_０のピクセル位置から終点であるＸ_ｎのピクセル位置方向にデプスマップ情報を順次適用して右側視野用イメージになるようにする。

立体映像変換装置１００の立体映像補間部１３０は、移動されたピクセルによってフレーム内に空ピクセル４１０が発生する否かを確認する(ステップＳ２３０)。ステップＳ２３０の確認結果、空ピクセル４１０が発生する場合、立体映像変換装置１００の立体映像補間部１３０は、空ピクセル４１０が一個であるか否かを確認する(ステップＳ２４０)。

ステップＳ２４０の確認結果、空ピクセル４１０が一個である場合、立体映像変換装置１００の立体映像補間部１３０は、 前記空ピクセルが隣接ピクセルの平均値を有するように加重値を適用して空ピクセル内に補間ピクセルを形成する(ステップＳ２５０)。すなわち、立体映像変換装置１００の立体映像補間部１３０は、空ピクセルの隣接ピクセルである左側隣接ピクセルと右側隣接ピクセルに同一定数を掛けた後、同一な数が掛けられた左側隣接ピクセルと右側隣接ピクセルを加算した値で補間ピクセルを形成する。

一方、ステップＳ２４０の確認結果、空ピクセル４１０が一つではない場合、立体映像変換装置１００の立体映像補間部１３０は、空ピクセルが複数個の空ピクセルグループ４２０であると判断し、空ピクセルグループ４２０の中で補間しようとする特定の空ピクセルと隣接ピクセルとの距離に比例する定数を加重値に適用して空ピクセル内に補間ピクセルを形成する(ステップＳ２６０)。すなわち、立体映像変換装置１００の立体映像補間部１３０は、空ピクセルグループ４２０と隣接した最左側隣接ピクセルと最右側隣接ピクセルとの距離に比例した定数を掛けた後、距離に比例した定数が掛けられた最左側隣接ピクセルと最右側隣接ピクセルとを加算した値で補間ピクセルを形成する。立体映像変換装置１００の立体映像レンダリング処理部１４０は、補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージをレンダリングさせる(ステップＳ２７０)。

図２では、ステップＳ２１０乃至ステップＳＳ２７０を順次に行うことで記載しているが、これは本発明の一実施形態の技術思想を例示的に説明したことに過ぎないで、本発明の一実施形態が属する技術分野で通常の知識を有した者であれば、本発明の一実施形態の本質的な特性から脱しない範囲で図２に記載された手順を変更して行うか、ステップＳ２１０乃至ステップＳ２７０の中で一つ以上のステップを並列的に行うことで、多様に修正及び変形して適用することが可能であるので、図２は、時計列的な手順に限定されるものではない。

上述のように、図２に記載された本発明の一実施形態によるデプスマップ情報を利用した立体映像変換方法は、プログラムで具現してコンピュータで読める記録媒体に記録することができる。本発明の一実施形態による立体映像エラー改善方法を具現するためのプログラムが記録されコンピュータが読める記録媒体は、コンピュータシステムにより読み出されるデータが保存されるすべての種類の記録装置を含む。このようなコンピュータが読める記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがあり、キャリアウエーブ(例えば、インターネットを介した伝送)の形態で具現されるものも含む。また、コンピュータが読める記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータが読めるコードが保存され実行されてもよい。また、本発明の一実施形態を具現するための機能的な(Functional)プログラム、コード及びコードセグメントは、本発明の一実施形態が属する技術分野のプログラマーが容易に推論できる。

図３は、本発明の一実施形態によるデプスマップ適用による左側視野用イメージと右側視野用イメージの生成に対する例示図である。

デプスマップ適用部１２０は、各々のピクセルをデプスマップ情報に応じてＸ軸方向に移動させる。デプスマップ適用部１２０は、各々のピクセル別にデプスマップ情報に応じて加算または減算して左側視野用イメージ及び右側視野用イメージをレンダリングさせる。

デプスマップ適用部１２０は、各々のピクセル別にデプスマップ情報に応じて減算したＸ軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルが右側視野用イメージになるようにする。言い換えると、図３に示したように、立体映像変換装置１００が入力映像である２Ｄイメージから抽出した各々のピクセルのデプスマップ情報を利用して立体イメージの右側視野用イメージを生成する方法で、入力映像のＸ軸値を該当ピクセルのデプスマップ情報に該当するほど（に応じて）左側に移して配置する。すなわち、図３に示したように、Ｘ軸の１０番目のピクセルであるＰ_１０に対してデプスマップ情報が７であると仮定する場合、デプスマップ適用部１２０は、右側視野用イメージのために１０番目のピクセルであるＰ_１０にデプスマップ情報である７を減算してＰ３のピクセル位置に移動させる。ここで、デプスマップ適用部１２０は、フレーム内にＸ軸座標の開始点であるＸ_０のピクセル位置から終点であるＸｎのピクセル位置方向にデプスマップ情報を順次適用して右側視野用イメージになるようにする。すなわち、右側視野用イメージの場合、１０、１１番目のピクセルのデプスマップ情報が各々７の場合、１０番目のピクセルは右側視野用イメージの３番目のピクセル位置に移動するようになり、１１番目のピクセルはすぐ隣である４番のピクセル位置に移動するようになってピクセルの連続性が維持される。一方、このような場合、各々のピクセル位置とデプスマップ情報によって、隣接されたピクセルの中間にピクセルデータが存在しない空間である空ピクセル４１０が発生する。

デプスマップ適用部１２０は、各々のピクセル別にデプスマップ情報に応じて加算したＸ軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルが左側視野用イメージになるようにする。言い換えると、図３に示したように、立体映像変換装置１００が入力映像である２Ｄイメージから抽出した各々のピクセルのデプスマップ情報を利用して立体イメージの左側視野用イメージを生成する方法で、入力映像のＸ軸値を該当ピクセルのデプスマップ情報に該当するほど（に応じて）右側に移して配置する。すなわち、図３に示したように、Ｘ軸の１０番目のピクセルであるＰ_１０に対してデプスマップ情報が７であると仮定する場合、デプスマップ適用部１２０は、右側視野用イメージのために１０番目のピクセルであるＰ_１０にデプスマップ情報である７を加算してＰ_１７のピクセル位置に移動させる。ここで、デプスマップ適用部１２０は、フレーム内にＸ軸座標の終点であるＸｎのピクセル位置から開始点であるＸ_０のピクセル位置方向にデプスマップ情報を順次適用して左側視野用イメージになるようにする。すなわち、左側視野用イメージの場合、１０、１１番目のピクセルのデプスマップ情報が各々７の場合、１０番目のピクセルは左側視野用イメージの１７番目のピクセル位置に移動するようになり、１１番目のピクセルはすぐ隣である１８番のピクセル位置に移動するようになってピクセルの連続性が維持される。一方、このような場合、各々のピクセル位置とデプスマップ情報によって、隣接されたピクセルの中間にピクセルデータが存在しない空間である空ピクセル４１０が発生する。

図４は、本発明の一実施形態による空ピクセルと空ピクセルグループに対する例示図である。

図４に示したように、立体映像変換装置１００が入力映像を右側視野用イメージに変換するとき、各々のピクセル別にデプスマップ情報に応じて減算したＸ軸ピクセル位置に各々のピクセルを移動させる過程で、隣接されたピクセルの中間にピクセルデータが存在しない空間である空ピクセル４１０が発生することがある。すなわち、図４に示したように、Ｘ軸の１０番目のピクセルであるＰ_１０に対してデプスマップ情報を７と仮定し、１１番目のピクセルであるＰ_１１に対してデプスマップ情報を６と仮定する場合、右側視野用イメージのために１０番目のピクセルであるＰ_１０にデプスマップ情報である７を減算してＰ_３のピクセル位置に移動させて、１１番目のピクセルであるＰ_１１にデプスマップ情報である６を減算してＰ_５のピクセル位置に移動させるようになるが、このような場合、Ｐ_３とＰ_５の間のＰ_４にピクセルデータが存在しない空間である空ピクセル４１０が発生する。

このとき、立体映像変換装置１００は、空ピクセルを補間するために立体映像補間部１３０を利用して移動されたピクセルによりフレーム内に空ピクセル４１０が発生する場合、空ピクセルの隣接ピクセルに既設定された加重値を適用して空ピクセル内に補間ピクセルを形成する。すなわち、Ｐ_４のようにＰ_３とＰ_５の間の空ピクセル４１０が一個である場合、立体映像補間部１３０は、空ピクセル４１０が隣接ピクセルであるＰ_３とＰ_５の平均値を有するように加重値を適用してＰ_４に補間ピクセルを形成する。より具体的に説明すると、立体映像補間部１３０は、空ピクセルＰ_４の隣接ピクセルである左側隣接ピクセルＰ_３と右側隣接ピクセルＰ_５に同一定数０.５を掛けた後、同一定数が掛けられた左側隣接ピクセル(Ｐ_３×０.５)と右側隣接ピクセル(Ｐ_５×０.５)を加算した値で補間ピクセルを形成する。

上述の説明の中で、Ｐ_４に含まれたＲ、Ｇ、Ｂサブピクセルを数学式で表現すれば数学式１のようである。

（数学式１）
Ｒ_４＝（Ｒ_３×０．５）＋（Ｒ_５×０．５）
Ｇ_４＝（Ｇ_３×０．５）＋（Ｇ_５×０．５）
Ｂ_４＝（Ｂ_３×０．５）＋（Ｂ_５×０．５）

一方、図４に示したように、Ｘ軸の１１番目のピクセルであるＰ_１１に対してデプスマップ情報を６と仮定し、１２番目のピクセルであるＰ_１２に対してデプスマップ情報を４と仮定する場合、右側視野用イメージのために１１番目のピクセルであるＰ_１１にデプスマップ情報である６を減算してＰ_５のピクセル位置に移動させて、１２番目のピクセルであるＰ_１２にデプスマップ情報である４を減算してＰ_８のピクセル位置に移動させるようになるが、このような場合、Ｐ_５とＰ_８の間にＰ_６とＰ_７のような複数個の空ピクセルである空ピクセルグループ４２０が発生する。

このとき、立体映像補間部１３０は、空ピクセルが複数個である空ピクセルグループ４２０の場合、空ピクセルグループ４２０の中で補間しようとする特定の空ピクセルであるＰ_６と、隣接ピクセルであるＰ_５とＰ_８の距離に比例する定数である０.６６と０.３４を加重値に適用する。すなわち、立体映像補間部１３０は、空ピクセルグループ４２０と隣接した最左側隣接ピクセルであるＰ_５と最右側隣接ピクセルであるＰ_８の距離に比例した定数を掛けた後、距離に比例した定数である０.６６と０.３４が掛けられた最左側隣接ピクセル(Ｐ_５×０.６６)と最右側隣接ピクセル(Ｐ_８×０.３４)を加算した値で補間ピクセルを形成する。上述の方法で、Ｐ_６に補間ピクセルが形成されると、Ｐ_７は、隣接ピクセルであるＰ_６とＰ_８の中間値になるようにする定数を加重値に適用して補間ピクセルを形成する。より具体的に説明すると、立体映像補間部１３０は、空ピクセルＰ_７の隣接ピクセルである左側隣接ピクセルＰ_６と右側隣接ピクセルＰ_８に同一定数(０.５)を掛けた後、同一定数が掛けられた左側隣接ピクセル(Ｐ_６×０.５)と右側隣接ピクセル(Ｐ_８×０.５)を加算した値で補間ピクセルを形成する。

上述の説明の中でＰ_６に含まれたＲ、Ｇ、Ｂサブピクセルを数学式で表現すれば、数学式２のようである。

（数学式２）
Ｒ_６＝（Ｒ_５×０．６６）＋（Ｒ_８×０．３４）
Ｇ_６＝（Ｇ_５×０．６６）＋（Ｇ_８×０．３４）
Ｂ_６＝（Ｂ_５×０．６６）＋（Ｂ_８×０．３４）

一方、上述の説明の中で、Ｐ_７に含まれたＲ、Ｇ、Ｂサブピクセルを数学式で表現すれば、数学式３のようである。但し、加重値は実施例であるだけで、最適化を通じて多様な定数を適用してもよい。すなわち、各々の数学式に適用された加重値は、本発明を具現するための例示に対する仮定であるだけで、実質的に本発明の実施過程では各状況によって最適化された加重値を適用することができる。

（数学式３）
Ｒ_７＝（Ｒ_６×０．５）＋（Ｒ_８×０．５）
Ｇ_７＝（Ｇ_６×０．５）＋（Ｇ_８×０．５）
Ｂ_７＝（Ｂ_６×０．５）＋（Ｂ_８×０．５）

上述の過程を通じてフレーム内に存在するオブジェクトは、デプスマップ情報別に仮想の右側視野用イメージのピクセルデータが存在しない空間である空ピクセルに補間ピクセルを形成することができる。すなわち、左側視野用イメージと右側視野用イメージを各々相違に処理するため、右側視野用イメージのプロセッシングの進行方向を原本映像の左側から右側方向、すなわち、X_０からX_ｎの方向に進行するようになり、このとき、デプスマップ情報値のカーソル移動距離が多いピクセルデータは、隣接したピクセルデータに上書きされて(Over Write)オブジェクトの右側面に対する仮想のイメージが作われるようになる。このとき、反対原理で左側面のイメージは縮小される。一方、左側視野用イメージを作るときには、右側視野用イメージのプロセッシング方向と反対(X_ｎからX_０への方向)に進行し、このような過程を経て各オブジェクトの左側面に仮想の左側面イメージが生成され、反対の原理で右側面イメージが縮小される。

図５は、本発明の一実施形態による左側視野用イメージと右側視野用イメージの生成方向に対する例示図である。

図５に示したように、フレームの解像度が８００×４８０の場合、X軸を基準として、ピクセルは、Ｐ_０,０からＰ_{７９９,０}方向になり、Ｙ軸を基準として、ピクセルは、Ｐ_０,０からＰ_{０,４７９}方向になる。すなわち、立体映像変換装置１００が左側視野用イメージを生成するためには、フレーム内にX軸座標の終点であるＰ_{７９９,０}のピクセル位置から開始点であるＰ_０,０のピクセル位置方向にデプスマップ情報を順次適用する。一方、立体映像変換装置１００が右側視野用イメージを生成するためには、フレーム内にX軸座標の開始点であるＰ_０,０のピクセル位置から終点であるＰ_{７９９,０}のピクセル位置方向にデプスマップ情報を順次適用する。一方、図５に示したように、X軸を基準として、Ｐ_０,０からＰ_{７９９,０}まで、またはＰ_{７９９,０}からＰ_０,０までデプスマップ情報を適用した後、Ｐ_０,１からＰ_{７９９,１}まで、またはＰ_{７９９,１}からＰ_０,１まで順次にデプスマップ情報を適用することができる。

図６は、本発明の一実施形態による２Ｄイメージを右側視野用イメージに変換した場合の映像の位置変化を示した例示図である。

図６に示したように、入力映像である２Ｄイメージが右側視野用イメージに変換されるとき、-◇-で表示された２Ｄイメージのグラフと-□-（黒塗りつぶしの□）で表示された右側視野用イメージグラフとの間の幅は、デプスマップ情報によって右側視野用イメージに該当する領域はグラフ幅が増加していて、その反対方向に該当する領域はグラフ幅が減少していることが分かる。

図６に示したように、隣接ピクセルの間のデプスマップ情報に変化が大きい映像の場合、例えば、字幕がたくさん含まれた映像を立体映像に変換する場合、字幕の原形を保存して立体感を表現する。もし、字幕を含んだ映像のように隣接ピクセルの間のデプスマップ情報値の変化が大きい映像をデプスマップ情報値による単純ピクセル移動のみで処理する場合、隣接ピクセルの間のデプスマップ情報の逆転現象が発生して字破れ現象が発生する。このような字破れ現象は、立体感を高めて変換するほど各ピクセルに対するデプスマップ情報値が大きくなって、一層にひどく発生するようになる。

図７は、本発明の一実施形態による２Ｄイメージのオブジェクトを左側視野用イメージと右側視野用イメージに変換した場合の例示図である。

図７に示したように、人の目で図７(ａ)のような立体図形を見るとき、左眼と右眼に見える映像は、図７(ｂ)、(ｃ)のように同一ではない。すなわち、左眼でオブジェクトを見るとき、図７(ｂ)のように、オブジェクトの左側面が右側面よりたくさん見えて、右眼でオブジェクトを見るとき、図７(ｃ)ように、オブジェクトの右側面が左側面よりたくさん見えるようになる。すなわち、２台のカメラを利用した立体撮影装置で、図７(ａ)のようなオブジェクトを撮影する場合、人の左右目に見える映像と同一な映像が撮影されることで、立体映像装置を通じて見るときに撮影されたオブジェクトの空間的な配置である立体感を感じることができるようになる。

しかし、一台のカメラで撮影された２Ｄ映像データを立体映像データに変換するときには、オブジェクトの空間情報が含まれていないので、原本映像が有しているさまざまな特徴を利用して仮想の空間情報を作る必要がある。このような２Ｄイメージから仮想の空間情報を抽出する方法には、映像のエッジ(Edge)、明るさ、焦点(Focus)、オブジェクトの配置などを利用する方法があり、このような方法を通じて作られた空間情報を利用して、原本映像の各ピクセルイメージを左右方向に新たに配置して立体映像を作るようになる。

すなわち、立体映像変換装置１００は、図７(ａ)のような入力映像を各々のピクセル別にデプスマップ情報に応じて加算したX軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルが図７(ｂ)のような左側視野用イメージになるようにする。また、立体映像変換装置１００は、図７(ａ)のような入力映像を各々のピクセル別にデプスマップ情報に応じて減算したX軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルが図７(ｃ)のような右側視野用イメージになるようにする。

図８は、本発明の一実施形態による２Ｄイメージの字を左側視野用イメージと右側視野用イメージに変換した場合の例示図である。

図８に示したように、隣接ピクセルの間のデプスマップ情報の変化が大きい映像の場合、例えば、字幕がたくさん含まれた映像を立体映像に変換する場合、字幕の原形を保存して立体感を表現する。もし、字幕を含んだ映像のように隣接ピクセルの間のデプスマップ情報値の変化が大きい映像をデプスマップ情報値による単純ピクセル移動のみで処理する場合、隣接ピクセルの間のデプスマップ情報の逆転現象が発生して字破れ現象が発生する。このような字破れ現象は、立体感を高めて変換するほど各ピクセルに対するデプスマップ情報値が大きくなり、一層ひどく発生するようになる。すなわち、立体映像変換装置１００は、字幕に入力される字の中で
のようなオブジェクトを含んだ入力映像を各々のピクセル別にデプスマップ情報に応じて加算したX軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルを図８(ａ)のような左側視野用イメージに変換することができる。また、立体映像変換装置１００は、字幕に入力される字の中で
のようなオブジェクトを含んだ入力映像を各々のピクセル別にデプスマップ情報に応じて減算したX軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルを図８(ｂ)のような右側視野用イメージに変換することができる。

以上、本発明の一実施形態を構成するすべての構成要素が一つに結合されるか結合され動作することで説明したが、本発明は、必ずこのような実施形態に限定されるものではない。すなわち、本発明の目的範囲内であれば、そのすべての構成要素は一つ以上で選択的に結合して動作してもよい。また、そのすべての構成要素を各々一つの独立的なハードウェアで具現することができるが、各構成要素のその一部または全部を選択的に組み合わせて一つまたは複数個のハードウェアで組み合わされた一部または全部の機能を実行するプログラムモジュールを有するコンピュータプログラムとして具現してもよい。そのコンピュータプログラムを構成するコード及びコードセグメントは、本発明の技術分野の当業者により容易に推論される。このようなコンピュータプログラムは、コンピュータが読める保存媒体(Computer Readable Media)に保存されてコンピュータにより読み出されて実行されることで、本発明の実施形態を具現することができる。コンピュータプログラムの保存媒体としては、磁気記録媒体、光記録媒体、キャリアウエーブ媒体などが含まれる。

また、以上で記載した『含む』、『構成する』または『有する』などの用語は、特別に反対される記載がない限り、該当構成要素を内在可能なことを意味するもので、他の構成要素を除外するものではなく、他の構成要素をさらに含むことができると解釈される。技術的や科学的な用語を含んだ全ての用語は、特定しない限り、本発明が属する技術分野で通常の知識を有した者が一般的に理解できるものと同等の意味を有する。一般的に使用される辞典に定義されている用語は、関連技術の文脈上の意味と一致する意味を有するものと解釈し、本出願において明白に定義しない限り、理想的や過度に形式的な意味に解釈されない。

以上の説明は、本発明の技術思想を例示的に説明したことに過ぎず、本発明が属する技術の分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲内で、様々な置換、変形及び変更が可能であるので、上述した実施例及び添付された図面に限定されるものではない。本発明の保護範囲は、請求範囲により解釈され、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれることで解釈される。

以上のように、本発明は、２Ｄ映像が立体カメラで撮影した映像と類似な立体イメージにレンダリングさせるオクルージョン技術を提供する多様な分野に適用されて、２Ｄ映像のうち字幕のように隣接ピクセルの間のデプスマップ情報に変化が大きい映像を立体映像に変換するとき、字幕の該当字のようなオブジェクトの原形を保存しながら立体感が表現されるようにする効果を発生する有用な発明である。

＜クロスレファレンス＞
本特許出願は、２０１０年０６月０８日付で大韓民国に出願した特許出願番号第１０−２０１０−００５３９６３号に対してアメリカ特許法第１１９(ａ)条(３５ Ｕ.Ｓ.Ｃ§１１９(ａ)によって優先権を主張すれば、その全ての内容は参考文献として本特許出願に併合される。さらに、本特許出願は、アメリカ以外の国家に対しても上記と同一な理由で優先権を出張すれば、その全ての参考文献として本特許文献に併合される。

Claims (20)

1. 入力された映像データの各々のフレーム(Frame)内に存在する各々のピクセル(Pixel)別にデプスマップ(Depth Map)情報を推定するデプスマップ推定部と、
   前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用部と、
   前記移動によって前記フレーム内に空ピクセルが発生する場合、前記空ピクセルの隣接ピクセルに加重値を適用して前記空ピクセル内に補間(Interpolation)ピクセルを形成させる立体映像補間部と、
   前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリング(Rendering)されるようにする立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置。
2. 前記立体映像補間部は、前記空ピクセルが一個である場合、前記空ピクセルが隣接ピクセルの平均値を有するように加重値を適用することを特徴とする請求項１に記載のデプスマップ情報を利用した立体映像変換装置。
3. 前記立体映像補間部は、前記空ピクセルの隣接ピクセルである左側隣接ピクセルと右側隣接ピクセルに同一定数を掛けた後、前記同一定数が掛けられた前記左側隣接ピクセルと前記右側隣接ピクセルを加算した値で前記補間ピクセルを形成することを特徴とする請求項２に記載のデプスマップ情報を利用した立体映像変換装置。
4. 前記立体映像補間部は、前記空ピクセルが複数個の空ピクセルグループである場合、前記空ピクセルグループの中で補間しようとする特定の空ピクセルと隣接ピクセルとの距離に比例する定数を前記加重値に適用することを特徴とする請求項１に記載のデプスマップ情報を利用した立体映像変換装置。
5. 前記立体映像補間部は、前記空ピクセルグループと隣接した最左側隣接ピクセルと最右側隣接ピクセルとの距離に比例した定数を掛けた後、前記距離に比例した定数が掛けられた前記最左側隣接ピクセルと前記最右側隣接ピクセルを加算した値で前記補間ピクセルを形成することを特徴とする請求項４に記載のデプスマップ情報を利用した立体映像変換装置。
6. 前記デプスマップ適用部は、前記各々のピクセル別に前記デプスマップ情報に応じて加算または減算して前記左側視野用イメージ及び前記右側視野用イメージがレンダリングされるようにすることを特徴とする請求項１に記載のデプスマップ情報を利用した立体映像変換装置。
7. 前記デプスマップ適用部は、前記各々のピクセル別に前記デプスマップ情報に応じて加算したX軸ピクセル位置に前記各々のピクセルを移動させて、前記加算されたピクセルが前記左側視野用イメージになるようにすることを特徴とする請求項６に記載のデプスマップ情報を利用した立体映像変換装置。
8. 前記デプスマップ適用部は、前記フレーム内にX軸座標の終点であるX_ｎのピクセル位置から開始点であるX_０のピクセル位置方向に前記デプスマップ情報を順次適用して前記左側視野用イメージになるようにすることを特徴とする請求項７に記載のデプスマップ情報を利用した立体映像変換装置。
9. 前記デプスマップ適用部は、前記各々のピクセル別に前記デプスマップ情報に応じて減算したX軸ピクセル位置に前記各々のピクセルを移動させて、前記減算されたピクセルが前記右側視野用イメージになるようにすることを特徴とする請求項６に記載のデプスマップ情報を利用した立体映像変換装置。
10. 前記デプスマップ適用部は、前記フレーム内にX軸座標の開始点であるX_０のピクセル位置から終点であるX_ｎのピクセル位置方向に前記デプスマップ情報を順次適用して前記右側視野用イメージになるようにすることを特徴とする請求項９に記載のデプスマップ情報を利用した立体映像変換装置。
11. 前記デプスマップ推定部は、前記各々のフレームを分析して画面の傾き、オブジェクトの影、画面焦点及びオブジェクトパターンの中の少なくとも一つ以上の情報を利用して前記デプスマップ情報を推定することを特徴とする請求項１に記載のデプスマップ情報を利用した立体映像変換装置。
12. 前記デプスマップ適用部は、前記各々のフレームの中で現在フレームと、以前または未来フレームである参照フレームとの比較を通じて動きが推定されるオブジェクトを認識し、前記オブジェクトに該当するピクセルを前記デプスマップ情報に応じてX軸方向に移動させることを特徴とする請求項１に記載のデプスマップ情報を利用した立体映像変換装置。
13. 前記各々のピクセルは、Ｒ、Ｇ、Ｂサブピクセルを含むことを特徴とする請求項１に記載のデプスマップ情報を利用した立体映像変換装置。
14. 入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ推定部と、
    前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用部と、
    前記移動による左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置 。
15. 入力された映像データの各々のフレーム(Frame)内に存在する各々のピクセル(Pixel)別にデプスマップ(Depth Map)情報を推定するデプスマップ堆定ステップと、
    各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用ステップと、
    前記移動によって前記フレーム内に空ピクセルが発生する場合、前記空ピクセルの隣接ピクセルに加重値を適用して前記空ピクセル内に補間(Interpolation)ピクセルが形成されるようにする立体映像補間ステップと、
    前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリング(Rendering)されるようにする立体映像レンダリング処理ステップと、を含むことを特徴とするデプスマップ情報を利用した立体映像変換方法。
16. 前記立体映像補間ステップは、前記空ピクセルが一個である場合、前記空ピクセルの隣接ピクセルである左側隣接ピクセルと右側隣接ピクセルに同一定数を掛けた後、前記同一定数が掛けられた前記左側隣接ピクセルと前記右側隣接ピクセルを加算した値で前記補間ピクセルを形成するステップを含むことを特徴とする請求項１５に記載のデプスマップ情報を利用した立体映像変換方法。
17. 前記立体映像補間段階は、前記空ピクセルが複数個の空ピクセルグループである場合、前記空ピクセルグループと隣接した最左側隣接ピクセルと最右側隣接ピクセルとの距離に比例した定数を掛けた後、前記距離に比例した定数が掛けられた前記最左側隣接ピクセルと前記最右側隣接ピクセルを加算した値で前記補間ピクセルを形成するステップを含むことを特徴とする請求項１６に記載のデプスマップ情報を利用した立体映像変換方法。
18. 前記デプスマップ適用ステップは、前記各々のピクセル別に前記デプスマップ情報に応じて加算したX軸ピクセル位置に前記各々のピクセルを移動させるが、前記フレーム内にX軸座標の終点であるX_ｎのピクセル位置から開始点であるX_０のピクセル位置方向に前記デプスマップ情報を順次適用するステップを含むことを特徴とする請求項１５に記載のデプスマップ情報を利用した立体映像変換方法。
19. 前記デプスマップ適用ステップは、前記各々のピクセル別に前記デプスマップ情報に応じて減算したX軸ピクセル位置に前記各々のピクセルを移動させるが、前記フレーム内にX軸座標の開始点であるX_０のピクセル位置から終点であるX_ｎのピクセル位置方向に前記デプスマップ情報を順次適用するステップを含むことを特徴とする請求項１５に記載のデプスマップ情報を利用した立体映像変換方法。
20. 入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ堆定ステップと、
    前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用ステップと、
    前記移動による左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理ステップと、を含むことを特徴とするデプスマップ情報を利用した立体映像変換方法。