JP2013534742A - デプスマップ情報を利用した立体映像変換方法及び装置 - Google Patents
デプスマップ情報を利用した立体映像変換方法及び装置 Download PDFInfo
- Publication number
- JP2013534742A JP2013534742A JP2013513099A JP2013513099A JP2013534742A JP 2013534742 A JP2013534742 A JP 2013534742A JP 2013513099 A JP2013513099 A JP 2013513099A JP 2013513099 A JP2013513099 A JP 2013513099A JP 2013534742 A JP2013534742 A JP 2013534742A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- depth map
- map information
- image
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims abstract description 60
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 230000033001 locomotion Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 abstract description 12
- 239000000470 constituent Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
本発明は、デプスマップ情報を利用した立体映像変換方法及び装置に関する。 本発明の一実施形態は、各々のフレーム(Frame)内に存在する各々のピクセル(Pixel)別にデプスマップ(Depth Map)情報を推定するデプスマップ推定部と、前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用部と、前記移動によって前記フレーム内に空いたピクセルが発生する場合、前記空いたピクセルの隣接ピクセルに加重値を適用して前記空いたピクセル内に補間(Interpolation)ピクセルが形成されるようにする立体映像補間部と、前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリング(Rendering)させる立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置を提供する。本発明の一実施形態によれば、2D映像のうち字幕のように隣接ピクセル間のデプスマップ情報に変化が大きい映像を立体映像に変換するとき、字幕の該当字のようなオブジェクトの原形を保存しながら立体感が現われるようにする効果がある。
【選択図】図1
【選択図】図1
Description
本発明は、デプスマップ情報を利用した立体映像方法及び装置に関し、より詳しくは、入力された2D映像コンテンツを立体映像に変換するとき、2D映像コンテンツに該当コンテンツに対するデプスマップ(Depth Map:距離画像)情報を適用して立体映像コンテンツを作ることにおいて、このときに発生するオクルージョン(Occlusion)現象を改善するため、空ピクセル情報を補間(Interpolation)処理して、立体カメラで撮影した映像と類似な立体イメージでレンダリング(Rendering)できるようにする立体映像変換方法及び装置に関する。
デジタル技術が高度に発展し、放送と通信の融合により放送媒体が多様化されることに従って、デジタル技術の特性を利用した放送関連付加サービスが新たに登場している。現在、TVのような映像サービスの発展方向は高画質と大画面に行っているが、現在までは2D映像コンテンツのみを提供するから現在の映像コンテンツを通じて視聴者は立体感を感じることができない。
これによって、漸進的に立体映像の必要性が高まっているが、今までは立体映像のコンテンツが極めて不足な実情である。立体映像処理技術は、次世代情報通信サービス分野の核心技術として、情報産業社会への発達に連れて技術開発競争が激烈な最尖端技術である。このような立体映像処理技術は、マルチメディア応用において高品質の映像サービスを提供するために必須的な要素であり、今日には情報通信分野だけではなく、放送、医療、教育、軍事、ゲーム及び仮想現実などその応用分野が非常に多様化されている。
したがって、2D映像コンテンツを立体映像コンテンツで提供する技術が必要な実情である。しかし、現在の技術では、2D映像コンテンツを立体映像コンテンツに変換する場合、 画面内のオブジェクトと背景イメージが調和を成すことができなくて長期間視聴時に視聴者の目の疲れ感を加重させて、視聴者が十分な立体感を感じられないようになる問題点がある。
したがって、本発明は上述したような従来技術の問題点を解決するためになされたもので、その目的は、2D映像が立体カメラで撮影した映像と類似な立体イメージでレンダリングされるようにするオクルージョン(Occlusion)技術を提供するためのデプスマップ情報を利用した立体映像変換方法及び装置を提供することにある。
前記目的を達成するための本発明の一実施形態は、各々のフレーム(Frame)内に存在する各々のピクセル(Pixel)別にデプスマップ(Depth Map)情報を推定するデプスマップ推定部と、前記各々のピクセルを前記デプスマップ情報ほど(に応じて)X軸方向に移動させるデプスマップ適用部と、前記移動によって前記フレーム内に空ピクセルが発生する場合、前記空ピクセルの隣接ピクセルに加重値を適用して前記空ピクセル内に補間(Interpolation)ピクセルが形成されるようにする立体映像補間部と、前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリング(Rendering)されるようにする立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置を提供する。
また、本発明の他の目的によれば、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ推定部と、前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用部と、前記移動による左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置を提供する。
また、本発明の他の目的によれば、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ堆定ステップと、前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用ステップと、前記移動によって前記フレーム内に空ピクセルが発生する場合、前記空ピクセルの隣接ピクセルに加重値を適用して前記空ピクセル内に補間ピクセルが形成されるようにする立体映像補間ステップと、前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理ステップと、を含むことを特徴とするデプスマップ情報を利用した立体映像変換方法を提供する。
また、本発明の他の目的によれば、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ堆定ステップと、前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用ステップと、前記移動による左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理ステップと、を含むことを特徴とするデプスマップ情報を利用した立体映像変換方法を提供する。
上述のように、本発明の一実施形態によれば、入力された2D映像コンテンツを立体映像コンテンツに変換するとき、2D映像コンテンツにデプスマップ情報を適用してデプスマップ情報適用による空ピクセルを補間処理することで、立体カメラで撮影した映像と類似な立体イメージがレンダリングされるようにする効果がある。
また、本発明の一実施形態によれば、2D映像のうち字幕のように隣接ピクセル間のデプスマップ情報に変化が大きい映像を立体映像に変換するとき、字幕の該当字のようなオブジェクトの原形を保存しながら立体感が現われるようにする効果がある。
以下、本発明の一部実施例を例示的な図面を通じて詳細に説明する。各図面の構成要素に参照符号を付与することにおいて、同一構成要素に対しては他の図面上に表示されてもできるだけ同一符号を付与する。また、本発明の説明において、関連の公知構成または機能に対する具体的な説明が本発明の要旨を不明にする恐れがあると判断される場合にはその詳細な説明は省略する。
また、本発明の構成要素の説明において、第1、第2、A、B、(a)、(b)などの用語を使うことができる。このような用語は、その構成要素を他の構成要素と区別するためもので、その用語により該当構成要素の本質や順番または手順などが限定されるものではない。ある構成要素が他の構成要素に『連結』、『結合』または『接続』されると記載した場合、その構成要素はその他の構成要素に直接的に連結されるか、または接続されることができ、各構成要素の間にまた他の構成要素が『連結』、『結合』または『接続』されることもできると理解しなければならない。
図1は、本発明の一実施形態による立体映像変換装置を概略的に示したブロック構成図である。
本発明の一実施形態による立体映像変換装置100は、デプスマップ推定部110と、デプスマップ適用部120と、立体映像補間部130と、立体映像レンダリング処理部140と、を含む。一方、本発明の一実施形態では、立体映像変換装置100がデプスマップ推定部110、デプスマップ適用部120、立体映像補間部130及び立体映像レンダリング処理部140のみを含むことで記載しているが、これは本発明の一実施形態の技術思想を例示的に説明したことに過ぎないことで、本発明の一実施形態が属する技術分野で通常の知識を有した者であれば、本発明の一実施形態の本質的な特性から脱しない範囲で立体映像変換装置100に含まれる構成要素を多様に修正及び変形して適用することが可能である。
本発明の一実施形態による立体映像変換装置100は、入力映像を立体映像に変換する装置である。すなわち、立体映像変換装置100は、放送局のような映像コンテンツ提供社から2D映像データの入力を受けてこれをディスプレーする前に立体映像に変換することができる装置である。ここで、立体映像変換装置100は、TV、モニターのようなディスプレー装置に搭載される形態で具現するか、セットトップボックス(Set-Top Box)のように別途の装置で具現してディスプレー装置と連動する形態で具現することができる。したがって、本発明では、立体映像変換装置100が入力映像を立体映像である左側視野用イメージと右側視野用イメージに変換することまでに記述し、以後ディスプレー装置で立体映像をステレオスコピック(Stereoscopic)方式またはオートステレオスコピック(Auto-Stereoscopic)方式でディスプレーすることに対しては特別に言及しない。
本発明で記載した立体映像は、大きく二つの観点で定義することができる。1.立体映像は、映像にデプスマップ情報を適用させて映像の一部が画面から突き出される感じをユーザが感じることができる映像である。2.立体映像は、ユーザに多様な視点を提供してそれからユーザが映像からリアリティーを感じることができる映像である。すなわち、本発明に記載された立体映像は、視聴者が視聴覚的立体感を感じられるようにすることで動感及びリアリティーを提供する映像を意味する。このような立体映像は、獲得方式、デプスインプレッション(Depth Impression)、ディスプレー方式などによって、両眼式、多眼式、IP(Integral Photography)、多視点(オムニ(Omni)、パノラマ)、ホログラムなどに分類することができる。また、このような立体映像を表現する方法では、大きく映像基盤表現法(Image-Based Representation)とメッシュ基盤表現法(Mesh-Based Representation)がある。
また、立体映像を表現する方式で、デプス映像基盤レンダリング(DIBR:Depth Image-Based Rendering)方式がある。DIBRは、関連された各ピクセルごとに深さや差角などの情報を有した参照映像を利用して他の視点でのフレームを新たに作り出す方式である。このようなDIBRは、3Dモデルの表現しにくくて複雑な形象を容易にレンダリングするだけではなく、一般的な映像フィルタリングのような信号処理方法の適用を可能とし、高品質の立体映像を生成することができる。このようなDIBRは、デプスカメラ及びマルチビューカメラを通じて獲得されるデプス映像とテクスチャ映像を利用する。
また、デプス映像は、3D空間上に位置するオブジェクトとそのオブジェクトを撮影するカメラとの間の距離を黒白の単位で示す映像である。このようなデプス映像は、デプスマップ情報とカメラパラメータを通じて3D復元技術または3Dワーピング(Warping)技術に利用される。また、デプス映像は、自由視点TVと3DTVに応用される。自由視点TVは、決まった一つの視点でのみ映像を鑑賞しないでユーザの選択によって任意の視点で映像を視聴することができるようにするTVである。3DTVは、既存2DTVにデプス映像を加えた映像を具現する。このような自由視点TVと3DTVでの柔らかい視点転換のためには、中間映像を生成する必要があり、そのためには正確なデプスマップ情報を推定しなければならない。一方、本発明でデプスマップ情報を推定する方法に対しては、デプスマップ推定部110を通じて詳しく説明する。
デプスマップ推定部110は、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定する。ここで、各々のピクセルは、R、G、Bサブピクセルを含む。また、入力された映像データは、2D映像データである。一方、デプスマップ推定部110は、デプスマップ情報を推定するための一般的な方式では、ステレオマッチング(Stereo Matching)アルゴリズムが利用することができる。ステレオマッチングアルゴリズムは、変異値を求めるために周辺映像で水平方向にのみ探索を行い、並列カメラ構成から得た映像または修正(Rectification)過程を経た映像のみを入力する方式である。本発明に記載されたデプスマップ情報は、デプスインプレッションを示す情報を意味し、Z−バッファー(Buffer)とも称する。
また、デプスマップ推定部110は、各々のフレームを分析して画面の傾き、オブジェクトの影、画面焦点及びオブジェクトパターンの中の少なくとも一つ以上の情報を利用してデプスマップ情報を推定する。例えば、デプスマップ推定部110は、フレーム内の傾きを利用する方式で、フレーム内の画面の下段に位置するオブジェクトが近くにあると判断し、フレーム内の画面の上段に位置するイメージは遠くにあると判断して、デプスマップ情報を推定することができる。また、デプスマップ推定部110は、オブジェクトの影を利用する方式で、フレーム内のオブジェクトの暗い部分は遠くにあると判断し、フレーム内のオブジェクトの明るい部分は近くにあると判断して、デプスマップ情報を推定することができる。すなわち、影は常にオブジェクトより後にある原理を利用した方式である。また、デプスマップ推定部110は、画面焦点を利用する方式で、鮮かな物体は前にあり、鮮明ではない物体は後にあると判断してデプスマップ情報を推定することができる。また、デプスマップ推定部110は、オブジェクトパターン(Pattern)を利用する方式で、同一類型のパターンが連続されて出る場合、パターンのサイズが大きいものが小さいものより前にあると判断してデプスマップ情報を推定することができる。
一方、本発明では、立体映像変換装置100がデプスマップ推定部110を通じて入力映像からデプスマップ情報を抽出することのみを記載しているが、これは本発明の一実施形態に対することで、必ずこれに限定されるものではない。すなわち、立体映像変換装置100が入力映像と共に別途のデプスマップ情報を外部から受信する場合、立体映像変換装置100は、デプスマップ推定部110を利用して入力映像からデプスマップ情報を抽出する必要なしに外部から受信したデプスマップ情報を利用することができる。
デプスマップ適用部120は、各々のピクセルをデプスマップ情報に応じてX軸方向に移動させる機能を実行する。デプスマップ適用部120は、各々のピクセルをデプスマップ情報に応じて加算または減算して左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする。デプスマップ適用部120は、各々のピクセル別にデプスマップ情報に応じて加算したX軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルが左側視野用イメージになるようにする。デプスマップ適用部120は、フレーム内にX軸座標の終点であるXnのピクセル位置から開始点であるX0のピクセル位置方向にデプスマップ情報を順次適用して左側視野用イメージになるようにする。
デプスマップ適用部120は、各々のピクセル別にデプスマップ情報に応じて減算したX軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルが右側視野用イメージになるようにする。デプスマップ適用部120は、フレーム内にX軸座標の開始点であるX0のピクセル位置から終点であるXnのピクセル位置方向にデプスマップ情報を順次適用して右側視野用イメージになるようにする。一方、デプスマップ適用部120は、各々のフレームの中で現在フレームと、以前または未来フレームである参照フレームとの比較を通じて動きが推定されるオブジェクトを認識し、オブジェクトに該当するピクセルをデプスマップ情報に応じてX軸方向に移動させる。ここで、デプスマップ適用部120は、フレーム内のオブジェクト及び背景の全てに対してデプスマップ情報を適用することが好ましいが、本発明の一実施形態の適用において、フレーム内の背景とオブジェクトとを分離してオブジェクトにのみデプスマップ情報を適用してもよい。
立体映像補間部130は、移動されたピクセルによってフレーム内に空ピクセルが発生する場合、空ピクセルの隣接ピクセルに既設定された加重値を適用して空ピクセル内に補間(Interpolation)ピクセルが形成させる機能を実行する。ここで、空ピクセルは、ピクセル情報が入力されなかったピクセルを意味する。立体映像補間部130は、空ピクセルが一個である場合、前記空ピクセルが隣接ピクセルの平均値を有するように加重値を適用する。立体映像補間部130は、空ピクセルの隣接ピクセルである左側隣接ピクセルと右側隣接ピクセルに同一定数を掛けた後、同一定数が掛けられた左側隣接ピクセルと右側隣接ピクセルを加算した値で補間ピクセルを形成する。立体映像補間部130は、空ピクセル410が複数個である空ピクセルグループ420の場合、空ピクセルグループ420の中で補間しようとする特定空ピクセルと隣接ピクセルの距離に比例する定数を加重値に適用する。立体映像補間部130は、空ピクセルグループ420と隣接した最左側隣接ピクセルと最右側隣接ピクセルとの距離に比例した定数を掛けた後、距離に比例した定数が掛けられた最左側隣接ピクセルと最右側隣接ピクセルとを加算した値で補間ピクセルを形成する。一方、立体映像レンダリング処理部140は、補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリングさせる機能を実行する。このような2D映像データに含まれた2Dイメージのピクセルを3Dイメージである左側視野用イメージと右側視野用イメージに変換するためにピクセルを移動させることをオクルージョン(Occlusion)という。
図2は、本発明の一実施形態によるデプスマップ情報を利用した立体映像変換方法を説明するためのフローチャートである。
立体映像変換装置100は、放送局のような映像コンテンツ提供社から2D映像データの入力を受ける。立体映像変換装置100のデプスマップ推定部110は、入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定する(ステップS210)。デプスマップ推定部110は、各々のフレームを分析して画面の傾き、オブジェクトの影、画面焦点及びオブジェクトパターンの中の少なくとも一つ以上の情報を利用してデプスマップ情報を推定する。
立体映像変換装置100のデプスマップ適用部120は、各々のピクセルをデプスマップ情報に応じてX軸方向に移動させる(ステップS220)。すなわち、立体映像変換装置100のデプスマップ適用部120は、各々のピクセル別にデプスマップ情報に応じて加算または減算して左側視野用イメージ及び右側視野用イメージをレンダリングさせる。より具体的に説明すると、立体映像変換装置100のデプスマップ適用部120は、各々のピクセル別にデプスマップ情報に応じて加算したX軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルが左側視野用イメージになるようにする。すなわち、立体映像変換装置100のデプスマップ適用部120は、フレーム内にX軸座標の終点であるXnのピクセル位置から開始点であるX0のピクセル位置方向にデプスマップ情報を順次適用して左側視野用イメージになるようにする。立体映像変換装置100のデプスマップ適用部120は、各々のピクセル別にデプスマップ情報に応じて減算したX軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルが右側視野用イメージになるようにする。また、立体映像変換装置100のデプスマップ適用部120は、フレーム内にX軸座標の開始点であるX0のピクセル位置から終点であるXnのピクセル位置方向にデプスマップ情報を順次適用して右側視野用イメージになるようにする。
立体映像変換装置100の立体映像補間部130は、移動されたピクセルによってフレーム内に空ピクセル410が発生する否かを確認する(ステップS230)。ステップS230の確認結果、空ピクセル410が発生する場合、立体映像変換装置100の立体映像補間部130は、空ピクセル410が一個であるか否かを確認する(ステップS240)。
ステップS240の確認結果、空ピクセル410が一個である場合、立体映像変換装置100の立体映像補間部130は、 前記空ピクセルが隣接ピクセルの平均値を有するように加重値を適用して空ピクセル内に補間ピクセルを形成する(ステップS250)。すなわち、立体映像変換装置100の立体映像補間部130は、空ピクセルの隣接ピクセルである左側隣接ピクセルと右側隣接ピクセルに同一定数を掛けた後、同一な数が掛けられた左側隣接ピクセルと右側隣接ピクセルを加算した値で補間ピクセルを形成する。
一方、ステップS240の確認結果、空ピクセル410が一つではない場合、立体映像変換装置100の立体映像補間部130は、空ピクセルが複数個の空ピクセルグループ420であると判断し、空ピクセルグループ420の中で補間しようとする特定の空ピクセルと隣接ピクセルとの距離に比例する定数を加重値に適用して空ピクセル内に補間ピクセルを形成する(ステップS260)。すなわち、立体映像変換装置100の立体映像補間部130は、空ピクセルグループ420と隣接した最左側隣接ピクセルと最右側隣接ピクセルとの距離に比例した定数を掛けた後、距離に比例した定数が掛けられた最左側隣接ピクセルと最右側隣接ピクセルとを加算した値で補間ピクセルを形成する。立体映像変換装置100の立体映像レンダリング処理部140は、補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージをレンダリングさせる(ステップS270)。
図2では、ステップS210乃至ステップSS270を順次に行うことで記載しているが、これは本発明の一実施形態の技術思想を例示的に説明したことに過ぎないで、本発明の一実施形態が属する技術分野で通常の知識を有した者であれば、本発明の一実施形態の本質的な特性から脱しない範囲で図2に記載された手順を変更して行うか、ステップS210乃至ステップS270の中で一つ以上のステップを並列的に行うことで、多様に修正及び変形して適用することが可能であるので、図2は、時計列的な手順に限定されるものではない。
上述のように、図2に記載された本発明の一実施形態によるデプスマップ情報を利用した立体映像変換方法は、プログラムで具現してコンピュータで読める記録媒体に記録することができる。本発明の一実施形態による立体映像エラー改善方法を具現するためのプログラムが記録されコンピュータが読める記録媒体は、コンピュータシステムにより読み出されるデータが保存されるすべての種類の記録装置を含む。このようなコンピュータが読める記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、光データ保存装置などがあり、キャリアウエーブ(例えば、インターネットを介した伝送)の形態で具現されるものも含む。また、コンピュータが読める記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータが読めるコードが保存され実行されてもよい。また、本発明の一実施形態を具現するための機能的な(Functional)プログラム、コード及びコードセグメントは、本発明の一実施形態が属する技術分野のプログラマーが容易に推論できる。
図3は、本発明の一実施形態によるデプスマップ適用による左側視野用イメージと右側視野用イメージの生成に対する例示図である。
デプスマップ適用部120は、各々のピクセルをデプスマップ情報に応じてX軸方向に移動させる。デプスマップ適用部120は、各々のピクセル別にデプスマップ情報に応じて加算または減算して左側視野用イメージ及び右側視野用イメージをレンダリングさせる。
デプスマップ適用部120は、各々のピクセル別にデプスマップ情報に応じて減算したX軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルが右側視野用イメージになるようにする。言い換えると、図3に示したように、立体映像変換装置100が入力映像である2Dイメージから抽出した各々のピクセルのデプスマップ情報を利用して立体イメージの右側視野用イメージを生成する方法で、入力映像のX軸値を該当ピクセルのデプスマップ情報に該当するほど(に応じて)左側に移して配置する。すなわち、図3に示したように、X軸の10番目のピクセルであるP10に対してデプスマップ情報が7であると仮定する場合、デプスマップ適用部120は、右側視野用イメージのために10番目のピクセルであるP10にデプスマップ情報である7を減算してP3のピクセル位置に移動させる。ここで、デプスマップ適用部120は、フレーム内にX軸座標の開始点であるX0のピクセル位置から終点であるXnのピクセル位置方向にデプスマップ情報を順次適用して右側視野用イメージになるようにする。すなわち、右側視野用イメージの場合、10、11番目のピクセルのデプスマップ情報が各々7の場合、10番目のピクセルは右側視野用イメージの3番目のピクセル位置に移動するようになり、11番目のピクセルはすぐ隣である4番のピクセル位置に移動するようになってピクセルの連続性が維持される。一方、このような場合、各々のピクセル位置とデプスマップ情報によって、隣接されたピクセルの中間にピクセルデータが存在しない空間である空ピクセル410が発生する。
デプスマップ適用部120は、各々のピクセル別にデプスマップ情報に応じて加算したX軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルが左側視野用イメージになるようにする。言い換えると、図3に示したように、立体映像変換装置100が入力映像である2Dイメージから抽出した各々のピクセルのデプスマップ情報を利用して立体イメージの左側視野用イメージを生成する方法で、入力映像のX軸値を該当ピクセルのデプスマップ情報に該当するほど(に応じて)右側に移して配置する。すなわち、図3に示したように、X軸の10番目のピクセルであるP10に対してデプスマップ情報が7であると仮定する場合、デプスマップ適用部120は、右側視野用イメージのために10番目のピクセルであるP10にデプスマップ情報である7を加算してP17のピクセル位置に移動させる。ここで、デプスマップ適用部120は、フレーム内にX軸座標の終点であるXnのピクセル位置から開始点であるX0のピクセル位置方向にデプスマップ情報を順次適用して左側視野用イメージになるようにする。すなわち、左側視野用イメージの場合、10、11番目のピクセルのデプスマップ情報が各々7の場合、10番目のピクセルは左側視野用イメージの17番目のピクセル位置に移動するようになり、11番目のピクセルはすぐ隣である18番のピクセル位置に移動するようになってピクセルの連続性が維持される。一方、このような場合、各々のピクセル位置とデプスマップ情報によって、隣接されたピクセルの中間にピクセルデータが存在しない空間である空ピクセル410が発生する。
図4は、本発明の一実施形態による空ピクセルと空ピクセルグループに対する例示図である。
図4に示したように、立体映像変換装置100が入力映像を右側視野用イメージに変換するとき、各々のピクセル別にデプスマップ情報に応じて減算したX軸ピクセル位置に各々のピクセルを移動させる過程で、隣接されたピクセルの中間にピクセルデータが存在しない空間である空ピクセル410が発生することがある。すなわち、図4に示したように、X軸の10番目のピクセルであるP10に対してデプスマップ情報を7と仮定し、11番目のピクセルであるP11に対してデプスマップ情報を6と仮定する場合、右側視野用イメージのために10番目のピクセルであるP10にデプスマップ情報である7を減算してP3のピクセル位置に移動させて、11番目のピクセルであるP11にデプスマップ情報である6を減算してP5のピクセル位置に移動させるようになるが、このような場合、P3とP5の間のP4にピクセルデータが存在しない空間である空ピクセル410が発生する。
このとき、立体映像変換装置100は、空ピクセルを補間するために立体映像補間部130を利用して移動されたピクセルによりフレーム内に空ピクセル410が発生する場合、空ピクセルの隣接ピクセルに既設定された加重値を適用して空ピクセル内に補間ピクセルを形成する。すなわち、P4のようにP3とP5の間の空ピクセル410が一個である場合、立体映像補間部130は、空ピクセル410が隣接ピクセルであるP3とP5の平均値を有するように加重値を適用してP4に補間ピクセルを形成する。より具体的に説明すると、立体映像補間部130は、空ピクセルP4の隣接ピクセルである左側隣接ピクセルP3と右側隣接ピクセルP5に同一定数0.5を掛けた後、同一定数が掛けられた左側隣接ピクセル(P3×0.5)と右側隣接ピクセル(P5×0.5)を加算した値で補間ピクセルを形成する。
上述の説明の中で、P4に含まれたR、G、Bサブピクセルを数学式で表現すれば数学式1のようである。
(数学式1)
R4=(R3×0.5)+(R5×0.5)
G4=(G3×0.5)+(G5×0.5)
B4=(B3×0.5)+(B5×0.5)
R4=(R3×0.5)+(R5×0.5)
G4=(G3×0.5)+(G5×0.5)
B4=(B3×0.5)+(B5×0.5)
一方、図4に示したように、X軸の11番目のピクセルであるP11に対してデプスマップ情報を6と仮定し、12番目のピクセルであるP12に対してデプスマップ情報を4と仮定する場合、右側視野用イメージのために11番目のピクセルであるP11にデプスマップ情報である6を減算してP5のピクセル位置に移動させて、12番目のピクセルであるP12にデプスマップ情報である4を減算してP8のピクセル位置に移動させるようになるが、このような場合、P5とP8の間にP6とP7のような複数個の空ピクセルである空ピクセルグループ420が発生する。
このとき、立体映像補間部130は、空ピクセルが複数個である空ピクセルグループ420の場合、空ピクセルグループ420の中で補間しようとする特定の空ピクセルであるP6と、隣接ピクセルであるP5とP8の距離に比例する定数である0.66と0.34を加重値に適用する。すなわち、立体映像補間部130は、空ピクセルグループ420と隣接した最左側隣接ピクセルであるP5と最右側隣接ピクセルであるP8の距離に比例した定数を掛けた後、距離に比例した定数である0.66と0.34が掛けられた最左側隣接ピクセル(P5×0.66)と最右側隣接ピクセル(P8×0.34)を加算した値で補間ピクセルを形成する。上述の方法で、P6に補間ピクセルが形成されると、P7は、隣接ピクセルであるP6とP8の中間値になるようにする定数を加重値に適用して補間ピクセルを形成する。より具体的に説明すると、立体映像補間部130は、空ピクセルP7の隣接ピクセルである左側隣接ピクセルP6と右側隣接ピクセルP8に同一定数(0.5)を掛けた後、同一定数が掛けられた左側隣接ピクセル(P6×0.5)と右側隣接ピクセル(P8×0.5)を加算した値で補間ピクセルを形成する。
上述の説明の中でP6に含まれたR、G、Bサブピクセルを数学式で表現すれば、数学式2のようである。
(数学式2)
R6=(R5×0.66)+(R8×0.34)
G6=(G5×0.66)+(G8×0.34)
B6=(B5×0.66)+(B8×0.34)
R6=(R5×0.66)+(R8×0.34)
G6=(G5×0.66)+(G8×0.34)
B6=(B5×0.66)+(B8×0.34)
一方、上述の説明の中で、P7に含まれたR、G、Bサブピクセルを数学式で表現すれば、数学式3のようである。但し、加重値は実施例であるだけで、最適化を通じて多様な定数を適用してもよい。すなわち、各々の数学式に適用された加重値は、本発明を具現するための例示に対する仮定であるだけで、実質的に本発明の実施過程では各状況によって最適化された加重値を適用することができる。
(数学式3)
R7=(R6×0.5)+(R8×0.5)
G7=(G6×0.5)+(G8×0.5)
B7=(B6×0.5)+(B8×0.5)
R7=(R6×0.5)+(R8×0.5)
G7=(G6×0.5)+(G8×0.5)
B7=(B6×0.5)+(B8×0.5)
上述の過程を通じてフレーム内に存在するオブジェクトは、デプスマップ情報別に仮想の右側視野用イメージのピクセルデータが存在しない空間である空ピクセルに補間ピクセルを形成することができる。すなわち、左側視野用イメージと右側視野用イメージを各々相違に処理するため、右側視野用イメージのプロセッシングの進行方向を原本映像の左側から右側方向、すなわち、X0からXnの方向に進行するようになり、このとき、デプスマップ情報値のカーソル移動距離が多いピクセルデータは、隣接したピクセルデータに上書きされて(Over Write)オブジェクトの右側面に対する仮想のイメージが作われるようになる。このとき、反対原理で左側面のイメージは縮小される。一方、左側視野用イメージを作るときには、右側視野用イメージのプロセッシング方向と反対(XnからX0への方向)に進行し、このような過程を経て各オブジェクトの左側面に仮想の左側面イメージが生成され、反対の原理で右側面イメージが縮小される。
図5は、本発明の一実施形態による左側視野用イメージと右側視野用イメージの生成方向に対する例示図である。
図5に示したように、フレームの解像度が800×480の場合、X軸を基準として、ピクセルは、P0,0からP799,0方向になり、Y軸を基準として、ピクセルは、P0,0からP0,479方向になる。すなわち、立体映像変換装置100が左側視野用イメージを生成するためには、フレーム内にX軸座標の終点であるP799,0のピクセル位置から開始点であるP0,0のピクセル位置方向にデプスマップ情報を順次適用する。一方、立体映像変換装置100が右側視野用イメージを生成するためには、フレーム内にX軸座標の開始点であるP0,0のピクセル位置から終点であるP799,0のピクセル位置方向にデプスマップ情報を順次適用する。一方、図5に示したように、X軸を基準として、P0,0からP799,0まで、またはP799,0からP0,0までデプスマップ情報を適用した後、P0,1からP799,1まで、またはP799,1からP0,1まで順次にデプスマップ情報を適用することができる。
図6は、本発明の一実施形態による2Dイメージを右側視野用イメージに変換した場合の映像の位置変化を示した例示図である。
図6に示したように、入力映像である2Dイメージが右側視野用イメージに変換されるとき、-◇-で表示された2Dイメージのグラフと-□-(黒塗りつぶしの□)で表示された右側視野用イメージグラフとの間の幅は、デプスマップ情報によって右側視野用イメージに該当する領域はグラフ幅が増加していて、その反対方向に該当する領域はグラフ幅が減少していることが分かる。
図6に示したように、隣接ピクセルの間のデプスマップ情報に変化が大きい映像の場合、例えば、字幕がたくさん含まれた映像を立体映像に変換する場合、字幕の原形を保存して立体感を表現する。もし、字幕を含んだ映像のように隣接ピクセルの間のデプスマップ情報値の変化が大きい映像をデプスマップ情報値による単純ピクセル移動のみで処理する場合、隣接ピクセルの間のデプスマップ情報の逆転現象が発生して字破れ現象が発生する。このような字破れ現象は、立体感を高めて変換するほど各ピクセルに対するデプスマップ情報値が大きくなって、一層にひどく発生するようになる。
図7は、本発明の一実施形態による2Dイメージのオブジェクトを左側視野用イメージと右側視野用イメージに変換した場合の例示図である。
図7に示したように、人の目で図7(a)のような立体図形を見るとき、左眼と右眼に見える映像は、図7(b)、(c)のように同一ではない。すなわち、左眼でオブジェクトを見るとき、図7(b)のように、オブジェクトの左側面が右側面よりたくさん見えて、右眼でオブジェクトを見るとき、図7(c)ように、オブジェクトの右側面が左側面よりたくさん見えるようになる。すなわち、2台のカメラを利用した立体撮影装置で、図7(a)のようなオブジェクトを撮影する場合、人の左右目に見える映像と同一な映像が撮影されることで、立体映像装置を通じて見るときに撮影されたオブジェクトの空間的な配置である立体感を感じることができるようになる。
しかし、一台のカメラで撮影された2D映像データを立体映像データに変換するときには、オブジェクトの空間情報が含まれていないので、原本映像が有しているさまざまな特徴を利用して仮想の空間情報を作る必要がある。このような2Dイメージから仮想の空間情報を抽出する方法には、映像のエッジ(Edge)、明るさ、焦点(Focus)、オブジェクトの配置などを利用する方法があり、このような方法を通じて作られた空間情報を利用して、原本映像の各ピクセルイメージを左右方向に新たに配置して立体映像を作るようになる。
すなわち、立体映像変換装置100は、図7(a)のような入力映像を各々のピクセル別にデプスマップ情報に応じて加算したX軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルが図7(b)のような左側視野用イメージになるようにする。また、立体映像変換装置100は、図7(a)のような入力映像を各々のピクセル別にデプスマップ情報に応じて減算したX軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルが図7(c)のような右側視野用イメージになるようにする。
図8は、本発明の一実施形態による2Dイメージの字を左側視野用イメージと右側視野用イメージに変換した場合の例示図である。
図8に示したように、隣接ピクセルの間のデプスマップ情報の変化が大きい映像の場合、例えば、字幕がたくさん含まれた映像を立体映像に変換する場合、字幕の原形を保存して立体感を表現する。もし、字幕を含んだ映像のように隣接ピクセルの間のデプスマップ情報値の変化が大きい映像をデプスマップ情報値による単純ピクセル移動のみで処理する場合、隣接ピクセルの間のデプスマップ情報の逆転現象が発生して字破れ現象が発生する。このような字破れ現象は、立体感を高めて変換するほど各ピクセルに対するデプスマップ情報値が大きくなり、一層ひどく発生するようになる。すなわち、立体映像変換装置100は、字幕に入力される字の中で
のようなオブジェクトを含んだ入力映像を各々のピクセル別にデプスマップ情報に応じて加算したX軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルを図8(a)のような左側視野用イメージに変換することができる。また、立体映像変換装置100は、字幕に入力される字の中で
のようなオブジェクトを含んだ入力映像を各々のピクセル別にデプスマップ情報に応じて減算したX軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルを図8(b)のような右側視野用イメージに変換することができる。
のようなオブジェクトを含んだ入力映像を各々のピクセル別にデプスマップ情報に応じて加算したX軸ピクセル位置に各々のピクセルを移動させて、加算されたピクセルを図8(a)のような左側視野用イメージに変換することができる。また、立体映像変換装置100は、字幕に入力される字の中で
のようなオブジェクトを含んだ入力映像を各々のピクセル別にデプスマップ情報に応じて減算したX軸ピクセル位置に各々のピクセルを移動させて、減算されたピクセルを図8(b)のような右側視野用イメージに変換することができる。
以上、本発明の一実施形態を構成するすべての構成要素が一つに結合されるか結合され動作することで説明したが、本発明は、必ずこのような実施形態に限定されるものではない。すなわち、本発明の目的範囲内であれば、そのすべての構成要素は一つ以上で選択的に結合して動作してもよい。また、そのすべての構成要素を各々一つの独立的なハードウェアで具現することができるが、各構成要素のその一部または全部を選択的に組み合わせて一つまたは複数個のハードウェアで組み合わされた一部または全部の機能を実行するプログラムモジュールを有するコンピュータプログラムとして具現してもよい。そのコンピュータプログラムを構成するコード及びコードセグメントは、本発明の技術分野の当業者により容易に推論される。このようなコンピュータプログラムは、コンピュータが読める保存媒体(Computer Readable Media)に保存されてコンピュータにより読み出されて実行されることで、本発明の実施形態を具現することができる。コンピュータプログラムの保存媒体としては、磁気記録媒体、光記録媒体、キャリアウエーブ媒体などが含まれる。
また、以上で記載した『含む』、『構成する』または『有する』などの用語は、特別に反対される記載がない限り、該当構成要素を内在可能なことを意味するもので、他の構成要素を除外するものではなく、他の構成要素をさらに含むことができると解釈される。技術的や科学的な用語を含んだ全ての用語は、特定しない限り、本発明が属する技術分野で通常の知識を有した者が一般的に理解できるものと同等の意味を有する。一般的に使用される辞典に定義されている用語は、関連技術の文脈上の意味と一致する意味を有するものと解釈し、本出願において明白に定義しない限り、理想的や過度に形式的な意味に解釈されない。
以上の説明は、本発明の技術思想を例示的に説明したことに過ぎず、本発明が属する技術の分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲内で、様々な置換、変形及び変更が可能であるので、上述した実施例及び添付された図面に限定されるものではない。本発明の保護範囲は、請求範囲により解釈され、それと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれることで解釈される。
以上のように、本発明は、2D映像が立体カメラで撮影した映像と類似な立体イメージにレンダリングさせるオクルージョン技術を提供する多様な分野に適用されて、2D映像のうち字幕のように隣接ピクセルの間のデプスマップ情報に変化が大きい映像を立体映像に変換するとき、字幕の該当字のようなオブジェクトの原形を保存しながら立体感が表現されるようにする効果を発生する有用な発明である。
<クロスレファレンス>
本特許出願は、2010年06月08日付で大韓民国に出願した特許出願番号第10−2010−0053963号に対してアメリカ特許法第119(a)条(35 U.S.C§119(a)によって優先権を主張すれば、その全ての内容は参考文献として本特許出願に併合される。さらに、本特許出願は、アメリカ以外の国家に対しても上記と同一な理由で優先権を出張すれば、その全ての参考文献として本特許文献に併合される。
本特許出願は、2010年06月08日付で大韓民国に出願した特許出願番号第10−2010−0053963号に対してアメリカ特許法第119(a)条(35 U.S.C§119(a)によって優先権を主張すれば、その全ての内容は参考文献として本特許出願に併合される。さらに、本特許出願は、アメリカ以外の国家に対しても上記と同一な理由で優先権を出張すれば、その全ての参考文献として本特許文献に併合される。
Claims (20)
- 入力された映像データの各々のフレーム(Frame)内に存在する各々のピクセル(Pixel)別にデプスマップ(Depth Map)情報を推定するデプスマップ推定部と、
前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用部と、
前記移動によって前記フレーム内に空ピクセルが発生する場合、前記空ピクセルの隣接ピクセルに加重値を適用して前記空ピクセル内に補間(Interpolation)ピクセルを形成させる立体映像補間部と、
前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリング(Rendering)されるようにする立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置。 - 前記立体映像補間部は、前記空ピクセルが一個である場合、前記空ピクセルが隣接ピクセルの平均値を有するように加重値を適用することを特徴とする請求項1に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記立体映像補間部は、前記空ピクセルの隣接ピクセルである左側隣接ピクセルと右側隣接ピクセルに同一定数を掛けた後、前記同一定数が掛けられた前記左側隣接ピクセルと前記右側隣接ピクセルを加算した値で前記補間ピクセルを形成することを特徴とする請求項2に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記立体映像補間部は、前記空ピクセルが複数個の空ピクセルグループである場合、前記空ピクセルグループの中で補間しようとする特定の空ピクセルと隣接ピクセルとの距離に比例する定数を前記加重値に適用することを特徴とする請求項1に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記立体映像補間部は、前記空ピクセルグループと隣接した最左側隣接ピクセルと最右側隣接ピクセルとの距離に比例した定数を掛けた後、前記距離に比例した定数が掛けられた前記最左側隣接ピクセルと前記最右側隣接ピクセルを加算した値で前記補間ピクセルを形成することを特徴とする請求項4に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記デプスマップ適用部は、前記各々のピクセル別に前記デプスマップ情報に応じて加算または減算して前記左側視野用イメージ及び前記右側視野用イメージがレンダリングされるようにすることを特徴とする請求項1に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記デプスマップ適用部は、前記各々のピクセル別に前記デプスマップ情報に応じて加算したX軸ピクセル位置に前記各々のピクセルを移動させて、前記加算されたピクセルが前記左側視野用イメージになるようにすることを特徴とする請求項6に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記デプスマップ適用部は、前記フレーム内にX軸座標の終点であるXnのピクセル位置から開始点であるX0のピクセル位置方向に前記デプスマップ情報を順次適用して前記左側視野用イメージになるようにすることを特徴とする請求項7に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記デプスマップ適用部は、前記各々のピクセル別に前記デプスマップ情報に応じて減算したX軸ピクセル位置に前記各々のピクセルを移動させて、前記減算されたピクセルが前記右側視野用イメージになるようにすることを特徴とする請求項6に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記デプスマップ適用部は、前記フレーム内にX軸座標の開始点であるX0のピクセル位置から終点であるXnのピクセル位置方向に前記デプスマップ情報を順次適用して前記右側視野用イメージになるようにすることを特徴とする請求項9に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記デプスマップ推定部は、前記各々のフレームを分析して画面の傾き、オブジェクトの影、画面焦点及びオブジェクトパターンの中の少なくとも一つ以上の情報を利用して前記デプスマップ情報を推定することを特徴とする請求項1に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記デプスマップ適用部は、前記各々のフレームの中で現在フレームと、以前または未来フレームである参照フレームとの比較を通じて動きが推定されるオブジェクトを認識し、前記オブジェクトに該当するピクセルを前記デプスマップ情報に応じてX軸方向に移動させることを特徴とする請求項1に記載のデプスマップ情報を利用した立体映像変換装置。
- 前記各々のピクセルは、R、G、Bサブピクセルを含むことを特徴とする請求項1に記載のデプスマップ情報を利用した立体映像変換装置。
- 入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ推定部と、
前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用部と、
前記移動による左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理部と、を含むことを特徴とするデプスマップ情報を利用した立体映像変換装置 。 - 入力された映像データの各々のフレーム(Frame)内に存在する各々のピクセル(Pixel)別にデプスマップ(Depth Map)情報を推定するデプスマップ堆定ステップと、
各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用ステップと、
前記移動によって前記フレーム内に空ピクセルが発生する場合、前記空ピクセルの隣接ピクセルに加重値を適用して前記空ピクセル内に補間(Interpolation)ピクセルが形成されるようにする立体映像補間ステップと、
前記補間ピクセルを適用した左側視野用イメージ及び右側視野用イメージがレンダリング(Rendering)されるようにする立体映像レンダリング処理ステップと、を含むことを特徴とするデプスマップ情報を利用した立体映像変換方法。 - 前記立体映像補間ステップは、前記空ピクセルが一個である場合、前記空ピクセルの隣接ピクセルである左側隣接ピクセルと右側隣接ピクセルに同一定数を掛けた後、前記同一定数が掛けられた前記左側隣接ピクセルと前記右側隣接ピクセルを加算した値で前記補間ピクセルを形成するステップを含むことを特徴とする請求項15に記載のデプスマップ情報を利用した立体映像変換方法。
- 前記立体映像補間段階は、前記空ピクセルが複数個の空ピクセルグループである場合、前記空ピクセルグループと隣接した最左側隣接ピクセルと最右側隣接ピクセルとの距離に比例した定数を掛けた後、前記距離に比例した定数が掛けられた前記最左側隣接ピクセルと前記最右側隣接ピクセルを加算した値で前記補間ピクセルを形成するステップを含むことを特徴とする請求項16に記載のデプスマップ情報を利用した立体映像変換方法。
- 前記デプスマップ適用ステップは、前記各々のピクセル別に前記デプスマップ情報に応じて加算したX軸ピクセル位置に前記各々のピクセルを移動させるが、前記フレーム内にX軸座標の終点であるXnのピクセル位置から開始点であるX0のピクセル位置方向に前記デプスマップ情報を順次適用するステップを含むことを特徴とする請求項15に記載のデプスマップ情報を利用した立体映像変換方法。
- 前記デプスマップ適用ステップは、前記各々のピクセル別に前記デプスマップ情報に応じて減算したX軸ピクセル位置に前記各々のピクセルを移動させるが、前記フレーム内にX軸座標の開始点であるX0のピクセル位置から終点であるXnのピクセル位置方向に前記デプスマップ情報を順次適用するステップを含むことを特徴とする請求項15に記載のデプスマップ情報を利用した立体映像変換方法。
- 入力された映像データの各々のフレーム内に存在する各々のピクセル別にデプスマップ情報を推定するデプスマップ堆定ステップと、
前記各々のピクセルを前記デプスマップ情報に応じてX軸方向に移動させるデプスマップ適用ステップと、
前記移動による左側視野用イメージ及び右側視野用イメージがレンダリングされるようにする立体映像レンダリング処理ステップと、を含むことを特徴とするデプスマップ情報を利用した立体映像変換方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2010-0053963 | 2010-06-08 | ||
KR1020100053963A KR101385514B1 (ko) | 2010-06-08 | 2010-06-08 | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 |
PCT/KR2011/002443 WO2011155697A2 (ko) | 2010-06-08 | 2011-04-07 | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013534742A true JP2013534742A (ja) | 2013-09-05 |
Family
ID=45098484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013513099A Pending JP2013534742A (ja) | 2010-06-08 | 2011-04-07 | デプスマップ情報を利用した立体映像変換方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20130069942A1 (ja) |
EP (1) | EP2582143A4 (ja) |
JP (1) | JP2013534742A (ja) |
KR (1) | KR101385514B1 (ja) |
CN (1) | CN103081476B (ja) |
WO (1) | WO2011155697A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101748637B1 (ko) | 2014-08-05 | 2017-06-20 | 한국전자통신연구원 | 깊이 맵 생성 장치 및 방법 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101332021B1 (ko) * | 2011-10-31 | 2013-11-25 | 전자부품연구원 | 깊이 지도 회전 방법 및 장치 |
KR101276346B1 (ko) * | 2011-10-31 | 2013-06-18 | 전자부품연구원 | 선택적 깊이 지도 회전 방법 및 장치 |
KR101319260B1 (ko) * | 2012-02-01 | 2013-10-18 | (주)리얼디스퀘어 | 영상 복원 장치 및 방법과 이를 이용한 영상 변환 장치 및 방법 |
WO2013115463A1 (ko) * | 2012-02-01 | 2013-08-08 | 에스케이플래닛 주식회사 | 영상 처리 장치 및 방법 |
CN102611908B (zh) * | 2012-03-19 | 2014-08-06 | 清华大学 | 一种反向重采样fpga装置 |
KR101706216B1 (ko) * | 2012-04-03 | 2017-02-13 | 한화테크윈 주식회사 | 고밀도 삼차원 영상 재구성 장치 및 방법 |
CN102761765B (zh) * | 2012-07-16 | 2014-08-20 | 清华大学 | 一种用于三维立体视频的深度快速插帧方法 |
US9544612B2 (en) * | 2012-10-04 | 2017-01-10 | Intel Corporation | Prediction parameter inheritance for 3D video coding |
US10257506B2 (en) | 2012-12-28 | 2019-04-09 | Samsung Electronics Co., Ltd. | Method of obtaining depth information and display apparatus |
CN105216306B (zh) * | 2014-05-30 | 2018-03-30 | 深圳创锐思科技有限公司 | 雕刻模型生成***及方法、雕刻模型3d打印***及方法 |
KR102341267B1 (ko) | 2015-05-04 | 2021-12-20 | 삼성전자주식회사 | 양안 시차 영상에 대한 렌더링 방법 및 장치 |
LT3356411T (lt) | 2015-10-02 | 2021-09-10 | F. Hoffmann-La Roche Ag | Bispecifiniai antikūnai, specifiniai pd1 ir tim3 |
CN108805921B (zh) * | 2018-04-09 | 2021-07-06 | 奥比中光科技集团股份有限公司 | 图像获取***及方法 |
US11582402B2 (en) * | 2018-06-07 | 2023-02-14 | Eys3D Microelectronics, Co. | Image processing device |
KR102093622B1 (ko) * | 2018-07-02 | 2020-03-27 | 경희대학교 산학협력단 | 깊이 카메라를 이용한 실시간 프로젝터 영상 보정 방법 및 장치 |
WO2020139533A1 (en) | 2018-12-26 | 2020-07-02 | Snap Inc. | Creation and user interactions with three-dimensional wallpaper on computing devices |
US11089282B2 (en) | 2019-05-23 | 2021-08-10 | Magic Leap, Inc. | Blended mode three dimensional display systems and methods |
CN110460831B (zh) * | 2019-08-22 | 2021-12-03 | 京东方科技集团股份有限公司 | 显示方法、装置、设备及计算机可读存储介质 |
US11039113B2 (en) * | 2019-09-30 | 2021-06-15 | Snap Inc. | Multi-dimensional rendering |
WO2021113482A1 (en) | 2019-12-06 | 2021-06-10 | Magic Leap, Inc. | Virtual, augmented, and mixed reality systems and methods |
CN117095134B (zh) * | 2023-10-18 | 2023-12-22 | 中科星图深海科技有限公司 | 一种三维海洋环境数据插值处理方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08186846A (ja) * | 1994-12-28 | 1996-07-16 | Sanyo Electric Co Ltd | 立体映像発生装置 |
JPH08289330A (ja) * | 1995-04-17 | 1996-11-01 | Sanyo Electric Co Ltd | 3次元映像変換方法 |
JPH09247711A (ja) * | 1996-03-12 | 1997-09-19 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
JPH1198533A (ja) * | 1997-09-24 | 1999-04-09 | Sanyo Electric Co Ltd | 2次元映像を3次元映像に変換する方法 |
JPH11275604A (ja) * | 1997-12-30 | 1999-10-08 | Samsung Electronics Co Ltd | 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法 |
JP2004220127A (ja) * | 2003-01-09 | 2004-08-05 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2006041811A (ja) * | 2004-07-26 | 2006-02-09 | Kddi Corp | 自由視点画像ストリーミング方式 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4698831B2 (ja) * | 1997-12-05 | 2011-06-08 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | 画像変換および符号化技術 |
JP3593466B2 (ja) * | 1999-01-21 | 2004-11-24 | 日本電信電話株式会社 | 仮想視点画像生成方法およびその装置 |
JP2000253422A (ja) * | 1999-03-03 | 2000-09-14 | Toshiba Corp | 2次元映像からの立体映像生成方法 |
JP2000261828A (ja) * | 1999-03-04 | 2000-09-22 | Toshiba Corp | 立体映像生成方法 |
JP2001359119A (ja) * | 2000-06-15 | 2001-12-26 | Toshiba Corp | 立体映像生成方法 |
JP4006601B2 (ja) * | 2004-03-29 | 2007-11-14 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
JP2008537250A (ja) * | 2005-04-19 | 2008-09-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 奥行き検知装置及び方法 |
CN101390131B (zh) * | 2006-02-27 | 2013-03-13 | 皇家飞利浦电子股份有限公司 | 呈现输出图像 |
CN101287142A (zh) * | 2008-05-16 | 2008-10-15 | 清华大学 | 基于双向跟踪和特征点修正的平面视频转立体视频的方法 |
CN101282492B (zh) * | 2008-05-23 | 2010-07-21 | 清华大学 | 三维影像显示深度调整方法 |
CN101610423B (zh) * | 2009-07-13 | 2010-09-08 | 清华大学 | 一种渲染图像的方法和装置 |
-
2010
- 2010-06-08 KR KR1020100053963A patent/KR101385514B1/ko active IP Right Grant
-
2011
- 2011-04-07 US US13/700,939 patent/US20130069942A1/en not_active Abandoned
- 2011-04-07 JP JP2013513099A patent/JP2013534742A/ja active Pending
- 2011-04-07 WO PCT/KR2011/002443 patent/WO2011155697A2/ko active Application Filing
- 2011-04-07 EP EP11792608.9A patent/EP2582143A4/en not_active Withdrawn
- 2011-04-07 CN CN201180028234.1A patent/CN103081476B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08186846A (ja) * | 1994-12-28 | 1996-07-16 | Sanyo Electric Co Ltd | 立体映像発生装置 |
JPH08289330A (ja) * | 1995-04-17 | 1996-11-01 | Sanyo Electric Co Ltd | 3次元映像変換方法 |
JPH09247711A (ja) * | 1996-03-12 | 1997-09-19 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
JPH1198533A (ja) * | 1997-09-24 | 1999-04-09 | Sanyo Electric Co Ltd | 2次元映像を3次元映像に変換する方法 |
JPH11275604A (ja) * | 1997-12-30 | 1999-10-08 | Samsung Electronics Co Ltd | 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法 |
JP2004220127A (ja) * | 2003-01-09 | 2004-08-05 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2006041811A (ja) * | 2004-07-26 | 2006-02-09 | Kddi Corp | 自由視点画像ストリーミング方式 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101748637B1 (ko) | 2014-08-05 | 2017-06-20 | 한국전자통신연구원 | 깊이 맵 생성 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
EP2582143A2 (en) | 2013-04-17 |
US20130069942A1 (en) | 2013-03-21 |
EP2582143A4 (en) | 2014-01-01 |
KR101385514B1 (ko) | 2014-04-16 |
WO2011155697A2 (ko) | 2011-12-15 |
CN103081476A (zh) | 2013-05-01 |
WO2011155697A3 (ko) | 2012-02-02 |
CN103081476B (zh) | 2016-08-10 |
KR20110134142A (ko) | 2011-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101385514B1 (ko) | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 | |
JP5750505B2 (ja) | 立体映像エラー改善方法及び装置 | |
KR101185870B1 (ko) | 3d 입체 영상 처리 장치 및 방법 | |
JP4762994B2 (ja) | 視差マップ | |
US8488869B2 (en) | Image processing method and apparatus | |
JP5406269B2 (ja) | 奥行き検知装置及び方法 | |
JP7036599B2 (ja) | 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法 | |
Muller et al. | Reliability-based generation and view synthesis in layered depth video | |
CN100565589C (zh) | 用于深度感知的装置和方法 | |
JP2013527646A5 (ja) | ||
KR101856805B1 (ko) | 화상 처리 장치 및 화상 처리 방법, 및 프로그램 | |
EP2569950B1 (en) | Comfort noise and film grain processing for 3 dimensional video | |
KR20110086079A (ko) | 입력 3차원 비디오 신호를 프로세싱하는 방법 및 시스템 | |
JPWO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
US10127714B1 (en) | Spherical three-dimensional video rendering for virtual reality | |
Schmeing et al. | Depth image based rendering: A faithful approach for the disocclusion problem | |
Ceulemans et al. | Efficient MRF-based disocclusion inpainting in multiview video | |
US20120170841A1 (en) | Image processing apparatus and method | |
CN104052990B (zh) | 一种基于融合深度线索的全自动二维转三维方法和装置 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
KR101323194B1 (ko) | 2차원 영상을 3차원으로 변환하는 장치 및 그 방법 | |
US8947507B2 (en) | Method of processing 3D images, and corresponding system including the formulation of missing pixels using windows of details from first and second views | |
Limbachiya | 2D to 3D video conversion | |
JPH1198527A (ja) | 2次元映像を3次元映像に変換する装置および方法 | |
KR101336955B1 (ko) | 다시점 영상 생성 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140331 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20141021 |