JP2005235211A

JP2005235211A - 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置

Info

Publication number: JP2005235211A
Application number: JP2005039512A
Authority: JP
Inventors: Tae-Hyeun Ha; 泰鉉河
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2004-02-20
Filing date: 2005-02-16
Publication date: 2005-09-02
Also published as: US20050185048A1; KR100517517B1; KR20050082764A

Abstract

【課題】中間時点の画像合成方法及びそれを適用した３Ｄディスプレイ装置を提供する。
【解決手段】左画像及び右画像の中間時点で仮想画像領域を設定する過程、仮想画像を一定ブロック単位に分割する過程、分割された任意のブロックの基準座標を中心に左画像及び右画像内のブロックをピクセル単位で左右対称的に移動して左右ＤＶを推定する過程、推定された左右ＤＶが指定する左右画像のピクセル値で中間画像を生成する過程を含む。
【選択図】図４

Description

本発明は、中間時点の画像合成技法に係り、特に、対称的な変移推定を利用した中間時点の画像合成方法及びその装置に関する。

一般的に、人間が物体を立体的に見られるのは、両眼の視差によることであって、両眼は、それぞれ異なる時点の画像を観測し、人間の脳は、この２つのステレオ画像の差を合成して３次元の立体物体を認識する。これまで、このような人間視覚システム（ＨＶＳ：ＨｕｍａｎＶｉｓｕａｌＳｙｓｔｅｍ）を摸倣して多様な形態の両眼式３次元ディスプレイシステムが具現されてきた。しかし、このようなステレオ両眼方式は、時点が２眼に制限されるため、観察者が制限された視域を外れるか、または焦点が合わない場合には、立体感が感じられず、また、目の疲れ及び目眩を感じるため、実質的な応用が制限されている。したがって、このような既存のステレオ方式の短所を解決するための接近方法として、色々な形態の多視点ステレオ３Ｄディスプレイシステムについての活発な研究が進められてきた。このようなシステムは、多眼式立体カメラを通じて多視点の画像獲得とディスプレイとがなされるため、時点の数が増加するにつれて視域が拡大し、さらに自然な３Ｄディスプレイが可能である。しかし、時点の数が増加するにつれて多時点の画像データも同時に増加するため、リアルタイムの画像処理プロセッサー及び超高速、広域の伝送チャンネルが要求される。最近、このような問題点を解決するための新たな接近方法として、制限された数のステレオ画像のみを利用して数個の任意時点のステレオ画像をデジタル的に合成する中間時点の画像合成（ＩｎｔｅｒｍｅｄｉａｔｅＶｉｄｅｏＲｅｃｏｎｓｔｒｕｃｔｉｏｎ：以下、ＩＶＲという）技法が研究開発されている。このようなＩＶＲ技法は、制限されたステレオ画像から任意の多視点ステレオ画像をデジタル的に合成するため、既存の３次元ディスプレイシステムの問題点を解決すると同時に、視域が拡大した自然な３次元立体ディスプレイの具現可能性を提示している。

このようなＩＶＲを具現する代表的な方法のうち一つは、ＭＰＥＧ１／２の動き推定と動き補償とを利用するものであって、何れか一時点の画像と隣接した時点の画像とを対象として時点間の変移を推定した後、その推定された変移値のうち中間変移値に該当する位置に新たな画像を合成することである。一般的に、ＩＶＲで変移推定（ＤｉｓｐａｒｉｔｙＥｓｔｉｍａｔｉｏｎ：ＤＥ）は、ピクセル基盤ＤＥとブロック基盤ＤＥとに区分される。

図１は、ブロック基盤ＤＥによるＩＶＲの一実施例である。

まず、左画像をＮ×Ｎ個の均一なブロックに分割する。次いで、左画像内の各ブロックについての最も類似したブロックをＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）やＭＡＤ（ＭｅａｎｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を利用して右画像で推定する。このとき、基準ブロックと推定されたブロックとの距離を変移ベクトル（ＤｉｓｐａｒｉｔｙＶｅｃｔｏｒ：ＤＶ）と定義する。ＤＶは、一般的に、基準画像内の全てのピクセルについて別途に与えられることもある。

したがって、左画像の各ピクセルと、その左画像の各ピクセルとにマッチングされる右画像のピクセルとの平均値で中間画像を生成する。すなわち、中間画像のピクセルは、式（１）のように表すことができる。

ここで、Ｉ_ｉは、中間画像のピクセル値であり、Ｉ_ｌは、左画像のピクセル値であり、Ｉ_ｒは、右画像のピクセル値である。

しかし、従来のブロック基盤ＤＥは、推定される画像の横軸のピクセル数ほどピクセル単位で移動して検索せねばならず、左画像と右画像との間の隠された領域のために、図２に示されたように、中間画像でホール（黒色ブロックで表示される）が発生するという問題点がある。
韓国特許公開第２００３−０７６９０４号公報欧州特許公開第１，０８７，３３７Ａ１号公報韓国特許公開第２００２−０４１２７７号公報韓国特許公開第２００３−０３４２７４号公報米国特許第６，５７１，０２４号明細書

本発明が解決しようとする技術的課題は、仮想の中間画像を基準として左画像及び右画像を参照してＩＶＲを具現するＩＶＲ方法及びその装置を提供することである。

前記課題を解決するために、本発明は、ＩＶＲ方法において、（ａ）左画像及び右画像の中間時点で仮想画像領域を設定する過程と、（ｂ）前記仮想画像を一定ブロック単位に分割する過程と、（ｃ）前記分割された任意のブロックの基準座標を中心に、左画像及び右画像内のブロックをピクセル単位で左右対称的に移動して左右ＤＶを推定する過程と、（ｄ）前記推定された左右ＤＶが指定する左右画像のピクセル値で中間画像を生成する過程とを含むことを特徴とする。

前記他の課題を解決するために、本発明は、３Ｄディスプレイシステムにおいて、左画像と右画像とに区分されるステレオ画像を入力するステレオ画像入力手段と、前記ステレオ画像入力部から出力される左画像と右画像との中間時点に仮想画像を設定し、その仮想画像を基準として左画像と右画像とを対称的に対称させて中間画像を生成するＩＶＲ手段とを含み、前記ＩＶＲ手段は、左画像と右画像とに区分されるステレオ画像をフレーム単位で保存するバッファ部と、前記バッファ部に保存された左画像及び右画像の中間時点で仮想画像領域を設定し、その仮想画像を一定ブロック単位に分割する仮想画像処理部と、前記仮想画像処理部で分割された任意ブロックの基準座標を中心に、前記バッファ部に保存された左画像及び右画像内のブロックをピクセル単位で左右対称的に移動してＤＶを推定するＤＶ処理部と、前記ＤＶ推定部で推定されたＤＶが指定する左右画像のピクセル値で中間画像を生成する中間画像生成部とを含むことを特徴とする。

本発明によれば、仮想の中間画像を基準として左右画像を全て参照して対称的なＤＥを行うことによって、従来のＩＶＲによるＤＥの複雑度を低め、既存のＤＥから発生したホールを防止しうる。

以下、添付された図面を参照して本発明の望ましい実施例を説明する。

図３は、本発明による対称的なＤＥを利用したＩＶＲ方法のフローチャートである。図４に示された対称的なＤＥによるＩＶＲを生成する概念図を参照として説明する。

まず、左画像と右画像とに区分されるステレオ画像をフレーム単位で保存する。

次いで、左画像及び右画像の中間時点で仮想画像領域を設定する（３１０）。

次いで、仮想画像領域を一定ブロック単位に分割する（３２０）。

次いで、分割された任意のブロックの基準座標を中心に、左画像及び右画像内のブロックをピクセル単位で左右対称的に移動してＤＶを推定する（３３０）。このとき、ＤＶは、仮想画像内の基準ブロックと左右画像の探索領域内の全ての参照ブロックとの間のＳＡＤ値を計算した後、最小ＳＡＤ値を有するブロックに対する空間的な距離と決定される。したがって、ＤＶは、仮想の中間画像のブロックを基準として、中間画像のブロックと対称的にマッチングされた左右画像のブロック間の距離である。ＤＶ推定を数式で説明すると、次の通りである。まず、ＳＡＤは、式（２）のように計算される。

ここで、Ｉ_ｌ及びＩ_ｒは、それぞれ左画像のピクセル値と右画像のピクセル値とを表し、（ｉ,ｊ）は、ピクセルの空間座標を表す変数であり、（ｘ,ｙ）は、整合がなされる２つのブロック間の空間的な距離差を表す変数である。（ｋ,ｌ）は、Ｎ_１×Ｎ_２個のピクセルよりなる二つのブロックの空間座標を表す変数であり、Ｎ_１及びＮ_２は、それぞれ２つの整合ブロックの水平及び垂直サイズを表す。

式（３）のように推定領域内で最小ＳＡＤ値を有するブロックについてのＤＶを求める。

ここで、Ｓは、ＤＥのための探索範囲を表し、（ｘ_ｍ,ｙ_ｍ）は、最小ＳＡＤ値を有するブロックについてのＤＶを表す。このとき、ＩＶＲでは、画像入力装置の構造上、水平方向の変移は存在するが、垂直方向の変移はほとんど存在しないため、垂直成分、すなわち、ｙ値は０と設定するか、または変移が存在すると仮定した場合、±１〜±２ほどと設定する。

結局、仮想画像のブロックを基準として左画像及び右画像内にマッチングされるブロックを推定する。

次いで、推定された左右ＤＶ（−ＤＶ,＋ＤＶ）が指す左右画像のピクセル値で中間画像を生成する（３４０）。すなわち、式（４）に示されたように、左画像及び右画像の中間時点で仮想画像を設定する。その仮想画像を基準として左画像及び右画像に向かう左右ＤＶが与えられれば、その左右ＤＶが指す左画像及び右画像のピクセル平均値で中間画像を生成する。

ここで、Ｉ_ｉは、中間画像のピクセル値であり、Ｉ_ｌは、左画像のピクセル値であり、Ｉ_ｒは、右画像のピクセル値であり、ＤＶ（ｘ,ｙ）は、整合がなされる二つのブロック間の空間的な距離差を表す変数である。

図５は、本発明のＩＶＲ方法を適用して再構成された画像である。図５を参照するに、ステレオで入力される左画像と右画像との間で対称的なＤＥを実行して中間画像を再構成する。

図６は、本発明による３Ｄディスプレイシステムの全体ブロック図である。

ステレオ画像入力部６１０は、左画像と右画像とに区分されるステレオ画像を入力する。

ＩＶＲ部６２０は、前記ステレオ画像入力部から出力される左画像と右画像との中間時点に仮想画像を設定し、その仮想画像を基準として左画像と右画像とを対称的に参照して中間画像を生成する。

ディスプレイ部６３０は、ＩＶＲ部６２０で生成される画像をＣＲＴでディスプレイする。

図７は、図６のＩＶＲ部の詳細図である。

バッファ７１０は、左画像と右画像とに区分されるステレオ画像をフレーム単位で保存する。

仮想画像処理部７３０は、バッファ部７１０に保存された左画像及び右画像の中間時点で仮想画像領域を設定し、その仮想画像を一定ブロック単位に分割する。

ＤＶ推定部７２０は、仮想画像処理部７３０で分割された任意ブロックの基準座標を中心に、バッファ部７１０に保存された左画像及び右画像内のブロックをピクセル単位で左右対称的に移動して左右ＤＶを推定する。

中間画像生成部７４０は、ＤＶ推定部７２０で推定された左右ＤＶが指定する左右画像のピクセル平均値で中間画像を生成する。

本発明は、前述した実施例に限定されず、本発明の思想内で当業者による変形が可能である。

また、本発明は、コンピュータ可読記録媒体にコンピュータ可読コードとして具現できる。コンピュータ可読記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、ハードディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、光データ保存装置があり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードとして保存されかつ実行されうる。

本発明は、対称的なＤＥを利用したＩＶＲ方法及び装置に係り、一般的に、３Ｄディスプレイ装置に適用できる。

ブロック基盤ＤＥによるＩＶＲの一実施例を示す図である。従来のＤＥによって再構成された中間画像信号を示す図である。本発明による対称的なＤＥを利用したＩＶＲ方法を示すフローチャートである。対称的なＤＥによるＩＶＲを生成する概念図である。本発明のＩＶＲ方法を適用して再構成された画像を示す図である。本発明によるＩＶＲ装置を示すブロック図である。図６のＩＶＲ部の詳細図である。

符号の説明

６１０ステレオ画像入力部
６２０ＩＶＲ部
６３０ディスプレイ部
７１０バッファ部
７２０ＤＶ推定部
７３０仮想画像処理部
７４０中間画像生成部

Claims

中間時点の画像合成方法において、
（ａ）左画像及び右画像の中間時点で仮想画像領域を設定する過程と、
（ｂ）前記仮想画像を一定ブロック単位に分割する過程と、
（ｃ）前記分割された任意のブロックの基準座標を中心に左画像及び右画像内のブロックをピクセル単位に左右対称的に移動して、左右変移ベクトルを推定する過程と、
（ｄ）前記推定された左右変移ベクトルが指定する左右画像のピクセル値で中間画像を生成する過程とを含む中間時点の画像合成方法。
前記（ｄ）過程で、中間画像のピクセル値は、左画像及び右画像の中間時点で仮想画像を設定し、その仮想画像を基準として左画像及び右画像に向かう左右変移ベクトルを推定して、その左右変移ベクトルが指定する左右画像のピクセル平均値として生成されることを特徴とする請求項１に記載の中間時点の画像合成方法。
前記（ｃ）過程は、
（ｃ−１）前記仮想画像内の基準ブロックと左右画像の参照ブロックとの間のＳＡＤ値を計算する過程と、
（ｃ−２）前記過程で計算されたＳＡＤ値のうち最小値を有するＳＡＤを変移ベクトルと決定する過程とを含むことを特徴とする請求項１に記載の中間時点の画像合成方法。
前記（ｃ−１）過程は、

であり、
ここで、Ｉ_ｌ及びＩ_ｒは、それぞれ左画像のピクセル値と右画像のピクセル値とを表し、（ｉ,ｊ）は、ピクセルの空間座標を表す変数であり、（ｘ,ｙ）は、整合がなされる２つのブロック間の空間的な距離差を表す変数であり、（ｋ,ｌ）は、Ｎ_１×Ｎ_２個のピクセルよりなる二つのブロックの空間座標を表す変数であり、Ｎ_１及びＮ_２は、それぞれ２つの整合ブロックの水平及び垂直サイズを表すものであることを特徴とする請求項３に記載の中間時点の画像合成方法。
前記（ｃ−２）は、

であり、
ここで、Ｓは、変移推定のための探索範囲を表し、（ｘ_ｍ,ｙ_ｍ）は、最小のＳＡＤ値を有するブロックに対する変移ベクトルであることを特徴とする請求項３に記載の中間時点の画像合成方法。
前記過程で補間されるフレームの画素値は、

であり、
ここで、Ｉ_ｉは、中間画像のピクセルであり、Ｉ_ｌは、左画像のピクセルであり、Ｉ_ｒは、右画像のピクセルであり、ＤＶ（ｘ,ｙ）は、整合がなされる左右ブロック間の空間的な距離差を表す変数であり、ＤＶは、変移ベクトルであることを特徴とする請求項１に記載の中間時点の画像合成方法。
請求項１ないし４に記載の中間時点の画像合成方法をコンピュータで実行させるためのプログラムを記録したコンピュータ可読記録媒体。
３Ｄディスプレイシステムにおいて、
左画像と右画像とに区分されるステレオ画像を入力するステレオ画像入力手段と、
前記ステレオ画像入力部から出力される左画像と右画像との中間時点に仮想画像を設定し、その仮想画像を基準として左画像と右画像とを対称的にマッチングさせて中間画像を生成するＩＶＲ手段とを含む３Ｄディスプレイシステム。
前記ＩＶＲ手段は、
左画像と右画像とに区分されるステレオ画像をフレーム単位で保存するバッファ部と、
前記バッファ部に保存された左画像及び右画像の中間時点で仮想画像領域を設定し、その仮想画像を一定ブロック単位に分割する仮想画像処理部と、
前記仮想画像処理部で分割された任意ブロックの基準座標を中心に、前記バッファ部に保存された左画像及び右画像内のブロックをピクセル単位で左右に対称的に移動して変移ベクトルを推定する変移ベクトル推定部と、
前記変移ベクトル推定部で推定された変移ベクトルが指定する左右画像のピクセル値で中間画像を生成する中間画像生成部とを含むことを特徴とする請求項８に記載の３Ｄディスプレイシステム。