JP2005510922A - 二次元画像列からの立体画像列の生成 - Google Patents

二次元画像列からの立体画像列の生成 Download PDF

Info

Publication number
JP2005510922A
JP2005510922A JP2003548184A JP2003548184A JP2005510922A JP 2005510922 A JP2005510922 A JP 2005510922A JP 2003548184 A JP2003548184 A JP 2003548184A JP 2003548184 A JP2003548184 A JP 2003548184A JP 2005510922 A JP2005510922 A JP 2005510922A
Authority
JP
Japan
Prior art keywords
image
deformation
scene
screen
assigned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003548184A
Other languages
English (en)
Other versions
JP5020458B2 (ja
Inventor
ロルフ・ディーテル・ナスケ
Original Assignee
ティーディーヴィ テクノロジーズ コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ティーディーヴィ テクノロジーズ コーポレーション filed Critical ティーディーヴィ テクノロジーズ コーポレーション
Publication of JP2005510922A publication Critical patent/JP2005510922A/ja
Application granted granted Critical
Publication of JP5020458B2 publication Critical patent/JP5020458B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

二次元画像が場面のタイプに関して分析され、判定された場面のタイプに応じて該タイプに割当てられた変形が選択され、該変形によって二次元画像が変形され、少なくとも1つのビュー・チャネルへと送られることを特に特徴とする二次元画像列からなる三次元画像を生成する方法および装置が記載される。さらに、変形の新たなそれぞれの変形への継続的かつ中断がない遷移が達成される様々な遷移機能が定義される。

Description

本発明は、二次元画像列から三次元(3D)画像を生成する方法および装置に関する。
被写体を検査するため、特に医学および自然科学では三次元画像生成が利用されることが多い。一般的な消費者の分野向けにも特にテレビ画像で三次元再生が可能な様々な方法が開発されている。
その際、基本的に、画像が右目と左目用に交互に順次伝送されるか、または記憶媒体に記憶される画像の逐次伝送と、画像が2つの別のチャネルで搬送される並行伝送とに区別される。
従来のテレビジョン・システムと組み合わせた画像の逐次伝送の欠点は特に、それぞれの目ごとの画像繰返し速度が毎秒25画像に縮小されることである。それによって視聴者にとって不快なチラツキが生ずる。このような制約はそれぞれ狭い(左もしくは右の)チャネルを介した画像列の並行的な伝送の場合には確かに生じない。しかし、双方のチャネルを同期化した場合、同時に別個の2つのチャネルを受信し、処理しなければならない受信機が要求されるので問題が生ずることがある。このことは市販のシステムでは不可能である。
将来のテレビジョン・システムでは信号の伝送および処理は完全にデジタル式に行われることになる。この場合、各画像はデジタル化して伝送される個々の画素に分解される。必要な帯域幅を縮減するため、適宜の折衷方法が導入されるが、これにはステレオ伝送の場合に問題が生ずる。
ブロックコード化方式の場合は、例えば適正な圧縮率の場合に画像の個々の行を正確に再構成することは基本的に不可能である。さらに例えばMPEG−2のようなフレーム間コード化は、ステレオ画像を順次伝送、または記憶することは不可能である。何故ならば、1つの画像からの画像情報が別の画像にも含まれており、それによっていわゆるクロストーク作用が生じて、右画像と左画像の明確な分離ができなくなるからである。
二次元の画像列から三次元の画像列が生成される別の方法はドイツ特許第3530610号、および欧州特許第0665697号で公開されている。画像の補間による自動立体システムは欧州特許第0520179号に記載されており、一方、「Huang:Image Sequence Analysis」(Springer Verlag)では画像列内での移動領域の認識の問題が論じられている。
米国特許明細書第6,108,005号から、供給された画像から少なくとも2つの画像が生成され、少なくとも一方の画像が供給された画像に対して拡大、縮小、回転、移動、または画像の少なくとも一部分が画像の他の部分に対して他方の画像の対応部分と比較して移動されるように変更される合成ステレオ画像の生成方法が公知である。その場合の欠点は勿論、前記の変更を適切に選択することによって視聴者にとって適切な、もしくは自然な立体画像の印象が生成されるかどうかが、オペレータの技能に大きく左右されるということである。
本発明の目的は、基本的にオペレータまたは視聴者の介在なく特に自然な三次元画像の印象を有する3D画像の生成を可能にする前記のタイプの方法および装置(単数または複数)を製造することにある。
上記の目的は請求項1に記載の方法、および請求項11に記載の装置によって達成される。
従属請求項は本発明の有利な発展形態を有している。
本発明の詳細、特徴、および利点は図面を参照した本発明の好適な実施形態の以下の説明によって明らかにされる。
本発明による装置の基本的な構成要素、およびそれらの相互連結は図1に概略的に示されている。このシステムは、カメラによって撮影されデジタル化された二次元画像が、それぞれの現在の画像の少なくとも1つを一時記憶するために第1画像メモリ1に供給される入力Eを含んでいる。
供給された画像は第1画像メモリ1から、これと連結され、プリセット可能な数の連続画像を記憶し、これらを補間するために備えられた第2画像メモリ2に伝送される。
第1画像メモリ1にはさらに場面分析のための装置3が連結され、これによって例えば「クローズアップ画面」、「標準画面」(中間画面)、または「広角画面」のような特定のタイプの場面に割当てるために現在の、第1画像メモリ1に記憶された画像のコンテンツが検査される。
場面分析装置3は画像変形装置4に連結され、これによって第1画像メモリ1から供給された画像に、装置3によって判定された場面のタイプに応じて、このタイプに割当てられた画像変形がなされる。
第2画像メモリ2も装置4に連結されているので、先行画像の補間によって生成される画像も変形可能である。
このような画像変形、および少なくとも1つの場面タイプへの画像変形の割当てのための様々なパターンが画像変形メモリ5に記憶され、画像変形装置4によってそこからパターンを呼び出すことができる。
最後に装置4の出力には位相切換え装置6が連結されており、これには第1画像メモリ1からの未変形画像、および装置4によってそれから生成された変形画像を伝送可能である。これらの画像は次に位相切換え装置6の第1および第2出力A1、A2に送られてそれぞれ第1もしくは第2の画像列を形成し、これらは左もしくは右のステレオ画像用の左もしくは右のビュー・チャネルBL、BRに供給される。
それによって不変のまま供給される画像による画像列と、そこから生成され、変形がなされた画像による別の画像列が合成される(非対称変形)。あるいは、その代わりに、双方の画像列の画像に変形を加えることも可能である(対称変形)。最後に、さらに別の可能性として、補足的に、または代替として第2画像メモリ2で補間された画像が装置4に供給され、そこから、変形された形式および/または未変形の形式で第1および/または第2画像列が合成されることがある。
そのために、第2画像メモリ2に記憶されている画像列x(i、j、α)の補間によって、補間された画像が例えば線形スプライン近似法または画素全体のより高次の、もしくは多項式近似によって計算され、ただしαは近似変数であり、合成(補間)画像が生成される現在の画像の時間間隔を示す。そのために好適にはWO 01/76258号に記載されている方法が用いられる。したがってこの文献の内容は参照によって本明細書の構成部分をなすものである。
したがって本発明による装置によって、入力Eに印加された二次元撮影されデジタル化された画像列から第1および第2の画像列が生成され、この第1および第2の画像列が左もしくは右の目に送られると、それらが一緒になって元の二次元画像を三次元で観ることを可能にする。
以下では先ず、供給された画像が基本的に不変である、すなわち「ゼロ変形」の第1画像列として使用され、第2画像列は第1画像列の画像の変形によって生成される「非対称」の画像変形によるステレオ画像列の第1の生成方法を説明する。
引き続いて、第1画像列の画像も変形された画像である、「対称」画像変形によるステレオ画像列を再生する第2の生成方法を記述する。
その後で最後に、リアルタイムの場面分析によって画像コンテンツ(場面タイプ)に応じて画像変形が選択され、適応もしくは最適化されることができる態様、および好適に、妨害となる遷移作用が生じないように様々な画像変形間の遷移を行う態様が記述される。
A.)xijを水平解像度Iおよび垂直解像度Jを有する、tの時点での第1画像列のデジタル化された画像(第1のステレオ画像)とする。そこから第2のステレオ画像x*(i*,j*)が下記のように生ずる。
i*:=i+i_Index(i,j)もしくはj*:=j+j_Index(i,j)
これは、新たな画素i*およびj*がi方向およびj方向への移動によって生ずることを示している。そのために原理的には全ての数学的関数を使用できる。したがって以下に記載する変形はこのような関数の例に過ぎないものと理解されたい。
I.)第1の方法として3つの異なる変形を説明する。
1.)チルト変形:
この場合は新たな画像の画素は以下の公式に基づいて水平に継続的に上から下に漸次伸張される。
i_Index(i,j):=0;
j_Index(i,j):=(1−(tL−i)/tL)((0.5Ppl−j)/0.5PpL)・Tilt
i:=0,…,tLおよびj:=0,…,PpLの場合
tLは行数を意味し、PpLは行当たりの画素数を、また「Tilt」は伸張の程度を定める任意のスケーリング係数を意味している。
2.)球面変形
この場合は新たな画像の画素は以下の公式に従って画像の中心点から周辺へと同心に歪ませられる。
i_Index(i,j):=((0.5PpL−j)/0.5PpL)(1−(4/tL2)(0.5tL−i)2)・Sphere
j_Index(i,j):=((0.5tL−i)/0.5tL)(1−(4/PpL2)(0.5Ppl−j)2)・Sphere
i:=0,…,tLおよびj:=0,…,PpLの場合
tLは行数を意味し、PpLは行当たりの画素数を、また「Sphere」は歪みの程度を定める任意のスケーリング係数を意味している。
3.)球面チルト変形
この場合は以下の公式に従って新たな画素は上から下に、また画像の中心点から同心に同時に歪ませられ、かつ伸張される。
i_Index(i,j):=((0.5PpL−j)/0.5PpL)(1−(4/tL2)(0.5tL−i)2)・Sphere
j_Index(i,j):=((0.5tL−i)/0.5tL)(1−(4/PpL2)(0.5Ppl−j)2)・Sphere
+((tL−i)/tL)((0.5PpL−j)/0.5PpL)・Tilt
i:=0,…,tLおよびj:=0,…,PpLの場合
tLは行数を意味し、PpLは行当たりの画素数を、また「Sphere」は歪みの程度を定める任意のスケーリング係数を、また「Tilt」は伸張の程度を定める任意のスケーリング係数を意味している。
II.)第2の方法は補足的に現在の元の画像が変形される、すなわち形状が歪ませられる対称画像変形で処理する。図2に示された一般化された形式は湾曲面F(結像面)上に場面Bの現在の画素0からPpLの結像を示しており、この結像は左目と右目A1、A2用の2つの支点から距離Dを隔てて観察される。視聴者から発して結像面F上の画素(例えばz(j)または領域xM)は両目A1、A2で異なる態様で(A1の場合はj’およびxM’、A2の場合はj”およびxM”)場面Bに再投影される。それによって脳は画像が2つの視覚から観察されている印象を受ける。
この場合も、基本的に投影用に任意の数学的関数、もしくは面を利用できる。以下に2つの変形例を記載する。
1.)球投影:
この場合、画像面は外側に湾曲した球面を呈している。各オリジナル画素x(i,j)ごとに視聴者側に湾曲した球面上に「合成」画素z(i,j)を生ずる。
z(i,j):=(1−(4/PpL2)(0.5PpL−j)2)(1−(4/tL2)(0.5tL−i)2)・Sphere
この場合もtLは行数を意味し、PpLは行当たりの画素数を、また「Sphere」は歪みの程度を定める任意のスケーリング係数を意味している。
光線の法則に基づいて左の観察位置El用のj指数が下記に結像される。
j’:={(j−El)/(1−z(i,j)/D)}+El
0≦z(i,j)≦Sphereが該当するので、定数の「Sphere」は常に観察距離D未満でなければならないことが分かる。
右の観察位置Erの場合、下記になる。
j”:={(j−Er)/(1−z(i,j)/D)}+Er
2.)円筒形投影
この場合、画面は外側に湾曲した円筒面を呈する。各オリジナル画素x(i,j)ごとに視聴者側に湾曲した円筒面上に「合成」画素z(i,j)を生ずる。
z(i,j):=(1−(4/PpL2)(0.5PpL−j)2)・Sphere
この場合もPpLは行当たりの画素数を、また「Sphere」は歪みの程度を定める任意のスケーリング係数を意味している。
新たな指数j’およびJ”の場合も左の観察位置El用の球投影が生ずる。
j’:={(j−El)/(1−z(i,j)/D)}+El
また右の観察位置Erの場合、下記になる。
j”:={(j−Er)/(1−z(i,j)/D)}+Er
球および円筒形の投影の場合は観察位置の数は2つに限定されないことが認められる。むしろ左と右の観察位置だけではなく、基本的に任意の数の左右の観察位置Ek(k=1,…n)を計算できる。これは特に複数視聴者用の自動立体モニタにとって重要である。
上記の双方の指数の値j’およびj”によって場合によっては新たな画像の全ての指数に値が割当てられる訳ではないので、それにより生ずる「穴」を後続の平滑化、および補間方式によって補償、すなわち「充填」しなければならない。
双方の方法(I.およびII.)とも、それぞれの個々の変形が指数、i_Indexおよびj_Indexによって正確に記載される。各画素の移動に関する上記の公式から生ずる値(移動値)は各々の変形ごとに画像変形メモリ5に記憶される。
B.)以下には場面分析を実施し、判定された場面のタイプに応じて使用される画像変形が動的に制御、もしくは選択される方法を記載する。
そのために好適には画像が検査される3つの異なる場面タイプが定義される。しかし、基本的により多くの場面タイプを定義できる。
ここに例示する場面のタイプはクローズアップ画面N、広角画面W、および中間画面(標準画面)Mである。
クローズアップ画面の場合、被写体は画像の中心点に置かれ、画像の大部分を中心点から覆う。この場合、変形(転換)用には球投影が最適である。それによって、画像の中心が画像から浮き出るように見える一定の「ポップアウト」効果が達成される。
広角画面の場合は、風景画面である場合が多い。この場合は、一般にチルト変形によって最良の三次元効果が得られる。
ある一定距離を隔てたカメラによってフォローされる画像中心部の被写体群(標準、もしくは中間画面)の場合は、一般に球面−チルト変形が最良の三次元の印象を生じる。
以下の規定では先ずPをP:=0.2(0≦P≦0.5)の定められた定数とする。
1.)場面タイプ「クローズアップ画面」(N)の規定:
Nを、例えば全体画像xGの全画素の60%を占める画像の中心領域の現在の画像の方形の部分画像とする。
δG 2を全体画像xGの二乗平均平方根偏差(分散)=x(i,j)とし、さらにδN 2を部分画像xNの二乗平均平方根偏差(分散)とする。δN 2≦PδG 2である場合は、場面タイプ標準画面Nが確定される。その際は下記が当てはまる。
2.)場面タイプ「標準または中間画面」(M)の規定:
Nを、例えば全体画像xGの全画素の40%を占める画像の中心領域の現在の画像の方形の部分画像とする。
δG 2を全体画像xGの二乗平均平方根偏差(分散)=x(i,j)とし、さらにδM 2を部分画像xNの二乗平均平方根偏差(分散)とする。δM 2≦PδG 2である場合は、場面タイプ中間画面Mが確定される。その際は下記が当てはまる。
3.)場面タイプ「広角画面」(W)の規定:
1およびx2を左上もしくは右上画像領域の2つの方形部分画像とし、y1およびy2を左下もしくは右下画像領域の2つの方形部分画像とする。さらに、X画像領域間の相互相関の絶対値を
とし、
Y画像領域間の相互相関の絶対値を
と定義する。kx≧1−Pおよび、ky≧1−Pが当てはまる場合は、X領域とY領域は高度に相関している。これは場面タイプ、広角画面Wとして定義される。
C.)画像変形を利用する場合は、場面タイプを先行の場面タイプに対して変更する際に、割当てられた変形機能間で簡単には切り換えられないことを考慮する必要がある。これはすなわち、視聴者には中断、もしくは「緩慢な画面」、または「跳ねる画面」と感じられよう。
この場合はむしろ、遷移機能によって、先行する変形を、約2ないし3画像にわたって配分して比較的平滑に、もしくは連続的に新たな変形へと移行させるようにすることが好ましい。それによって変形が新たな画像コンテンツに動的に適応される。
そのために、「古い」変形から別の「新しい」変形へと移行するごとに、例えばこれも画像変形メモリ5に記憶される遷移変形が規定される。このような遷移変形は所定数Kの遷移行列によって構成され、その値は好適には各々の画素ごとに古い変形と新たな変形用に記憶されている移動値の線形補間によって計算され、かつ記憶される。
それによって、場面タイプの変更時には、場面タイプが変更された伝送画像には、K個の遷移行列によって定義される遷移変形と、判定された新たな場面タイプに割当てられた後続の新たな変形とから構成された遷移機能が施される。この場合、その間に導出された場面分析の更なる結果は、遷移機能の使用中は考慮されないままに留められる。
例えば、伝送されたばかりの画像の場面タイプが「広角画面」であり、一方、以前に伝送された画像が場面タイプ「クローズアップ画面」であった場合から想定してみよう。その結果、クローズアップ画面に割当てられた(古い)画像変形「球」が広角画面に割当てられた(新たな)画像変形「チルト」へと切り換えられる。さらに、数値K=2、ひいては2つの遷移行列が確定されよう。
したがって新たな画像変形が利用される前に、伝送されたばかりの画像に第1の遷移行列を適用し、引き続いて、ともに遷移変形を構成する第2の遷移行列を次の画像に適用する必要がある。
遷移行列を含み、それぞれが画素用の遷移移動を示す個々の値は、遷移行列の数Kに対応する古い画像変形(球)と新たな画像変形(チルト)の線形補間から生ずる。例えば、画素にとって古い画像変形の移動値が0であり、新たな画像変形の移動値が6.0である場合、この画素用のK=2とすると第1の遷移行列での移動値は2.0となり、第2の遷移行列での移動値は4.0となる。
場面タイプ間の、ひいてはそれぞれ割当てられている変形間の可能なあらゆる遷移用に、全ての遷移行列を事前に計算し、画像変形メモリ5に記憶しておくことができる。
その際に配慮すべきは、第1の変形から第2の変形への遷移のために記憶されている遷移行列は第2の変形から第1の変形への遷移の場合は、伝送される画像に逆の順序で利用できることである。
図3は本発明による方法のフローチャートを示している。
装置に電源を入れた後の第1のステップ10によって、先ず画像変形装置4で、第1の状態「現在の変形」が、例えば円筒形変形である利用可能な変形として開始時変形に確定される。その後、第2のステップ11で、第2の状態「新たな変形」が、これも例えば円筒形変形である標準変形、またはデフォルト変形(Default−Deformation)に設定され、引き続いて場面分析装置3を使用して、上記の記述のとおり現在の(伝送された)画像の場面タイプが判定される。
その後、第3のステップ12によって場面タイプとしてクローズアップ画面Nが判定されたか否かが照会される。そうである場合は、第4のステップ13によって第2の状態「新たな変形:=球」が設定され、(第9の)ステップ18に進む。
第3のステップ12での照会の返答が否であった場合は、第5のステップ14で、場面タイプとして中間画面Mが判定されたか否かが照会される。そうである場合は、第6のステップ15によって第2の状態「新たな変形:=球面−チルト」が設定され、(第9の)ステップ18に進む。
第5のステップ14での照会の返答が否であった場合は、第7のステップ16で、場面タイプとして広角画面Wが判定されたか否かが照会される。そうである場合は、第8のステップ17によって第2の状態「新たな変形:=チルト」が設定され、第9のステップ18に進む。
第7のステップ16での照会の返答も否であった場合は、第9のステップ18に進み、第1と第2の状態で設定された変形が同一であるか否かが照会される。
これらのステップ11から18は場面分析装置3によって実行される。
第9のステップ18の照会に対する返答が肯定的である場合は、第10のステップ19によって現在の画像に画像変形装置4によって(不変の)画像変形がなされ、第2の画像列の画像として出力される。その後、方法の手順は第2のステップ11によって次の画像向けに繰り返される。
第9のステップ18の照会に対する返答が否である場合は、遷移機能が利用され、第11のステップ20によって先ずカウンタの数値kがk:=0に設定される。
引き続いて第12のステップ21で、画像メモリ1の現在の画像が第1の遷移行列を用いて変形され、第2の画像列の画像として出力される。さらに、カウンタの値が1だけ増分される(k:=k+1)。その後、第13のステップ22でカウンタの状態kが遷移行列の数Kよりも大きいか否かが照会される。
否である場合は、第12のステップ21が繰り返され、その時点での現在の画像メモリ1の画像が、後に(第2の)画像列の次の画像として出力されるために第2の(次の)遷移マトリクスによって変形される。
準備された数Kの遷移行列が使用された後、遷移変形を終了するために、現在の画像にステップ13、15、または17で設定された新たな画像変形が施され、カウンタ状態が再び1の値だけ増分される。第13のステップ22でなされる照会は肯定で返答されるので、第14のステップ23に進み、そこで第1の状態「現在の変形」が新たな変形に設定される。引き続いて、第2のステップ11に戻ることによって次に伝送される画像についてこの方法が繰り返される。
図1に示されている装置は好適には、二次元で伝送され、または記憶された画像の三次元再生を生成するためのデジタル画像処理システム内に実装されている。
記載してきた方法は好適には、コンピュータ、特にマイクロプロセッサ・ユニットによる方法ステップを実施するため、プログラム・コード手段を有する1つまたは複数のコンピュータ・プログラムの形式で実施される。
この方法は、プログラム可能なマイクロプロセッサ・ユニットのメモリにロードされ、もしくはデジタル画像処理システムの構成部品(単数または複数)であるコンピュータで実施される場合には、方法ステップを実現するための機械読出し可能な媒体に記憶されたプログラム・コード手段を有するコンピュータ・プログラム製品として実施されることもできる。
本発明による回路構成の概略回路図である。 球投影による変形を説明するための概略図である。 本発明による方法のフローチャートである。

Claims (18)

  1. 二次元画像列からなる三次元(3D)画像を生成する方法であって、二次元画像が場面のタイプに関して分析され、判定された場面のタイプに応じて該タイプに割当てられた変形が選択され、該変形によって前記二次元画像が変形され、少なくとも1つのビュー・チャネルへと送られることを特徴とする方法。
  2. 場面のタイプとしてクローズアップ画面、標準画面(中間画面)、および広角画面が確定されることを特徴とする請求項1に記載の方法。
  3. 前記場面のタイプのうちクローズアップ画面には、変形される画像の画素が該画像の中心点と同心に外側に歪む球面変形が割当てられることを特徴とする請求項2に記載の方法。
  4. 前記場面のタイプのうち標準画面には、変形される画像の画素が上から下に、また同時に該画像の中心点と同心に歪み、伸張する球面−チルト変形が割当てられることを特徴とする請求項2に記載の方法。
  5. 前記場面のタイプのうち広角画面には、変形される画像の画素が水平に継続的に上方に向かって漸次伸張するチルト変形が割当てられることを特徴とする請求項2に記載の方法。
  6. 前記場面のタイプのうちクローズアップ画面には球変形が割当てられ、変形された画像への異なる視角によって第1および第2のビュー・チャネルが与えられることを特徴とする請求項1に記載の方法。
  7. 前記場面のタイプのうち広角画面には円筒形変形が割当てられ、変形された画像への異なる視角によって第1および第2のビュー・チャネルが与えられることを特徴とする請求項1に記載の方法。
  8. 少なくとも1つのビュー・チャネル用に変形がなされた前記二次元画像は、プリセット可能な数の連続画像の補間によって得られた画像であることを特徴とする前記請求項のいずれか一項に記載の方法。
  9. 先行の第1の画像に対して第2の画像の場面のタイプを変更する際に、該第2の画像に遷移機能が施され、それによって、該第2の画像は不自然な画像の印象を避けるために先行する場面のタイプに割当てられた変形から連続的に、新規の場面のタイプに割当てられた変形に適応されることを特徴とする請求項1に記載の方法。
  10. 前記遷移機能は所定数Kの遷移変形、ならびに新規の画像変形によって形成され、前記遷移変形は各々の画素ごとの先行の変形と新規の変形との線形補間によって判定されることを特徴とする請求項9に記載の方法。
  11. 前記請求項のいずれか一項に記載の方法を実施する装置であって、少なくとも1つの部分画像の画定、および部分画像と全体画像との比較によって供給される画像を場面分析する装置(3)を特徴とする装置。
  12. 前記場面分析装置(3)は、前記全体画像の中心領域に可変的な大きさの部分画像を画定し、かつ前記部分画像ならびに前記全体画像の二乗平均平方根偏差を判定して、そこから場面のタイプ、クローズアップ画面または標準画面を判定するために備えられていることを特徴とする請求項11に記載の装置。
  13. 前記場面分析装置(3)は、前記全体画像の周辺領域に複数の部分画像を画定し、かつ様々な画像領域間の相関関係の絶対量を判定して、そこから場面のタイプ、広角画面を判定するために備えられていることを特徴とする請求項11に記載の装置。
  14. 複数の場面のタイプと、各場面のタイプに割当てられた変形と、2つの変形間の各遷移に割当てられた遷移変形とを記憶する画像変形メモリ(5)を特徴とする請求項11に記載の装置。
  15. プログラムがコンピュータで実行される場合に、請求項1から10のいずれか一項に記載の方法の工程を実施するためのプログラム・コード手段を有するコンピュータ・プログラム。
  16. コンピュータ読出し可能なデータ媒体に記憶される請求項15に記載のプログラム・コード手段を有するコンピュータ・プログラム。
  17. プログラムがコンピュータで実行される場合に、請求項1から10のいずれか一項に記載の方法の工程を実施するための、機械読出し可能な媒体に記憶されているプログラム・コード手段を有するコンピュータ・プログラム製品。
  18. 二次元で伝送され、または記憶された画像の三次元再生を生成するためのデジタル画像処理システムであって、請求項11から14のいずれか一項に記載の装置を特徴とするシステム。
JP2003548184A 2001-11-24 2001-11-24 二次元画像列からの立体画像列の生成 Expired - Fee Related JP5020458B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2001/013674 WO2003046832A1 (de) 2001-11-24 2001-11-24 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge

Publications (2)

Publication Number Publication Date
JP2005510922A true JP2005510922A (ja) 2005-04-21
JP5020458B2 JP5020458B2 (ja) 2012-09-05

Family

ID=8164692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003548184A Expired - Fee Related JP5020458B2 (ja) 2001-11-24 2001-11-24 二次元画像列からの立体画像列の生成

Country Status (8)

Country Link
US (2) US7321374B2 (ja)
EP (1) EP1451775A1 (ja)
JP (1) JP5020458B2 (ja)
KR (1) KR20040071145A (ja)
CN (1) CN1295655C (ja)
AU (1) AU2002233198A1 (ja)
CA (1) CA2472272A1 (ja)
WO (1) WO2003046832A1 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US8256430B2 (en) 2001-06-15 2012-09-04 Monteris Medical, Inc. Hyperthermia treatment and probe therefor
US8401336B2 (en) * 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US7714832B2 (en) * 2004-06-02 2010-05-11 Research In Motion Limited Mixed monochrome and colour display driving technique
EP1603108B1 (en) * 2004-06-02 2017-03-22 BlackBerry Limited Mixed Monochrome and Colour Display Driving Technique
JP4283785B2 (ja) * 2005-05-10 2009-06-24 株式会社マーキュリーシステム 立体視画像生成装置およびプログラム
CN101313596B (zh) * 2005-11-23 2011-01-26 皇家飞利浦电子股份有限公司 为多视图显示设备呈现视图
JP4931055B2 (ja) * 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
KR101965781B1 (ko) * 2007-04-12 2019-04-05 돌비 인터네셔널 에이비 비디오 인코딩 및 디코딩의 타일링
EP2393301A1 (en) 2007-06-11 2011-12-07 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
KR101450145B1 (ko) * 2007-06-11 2014-10-13 삼성전자 주식회사 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
CN101399997B (zh) * 2007-09-29 2010-06-16 广达电脑股份有限公司 图像处理方法
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
US20090295791A1 (en) * 2008-05-29 2009-12-03 Microsoft Corporation Three-dimensional environment created from video
JP5083052B2 (ja) * 2008-06-06 2012-11-28 ソニー株式会社 立体視画像生成装置、立体視画像生成方法およびプログラム
WO2010085361A2 (en) 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
US9172940B2 (en) 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
DE102009041328A1 (de) * 2009-09-15 2011-03-24 Natural View Systems Gmbh Verfahren und Vorrichtung zum Erzeugen von Teilansichten und/oder einer Raumbildvorlage aus einer 2D-Ansicht für eine stereoskopische Wiedergabe
US9215445B2 (en) 2010-01-29 2015-12-15 Thomson Licensing Block-based interleaving
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8918715B2 (en) 2010-11-16 2014-12-23 Magix Ag System and method for generating stereoscopic 3D multimedia works from 2D input material
US8682107B2 (en) 2010-12-22 2014-03-25 Electronics And Telecommunications Research Institute Apparatus and method for creating 3D content for oriental painting
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8730232B2 (en) * 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9137519B1 (en) * 2012-01-04 2015-09-15 Google Inc. Generation of a stereo video from a mono video
CN104602638B (zh) 2012-06-27 2017-12-19 曼特瑞斯医药有限责任公司 用于影响对组织进行治疗的***
US9098911B2 (en) 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US20150265353A1 (en) 2014-03-18 2015-09-24 Monteris Medical Corporation Image-guided therapy of a tissue
US9486170B2 (en) 2014-03-18 2016-11-08 Monteris Medical Corporation Image-guided therapy of a tissue
US10675113B2 (en) 2014-03-18 2020-06-09 Monteris Medical Corporation Automated therapy of a three-dimensional tissue region
US10327830B2 (en) 2015-04-01 2019-06-25 Monteris Medical Corporation Cryotherapy, thermal therapy, temperature modulation therapy, and probe apparatus therefor
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
WO2017087128A1 (en) 2015-11-16 2017-05-26 Virtual Dreamware, LLC Symmetrically mirrored video segmet
CN112712584B (zh) 2019-10-25 2024-05-24 阿里巴巴集团控股有限公司 空间建模方法、装置、设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925294A (en) * 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
US4729100A (en) 1984-08-28 1988-03-01 Kabushiki Kaisha Toshiba CT System which convolutes projection data with a frequency varying filter function
DE3533379A1 (de) * 1985-09-19 1987-03-26 Deutsche Forsch Luft Raumfahrt Verfahren zur stereoskopischen bewegtbilddarbietung von bildszenen mit relativbewegung zwischen aufnahmesensor und aufgenommener szene
US5821989A (en) * 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
US6392689B1 (en) * 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
TW221312B (ja) 1991-06-27 1994-02-21 Eastman Kodak Co
US5510832A (en) * 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method
KR100358021B1 (ko) 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
US5739844A (en) * 1994-02-04 1998-04-14 Sanyo Electric Co. Ltd. Method of converting two-dimensional image into three-dimensional image
JP2846840B2 (ja) * 1994-07-14 1999-01-13 三洋電機株式会社 2次元映像から3次元映像を生成する方法
KR100374463B1 (ko) * 1994-09-22 2003-05-09 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환하는방법
JP2846830B2 (ja) 1994-11-22 1999-01-13 三洋電機株式会社 2次元映像を3次元映像に変換する方法
KR100381348B1 (ko) * 1995-04-17 2003-07-07 산요 덴키 가부시키가이샤 2차원 영상을 3차원 영상으로 변환하는 방법
US6064393A (en) * 1995-08-04 2000-05-16 Microsoft Corporation Method for measuring the fidelity of warped image layer approximations in a real-time graphics rendering pipeline
US5953054A (en) * 1996-05-31 1999-09-14 Geo-3D Inc. Method and system for producing stereoscopic 3-dimensional images
US6061067A (en) * 1996-08-02 2000-05-09 Autodesk, Inc. Applying modifiers to objects based on the types of the objects
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
US5892691A (en) * 1996-10-28 1999-04-06 Reel/Frame 8218/0138 Pacific Data Images, Inc. Method, apparatus, and software product for generating weighted deformations for geometric models
US5963213A (en) * 1997-05-07 1999-10-05 Olivr Corporation Ltd. Method and system for accelerating warping
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
KR100255748B1 (ko) * 1997-07-19 2000-05-01 전주범 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法
JPH11234703A (ja) * 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Mpeg 데이터를 이용한 입체영상생성방법 및 그 장치
DE10016074B4 (de) * 2000-04-01 2004-09-30 Tdv Technologies Corp. Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern
AU2001266862A1 (en) * 2000-06-12 2001-12-24 Vrex, Inc. Electronic stereoscopic media delivery system
GB0105801D0 (en) * 2001-03-09 2001-04-25 Koninkl Philips Electronics Nv Apparatus
WO2004081855A1 (en) * 2003-03-06 2004-09-23 Animetrics, Inc. Generation of image databases for multifeatured objects

Also Published As

Publication number Publication date
EP1451775A1 (de) 2004-09-01
US7321374B2 (en) 2008-01-22
CN1295655C (zh) 2007-01-17
US20040027346A1 (en) 2004-02-12
CN1582457A (zh) 2005-02-16
KR20040071145A (ko) 2004-08-11
AU2002233198A1 (en) 2003-06-10
US20080106546A1 (en) 2008-05-08
CA2472272A1 (en) 2003-06-05
WO2003046832A1 (de) 2003-06-05
JP5020458B2 (ja) 2012-09-05

Similar Documents

Publication Publication Date Title
JP5020458B2 (ja) 二次元画像列からの立体画像列の生成
US7027659B1 (en) Method and apparatus for generating video images
Fehn et al. Key technologies for an advanced 3D TV system
Yamanoue et al. Geometrical analysis of puppet-theater and cardboard effects in stereoscopic HDTV images
JP4843753B2 (ja) 三次元画像生成方法及び装置
JP6279321B2 (ja) 画像捕捉装置のアレイにより得られたデータから仮想出力画像を作るための方法及びシステム
KR100770019B1 (ko) 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
WO2007058409A1 (en) Three-dimensional display apparatus using intermediate elemental images
US11533464B2 (en) Method for synthesizing intermediate view of light field, system for synthesizing intermediate view of light field, and method for compressing light field
KR20130025395A (ko) 입체적 이미징 시점 쌍을 선택하기 위한 방법, 장치 및 컴퓨터 프로그램
JP7202087B2 (ja) 映像処理装置
KR20050082764A (ko) 중간 시점 영상 합성 방법 및 그를 적용한 3d 디스플레이장치
KR20090129175A (ko) 영상 변환 방법 및 장치
US11561508B2 (en) Method and apparatus for processing hologram image data
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
JP3091644B2 (ja) 2次元画像の3次元化方法
US9681115B2 (en) In-painting method for 3D stereoscopic views generation using left and right images and a depth map
JP4815004B2 (ja) 多視点画像符号化装置
JPH09200803A (ja) 画像処理装置及び画像処理方法
JP4270695B2 (ja) 立体画像表示装置用2dー3d画像変換方式および装置
JPH08116556A (ja) 画像処理方法および装置
Kim et al. Object-based stereoscopic conversion of MPEG-4 encoded data
Sawahata et al. Intended 3D Content Expressions on Light-field Displays using Adaptive Depth Compression
EP4246988A1 (en) Image synthesis
KR100652204B1 (ko) 입체 영상 표시 방법 및 그 장치

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050811

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120111

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120210

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120214

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120312

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120411

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120613

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees