JP2012195626A - 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 - Google Patents
視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2012195626A JP2012195626A JP2011055878A JP2011055878A JP2012195626A JP 2012195626 A JP2012195626 A JP 2012195626A JP 2011055878 A JP2011055878 A JP 2011055878A JP 2011055878 A JP2011055878 A JP 2011055878A JP 2012195626 A JP2012195626 A JP 2012195626A
- Authority
- JP
- Japan
- Prior art keywords
- value
- image
- hidden surface
- depth
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】制御部11は、サンプリング点Xsと処理対象のカメラ位置(CXi、CZi)とを通る視線直線31aを算出し、奥行き値同士の区間の中で視線直線31aが通る区間のいずれか1つを採用区間とし、採用区間の両端を示す左奥行き値34a及び右奥行き値35aのうち、より奥側の値を示す方の画素位置を参照位置とする。次に、制御部11は、ラベル画像3に基づいて参照位置が隠れ面か否かを判定し、隠れ面でない場合には2次元画像2における参照位置の画素値をサンプリング点Xsの画素値とする。隠れ面の場合には、隠れ面境界位置を特定し、隠れ面境界位置に基づいて折り返しコピーを行うことにより補償画素値を割り当てる。
【選択図】図4
Description
さらに、ほとんどの映像はCG画像ではなく実写であり、実写から3次元映像を作成することが求められている。
特許文献1は、平面映像を近景と遠景に分離し、近景領域だけを所定の距離だけシフトするとともに拡大して視差映像を生成する2次元/3次元変換手法について開示している。
一方、本出願人は、特許文献2において、2次元画像、及び奥行き情報を持つ画像(以下、「デプス画像」という。)を入力とし、デプス画像と仮想カメラ位置との関係から視差を求め視差映像を生成する手法を提案している。
また、特許文献1に記載の手法は、近景と遠景に分離してシフトすると映像の空白部が生じる為、近景をシフトするとともに拡大することにより空白部の出現を回避している。しかしながら、元々手前にある被写体は大きく撮影されている為、更に拡大することにより、画面のシーンに矛盾が生じ、違和感が大きいという問題がある。
しかし、隣接する2画素間の奥行き量の情報だけでは、2画素が同一の被写体間に属するのか、別の被写体に属するのかが特定できないので、2画素が別の被写体に属する場合の隠れ面に対処できないという問題がある。
図15(a)は、元の平面画像を示している。元の平面画像に記録されたシーンは、背景100、円形の物体である手前物体101、長方形の物体である奥物体102によって構成されている。
図15(b)は、図15(a)におけるA方向から覗き込んだ様子を示している。図15(b)では、手前物体101と背景100との間に隠れ面103a(黒色の領域)が生じている。
また、図15(c)は、図15(a)におけるB方向から覗き込んだ様子を示している。図15(c)では、手前物体101と奥物体102との間に隠れ面103b(黒色の領域)が生じている。
このような隠れ面に対しては、何も対処をしないと、本来なら後ろの被写体が適切に補われて表示されるべき領域に、手前の被写体または後ろの被写体の境界部の画素が表示されてしまい、不自然な映像になってしまう場合がある。
第1の発明によって、隠れ面を適切に検出することができる。
これによって、隠れ面が補正された視差画像を生成することができる。
これによって、隠れ面が違和感なく補正された視差画像を生成することができる。
これによって、多くの場合に合理的と考えられる補償画素値を割り当てることができる。
これによって、他の被写体の画素値を補償画素値として補償することがなくなり、どのような場合であっても、合理的と考えられる補償画素値を割り当てることが可能になる。
第2の発明によって、隠れ面を適切に検出することができる。
第3の発明に係るプログラムをコンピュータにインストールすることで、第1の発明に係る視差画像生成装置を得ることができる。
図1は、視差画像生成装置1のハードウエア構成図である。尚、図1のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
視差画像生成装置1は、制御部11、記憶部12、メディア入出力部13、通信制御部14、入力部15、表示部16、周辺機器I/F部17等が、バス18を介して接続される。
CPUは、記憶部12、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス18を介して接続された各装置を駆動制御し、視差画像生成装置1が行う後述する処理を実現する。
ROMは、不揮発性メモリであり、視差画像生成装置1のブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。
RAMは、揮発性メモリであり、記憶部12、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各種処理を行う為に使用するワークエリアを備える。
これらの各プログラムコードは、制御部11により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
通信制御部14は、通信制御装置、通信ポート等を有し、視差画像生成装置1とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。
入力部15を介して、視差画像生成装置1に対して、操作指示、動作指示、データ入力等を行うことができる。
表示部16は、CRTモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携して視差画像生成装置1のビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。
バス18は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
2次元画像2、ラベル画像3、及びデプス画像4は、視差画像生成装置1の制御部11が生成しても良いし、メディア入出力部13、通信制御部14等を介して外部から取得しても良い。また、パラメータ5は、視差画像生成装置1の入力部15を介して入力しても良いし、予めパラメータ5が定義されたパラメータファイルを外部から取得しても良い。
視差画像6は、視差画像生成装置1の記憶部12に記憶されても良いし、表示部16に表示されても良いし、メディア入出力部13、通信制御部14等を介して外部に出力しても良い。
後述する視差画像生成処理のすべての処理は、フレームごとに独立して実行するので、以下の説明においては、1枚分のフレーム画像(静止画像)の処理について記述する。
ラベル画像3は、2次元画像2に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。
デプス画像4は、例えば、画素値の範囲が0〜255(8ビット)のグレースケールであり、0(黒)が最も奥、255(白)が最も手前を意味する場合が多いが、逆であっても良い。以下では、説明を分かり易くするために、デプス画像4は、画素値の範囲が0〜255であり、0(黒)が最も奥、255(白)が最も手前を意味するものとする。
デプス画像4は、2次元画像2に基づいてフォトレタッチソフトなどを用いて手作業で生成してもよいし、別途ソフトウエアを用いて自動的に生成してもよい。
更に、パラメータ5には、2次元画像2の横幅、縦幅、画素ピッチなどが含まれる。2次元画像2は、パラメータ5の横幅、縦幅、画素ピッチによって、横方向(X軸方向)のピクセル数、及び、縦方向(Y軸方向)のピクセル数が決まる。
視差画像生成処理では、図3に示すように、仮想的な3次元空間(XYZ空間)に、スクリーン面S、カメラC1〜C8を配置する。
スクリーン面Sは、2次元画像2を投影する領域であり、視差画像6の各画素が含まれる。図3に示す例では、スクリーン面SはXY平面と一致する。
また、図3に示す例では、カメラ設置線30は、スクリーン面Sと平行、かつ、スクリーン面Sとの距離が「Ccamera_Z」の直線である。CiをカメラID(Ci=1、・・・、8)とすると、カメラC1〜C8のカメラ位置(CXi、CZi)(i=1、・・・、8)は、以下の式に基づいて算出する。尚、wは、2次元画像2の横幅である。
また、図3に示す例では、カメラ設置線30を直線としたが、これもディスプレイにおける画像の見せ方に依存する。例えば、ディスプレイが曲面の場合、カメラ設置線30を曲線とすることが考えられる。
図3に示す最遠面Pは、視差画像6に表現される被写体の中でカメラCから最も遠い位置であり、かつ、スクリーン面Sと平行な面である。
視差画像6は、立体視を実現するための画像である。本発明の実施の形態では、視差画像6は、特に、両目視差(約60mm〜70mm程度)を利用し、裸眼観察によって立体視を実現するための画像である。
尚、本発明の実施の形態では詳細に述べないが、複数の視差画像6をディスプレイの仕様に合わせて合成し、ディスプレイに表示することによって、裸眼観察による立体視を実現することが可能となる。複数の視差画像6の合成処理については、公知の技術を利用すれば良い。
以下では、第1方向を左、第2方向を右として説明する。同様に、第1奥行き値は左奥行き値、第2奥行き値は右奥行き値として説明する。
補償処理では、例えば、制御部11は、左隠れ面の場合には、隠れ面判定処理22による判定結果を左に参照していくことによって隠れ面境界位置を特定する。また、制御部11は、右隠れ面の場合には、隠れ面判定処理22による判定結果を右に参照していくことによって隠れ面境界位置を特定する。そして、制御部11は、隠れ面境界位置を基準として補償画素値を特定する。
画素値割り当て処理24によって割り当てられたサンプリング点の画素値の集合が、視差画像6である。
図4は、視差画像生成処理の詳細を示すフローチャートである。
次に、制御部11は、S202において決定されたサンプリング点に対して、S203〜S206の処理によって視差画像6の画素値を算出する処理を実行する。
制御部11は、サンプリング点のX座標Xsと、処理対象のカメラ位置(CXi、CZi)(i=1、・・・、n)と、を通る視線直線31aを算出する。カメラ位置(CXi、CZi)は、前述した通り、パラメータ5のカメラ数n、カメラ間隔Ccamera_X及びカメラCiからスクリーン面Sまでの奥行き値Ccamera_Zに基づいて設定されている。図5に示す例では、カメラC3を処理対象としている。
そして、制御部11は、左奥行き値34aのX座標の値Xkを、サンプリング点Xsに対する参照位置として、参照位置バッファに格納する。
制御部11は、以上の処理を全てのカメラC1〜C8に対して実行し、各視差画像6における各画素(Xs,Ys)のシフト量を算出する。
そして、制御部11は、採用区間における左奥行き値34b及び右奥行き値35bのうち、より奥を示す方のX座標位置を参照位置とする。図6に示す例では、右奥行き値35bのX座標位置が参照位置となる。
制御部11は、隠れ面判定処理22を行う(S204)。制御部11は、ラベル画像3を参照し、S203において特定された採用区間(図5の例では33a)の両端(左奥行き値34aと右奥行き値35a)が同一の被写体に属するのか、あるいは、異なる被写体に属するのかを判定する。
具体的には、制御部11は、左奥行き値34aの位置(デプス画像4の画素位置)に対応するラベル画像3の画素位置の画素値を左ラベル値とし、右奥行き値35aの位置(デプス画像4の画素位置)に対応するラベル画像3の画素位置の画素値を右ラベル値とする。そして、制御部11は、左ラベル値と右ラベル値を比較する。両者が同一の場合、視線直線(図5の例では31a)がそのラベル値で表わされる単一の被写体と交差することを意味するので、制御部11は、参照位置が隠れ面ではないと判定する。一方、両者が異なる場合、視線直線(図5の例では31a)が異なる複数の被写体の挟間を通過することを意味するので、制御部11は、参照位置が隠れ面であると判定する。
また、例えば、図6の例であれば、右奥行き値35b(参照位置の奥行き情報)が左奥行き値34bよりも奥にあることから、右奥行き値35bの位置(参照位置)が隠れ面である場合、制御部11は、この隠れ面を右隠れ面であると判定する。
次に、制御部11は、ラベル値割り当て処理23を行う(S205)。制御部11は、各参照位置に対してラベル値を割り当てて、ラベルバッファ43に格納する。このとき、参照位置が隠れ面である場合、制御部11は、参照位置を隠していた被写体(=手前側の被写体)のラベル値と、参照位置に現れるべき被写体(=奥側の被写体)のラベル値を格納する。
また、例えば、図6の例であれば、隠れ面の判定結果において、右奥行き値35bの位置(参照位置)が隠れ面である場合、この隠れ面は、右隠れ面であると判定される。従って、制御部11は、右奥行き値35bの位置に対応する右ラベル値の被写体が、奥側の被写体であると判定し、参照位置に現れるべき被写体(=奥側の被写体)のラベル値として、右ラベル値を格納する。また、制御部11は、左奥行き値34bの位置に対応する左ラベル値の被写体が、手前側の被写体であると判定し、参照位置を隠していた被写体(=手前側の被写体)のラベル値として、左ラベル値を格納する。
そして、制御部11は、隠れ面境界位置を基準として、サンプリング点の画素値を補償する画素値(補償画素値)を特定する。
この手法では、隠れ面境界位置を折り返し点として、画素値を折り返しコピーすることによって、サンプリング点Xsの画素値を補償している。
また、サンプリング点Xsが「2」の隠れ面バッファ42の値も「右」なので、制御部11は、サンプリング点Xsから右に隠れ面バッファ42を参照していくことによって、隠れ面の境界位置が「4」であることを特定する。そして、制御部11は、サンプリング点Xs「2」から隠れ面の境界位置「4」までの距離L=4−2=2を算出し、サンプリング点Xs「2」から2d−1=2×2−1=3の距離にあるサンプリング点Xs’「5」に対する参照位置バッファ41の値「8」を生成結果バッファ44に格納する。
また、サンプリング点Xsが「3」の隠れ面バッファ42の値も「右」なので、制御部11は、サンプリング点Xsから右に隠れ面バッファ42を参照していくことによって、隠れ面の境界位置が「4」であることを特定する。そして、制御部11は、サンプリング点Xs「3」から隠れ面の境界位置「4」までの距離L=4−3=1を算出し、サンプリング点Xs「3」から2d−1=2×1−1=1の距離にあるサンプリング点Xs’「4」に対する参照位置バッファ41の値「7」を生成結果バッファ44に格納する。
以上の処理により、隠れ面と判定された場合については、隠れ面境界位置を折り返し点とした画素値の折り返しコピーにより、多くの場合に合理的と考えられる画素値を割り当てることが可能になる。
そこで、図8を参照しながら、サンプリング点Xsから2d−1の距離にあるサンプリング点Xs’のラベル値と、サンプリング点Xsのラベル値とが異なる場合の例外処理について説明する。
そこで、制御部11は、折り返しコピーされる画素位置のラベル値が、サンプリング点の参照位置に現れるべき被写体のラベル値と一致するか否かを判定する。より詳しくは、制御部11は、サンプリング点Xsから2d−1の距離にある画素のラベル値(ラベルバッファ43の値)が、サンプリング点Xsの参照位置に現れるべき被写体のラベル値(ラベルバッファ43の2番目のラベル値)と一致するか否かを判定する。そして、制御部11は、一致する場合には、前述の折り返しコピーによる隠れ面補償処理を実行し、一致しない場合には、以下に説明する例外処理を実行する。
図8に示す例では、サンプリング点Xsが「1」の参照位置に現れるべき被写体のラベル値「L0」と同一の一繋がりのサンプリング点群は、「2」〜「5」となっている。そこで、制御部11は、サンプリング点群「2」〜「5」の中で最も遠いサンプリング点Xs’’「5」の参照位置バッファ41に格納されている参照位置「8」を、サンプリング点Xs「1」の生成結果バッファ44に格納する。
以上の例外処理により、他の被写体の画素値を隠れ面の画素値として補償することがなくなり、どのような場合であっても、合理的と考えられる画素値を割り当てることが可能になる。
制御部11は、全サンプリング点(但し、Y座標はYsのみ)について処理が終了したかどうか確認する(S207)。処理が終了していない場合(S207のNo)、S202から処理を繰り返す。処理が終了している場合(S207のYes)、S208に進む。
画素値割り当て処理24(S206)の変形例1について説明する。
前述の手法では、隠れ面境界位置を折り返し点として、画素値を折り返しコピーすることによって、サンプリング点Xsの画素値を補償している。この手法では、横方向の画素値のみを考慮していることから、参照位置に現れるべき被写体(=奥側の被写体)の階調変化が激しく、かつ、参照位置を隠していた被写体(=手前側の被写体)の輪郭が曲線のような場合には、隠れ面の領域において手前側の被写体の輪郭に沿った筋状の線が出現してしまうことがある。変形例1では、この現象を回避することができる。
制御部11は、まず、連続する複数のY座標Ys、Ys’、Ys’
’、・・・について、参照位置特定処理21(S203)、隠れ面判定処理22(S204)、及びラベル値割り当て処理(S205)を実行する。
次に、制御部11は、隠れ面と判定された複数の参照位置が、連結している領域を隠れ面領域53(図9では「黒色」)として抽出する。
次に、制御部11は、隠れ面領域43のY方向に伸びる外接直線を折り返し線54として抽出する。この例では、隠れ面が右隠れ面であることから、隠れ面領域53の右側の外接直線を抽出する。一方、隠れ面が左隠れ面であれば、隠れ面領域53の左側の外接直線を抽出すれば良い。
そして、制御部11は、折り返し線54を基準として、画素値を折り返しコピーすることによって、サンプリング点Xsの画素値を補償する。
画素値割り当て処理24(S206)の変形例2について説明する。変形例2では、折り返しコピーではない各種の手法について説明する。
(1)参照位置に現れるべき被写体(=奥側の被写体)の全体の平均値
(2)参照位置に現れるべき被写体(=奥側の被写体)の中で、参照位置を隠していた被写体(=手前側の被写体)と隣接する画素群の平均値
(3)参照位置に現れるべき被写体(=奥側の被写体)の代表値(代表値については、予め、補償画素値として適切と考えられる値を記憶部12等に記憶しておく。)
そして、制御部11は、算出又は取得される(1)〜(3)の値を、補償画素値として割り当てる。
変形例3では、図4に示すフローチャートを実行する前に、隠れ面が生じないように、2次元画像2を加工しておく手法について説明する。変形例3の手法は、背景を除いて被写体同士の重なり合いがほとんどないようなシーンの2次元画像2について有効である。
制御部11は、2次元画像2から背景領域を抽出し、テクスチャ生成技術によって、2次元画像2全体の画素位置に画素値を有する加工背景領域を生成する。そして、制御部11は、2次元画像2における背景を除いた被写体の領域に含まれる各画素について、対応する加工背景領域の画素値を対応付けて記憶部12等に記憶しておく。
そして、制御部11は、隠れ面判定処理22(S204)において、参照位置が隠れ面と判定された場合には、対応する加工背景領域の画素値を、サンプリング点Xsの画素値として割り当てる。
図11に示すデプス画像4では、図10の円形の物体の奥行き値が階調「0」、格子状の背景の奥行き値が階調「255」、長方形の物体の奥行き値が階調「128」である。つまり、円形の物体が最も手前にあり、格子状の背景が最も奥にあることを示している。
説明を分かり易くする為、図11に示すデプス画像4では、被写体ごとに単一の奥行き値とした。一般の被写体であれば、各部ごとに奥行き値が異なることが多い。
図12に示すラベル画像3は、例えば、図10の円形の物体のラベル値が階調「0」、格子状の背景のラベル値が階調「255」、長方形の物体のラベル値が階調「128」である。
説明を分かり易くする為、図11と図12は、全く同一の画像とした。前述したように、一般の被写体であれば、各部ごとに奥行き値が異なることが多く、デプス画像4とラベル画像3は、異なる画像となる。
視線が左方向からの視差画像6を生成する際は、円形の物体の左側の輪郭と背景との間や、長方形の物体の左側の輪郭と背景との間に、隠れ面が生じる。
図13に示す例では、隠れ面が適切な画素値によって補償され、違和感なく補正されている。
視線が右方向からの視差画像6を生成する際は、円形の物体の右側の輪郭と背景との間や、長方形の物体の右側の輪郭と背景との間に、隠れ面が生じる。
図14に示す例では、長方形の物体の右側の輪郭と背景との間の隠れ面については、適切な画素値によって補償され、違和感なく補正されている。
一方、円形の物体の右側の輪郭と背景との間の隠れ面については、正しく補償されていない。これは、参照位置に現れるべき被写体(=背景)の階調変化が激しく、かつ、参照位置を隠していた被写体(=円形の物体)の輪郭が曲線なので、隠れ面の領域において円形の物体の輪郭に沿った筋状の線が出現してしまっている。この現象については、前述したように、変形例1によって回避することができる。
2………2次元画像
3………ラベル画像
4………デプス画像
5………パラメータ
6………視差画像
Claims (8)
- 立体視を実現するための視差画像を生成する視差画像生成装置であって、
所望の2次元画像、前記2次元画像に係るカメラから被写体までの奥行き値を画素値に置き換えた画像であるデプス画像、及び、前記2次元画像のシーンを構成する被写体を識別するラベル値を画素値に置き換えた画像であるラベル画像を入力する画像入力手段と、
カメラ数、カメラ間隔、及び、カメラからスクリーン面までの奥行き値に係る所定のパラメータを入力するパラメータ入力手段と、
スクリーン面のサンプリング点と、前記所定のパラメータに基づいて設定されるカメラ位置と、を通る視線直線を算出し、前記奥行き値同士の区間の中で前記視線直線が通る区間である通過区間のいずれか1つを採用区間とし、前記採用区間における第1方向側の奥行き値である第1奥行き値、及び、前記第1方向とは異なる第2方向側の奥行き値である第2奥行き値のうち、より奥を示す方の位置を参照位置とする参照位置特定手段と、
前記第1奥行き値及び前記第2奥行き値の位置にそれぞれ対応する前記ラベル画像の第1ラベル値及び第2ラベル値が異なる場合に、前記参照位置が隠れ面であると判定する隠れ面判定手段と、
を具備することを特徴とする視差画像生成装置。 - 前記隠れ面判定手段によって前記参照位置が隠れ面ではないと判定された場合には、前記2次元画像における前記参照位置の画素値を前記サンプリング点の画素値とし、前記隠れ面判定手段によって前記参照位置が隠れ面であると判定された場合には、前記サンプリング点の画素値を補償する画素値である補償画素値を特定する補償処理を実行する画素値割り当て手段、
を更に具備することを特徴とする請求項1に記載の視差画像生成装置。 - 前記隠れ面判定手段は、前記参照位置が隠れ面である場合、更に、前記第1奥行き値が前記第2奥行き値よりも奥側の値を示す場合には、前記視線直線が前記第1方向から手前の被写体と奥の被写体との間を通ることによって前記第1方向から覗き込んだ第1方向隠れ面が生じていると判定し、又は、前記第2奥行き値が前記第1奥行き値よりも奥側の値を示す場合には、前記視線直線が前記第2方向から手前の被写体と奥の被写体との間を通ることによって前記第2方向から覗き込んだ第2方向隠れ面が生じていると判定し、
前記画素値割り当て手段における前記補償処理では、前記第1方向隠れ面の場合には、前記隠れ面判定手段による判定結果を前記第1方向に参照していくことによって隠れ面境界位置を特定し、又は、前記第2方向隠れ面の場合には、前記隠れ面判定手段による判定結果を前記第2方向に参照していくことによって隠れ面境界位置を特定し、更に、前記隠れ面境界位置を基準として前記補償画素値を特定する
ことを特徴とする請求項2に記載の視差画像生成装置。 - 前記画素値割り当て手段における前記補償処理では、前記隠れ面境界位置を折り返し位置とした画素値の折り返しコピーにより、前記補償画素値を割り当てる
ことを特徴とする請求項3に記載の視差画像生成装置。 - 前記画素値割り当て手段における前記補償処理では、折り返しコピーされる画素位置のラベル値が、前記参照位置に現れるべき被写体のラベル値と一致するか否かを判定し、
一致する場合には、前記隠れ面境界位置を折り返し位置とした画素値の折り返しコピーにより、前記補償画素値を割り当てて、
一致しない場合には、前記参照位置に現れるべき被写体のラベル値と同一の一繋がりのサンプリング点群のなかで最も遠い点に係る参照位置の画素値を、前記補償画素値として割り当てる
ことを特徴とする請求項3に記載の視差画像生成装置。 - 立体視を実現するための視差画像を生成する視差画像生成方法であって、
所望の2次元画像、前記2次元画像に係るカメラから被写体までの奥行き値を画素値に置き換えた画像であるデプス画像、及び、前記2次元画像のシーンを構成する被写体を識別するラベル値を画素値に置き換えた画像であるラベル画像を入力する画像入力ステップと、
カメラ数、カメラ間隔、及び、カメラからスクリーン面までの奥行き値に係る所定のパラメータを入力するパラメータ入力ステップと、
スクリーン面のサンプリング点と、前記所定のパラメータに基づいて設定されるカメラ位置と、を通る視線直線を算出し、前記奥行き値同士の区間の中で前記視線直線が通る区間である通過区間のいずれか1つを採用区間とし、前記採用区間における第1方向側の奥行き値である第1奥行き値、及び、前記第1方向とは異なる第2方向側の奥行き値である第2奥行き値のうち、より奥を示す方の位置を参照位置とする参照位置特定ステップと、
前記第1奥行き値及び前記第2奥行き値の位置にそれぞれ対応する前記ラベル画像の第1ラベル値及び第2ラベル値が異なる場合に、前記参照位置が隠れ面であると判定する隠れ面判定ステップと、
を含むことを特徴とする視差画像生成方法。 - コンピュータを、
所望の2次元画像、前記2次元画像に係るカメラから被写体までの奥行き値を画素値に置き換えた画像であるデプス画像、及び、前記2次元画像のシーンを構成する被写体を識別するラベル値を画素値に置き換えた画像であるラベル画像を入力する画像入力手段と、
カメラ数、カメラ間隔、及び、カメラからスクリーン面までの奥行き値に係る所定のパラメータを入力するパラメータ入力手段と、
スクリーン面のサンプリング点と、前記所定のパラメータに基づいて設定されるカメラ位置と、を通る視線直線を算出し、前記奥行き値同士の区間の中で前記視線直線が通る区間である通過区間のいずれか1つを採用区間とし、前記採用区間における第1方向側の奥行き値である第1奥行き値、及び、前記第1方向とは異なる第2方向側の奥行き値である第2奥行き値のうち、より奥を示す方の位置を参照位置とする参照位置特定手段と、
前記第1奥行き値及び前記第2奥行き値の位置にそれぞれ対応する前記ラベル画像の第1ラベル値及び第2ラベル値が異なる場合に、前記参照位置が隠れ面であると判定する隠れ面判定手段と、
して機能させるためのプログラム。 - 請求項7に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011055878A JP5782761B2 (ja) | 2011-03-14 | 2011-03-14 | 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011055878A JP5782761B2 (ja) | 2011-03-14 | 2011-03-14 | 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012195626A true JP2012195626A (ja) | 2012-10-11 |
JP5782761B2 JP5782761B2 (ja) | 2015-09-24 |
Family
ID=47087168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011055878A Active JP5782761B2 (ja) | 2011-03-14 | 2011-03-14 | 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5782761B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06265322A (ja) * | 1993-03-11 | 1994-09-20 | Canon Inc | 複数画像からの視差検出方法 |
JPH10191396A (ja) * | 1996-12-26 | 1998-07-21 | Matsushita Electric Ind Co Ltd | 中間視点画像生成方法および視差推定方法および画像伝送方法 |
JP2001004370A (ja) * | 1999-06-23 | 2001-01-12 | Fuji Photo Film Co Ltd | 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 |
JP2001359119A (ja) * | 2000-06-15 | 2001-12-26 | Toshiba Corp | 立体映像生成方法 |
JP2011044828A (ja) * | 2009-08-19 | 2011-03-03 | Fujifilm Corp | 立体画像生成装置、立体画像プリント装置、及び立体画像生成方法 |
JP2012039331A (ja) * | 2010-08-06 | 2012-02-23 | Dainippon Printing Co Ltd | 視差画像作成装置、視差画像作成方法、プログラム及び記憶媒体 |
-
2011
- 2011-03-14 JP JP2011055878A patent/JP5782761B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06265322A (ja) * | 1993-03-11 | 1994-09-20 | Canon Inc | 複数画像からの視差検出方法 |
JPH10191396A (ja) * | 1996-12-26 | 1998-07-21 | Matsushita Electric Ind Co Ltd | 中間視点画像生成方法および視差推定方法および画像伝送方法 |
JP2001004370A (ja) * | 1999-06-23 | 2001-01-12 | Fuji Photo Film Co Ltd | 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法 |
JP2001359119A (ja) * | 2000-06-15 | 2001-12-26 | Toshiba Corp | 立体映像生成方法 |
JP2011044828A (ja) * | 2009-08-19 | 2011-03-03 | Fujifilm Corp | 立体画像生成装置、立体画像プリント装置、及び立体画像生成方法 |
JP2012039331A (ja) * | 2010-08-06 | 2012-02-23 | Dainippon Printing Co Ltd | 視差画像作成装置、視差画像作成方法、プログラム及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP5782761B2 (ja) | 2015-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4052331B2 (ja) | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 | |
US9153032B2 (en) | Conversion method and apparatus with depth map generation | |
US9159135B2 (en) | Systems, methods, and computer program products for low-latency warping of a depth map | |
JP4966431B2 (ja) | 画像処理装置 | |
CN107274476B (zh) | 一种阴影图的生成方法及装置 | |
WO2019135979A1 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
KR102492971B1 (ko) | 3차원 이미지를 생성하기 위한 방법 및 장치 | |
US20090219383A1 (en) | Image depth augmentation system and method | |
CN103426163A (zh) | 用于渲染受影响的像素的***和方法 | |
CN107358645B (zh) | 产品三维模型重建方法及其*** | |
TW201921318A (zh) | 用於產生場景之舖磚式三維影像表示之設備及方法 | |
KR20080047673A (ko) | 입체영상 변환 장치 및 그 방법 | |
TW202025080A (zh) | 用於圖形處理之方法及裝置 | |
CN108062339B (zh) | 可视化图表的处理方法及装置 | |
JP7476511B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP5782761B2 (ja) | 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体 | |
JP5807569B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2019149112A (ja) | 合成装置、方法及びプログラム | |
JP6235926B2 (ja) | 情報処理装置、生成方法、プログラム及び記録媒体 | |
KR20220128406A (ko) | 멀티뷰 스타일 전이 시스템 및 방법 | |
JP2012039331A (ja) | 視差画像作成装置、視差画像作成方法、プログラム及び記憶媒体 | |
JP2013027023A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5994320B2 (ja) | 奥行き制作支援装置、奥行き制作支援方法、及びプログラム | |
CN112106115A (zh) | 估计用于增强现实的光的方法及其电子设备 | |
JP2015103960A (ja) | 画像奥行き指定方法、プログラム、および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140708 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5782761 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |