JP4966431B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4966431B2
JP4966431B2 JP2011503687A JP2011503687A JP4966431B2 JP 4966431 B2 JP4966431 B2 JP 4966431B2 JP 2011503687 A JP2011503687 A JP 2011503687A JP 2011503687 A JP2011503687 A JP 2011503687A JP 4966431 B2 JP4966431 B2 JP 4966431B2
Authority
JP
Japan
Prior art keywords
pixel
depth
value
disparity
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011503687A
Other languages
English (en)
Other versions
JPWO2011033673A1 (ja
Inventor
山 賢 一 下
島 直 三
田 雄 志 三
田 孝 井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Application granted granted Critical
Publication of JP4966431B2 publication Critical patent/JP4966431B2/ja
Publication of JPWO2011033673A1 publication Critical patent/JPWO2011033673A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、2次元画像から3次元表示用の画像を生成する画像処理装置に関するものである。
特願2008-504887号公報（特許文献1）に開示された3次元画像の生成方法ではまず、移動物体を含む2次元画像中から移動物体の検出と追跡を行う。そして、検出位置に標準テンプレートを設定し、検出物体の大きさやコントラストを有する線によって補正を行うことにより、画像を検出物体を含む前景部分と背景部分に分離する。前景・背景にそれぞれ奥行きモデルを与え、これにより3次元画像を生成する。
特願2008-504887号公報
しかしながら、特願2008-504887号公報（特許文献1）の方法では、2次元画像中で画像中のエッジなど線の情報を利用してセグメントを行うため、実際の3次元情報と一致するのはオブジェクトの周辺部だけであるという問題がある。またセグメント後に、奥行きモデルを与えるという方式は、与えた奥行きモデルが必ずしも3次元情報と一致しないため、3次元画像にしたときに画質が著しく悪くなってしまう場合があるという問題がある。
本発明は、2次元画像からより高品質の3次元画像を生成することができる画像処理装置を提供する。
本発明の一態様としての画像処理装置は、入力画像内のオブジェクトを検出する検出部と、画素の奥行き値を記述する少なくとも１つのデプステンプレートのうち、検出された前記オブジェクトの種類に対応するデプステンプレートを選択し、前記入力画像内での前記検出されたオブジェクトの位置に従って選択されたデプステンプレートをデプスマップ上に配置することにより、前記入力画像における画素毎の奥行き値を記述する前記デプスマップを生成するデプスマップ生成部と、前記デプスマップ内の少なくとも１つの注目画素と、周辺画素の重みを、前記注目画素に対応する前記入力画像内の対応注目画素の画素値と、前記周辺画素に対応する前記入力画像内の対応周辺画素の画素値との関係から算出し、注目画素の前記奥行き値と前記周辺画素の前記奥行き値との前記重みの重み付き和から前記注目画素の奥行き値を補正する補正部と、前記補正部により補正されたデプスマップと前記入力画像とに基づき複数の視差画像を生成する画像生成部と、を備える。
本発明により、2次元画像からより高品質の3次元画像を生成することができる。
実施例1に係る画像処理装置の構成例を示す。 実施例2に係る画像処理装置の構成例を示す。 実施例3に係る画像処理装置の構成例を示す。 実施例4に係る画像処理装置の構成例を示す。 デプステンプレートの一例を示す。 図5のデプステンプレートを3D表示した状態を示す。 マップ上にデプステンプレートを配置した例を示す。 視差ベクトルの算出方法を示す。 視差ベクトルを分割した左視差ベクトルおよび右視差ベクトルを示す。
以下、図面を参照して本発明の一実施形態を説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。
図1は、本実施例に係る画像処理装置の構成例を示す。
画像入力部10は、処理の対象となる2次元画像を入力する。入力された2次元画像は複数の画素の画素値を含む。画像入力部10は、あらゆる機器または媒体から入力画像を入力できる。例えば、画像入力部10は、HDDなどの記録媒体から画像データを入力してもよいし、ネットワークを介して接続された外部装置から画像データを入力してもよい。
オブジェクト検出部100は、入力画像を解析して、入力画像に含まれるオブジェクトおよびその位置を検出する。
デプステンプレート記憶部120は、オブジェクトの種類毎に、それぞれ対応するオブジェクトの各画素の奥行き値（デプス値）を記述したデプステンプレート20を記憶している。
デプスマップ生成部200は、オブジェクト検出部100で検出されたオブジェクトに応じたデプステンプレート20を記憶部120から読み出し、検出されたオブジェクトの位置に従って初期マップ上に当該デプステンプレート20を配置することにより、入力画像の各画素に対応する奥行き値を記述したデプスマップを生成する。
デプスマップ補正部（補正部）300は、デプスマップ上の各画素を注目画素として順次選択し、注目画素とその周辺画素で重み付き平滑化を行うことにより注目画素の奥行き値を補正する。注目画素および各周辺画素の重みは、注目画素に対応する入力画像の画素（対応注目画素）の画素値と、各周辺画素に対応する入力画像中の画素（対応周辺画素）の画素値との差に基づいて算出する。
3次元用画像生成部400は、入力画像と、補正されたデプスマップとから複数の視差画像（右眼用画像と左眼用画像）を生成する。生成した複数の視差画像は立体画像の表示に用いられる。たとえば複数の視差画像を時分割で交互に表示することで、観察者に立体画像を認識させることができる。観察者にはたとえば液晶メガネ等、専用メガネを装着させ、左右の液晶シャッターを各視差画像の表示に合わせて切り換えることで、左右の眼に交互に左眼用画像、右目用画像が入光され、これにより観察者は立体画像を認識することができる。以下、オブジェクト検出部100、デプステンプレート20、デプスマップ生成部200、デプスマップ補正部330、3次元用画像生成部400について詳細に説明する。以降の説明では以下の事項（1）〜（4）を前提とする。
（1）入力画像の左上隅を原点とし、横方向にx軸、縦方向にy軸を設定する。ただし、座標の設定方法はこれに限られるものではない。また入力画像の座標（x，y）の画素値をP（x，y）と表す。ここで画素値とは画像の明るさまたは色成分を表すものであればよく、例えば輝度や明度、特定の色チャンネルなどが該当する。
（2）デプスマップはマップの左上隅を原点とし、横方向にX軸、縦方向にY軸を設定する。ただし座標の設定方法はこれに限られるものではない。またマップの座標（X，Y）での画素値をZ（X，Y）と表す。このとき画素値は奥行き情報を表し、値が大きいほど奥行き（デプス）が大きいということになる。
（3）入力画像の座標とマップの座標は1対1に対応するようにしておく。特に記述しない限り、入力画像のサイズとマップのサイズは等しいものとし、入力画像の座標（x，y）とマップの座標（X，Y）は互いに対応するものとする。
（4）特に記述しない限り、入力画像の画素値を「画素値」と記述しその値域を[0,255]（0以上255以下）とする。さらに、デプスマップの画素値を「奥行き値」と記述し、その値域を[0,255]（0以上255以下）とする。
まずオブジェクト検出部100について述べる。
オブジェクト検出部100は、入力画像中から対象となるオブジェクトの全体または一部、およびその位置を検出する。検出対象となるオブジェクトは何種類でも良く、また、画像中に何個あっても良い。例えば人物全体、人物の一部（顔、手、足）、車両、植物等でもよく、また人物の顔の向きに応じてそれぞれを異なる種類のオブジェクトとして扱ってよい。以下では入力画像上の座標（x，y）で検出されたi番目のオブジェクトの入力画像上での位置をAi（x，y）と表す。
オブジェクトを検出する方法は一般に知られている方法を用いることができる。また、検出対象となるオブジェクトに応じて様々な方法を組み合わせて用いても良い。例えば検出対象オブジェクトを人物であるとした場合、人物の一部である顔を検出する顔検出手法を用いる方法が考えられる。例えば参考文献1（三田雄志，金子敏充，堀修、「顔検出に適した共起に基づくJoint Haar-like特徴」電子情報通信学会論文誌 D-II Vol.J89-D-II No.8 pp.1791-1801, 2006）で述べられた方法を用いることができる。この方法では、画像のHaar-like特徴から顔を検出し、詳細には顔を囲むように配置した矩形の位置と大きさを求めることができる。すなわち、顔の位置と大きさがわかる。また、検出に用いる辞書を変更することにより、顔の向きも検出可能となる。
次にデプステンプレート20について述べる。
デプステンプレート20は、オブジェクトの種類ごとに用意される。デプステンプレートはオブジェクトの実際の3次元形状の概略形状を表現したものである。具体的にはオブジェクトを検出したい方向から眺めたときに、その奥行きを画素値として2次元画像で表現したものがデプステンプレートである。例えば検出対象オブジェクトが人物の上半身である場合、デプステンプレートは図 5に示すようなものとなる。図5では奥行き値が小さい(黒に近い)ほど、奥行きが小さく、奥行き値が大きい（白に近い）ほど、奥行きが大きい。
図6は図5を3D（次元）表示したものである。デプステンプレートはこのような3次元の情報を有している。このようなデプステンプレートを検出したいオブジェクトの種類毎に1つ以上用意して、記憶部120に格納しておく。
次にデプスマップ生成部200について述べる。
デプスマップ生成部200は、オブジェクト検出部100で検出されたオブジェクトの位置Ai（x，y）に対応するマップ上の位置Bi（X，Y）に、検出したオブジェクトに応じたデプステンプレートを配置する。これによりデプスマップを生成する。
図7はある入力画像から人物を検出し、マップ（初期マップ）上にデプステンプレートを配置した例である。図 7(a)の入力画像からオブジェクト検出部100により人物の顔が検出され、その顔の左上隅は座標A1（x，y）である。このとき図 7(b)に示すように、人物の顔の左上隅に対応するデプスマップ上の位置B1（X，Y）に左上隅が位置するように該当するデプステンプレートを配置する。
ここで、複数のオブジェクトが検出されたことにより、デプスマップ上でデプステンプレートが重なってしまう場合がある。複数のデプステンプレートが重なってしまう座標に対する奥行き値の与え方は様々な方法が考えられる。例えば以下の（1）〜（6）の方法が考えられる。
（1）平均を用いる。すなわち、当該座標に重なった複数のデプステンプレートの当該座標における奥行き値の平均を用いる。
（2）最小値を用いる。すなわち、当該座標に重なったデプステンプレートの当該座標における奥行き値の最小値を用いる。
（3）重み付平均を用いる。当該座標に重なった複数のデプステンプレートの当該座標における奥行き値の重み付け平均を用いる。重みは、例えば奥行きが小さい値のテンプレートほど大きくする。
（4）中央値を用いる。すなわち、当該座標に重なったデプステンプレートの当該座標における奥行き値の中央値を用いる。
（5）オブジェクトの種類に順位をつけて、最も順位の高いオブジェクトに対応するテンプレートの奥行き値を用いる。同じ順位のオブジェクトが複数存在するときは、これらのオブジェクトに対して（1）〜（4）の方法を適用する。
ここで初期マップの各座標には初期値（基準値）が設定されているとする。基準値としては例えば最も奥行きが大きい基準値255（最も奥行きが大きい）を設定してもよい。デプステンプレートを配置した際は、テンプレートの奥行き値によって基準値は更新（上書き）される。または（1）〜（5）の方法に準じて、奥行き値を更新してもよい。
次に、デプスマップ補正部300について述べる。
デプスマップ補正部300は、デプスマップ上の注目画素D（X，Y）とその周辺画素で重み付き平滑化を行うことによりデプスマップを補正する。周辺画素は注目画素に対して距離が近い範囲内に存在する画素である。例えば、注目画素と特定の一定距離範囲の内に存在する画素を示す。
補正の際に用いる重みは、注目画素D（X,Y）に対応する入力画像中の対応注目画素C（x，y）とその周辺画素（対応周辺画素）の画素値の関係に従って設定する。重みは基本的に対応注目画素C（x、y）の画素値と対応周辺画素の画素値との差分に応じて設定する。例えば差分が小さいほど重みが大きく、差分が大きいほど重みが小さくなるように設定すればよい。
このようなデプスマップの補正のために例えばバイラテラルフィルタを用いることができる。バイラテラルフィルタを用いたデプスマップ補正は、補正後の奥行き値をZ’（X，Y）とすると、数式1で表すことができる。ここでkはフィルタの窓サイズである。
Figure 0004966431
例えば数式 1においてW1,W2にガウス分布を用いると以下のようになる。
Figure 0004966431
σ1、σ2はガウス分布の標準偏差である。W1は、対応注目画素と対応周辺画素との空間的な距離を評価する。W2は対応注目画素の画素値と、対応周辺画素の画素値との距離を評価し、値の差が小さいほど、明るさが近いことを意味する。数式1から、空間的な距離の差分が小さいほど重みが大きくされ、また画素値間の距離が近いほど重みが大きくされることが分かる。なおm=0,n=0は、注目画素自身を意味する。この場合、当然ながら、P(x,y)とP(x+m, y+n)の差分は0になる。数式１のZ’(X,Y)では、各周辺画素および注目画素の奥行き値の重み付き平均を算出している。
また、デプスマップの補正にεフィルタを用いることもできる。εフィルタを用いたデプスマップ補正は数式2で表すことができる。εフィルタの値の選択を入力画像に基づき行い、デプスマップ上でフィルタリングをする。
Figure 0004966431
W1,W2は以下のように設定すればよい。
Figure 0004966431
ここでkはフィルタの窓サイズ、εはεフィルタの閾値である。W2は、対応注目画素C(x,y)の画素値P(x,y)と対応周辺画素C(x＋m、y＋n)の画素値P(x＋m、y＋n)との差分が閾値より大きければ1、閾値以下であれば0をとる。従って、差分が閾値以下のときは周辺画素の重みが大きくされ、差分が閾値より大きいときは周辺画素の重みが０にされるとともに注目画素に対する重みが大きくされる。なお、m=0,n=0は、注目画素自身を意味する。このように設定された重みに従って、各周辺画素および注目画素の奥行き値の重み付き平均を算出する。具体的には各周辺画素に対してそれぞれ選択された奥行き値と注目画素の奥行き値の平均を計算する。ここではW1は常に1としたが、W1にガウス分布などを用いることも可能である。
また、デプスマップの補正に中央値フィルタを用いることもできる。対応注目画素と対応周辺画素の中で中央値を探索し、画素値が中央値に一致するときはその画素値の画素に対応するデプスマップ上の画素を選択するようにフィルタリングをする。中央値はフィルタの窓範囲で求める。中央値フィルタの場合、数式 １の重みW1、W2を以下の数式 3のように設定すればよい。
Figure 0004966431
W2は、対応周辺画素C(x＋m、y＋n)の画素値P(x＋m、y＋n)が中央値に一致するときは１、一致しないときは０をとる。これは、中央値が複数個あった場合にその平均をとるようにするためである。 また、W2の重みを0,1ではなく、中央値との差分が小さい画素値をもつ画素（対応注目画素または対応周辺画素）ほど重みが大きくなるように設定して、重み付き中央値フィルタとして設定してもよい。
次に、3次元用画像生成部400について述べる。
3次元用画像生成部400は、補正されたデプスマップをディスパリティ（視差）変換部410で、ディスパリティマップに変換し、ディスパリティマップと入力画像とから視差画像生成部420で視差画像を生成する。
まずディスパリティ変換部410について述べる。
ディスパリティ変換部410は、デプスマップにおける各画素の奥行き値zから各画素の視差ベクトル（ディスパリティ値）を求め、各画素の視差ベクトルを記述したディスパリティマップを生成する。ここで視差ベクトルとは入力画像をどれくらい動かして視差画像を生成するかを表す。このようにしてディスパリティ変換部410はデプスマップをディスパリティマップに変換する。
以下、奥行き値zから視差ベクトルdを求める方法を説明する。
視差ベクトルｄは、図8に示すように、右目と左目と対象物とを結んだ三角形と、画面上での視差（右視差および左視差）と対象物とで形成される三角形との相似性を利用して算出する。ここで以下のパラメータz,d,b,zs,z0,Lzを定義する。
Figure 0004966431
b,zs,z0,Lzは任意の値を設定しておく。
奥行き値zは上述したように0-255の範囲であり、0が一番手前、255が一番奥を表している（図8では下側の横点線が0、上側の横点線が255に対応する）。ただしこの値はあくまで仮想的なものであり、実際の距離とは異なる。
そこで実空間での奥行きサイズ Lzを用いて、デプス1単位あたりの実空間上の距離を算出すると以下のように表すことができる。Zmaxは奥行き値の最大値であり、ここではZmax=255である。
Figure 0004966431
従って、画面から対象物までの距離は以下のように表すことができる。
Figure 0004966431
立体視のパラメータb,zs,z0,Lz は、提供したい立体視に基づいて任意に決定できる。例えば、実際の画面の位置に従ってzs(画面までの距離)を決定し、画面からの飛び出しを大きくしたい場合にはz0(飛び出し距離)を大きくする。また実空間での奥行きの深さはLzによって決定できる。
立体視のパラメータが決まれば、上記した2つの三角形の相似を利用して、以下の数式（奥行き視差ベクトル変換モデル）により、奥行き値zから視差ベクトルdを算出できる。
Figure 0004966431
dの単位は実空間上の距離（cm）であるため、ピクセル（pixel）単位に変換する必要がある。これは以下の式により表される。
Figure 0004966431
以上のようにして、ディスパリティ変換部410は、デプスマップにおける各画素のそれぞれについて奥行き値zから視差ベクトルを求め、各画素のそれぞれに対する視差ベクトルを記述したディスパリティマップを生成する。
次に、視差画像生成部420について述べる。
視差画像生成部420は、入力画像とディスパリティマップから、生成したい枚数分の視差画像を生成する。
たとえば図9に示すように、入力画像が左目・右目の中間の視点から得られたものであるとすると、左視差画像と右視差画像は、視差ベクトルdpixel を-1/2と1/2に分割した下記の左右の視差ベクトルから生成できる。
Figure 0004966431
より詳細に、左視差画像は入力画像の画素値P(x,y)をdLに従って移動させることにより生成できる。右視差画像は入力画像の画素値P(x,y)をdRに従って移動させることにより生成できる。単純に移動しただけでは穴が空いてしまう可能性もあるので、穴の領域には周辺の視差ベクトルから補間して映像を埋めればよい。ここでは2視差の場合を例に挙げたが、多視差の場合も同様に処理すればよい。
以上、本実施例によれば、入力画像から検出したオブジェクトに応じたデプステンプレートを配置してデプスマップを生成し、デプスマップにおける注目画素の奥行き値を、入力画像における対応注目画素と対応周辺画素の画素値間の距離に基づいて決定される周辺画素に対する重みに基づき補正する。これにより入力画像の実際の３次元情報に適合したデプスマップを高コントラストで（例えばエッジをぼかすことなく）得ることができ、よって高品質な立体画像を視認させることが可能な視差画像を生成することができる。
図2は、本実施例に係る画像処理装置の構成例を示す。画像入力部10は、処理の対象となる2次元画像を入力する。
オブジェクト検出部101は、入力画像に含まれるオブジェクトと、その種類、位置、大きさ、向きを検出する。
記憶部120は、オブジェクトの種類毎に、それぞれ対応するオブジェクトの各画素の奥行き値を持つデプステンプレート20を記憶する。
デプステンプレート修正部500は、オブジェクト検出部101で検出されたオブジェクトの種類に応じたデプステンプレートを記憶部120から読み出し、当該オブジェクトの大きさ、向きに応じてデプステンプレートを修正する。
デプスマップ生成部200は、オブジェクト検出部100で検出されたオブジェクトの位置に基づいて、デプステンプレート修正部500で修正されたデプステンプレートをマップ上に配置することによりデプスマップを生成する。
デプスマップ補正部300は、デプスマップ上の各画素を注目画素として選択し、注目画素とその周辺画素で重み付き平滑化を行うことにより注目画素の奥行き値を補正し、これによりデプスマップを補正する。補正の方法は実施例1と同様の方法を用いることができる。
記憶部130は、何らかの手段で与えられる、入力画像に対応するデプスマップである他デプスマップ30を記憶する。
デプスマップ合成部600は、記憶部30から他デプスマップ30を読み出し、他デプスマップ30を、デプスマップ補正部300で補正されたデプスマップと合成する。
3次元用画像生成部400は、デプスマップ合成部600で合成されたデプスマップと、入力画像とから視差画像を生成する。
以下では、オブジェクト検出部101、デプステンプレート修正部500、他デプスマップ情報30、デプスマップ合成部600についてさらに詳細に説明する。
オブジェクト検出部101について述べる。
オブジェクト検出部101は、入力画像中から対象となるオブジェクトの全体または一部の位置、大きさ、向きを検出する。またオブジェクトの種類を検出する。大きさと向きを検出するという点以外は、実施例1のオブジェクト検出部100の動作と同様である。
デプステンプレート修正部500について述べる。
デプステンプレート修正部500は、検出されたオブジェクトの大きさおよび向きに応じて、記憶部120から読み出したデプステンプレートを修正する。オブジェクトの大きさ、向きに応じてすべてのテンプレートを用意すると、その量は大きなものとなってしまう。そこで、オブジェクトの検出情報から、事前に用意されているデプステンプレートに修正を加える。
検出されたオブジェクトのサイズと、用意しているデプステンプレートのサイズが異なる場合、デプステンプレートのサイズを拡大縮小してやればよい。拡大縮小は一般に知られている方法でよい。また、検出されたオブジェクトの向きと、用意しているデプステンプレートの向きが異なる場合、デプステンプレートの向きを変更してやればよい。向きの変更は一般に知られているモーフィング手法などを用いて行えばよい。
他デプスマップ30について述べる。
他デプスマップ30とは、他の手段などで与えられる入力画像に関するデプスマップのことである。この他デプスマップ30は、例えば、全体の構図などから背景の構図デプスなどを記述した他デプスマップが考えられる。また、動画像などの処理の場合、tフレーム前の画像に用いたデプスマップなどを他デプスマップとして用いることが考えられる。
デプスマップ合成部600について述べる。
デプスマップ合成部600は、デプスマップ補正部300で補正されたデプスマップと他デプスマップ30とを合成する。合成する他デプスマップは何種類あっても良い。
合成の方法はさまざま考えられるが、基本的に各デプスマップの対応する画素同士で合成してやればよい。各画素においての合成方法は、例えば以下の方法が考えられる。
（1）各画素の奥行き値の平均値を用いる。
（2）各画素の奥行き値のうちの最大値を用いる。
（3）各画素の奥行き値のうちの最小値を用いる。
（4）各画素の奥行き値の重み付け平均を用いる。重みは、例えば奥行きが小さいほど大きくする。
（5）各画素の奥行き値の中央値を用いる。
以上、本実施例2によれば、デプステンプレートを配置して得たデプスマップを、他デプスマップと合成する場合であっても、高コントラストを実現するデプスマップを得ることができ、これにより高品質な立体画像を視認させることが可能な視差画像を生成することができる。
図3は、本実施例に係る画像処理装置の構成例を示す。
画像入力部10は、処理の対象となる2次元画像を入力する。
オブジェクト検出部100は、入力画像からオブジェクトと、その種類、位置を検出する。
記憶部140は、オブジェクトの種類毎に、それぞれ対応するオブジェクトの各画素のディスパリティ値（視差値）を記述したディスパリティテンプレート40を記憶する。
ディスパリティマップ生成部700は、オブジェクト検出部100で検出されたオブジェクトの種類に応じたディスパリティテンプレート40を記憶部40から読み出し、検出されたオブジェクトの位置に応じて、ディスパリティテンプレート40をマップ上に配置することによりディスパリティマップを生成する。
ディスパリティマップ補正部（補正部）800では、ディスパリティマップ上の各画素を注目画素として選択し、注目画素とその周辺画素で重み付き平滑化を行うことにより注目画素のディスパリティ値を補正し、これによりディスパリティマップを補正する。この際注目画素および各周辺画素の重みは、注目画素に対応する入力画像の画素（対応注目画素）の画素値と、各周辺画素に対応する入力画像中の画素（対応周辺画素）の画素値との差に応じて算出する。
3次元用画像生成部400は、入力画像と、補正されたディスパリティマップとから視差画像を生成する。
以下では、ディスパリティテンプレート40、ディスパリティマップ生成部700、ディスパリティマップ補正部800、3次元用画像生成部400についてさらに詳細に説明する。
以下の説明においては、ディスパリティマップはマップの左上隅を原点とし、横方向にX軸、縦方向にY軸を設定するとする。座標の設定方法はこれに限られるものではない。さらに、ディスパリティマップの座標（X，Y）での画素値（ディスパリティ値）をd（X，Y）と表す。入力画像の座標とディスパリティマップの座標は1対1対応するようにしておく。また、特に記述しない場合入力画像のサイズとマップのサイズは等しいものとし、入力画像の座標（x，y）とマップの座標（X，Y）は対応するものとする。
ディスパリティテンプレート40について述べる。
ディスパリティテンプレート40は、オブジェクトの種類毎に用意され、該当する種類のオブジェクトのディスパリティ（視差）値を持っている。ディスパリティテンプレート40は、デプステンプレート20を図1のディスパリティ変換部410と同様の処理で変換することで取得可能である。
ディスパリティマップ生成部700について述べる。
ディスパリティマップ生成部700は、図1のデプスマップ生成部200と同様に、オブジェクト検出部101で検出されたオブジェクトの位置Ai（x，y）と対応するディスパリティマップ上の位置Bi（X，Y）に、検出されたオブジェクトの種類に応じたディスパリティテンプレートを配置することでディスパリティマップを生成する。
ディスパリティマップ補正部800について述べる。
ディスパリティマップ補正部800は、図1のデプスマップ補正部300と同様に、ディスパリティマップ上の注目画素E（X，Y）とその周辺画素で重み付き平滑化を行いディスパリティマップを補正する。このとき用いる重みは、注目画素Eに対応する入力画像中の対応注目画素C（x，y）と対応周辺画素（周辺画素に対応する入力画像中の画素）の画素値の分布に従って設定する。重みは基本的に対応注目画素と対応周辺画素の画素値の差分に応じて設定する。例えば差分が小さいほど重みを大きくし、差分が大きいほど重みを小さくするように設定すればよい。
ディスパリティマップの補正には、実施例１と同様に例えばバイラテラルフィルタを用いることができる。この場合、ディスパリティマップの補正は、補正後のディスパリティ値をd’（X，Y）とすると、数式6により表すことができる。
Figure 0004966431
 となる。ここでkはフィルタの窓サイズである。
例えば数式6においてW1,W2にガウス分布を用いると
Figure 0004966431
 となる。
また、εフィルタ、重みつきεフィルタ、中央値フィルタ、または重みつき中央値フィルタを用いることもできる。各フィルタの補正方法の詳細は実施例１の説明を参照されたい。
3次元用画像生成部400について述べる。
3次元用画像生成部400は、視差画像生成部420において、ディスパリティマップ補正部800で得られたディスパリティマップと、入力画像とから、実施例1と同様にして、視差画像を生成する。
以上、本実施例によれば、入力画像から検出したオブジェクトに応じたディスパリティテンプレートを配置してディスパリティマップを生成し、ディスパリティマップにおける注目画素のディスパリティ値を、入力画像における対応注目画素と対応周辺画素の画素値間の距離に基づいて決定される周辺画素に対する重みに基づき補正する。これにより、入力画像の実際の３次元情報に適合したディスパリティマップを高コントラストで（例えばエッジをぼかすことなく）得ることができ、よって高品質な立体画像を視認させることが可能な視差画像を生成することができる。
図4は、本実施例に係る画像処理装置の構成例を示す。
画像入力部10は、処理の対象となる2次元画像を入力する。
オブジェクト検出部101は、入力画像からオブジェクトと、その種類、位置、大きさ、向きを検出する。
記憶部140は、オブジェクトの種類毎にディスパリティテンプレート40を記憶する。
ディスパリティテンプレート修正部900は、ブジェクト検出部101で検出されたオブジェクトの種類に応じたディスパリティテンプレート40を記憶部140から読み出し、そのディスパリティテンプレート40を、検出されたオブジェクトの大きさ、向きなどに応じて修正する。
ディスパリティマップ生成部700は、オブジェクト検出部101で検出されたオブジェクトの位置と種類との少なくとも前者に応じて、ディスパリティテンプレート修正部900で修正されたディスパリティテンプレートをマップ上に配置することによりディスパリティマップを生成する。
ディスパリティマップ補正部800は、ディスパリティマップ上の注目画素とその周辺画素で重み付き平滑化を行いディスパリティマップを補正する。処理の詳細は実施例3と同様である。
記憶部150は、何らかの手段で与えられる入力画像に対応するディスパリティマップである他ディスパリティマップ50を記憶する。
ディスパリティマップ合成部910は、ディスパリティマップ補正部800で補正されたディスパリティマップと他ディスパリティマップ50とを合成する。
3次元用画像生成部400は、入力画像と、補正されたディスパリティマップとから視差画像を生成する。
以下では、ディスパリティテンプレート修正部900、ディスパリティマップ生成部700、他ディスパリティマップ50、ディスパリティマップ合成部910、3次元用画像生成部400についてさらに詳細に説明する。
ディスパリティテンプレート修正部900について述べる。
ディスパリティテンプレート修正部900は、図2のデプステンプレート修正部500と同様に、検出されたオブジェクトの大きさおよび向きに応じて、ディスパリティテンプレートを修正する。修正する方法はデプステンプレート修正部500と同様の方法を用いることができる。
ディスパリティマップ生成部700について述べる。
ディスパリティマップ生成部700は、図2のデプスマップ生成部200と同様に、オブジェクト検出部101で検出されたオブジェクトの位置Ai（x，y）と対応するディスパリティマップ上での位置Bi（X，Y）に、ディスパリティテンプレート修正部900により修正されたディスパリティテンプレートを配置する。
他ディスパリティマップ50について述べる。
他ディスパリティマップ50は、他の手段で与えられる入力画像に関するディスパリティマップである。他ディスパリティマップ50としては、例えば、全体の構図などから背景の構図ディスパリティなどを用いることができる。また、動画像などの処理の場合、tフレーム前の画像に用いたディスパリティマップなどを用いることができる。
ディスパリティマップ合成部910について述べる。
ディスパリティマップ合成部910は、ディスパリティマップ補正部800で補正されたディスパリティマップと、他ディスパリティマップ50とを合成する。合成する他ディスパリティマップは何種類あっても良い。また、合成の方法は図2のデプスマップ合成部600の処理と同様の方法を用いることができる。
3次元用画像生成部400について述べる。
3次元用画像生成部400は、視差画像生成部420において、ディスパリティマップ合成部910で生成されたディスパリティマップと、入力画像とから視差画像を生成する。
以上、本実施例4によれば、ディスパリティテンプレートを配置して得たディスパリティマップを、他ディスパリティマップと合成する場合であっても、高コントラストを実現するディスパリティマップを得ることができ、これにより高品質な立体画像を視認させることが可能な視差画像を生成することができる。

Claims (7)

  1. 入力画像内のオブジェクトを検出する検出部と、
    画素の奥行き値を記述する少なくとも１つのデプステンプレートのうち、検出された前記オブジェクトの種類に対応するデプステンプレートを選択し、前記入力画像内での前記検出されたオブジェクトの位置に従って選択されたデプステンプレートをデプスマップ上に配置することにより、前記入力画像における画素毎の奥行き値を記述する前記デプスマップを生成するデプスマップ生成部と、
    前記デプスマップ内の少なくとも１つの注目画素と、周辺画素の重みを、前記注目画素に対応する前記入力画像内の対応注目画素の画素値と、前記周辺画素に対応する前記入力画像内の対応周辺画素の画素値との関係から算出し、注目画素の前記奥行き値と前記周辺画素の前記奥行き値との前記重みの重み付き和から前記注目画素の奥行き値を補正する補正部と、
    前記補正部により補正されたデプスマップと前記入力画像とに基づき複数の視差画像を生成する画像生成部と、
    を備えた画像処理装置。
  2. 前記検出部は、前記オブジェクトの大きさおよび向きの少なくとも一方を検出し、
    前記デプスマップ生成部は、前記選択されたデプステンプレートを前記オブジェクトの大きさおよび向きの少なくとも一方に基づいて修正し、修正されたデプステンプレートを前記デプスマップ上に配置する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記補正部は、
    前記対応注目画素の画素値との差分が小さい前記対応周辺画素ほど、前記対応周辺画素に対応する周辺画素の重みが大きくなるように、前記周辺画素の重みを算出する
    ことを特徴とする請求項２に記載の画像処理装置。
  4. 前記補正部は、
    前記対応注目画素の画素値と前記対応周辺画素の画素値との差が、閾値より大きい対応周辺画素に対応する周辺画素の前記重みに０を割り当てると共に前記注目画素に対する前記重みを大きくする
    ことを特徴とする請求項1に記載の画像処理装置。
  5. 前記補正部は、
    前記対応注目画素と前記対応周辺画素の画素値のうち中央値を求め、前記対応周辺画素及び前記対応注目画素のうち、前記中央値に一致しない画素値を有する画素に対しては、前記重みに０を割り当て、前記中央値に一致する画素値を有する画素の前記奥行き値の平均を計算することにより、前記注目画素の奥行き値を補正する
    ことを特徴とする請求項1に記載の画像処理装置。
  6. 前記補正されたデプスマップと、特定の与えられた他のデプスマップとを合成するデプスマップ合成部をさらに備え、
    前記画像生成部は、合成されたデプスマップを用いて前記複数の視差画像を生成する
    ことを特徴とする請求項1に記載の画像処理装置。
  7. 入力画像内のオブジェクトを検出する検出部と、
    画素のディスパリティ値を記述する少なくとも１つのディスパリティテンプレートのうち、検出されたオブジェクトの種類に対応するディスパリティテンプレートを選択し、前記入力画像内での前記検出されたオブジェクトの位置に従って選択されたディスパリティテンプレートをディスパリティマップ上に配置することにより、前記入力画像における画素毎のディスパリティ値を記述する前記ディスパリティマップを生成するディスパリティマップ生成部と、
    前記ディスパリティマップ内の少なくとも１つの注目画素と、周辺画素の重みを、前記注目画素に対応する前記入力画像内の対応注目画素の画素値と、前記周辺画素に対応する前記入力画像内の対応周辺画素の画素値との関係から算出し、前記注目画素の前記ディスパリティ値と前記周辺画素の前記ディスパリティ値との前記重みの重み付き和から前記注目画素のディスパリティ値を補正する補正部と、
    前記補正部により補正されたディスパリティマップと、前記入力画像とに基づき複数の視差画像を生成する画像生成部と、
    を備えた画像処理装置。
JP2011503687A 2009-09-18 2009-09-18 画像処理装置 Expired - Fee Related JP4966431B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/066444 WO2011033673A1 (ja) 2009-09-18 2009-09-18 画像処理装置

Publications (2)

Publication Number Publication Date
JP4966431B2 true JP4966431B2 (ja) 2012-07-04
JPWO2011033673A1 JPWO2011033673A1 (ja) 2013-02-07

Family

ID=43758299

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011503687A Expired - Fee Related JP4966431B2 (ja) 2009-09-18 2009-09-18 画像処理装置

Country Status (4)

Country Link
US (1) US9053575B2 (ja)
JP (1) JP4966431B2 (ja)
CN (1) CN102428501A (ja)
WO (1) WO2011033673A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5627498B2 (ja) * 2010-07-08 2014-11-19 株式会社東芝 立体画像生成装置及び方法
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
JP2012186781A (ja) * 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
CN102884803A (zh) * 2011-05-11 2013-01-16 松下电器产业株式会社 图像处理装置、影像处理方法、程序、集成电路
JP5047381B1 (ja) * 2011-06-10 2012-10-10 シャープ株式会社 映像生成装置、映像表示装置、テレビ受像装置、映像生成方法及びコンピュータプログラム
EP2536160B1 (en) * 2011-06-14 2018-09-26 Samsung Electronics Co., Ltd. Display system with image conversion mechanism and method of operation thereof
KR101870764B1 (ko) * 2011-06-14 2018-06-25 삼성전자주식회사 영상 변환 메커니즘을 활용한 디스플레이 장치 및 그 동작 방법
JP2013058956A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP5785664B2 (ja) 2011-09-30 2015-09-30 インテル・コーポレーション 深度画像における人の頭部の検出
US20130094753A1 (en) * 2011-10-18 2013-04-18 Shane D. Voss Filtering image data
US9471988B2 (en) * 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
EP2786580B1 (en) * 2011-11-30 2015-12-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Spatio-temporal disparity-map smoothing by joint multilateral filtering
WO2013145554A1 (ja) * 2012-03-29 2013-10-03 パナソニック株式会社 画像処理装置及び画像処理方法
KR101356544B1 (ko) * 2012-03-29 2014-02-19 한국과학기술원 3차원 입체영상 생성 방법 및 장치
KR101889952B1 (ko) * 2012-06-18 2018-08-20 엘지디스플레이 주식회사 신뢰도 기반의 스테레오 매칭 방법 및 장치
JP5949314B2 (ja) * 2012-08-20 2016-07-06 株式会社日本自動車部品総合研究所 視差マップ生成装置および視差マップ生成装置用のプログラム
CN105007824B (zh) * 2012-12-28 2017-07-11 株式会社日立制作所 医用图像处理装置以及图像处理方法
JP2014220704A (ja) * 2013-05-09 2014-11-20 ソニー株式会社 画像処理装置および画像処理方法
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
JP6704700B2 (ja) * 2014-12-15 2020-06-03 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
US9998724B2 (en) * 2014-12-15 2018-06-12 Canon Kabushiki Kaisha Image processing apparatus and method for processing three-dimensional data that describes a space that includes physical objects
US10451714B2 (en) 2016-12-06 2019-10-22 Sony Corporation Optical micromesh for computerized devices
US10536684B2 (en) 2016-12-07 2020-01-14 Sony Corporation Color noise reduction in 3D depth map
US10178370B2 (en) 2016-12-19 2019-01-08 Sony Corporation Using multiple cameras to stitch a consolidated 3D depth map
US10181089B2 (en) 2016-12-19 2019-01-15 Sony Corporation Using pattern recognition to reduce noise in a 3D map
US10495735B2 (en) 2017-02-14 2019-12-03 Sony Corporation Using micro mirrors to improve the field of view of a 3D depth map
US10795022B2 (en) 2017-03-02 2020-10-06 Sony Corporation 3D depth map
US10979687B2 (en) * 2017-04-03 2021-04-13 Sony Corporation Using super imposition to render a 3D depth map
US10484667B2 (en) 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN110288543B (zh) * 2019-06-21 2021-11-30 北京迈格威科技有限公司 一种深度图像保边处理方法和装置
WO2021035746A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 图像处理方法、装置和可移动平台
CN113077504B (zh) * 2021-04-12 2021-11-12 中国电子科技集团公司第二十八研究所 基于多粒度特征匹配大场景深度图生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047027A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体
WO2004071102A1 (ja) * 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. 立体視用映像提供方法及び立体映像表示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5339386A (en) * 1991-08-08 1994-08-16 Bolt Beranek And Newman Inc. Volumetric effects pixel processing
US6947587B1 (en) * 1998-04-21 2005-09-20 Hitachi, Ltd. Defect inspection method and apparatus
US6868191B2 (en) * 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
US6633297B2 (en) * 2000-08-18 2003-10-14 Hewlett-Packard Development Company, L.P. System and method for producing an antialiased image using a merge buffer
US7113634B2 (en) 2001-07-31 2006-09-26 Canon Kabushiki Kaisha Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program
US7221809B2 (en) * 2001-12-17 2007-05-22 Genex Technologies, Inc. Face recognition system and method
CN1641702A (zh) * 2004-01-13 2005-07-20 邓兴峰 由平面图象设计立体图象的方法
EP1869639A2 (en) 2005-04-07 2007-12-26 Nxp B.V. Method and device for three-dimensional rendering
EP2005757B1 (en) * 2006-03-31 2016-08-24 Koninklijke Philips N.V. Efficient encoding of multiple views
US8411931B2 (en) * 2006-06-23 2013-04-02 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
US8416479B2 (en) * 2006-10-26 2013-04-09 Seereal Technologies S.A. Compact holographic display device
KR100803220B1 (ko) * 2006-11-20 2008-02-14 삼성전자주식회사 다중 파이프라인의 3차원 그래픽스 렌더링 방법 및 장치
US20090002368A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Method, apparatus and a computer program product for utilizing a graphical processing unit to provide depth information for autostereoscopic display
CN101398933B (zh) * 2008-10-17 2010-09-15 北京大学 一种从图像中恢复三维几何信息的方法
CN101404091B (zh) * 2008-11-07 2011-08-31 重庆邮电大学 基于两步形状建模的三维人脸重建方法和***
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
WO2010087955A1 (en) * 2009-01-30 2010-08-05 Thomson Licensing Coding of depth maps
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047027A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体
WO2004071102A1 (ja) * 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. 立体視用映像提供方法及び立体映像表示装置

Also Published As

Publication number Publication date
US9053575B2 (en) 2015-06-09
CN102428501A (zh) 2012-04-25
WO2011033673A1 (ja) 2011-03-24
JPWO2011033673A1 (ja) 2013-02-07
US20120069009A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
JP4966431B2 (ja) 画像処理装置
KR101956149B1 (ko) 이미지 사이의 광학 흐름의 효율적 결정
US9117295B2 (en) Refinement of depth maps by fusion of multiple estimates
US8655055B2 (en) Method, system and computer program product for converting a 2D image into a 3D image
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
JP2010510600A (ja) 画像の深度マップの生成
WO2012157540A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6610535B2 (ja) 画像処理装置および画像処理方法
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
WO2015188666A1 (zh) 三维视频滤波方法和装置
WO2012117706A1 (ja) 映像処理装置、映像処理方法、プログラム
JP4892113B2 (ja) 画像処理方法及び装置
KR20180030881A (ko) 동적 지역 해상도를 가진 가상/증강 현실 시스템
Bleyer et al. Temporally consistent disparity maps from uncalibrated stereo videos
CN107016730A (zh) 一种虚拟现实与真实场景融合的装置
JP6128748B2 (ja) 画像処理装置及び方法
CN106981100A (zh) 一种虚拟现实与真实场景融合的装置
JP5627498B2 (ja) 立体画像生成装置及び方法
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
CN103945206A (zh) 一种基于相似帧比较的立体图像合成***
KR101121979B1 (ko) 입체 영상 변환 방법 및 입체 영상 변환 장치
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
Islam et al. Warping-based stereoscopic 3d video retargeting with depth remapping
Seitner et al. Trifocal system for high-quality inter-camera mapping and virtual view synthesis
JP5857606B2 (ja) 奥行き製作支援装置、奥行き製作支援方法、およびプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120330

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees