JP2016054415A - 立体撮像装置および立体撮像プログラム - Google Patents
立体撮像装置および立体撮像プログラム Download PDFInfo
- Publication number
- JP2016054415A JP2016054415A JP2014179633A JP2014179633A JP2016054415A JP 2016054415 A JP2016054415 A JP 2016054415A JP 2014179633 A JP2014179633 A JP 2014179633A JP 2014179633 A JP2014179633 A JP 2014179633A JP 2016054415 A JP2016054415 A JP 2016054415A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- stereoscopic
- imaging
- image
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
【課題】観察者による立体像の融合が可能であり、かつ観察者に十分な立体感を感じさせることができる視差画像の生成が可能な立体撮像装置を提供する。
【解決手段】立体撮像装置は、2つの撮像部を用いて撮像を行うことにより生成された視差画像に含まれる被写体を抽出する抽出手段20,42と、視差画像間での被写体の視差量または被写体までの距離である判定用情報と視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、観察者による立体像の融合可否の判定を行う第1の判定手段60と、判定用情報と観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる被写体の立体感の判定を行う第2の判定手段50と、第1および第2の判定手段による判定結果に応じて、撮像部における撮像パラメータを制御する制御手段とを有する。
【選択図】図2
【解決手段】立体撮像装置は、2つの撮像部を用いて撮像を行うことにより生成された視差画像に含まれる被写体を抽出する抽出手段20,42と、視差画像間での被写体の視差量または被写体までの距離である判定用情報と視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、観察者による立体像の融合可否の判定を行う第1の判定手段60と、判定用情報と観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる被写体の立体感の判定を行う第2の判定手段50と、第1および第2の判定手段による判定結果に応じて、撮像部における撮像パラメータを制御する制御手段とを有する。
【選択図】図2
Description
本発明は、立体視可能な視差画像を生成する立体撮像装置に関する。
2つの視点から被写体を撮像することで生成された互いに視差を有する左眼用および右眼用の視差画像(以下、左右の視差画像という)を表示することで、観察者に立体画像を提示することができる。ただし、左右の視差画像の視差量が観察者による単一の立体像を融合(融像)できる限界、すなわち融合限界を超えると、観察者は左右の視差画像を二重像として認識してしまう。
従来、視差画像を表示する表示画面のサイズや観察者と表示画面間の距離である観察距離(視距離)を想定した上で、視差量が融合限界を超えないように、左右の視点からの撮像パラメータ(基線長や輻輳角)を被写体距離に応じて制御する方法が提案されている。また、特許文献1には、表示装置と一体となった立体撮像装置が開示されている。この立体撮像装置では、撮像により生成された左右の視差画像の視差量を算出し、該視差量と視差画像を表示する表示装置の表示条件(観察条件)とに基づいて立体像の再生奥行き位置を算出する。そして、この再生奥行き位置の情報に応じて、視差量が観察者の融合限界を超えないように基線長や輻輳角を調整する。
しかしながら、特許文献1にて開示された立体撮像装置では、観察者の融合限界のみに着目して、視差量が融合限界を超えないように基線長や輻輳角を調整するに留まり、観察者が感じる被写体の立体感については考慮されていない。つまり、たとえ観察者の融合限界に視差量を収めたとしても、観察者が感じる被写体の立体感が不十分であれば、良好な立体画像を提示できているとはいえない。
本発明は、観察者による立体像の融合が可能であるだけでなく、観察者に十分な立体感を感じさせることができる視差画像の生成が可能な立体撮像装置を提供する。
本発明の一側面である立体撮像装置は、撮像部を用いて撮像を行うことにより互いに視差を有する視差画像を生成する。該立体撮像装置は、視差画像に含まれる被写体を抽出する抽出手段と、視差画像間での被写体の視差量および撮像に際しての被写体までの距離のうち一方である判定用情報と、視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、観察者による立体像の融合可否を判定する第1の判定手段と、判定用情報と観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる被写体の立体感を判定する第2の判定手段と、第1および第2の判定手段による判定結果に応じて、撮像部における撮像パラメータを制御する制御手段とを有することを特徴とする。
また、本発明の他の一側面としての立体撮像プログラムは、撮像部を用いて撮像を行うことにより互いに視差を有する視差画像を生成する立体撮像装置のコンピュータに、視差画像に含まれる被写体を抽出させ、視差画像間での視差量および撮像に際しての前記被写体の距離のうち一方である判定用情報を取得させ、判定用情報と視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、観察者による立体像の融合可否を判定させ、判定用情報と観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、視差画像の観察において得られる被写体の立体感を判定させ、融合可否および立体感の判定結果に応じて、撮像部における撮像パラメータを制御させることを特徴とする。
本発明によれば、融合可否および立体感の判定結果に応じた撮像パラメータの制御により、被写体の十分な立体感を確保しつつ、観察者による立体像の融合が可能な視差画像を容易に生成することができる。
以下、本発明の実施例について図面を参照しながら説明する。
まず、具体的な実施例の説明に先立って、該実施例に共通する事項について説明する。各実施例の立体撮像装置は、互いに異なる左右の視点に配置された2つの撮像部(以下、左右のカメラという)により被写体を撮像して互いに視差を有する右眼用および左眼用の視差画像(以下、左右の視差画像という)を生成する。これら左右の視差画像を観察者に右眼と左眼を通して観察させることで立体画像(被写体の立体像)を提示することができる。
立体画像に関係するパラメータには、撮像に関する5つのパラメータ(以下、撮像パラメータという)と観察に関する3つのパラメータ(以下、観察パラメータという)とがある。5つの撮像パラメータは、左右のカメラの光軸間の距離である基線長と、撮像時における両カメラの焦点距離と、両カメラの撮像素子のサイズ(有効画素数)と、両カメラの光軸同士がなす角度(輻輳角)と、被写体までの距離(被写体距離)である。一方、3つの観察パラメータは、視差画像を表示する表示面のサイズと、表示面とこれに表示された視差画像を観察する観察者との距離である視距離と、表示面に表示する視差画像の位置を調整するためのオフセット量である。
輻輳角を変化させる(左右の光軸の交点である輻輳点を前後させる)ことにより立体感を制御する交差法もあるが、ここでは説明の簡略化のために左右カメラの光軸が平行となる平行法での立体感の制御について説明する。平行法での幾何学的理論は、輻輳角を変化させる方法に対しても、輻輳点までの距離を考慮することで成り立つ。任意の被写体を撮像するときの幾何学関係を図15(A)に、撮像により生成された視差画像を観察者に提示するときの幾何学関係を図15(B),(C)に示す。
図15(A)において、左右のカメラの主点位置の中間を原点とする。左右のカメラ(L_camera,R_camera)が並ぶ方向にx軸をおき、それに直交する方向にy軸をおく。高さ方向について説明の簡略化のために省略する。基線長は2wcである。左右のカメラの仕様は同一であり、撮像時の両カメラの撮影光学系の焦点距離をfとし、撮像素子の横幅をccwとする。任意の被写体Aの位置をA(x1,y1)とする。
左右のカメラの撮像素子上に形成される被写体Aの像の位置は、幾何学的に、被写体Aおよび主点位置を通る直線と撮像素子との交点となる。このため、撮像素子上での被写体Aの像の位置は撮像素子の中心を基準とすると、左右のカメラで異なる。この位置の差は被写体距離が長いほど小さくなり、無限遠では0になる。
図15(B)において、観察者の左右の眼(L_eye,R_eye)の中心を原点とし、左右の眼が並ぶ方向にx軸をおき、それに直交する方向にy軸をおく。左右の眼の間隔は2weである。観察者から視差画像が表示される表示面(screen)までの視距離はdsである。表示面の横幅はscwである。
表示面上には左右のカメラでの撮像により得られた左右の視差画像が互いにほぼ重複する表示領域に表示される。観察者が液晶シャッタメガネを装着して左眼用および右眼用のシャッタを交互に開閉することで立体観察を行う場合は、表示面に表示される左右の視差画像もそれに同期して高速で交互に切り替えられる。平行法による撮像によって得られた左右の視差画像をそのまま表示すると、表示面上には無限遠の被写体の画像ばかりが表示され、すべての被写体が表示面から飛び出すように表示されて好ましくない。このため、左右の視差画像の表示領域をx軸方向にずらして、表示面上での被写体距離を適当に調整する。この左右の視差画像の表示領域をずらす量がオフセット量(s)である。
オフセット量が0の場合に表示面に表示される左の視差画像Lの座標を(Pl,ds)とし、右の視差画像Rの座標を(Pr,ds)とするとき、オフセット量がsの場合のそれらの座標はL(Pl−s,ds)とR(Pr+s,ds)になる。
このような条件において観察される被写体Aの立体像は、左眼および左の視差画像を結んだ直線と右眼および右の視差画像を結んだ直線との交点の位置A′(x2,y2)に形成される。
A′(x2,y2)について幾何学的に詳細に説明する。被写体Aの像の左右のカメラの撮像素子の中心に対するずれ量を撮影視差量Plc,Prcとすると、これらは、
で表される。
撮像素子のサイズ(横幅ccw)と表示面のサイズ(横幅scw)との比を表示倍率mとすると、
m=scw/ccw
となり、撮影視差量Plc,Prcは表示面上では−m倍される。これを表示視差量Pl,Prとすると、
m=scw/ccw
となり、撮影視差量Plc,Prcは表示面上では−m倍される。これを表示視差量Pl,Prとすると、
で表される。
表示時に左右の視差画像に付加するオフセット量をsとすると、観察者が観察する被写体Aの立体像の位置A′(x2,y2)は、
となる。
同一の被写体距離の像は同一の平面上にて観察される。ここで、さらに説明の簡略化のために、被写体Aを軸上(x1=0)とすると、オフセット量が0のときの表示視差量は、
となる。オフセット量をsとしたときの立体像の位置A′は、図15(C)に示すように、左眼および左の視差画像を結んだ直線と右眼および右の視差画像を結んだ直線との交点の位置(0,y2)となる。
式(9)に式(7),(8)を代入して整理すると、
となる。
図15(C)に示すように、観察者が被写体Aの立体像を見込む角度をβとすると、βはその立体像が形成される位置までの距離y2と眼幅2weとから、
となる。y2に式(9)を代入すると、
となる。
ここで、図15(C)に示すように、観察者が表示面を見込む角度をαとすると、
となるので、α−βは、
となる。また、式(14)に式(7),(8)を代入して整理すると、
となる。このα−βがいわゆる相対視差量と呼ばれる指標である。この相対視差量の大きさが表示面と被写体Aの像との間の相対的な奥行き方向(y軸方向)での距離に対応する。従来の様々な研究から、人間は脳内でこの相対視差量を計算して奥行き方向での被写体の位置を認識していることが知られている。
次に、壁化について説明する。壁化とは、立体画像の観察時に任意の被写体と無限遠に位置する被写体に対して奥行き方向での区別がつかなくなる(相対的な立体感がなくなる)ことをいう。つまり、任意の被写体が無限遠の背景に対して張り付いているように観察される。
壁化は遠方の被写体に対して生じる現象であるので、まず無限遠の被写体について相対視差量を求める。無限遠に対する相対視差量は、平行法では、式(1),(2)から分かるように、視差量(Pl−Pr)が0となるため、
となる。
ここで、無限遠の被写体に対する有限距離の被写体の視差量は、式(16)から式(14)または式(15)を引いて以下のように求まる。
壁化が生じているときには、遠方の被写体は平面に見えるので、無限遠の被写体に対する視差量は0でなくてはならない。
発明者がフルHDの3Dテレビを用いて遠方の被写体の立体感を主観的に評価した結果、無限遠の被写体に対する視差量が3分未満のときには画像としては視差があってもほとんどの人(観察者)が視差を感じなくなることが分かった。式(17)および式(18)においては眼幅2weは関係がない。
そこで、このほとんどの人が視差、つまりは立体感を感じなくなる視差量を、許容視差下限値δtと定義する。式(17)または(18)とδtとを用いると、
または
となり、式(19)または式(21)を満足すれば壁化が発生せず、式(20)または式(22)を満足すると壁化が発生すると判定できる。
ここで、許容視差下限値δtを近距離の被写体であって人物のように奥行き方向に厚みのあるものに適用する。例えば、図16に示すように、近距離に位置する人物の顔における鼻の先端を近い側の被写体iとし、耳を遠い側の被写体jとする。被写体jに対する被写体iの視差量を求めるためには、式(17),(18)の導出と同様に被写体jに対する相対視差量から被写体iに対する相対視差量を引けばよいので、
となる。
発明者は基線長2wc以外の撮像パラメータと観察パラメータとを固定し、人物を被写体とする視差画像で検証した結果、壁化と同様に視差量が3分未満になると人物の顔の立体感がなくなることを確認した。これにより、許容視差下限値δtは、遠方の被写体の視差量だけではなく、近距離の被写体の視差量にも適用できることが分かった。つまり、式(23)または式(24)と許容視差下限値δtとを用いると、
または
となり、式(25)または式(27)を満足すれば、人物の顔が立体的に認識されて立体感があると判定できる。一方、式(26)または式(28)を満足すると、顔は平面的に認識されて立体感がないと判定できる。
また、式(22)を被写体距離y1について整理すると、
となり、壁化が発生する被写体距離y1を直接判定することができる。
さらに、図16に示したように、近距離に位置する人物の鼻の先端から耳までの厚みをΔとする。この厚Δみに対する視差量を求めるためには、式(14)に示した相対視差量α−βを被写体距離y1により微分することで視差量の被写体距離に対する感度を求め、これに厚みΔを乗ずればよい。
式(14)を微分すると、
となる。これに厚みΔを乗ずれば、該厚みの視差量となる。
厚みΔの被写体に対して立体感がなくなる被写体距離の判定を式で表すと、
となり、式(31)を満足すれば人物の顔は立体的に認識されて立体感があると判定でき、式(32)を満足すると顔は平面的に認識されて立体感がないと判定できる。
人物等の主被写体の視差量が式(26),式(28)または式(32)を満足し、背景である被写体(以下、背景被写体という)の視差量が式(19)または式(21)を満足するとき、背景被写体はその視差量が許容視差下限値δt以上であるので、立体的に見える。一方、主被写体は、その視差量が許容視差下限値δtより小さいので、立体的に見えない。これを、書き割り効果という。
また、背景被写体が式(20)または式(22)を満足する、つまりは壁化する条件で撮像を行い、かつ撮影倍率が被写体が実際の大きさよりも小さくなる条件で撮像を行ったときを考える。このときは、実際よりも小さな被写体(人物や車等)が立体に見え、この被写体を平面の背景に囲まれているように見える画像が得られる。これを箱庭効果という。
このように、壁化、書き割り効果および箱庭効果は、立体に見える画像と平面に見える画像とが1つの画像中に混在するときに脳が混乱して感じる感覚として定義することができる。このため、壁化、書き割り効果および箱庭効果は、許容視差下限値という評価値によって立体感を感じる視差と直接関連付けられる。このため、壁化、書き割り効果および箱庭効果が生じない良好な立体画像を提示するためには、視差画像を得るための撮像時や視差画像の観察時に、許容視差下限値を用いて撮像パラメータを制御したり観察パラメータを調整したりすることが望ましい。
また、良好な立体画像の提示を妨げる要因として、壁化、書き割り効果および箱庭効果に加えて、式(14)または式(15)により得られる相対視差量が、観察者が左右の視差画像を融合できる限界である融合限界を超えることが挙げられる。
ここで、融合限界について説明する。図15(C)において、実際の視差画像は表示面上に表示されるが、観察者は被写体Aがy2の位置に存在すると認識する。すなわち、実際に表示面に表示される画像と観察者が認識する立体像のそれぞれに対する観察者の眼のピント状態が異なっている。言い換えれば、観察者の左右の眼の輻輳位置(寄り眼状に両眼を向けている位置)とそれらの眼がピントを合わせている位置とにずれが生じている。このずれが大きくなると、観察者は左右の視差画像から単一の立体像を認識できなくなり、左右の視差画像を二重像として認識する。観察者が左右の視差画像から単一の立体像を融合できる相対視差量の上限値を融合限界値ξとするとき、観察者が立体像を認識できる相対視差量の範囲は、
または
と表すことができる。
また、撮像時に奥行き方向のうち最もカメラの近くに位置する被写体の立体像は観察時には最も観察者に近い位置に融合(再生)され、撮像時に同方向のうち最もカメラから離れて位置する被写体の立体像は観察時にも観察者から最も離れた位置に融合される。つまり、視差画像内の全ての被写体を融合限界以下の範囲(以下、融合可能範囲という)内に収めるためには、最もカメラの近くに位置する被写体と最もカメラから離れて位置する被写体に関して評価すればよい。最もカメラの近くに位置する被写体(最近被写体)をnとし、最もカメラから離れて位置する被写体(最遠被写体)をfとして、それらの被写体距離(最大距離と最小距離)をそれぞれy1n,y1fとすると、全ての被写体を融合可能範囲内に収める条件は、
と表すことができる。融合限界値ξは、観察者の個人差があるものの、一般的にはおよそ2度(絶対値)である。さらに、観察者が快適に立体像を認識できる相対視差量の絶対値はおよそ1度であると言われている。
相対視差量が融合限界値ξを超えると、左右の視差画像は二重像として認識されてしまうため、良好な立体画像を提示するためには、この融合限界も考慮して撮像パラメータを制御したり観察パラメータを調整したりする必要がある。
各実施例では、観察者に対して良好な立体画像を提示できる視差画像を生成するために、視差画像間での視差量および撮像に際しての被写体距離のうち一方である判定用情報を用いて、観察者による立体像の融合可否を判定する。また、判定用情報と許容視差下限値とを用いて立体感を判定する。そして、これら融合可否および立体感の判定結果に応じて、少なくとも1つの撮像パラメータを制御する。
以下、具体的な実施例について説明する。
図1には、実施例1である立体撮像装置の構成を示している。本実施例の立体撮像装置は、被写体を左右の2つの視点から2つの撮像部100,200により撮像することで左右の視差画像を生成する際に、被写体の十分な立体感を確保しつつ視差量が融合可能範囲内に収まるように撮像パラメータを制御する。これにより、観察者が十分な立体感を感じることができる良好な立体画像を提示可能な視差画像を生成する。
101は右の撮影光学系であり、絞り101aとフォーカスレンズ101bを含む。201は左の撮影光学系であり、絞り201aとフォーカスレンズ201bを含む。左右の撮影光学系201,101の光軸間の距離、すなわち基線長は、一般には65mm程度が好適であるが、本実施例ではこの基線長を変更することが可能である。また、左右の撮影光学系201,101は変倍レンズを含んでおり、該変倍レンズを移動させることで焦点距離の変更も可能である。
102は右の撮像素子であり、202は左の撮像素子である。左右の撮像素子202,201はそれぞれ、左右の撮影光学系201,101により形成された被写体像(光学像)を電気信号に変換する。各撮像素子は、CCDセンサまたはCMOSセンサにより構成される2次元イメージセンサである。右の撮影光学系101および右の撮像素子102により右の撮像部(2つの撮像部のうち一方)100が構成され、左の撮影光学系201および左の撮像素子202により左の撮像部(2つの撮像部のうち他方)200が構成される。
103は右のA/D変換器、203は左のA/D変換器である。左右のA/D変換器203,103は、左右の撮像素子202,102から出力されるアナログ出力信号をデジタル信号に変換して画像処理部104に供給する。
画像処理部104は、左右のA/D変換器203,103からのデジタル信号に対して画素補間処理や色変換処理等の画像処理を行って左右の視差画像を生成する。また、画像処理部104は、左右の視差画像のうち少なくとも一方から被写体輝度の情報や左右の撮影光学系201,101の焦点状態(画像のコントラスト状態)を演算し、演算結果をシステムコントローラ106に供給する。画像処理部104の動作は、システムコントローラ106によって制御される。
立体画像処理部400は、画像処理部104により生成された左右の視差画像を取り込む。そして、これら視差画像における視差量を算出して該視差画像から得られる立体感を判定したり、視差画像における相対視差量が融合可能範囲内に収まっているが否かを判定したりする処理を行う。立体画像処理部400のより具体的な構成については後述する。
状態検知部107は、撮像パラメータ(基線長、焦点距離、撮像素子サイズ、輻輳角および被写体距離)の現在値である撮像状態を検出する。また、状態検出部107は、左右の撮影光学系201,101の絞り201a,101aの開口径やフォーカスレンズ201b,101bの位置等の現在の光学状態も検出する。そして、これら撮像状態および光学状態の情報をシステムコントローラ106に供給する。システムコントローラ106は、画像処理部104からの演算結果と状態検知部107からの光学状態の情報とに基づいて光学駆動部105を制御し、絞り201a,101aの開口径を変化させたりフォーカスレンズ201b,101bを移動させたりする。これにより、自動露出制御やオートフォーカスが行われる。また、システムコントローラ106は、光学駆動部105を制御して、撮像パラメータのうち左右の撮像部200,100の基線長や焦点距離を変更することもできる。
記録部108は、画像処理部104により生成された左右の視差画像を記録する。画像表示部600は、例えば液晶表示素子とレンチキュラーレンズとにより構成され、レンチキュラーレンズの光学作用によって液晶表示素子に表示された左右の視差画像をそれぞれ観察者の左右の眼に導くことで、立体画像の観察を可能とする。
次に、図2を用いて立体画像処理部400の構成について説明する。画像取得部10は、画像処理部104により生成された左右の視差画像を取得する。被写体抽出部20は、視差画像内の特定被写体(主被写体)を抽出する。観察条件入力部30は、画像表示部600に視差画像を表示して観察者に立体画像を観察させる際の観察パラメータを示す観察条件(画像表示部600の表示面のサイズ、視距離およびオフセット量)を取得する。
視差量算出部40は、基準画像選択部41と、対応点抽出部42と、最大/最小視差領域決定部43とを含む。基準画像選択部41は、左右の視差画像のうち一方の視差画像を視差量算出のための基準画像として、他方の視差画像を参照画像として選択する。
対応点抽出部42は、左右の視差画像間で互いに対応する画素としての対応点を複数組抽出する。対応点とは、左右の視差画像において同一被写体を撮像する画素である。視差量算出部40は、対応点抽出部42により抽出された複数組の対応点、つまりは複数組の対応する被写体の組ごとの視差量を算出する。最大/最小視差領域決定部43は、算出された視差量のうち最大値(最大視差量)と最小値(最小視差量)をそれぞれ有する画像領域である最大視差領域と最小視差領域を決定する。被写体抽出部20と対応点抽出部42はともに、抽出手段に相当する。
融合判定部60は、観察情報入力部30から取得した観察条件において、最大/最小視差領域決定部43にて決定された最大視差領域と最小視差領域の相対視差量が融合可能範囲内か否かを判定する。視差量算出部40および融合判定部60により第1の判定手段が構成され、融合判定部60により行われる判定を、以下、融合可否判定という。
立体感判定部50は、許容視差下限値取得部51を含む。許容視差下限値取得部51は、前述した許容視差下限値を取得する。立体感判定部50は、この許容視差下限値を用いて視差画像内の特定被写体に対する立体感の有無を判定する。視差量算出部40および立体感判定部50により第2の判定手段が構成され、立体感判定部50により行われる判定を、以下、立体感判定という。
次に、本実施例の立体撮像装置においてシステムコントローラ106および立体画像処理部400が行う処理について、図3のフローチャートを用いて説明する。制御用コンピュータとしてのシステムコントローラ(制御手段)106および画像処理用コンピュータとしての立体画像処理部400は、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理(動作)を行う。
まず、ステップS101において、ユーザ(撮影者)による撮像準備の開始を指示する操作を検知したシステムコントローラ106は、ユーザによる選択または設定に基づいて光学駆動部105を通して左右の撮影光学系201,101を制御する。また、システムコントローラ106は、左右の撮像素子202,102に、左右の撮影光学系201,101によってそれぞれ形成される被写体像を光電変換させる。そして、左右の撮像素子202,102からの出力をA/D変換器203,103を介して画像処理部104に転送し、画像処理部104に左右の視差画像を生成させる。立体画像処理部400(画像取得部10)は、画像処理部104から生成された左右の視差画像を取得する。
次に、ステップS102において、立体画像処理部400(被写体抽出部20)は、視差画像内の特定被写体を抽出(選択)する。被写体抽出部20は、例えば、ユーザが操作可能なタッチパネルやボタン等の入力インターフェースを通じて指定された被写体領域において、色等の特徴量やエッジ情報に基づいて特定被写体を抽出する。また、公知の顔認識技術を用いて主被写体としての人物を抽出することも可能である。さらに、任意に切り出した部分画像領域を基準画像(テンプレート画像)として登録し、視差画像内で該テンプレート画像と最も相関度が高い領域を抽出するテンプレートマッチングの手法を利用してもよい。テンプレート画像は、撮像時にユーザが登録してもよいし、事前に代表的な複数種類のテンプレート画像をメモリに記録させておき、その中からユーザに選択させるようにしてもよい。ここでは、例えば図16に示す実線で囲まれた人物を特定被写体(主被写体)として抽出するものとする。
次に、ステップS103において、立体画像処理部400(観察条件入力部30)は、画像表示部600からシステムコントローラ106を介して観察条件、すなわち表示面のサイズや視距離等の情報を取得する。ここでの観察条件には、表示画素数の情報も含んでもよい。観察条件の情報の取得は、ユーザに上述した入力インターフェースを用いて観察条件の情報を入力させることで行ってもよいし、想定される代表的な観察条件を予め登録しておき、その中からユーザに選択させることで行ってもよい。なお、ここまで説明したステップS101〜S103の順序を入れ替えてもよい。
次に、ステップS104において、立体画像処理部400(視差量算出部40)は、ステップS102で抽出された特定被写体の視差量を算出する。視差量算出部40は、まず基準画像選択部41に、左右の視差画像のうち一方を基準画像として、他方を参照画像として選択させる。次に、視差量算出部40は、対応点抽出部42に、基準画像と参照画像のそれぞれの複数箇所から複数組の対応点を抽出させる。
対応点の抽出手法について図4を用いて説明する。ここでは視差画像にX−Y座標系を設定する。この座標系では、図中の左側に示した基準画像301と右側に示した参照画像302において左上の画素を原点として定義し、水平方向にX軸を、垂直方向にY軸をとる。基準画像301中の画素(X,Y)の輝度をF1(X,Y)とし、参照画像302中の画素(X,Y)の輝度をF2(X,Y)とする。
基準画像301中の任意の画素(X,Y)(ハッチングして示す)に対応する参照画像302中の画素(同じくハッチングして示す)は、基準画像301における輝度F1(X,Y)と最も類似した輝度を有する参照画像302中の画素である。ただし、任意の画素と最も類似した画素を探すことは現実には難しいため、画素(X,Y)の近傍の画素も用いて、ブロックマッチングと称される手法により類似画素を探索する。
例えば、ブロックサイズが3である場合のブロックマッチング処理について説明する。基準画像301中の任意の1つの画素(X,Y)とその周辺の2つの画素(X−1,Y),(X+1,Y)からなる3つの画素の輝度値はそれぞれ、
F1(X,Y)
F1(X−1,Y)
F1(X+1,Y)
となる。これに対し、画素(X,Y)からX方向にk画素だけずれた参照画像302内の画素の輝度値はそれぞれ、
F2(X+k,Y)
F2(X+k−1,Y)
F2(X+k+1,Y)
となる。この場合に、基準画像301内の画素(X,Y)との類似度Eを、以下の式(36)により定義する。
F1(X,Y)
F1(X−1,Y)
F1(X+1,Y)
となる。これに対し、画素(X,Y)からX方向にk画素だけずれた参照画像302内の画素の輝度値はそれぞれ、
F2(X+k,Y)
F2(X+k−1,Y)
F2(X+k+1,Y)
となる。この場合に、基準画像301内の画素(X,Y)との類似度Eを、以下の式(36)により定義する。
この式(36)において、kの値を変更しながら類似度Eの値を計算する。そして、参照画像302のうち最も小さい類似度Eを与える参照画像中の画素(X+k,Y)が、基準画像301中の画素(X,Y)に対する対応点である。
なお、上記のようなブロックマッチング以外に、エッジ抽出等の他の方法を用いて対応点を抽出してもよい。
次に、視差量算出部40は、複数箇所にて抽出された複数組の対応点(対応被写体)のそれぞれの間の視差量(Pl−Pr)を算出する。具体的には、視差量算出部40は、まず前述した式(1),(2)を用いて対応点の座標での撮影視差量差Plc,Prcを算出する。次に、視差量算出部40は、表示倍率mを算出し、さらに式(3),(4)から左右の表示視差量Pl,Prを算出して視差量(Pl−Pr)を算出する。
次に、ステップS105おいて、立体画像処理部400(最大/最小視差領域決定部43)は、ステップS104で算出された複数組の対応点間の視差量のうち最大視差量を有する対応点を含む画像領域を最大視差領域として決定する。また、複数組の対応点間の視差量のうち最小視差量を有する対応点を含む画像領域を最小視差領域として決定する。式(14)から、視差量(Pl−Pr)の絶対値が大きければ観察時の相対視差量が大きくなるため、視差量(Pl−Pr)が最大および最小となる最大および最小視差領域を取得する。これら最大および最小視差領域の両方の視差量が融合限界値以下であれば、すなわち最大および最小視差領域が融合可能範囲内に収まれば、視差画像内の他の画像領域も当然に融合可能範囲内に収まる。このように、本実施例では、最大および最小視差量を有する画像領域のみについて融合可否判定を行うことにより左右の視差画像の全体(つまりは視差画像内の全ての被写体)が観察者にとって立体像として融合可能か否かを判定する。これにより、視差画像内のすべての画像領域について融合可否判定を行う場合に比べて、処理負荷を軽減することができる。
次に、ステップS106(融合可否判定ステップ)において、立体画像処理部400(融合判定部60)は、ステップS103にて取得した観察条件において左右の視差画像の最大および最小視差領域がともに融合可能範囲内に含まれるか否かを判定する。すなわち、融合可否判定を行う。具体的には、融合判定部60は、融合限界値ξと、ステップS105で決定された最大および最小視差領域の視差量(最大および最小視差量)と、ステップS103で取得した観察条件とを用いて、式(33)を満足するか否かを判定する。最大および最小視差量のいずれについても式(33)を満足する、つまりは最大および最小視差領域がともに融合可能範囲内に含まれる場合は、立体画像処理部400はステップS107に進む。一方、最大および最小視差量のうち少なくとも一方について式(33)を満足しない、つまりは最大および最小視差領域のうち少なくとも一方が融合可能範囲内に含まれない場合は、立体画像処理部400はステップS108に進む。
ステップS108において、システムコントローラ106は、最大および最小視差量の差である相対視差量(絶対値)を小さくすることで最大および最小視差領域の双方が融合可能範囲内に収まるように、基線長を短くする制御を行う。式(7),(8)を用いると、式(14)は、
と表すことができる。この式から、基線長wcが長いほど相対視差量の絶対値が大きくなり、逆に言えば基線長wcが短いほど相対視差量の絶対値も小さくなることが分かる。このため、システムコントローラ106は、光学駆動部105を通じて、撮像パラメータの1つである左右の撮影光学系201,101の基線長wcを現在の基線長よりも所定量だけ短くするように制御する。こうして基線長が短くされた後、融合判定部60は再びステップS106での融合可否判定を行い、最大および最小視差領域がともに融合可能範囲内に収まらなければ、システムコントローラ106は再びステップS108で基線長を所定量だけ短くする。このようにして、最大および最小視差領域がともに融合可能範囲内に収まるまで基線長の調整(減少)が行われた後、立体画像処理部400はステップS107に進む。
ステップS107(立体感判定ステップ)において、立体画像処理部400(立体感判定部50)は、ステップS104にて算出された視差量と許容視差下限値δtとを用いて、特定被写体に対する立体感の有無を判定する。すなわち、立体感判定を行う。具体的には、まず立体感判定部50は、許容視差下限値取得部51に許容視差下限値δtを取得させる。許容視差下限値δtは、前述したように、観察者のほとんどが立体感を感じなくなる視差量(例えば、3分)である。
次に、立体感判定部50は、特定被写体のうち立体感を評価する評価点を選択する。ここでは、例えば、図16に示した人物の鼻の先端を評価点iとし、耳を評価点jとして選択する。評価点の選択方法としては、ステップS104で算出された視差量のうち最大または最小視差量を有する画像領域内の被写体の一部を選択したり、ユーザが前述した入力インターフェースを用いて評価点を選択したりする方法を用いればよい。
次に、立体感判定部50は、許容視差下限値δtと、選択された評価点の視差量と、ステップS103で取得された観察条件の1つである視距離とを用いて、式(25)を満足するか否かを判定する。式(25)を満足する場合は、評価点i,jを含む特定被写体は観察者にとって立体感を感じることができるため、該特定被写体を立体感ありと判定する。逆に、式(25)を満足しない場合は、特定被写体は観察者にとって立体感を感じることができないため、該特定被写体を立体感なしと判定する。
なお、本実施例では、ステップS107において式(25)を用いて立体感判定を行うが、許容視差下限値δtは主観評価による統計量であるため、観察者によっては若干の差異が生じることがある。このため、以下の式(38)に示すように、立体感に対する観察者の個人差に応じた補正値Cにより判定閾値としての許容視差下限値δtを補正(変更)して立体感判定を行ってもよい。
ここで、補正値Cは、初期条件として不図示のメモリに記録された値を用いてもよいし、ユーザが上述した入力インターフェースを用いて入力してもよい。
ステップS107において被写体の立体感がないと判定された場合、システムコントローラ106は、被写体の立体感をより増加させるためにステップS110に進む。ステップS110では、システムコントローラ106は、光学駆動部105を通じて左右の撮影光学系201,101の基線長wcを所定量だけ長くする制御を行う。これは、式(23)で表される被写体の立体感が、左右の撮影光学系201,101の基線長wcが長くなるほど強くなるためである。
ただし、基線長を長くすると、最大/最小視差領域決定部43にて決定された最大および最小視差領域の視差量も大きくなり、最大および最小視差領域が融合可能範囲を外れる可能性がある。このため、再びステップS106において、融合判定部60は最大および最小視差領域に対して融合可否判定を行う。ここで融合可能範囲を外れていると判定された場合は、システムコントローラ106は、ステップS108において、ステップS107で基線長を長くした際の所定量よりも少ない量だけ基線長を短くする。そして、再びステップS106およびステップS107においてそれぞれ、融合判定部60および立体感判定部50が再度、融合可否判定および立体感判定を行う。こうして、全ての被写体が融合可能範囲内に収まり、かつ特定被写体の立体感があると判定されるまで、ステップS106〜108およびステップS110が繰り返される。
なお、ステップS110にて基線長が長くされた後にステップS106で融合可能範囲を外れていると判定された場合に、不図示のメモリに融合可能範囲を外れたときの基線長の値を記録しておき、その値以下になるよう基線長を再制御するとよい。これにより、効率的に基線長の制御を行うこともできる。
一方、ステップS107において特定被写体の立体感があると判定された場合は、すでにステップS106にて全被写体が融合可能範囲内に収まっていると判定されている。このため、この状態で撮像を行うことで、観察者が全被写体の立体像を融合でき(二重像として認識せず)、特定被写体の立体感を十分感じることが可能な左右の視差画像を生成できる。したがって、ステップS109において、システムコントローラ106は、そのような左右の視差画像を取得するためにステップS101と同様にして撮像を行い、画像表示部600に表示したり記録部108に記録したりする。ステップS101で取得した視差画像が、もともとその最大および最小視差領域(全被写体)が融合可能範囲内に収まり、かつ特定被写体の立体感もあると判定された場合は、ステップS101で取得した視差画像をそのまま表示または記録してもよい。
以上のように、本実施例によれば、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。
本実施例では、融合可否判定や立体感判定の結果に応じて左右の撮影光学系の基線長を変更することで立体感を調整する場合について説明した。しかし、基線長に加えて又は基線長に代えて、撮像パラメータの1つである左右の撮影光学系の焦点距離を変更してもよい。
本実施例では、融合可否判定や立体感判定の結果に応じて左右の撮影光学系の基線長を変更することで立体感を調整する場合について説明した。しかし、基線長に加えて又は基線長に代えて、撮像パラメータの1つである左右の撮影光学系の焦点距離を変更してもよい。
また、本実施例では、左右の撮影光学系の光軸が互いに平行に配置される平行法による撮像を行う場合について説明した。しかし、左右の撮影光学系の光軸が交差する交差法による撮像を行う場合についても、本実施例と同様な処理を行うことで良好な立体画像を得ることができる。交差法を用いる場合は、撮像パラメータの1つである左右の撮影光学系の光軸がなす角度(輻輳角)を変更することで、相対視差量を変え、これにより立体像の融合可能性や立体感を調整することができる。
さらに、本実施例では、融合可否判定後に立体感判定を行う場合について説明したが、これらの判定の順序を入れ替えてもよい。
これら焦点距離の変更、交差法での輻輳角の変更および判定順序に関しては、後述する他の実施例でも同じである。
次に、実施例2である立体撮像装置について図5を用いて説明する。本実施例の立体撮像装置の全体構成は、実施例1の立体撮像装置と同じであり、共通する構成要素には実施例1と同符号を付す。本実施例では、立体画像処理部400Aの構成が、実施例1における立体画像処理部400と異なる。具体的には、立体画像処理部400Aは、立体画像処理部400に判定閾値修正部70を追加した構成を有する。判定閾値修正部70は、必要に応じて、かつ許容される範囲で、融像可否判定に用いられる判定閾値としての融合限界値ξおよび立体感判定に用いられる判定閾値としての許容視差下限値δtのうち少なくとも一方を変更(修正)する。
本実施例の立体撮像装置においてシステムコントローラ106および立体画像処理部400Aが行う処理について、図6のフローチャートを用いて説明する。実施例1と同様に、システムコントローラ106および立体画像処理部400Aは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理(動作)を行う。
ステップS201〜ステップS207は、実施例1で説明したステップS101〜ステップS107と同じであるので、説明を省略する。本実施例では、ステップS206での融合可否判定で最大および最小視差領域のうち少なくとも一方が融合可能範囲外と判定された場合と、ステップS207での立体感判定で特定被写体の立体感がないと判定された場合は、次のステップS208での判定が行われる。ステップS207において立体感があると判定された場合は、システムコントローラ106はステップS209に進み、実施例1のステップS109と同様に左右の視差画像を取得するための撮像を行う。
ステップS208では、システムコントローラ106は、左右の撮影光学系201,101の基線長を変更(制御)することのみによって、最大および最小視差領域の双方を融合可能範囲内に収め、かつ特定被写体に立体感を生じさせる調整が可能か否かを判定する。調整が可能である場合は、システムコントローラ106は、ステップS210に進み、光学駆動部105を通じて基線長を制御する。具体的には、最大および最小視差領域の双方を融合可能範囲内に収めるためには基線長を短くする制御を行い、特定被写体の立体感をより増加させるためには基線長を長くする制御を行う。基線長を変更した後は、再びステップS206において融合判定部60が融合可否判定を行い、さらにステップS207において立体感判定部50が立体感判定を行う。
一方、ステップS208において調整が不可能である場合は、立体画像処理装置400A(判定閾値修正部70)は、ステップS211において、上記判定閾値(融合限界値ξおよび許容視差下限値δtのうち少なくとも一方)を修正する。ここでは、融合限界値ξを修正する場合について説明する。
前述したように融合限界値ξは一般的におよそ2度と言われているが、表示される視差画像に対して特殊な画像処理を行うことで、より大きな融合限界値を用いても問題がない場合がある。例えば、視差画像のうち最も立体感が強い画像領域にぼけを付加する画像処理を行うことで、許容される融合限界値ξを大きくすることができる。変更後の融合限界値は、ユーザが実施例1でも述べた入力インターフェースを介して取得してもよいし、予め想定される値をメモリに記録しておき、その値を取得してもよい。
判定閾値修正部70は、このようにして取得した新たな融合限界値を現在の融合限界値と置き換える。判定閾値修正部70は、同様にして、許容視差下限値δtを修正することもできる。
この後、ステップS206において、立体画像処理装置400A(融合判定部60)は、修正後の融合限界値ξを用いて融合可否判定を行う。さらに、ステップS207において、立体画像処理装置400A(立体感判定部50)は、許容視差下限値(修正された場合は修正後の値)δtを用いた立体感判定を行う。
以上のように、本実施例でも、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。しかも、本実施例では、融像可否判定および立体感判定のうち少なくとも一方のための判定閾値を、視差画像に対する画像処理に応じて変更することが許容されるので、該判定をより適切に行うことができ、視差画像の撮像条件の幅を広げることができる。
次に、実施例3である立体撮像装置について説明する。本実施例の立体撮像装置の全体構成は、実施例1の立体撮像装置と同じであり、共通する構成要素には実施例1と同符号を付す。ただし、本実施例は、図示はしないが、実施例1の立体画像処理部400とは異なる立体画像処理部400B(融合判定部60′、立体感判定部50′およびシステムコントローラ106′)を有する。
本実施例の立体撮像装置においてシステムコントローラ106′および立体画像処理部400Bが行う処理について、図7のフローチャートを用いて説明する。実施例1と同様に、システムコントローラ106′および立体画像処理部400Bは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理(動作)を行う。
ステップS301〜ステップS305は、実施例1で説明したステップS101〜ステップS105と同じであるので、説明を省略する。
ステップS305で最大および最小視差領域が決定されると、ステップS306の処理が行われる。ステップS306(融合可否判定ステップ)において、立体画像処理部400B(融合判定部60′)は、ステップS303にて取得した観察条件において最大および最小視差領域がともに融合可能範囲内に含まれるか否かを判定する。すなわち、融合可否判定を行う。
ここで、前述した式(33)において左辺の値が右辺の融合限界値ξに等しくなる、つまり、
が成立する場合は、最大および最小視差領域の視差量が融合限界値ξに一致する。融合判定部60′は、融合限界値ξと、ステップS305で決定された最大および最小視差領域の視差量(最大および最小視差量)と、ステップS303で取得した観察条件とを用いて、式(39)を満足するか否かを判定する。
式(39)を満足する場合は、最大および最小視差領域が融合可能範囲内と判定可能な限界にあると言える。このため、式(39)を満足する現在の状態での左右の撮影光学系201,101の基線長よりも基線長を長くすると、最大および最小視差領域が融合可能範囲を超えるため、基線長は現在の基線長以下に設定する必要があることが分かる。こうして融合判定部60′は、本ステップにおいて、まず基線長の最大値を算出する。
ステップS306において式(39)を満足する場合は、ステップS307の処理が行われる。ステップS306において式(39)を満足しない場合は、最大および最小視差領域の視差量が融合限界値ξよりも小さい又は大きいため、ステップS308の処理が行われる。なお、ステップS306の判定では、必ずしも式(39)の左辺の値が完全に融合限界値ξに一致する必要はない。すなわち、左辺の値が融合限界値ξを含む所定幅(例えば、±1.2倍の幅)内に入れば、左辺の値が融合限界値ξに一致するとみなすようにしてもよい。
ステップS308では、システムコントローラ106′は左右の撮影光学系201,101の基線長を制御する。ここでは、ステップ306において最大および最小視差領域の視差量が融合限界値ξよりも小さいと判定された場合と大きいと判定された場合のそれぞれに応じた基線長の制御を行う。最大および最小視差領域の視差量が融合限界値ξよりも小さいと判定された場合は、それらの視差量を大きくする必要があるため、システムコントローラ106′は、基線長を現在の基線長よりも長くする制御を行う。一方、最大および最小視差領域の視差量が融合限界値ξよりも大きいと判定された場合は、それらの視差量を小さくする必要があるため、システムコントローラ106′は、基線長を現在の基線長よりも短くする制御を行う。
この後、立体画像処理部400B(融合判定部60′)は、ステップS306において再度、融合可否判定を行う。このとき、まだ式(39)を満足しなければ、再びステップS308にてシステムコントローラ106′が基線長の制御を行い、式(39)を満足するまでステップS306とステップS308を繰り返す。
また、ステップS307(立体感判定ステップ)では、立体画像処理部400B(立体感判定部50′)は、ステップS304で算出された視差量と許容視差下限値δtを用いて、特定被写体の評価点i,j(図16参照)に対する立体感の有無を判定する。すなわち、立体感判定を行う。
ここで、前述した式(25)において左辺の値が右辺の値に等しくなる、つまり、
が成立すると、評価点i,jを含む特定被写体の視差量が許容視差下限値δtに一致する。立体感判定部50′は、許容視差下限値δtと、特定被写体の視差量と、ステップS303で取得された観察条件の1つである視距離とを用いて、式(40)を満足するか否かを判定する。式(40)を満足する場合は、特定被写体の視差量が、観察者が該特定被写体に対して立体感を感じることができる限界にあると言える。こうして立体感判定部50′は、左右の視差画像を融合可能範囲内に収めながらも、特定被写体に対して立体像として認識可能な視差量を与える。
一方、式(40)を満足しない場合は、特定被写体の視差量が許容視差下限値δtよりも大きい又は小さいため、ステップS310の処理が行われる。なお、ステップS307の判定では、必ずしも式(40)の左辺の値が完全に許容視差下限値δtに一致する必要はない。すなわち、左辺の値が許容視差下限値δtを含む所定幅(例えば、±1.2倍の幅)内に入れば、左辺の値が許容視差下限値δtに一致するとみなすようにしてもよい。
ステップS310において、システムコントローラ106′は、左右の撮影光学系201,101の基線長を制御する。ここでは、ステップ307において特定被写体の視差量が許容視差下限値δtよりも大きいと判定された場合と小さいと判定された場合のそれぞれに応じた基線長の制御を行う。特定被写体の視差量が許容視差下限値δtよりも大きいと判定された場合は、その視差量を小さくする必要があるため、システムコントローラ106′は、基線長を現在の基線長よりも短くする制御を行う。一方、特定被写体の視差量が許容視差下限値δtよりも小さいと判定された場合は、その視差量を大きくする必要があるため、システムコントローラ106′は、基線長を現在の基線長よりも長くする制御を行う。
この後、立体画像処理部400B(立体感判定部50′)は、ステップS307において再度、立体感判定を行う。このとき、まだ式(40)を満足しなければ、再びステップS310にてシステムコントローラ106′が基線長の制御を行い、式(40)を満足するまでステップS307とステップS310を繰り返す。
ステップS307において立体感があると判定された場合は、システムコントローラ106′はステップS309に進み、実施例1のステップS109と同様に左右の視差画像を取得するための撮像を行う。
以上のように、本実施例でも、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。
図8には、実施例4である立体撮像装置における立体画像処理部400Cの構成を示している。本実施例の立体撮像装置の全体構成は、実施例1の立体撮像装置と同じであり、共通する構成要素には実施例1と同符号を付す。
立体画像処理部400Cのうち、実施例1の立体画像処理部400と共通する画像入力部10、被写体抽出部20および観察条件入力部30については、実施例1と同符号を付して説明に代える。ただし、本実施例における被写体抽出部20は、実施例1のように特定被写体を抽出するだけではなく、左右の視差画像に含まれる他の被写体も抽出する。つまり、左右の視差画像に含まれる複数の被写体を抽出する。
距離情報取得部80は、被写体抽出部20において抽出された複数の被写体までの撮像に際しての距離(被写体距離)の情報を取得する。距離情報取得部80による被写体距離の情報の取得方法は特に限定されないが、例えば、不図示の投光部から被写体に対して補助光を照射し、被写体からの反射光を不図示の受光部で受光して三角測量を行うことで被写体距離を求めてもよい。また、超音波センサを用いて被写体に向かった超音波が被写体で反射して戻ってくるまでの時間(伝搬速度)から被写体距離を測定してもよい。また、これらのアクティブ型の測距ではなく、被写体からの光束を分割してラインセンサで受光して一対の像信号を生成し、該像信号の位相差から被写体距離を算出するパッシブ型の測距を行ったり、パッシブ型とアクティブ型を併用して測距を行ったりしてもよい。距離情報取得部80によって取得された被写体距離の情報は、融合可否判定および立体感判定に用いられる。
撮像条件入力部110は、実施例1(図1)に示した状態検知部107およびシステムコントローラ106を通じて、撮像に際しての撮像パラメータ(基線長、焦点距離、撮像素子サイズおよび輻輳角)である撮像条件を取得する。ただし、ここでの撮像条件には、距離情報取得部80により取得される被写体距離は含まない。
判定閾値算出部90は、融合判定部160および立体感判定部150のそれぞれにおいて融合可否判定および立体感判定を行う際に用いる判定閾値(これについては後述する)を算出する。
立体感判定部150は、許容視差下限値δtを取得する許容視差下限値取得部51を含み、この許容視差下限値δtを用いて左右の視差画像内の特定被写体に対する立体感の有無を判定する。融合判定部160は、観察条件入力部30から取得した観察条件において、左右の視差画像の全体が観察者にとって融合可能範囲内に含まれるか否かを判定する。
次に、本実施例の立体撮像装置においてシステムコントローラ106および立体画像処理部400Cが行う処理について、図9のフローチャートを用いて説明する。実施例1と同様に、システムコントローラ106および立体画像処理部400Cは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理(動作)を行う。
まずステップS401において、システムコントローラ106は、実施例1のステップS101と同様に、画像処理部104に左右の視差画像を生成させる。立体画像処理部400C(画像取得部10)は、画像処理部104から生成された左右の視差画像を取得する。
次に、ステップS402において、立体画像処理部400C(被写体抽出部20)は、実施例1のステップS102と同様に、視差画像内の特定被写体を抽出(選択)する。ここでも、図16に示す実線で囲まれた人物を特定被写体として抽出するものとする。また、被写体抽出部20は、特定被写体以外の他の被写体も抽出する。
次に、ステップS403において、立体画像処理部400C(撮像条件入力部110および観察条件入力部30)は、撮像条件および観察条件を取得する。撮像条件入力部110は、状態検知部107およびシステムコントローラ106を通じて上述した撮像条件を取得する。なお、状態検知部107を通じて取得した撮像条件の情報を一旦、立体撮像装置内の記録部108または不図示のメモリに記録し、撮像条件取得部110が記録された撮像条件のうち必要な情報を読み出すようにしてもよい。観察条件入力部30は、実施例1のステップS103と同様に観察条件を取得する。
次に、ステップS404において、立体画像処理部400C(距離情報取得部80)は、ステップS402にて抽出された複数の被写体のうち、視差画像における測距対象の画像領域(以下、測距領域という)内に含まれる複数の被写体の被写体距離を取得する。測距領域は、視差画像の全領域であってもよいし、一部の領域であってもよい。ここで取得された被写体距離は、融合可否判定および立体感判定を行う際に用いられる。融合可否判定には、視差画像(測距領域)内の被写体のうち立体撮像装置に対して最も近い最近被写体の被写体距離(最小距離)y1nと、最も遠い最遠被写体の被写体距離(最大距離)y1fとが用いられる。また、立体感判定には、ステップS402で選択された特定被写体の近い側と遠い側の部分(図16の評価点i,j)の被写体距離が用いられる。なお、ここまで説明したステップS401〜S404の順序を入れ替えてもよい。
次に、ステップS405において、立体画像処理部400C(判定閾値算出部90)は、最近被写体と最遠被写体(つまりは、これらを両端とする距離範囲内の全ての被写体:以下、単に全被写体ともいう)を融合可能範囲内に収めるために必要な基線長を算出する。式(35)を基線長wcについてまとめると、
と表すことができる。この式(41)の右辺の値を計算することで、全被写体を融合可能範囲内に収めるために必要な基線長を導出することができる。判定閾値算出部90は、ステップS403で取得した撮像条件および観察条件と、ステップS404で取得した被写体距離y1n,y1fと、融合限界値ξとを用いて、式(41)の右辺の値である基線長の上限値(以下、融合上限基線長という)を算出する。この融合上限基線長は、融合可否判定において判定閾値として用いられ、また基線長の制御を行う際に参照される。判定閾値算出部90は、融合上限基線長を記録部108または不図示のメモリに一時的に記録する。
次に、ステップS406(融合可否判定ステップ)において、立体画像処理部400C(融合判定部160)は融合可否判定を行う。具体的には、融合判定部160は、式(41)を満足するか否か、つまりはステップS403で取得された撮像条件のうち基線長(以下、撮像基線長という)wcがステップS405で算出された融合上限基線長以下であるか否かを判定する。式(41)を満足する場合は、全被写体が融合可能範囲内に収まっている。この場合は、ステップS407の処理が行われる。式(41)を満足しない場合は、全被写体のうち少なくとも一部の被写体が融合可能範囲内に収まっていない。この場合は、ステップS408の処理が行われる。
ステップS408において、システムコントローラ106は、最近被写体の視差量と最遠被写体の視差量との差である相対視差量(絶対値)を小さくして全被写体が融合可能範囲内に収まるように、基線長を短くする制御を行う。実施例1でも説明したように、式(37)から、基線長wcが長いほど相対視差量の絶対値が大きくなり、逆に言えば基線長wcが短いほど相対視差量の絶対値も小さくなることが分かる。このため、システムコントローラ106は、光学駆動部105を通じて、基線長wcを現在の基線長よりも所定量だけ短くするように制御する。こうして基線長が短くされた後、融合判定部60は再びステップS406での融合可否判定を行い、全被写体が融合可能範囲内に収まらなければ、システムコントローラ106は再びステップS408で基線長を所定量だけ短くする。このようにして、全被写体が融合可能範囲内に収まるまで基線長の調整(減少)が行われた後、立体画像処理部400CはステップS407に進む。
ステップS407において、立体画像処理部400C(判定閾値算出部90)は、観察者が特定被写体に対して立体感を感じるのに必要な基線長を算出する。
式(27)を基線長wcについてまとめると、
と表すことができる。また、式(31)を基線長wcについてまとめると、
と表すことができる。式(42)または式(43)の右辺の値を算出することで、観察者が評価点i,jを含む特定被写体または特定被写体の厚みΔに対して立体感を感じるのに必要な基線長(以下、立体感判定基線長という)を導出することができる。
このように本実施例では、立体感判定を、2つの被写体の距離(y1n,y1f)の情報を用いた式(42)に基づいて行ってもよいし、1つの被写体の距離(y1)とその被写体の厚みΔを用いた式(43)に基づいて行ってもよい。なお、厚みΔは、例えば図16中の評価点i,jの距離の差に相当するので、厚みΔを用いることは、これら評価点i,jの距離を用いることと等価である。
式(43)を用いて立体感判定を行う場合は、厚みΔの情報が必要となる。厚みΔとして、どのような被写体に対しても同一の値を用いて立体感判定を行ってもよいが、被写体ごとに異なる値を用いてもよい。被写体ごとに異なる値を用いる場合には、被写体を識別し、識別された被写体に対して特定の厚みΔを設定する必要がある。この場合は、例えば前述したテンプレートマッチング手法を利用して、予め用意された基準画像との比較によって被写体を識別し、メモリに予め記録された被写体ごとの厚みのデータから識別した被写体の厚みΔを読み出せばよい。より適切な厚みΔを設定するためには、より多くの基準画像や被写体に対する厚みのデータが必要になるが、これらのデータを保有するメモリは必ずしも立体撮像装置内に設けられている必要はない。例えば、外部に配置された記録装置から無線等の通信によって厚みΔを取得してもよい。
以下の説明では、式(42)を用いて立体感判定を行う場合について説明する。式(42)による立体感判定を行う場合には、判定閾値算出部90は、ステップS403で取得された撮像条件および観察条件と、ステップS404で取得した特定被写体の被写体距離と、許容視差下限値δtとを用いて、式(42)から立体感判定基線長を算出する。この立体感判定基線長は、上述したように立体感判定において判定閾値として用いられる。また、基線長の制御を行う際に参照される。このため、判定閾値算出部90は、この立体感判定基線長を記録部108または不図示のメモリに一時的に記録する。
次に、ステップS409(立体感判定ステップ)において、立体画像処理部400C(立体感判定部150)は、特定被写体に対する立体感の有無を判定する。まず立体感判定部150は、立体感を評価する評価点を選択する。ここでも、例えば、実施例1のステップS107で説明したのと同様に、図16に示した人物の鼻の先端を評価点iとし、耳を評価点jとして選択する。評価点の選択方法については、実施例1のステップS107で説明した方法を採ることができる。
次に、立体感判定部150は、式(42)を満足するか否か、すなわち上述した撮像基線長wcが立体感判定基線長以上か否かを判定する。式(42)を満足する場合は、観察者が評価点i,jを含む特定被写体に対して立体感を感じることができると判定する。式(42)を満足しない場合は、観察者が評価点i,jを含む特定被写体に対して立体感を感じることができないと判定する。
なお、本実施例では、ステップS409において式(42)を用いて立体感判定を行うが、許容視差下限値δtは主観評価による統計量であるため、観察者によっては若干の差異が生じることがある。このため、以下の式(44)に示すように、立体感に対する観察者の個人差に応じた補正値Cを用いて判定閾値を補正(変更)して立体感判定を行ってもよい。
ここで、補正値Cは、初期条件として不図示のメモリに記録された値を用いてもよいし、ユーザが上述した入力インターフェースを用いて入力してもよい。
ステップS409において特定被写体の立体感がないと判定された場合は、該特定被写体の立体感をより増加させる必要がある。このため、ステップS411において、システムコントローラ106は、光学駆動部105を通じて左右の撮影光学系201,101の基線長wcを所定量だけ長くする制御を行う。これは、式(23)で表される被写体の立体感が、左右の撮影光学系201,101の基線長wcが長くなるほど強くなるためである。
このとき、ステップS405において全被写体を融合可能範囲内に収めるための融合上限基線長が算出され、また注目している特定被写体に立体感を与えるための基線長の下限値である立体感判定基線長が算出されている。このため、システムコントローラ106は、これら融合上限基線長および立体感判定基線長を参照して式(42)(または式(44))および式(41)を満足するように基線長を制御する。このように基線長を制御することで、確実かつ効率的に良好な立体感を得ることが可能となる。
一方、ステップS409において特定被写体の立体感があると判定された場合は、すでにステップS406にて全被写体が融合可能範囲内に収まっていると判定されている。このため、この状態で撮像を行うことで、観察者が各被写体の立体像を融合でき(二重像として認識せず)、特定被写体の立体感を十分感じることが可能な左右の視差画像を生成できる。したがって、ステップS410において、システムコントローラ106は、そのような左右の視差画像を取得するためにステップS401(実施例1のステップS101)と同様にして撮像を行い、画像表示部600に表示したり記録部108に記録したりする。
なお、ステップS401で取得した視差画像が、もともと各被写体が融合可能範囲内に収まり、かつ特定被写体の立体感もあると判定された場合は、ステップS401で取得した視差画像をそのまま表示または記録してもよい。
以上のように、本実施例によれば、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。
なお、本実施例では、融合可否判定や立体感判定を基線長を用いて判定する場合について説明したが、焦点距離を用いて融合可否判定や立体感判定を行ってもよい。
焦点距離を用いて融合可否判定を行う場合は、式(41)を、
と変形すればよい。また、式(42)と式(43)をそれぞれ、
と変形すればよい。
これらの式(45)〜(47)を用いて融合可否判定および立体感判定を行うことで、焦点距離の制御による立体感の調整が可能である。前述した式(37)からも分かるように、立体感は焦点距離fが大きいほど増加し、逆に焦点距離fが小さくなるほど減少する。このため、焦点距離の制御によって立体感の調整が可能である。
また、本実施例における融合可否判定および立体感判定を行う判定式では、基線長または焦点距離という撮像パラメータを左辺とし、これを右辺の計算結果と直接比較するようにしている。しかし、式(27)や式(35)のように撮像パラメータや観察パラメータの値を代入した式(左辺)の値を求め、その値を許容視差下限値δtや融合限界値ξと比較することで判定を行ってもよい。
次に、実施例5である立体撮像装置について図10を用いて説明する。本実施例の立体撮像装置の全体構成は、実施例1(および実施例4)の立体撮像装置と同じであり、共通する構成要素には実施例1(および実施例4)と同符号を付す。本実施例では、立体画像処理部400Dにおける判定閾値算出部190が、実施例4における立体画像処理部400Cの判定部算出部90と異なる。具体的には、判定閾値算出部190は、該判定閾値算出部190が算出した判定閾値としての融合限界値ξおよび融合限界値ξを比較する判定閾値比較部191を有する。
本実施例の立体撮像装置においてシステムコントローラ106および立体画像処理部400Dが行う処理について、図11のフローチャートを用いて説明する。実施例1(および実施例4)と同様に、システムコントローラ106および立体画像処理部400Dは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理(動作)を行う。
ステップS501〜ステップS504は実施例4で説明したステップS401〜ステップS404と同じであるので、説明を省略する。
ステップS505において、立体画像処理部400D(判定閾値算出部190)は、融合可否判定および立体感判定にてそれぞれ用いられる判定閾値を算出する。具体的には、判定閾値算出部190は、ステップS503で取得した撮像条件と観察条件、ステップS504で取得した被写体距離および融合限界値ξを用いて、式(41)から融合上限基線長を算出する。また、判定閾値算出部190は、撮像条件、観察条件、特定被写体の被写体距離および許容視差下限値δtを用いて、式(42)または式(43)から立体感判定基線長を算出する。この際、式(44)のように、補正値Cを用いて補正した立体感判定基線長を算出してもよい。判定閾値算出部190は、算出した融合上限基線長および立体感判定基線長を、記録部108または不図示のメモリに一時的に記録する。
次に、ステップ506において、立体画像処理部400D(判定閾値比較部191)は、ステップS505で算出された融合上限基線長と立体感判定基線長を比較する。全被写体を融合可能範囲内に収めつつ、特定被写体の立体感を十分に得るためには、融合上限基線長を上限値とし、立体感判定基線長を下限値とした基線長可変範囲内にて基線長wcを制御すればよい。つまり、立体感判定基線長よりも融合上限基線長が長ければ、基線長可変範囲が成立し、この基線長可変範囲内での基線長の調整によって所望の立体画像を提示することができる。一方、立体感判定基線長よりも融合上限基線長が短ければ、基線長可変範囲が成立せず、基線長を調整しても、全被写体を融合可能範囲内に収めつつ、特定被写体の立体感を得ることができない。
このため、立体感判定基線長よりも融合上限基線長が長い(基線長可変範囲が成立する)場合は、ステップS507の処理が行われる。一方、立体感判定基線長よりも融合上限基線長が短い(基線長可変範囲が成立しない)場合は、ステップS508の処理が行われる。
ステップS508において、システムコントローラ106は、現在の撮像条件と観察条件では全被写体を融合可能範囲内に収めつつ、特定被写体の立体感を得ることができないため、ユーザ(撮影者)に対して撮像条件または観察条件を変更するように警告を行う。
警告は、例えば画像表示部600に警告メッセージを表示することで行うことができる。警告メッセージとともに、焦点距離や基線長をどのように調整すればよいか等のユーザに対するアドバイスを表示してもよい。また、警告を、音声等、他の手段で行ってもよい。
警告は、例えば画像表示部600に警告メッセージを表示することで行うことができる。警告メッセージとともに、焦点距離や基線長をどのように調整すればよいか等のユーザに対するアドバイスを表示してもよい。また、警告を、音声等、他の手段で行ってもよい。
警告に応じてユーザが撮像パラメータ(焦点距離や基線長)を調整すると、システムコントローラ106は、再びステップS501にて撮像を行い、左右の視差画像を取得する。
一方、ステップS507においては、基線長可変範囲内で全被写体を融合可能範囲内に収めつつ、特定被写体の立体感を得ることが可能な基線長の調整が可能である。このため、融合判定部60が融合可否判定、すなわち融合可否判定式である式(41)を満足するか否かの判定を行う。また、立体感判定部50が立体感判定、すなわち立体感判定式である式(42)(または式(44))または式(43)を満足するか否かの判定を行う。
融合可否判定式および立体感判定式の両方を満足する場合は、現在の基線長で全被写体が融合可能範囲内に収まり、特定被写体の立体感も得ることができていることになる。この場合は、ステップS509の処理が行われる。一方、融合可否判定式および立体感判定式のうち少なくとも一方を満足しない場合は、現在の基線長では全被写体の少なくとも一部が融合可能範囲内に収まっていないか、特定被写体の立体感が得られていないことになる。この場合は、基線長を変更する必要があるため、システムコントローラ106はステップS510に移行して基線長の制御を行う。基線長の制御については、実施例4においてステップS408およびステップS409で説明した通りである。
ステップS510で基線長の制御が行われるかステップS507で融合可否および立体感判定式の両方を満足した場合は、ステップS509において、システムコントローラ106は、実施例4のステップS409と同様に撮像を行って左右の視差画像を取得する。
以上のように、本実施例によれば、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。
図12には、実施例6である立体撮像装置における立体画像処理部400Eの構成を示している。本実施例の立体撮像装置の全体構成は、実施例1および実施例4の立体撮像装置と同じであり、共通する構成要素には実施例1,4と同符号を付す。
立体画像処理部400Eにおいて、実施例4の立体画像処理部400Cと共通する画像入力部10、被写体抽出部20、観察条件入力部30および撮像条件入力部110については、実施例4と同符号を付して説明に代える。ただし、本実施例における被写体抽出部20は、実施例4の被写体抽出部20とは異なり、視差画像内の特定被写体のみを抽出する。立体画像処理部400Eは、実施例4の立体画像処理部400Cに視差量算出部140を追加するとともに、実施例4の立体画像処理部400Cとは異なり、視差量から被写体距離を算出する距離情報取得部180を設けた構成を有する。
視差量算出部140は、基準画像選択部41と、対応点抽出部42とを有する。基準画像選択部41は、左右の視差画像のうち一方の視差画像を視差量算出のための基準画像として、他方の視差画像を参照画像として選択する。対応点抽出部42は、左右の視差画像間で互いに対応する画素としての対応点(左右の視差画像において同一被写体を撮像する画素)を複数組抽出する。視差量算出部140は、対応点抽出部42により抽出された複数組の対応点のそれぞれの間の視差量を算出する。対応点抽出部42および被写体抽出部20が、抽出手段に相当する。
距離情報取得部180は、視差量算出部140により算出された対応点の組ごとの視差量を用いて、それぞれの対応点(被写体)までの被写体距離を算出する。
本実施例の立体撮像装置においてシステムコントローラ106および立体画像処理部400Eが行う処理について、図13のフローチャートを用いて説明する。実施例1と同様に、システムコントローラ106および立体画像処理部400Eは、コンピュータプログラムとしての立体撮像プログラムに従って以下の処理(動作)を行う。
ステップS601〜ステップ603は、実施例1で説明したステップS101〜ステップS103と同じであるので、説明を省略する。
ステップS605において、立体画像処理部400E(視差量算出部140)は、ステップS602で抽出された特定被写体の視差量を算出する。視差量算出部140は、まず基準画像選択部41に、左右の視差画像のうち一方を基準画像として、他方を参照画像として選択させる。次に、視差量算出部140は、対応点抽出部42に、基準画像と参照画像のそれぞれの複数箇所から複数組の対応点を抽出させる。対応点の抽出手法については、実施例1のステップS104で説明した通りである。
次に、視差量算出部140は、複数箇所にて抽出された複数組の対応点のそれぞれの間の視差量(Pl−Pr)を算出する。視差量(Pl−Pr)の算出方法についても、実施例1のステップS104で説明した通りである。
次に、ステップS605おいて、距離情報取得部180は、視差量算出部140により算出された対応点、つまりは被写体の視差量(Pl−Pr)から被写体距離を算出する。式(1),(2)および式(3),(4)から、被写体距離y1は、
となる。式(48)を用いることで、視差量(Pl−Pr)から被写体距離y1を求めることができる。被写体距離を取得する画像領域は、視差画像の全領域であってもよいし、一部の領域であってもよい。ここで取得する被写体距離の情報は融合可否判定および立体感判定を行う際に用いられる。融合可否判定には、視差画像(測距領域)内の被写体のうち立体撮像装置に対して最も近い最近被写体の被写体距離(最小距離)y1nと、最も遠い最遠被写体の被写体距離(最大距離)y1fとが用いられる。また、立体感判定には、ステップS602で選択された特定被写体の近い側と遠い側の部分(図16の評価点i,j)の被写体距離が用いられる。なお、ここまで説明したステップS601〜S605の順序を入れ替えてもよい。
次に、ステップS606において、立体画像処理部400E(判定閾値算出部90)は、実施例4のステップS405と同様に、式(41)を用いて全被写体を融合可能範囲内に収めるために必要な基線長である融合上限基線長を算出し、さらに下限基線長を算出する。そして、判定閾値算出部90は、融合上限基線長および下限基線長を記録部108または不図示のメモリに一時的に記録する。
次に、ステップ607(融合可否判定ステップ)において、立体画像処理部400E(融合判定部60)は、実施例4のステップS406と同様に、融合可否判定(式(41)を満足するか否かの判定)を行う。式(41)を満足する場合は、全被写体が融合可能範囲内に収まっており、この場合はステップS608の処理が行われる。式(41)を満足しない場合は、全被写体のうち少なくとも一部の被写体が融合可能範囲内に収まっていない。この場合は、ステップS609の処理が行われる。
ステップS609において、システムコントローラ106は、実施例4のステップS408と同様に、最近被写体と最遠被写体の視差量の差である相対視差量(絶対値)を小さくして全被写体が融合可能範囲内に収まるように、基線長を短くする制御を行う。
一方、ステップS608において、立体画像処理部400E(判定閾値算出部90)は、実施例4のステップS407と同様に、観察者が立体感を感じるのに必要な基線長である立体感判定基線長を算出する。判定閾値算出部90は、この立体感判定基線長を記録部108または不図示のメモリに一時的に記録する。
次に、ステップS610(立体感判定ステップ)において、立体画像処理部400E(立体感判定部50)は、実施例1のステップS107と同様に、立体感判定を行う。すなわち、ステップS604で算出された特定被写体の視差量と許容視差下限値δtとを用いて、式(25)(または式(38))を満足するか否かを判定する。式(25)を満足する場合は、特定被写体は観察者にとって立体感を感じることができるため、該特定被写体を立体感ありと判定する。逆に、式(25)を満足しない場合は、特定被写体は観察者にとって立体感を感じることができないため、該特定被写体を立体感なしと判定する。
特定被写体の立体感がないと判定された場合は、被写体の立体感をより増加させる必要がある。このため、システムコントローラ106は、ステップS612において、光学駆動部105を通じて左右の撮影光学系201,101の基線長wcを所定量だけ長くする制御を行う。この際、実施例4のステップS411でも説明したように、システムコントローラ106は、融合上限基線長および立体感判定基線長を参照して式(42)(または式(44))および式(41)を満足するように基線長を制御する。
一方、特定被写体の立体感があると判定された場合はすでにステップS607にて全被写体が融合可能範囲内に収まっていると判定されている。このため、ステップS610において、システムコントローラ106は、左右の視差画像を取得するためにステップS601(実施例1のステップS101)と同様にして撮像を行い、画像表示部600に表示したり記録部108に記録したりする。なお、ステップS601で取得した視差画像が、もともと各被写体が融合可能範囲内に収まり、かつ特定被写体の立体感もあると判定された場合は、ステップS601で取得した視差画像をそのまま表示または記録してもよい。
以上のように、本実施例によれば、融合可否判定の結果および立体感判定の結果に応じた撮像パラメータの制御により、特定被写体の十分な立体感を確保しつつ、観察者による各被写体の立体像の融合が可能な視差画像を容易に生成することができる。
次に、実施例7について説明する。実施例1〜6では、互いに別々に構成された左右の撮像部(撮影光学系201,101および撮像素子202,102)間の距離を変化させることで基線長を変化させる場合について説明した。しかし、左右の撮像部を一体化した場合でも基線長を変化させることも可能である。
図14(A)〜(D)には、実施例7の立体撮像装置の一体化撮像部を示している。この一体化撮像部は、光軸方向に配置された複数のレンズ(フォーカスレンズや変倍レンズ)と、絞りの位置に配置された液晶シャッタ301と、マイクロレンズ302とを含む1つの撮影光学系300を有する。また、一体化撮像部は、撮影光学系300により形成される被写体像を光電変換する1つの撮像素子305を有する。
液晶シャッタ301は、その液晶への印加電圧による光透過率の制御によって、図14(A),(B)に示すように、左右に分離した透光部301a,301bと、その周囲の遮光部301cとを形成する。被写体から撮影光学系300に入射して液晶シャッタ301の開口301a,301bを通過した光束は、マイクロレンズ302に入射する。この際、右側の透光部301aを通過した光束は、マイクロレンズ302を通過することで撮像素子305のうち右画像用画素(図中の白い部分)に入射する。一方、左側の透光部301bを通過した光束は、マイクロレンズ302を通過することによって撮像素子305のうち左画像用画素(図中の黒い部分)に入射する。右画像用画素からの出力を用いて生成された右画像と、左画像用画素からの出力を用いて生成された左画像とは互いに視差を有する左右の視差画像となる。上述した複数のレンズと、液晶シャッタ301における右側の透光部301aと、マイクロレンズ302と、撮像素子305のうち右画像用画素とによって左右の2つの撮像部のうち右の撮像部が構成される。また、複数のレンズと、液晶シャッタ301における左側の透光部301bと、マイクロレンズ302と、撮像素子305のうち右画像用画素とによって左の撮像部が構成される。
液晶シャッタ301における透光部301a,301bが形成される位置を左右に移動させてこれらの間隔を変化させることで、撮影光学系300内で基線長を変化(増減)させることができる。図14(A),(B)は透光部301a,301bの間隔がaの状態を、図14(C),(D)は透光部301a,301bの間隔がaより短いbの状態をそれぞれ示している。
なお、本実施例では基線長を変化させるために液晶シャッタを用いる場合について説明したが、メカニカルシャッタを用いて光束が通過する開口の位置を機械的に変化させてもよい。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
100,200 撮像部
20 被写体抽出部
42 対応点抽出部
106 システムコントローラ
400 立体画像処理部
50,150 立体感判定部
60,160 融合判定部
20 被写体抽出部
42 対応点抽出部
106 システムコントローラ
400 立体画像処理部
50,150 立体感判定部
60,160 融合判定部
Claims (8)
- 撮像部を用いて撮像を行うことにより互いに視差を有する視差画像を生成する立体撮像装置であって、
前記視差画像に含まれる被写体を抽出する抽出手段と、
前記視差画像間での前記被写体の視差量および前記撮像に際しての前記被写体までの距離のうち一方である判定用情報と、前記視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、前記観察者による立体像の融合可否を判定する第1の判定手段と、
前記判定用情報と前記観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、前記視差画像の観察において得られる前記被写体の立体感を判定する第2の判定手段と、
前記第1および第2の判定手段による判定結果に応じて、撮像部における撮像パラメータを制御する制御手段とを有することを特徴とする立体撮像装置。 - 前記第1の判定手段は、前記視差画像に含まれる複数の前記被写体の視差量のうち最大視差量および最小視差量を用いて前記融合可否を判定することを特徴とする請求項1に記載の立体撮像装置。
- 前記第1の判定手段は、前記視差画像に含まれる複数の被写体までの距離のうち最大距離および最小距離を用いて前記融合可否を判定することを特徴とする請求項1に記載の立体撮像装置。
- 前記第1の判定手段は、前記被写体の視差量と、前記撮像に際しての撮像条件とを用いて前記被写体までの距離を算出することを特徴とする請求項3に記載の立体撮像装置。
- 前記第2の判定手段は、前記許容視差下限値または前記立体感を判定するための判定閾値を観察者の個人差に応じて変更することを特徴とする請求項1から4のいずれか一項に記載の立体撮像装置。
- 前記視差画像に対する処理に応じて、前記融合可否および前記立体感の判定のうち少なくとも一方のための判定閾値の変更を許容することを特徴とする請求項1から5のいずれか一項に記載の立体撮像装置。
- 前記制御手段は、前記撮像パラメータとして撮像部の基線長および焦点距離のうち少なくとも一方を制御することを特徴とする請求項1から6のいずれか一項に記載の立体撮像装置。
- 撮像部を用いて撮像を行うことにより互いに視差を有する視差画像を生成する立体撮像装置のコンピュータに、
前記視差画像に含まれる被写体を抽出させ、
前記視差画像間での視差量および前記撮像に際しての前記被写体の距離のうち一方である判定用情報を取得させ、
前記判定用情報と前記視差画像を観察する観察者が立体像を融合可能な視差量の上限値である融合限界値とを用いて、前記観察者による立体像の融合可否を判定させ、
前記判定用情報と前記観察者が立体感を感じる視差量の下限値である許容視差下限値とを用いて、前記視差画像の観察において得られる前記被写体の立体感を判定させ、
前記融合可否および前記立体感の判定結果に応じて、撮像部における撮像パラメータを制御させることを特徴とするコンピュータプログラムとしての立体撮像プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014179633A JP2016054415A (ja) | 2014-09-03 | 2014-09-03 | 立体撮像装置および立体撮像プログラム |
US14/840,560 US20160065941A1 (en) | 2014-09-03 | 2015-08-31 | Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014179633A JP2016054415A (ja) | 2014-09-03 | 2014-09-03 | 立体撮像装置および立体撮像プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016054415A true JP2016054415A (ja) | 2016-04-14 |
Family
ID=55404091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014179633A Pending JP2016054415A (ja) | 2014-09-03 | 2014-09-03 | 立体撮像装置および立体撮像プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20160065941A1 (ja) |
JP (1) | JP2016054415A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018169517A (ja) * | 2017-03-30 | 2018-11-01 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、撮像モジュールおよび撮像装置の制御方法 |
JP7098321B2 (ja) * | 2017-12-28 | 2022-07-11 | キヤノン株式会社 | 光学機器及び光学機器の制御方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5840022B2 (ja) * | 2012-02-17 | 2016-01-06 | キヤノン株式会社 | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 |
-
2014
- 2014-09-03 JP JP2014179633A patent/JP2016054415A/ja active Pending
-
2015
- 2015-08-31 US US14/840,560 patent/US20160065941A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20160065941A1 (en) | 2016-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5963422B2 (ja) | 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム | |
JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
TW201234838A (en) | Stereoscopic display device and control method of stereoscopic display device | |
JP5840022B2 (ja) | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 | |
JP2006208407A (ja) | 立体画像観察用顕微鏡システム | |
JP2002232913A (ja) | 複眼カメラ及び立体視画像観察システム | |
WO2011070774A1 (ja) | 3d映像処理装置および3d映像処理方法 | |
KR101821141B1 (ko) | 3차원 영상 시스템 및 그 영상 재생 방법 | |
CN103339948B (zh) | 3d视频再现装置、3d成像装置和3d视频再现方法 | |
JP2012257105A (ja) | 立体画像取得装置 | |
CN107155102A (zh) | 3d自动对焦显示方法及其*** | |
JP5347987B2 (ja) | 映像処理装置 | |
JP2016054415A (ja) | 立体撮像装置および立体撮像プログラム | |
JP2014135714A (ja) | 立体映像信号処理装置及び立体映像撮像装置 | |
US9124866B2 (en) | Image output device, method, and recording medium therefor | |
JP5546690B2 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置 | |
JP2012227653A (ja) | 撮像装置及び撮像方法 | |
JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
KR101192121B1 (ko) | 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치 | |
KR101345971B1 (ko) | 입체영상촬영장치에서의 주시각 제어장치 | |
JP2015094831A (ja) | 立体撮像装置およびその制御方法、制御プログラム | |
JP2013242378A (ja) | 撮像装置、表示方法、およびプログラム | |
JP6063662B2 (ja) | 撮像装置及び撮像方法 | |
JP2011221905A (ja) | 情報処理装置 | |
WO2015163350A1 (ja) | 画像処理装置、撮像装置及び画像処理プログラム |