JP2012060346A - 立体画像撮影装置 - Google Patents
立体画像撮影装置 Download PDFInfo
- Publication number
- JP2012060346A JP2012060346A JP2010200673A JP2010200673A JP2012060346A JP 2012060346 A JP2012060346 A JP 2012060346A JP 2010200673 A JP2010200673 A JP 2010200673A JP 2010200673 A JP2010200673 A JP 2010200673A JP 2012060346 A JP2012060346 A JP 2012060346A
- Authority
- JP
- Japan
- Prior art keywords
- image
- stereoscopic
- unit
- eye
- stereoscopic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができるようにする。
【解決手段】擬似立体画像生成装置107は、右画像入力部104から出力される非立体画像である2次元の右目用画像に基づいて、右目用画像109と擬似的な立体画像を構成する参照用左目画像110を生成する。画像合成部111は、左目画像108と参照用左目画像110とを、互いの違いを分かり易くするための画像処理を施して合成する。撮影者は、画像合成部111で合成された画像を表示する画像表示装置112の表示画面を目視にて確認しながら、例えば互いに異なる色で表示される参照用左目画像110と左目画像108とが重なっている領域が大きくなるように、左撮像センサ101と右撮像センサ102との間の基線長や輻輳角を調整する。
【選択図】図1
【解決手段】擬似立体画像生成装置107は、右画像入力部104から出力される非立体画像である2次元の右目用画像に基づいて、右目用画像109と擬似的な立体画像を構成する参照用左目画像110を生成する。画像合成部111は、左目画像108と参照用左目画像110とを、互いの違いを分かり易くするための画像処理を施して合成する。撮影者は、画像合成部111で合成された画像を表示する画像表示装置112の表示画面を目視にて確認しながら、例えば互いに異なる色で表示される参照用左目画像110と左目画像108とが重なっている領域が大きくなるように、左撮像センサ101と右撮像センサ102との間の基線長や輻輳角を調整する。
【選択図】図1
Description
本発明は立体画像撮影装置に係り、特に奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない一視点の画像(非立体画像)から作成された擬似的な立体画像を参照用画像として利用して、複数視点の立体画像を撮影する立体画像撮影装置に関する。
従来、2視点の画像を同時に撮影し記録する立体画像撮影装置として、ステレオカメラが知られている。ステレオカメラは、左目に対応するカメラ部(光学系や撮像系)と右目に対応するカメラ部(光学系や撮像系)とを持っており、これらの2つのカメラ部別に撮影した画像を記録することにより立体画像を記録する。ステレオカメラは、1つのカメラ筐体の中に2つのカメラ部と記録系を持ったものの他に、2台のカメラ部があれば簡単に手作りできるため、最近ではデジタルカメラやムービーを2台使ったものがある。
ステレオカメラで記録された立体画像を再生して得られる再生画像の立体感は、左右の見える像の位置の差である両眼視差が大きく関与する。両眼視差は、撮影時の2つのカメラ部の基線長および輻輳角、レンズの倍率で決まる。
図16は、平行法で撮影した時のステレオカメラと被写体との関係の一例を示す。同図において、ステレオカメラは、左目用カメラ部1Lと右目用カメラ部1Rとを含む構成とされている。平行法で撮影するときには、図16に示すように、左目用カメラ部1Lと右目用カメラ部1Rは、それぞれの光軸方向が互いに平行に保持されて、被写体2を撮影する。このときの左目用カメラ部1Lと右目用カメラ部1Rの各光軸との間の距離は基線長と呼ばれ、左目用カメラ部1Lと右目用カメラ部1Rが被写体2の同じ一点(注視点)を撮像するとき、左目用カメラ部1Lと右目用カメラ部1Rの各光軸が注視点となす交角は輻輳角と呼ばれる。
ここで、図17に示すように、同じ被写体2aを平行法で撮影している時にレンズの倍率を上げるため、左目用カメラ部1Lに対して右目用カメラ部1Rを1R’の位置に移動すると基線長が長くなり、また、画角が狭くなって輻輳角がaからa’へ大きくなる方向に働く。レンズの倍率は、画の構図によって決めるため、基線長及び輻輳角を変えて立体感を調整する。調整としては、図17のように、基線長を伸ばすことで、輻輳角が増える。
また、図17に示すように、被写体2aよりも遠い位置にある被写体2bに対しては、同じ基線長では輻輳角が輻輳角aより小さな輻輳角bとなるので、基線長を同じ値だけ変化させると、被写体2bに対する輻輳角b’は、被写体2aに対する輻輳角a’よりも小さく変化する。
一方、図18に示すように、左目用カメラ部1Lと右目用カメラ部1Rの各光軸方向を被写体2a、2bの位置に応じて変化させる撮影法では、被写体2a、2bまでの距離にかかわらず、一律に輻輳角が加減調整される。例えば、図18に示すように、左目用カメラ部1Lと右目用カメラ部1Rの各光軸を平行にしたときの光軸方向の直線と左目用カメラ部1Lと右目用カメラ部1Rの光軸とのなす角度が、被写体2aに対してはそれぞれθL、θRであり、被写体2bに対してはそれぞれθL’、θR’であるので、被写体2bに両眼視差0となるように調整しても、被写体2aに対しては、(θL’+θR’)の輻輳角がある。
これら2つの撮影法を組み合わせて、複数の被写体の奥行きを含めた立体感を調整することができる。しかし、再生した際の立体感を想定して基線長やカメラ側の輻輳(θL,θR)を調整する必要があるために、立体撮影は難しい。また、立体撮影時には、撮影時のズームやマクロ撮影により、基線長に光学倍率をかけた有効基線長となることも併せて調整しなければならない。
再生した際の立体感は、主に両眼視差に起因している。人間が立体視できる範囲は決まっており、過度の視差は立体視の成立を妨害し、2重像を生じさせ、視覚疲労、不快感の原因となる。非特許文献1によると、快適視差範囲は視差角1度以下が目安とされており、立体視できる上限である融合限界は不特定多数を対象とする場合、視差角2度以下とされている。
「人に優しい3D普及のための3DC安全ガイドライン」、2010年4月20日改定、3Dコンソーシアム安全ガイドライン部会、p.21〜23
しかしながら、立体撮影に慣れていない撮影者は、再生した際の立体感を想定して基線長やカメラ側の輻輳を調整しても、視差をつけすぎて立体画像に見えなかったり、妙に飛び出たり引っ込んでみたりといった違和感を感じる画像を撮ることが多々ある。また、撮影する主たる被写体とそれ以外の背景で、片方に気を取られて調整し、バランスを欠く調整を行い、一部の立体感は良いが、他は駄目といった、失敗した立体画像を撮ることもある。
例えば、撮影対象とする2つの被写体(物体Aと物体B)と背景に着目した場合、図19、図20及び図21のいずれの場合も、視聴時の快適視野範囲に入っており、いずれの場合でも立体に見えるが、その立体感に大きな違いがある。なお、図20〜図21中、同一部分には同一符号を付してある。
図19に示すように、視聴者の左目3L、右目3Rから見た場合、表示面7より奥に背景4があり、表示面7よりやや前方の位置5aに物体Aがあり、また表示面7よりやや後方の位置6aに物体Bがあるときは、物体Aと物体Bとの奥行きにある程度の差があり、最適な立体感をもたらす奥行きである。
これに対し、図20に示すように、物体A、物体Bがそれぞれ背景4に沿った遠くの位置5b、6bにある場合は、その奥行きの差が少なく前後間に乏しく、また背景4に近いために物体A、物体Bは背景4に埋没してしまう。一方、図21に示すように、物体Aが5cで示すように、表示面7よりかなり前方に位置するのに対し、物体Bが6cで示すように背景4に近い位置にある場合は、物体Aと物体Bとの奥行きが必要以上に強調されてしまう。
図20や図21に示すように、背景や被写体の奥行きの配分が不適切な場合、撮影した画像は立体には見えるが、奥行きに違和感があり、撮影に失敗したと感じる。従って、立体撮影には、被写体までの奥行き、物体Aと物体Bとの奥行き差、背景4までの奥行きのバランスが重要である。
前述した平行法の撮影ではこの3つのバランスは調整することができない。一方、基線長や輻輳角を調整する機構を持ったステレオカメラでは、このバランス調整は可能であるので、撮影時にモニタ画面で立体感を確認する方法が考えられる。
しかしながら、デジタルカメラやビデオカメラに付属のモニタ画面は、3インチ程度の小さなものが多く、適切な視聴距離や視野角を確保することができないため、付属のモニタと家庭の立体テレビジョン受像機とでは視野角が異なり、これによって調整し撮影した立体画像を家庭の立体テレビジョン受像機で見ると、撮影時に意図した立体感が得られないことが多い。従って、撮影時にモニタ画面を見ながら意図した立体感に調整することは困難である。
また、撮影された立体画像を再生した際に得られる立体感を補正する簡易的な方法として、左右の画像を水平方向にずらすのが一般的に行われている。この簡易的な方法では、図18に示した2台のカメラ部1L、1Rの角度を調整する撮影方法と近い効果が得られる。しかし、この調整方法は、被写体までの距離やレンズ倍率の変化が少ない場合はよいが、ズームをしてレンズ倍率が変化したり、距離や倍率が異なる違うシーンを見る場合などでは、頻繁に調整する必要が出てくる。また、この簡易的な方法では、図17に示した基線長調整による被写体までの距離に応じた奥行きを考慮した調整が行われない。
撮影時に、一定の立体感となるよう管理された調整を行えば、再生時に視聴環境側に起因する部分の補正のみで適切な立体画像を鑑賞できるが、立体撮影に慣れていない撮影者にとっては、何らかの指針無しでは、そのような管理された調整を行うのは困難である。
ところで、2次元画像(非立体画像)から擬似的な3次元立体画像を生成する2D3D変換技術が知られており、この2D3D変換技術によれば2次元画像を解析することで、奥行き情報を作り出す。従って、この2D3D変換技術により、奥行き情報を推定する際に、図19に示したような快適視野範囲内で最適な立体感をもたらす奥行き情報を生成し、その奥行き情報に基づく擬似的な立体画像を作成することができる。そこで、この2D3D変換技術により作成される画像を、基線長や輻輳角を調整する指針としての参照画像として用いることが考えられる。
本発明は以上の点に鑑みなされたもので、2D3D変換技術により所定の一視点の非立体画像から奥行き情報に基づいて作成した擬似的な立体画像を構成する他の視点の画像を参照用画像とし、撮影者が撮影する上記の他の視点の画像の視差を上記参照用画像の視差に近付けるように基線長や輻輳角を調整し撮影をすることで、立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができる立体画像撮影装置を提供することを目的とする。
上記目的を達成するため、本発明は、互いに異なる複数の視点の撮像信号を別々に得る複数の撮像手段と、複数の撮像手段のうちの一の撮像手段から出力される所定の一の視点の撮像信号が、奥行き情報が明示的にも又は暗示的にも与えられていない非立体画像として入力され、入力非立体画像から擬似的な立体画像を生成する擬似立体画像生成手段と、擬似立体画像生成手段により生成された、所定の一の視点の入力非立体画像と共に擬似的な立体画像を構成する複数の視点のうち所定の一の視点以外の他の視点の画像を参照用画像とし、その参照用画像に、複数の撮像手段のうちの一の撮像手段以外の他の撮像手段から出力される他の視点の撮像信号の画像を、互いに区別して表示される信号形態で合成する画像合成手段とを有することを特徴とする。
また、上記の目的を達成するため、本発明は、複数の撮像手段の間の基線長及び輻輳角を手動で調整可能な調整手段と、画像合成手段により合成された参照用画像と他の視点の撮像信号の画像とを互いに区別して表示する表示手段とを更に有することを特徴とする。
また、上記の目的を達成するため、本発明は上記の擬似立体画像生成手段が、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の奥行きモデルタイプの画像を記憶する記憶手段と、入力非立体画像の画面内の複数の所定領域における高域周波数成分の画素値の統計量を算定して複数の評価値を得る算定手段と、記憶手段に記憶されている複数の奥行きモデルタイプの画像を、算定手段により得られた評価値に応じた合成比率で合成する合成手段と、合成手段により合成された合成結果と、入力非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、入力非立体画像のテクスチャを、対応部分の奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、テクスチャシフト手段から出力された画像信号を参照用画像として出力すると共に、入力非立体画像を参照用画像と共に擬似立体画像を構成する画像として出力する出力手段とを有することを特徴とする。
本発明によれば、2D3D変換技術により所定の一視点の非立体画像から奥行き情報に基づいて作成した擬似的な立体画像を構成する他の視点の画像を参照用画像とし、撮影者が撮影する上記の他の視点の画像の視差を上記参照用画像の視差に近付けるように基線長や輻輳角を調整し撮影をすることで、立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができる。
次に、本発明の一実施の形態について図面を参照して詳細に説明する。
図1は、本発明になる立体画像撮影装置の一実施の形態のブロック図を示す。同図において、本実施の形態の立体画像撮影装置100は、被写体を撮像して左目用画像信号を出力する左撮像センサ101と、上記被写体を撮像して右目用画像信号を出力する右撮像センサ102と、左目用画像信号用のインタフェースである左画像入力部103と、右目用画像信号用のインタフェースである右画像入力部104と、左画像記録部105と、右画像記録部106と、右目画像109と参照用左目画像110とを生成する擬似立体画像生成装置107と、左目画像108と参照用左目画像110とを合成する画像合成部111と、画像合成信号の表示を行う画像表示装置112とより構成されている。また、立体画像撮影装置100は、左撮像センサ101と右撮像センサ102との間の基線長及び輻輳角(内向きの角度)を手動で調整する調整機構を備えている。
なお、本実施形態の立体画像撮影装置100では、右目画像を基準画像として、リファレンス画像となる参照用左目画像を作成しているが、左目画像を基準画像として、参照用右目画像を作成してもよい。その場合は、実施の形態と左目画像の信号処理系及び右目画像の信号処理系が逆になる。
本発明の撮像手段である左撮像センサ101と右撮像センサ102とは、人間の左右の目の間隔程度の距離だけ互いの撮影光軸が離間して配置されており、それぞれは一般的なCCD(Charge Coupled Devise:電荷転送素子)やCMOS(Complementary Metal Oxide Semiconductor)などの固体撮像素子や撮像管が使用できる。
左画像入力部103は、左撮像センサ101から出力される左目用画像信号をインタフェースする。例えば、左撮像センサ101から出力される左目用画像信号がアナログ信号の場合、左画像入力部103は、入力画像信号をA/D変換してディジタル信号の左目用画像信号を出力する。右画像入力部104も、左画像入力部103と同様に、右撮像センサ102から出力される右目用画像信号をインタフェースする。
左画像記録部105は、左画像入力部103から出力される左目用画像信号に対して所定の圧縮処理等を行った後、記憶媒体に記録する。右画像記録部106は、右画像入力部104から出力される右目用画像信号に対して所定の圧縮処理等を行った後、記憶媒体に記録する。左画像記録部105及び右画像記録部106は、上記の記憶媒体として、ハードディスクドライブ(HDD)やフラッシュメモリを有し、互いに時間がずれないように、圧縮処理後の左目用画像信号、圧縮処理後の右目用画像信号を同期して記録する。なお、左画像記録部105及び右画像記録部106は、記録を別々の記憶媒体に行ってもよいし、圧縮処理後の左目用画像信号及び右目用画像信号を併せて一つのビットストリームとして共通の記憶媒体に記録してもよい。
本発明の擬似立体画像生成手段である擬似立体画像生成装置107は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない2次元画像(非立体画像)から擬似的な3次元立体画像を生成する前述した2D3D変換を行う装置であり、右画像入力部104から出力される非立体画像である2次元の右目用画像に基づいて、右目用画像109と擬似的な立体画像を構成する参照用左目画像110を生成する。この擬似立体画像生成装置107の構成及び動作の詳細は、後述する。
本発明の画像合成手段である画像合成部111は、左画像入力部103から出力される左目画像108と、擬似立体画像生成装置107から出力される参照用左目画像110とを重ねて合成する。このとき、画像合成部111は、左画像入力部103から出力される左目画像108と、擬似立体画像生成装置107から出力される参照用左目画像110との違いを分かり易くするための後述する画像処理を施す。本発明の表示手段である画像表示装置112は、画像合成部111から出力される合成画像を表示する。
上記の構成の本実施の形態の立体画像撮影装置100によれば、右撮像センサ102により撮影した非立体画像である右目画像から擬似立体画像生成装置107により奥行き情報に基づいて作成した擬似的な立体画像を構成する左目画像を参照用左目画像110とし、左撮像センサ101により撮影する左目画像108の視差を上記参照用左目画像110の視差に近付けるように、左撮像センサ101と右撮像センサ102との間の基線長や輻輳角を調整することで、立体画像撮影経験の少ない撮影者でも、適切な立体感を持った立体画像を容易に撮影することができる。
次に、擬似立体画像生成装置107の構成及び動作について説明する。
図2は、擬似立体画像生成装置107の一例のブロック図を示す。図2に示す擬似立体画像生成装置107は、本出願人が特許第4214976号公報にて開示した擬似立体画像作成装置と同様の構成であるが、本発明はこの構成に限定されるものではなく、その他の公知の2D3D変換技術を用いることができる。
図2において、画像入力部201は、フレームメモリを備えており、図4の右画像入力部104から出力される非立体画像信号である1フレーム分の右目用画像信号を一時記憶した後、その1フレーム分の右目用画像信号を画面上部の高域成分評価部202、画面下部の高域成分評価部203及びテクスチャシフト部210にそれぞれ供給すると共に、右目用画像信号中の赤色信号(R信号)成分のみを加算部209に供給する。
画面上部の高域成分評価部202は、1フレーム分の右目用画像信号における画面の上部約20%にあたる領域内での高域成分を求めて、画面上部の高域成分評価値として算出する。そして、画面上部の高域成分評価部202は、画面上部の高域成分評価値を合成部207に供給する。画面下部の高域成分評価部203は、1フレーム分の右目用画像信号における画面の下部約20%領域内にあたる領域内での高域成分を求めて、画面下部の高域成分評価値として算出する。そして、画面下部の高域成分評価部203は、画面下部の高域成分評価値を合成部207に供給する。
一方、フレームメモリ204は基本奥行きモデルタイプA、フレームメモリ205は基本奥行きモデルタイプB、フレームメモリ206は基本奥行きモデルタイプCの画像を予め格納している。これらの基本奥行きモデルタイプA〜Cの画像は、それぞれ非立体画像信号を基に奥行き推定データを生成して擬似立体画像信号を生成するための基本となるシーンの画像を示す。
すなわち、上記の基本奥行きモデルタイプAの画像は、球面状の凹面による奥行きモデルの画像で、図3に示すような立体構造の画像を示す。多くの場合に、この基本奥行きモデルタイプAの画像が使用される。オブジェクトが存在しないシーンにおいては、画面中央を一番遠距離に設定することにより、違和感の少ない立体感及び快適な奥行き感が得られるからである。
また、上記の基本奥行きモデルタイプBの画像は、基本奥行きモデルタイプAの画像の上部を球面でなく、アーチ型の円筒面に置き換えたもので、図4に立体構造を示すような、上部を円筒面(軸は垂直方向)で下部を凹面(球面)としたモデルの画像である。
更に、上記の基本奥行きモデルタイプCの画像は、図5に立体構造を示すような、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面(軸は水平方向)としたモデルの画像である。基本奥行きモデルタイプ発生手段を構成するフレームメモリ204〜206に格納されている、これら基本奥行きモデルタイプA〜Cの画像は、合成部207へ供給される。
合成部207は、まず、画面上部の高域成分評価部202から供給された画面上部の高域成分評価値と、画面下部の高域成分評価部203から供給された画面下部の高域成分評価値とに基づいて、画像のシーンを考慮することなく、予め定められた方法により、基本奥行きモデルタイプAの合成比率k1、基本奥行きモデルタイプBの合成比率k2、基本奥行きモデルタイプCの合成比率k3を自動的に算出する。なお、3つの合成比率k1〜k3の合計値は常に「1」である。
図6は、合成比率の決定条件の一例を示す。図6は、横軸に示す画面上部の高域成分評価値(以下、上部の高域成分評価値と略す)と、縦軸に示す画面下部の高域成分評価値(以下、下部の高域成分評価値と略す)の各値と、予め指定された値tps、tpl、bms、bmlとの兼ね合いにより合成比率が決定されることを示す。この合成比率の決定条件は、本出願人が特許第4214976号公報にて開示した公知の決定条件であるが、これに限定されるものではない。
図6において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。例えば、図6において、「typeA/B」の領域では、下記のように(上部の高域成分評価値)と(下部の高域成分評価値)の比率で基本奥行きモデルタイプAの値であるtypeAと基本奥行きモデルタイプBの値であるtypeBの比率が決定され、基本奥行きモデルタイプCの値であるtypeCは比率の決定には用いられない。
typeA:typeB:typeC
=(上部の高域成分評価値−tps):(tp1−下部の高域成分評価値):0
また、図6において、「typeA/B/C」の領域では、typeA/BとtypeA/Cとの平均を採用して、下記のようにtypeA/B/Cの値が決定される。
=(上部の高域成分評価値−tps):(tp1−下部の高域成分評価値):0
また、図6において、「typeA/B/C」の領域では、typeA/BとtypeA/Cとの平均を採用して、下記のようにtypeA/B/Cの値が決定される。
typeA:typeB:typeC
=(上部の高域成分評価値−tps)+(下部の高域成分評価値−bms):(tpl−
上部の高域成分評価値):(bml−下部の高域成分評価値)
なお、合成比率k1、k2、k3は次式で算出される。
=(上部の高域成分評価値−tps)+(下部の高域成分評価値−bms):(tpl−
上部の高域成分評価値):(bml−下部の高域成分評価値)
なお、合成比率k1、k2、k3は次式で算出される。
k1=typeA/(typeA+typeB+typeC)
k2=typeB/(typeA+typeB+typeC)
k3=typeC/(typeA+typeB+typeC)
合成部207は、続いて、上記のように算出した合成比率k1〜k3が示す比率で、基本奥行きモデルタイプA〜Cの画像を合成して合成奥行きモデルとなる画像信号を生成する。
k2=typeB/(typeA+typeB+typeC)
k3=typeC/(typeA+typeB+typeC)
合成部207は、続いて、上記のように算出した合成比率k1〜k3が示す比率で、基本奥行きモデルタイプA〜Cの画像を合成して合成奥行きモデルとなる画像信号を生成する。
加算部209は、合成部207から供給される合成奥行きモデルとなる画像信号と、画像入力部201から供給されるR信号成分とを加算して奥行き推定データを生成する。上記のR信号成分は、画像入力部201において、輝度信号(Y)及び色差信号Crとから、R=Y+Crといった演算で算出される。
なお、R信号成分を使用する理由の一つは、順光に近い環境で、かつ、テクスチャの明るさの度合い(明度)の変化が大きくない条件下で、R信号成分の大きさが原画像の凹凸と一致する確率が高いという経験則による。テクスチャとは、画像を構成する要素であり、単一の画素もしくは画素群で構成される。
更に、R信号成分を使用するもう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。
なお、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。更に双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。
テクスチャシフト部210は、画像入力部201から供給される右目用画像信号と、加算部209から供給される奥行き推定データとに基づいて、右目用画像信号とは別視点の画像信号を生成する。例えば、テクスチャシフト部210は、入力右目用画像信号を画面表示させた場合の視点を基準にして、左に視点移動した画像信号を生成する。その場合、テクスチャシフト部210は、ユーザーに対してテクスチャを近景として表示させるときは、近い画像ほどユーザーの内側(鼻側)に見えるので、画面右側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。また、テクスチャシフト部210は、ユーザーに対してテクスチャを遠景として表示させるときは、遠い画像ほどユーザーの外側に見えるので、画面左側へテクスチャを奥行きに応じた量だけ移動した画像信号を生成する。
ここでは、それぞれの画素に対する奥行き推定データを8ビットの値Ddで表すものとする。テクスチャシフト部210は、Ddの小さい値(すなわち、画面奥に位置するもの)から順に、そのDdに対応する入力右目用画像信号のテクスチャをそれぞれの画素毎に(Dd−m)/n画素分右にシフトした画像信号を生成する。上記のmは飛び出し感を表すパラメータ(輻輳値)であり、上記のnは奥行きを表すパラメータ(奥行き値)である。
なお、ユーザーには、奥行き推定データを示す値Ddの小さいテクスチャは画面奥側に見え、奥行き推定データを示す値Ddの大きいテクスチャは画面手前に見える。奥行き推定データを示す値Dd、輻輳値m、奥行き値nは0〜255の範囲の値であり、例えば、輻輳値m=200、奥行き値n=20である。
オクルージョン補償部211は、テクスチャシフト部210より出力された別視点の画像信号に対してオクルージョンの補償を行い、オクルージョン補償された画像信号をポスト処理部212に供給する。オクルージョンとは、テクスチャをシフトした結果、画像中の位置関係変化によりテクスチャの存在しない部分のことをいう。オクルージョン補償部211は、テクスチャシフトされた画像信号に対応する元の入力右目用画像信号によりオクルージョンの箇所を充填する。また、公知の文献(山田邦男、望月研二、相澤清晴、齊藤隆弘:"領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Vol.56,No.5,pp.863〜866(2002.5))に記載の手法でオクルージョンを補償してもよい。
ポスト処理手段であるポスト処理部212は、オクルージョン補償部211によりオクルージョン補償された画像信号に対して、平滑化やノイズの除去などのポスト処理を公知の方法で必要に応じて行い、左目用画像信号を出力する。
ここで、テクスチャシフト部210が出力する画像信号のシフト量(Dd−m)/n画素において、入力右目用画像信号によって変化する奥行き推定データの値Dd以外の輻輳値mと奥行き値nは固定値であり、それぞれは0〜255の範囲の値のため、最大画素シフト量を求めることができる。最大画素シフト量が決まれば、画像の画素数及び再生時の標準観視距離から最大の視差角を求めることができる。上記の輻輳値mと奥行き値nを適切に設定すれば、2D3D変換された画像は決められた範囲の視差角に収まる。そこで、擬似立体画像生成装置107は、この2D3D変換されてポスト処理部212から出力される左目用映像信号を参照用左目画像110として出力し、基線長や輻輳角を調整するときの基準(手本)とする。なお、擬似立体画像生成装置107は、画像入力部201から出力される右目用画像信号をそのまま右目用画像109として出力する。
次に、本実施形態の要部の画像合成部111の構成の各例とその動作について更に詳細に説明する。画像合成部111は、左目画像108と参照用左目画像110とを表示したときに、目視によりそれらの違いが分かるように、以下説明する各種の方法で互いに区別して表示される信号形態で合成するものである。
図7は、図1中の画像合成部111の第1の実施の形態のブロック図を示す。本実施の形態の画像合成部111Aは、RGB→YUV変換部121及び122と、RGB調整部123とから構成され、左目画像108と参照用左目画像110とで色相を変え、色の重なりで調整のずれを表現する画像合成を行うものである。
RGB→YUV変換部121は、RGBの三原色信号である左目画像108を、輝度信号Yと2種類の色差信号U、Vに変換し、そのうちの輝度信号のみをRGB調整部123に供給する。一方、RGB→YUV変換部122は、RGBの三原色信号である参照用左目画像110を、輝度信号Yと2種類の色差信号U、Vに変換し、そのうちの輝度信号のみをRGB調整部123に供給する。すなわち、被写体の左目用画像108と参照用左目画像110は、被写体が視認できるように白黒画像に変換される。
RGB調整部123は、RGB→YUV変換部121から供給される輝度信号は緑色信号(G信号)とし、RGB→YUV変換部122から供給される輝度信号は赤色信号(R信号)とし、更に青色信号(B信号)は0としてRGB信号処理を行う。そして、このRGB調整部123は、RGB信号処理して得たRGB調整信号を図1の画像表示装置112に供給して表示させる。
これにより、図8に示すように、画像表示装置112の表示画面125には、例えば、左撮像センサ101で撮像された左目画像126aと生成された参照用左目画像127aとが重複部128aを有して表示されると共に、左撮像センサ101で撮像された左目画像126bと生成された参照用左目画像127bとが重複部128bを有して表示される場合、重複部128a、128b以外の領域の左目画像126a、126bは緑色で表示され、参照用左目画像127a、127bは赤色で表示される。一方、重複部128a及び128bはそれぞれ黄色で表示される。
撮影者は、表示画面125を目視にて確認しながら、色が重なっている重複部128a及び128bの領域が大きくなるように(重なっている領域が増えるように)、左撮像センサ101と右撮像センサ102との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
図9は、図1中の画像合成部111の第2の実施の形態のブロック図を示す。本実施の形態の画像合成部111Bは、画像切り替え部130と、タイマ131とから構成され、ある一定周期で左目画像108と参照用左目画像110とを交互に切り替えた画像合成を行うものである。
画像切り替え部130は、左目画像108と参照用左目画像110とを入力信号として受け、タイマ131からの一定周期(例えば、0.5秒)の対称方形波である切り替え信号により、左目画像108と参照用左目画像110とを交互に切り替えて出力する。例えば、画像切り替え部130は、タイマ131からハイレベルの切り替え信号が出力される0.5秒期間は左目画像108を選択出力し、続いてタイマ131からローレベルの切り替え信号が出力される0.5秒期間は参照用左目画像110を選択出力し、以後同様の動作を繰り返す。そして、画像切り替え部130は、選択出力した信号を図1の画像表示装置112に供給して表示させる。
これにより、画像表示装置112の表示画面125には、画像切り替え部130により左目画像108が選択出力される期間は、図10(A)に示すように、例えば、左目画像133aと133bとが表示され、画像切り替え部130により参照用左目画像110が選択出力される期間は、図10(B)に示すように、例えば、参照用左目画像134aと134bとが表示される。
撮影者は、図10(A)、(B)に示す表示画面125を目視にて確認しながら、切り替え表示される左目画像133aと参照用左目画像134aとのずれ、及び左目画像133bと参照用左目画像134bとのずれが、それぞれ小さくなるように、左撮像センサ101と右撮像センサ102との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
図11は、図1中の画像合成部111の第3の実施の形態のブロック図を示す。本実施の形態の画像合成部111Cは、画像切り替え部140と、ライン判別部141とから構成され、ライン毎に左目画像108と参照用左目画像110とを交互にした画像を合成するものである。
画像切り替え部140は、左目画像108と参照用左目画像110とを入力信号として受け、ライン判別部141からのライン判別結果により、左目画像108と参照用左目画像110とを交互に切り替えて出力する。ライン判別部141は、左目画像108の画像信号中の水平同期信号を基にライン数を数え、そのライン数に基づいて奇数ラインか偶数ラインかを判別し、例えば奇数ラインのときにはハイレベルを、偶数ラインのときにはローレベルのライン判別結果を出力する。
画像切り替え部140は、例えばライン判別結果がハイレベルのとき左目画像108を選択出力し、ライン判別結果がローレベルのとき参照用左目画像110を選択出力する。そして、画像切り替え部140は、選択出力した信号を図1の画像表示装置112に供給して表示させる。
これにより、画像表示装置112の表示画面125には、図12に示すように、奇数ラインでは左目画像143a、143bが表示され、偶数ラインでは参照用左目画像144a、144bが表示され、すだれ状の画像が表示される。
撮影者は、図12に示す表示画面125を目視にて確認しながら、すだれ状の画像143a及び144aと、143b及び144bのそれぞれのずれが小さくなるように、左撮像センサ101と右撮像センサ102との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
図13は、図1中の画像合成部111の第4の実施の形態のブロック図を示す。本実施の形態の画像合成部111Dは、RGB→YUV変換部150及び151と、輪郭抽出フィルタ152と、Y加算器153と、YUV→RGB変換部154とから構成され、参照用左目画像110の輪郭を抽出して左目画像108と合成することで、2つの画像の違いを分かり易くするものである。
RGB→YUV変換部150は、RGBの三原色信号である左目画像108を、輝度信号Yと2種類の色差信号U、Vに変換してY加算器153に供給する。一方、RGB→YUV変換部151は、RGBの三原色信号である参照用左目画像110を、輝度信号Yと2種類の色差信号U、Vに変換し、そのうちの輝度信号のみを輪郭抽出フィルタ152に供給する。
輪郭抽出フィルタ152は、ソベルフィルタやラプラシアンフィルタなどの公知のフィルタにより構成されており、参照用左目画像110の輝度信号の輪郭画像を抽出してY加算器153に供給する。
Y加算器153は、RGB→YUV変換部150から供給される左目画像108の輝度信号Yと2種類の色差信号U、Vのうちの輝度信号を、輪郭抽出フィルタ152からの参照用左目画像110の輝度信号の輪郭画像に加算して出力し、左目画像108の2種類の色差信号U及びVはそのまま出力する。
YUV→RGB変換部154は、Y加算器153から出力されるYUV信号をRGB信号に変換して図1の画像表示装置112に供給して表示させる。YUV→RGB変換部154から出力されるRGB信号は、参照用左目画像110の輪郭画像が左目画像108に合成された信号である。
これにより、図14に示すように、画像表示装置112の表示画面125には、例えば、左撮像センサ101で撮像された左目画像156aと生成された参照用左目画像の輪郭画像157aとがずれて表示されると共に、左撮像センサ101で撮像された左目画像156bと生成された参照用左目画像の輪郭画像157bとがずれて表示される。
撮影者は、表示画面125を目視にて確認しながら、左目画像156a及び参照用左目画像の輪郭画像157aとのずれと、左目画像156bと参照用左目画像の輪郭画像157bとのずれが小さくなるように、左撮像センサ101と右撮像センサ102との間の基線長や輻輳角を調整することにより、擬似立体画像生成装置107が生成する擬似立体画像に近い適切な立体感を持った立体画像を容易に撮影することができる。
次に、本発明の他の実施の形態について説明する。
図15は、本発明になる立体画像撮影装置の他の実施の形態のブロック図を示す。同図中、図1と同一構成部分には同一符号を付し、その説明を省略する。図15に示す本実施の形態の立体画像撮影装置180は、図1に示した立体画像撮影装置100と比較して、画像表示装置112の替りにステレオ画像表示装置115を設けたものである。
ステレオ画像表示装置115は、画像合成部111から出力される合成画像信号を左目画像とし、右画像入力部104から擬似立体画像生成装置107を通してそのまま出力される右目用画像信号を右目画像109としてステレオ画像表示を行う。
撮影者は、ステレオ画像表示装置115に表示されている擬似立体画像を目視しながら、左撮像センサ101と右撮像センサ102との間の基線長や輻輳角を調整することにより、ステレオ画像表示装置115の表示画像により立体感調整結果を確認することができる。
なお、ステレオ画像表示装置115には、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネとを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、パララックスバリア方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。また、ステレオ画像の各画像に対応した2台のプロジェクタによるプロジェクションシステムもステレオ画像表示装置115に含まれる。
100、180 立体画像撮影装置
101 左撮影センサ
102 右撮影センサ
103 左画像入力部
104 右画像入力部
105 左画像記録部
106 右画像記録部
107 擬似立体画像生成装置
108、126a、126b、133a、133b、143a、143b、156a、156b 左目画像
109 右目画像
110、127a、127b、134a、134b、144a、144b、157a、157b 参照用左目画像
111、111A、111B、111C、111D 画像合成部
112 画像表示装置
115 ステレオ画像表示装置
121、122、150、151 RGB→YUV変換部
123 RGB調整部
125 表示画面
130、140 画像切り替え部
131 タイマ
141 ライン判別部
152 輪郭抽出フィルタ
153 Y加算器
154 YUV→RGB変換部
101 左撮影センサ
102 右撮影センサ
103 左画像入力部
104 右画像入力部
105 左画像記録部
106 右画像記録部
107 擬似立体画像生成装置
108、126a、126b、133a、133b、143a、143b、156a、156b 左目画像
109 右目画像
110、127a、127b、134a、134b、144a、144b、157a、157b 参照用左目画像
111、111A、111B、111C、111D 画像合成部
112 画像表示装置
115 ステレオ画像表示装置
121、122、150、151 RGB→YUV変換部
123 RGB調整部
125 表示画面
130、140 画像切り替え部
131 タイマ
141 ライン判別部
152 輪郭抽出フィルタ
153 Y加算器
154 YUV→RGB変換部
Claims (3)
- 互いに異なる複数の視点の撮像信号を別々に得る複数の撮像手段と、
前記複数の撮像手段のうちの一の撮像手段から出力される所定の一の視点の撮像信号が、奥行き情報が明示的にも又は暗示的にも与えられていない非立体画像として入力され、前記入力非立体画像から擬似的な立体画像を生成する擬似立体画像生成手段と、
前記擬似立体画像生成手段により生成された、前記所定の一の視点の前記入力非立体画像と共に前記擬似的な立体画像を構成する前記複数の視点のうち前記所定の一の視点以外の他の視点の画像を参照用画像とし、その参照用画像に、前記複数の撮像手段のうちの前記一の撮像手段以外の他の撮像手段から出力される他の視点の撮像信号の画像を、互いに区別して表示される信号形態で合成する画像合成手段と
を有することを特徴とする立体画像撮影装置。 - 前記複数の撮像手段の間の基線長及び輻輳角を手動で調整可能な調整手段と、
前記画像合成手段により合成された前記参照用画像と前記他の視点の撮像信号の画像とを互いに区別して表示する表示手段と
を更に有することを特徴とする請求項1記載の立体画像撮影装置。 - 前記擬似立体画像生成手段は、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の奥行きモデルタイプの画像を記憶する記憶手段と、
前記入力非立体画像の画面内の複数の所定領域における高域周波数成分の画素値の統計量を算定して複数の評価値を得る算定手段と、
前記記憶手段に記憶されている前記複数の奥行きモデルタイプの画像を、前記算定手段により得られた前記評価値に応じた合成比率で合成する合成手段と、
前記合成手段により合成された合成結果と、前記入力非立体画像とから前記奥行き推定データを生成する奥行き推定データ生成手段と、
前記入力非立体画像のテクスチャを、対応部分の前記奥行き推定データに応じた量だけシフトするテクスチャシフト手段と、
前記テクスチャシフト手段から出力された画像信号を前記参照用画像として出力すると共に、前記入力非立体画像を前記参照用画像と共に前記擬似立体画像を構成する画像として出力する出力手段と
を有することを特徴とする請求項1記載の立体画像撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010200673A JP2012060346A (ja) | 2010-09-08 | 2010-09-08 | 立体画像撮影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010200673A JP2012060346A (ja) | 2010-09-08 | 2010-09-08 | 立体画像撮影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012060346A true JP2012060346A (ja) | 2012-03-22 |
Family
ID=46056924
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010200673A Pending JP2012060346A (ja) | 2010-09-08 | 2010-09-08 | 立体画像撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012060346A (ja) |
-
2010
- 2010-09-08 JP JP2010200673A patent/JP2012060346A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10313660B2 (en) | Image processing apparatus, image processing method, and program | |
CN103493484B (zh) | 成像装置和成像方法 | |
EP2532166B1 (en) | Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair | |
JP5291755B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
WO2013099169A1 (ja) | ステレオ撮影装置 | |
JP5304714B2 (ja) | 擬似立体画像生成装置及びカメラ | |
JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
JP5402483B2 (ja) | 擬似立体画像作成装置及び擬似立体画像表示システム | |
US20130113875A1 (en) | Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method | |
US9443338B2 (en) | Techniques for producing baseline stereo parameters for stereoscopic computer animation | |
JP2005167310A (ja) | 撮影装置 | |
JP2010531102A (ja) | 色フィルタで立体画像を生成し表示する方法および装置 | |
JP2014502818A (ja) | 画像処理のための一次像および二次像画像取込装置およびその方法 | |
JP2014056466A (ja) | 画像処理装置及び方法 | |
JP2010226500A (ja) | 立体画像表示装置および立体画像表示方法 | |
JP5486697B2 (ja) | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 | |
US6748105B1 (en) | Method and system for creating anaglyphs | |
JPWO2011070774A1 (ja) | 3d映像処理装置および3d映像処理方法 | |
US9258546B2 (en) | Three-dimensional imaging system and image reproducing method thereof | |
JP5750457B2 (ja) | 立体動画処理装置、立体動画処理プログラム及びその記録媒体、立体撮像装置並びに立体動画処理方法 | |
JP2012257105A (ja) | 立体画像取得装置 | |
JP5466773B2 (ja) | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 | |
CN107743222B (zh) | 一种基于采集器的图像数据处理方法及三维全景vr采集器 | |
KR20110082531A (ko) | 화상 처리 장치 및 방법, 화상 재생 장치 및 방법, 그리고 프로그램 | |
JP6113411B2 (ja) | 画像処理装置 |