JP2014204299A - 撮像装置および撮像装置の制御方法 - Google Patents
撮像装置および撮像装置の制御方法 Download PDFInfo
- Publication number
- JP2014204299A JP2014204299A JP2013079147A JP2013079147A JP2014204299A JP 2014204299 A JP2014204299 A JP 2014204299A JP 2013079147 A JP2013079147 A JP 2013079147A JP 2013079147 A JP2013079147 A JP 2013079147A JP 2014204299 A JP2014204299 A JP 2014204299A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- resolution
- image
- amount
- eye image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮影画像の解像度に応じて視差情報を変更する撮像装置を提供する。
【解決手段】撮像装置の撮像素子505が、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える。撮像装置が、撮像素子が出力する画像信号の解像度を設定し、撮像素子の出力する画像信号に基づいて生成される左目用画像データと右目用画像データの視差量を検出し、検出された視差量を、上記設定された解像度に応じて編集する。
【選択図】図4
【解決手段】撮像装置の撮像素子505が、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える。撮像装置が、撮像素子が出力する画像信号の解像度を設定し、撮像素子の出力する画像信号に基づいて生成される左目用画像データと右目用画像データの視差量を検出し、検出された視差量を、上記設定された解像度に応じて編集する。
【選択図】図4
Description
本発明は、撮像装置および撮像装置の制御方法に関する。
近年、3次元(3D)シネマや3Dディスプレイなど、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラなどでも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。
ユーザが立体映像を鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式などのように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法などが知られている。
一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献1および2に開示されている。特許文献1は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが1対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第1の画像信号が得られ、他方のフォトダイオードの出力から第2の画像信号が得られる。第1及び第2の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザの立体映像の鑑賞が可能となる。
また、特許文献2は、第1の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第1の画像とに基づいて、第2の画像を生成することができる。
撮影したステレオ画像を表示装置にて表示する際に、表示装置のディスプレイの大きさと鑑賞者の位置によって、得られる立体感が異なる。視差マップに保存されている視差量は、立体感を表現した値であるが、視差量と、表示装置のディスプレイの大きさとが適合していないと、表示装置がステレオ画像を表示しても不自然な立体感となってしまう。例えば、立体感を得られなかったり、立体感が多すぎて眼の疲労を起こしてしまったりする。特許文献3は、ステレオ画像の視差を変更する視差変更装置によって視差を変更した画像を、ステレオ表示装置にて再生するシステムを開示している。
特許文献3が開示しているシステムは、情報取得部から取得したステレオ表示装置のディスプレイの大きさに基づいて視差量を変換したステレオ画像を表示する。しかし、このシステムは、再生時にディスプレイの大きさに応じた視差の補正は行えるが、撮影画像の解像度に応じた補正を考慮していないので、ステレオ画像を表示する際に、解像度の低い画像における立体感が損なわれてしまう。また、このシステムでは、出力するディスプレイに撮影画像をピクセル等倍で表示する際には、適切な立体感のあるステレオ画像を提供することができない。
本発明は、撮影画像の解像度に応じて視差情報を変更する撮像装置の提供を目的とする。
本発明の一実施形態の撮像装置は、一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子と、前記撮像素子が出力する画像信号の解像度を設定する設定手段と、前記撮像素子の出力する画像信号に基づいて生成される左目用画像データと右目用画像データの視差量を検出する検出手段と、前記検出された視差量を、前記設定手段により設定された解像度に応じて編集する編集手段とを備える。
本発明の撮像装置によれば、解像度に応じた適切な立体感のあるステレオ画像を提供することができる。
図1は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。撮像素子100は、画素アレイ101と、画素アレイ101における行を選択する垂直選択回路102と、画素アレイ101における列を選択する水平選択回路104を含む。読み出し回路103は、画素アレイ101中の画素のうち垂直選択回路102によって選択される画素の信号を読み出す。読み出し回路103は、信号を蓄積するメモリ、ゲインアンプ、AD変換器などを列毎に有する。
シリアルインターフェース(SI)部105は、各回路の動作モードなどを外部回路(例えば、図4中のシステム制御部509やタイミング発生部507)からの指示に従って決定する。垂直選択回路102は、画素アレイ101の複数の行を順次選択し、読み出し回路103に画素信号を取り出す。また水平選択回路104は、読み出し回路103によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子100は、図1に示す構成要素以外に、例えば、垂直選択回路102、水平選択回路104、読み出し回路103等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。
図2は、撮像素子100の画素の構成例を示す図である。図2(A)は1画素の構成を概略的に示す。図2(B)は、画素アレイ101の配置を示す。図2(A)に示す画素201は、光学素子としてのマイクロレンズ202と、受光素子としての複数のフォトダイオード(以下、PDと略記する)とを有する。
図2(A)には、1画素に左側のPD203と右側のPD204の2個を設けた例を示すが、3個以上(例えば、4個または9個)のPDを用いてもよい。PD203は、受光した光束を光電変換して左目用画像を出力する。PD204は、受光した光束を光電変換して右目用画像を出力する。なお、画素201は、図示の構成要素以外にも、例えば、PD信号を読み出し回路103に取り出す画素増幅アンプや、行選択スイッチ、PD信号のリセットスイッチなどを備える。
画素アレイ101は、2次元画像を提供するため、図2(B)に示す多数の画素301から304のように、2次元アレイ状に配列して構成される。PD301L、302L、303L、304Lは、図2(A)中のPD203に相当する。また、PD301R、302R、303R、304Rは、図2(A)中のPD204に相当する。すなわち、本実施形態の撮像装置は、各々が、左目用画像を出力する第1の光電変換部(PD203)と、右目用画像を出力する第2の光電変換部(PD204)とを有する複数の画素部を備える撮像素子を備える。
次に、図2(B)に示す画素構成を有する撮像素子100の受光について説明する。図3は、撮影レンズの射出瞳から出た光束が撮像素子100に入射する様子を表した概念図である。
画素アレイ101は、マイクロレンズ202と、カラーフィルタ403と、PD404および405を有する。PD404、PD405は、図2(A)中のPD203、PD204にそれぞれ相当する。
図3において、マイクロレンズ202に対して、撮影レンズの射出瞳406から出た光束の中心を光軸409とする。射出瞳406から出た光は、光軸409を中心として撮像素子100に入射する。一部領域407、408は、撮影レンズの射出瞳406の領域である。光線410、411は、一部領域407を通過する光の最外周の光線である。光線412、413は、一部領域408を通過する光の最外周の光線である。
射出瞳406から出る光束のうち、光軸409を境界線として、上側の光束はPD405に入射し、下側の光束はPD404に入射する。つまり、PD404とPD405は、各々、撮影光学系の射出瞳の分割された異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。
図4は、本実施形態の撮像装置の構成例を示す図である。図4を参照して、図1に示す撮像素子100の、撮像装置であるデジタルカメラへの適用例について説明する。なお、本実施形態の制御方法は、図4に示す撮像装置が備える処理部の機能によって実現される。撮像光学系を構成するレンズ部501は、被写体からの光を撮像素子505に結像する。撮像素子505は、図1に示す撮像素子100に相当し、図2(B)に示す画素構成を有する。
レンズ駆動装置502は、ズーム制御、フォーカス制御、絞り制御などを行う。メカニカルシャッタ503は、シャッタ駆動装置504によって制御される。撮像素子505は、レンズ部501により結像した被写体像を画像信号に変換する。撮像信号処理回路506は、撮像素子505の出力する画像信号に対して各種の処理や補正を行う。タイミング発生部507は、撮像素子505や撮像信号処理回路506に必要なタイミング信号を出力する。
システム制御部509は、各種演算を行い、撮像装置全体を制御する。不図示のCPU(中央演算処理装置)がプログラムを実行することでシステム制御部509の機能を実現する。本実施形態に特有の動作として、システム制御部509は、撮像素子505が出力する画像信号の解像度を設定する。また、システム制御部509は、画像合成回路513が生成した合成画像と、視差マップ生成回路514が生成した視差マップとに基づいて、3次元表示用の左目用画像と右目用画像とを生成する。視差マップ生成回路514により視差マップが生成され、求められた視差マップはメモリ部508に蓄積される。
視差マップ生成回路514は、左目用画像と右目用画像を用いて、視差量を算出し、システム制御部509から指定された視差範囲に補正して視差マップを生成する。システム制御部509は、視差マップに基づいて3次元表示用の画像データを生成し、表示手段(不図示)を通じて再生することによって、ユーザに立体画像を鑑賞させる。システム制御部509は、例えば、撮像装置に接続されたステレオ表示装置に3次元表示用の画像データを送信して表示させる。なお、システム制御部509は、左目用画像と右目用画像と基づいて、位相差の検知を行って、位相差AFを実現することもできる。
メモリ部508は、画像データを一時的に記憶するメモリを備える。記憶媒体制御インターフェース部(以下、I/F部と略記する)510は、記録媒体511に画像データ(画像ファイル)などを記録し、または記録媒体511から画像データを読み出すために設けられる。撮像装置に着脱可能な記録媒体511は、半導体メモリ等である。外部I/F部512は、外部装置との間でデータを送受する。
撮像信号処理回路506は、撮像素子505が出力する撮像データを左目用画像と右目用画像に振り分けて画像処理を行う。メモリ部508は、撮像信号処理回路506の出力データ、画像合成回路513によって生成された合成画像、視差マップ生成回路514によって生成された視差マップを記憶する記憶手段として機能する。
画像合成回路513は、左目用画像データと右目用画像データとに基づいて、合成画像データを生成する。具体的には、画像合成回路513は、左目用画像と右目用画像とを画素毎に加算平均処理することで左目用画像と右目用画像とを合成し、合成画像を生成する。これにより、撮像素子505から読み出された画像信号に基づく左目画像と右目画像とで被写体の形状が異なって撮影されていても、画像合成回路513による処理によって、被写体の形状が補間され、正しい形状の画像データが生成される。なお、画像合成回路513が、必要なPD信号のみを取得して合成画像を生成するようにしてもよい。
画像合成回路513は、例えば、図2(B)のPD301L乃至304Rが出力する画像信号のうち、PD301L、302L、303L、304Lが出力する画像信号から左目用画像を生成する。また、画像合成回路513は、PD301R、302R、303R、304Rが出力する画像信号から右目用画像を生成する。また、画像合成回路513は、PD301Lの出力とPD301Rの出力とを加算し、PD302Lの出力とPD302Rの出力とを加算し、PD303Lの出力とPD303Rの出力とを加算し、PD304Lの出力とPD304Rの出力とを加算する。これにより、合成画像が生成される。
測光装置515は、被写体の明るさを測る。圧縮伸長回路520は、記憶した画像データを所定の画像圧縮方法(例えば、適応離散コサイン変換(ADCT)等)で圧縮し、画像圧縮された画像データをメモリ部508に書き込む。また、圧縮伸長回路520は、メモリ508から読み出した画像データを伸長し、伸長した画像データをメモリ部508に書き込む。
図5は、本実施形態における視差マップの生成処理の一例を示す図である。図5(A)中の符号601は、被写体を撮影して得られる構図を示す。符号602、603、604は、被写体を示す。図5(A)中に示す構図では、被写体602、603、604は、この順に上から並んでいる。また、被写体は、図5(C)に示すように、奥行き方向に並んで配置されている。符号604が最も近い被写体、符号602が最も遠い被写体である。
図5(B)は、図5(A)に示す構図を撮影して得られるステレオ画像を示す。画像605は左目用画像であり、画像606は右目用画像である。左目用画像605には、被写体602、603、604が、それぞれ、607L、608L、609Lとして示される。右目用画像606には、被写体602、603、604が、それぞれ、607R、608R、609Rとして示される。
左目用画像605における被写体と右目用画像606における当該被写体との間には、位置ずれがある。本実施形態では、位置ずれの量を視差量と定義する。視差マップ生成回路514は、まず、公知のパターンマッチング法を用いて、左目用画像605と右目用画像606に含まれる被写体を検知する。視差マップ生成回路514は、検知した被写体毎に、左目用画像における被写体の位置と右目用画像における被写体の位置とに基づいて、視差量を算出し、算出した視差量の情報(視差量情報)を持つ視差マップを生成する。なお、視差マップが含む視差量の情報は、メモリ部508に記憶される画像データまたは画像ファイルに含めてもよいし、関連付けされたファイルとして保存してもよい。この例では、視差量の情報は画像ファイルに含まれているものとする。
図5(B)中の符号610は、被写体602の左目用画像605における位置を基準とする、右目用画像606における位置のずれ量、つまり607Lと607Rとの間の視差量を示す。同様に、符号611は、被写体604の左目用画像605における位置を基準とする、右目用画像606における位置のずれ量、つまり609Lと609Rとの間の視差量を示す。被写体603については、左目用画像605における位置と右目用画像606における位置とが同じである。すなわち、被写体603については、視差量がない。
ここで、視差量によって立体感が変動する理由について図6を用いて説明する。図6は立体映像の観賞時の様子を模式的に示す図である。符号701は表示装置のスクリーン面である。符号702は観察者、符号703Lは観察者の左目、符号703Rは観察者の右目を示す。点線は、スクリーン面に映し出される各々の被写体が左目703L、右目703Rに投影される様子を模式的に示す。
スクリーン面701には、左目用画像、右目用画像が、それぞれ、左目のみ、右目のみに投影されるように表示される。左目用画像での被写体607L、608L、609Lの映像が、左目303Lに投影され、右目用画像での被写体607R、608R、609Rの映像が右目703Rに投影される。これにより、左目用画像での被写体607L、右目用画像での被写体607Rで表現される被写体602は、ステレオ表示装置のスクリーン面より奥の、符号704に示す位置に存在するように見える。
また、左目用画像での被写体608L、右目用画像での被写体608Rで表現される被写体603は、ステレオ表示装置のスクリーン面の705の位置に存在するように見える。さらに、左目用画像での被写体609L、右目用画像での被写体609Rで表現される被写体604は、ステレオ表示装置のスクリーン面より手前の706の位置に飛び出して存在するように見える。つまり、これらの被写体の奥行き量や飛び出し量は、左目用画像と右目用画像の被写体の視差量に依存し、視差量610が被写体602の奥行き量、視差量611が被写体604の飛び出し量を示している。左目用画像と右目用画像の視差量は右目と左目の視差を示し、視差量が奥行き量や飛び出し量を決定する。視差マップ生成回路514は、上述した視差量を求める。左目用画像605と右目用画像606に含まれる被写体を検知し、被写体のシフト量を求めることで、視差量を検出することが可能となる。
図7および図8は、視差量の編集処理の例を説明する図である。図7は、視差マップの生成例を示す。図7中の801は、被写体の側面図である。802は、被写体の正面図である。803は被写体から得られる視差マップの例である。視差マップ803においては、被写体の背景部分の視差は0、四角い被写体の視差は1、丸い被写体の視差は2である。視差の値は、整数値であってもよいし、マイナスの値や実数をとってもよい。
図8は、視差マップの視差量の編集例を示す。図8(A)中の804は左目用画像と右目用画像とから生成した合成画像である。図8(B)中の805は左目用画像である。図8(C)中の806は右目用画像である。図8(D)中の807は視差マップである。
システム制御部509は、視差マップ生成回路514に指示して、視差マップ707の視差量を編集(重み付け)することができる。
図8(E)中の810は、重み付けされ、視差量が2倍となった視差マップである。システム制御部509は、視差マップ810と合成画像804とに基づいて、視差拡大した左目画像808(図8(F))と視差拡大した右目画像809(図8(G))とを、3次元表示用画像データとして生成する。本実施形態では、システム制御部509は、撮影画像の解像度に応じて、視差量の編集処理(拡大処理)を実行する。
(実施例1)
図9は、実施例1の撮像装置が実行する視差マップの生成処理を説明するフローチャートである。
図9は、実施例1の撮像装置が実行する視差マップの生成処理を説明するフローチャートである。
まず、システム制御部509が、撮影画像の解像度に応じて、視差量の拡大処理を実行する(ステップS901)。続いて、システム制御部509が、拡大処理後の視差量を有する視差マップを生成する(ステップS902)。そして、システム制御部509が、生成した視差マップをメモリ部508に記憶する(ステップS903)。
図10は、図9のステップS901における視差量の拡大処理の例を説明するフローチャートである。本実施例では、視差量を拡大するか否かの判断処理の基準となる解像度(基準解像度)を予め設定しておく。そして、撮像装置は、基準解像度と異なる解像度で撮影が行われた場合に、視差量の拡大を行う。
まず、システム制御部509が、撮影画像の解像度を確認する(ステップS1001)。次に、システム制御部509が、ステップS1001で確認された撮影画像の解像度が予め設定された基準解像度と異なるかを判断する(ステップS1002)。撮影画像の解像度が基準解像度と同様である場合は、ステップS1003に進む。そして、システム制御部509が、視差量の拡大率(視差拡大率)として1を設定する。これにより、撮影時の視差量がそのまま適用される。
撮影画像の解像度が基準解像度と異なる場合は、処理がステップS1004に進む。そして、システム制御部509が、撮影画像の解像度に応じて、視差量の拡大率を算出する(ステップS1004)。具体的には、システム制御部509は、予めメモリ部508に記憶された視差拡大テーブルを参照して、視差量の拡大率を算出する。
図14は、視差拡大テーブルの一例を示す図である。視差拡大テーブルには、画像サイズと視差拡大率とが紐付けられて設定されている。画像サイズは、撮影画像の解像度のサイズである。視差拡大率は、視差量の補正情報(拡大率)である。本実施例では、視差拡大率は、図10のステップS1006で算出される視差量の拡大に用いられる。
撮影画像の解像度が低いほど、紐付けられている視差拡大率が高い。これにより、図10のステップS1004において、システム制御部509は、撮影画像の解像度が低いほど高い視差拡大率を算出する。なお、本発明において、視差拡大率の算出方法は、視差拡大テーブルを用いて行う方法に限定されない。例えば、システム制御部509が、撮影画像の解像度のサイズの、基準解像度のサイズに対する比率(サイズ比率)に基づいて、視差拡大率を求めるようにしてもよい。また、システム制御部509が、撮影画像の解像度のサイズの、基準解像度のサイズに対する比率から決まる補正率に所定の係数を演算した値を視差拡大率として算出してもよい。
次に、ステップS1005からステップS1008の処理が、撮影画像の全画素分実行される。具体的には、システム制御部509が、撮影された左目用画像、右目用画像の1画素分の視差量を算出する(ステップS1006)。
次に、システム制御部509が、ステップS1006で算出された視差量を、ステップS1003,S1004で算出された視差拡大率で乗算する(ステップS1007)。これにより、視差量が拡大される。システム制御部509は、拡大された視差量をメモリ508に記憶する。
次に、システム制御部509が、視差量の算出対象の画素を次に配置される画素に変更して、ステップS1006の処理に戻る。撮影画像の全画素分、上記の処理が繰り返される。
図11は、解像度に応じた視差拡大処理が行われた際の視差マップの例を示す図である。図11(A)は、撮影により撮像素子505から読み出された画像データと、視差マップとを示す。符号1101は撮影により撮像素子505から読み出された左目用画像である。符号1102は、右目用画像である。符号1103は視差マップである。視差マップ1103は、左目用画像1101と右目用画像1102とから得られる。
図11(B)は、解像度に応じた視差量の編集処理後の画像データと視差マップの例を示す。図11(A)に示す撮影画像(左目用画像、右目用画像)は、システム制御部509によって、撮像装置で設定されている解像度の画像サイズに変換される。システム制御部509は、当該変換後の画像サイズに応じて、視差量を編集する。符号1104は、視差量の編集後の左目用画像を示す。符号1105は、視差量の編集後の右目用画像を示す。符号1106は、編集後の視差量を有する視差マップを示す。
図11(C)は、解像度に応じた視差量の編集処理後の画像データと視差マップの他の例を示す。図11(C)に示す例では、図11(B)に示す例において設定されている解像度よりも低い解像度で撮影されたものとする。撮影画像の解像度が低いので、システム制御部509は、視差量の拡大率を大きくする。これにより、図11(C)に示す左目用画像1107、右目用画像1108、視差マップ1109が得られる。
本実施例の撮像装置は、撮影画像の解像度に応じて左目用画像と右目用画像との視差量を変更するので、解像度の低い画像を撮影した場合においても、適切な立体感を得ることができるステレオ画像を生成することができる。
(実施例2)
図12は、実施例2の撮像装置が実行する視差マップの生成処理を説明するフローチャートである。
図12は、実施例2の撮像装置が実行する視差マップの生成処理を説明するフローチャートである。
まず、システム制御部509が、撮影した左目用画像と右目用画像とに基づいて、それぞれの画素ごとの視差量を算出して、視差マップの生成を行う(ステップS1201)。続いて、システム制御部509が、撮影画像の解像度に応じて、上記ステップS1201で生成された視差マップが有する視差量の拡大処理を実行する(ステップS1202)。そして、システム制御部509が、拡大処理後の視差量を有する視差マップをメモリ部508に記憶する(ステップS1203)。
図13は、図12のステップS1202における視差量の拡大処理の例を説明するフローチャートである。
まず、システム制御部509が、撮影画像の解像度を確認する(ステップS1301)。次に、システム制御部509が、ステップS1301で確認された撮影画像の解像度が予め設定された基準解像度と異なるかを判断する(ステップS1302)。撮影画像の解像度が基準解像度と同様である場合は、処理を抜けて、図12のステップS1201で生成された視差マップがそのまま保存される。
まず、システム制御部509が、撮影画像の解像度を確認する(ステップS1301)。次に、システム制御部509が、ステップS1301で確認された撮影画像の解像度が予め設定された基準解像度と異なるかを判断する(ステップS1302)。撮影画像の解像度が基準解像度と同様である場合は、処理を抜けて、図12のステップS1201で生成された視差マップがそのまま保存される。
撮影画像の解像度が基準解像度と異なる場合は、処理がステップS1303に進む。そして、システム制御部509が、撮影画像の解像度に応じて、視差拡大率を算出する(ステップS1004)。ステップS1004における視差拡大率の算出処理は、図10のステップS1006における視差量の拡大率の算出処理と同様である。
次に、システム制御部509が、視差マップの情報をメモリ部508から読み出す(ステップS1304)。そして、システム制御部509が、読み出した視差マップが有する視差量を、上記ステップS1303で算出した視差拡大率で拡大して、当該拡大後の視差量を有する視差マップをメモリ部508に書き戻す。この書き戻された視差マップの情報が、図12のステップS1203において保存される。
実施例2の撮像装置によれば、生成済みの視差マップが有する視差量を、撮影画像の解像度に応じて編集することを可能とし、解像度の低い画像を撮影した場合においても適切な立体感を得ることができるステレオ画像を生成することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(その他の実施例)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
201 画素
202 マイクロレンズ
203、204 PD
202 マイクロレンズ
203、204 PD
Claims (9)
- 一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子と、
前記撮像素子が出力する画像信号の解像度を設定する設定手段と、
前記撮像素子の出力する画像信号に基づいて生成される左目用画像データと右目用画像データの視差量を検出する検出手段と、
前記検出された視差量を、前記設定手段により設定された解像度に応じて編集する編集手段とを備える
ことを特徴とする撮像装置。 - 前記編集された視差量を有する、3次元表示用の画像データの生成に用いる視差マップを生成する生成手段を備える
ことを特徴とする請求項1に記載の撮像装置。 - 一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子と、
前記撮像素子が出力する画像信号の解像度を設定する設定手段と、
前記撮像素子の出力する画像信号に基づいて生成される左目用画像データと右目用画像データの視差量を検出し、検出された視差量を有する、3次元表示用の画像データの生成に用いる視差マップを生成する視差マップ生成手段と、
前記生成された視差マップが有する視差量を、前記設定手段により設定された解像度に応じて編集する編集手段とを備える
ことを特徴とする撮像装置。 - 前記編集手段は、前記設定手段により設定された解像度が予め決められた基準解像度と異なるかを判断し、前記設定手段により設定された解像度が前記基準解像度と異なる場合に、前記視差量を編集する
ことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 - 前記編集手段は、前記設定手段により設定された解像度が前記基準解像度と異なる場合に、予め記憶手段に記憶された視差量の補正情報を用いて、前記視差量を編集する
ことを特徴とする請求項4に記載の撮像装置。 - 前記編集手段は、前記設定手段により設定された解像度が前記基準解像度と異なる場合に、前記設定手段により設定された解像度と前記基準解像度とのサイズ比率に基づいて、前記視差量を編集する
ことを特徴とする請求項4に記載の撮像装置。 - 前記編集手段は、前記設定手段により設定された解像度が低いほど、前記視差量を高い拡大率で拡大する
ことを特徴とする請求項4乃至6のいずれか1項に記載の撮像装置。 - 一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子を備える撮像装置の制御方法であって、
前記撮像素子が出力する画像信号の解像度を設定する工程と、
前記撮像素子の出力する画像信号に基づいて生成される左目用画像データと右目用画像データの視差量を検出する工程と、
前記検出された視差量を、前記設定された解像度に応じて編集する工程とを有する
ことを特徴とする制御方法。 - 一つのマイクロレンズに対して撮像光学系の射出瞳の分割された異なる領域を通過した光束を光電変換して画像信号を生成する複数の光電変換部を有する画素部を備える撮像素子を備える撮像装置の制御方法であって、
前記撮像素子が出力する画像信号の解像度を設定する工程と、
前記撮像素子の出力する画像信号に基づいて生成される左目用画像データと右目用画像データの視差量を検出し、検出された視差量を有する、3次元表示用の画像データの生成に用いる視差マップを生成する工程と、
前記生成された視差マップが有する視差量を、前記設定された解像度に応じて編集する工程とを有する
ことを特徴とする制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013079147A JP2014204299A (ja) | 2013-04-05 | 2013-04-05 | 撮像装置および撮像装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013079147A JP2014204299A (ja) | 2013-04-05 | 2013-04-05 | 撮像装置および撮像装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014204299A true JP2014204299A (ja) | 2014-10-27 |
Family
ID=52354378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013079147A Pending JP2014204299A (ja) | 2013-04-05 | 2013-04-05 | 撮像装置および撮像装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014204299A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113938604A (zh) * | 2021-09-22 | 2022-01-14 | 深圳市汇顶科技股份有限公司 | 对焦方法、装置、电子设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005073049A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
JP2010098479A (ja) * | 2008-10-15 | 2010-04-30 | Sony Corp | 表示装置、表示方法及び表示システム |
WO2011118065A1 (ja) * | 2010-03-23 | 2011-09-29 | 富士フイルム株式会社 | 撮影装置及びその制御方法、並びに三次元情報測定装置 |
JP2013061440A (ja) * | 2011-09-13 | 2013-04-04 | Canon Inc | 撮像装置および撮像装置の制御方法 |
-
2013
- 2013-04-05 JP JP2013079147A patent/JP2014204299A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005073049A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
JP2010098479A (ja) * | 2008-10-15 | 2010-04-30 | Sony Corp | 表示装置、表示方法及び表示システム |
WO2011118065A1 (ja) * | 2010-03-23 | 2011-09-29 | 富士フイルム株式会社 | 撮影装置及びその制御方法、並びに三次元情報測定装置 |
JP2013061440A (ja) * | 2011-09-13 | 2013-04-04 | Canon Inc | 撮像装置および撮像装置の制御方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113938604A (zh) * | 2021-09-22 | 2022-01-14 | 深圳市汇顶科技股份有限公司 | 对焦方法、装置、电子设备和存储介质 |
CN113938604B (zh) * | 2021-09-22 | 2023-05-09 | 深圳市汇顶科技股份有限公司 | 对焦方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9341935B2 (en) | Image capturing device | |
US10587860B2 (en) | Imaging apparatus and method for controlling same | |
RU2567438C1 (ru) | Устройство формирования изображений и способ управления им | |
JP6053276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP6004741B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP5864992B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
JP5924943B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP2014022888A (ja) | 撮像装置および撮像装置の制御方法 | |
JP5704885B2 (ja) | 撮影機器、撮影方法及び撮影制御プログラム | |
JP5895587B2 (ja) | 画像記録装置、画像記録方法、画像再生装置および画像再生方法 | |
JP2014204299A (ja) | 撮像装置および撮像装置の制御方法 | |
JP5911276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP6366793B2 (ja) | 画像処理装置およびその制御方法、撮像装置 | |
JP6172949B2 (ja) | 撮像装置、撮像装置の制御方法、画像処理装置および画像処理装置の制御方法 | |
JP6177305B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
JP2014090252A (ja) | 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム | |
JP6433474B2 (ja) | 撮像装置およびその制御方法 | |
JP6230266B2 (ja) | 撮像装置、画像処理装置、および制御方法 | |
JP2012147087A (ja) | 画像生成装置及び方法 | |
JP2016154360A (ja) | 撮像装置およびその制御方法 | |
JP5963483B2 (ja) | 撮像装置および撮像装置の制御方法 | |
JP2013157726A (ja) | 撮像装置および撮像装置の制御方法 | |
JP5307189B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム | |
JP2012060512A (ja) | 多眼撮像装置およびプログラム | |
JP2014146962A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170307 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180116 |