JP5614268B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP5614268B2 JP5614268B2 JP2010274806A JP2010274806A JP5614268B2 JP 5614268 B2 JP5614268 B2 JP 5614268B2 JP 2010274806 A JP2010274806 A JP 2010274806A JP 2010274806 A JP2010274806 A JP 2010274806A JP 5614268 B2 JP5614268 B2 JP 5614268B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- data
- recording
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
- H04N13/289—Switching between monoscopic and stereoscopic modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Focusing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
Description
(a)被写体がカメラから遠い場合、
(b)被写体がカメラに近い場合、
これらの2つのケースについての被写体と2眼カメラの各レンズ(カメラ1、カメラ2)の位置関係を示している。
しかし、図1(b)に示すように、被写体がカメラに近いときは被写体に対して両方のレンズ(カメラ1、カメラ2)のフォーカスが合わせられないので2次元画像(2D)で撮影するというものである。
図2(a)に示すように通常時(図1(a)のように被写体がカメラから所定距離以上離れている場合)は左目画像、右目画像のフォーカス点が同じ位置にフォーカスをあわせることで3D表示が可能となる。
しかしながら図1(b)のように近距離に被写体がある場合は、2つの撮像部で撮影された画像のフォーカス点を合わせようとしても図2(b)に示したように合わせられず、3D表示は2つの画像がぶれたような表示に見えてしまう。
図2(c)に示す処理は、2つの画像のフォーカス点があうようにずらし、2つの画像が重ならない領域はもう片方の目の画像データが存在しないため、3D表示ができない領域として黒塗りつぶしなどによるマスク処理を行う画像処理を行うものである。
[問題点1]
左目視点、右目視点を撮影する2つの撮像部を備えた撮像装置において、撮影を行う際に、風景写真などのように被写体全ての距離が遠方である場合、あるいは例えば絵画等の平面な被写体を撮影すると、左視点の画像と、右視点の画像に視差が生じない、または少ない。このため、3D表示用ディスプレイに表示しても2D表示用ディスプレイと同等の立体感をほとんど得られない画像が表示されてしまう。一方、3D画像データは2D画像と比較して2倍のファイルサイズであるため、記録部に必要となる記憶容量が過大となってしまう。
左目視点、右目視点を撮影する2つの撮像部を備えた撮像装置において、撮影を行う際に、風景写真などのように被写体全ての距離が遠方である場合、あるいは例えば絵画等の平面な被写体を撮影すると、左視点の画像と、右視点の画像に視差が生じない、または少ない。このため、3D表示用ディスプレイに表示しても2D表示用ディスプレイの表示と同等の立体感をほとんど得られない画像が表示されてしまう。一方、記録部には3D用のファイルフォーマットで記録されるため、3D表示用ディスプレイや3D表示対応の出力装置でないと表示できない。
左目視点、右目視点を撮影する2つの撮像部を備えた撮像装置において、撮影を行う際に、風景写真などのように被写体全ての距離が遠方にある場合、あるいは例えば絵画等の平面な被写体を撮影すると、左視点の画像と、右視点の画像に視差が生じない、または少ない。このため、3D表示用ディスプレイに表示しても2D表示用ディスプレイの表示と同等の立体感をほとんど得られない画像が表示されてしまう。このため、例えば撮影時に裸眼で3D表示可能ディスプレイを見ながら撮影の設定をする際に、実際にはそれぞれの撮像部の露出やホワイトバランスなど各種設定のばらつきが発生しているが、3D表示の左右目映像へのクロストークの影響との分別が困難で最適設定ができないことがある。
異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析部と、
前記距離データ解析部の解析結果に応じて、記録または出力画像を2次元画像とするか3次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成部を有し、
前記データ生成部は、
前記距離データ解析部の解析結果に基づいて、3次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は2次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は3次元画像を記録または出力画像として生成する画像処理装置にある。
異なる視点からの画像であるL画像とR画像各々の対応座標位置の被写体までの距離である測距値の差分データを算出し、前記データ生成部は、前記距離データ解析部の解析結果として取得するL画像とR画像各々の対応座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定し、既定しきい値未満の差分である場合は、3次元画像表示における立体感の想起レベルが低いと判定し、2次元画像を記録または出力画像として生成し、既定しきい値未満の差分でない場合は、3次元画像表示における立体感の想起レベルが高いと判定し、3次元画像を記録または出力画像として生成する。
画像処理装置において実行する画像処理方法であり、
距離データ解析部が、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析ステップと、
データ生成部が、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を2次元画像とするか3次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成ステップを有し、
前記データ生成ステップは、
前記距離データ解析ステップにおける解析結果に基づいて、3次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は2次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は3次元画像を記録または出力画像として生成する画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
距離データ解析部に、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析させる距離データ解析ステップと、
データ生成部に、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を2次元画像とするか3次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行わせるデータ生成ステップを実行させ、
前記データ生成ステップにおいては、
前記距離データ解析ステップにおける解析結果に基づいて、3次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は2次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は3次元画像を記録または出力画像として生成させるプログラムにある。
この処理により、画像の適正に応じた画像記録、表示処理が実現される。
1.左目用画像(L画像)と右目用画像(R画像)の対応点の被写体距離情報に基づいてモード切り替えを実行する実施例について(実施例1)
2.撮影画像における被写体距離がすべて遠い距離の場合に2次元画像の記録、出力を実行する処理例について(実施例2)
3.実施例1,2の変形例について
3−1.距離測定点の一部のみの測定情報を考慮した処理例(実施例3)
3−2.撮影後の記録データに対する処理例(実施例4)
4.プログラム(ソフトウェア)による処理を実行する装置構成例について
まず、本発明の画像処理装置の一例である撮像装置の実施例1として、左目用画像(L画像)と右目用画像(R画像)の対応点の被写体距離情報に基づいてモード切り替えを実行する実施例について説明する。
また、外部出力端子28としてはHDMI I/Fに限らず、その他、様々なI/Fが利用可能である。
図4は、本発明の撮像装置の機能を説明するブロック図である。
図5は、本発明の撮像装置の処理を説明するフローチャートである。
なお、図示していないが、図4に示す各構成部の処理を制御する制御部を有し、また、制御部によって実行する処理プログラムを格納したメモリを有する。
撮像装置100において実行する各種の処理は、予めメモリに格納されたプログラムに従って制御部の制御下で実行される。
撮像部101と、撮像部102は、3次元画像としての左目用画像(L画像)と、右目用画像(R画像)を撮影する撮像部である。すなわち、異なる視点から被写体を撮影するカメラの離間した位置に設定された撮像部である。図3に示す撮像部21A,21Bに対応する。
各撮像部101,102の撮像データは、撮像データ格納部103と、撮像データ格納部104に入力されるとともに、距離データ解析部105にも入力される。
入力部106は、ユーザーの操作情報を入力する。例えば撮影データの記録媒体に対する記録処理や削除命令等の指示入力である。
なお、出力データ生成部107は、距離データ解析部105において実行される距離データの比較結果に応じて、出力画像データを3次元画像(3D画像)とするか、2次元画像(2D画像)とするかを決定して、決定結果に応じた出力画像データを生成する。
表示部109は、例えば有機ELディスプレイや液晶ディスプレイ等である。なお、本実施例では、例えば2次元画像と3次元画像の表示が可能なディスプレイによって構成される。例えばレンチキュラーレンズを用いた表示装置である。この構成については後段で説明する。
なお、記録データ生成部110は、距離データ解析部105において実行される距離データの比較結果に応じて、記録データを3次元画像(3D画像)として記録するか、2次元画像(2D画像)として記録するかを決定して、決定結果に応じた記録データを生成する。
図5のS101から動作が開始する。ステップS101において、例えばユーザーのシャッタ操作に応じて撮像装置100が備える2つの撮像部101,102において並列に撮像処理が実行される。
図7に示されるように、位相差検出ラインLfには、撮影光学系の射出瞳EYの右側部分(「右側の部分瞳領域」または単に「右瞳領域」とも称する)Qaからの光束Taと左側部分(「左側の部分瞳領域」または単に「左瞳領域」とも称する)Qbからの光束Tbとを受光する一対の位相差検出画素211a,211bが水平方向に配列されている。なお、ここでは、図中+X方向側を右側と、−X方向側を左側と表現している。
具体的には、射出瞳EYの右瞳領域Qaを通過した光束Taは、位相差検出画素211aに対応するマイクロレンズMLおよび第1遮光板AS1の第1開口部OP1を通過し、さらに第2遮光板AS2によって制限(限定)された後、第1位相差検出画素211aの受光素子PDで受光される。この受光素子の出力が右瞳領域Qaの光束Taに関する測距信号aとして取得される。
図9(b1),(b2)は、フォーカスレンズが、被写体距離に応じた位置に設定されず、フォーカスが合っていないた場合、すなわち非合焦状態において、a,b各画素間で発生するシフト量Sfaを示している。
(b1)は、シフト量が合焦時より大きい場合、(b2)はシフト量が合焦時より小さい場合の例である。
この処理が「位相差検出法」に従った合焦処理である。
この「位相差検出法」に従った合焦処理によってフォーカスレンズの合焦位置への設定が可能であり、フォーカスレンズは被写体距離に応じた位置に設定できる。
また、撮影レンズの焦点距離をf、第1位相差検出画素211a、第2位相差検出画素211bの基線長となるピッチサイズをL、位相差検出によって得られたずれ量をnとすると、これから三角測量の原理により被写体までの距離Rを以下の式で算出することができる。
R=f×L/n
上記式を用いて被写体までの距離を算出する構成としてもよい。
なお測距データは上述したオートフォーカス処理の他、静止画や動画と共に記録することで、測距値を使用したアプリケーションに用いることができる。
ステップS102において、距離の比較を行う。
距離データ解析部105は、撮像部101、撮像部102より取得した測距データをもとに比較を行う。具体的には、左目用画像(L画像)と、右目用画像(R画像)の対応座標位置間で距離の比較を行う。
距離データ解析部105は、ステップS103において、撮像部101と撮像部102より取得した測距データについて、全ての対応座標位置について位相差検出画素の測距値を比較し、L画像とR画像の対応点の距離差が予め設定された閾値未満であるか否かを判定する。
しかし、左目用画像(L画像)と右目用画像(R画像)との同じ座標位置に、異なる被写体が撮影されている場合は、LR画像の対応点の測距データは等しくならない。
左目用画像(L画像)と右目用画像(R画像)との同じ座標位置に、異なる被写体が撮影されている場合は、異なる距離の被写体を含む画像がL画像とR画像として撮影され、3D画像として表示した場合に立体感を把握できる画像であることを意味する。
このような場合は、ステップS103の判定はYesとなりステップS104に進む。ステップS104ではカメラが2次元画像モードに設定される。
この設定とした場合、LR各画像について比較した対応座標点の測距データの95%以上の点が、所定の閾値未満の距離差である場合には、ステップS103の判定がYesとなり、それ以外の場合はNoと判定することになる。
ステップS106では、撮像装置の設定モード(2Dモードまたは3Dモード)に応じた画像表示処理を実行する。
撮像装置100のモードが2次元画像の撮影記録を行う2Dモード設定時においては、出力データ生成部107は、撮像データ格納部103か撮像データ格納部104に格納されたいずれか一方の画像データを出力画像として選択する。
撮像装置100のモードが2Dモードに設定されている場合は、出力データ生成部107が生成したL画像またはR画像いずれか一方の画像に基づいて生成された2次元画像データの視聴が可能となる。
撮像装置100のモードが2Dモードに設定されている場合は、出力データ生成部107で生成されたL画像またはR画像いずれか一方の画像に基づいて生成された2次元画像データが視聴可能となる。
一方、撮像装置100のモードが3Dモードに設定されている場合は、左目用画像(L画像)は左目のみに、右目用画像(R画像)は右目のみに見せる設定とした表示を行うことで3D画像の視聴が可能になる。
ステップS106における設定モードでの表示処理が完了すると、ステップS107へ移行する。
ステップS107において、入力部106を介して記録命令を取得したかの判断を行う。
入力部106はユーザーからの指示入力を受け取り、制御部がその指示内容を解釈し、記録命令が発行されたと認識すると、記録データ生成部110に対して、記録命令を発行する。記録命令が発行された場合はステップS108へ移行する。記録命令が発行されていない場合はステップS109へ移行する。
撮像装置100のモードが2次元画像の記録、表示を実行する2Dモードに設定されている場合は、記録データ生成部110は、入力部106からの記録命令が発行されたタイミングで撮像データ格納部103か撮像データ格納部104のどちらかに格納されている画像データを記録データとして選択する。
なお、記録媒体に対するデータの記録フォーマットは、マルチピクチャフォーマットに限らず、例えば2つの画像ファイルを名前で関連付けたり、画像ファイルの関連付けを記す設定ファイルを同時に記録したりの方法など、他の記録方法を適用してもよい。
ステップS109において、電源がOFFされたかの確認を行う。電源がOFFにされたと判断されれば動作を終了する。OFFにされたと判断されなければステップS101に移行し、引き続き処理を続ける。
記録データ生成部110や出力データ生成部107が、既定しきい値未満の差分であると判定した場合は、3次元画像表示における立体感の想起レベルが低いと判定し、2次元画像を記録または出力画像として生成し、
既定しきい値未満の差分でないと判定した場合は、3次元画像表示における立体感の想起レベルが高いと判定し、3次元画像を記録または出力画像として生成する。
次に、本発明の撮像装置の実施例2として、撮影画像における被写体距離がすべて遠い距離の場合に2次元画像の記録、出力を実行する実施例について説明する。
図14に示すフローチャートは、先に図5を参照して説明した実施例1の撮像装置における処理フローと多くの部分で共通する。
異なる処理は、ステップS202〜S203の処理である。
ステップS201において、例えばユーザーのシャッタ操作に応じて図4に示す撮像装置100が備える2つの撮像部101,102において並列に撮像処理が実行される。
ステップS202では、撮像部で撮影した1つの画像、例えば左目用画像(L画像)の各画素の測距データ(被写体距離情報)を取得して、画像に含まれる被写体が全て遠い距離にあるか否かを判定する。
この処理は、実施例1の処理と異なる処理である。
本実施例では、距離データ解析部105は、LR画像の対応座標位置での距離データの比較を行うのではなく、1つの画像内に設定した多数の距離情報取得位置の距離データを解析して、画像に含まれる被写体が全て遠い距離にあるか否かを判定する。
例えばすべての距離測定点の値が閾値(例えば120)以上である場合は、ステップS203の判定はYesとなる。それ以外の場合はNoとなる。
この設定とした場合、処理対象画像の測距データの95%以上の点が、所定の閾値以上の距離である場合には、ステップS203の判定がYesとなり、それ以外の場合はNoと判定することになる。
以下の処理は、実施例1と同様の処理であり、説明を省略する。
図15は、被写体距離が比較的近い場合の2つの撮像部の撮影画像の例を示している。
図16は、被写体距離が比較的遠い場合の2つの撮像部の撮影画像の例を示している。
図15(a)に示すように所定の離間した位置に設定された撮像部1と撮像部2を有するカメラによって、比較的カメラに近い位置の被写体(人物と木)を撮影する。
図15(a)のように撮像部と被写体の距離が近い場合に、撮像部1が撮影する範囲、角度と、撮像部2が撮影する範囲、角度は被写体(人物と木)に対して相対的に大きな違いがある。このような場合、図15(a1),(a2)に示すように撮像部1と撮像部2とで異なる画像が取得される。
図16(b)に示すように所定の離間した位置に設定された撮像部1と撮像部2を有するカメラによって、比較的カメラに遠い位置の被写体(山なみ)を撮影する。
図16(b)のように撮像部と被写体の距離が遠い場合に、撮像部1が撮影する範囲、角度と、撮像部2が撮影する範囲、角度は、被写体(山なみ)に対して相対的に大きな違いはない。このような場合、図16(b1),(b2)に示すように撮像部1と撮像部2とでほぼ同じ画像が取得される。
記録データ生成部110や出力データ生成部107は、距離データの全てまたは予め設定した割合以上が、被写体距離が遠いことを示す既定しきい値以上の距離データを有しているか否かを判定する。
有している場合は、3次元画像表示における立体感の想起レベルが低いと判定し、2次元画像を記録または出力画像として生成し、
有していない場合は、3次元画像表示における立体感の想起レベルが高いと判定し、3次元画像を記録または出力画像として生成する。
(3−1.距離測定点の一部のみの測定情報を考慮した処理例(実施例3))
上述した実施例1,2においては、位相差検出によって被写体距離を計測する手法において、全ての測距点の情報を取得した処理例として説明した。
このように、全ての測距点の情報を取得せず、一部の測距点の計測距離情報のみを取得して2Dモードとするか3Dモードとするかの決定を行う構成としてもよい。
上述した実施例1,2において説明した処理例は、撮像装置において新たな画像の撮影時に、その撮影画像の記録または表示を2Dモードで行うか3Dモードで行うかを制御する処理として説明した。
また、図17に示す画像処理装置400において実行する画像再記録処理、または出力(表示)処理の処理シーケンスについて説明するフローチャートを図18に示す。
デコード部402は、記録媒体読み出し部401の読みだしたデータのデコード処理を実行する。デコード結果には、3次元画像としての左目用画像(L画像)と右目用画像(R画像)の画像ペアと、各画像対応のメタデータとしての距離情報が含まれる。
距離情報は、距離データ解析部404に提供される。
記録データ生成部405は、画像データ格納部403に格納された画像データを入力するとともに、距離データ解析部404において処理された距離比較結果情報を入力して、距離比較結果情報に応じた再記録データを生成する。すなわち、距離比較結果情報に応じて、記録データとして2次元画像データまたは3次元画像データを生成する。
記録部406は、記録データ生成部405の生成した2次元画像データまたは3次元画像データを記録媒体410に記録する。
なお、この処理は、例えば図17には示されない制御部がメモリに格納されたプログラムに従った制御の下で実行される。
まず、ステップS301において、記録媒体読み出し部401が、処理対象ファイルを記録媒体から読みだす。読み出しデータには、3次元画像としての左目用画像(L画像)と右目用画像(R画像)の画像ペアと各画像対応のメタデータとしての距離情報が含まれる。
次にステップS302において、デコード部402が、記録媒体読み出し部401の読みだしたデータのデコード処理を実行する。デコード結果には、3次元画像としての左目用画像(L画像)と右目用画像(R画像)の画像ペアと、各画像対応のメタデータとしての距離情報が含まれる。
次に、ステップS303において、距離データ解析部404が距離データの比較処理を実行する。
なお、この距離データ比較処理は、先の実施例1において説明した処理、または実施例2において説明した処理のいずれかの処理として実行する。
一方、実施例2において説明した処理を行う場合は、左目用画像(L画像)、または右目用画像(R画像)の1つの画像内での測距点の距離の検出を行う。
ステップS304では、ステップS303において実行した距離情報解析処理に基づく判定を実行する。
ステップS303において、先の実施例1において説明した処理を行った場合、すなわち、左目用画像(L画像)と、右目用画像(R画像)の対応座標の距離情報の比較を実行した場合は、L画像とR画像の対応点の距離差の、全て、あるいは予め定めた閾値(たとえば全体の95%など)以上の領域において予め設定された閾値未満であるか否かを判定する。
そうでない場合はS304でNoと判断され、S306へ移行し、画像処理装置400を3次元画像(3D画像)の記録及び出力を実行する3Dモードに設定する。
ステップS307では、ステップS305またはステップSZ306において設定したモードに従った画像データの記録媒体に対する再記録、または出力(表示)処理を実行する。
ステップS308において、全ての指定ファイルの処理が終了したか否かを判定する。処理が終了したと判断されれば動作を終了する。未処理ファイルがある場合はステップS301に移行し、引き続き処理を続ける。
次に、本発明に従った撮像装置や画像処理装置のハードウェア構成例について、図19を参照して説明する。
図19に示す画像処理装置500は、再生機能を備えた撮像装置であり、プログラム(ソフトウェア)実行部としての制御部であるCPU(Central Processing Unit)563を有している。
プログラムは、例えば不揮発性メモリ562に格納されている。CPU563は例えば比較的高速にアクセスが可能なDDR SDRAM(Double−Data−Rate Synchronous Dynamic Random Access Memory)などにより構成される高速メモリ561をワークエリアとして利用し、不揮発性メモリ562から読みこんだプログラムを展開して画像の距離情報の解析処理等を実行する。
画像データ格納部503,504はこれらのLR画像を格納する。
入力部506はもユーザーからの指示入力583、例えば記録命令などを入力する。
なお、記録画像を2次元画像とするか3次元画像の判定処理は、前述の実施例において説明したいずれかの判定処理として実行される。
なお、出力画像を2次元画像とするか3次元画像の判定処理は、前述の実施例において説明したいずれかの判定処理として実行される。
CPU563の距離情報解析結果に応じて、記録データ生成部510が再記録するデータ形式を2次元画像とするか3次元画像とするかを決定して記録データを生成する。
同様に、CPU563の距離情報解析結果に応じて、出力データ生成部507が出力するデータ形式を2次元画像とするか3次元画像とするかを決定して記録データを生成する。
この処理は、先に図18を参照して説明したシーケンスと同様のシーケンスである。
この処理により、画像の適正に応じた画像記録、表示処理が実現される。
22 シャッターボタン
23 下蓋
24 メモリーカード
25 バッテリー
26 側面蓋
27 電源端子
28 外部出力端子
100 撮像装置
101,102 撮像部
103,104 撮像データ格納部
105 距離データ解析部
106 入力部
107 出力データ生成部
108 外部出力部
109 表示部
110 記録データ生成部
111 記録部
291 左目用画像(L画像)
292 右目用画像(R画像)
295 右目
296 左目
400 画像処理装置
401 記録媒体読み出し部
402 デコード部
403 画像データ格納部
404 距離データ解析部
405 記録データ生成部
406 記録部
407 出力データ生成部
408 外部出力部
410 記録媒体
500 画像処理装置
501,502 撮像部
503,504 撮像データ格納部
506 入力部
507 出力データ生成部
508 外部出力部
509 表示部
511 記録部
551 記録媒体読み出し部
552 記録データデコード部
553 画像データ格納部
561 高速メモリ
562 不揮発性メモリ
563 CPU
581 入射光(左)
582 入射光(右)
583 指示入力
584 記録媒体
591 外部出力装置
Claims (7)
- 異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析部であり、異なる視点からの画像であるL画像とR画像各々の同一座標位置の被写体までの距離である測距値の差分データを算出する距離データ解析部と、
前記距離データ解析部の解析結果に応じて、記録または出力画像を2次元画像とするか3次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成部を有し、
前記データ生成部は、
前記距離データ解析部の解析結果として取得するL画像とR画像各々の同一座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定し、
既定しきい値未満の差分である場合は、3次元画像表示における立体感の想起レベルが低いと判定し、2次元画像を記録または出力画像として生成し、
既定しきい値未満の差分でない場合は、3次元画像表示における立体感の想起レベルが高いと判定し、3次元画像を記録または出力画像として生成する画像処理装置。 - 前記画像処理装置は、
異なる視点からの撮影画像を撮影する2つの撮像部を有し、
前記撮像部は、画像の部分領域単位の被写体距離情報を取得する撮像素子を有する構成である請求項1に記載の画像処理装置。 - 前記撮像部は、位相差検出法によって画像の部分領域単位の被写体距離情報を取得する画素領域を持つ撮像素子を有する構成である請求項2に記載の画像処理装置。
- 前記距離データ解析部は、
画像の一部の画像領域を選択して、選択領域のみの被写体距離情報を解析し、
前記データ生成部は、
前記選択領域のみの解析結果に応じて、記録または出力画像を2次元画像とするか3次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う請求項1に記載の画像処理装置。 - 前記距離データ解析部は、
フォーカスの合った画像領域を選択して、選択領域のみの被写体距離情報を解析し、
前記データ生成部は、
前記選択領域のみの解析結果に応じて、記録または出力画像を2次元画像とするか3次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う請求項4に記載の画像処理装置。 - 画像処理装置において実行する画像処理方法であり、
距離データ解析部が、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析ステップであり、異なる視点からの画像であるL画像とR画像各々の同一座標位置の被写体までの距離である測距値の差分データを算出する距離データ解析ステップと、
データ生成部が、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を2次元画像とするか3次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成ステップを有し、
前記データ生成ステップは、
前記距離データ解析部の解析結果として取得するL画像とR画像各々の同一座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定し、
既定しきい値未満の差分である場合は、3次元画像表示における立体感の想起レベルが低いと判定し、2次元画像を記録または出力画像として生成し、
既定しきい値未満の差分でない場合は、3次元画像表示における立体感の想起レベルが高いと判定し、3次元画像を記録または出力画像として生成する画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
距離データ解析部に、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析させる距離データ解析ステップであり、異なる視点からの画像であるL画像とR画像各々の同一座標位置の被写体までの距離である測距値の差分データを算出させる距離データ解析ステップと、
データ生成部に、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を2次元画像とするか3次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行わせるデータ生成ステップを実行させ、
前記データ生成ステップにおいては、
前記距離データ解析部の解析結果として取得するL画像とR画像各々の同一座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定し、
既定しきい値未満の差分である場合は、3次元画像表示における立体感の想起レベルが低いと判定し、2次元画像を記録または出力画像として生成し、
既定しきい値未満の差分でない場合は、3次元画像表示における立体感の想起レベルが高いと判定し、3次元画像を記録または出力画像として生成させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010274806A JP5614268B2 (ja) | 2010-12-09 | 2010-12-09 | 画像処理装置、および画像処理方法、並びにプログラム |
US13/252,473 US8896670B2 (en) | 2010-12-09 | 2011-10-04 | Image processing device, image processing method, and program |
CN2011103678412A CN102572469A (zh) | 2010-12-09 | 2011-11-18 | 图像处理设备,图像处理方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010274806A JP5614268B2 (ja) | 2010-12-09 | 2010-12-09 | 画像処理装置、および画像処理方法、並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012124766A JP2012124766A (ja) | 2012-06-28 |
JP2012124766A5 JP2012124766A5 (ja) | 2014-01-09 |
JP5614268B2 true JP5614268B2 (ja) | 2014-10-29 |
Family
ID=46198972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010274806A Expired - Fee Related JP5614268B2 (ja) | 2010-12-09 | 2010-12-09 | 画像処理装置、および画像処理方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8896670B2 (ja) |
JP (1) | JP5614268B2 (ja) |
CN (1) | CN102572469A (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI475875B (zh) * | 2011-12-28 | 2015-03-01 | Altek Corp | 三維影像產生裝置 |
TWI524735B (zh) * | 2012-03-30 | 2016-03-01 | 華晶科技股份有限公司 | 三維影像產生方法及裝置 |
JP6214233B2 (ja) * | 2013-06-21 | 2017-10-18 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム。 |
US20150116529A1 (en) * | 2013-10-28 | 2015-04-30 | Htc Corporation | Automatic effect method for photography and electronic apparatus |
CN103826060A (zh) * | 2014-01-24 | 2014-05-28 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照方法及终端 |
EP3169068B1 (en) * | 2014-07-09 | 2019-10-23 | LG Electronics Inc. | Portable device that controls photography mode, and control method therefor |
US9869544B2 (en) * | 2014-08-29 | 2018-01-16 | Blackberry Limited | Method to determine length and area measurements within a smartphone camera image |
CN109257543B (zh) * | 2018-11-29 | 2020-09-15 | 维沃移动通信有限公司 | 拍摄模式控制方法及移动终端 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03186448A (ja) | 1989-12-15 | 1991-08-14 | Takata Kk | パッセンジャー用エアバッグ |
JP3882182B2 (ja) * | 1997-11-27 | 2007-02-14 | 富士フイルムホールディングス株式会社 | 画像表示装置及びカメラ並びに画像通信システム |
JP3592147B2 (ja) * | 1998-08-20 | 2004-11-24 | キヤノン株式会社 | 固体撮像装置 |
JP2001061164A (ja) * | 1999-08-19 | 2001-03-06 | Toshiba Corp | 立体映像信号伝送方法 |
US7224526B2 (en) * | 1999-12-08 | 2007-05-29 | Neurok Llc | Three-dimensional free space image projection employing Fresnel lenses |
JP2002245451A (ja) * | 2001-02-19 | 2002-08-30 | Nippon Hoso Kyokai <Nhk> | 立体画像評価装置 |
US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
JP4677175B2 (ja) * | 2003-03-24 | 2011-04-27 | シャープ株式会社 | 画像処理装置、画像撮像システム、画像表示システム、画像撮像表示システム、画像処理プログラム、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2005167310A (ja) * | 2003-11-28 | 2005-06-23 | Sharp Corp | 撮影装置 |
WO2007049449A1 (ja) * | 2005-10-26 | 2007-05-03 | Matsushita Electric Industrial Co., Ltd. | 映像再生装置および映像記録装置、映像再生方法および映像記録方法並びに半導体集積回路 |
JP2008146587A (ja) * | 2006-12-13 | 2008-06-26 | Sony Corp | 表示装置、表示プログラム、表示方法、画像提供装置、画像提供プログラム、画像提供方法及び記録媒体 |
JP5040700B2 (ja) * | 2008-02-12 | 2012-10-03 | ソニー株式会社 | 撮像素子および撮像装置 |
JP2009272791A (ja) * | 2008-05-02 | 2009-11-19 | Sony Corp | 送信装置、情報送信方法、受信装置および情報処理方法 |
JP2010161492A (ja) | 2009-01-06 | 2010-07-22 | Fujifilm Corp | 撮影装置および画像表示方法 |
JP2010252046A (ja) * | 2009-04-15 | 2010-11-04 | Olympus Imaging Corp | 撮像装置 |
GB2471137B (en) * | 2009-06-19 | 2011-11-30 | Sony Comp Entertainment Europe | 3D image processing method and apparatus |
JP5249149B2 (ja) * | 2009-07-17 | 2013-07-31 | 富士フイルム株式会社 | 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム |
US9380292B2 (en) * | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
US8436893B2 (en) * | 2009-07-31 | 2013-05-07 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3D) images |
US8508580B2 (en) * | 2009-07-31 | 2013-08-13 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene |
US8654195B2 (en) * | 2009-11-13 | 2014-02-18 | Fujifilm Corporation | Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus |
JP4837772B2 (ja) * | 2009-12-15 | 2011-12-14 | パナソニック株式会社 | 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路 |
WO2012092246A2 (en) * | 2010-12-27 | 2012-07-05 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation |
-
2010
- 2010-12-09 JP JP2010274806A patent/JP5614268B2/ja not_active Expired - Fee Related
-
2011
- 2011-10-04 US US13/252,473 patent/US8896670B2/en not_active Expired - Fee Related
- 2011-11-18 CN CN2011103678412A patent/CN102572469A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN102572469A (zh) | 2012-07-11 |
JP2012124766A (ja) | 2012-06-28 |
US20120147145A1 (en) | 2012-06-14 |
US8896670B2 (en) | 2014-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5614268B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TWI399082B (zh) | Display control device, display control method and program | |
CN101753812B (zh) | 成像装置和成像方法 | |
EP2590421B1 (en) | Single-lens stereoscopic image capture device | |
WO2012132797A1 (ja) | 撮像装置及び撮像方法 | |
CN103370943B (zh) | 成像装置和成像方法 | |
US8593531B2 (en) | Imaging device, image processing method, and computer program | |
US20130113892A1 (en) | Three-dimensional image display device, three-dimensional image display method and recording medium | |
US10587860B2 (en) | Imaging apparatus and method for controlling same | |
US8878910B2 (en) | Stereoscopic image partial area enlargement and compound-eye imaging apparatus and recording medium | |
JP5371845B2 (ja) | 撮影装置及びその表示制御方法並びに3次元情報取得装置 | |
KR20160015737A (ko) | 이미지 촬영 장치 및 이미지 촬영 방법 | |
JP5231771B2 (ja) | 立体画像撮影装置 | |
JP2010056865A (ja) | 撮像装置 | |
JP4692849B2 (ja) | 立体画像記録装置および立体画像記録方法 | |
KR20150003576A (ko) | 삼차원 영상 생성 또는 재생을 위한 장치 및 방법 | |
CN103329549B (zh) | 立体视频处理器、立体成像装置和立体视频处理方法 | |
CN103339948B (zh) | 3d视频再现装置、3d成像装置和3d视频再现方法 | |
JP2010114577A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法及び画像処理方法 | |
US9369698B2 (en) | Imaging apparatus and method for controlling same | |
JP5704885B2 (ja) | 撮影機器、撮影方法及び撮影制御プログラム | |
WO2013005477A1 (ja) | 撮像装置、立体画像撮像方法及びプログラム | |
JP5864992B2 (ja) | 撮像装置およびその制御方法、並びに画像処理装置およびその制御方法 | |
JP5911276B2 (ja) | 撮像装置およびその制御方法、画像処理装置 | |
JP5307189B2 (ja) | 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140812 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140825 |
|
LAPS | Cancellation because of no payment of annual fees |