JP2012235281A - 3d画像撮像装置及びプログラム - Google Patents
3d画像撮像装置及びプログラム Download PDFInfo
- Publication number
- JP2012235281A JP2012235281A JP2011101959A JP2011101959A JP2012235281A JP 2012235281 A JP2012235281 A JP 2012235281A JP 2011101959 A JP2011101959 A JP 2011101959A JP 2011101959 A JP2011101959 A JP 2011101959A JP 2012235281 A JP2012235281 A JP 2012235281A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- eye
- unit
- image
- camera shake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
【課題】ユーザが近景撮像を行っているのか又は遠景撮像を行っているのかを判断し、各撮像において適切に手ぶれ補正及び視差調整を行うことで、眼精疲労や画像酔いを誘発しにくい、快適な3D画像の撮像が可能な3D画像撮像装置及びプログラムを提供する。
【解決手段】手ぶれ補正部403は、左眼用及び右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う。視差調整部404は、左眼用及び右眼用撮像データから水平方向の視差調整用の領域を除くことで垂直方向の視差調整を行う。判定部402は、近景撮像及び遠景撮像の判断を行い、近景撮像であると判断した場合は、手ぶれ補正部403が前記手ぶれ補正を行い、遠景撮像であると判断した場合は、視差調整部404が水平方向の視差調整を行った後、手ぶれ補正部403が前記手ぶれ補正を行う。
【選択図】図1
【解決手段】手ぶれ補正部403は、左眼用及び右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う。視差調整部404は、左眼用及び右眼用撮像データから水平方向の視差調整用の領域を除くことで垂直方向の視差調整を行う。判定部402は、近景撮像及び遠景撮像の判断を行い、近景撮像であると判断した場合は、手ぶれ補正部403が前記手ぶれ補正を行い、遠景撮像であると判断した場合は、視差調整部404が水平方向の視差調整を行った後、手ぶれ補正部403が前記手ぶれ補正を行う。
【選択図】図1
Description
本発明は3D画像撮像装置及びプログラムに関し、より詳細には、撮像が近景撮像又は遠景撮像であった場合は、その旨を判断して適切な手ぶれ補正及び視差調整を行う3D画像撮像装置及びプログラムに関する。
近年、水平方向に視差を有する2つの画像が左眼用画像及び右眼用画像としてディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体画像があたかも立体的に存在するかのように知覚できる3D画像に関する技術の開発が盛んに行われている。
3D画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像がディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式がよく知られている。
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式等もよく知られている。
これらの3D画像に関する技術では、観察者から見て3D画像中の被写体画像が、ディスプレイ面に対しどの程度前方に飛び出しているように知覚されるか、又はディスプレイ面に対しどの程度後方に引っ込んでいるように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。
一方で、左眼用画像及び右眼用画像の水平方向の視差が適切に調節されていない3D画像は、例えば被写体画像の前方への飛び出し又は後方への引っ込みが大きすぎた場合に、観察者に負担をかけ、眼精疲労や画像酔い等の原因となる可能性が指摘されている。そこで、左眼用画像及び右眼用画像の水平方向の視差を適切に調整しつつ3D画像を撮像する撮像装置に関する技術が盛んに開発されている。
左眼用画像及び右眼用画像の水平方向の視差調整に関しては、撮像装置に搭載された左眼用撮像部の光軸と右眼用撮像部の光軸とがなす輻輳角を調整して行う方法と、固体撮像素子やメモリに一時記憶された左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域の画像データを除き、出力する画像データの範囲を調整して行う方法とがある。
後者の例として、特許文献1には、被写体の距離に応じて、一時記憶された左眼用撮像データ及び右眼用撮像データのそれぞれから出力する画像データのアスペクト比を変更することで、3D画像の視差を調整する撮像装置に関する技術が開示されている。
ところで、2D画像撮像用の単眼式撮像装置においては、ユーザの手ぶれによる画像の見づらさが引き起こす画像酔いの防止等のため、固体撮像素子やメモリに一時記憶された撮像データの一部を手ぶれ補正用の領域の画像データとして除く手法が広く採用されている。
3D画像における手ぶれは、通常の手ぶれによる画像の見づらさに加え、左眼用画像及び右眼用画像の上下左右方向のぶれがそのまま垂直方向及び水平方向の視差の変化につながる。そして視差が不安定になると、例えば被写体画像のディスプレイ面に対する飛び出し度合いが不安定になったり、単なる2重の画像としてのみ認識されたりと、観察者に知覚される3D感を不安定なものにする原因ともなる。
従って、手ぶれによる画像酔い防止の必要性は3D画像の方が2D画像よりも大きい。一方で、3D画像の撮像においても、左眼用画像及び右眼用画像の各々は2D画像として記録されることから、2D画像の撮像と同様に、固体撮像素子やメモリに一時記憶された撮像データの一部を手ぶれ補正用の領域の画像データとして除く手法が有効である。
以上から、3D画像の撮像においては、手ぶれ補正用の領域の画像データの除外と、左眼用画像と右眼用画像との間の視差調整用の領域の画像データの除外を、いかにして適切に両立するかが重要となる。
本発明はこのような問題に鑑みてなされたものであり、ユーザが近景撮像を行っているのか又は遠景撮像を行っているのかを判断し、それぞれの撮像において適切に手ぶれ補正用の領域の画像データの除外と、視差調整用の領域の画像データの除外とを適切に両立することで、眼精疲労や画像酔いを誘発しにくい、快適な3D画像の撮像を行うことができる3D画像撮像装置及びプログラムを提供することを目的とする。
前記目的を達成するために、本発明は、被写体を撮像して左眼用撮像データを取得する左眼用撮像部(L100)及び右眼用撮像データを取得する右眼用撮像部(R100)と、前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う手ぶれ補正部(403)と、前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向の視差調整を行う視差調整部(403)と、前記左眼用撮像部及び前記右眼用撮像部の撮像が近景撮像であるか遠景撮像であるかを判断する判断部(402)とを備え、前記判断部(402)が近景撮像であると判断した場合は、前記手ぶれ補正部(403)が前記手ぶれ補正を行い、前記判断部(402)が遠景撮像であると判断した場合は、前記視差調整部(404)が前記水平方向の視差調整を行った後、前記手ぶれ補正部(403)が前記手ぶれ補正を行うことを特徴とする3D画像撮像装置(1)を提供する。
本発明に係る3D画像撮像装置(1)によれば、被写体への手ぶれの影響が大きい近景撮像の場合は、撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差調整を優先することで、適切な視差の調整を行うことができる。これにより、ユーザは眼精疲労や画像酔いを誘発しにくい、快適な3D画像の撮像を行うことができる。
上記3D画像撮像装置(1)はさらに、前記判断部(402)が近景撮像であると判断した場合は、前記手ぶれ補正部(403)が前記手ぶれ補正を行った後、前記視差調整部(404)が前記水平方向の視差調整を行うようにしてもよい。
これにより、手ぶれの影響を受けやすい近距離撮像において十分な手ぶれ補正用の領域を先に優先して確保することで、その影響を十分に抑えることができる。そして、さらに視差調整用の領域を確保することで、視差の調整された3D画像を生成することができる。
上記3D画像撮像装置(1)はさらに、前記視差調整部(404)がさらに、前記左眼用撮像データ及び前記右眼用撮像データから垂直方向の視差調整用の領域を除くことで垂直方向の視差調整を行い、前記判断部(402)が近景撮像であると判断した場合は、前記視差調整部(404)が前記垂直方向の視差調整を行った後、前記手ぶれ補正部(403)が前記手ぶれ補正を行い、前記判断部(402)が遠景撮像であると判断した場合は、前記視差調整部(404)が前記垂直方向の視差調整を行った後、前記視差調整部(404)が前記水平方向の視差調整を行い、その後に前記手ぶれ補正部(403)が前記手ぶれ補正を行うようにしてもよい。
これにより、左眼用撮像部(L100)の光軸と右眼用撮像部(R100)の光軸の垂直方向のずれ等により、左眼用撮像データと右眼用撮像データとの間に垂直方向の視差が存在する場合に、まずその垂直方向の視差を補正することができる。そして、被写体への手ぶれの影響が大きい近景撮像の場合は、撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差の調整を優先することで、3D画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
上記3D画像撮像装置(1)はさらに、前記左眼用撮像部(L100)及び前記右眼用撮像部(R100)はそれぞれフォーカスレンズ及びズームレンズを備え、前記判断部(402)は、少なくとも前記フォーカスレンズ及び前記ズームレンズの位置に基づいて前記撮像が近景撮像又は遠景撮像である旨の判断を行うようにしてもよい。
上記3D画像撮像装置(1)はさらに、近景撮像又は遠景撮像に対応する撮像モードを設定する撮像モード設定部(202)をさらに備え、前記判断部(402)は、少なくとも前記撮像モード設定部(202)に設定された前記撮像モードに基づいて、前記撮像が近景撮像又は遠景撮像である旨の判断を行うようにしてもよい。
前記目的を達成するために、本発明はまた、左眼用撮像部(L100)に被写体の左眼用撮像データを撮像させ、右眼用撮像部(R100)に被写体の右眼用撮像データを撮像させ、前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行わせ、前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向の視差調整を行わせ、前記左眼用撮像部(L100)及び前記右眼用撮像部(R100)の撮像が近景撮像であるか遠景撮像であるかを判断させる処理をコンピュータに実行させるプログラムであって、前記撮像が近景撮像であると判断された場合は、前記手ぶれ補正を行わせ、前記撮像が近景撮像であると判断された場合は、前記水平方向の視差調整を行わせた後、前記手ぶれ補正を行わせることを特徴とするプログラムを提供する。
本発明に係る3D画像撮像装置及びプログラムによれば、ユーザが近景撮像を行っているのか又は遠景撮像を行っているのかを判断し、それぞれの撮像において適切に手ぶれ補正用の領域の画像データの除外と、視差調整用の領域の画像データの除外とを適切に両立することで、眼精疲労や画像酔いを誘発しにくい、快適な3D画像の撮像を行うことができる。
以下に図面を参照しながら、本発明に係る3D画像撮像装置の好適な実施形態を説明する。かかる実施形態に示す寸法及び具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
図1は、本発明の実施形態に係る3D画像撮像装置(デジタルビデオカメラ)1(以下、単に「撮像装置1」という。)の内部構成の例を示すブロック図である。撮像装置1は3D又は2Dの動画像データ及び静止画像データを撮像することができる。なお、本実施形態に係る撮像装置1では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、デジタルスチルカメラをはじめ、携帯電話、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)等、3D画像データの撮像が可能なその他の電子機器においても採用することができる。
中央制御部400は、CPU(Central Processing Unit)、各種プログラムが格納されたROM(Read Only Memory)、及びワークエリアとしてのRAM(Random Access Memory)等を含む半導体集積回路により構成され、撮像装置1の撮像処理や画像表示等の各種処理を統括的に制御する。
さらに中央制御部400は、近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理において、左眼用撮像データと右眼用撮像データとの間の視差を算出する視差算出部401、撮像が近景撮像であるか遠景撮像であるかを判断する判断部402、一時記憶された撮像データからから手ぶれ補正用の領域を除くことで手ぶれ補正を行うことで手ぶれ補正を行う手ぶれ補正部403、一時記憶された撮像データから水平方向及び垂直方向の視差調整用の領域を除くことでことで水平方向及び垂直方向の視差調整を行う視差調整部404、及び最終的な出力画像データの領域を決定する出力画像領域決定部405としても機能する。
撮像装置1には、左右一対の左眼用撮像部L100及び右眼用撮像部R100が、人の眼の間隔より少し短い所定の間隔(例えば6cm)離れて設置されている。左眼用撮像部L100及び右眼用撮像部R100は、それぞれズームレンズL101及びR101、フォーカスレンズL102及びR102、絞りL103及びR103、並びに固体撮像素子L104及びR104を備える。
ズームレンズL101及びR101は、図示しないズームアクチュエータによって光軸AL100及びAR100に沿って移動する。フォーカスレンズL102及びR102は、図示しないフォーカスアクチュエータによって光軸AL100及びAR100に沿って移動する。
レンズ位置算出部L105及びR105は、中央制御部400の指示に基づき、上記ズームアクチュエータ及びフォーカスアクチュエータによって駆動されたズームレンズL101及びR101並びにフォーカスレンズL102及びR102の位置を算出する。レンズ位置算出部L105及びR105が算出した各レンズの位置に関する情報は、判断部402に引き渡され、後述する近景撮像又は遠景撮像の判断に使用される。
絞りL103及びR103は、図示しない絞りアクチュエータに駆動されて動作する。
左眼用撮像部L100及び右眼用撮像部R100は輻輳角アクチュエータL106及びR106とそれぞれ接続されており、輻輳角アクチュエータL106及びR106は中央制御部400からの指令を受けて、両撮像部を駆動し、光軸AL100とAR100とのなす輻輳角を調整する。
撮像装置1を用いた3D画像データの撮像は以下のような手順で行われる。左眼用固体撮像素子L104及び右眼用固体撮像素子R104がそれぞれ、左眼用撮像部L100と右眼用撮像部100とを通過した光を光電変換して、左右それぞれの被写体画像のアナログ撮像信号を生成する。アナログ信号処理部L107及びR107が両アナログ撮像信号を増幅した後、A/D変換器L108及びR108がその増幅された信号をデジタルの撮像データに変換する。画像入力コントローラL109及びR109は、A/D変換機L108及びR108から出力されたデジタルの撮像データを取り込んで、それらの撮像データはバス200に入力され、バス200を介してメインメモリ201に一時記憶される。
デジタル信号処理部L110及びR110は、中央制御部400の指示に基づき、メインメモリ201に格納されたデジタルの撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。デジタル信号処理部L110及びR110はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
メインメモリ201は、上述の3D画像データの撮像で生成された左眼用撮像データ及び右眼用撮像データを一時記憶する。メインメモリ201は、例えばEPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable PROM)、不揮発性RAM、フラッシュメモリ、又はHDD(Hard Disk Drive)等の記憶媒体で構成される。
また、バス200を介して、フラッシュROM202、VRAM(Video RAM)203、音声・画像処理部204、圧縮・伸張処理部205、及びメディア制御部206が中央制御部400等と接続され、それぞれが以下に説明する機能を果たす。
フラッシュROM202は、ユーザの設定情報等、撮像装置1の動作に関する各種設定情報を格納している。撮像装置1は、撮像のシチュエーションに応じた各種の撮像モードを有しており、各撮像モードに対応した撮像条件に関する情報等も、このフラッシュROM202に格納されている。VRAM203は、液晶モニタ304等に表示するための画像データの一時記憶領域として使用される。
音声・画像処理部204は、例えば、メインメモリ201から読み出したデジタルの撮像データに所定の画像処理を施す。例えば、音声・画像処理部204は、中央制御部400の指示を受けて、撮像モードの選択を初めとした各種処理のための画像データを生成し、それらの画像データをメインメモリ201から読み出されたオリジナルの撮像データに重畳させて液晶モニタ304に出力する。
この出力によって、液晶モニタ304に表示される画像は撮像データやメニュー選択画像データ等の各種画像データが合成されたものとなる。例えば、音声・画像処理部204は後述する各種撮像モードや、近景撮像又は遠景撮像のモードをユーザが指定するためのメニュー選択画像データの生成し、撮像画像データと合成して液晶モニタに表示することができる。
圧縮・伸張処理部205は、中央制御部400の指示を受けて、メインメモリ201に格納されたデータに所定形式の圧縮処理を施し、圧縮データを生成する。また、中央制御部400の指示を受けて、カード型記録媒体302等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置1では、静止画に対してはJPEG規格に準拠した圧縮方式が、動画に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式が採用される。
メディア制御部206は、中央制御部400の指示を受けて、カードI/F301を介してカード型記録媒体302へのデータの書き込みやカード型記録媒体302からのデータの読み出しを制御する。
カードI/F301及び入出力I/F303もバス200を介して中央制御部400と接続され、以下の機能を果たす。
中央制御部400の指示を受けて、各種データがバス200を介してカードI/F301に入力され、カードI/F301はそれらのデータをカード型記録媒体302に出力する。カード型記録媒体302としては、撮像装置1に着脱可能なSD(Secure Digital)メモリカード等が使用される。但し、これはあくまで例示であり、カード型記録媒体302の替りに、DVD、BD(Blu-ray Disc)、若しくはフラッシュメモリ等の他の記録媒体を使用する、又は撮像装置1に内蔵されたHDD(Hard Disc Drive)等で構成することができることはいうまでもない。
また、各種データは、中央制御部400の指示を受けて、入出力I/F303に入力され、入出力I/F303はそれらのデータを液晶モニタ304又は入出力端子307に出力する。ここで、液晶モニタ304、スピーカ305、操作部306及び入出力端子307は入出力I/F303に接続されている。
ここで、液晶モニタ304は3D画像を表示できる態様となっている。図2は、液晶モニタ304の水平方向の切断面を示している。液晶モニタ304は、表示パネルの一例としての液晶パネルM12と、液晶パネルM12の表示面に対向して配置された視差分割部の一例としての液晶バリアM13とを備える。液晶パネルM12と液晶バリアM13は、粘着シートM11により接着されている。
液晶パネルM12において、液晶層M122の両面は液晶ガラス基板M121、M123で挟まれ、表示面側の液晶ガラス基板M123にはカラーフィルタ(図示せず)が形成されている。カラーフィルタの主表面には、赤色(R)、緑色(G)、青色(B)の異なる色の着色層がマトリックス状に配置されている。この着色層の配置が液晶パネルM12の色画素の配置に対応している。液晶ガラス基板M123の表示面側には液晶偏光板M124が積層されている。液晶ガラス基板M121の裏面側にはバックライト(図示せず)が配置されている。
液晶バリアM13は、視差バリア(パララックスバリア)の一例であって、パッシブ方式液晶やアクティブマトリックス方式液晶によって光を遮断するバリア部のパターンを形成することができる。液晶バリアM13において、バリア液晶層M132の両面は液晶バリアガラス基板M131、M133で挟まれている。液晶バリアガラス基板M133の表示面側には液晶バリア偏光板M134が積層されている。バリア液晶層M132には、光を遮断するバリア部M132aと光を透過するスリット部M132bとが交互に形成されている。
図3に示すように、観察者の右眼RE12からスリット部M132bを通じて視認される液晶パネルM12の右眼用色画素領域RGは、観察者の左眼LE12からはバリア部M132aによって遮蔽されて視認することができない。一方、観察者の左眼LE12からスリット部M132bを通じて視認される液晶パネルM12の左眼用色画素領域LGは、観察者の右眼RE12からはバリア部M132aによって遮蔽されて視認することができない。
このように、液晶バリアM13は、液晶パネルM12の色画素領域を、右眼RE12の視線が届き、左眼LE12の視線が届かない右眼用色画素領域RGと、左眼LE12の視線が届き、右眼RE12の視線が届かない左眼用色画素領域LGとに分ける。これにより、水平方向に並ぶ観察者の右眼RE12及び左眼LE12の位置から異なる画像を見ることができる。すなわち、液晶パネルM12の画像を複数の視点方向に分割し、視認される画像を観察位置によって変化させることにより、観察者は液晶モニタ304に表示される左眼用画像及び右眼用画像を3D画像として認識することができる。
なお、3D画像の表示のための液晶モニタ304の構造として、上述の通り視差バリア方式を用いた例を説明したが、他の方式、例えばレンチキュラ方式や光方向制御方式等を採用することもできる。また、液晶モニタ304は、各種画像を3Dで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を2Dで表示することもできる。また、左眼用画像及び右眼用画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて2Dで表示することもできる。
操作部306は、図示しないリレーズ・スイッチや電源スイッチを含む操作ボタン、十字キー、ジョイスティック、又は液晶モニタ304上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置1への操作入力を受け付ける。
入出力端子307は、図示しないテレビモニタやPC(Personal Computer)等に接続される。入出力端子307は、例えばHDMI(High-Definition Multimedia Interface)端子、USB(Universal Serial Bus)端子、IEEE 1394規格に準拠した各種入力端子等で構成される。
次に、近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理における、中央制御部400の視差算出部401、判断部402、手ぶれ補正部403、視差調整部404、及び出力画像領域決定部405としての機能を以下に説明する。
視差算出部401は、メインメモリ201に一時記憶された左眼用撮像データ及び右眼用撮像データから、両撮像データにおける各被写体画像データ間の垂直方向及び水平方向の視差を算出する。視差算出部401による視差の算出は既知の様々な方法で行うことができるが、例えばMPEGにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した方法により、左眼用撮像データの各被写体画像データと右眼用撮像データの各被写体画像データの差分ベクトルを算出することで行われる。
動画圧縮技術であるMPEGにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは2つのフレームデータ間における同一被写体の変位をベクトルで表したものである。現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似した画素ブロックをそれぞれから抽出し、両者の位置関係から動きベクトルが算出される。
視差算出部401は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮像データ及び右眼用撮像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、対応する画素ブロックを左眼用撮像データ及び右眼用撮像データから抽出し、それらの差分ベクトルを左眼用撮像データ及び右眼用撮像データにおける被写体画像データの視差として算出する。
視差算出部401による左眼用撮像データと右眼用撮像データとの間の差分ベクトルの算出について、図4、図5、及び図6を参照して詳細に説明する。図4は、左眼用画像及び右眼用画像として、互いに視差を有する2つの画像を撮像している様子を模式的に示した図であり、図5は左眼用撮像データと右眼用撮像データの水平方向の視差について説明する図であり、図6は左眼用撮像データと右眼用撮像データの垂直方向の視差について説明する図である。
図4は、撮像装置1の左眼用撮像部L100及び右眼用撮像部R100が、被写体40及び41を撮像している様子を模式的に示した図である。図4において、被写体40は、左眼用撮像部L100に対しては画角VL40で決定される撮像領域のほぼ右端に位置しており、右眼用撮像部R100に対しては光軸AR100のやや右に位置している。被写体画像41は、左眼用撮像部L100の光軸AL100と右眼用撮像部R100の光軸AR100の交わる点、いわゆる輻輳点に位置している。
図4において、左眼用撮像部L100が取得した左眼用撮像データPL40及び右眼用撮像部R100が取得した右眼用撮像データPR40の水平方向の視差の算出について説明するための概念図を図5に示す。
左眼用撮像データPL40中の被写体画像データOPL40の画素ブロックPBL40と、対応する右眼用撮像データPR40中の被写体画像データOPL40中の画素ブロックPBR40との水平方向の差分ベクトルVH40が、水平方向の視差として算出されることになる。被写体画像OPL41の画素ブロックPBL41と、対応する被写体画像OPL41中の画素ブロックPBR41とは、水平方向の位置が一致していることから、差分ベクトルがゼロ、つまり視差がゼロとして算出される。
次に、図4において、左眼用撮像部L100が取得した左眼用撮像データPL40及び右眼用撮像部R100が取得した右眼用撮像データPR40の垂直方向の視差の算出について説明するための概念図を図6に示す。
左眼用撮像データPL40中の被写体画像OPL40の画素ブロックPBL40と、対応する右眼用撮像データPR40中の被写体画像OPL40中の画素ブロックPBR40との差分ベクトルVV40が、垂直方向の視差として算出されることになる。同じく、被写体画像OPL41の画素ブロックPBL41と、対応する被写体画像OPL41中の画素ブロックPBR41との差分ベクトルVV41が、垂直方向の視差として算出されることになる。
撮像装置1のような複眼式の撮像装置では、通常、工場出荷時に左眼用撮像部の光軸と右眼用撮像部の光軸に垂直方向のズレがないように調整を行う。左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差(ずれ)が存在すると、観察者は両画像を3Dとして認識できず、単なる2重の画像としてしか認識できないことがあるからである。
一方で、ユーザが撮像装置1の取り扱いを誤り、左眼用撮像部と右眼用撮像部との光軸に垂直方向のずれが生じてしまう等の可能性もある。視差算出部401は、左眼用撮像データと右眼用撮像データとの垂直方向の差分ベクトルを算出することで、後述する視差調整部404による視差調整において、垂直方向の視差調整を可能としている。
図1に戻り、判断部402による近景撮像及び遠景撮像の判断について以下に説明する。判断部402は、ユーザの撮像が、ユーザから半径1m程度の範囲内の被写体を撮像する、いわゆる近景撮像なのか、ユーザから数m以上離れた範囲に存在する被写体を撮像する、いわゆる遠景撮像なのかを判断する。この近景撮像及び遠景撮像の判断は、ユーザが予め設定することができる撮像モードに基づく判断、及び左眼用撮像部L100及び右眼用撮像部R100の各種レンズの位置に基づく判断、又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により行われる。
先ず、ユーザが予め設定することができる撮像モードに基づく判断について以下に説明する。撮像装置1は、撮像のシチュエーションに併せて、予め定められたいくつかの撮像モードと、各モードに対応した撮像条件設定をフラッシュROM202に格納している。予め定められたモードには、例えば、人物を撮像するためのポートレート・モード、花等を撮像するための接写モード、或は風景を撮像するための風景モード等が考えられる。
そして、これらの撮像モードのいくつかに対し、それが近景撮像に対応するものなのか、又は遠景撮像に対応するものなのかといった情報が対応づけられて、同じくフラッシュROM202の中に格納されている。例えば、上述のポートレート・モード及び接写モードは近景撮像に対応するという情報が、そして風景モードは遠景撮像に対応するという情報がフラッシュROM202に格納されている。
ユーザが撮像に当たり、操作部306の図示しない操作ボタン等により、これらの予め定められた撮像モードのいずれかに基づく撮像を選択した場合に、判断部402は、フラッシュROM202に格納された情報から、それが遠景撮像なのか近景撮像なのかを判断する。例えば、ユーザが接写モードを選択して、撮像を開始した場合は、判断部402は、その撮像が近景撮像である旨の判断を行う。また、ユーザが風景モードを選択して撮像を開始した場合は、判断部402は、その撮像が遠景撮像である旨の判断を行う。
また、撮像装置1は、遠景撮像に適した各種撮像条件設定を有する遠景撮像モード、及び近景撮像に適した各種撮像条件設定を有する近景撮像モードの2つのモードを予め備え、ユーザが撮像前にそのいずれかを選択することで、判断部402が近景撮像及び遠景撮像の別の判断を行うようにしてもよい。
次に、各種レンズの位置に基づく判断について以下に説明する。ある被写体に対し、ピント合焦状態を保持したままズーミングを行う際は、ズームレンズに連動してフォーカスレンズを駆動させる。そして、撮像装置から所定の距離にある被写体に対する、任意のズームレンズの位置とそのズームレンズの位置に対するフォーカスレンズの最適位置との関係は、図7に示すような、いわゆるズームトラッキングカーブとして得ることができる。
判断部402は、レンズ位置算出部L110及びR110が算出したズームレンズL101及びR101の位置及びフォーカスレンズL102及びR102の位置の関係から、近景撮像及び遠景撮像の判断を行う。
判断部402は、レンズ位置算出部L110及びR110が算出したフォーカスレンズL102及びR102の位置がファー側に位置しているか、ニア側に位置しているかを特定し、ファー側にある時は遠距離撮像、ニア側にある時は近距離撮像と判断する。つまり、図7に示すようにズームレンズL101及びR101の位置がXである場合、フォーカスレンズL102及びR102の位置がファー側のFFよりであれば、判断部122は近距離撮像との判断をする。一方で、フォーカスレンズL102及びR102の位置がニア側のFNよりであれば、判断部122は遠距離撮像との判断をする。
さらに、左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断について以下に説明する。風景等を撮像する遠景撮像を行った場合、取得された撮像画像は画像上部が明るく、画像下部が暗くなる傾向がある。画像上部には空の画像が撮像され、画像下部には山岳等の被写体が風景として撮像されることが多いからである。そこで、判断部402は、左眼用撮像部L100が撮像した左眼用撮像データ及び右眼用撮像部R100が撮像した右眼用撮像データの少なくともいずれか一方について、画像上部の所定領域の輝度情報と画像下部の所定領域の輝度情報を算出し、両者の差が予め定めた範囲内にあるときは、撮像が遠景撮像で行われている旨の判断を行う。
上述した3つの判断の少なくともいずれか一つにより、又はいくつかを組み合わせることで、判断部402は近景撮像と遠景撮像の判断を行う。いずれの判断によるかはユーザが任意に設定できるようにしてもよい。例えば、判断部402は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択された場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われる場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により判断を行うようにしてもよい。
図1に戻り、手ぶれ補正部403及び視差調整部404は、それぞれメインメモリ201に一時記憶された左眼用撮像データ及び右眼用撮像データのそれぞれから、手ぶれ補正用の領域の画像データ(以下、単に「手ぶれ補正用の領域」という。)と視差調整用の領域の画像データ(以下、単に「視差調整用の領域」という)をそれぞれ除外し、手ぶれ補正及び視差調整を行う。
そして、出力画像領域決定部405は、画像データの出力先である液晶モニタ304等の表示に関するアスペクト比を考慮し、最終的にカードI/F301や入出力I/F303に出力する出力画像データの領域を決定する。
(近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理)
以下に、撮像装置1による近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理(方法)に関し、近景撮像の場合は手ぶれ補正のみを行い視差調整を行わない第1の処理、近景撮像の場合及び遠景撮像の場合ともに手ぶれ補正及び視差調整を行う第2の処理、及び垂直方向の視差調整を行う第3の処理について、順に説明する。
以下に、撮像装置1による近景撮像及び遠景撮像の判断に基づく手ぶれ補正及び視差調整処理(方法)に関し、近景撮像の場合は手ぶれ補正のみを行い視差調整を行わない第1の処理、近景撮像の場合及び遠景撮像の場合ともに手ぶれ補正及び視差調整を行う第2の処理、及び垂直方向の視差調整を行う第3の処理について、順に説明する。
(第1の手ぶれ補正及び視差調整処理)
図8は、近景撮像の場合は手ぶれ補正のみを行い視差調整を行わない第1の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。本処理では、被写体への手ぶれの影響が大きい近景撮像の場合は手ぶれ補正のみを行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
図8は、近景撮像の場合は手ぶれ補正のみを行い視差調整を行わない第1の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。本処理では、被写体への手ぶれの影響が大きい近景撮像の場合は手ぶれ補正のみを行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
本処理は、ユーザが操作部306の図示しない録画ボタンを押したとき、中央制御部400の統括制御によりROMに格納されたプログラムに従って実行される。また、ユーザが撮像装置1の電源を入れ、操作部306の図示しないボタン等を使用して撮像処理をスタンバイ状態にしたとき、又はユーザが操作部306の図示しない録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
上述の通り、左眼用撮像部L100が撮像した左眼用撮像データ及び右眼用撮像部R100が撮像した右眼用撮像データがそれぞれメインメモリ201に一時記憶される(ステップS101)。
次に判断部402は、撮像が近景撮像であるか、又は遠景撮像であるかを上述の方法により判断する(ステップS102)。すなわち、判断部402は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択されていた場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われている場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により、撮像が近景撮像であるか、又は遠景撮像であるかを判断する。
判断部402が撮像は近景撮像であるとの判断をした場合(ステップS102で近景撮像)、手ぶれ補正部403は、メインメモリ201に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から手ぶれ補正用の領域を除外する(ステップS103)。図9に近景撮像においてステップS101でメインメモリ201に一時記憶されている撮像データの例を説明する概念図を示し、図10にステップS104における画像データの処理の概念図を示す。
ユーザが撮像装置1を使用して、例えば人物Aを撮像した場合、図9に示すように固体撮像素子L104及びR104を介して、左眼用撮像データLP90と右眼用撮像データRP90がメインメモリ201に一時記憶される。上述したとおり、左眼用撮像部L100と右眼用撮像部R100は所定距離だけ離れて撮像装置1に搭載されていることから、左眼用撮像データLP90中の人物Aの被写体画像データOPL90と、右眼用撮像データRP90中の人物Aの被写体画像データOPR90とは、水平方向に視差を有する状態で記憶されることとなる。
ここで、撮像が近景撮像であった場合、撮像データ中に締める被写体画像データの大きさは、撮像が遠景撮像であった場合よりも大きくなる。従って、表示される被写体画像が受けるユーザの縦方向又は横方向の手ぶれの影響も撮像が近景撮像であった場合の方が、撮像が遠景撮像であった場合に比べて相対的に大きくなる。そこで、近距離撮像の場合は、先ず手ぶれ補正部403が左眼用撮像データ及び右眼用撮像データから手ぶれ補正用の領域を除く。
図10に示すように、手ぶれ補正部403は、メインメモリ201に一時記憶された左眼用撮像データLP90及び右眼用撮像画像データRP90の中から、手ぶれ補正用の領域LP91及びRP91(図10中でハッチングで示した範囲)を決定する。これら手ぶれ手ぶれ補正用の領域は撮像時の撮像部L100及びR100のズーム倍率に基づいて決定され、例えば以下の式(1)及び(2)の関係を満たすように決定される。
(1−Vb/Va)×100=(ズーム倍率+2)% ・・・(1)
(1−Hb/Ha)×100=(ズーム倍率+2)% ・・・(2)
ステップS103で手ぶれ補正用の領域が除かれると、出力画像領域決定部405は、左眼用撮像データ及び右眼用撮像データのそれぞれから手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ304や入出力端子307を介して接続された外部ディスプレイ装置の表示のアスペクト比(例えば、縦横のアスペクト比が16:9)を考慮し、最終的な出力画像データの領域を決定する(ステップS106)。
画像出力領域決定部405が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードI/F301等から出力されカード型記録媒体302等に記録される、或は入出力I/F303から出力され液晶モニタ304等に表示される(ステップS107)。
ユーザが操作部306の図示しない録画ボタンを離す等すると、撮像装置1は撮像を終了し、この処理を完了する。なお、上記例では、一時記録された撮像画像データに占める手ぶれ補正用の領域の水平方向及び垂直方向の割合を同一としたが、水平方向及び垂直方向で可変としてもよい。
判断部402が撮像は遠景撮像であるとの判断をした場合(ステップS102で遠景撮像)、先ず視差調整部404が、メインメモリ201に一時記録されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する(ステップS104)。図11に遠景撮像においてステップS101でメインメモリ201に一時記憶されている撮像データの概念図を示し、図12にステップS104における画像データの処理の概念図を示す。
ユーザが撮像装置1を使用して、例えば遠方の山岳の風景を撮像した場合、図11に示したように固体撮像素子L104及びR104を通して、左眼用撮像データLP110と右眼用撮像データRP110がメインメモリ201に一時記憶される。
ここで、撮像装置1のような複眼式の撮像装置で遠距離の撮像を行った場合、近距離の撮像を行った場合に比べて、左眼用撮像部L100で撮像される左眼用撮像データの左側には右眼用撮像部R100では撮像されない画像データが、右眼用撮像部R100で撮像される右眼用撮像データの右側には左眼用撮像部L100では撮像されない画像データが多く含まれることになる。左眼用撮像データ及び右眼用撮像データのうち、一方の撮像データにのみ含まれる画像データに関しては、液晶モニタ304等に表示しても3D画像としては知覚されない。よって、遠距離撮像の場合は、先ず水平方向の視差調整用の領域が除外される。
図12に示したように、視差調整部404は、メインメモリ201に一時記憶された左眼用撮像データLP110及び右眼用撮像データRP110の中から、水平方向の視差調整用の領域LP111及びRP111(図12中でハッチングで示した範囲)を決定する。これら水平方向の視差調整用の領域LP111及びRP111の水平方向の幅LDW及びRDWは、予め定められた値としてもよいし、ユーザが好みの視差を予め設定することで可変としてもよい。
ステップS104で、水平方向の視差調整用の領域が除かれると、次に手ぶれ補正部403が、手ぶれ補正用の領域を除外する(ステップS105)。図13に示すように、手ぶれ補正部403により除外される手ぶれ補正用の領域LP112及びRP112は、例えばステップS103と同様に縦横それぞれが(ズーム倍率+2)%の割合となるように決定される。なお、手ぶれ補正部403により除外される手ぶれ補正用の領域の縦横それぞれの割合は必ずしも同一である必要なく、縦と横で異なる割合としてもよい。
ステップS105で手ぶれ補正用の領域が除かれると、出力画像領域決定部405は、左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域及び手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ304や入出力端子307を介して接続された外部ディスプレイ装置の表示のアスペクト比(例えば、縦横のアスペクト比が16:9)を考慮し、最終的な出力画像データの領域を決定する(ステップS106)。
画像出力領域決定部405が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードI/F301等から出力されカード型記録媒体302等に記録される、或は入出力I/F303から出力され液晶モニタ304等に表示される(ステップS107)。そして、ユーザが操作部306の図示しない録画ボタンを離す等すると、撮像装置1は撮像を終了し、この処理を完了する。
以上のように、第1の手ぶれ補正及び視差調整処理によれば、被写体への手ぶれの影響が大きい近景撮像の場合は、一時記憶された撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差調整を優先することで、3D画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
(第2の手ぶれ補正及び視差調整処理)
図14は、近景撮像の場合及び遠景撮像の場合ともに手ぶれ補正及び視差調整を行う第2の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。本処理では、被写体への手ぶれの影響が大きい近景撮像の場合は手ぶれ補正を優先して行った後、視差調整を行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
図14は、近景撮像の場合及び遠景撮像の場合ともに手ぶれ補正及び視差調整を行う第2の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。本処理では、被写体への手ぶれの影響が大きい近景撮像の場合は手ぶれ補正を優先して行った後、視差調整を行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
本処理は、ユーザが操作部306の図示しない録画ボタンを押したとき、中央制御部400の統括制御によりROMに格納されたプログラムに従って実行される。また、ユーザが撮像装置1の電源を入れ、操作部306の図示しないボタン等を使用して撮像処理をスタンバイ状態にしたとき、又はユーザが操作部306の図示しない録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
上述の通り、左眼用撮像部L100が撮像した左眼用撮像データ及び右眼用撮像部R100が撮像した右眼用撮像データがそれぞれメインメモリ201に一時記憶される(ステップS201)。
次に判断部402は、撮像が近景撮像であるか、又は遠景撮像であるかを上述の方法により判断する(ステップS202)。すなわち、判断部402は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択されていた場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われている場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により、撮像が近景撮像であるか、又は遠景撮像であるかを判断する。
判断部402が撮像は近景撮像であるとの判断をした場合(ステップS202で近景撮像)、手ぶれ補正部403は、メインメモリ201に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から手ぶれ補正用の領域を除外する(ステップS203)。手ぶれ補正用の領域の除外は、上述のステップS103と同様にして行われる。図15にステップS203における画像データの処理の概念図を示す。
図15に示すように、手ぶれ補正部403は、メインメモリ201に一時記憶された左眼用撮像データLP150及び右眼用撮像画像データRP150の中から、手ぶれ補正用の領域LP151及びRP151(図15中でハッチングで示した範囲)を決定する。なお、手ぶれ補正部403により除外される手ぶれ補正用の領域の縦横それぞれの割合は必ずしも同一である必要なく、縦と横で異なる割合としてもよい。
次に、視差調整部404が、メインメモリ201に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する(ステップS204)。図16にステップS204における画像データの処理の概念図を示す。
図16に示すように、視差調整部403は、左眼用撮像データLP150及び右眼用撮像データRP150から手ぶれ補正用の領域LP151及びRP151を除いた領域から、視差調整用の領域LP152及びRP152(図16中でクロスハッチングで示した各範囲)を決定する。LP152及びRP152それぞれの水平方向の幅は、予め設定された値としてもよいし、ユーザが好みに応じて設定できるようにしてもよい。
ステップS204で水平方向の視差調整用の領域が除かれると、出力画像領域決定部405は、左眼用撮像データ及び右眼用撮像データのそれぞれから手ぶれ補正用の領域及び視差調整用の領域を除いた領域から、出力先である液晶モニタ304や入出力端子307を介して接続された外部ディスプレイ装置の表示のアスペクト比(例えば、縦横のアスペクト比が16:9)を考慮し、最終的な出力画像データの領域を決定する(ステップS207)。
画像出力領域決定部405が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードI/F301等から出力されカード型記録媒体302等に記録される、或は入出力I/F303から出力され液晶モニタ304等に表示される(ステップS107)。そして、ユーザが操作部306の図示しない録画ボタンを離す等すると、撮像装置1は撮像を終了し、この処理を完了する。
判断部402が撮像は遠景撮像であるとの判断をした場合(ステップS202で遠景撮像)、先ず視差調整部404が、メインメモリ201に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する(ステップS205)。この水平方向の視差調整用の領域の除外は、上述のステップS104と同様にして行われる。
ステップS205で、水平方向の視差調整用の領域が除外されると、次に手ぶれ補正部403が、手ぶれ補正用の領域を除外する(ステップS206)。この処理は、上述のステップS105と同様にして行われる。
ステップS206で手ぶれ補正用の領域が除外されると、出力画像領域決定部405は、左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域及び手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ304や入出力端子307を介して接続された外部ディスプレイ装置の表示のアスペクト比(例えば、縦横のアスペクト比が16:9)を考慮し、最終的な出力画像データの領域を決定する(ステップS207)。
画像出力領域決定部405が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードI/F301等から出力されカード型記録媒体302等に記録される、或は入出力I/F303から出力され液晶モニタ304等に表示される(ステップS107)。そして、ユーザが操作部306の図示しない録画ボタンを離す等すると、撮像装置1は撮像を終了し、この処理を完了する。
以上のように、第2の手ぶれ補正及び視差調整処理によれば、手ぶれの影響を受けやすい近距離撮像において十分な手ぶれ補正用の領域を先に優先して確保することで、その影響を十分に抑えることができる。そして、さらに視差調整用の領域を確保することで、視差の調整された3D画像を生成することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差の調整を優先することで、3D画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
(第3の手ぶれ補正及び視差調整処理)
図17は、垂直方向の視差調整を行う第3の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差(ずれ)が存在すると、観察者は両画像を3Dとして認識できず、単なる二重の画像としてしか認識できないことがある。そこで、本処理では、まず左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整を行った後、被写体への手ぶれの影響が大きい近景撮像の場合は、手ぶれ補正のみを行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
図17は、垂直方向の視差調整を行う第3の手ぶれ補正及び視差調整処理について説明するためのフローチャートである。左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差(ずれ)が存在すると、観察者は両画像を3Dとして認識できず、単なる二重の画像としてしか認識できないことがある。そこで、本処理では、まず左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整を行った後、被写体への手ぶれの影響が大きい近景撮像の場合は、手ぶれ補正のみを行い、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、視差調整を優先して行った後、手ぶれ補正を行う。
本処理は、ユーザが操作部306の図示しない録画ボタンを押したとき、中央制御部400の統括制御によりROMに格納されたプログラムに従って実行される。また、ユーザが撮像装置1の電源を入れ、操作部306の図示しないボタン等を使用して撮像処理をスタンバイ状態にしたとき、又はユーザが操作部306の図示しない録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。
上述の通り、左眼用撮像部L100が撮像した左眼用撮像データ及び右眼用撮像部R100が撮像した右眼用撮像データがそれぞれメインメモリ201に一時記憶される(ステップS301)。
次に視差算出部401が、メインメモリ201に記憶された左眼用撮像データと右眼用撮像データとの間の垂直方向の視差を算出し、視差調整部204が、算出された垂直方向の視差に基づき、左眼用及び右眼用の撮像画像データから、垂直方向の視差調整用の領域を除外する(ステップS302)。この処理は具体的には以下のようにして行われる。
図18に左眼用撮像データと右眼用撮像データとの間の垂直方向の視差について説明するための概念図を示す。視差算出部401は、左眼用撮像データLP180中の被写体画像OPL180の画素ブロックPBL180と、対応する右眼用撮像データRP180中の被写体画像OPR180の画素ブロックPBR180との間の垂直方向の差分ベクトルVを算出する。
そして、図19に示すように視差調整部401が、視差ベクトルVの垂直成分の大きさに等しい高さを有する垂直方向の視差調整用の領域LP181及びRP181(図19中でクロスハッチングで示した各範囲)を決定する。
撮像装置1のような複眼式の撮像装置では、ユーザが撮像装置1の取り扱いの誤り等によって、左眼用画像と右眼用画像との間で垂直方向の視差(ずれ)が生じる場合がある。そして、左眼用撮像画像と右眼用撮像画像との間に垂直方向の視差(ずれ)が存在すると、観察者は両画像を3Dとして認識できず、単なる2重の画像としてしか認識できないことがある。上述の垂直方向の視差調整を行うことで、撮像画像を適切に立体視できる画像とすることができる。
ステップS302で垂直方向の視差調整用の領域が除外されると、判断部402は、撮像が近景撮像であるか、又は遠景撮像であるかを上述の方法により判断する(ステップS303)。すなわち、判断部402は、まずユーザが予め設定することができる撮像モードに基づく判断に基づく判断を行い、近景撮像又は遠景撮像のいずれにも対応していない撮像モードが選択されていた場合、又は撮像モードが選択されずにユーザのマニュアルで撮像が行われている場合に、上記各種レンズの位置に基づく判断又は左眼用撮像画像内及び右眼用撮像画像内の明るさの分布に基づく判断により、撮像が近景撮像であるか、又は遠景撮像であるかを判断する。
判断部402が撮像は近景撮像であるとの判断をした場合(ステップS303で近景撮像)、手ぶれ補正部403は、メインメモリ201に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から手ぶれ補正用の領域を除外する(ステップS304)。この処理は、上述のステップS103と同様にして行われる。
ステップS304で手ぶれ補正用の領域が除外されると、出力画像領域決定部405は、左眼用撮像データ及び右眼用撮像データのそれぞれから手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ304や入出力端子307を介して接続された外部ディスプレイ装置の表示のアスペクト比(例えば、縦横のアスペクト比が16:9)を考慮し、最終的な出力画像データの領域を決定する(ステップS307)。
画像出力領域決定部405が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードI/F301等から出力されカード型記録媒体302等に記録される、或は入出力I/F303から出力され液晶モニタ304等に表示される(ステップS107)。そして、ユーザが操作部306の図示しない録画ボタンを離す等すると、撮像装置1は撮像を終了し、この処理を完了する。
判断部402が撮像は遠景撮像であるとの判断をした場合(ステップS303で遠景撮像)、先ず視差調整部404が、メインメモリ201に一時記憶されている左眼用撮像データ及び右眼用撮像データの中から、水平方向の視差調整用の領域を除外する(ステップS305)。この処理は上述のステップS104と同様にして行われる。
ステップS305で、水平方向の視差調整用の領域が除外されると、次に手ぶれ補正部403が、手ぶれ補正用の領域を除外する(ステップS306)。この処理は上述のステップS105と同様にして行われる。
ステップS306で手ぶれ補正用の領域が除外されると、出力画像領域決定部405は、左眼用撮像データ及び右眼用撮像データのそれぞれから視差調整用の領域及び手ぶれ補正用の領域を除いた領域から、出力先である液晶モニタ304や入出力端子307を介して接続された外部ディスプレイ装置の表示のアスペクト比(例えば、縦横のアスペクト比が16:9)を考慮し、最終的な出力画像データの領域を決定する(ステップS307)。
画像出力領域決定部405が決定した左眼用の出力画像データ及び右眼用の出力画像データの両画像データが、カードI/F301等から出力されカード型記録媒体302等に記録される、或は入出力I/F303から出力され液晶モニタ304等に表示される(ステップS107)。そして、ユーザが操作部306の図示しない録画ボタンを離す等すると、撮像装置1は撮像を終了し、この処理を完了する。
以上のように、第3の第1の手ぶれ補正及び視差調整処理によれば、左眼用撮像部L100の光軸AL100と右眼用撮像部R100の光軸AR100の垂直方向のずれ等により、左眼用撮像データと右眼用撮像データとの間に垂直方向の視差が存在する場合に、まずその垂直方向の視差を調整することができる。
そして、被写体への手ぶれの影響が大きい近景撮像の場合は、一時記憶された撮像データから手ぶれ補正用の領域を十分に確保することができる。また、被写体への手ぶれの影響が比較的小さい遠景撮像の場合は、左眼用撮像データと右眼用撮像データとの間の水平方向の視差の調整を優先することで、3D画像として認識されない画像データを除き、適切な視差の調整を行うことができる。
なお、上述の左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整は、図20のフローチャートに示したように、近景撮像時又は遠景撮像時における手ぶれ補正用の領域の除外が完了した後に行っても同様の効果が得られる。なお、本フローチャートにおける各ステップは上述のものと同様であるため、詳細な説明は省略する。
また、上述の第3の手ぶれ補正及び視差調整処理のステップS302で説明した左眼用撮像データと右眼用撮像データとの間の垂直方向の視差調整は、上述の第2の手ぶれ補正及び視差調整処理と組み合せることもできる。
以上に述べた実施形態では、出力画像領域決定部405が決定する画像のアスペクト比は16:9を例示したが、その他4:3のものやユーザが設定等で別途指定するものであっても採用することができることは言うまでもない。また、以上に述べた実施態様における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的またはサブルーチンによる処理を含んでもよい。
L100 左眼用撮像部
R100 右眼用撮像部
L105 左眼用レンズ位置算出部
R105 右眼用レンズ位置算出部
201 メインメモリ
202 フラッシュROM
204 音声・画像処理部
206 メディア制御部
301 カードI/F
302 カード型記録媒体
303 入出力I/F
304 液晶モニタ
306 操作部
307 入出力端子
400 中央制御部
401 視差算出部
402 判断部
403 手ぶれ補正部
404 視差調整部
405 出力画像領域決定部
R100 右眼用撮像部
L105 左眼用レンズ位置算出部
R105 右眼用レンズ位置算出部
201 メインメモリ
202 フラッシュROM
204 音声・画像処理部
206 メディア制御部
301 カードI/F
302 カード型記録媒体
303 入出力I/F
304 液晶モニタ
306 操作部
307 入出力端子
400 中央制御部
401 視差算出部
402 判断部
403 手ぶれ補正部
404 視差調整部
405 出力画像領域決定部
Claims (6)
- 被写体を撮像して左眼用撮像データを取得する左眼用撮像部及び右眼用撮像データを取得する右眼用撮像部と、
前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行う手ぶれ補正部と、
前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向の視差調整を行う視差調整部と、
前記左眼用撮像部及び前記右眼用撮像部の撮像が近景撮像であるか遠景撮像であるかを判断する判断部とを備え、
前記判断部が近景撮像であると判断した場合は、前記手ぶれ補正部が前記手ぶれ補正を行い、
前記判断部が遠景撮像であると判断した場合は、前記視差調整部が前記水平方向の視差調整を行った後、前記手ぶれ補正部が前記手ぶれ補正を行う
ことを特徴とする3D画像撮像装置。 - 前記判断部が近景撮像であると判断した場合は、前記手ぶれ補正部が前記手ぶれ補正を行った後、前記視差調整部が前記水平方向の視差調整を行うことを特徴とする請求項1に記載の3D画像撮像装置。
- 前記視差調整部はさらに、前記左眼用撮像データ及び前記右眼用撮像データから垂直方向の視差調整用の領域を除くことで垂直方向の視差調整を行い、
前記判断部が近景撮像であると判断した場合は、前記視差調整部が前記垂直方向の視差調整を行った後、前記手ぶれ補正部が前記手ぶれ補正を行い、
前記判断部が遠景撮像であると判断した場合は、前記視差調整部が前記垂直方向の視差調整を行った後、前記視差調整部が前記水平方向の視差調整を行い、その後に前記手ぶれ補正部が前記手ぶれ補正を行う
ことを特徴とする請求項1に記載の3D画像撮像装置。
- 前記左眼用撮像部及び前記右眼用撮像部はそれぞれフォーカスレンズ及びズームレンズを備え、
前記判断部は、少なくとも前記フォーカスレンズ及び前記ズームレンズの位置に基づいて前記撮像が近景撮像又は遠景撮像である旨の判断を行うことを特徴とする請求項1から3の何れか1項に記載の3D画像撮像装置。 - 近景撮像又は遠景撮像に対応する撮像モードを設定する撮像モード設定部をさらに備え、
前記判断部は、少なくとも前記撮像モード設定部に設定された前記撮像モードに基づいて、前記撮像が近景撮像又は遠景撮像である旨の判断を行うことを特徴とする請求項1から3の何れか1項に記載の3D画像撮像装置。 - 左眼用撮像部に被写体の左眼用撮像データを撮像させ、
右眼用撮像部に被写体の右眼用撮像データを撮像させ、
前記左眼用撮像データ及び前記右眼用撮像データから手ぶれ補正用の領域を除くことで手ぶれ補正を行わせ、
前記左眼用撮像データ及び前記右眼用撮像データから水平方向の視差調整用の領域を除くことで水平方向及び垂直方向の視差調整を行わせ、
前記左眼用撮像部及び前記右眼用撮像部の撮像が近景撮像であるか遠景撮像であるかを判断させる処理をコンピュータに実行させるプログラムであって、
前記撮像が近景撮像であると判断された場合は、少なくとも前記手ぶれ補正を行わせ、
前記撮像が近景撮像であると判断された場合は、少なくとも前記水平方向の視差調整を行わせた後、前記手ぶれ補正を行わせることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011101959A JP2012235281A (ja) | 2011-04-28 | 2011-04-28 | 3d画像撮像装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011101959A JP2012235281A (ja) | 2011-04-28 | 2011-04-28 | 3d画像撮像装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012235281A true JP2012235281A (ja) | 2012-11-29 |
Family
ID=47435193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011101959A Withdrawn JP2012235281A (ja) | 2011-04-28 | 2011-04-28 | 3d画像撮像装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012235281A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103472668A (zh) * | 2013-09-24 | 2013-12-25 | 东北大学 | 一种立体成像装置及方法 |
WO2016056332A1 (ja) * | 2014-10-06 | 2016-04-14 | オリンパス株式会社 | 撮像システム |
-
2011
- 2011-04-28 JP JP2011101959A patent/JP2012235281A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103472668A (zh) * | 2013-09-24 | 2013-12-25 | 东北大学 | 一种立体成像装置及方法 |
WO2016056332A1 (ja) * | 2014-10-06 | 2016-04-14 | オリンパス株式会社 | 撮像システム |
US10191271B2 (en) | 2014-10-06 | 2019-01-29 | Olympus Corporation | Image pickup system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10051258B2 (en) | Image processing device, image processing method and image processing computer program product | |
JP5789793B2 (ja) | 3次元撮像装置、レンズ制御装置、およびプログラム | |
CN102165785B (zh) | 三维成像装置和方法 | |
US9560341B2 (en) | Stereoscopic image reproduction device and method, stereoscopic image capturing device, and stereoscopic display device | |
JP5565001B2 (ja) | 立体映像撮像装置、立体映像処理装置および立体映像撮像方法 | |
JP2012156680A (ja) | 3d画像処理装置 | |
US9256116B2 (en) | Stereoscopic imaging device, image reproducing device, and editing software | |
US9277201B2 (en) | Image processing device and method, and imaging device | |
WO2012023168A1 (ja) | 立体映像撮像装置および立体映像撮像方法 | |
US9310672B2 (en) | Stereoscopic image capturing device and method of controlling thereof | |
WO2012105121A1 (ja) | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 | |
JPWO2011162209A1 (ja) | 画像出力装置、方法およびプログラム | |
EP2566166B1 (en) | Three-dimensional imaging device | |
WO2014141653A1 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
JP5688543B2 (ja) | 立体画像撮像装置および立体画像撮像装置におけるレンズ駆動方法 | |
WO2012105120A1 (ja) | 立体動画再生装置、立体動画再生プログラムならびにその記録媒体、立体ディスプレイ装置、立体撮像装置及び立体動画再生方法 | |
WO2012043003A1 (ja) | 立体画像表示装置および立体画像表示方法 | |
JP2012235281A (ja) | 3d画像撮像装置及びプログラム | |
WO2013094332A1 (ja) | 画像出力装置、方法およびプログラムならびにその記録媒体 | |
JP2012015820A (ja) | 立体映像表示装置及び立体映像表示方法 | |
JP2012227685A (ja) | 3d画像処理装置、3d画像撮像装置、及びプログラム | |
WO2012001958A1 (ja) | 画像処理装置および方法並びにプログラム | |
JP2012253452A (ja) | 3d画像撮像装置及びプログラム | |
JP2012165207A (ja) | 3d画像撮影装置 | |
WO2013136832A1 (ja) | 立体画像表示制御装置および立体画像表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |