JP2012147370A - 撮像装置 - Google Patents

Abstract

【課題】この発明は、３Ｄ画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することを目的とする。
【解決手段】被写体を撮像して画像データＰ１（ｎ）を出力する第１の撮像手段と、被写体を撮像して画像データＰ２（ｎ）を出力する第２の撮像手段と、画像データＰ２（ｎ）の代表点の情報を記憶する代表点メモリと、画像データＰ１（ｎ）と代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ１を求める第１の相関演算部と、画像データＰ２（ｎ）と代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ２を求める第２の相関演算部と、相関Ｖ１およびＶ２に基づいて画像データＰ１（ｎ）およびＰ２（ｎ）の相関Ｖを求める信号処理部と、を備える。
【選択図】図５

Description

本発明は、３次元画像データを取得可能な撮像装置に関し、特に、左右画像データの垂直ずれ補正機能を有する３次元動画を撮像可能な撮像装置に関する。

２つの視点から被写体を同時に撮像し、立体画像を示す３次元（３Ｄ）画像データを取得可能な撮像装置（以下、３Ｄ撮像装置ともいう）が知られている。このような３次元撮像装置においては、左右の画角のずれに起因して左右の画像データに位置ずれが発生する。左右画像の位置ずれのうち、特に垂直方向のずれ（垂直ずれ）については、水平方向のずれと比較して、鑑賞者が立体画像として視聴する際により不快感を得る可能性がある。したがって、特に左右画像に対する垂直ずれを補正することが必要となる。そこで、撮像した左右画像データにおいて対応する特徴点の位置を比較し、その位置が一致するように補正パラメータを導出する方法が提案されている（例えば、特許文献１参照。）。特許文献１によれば、この構成により、画角のずれに起因する被写体の位置ずれを簡単に補正することができるとしている。

また、１つの視点から被写体を撮像して画像データを取得する撮像装置（以下、２次元（２Ｄ）画像を取得可能な撮像装置、または２Ｄ撮像装置という）では、ＭＰＥＧ等の符号化処理における符号化効率向上のため、撮像した２つの画像データ間で検出した動きベクトルを考慮して符号化を行うことが一般的である。このような符号化処理においては、以下のような処理が行われる。すでに撮像済みの画像データから抽出した代表点の情報を代表点メモリに記憶しておく。新たに撮像素子からの画像データを取り込む際に順次、代表点の情報を抽出する。画像データ取り込み時に順次抽出した代表点の情報と、代表点メモリに記憶されている内容とで代表点マッチングを行うことにより、動きベクトルを検出する。このようにすることで、フレームメモリを使用せずに、撮像素子からの画像データ取り込み完了時に動きベクトルの検出も完了できるため、より高速に符号化処理が行える。

特開２００６−１５７４３２号公報

従来の２Ｄ撮像装置での動きベクトル検出を応用し、３Ｄ撮像装置における左右画像の位置ずれ検出を行うことを考える。従来の動きベクトル検出の方法は、入力される画像データから順次代表点の情報を抽出し、代表点メモリ上に存在する抽出済みの代表点の情報と比較する方法である。したがって、これをそのまま適用しようとすると、時間合わせのためにフレームメモリが必要となる。例えば、３Ｄ撮像装置において同時に撮像された左右画像データのうち、左画像データをフレームメモリに記憶する一方、右画像データからは代表点を抽出して代表点メモリに記憶する。次に、フレームメモリから左画像データを読み出しながら順次代表点の情報を抽出し、代表点メモリに記憶された右画像データの代表点の情報と比較する。このように２段階の処理となるため、その分だけ動きベクトル検出、ひいては左右画像の位置ずれ検出のタイミングが遅れてしまい、その結果３Ｄ画像の出力タイミングも遅れてしまうという課題があった。

本発明は、前記課題を解決し、３Ｄ画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することを目的とする。

前記課題を解決するために、本発明の撮像装置は、被写体を撮像して画像データＰ１（ｎ）を出力する第１の撮像手段と、被写体を撮像して画像データＰ２（ｎ）を出力する第２の撮像手段と、画像データＰ２（ｎ）の代表点の情報を記憶する代表点メモリと、画像データＰ１（ｎ）と代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ１を求める第１の相関演算部と、画像データＰ２（ｎ）と代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ２を求める第２の相関演算部と、相関Ｖ１およびＶ２に基づいて画像データＰ１（ｎ）およびＰ２（ｎ）の相関Ｖを求める信号処理部と、を備える。

本発明の撮像装置によれば、３Ｄ画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することが可能となる。

本発明の実施の形態１に係るデジタルカメラの外観図 本発明の実施の形態１に係るデジタルカメラのブロック図 本発明の実施の形態１に係るデジタルカメラの検出エリアを説明する図 本発明の実施の形態１に係るデジタルカメラの垂直ズレ補正処理を説明する図 本発明の実施の形態１に係るデジタルカメラの相関演算処理を説明する図 本発明の実施の形態１に係るデジタルカメラの垂直ズレ補正の概要を説明する図 本発明の実施の形態２に係るデジタルカメラの垂直ズレ補正処理を説明する図 本発明の実施の形態２に係るデジタルカメラの相関演算処理を説明する図 本発明の実施の形態３に係るデジタルカメラの相関演算処理を説明する図 本発明の実施の形態３に係るデジタルカメラの垂直ズレ補正処理を説明する図 本発明の他の実施の形態に係るデジタルカメラの水平ズレ補正処理を説明する図

以下、図面を参照して実施の形態について説明する。

（実施の形態１）
（１．外観）
図１は本発明の実施の形態に係るデジタルカメラ１００の外観図である。図１（ａ）は、正面図であり、図１（ｂ）は、背面図である。

デジタルカメラ１００の正面（図１（ａ）参照）には、撮像光学系１０１Ｌ、１０１Ｒとフラッシュ１０２が配されている。撮像光学系１０１Ｌおよび１０１Ｒは左右方向に並んで配置されている。撮像光学系１０１Ｌはデジタルカメラ１００を正面から見たときに、撮像光学系１０１Ｒに対して右側に配置されている。撮像光学系１０１Ｌおよび１０１Ｒの光軸は平行であり、その方向はデジタルカメラ１００の正面方向と一致している。撮像光学系１０１Ｌおよび１０１Ｒは、被写体像をデジタルカメラ１００内の２つの撮像素子の各々に結像させる。フラッシュ１０２は、暗所での撮影において、閃光を発して撮影光量の不足を補う。デジタルカメラ１００の上面には、シャッターボタン１０３が配されている。撮影者がシャッターボタン１０３を押下すると、撮影モードに応じて各撮像素子に結像した被写体像に基づく３Ｄ画像データがメモリカード等の記録媒体に記録される。

デジタルカメラ１００の背面（図１（ｂ）参照）には、液晶モニター１０４、モードダイヤル１０５、各種操作ボタン１０６が配されている。液晶モニター１０４は視差バリア方式等により立体画像の裸眼立体視が可能である。液晶モニター１０４には、２つの撮像素子に結像した被写体像に基づく立体画像が表示される。従って、液晶モニター１０４に表示された立体画像を観察しながら撮影のための構図を決定することができる。また、液晶モニター１０４は、記録媒体に記録された３Ｄ画像データに基づく立体画像を表示することができる。

モードダイヤル１０５を操作することで、デジタルカメラ１００の動作モードを決定することができる。デジタルカメラ１００の動作モードには、撮影モードおよび再生モードがある。撮影モードにはさらに、静止画撮影モードおよび動画撮影モードがある。静止画撮影モードは、撮影者がシャッターボタン１０３を押下することにより、各撮像素子に結像した被写体像に基づく３Ｄ画像データを３Ｄ静止画データとしてメモリカード等の記録媒体に記録することができる動作モードである。静止画撮影モードは、さらに全自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、シーン別撮影モードに細分される。

動画撮影モードは、各撮像素子に結像した被写体像に基づく３Ｄ画像データを３Ｄ動画データとしてメモリカード等の記録媒体に記録することができる動作モードである。待機状態において撮影者がシャッターボタン１０３を押下することにより、３Ｄ動画データの記録を開始する。また、動画データの記録中に再度撮影者がシャッターボタン１０３を押下すると、３Ｄ動画データの記録を終了する。

再生モードは、記録媒体に記録された３Ｄ画像データに基づく立体画像を液晶モニター１０４に表示することができる動作モードである。各種操作ボタン１０６を操作することによって、撮影モードと再生モードにおける、さらに詳細な設定をすることができる。すなわち、撮影モードにおいては、露出補正、ホワイトバランス調整、フラッシュ１０２の発光に関する設定等を行うことができる。また、再生モードにおいては、液晶モニター１０４に表示された画像の拡大や縮小、液晶モニター１０４に同時に表示する画像の数の設定、メモリカード等の記録媒体に記録された画像データの検索等を行うことができる。

（２．構成）
図２は、本実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。撮像光学系１０１Ｌは、被写体光を撮像素子であるＣＣＤイメージセンサー３０１Ｌに結像させる。撮像光学系１０１Ｌは、複数のレンズ群で構成されている。複数のレンズ群は、手揺れ補正用のＯＩＳ用レンズ（図示せず）を含む。本実施の形態に係るデジタルカメラ１００においては、撮像光学系１０１Ｌ内にシャッター装置１０１Ｌａを配している。

ＣＣＤイメージセンサー３０１Ｌは、結像した被写体光に基づく画像信号を出力する。ＡＦＥ３０２Ｌは、ＣＣＤイメージセンサー３０１Ｌの出力するアナログ信号である画像信号をデジタル信号である左画像データに変換して出力する。左画像データは、バス３０３を経由して信号処理ＬＳＩ３０５に入力されるのと並行してＳＤＲＡＭ３０４に格納される。

ＳＤＲＡＭ３０４は、処理過程における各種画像データを記憶するフレームメモリとして機能する。また、代表点信号（後述）を記憶するための代表点メモリとしても機能する。

撮像光学系１０１Ｒは、被写体光を撮像素子であるＣＣＤイメージセンサー３０１Ｒに結像させる。撮像光学系１０１Ｒは、複数のレンズ群で構成されている。複数のレンズ群は、手揺れ補正用のＯＩＳ用レンズ（図示せず）を含む。本実施の形態に係るデジタルカメラ１００においては、撮像光学系１０１Ｒ内にシャッター装置１０１Ｒａを配している。

ＣＣＤイメージセンサー３０１Ｒは、結像した被写体光に基づく画像信号を出力する。ＡＦＥ３０２Ｒは、ＣＣＤイメージセンサー３０１Ｒの出力するアナログ信号である画像信号をデジタル信号である右画像データに変換して出力する。右画像データは、バス３０３を経由して信号処理ＬＳＩ３０５に入力されるのと並行してＳＤＲＡＭ３０４に格納される。

本実施の形態に係るデジタルカメラ１００では、撮像素子としてＣＣＤイメージセンサーを示したが、ＣＭＯＳイメージセンサー等その他の撮像素子であっても構わない。

信号処理ＬＳＩ３０５は、ＣＰＵ３０５ａ、信号処理部３０５ｂ、揺れ検出部３０５ｃ、ＳＲＡＭ３０５ｄによって構成されている。ＣＰＵ３０５ａは、デジタルカメラ１００全体の制御を行う。ＣＰＵ３０５ａはシャッター装置１０１Ｌａ、１０１Ｒａの動作を制御することができるが、図２においては、図が煩雑になるため制御線を図示していない。

信号処理部３０５ｂは、相関演算処理部１および相関演算処理部２を含む。ＡＦＥ３０２Ｌから入力される左画像データ、ＡＦＥ３０２Ｒから入力される右画像データ、および、代表点メモリに記憶された代表点信号に基づいて相関演算を行い、左右画像データ間の位置ずれ検出処理を行う。位置ずれ検出処理については後で動作の説明において詳しく述べる。

信号処理部３０５ｂは、ＳＤＲＡＭ３０４に記憶された右画像データおよび左画像データから所定サイズの画像データを切り出して出力する。出力された画像データは、各々切り出し右画像データおよび切り出し左画像データ（以下、これらを切り出し画像データと呼ぶ）としてＳＤＲＡＭ３０４に格納される。信号処理部３０５ｂは、右画像データおよび左画像データからの切り出し位置を、位置ずれ検出結果に基づいて決定する。したがって、切り出し右画像データおよび切り出し左画像データの間の位置ずれは解消または低減されたものとなっている。

信号処理部３０５ｂは、ＡＦＥ３０２Ｌ、３０２ＲによってＳＤＲＡＭ３０４に格納された切り出し画像データからなる３Ｄ画像データを液晶モニター１０４による表示に適した３Ｄ画像データに変換し、液晶モニター１０４に出力する。

静止画撮影モードにおいては、シャッターボタン１０３の半押しによって合焦動作が開始され、全押しによって撮影が行われる。信号処理部３０５ｂは、ＳＤＲＡＭ３０４に格納された切り出し画像データが、シャッターボタン１０３の全押しによって格納された画像データであるときは、メモリカード３０６への記録に適した３Ｄ画像データに変換し、メモリカード３０６に記録する。メモリカード３０６に記録された３Ｄ画像データは、信号処理部３０５ｂによって、液晶モニター１０４による表示に適した画像データに変換され、液晶モニター１０４に表示される。

動画撮影モードにおいては、シャッターボタン１０３の全押しによって動画撮影を開始する。信号処理部３０５ｂは、動画撮影中にＳＤＲＡＭ３０４に格納された画像データを順次、メモリカード３０６への記録に適した３Ｄ動画データに変換し、メモリカード３０６に記録する。メモリカード３０６に記録された３Ｄ動画データは、信号処理部３０５ｂによって、液晶モニター１０４による表示に適した画像データに変換され、液晶モニター１０４に表示される。

ジャイロセンサー３０７は、デジタルカメラ１００の揺れに対応した揺れ信号を出力する。揺れ検出部３０５ｃは、ジャイロセンサー３０７の出力する揺れ信号をＣＰＵ３０５ａに出力する。ＣＰＵ３０５ａは、揺れ信号に基づいて、撮像光学系１０１Ｌおよび撮像光学系１０１ＲのＯＩＳ用レンズを駆動することにより、ＣＣＤイメージセンサー３０１Ｌおよび３０１Ｒに結像する被写体像の揺れを低減させる。

本実施の形態と本発明との対応について説明する。信号処理ＬＳＩ３０５は、本発明の画像処理装置の一例である。デジタルカメラ１００は、本発明の撮像装置の一例である。

（３．動作）
本実施の形態のデジタルカメラ１００における、信号処理ＬＳＩを用いた３Ｄ画像の垂直ずれ検出の動作を説明する。

デジタルカメラ１００に内蔵されたジャイロセンサー３０７によって、撮影者の手揺れによる角速度変化が検知され、この検知された手揺れによる角速度変化を補正するため、左右レンズに内蔵されたＯＩＳ用レンズが駆動される。このとき左右レンズの制御駆動のばらつきにより、左右異なる補正残りが発生する。この左右異なる補正残りは、３Ｄ動画データにおける左右画像データのずれとなり、特に垂直方向のずれは、鑑賞時に鑑賞者の不自然さの感知や、頭痛やめまいの原因となる可能性もある。

そこでここでは、画像処理によってこの３Ｄ動画データにおける左右画像データの垂直ずれを検知し、補正することによって鑑賞者にとって安全な映像を提供する。

左右のＡＦＥ３０２ＬおよびＡＦＥ３０２Ｒから出力された左右の画像データは、信号処理部３０５ｂに走査線毎に同時に入力される。

前フレームの画像データが入力されるとき、信号処理ＬＳＩ３０５は、ＡＦＥ３０２Ｒから出力された右画像データのうち、画面上の代表点に位置する信号のみを、代表点メモリに記憶する。

画面上の代表点の位置を図３を用いて説明する。画面は水平１９２０画素×垂直１０８０画素で構成される。この画面内に、８つの検出エリアが設定される。８つの検出エリアは、画面内の水平４箇所×垂直２箇所に分散して配置される。各検出エリア内には、水平１０個×垂直１０個の代表点が、水平４０画素×垂直３２画素の間隔を開けて設定している。すなわち、各検出エリアは水平４００画素×垂直３２０画素で構成される。この検出エリアを水平１０個×垂直１０個のブロックに分割すると、各ブロックは水平４０画素×垂直３２画素となる。この各ブロックの中央に位置する画素を代表点とする。各検出エリアは代表点を１００個含むので、画面全体ではこの８倍の８００個の代表点を含む。代表点メモリは、右画像データにおけるこれら８００個の代表点信号を記憶する。

次に、現フレームのＡＦＥ３０２Ｌ、３０２Ｒからの画像データが入力される。信号処理ＬＳＩ３０５は、それぞれＡＦＥ３０２Ｌ、３０２Ｒからの左右の画像データについて、前フレームの右画像との間の相関について評価し、動きベクトルを求める。

具体的には次のような処理を行う。まず、ＡＦＥ３０２Ｌからの左画像データと前フレームの右画像との相関演算１について説明する。信号処理ＬＳＩ３０５の相関演算処理部１は、代表点メモリに記憶された前フレームの右画像データの代表点信号と、現フレームの左画像データの代表点近傍の信号との間の相関演算１を行う。すなわち、代表点メモリの代表点信号と、現フレームの代表点の位置から所定量偏移した信号の差の絶対値を算出し、所定偏移量毎に加算する相関演算１を行う。所定の偏移量は通常、代表点をほぼ中心とした、水平−１９画素〜＋２０画素、垂直−１５画素〜＋１６画素の範囲、すなわち代表点を含むブロックの範囲として設定される。

例えば、現フレームの右画像データの８つの検出エリアのうち左上隅のエリアに注目する。この検出エリアに含まれる１００個のブロックの代表点の各々から水平−１９画素、垂直−１５画素偏移した位置（各ブロックの左上隅）の画素の信号（１００個）と、代表点メモリに記憶されている対応する検出エリア、対応するブロックの代表点信号（１００個）との間の差の絶対値を求める。これら１００個分の絶対値の総和を求め、エリア相関値とする。この計算を全偏移量（４０×３２＝１２８０通り）について行い、各偏移量におけるエリア相関値１を求める。次に、全エリア相関値（１２８０個）のうち最小のエリア相関値を求め、このときの偏移量を、この検出エリアにおける動きベクトルとする（なお、エリア相関値が最小となる偏移量に対応する位置を最小点と呼ぶことにする）。他の７つの検出エリアについても同様の計算を行い、８つの動きベクトルＶ１を求める。

同様にして信号処理ＬＳＩ３０５の相関演算処理部２は、代表点メモリに記憶された前フレームの右画像データの代表点信号と、現フレームの右画像データの代表点近傍の信号との間の相関演算２を行い、エリア相関値２および８つの動きベクトルＶ２を求める。

なお、動きベクトルの探索範囲は上記のように水平−１９画素〜＋２０画素、垂直−１５画素〜＋１６画素としたが、必ずしもこの通りである必要はなく、例えばこれはフレーム毎、エリア毎に水平０画素〜＋３９画素、水平−３９画素〜０画素、垂直０画素〜＋３１画素、垂直−３１画素〜０画素の間でシフトすることも可能である。

現フレームの画像信号が入力完了した時点で、各検出エリアでの相関演算１，２によって偏移量毎の相関演算結果（エリア相関値１、２）が得られ、検出エリア毎の動きベクトルＶ１、Ｖ２が求められる。

相関演算１では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｌとの動きベクトルＶ１が検出され、これには前フレームと現フレーム間の動きと、左右画像のズレの両方が含まれている。一方相関演算２では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｒとの動きベクトルＶ２が検出され、これには前フレームと現フレーム間の動きのみが含まれている。

したがって、対応する検出エリアどうしで前記Ｖ１からＶ２を減ずることによって、現フレームにおける左右画像のズレのみを示す動きベクトルＶが検出エリアごとに算出できる。

Ｖ＝Ｖ１−Ｖ２
８つのエリアについて、上記相関値から左右画像のズレを示す動きベクトルＶを求めた後、左右画像のズレを補正する方法を、図４〜図６を用いて説明する。

まず、左右の画像データにおいて、８つの検出エリアにおけるエリア相関値の最小点によって、動きベクトルＶ１，Ｖ２を算出する。

一方、それぞれの検出エリアのエリア相関値について、エリア相関値の最小値、平均値および最小点の周りの傾きに基づいて信頼性判定を行う。ここで、各検出エリアの１２８０個のエリア相関値の最小値をｍｉｎとする。各検出エリアの１２８０個のエリア相関値の平均値をａｖｅとする。また、最小点におけるエリア相関値の水平方向および垂直方向の変化量を最小点の周りの傾きＫＨおよびＫＶとする。具体的には、最小点の左右に隣接する位置におけるエリア相関値の差を水平方向の傾きＫＨ、最小点の上下に隣接する位置におけるエリア相関値の差を垂直方向の傾きＫＶとする。そして、以下の条件を満たすときに信頼性ありと判定する。

ｍｉｎ＜Ｔｈ１
ａｖｅ＞Ｔｈ２
ＫＨ＞Ｔｈ３
ＫＶ＞Ｔｈ４
（ただし、Ｔｈ１、Ｔｈ２、Ｔｈ３、Ｔｈ４は所定のしきい値）
動きベクトルＶ１，Ｖ２より左右画像のズレを示す動きベクトルＶを算出すると同時に、エリア相関値について信頼性ありと判定された検出エリアの動きベクトルＶのみ信頼性ありと判定する。８つの検出エリアのうち、信頼性ありと判定された動きベクトルＶを集め、その垂直方向成分の中間値Ｖｙを算出する。これを左右画像の垂直ズレ成分とし、左右画像の垂直ズレ補正に用いる。

垂直ズレ補正は、信号処理部３０５ｂが、ＳＤＲＡＭ３０４に記憶された右画像データおよび左画像データから所定サイズの画像データを切り出して出力する際に、右画像データと左画像データとで垂直の切り出し位置をそれぞれ＋Ｖｙ／２、−Ｖｙ／２だけずらすことで行う。ここでは、ＡＦＥ３０２Ｌ、３０２Ｒから入力された画像信号は、ＲＧＢ信号のＲＡＷデータとしてＳＤＲＡＭ３０４に記憶される。つぎに画像処理部３０５ｂがＲＧＢ信号のＲＡＷデータをＹＣ信号に変換し、再びＳＤＲＡＭ３０４に記憶する。このとき図６に示すようにＹＣ信号の切り出しを行い、垂直方向の位置ズレが補正される。

ＳＤＲＡＭ３０４に記憶されたＹＣ信号は更に、動画圧縮等の処理が行われ、動画信号ストリームとしてメモリカード３０６に記憶される。

切り出された出力画像では、左右の画像の垂直ズレが補正されているため、出力結果の動画ストリームを液晶モニター１０４のような３Ｄディスプレイで鑑賞しても不自然さがなく、頭痛やめまい等を起こさない安全な映像を提供できる。

（実施の形態２）
実施の形態２について、図７、図８を用いて説明する。図８に示すように、実施の形態２の構成は実施の形態１に対して、２つの代表点メモリ１，２、と４つの相関演算処理部１，２，３，４を有する点が異なる。他の構成要素は、実施の形態１と同様であり、詳細な説明は省略する。

前フレームの画像信号が入力されるとき、代表点メモリ１にはＡＦＥ３０２Ｌから出力された画像信号の代表点に位置する信号が記憶され、代表点メモリ２にはＡＦＥ３０２Ｒの出力信号の代表点位置の信号が記憶される。

次に、現フレームのＡＦＥ３０２Ｌ、３０２Ｒからの画像信号が入力されるとき、相関演算処理部１では、代表点メモリ２の出力とＡＦＥ３０２Ｌの出力信号について、相関演算処理部２では、代表点メモリ２の出力とＡＦＥ３０２Ｒの出力信号について、相関演算処理部３では、代表点メモリ１の出力とＡＦＥ３０２Ｌの出力信号について、相関演算処理部４では、代表点メモリ１の出力とＡＦＥ３０２Ｒの出力信号について、それぞれ前フレームの代表点メモリに記憶された信号と、現フレームの代表点の位置から所定量偏移した信号の差の絶対値を算出し、所定偏移量毎に積和する相関演算１，２，３，４を行う。

現フレームの画像信号が入力完了した時点で、各エリアでの相関演算１，２，３，４によって偏移量毎の相関演算結果（エリア相関値）が得られている。このエリア相関値が最小となる偏移量（最小点）を求め、これをエリア毎の動きベクトルとする。

相関演算１では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｌとの動きベクトルＶ１が検出され、これには前フレームと現フレーム間の動きと、左右画像のズレの両方が含まれている。一方相関演算２では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｒとの動きベクトルＶ２が検出され、これには前フレームと現フレーム間の動きのみが含まれている。したがって、前記Ｖ１からＶ２を減ずることによって、左右画像のズレのみを示す動きベクトルＶが算出できる。

Ｖ＝Ｖ１−Ｖ２
また相関演算３では、前フレームのＡＦＥ３０２Ｌからの出力と、現フレームのＡＦＥ３０２Ｌとの動きベクトルＶ’１が検出され、これには前フレームと現フレーム間の動きと、左右画像のズレの両方が含まれている。一方相関演算４では、前フレームのＡＦＥ３０２Ｌからの出力と、現フレームのＡＦＥ３０２Ｒとの動きベクトルＶ’２が検出され、これには前フレームと現フレーム間の動きのみが含まれている。したがって、前記Ｖ’１からＶ’２を減ずることによっても、左右画像のズレのみを示す動きベクトルＶ’が算出できる。

Ｖ’＝Ｖ’１−Ｖ’２
本来、ＶとＶ’は一致すべきであるが、ノイズの影響や、エリア内に遠近の異なる対象物の混在によって不一致となる場合がある。したがってこの両者の一致度を調べることでも、動きベクトルの信頼性を判定することができる。８つのエリアについて、上記、相関値１、２，３，４から左右画像のズレを示す動きベクトルを求めた後、左右画像のズレを補正する方法を、図７を用いて説明する。

まず、８つの検出エリアのエリア相関値１、２においてそれぞれ、その最小点によって、動きベクトルＶ１，Ｖ２を算出する。一方、それぞれのエリア相関値１，２の、最小値、平均値、最小点の周りの傾きによって、信頼性判定を行う。前記Ｖ１，Ｖ２より左右ズレを示す動きベクトルＶを算出すると同時に、エリア相関値１，２の両方とも信頼性ありと判定されたエリアの動きベクトルＶのみ信頼性ありと判定する。

また、８つの検出エリアのエリア相関値３、４においてそれぞれ、その最小点によって、動きベクトルＶ’１，Ｖ’２を算出する。一方、それぞれのエリア相関値３，４の、最小値、平均値、最小点の周りの傾きによって、信頼性判定を行う。前記Ｖ’１，Ｖ’２より左右ズレを示す動きベクトルＶ’を算出すると同時に、エリア相関値３，４の両方とも信頼性ありと判定されたエリアの動きベクトルＶ’のみ信頼性ありと判定する。

８つの検出エリアのうち、前記信頼性判定で信頼性ありと判定された動きベクトルＶとＶ’を集め、さらにそのＶとＶ’の差の絶対値が所定の閾値＝２画素以下で一致するときのみ、ＶとＶ’を信頼性ありと判定する第二の判定を行う。第二の判定で、信頼性ありと判定された、ＶとＶ’を集め、その垂直方向成分の中間値Ｖｙを算出する。これを左右画像の垂直ズレ成分とし、左右画像の垂直ズレ補正に用いる。補正の方法は、実施の形態１と同様である。

実施の形態２の構成では、代表点メモリと演算処理部が、実施の形態１と比較して２倍必要となるが、ＶとＶ’との一致度で信頼性判定を加えることで、より安定して左右の画像の垂直ズレが補正できる。そのため、出力結果の動画ストリームを３Ｄディスプレイで鑑賞しても不自然さがなく、頭痛やめまい等を起こさない安全な映像を提供できる。

（実施の形態３）
実施の形態３について、図９、図１０を用いて説明する。図９に示すように、実施の形態３の構成は実施の形態１に対して、２つの代表点メモリ１，２を有する点が異なる。他の構成要素は、実施の形態１と同様であり、詳細な説明は省略する。

実施の形態３では、図９に示すように、代表点メモリ１，２、と相関演算処理部１，２を有する。前フレームの画像信号が入力されるとき、代表点メモリ１にはＡＦＥ３０２Ｌから出力された画像信号の代表点に位置する信号が記憶され、代表点メモリ２にはＡＦＥ３０２Ｒの出力信号の代表点位置の信号が記憶される。

次に、現フレームのＡＦＥ３０２Ｌ、３０２Ｒからの画像信号が入力されるとき、相関演算処理部１では、代表点メモリ２の出力とＡＦＥ３０２Ｌの出力信号について、相関演算処理部２では、代表点メモリ１の出力とＡＦＥ３０２Ｒの出力信号についてそれぞれ前フレームの代表点メモリに記憶された信号と、現フレームの代表点の位置から所定量偏移した信号の差の絶対値を算出し、所定偏移量毎に積和する相関演算１，２を行う。

現フレームの画像信号が入力完了した時点で、各検出エリアでの相関演算１，２によって偏移量毎の相関演算結果（エリア相関値）が得られている。このエリア相関値が最小となる偏移量（最小点）を求め、これを検出エリア毎の動きベクトルとする。

相関演算１では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｌからの出力との間の動きベクトルＶ１が検出され、これには前フレームと現フレーム間の動きＶｔと、左右画像のズレＶｄの両方が含まれている。

Ｖ１＝Ｖｔ＋Ｖｄ
一方相関演算２では、前フレームのＡＦＥ３０２Ｌからの出力と、現フレームのＡＦＥ３０２Ｒからの出力との間の動きベクトルＶ２が検出され、これには前フレームと現フレーム間の動きＶｔと、左右画像のズレＶｄの両方が含まれている。ただし、Ｖ２には左右画像のズレＶｄは、下式のようにＶ１とは逆の符号で含まれている。

Ｖ２＝Ｖｔ−Ｖｄ
したがって、下式のように前記Ｖ１からＶ２を減じた後、２で割ることにより、左右画像のズレのみを示す動きベクトルＶｄが算出できる。

Ｖｄ＝（Ｖ１−Ｖ２）／２
また、前フレームと現フレーム間の動きを示す動きベクトルＶｔを、下式のように前記Ｖ１にＶ２を加えた後、２で割ることにより算出できる。

Ｖｔ＝（Ｖ１＋Ｖ２）／２
８つの検出エリアについて、上記、エリア相関値１、２から左右画像のズレを示す動きベクトルを求めた後、左右画像のズレを補正する方法を、図１０を用いて説明する。まず、８つの検出エリアのエリア相関値１、２においてそれぞれ、その最小点によって、Ｖ１，Ｖ２を算出する。一方、それぞれのエリア相関値１，２の、最小値、平均値、最小点の周りの傾きによって、信頼性判定を行う。前記Ｖ１，Ｖ２より左右ズレを示す動きベクトルＶｄを算出すると同時に、相関値１，２の両方とも信頼性ありと判定されたエリアの動きベクトルＶｄのみ信頼性ありと判定する。

８つのエリアのうち、前記判定で信頼性ありと判定された動きベクトルＶｄを集め、その垂直方向成分の中間値Ｖｙを算出する。これを左右画像の垂直ズレ成分とし、左右画像の垂直ズレ補正に用いる。補正の方法は、実施の形態１と同様である。

ここでは、代表点メモリが、実施の形態１と比較して２倍必要となるが、実施の形態１と比較して、Ｖ１からＶ２を減じた後、値を２で割っているため誤差が半分になるメリットがある。そのため、出力結果の動画ストリームを３Ｄディスプレイで鑑賞しても不自然さがなく、頭痛やめまいなど起こさない安全な映像を提供できる。

（他の実施の形態）
以上説明した実施の形態１、２および３では、左右の垂直ズレのみを補正する例を示した。さらにこれに前フレームと現フレーム間の動きを示す動きベクトルによって左右の画像の切り出し位置をさらに同様に補正することによって、ＯＩＳ用レンズによる揺れ補正の残り成分も補正でき、ゆれの少ない映像を得ることもできる。

また実施の形態１、２および３では、左右の垂直ズレのみを補正する例を示した。さらにこれに、水平方向のズレをも補正することができる。実施の形態２に追加する形で、図１１に示すように、信頼性ありとなるＶとＶ’を集め、その水平成分Ｖｘを集計する。このとき水平成分Ｖｘは、ＯＩＳ用レンズの左右の制御誤差によるズレ成分以外に、対象物の遠近によるズレ成分を含む。したがって、集計された水平成分Ｖｘのうち、その最大値Ｖｘｍａｘと最小値Ｖｘｍｉｎを抽出する。

鑑賞者からディスプレイ表示面までの距離を例えば３ｍと設定し、この距離の対象物を左右水平画素ズレ＝０となるように、無限遠の対象物での左右水平画素ズレ＝Ｖｘ∞を設定する。ここで検出された、水平ズレ最小値Ｖｘｍｉｎのエリアが無限遠にあると仮定して
Ｖｘ＝Ｖｘｍｉｎ−Ｖｘ∞
の量の水平位置の補正を行う。

３Ｄ映像信号の水平ズレは、垂直ズレに比べて、不自然さを感じにくいが、垂直ズレの補正に加え、この水平ズレの補正によって、より自然な映像を提供できる。また、３Ｄ映像信号では、想定範囲を越えて近づきすぎる対象物は、左右画像の水平ズレが、大きくなりずぎ、鑑賞者に不自然さや頭痛やめまいなどを感じさせる危険がある。前記検出された、水平ズレ最大値Ｖｘｍａｘと最小値Ｖｘｍｉｎによって、補正された出力画像での水平ズレの最大値Ｖｘ’ｍａｘを算出できる。

Ｖｘ’ｍａｘ ＝ Ｖｘｍａｘ−Ｖｘ
＝ Ｖｘｍａｘ＋Ｖｘ∞−Ｖｘｍｉｎ
このＶｘ’ｍａｘが、所定量の閾値を越えるとき、撮影者に「警告」を表示する。これによって、より安全な映像を提供できる３Ｄ動画撮影カメラを実現できる。

上記実施の形態では、代表点の水平垂直の間隔とベクトル探索範囲の水平垂直の大きさを等しくした。こうすることで、走査線にしたがって１画素の信号が入力される時点（クロック）で、１つの代表点との差分を演算し、その絶対値を相関値に加算すればいいので、並列に演算する回路が不要となる。しかしながら、並列に演算する回路を用いることで、代表点の間隔を狭くすることもできる。

たとえば、４重の並列回路を用いれば、代表点の間隔をたとえば垂直１／２、水平１／２とすることができ、代表点数を４倍にすることができ、動きベクトルの安定性を増やすこともできる。

さらに並列回路の並列度を大きくすれば、代表点の間隔を垂直、水平ともに１画素とし、全画素を用いたマッチングをすることも可能である。この場合でも、本発明は、２つの撮像センサから走査線にしたがって、現フレームの画像データの入力が完了した時点で、２つの画像間の動きベクトルを示す相関値が演算完了しており、２つの画像間の動きベクトルを従来より早い時点で算出できるので、その効果は大きい。

本発明によれば、シャッターチャンスに強い撮像装置を提供することができるので、デジタルスチルカメラのみならず、静止画を撮影することができるムービーカメラや携帯電話等、静止画の連写機能を備えた撮像装置全般に適用することができる。

本発明の撮像装置によれば、３Ｄ画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することが可能となるため、左右画像データの垂直ずれ補正機能を有する３次元画像を撮像可能なデジタルカメラ、ムービー、携帯電話等に適用可能である。

１００ デジタルカメラ
１０１Ｌ 撮像光学系
１０１Ｌａ シャッター装置
１０１Ｒ 撮像光学系
１０１Ｒａ シャッター装置
１０２ フラッシュ
１０３ シャッターボタン
１０４ 液晶モニター
１０５ モードダイヤル
１０６ 操作ボタン
３０１Ｌ ＣＣＤイメージセンサー
３０１Ｒ ＣＣＤイメージセンサー
３０２Ｌ ＡＦＥ
３０２Ｒ ＡＦＥ
３０３ バス
３０４ ＳＤＲＡＭ
３０５ 信号処理ＬＳＩ
３０５ａ ＣＰＵ
３０５ｂ 信号処理部
３０５ｃ 揺れ検出部
３０５ｄ ＳＲＡＭ
３０６ メモリカード
３０７ ジャイロセンサー

Claims (3)

1. 被写体を撮像して第１の画像データを出力する第１の撮像手段と、
   前記第１の撮像手段とは異なる位置から前記第１の撮像手段と同期して前記被写体を撮像して第２の画像データを出力する第２の撮像手段と、
   前記第２の画像データの一部または全部を記憶するメモリと、
   前記第１の撮像手段がｎ番目に出力する第１の画像データを画像データＰ１（ｎ）、前記第２の撮像手段がｎ番目に出力する第２の画像データを画像データＰ２（ｎ）としたときに、
   画像データＰ１（ｎ）と前記メモリに記憶されている画像データＰ２（ｎ−１）との間の相関Ｖ１を求める第１の相関演算部と、
   画像データＰ２（ｎ）と前記メモリに記憶されている画像データＰ２（ｎ−１）との間の相関Ｖ２を求める第２の相関演算部と、
   前記相関Ｖ１および前記相関Ｖ２に基づいて画像データＰ１（ｎ）および画像データＰ２（ｎ）の相関Ｖを求める信号処理部と、
   を備えた撮像装置。
2. 被写体を撮像して第１の画像データを出力する第１の撮像手段と、
   前記第１の撮像手段とは異なる位置から前記第１の撮像手段と同期して前記被写体を撮像して第２の画像データを出力する第２の撮像手段と、
   前記第２の画像データの代表点の情報を記憶する第２の代表点メモリと、
   前記第１の撮像手段がｎ番目に出力する第１の画像データを画像データＰ１（ｎ）、前記第２の撮像手段がｎ番目に出力する第２の画像データを画像データＰ２（ｎ）としたときに、
   画像データＰ１（ｎ）と前記第２の代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ１を求める第１の相関演算部と、
   画像データＰ２（ｎ）と前記第２の代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ２を求める第２の相関演算部と、
   前記相関Ｖ１および前記相関Ｖ２に基づいて画像データＰ１（ｎ）および画像データＰ２（ｎ）の相関Ｖを求める信号処理部と、
   を備えた撮像装置。
3. 前記第１の画像データの代表点の情報を記憶する第１の代表点メモリと、
   画像データＰ１（ｎ）と前記第１の代表点メモリに記憶されている画像データＰ１（ｎ−１）の代表点との間の相関Ｖ’１を求める第３の相関演算部と、
   画像データＰ２（ｎ）と前記第１の代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ’２を求める第４の相関演算部と、
   前記相関Ｖ’１および前記相関Ｖ’２に基づいて画像データＰ１（ｎ−１）および画像データＰ２（ｎ−１）の相関Ｖ’を求める第２の信号処理部と、
   前記相関Ｖおよび前記相関Ｖ’に基づいて、前記相関Ｖの信頼性を判定する信頼性判定部と、
   をさらに備えた請求項２記載の撮像装置。

Images