JP2012147370A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2012147370A JP2012147370A JP2011005810A JP2011005810A JP2012147370A JP 2012147370 A JP2012147370 A JP 2012147370A JP 2011005810 A JP2011005810 A JP 2011005810A JP 2011005810 A JP2011005810 A JP 2011005810A JP 2012147370 A JP2012147370 A JP 2012147370A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- correlation
- representative point
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Cameras In General (AREA)
Abstract
Description
本発明は、３次元画像データを取得可能な撮像装置に関し、特に、左右画像データの垂直ずれ補正機能を有する３次元動画を撮像可能な撮像装置に関する。 The present invention relates to an imaging apparatus capable of acquiring three-dimensional image data, and more particularly, to an imaging apparatus capable of imaging a three-dimensional moving image having a function of correcting vertical deviation of left and right image data.
２つの視点から被写体を同時に撮像し、立体画像を示す３次元（３Ｄ）画像データを取得可能な撮像装置（以下、３Ｄ撮像装置ともいう）が知られている。このような３次元撮像装置においては、左右の画角のずれに起因して左右の画像データに位置ずれが発生する。左右画像の位置ずれのうち、特に垂直方向のずれ（垂直ずれ）については、水平方向のずれと比較して、鑑賞者が立体画像として視聴する際により不快感を得る可能性がある。したがって、特に左右画像に対する垂直ずれを補正することが必要となる。そこで、撮像した左右画像データにおいて対応する特徴点の位置を比較し、その位置が一致するように補正パラメータを導出する方法が提案されている（例えば、特許文献１参照。）。特許文献１によれば、この構成により、画角のずれに起因する被写体の位置ずれを簡単に補正することができるとしている。 An imaging device (hereinafter also referred to as a 3D imaging device) that can simultaneously capture a subject from two viewpoints and acquire three-dimensional (3D) image data indicating a stereoscopic image is known. In such a three-dimensional imaging apparatus, a positional shift occurs in the left and right image data due to a shift in the left and right field angles. Among the positional deviations between the left and right images, in particular, the vertical deviation (vertical deviation) may cause the viewer to feel more uncomfortable when viewing the stereoscopic image as compared with the horizontal deviation. Therefore, it is necessary to correct the vertical shift particularly with respect to the left and right images. Therefore, a method has been proposed in which the positions of corresponding feature points in the captured left and right image data are compared, and correction parameters are derived so that the positions match (for example, see Patent Document 1). According to Japanese Patent Application Laid-Open No. 2004-133867, this configuration makes it possible to easily correct a subject position shift caused by a view angle shift.
また、１つの視点から被写体を撮像して画像データを取得する撮像装置（以下、２次元（２Ｄ）画像を取得可能な撮像装置、または２Ｄ撮像装置という）では、ＭＰＥＧ等の符号化処理における符号化効率向上のため、撮像した２つの画像データ間で検出した動きベクトルを考慮して符号化を行うことが一般的である。このような符号化処理においては、以下のような処理が行われる。すでに撮像済みの画像データから抽出した代表点の情報を代表点メモリに記憶しておく。新たに撮像素子からの画像データを取り込む際に順次、代表点の情報を抽出する。画像データ取り込み時に順次抽出した代表点の情報と、代表点メモリに記憶されている内容とで代表点マッチングを行うことにより、動きベクトルを検出する。このようにすることで、フレームメモリを使用せずに、撮像素子からの画像データ取り込み完了時に動きベクトルの検出も完了できるため、より高速に符号化処理が行える。 Further, in an imaging device that captures an image of a subject from one viewpoint and acquires image data (hereinafter referred to as an imaging device that can acquire a two-dimensional (2D) image, or a 2D imaging device), a code in an encoding process such as MPEG In order to improve the conversion efficiency, encoding is generally performed in consideration of a motion vector detected between two captured image data. In such an encoding process, the following process is performed. Information on representative points extracted from already captured image data is stored in the representative point memory. When newly acquiring image data from the image sensor, information on representative points is sequentially extracted. A motion vector is detected by performing representative point matching with information on representative points sequentially extracted at the time of capturing image data and the contents stored in the representative point memory. By doing so, the detection of the motion vector can be completed at the completion of the image data capture from the image sensor without using the frame memory, so that the encoding process can be performed at a higher speed.
従来の２Ｄ撮像装置での動きベクトル検出を応用し、３Ｄ撮像装置における左右画像の位置ずれ検出を行うことを考える。従来の動きベクトル検出の方法は、入力される画像データから順次代表点の情報を抽出し、代表点メモリ上に存在する抽出済みの代表点の情報と比較する方法である。したがって、これをそのまま適用しようとすると、時間合わせのためにフレームメモリが必要となる。例えば、３Ｄ撮像装置において同時に撮像された左右画像データのうち、左画像データをフレームメモリに記憶する一方、右画像データからは代表点を抽出して代表点メモリに記憶する。次に、フレームメモリから左画像データを読み出しながら順次代表点の情報を抽出し、代表点メモリに記憶された右画像データの代表点の情報と比較する。このように２段階の処理となるため、その分だけ動きベクトル検出、ひいては左右画像の位置ずれ検出のタイミングが遅れてしまい、その結果３Ｄ画像の出力タイミングも遅れてしまうという課題があった。 Let us consider the application of motion vector detection in a conventional 2D imaging device to detect the displacement of the left and right images in the 3D imaging device. A conventional motion vector detection method is a method in which representative point information is sequentially extracted from input image data and compared with extracted representative point information existing in a representative point memory. Therefore, if this is applied as it is, a frame memory is required for time adjustment. For example, among the left and right image data simultaneously captured by the 3D imaging device, the left image data is stored in the frame memory, while the representative point is extracted from the right image data and stored in the representative point memory. Next, representative point information is sequentially extracted while reading the left image data from the frame memory, and is compared with the representative point information of the right image data stored in the representative point memory. As described above, since the processing is performed in two stages, there is a problem that the timing of motion vector detection, and hence the detection of the positional deviation of the left and right images, is delayed by that amount, and as a result, the output timing of the 3D image is also delayed.
本発明は、前記課題を解決し、３Ｄ画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することを目的とする。 An object of the present invention is to solve the above-mentioned problems and to provide an imaging device capable of detecting a displacement at a higher speed in an imaging device capable of capturing a 3D image.
前記課題を解決するために、本発明の撮像装置は、被写体を撮像して画像データＰ１（ｎ）を出力する第１の撮像手段と、被写体を撮像して画像データＰ２（ｎ）を出力する第２の撮像手段と、画像データＰ２（ｎ）の代表点の情報を記憶する代表点メモリと、画像データＰ１（ｎ）と代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ１を求める第１の相関演算部と、画像データＰ２（ｎ）と代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ２を求める第２の相関演算部と、相関Ｖ１およびＶ２に基づいて画像データＰ１（ｎ）およびＰ２（ｎ）の相関Ｖを求める信号処理部と、を備える。 In order to solve the above-described problem, the imaging apparatus of the present invention captures a subject and outputs image data P1 (n), and captures the subject and outputs image data P2 (n). A second imaging means, a representative point memory for storing information of representative points of the image data P2 (n), and the image data P1 (n) and the image data P2 (n-1) stored in the representative point memory. A first correlation calculation unit for obtaining a correlation V1 between the representative points, and a correlation V2 between the image data P2 (n) and the representative points of the image data P2 (n-1) stored in the representative point memory. And a signal processing unit for obtaining the correlation V of the image data P1 (n) and P2 (n) based on the correlations V1 and V2.
本発明の撮像装置によれば、３Ｄ画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することが可能となる。 According to the imaging apparatus of the present invention, it is possible to provide an imaging apparatus capable of detecting a displacement at a higher speed in an imaging apparatus capable of capturing a 3D image.
以下、図面を参照して実施の形態について説明する。 Hereinafter, embodiments will be described with reference to the drawings.
（実施の形態１）
（１．外観）
図１は本発明の実施の形態に係るデジタルカメラ１００の外観図である。図１（ａ）は、正面図であり、図１（ｂ）は、背面図である。
(Embodiment 1)
(1. Appearance)
FIG. 1 is an external view of a
デジタルカメラ１００の正面（図１（ａ）参照）には、撮像光学系１０１Ｌ、１０１Ｒとフラッシュ１０２が配されている。撮像光学系１０１Ｌおよび１０１Ｒは左右方向に並んで配置されている。撮像光学系１０１Ｌはデジタルカメラ１００を正面から見たときに、撮像光学系１０１Ｒに対して右側に配置されている。撮像光学系１０１Ｌおよび１０１Ｒの光軸は平行であり、その方向はデジタルカメラ１００の正面方向と一致している。撮像光学系１０１Ｌおよび１０１Ｒは、被写体像をデジタルカメラ１００内の２つの撮像素子の各々に結像させる。フラッシュ１０２は、暗所での撮影において、閃光を発して撮影光量の不足を補う。デジタルカメラ１００の上面には、シャッターボタン１０３が配されている。撮影者がシャッターボタン１０３を押下すると、撮影モードに応じて各撮像素子に結像した被写体像に基づく３Ｄ画像データがメモリカード等の記録媒体に記録される。
Imaging
デジタルカメラ１００の背面（図１（ｂ）参照）には、液晶モニター１０４、モードダイヤル１０５、各種操作ボタン１０６が配されている。液晶モニター１０４は視差バリア方式等により立体画像の裸眼立体視が可能である。液晶モニター１０４には、２つの撮像素子に結像した被写体像に基づく立体画像が表示される。従って、液晶モニター１０４に表示された立体画像を観察しながら撮影のための構図を決定することができる。また、液晶モニター１０４は、記録媒体に記録された３Ｄ画像データに基づく立体画像を表示することができる。
On the back of the digital camera 100 (see FIG. 1B), a
モードダイヤル１０５を操作することで、デジタルカメラ１００の動作モードを決定することができる。デジタルカメラ１００の動作モードには、撮影モードおよび再生モードがある。撮影モードにはさらに、静止画撮影モードおよび動画撮影モードがある。静止画撮影モードは、撮影者がシャッターボタン１０３を押下することにより、各撮像素子に結像した被写体像に基づく３Ｄ画像データを３Ｄ静止画データとしてメモリカード等の記録媒体に記録することができる動作モードである。静止画撮影モードは、さらに全自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、シーン別撮影モードに細分される。
By operating the
動画撮影モードは、各撮像素子に結像した被写体像に基づく３Ｄ画像データを３Ｄ動画データとしてメモリカード等の記録媒体に記録することができる動作モードである。待機状態において撮影者がシャッターボタン１０３を押下することにより、３Ｄ動画データの記録を開始する。また、動画データの記録中に再度撮影者がシャッターボタン１０３を押下すると、３Ｄ動画データの記録を終了する。
The moving image shooting mode is an operation mode in which 3D image data based on a subject image formed on each image sensor can be recorded as 3D moving image data on a recording medium such as a memory card. When the photographer presses the
再生モードは、記録媒体に記録された３Ｄ画像データに基づく立体画像を液晶モニター１０４に表示することができる動作モードである。各種操作ボタン１０６を操作することによって、撮影モードと再生モードにおける、さらに詳細な設定をすることができる。すなわち、撮影モードにおいては、露出補正、ホワイトバランス調整、フラッシュ１０２の発光に関する設定等を行うことができる。また、再生モードにおいては、液晶モニター１０４に表示された画像の拡大や縮小、液晶モニター１０４に同時に表示する画像の数の設定、メモリカード等の記録媒体に記録された画像データの検索等を行うことができる。
The playback mode is an operation mode in which a stereoscopic image based on 3D image data recorded on a recording medium can be displayed on the
（２．構成）
図２は、本実施の形態に係るデジタルカメラの電気的構成を示すブロック図である。撮像光学系１０１Ｌは、被写体光を撮像素子であるＣＣＤイメージセンサー３０１Ｌに結像させる。撮像光学系１０１Ｌは、複数のレンズ群で構成されている。複数のレンズ群は、手揺れ補正用のＯＩＳ用レンズ（図示せず）を含む。本実施の形態に係るデジタルカメラ１００においては、撮像光学系１０１Ｌ内にシャッター装置１０１Ｌａを配している。
(2. Configuration)
FIG. 2 is a block diagram showing an electrical configuration of the digital camera according to the present embodiment. The imaging optical system 101L forms an image of subject light on a CCD image sensor 301L that is an imaging element. The imaging optical system 101L includes a plurality of lens groups. The plurality of lens groups includes an OIS lens (not shown) for hand shake correction. In the
ＣＣＤイメージセンサー３０１Ｌは、結像した被写体光に基づく画像信号を出力する。ＡＦＥ３０２Ｌは、ＣＣＤイメージセンサー３０１Ｌの出力するアナログ信号である画像信号をデジタル信号である左画像データに変換して出力する。左画像データは、バス３０３を経由して信号処理ＬＳＩ３０５に入力されるのと並行してＳＤＲＡＭ３０４に格納される。
The CCD image sensor 301L outputs an image signal based on the imaged subject light. The
ＳＤＲＡＭ３０４は、処理過程における各種画像データを記憶するフレームメモリとして機能する。また、代表点信号（後述）を記憶するための代表点メモリとしても機能する。
The
撮像光学系１０１Ｒは、被写体光を撮像素子であるＣＣＤイメージセンサー３０１Ｒに結像させる。撮像光学系１０１Ｒは、複数のレンズ群で構成されている。複数のレンズ群は、手揺れ補正用のＯＩＳ用レンズ（図示せず）を含む。本実施の形態に係るデジタルカメラ１００においては、撮像光学系１０１Ｒ内にシャッター装置１０１Ｒａを配している。
The imaging
ＣＣＤイメージセンサー３０１Ｒは、結像した被写体光に基づく画像信号を出力する。ＡＦＥ３０２Ｒは、ＣＣＤイメージセンサー３０１Ｒの出力するアナログ信号である画像信号をデジタル信号である右画像データに変換して出力する。右画像データは、バス３０３を経由して信号処理ＬＳＩ３０５に入力されるのと並行してＳＤＲＡＭ３０４に格納される。
The CCD image sensor 301R outputs an image signal based on the imaged subject light. The
本実施の形態に係るデジタルカメラ１００では、撮像素子としてＣＣＤイメージセンサーを示したが、ＣＭＯＳイメージセンサー等その他の撮像素子であっても構わない。
In the
信号処理ＬＳＩ３０５は、ＣＰＵ３０５ａ、信号処理部３０５ｂ、揺れ検出部３０５ｃ、ＳＲＡＭ３０５ｄによって構成されている。ＣＰＵ３０５ａは、デジタルカメラ１００全体の制御を行う。ＣＰＵ３０５ａはシャッター装置１０１Ｌａ、１０１Ｒａの動作を制御することができるが、図２においては、図が煩雑になるため制御線を図示していない。
The
信号処理部３０５ｂは、相関演算処理部１および相関演算処理部２を含む。ＡＦＥ３０２Ｌから入力される左画像データ、ＡＦＥ３０２Ｒから入力される右画像データ、および、代表点メモリに記憶された代表点信号に基づいて相関演算を行い、左右画像データ間の位置ずれ検出処理を行う。位置ずれ検出処理については後で動作の説明において詳しく述べる。
The
信号処理部３０５ｂは、ＳＤＲＡＭ３０４に記憶された右画像データおよび左画像データから所定サイズの画像データを切り出して出力する。出力された画像データは、各々切り出し右画像データおよび切り出し左画像データ（以下、これらを切り出し画像データと呼ぶ）としてＳＤＲＡＭ３０４に格納される。信号処理部３０５ｂは、右画像データおよび左画像データからの切り出し位置を、位置ずれ検出結果に基づいて決定する。したがって、切り出し右画像データおよび切り出し左画像データの間の位置ずれは解消または低減されたものとなっている。
The
信号処理部３０５ｂは、ＡＦＥ３０２Ｌ、３０２ＲによってＳＤＲＡＭ３０４に格納された切り出し画像データからなる３Ｄ画像データを液晶モニター１０４による表示に適した３Ｄ画像データに変換し、液晶モニター１０４に出力する。
The
静止画撮影モードにおいては、シャッターボタン１０３の半押しによって合焦動作が開始され、全押しによって撮影が行われる。信号処理部３０５ｂは、ＳＤＲＡＭ３０４に格納された切り出し画像データが、シャッターボタン１０３の全押しによって格納された画像データであるときは、メモリカード３０６への記録に適した３Ｄ画像データに変換し、メモリカード３０６に記録する。メモリカード３０６に記録された３Ｄ画像データは、信号処理部３０５ｂによって、液晶モニター１０４による表示に適した画像データに変換され、液晶モニター１０４に表示される。
In the still image shooting mode, the focusing operation starts when the
動画撮影モードにおいては、シャッターボタン１０３の全押しによって動画撮影を開始する。信号処理部３０５ｂは、動画撮影中にＳＤＲＡＭ３０４に格納された画像データを順次、メモリカード３０６への記録に適した３Ｄ動画データに変換し、メモリカード３０６に記録する。メモリカード３０６に記録された３Ｄ動画データは、信号処理部３０５ｂによって、液晶モニター１０４による表示に適した画像データに変換され、液晶モニター１０４に表示される。
In the moving image shooting mode, moving image shooting is started by fully pressing the
ジャイロセンサー３０７は、デジタルカメラ１００の揺れに対応した揺れ信号を出力する。揺れ検出部３０５ｃは、ジャイロセンサー３０７の出力する揺れ信号をＣＰＵ３０５ａに出力する。ＣＰＵ３０５ａは、揺れ信号に基づいて、撮像光学系１０１Ｌおよび撮像光学系１０１ＲのＯＩＳ用レンズを駆動することにより、ＣＣＤイメージセンサー３０１Ｌおよび３０１Ｒに結像する被写体像の揺れを低減させる。
The
本実施の形態と本発明との対応について説明する。信号処理ＬＳＩ３０５は、本発明の画像処理装置の一例である。デジタルカメラ１００は、本発明の撮像装置の一例である。
The correspondence between the present embodiment and the present invention will be described. The
（３．動作）
本実施の形態のデジタルカメラ１００における、信号処理ＬＳＩを用いた３Ｄ画像の垂直ずれ検出の動作を説明する。
(3. Operation)
An operation of detecting vertical deviation of a 3D image using a signal processing LSI in the
デジタルカメラ１００に内蔵されたジャイロセンサー３０７によって、撮影者の手揺れによる角速度変化が検知され、この検知された手揺れによる角速度変化を補正するため、左右レンズに内蔵されたＯＩＳ用レンズが駆動される。このとき左右レンズの制御駆動のばらつきにより、左右異なる補正残りが発生する。この左右異なる補正残りは、３Ｄ動画データにおける左右画像データのずれとなり、特に垂直方向のずれは、鑑賞時に鑑賞者の不自然さの感知や、頭痛やめまいの原因となる可能性もある。
The
そこでここでは、画像処理によってこの３Ｄ動画データにおける左右画像データの垂直ずれを検知し、補正することによって鑑賞者にとって安全な映像を提供する。 Therefore, here, a video that is safe for the viewer is provided by detecting and correcting the vertical shift of the left and right image data in the 3D moving image data by image processing.
左右のＡＦＥ３０２ＬおよびＡＦＥ３０２Ｒから出力された左右の画像データは、信号処理部３０５ｂに走査線毎に同時に入力される。
The left and right image data output from the left and
前フレームの画像データが入力されるとき、信号処理ＬＳＩ３０５は、ＡＦＥ３０２Ｒから出力された右画像データのうち、画面上の代表点に位置する信号のみを、代表点メモリに記憶する。
When the image data of the previous frame is input, the
画面上の代表点の位置を図３を用いて説明する。画面は水平１９２０画素×垂直１０８０画素で構成される。この画面内に、８つの検出エリアが設定される。８つの検出エリアは、画面内の水平４箇所×垂直２箇所に分散して配置される。各検出エリア内には、水平１０個×垂直１０個の代表点が、水平４０画素×垂直３２画素の間隔を開けて設定している。すなわち、各検出エリアは水平４００画素×垂直３２０画素で構成される。この検出エリアを水平１０個×垂直１０個のブロックに分割すると、各ブロックは水平４０画素×垂直３２画素となる。この各ブロックの中央に位置する画素を代表点とする。各検出エリアは代表点を１００個含むので、画面全体ではこの８倍の８００個の代表点を含む。代表点メモリは、右画像データにおけるこれら８００個の代表点信号を記憶する。 The position of the representative point on the screen will be described with reference to FIG. The screen is composed of horizontal 1920 pixels × vertical 1080 pixels. Eight detection areas are set in this screen. The eight detection areas are distributed and arranged in 4 horizontal positions × 2 vertical positions in the screen. In each detection area, 10 horizontal points × 10 vertical points are set with an interval of 40 horizontal pixels × 32 vertical pixels. That is, each detection area is composed of horizontal 400 pixels × vertical 320 pixels. When this detection area is divided into 10 horizontal blocks × 10 vertical blocks, each block has horizontal 40 pixels × vertical 32 pixels. A pixel located at the center of each block is set as a representative point. Since each detection area includes 100 representative points, the entire screen includes 800 representative points, which is eight times this. The representative point memory stores these 800 representative point signals in the right image data.
次に、現フレームのＡＦＥ３０２Ｌ、３０２Ｒからの画像データが入力される。信号処理ＬＳＩ３０５は、それぞれＡＦＥ３０２Ｌ、３０２Ｒからの左右の画像データについて、前フレームの右画像との間の相関について評価し、動きベクトルを求める。
Next, image data from the
具体的には次のような処理を行う。まず、ＡＦＥ３０２Ｌからの左画像データと前フレームの右画像との相関演算１について説明する。信号処理ＬＳＩ３０５の相関演算処理部１は、代表点メモリに記憶された前フレームの右画像データの代表点信号と、現フレームの左画像データの代表点近傍の信号との間の相関演算１を行う。すなわち、代表点メモリの代表点信号と、現フレームの代表点の位置から所定量偏移した信号の差の絶対値を算出し、所定偏移量毎に加算する相関演算１を行う。所定の偏移量は通常、代表点をほぼ中心とした、水平−１９画素〜＋２０画素、垂直−１５画素〜＋１６画素の範囲、すなわち代表点を含むブロックの範囲として設定される。
Specifically, the following processing is performed. First, the
例えば、現フレームの右画像データの８つの検出エリアのうち左上隅のエリアに注目する。この検出エリアに含まれる１００個のブロックの代表点の各々から水平−１９画素、垂直−１５画素偏移した位置（各ブロックの左上隅）の画素の信号（１００個）と、代表点メモリに記憶されている対応する検出エリア、対応するブロックの代表点信号（１００個）との間の差の絶対値を求める。これら１００個分の絶対値の総和を求め、エリア相関値とする。この計算を全偏移量（４０×３２＝１２８０通り）について行い、各偏移量におけるエリア相関値１を求める。次に、全エリア相関値（１２８０個）のうち最小のエリア相関値を求め、このときの偏移量を、この検出エリアにおける動きベクトルとする（なお、エリア相関値が最小となる偏移量に対応する位置を最小点と呼ぶことにする）。他の７つの検出エリアについても同様の計算を行い、８つの動きベクトルＶ１を求める。
For example, attention is paid to the upper left corner area among the eight detection areas of the right image data of the current frame. Signals (100) of pixels at positions (upper left corner of each block) shifted by horizontal −19 pixels and vertical −15 pixels from each of the representative points of 100 blocks included in this detection area, and the representative point memory The absolute value of the difference between the corresponding detection area stored and the representative point signals (100) of the corresponding block is obtained. The sum of the absolute values for these 100 is obtained and used as the area correlation value. This calculation is performed for all deviation amounts (40 × 32 = 1280), and an
同様にして信号処理ＬＳＩ３０５の相関演算処理部２は、代表点メモリに記憶された前フレームの右画像データの代表点信号と、現フレームの右画像データの代表点近傍の信号との間の相関演算２を行い、エリア相関値２および８つの動きベクトルＶ２を求める。
Similarly, the correlation
なお、動きベクトルの探索範囲は上記のように水平−１９画素〜＋２０画素、垂直−１５画素〜＋１６画素としたが、必ずしもこの通りである必要はなく、例えばこれはフレーム毎、エリア毎に水平０画素〜＋３９画素、水平−３９画素〜０画素、垂直０画素〜＋３１画素、垂直−３１画素〜０画素の間でシフトすることも可能である。 The search range of the motion vector is horizontal −19 pixels to +20 pixels and vertical −15 pixels to +16 pixels as described above. However, this is not necessarily the case. For example, this is horizontal for each frame and each area. It is also possible to shift between 0 pixels to +39 pixels, horizontal −39 pixels to 0 pixels, vertical 0 pixels to +31 pixels, and vertical −31 pixels to 0 pixels.
現フレームの画像信号が入力完了した時点で、各検出エリアでの相関演算１，２によって偏移量毎の相関演算結果（エリア相関値１、２）が得られ、検出エリア毎の動きベクトルＶ１、Ｖ２が求められる。
When input of the image signal of the current frame is completed, a correlation calculation result (
相関演算１では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｌとの動きベクトルＶ１が検出され、これには前フレームと現フレーム間の動きと、左右画像のズレの両方が含まれている。一方相関演算２では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｒとの動きベクトルＶ２が検出され、これには前フレームと現フレーム間の動きのみが含まれている。
In the
したがって、対応する検出エリアどうしで前記Ｖ１からＶ２を減ずることによって、現フレームにおける左右画像のズレのみを示す動きベクトルＶが検出エリアごとに算出できる。 Therefore, by subtracting V2 from V1 between the corresponding detection areas, a motion vector V indicating only the deviation of the left and right images in the current frame can be calculated for each detection area.
Ｖ＝Ｖ１−Ｖ２
８つのエリアについて、上記相関値から左右画像のズレを示す動きベクトルＶを求めた後、左右画像のズレを補正する方法を、図４〜図６を用いて説明する。
V = V1-V2
A method of correcting the shift of the left and right images after obtaining the motion vector V indicating the shift of the left and right images from the correlation values for the eight areas will be described with reference to FIGS.
まず、左右の画像データにおいて、８つの検出エリアにおけるエリア相関値の最小点によって、動きベクトルＶ１，Ｖ２を算出する。 First, in the left and right image data, motion vectors V1 and V2 are calculated from the minimum points of the area correlation values in the eight detection areas.
一方、それぞれの検出エリアのエリア相関値について、エリア相関値の最小値、平均値および最小点の周りの傾きに基づいて信頼性判定を行う。ここで、各検出エリアの１２８０個のエリア相関値の最小値をｍｉｎとする。各検出エリアの１２８０個のエリア相関値の平均値をａｖｅとする。また、最小点におけるエリア相関値の水平方向および垂直方向の変化量を最小点の周りの傾きＫＨおよびＫＶとする。具体的には、最小点の左右に隣接する位置におけるエリア相関値の差を水平方向の傾きＫＨ、最小点の上下に隣接する位置におけるエリア相関値の差を垂直方向の傾きＫＶとする。そして、以下の条件を満たすときに信頼性ありと判定する。 On the other hand, for the area correlation value of each detection area, reliability determination is performed based on the minimum value, the average value, and the inclination around the minimum point of the area correlation value. Here, the minimum value of 1280 area correlation values in each detection area is set to min. The average value of 1280 area correlation values in each detection area is assumed to be ave. Further, the amount of change in the horizontal direction and the vertical direction of the area correlation value at the minimum point is assumed to be inclinations KH and KV around the minimum point. Specifically, the difference between the area correlation values at the positions adjacent to the left and right of the minimum point is defined as the horizontal inclination KH, and the difference between the area correlation values at the positions adjacent above and below the minimum point is defined as the vertical inclination KV. And it determines with reliability when the following conditions are satisfy | filled.
ｍｉｎ＜Ｔｈ１
ａｖｅ＞Ｔｈ２
ＫＨ＞Ｔｈ３
ＫＶ＞Ｔｈ４
（ただし、Ｔｈ１、Ｔｈ２、Ｔｈ３、Ｔｈ４は所定のしきい値）
動きベクトルＶ１，Ｖ２より左右画像のズレを示す動きベクトルＶを算出すると同時に、エリア相関値について信頼性ありと判定された検出エリアの動きベクトルＶのみ信頼性ありと判定する。８つの検出エリアのうち、信頼性ありと判定された動きベクトルＶを集め、その垂直方向成分の中間値Ｖｙを算出する。これを左右画像の垂直ズレ成分とし、左右画像の垂直ズレ補正に用いる。
min <Th1
ave> Th2
KH> Th3
KV> Th4
(However, Th1, Th2, Th3, Th4 are predetermined threshold values)
A motion vector V indicating a deviation between the left and right images is calculated from the motion vectors V1 and V2, and at the same time, only the motion vector V in the detection area determined to be reliable with respect to the area correlation value is determined to be reliable. Of the eight detection areas, motion vectors V determined to be reliable are collected, and an intermediate value Vy of the vertical direction components is calculated. This is used as the vertical shift component of the left and right images and used for correcting the vertical shift of the left and right images.
垂直ズレ補正は、信号処理部３０５ｂが、ＳＤＲＡＭ３０４に記憶された右画像データおよび左画像データから所定サイズの画像データを切り出して出力する際に、右画像データと左画像データとで垂直の切り出し位置をそれぞれ＋Ｖｙ／２、−Ｖｙ／２だけずらすことで行う。ここでは、ＡＦＥ３０２Ｌ、３０２Ｒから入力された画像信号は、ＲＧＢ信号のＲＡＷデータとしてＳＤＲＡＭ３０４に記憶される。つぎに画像処理部３０５ｂがＲＧＢ信号のＲＡＷデータをＹＣ信号に変換し、再びＳＤＲＡＭ３０４に記憶する。このとき図６に示すようにＹＣ信号の切り出しを行い、垂直方向の位置ズレが補正される。
In the vertical shift correction, when the
ＳＤＲＡＭ３０４に記憶されたＹＣ信号は更に、動画圧縮等の処理が行われ、動画信号ストリームとしてメモリカード３０６に記憶される。
The YC signal stored in the
切り出された出力画像では、左右の画像の垂直ズレが補正されているため、出力結果の動画ストリームを液晶モニター１０４のような３Ｄディスプレイで鑑賞しても不自然さがなく、頭痛やめまい等を起こさない安全な映像を提供できる。
In the cut out output image, the vertical misalignment between the left and right images is corrected, so there is no unnaturalness when viewing the output video stream on a 3D display such as the
（実施の形態２）
実施の形態２について、図７、図８を用いて説明する。図８に示すように、実施の形態２の構成は実施の形態１に対して、２つの代表点メモリ１，２、と４つの相関演算処理部１，２，３，４を有する点が異なる。他の構成要素は、実施の形態１と同様であり、詳細な説明は省略する。
(Embodiment 2)
The second embodiment will be described with reference to FIGS. As shown in FIG. 8, the configuration of the second embodiment is different from the first embodiment in that it has two
前フレームの画像信号が入力されるとき、代表点メモリ１にはＡＦＥ３０２Ｌから出力された画像信号の代表点に位置する信号が記憶され、代表点メモリ２にはＡＦＥ３０２Ｒの出力信号の代表点位置の信号が記憶される。
When the image signal of the previous frame is input, the
次に、現フレームのＡＦＥ３０２Ｌ、３０２Ｒからの画像信号が入力されるとき、相関演算処理部１では、代表点メモリ２の出力とＡＦＥ３０２Ｌの出力信号について、相関演算処理部２では、代表点メモリ２の出力とＡＦＥ３０２Ｒの出力信号について、相関演算処理部３では、代表点メモリ１の出力とＡＦＥ３０２Ｌの出力信号について、相関演算処理部４では、代表点メモリ１の出力とＡＦＥ３０２Ｒの出力信号について、それぞれ前フレームの代表点メモリに記憶された信号と、現フレームの代表点の位置から所定量偏移した信号の差の絶対値を算出し、所定偏移量毎に積和する相関演算１，２，３，４を行う。
Next, when image signals from the
現フレームの画像信号が入力完了した時点で、各エリアでの相関演算１，２，３，４によって偏移量毎の相関演算結果（エリア相関値）が得られている。このエリア相関値が最小となる偏移量（最小点）を求め、これをエリア毎の動きベクトルとする。
When input of the image signal of the current frame is completed, a correlation calculation result (area correlation value) for each deviation amount is obtained by
相関演算１では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｌとの動きベクトルＶ１が検出され、これには前フレームと現フレーム間の動きと、左右画像のズレの両方が含まれている。一方相関演算２では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｒとの動きベクトルＶ２が検出され、これには前フレームと現フレーム間の動きのみが含まれている。したがって、前記Ｖ１からＶ２を減ずることによって、左右画像のズレのみを示す動きベクトルＶが算出できる。
In the
Ｖ＝Ｖ１−Ｖ２
また相関演算３では、前フレームのＡＦＥ３０２Ｌからの出力と、現フレームのＡＦＥ３０２Ｌとの動きベクトルＶ’１が検出され、これには前フレームと現フレーム間の動きと、左右画像のズレの両方が含まれている。一方相関演算４では、前フレームのＡＦＥ３０２Ｌからの出力と、現フレームのＡＦＥ３０２Ｒとの動きベクトルＶ’２が検出され、これには前フレームと現フレーム間の動きのみが含まれている。したがって、前記Ｖ’１からＶ’２を減ずることによっても、左右画像のズレのみを示す動きベクトルＶ’が算出できる。
V = V1-V2
Further, in the correlation calculation 3, the output from the
Ｖ’＝Ｖ’１−Ｖ’２
本来、ＶとＶ’は一致すべきであるが、ノイズの影響や、エリア内に遠近の異なる対象物の混在によって不一致となる場合がある。したがってこの両者の一致度を調べることでも、動きベクトルの信頼性を判定することができる。８つのエリアについて、上記、相関値１、２，３，４から左右画像のズレを示す動きベクトルを求めた後、左右画像のズレを補正する方法を、図７を用いて説明する。
V '= V'1-V'2
Originally, V and V ′ should match, but there may be a case where they do not match due to the influence of noise or a mixture of different objects in the distance. Therefore, the reliability of the motion vector can also be determined by checking the degree of coincidence between the two. A method of correcting the shift of the left and right images after obtaining the motion vectors indicating the shift of the left and right images from the correlation values 1, 2, 3, and 4 for the eight areas will be described with reference to FIG.
まず、８つの検出エリアのエリア相関値１、２においてそれぞれ、その最小点によって、動きベクトルＶ１，Ｖ２を算出する。一方、それぞれのエリア相関値１，２の、最小値、平均値、最小点の周りの傾きによって、信頼性判定を行う。前記Ｖ１，Ｖ２より左右ズレを示す動きベクトルＶを算出すると同時に、エリア相関値１，２の両方とも信頼性ありと判定されたエリアの動きベクトルＶのみ信頼性ありと判定する。
First, motion vectors V1 and V2 are calculated based on the minimum points in the area correlation values 1 and 2 of the eight detection areas. On the other hand, reliability determination is performed based on the minimum value, the average value, and the inclination around the minimum point of each
また、８つの検出エリアのエリア相関値３、４においてそれぞれ、その最小点によって、動きベクトルＶ’１，Ｖ’２を算出する。一方、それぞれのエリア相関値３，４の、最小値、平均値、最小点の周りの傾きによって、信頼性判定を行う。前記Ｖ’１，Ｖ’２より左右ズレを示す動きベクトルＶ’を算出すると同時に、エリア相関値３，４の両方とも信頼性ありと判定されたエリアの動きベクトルＶ’のみ信頼性ありと判定する。 Also, motion vectors V′1 and V′2 are calculated based on the minimum points in the area correlation values 3 and 4 of the eight detection areas. On the other hand, reliability determination is performed based on the minimum value, the average value, and the inclination around the minimum point of each area correlation value 3 and 4. At the same time as calculating the motion vector V ′ indicating the left / right deviation from the V ′ 1 and V ′ 2, it is determined that only the motion vector V ′ of the area where the area correlation values 3 and 4 are determined to be reliable is reliable. To do.
８つの検出エリアのうち、前記信頼性判定で信頼性ありと判定された動きベクトルＶとＶ’を集め、さらにそのＶとＶ’の差の絶対値が所定の閾値＝２画素以下で一致するときのみ、ＶとＶ’を信頼性ありと判定する第二の判定を行う。第二の判定で、信頼性ありと判定された、ＶとＶ’を集め、その垂直方向成分の中間値Ｖｙを算出する。これを左右画像の垂直ズレ成分とし、左右画像の垂直ズレ補正に用いる。補正の方法は、実施の形態１と同様である。 Of the eight detection areas, motion vectors V and V ′ determined to be reliable in the reliability determination are collected, and the absolute value of the difference between V and V ′ matches with a predetermined threshold value = 2 pixels or less. Only when the second determination is made to determine that V and V ′ are reliable. V and V 'determined to be reliable in the second determination are collected, and an intermediate value Vy of the vertical direction components is calculated. This is used as the vertical shift component of the left and right images and used for correcting the vertical shift of the left and right images. The correction method is the same as in the first embodiment.
実施の形態２の構成では、代表点メモリと演算処理部が、実施の形態１と比較して２倍必要となるが、ＶとＶ’との一致度で信頼性判定を加えることで、より安定して左右の画像の垂直ズレが補正できる。そのため、出力結果の動画ストリームを３Ｄディスプレイで鑑賞しても不自然さがなく、頭痛やめまい等を起こさない安全な映像を提供できる。 In the configuration of the second embodiment, the representative point memory and the arithmetic processing unit are twice as much as those in the first embodiment. However, by adding reliability determination based on the degree of coincidence between V and V ′, The vertical misalignment between the left and right images can be corrected stably. Therefore, even if the moving image stream of the output result is viewed on a 3D display, there is no unnaturalness, and it is possible to provide a safe video that does not cause a headache or dizziness.
（実施の形態３）
実施の形態３について、図９、図１０を用いて説明する。図９に示すように、実施の形態３の構成は実施の形態１に対して、２つの代表点メモリ１，２を有する点が異なる。他の構成要素は、実施の形態１と同様であり、詳細な説明は省略する。
(Embodiment 3)
A third embodiment will be described with reference to FIGS. As shown in FIG. 9, the configuration of the third embodiment is different from the first embodiment in that it has two
実施の形態３では、図９に示すように、代表点メモリ１，２、と相関演算処理部１，２を有する。前フレームの画像信号が入力されるとき、代表点メモリ１にはＡＦＥ３０２Ｌから出力された画像信号の代表点に位置する信号が記憶され、代表点メモリ２にはＡＦＥ３０２Ｒの出力信号の代表点位置の信号が記憶される。
In the third embodiment, as shown in FIG. 9,
次に、現フレームのＡＦＥ３０２Ｌ、３０２Ｒからの画像信号が入力されるとき、相関演算処理部１では、代表点メモリ２の出力とＡＦＥ３０２Ｌの出力信号について、相関演算処理部２では、代表点メモリ１の出力とＡＦＥ３０２Ｒの出力信号についてそれぞれ前フレームの代表点メモリに記憶された信号と、現フレームの代表点の位置から所定量偏移した信号の差の絶対値を算出し、所定偏移量毎に積和する相関演算１，２を行う。
Next, when image signals from the
現フレームの画像信号が入力完了した時点で、各検出エリアでの相関演算１，２によって偏移量毎の相関演算結果（エリア相関値）が得られている。このエリア相関値が最小となる偏移量（最小点）を求め、これを検出エリア毎の動きベクトルとする。
When input of the image signal of the current frame is completed, a correlation calculation result (area correlation value) for each shift amount is obtained by
相関演算１では、前フレームのＡＦＥ３０２Ｒからの出力と、現フレームのＡＦＥ３０２Ｌからの出力との間の動きベクトルＶ１が検出され、これには前フレームと現フレーム間の動きＶｔと、左右画像のズレＶｄの両方が含まれている。
In the
Ｖ１＝Ｖｔ＋Ｖｄ
一方相関演算２では、前フレームのＡＦＥ３０２Ｌからの出力と、現フレームのＡＦＥ３０２Ｒからの出力との間の動きベクトルＶ２が検出され、これには前フレームと現フレーム間の動きＶｔと、左右画像のズレＶｄの両方が含まれている。ただし、Ｖ２には左右画像のズレＶｄは、下式のようにＶ１とは逆の符号で含まれている。
V1 = Vt + Vd
On the other hand, in the
Ｖ２＝Ｖｔ−Ｖｄ
したがって、下式のように前記Ｖ１からＶ２を減じた後、２で割ることにより、左右画像のズレのみを示す動きベクトルＶｄが算出できる。
V2 = Vt−Vd
Therefore, by subtracting V2 from V1 and dividing by 2 as shown in the following equation, a motion vector Vd indicating only the shift between the left and right images can be calculated.
Ｖｄ＝（Ｖ１−Ｖ２）／２
また、前フレームと現フレーム間の動きを示す動きベクトルＶｔを、下式のように前記Ｖ１にＶ２を加えた後、２で割ることにより算出できる。
Vd = (V1-V2) / 2
Further, the motion vector Vt indicating the motion between the previous frame and the current frame can be calculated by adding V2 to V1 and dividing by 2 as shown in the following equation.
Ｖｔ＝（Ｖ１＋Ｖ２）／２
８つの検出エリアについて、上記、エリア相関値１、２から左右画像のズレを示す動きベクトルを求めた後、左右画像のズレを補正する方法を、図１０を用いて説明する。まず、８つの検出エリアのエリア相関値１、２においてそれぞれ、その最小点によって、Ｖ１，Ｖ２を算出する。一方、それぞれのエリア相関値１，２の、最小値、平均値、最小点の周りの傾きによって、信頼性判定を行う。前記Ｖ１，Ｖ２より左右ズレを示す動きベクトルＶｄを算出すると同時に、相関値１，２の両方とも信頼性ありと判定されたエリアの動きベクトルＶｄのみ信頼性ありと判定する。
Vt = (V1 + V2) / 2
With respect to the eight detection areas, a method of correcting the shift of the left and right images after obtaining the motion vector indicating the shift of the left and right images from the area correlation values 1 and 2 will be described with reference to FIG. First, V1 and V2 are calculated based on the minimum points in the area correlation values 1 and 2 of the eight detection areas. On the other hand, the reliability determination is performed based on the minimum value, the average value, and the inclination around the minimum point of each of the area correlation values 1 and 2. At the same time as calculating the motion vector Vd indicating the left / right deviation from V1 and V2, only the motion vector Vd of the area where both the correlation values 1 and 2 are determined to be reliable is determined to be reliable.
８つのエリアのうち、前記判定で信頼性ありと判定された動きベクトルＶｄを集め、その垂直方向成分の中間値Ｖｙを算出する。これを左右画像の垂直ズレ成分とし、左右画像の垂直ズレ補正に用いる。補正の方法は、実施の形態１と同様である。 Of the eight areas, the motion vectors Vd determined to be reliable in the determination are collected, and an intermediate value Vy of the vertical direction components is calculated. This is used as the vertical shift component of the left and right images and used for correcting the vertical shift of the left and right images. The correction method is the same as in the first embodiment.
ここでは、代表点メモリが、実施の形態１と比較して２倍必要となるが、実施の形態１と比較して、Ｖ１からＶ２を減じた後、値を２で割っているため誤差が半分になるメリットがある。そのため、出力結果の動画ストリームを３Ｄディスプレイで鑑賞しても不自然さがなく、頭痛やめまいなど起こさない安全な映像を提供できる。 Here, the representative point memory is required twice as much as that in the first embodiment, but after subtracting V2 from V1 as compared with the first embodiment, the value is divided by 2, so that there is an error. There is a merit to halve. Therefore, even if the moving image stream of the output result is viewed on a 3D display, there is no unnaturalness and it is possible to provide a safe video that does not cause headaches or dizziness.
（他の実施の形態）
以上説明した実施の形態１、２および３では、左右の垂直ズレのみを補正する例を示した。さらにこれに前フレームと現フレーム間の動きを示す動きベクトルによって左右の画像の切り出し位置をさらに同様に補正することによって、ＯＩＳ用レンズによる揺れ補正の残り成分も補正でき、ゆれの少ない映像を得ることもできる。
(Other embodiments)
In the first, second, and third embodiments described above, examples in which only the left and right vertical shifts are corrected have been shown. Further, by correcting the left and right image cutout positions in the same manner by using the motion vector indicating the motion between the previous frame and the current frame, the remaining component of the shake correction by the OIS lens can be corrected, and an image with less fluctuation is obtained. You can also.
また実施の形態１、２および３では、左右の垂直ズレのみを補正する例を示した。さらにこれに、水平方向のズレをも補正することができる。実施の形態２に追加する形で、図１１に示すように、信頼性ありとなるＶとＶ’を集め、その水平成分Ｖｘを集計する。このとき水平成分Ｖｘは、ＯＩＳ用レンズの左右の制御誤差によるズレ成分以外に、対象物の遠近によるズレ成分を含む。したがって、集計された水平成分Ｖｘのうち、その最大値Ｖｘｍａｘと最小値Ｖｘｍｉｎを抽出する。 In the first, second, and third embodiments, the example in which only the left and right vertical shifts are corrected has been described. In addition, a horizontal shift can be corrected. In a form added to the second embodiment, as shown in FIG. 11, V and V ′ having reliability are collected and the horizontal components Vx are totaled. At this time, the horizontal component Vx includes a shift component due to the distance of the object in addition to the shift component due to the left and right control errors of the OIS lens. Therefore, the maximum value Vxmax and the minimum value Vxmin are extracted from the totaled horizontal component Vx.
鑑賞者からディスプレイ表示面までの距離を例えば３ｍと設定し、この距離の対象物を左右水平画素ズレ＝０となるように、無限遠の対象物での左右水平画素ズレ＝Ｖｘ∞を設定する。ここで検出された、水平ズレ最小値Ｖｘｍｉｎのエリアが無限遠にあると仮定して
Ｖｘ＝Ｖｘｍｉｎ−Ｖｘ∞
の量の水平位置の補正を行う。
The distance from the viewer to the display surface is set to 3 m, for example, and the horizontal pixel shift = Vx∞ for the object at infinity is set so that the object at this distance becomes horizontal pixel shift = 0. . Assuming that the area of the horizontal displacement minimum value Vxmin detected here is at infinity, Vx = Vxmin−Vx∞
Correct the horizontal position of the amount.
３Ｄ映像信号の水平ズレは、垂直ズレに比べて、不自然さを感じにくいが、垂直ズレの補正に加え、この水平ズレの補正によって、より自然な映像を提供できる。また、３Ｄ映像信号では、想定範囲を越えて近づきすぎる対象物は、左右画像の水平ズレが、大きくなりずぎ、鑑賞者に不自然さや頭痛やめまいなどを感じさせる危険がある。前記検出された、水平ズレ最大値Ｖｘｍａｘと最小値Ｖｘｍｉｎによって、補正された出力画像での水平ズレの最大値Ｖｘ’ｍａｘを算出できる。 The horizontal shift of the 3D video signal is less likely to feel unnaturalness than the vertical shift, but a more natural image can be provided by correcting the horizontal shift in addition to correcting the vertical shift. In addition, in a 3D video signal, an object that is too close to the expected range has a large horizontal shift between the left and right images, which may cause the viewer to feel unnaturalness, headache, dizziness, and the like. Based on the detected horizontal deviation maximum value Vxmax and minimum value Vxmin, the maximum value Vx′max of horizontal deviation in the corrected output image can be calculated.
Ｖｘ’ｍａｘ ＝ Ｖｘｍａｘ−Ｖｘ
＝ Ｖｘｍａｘ＋Ｖｘ∞−Ｖｘｍｉｎ
このＶｘ’ｍａｘが、所定量の閾値を越えるとき、撮影者に「警告」を表示する。これによって、より安全な映像を提供できる３Ｄ動画撮影カメラを実現できる。
Vx′max = Vxmax−Vx
= Vxmax + Vx∞−Vxmin
When this Vx′max exceeds a predetermined amount of threshold, a “warning” is displayed to the photographer. As a result, a 3D video camera capable of providing safer video can be realized.
上記実施の形態では、代表点の水平垂直の間隔とベクトル探索範囲の水平垂直の大きさを等しくした。こうすることで、走査線にしたがって１画素の信号が入力される時点（クロック）で、１つの代表点との差分を演算し、その絶対値を相関値に加算すればいいので、並列に演算する回路が不要となる。しかしながら、並列に演算する回路を用いることで、代表点の間隔を狭くすることもできる。 In the above embodiment, the horizontal and vertical intervals of the representative points are made equal to the horizontal and vertical sizes of the vector search range. By doing this, the difference from one representative point can be calculated at the time (clock) when one pixel signal is input according to the scanning line, and the absolute value can be added to the correlation value. The circuit to perform becomes unnecessary. However, the interval between the representative points can be narrowed by using a circuit that operates in parallel.
たとえば、４重の並列回路を用いれば、代表点の間隔をたとえば垂直１／２、水平１／２とすることができ、代表点数を４倍にすることができ、動きベクトルの安定性を増やすこともできる。 For example, if a quadruple parallel circuit is used, the interval between the representative points can be, for example, vertical 1/2 and horizontal 1/2, the number of representative points can be quadrupled, and the motion vector stability is increased. You can also.
さらに並列回路の並列度を大きくすれば、代表点の間隔を垂直、水平ともに１画素とし、全画素を用いたマッチングをすることも可能である。この場合でも、本発明は、２つの撮像センサから走査線にしたがって、現フレームの画像データの入力が完了した時点で、２つの画像間の動きベクトルを示す相関値が演算完了しており、２つの画像間の動きベクトルを従来より早い時点で算出できるので、その効果は大きい。 Furthermore, if the parallelism of the parallel circuit is increased, the interval between the representative points can be set to one pixel both vertically and horizontally, and matching using all pixels can be performed. Even in this case, according to the present invention, when the input of the image data of the current frame is completed according to the scanning lines from the two image sensors, the correlation value indicating the motion vector between the two images is completely calculated. Since the motion vector between two images can be calculated at an earlier time point than before, the effect is great.
本発明によれば、シャッターチャンスに強い撮像装置を提供することができるので、デジタルスチルカメラのみならず、静止画を撮影することができるムービーカメラや携帯電話等、静止画の連写機能を備えた撮像装置全般に適用することができる。 According to the present invention, it is possible to provide an imaging device that is resistant to a photo opportunity, so that not only a digital still camera but also a movie camera and a mobile phone that can shoot still images are provided with a still image continuous shooting function. The present invention can be applied to all imaging devices.
本発明の撮像装置によれば、３Ｄ画像を撮像可能な撮像装置においてより高速に位置ずれ検出が可能な撮像装置を提供することが可能となるため、左右画像データの垂直ずれ補正機能を有する３次元画像を撮像可能なデジタルカメラ、ムービー、携帯電話等に適用可能である。 According to the imaging apparatus of the present invention, it is possible to provide an imaging apparatus capable of detecting a positional shift at a higher speed in an imaging apparatus capable of capturing a 3D image. The present invention can be applied to digital cameras, movies, mobile phones, and the like that can capture dimensional images.
１００ デジタルカメラ
１０１Ｌ 撮像光学系
１０１Ｌａ シャッター装置
１０１Ｒ 撮像光学系
１０１Ｒａ シャッター装置
１０２ フラッシュ
１０３ シャッターボタン
１０４ 液晶モニター
１０５ モードダイヤル
１０６ 操作ボタン
３０１Ｌ ＣＣＤイメージセンサー
３０１Ｒ ＣＣＤイメージセンサー
３０２Ｌ ＡＦＥ
３０２Ｒ ＡＦＥ
３０３ バス
３０４ ＳＤＲＡＭ
３０５ 信号処理ＬＳＩ
３０５ａ ＣＰＵ
３０５ｂ 信号処理部
３０５ｃ 揺れ検出部
３０５ｄ ＳＲＡＭ
３０６ メモリカード
３０７ ジャイロセンサー
DESCRIPTION OF
302R AFE
303
305 Signal processing LSI
305a CPU
305b Signal processing unit 305c
306
Claims (3)
前記第１の撮像手段とは異なる位置から前記第１の撮像手段と同期して前記被写体を撮像して第２の画像データを出力する第２の撮像手段と、
前記第２の画像データの一部または全部を記憶するメモリと、
前記第１の撮像手段がｎ番目に出力する第１の画像データを画像データＰ１（ｎ）、前記第２の撮像手段がｎ番目に出力する第２の画像データを画像データＰ２（ｎ）としたときに、
画像データＰ１（ｎ）と前記メモリに記憶されている画像データＰ２（ｎ−１）との間の相関Ｖ１を求める第１の相関演算部と、
画像データＰ２（ｎ）と前記メモリに記憶されている画像データＰ２（ｎ−１）との間の相関Ｖ２を求める第２の相関演算部と、
前記相関Ｖ１および前記相関Ｖ２に基づいて画像データＰ１（ｎ）および画像データＰ２（ｎ）の相関Ｖを求める信号処理部と、
を備えた撮像装置。 First imaging means for imaging a subject and outputting first image data;
Second imaging means for imaging the subject in synchronization with the first imaging means from a position different from the first imaging means and outputting second image data;
A memory for storing a part or all of the second image data;
The first image data output by the first image pickup means is the nth image data P1 (n), and the second image data output by the second image pickup means is the image data P2 (n). When
A first correlation calculation unit for obtaining a correlation V1 between the image data P1 (n) and the image data P2 (n-1) stored in the memory;
A second correlation calculation unit for obtaining a correlation V2 between the image data P2 (n) and the image data P2 (n-1) stored in the memory;
A signal processing unit for obtaining a correlation V between the image data P1 (n) and the image data P2 (n) based on the correlation V1 and the correlation V2,
An imaging apparatus comprising:
前記第１の撮像手段とは異なる位置から前記第１の撮像手段と同期して前記被写体を撮像して第２の画像データを出力する第２の撮像手段と、
前記第２の画像データの代表点の情報を記憶する第２の代表点メモリと、
前記第１の撮像手段がｎ番目に出力する第１の画像データを画像データＰ１（ｎ）、前記第２の撮像手段がｎ番目に出力する第２の画像データを画像データＰ２（ｎ）としたときに、
画像データＰ１（ｎ）と前記第２の代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ１を求める第１の相関演算部と、
画像データＰ２（ｎ）と前記第２の代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ２を求める第２の相関演算部と、
前記相関Ｖ１および前記相関Ｖ２に基づいて画像データＰ１（ｎ）および画像データＰ２（ｎ）の相関Ｖを求める信号処理部と、
を備えた撮像装置。 First imaging means for imaging a subject and outputting first image data;
Second imaging means for imaging the subject in synchronization with the first imaging means from a position different from the first imaging means and outputting second image data;
A second representative point memory for storing information of representative points of the second image data;
The first image data output by the first image pickup means is the nth image data P1 (n), and the second image data output by the second image pickup means is the image data P2 (n). When
A first correlation calculator that obtains a correlation V1 between the image data P1 (n) and the representative point of the image data P2 (n-1) stored in the second representative point memory;
A second correlation calculation unit for obtaining a correlation V2 between the image data P2 (n) and the representative point of the image data P2 (n-1) stored in the second representative point memory;
A signal processing unit for obtaining a correlation V between the image data P1 (n) and the image data P2 (n) based on the correlation V1 and the correlation V2,
An imaging apparatus comprising:
画像データＰ１（ｎ）と前記第１の代表点メモリに記憶されている画像データＰ１（ｎ−１）の代表点との間の相関Ｖ’１を求める第３の相関演算部と、
画像データＰ２（ｎ）と前記第１の代表点メモリに記憶されている画像データＰ２（ｎ−１）の代表点との間の相関Ｖ’２を求める第４の相関演算部と、
前記相関Ｖ’１および前記相関Ｖ’２に基づいて画像データＰ１（ｎ−１）および画像データＰ２（ｎ−１）の相関Ｖ’を求める第２の信号処理部と、
前記相関Ｖおよび前記相関Ｖ’に基づいて、前記相関Ｖの信頼性を判定する信頼性判定部と、
をさらに備えた請求項２記載の撮像装置。 A first representative point memory for storing information on representative points of the first image data;
A third correlation calculation unit for obtaining a correlation V′1 between the image data P1 (n) and the representative point of the image data P1 (n−1) stored in the first representative point memory;
A fourth correlation calculation unit for obtaining a correlation V′2 between the image data P2 (n) and the representative point of the image data P2 (n−1) stored in the first representative point memory;
A second signal processing unit for obtaining a correlation V ′ of the image data P1 (n−1) and the image data P2 (n−1) based on the correlation V′1 and the correlation V′2,
A reliability determination unit that determines the reliability of the correlation V based on the correlation V and the correlation V ′;
The imaging apparatus according to claim 2, further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011005810A JP2012147370A (en) | 2011-01-14 | 2011-01-14 | Imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011005810A JP2012147370A (en) | 2011-01-14 | 2011-01-14 | Imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012147370A true JP2012147370A (en) | 2012-08-02 |
Family
ID=46790453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011005810A Pending JP2012147370A (en) | 2011-01-14 | 2011-01-14 | Imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012147370A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016016984A1 (en) * | 2014-07-31 | 2016-02-04 | 日立マクセル株式会社 | Image pickup device and tracking method for subject thereof |
-
2011
- 2011-01-14 JP JP2011005810A patent/JP2012147370A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016016984A1 (en) * | 2014-07-31 | 2016-02-04 | 日立マクセル株式会社 | Image pickup device and tracking method for subject thereof |
| CN106575027A (en) * | 2014-07-31 | 2017-04-19 | 日立麦克赛尔株式会社 | Image pickup device and tracking method for subject thereof |
| JPWO2016016984A1 (en) * | 2014-07-31 | 2017-06-01 | 日立マクセル株式会社 | Imaging device and subject tracking method thereof |
| US10609273B2 (en) | 2014-07-31 | 2020-03-31 | Maxell, Ltd. | Image pickup device and method of tracking subject thereof |
| US11860511B2 (en) | 2014-07-31 | 2024-01-02 | Maxell, Ltd. | Image pickup device and method of tracking subject thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5679978B2 (en) | Stereoscopic image alignment apparatus, stereoscopic image alignment method, and program thereof | |
| CN102986233B (en) | Image imaging device | |
| JP5640143B2 (en) | Imaging apparatus and imaging method | |
| KR20140051112A (en) | Primary and auxiliary image capture devices for image processing and related methods | |
| US20130250053A1 (en) | System and method for real time 2d to 3d conversion of video in a digital camera | |
| JP5469258B2 (en) | Imaging apparatus and imaging method | |
| CN102318331A (en) | Stereoscopic image pick-up apparatus | |
| US8922627B2 (en) | Image processing device, image processing method and imaging device | |
| JP2012015674A (en) | Imaging device, operation control method for imaging device, and program for imaging device | |
| CN102959974A (en) | Stereoscopic image playback device, parallax adjustment method of same, parallax adjustment program, and image capture device | |
| JP2011199526A (en) | Object tracking device, and method of controlling operation of the same | |
| US20130027520A1 (en) | 3d image recording device and 3d image signal processing device | |
| US20120162453A1 (en) | Image pickup apparatus | |
| US20150288949A1 (en) | Image generating apparatus, imaging apparatus, and image generating method | |
| CN103329549B (en) | Dimensional video processor, stereoscopic imaging apparatus and three-dimensional video-frequency processing method | |
| CN104041026B (en) | Image take-off equipment, method and program and recording medium thereof | |
| KR20160123757A (en) | Image photographig apparatus and image photographing metheod | |
| KR20110025083A (en) | Apparatus and method for displaying 3d image in 3d image system | |
| JP2012147370A (en) | Imaging apparatus | |
| US20130076867A1 (en) | Imaging apparatus | |
| WO2012014695A1 (en) | Three-dimensional imaging device and imaging method for same | |
| JP2013175805A (en) | Display device and image pickup device | |
| JP5689693B2 (en) | Drawing processor | |
| US9076215B2 (en) | Arithmetic processing device | |
| JP2013046343A (en) | Image pickup device |