JP2021071793A - Image processing device, image processing method, imaging device, program, and storage medium - Google Patents

Abstract

To provide a technology advantageous for achieving both of high speed and accuracy in processing.SOLUTION: There is provided an image processing device for processing a first image and a second image which constitute a parallax image. The image processing device includes: first correlation arithmetic operation means which performs, with a first correlation arithmetic operation system, correlation arithmetic operation while relatively moving a reference image being a partial region containing an attention pixel of the first image on the second image by pixel units; determination means which determines a correlation arithmetic operation range of a second correlation arithmetic operation system different from the first correlation arithmetic operation system on the basis of the result of the correlation arithmetic operation by the first correlation arithmetic operation means; and second correlation arithmetic operation means which performs, with a second correlation arithmetic operation system, correlation arithmetic operation while relatively moving the reference image on the second image in the correlation arithmetic operation range determined by the determination means by pixel units. The determination means determines the correlation arithmetic operation range on the basis of a correlation value obtained by the first correlation arithmetic operation means and a correlation value of the move amount at before and after a first move amount corresponding to the correlation value.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置、画像処理方法、撮像装置、プログラム、および記憶媒体に関する。 The present invention relates to an image processing apparatus, an image processing method, an imaging apparatus, a program, and a storage medium.

撮影により取得された画像から距離情報を算出する方法として、例えば、互いに視点の異なる２つの画像を取得し、取得された２つの画像間の相関値から像面上の視差を求め、その視差から距離情報を取得する方法がある。具体的には、２つの画像のうちの一方の画像の注目画素を含む部分領域が基準画像として抜き出され、他方の画像の部分領域が参照画像として抜き出される。参照画像の抜き出し位置を１画素ずつ移動させながら基準画像に対する相関値を求めることで、注目画素における視差が算出される。このとき、最も相関の高い移動量とその前後の移動量における相関値を用いて、より高分解能に視差を推定するサブピクセル推定法にて視差を求める方法が知られている。 As a method of calculating the distance information from the image acquired by shooting, for example, two images having different viewpoints are acquired, the parallax on the image plane is obtained from the correlation value between the acquired two images, and the parallax is used. There is a way to get distance information. Specifically, a partial region of one of the two images including the pixel of interest is extracted as a reference image, and a partial region of the other image is extracted as a reference image. The parallax in the pixel of interest is calculated by obtaining the correlation value with respect to the reference image while moving the extraction position of the reference image one pixel at a time. At this time, there is known a method of obtaining parallax by a sub-pixel estimation method that estimates parallax with higher resolution by using the correlation values of the movement amount having the highest correlation and the movement amount before and after the movement amount.

また、高速かつ高精度な視差算出を目的として、複数の相関演算方式を組み合わせるハイブリッド方式が提案されている。ハイブリッド方式は例えば、前段の処理と後段の処理とで異なる相関演算方式を使用する。まず前段の処理では、低精度ではあるが演算量の少ない相関演算方式を使用して、最も相関の高い移動量が求められる。次に後段の処理で、先に求めた最も相関の高い移動量の近傍において、演算量は多くなるが高精度な相関演算方式を使用して、改めて最も相関の高い移動量を求める。後段で求めた最も相関の高い移動量及びその両隣における相関値列を使用して、サブピクセル推定法を行うことで、高速かつ高精度に視差を算出することができる（特許文献１）。 Further, for the purpose of high-speed and highly accurate parallax calculation, a hybrid method that combines a plurality of correlation calculation methods has been proposed. The hybrid method uses, for example, different correlation calculation methods for the processing in the first stage and the processing in the second stage. First, in the processing of the previous stage, a movement amount having the highest correlation is obtained by using a correlation calculation method having a low accuracy but a small amount of calculation. Next, in the subsequent processing, in the vicinity of the movement amount having the highest correlation obtained earlier, the movement amount having the highest correlation is obtained again by using a highly accurate correlation calculation method although the calculation amount is large. The parallax can be calculated at high speed and with high accuracy by performing the subpixel estimation method using the movement amount having the highest correlation obtained in the latter stage and the correlation value sequence on both sides thereof (Patent Document 1).

特許第５５６７１７９号公報Japanese Patent No. 5567179

ハイブリッド方式において、前段で求めた移動量の誤差が大きいと、後段で計算する３点の移動量のうち中央の移動量で相関値が極値とならないため、サブピクセル単位で視差を求めることができなくなる。このような現象は、画像のコントラストが小さい領域や、正解の視差が略Ｚ±０．５画素（Ｚは整数）となる領域で多く発生する。かといって、高精度に視差を求めるために、後段の相関演算における移動範囲を３点より広げると演算量が増大し処理の高速化が難しくなる。このように、ハイブリッド方式による視差のサブピクセル推定においては、一般に、処理の高速性と精度はトレードオフの関係にある。 In the hybrid method, if the error of the movement amount obtained in the first stage is large, the correlation value does not become the extreme value in the movement amount in the center of the movement amounts of the three points calculated in the second stage, so it is necessary to obtain the parallax in subpixel units. become unable. Such a phenomenon often occurs in a region where the contrast of the image is small or in a region where the parallax of the correct answer is approximately Z ± 0.5 pixels (Z is an integer). On the other hand, if the movement range in the correlation calculation in the subsequent stage is widened from three points in order to obtain the parallax with high accuracy, the amount of calculation increases and it becomes difficult to speed up the processing. As described above, in the subpixel estimation of parallax by the hybrid method, the processing speed and the accuracy are generally in a trade-off relationship.

本発明は、例えば、処理の高速性と精度の両立を図る上で有利な技術を提供することを目的とする。 An object of the present invention is, for example, to provide an advantageous technique for achieving both high speed and accuracy of processing.

本発明の一側面によれば、視差画像を構成する第１画像および第２画像を処理する画像処理装置であって、第１相関演算方式により、前記第１画像の注目画素を含む部分領域である基準画像を前記第２画像上で画素単位で相対的に移動させながら相関演算を行う第１相関演算手段と、前記第１相関演算手段による相関演算の結果に基づいて前記第１相関演算方式とは異なる第２相関演算方式における相関演算範囲を決定する決定手段と、前記第２相関演算方式により、前記決定手段により決定された前記相関演算範囲において前記基準画像を前記第２画像上で画素単位で相対的に移動させながら相関演算を行う第２相関演算手段と、を有し、前記決定手段は、前記第１相関演算手段により得られる相関値と、該相関値に対応する第１移動量の前後の移動量における相関値とに基づいて、前記相関演算範囲を決定することを特徴とする画像処理装置が提供される。 According to one aspect of the present invention, it is an image processing apparatus that processes a first image and a second image constituting a parallax image, and is a partial region including a pixel of interest of the first image by a first correlation calculation method. The first correlation calculation means that performs a correlation calculation while relatively moving a reference image on the second image in pixel units, and the first correlation calculation method based on the result of the correlation calculation by the first correlation calculation means. The reference image is pixelated on the second image in the determination means for determining the correlation calculation range in the second correlation calculation method different from that of the second correlation calculation method and in the correlation calculation range determined by the determination means by the second correlation calculation method. It has a second correlation calculation means that performs a correlation calculation while relatively moving in units, and the determination means has a correlation value obtained by the first correlation calculation means and a first movement corresponding to the correlation value. Provided is an image processing apparatus characterized in that the correlation calculation range is determined based on a correlation value in a movement amount before and after the amount.

本発明によれば、例えば、処理の高速性と精度の両立を図る上で有利な技術を提供することができる。 According to the present invention, for example, it is possible to provide an advantageous technique for achieving both high speed and accuracy of processing.

撮像装置の構成を示す図。The figure which shows the structure of the image pickup apparatus. 撮像部の画素の構成を説明する図。The figure explaining the structure of the pixel of the image pickup unit. 測距演算処理のフローチャートおよび視差演算範囲を決定する処理を説明する図。The flowchart of the distance measurement calculation process and the figure explaining the process of determining the parallax calculation range. 測距演算処理のフローチャートおよび視差演算範囲を決定する処理を説明する図。The flowchart of the distance measurement calculation process and the figure explaining the process of determining the parallax calculation range. 測距演算処理のフローチャート。Flowchart of distance measurement calculation processing. 局所領域情報としてのエッジボケ量を取得する方法を説明する図。The figure explaining the method of acquiring the edge blur amount as local area information. 強度差と視差誤差との関係を説明する図。The figure explaining the relationship between the intensity difference and the parallax error. 測距演算処理のフローチャート。Flowchart of distance measurement calculation processing.

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are designated by the same reference numbers, and duplicate explanations are omitted.

＜第１実施形態＞
図１は、本発明の視差演算装置が適用される撮像装置１００の構成を示すブロック図である。撮像装置１００は、光学系１０１、撮像部１０２、Ａ／Ｄ変換部１０３、制御部１０４、画像処理部１０５、記憶部１０６、揮発性メモリ１０７、不揮発性メモリ１０８を備える。 <First Embodiment>
FIG. 1 is a block diagram showing a configuration of an image pickup apparatus 100 to which the parallax arithmetic unit of the present invention is applied. The image pickup apparatus 100 includes an optical system 101, an image pickup section 102, an A / D conversion section 103, a control section 104, an image processing section 105, a storage section 106, a volatile memory 107, and a non-volatile memory 108.

光学系１０１は、ズームレンズやフォーカスレンズからからなるレンズ群、絞り調整装置、およびシャッター装置を含む。この光学系１０１は、撮像部１０２に到達する被写体像の倍率、焦点位置、および光量を調整しうる。撮像部１０２は、光学系１０１を通過した被写体の光束を電気信号に変換するＣＣＤあるいはＣＭＯＳセンサ等の撮像素子を含む。Ａ／Ｄ変換部１０３は、撮像部１０２のアナログ信号出力をデジタル信号に変換する。画像処理部１０５は、Ａ／Ｄ変換部１０３からのデータまたは記憶部１０６からのデータに対して各種の画像処理を行う。各種の画像処理は、ノイズ低減処理、現像処理、および、ガンマ変換による階調圧縮処理等を含みうる。また、画像処理部１０５は、視差画像を構成する第１画像および第２画像を処理する画像処理装置として機能しうる。とりわけ画像処理部１０５は、とりわけ、後述する視差演算処理を含む測距演算処理を行いうる。 The optical system 101 includes a lens group including a zoom lens and a focus lens, an aperture adjusting device, and a shutter device. The optical system 101 can adjust the magnification, the focal position, and the amount of light of the subject image reaching the imaging unit 102. The image pickup unit 102 includes an image pickup element such as a CCD or CMOS sensor that converts the luminous flux of the subject that has passed through the optical system 101 into an electric signal. The A / D conversion unit 103 converts the analog signal output of the imaging unit 102 into a digital signal. The image processing unit 105 performs various image processing on the data from the A / D conversion unit 103 or the data from the storage unit 106. Various image processings may include noise reduction processing, development processing, gradation compression processing by gamma conversion, and the like. Further, the image processing unit 105 can function as an image processing device that processes the first image and the second image constituting the parallax image. In particular, the image processing unit 105 can perform distance measurement calculation processing including parallax calculation processing described later.

制御部１０４は、例えばＣＰＵやＭＰＵなどのプロセッサを含み、不揮発性メモリ１０８に記録されたプログラムを揮発性メモリ１０７に展開して実行することにより、撮像装置１００が備える各ブロックの動作を制御する。制御部１０４は、例えば、適正な明るさを持つ入力画像を得るための撮影時の露光量を算出し、その露光量を実現するために光学系１０１および撮像部１０２を制御して、絞り、シャッタースピード、撮像素子のアナログゲインを制御する。 The control unit 104 includes a processor such as a CPU or an MPU, and controls the operation of each block included in the image pickup apparatus 100 by expanding the program recorded in the non-volatile memory 108 to the volatile memory 107 and executing the program. .. For example, the control unit 104 calculates the exposure amount at the time of shooting to obtain an input image having appropriate brightness, and controls the optical system 101 and the image pickup unit 102 to realize the exposure amount, and stops the aperture. Controls the shutter speed and the analog gain of the image sensor.

記憶部１０６は、画像データを記憶する記憶媒体を含みうる。記憶媒体は、半導体メモリが搭載されたメモリカード、あるいは、光磁気ディスク等の回転記録体を収容したパッケージ等を含みうる。 The storage unit 106 may include a storage medium for storing image data. The storage medium may include a memory card on which a semiconductor memory is mounted, a package containing a rotating recording body such as a magneto-optical disk, or the like.

図２（Ａ）は、撮像部１０２における、画素２００の配列構成を示している。画素２００は、図２（Ｂ）に示す断面図のように、マイクロレンズ２０１、カラーフィルタ２０２、光電変換部２０３Ａおよび２０３Ｂを含みうる。画素２００には、カラーフィルタ２０２によって得られる、波長帯域に応じたＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの分光特性が与えられる。カラーフィルタ２０２は、公知の配色パターンに従って配置されている。光電変換部２０３Ａおよび２０３Ｂは、それぞれの波長帯域に応じた感度を持ち、基板２０４に構成されている。 FIG. 2A shows the arrangement configuration of the pixels 200 in the imaging unit 102. The pixel 200 may include a microlens 201, a color filter 202, and photoelectric conversion units 203A and 203B as shown in the cross-sectional view shown in FIG. 2B. The pixel 200 is provided with the spectral characteristics of Red, Green, and Blue according to the wavelength band obtained by the color filter 202. The color filter 202 is arranged according to a known color scheme. The photoelectric conversion units 203A and 203B have sensitivities corresponding to their respective wavelength bands, and are configured on the substrate 204.

図２（Ｃ）は、光学系１０１の光軸（図２ではｚ軸）と撮像部１０２の入射面との交点から射出瞳を見た図である。光電変換部２０３Ａと２０３Ｂには、それぞれ射出瞳の異なる領域である第１瞳領域２１０を通過した光束と第２瞳領域２２０を主に通過した光束が入射する。光電変換部２０３Ａおよび２０３Ｂに入射した光束をそれぞれ光電変換することで、Ａ画像（第１画像）およびＢ画像（第２画像）が生成される。生成されたＡ画像とＢ画像は、Ａ／Ｄ変換部１０３を介して画像処理部１０５に伝送される。画像処理部１０５は、測距演算処理により距離値を算出する。算出結果は記憶部１０６に保存される。また、Ａ画像とＢ画像を加算した画像は、画像情報として利用されうる。 FIG. 2C is a view of the exit pupil viewed from the intersection of the optical axis of the optical system 101 (z-axis in FIG. 2) and the incident surface of the imaging unit 102. The luminous flux passing through the first pupil region 210 and the light flux mainly passing through the second pupil region 220, which are regions having different exit pupils, are incident on the photoelectric conversion units 203A and 203B, respectively. An A image (first image) and a B image (second image) are generated by photoelectric conversion of the light flux incident on the photoelectric conversion units 203A and 203B, respectively. The generated A image and B image are transmitted to the image processing unit 105 via the A / D conversion unit 103. The image processing unit 105 calculates the distance value by the distance measurement calculation process. The calculation result is stored in the storage unit 106. Further, the image obtained by adding the A image and the B image can be used as image information.

図２（Ｃ）において、符号２２１は第１瞳領域２１０の重心位置を示し、符号２１１は第２瞳領域２２０の重心位置を示している。第１瞳領域２１０の重心位置２２１は、射出瞳の中心から偏心（移動）しており、第２瞳領域２２０の重心位置２１１は、その逆方向に偏心（移動）している。この重心間距離が基線長２２２となり、その線分方向を瞳分割方向と呼ぶ。Ａ画像とＢ画像は瞳分割方向と同じ方向に位置が変化する。本実施形態では、瞳分割方向をｘ軸方向とする。この画像間の相対的な位置変化量、すなわちＡ画像とＢ画像の視差は、デフォーカス量に応じた値となる。よって、この視差を後述の手法により取得し、公知の変換手法によって視差をデフォーカス量または距離に変換することができる。 In FIG. 2C, reference numeral 221 indicates the position of the center of gravity of the first pupil region 210, and reference numeral 211 indicates the position of the center of gravity of the second pupil region 220. The center of gravity position 221 of the first pupil region 210 is eccentric (moved) from the center of the exit pupil, and the center of gravity position 211 of the second pupil region 220 is eccentric (moved) in the opposite direction. The distance between the centers of gravity is the baseline length 222, and the direction of the line segment is called the pupil division direction. The positions of the A image and the B image change in the same direction as the pupil division direction. In the present embodiment, the pupil division direction is the x-axis direction. The relative position change amount between the images, that is, the parallax between the A image and the B image becomes a value according to the defocus amount. Therefore, this parallax can be acquired by a method described later, and the parallax can be converted into a defocus amount or a distance by a known conversion method.

本実施形態における測距演算処理を、図３（Ａ）のフローチャートを用いて説明する。Ｓ３０１で、撮影により画像が取得される。具体的には、制御部１０４は、撮像部１０２により撮影された被写体の画像を記憶部１０６に保存する。ここで、画像は、視差を有するＡ画像とＢ画像からなる一組の視差画像である。 The distance measurement calculation process in this embodiment will be described with reference to the flowchart of FIG. 3 (A). In S301, an image is acquired by shooting. Specifically, the control unit 104 stores the image of the subject captured by the imaging unit 102 in the storage unit 106. Here, the image is a set of parallax images including an A image and a B image having parallax.

Ｓ３０２〜Ｓ３０６は、画像処理部１０５によって実行される。Ｓ３０２〜Ｓ３０５は、第１相関演算方式と第１相関演算方式とは異なる第２相関演算方式とを併用するハイブリッド方式による視差演算処理である。以下では、低精度ではあるが演算量の小さい第１相関演算方式により算出された相関値を第１相関値と呼び、演算量が大きく処理速度は遅くなるが高精度な第２相関演算方式により算出された相関値を第２相関値と呼ぶ。 S302 to S306 are executed by the image processing unit 105. S302 to S305 are parallax calculation processes by a hybrid method in which the first correlation calculation method and the second correlation calculation method different from the first correlation calculation method are used in combination. In the following, the correlation value calculated by the first correlation calculation method having a low accuracy but a small amount of calculation is referred to as the first correlation value, and the second correlation calculation method having a large amount of calculation and a slow processing speed is used. The calculated correlation value is called a second correlation value.

Ｓ３０２で、画像処理部１０５は、第１相関値列を算出する。Ａ画像上の注目画素が含まれる部分領域を基準画像とし、Ｂ画像から基準画像と同形状の領域を抜き出してそれを参照画像とする。画像処理部１０５は、参照画像の抜き出し位置を瞳分割方向（ｘ軸方向）に画素単位で移動させ、それぞれの移動量において基準画像と参照画像との間の相関値を求めることで、移動量ごとの第１相関値のデータ列である第１相関値列を算出する。この処理は、基準画像をＢ画像上で画素単位で相対的に移動させながら相関演算を行うことに相当する。ここで移動量とは、Ａ画像上の注目画素の位置に対応するＢ画像上の画素の位置からのｘ軸方向の位置ずれ量をいう。上記したように、第１相関値は、低精度ではあるが演算量が小さく高速な相関演算方式により算出される。そのような相関演算方式として、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｒｅｎｃｅ）等が使用されうる。 In S302, the image processing unit 105 calculates the first correlation value sequence. A partial region including a pixel of interest on the A image is used as a reference image, and a region having the same shape as the reference image is extracted from the B image and used as a reference image. The image processing unit 105 moves the extraction position of the reference image in the pupil division direction (x-axis direction) in pixel units, and obtains the correlation value between the reference image and the reference image in each movement amount, thereby moving the amount of movement. The first correlation value string, which is the data string of the first correlation value for each, is calculated. This process corresponds to performing a correlation calculation while relatively moving the reference image on the B image in pixel units. Here, the movement amount means the amount of displacement in the x-axis direction from the position of the pixel on the B image corresponding to the position of the pixel of interest on the A image. As described above, the first correlation value is calculated by a high-speed correlation calculation method with a small amount of calculation although the accuracy is low. As such a correlation calculation method, for example, SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), or the like can be used.

以下では、第２相関値を算出する移動量の範囲（第２相関演算方式における相関演算範囲）を「視差演算範囲」と呼び、視差演算範囲においてそれぞれで第２相関値を算出するときの参照画像の移動方向を「視差算出方向」と呼ぶ。視差算出方向を瞳分割方向と同じ方向にすることで、Ａ画像とＢ画像の被写体距離に応じて生じる視差を正しく算出することができる。 In the following, the range of the amount of movement for calculating the second correlation value (correlation calculation range in the second correlation calculation method) is referred to as a "parallax calculation range", and is referred to when the second correlation value is calculated for each in the parallax calculation range. The moving direction of the image is called the "parallax calculation direction". By setting the parallax calculation direction to the same direction as the pupil division direction, the parallax generated according to the subject distance between the A image and the B image can be correctly calculated.

Ｓ３０３で、画像処理部１０５は、第１相関演算方式による相関演算の結果であるＳ３０２で求められた第１相関値列に基づいて、視差演算範囲を決定する。図３（Ｂ）は、第１相関値列のうち相関が最も高くなる移動量ｄの前後の移動量の範囲における第１相関値をプロットしたグラフである。なお、ＳＡＤやＳＳＤは、各画素値の違いの量の累積値を表しているので、値が小さいほど相関が高い（類似度が高い）。 In S303, the image processing unit 105 determines the parallax calculation range based on the first correlation value sequence obtained in S302, which is the result of the correlation calculation by the first correlation calculation method. FIG. 3B is a graph in which the first correlation value in the range of the movement amount before and after the movement amount d having the highest correlation in the first correlation value sequence is plotted. Since SAD and SSD represent cumulative values of the amount of difference in each pixel value, the smaller the value, the higher the correlation (higher similarity).

視差演算範囲は通常、第１相関値列のうち最も相関の高くなる移動量ｄと、その前後の移動量ｄ−１およびｄ＋１の３点である。しかし実際には、ノイズの影響等により、第１相関演算方式により得られる相関が最も高くなる移動量ｄの誤差が大きくなり、この３点の中心が第２相関演算方式により得られる相関が最も高くなる移動量とならない場合もありうる。そこで本実施形態では、第１相関演算方式により得られる相関が最も高い移動量である第１移動量と、該第１移動量の前後の移動量のうち相関が高い方の移動量である第２移動量とにおける第１相関値に基づいて、視差演算範囲が決定される。 The parallax calculation range is usually three points of the movement amount d having the highest correlation in the first correlation value sequence and the movement amounts d-1 and d + 1 before and after the movement amount d. However, in reality, due to the influence of noise and the like, the error of the movement amount d at which the correlation obtained by the first correlation calculation method is the highest becomes large, and the correlation obtained by the second correlation calculation method at the center of these three points is the largest. It may not be a high movement amount. Therefore, in the present embodiment, the first movement amount, which is the movement amount having the highest correlation obtained by the first correlation calculation method, and the movement amount having the higher correlation among the movement amounts before and after the first movement amount, are the first. The parallax calculation range is determined based on the first correlation value with respect to the two movement amounts.

本実施形態において、画像処理部１０５は、第１移動量ｄにおける第１相関値と第２移動量における第１相関値との絶対差ｔを求め、絶対差ｔが閾値以上であるか否かを判定する。ここで、閾値をＴ１とする。ｔ≧Ｔ１である場合は、移動量ｄ−１，ｄ，ｄ＋１の３点の範囲内に第２相関演算方式により得られる相関が最も高くなる移動量が含まれると判断され、画像処理部１０５は通常どおり、視差演算範囲をｄ−１，ｄ，ｄ＋１の３点の範囲に決定する。 In the present embodiment, the image processing unit 105 obtains the absolute difference t between the first correlation value in the first movement amount d and the first correlation value in the second movement amount, and whether or not the absolute difference t is equal to or greater than the threshold value. To judge. Here, the threshold value is T1. When t ≧ T1, it is determined that the movement amount having the highest correlation obtained by the second correlation calculation method is included in the range of the three points of the movement amounts d-1, d, and d + 1, and the image processing unit 105 Determines the parallax calculation range to the range of three points d-1, d, and d + 1 as usual.

これに対し、図３（Ｂ）に示されるように、第１移動量がｄ、第２移動量がｄ−１であり、ｔ＜Ｔ１である場合を考える。この場合は、第２相関演算方式により得られる相関が最も高くなる移動量は、第２移動量ｄ−１以下の移動量となる可能性があると判断される。よってこの場合、画像処理部１０５は、ｄ−１，ｄ，ｄ＋１の３点にｄ−２を加えた４点の範囲を、視差演算範囲として決定する。 On the other hand, as shown in FIG. 3B, consider the case where the first movement amount is d, the second movement amount is d-1, and t <T1. In this case, it is determined that the movement amount having the highest correlation obtained by the second correlation calculation method may be a movement amount equal to or less than the second movement amount d-1. Therefore, in this case, the image processing unit 105 determines the range of four points obtained by adding d-2 to the three points d-1, d, and d + 1 as the parallax calculation range.

次に、これとは逆に、第１移動量ｄ、第２移動量がｄ＋１であり、ｔ＜Ｔ１である場合を考える。この場合は、第２相関演算方式により得られる相関が最も高くなる移動量は、第２移動量ｄ＋１以上の大きい移動量となる可能性があると判断される。よってこの場合、画像処理部１０５は、ｄ−１，ｄ，ｄ＋１の３点にｄ＋２を加えた４点の範囲を、視差演算範囲として決定する。 Next, conversely, consider the case where the first movement amount d and the second movement amount are d + 1 and t <T1. In this case, it is determined that the movement amount having the highest correlation obtained by the second correlation calculation method may be a large movement amount of the second movement amount d + 1 or more. Therefore, in this case, the image processing unit 105 determines the range of four points obtained by adding d + 2 to the three points d-1, d, and d + 1 as the parallax calculation range.

このように、絶対差ｔが閾値以上である場合、画像処理部１０５は、第１移動量と該第１移動量の前後の移動量の３点の範囲を、視差演算範囲として決定する。一方、絶対差ｔが閾値より小さい場合、画像処理部１０５は、上記３点の範囲に、第１移動量ｄからみて第２移動量の次の移動量を加えた４点の範囲を、視差演算範囲として決定する。 As described above, when the absolute difference t is equal to or larger than the threshold value, the image processing unit 105 determines the range of three points, the first movement amount and the movement amount before and after the first movement amount, as the parallax calculation range. On the other hand, when the absolute difference t is smaller than the threshold value, the image processing unit 105 parallaxes the range of four points obtained by adding the movement amount next to the second movement amount with respect to the first movement amount d to the range of the above three points. Determined as the calculation range.

Ｓ３０４で、画像処理部１０５は、Ｓ３０３で求められた視差演算範囲において第２相関値列を算出する。上記したように、第２相関値は、演算量が大きく処理速度は遅くなるが高精度な相関演算方式により算出される。そのような相関演算方式として、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）や、ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）等が使用されうる。 In S304, the image processing unit 105 calculates the second correlation value sequence in the parallax calculation range obtained in S303. As described above, the second correlation value is calculated by a highly accurate correlation calculation method, although the amount of calculation is large and the processing speed is slow. As such a correlation calculation method, NCC (Normalized Cross-Correlation), ZNCC (Zero-means Normalized Cross-Correlation), or the like can be used.

Ｓ３０５で、画像処理部１０５は、公知の方法により、Ｓ３０４で算出された第２相関値列に基づいてサブピクセル単位の視差算出を行う（サブピクセル推定）。第２相関値列のうち相関の最も高い点に対応する相関値を相関値の極値と呼ぶ。第２相関値列に極値が存在する場合は、極値とその両隣の相関値を抽出し、パラボラフィッティングで各相関値の間を内挿することで、サブピクセル単位の視差を求めることができる。 In S305, the image processing unit 105 calculates the parallax in subpixel units based on the second correlation value sequence calculated in S304 by a known method (subpixel estimation). The correlation value corresponding to the highest point of correlation in the second correlation value sequence is called the extremum of the correlation value. If there is an extreme value in the second correlation value column, the parallax in subpixel units can be obtained by extracting the extreme value and the correlation values on both sides of it and interpolating between each correlation value by parabolic fitting. it can.

Ｓ３０６で、画像処理部１０５は、公知の手法により、Ｓ３０５で求められた視差を、デフォーカス量または被写体距離に変換する距離算出を行う。視差からデフォーカス量への変換は、基線長を用いた幾何学的関係から行うことができる。デフォーカス量から距離値への変換は、光学系１０１の結像関係に基づいて行うことができる。 In S306, the image processing unit 105 calculates the distance by converting the parallax obtained in S305 into the defocus amount or the subject distance by a known method. The conversion from parallax to defocus amount can be performed from the geometric relationship using the baseline length. The conversion from the defocus amount to the distance value can be performed based on the imaging relationship of the optical system 101.

以上の処理によれば、第１相関値列に基づいて視差演算範囲が決定される。画像のコントラストが小さい領域や、正解の視差が略Ｚ±０．５画素に近い領域ほど、サブピクセル単位の視差を算出できない領域が増加する。これは、第１相関値の極値とその前後の相関値との絶対差ｔが小さくなり、ノイズの影響によって、第２相関値の極値をとる移動量と、第１相関値の極値をとる移動量とがずれる可能性が高くなるためである。そこで、Ｓ３０３において、上記のように第１相関値に基づいて視差演算範囲を所定の方向に拡大することにより、サブピクセル単位の視差の算出に必要な相関値を算出することが可能となる。 According to the above processing, the parallax calculation range is determined based on the first correlation value sequence. The area where the contrast of the image is small and the area where the parallax of the correct answer is close to about Z ± 0.5 pixels increases the area where the parallax cannot be calculated in subpixel units. This is because the absolute difference t between the extreme value of the first correlation value and the correlation values before and after it becomes small, and the amount of movement that takes the extreme value of the second correlation value due to the influence of noise and the extreme value of the first correlation value. This is because there is a high possibility that the amount of movement will deviate from the amount of movement. Therefore, in S303, by expanding the parallax calculation range in a predetermined direction based on the first correlation value as described above, it is possible to calculate the correlation value required for calculating the parallax in subpixel units.

また、絶対差ｔが閾値Ｔ１より小さいときのみ視差演算範囲を広げることによって、第２相関値の演算量が抑えられている。閾値Ｔ１は、画像信号の大きさや相関演算方式に応じてユーザが設定してもよいし、自動で設定してもよい。閾値Ｔ１が０に近いほど視差演算範囲は広がりにくくなり、閾値Ｔ１が大きくなるほど視差演算範囲は広がりやすくなる。閾値Ｔ１は、例えば、基準画像のコントラストが小さいときは小さく、基準画像のコントラストが大きいときは大きくしてもよい。 Further, the amount of calculation of the second correlation value is suppressed by expanding the parallax calculation range only when the absolute difference t is smaller than the threshold value T1. The threshold value T1 may be set by the user according to the magnitude of the image signal and the correlation calculation method, or may be set automatically. The closer the threshold value T1 is to 0, the more difficult it is for the parallax calculation range to expand, and the larger the threshold value T1, the easier it is for the parallax calculation range to expand. The threshold value T1 may be small, for example, when the contrast of the reference image is small, and may be large when the contrast of the reference image is large.

閾値Ｔ１が適切に設定されている場合、第１相関値に基づくサブピクセル単位の視差と第２相関値に基づくサブピクセル単位の視差との差ｄｄが、−０．５＜ｄｄ＜＋０．５であるならば、第２相関値列には極値を中心とする３点の相関値が含まれている。この場合には、サブピクセル単位の視差を求めることができる。よって、第１相関値列に基づいて視差演算範囲を決定することで、演算量の増加（処理速度の低下）を抑えつつ、高精度に視差を求めることができる。 When the threshold value T1 is set appropriately, the difference dd between the parallax in subpixel units based on the first correlation value and the parallax in subpixel units based on the second correlation value is -0.5 <dd <+0.5. If, the second correlation value sequence contains three correlation values centered on the extremum. In this case, the parallax in subpixel units can be obtained. Therefore, by determining the parallax calculation range based on the first correlation value sequence, it is possible to obtain the parallax with high accuracy while suppressing an increase in the amount of calculation (decrease in processing speed).

本実施形態では、低精度ではあるが演算量の小さい相関演算方式により第１相関値列を算出し、演算量は大きいが高精度な相関演算方式により第２相関値列を算出するが、第１相関値の相関演算方式と第２相関値の相関演算方式を逆にしてもよい。例えば、第１相関値列をＮＣＣで算出し、第２相関値列をＳＳＤで算出してもよい。ＮＣＣでは、基準画像及び平均画像のそれぞれの平均値をそれぞれの画像の画素値から引く正規化操作を行った後、基準画像と参照画像の内積を計算することで相関値が求められる。このとき、キズ画素等の影響で一方の平均値に誤差が含まれていたり、視差に起因する信号の変化が正規化操作により失われたりすると、結果として第１相関値列の極値に対応する移動量の誤差が大きくなってしまう。例えば、参照画像の信号が傾きのある略平面の場合、正規化操作によってオフセット成分が除去されてしまい、視差に起因する信号の多寡が失われるので、移動量の誤差が大きくなる。そこで、前段ではＮＣＣで相関値を算出して移動量を求め、その移動量を基準として後段でＳＳＤで相関値を算出し、視差を計算する。以上、基本は高精度の相関演算方式を使用するが、特定の領域や被写体のみ別の相関演算方式を使用することで、計算時間の増加を抑えつつ高精度に視差を算出することができる。 In the present embodiment, the first correlation value sequence is calculated by the correlation calculation method having a low accuracy but a small amount of calculation, and the second correlation value sequence is calculated by the correlation calculation method having a large calculation amount but a high accuracy. The correlation calculation method of the first correlation value and the correlation calculation method of the second correlation value may be reversed. For example, the first correlation value sequence may be calculated by NCC, and the second correlation value sequence may be calculated by SSD. In NCC, the correlation value is obtained by calculating the inner product of the reference image and the reference image after performing the normalization operation of subtracting the average value of each of the reference image and the average image from the pixel value of each image. At this time, if an error is included in one of the average values due to the influence of scratched pixels or the like, or if the change in the signal due to parallax is lost by the normalization operation, as a result, it corresponds to the extreme value of the first correlation value sequence. The error of the amount of movement to be performed becomes large. For example, when the signal of the reference image is a substantially flat surface with an inclination, the offset component is removed by the normalization operation, and the amount of the signal due to the parallax is lost, so that the error of the movement amount becomes large. Therefore, in the first stage, the correlation value is calculated by NCC to obtain the movement amount, and the correlation value is calculated by SSD in the second stage based on the movement amount, and the parallax is calculated. As described above, the high-precision correlation calculation method is basically used, but by using another correlation calculation method only for a specific area or subject, it is possible to calculate the parallax with high accuracy while suppressing an increase in calculation time.

（変形例）
視差演算範囲の決定方法の変形例を説明する。以下では、図４（Ａ）のフローのように視差演算範囲を段階的に決定する方法を説明する。図４（Ａ）において、図３と同じ処理ブロックには同じ参照符号を付し、それらの説明は省略する。 (Modification example)
A modified example of the method for determining the parallax calculation range will be described. Hereinafter, a method of stepwisely determining the parallax calculation range as in the flow of FIG. 4A will be described. In FIG. 4A, the same processing blocks as those in FIG. 3 are designated by the same reference numerals, and their description will be omitted.

Ｓ４０３で、画像処理部１０５は、Ｓ３０２で算出された第１相関値列に基づいて、視差演算範囲の一部を決定する。例えば、第１相関値列のうち相関の最も高くなる第１移動量ｄ１とその前後の移動量のうち相関が高い方の第２移動量ｄ２が、視差演算範囲の一部として決定される。 In S403, the image processing unit 105 determines a part of the parallax calculation range based on the first correlation value sequence calculated in S302. For example, the first movement amount d1 having the highest correlation in the first correlation value sequence and the second movement amount d2 having the higher correlation among the movement amounts before and after the first movement amount d1 are determined as a part of the parallax calculation range.

Ｓ４０４で、画像処理部１０５は、Ｓ４０３で視差演算範囲の一部として決定された第１移動量ｄ１と第２移動量ｄ２とにおける第２相関値列を算出する。 In S404, the image processing unit 105 calculates a second correlation value sequence for the first movement amount d1 and the second movement amount d2 determined as part of the parallax calculation range in S403.

Ｓ４０５で、画像処理部１０５は、Ｓ４０４で算出された第１移動量ｄ１と第２移動量ｄ２における第２相関値列の大小関係に応じて、Ｓ４０３で決定された視差演算範囲の一部と隣り合う第３移動量を、視差演算範囲の残りの部分として決定する。例えば、第１移動量ｄ１及び第２移動量ｄ２のうち第２相関値が高い方の移動量をｄ’とすると、移動量ｄ’と隣り合う前後の移動量のうち第２相関値が求められていない方の移動量が、視差演算範囲の残りの部分である第３移動量として決定される。例えば、ｄ２＝ｄ１＋１であり、ｄ’＝ｄ１のとき、図４（Ｂ）のように、移動量ｄ−１が残りの視差演算範囲となる。一方、ｄ２＝ｄ１＋１であり、ｄ’＝ｄ２のときは、図４（Ｃ）のように、移動量ｄ＋２が残りの視差演算範囲となる。 In S405, the image processing unit 105 and a part of the parallax calculation range determined in S403 according to the magnitude relationship of the second correlation value sequence in the first movement amount d1 and the second movement amount d2 calculated in S404. The adjacent third movement amount is determined as the remaining portion of the parallax calculation range. For example, assuming that the movement amount having the higher second correlation value among the first movement amount d1 and the second movement amount d2 is d', the second correlation value is obtained from the movement amounts before and after the movement amount d'adjacent to each other. The amount of movement that is not performed is determined as the third amount of movement that is the remaining portion of the parallax calculation range. For example, when d2 = d1 + 1 and d'= d1, the movement amount d-1 is the remaining parallax calculation range as shown in FIG. 4 (B). On the other hand, when d2 = d1 + 1 and d'= d2, the movement amount d + 2 is the remaining parallax calculation range as shown in FIG. 4C.

Ｓ４０６で、画像処理部１０５は、Ｓ４０５で決定された視差演算範囲の残りの部分として決定された第３移動量における第２相関値を算出する。その後、Ｓ３０５のサブピクセル推定およびＳ３０６の距離値の算出が実行される。 In S406, the image processing unit 105 calculates the second correlation value in the third movement amount determined as the remaining portion of the parallax calculation range determined in S405. After that, the subpixel estimation of S305 and the calculation of the distance value of S306 are executed.

この変形例においては、視差演算範囲が段階的に決定される。この場合、視差演算範囲は常に３点であるため、前述の方法より計算時間の増加を抑えることができる。 In this modification, the parallax calculation range is determined step by step. In this case, since the parallax calculation range is always three points, the increase in calculation time can be suppressed as compared with the above method.

＜第２実施形態＞
第１相関値列の極値に対応する移動量の誤差が大きい場合がありうる。第２実施形態では、そのような誤差の大きさに応じて視差演算範囲の決定方法を変える。以下、図５のフローチャートを参照して測距演算処理の例を説明する。 <Second Embodiment>
There may be a large error in the amount of movement corresponding to the extreme value of the first correlation value sequence. In the second embodiment, the method of determining the parallax calculation range is changed according to the magnitude of such an error. Hereinafter, an example of distance measurement calculation processing will be described with reference to the flowchart of FIG.

Ｓ５０１で、撮影により画像が取得され、取得された画像は記憶部１０６に格納される。ここで、画像は、視差を有するＡ画像とＢ画像からなる一組の視差画像である。 In S501, an image is acquired by shooting, and the acquired image is stored in the storage unit 106. Here, the image is a set of parallax images including an A image and a B image having parallax.

Ｓ５０２で、画像処理部１０５は、Ａ画像とＢ画像それぞれからブロックマッチング用のサイズの画像を局所領域として抜き出す。したがって、Ａ画像の基準画像と、相関演算の対象となる部分画像である参照画像とが、局所領域となる。そして、画像処理部１０５は、局所領域の画像特性である局所領域情報を取得する。局所領域情報には、信号がｘ軸方向に単調増加または単調減少する単調エッジを基準画像が含むか否かの判定結果、Ａ画像（基準画像）に対するＢ画像（参照画像）の強度差、エッジの傾き方向（ｘ軸方向に対し正か負か）、エッジのボケ量の情報が含まれうる。例えば、局所領域をｙ軸方向に平均して得られる平均信号が図６のグラフのように表される場合、平均信号は、ｘ軸方向に単調増加しているため単調エッジと判定される。ここで、Ａ画像の局所領域における平均信号列をＡとし、Ｂ画像の局所領域における平均信号列をＢとする。また、平均信号列Ａの最大値をｍａｘ（Ａ）、平均信号列Ｂの最大値をｍａｘ（Ｂ）とする。そうすると、単調エッジと判定された場合、強度差Ｉは、次式で表される。 In S502, the image processing unit 105 extracts an image of a size for block matching as a local region from each of the A image and the B image. Therefore, the reference image of the A image and the reference image which is the partial image to be the target of the correlation calculation become the local region. Then, the image processing unit 105 acquires the local area information which is the image characteristic of the local area. The local area information includes a determination result of whether or not the reference image includes a monotonous edge in which the signal monotonically increases or decreases in the x-axis direction, a difference in intensity of the B image (reference image) with respect to the A image (reference image), and an edge. Information on the tilt direction (positive or negative with respect to the x-axis direction) and the amount of edge blurring can be included. For example, when the average signal obtained by averaging the local region in the y-axis direction is represented as shown in the graph of FIG. 6, the average signal is determined to be a monotonous edge because it increases monotonically in the x-axis direction. Here, let A be the average signal sequence in the local region of the A image, and let B be the average signal sequence in the local region of the B image. Further, the maximum value of the average signal sequence A is max (A), and the maximum value of the average signal sequence B is max (B). Then, when it is determined that the edge is monotonous, the intensity difference I is expressed by the following equation.

Ｉ＝ｍａｘ（Ａ）−ｍａｘ（Ｂ） …（１）
この強度差Ｉに基づいて、図６に示されるようなエッジのＰＶ（Ｐｅａｋ ｔｏ Ｖａｌｕｅ）８割の画素幅がエッジボケ量として取得される。なお、強度差Ｉは、局所領域の平均値の差やコントラスト差から求めてもよい。 I = max (A) -max (B) ... (1)
Based on this intensity difference I, a pixel width of 80% of the PV (Peek to Value) of the edge as shown in FIG. 6 is acquired as the edge blur amount. The intensity difference I may be obtained from the difference in the average value of the local region and the difference in contrast.

Ｓ５０３で、画像処理部１０５は、第１相関値列を算出する。この処理は、図１のＳ３０２と同様である。 In S503, the image processing unit 105 calculates the first correlation value sequence. This process is the same as S302 in FIG.

第１相関値の算出方式にＳＡＤまたはＳＳＤを用いた場合、これらの算出方式は強度差Ｉの影響を受けやすいため、第１相関値列の極値に対応する移動量には誤差が含まれやすい。特に、基準画像及び参照画像が視差算出方向に単調増加または単調減少である場合、第１相関値列の極値に対応する移動量と第２相関値列の極値に対応する移動量の絶対差分は、０．５より大きくなるケースがある。このようなケースでは、第１実施形態と同様のハイブリッド方式で視差を算出しようとしても、第２相関値列に極値が含まれないため、サブピクセル単位の視差を求めることができない。 When SAD or SSD is used as the calculation method of the first correlation value, these calculation methods are easily affected by the intensity difference I, so that the amount of movement corresponding to the extreme value of the first correlation value sequence includes an error. Cheap. In particular, when the reference image and the reference image are monotonically increasing or decreasing in the dilatation calculation direction, the absolute amount of movement corresponding to the extremum of the first correlation value sequence and the amount of movement corresponding to the extremum of the second correlation value sequence are absolute. The difference may be greater than 0.5. In such a case, even if the parallax is calculated by the same hybrid method as in the first embodiment, the parallax in sub-pixel units cannot be obtained because the second correlation value sequence does not include the extreme value.

図７は、視差がゼロの単調増加するエッジの画像を基準画像及び参照画像として、強度差を変えてＳＡＤ及びＺＮＣＣで算出した整数単位の視差の誤差をプロットしたグラフである。図７（Ａ）はエッジボケ量が小さい場合のグラフ、図７（Ｂ）はエッジボケ量が大きい場合のグラフである。基準画像と参照画像の絶対強度差が大きくなるにつれ、ＳＡＤの視差の誤差が大きくなる。また、図７（Ａ）と図７（Ｂ）を比較すればわかるように、ボケ量が大きくなると、強度差が視差の誤差に与える影響は大きくなる。ＳＡＤの視差の誤差の絶対値は常に１より大きくなるわけではなく、強度差やエッジボケ量の大きさに依存する。この整数単位の視差の誤差は、各相関演算方式の極値に対する移動量の誤差に相当する。そこで本実施形態では、移動量の誤差が大きいと判定された場合、視差演算範囲を視差算出方向の片側のみに限定する（後述のＳ５０６）。 FIG. 7 is a graph plotting the parallax error in integer units calculated by SAD and ZNCC by changing the intensity difference, using the image of the monotonically increasing edge with zero parallax as the reference image and the reference image. FIG. 7A is a graph when the amount of edge blur is small, and FIG. 7B is a graph when the amount of edge blur is large. As the absolute intensity difference between the reference image and the reference image increases, the parallax error of SAD increases. Further, as can be seen by comparing FIG. 7A and FIG. 7B, as the amount of blur increases, the influence of the intensity difference on the parallax error increases. The absolute value of the parallax error of SAD is not always larger than 1, and depends on the magnitude of the intensity difference and the amount of edge blur. This error in parallax in integer units corresponds to the error in the amount of movement with respect to the extremum of each correlation calculation method. Therefore, in the present embodiment, when it is determined that the error of the movement amount is large, the parallax calculation range is limited to only one side in the parallax calculation direction (S506 described later).

Ｓ５０４で、画像処理部１０５は、局所領域情報に基づいて、第１相関値列の極値に対応する移動量の誤差が小さいかどうかを判定する。例えば、局所領域情報が以下の（ａ）、（ｂ）、（ｃ）のうちの少なくともいずれか１つを示す場合、第１相関値列の極値に対応する移動量の誤差は許容値内であると判定され、処理はＳ５０５に進む。
（ａ）基準画像と参照画像が単調エッジでないこと。
（ｂ）エッジボケ量が第２閾値Ｔ２より小さいこと。
（ｃ）局所強度差の絶対値が第３閾値Ｔ３より小さいこと。 In S504, the image processing unit 105 determines whether or not the error of the movement amount corresponding to the extreme value of the first correlation value sequence is small based on the local area information. For example, when the local area information indicates at least one of the following (a), (b), and (c), the error of the movement amount corresponding to the extreme value of the first correlation value sequence is within the allowable value. Is determined, and the process proceeds to S505.
(A) The reference image and the reference image are not monotonous edges.
(B) The amount of edge blur is smaller than the second threshold value T2.
(C) The absolute value of the local intensity difference is smaller than the third threshold value T3.

エッジボケ量は基準画像のｘ軸方向のサイズの影響を受け、強度差はエッジボケ量の影響を受けるため、閾値Ｔ２とＴ３は基準画像のサイズに応じて決定されてもよい。局所領域情報が上記（ａ）、（ｂ）、（ｃ）のうちのいずれをも示さない場合は、第１相関値列の極値に対応する移動量の誤差が許容値より大きいと判定され、処理はＳ５０６に進む。 Since the amount of edge blur is affected by the size of the reference image in the x-axis direction and the intensity difference is affected by the amount of edge blur, the threshold values T2 and T3 may be determined according to the size of the reference image. When the local area information does not show any of the above (a), (b), and (c), it is determined that the error of the movement amount corresponding to the extreme value of the first correlation value sequence is larger than the allowable value. , Processing proceeds to S506.

Ｓ５０５では、画像処理部１０５は、Ｓ５０３で求められた第１相関値列に基づいて視差演算範囲を決定する。これは、第１実施形態（図３のＳ３０３）と同様の方法である。 In S505, the image processing unit 105 determines the parallax calculation range based on the first correlation value sequence obtained in S503. This is the same method as in the first embodiment (S303 in FIG. 3).

Ｓ５０６では、画像処理部１０５は、Ｓ５０２で取得された局所領域情報およびＳ５０３で求められた第１相関値列に基づいて、視差演算範囲を決定する。視差演算範囲は、第１相関値列の極値に対応する移動量から、視差算出方向に所定画素移動した範囲までとする。ここで、所定画素の最小は３画素とする。本実施形態において、視差算出方向はｘ軸方向であり、局所領域情報に基づいてｘ軸の正方向と負方向のどちらを視差演算範囲とするかが決定される。
エッジがｘ軸の正方向に単調増加で、かつ強度差Ｉが正の場合は、ｘ軸の正方向に視差演算範囲が決定される。
エッジがｘ軸の正方向に単調増加で、かつ強度差Ｉが負の場合は、ｘ軸の負方向に視差演算範囲が設定される。
エッジがｘ軸の正方向に単調減少で、かつ強度差Ｉが正の場合は、ｘ軸の負方向に視差演算範囲が設定される。
エッジがｘ軸の正方向に単調減少で、かつ強度差Ｉが負の場合は、ｘ軸の正方向に視差演算範囲が設定される。 In S506, the image processing unit 105 determines the parallax calculation range based on the local region information acquired in S502 and the first correlation value sequence obtained in S503. The parallax calculation range is from the amount of movement corresponding to the extreme value of the first correlation value sequence to the range in which a predetermined pixel is moved in the parallax calculation direction. Here, the minimum of the predetermined pixels is 3 pixels. In the present embodiment, the parallax calculation direction is the x-axis direction, and it is determined whether the parallax calculation range is the positive direction or the negative direction of the x-axis based on the local region information.
When the edge monotonically increases in the positive direction of the x-axis and the intensity difference I is positive, the parallax calculation range is determined in the positive direction of the x-axis.
When the edge monotonically increases in the positive direction of the x-axis and the intensity difference I is negative, the parallax calculation range is set in the negative direction of the x-axis.
When the edge is monotonically decreasing in the positive direction of the x-axis and the intensity difference I is positive, the parallax calculation range is set in the negative direction of the x-axis.
When the edge is monotonically decreasing in the positive direction of the x-axis and the intensity difference I is negative, the parallax calculation range is set in the positive direction of the x-axis.

Ｓ５０７で、画像処理部１０５は、Ｓ５０５またはＳ５０６で求められた視差演算範囲において第２相関値列を算出する。この処理は第１実施形態におけるＳ３０４と同様であり、相関値の算出方法には、例えばＺＮＣＣが用いられる。 In S507, the image processing unit 105 calculates the second correlation value sequence in the parallax calculation range obtained in S505 or S506. This process is the same as S304 in the first embodiment, and for example, ZNCC is used as a method for calculating the correlation value.

Ｓ５０８で、画像処理部１０５は、Ｓ５０７で算出された第２相関値列に基づいてサブピクセル単位の視差算出を行う（サブピクセル推定）。この処理は第１実施形態におけるＳ３０５と同様である。 In S508, the image processing unit 105 calculates the parallax in subpixel units based on the second correlation value sequence calculated in S507 (subpixel estimation). This process is the same as S305 in the first embodiment.

Ｓ５０９で、画像処理部１０５は、Ｓ５０８で求められた視差を、デフォーカス量または被写体距離に変換する距離算出を行う。この処理は第１実施形態におけるＳ３０６と同様である。 In S509, the image processing unit 105 calculates the distance by converting the parallax obtained in S508 into the defocus amount or the subject distance. This process is the same as S306 in the first embodiment.

以上の処理によれば、局所領域情報に基づいて、第１相関値列の極値に対応する移動量の絶対誤差の大小が判定される（Ｓ５０４）。移動量の絶対誤差が小さい場合、第１実施形態で説明した方法で視差演算範囲が決定されるため、計算時間の増加を抑えつつ高精度に視差を求めることができる。 According to the above processing, the magnitude of the absolute error of the movement amount corresponding to the extreme value of the first correlation value sequence is determined based on the local region information (S504). When the absolute error of the movement amount is small, the parallax calculation range is determined by the method described in the first embodiment, so that the parallax can be obtained with high accuracy while suppressing the increase in the calculation time.

また、移動量の絶対誤差が大きい場合（すなわち、視差の絶対差が大きい場合）は、Ｓ５０６で視差演算範囲が決定される。移動量の絶対誤差が大きい場合にサブピクセル単位の視差を求めるには、通常であれば視差演算範囲を広くする必要がある。しかし、局所画像情報より第１相関値列の極値に対応する移動量の誤差がｘ軸の正負どちらの方向に出やすいか推定できるため、視差演算範囲はｘ軸の片側のみ広くするだけでよい。以上より、計算時間の増加を抑えつつ高精度に視差を求めることができる。 Further, when the absolute error of the movement amount is large (that is, when the absolute difference of the parallax is large), the parallax calculation range is determined in S506. In order to obtain the parallax in sub-pixel units when the absolute error of the amount of movement is large, it is usually necessary to widen the parallax calculation range. However, since it is possible to estimate from the local image information which direction the error of the amount of movement corresponding to the extreme value of the first correlation value sequence is likely to appear in the positive or negative direction of the x-axis, the parallax calculation range can be widened only on one side of the x-axis. Good. From the above, it is possible to obtain the parallax with high accuracy while suppressing the increase in the calculation time.

＜第３実施形態＞
第３実施形態では、第１相関値列の極値に対応する移動量の誤差が大きい場合の視差演算フローについて、図８を用いて説明する。ただし、撮像装置の構成や視差から距離の変換方法など、第１および第２実施形態と共通する部分については説明を省略する。 <Third Embodiment>
In the third embodiment, the parallax calculation flow when the error of the movement amount corresponding to the extreme value of the first correlation value sequence is large will be described with reference to FIG. However, the description of the parts common to the first and second embodiments, such as the configuration of the image pickup apparatus and the method of converting the distance from the parallax, will be omitted.

Ｓ８０１では、撮影により画像が取得される。取得された画像は記憶部１０６に記憶される。ここで、画像は、視差を有するＡ画像とＢ画像からなる一組の視差画像である。 In S801, an image is acquired by shooting. The acquired image is stored in the storage unit 106. Here, the image is a set of parallax images including an A image and a B image having parallax.

Ｓ８０２で、画像処理部１０５は、Ａ画像とＢ画像それぞれからブロックマッチングとして抜き出すサイズの画像を局所領域として抜き出し、局所領域情報を取得する。局所領域情報には、Ａ画像とＢ画像の信号の強度差、ｘ軸方向に対する信号の傾き方向（ｘ軸方向に対し増加傾向にあるか減少傾向にあるか）等の情報が含まれうる。強度差の算出方法は第２実施形態と同様であるため、説明は省略する。信号の傾き方向は、例えば、局所信号をｙ軸方向に平均化し、ｘ軸方向に移動平均して得られた平均信号の両端の信号値を比較することで求めることができる。 In S802, the image processing unit 105 extracts an image of a size extracted as block matching from each of the A image and the B image as a local area, and acquires the local area information. The local region information may include information such as the signal intensity difference between the A image and the B image, the inclination direction of the signal with respect to the x-axis direction (whether the signal tends to increase or decrease with respect to the x-axis direction), and the like. Since the method of calculating the strength difference is the same as that of the second embodiment, the description thereof will be omitted. The inclination direction of the signal can be obtained, for example, by averaging the local signal in the y-axis direction and moving averaging in the x-axis direction to compare the signal values at both ends of the average signal.

Ｓ８０３で、画像処理部１０５は、第１相関値列を算出する。この処理は、図１のＳ３０２、図２のＳ５０３と同様である。 In S803, the image processing unit 105 calculates the first correlation value sequence. This process is the same as S302 in FIG. 1 and S503 in FIG.

Ｓ８０４で、画像処理部１０５は、Ｓ８０２で取得された局所領域情報およびＳ８０３で求められた第１相関値列に基づいて、視差演算範囲を決定する。視差範囲の決定方法は、第２実施形態のＳ５０６と同様である。すなわち、視差演算範囲は、第１相関値列の極値に対応する第１移動量から、視差算出方向に所定画素移動した範囲までとする。ここで、所定画素の最小は３画素とする。本実施形態において、視差算出方向（相関演算の移動方向）はｘ軸方向であり、局所領域情報に基づいてｘ軸の正方向と負方向のどちらを視差演算範囲とするかが決定される。
基準画像のエッジがｘ軸の正方向に単調増加で、かつ強度差Ｉが正の場合は、ｘ軸の正方向に視差演算範囲が決定される。
エッジがｘ軸の正方向に単調増加で、かつ強度差Ｉが負の場合は、ｘ軸の負方向に視差演算範囲が決定される。
エッジがｘ軸の正方向に単調減少で、かつ強度差Ｉが正の場合は、ｘ軸の負方向に視差演算範囲が決定される。
エッジがｘ軸の正方向に単調減少で、かつ強度差Ｉが負の場合は、ｘ軸の正方向に視差演算範囲が決定される。 In S804, the image processing unit 105 determines the parallax calculation range based on the local area information acquired in S802 and the first correlation value sequence obtained in S803. The method of determining the parallax range is the same as that of S506 of the second embodiment. That is, the parallax calculation range is from the first movement amount corresponding to the extreme value of the first correlation value sequence to the range in which a predetermined pixel is moved in the parallax calculation direction. Here, the minimum of the predetermined pixels is 3 pixels. In the present embodiment, the parallax calculation direction (moving direction of the correlation calculation) is the x-axis direction, and it is determined whether the positive direction or the negative direction of the x-axis is the parallax calculation range based on the local region information.
When the edge of the reference image monotonically increases in the positive direction of the x-axis and the intensity difference I is positive, the parallax calculation range is determined in the positive direction of the x-axis.
When the edge monotonically increases in the positive direction of the x-axis and the intensity difference I is negative, the parallax calculation range is determined in the negative direction of the x-axis.
When the edge is monotonically decreasing in the positive direction of the x-axis and the intensity difference I is positive, the parallax calculation range is determined in the negative direction of the x-axis.
When the edge is monotonically decreasing in the positive direction of the x-axis and the intensity difference I is negative, the parallax calculation range is determined in the positive direction of the x-axis.

Ｓ８０５で、画像処理部１０５は、Ｓ８０４で求められた視差演算範囲において第２相関値列を算出する。この処理は第１実施形態におけるＳ３０４と同様であり、相関値の算出方法には、例えばＺＮＣＣが用いられる。 In S805, the image processing unit 105 calculates the second correlation value sequence in the parallax calculation range obtained in S804. This process is the same as S304 in the first embodiment, and for example, ZNCC is used as a method for calculating the correlation value.

Ｓ８０６で、画像処理部１０５は、Ｓ８０５で算出された第２相関値列に基づいてサブピクセル単位の視差を算出する（サブピクセル推定）。この処理は第１実施形態におけるＳ３０５と同様である。 In S806, the image processing unit 105 calculates the parallax in subpixel units based on the second correlation value sequence calculated in S805 (subpixel estimation). This process is the same as S305 in the first embodiment.

Ｓ８０７で、画像処理部１０５は、Ｓ８０６で求められた視差を、デフォーカス量または被写体距離に変換する。この処理は第１実施形態におけるＳ３０６と同様である。 In S807, the image processing unit 105 converts the parallax obtained in S806 into a defocus amount or a subject distance. This process is the same as S306 in the first embodiment.

本実施形態は、第２実施形態における第１相関値列に基づく移動量の絶対誤差が大きい場合（Ｓ５０４でＮＯの場合）に行われるＳ５０６の処理を無条件に実行する場合に相当する。移動量の絶対誤差が大きいと事前に分かっているのであれば、以上のように視差演算範囲を決定することで、計算時間の増加を抑えつつ、高精度に視差を求めることができる。 This embodiment corresponds to the case where the processing of S506 performed when the absolute error of the movement amount based on the first correlation value sequence in the second embodiment is large (NO in S504) is unconditionally executed. If it is known in advance that the absolute error of the amount of movement is large, the parallax can be obtained with high accuracy while suppressing the increase in the calculation time by determining the parallax calculation range as described above.

以上説明した種々の実施形態によれば、処理の高速性と精度の両立を図る上で有利な技術が提供される。 According to the various embodiments described above, an advantageous technique is provided for achieving both high speed and accuracy of processing.

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiments, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to make the scope of the invention public.

１００：撮像装置、１０１：光学系、１０２：撮像部、１０３：Ａ／Ｄ変換部、１０４：制御部、１０５：画像処理部、１０６：記憶部、１０７：揮発性メモリ、１０８：不揮発性メモリ 100: Imaging device, 101: Optical system, 102: Imaging unit, 103: A / D conversion unit, 104: Control unit, 105: Image processing unit, 106: Storage unit, 107: Volatile memory, 108: Non-volatile memory

Claims (16)

視差画像を構成する第１画像および第２画像を処理する画像処理装置であって、
第１相関演算方式により、前記第１画像の注目画素を含む部分領域である基準画像を前記第２画像上で画素単位で相対的に移動させながら相関演算を行う第１相関演算手段と、
前記第１相関演算手段による相関演算の結果に基づいて前記第１相関演算方式とは異なる第２相関演算方式における相関演算範囲を決定する決定手段と、
前記第２相関演算方式により、前記決定手段により決定された前記相関演算範囲において前記基準画像を前記第２画像上で画素単位で相対的に移動させながら相関演算を行う第２相関演算手段と、
を有し、
前記決定手段は、前記第１相関演算手段により得られる相関値と、該相関値に対応する第１移動量の前後の移動量における相関値とに基づいて、前記相関演算範囲を決定する
ことを特徴とする画像処理装置。 An image processing device that processes a first image and a second image that constitute a parallax image.
A first correlation calculation means that performs a correlation calculation while relatively moving a reference image, which is a partial region including a pixel of interest of the first image, on the second image in pixel units by the first correlation calculation method.
A determination means for determining a correlation calculation range in a second correlation calculation method different from the first correlation calculation method based on the result of the correlation calculation by the first correlation calculation means.
A second correlation calculation means that performs a correlation calculation while relatively moving the reference image on the second image in pixel units within the correlation calculation range determined by the determination means by the second correlation calculation method.
Have,
The determination means determines the correlation calculation range based on the correlation value obtained by the first correlation calculation means and the correlation value in the movement amount before and after the first movement amount corresponding to the correlation value. An image processing device as a feature. 前記第１移動量は、前記第１相関演算手段により得られる相関が最も高い移動量であり、
前記決定手段は、前記第１移動量における相関値と、該第１移動量の前後の移動量のうち相関が高い方の移動量である第２移動量における相関値とに基づいて、前記相関演算範囲を決定する
ことを特徴とする請求項１に記載の画像処理装置。 The first movement amount is the movement amount having the highest correlation obtained by the first correlation calculation means.
The determining means correlates based on the correlation value in the first movement amount and the correlation value in the second movement amount, which is the movement amount having the higher correlation among the movement amounts before and after the first movement amount. The image processing apparatus according to claim 1, wherein the calculation range is determined. 前記決定手段は、
前記第１移動量における相関値と前記第２移動量における相関値との絶対差が閾値以上であるか否かを判定し、
前記絶対差が前記閾値以上である場合、前記第１移動量と該第１移動量の前後の移動量の３点の範囲を、前記相関演算範囲として決定し、
前記絶対差が前記閾値より小さい場合、前記３点の範囲に、前記第１移動量からみて前記第２移動量の次の移動量を加えた４点の範囲を、前記相関演算範囲として決定する
ことを特徴とする請求項２に記載の画像処理装置。 The determination means is
It is determined whether or not the absolute difference between the correlation value in the first movement amount and the correlation value in the second movement amount is equal to or greater than the threshold value.
When the absolute difference is equal to or greater than the threshold value, the range of three points of the first movement amount and the movement amount before and after the first movement amount is determined as the correlation calculation range.
When the absolute difference is smaller than the threshold value, the range of four points obtained by adding the movement amount next to the second movement amount in view of the first movement amount to the range of the three points is determined as the correlation calculation range. The image processing apparatus according to claim 2. 前記決定手段は、前記第１移動量と前記第２移動量とを前記相関演算範囲の一部として決定し、
前記第２相関演算手段は、前記第２相関演算方式により、前記相関演算範囲の一部として決定された前記第１移動量における相関値と前記第２移動量における相関値とを算出し、
前記決定手段は、更に、前記算出された前記第１移動量における相関値と前記第２移動量とにおける相関値との間の大小関係に応じて前記相関演算範囲の一部と隣り合う第３移動量を前記相関演算範囲の残りの部分として決定し、
前記第２相関演算手段は、前記第２相関演算方式により、前記相関演算範囲の残りの部分として決定された前記第３移動量における相関値を算出する
ことを特徴とする請求項２に記載の画像処理装置。 The determination means determines the first movement amount and the second movement amount as a part of the correlation calculation range.
The second correlation calculation means calculates the correlation value in the first movement amount and the correlation value in the second movement amount determined as a part of the correlation calculation range by the second correlation calculation method.
Further, the determination means is adjacent to a part of the correlation calculation range according to the magnitude relationship between the calculated correlation value in the first movement amount and the correlation value in the second movement amount. The amount of movement is determined as the remaining part of the correlation calculation range,
The second correlation calculation means according to claim 2, wherein the second correlation calculation means calculates a correlation value in the third movement amount determined as the remaining portion of the correlation calculation range by the second correlation calculation method. Image processing device. 前記基準画像と、相関演算の対象となる前記第２画像における部分画像である参照画像との画像特性である局所領域情報を取得する取得手段を更に有し、
前記取得された局所領域情報が、
（ａ）前記基準画像と前記参照画像とが前記相関演算の移動方向の正方向に単調増加または単調減少する単調エッジでないこと、
（ｂ）エッジボケ量が第２閾値より小さいこと、および、
（ｃ）局所強度差の絶対値が第３閾値より小さいこと、
のうちのいずれをも示さない場合、前記決定手段は、前記第１相関演算手段による相関演算の結果と前記局所領域情報とに基づいて前記相関演算範囲を決定する、
ことを特徴とする請求項１または２に記載の画像処理装置。 Further, it has an acquisition means for acquiring local region information which is an image characteristic of the reference image and a reference image which is a partial image in the second image to be a correlation calculation.
The acquired local area information is
(A) The reference image and the reference image are not monotonous edges that monotonically increase or decrease in the positive direction of the movement direction of the correlation calculation.
(B) The amount of edge blur is smaller than the second threshold value, and
(C) The absolute value of the local intensity difference is smaller than the third threshold value.
When none of the above is shown, the determining means determines the correlation calculation range based on the result of the correlation calculation by the first correlation calculation means and the local area information.
The image processing apparatus according to claim 1 or 2. 前記基準画像に含まれるエッジが相関演算の移動方向の正方向に単調増加で、かつ、前記基準画像に対する前記参照画像の強度差が正であることを、前記局所領域情報が示す場合、前記決定手段は、前記移動方向の正方向に前記相関演算範囲を決定することを特徴とする請求項５に記載の画像処理装置。 When the local region information indicates that the edge included in the reference image is monotonically increasing in the positive direction of the movement direction of the correlation calculation and the intensity difference of the reference image with respect to the reference image is positive, the determination is made. The image processing apparatus according to claim 5, wherein the means determines the correlation calculation range in the positive direction of the moving direction. 前記基準画像に含まれるエッジが相関演算の移動方向の正方向に単調増加で、かつ、前記基準画像に対する前記参照画像の強度差が負であることを、前記局所領域情報が示す場合、前記決定手段は、前記移動方向の負方向に前記相関演算範囲を決定することを特徴とする請求項５に記載の画像処理装置。 When the local region information indicates that the edges included in the reference image increase monotonically in the positive direction of the movement direction of the correlation calculation and the intensity difference of the reference image with respect to the reference image is negative, the determination is made. The image processing apparatus according to claim 5, wherein the means determines the correlation calculation range in the negative direction of the moving direction. 前記基準画像に含まれるエッジが相関演算の移動方向の正方向に単調減少で、かつ、前記基準画像に対する前記参照画像の強度差が正であることを、前記局所領域情報が示す場合、前記決定手段は、前記移動方向の負方向に前記相関演算範囲を決定することを特徴とする請求項５に記載の画像処理装置。 When the local region information indicates that the edge included in the reference image is monotonically decreasing in the positive direction of the movement direction of the correlation calculation and the intensity difference of the reference image with respect to the reference image is positive, the determination is made. The image processing apparatus according to claim 5, wherein the means determines the correlation calculation range in the negative direction of the moving direction. 前記基準画像に含まれるエッジが相関演算の移動方向の正方向に単調減少で、かつ、前記基準画像に対する前記参照画像の強度差が負であることを、前記局所領域情報が示す場合、前記決定手段は、前記移動方向の正方向に前記相関演算範囲を決定することを特徴とする請求項５に記載の画像処理装置。 When the local region information indicates that the edge included in the reference image is monotonically decreasing in the positive direction of the movement direction of the correlation calculation and the intensity difference of the reference image with respect to the reference image is negative, the determination is made. The image processing apparatus according to claim 5, wherein the means determines the correlation calculation range in the positive direction of the moving direction. 前記基準画像と、相関演算の対象となる前記第２画像における部分画像である参照画像との画像特性である局所領域情報を取得する取得手段を更に有し、
前記決定手段は、前記第１相関演算手段による相関演算の結果と前記取得された局所領域情報とに基づいて前記相関演算範囲を決定する、
ことを特徴とする請求項１または２に記載の画像処理装置。 Further, it has an acquisition means for acquiring local region information which is an image characteristic of the reference image and a reference image which is a partial image in the second image to be a correlation calculation.
The determination means determines the correlation calculation range based on the result of the correlation calculation by the first correlation calculation means and the acquired local region information.
The image processing apparatus according to claim 1 or 2. 前記第１相関演算方式は、ＳＡＤまたはＳＳＤであり、
前記第２相関演算方式は、ＮＣＣまたはＺＮＣＣである
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。 The first correlation calculation method is SAD or SSD, and is
The image processing apparatus according to any one of claims 1 to 10, wherein the second correlation calculation method is NCC or ZNCC. 前記第２相関演算手段による相関演算の結果に基づいて、前記第１画像と前記第２画像のサブピクセル単位の視差を算出する視差算出手段と、
前記視差算出手段により算出された前記視差から、デフォーカス量または被写体距離を算出する距離算出手段と、
を更に有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。 A parallax calculation means that calculates the parallax of the first image and the second image in sub-pixel units based on the result of the correlation calculation by the second correlation calculation means.
A distance calculating means for calculating the defocus amount or the subject distance from the parallax calculated by the parallax calculating means,
The image processing apparatus according to any one of claims 1 to 11, further comprising. 視差画像を構成する第１画像および第２画像を処理する画像処理方法であって、
第１相関演算方式により、前記第１画像の注目画素を含む部分領域である基準画像を前記第２画像上で画素単位で相対的に移動させながら相関演算を行う第１相関演算ステップと、
前記第１相関演算ステップでの相関演算の結果に基づいて前記第１相関演算方式とは異なる第２相関演算方式における相関演算範囲を決定する決定ステップと、
前記第２相関演算方式により、前記決定ステップで決定された前記相関演算範囲において前記基準画像を前記第２画像上で画素単位で相対的に移動させながら相関演算を行う第２相関演算ステップと、
を有し、
前記決定ステップは、前記第１相関演算ステップで得られる相関値と、該相関値に対応する第１移動量の前後の移動量における相関値とに基づいて、前記相関演算範囲を決定する
ことを特徴とする画像処理方法。 An image processing method for processing a first image and a second image constituting a parallax image.
A first correlation calculation step of performing a correlation calculation while relatively moving a reference image, which is a partial region including a pixel of interest of the first image, on the second image in pixel units by the first correlation calculation method.
A determination step of determining a correlation calculation range in a second correlation calculation method different from the first correlation calculation method based on the result of the correlation calculation in the first correlation calculation step.
A second correlation calculation step of performing a correlation calculation while relatively moving the reference image on the second image in pixel units within the correlation calculation range determined in the determination step by the second correlation calculation method.
Have,
The determination step determines the correlation calculation range based on the correlation value obtained in the first correlation calculation step and the correlation value in the movement amount before and after the first movement amount corresponding to the correlation value. Characteristic image processing method. 撮像素子と、
前記撮像素子で得られた画像に対して画像処理を行う請求項１２に記載の画像処理装置と、
を有することを特徴とする撮像装置。 With the image sensor
The image processing apparatus according to claim 12, which performs image processing on an image obtained by the image pickup device.
An imaging device characterized by having. コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。 A program for causing a computer to function as each means included in the image processing apparatus according to any one of claims 1 to 12. 請求項１５に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。 A computer-readable storage medium containing the program according to claim 15.

Images