JP2017138355A - Imaging device and imaging device control method - Google Patents
Imaging device and imaging device control method Download PDFInfo
- Publication number
- JP2017138355A JP2017138355A JP2016017097A JP2016017097A JP2017138355A JP 2017138355 A JP2017138355 A JP 2017138355A JP 2016017097 A JP2016017097 A JP 2016017097A JP 2016017097 A JP2016017097 A JP 2016017097A JP 2017138355 A JP2017138355 A JP 2017138355A
- Authority
- JP
- Japan
- Prior art keywords
- phase difference
- pair
- error
- images
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置および撮像装置の制御方法に関する。 The present invention relates to an imaging apparatus and a method for controlling the imaging apparatus.
デジタルカメラ等の撮像装置のオートフォーカス方法の1つである位相差検出方式では、レンズを通過した位相差検出用の一対の光束に基づいて一対の画像を生成する。そして、一対の画像間の位相差を検出し、検出した位相差に基づいて焦点を調整する。なお、一対の画像の一方を生成する画素群からの信号レベルと一対の画像の他方を生成する画素群からの信号レベルとに差(以下、ゲイン差とも称する)が発生する場合がある。一対の画像間にゲイン差が発生すると、ゲイン差が発生しない場合に比べて、位相差の検出結果の精度および位相差の検出結果に対する信頼度の推定精度等が低下する場合がある。このため、一対の画像において互いに対応する画素毎の比較結果の統計的ばらつきに基づいて、一対の画像の信号レベルを補正する位相差検出装置が提案されている(例えば、特許文献1参照)。 In a phase difference detection method that is one of autofocus methods for an imaging apparatus such as a digital camera, a pair of images is generated based on a pair of light beams for phase difference detection that have passed through a lens. Then, the phase difference between the pair of images is detected, and the focus is adjusted based on the detected phase difference. Note that there may be a difference (hereinafter also referred to as a gain difference) between the signal level from the pixel group that generates one of the pair of images and the signal level from the pixel group that generates the other of the pair of images. When a gain difference occurs between a pair of images, the accuracy of the phase difference detection result and the reliability estimation accuracy for the phase difference detection result may be lower than when no gain difference occurs. For this reason, there has been proposed a phase difference detection device that corrects the signal level of a pair of images based on the statistical variation of the comparison results for each pixel corresponding to each other in the pair of images (see, for example, Patent Document 1).
また、焦点検出用の画素(以下、瞳分割画素とも称する)と、撮像用と焦点検出用とを兼用する画素(以下、全瞳画素とも称する)とを用いて、焦点を調整するカメラが提案されている(例えば、特許文献2参照)。瞳分割画素により生成される画像(以下、瞳分割画像とも称する)と全瞳画素により生成される画像(以下、全瞳画像とも称する)とでは、像形状が異なる場合がある。このため、瞳分割画素と全瞳画素とを用いて焦点を調整するカメラは、瞳分割画像と全瞳画像との像形状の差異を補正した後、瞳分割画像と全瞳画像との位相差を検出する。 Also, a camera that adjusts the focus by using pixels for focus detection (hereinafter also referred to as pupil division pixels) and pixels that are used for both imaging and focus detection (hereinafter also referred to as all pupil pixels) is proposed. (For example, see Patent Document 2). An image shape may be different between an image generated by pupil-divided pixels (hereinafter also referred to as pupil-divided image) and an image generated by all-pupil pixels (hereinafter also referred to as all-pupil image). For this reason, a camera that adjusts the focus using pupil-divided pixels and all-pupil pixels corrects the difference in image shape between the pupil-divided image and all-pupil image, and then the phase difference between the pupil-divided image and all-pupil image. Is detected.
位相差検出用の画素が連続して配置されていない場合、すなわち、位相差検出用の画素が所定の画素間隔で配置されている場合、一対の位相差検出用の画素の列から生成される一対の画像間で、画素の位置と画素値との関係を示すグラフの形状が異なる場合がある。この場合、一対の画像間の位相差の算出値に誤差が発生する。また、画素の位置と画素値との関係を示すグラフの形状が一対の画像間で異なる場合、画素の位置と画素値との関係を示すグラフの形状が一対の画像間で一致する場合に比べて、位相差の検出結果に対する信頼度の推定精度が低下するおそれがある。 When the phase difference detection pixels are not continuously arranged, that is, when the phase difference detection pixels are arranged at a predetermined pixel interval, the phase difference detection pixels are generated from a pair of phase difference detection pixel columns. The shape of a graph showing the relationship between the pixel position and the pixel value may be different between a pair of images. In this case, an error occurs in the calculated value of the phase difference between the pair of images. Also, when the shape of the graph indicating the relationship between the pixel position and the pixel value is different between the pair of images, compared to the case where the shape of the graph indicating the relationship between the pixel position and the pixel value is identical between the pair of images. Thus, there is a risk that the estimation accuracy of the reliability with respect to the detection result of the phase difference is lowered.
1つの側面では、本発明は、位相差検出方式により算出される位相差の信頼度の推定精度を向上させることを目的とする。 In one aspect, an object of the present invention is to improve the estimation accuracy of the reliability of the phase difference calculated by the phase difference detection method.
一観点によれば、撮像装置は、レンズの互いに異なる領域を通過した被写体からの光束に基づいて位相差算出用の一対の画像を生成する一対の画素の列を含む撮像素子と、レンズの合焦時の位置からのずれ量に応じて発生する一対の画像間の位相差を算出する測距装置と、測距装置により算出された一対の画像間の位相差に基づいて焦点を調整する焦点調整部とを有し、測距装置は、一対の画像間の位相差を算出する位相差算出部と、一対の画像における互いに隣接する画素間での画素値の変化の度合いであるエッジの急峻度を、画素の列における画素間の画素値の差に基づいて算出する特徴算出部と、エッジの急峻度と位相差の算出値の誤差との関係を示す情報であって、予め取得された精度情報を記憶する記憶部と、一対の画像間の位相差の算出値の誤差である算出誤差を、精度情報を用いて、一対の画像のエッジの急峻度から推定する第1誤差推定部とを有し、一対の画像間の位相差の算出値および算出誤差を焦点調整部に通知する。 According to one aspect, an imaging apparatus includes an imaging device including a pair of pixels that generate a pair of images for calculating a phase difference based on a light flux from a subject that has passed through different regions of the lens, and a lens. A distance measuring device that calculates a phase difference between a pair of images generated according to a deviation amount from the position at the time of focus, and a focus that adjusts the focus based on the phase difference between the pair of images calculated by the distance measuring device The distance measuring apparatus includes a phase difference calculating unit that calculates a phase difference between a pair of images, and a steep edge that is a degree of change in pixel value between adjacent pixels in the pair of images. Information indicating the relationship between the feature calculation unit for calculating the degree based on the pixel value difference between the pixels in the pixel column, and the error between the sharpness of the edge and the calculated value of the phase difference, and obtained in advance Storage unit for storing accuracy information and phase between a pair of images A first error estimator that estimates the calculation error, which is an error of the calculated value, from the steepness of the edges of the pair of images using the accuracy information, and the calculated value and calculation of the phase difference between the pair of images The error is notified to the focus adjustment unit.
別の観点によれば、レンズの互いに異なる領域を通過した被写体からの光束に基づいて位相差算出用の一対の画像を生成する一対の画素の列を含む撮像素子と、レンズの合焦時の位置からのずれ量に応じて発生する一対の画像間の位相差を算出する測距装置と、測距装置により算出された一対の画像間の位相差に基づいて焦点を調整する焦点調整部とを有する撮像装置の制御方法では、測距装置が、一対の画像間の位相差を算出し、一対の画像における互いに隣接する画素間での画素値の変化の度合いであるエッジの急峻度を、画素の列における画素間の画素値の差に基づいて算出し、エッジの急峻度と位相差の算出値の誤差との関係を示す情報であって、予め取得された精度情報を用いて、一対の画像間の位相差の算出値の誤差である算出誤差を一対の画像のエッジの急峻度から推定し、一対の画像間の位相差の算出値および算出誤差を焦点調整部に通知する。 According to another aspect, an imaging device including a pair of pixels that generate a pair of images for phase difference calculation based on light beams from subjects that have passed through different regions of the lens, and a lens at the time of focusing A distance measuring device that calculates a phase difference between a pair of images generated according to a deviation amount from the position, and a focus adjustment unit that adjusts a focus based on the phase difference between the pair of images calculated by the distance measuring device; In the control method of the image pickup apparatus having the above, the distance measuring device calculates the phase difference between the pair of images, and determines the steepness of the edge, which is the degree of change in the pixel value between adjacent pixels in the pair of images. Information calculated based on a difference in pixel values between pixels in a pixel column and indicating the relationship between the sharpness of the edge and the error in the calculated value of the phase difference, and using the accuracy information acquired in advance, Calculation that is the error of the calculated value of phase difference between images Estimating the difference from steepness of the edges of the pair of images, and notifies the focusing unit a calculated value and the calculation error of the phase difference between the pair of images.
位相差検出方式により算出される位相差の信頼度の推定精度を向上させることができる。 The estimation accuracy of the reliability of the phase difference calculated by the phase difference detection method can be improved.
以下、実施形態について、図面を用いて説明する。 Hereinafter, embodiments will be described with reference to the drawings.
図1は、撮像装置および撮像装置の制御方法の一実施形態を示す。図1に示す撮像装置10は、例えば、レンズ20と撮像素子30と測距装置100と焦点調整部200とを有するデジタルカメラである。レンズ20は、被写体の像を撮像素子30の撮像領域(受光面)に結像する。撮像素子30は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等を用いたイメージセンサである。例えば、撮像素子30は、複数の画像表示用の画素PX10と、一対の位相差算出用の画素PX2(PX21、PX22)の列とを有し、レンズ20を介して受ける光束に基づいて画像IMGを生成する。図1では、位相差算出用の画素PX21の列および画素PX22の列の一例と、位相差算出用の一対の画像IMGf(IMGfl、IMGfr)の各画素値の一例とを括弧内に示す。
FIG. 1 shows an embodiment of an imaging apparatus and a method for controlling the imaging apparatus. An
図1に示す例では、一対の位相差算出用の画素PX21、PX22は、撮像素子30の中央付近の領域AR1に左右方向沿って2画素置きに配置される。すなわち、一対の位相差算出用の画素PX2の列は、撮像素子30の中央付近の領域AR1に配置される。なお、一対の位相差算出用の画素PX2の列は、撮像素子30の中央付近以外の領域に配置されてもよい。また、撮像素子30は、一対の位相差算出用の画素PX2の列を複数有してもよい。各画素PX(PX10、PX21、PX22)の受光面上には図示しないマイクロレンズが配置される。各画素PXは、レンズ20およびマイクロレンズを介して入射される被写体からの光束を、画素値を示す電気信号に変換する。
In the example illustrated in FIG. 1, the pair of phase difference calculation pixels PX21 and PX22 are arranged in the region AR1 near the center of the
位相差算出用の各画素PX21は、例えば、受光面の右半分が遮光用の部材により遮光され、レンズ20の右半分を通過した被写体からの光束を受ける。これにより、画素PX21の列は、レンズ20の右半分を通過した被写体からの光束に基づいて、位相差算出用の一対の画像IMGf(IMGfl、IMGfr)のうちの画像IMGfrを生成する。以下、画像IMGfrは、右画像IMGfrとも称される。図1等の図面では、遮光される受光面を黒色で示す。
In each pixel PX21 for phase difference calculation, for example, the right half of the light receiving surface is shielded by a light shielding member, and receives a light beam from a subject that has passed through the right half of the
位相差算出用の各画素PX22は、例えば、受光面の左半分が遮光用の部材により遮光され、レンズ20の左半分を通過した被写体からの光束を受ける。これにより、画素PX22の列は、レンズ20の左半分を通過した被写体からの光束に基づいて、位相差算出用の一対の画像IMGfのうちの画像IMGflを生成する。以下、画像IMGflは、左画像IMGflとも称される。
In each pixel PX22 for phase difference calculation, for example, the left half of the light receiving surface is shielded by a light shielding member and receives a light beam from a subject that has passed through the left half of the
このように、撮像素子30は、レンズ20の互いに異なる領域を通過した被写体からの光束に基づいて、位相差算出用の一対の画像IMGf(図1に示す例では、左右に瞳分割した一対の像)を生成する。そして、焦点が調整された後、撮像素子30は、位相差算出用の各画素PX21、PX22の画素値を周辺の画素PX10の画素値等を用いて補間して、表示用の画像IMGを生成する。
As described above, the
ここで、図1に示す例では、一対の位相差算出用の画素PX2の列から生成される一対の画像IMGf間で、画素PX2の位置と画素値との関係を示すグラフの形状(以下、画素値列の形状とも称する)が異なる。図1の括弧内のグラフの横軸は、撮像素子30における左右方向の画素PX2の位置を示し、縦軸は、画素PX2の画素値を示す。例えば、グラフの○印は、右画像IMGfrの各画素PX21の画素値を示し、グラフの×印は、左画像IMGflの各画素PX22の画素値を示す。また、破線は、画素PX21が画素PX10を挟まずに連続して配置された場合の理想的な画素値列の形状を示し、点線は、画素PX22が画素PX10を挟まずに連続して配置された場合の理想的な画素値列の形状を示す。画素PX21、PX22の各々が左右方向に連続して配置される場合、画素値列の形状は、右画像IMGfrと左画像IMGflとでほぼ同じである(図1のグラフの破線および点線)。
Here, in the example illustrated in FIG. 1, a graph shape (hereinafter, referred to as a relationship between the position of the pixel PX2 and the pixel value between the pair of images IMGf generated from the column of the pair of phase difference calculation pixels PX2). The shape of the pixel value sequence is also different). The horizontal axis of the graph in parentheses in FIG. 1 indicates the position of the pixel PX2 in the left-right direction in the
これに対し、画素PX21、PX22の各々が離散的(図1に示す例では、2画素置き)に配置される場合、画素値列の形状は、右画像IMGfrと左画像IMGflとで異なる(図1のグラフの実線)。一対の画像IMGf間で画素値列の形状が異なる場合、一対の画像IMGf間で画素値列の形状に差異がない場合に比べて、一対の画像IMGf間の位相差の算出値の誤差の推定精度が低下するおそれがある。このため、図1に示す撮像装置10の測距装置100は、後述するように、画像IMGfの画素値列の形状を考慮して、一対の画像IMGf間の位相差の算出値の誤差を推定する。
On the other hand, when the pixels PX21 and PX22 are discretely arranged (every two pixels in the example shown in FIG. 1), the shape of the pixel value sequence differs between the right image IMGfr and the left image IMGfl (FIG. The solid line in the graph of 1). When the shape of the pixel value sequence is different between the pair of images IMGf, the error of the calculated value of the phase difference between the pair of images IMGf is estimated compared to the case where the shape of the pixel value sequence is not different between the pair of images IMGf. The accuracy may be reduced. Therefore, the
測距装置100は、レンズ20の合焦時の位置からのずれ量に応じて発生する一対の画像IMGf間の位相差を算出する。例えば、測距装置100は、記憶部110、位相差算出部120、特徴算出部130および誤差推定部140を有する。
The
記憶部110は、画素の列における互いに隣接する画素間での画素値の変化の度合いであるエッジの急峻度と位相差の算出値の誤差との関係を示す情報であって、予め取得された精度情報AINFを記憶する。位相差の算出値の誤差は、例えば、位相差検出方式により算出される位相差(以下、推定位相差とも称する)の誤差である。
The
例えば、エッジの急峻度と推定位相差の誤差との関係は、直線または誤差関数等により表され、画素の位置と画素値との関係を示す基準グラフを用いて生成される一対の画素値列(以下、擬似画素値列とも称する)を用いて、予め算出される。一対の擬似画素値列は、基準グラフに対し、所定の位相差に対応する画素数分だけ異なる位置から互いに同じ画素間隔で画素値をそれぞれ取得することにより生成される。この場合、位相差算出部120と同一または同様の方法により算出される一対の擬似画素値列の推定位相差と、一対の擬似画素値列を生成する際の所定の位相差との差は、推定位相差の誤差に対応する。エッジの急峻度に対応する基準グラフの傾きを様々に変化させて一対の擬似画素値列を生成することにより、一対の擬似画素値列を用いて算出される推定位相差の誤差とエッジの急峻度との関係を示す精度情報AINFは、予め算出される。例えば、精度情報AINFは、測距装置100の設計時等に算出され、測距装置100の製造時等に記憶部110に格納される。
For example, the relationship between the steepness of the edge and the error of the estimated phase difference is represented by a straight line or an error function or the like, and a pair of pixel value sequences generated using a reference graph indicating the relationship between the pixel position and the pixel value (Hereinafter, also referred to as a pseudo pixel value sequence). The pair of pseudo pixel value sequences is generated by acquiring pixel values at the same pixel interval from positions different from each other by the number of pixels corresponding to a predetermined phase difference with respect to the reference graph. In this case, the difference between the estimated phase difference of the pair of pseudo pixel value sequences calculated by the same or similar method as the phase
位相差算出部120は、位相差算出用の一対の画像IMGfを示す信号を撮像素子30から受け、一対の画像IMGf間の位相差を算出する。例えば、位相差算出部120は、左画像IMGflに対して右画像IMGfrの位置をシフトしながら、画像IMGfl、IMGfrの互いに対応する位置の画素PX2の値の差分絶対値和を逐次算出する。そして、位相差算出部120は、差分絶対値和が最小になるシフト量を、一対の画像IMGf間の位相差として算出する。位相差算出部120は、一対の画像IMGf間の位相差の算出値を示す情報PDINFを、誤差推定部140および焦点調整部200に出力する。以下、差分絶対値和は、SAD(Sum of Absolute Difference)とも称される。
The phase
特徴算出部130は、位相差算出用の一対の画像IMGfを示す信号を撮像素子30から受ける。そして、特徴算出部130は、一対の画像IMGfの形状の特徴として、一対の画像IMGfのエッジの急峻度を、位相差算出用の画素PX2の列における画素間の画素値の差に基づいて算出する。例えば、特徴算出部130は、互いに隣接する画素PX21の画素値の差分を互いに隣接する画素PX21の組毎に算出する。そして、特徴算出部130は、互いに隣接する画素PX21の画素値の差分の二乗和を互いに隣接する画素PX21の画素値の差分の総和で除算し、除算結果を一対の画像IMGfのエッジの急峻度として算出する。特徴算出部130は、一対の画像IMGfのエッジの急峻度を示す情報EGINFを、誤差推定部140に出力する。
The
なお、特徴算出部130は、互いに隣接する画素PX22の画素値の差分の二乗和を互いに隣接する画素PX22の画素値の差分の総和で除算した結果を、一対の画像IMGfのエッジの急峻度として算出してよい。あるいは、特徴算出部130は、互いに隣接する画素PX21の画素値の差分を用いて算出したエッジの急峻度と互いに隣接する画素PX22の画素値の差分を用いて算出したエッジの急峻度との平均を、一対の画像IMGfのエッジの急峻度として算出してもよい。
The
一対の画像IMGfのエッジの急峻度の算出方法は、画素値の差分の二乗和を画素値の差分の総和で除算する方法に限定されない。例えば、特徴算出部130は、画素値の差分の二乗和を画素値の差分の総和で除算する代わりに画素値の差分の平均を算出し、画素値の差分の平均を一対の画像IMGfのエッジの急峻度としてもよい。一対の画像IMGfのエッジの急峻度の算出方法は、精度情報AINFに用いるエッジの急峻度の算出方法と一致していればよい。
The method for calculating the steepness of the edges of the pair of images IMGf is not limited to the method of dividing the square sum of the pixel value differences by the sum of the pixel value differences. For example, the
誤差推定部140は、一対の画像IMGf間の位相差の算出値の誤差である算出誤差を、精度情報AINFと一対の画像IMGfのエッジの急峻度とに基づいて推定する。例えば、誤差推定部140は、記憶部110から受ける精度情報AINFが示す推定位相差の誤差とエッジの急峻度との関係を参照し、特徴算出部130により算出されたエッジの急峻度に対応する推定位相差の誤差を位相差の算出誤差として推定する。そして、誤差推定部140は、位相差の算出誤差を示す情報ERINFを、焦点調整部200に出力する。すなわち、誤差推定部140は、一対の画像IMGf間の位相差の算出値の誤差である算出誤差を、精度情報AINFを用いて、一対の画像IMGfのエッジの急峻度から推定する第1誤差推定部の一例である。
The
このように、測距装置100は、一対の画像IMGf間の位相差の算出値および算出誤差を焦点調整部200に通知する。
As described above, the
ここで、画素PX21、PX22の各々が離散的(図1に示す例では、2画素間隔)に配置される場合、一対の画像IMGf間の画素値列の形状の差異は、一対の画像IMGfのエッジの急峻度が大きくなるほど大きくなる傾向がある。また、一対の画像間の画素値列の形状の差異が大きくなるほど、位相差の算出値に対する信頼度の推定精度が低下するおそれがある。すなわち、一対の画像IMGf間の位相差の算出値の誤差は、一対の画像IMGfのエッジの急峻度が大きくなるほど大きくなる傾向がある。したがって、一対の画像IMGfのエッジの急峻度を考慮しない従来の位相差検出方法では、一対の画像IMGfのエッジの急峻度が大きくなるほど、位相差の算出値に対する信頼度の推定精度が低下するおそれがある。 Here, when each of the pixels PX21 and PX22 is discretely arranged (in the example illustrated in FIG. 1, at intervals of two pixels), the difference in the shape of the pixel value sequence between the pair of images IMGf is the difference between the pair of images IMGf. As the steepness of the edge increases, it tends to increase. In addition, as the difference in the shape of the pixel value sequence between the pair of images increases, the reliability estimation accuracy for the calculated value of the phase difference may decrease. That is, the error in the calculated value of the phase difference between the pair of images IMGf tends to increase as the steepness of the edges of the pair of images IMGf increases. Therefore, in the conventional phase difference detection method that does not consider the steepness of the edges of the pair of images IMGf, the estimation accuracy of the reliability with respect to the calculated value of the phase difference may decrease as the steepness of the edges of the pair of images IMGf increases. There is.
これに対し、測距装置100は、推定位相差の誤差とエッジの急峻度との関係を示す精度情報AINFに基づいて、一対の画像IMGfのエッジの急峻度に応じた推定位相差の誤差を位相差の算出誤差として推定する。これにより、測距装置100は、一対の画像IMGfのエッジの急峻度に拘わらず、すなわち、被写体によらず、一対の画像IMGf間の位相差の算出値の誤差を精度よく推定できる。すなわち、測距装置100は、位相差検出方式により算出される位相差の信頼度の推定精度を向上させることができる。
On the other hand, the
焦点調整部200は、測距装置100により算出された一対の画像IMGf間の位相差等に基づいて焦点を調整する。例えば、焦点調整部200は、一対の画像IMGf間の位相差の算出値に基づいて合焦位置を推定し、推定した合焦位置を中心として位相差の算出誤差に対応する範囲を、オートフォーカス方法の1つであるコントラスト方式の探索範囲に設定する。コントラスト方式では、コントラストの最も高い画像を検出するまでレンズの位置を移動させて画像のコントラストを逐次解析するため、探索範囲が狭いほど、合焦までの時間を短縮することができる。なお、位相差の算出誤差の推定精度が低下すると、算出誤差に対応して設定される探索範囲内に合焦位置が存在しない場合がある。また、探索範囲内に合焦位置が存在しない状態を避けるために、位相差の算出誤差に対応した範囲より探索範囲を広く設定すると、合焦までの時間が長くなる。
The
図1に示す撮像装置10は、位相差の算出誤差の推定精度を向上させることができるため、算出誤差に対応した範囲を探索範囲に設定した場合でも、探索範囲内に合焦位置が存在しない状態が発生することを抑止できる。したがって、撮像装置10は、位相差の算出誤差に対応した範囲より探索範囲を広く設定する場合に比べて、合焦までの時間を短縮できる。なお、撮像装置10の構成は、図1に示す例に限定されない。
Since the
以上、図1に示す実施形態では、測距装置100は、一対の画像IMGf間の位相差を算出するとともに、一対の画像IMGfのエッジの急峻度を位相差算出用の画素PX2の列により定まる画素間の画素値の差に基づいて算出する。そして、測距装置100は、一対の画像IMGfのエッジの急峻度に対応する位相差の算出誤差を、エッジの急峻度と推定位相差の誤差との関係を示す精度情報AINFに基づいて推定する。このように、測距装置100は、一対の画像IMGf間の位相差の算出値の誤差である算出誤差を、一対の画像IMGfのエッジの急峻度に応じて推定する。この結果、測距装置100は、一対の画像IMGfのエッジの急峻度に拘わらず、すなわち、被写体によらず、一対の画像IMGf間の位相差の算出値の誤差を精度よく推定できる。すなわち、測距装置100は、位相差検出方式により算出される位相差の信頼度の推定精度を向上させることができる。これにより、撮像装置10は、例えば、コントラスト方式における探索範囲を適切に設定でき、合焦までの時間を短縮できる。
As described above, in the embodiment shown in FIG. 1, the
図2は、撮像装置および撮像装置の制御方法の別の実施形態を示す。図1で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図2に示す撮像装置12は、図1に示した測距装置100の代わりに測距装置102を有することを除いて、図1に示した撮像装置10と同一または同様である。例えば、撮像装置10は、レンズ20と撮像素子30と測距装置102と焦点調整部200とを有するデジタルカメラである。
FIG. 2 shows another embodiment of the imaging device and the control method of the imaging device. The same or similar elements as those described in FIG. 1 are denoted by the same or similar reference numerals, and detailed description thereof will be omitted. The
なお、図2に示す撮像素子30は、一対の位相差算出用の画素PX2の列を複数有する。図2の括弧内に示す例では、一対の位相差算出用の画素PX2の列を含む9つの局所領域LAR1、LAR2、LAR3、LAR4、LAR5、LAR6、LAR7、LAR8、LAR9が測距領域RAR内に設定される。すなわち、撮像素子30は、一対の位相差算出用の画素PX2の列が配置される局所領域LARを複数有する。一対の画像IMGfは、複数の局所領域LAR毎に生成される。したがって、図2に示す例では、一対の画像IMGfは、9つ生成される。なお、局所領域LARの数は、図2に示す例に限定されない。
2 includes a plurality of columns of a pair of phase difference calculation pixels PX2. In the example shown in parentheses in FIG. 2, nine local areas LAR1, LAR2, LAR3, LAR4, LAR5, LAR6, LAR7, LAR8, and LAR9 including a pair of phase difference calculation pixels PX2 are included in the ranging area RAR. Set to In other words, the
測距装置102は、図1に示した位相差算出部120、特徴算出部130および誤差推定部140の代わりに、位相差算出部122、特徴算出部132および誤差推定部142を有する。さらに、測距装置102では、測距領域選択部112、局所領域設定部114および代表位相差算出部150が図1に示した測距装置100に追加される。測距装置102のその他の構成は、測距装置100と同一または同様である。例えば、測距装置102は、記憶部110、測距領域選択部112、局所領域設定部114、位相差算出部122、特徴算出部132、誤差推定部142および代表位相差算出部150を有する。そして、測距装置102は、レンズ20の合焦時の位置からのずれ量に応じて発生する一対の画像IMGf間の位相差を算出する。
The
記憶部110は、予め取得された精度情報AINFを記憶する。精度情報AINFは、例えば、エッジの急峻度と推定位相差の誤差との関係を示す情報と、画素PX2の列の画素間隔を基準単位として位相差を表した場合の位相差の端数と推定位相差の誤差との関係を示す情報とを有する。以下、画素PX2の列の画素間隔を基準単位として位相差を表した場合の位相差の端数は、オフセットとも称される。エッジの急峻度と推定位相差の誤差との関係は、図4で説明し、オフセットと推定位相差の誤差との関係は、図5で説明する。
The
測距領域選択部112は、撮像素子30により撮像された画像IMGを示す情報を受け、測距に使用する領域RAR(以下、測距領域RARとも称する)を画像IMGから選択する。例えば、測距領域選択部112は、顔検出により検出された顔を含む領域(図の点線で囲んだ領域)を測距領域RARとして選択する。そして、測距領域選択部112は、測距領域RARを示す情報を局所領域設定部114に出力する。以下、測距領域選択部112により選択された画像IMG内の測距領域RARに対応する撮像素子30内の領域も、測距領域RARと称される。
The ranging
局所領域設定部114は、測距領域RARに配置された一対の位相差算出用の画素PX2の列に基づいて、位相差を算出する際の単位領域である局所領域LARを測距領域RAR内に設定する。図2に示す例では、局所領域設定部114は、測距領域RAR内に、9つの局所領域LAR1、LAR2、LAR3、LAR4、LAR5、LAR6、LAR7、LAR8、LAR9を設定する。そして、局所領域設定部114は、局所領域LARを示す情報を位相差算出部122および特徴算出部132に出力する。
The local
位相差算出部122は、一対の画像IMGf間の位相差を、複数の局所領域LAR毎に算出する。そして、位相差算出部122は、各局所領域LARにおける一対の画像IMGf間の位相差の算出値を示す情報PDINF1を、誤差推定部140および代表位相差算出部150に出力する。なお、位相差算出部122の動作は、一対の画像IMGf間の位相差を複数の局所領域LAR毎に算出することを除いて、図1に示した位相差算出部120と同一または同様である。
The phase
特徴算出部132は、一対の画像IMGfのエッジの急峻度を複数の局所領域LAR毎に算出する。そして、特徴算出部132は、各局所領域LARにおける一対の画像IMGfのエッジの急峻度を示す情報EGINF1を、誤差推定部140および代表位相差算出部150に出力する。なお、特徴算出部132の動作は、一対の画像IMGfのエッジの急峻度を複数の局所領域LAR毎に算出することを除いて、図1に示した特徴算出部130と同一または同様である。
The
誤差推定部142は、記憶部110から受ける精度情報AINFを用いて、一対の画像IMGf間の位相差の算出値の誤差を複数の局所領域LAR毎に推定する。例えば、誤差推定部142は、一対の画像IMGf間の位相差の算出値に基づくオフセットと一対の画像IMGfのエッジの急峻度との組み合わせに対応する推定位相差の誤差を、精度情報AINFを用いて、複数の局所領域LAR毎に推定する。これにより、各局所領域LARにおける位相差の算出誤差が推定される。そして、誤差推定部142は、各局所領域LARにおける位相差の算出誤差を示す情報ERINF1を、代表位相差算出部150に出力する。
The
このように、誤差推定部142は、一対の画像IMGf間の位相差の算出値を画素PX2の列における画素間隔を基準単位として表した場合の位相差の端数と一対の画像IMGfのエッジの急峻度と精度情報AINFとに基づいて、位相差の算出誤差を推定する。すなわち、誤差推定部142は、一対の画像IMGf間の位相差の算出値の誤差を、精度情報AINFを用いて、一対の画像IMGfのエッジの急峻度から推定する第1誤差推定部の一例である。
As described above, the
代表位相差算出部150は、測距領域RAR内の位相差の代表値である代表位相差を算出するとともに、代表位相差の誤差を推定する。例えば、代表位相差算出部150は、位相差の算出誤差が大きくなるにしたがい小さくなる重み付け係数を複数の局所領域LAR毎に算出する。そして、代表位相差算出部150は、位相差算出部122により複数の局所領域LAR毎に算出された一対の画像IMGf間の位相差を、重み付け係数で加重平均して代表位相差を算出する。
The representative phase
また、代表位相差算出部150は、誤差推定部142により複数の局所領域LAR毎に推定された複数の位相差の算出誤差に基づいて、代表位相差の誤差を推定する。例えば、代表位相差算出部150は、誤差推定部142により複数の局所領域LAR毎に推定された複数の位相差の算出誤差の平均を、代表位相差の誤差として推定する。なお、代表位相差算出部150は、誤差推定部142により複数の局所領域LAR毎に推定された複数の位相差の算出誤差を加重平均して代表位相差の誤差を推定してもよい。
Further, the representative phase
そして、代表位相差算出部150は、代表位相差を示す情報PDINF2と代表位相差の誤差を示す情報ERINF2とを、焦点調整部200に出力する。すなわち、代表位相差算出部150は、代表位相差および代表位相差の誤差を、一対の画像IMGf間の位相差の算出値および算出値誤差として焦点調整部200に通知する。
Then, the representative phase
このように、測距装置102は、複数の局所領域LARの位相差を、各局所領域LARの算出誤差に基づく重み付け係数で加重平均する。そして、測距装置102は、加重平均の結果を測距領域RAR内の位相差の代表値である代表位相差とする。測距装置102は、加重平均に用いる重み付け係数を精度の高い算出誤差に基づいて決定するため、加重平均の結果である代表位相差を精度よく算出できる。
As described above, the
焦点調整部200は、測距装置102により算出された代表位相差等に基づいて焦点を調整する。焦点調整部200の動作は、一対の画像IMGf間の位相差の算出値および算出誤差として代表位相差および代表位相差の誤差を用いることを除いて、図1に示した焦点調整部200と同一または同様である。
The
なお、撮像装置12の構成は、図2に示す例に限定されない。例えば、撮像装置12は、精度情報AINFを生成する精度情報生成部を有してもよい。この場合、精度情報生成部は、例えば、図6で説明する精度情報AINFの生成方法にしたがって、精度情報AINFを生成し、生成した精度情報AINFを記憶部110に格納する。
The configuration of the
図3は、位相差検出方式による焦点調整の概要を示す。図3は、合焦位置が結像面(撮像素子30)よりレンズ20側に位置する前ピンの状態を示している。結像面で焦点が合わない場合、被写体OBJが左右に分散されて投影され、ぼけた画像が生成される。レンズ20の左半分および右半分をそれぞれ通過した光(以下、左右の光とも称する)の結像位置は、合焦位置と結像面のずれに依存する。例えば、前ピンの場合では、左右の光は、逆位置に投影され、結像面が合焦位置よりレンズ20側に位置する後ピンの場合では、左右の光は、順位置に投影される。レンズ20の左半分および右半分をそれぞれ通過した光の結像位置のずれ(位相差)を検出できれば焦点のずれを調整できるが、1つのレンズ20のみでは結像面で左右の光が重なるため、位相差を検出することは困難である。
FIG. 3 shows an outline of focus adjustment by the phase difference detection method. FIG. 3 shows a state of the front pin where the in-focus position is located closer to the
このため、撮像装置12では、図2に示したように、レンズ20の右半分を通過した被写体からの光束を受ける画素PX21とレンズ20の左半分を通過した被写体からの光束を受ける画素PX22とを用いて、右画像IMGfrと左画像IMGflとを生成する。なお、図3では、説明を分かりやすくするために、画素PX21、PX22における遮光された領域に対応するレンズ20の領域を黒色で示している。すなわち、画素PX21、PX22が受ける光が通過するレンズ20の領域を白抜きで示している。
Therefore, in the
位相差検出用の画素PX21、22を用いることにより、結像位置の異なる左画像IMGflと右画像IMGfrとを分離でき、一対の画像IMGf間の位相差を求めることで焦点がどの程度ずれているかを観測することができる。例えば、位相差算出部122は、左画像IMGflに対して右画像IMGfrの位置をシフトしながら、画像IMGfl、IMGfrの互いに対応する位置の画素値の差分絶対値和を逐次算出する。
By using the pixels PX21 and PX22 for detecting the phase difference, the left image IMGfl and the right image IMGfr having different imaging positions can be separated, and how much the focus is shifted by obtaining the phase difference between the pair of images IMGf. Can be observed. For example, the phase
例えば、シフト量sに対応する差分絶対値和をSAD(s)と表した場合、差分絶対値和SAD(s)が最小となるシフト量sを求めることにより、被写体OBJのぼけの程度を推定することができる。位相差算出部122は、差分絶対値和SAD(s)が最小になるシフト量sを位相差として算出する。なお、右画像IMGfrを1画素単位でシフトした場合、算出される位相差は、整数単位となる。このため、位相差算出部122は、等角直線フィッティングと呼ばれるフィッティング方法等により、差分絶対値和SAD(s)が最小となるシフト量sを小数画素精度で推定する(図3の推定シフト量)。なお、フィッティング方法は、等角直線フィッティングに限定されない。
For example, when the difference absolute value sum corresponding to the shift amount s is expressed as SAD (s), the degree of blur of the subject OBJ is estimated by obtaining the shift amount s that minimizes the difference absolute value sum SAD (s). can do. The phase
図4は、エッジの急峻度σと推定位相差の誤差eとの関係の一例を示す。図4の横軸は、エッジの急峻度σを示し、縦軸は、推定位相差の誤差e(単位は、画素数)を示す。なお、エッジの急峻度σは、値が大きくなるほどエッジが鋭くなることを示す。例えば、エッジの急峻度σは、位相差算出用の画素P2の列の”i”番目の画素P2と”i+1”番目の画素P2との画素値の差分d(i)を用いて、式(1)で表される。 FIG. 4 shows an example of the relationship between the edge steepness σ and the estimated phase difference error e. The horizontal axis of FIG. 4 represents the edge steepness σ, and the vertical axis represents the error e (in units of pixels) of the estimated phase difference. The edge steepness σ indicates that the edge becomes sharper as the value increases. For example, the steepness σ of the edge is expressed by using the difference d (i) between the pixel values of the “i” -th pixel P2 and the “i + 1” -th pixel P2 in the column of the phase difference calculation pixel P2, using the formula ( 1).
σ=Σ(d(i)×d(i))/(Σ|d(i)|) ・・・(1)
式(1)の”i”は、例えば、画素P2の列の画素数が”n”の場合、”1”から”n−1”までの整数である。なお、エッジの急峻度σは、式(1)以外の計算式により算出されてもよい。例えば、エッジの急峻度σは、差分d(i)の平均でもよい。推定位相差の誤差eは、図4に示すように、エッジの急峻度σが大きくなるにしたがい大きくなる。
σ = Σ (d (i) × d (i)) / (Σ | d (i) |) (1)
“I” in Expression (1) is, for example, an integer from “1” to “n−1” when the number of pixels in the column of the pixel P2 is “n”. Note that the edge steepness σ may be calculated by a calculation formula other than the formula (1). For example, the edge steepness σ may be an average of the differences d (i). As shown in FIG. 4, the estimated phase difference error e increases as the edge steepness σ increases.
例えば、画素PX21、PX22の各々が離散的に配置される場合、図1で説明したように、画素値列の形状は、右画像IMGfrと左画像IMGflとで異なる(図4の括弧内のグラフの実線)。なお、図4の括弧内のグラフは、位相差算出用の一対の画像IMGf(IMGfl、IMGfr)における画素PX2の位置と画素値との関係の一例を示す。括弧内のグラフの破線、点線、○印および×印の意味は、図1の括弧内に示したグラフと同じである。 For example, when each of the pixels PX21 and PX22 is discretely arranged, the shape of the pixel value sequence differs between the right image IMGfr and the left image IMGfl as illustrated in FIG. 1 (graph in parentheses in FIG. 4). Solid line). The graph in parentheses in FIG. 4 shows an example of the relationship between the position of the pixel PX2 and the pixel value in a pair of images IMGf (IMGfl, IMGfr) for phase difference calculation. The meanings of the broken line, the dotted line, the circle mark, and the x mark in the graph in parentheses are the same as those in the graph shown in parentheses in FIG.
図4の括弧内のグラフに示すように、なだらかのエッジの場合(すなわち、エッジの急峻度σが小さい場合)、右画像IMGfrと左画像IMGflとの画素値列の形状の差異は、鋭いエッジの場合(すなわち、エッジの急峻度σが大きい場合)に比べて、小さい。すなわち、エッジの急峻度σが大きくなるにしたがい、右画像IMGfrと左画像IMGflとの画素値列の形状の差異が大きくなる。右画像IMGfrと左画像IMGflとの画素値列の形状の差異が大きくなるにしたがい推定位相差の誤差eが大きくなるため、推定位相差の誤差eは、エッジの急峻度σが大きくなるにしたがい大きくなる。エッジの急峻度σと推定位相差の誤差eとの関係を示す情報は、予め取得され、精度情報AINFの一部として記憶部110に格納される。
As shown in the graph in parentheses in FIG. 4, in the case of a gentle edge (that is, when the edge steepness σ is small), the difference in the shape of the pixel value sequence between the right image IMGfr and the left image IMGfl is a sharp edge. This is smaller than the case (that is, the case where the edge steepness σ is large). That is, as the steepness σ of the edge increases, the difference in the shape of the pixel value sequence between the right image IMGfr and the left image IMGfl increases. Since the error e of the estimated phase difference increases as the difference in the shape of the pixel value sequence between the right image IMGfr and the left image IMGfl increases, the error e of the estimated phase difference increases as the edge steepness σ increases. growing. Information indicating the relationship between the edge steepness σ and the estimated phase difference error e is acquired in advance and stored in the
図5は、オフセットOFと推定位相差の誤差eとの関係の一例を示す。図5の横軸は、オフセットOF(単位は、画素数)を示し、縦軸は、推定位相差の誤差e(単位は、画素数)を示す。図5に示す例では、画素PX2の列における画素間隔pは”8”である。すなわち、図5は、画素PX2が7画素置きに配置される場合のオフセットOFと推定位相差の誤差eとの関係の一例を示す。なお、オフセットOFは、一対の画像IMGf間の位相差s(画素数)を画素PX2の列における画素間隔pを基準単位として表した場合の位相差sの端数に対応し、式(2)で表される。 FIG. 5 shows an example of the relationship between the offset OF and the estimated phase difference error e. The horizontal axis in FIG. 5 indicates the offset OF (unit is the number of pixels), and the vertical axis indicates the estimated phase difference error e (the unit is the number of pixels). In the example shown in FIG. 5, the pixel interval p in the column of the pixels PX2 is “8”. That is, FIG. 5 shows an example of the relationship between the offset OF and the estimated phase difference error e when the pixels PX2 are arranged every seven pixels. The offset OF corresponds to the fraction of the phase difference s when the phase difference s (number of pixels) between the pair of images IMGf is expressed using the pixel interval p in the column of the pixels PX2 as a reference unit. expressed.
OF=|s|−|k×p| ・・・(2)
式(2)の”k”は、オフセットOFを0以上で画素間隔p未満にする0以上の整数である。例えば、位相差sが”0”以上”p”未満である場合、”k”は”0”であり、位相差sが”p”以上”2×p”未満である場合、”k”は”1”である。推定位相差の誤差eは、図5に示すように、画素PX2の列における画素間隔pで周期的に変化する。オフセットOFが画素間隔pの2分の1の値に近づくにしたがい、推定位相差の誤差eは大きくなる。
OF = | s | − | k × p | (2)
“K” in Expression (2) is an integer of 0 or more that makes the offset OF 0 or more and less than the pixel interval p. For example, when the phase difference s is “0” or more and less than “p”, “k” is “0”, and when the phase difference s is “p” or more and less than “2 × p”, “k” is “1”. As shown in FIG. 5, the estimated phase difference error e periodically changes at the pixel interval p in the column of the pixels PX2. As the offset OF approaches half the value of the pixel interval p, the estimated phase difference error e increases.
なお、図5では、位相差s(画素数)と画素間隔pとの関係を4つのケースに分けて、位相差算出用の一対の画像IMGf(IMGfl、IMGfr)における画素PX2の位置と画素値との関係の一例を括弧内に示す。括弧内のグラフの破線、点線、○印および×印の意味は、図1の括弧内に示したグラフと同じである。 In FIG. 5, the relationship between the phase difference s (number of pixels) and the pixel interval p is divided into four cases, and the position and pixel value of the pixel PX2 in the pair of images IMGf (IMGfl, IMGfr) for phase difference calculation. An example of the relationship is shown in parentheses. The meanings of the broken line, the dotted line, the circle mark, and the x mark in the graph in parentheses are the same as those in the graph shown in parentheses in FIG.
ケース1では、位相差sは、”0”である。この場合、画素値列の形状は、右画像IMGfrと左画像IMGflとでほぼ一致する。このため、推定位相差の誤差eは、”0”またはほぼ”0”になる。
In
ケース2では、位相差sは、”0”より大きく、画素間隔p未満である。この場合、画素値列の形状は、右画像IMGfrと左画像IMGflとで異なる。このため、推定位相差の誤差eは、ケース1に比べて、大きくなる。
In
ケース3では、位相差sは、画素間隔pと同じである。この場合、画素値列の形状は、右画像IMGfrと左画像IMGflとでほぼ一致する。このため、推定位相差の誤差eは、”0”またはほぼ”0”になる。すなわち、ケース3とケース1とでは、推定位相差の誤差eは、同じまたはほぼ同じになる。
In
ケース4では、位相差sは、画素間隔pより大きく、画素間隔pの2倍より小さい。この場合、画素値列の形状は、右画像IMGfrと左画像IMGflとで異なる。このため、推定位相差の誤差eは、ケース1およびケース3に比べて、大きくなる。
In
このように、推定位相差の誤差eは、画素PX2の列における画素間隔pで周期的に変化する。オフセットOFと推定位相差の誤差eとの関係を示す情報は、予め取得され、精度情報AINFの一部として記憶部110に格納される。
As described above, the estimated phase difference error e periodically changes at the pixel interval p in the column of the pixels PX2. Information indicating the relationship between the offset OF and the error e of the estimated phase difference is acquired in advance and stored in the
図6は、精度情報AINFの生成方法の一例を示す。図6のグラフの破線は、画素の位置と画素値との関係を示す基準グラフ(以下、基準の画素値列とも称する)を示す。例えば、基準の画素値列は、直線または誤差関数等により表される。また、グラフの○印は、基準の画素値列から生成される一対の擬似画素値列QPL(QPLr、QPLl)のうちの右の擬似画素値列QPLrを示す。グラフの×印は、基準の画素値列から生成される一対の擬似画素値列QPL(QPLr、QPLl)のうちの左の擬似画素値列QPLlを示す。また、図6に示す誤差テーブルは、画素間隔pが”8”の場合を示す。 FIG. 6 shows an example of a method for generating the accuracy information AINF. The broken line in the graph of FIG. 6 shows a reference graph (hereinafter also referred to as a reference pixel value string) showing the relationship between the pixel position and the pixel value. For example, the reference pixel value sequence is represented by a straight line or an error function. Further, the circles in the graph indicate the right pseudo pixel value sequence QPLr of the pair of pseudo pixel value sequences QPL (QPLr, QPLl) generated from the reference pixel value sequence. The x mark in the graph indicates the left pseudo pixel value sequence QPLl of the pair of pseudo pixel value sequences QPL (QPLr, QPLl) generated from the reference pixel value sequence. The error table shown in FIG. 6 shows a case where the pixel interval p is “8”.
先ず、図6の基準の画素値列に示すように、所定のエッジの急峻度σを有する基準グラフ(図6のグラフの破線)から、一対の擬似画素値列QPLの各々の画素値が取得される。例えば、一対の擬似画素値列QPLのうちの右の擬似画素値列QPLrの各画素値は、基準の画素値列から画素間隔p毎に取得される。そして、一対の擬似画素値列QPLのうちの左の擬似画素値列QPLrの各画素値は、右の擬似画素値列QPLrの各画素との間隔を所定の位相差st(画素数)に維持して、基準の画素値列から画素間隔p毎に取得される。 First, as shown in the reference pixel value sequence in FIG. 6, each pixel value of the pair of pseudo pixel value sequences QPL is obtained from a reference graph having a predetermined edge steepness σ (broken line in the graph in FIG. 6). Is done. For example, each pixel value of the right pseudo pixel value sequence QPLr of the pair of pseudo pixel value sequences QPL is acquired from the reference pixel value sequence for each pixel interval p. And each pixel value of the left pseudo pixel value sequence QPLr of the pair of pseudo pixel value sequences QPL maintains an interval between each pixel of the right pseudo pixel value sequence QPLr at a predetermined phase difference st (number of pixels). Then, it is acquired for each pixel interval p from the reference pixel value sequence.
これにより、図6の左右の擬似画素値列に示すように、一対の擬似画素値列QPLr、QPLlが生成される。なお、位相差stが画素間隔pより小さい場合、位相差stは、オフセットOFに対応する。 As a result, a pair of pseudo pixel value sequences QPLr and QPLl are generated as shown in the left and right pseudo pixel value sequences in FIG. When the phase difference st is smaller than the pixel interval p, the phase difference st corresponds to the offset OF.
次に、一対の擬似画素値列QPLr、QPLl間の推定位相差sが、位相差算出部120と同一または同様の方法により算出される。そして、エッジが急峻度σでオフセットOFが所定の位相差stである場合の推定位相差の誤差eが、推定位相差sおよび所定の位相差stに基づいて算出される。推定位相差の誤差eは、式(3)で表される。
Next, the estimated phase difference s between the pair of pseudo pixel value sequences QPLr and QPLl is calculated by the same or similar method as the phase
e=s−st ・・・(3)
エッジが急峻度σでオフセットOFが所定の位相差stである場合の推定位相差の誤差eは、誤差テーブルの対応する場所に格納される。
e = s−st (3)
The error e of the estimated phase difference in the case where the edge is steepness σ and the offset OF is the predetermined phase difference st is stored in the corresponding location of the error table.
基準の画素値列のエッジの急峻度σ、所定の位相差stを様々に変化させて、推定位相差の誤差eを算出することにより、誤差テーブルが生成される。例えば、図4に示したエッジの急峻度σと推定位相差の誤差eとの関係を示すグラフは、図6に示す誤差テーブルのオフセットOFが”4”の列をグラフ化した場合に対応する。また、例えば、図5に示したオフセットOFと推定位相差の誤差eとの関係を示すグラフは、図6に示す誤差テーブルのエッジの急峻度σが”1”の行をグラフ化した場合に対応する。 An error table is generated by calculating the error e of the estimated phase difference by varying the steepness σ of the edge of the reference pixel value sequence and the predetermined phase difference st in various ways. For example, the graph showing the relationship between the edge steepness σ and the estimated phase difference error e shown in FIG. 4 corresponds to the case where the column of the error table offset OF “4” shown in FIG. 6 is graphed. . Further, for example, the graph showing the relationship between the offset OF and the estimated phase difference error e shown in FIG. 5 is a graph in the case where the line in which the steepness σ of the edge of the error table shown in FIG. 6 is “1” is graphed. Correspond.
誤差テーブルは、精度情報AINFとして、記憶部110に格納される。誤差推定部142は、位相差算出部122により算出された位相差からオフセットOFを算出し、算出したオフセットOFと特徴算出部132により算出されたエッジの急峻度σとの組み合わせに対応する推定位相差の誤差eを誤差テーブルから推定する。これにより、位相差の算出誤差が推定される。例えば、位相差算出部122により算出された位相差が”9”(すなわち、オフセットOFが”1”)で、特徴算出部132により算出されたエッジの急峻度σが”0.5”に対応する推定位相差の誤差eは、”0.010”である。
The error table is stored in the
なお、誤差推定部142は、算出したオフセットOFとエッジの急峻度σとの組み合わせが誤差テーブルに存在しない場合、算出したオフセットOFとエッジの急峻度σとの組み合わせの周辺の組み合わせに基づいて、推定位相差の誤差eを補間してもよい。あるいは、誤差推定部142は、算出したオフセットOFとエッジの急峻度σとの組み合わせに最も近い組み合わせを誤差テーブルから選択し、選択した組み合わせの推定位相差の誤差eを、位相差の算出誤差として推定してもよい。
Note that, when the combination of the calculated offset OF and the edge steepness σ does not exist in the error table, the
誤差テーブルの構成は、図6に示す例に限定されない。例えば、オフセットOFは、画素間隔pに対する比率で表されてもよい。あるいは、オフセットOFの項目は、省かれてもよい。すなわち、誤差テーブルは、エッジの急峻度σと推定位相差の誤差eとの関係を示すテーブルでもよい。この場合、例えば、エッジの急峻度σ毎に、複数のオフセットOFにおける推定位相差の誤差eの平均を算出し、複数のオフセットOFにおける推定位相差の誤差eの平均をエッジの急峻度σの推定位相差の誤差eとしてもよい。あるいは、複数のオフセットOFのうちの1つ(例えば、オフセットOF=4)の推定位相差の誤差eを、エッジの急峻度σの推定位相差の誤差eとしてもよい。 The configuration of the error table is not limited to the example shown in FIG. For example, the offset OF may be expressed as a ratio to the pixel interval p. Alternatively, the item of offset OF may be omitted. In other words, the error table may be a table showing the relationship between the edge steepness σ and the estimated phase difference error e. In this case, for example, for each edge steepness σ, the average of the estimated phase difference errors e at the plurality of offsets OF is calculated, and the average of the estimated phase difference errors e at the plurality of offsets OF is calculated as the edge steepness σ. An error e of the estimated phase difference may be used. Alternatively, the estimated phase difference error e of one of the plurality of offsets OF (for example, offset OF = 4) may be used as the estimated phase difference error e of the edge steepness σ.
図7は、図2に示した撮像装置12の動作の一例を示す。図7に示す動作は、撮像装置の制御方法の一態様である。なお、図7は、位相差検出方式とコントラスト方式との両方を採用したハイブリット方式におけるオートフォーカス制御を実行する場合の撮像装置12の動作の一例を示す。ステップS200、S300、S400の処理は、位相差検出方式の1つである像面位相差方式のオートフォーカス制御に対応し、ステップS500、S600、S700、S800、S900の処理は、コントラスト方式のオートフォーカス制御に対応する。以下、像面位相差方式のオートフォーカス制御は、像面位相差AF(Auto Focus)とも称され、コントラスト方式のオートフォーカス制御は、コントラストAFとも称される。
FIG. 7 shows an example of the operation of the
ステップS100では、測距領域選択部112は、図2で説明したように、撮像素子30から受けた入力画像IMGから、測距領域RARを選択する。以下、入力画像IMGを撮像したときのレンズ20の位置は、レンズ20の開始位置とも称される。
In step S100, the distance measurement
次に、ステップS200では、測距装置102は、位相差算出処理を実行する。なお、位相差算出処理の詳細は、図8で説明する。位相差算出処理により、測距領域RAR内の位相差の代表値である代表位相差が算出されるとともに、代表位相差の誤差が推定される。
Next, in step S200, the
次に、ステップS300では、焦点調整部200は、測距領域RARにおける位相差の算出値および算出誤差に基づいて、コントラストAFの探索範囲を決定する。すなわち、焦点調整部200は、ステップS200の位相差算出処理により算出される代表位相差および代表位相差の誤差に基づいて、コントラストAFの探索範囲を決定する。例えば、焦点調整部200は、代表位相差に基づいて合焦位置を推定し、推定した合焦位置を中心にして代表位相差の誤差に対応する範囲をコントラストAFの探索範囲に決定する。
Next, in step S300, the
次に、ステップS400では、焦点調整部200は、合焦位置付近までレンズ20を駆動する。例えば、焦点調整部200は、ステップS300で決定した探索範囲の端のうち、レンズ20の開始位置からの距離が短い方にレンズ20を駆動する。以下、探索範囲の端のうち、レンズ20の開始位置からの距離が短い方は探索範囲の始点とも称され、レンズ20の開始位置からの距離が長い方は探索範囲の終点とも称される。
Next, in step S400, the
次に、ステップS500では、焦点調整部200は、ステップS400で駆動されたレンズ20の位置で撮像された画像における測距領域RARのコントラストを算出する。
Next, in step S500, the
次に、ステップS600では、焦点調整部200は、レンズ20を駆動する。例えば、焦点調整部200は、探索範囲の終点方向に所定の量だけレンズ20を駆動する。
Next, in step S600, the
次に、ステップS700では、焦点調整部200は、ステップS600で駆動されたレンズ20の位置で撮像された画像における測距領域RARのコントラストを算出する。
Next, in step S700, the
次に、ステップS800では、焦点調整部200は、コントラストのピークを検出したか否かを判定する。コントラストのピークが検出された場合、撮像装置12の動作は、ステップS900に移る。一方、コントラストのピークが検出されない場合、撮像装置12の動作は、ステップS600に戻る。このように、コントラストAFでは、コントラストの最も高い画像を検出するまでレンズ20の位置を移動させて画像のコントラストを逐次解析する。
In step S800, the
ステップS900では、焦点調整部200は、コントラストがピークになるレンズ20の位置までレンズ20を駆動する。これにより、レンズ20が合焦位置まで移動し、焦点の調整が終了する。
In step S900, the
なお、撮像装置12の動作は、図7に示す例に限定されない。例えば、撮像装置12は、像面位相差AFのみを実行して焦点を調整してもよい。この場合、焦点調整部200は、ステップ400において、ステップS300で推定した合焦位置にレンズ20を駆動して、焦点の調整を終了する。
Note that the operation of the
図8は、図7に示した位相差算出処理の一例を示す。なお、図8に示す動作は、図2に示した測距装置102の動作に対応する。また、位相差算出処理、すなわち、測距装置102の動作は、図8に示す例に限定されない。
FIG. 8 shows an example of the phase difference calculation process shown in FIG. Note that the operation shown in FIG. 8 corresponds to the operation of the
ステップS210では、局所領域設定部114は、図2で説明したように、図7に示したステップS100で選択された測距領域RAR内に、局所領域LARを設定する。
In step S210, the local
次に、ステップS220では、位相差算出部122は、ステップS220で設定された局所領域LARのうち、位相差が算出されていない局所領域LARを1つ選択する。
Next, in step S220, the phase
次に、ステップS230では、位相差算出部122は、位相差算出用の一対の画像IMGfを、ステップS220で選択した局所領域LARから取得する。
Next, in step S230, the phase
次に、ステップS240では、位相差算出部122は、ステップS220で選択した局所領域LARの位相差を算出する。すなわち、位相差算出部122は、ステップS230で取得した一対の画像IMGf間の位相差を算出する。
Next, in step S240, the phase
次に、ステップS250では、特徴算出部132は、ステップS230で取得した一対の画像IMGfの形状の特徴として、一対の画像IMGfのエッジの急峻度σを算出する。例えば、特徴算出部132は、図4で説明したように、一対の画像IMGfのエッジの急峻度σを、位相差算出用の画素P2の列における互いに隣接する画素P2の画素値の差分dを用いて算出する。
Next, in step S250, the
次に、ステップS260では、誤差推定部142は、図2および図6で説明したように、精度情報AINF(例えば、図6に示した誤差テーブル)を用いて、位相差の算出誤差を推定する。例えば、誤差推定部142は、ステップS240で算出された位相差からオフセットOFを算出する。オフセットは、図5で説明した式(2)を用いて算出されてもよいし、フィッティング前後の差分絶対値和SADの分布を比較することにより算出されてもよい。
Next, in step S260, the
例えば、フィッティング前後の差分絶対値和SADの分布を比較する方法では、フィッティング前(整数単位)の差分絶対値和SADのうち、小さい方から2つの差分絶対値和SADを特定する。そして、フィッティング前後の差分絶対値和SADの分布を比較する方法では、特定した2つの差分絶対値和SADにそれぞれ対応する位相差を”s1”、”s2”と定義する(s1<s2)。また、フィッティング後(小数単位)の差分絶対値和SADの最小値に対応する位相差(図3に示した推定シフト量)は、”s0”と定義される。この場合、オフセットOFは、位相差s1、s0の差分と位相差s2、s0の差分との比(|s0−s1|:|s2−s0|)から算出される。なお、位相差s2から位相差s1を減算した結果は、図5で説明した式(2)の画素間隔pに対応する。また、位相差s1は、式(2)の“k×p”に対応し、位相差s0は、式(2)の位相差sに対応する。 For example, in the method of comparing the distribution of the difference absolute value sum SAD before and after the fitting, two difference absolute value sums SAD are specified from the smaller one of the difference absolute value sums SAD before fitting (integer unit). Then, in the method of comparing the distribution of the difference absolute value sum SAD before and after the fitting, the phase differences corresponding to the two specified difference absolute value sums SAD are defined as “s1” and “s2” (s1 <s2). Further, the phase difference (estimated shift amount shown in FIG. 3) corresponding to the minimum value of the sum of absolute differences SAD after fitting (decimal unit) is defined as “s0”. In this case, the offset OF is calculated from the ratio (| s0−s1 |: | s2−s0 |) of the difference between the phase differences s1 and s0 and the difference between the phase differences s2 and s0. Note that the result of subtracting the phase difference s1 from the phase difference s2 corresponds to the pixel interval p in Expression (2) described with reference to FIG. Further, the phase difference s1 corresponds to “k × p” in Expression (2), and the phase difference s0 corresponds to the phase difference s in Expression (2).
誤差推定部142は、算出したオフセットOFとステップS250で算出されたエッジの急峻度σとの組み合わせに対応する推定位相差の誤差eを精度情報AINF(誤差テーブル)から推定する。これにより、ステップS220で選択した局所領域LARにおける位相差の算出誤差が推定される。ステップS260の処理が実行された後、測距装置102の動作は、ステップS270に移る。
The
ステップS270では、位相差算出部122は、ステップS220で設定された全ての局所領域LARに対して、位相差を算出したか否かを判定する。全ての局所領域LARに対して位相差が算出された場合、測距装置102の動作は、ステップS280に移る。一方、位相差が算出されていない局所領域LARが存在する場合、測距装置102の動作は、ステップS220に戻る。
In step S270, the phase
ステップS280では、代表位相差算出部150は、図2で説明したように、測距領域RAR内の位相差の代表値である代表位相差を算出する。例えば、ステップS210において、局所領域LARが図2に示したように設定された場合、代表位相差算出部150は、図2に示した局所領域LAR1−LAR9の位相差を、局所領域LAR1−LAR9の算出誤差に基づく重み付け係数で加重平均する。そして、代表位相差算出部150は、加重平均の結果を代表位相差とする。ステップS280の処理が実行された後、測距装置102の動作は、ステップS290に移る。
In step S280, the representative phase
ステップS290では、代表位相差算出部150は、図2で説明したように、測距領域RAR内の位相差の代表値の誤差(代表位相差の誤差)を推定する。これにより、位相差算出処理が終了し、撮像装置12の動作は、図7に示したステップS300に移る。
In step S290, the representative phase
図9は、焦点の調整方法の一例を示す。なお、図9では、比較例として、位相差の算出誤差の推定精度が測距装置102に比べて低い測距装置を用いた場合を括弧内に示す。図9に示す例では、像面位相差AFは、レンズ20が開始位置のときに撮像された位相差算出用の一対の画像IMGfを用いて実行される。
FIG. 9 shows an example of a focus adjustment method. In FIG. 9, as a comparative example, a case where a distance measuring device whose estimation accuracy of the phase difference calculation error is lower than that of the
例えば、撮像装置12は、位相差算出用の一対の画像IMGfを用いて像面位相差AFを実行し、コントラストAFの探索範囲を決定する。そして、撮像装置12は、探索範囲の始点までレンズ20を駆動して撮像し、撮像した画像のコントラストを算出する。次に、撮像装置12は、探索範囲の終点方向に所定の量だけレンズ20を駆動して撮像し、撮像した画像のコントラストを算出する。撮像装置12は、コントラストの最も高い画像を検出するまでレンズ20の位置を探索範囲の終点方向に所定の量だけ移動させて画像のコントラストを逐次解析する。
For example, the
そして、撮像装置12は、コントラストのピークを検出した場合、コントラストがピークになるレンズ20の位置、すなわち、合焦位置までレンズ20を戻す。これにより、焦点の調整が終了する。
When the
なお、比較例では、位相差の算出誤差の推定精度が測距装置102に比べて低い測距装置が用いられる。このため、比較例の像面位相差AFで推定された算出誤差が測距装置102による像面位相差AFで推定された算出誤差と同じ場合でも、探索範囲は、測距装置102で推定された算出誤差に基づいて設定される探索範囲より広く設定される。このように、比較例では、探索範囲を広く設定することにより、探索範囲内に合焦位置が存在しない状態が発生することを抑止する。しかしながら、探索範囲を広く設定すると、合焦までの時間が長くなる。
In the comparative example, a distance measuring device whose estimation accuracy of the phase difference calculation error is lower than that of the
これに対し、図2に示す撮像装置12は、位相差の算出誤差の推定精度を向上させることができるため、比較例に比べて探索範囲を狭くでき、合焦までの時間を短縮できる。
On the other hand, since the
以上、図2から図9に示す実施形態においても、図1に示した実施形態と同様の効果を得ることができる。例えば、測距装置102は、一対の画像IMGf間の位相差を算出するとともに、一対の画像IMGfのエッジの急峻度σを位相差算出用の画素PX2の列により定まる画素間の画素値の差dに基づいて算出する。さらに、測距装置102は、位相差の算出値と位相差算出用の画素PX2の列における画素間隔pとのオフセットOFを算出する。
As described above, also in the embodiment shown in FIG. 2 to FIG. 9, the same effect as that of the embodiment shown in FIG. 1 can be obtained. For example, the
そして、測距装置102は、一対の画像IMGfのエッジの急峻度σとオフセットOFとの組み合わせに対応する推定位相差の誤差eを精度情報AINFから推定する。これにより、一対の画像IMGf間の位相差の算出値の誤差である算出誤差が推定される。この結果、測距装置102は、一対の画像IMGfのエッジの急峻度σおよび位相差算出用の画素PX2の列における画素間隔pに拘わらず、すなわち、被写体および撮像素子30によらず、一対の画像IMGf間の位相差の算出値の誤差を精度よく推定できる。すなわち、測距装置102は、位相差検出方式により算出される位相差の信頼度の推定精度を向上させることができる。これにより、撮像装置12は、例えば、コントラスト方式における探索範囲を適切に設定でき、合焦までの時間を短縮できる。
Then, the
さらに、撮像装置12は、複数の局所領域LARの位相差を、各局所領域LARの算出誤差に基づく重み付け係数で加重平均する。そして、撮像装置12は、加重平均の結果を複数の局所領域LARの位相差の代表値である代表位相差とする。加重平均に用いる重み付け係数が精度の高い算出誤差に基づいて決定されるため、加重平均の結果である代表位相差の算出精度を向上させることができる。この場合、位相差検出方式のオートフォーカス制御による焦点の調整精度を向上させることができる。
Furthermore, the
図10は、撮像装置および撮像装置の制御方法の別の実施形態を示す。図1から図9で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図10に示す撮像装置14は、図2に示した測距装置102の代わりに測距装置104を有することを除いて、図2に示した撮像装置12と同一または同様である。例えば、撮像装置14は、レンズ20と撮像素子30と測距装置104と焦点調整部200とを有するデジタルカメラである。
FIG. 10 shows another embodiment of the imaging device and the control method of the imaging device. Elements that are the same as or similar to those described in FIGS. 1 to 9 are given the same or similar reference numerals, and detailed descriptions thereof are omitted. The
測距装置104では、図2に示した誤差推定部142の代わりに第1誤差推定部142aが設けられ、第2誤差推定部160および誤差設定部170が図2に示した測距装置102に追加される。測距装置104のその他の構成は、測距装置102と同一または同様である。例えば、測距装置104は、記憶部110、測距領域選択部112、局所領域設定部114、位相差算出部122、特徴算出部132、第1誤差推定部142a、代表位相差算出部150、第2誤差推定部160および誤差設定部170を有する。そして、測距装置104は、レンズ20の合焦時の位置からのずれ量に応じて発生する一対の画像IMGf間の位相差を算出する。
In the
第1誤差推定部142aは、各局所領域LARにおける位相差の算出誤差を示す情報ERINF1aの出力先を除いて、図2に示した誤差推定部142と同一または同様である。例えば、第1誤差推定部142aは、各局所領域LARにおける位相差の算出誤差を示す情報ERINF1aを、誤差設定部170に出力する。
The
第2誤差推定部160は、撮像素子30により撮像された画像IMGを示す情報を受け、各局所領域LARにおける一対の画像IMGf間の位相差の算出値を示す情報PDINF1を位相差算出部122から受ける。そして、第2誤差推定部160は、一対の画像IMGf間の位相差の算出値に基づいて一対の画像IMGfの一方をシフトした場合の一対の画像IMGf間の差分に基づく相関値を用いて、位相差の算出誤差を複数の局所領域LAR毎に推定する。相関値は、例えば、位相差算出部122により算出された位相差に対応する差分絶対値和SADである。
The
例えば、第2誤差推定部160は、位相差算出部122により算出された位相差に対応する差分絶対値和SADと、画素P2の列における画像のコントラストαとを用いて、信頼度rを算出する。コントラストαは、画素P2の列における最大の画素値と最小の画素値との差分である。また、信頼度rは、差分絶対値和SAD、コントラストαおよび係数cを用いて、式(4)で表される。
For example, the second
r=c×α×(1/SAD) ・・・(4)
式(4)の係数cは、例えば、信頼度rから推定される算出誤差と第1誤差推定部142aで推定される位相差の算出誤差とのスケールを合わせるための係数であり、予め推定された値が用いられる。
r = c × α × (1 / SAD) (4)
The coefficient c in the equation (4) is a coefficient for adjusting the scale of the calculation error estimated from the reliability r and the calculation error of the phase difference estimated by the first
第2誤差推定部160は、位相差の算出誤差と信頼度rとの関係を示す情報であって、予め取得された変換情報を用いて、信頼度rから算出誤差を推定する。そして、第2誤差推定部160は、各局所領域LARにおける位相差の算出誤差を示す情報ERINF1bを、誤差設定部170に出力する。なお、第2誤差推定部160は、情報PDINF1の代わりに、一対の画像IMGf間の位相差に対応する差分絶対値和SADを示す情報を位相差算出部122から受けてもよい。
The
誤差設定部170は、第1誤差推定部142aで推定した位相差の算出誤差と第2誤差推定部160で推定した位相差の算出誤差とのうちの大きい方を、代表位相差算出部150で使用する算出誤差に設定する。例えば、誤差設定部170は、第1誤差推定部142aで推定した位相差の算出誤差と第2誤差推定部160で推定した位相差の算出誤差とのうちの大きい方の算出誤差を示す情報ERINF1cを、代表位相差算出部150に出力する。そして、代表位相差算出部150は、情報ERINF1cで示される位相差の算出誤差に基づいて、代表位相差の誤差を推定する。
The
なお、撮像装置14の構成は、図10に示す例に限定されない。例えば、図1に示した測距装置100に第2誤差推定部160および誤差設定部170が追加されてもよい。この場合、誤差設定部170は、図1に示した誤差推定部140で推定した位相差の算出誤差と第2誤差推定部160で推定した位相差の算出誤差とのうちの大きい方の算出誤差を示す情報ERINF1cを、焦点調整部200に出力する。また、例えば、撮像装置14は、精度情報AINFを生成する精度情報生成部を有してもよい。
The configuration of the
図11は、図10に示した測距装置104の動作の一例を示す。図11に示す動作は、撮像装置の制御方法の一態様である。なお、撮像装置14の動作は、図7に示した動作と同一または同様である。図7に示した位相差算出処理として、図11に示す動作が実行される。図11に示す動作は、ステップ242およびステップS262が図8に示す動作に追加されることを除いて、図8に示す動作と同一または同様である。ステップ242およびステップS262以外の処理については、詳細な説明を省略する。
FIG. 11 shows an example of the operation of the
ステップS242の処理は、例えば、ステップS240の処理が実行された後、実行され、ステップS262の処理は、ステップS260の処理が実行された後、実行される。 The process of step S242 is executed after the process of step S240 is executed, for example, and the process of step S262 is executed after the process of step S260 is executed.
ステップS242では、第2誤差推定部160は、図10で説明したように、一対の画像IMGfにおける差分絶対値和SAD等の一対の画像IMGf間の相関値から位相差の算出誤差を推定する。ステップS242の処理が実行された後、測距装置104の動作は、ステップS250に移る。
In step S242, as described with reference to FIG. 10, the second
ステップS262では、誤差設定部170は、図10で説明したように、第1誤差推定部142aで推定した位相差の算出誤差と第2誤差推定部160で推定した位相差の算出誤差とのうちの大きい方の算出誤差を、所領域LARの位相差の算出誤差に決定する。すなわち、誤差設定部170は、ステップS260で推定された位相差の算出誤差とステップS242で推定された位相差の算出誤差とのうちの大きい方の算出誤差を、所領域LARの位相差の算出誤差に決定する。ステップS262の処理が実行された後、測距装置104の動作は、ステップS270に移る。
In step S262, as described with reference to FIG. 10, the
なお、測距装置104の動作、すなわち、位相差算出処理は、図11に示す例に限定されない。例えば、ステップS242の処理は、ステップS260の処理が実行された後、実行されてもよい。
Note that the operation of the
以上、図10から図11に示す実施形態においても、図2から図9に示した実施形態と同様の効果を得ることができる。例えば、測距装置104は、一対の画像IMGfのエッジの急峻度σとオフセットOFとの組み合わせに対応する推定位相差の誤差eを精度情報AINFから推定する。これにより、一対の画像IMGf間の位相差の算出値の誤差である算出誤差が推定される。この結果、測距装置104は、一対の画像IMGfのエッジの急峻度σおよび位相差算出用の画素PX2の列における画素間隔pに拘わらず、すなわち、被写体および撮像素子30によらず、一対の画像IMGf間の位相差の算出値の誤差を精度よく推定できる。すなわち、測距装置104は、位相差検出方式により算出される位相差の信頼度の推定精度を向上させることができる。これにより、撮像装置14は、例えば、コントラスト方式における探索範囲を適切に設定でき、合焦までの時間を短縮できる。
As described above, also in the embodiment shown in FIGS. 10 to 11, the same effect as that of the embodiment shown in FIGS. 2 to 9 can be obtained. For example, the
さらに、測距装置104は、2通りの方法で推定した位相差の算出誤差のうち、算出誤差が大きい方を局所領域LARにおける位相差の算出誤差として推定する。これにより、位相差の算出誤差の推定精度を向上させることができる。この結果、例えば、撮像装置14は、算出誤差に対応した範囲をコントラストAFの探索範囲に設定した場合に、探索範囲内に合焦位置が存在しない状態が発生することを抑止できる。
Further, the
以上の実施形態において説明した発明を整理して、付記として開示する。
(付記1)
レンズの互いに異なる領域を通過した被写体からの光束に基づいて位相差算出用の一対の画像を生成する一対の画素の列を含む撮像素子と、前記レンズの合焦時の位置からのずれ量に応じて発生する前記一対の画像間の位相差を算出する測距装置と、前記測距装置により算出された前記一対の画像間の位相差に基づいて焦点を調整する焦点調整部とを備え、
前記測距装置は、
前記一対の画像間の位相差を算出する位相差算出部と、
前記一対の画像における互いに隣接する画素間での画素値の変化の度合いであるエッジの急峻度を、前記画素の列における画素間の画素値の差に基づいて算出する特徴算出部と、
エッジの急峻度と位相差の算出値の誤差との関係を示す情報であって、予め取得された精度情報を記憶する記憶部と、
前記一対の画像間の位相差の算出値の誤差である算出誤差を、前記精度情報を用いて、前記一対の画像のエッジの急峻度から推定する第1誤差推定部とを有し、
前記一対の画像間の位相差の算出値および前記算出誤差を前記焦点調整部に通知する
ことを特徴とする撮像装置。
(付記2)
付記1に記載の撮像装置において、
前記撮像素子は、前記一対の画素の列が配置される局所領域を複数有し、
前記位相差算出部は、前記一対の画像間の位相差を、複数の前記局所領域毎に算出し、
前記特徴算出部は、前記一対の画像のエッジの急峻度を複数の前記局所領域毎に算出し、
前記第1誤差推定部は、前記算出誤差を複数の前記局所領域毎に推定し、
前記測距装置は、
前記算出誤差が大きくなるにしたがい小さくなる重み付け係数を複数の前記局所領域毎に算出し、複数の前記局所領域毎に算出された前記一対の画像間の位相差を前記重み付け係数で加重平均して代表位相差を算出し、前記代表位相差の誤差を複数の前記局所領域毎に推定された複数の前記算出誤差に基づいて推定し、前記代表位相差および前記代表位相差の誤差を前記一対の画像間の位相差の算出値および前記算出誤差として前記焦点調整部に通知する代表位相差算出部をさらに有する
ことを特徴とする撮像装置。
(付記3)
付記2に記載の撮像装置において、
前記測距装置は、
前記一対の画像間の位相差の算出値に基づいて前記一対の画像の一方をシフトした場合の前記一対の画像間の差分に基づく相関値を用いて、前記算出誤差を複数の前記局所領域毎に推定する第2誤差推定部と、
前記第1誤差推定部で推定した前記算出誤差と前記第2誤差推定部で推定した前記算出誤差とのうちの大きい方を、前記代表位相差算出部で使用する前記算出誤差に設定する誤差設定部とをさらに有する
ことを特徴とする撮像装置。
(付記4)
付記1ないし付記3のいずれか1項に記載の撮像装置において、
前記精度情報は、前記画素の列の画素間隔を基準単位として位相差を表した場合の位相差の端数と、位相差の算出値の誤差との関係を示す情報をさらに含み、
前記第1誤差推定部は、前記一対の画像間の位相差の算出値における前記端数と前記一対の画像のエッジの急峻度と前記精度情報とに基づいて、前記算出誤差を推定する
ことを特徴とする撮像装置。
(付記5)
付記1に記載の撮像装置において、
前記測距装置は、
前記一対の画像間の位相差の算出値に基づいて前記一対の画像の一方をシフトした場合の前記一対の画像間の差分に基づく相関値を用いて、前記算出誤差を推定する第2誤差推定部と、
前記第1誤差推定部で推定した前記算出誤差と前記第2誤差推定部で推定した前記算出誤差とのうちの大きい方を、前記焦点調整部に通知する前記算出誤差に設定する誤差設定部とをさらに有する
ことを特徴とする撮像装置。
(付記6)
レンズの互いに異なる領域を通過した被写体からの光束に基づいて位相差算出用の一対の画像を生成する一対の画素の列を含む撮像素子と、前記レンズの合焦時の位置からのずれ量に応じて発生する前記一対の画像間の位相差を算出する測距装置と、前記測距装置により算出された前記一対の画像間の位相差に基づいて焦点を調整する焦点調整部とを有する撮像装置の制御方法において、
前記測距装置が、
前記一対の画像間の位相差を算出し、
前記一対の画像における互いに隣接する画素間での画素値の変化の度合いであるエッジの急峻度を、前記画素の列における画素間の画素値の差に基づいて算出し、
エッジの急峻度と位相差の算出値の誤差との関係を示す情報であって、予め取得された精度情報を用いて、前記一対の画像間の位相差の算出値の誤差である算出誤差を前記一対の画像のエッジの急峻度から推定し、
前記一対の画像間の位相差の算出値および前記算出誤差を前記焦点調整部に通知する
ことを特徴とする撮像装置の制御方法。
The invention described in the above embodiments is organized and disclosed as an appendix.
(Appendix 1)
An imaging element including a pair of pixels that generate a pair of images for calculating a phase difference based on light beams from subjects that have passed through different areas of the lens, and an amount of deviation from the focusing position of the lens A distance measuring device that calculates a phase difference between the pair of images generated according to the method, and a focus adjustment unit that adjusts a focus based on the phase difference between the pair of images calculated by the distance measuring device;
The distance measuring device is
A phase difference calculating unit for calculating a phase difference between the pair of images;
A feature calculation unit that calculates a steepness of an edge, which is a degree of change in pixel value between adjacent pixels in the pair of images, based on a difference in pixel value between pixels in the column of pixels;
Information indicating the relationship between the steepness of the edge and the error of the calculated value of the phase difference, a storage unit that stores accuracy information acquired in advance,
A first error estimator that estimates a calculation error, which is an error of a calculated value of a phase difference between the pair of images, from the steepness of edges of the pair of images using the accuracy information;
The imaging apparatus, wherein the focus adjustment unit is notified of the calculated value of the phase difference between the pair of images and the calculation error.
(Appendix 2)
In the imaging device according to
The imaging device has a plurality of local regions where the pair of pixel columns are arranged,
The phase difference calculating unit calculates a phase difference between the pair of images for each of the plurality of local regions;
The feature calculation unit calculates the steepness of the edges of the pair of images for each of the plurality of local regions,
The first error estimation unit estimates the calculation error for each of the plurality of local regions,
The distance measuring device is
A weighting coefficient that decreases as the calculation error increases is calculated for each of the plurality of local areas, and a phase difference between the pair of images calculated for each of the plurality of local areas is weighted and averaged by the weighting coefficient. A representative phase difference is calculated, an error of the representative phase difference is estimated based on the plurality of calculation errors estimated for each of the plurality of local regions, and the representative phase difference and the error of the representative phase difference are An imaging apparatus, further comprising: a representative phase difference calculation unit that notifies a calculation value of a phase difference between images and the focus adjustment unit as the calculation error.
(Appendix 3)
In the imaging device according to
The distance measuring device is
Using the correlation value based on the difference between the pair of images when one of the pair of images is shifted based on the calculated value of the phase difference between the pair of images, the calculation error is calculated for each of the plurality of local regions. A second error estimator for estimating
An error setting for setting a larger one of the calculation error estimated by the first error estimation unit and the calculation error estimated by the second error estimation unit as the calculation error used by the representative phase difference calculation unit An imaging device.
(Appendix 4)
In the imaging device according to any one of
The accuracy information further includes information indicating a relationship between a fraction of the phase difference when a phase difference is expressed with a pixel interval of the column of pixels as a reference unit, and an error of a calculated value of the phase difference,
The first error estimation unit estimates the calculation error based on the fraction in the calculated value of the phase difference between the pair of images, the steepness of the edge of the pair of images, and the accuracy information. An imaging device.
(Appendix 5)
In the imaging device according to
The distance measuring device is
A second error estimation that estimates the calculation error using a correlation value based on a difference between the pair of images when one of the pair of images is shifted based on a calculated value of a phase difference between the pair of images. And
An error setting unit that sets a larger one of the calculation error estimated by the first error estimation unit and the calculation error estimated by the second error estimation unit to the calculation error to be notified to the focus adjustment unit; An imaging apparatus, further comprising:
(Appendix 6)
An imaging element including a pair of pixels that generate a pair of images for calculating a phase difference based on light beams from subjects that have passed through different areas of the lens, and an amount of deviation from the focusing position of the lens An imaging apparatus comprising: a distance measuring device that calculates a phase difference between the pair of images generated according to the response; and a focus adjustment unit that adjusts a focus based on the phase difference between the pair of images calculated by the distance measuring device. In the device control method,
The distance measuring device is
Calculating a phase difference between the pair of images;
A steepness of an edge, which is a degree of change in pixel value between adjacent pixels in the pair of images, is calculated based on a difference in pixel value between pixels in the pixel column;
Information indicating the relationship between the steepness of the edge and the error of the calculated value of the phase difference, and using the accuracy information acquired in advance, a calculation error that is an error of the calculated value of the phase difference between the pair of images is calculated. Estimated from the steepness of the edges of the pair of images,
A control method for an imaging apparatus, wherein the focus adjustment unit is notified of a calculated value of a phase difference between the pair of images and the calculation error.
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。 From the above detailed description, features and advantages of the embodiments will become apparent. This is intended to cover the features and advantages of the embodiments described above without departing from the spirit and scope of the claims. Also, any improvement and modification should be readily conceivable by those having ordinary knowledge in the art. Therefore, there is no intention to limit the scope of the inventive embodiments to those described above, and appropriate modifications and equivalents included in the scope disclosed in the embodiments can be used.
10、12、14‥撮像装置;20‥レンズ;30‥撮像素子;100、102、104‥測距装置;110‥記憶部;112‥測距領域選択部;114‥局所領域設定部;120、122‥位相差算出部;130、132‥特徴算出部;140、142‥誤差推定部;142a‥第1誤差推定部;150‥代表位相差算出部;160‥第2誤差推定部;170‥誤差設定部;200‥焦点調整部
DESCRIPTION OF
Claims (5)
前記測距装置は、
前記一対の画像間の位相差を算出する位相差算出部と、
前記一対の画像における互いに隣接する画素間での画素値の変化の度合いであるエッジの急峻度を、前記画素の列における画素間の画素値の差に基づいて算出する特徴算出部と、
エッジの急峻度と位相差の算出値の誤差との関係を示す情報であって、予め取得された精度情報を記憶する記憶部と、
前記一対の画像間の位相差の算出値の誤差である算出誤差を、前記精度情報を用いて、前記一対の画像のエッジの急峻度から推定する第1誤差推定部とを有し、
前記一対の画像間の位相差の算出値および前記算出誤差を前記焦点調整部に通知する
ことを特徴とする撮像装置。 An imaging element including a pair of pixels that generate a pair of images for calculating a phase difference based on light beams from subjects that have passed through different areas of the lens, and an amount of deviation from the focusing position of the lens A distance measuring device that calculates a phase difference between the pair of images generated according to the method, and a focus adjustment unit that adjusts a focus based on the phase difference between the pair of images calculated by the distance measuring device;
The distance measuring device is
A phase difference calculating unit for calculating a phase difference between the pair of images;
A feature calculation unit that calculates a steepness of an edge, which is a degree of change in pixel value between adjacent pixels in the pair of images, based on a difference in pixel value between pixels in the column of pixels;
Information indicating the relationship between the steepness of the edge and the error of the calculated value of the phase difference, a storage unit that stores accuracy information acquired in advance,
A first error estimator that estimates a calculation error, which is an error of a calculated value of a phase difference between the pair of images, from the steepness of edges of the pair of images using the accuracy information;
The imaging apparatus, wherein the focus adjustment unit is notified of the calculated value of the phase difference between the pair of images and the calculation error.
前記撮像素子は、前記一対の画素の列が配置される局所領域を複数有し、
前記位相差算出部は、前記一対の画像間の位相差を、複数の前記局所領域毎に算出し、
前記特徴算出部は、前記一対の画像のエッジの急峻度を複数の前記局所領域毎に算出し、
前記第1誤差推定部は、前記算出誤差を複数の前記局所領域毎に推定し、
前記測距装置は、
前記算出誤差が大きくなるにしたがい小さくなる重み付け係数を複数の前記局所領域毎に算出し、複数の前記局所領域毎に算出された前記一対の画像間の位相差を前記重み付け係数で加重平均して代表位相差を算出し、前記代表位相差の誤差を複数の前記局所領域毎に推定された複数の前記算出誤差に基づいて推定し、前記代表位相差および前記代表位相差の誤差を前記一対の画像間の位相差の算出値および前記算出誤差として前記焦点調整部に通知する代表位相差算出部をさらに有する
ことを特徴とする撮像装置。 The imaging device according to claim 1,
The imaging device has a plurality of local regions where the pair of pixel columns are arranged,
The phase difference calculating unit calculates a phase difference between the pair of images for each of the plurality of local regions;
The feature calculation unit calculates the steepness of the edges of the pair of images for each of the plurality of local regions,
The first error estimation unit estimates the calculation error for each of the plurality of local regions,
The distance measuring device is
A weighting coefficient that decreases as the calculation error increases is calculated for each of the plurality of local areas, and a phase difference between the pair of images calculated for each of the plurality of local areas is weighted and averaged by the weighting coefficient. A representative phase difference is calculated, an error of the representative phase difference is estimated based on the plurality of calculation errors estimated for each of the plurality of local regions, and the representative phase difference and the error of the representative phase difference are An imaging apparatus, further comprising: a representative phase difference calculation unit that notifies a calculation value of a phase difference between images and the focus adjustment unit as the calculation error.
前記測距装置は、
前記一対の画像間の位相差の算出値に基づいて前記一対の画像の一方をシフトした場合の前記一対の画像間の差分に基づく相関値を用いて、前記算出誤差を複数の前記局所領域毎に推定する第2誤差推定部と、
前記第1誤差推定部で推定した前記算出誤差と前記第2誤差推定部で推定した前記算出誤差とのうちの大きい方を、前記代表位相差算出部で使用する前記算出誤差に設定する誤差設定部とをさらに有する
ことを特徴とする撮像装置。 The imaging device according to claim 2,
The distance measuring device is
Using the correlation value based on the difference between the pair of images when one of the pair of images is shifted based on the calculated value of the phase difference between the pair of images, the calculation error is calculated for each of the plurality of local regions. A second error estimator for estimating
An error setting for setting a larger one of the calculation error estimated by the first error estimation unit and the calculation error estimated by the second error estimation unit as the calculation error used by the representative phase difference calculation unit An imaging device.
前記精度情報は、前記画素の列の画素間隔を基準単位として位相差を表した場合の位相差の端数と、位相差の算出値の誤差との関係を示す情報をさらに含み、
前記第1誤差推定部は、前記一対の画像間の位相差の算出値における前記端数と前記一対の画像のエッジの急峻度と前記精度情報とに基づいて、前記算出誤差を推定する
ことを特徴とする撮像装置。 The imaging apparatus according to any one of claims 1 to 3,
The accuracy information further includes information indicating a relationship between a fraction of the phase difference when a phase difference is expressed with a pixel interval of the column of pixels as a reference unit, and an error of a calculated value of the phase difference,
The first error estimation unit estimates the calculation error based on the fraction in the calculated value of the phase difference between the pair of images, the steepness of the edge of the pair of images, and the accuracy information. An imaging device.
前記測距装置が、
前記一対の画像間の位相差を算出し、
前記一対の画像における互いに隣接する画素間での画素値の変化の度合いであるエッジの急峻度を、前記画素の列における画素間の画素値の差に基づいて算出し、
エッジの急峻度と位相差の算出値の誤差との関係を示す情報であって、予め取得された精度情報を用いて、前記一対の画像間の位相差の算出値の誤差である算出誤差を前記一対の画像のエッジの急峻度から推定し、
前記一対の画像間の位相差の算出値および前記算出誤差を前記焦点調整部に通知する
ことを特徴とする撮像装置の制御方法。 An imaging element including a pair of pixels that generate a pair of images for calculating a phase difference based on light beams from subjects that have passed through different areas of the lens, and an amount of deviation from the focusing position of the lens An imaging apparatus comprising: a distance measuring device that calculates a phase difference between the pair of images generated according to the response; and a focus adjustment unit that adjusts a focus based on the phase difference between the pair of images calculated by the distance measuring device. In the device control method,
The distance measuring device is
Calculating a phase difference between the pair of images;
A steepness of an edge, which is a degree of change in pixel value between adjacent pixels in the pair of images, is calculated based on a difference in pixel value between pixels in the pixel column;
Information indicating the relationship between the steepness of the edge and the error of the calculated value of the phase difference, and using the accuracy information acquired in advance, a calculation error that is an error of the calculated value of the phase difference between the pair of images is calculated. Estimated from the steepness of the edges of the pair of images,
A control method for an imaging apparatus, wherein the focus adjustment unit is notified of a calculated value of a phase difference between the pair of images and the calculation error.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016017097A JP2017138355A (en) | 2016-02-01 | 2016-02-01 | Imaging device and imaging device control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016017097A JP2017138355A (en) | 2016-02-01 | 2016-02-01 | Imaging device and imaging device control method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017138355A true JP2017138355A (en) | 2017-08-10 |
Family
ID=59566805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016017097A Pending JP2017138355A (en) | 2016-02-01 | 2016-02-01 | Imaging device and imaging device control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017138355A (en) |
-
2016
- 2016-02-01 JP JP2016017097A patent/JP2017138355A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5066893B2 (en) | Correlation calculation method, correlation calculation device, focus detection device, and imaging device | |
JP6489932B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP6021780B2 (en) | Image data processing device, distance calculation device, imaging device, and image data processing method | |
KR101774167B1 (en) | Focus position detection device, focus position detection method, and computer program for focus position detection | |
JP5845023B2 (en) | FOCUS DETECTION DEVICE, LENS DEVICE HAVING THE SAME, AND IMAGING DEVICE | |
JP5157084B2 (en) | Correlation calculation device, focus detection device, and imaging device | |
JP6014452B2 (en) | FOCUS DETECTION DEVICE, LENS DEVICE HAVING THE SAME, AND IMAGING DEVICE | |
US10999491B2 (en) | Control apparatus, image capturing apparatus, control method, and storage medium | |
KR101715553B1 (en) | Focus position detection device, focus position detection method and a computer program for focus position detection | |
JP4926993B2 (en) | Focus detection apparatus and imaging apparatus | |
EP3276944B1 (en) | Image processing apparatus, image capturing apparatus, image processing method, and image processing program | |
JP6173549B2 (en) | Image data processing device, distance calculation device, imaging device, and image data processing method | |
JP2017049412A (en) | Imaging device, focus position detection device, focus position detection method and focus position detection computer program | |
JP2013218082A (en) | Imaging apparatus and control method for the same | |
JP4817552B2 (en) | Phase difference detection method, phase difference detection device, distance measuring device, and imaging device | |
JP2017138355A (en) | Imaging device and imaging device control method | |
JP6746738B2 (en) | Image processing device, imaging device, image processing method, and program | |
US20200294261A1 (en) | Three-dimensional measurement apparatus, image capturing apparatus, control method, and recording medium | |
JP2017116723A (en) | Imaging device, focus adjustment device, and focus adjustment program | |
JP2017083401A (en) | Distance detection device, imaging apparatus, and distance detection method | |
JP2023069386A (en) | Image measurement device, method and program | |
JP6598550B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP5932361B2 (en) | Distance information detection apparatus, distance information detection method, and camera | |
JP2014038191A (en) | Correlation calculation device and focus detection device | |
JP2021096320A (en) | Control device and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20170803 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170803 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170804 |