JP2016038428A - Focus detection device and method, and program as well as imaging device - Google Patents
Focus detection device and method, and program as well as imaging device Download PDFInfo
- Publication number
- JP2016038428A JP2016038428A JP2014160264A JP2014160264A JP2016038428A JP 2016038428 A JP2016038428 A JP 2016038428A JP 2014160264 A JP2014160264 A JP 2014160264A JP 2014160264 A JP2014160264 A JP 2014160264A JP 2016038428 A JP2016038428 A JP 2016038428A
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- image signals
- pair
- correlation
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
Description
本発明は、焦点検出装置及び方法、並びにプログラム、撮像装置に関し、特に、焦点検出装置及び方法、並びにプログラム、撮像装置に関し、特に、撮像装置における焦点検出装置および自動焦点検出技術に関する。 The present invention relates to a focus detection apparatus and method, a program, and an imaging apparatus, and more particularly to a focus detection apparatus and method, a program, and an imaging apparatus, and more particularly, to a focus detection apparatus and an automatic focus detection technique in the imaging apparatus.
従来、被写体像の光束を射出瞳面で分割して、それぞれを１対のラインセンサの各々に結像させ、ラインセンサで光電変換された各像信号の位相差に基づいて焦点検出を行う位相差検出方式の焦点検出装置が提案されている。例えば、特許文献１では、１対のラインセンサから得られる１対の像信号について、一方の像信号に対して他方の像信号を所定量ずつシフトさせたときのシフト量ごとの相関量を演算して記憶する。そして、記憶されている複数の相関量を対応するシフト量ごとに加算して加算相関量を求め、その加算相関量を用いて焦点検出を行うことを特徴とする。
Conventionally, the luminous flux of an object image is divided on the exit pupil plane, and each is formed on each of a pair of line sensors, and focus detection is performed based on the phase difference of each image signal photoelectrically converted by the line sensor. Phase detection type focus detection devices have been proposed. For example, in
また、撮像素子の一部の画素に焦点検出用の画素を離散的に設けて、被写体像の光束を射出瞳面で分割した光束を、それぞれ対応する１対の焦点検出用の画素に結像させ、上述した位相差検出方式で焦点検出を行う撮像装置が提案されている。 Also, focus detection pixels are discretely provided on some pixels of the image sensor, and light beams obtained by dividing the light beam of the subject image on the exit pupil plane are formed on a corresponding pair of focus detection pixels, respectively. In addition, an imaging apparatus that performs focus detection using the above-described phase difference detection method has been proposed.
また、特許文献２では、離散的に焦点検出用画素が配置された複数対の焦点検出用の画素列を備え、焦点検出用の画素列が並ぶ方向と直交する方向に、別の１対の焦点検出用の画素列が隣接して配置される撮像素子が提案されている。このような撮像素子において、被写体像に含まれるノイズが大きいと判定した場合は、隣接する同種類の像信号を近い配置の画素同士が加算されるよう画素単位で加算し、加算した像信号の位相差に基づいて焦点検出を行う。被写体像に含まれるノイズが大きくないと判定した場合は、１対の焦点検出用の画素列ごとに独立して算出された各位相差を平均して、その平均位相差に基づいて焦点検出を行うことを特徴とする。
Further, in
特許文献２と同様、撮像素子の一部に焦点検出用画素を設けて、複数のフレームにおける１対の焦点検出用の画素列を同一画素同士で加算した加算画素列を生成し、１対の加算画素列の位相差に基づいて焦点検出を行う撮像装置が提案されている（特許文献３参照）。
Similarly to
しかしながら、上記特許文献１のように、複数の相関量を対応するシフト量ごとに加算して加算相関量を求め、その加算相関量を用いて焦点検出を行う場合、条件によっては不具合が生じるおそれがある。例えば、元の１対のラインセンサにおける像信号にノイズが多く混入していると、ノイズの影響による疑似相関が表れてしまうため、疑似相関の結果を複数加算しても、正しい相関結果を得ることができない。
However, as in
また、上記特許文献３のように、複数のフレームにおける１対の焦点検出用の画素列を同一画素同士で加算して、その加算された１対の画素列の位相差に基づいて焦点検出を行う場合も、条件によっては不具合が生じるおそれがある。例えば、被写体あるいは撮像装置が動いてしまい、被写体像の輪郭がフレーム毎に異なる場合、同一画素同士で加算しても、輪郭を示す被写体像の信号が増幅されず、かえって加算することで輪郭が滲んだような信号が得られる。この場合、相関演算で求められる位相差にばらつき誤差が乗りやすくなり、結果として焦点検出精度が劣化してしまう。 Further, as in Patent Document 3, a pair of focus detection pixel rows in a plurality of frames are added together by the same pixel, and focus detection is performed based on the phase difference of the added pair of pixel rows. Even if it is carried out, there is a risk of malfunction depending on conditions. For example, if the subject or the imaging device moves and the contour of the subject image differs from frame to frame, even if the same pixels are added together, the signal of the subject image indicating the contour is not amplified. A blurred signal is obtained. In this case, a variation error is easily applied to the phase difference obtained by the correlation calculation, and as a result, the focus detection accuracy is deteriorated.
そこで、本発明の目的は、撮像素子から得られた１対の像信号の位相差に基づいて焦点検出を行う際に、焦点検出条件に応じて適切に信号増幅を行って高精度な焦点検出を行うことができる技術を提供することにある。 Accordingly, an object of the present invention is to perform high-precision focus detection by appropriately performing signal amplification according to focus detection conditions when performing focus detection based on the phase difference between a pair of image signals obtained from an image sensor. It is to provide a technology capable of performing the above.
上記目的を達成するために、本発明の焦点検出装置は、複数の画素の一部に互いに対をなす焦点検出用画素列を複数有し、１対の焦点検出用画素列から１対の像信号を出力する撮像手段と、前記１対の像信号から相関演算を行って相関量を算出し、算出した相関量を加算する第１の算出手段と、前記１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って相関量を算出する第２の算出手段と、動作モードを判定する判定手段と、前記判定手段により処理負荷の重い動作モードと判定された場合には、前記第１の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、前記判定手段により処理負荷の軽い動作モードと判定された場合には、前記第２の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出するデフォーカス量検出手段と、前記デフォーカス量検出手段により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出手段とを備えることを特徴とする。 In order to achieve the above object, a focus detection apparatus according to the present invention has a plurality of focus detection pixel arrays that are paired with each other in a part of a plurality of pixels, and a pair of images from a pair of focus detection pixel arrays. An imaging unit that outputs a signal, a first calculation unit that calculates a correlation amount by performing a correlation operation from the pair of image signals, and adds the calculated correlation amount, and the pair of image signals, A second calculation unit that adds image signals between corresponding pixels, calculates a correlation amount by performing a correlation operation from the added image signals, a determination unit that determines an operation mode, and a processing load is heavy due to the determination unit When the operation mode is determined, the defocus amount to the in-focus position is calculated based on the phase difference obtained from the correlation amount calculated by the first calculation unit, and the processing load is light by the determination unit. When the operation mode is determined, the second calculation is performed. A defocus amount detecting means for calculating a defocus amount to the in-focus position based on a phase difference obtained from the correlation amount calculated by the means, and a focus based on the defocus amount calculated by the defocus amount detecting means. Focus detection means for performing detection is provided.
本発明によれば、撮像素子から得られた１対の像信号の位相差に基づいて焦点検出を行う際に、焦点検出条件に応じて適切に信号増幅を行って高精度な焦点検出を行うことができる。 According to the present invention, when focus detection is performed based on a phase difference between a pair of image signals obtained from an image sensor, high-precision focus detection is performed by appropriately performing signal amplification in accordance with focus detection conditions. be able to.
以下、本発明の実施の形態を図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の一例であるデジタルカメラの概略構成を示す図である。
[First Embodiment]
FIG. 1 is a diagram illustrating a schematic configuration of a digital camera which is an example of an imaging apparatus according to the first embodiment of the present invention.
図１において、デジタルカメラは、レンズ部１００とカメラ部２００からなる。レンズ部１００は、不図示のマウント部のレンズ装着機構を介してカメラ部２００に着脱可能に取り付けられている。マウント部には、電気接点ユニット１０８が設けられている。この電気接点ユニット１０８には、通信クロックライン、データ転送ライン、データ受信ラインなどからなる通信バスライン用の端子がある。これらにより、レンズ部１００とカメラ部２００が通信可能になっている。
In FIG. 1, the digital camera includes a
レンズ部１００には、撮像光学系を構成し、フォーカスやズームを行うレンズ群１０１、入射光線を制御する絞り１０２が設けられている。また、レンズ群１０１のズームやフォーカスを行うためのステッピングモータからなる駆動系、及び駆動系を制御するレンズ駆動ユニット１０３が設けられている。レンズ駆動ユニット１０３などは焦点制御手段を構成する。
The
また、レンズ部１００には、絞り１０２の開口を制御する絞り制御ユニット１０４と、レンズ群１０１のズーム、フォーカス、絞りの各種光学設計値が記録された光学情報記録部１０６が設けられている。
In addition, the
レンズ駆動ユニット１０３、絞り制御ユニット１０４、および光学情報記録部１０６は、レンズ部１００全体の動作を制御するＣＰＵからなるレンズコントローラ１０５に接続されている。
The
また、レンズ部１００には、レンズ駆動ユニット１０３に内包されたステッピングモータの位相波形を、レンズ駆動ユニット１０３からレンズコントローラ１０５を通じて取得してレンズの位置情報を検出するレンズ位置検出部１０７が設けられている。
In addition, the
カメラ部２００は、レンズ部１００と電気接点ユニット１０８を介して通信を行い、レンズ群１０１のズームやフォーカス、絞り１０２の開口について制御要求を送信し、制御結果を受信する。
The
入射光線は、レンズ群１０１及び絞り１０２を介して、カメラ部２００内における不図示の光電変換素子及び現像演算を行うプロセッサからなる撮像部２１３へ導かれる。撮像部２１３では、入射した被写体像を光電変換して現像演算することで撮像データが得られる。
The incident light is guided through the
また、カメラ部２００には、カメラ部２００へ操作入力を行うための操作スイッチ２１４が設けられている。操作スイッチ２１４は、２段ストロークタイプのスイッチで構成されている。１段目のスイッチ（ＳＷ１）は、撮像信号を用いた測光や焦点検出など撮影準備動作を開始させるためのスイッチである。２段目のスイッチ（ＳＷ２）は、静止画を取得するため、撮像部２１３で電荷蓄積及び電荷読み出しといった撮影動作を開始させるためのスイッチである。
In addition, the
撮像部２１３は、１対の焦点検出用画素列を複数有する撮像素子である。１対の焦点検出用画素列から光電変換して得られた１対の像信号は、カメラコントローラ２１５と接続されているメモリ２１６に一時記憶される。メモリ２１６に一時記憶された１対の被写体像の像信号は、カメラコントローラ２１５と接続されている画素加算部２１７へ送られる。
The
画素加算部２１７は、１対の焦点検出用画素列から得られた１対の像信号に対して、位置的に対応する画素から得られた像信号を、加算カウンタ２１８でカウントされた回数が所定回数に達するまで加算する。加算された１対の像信号は、カメラコントローラ２１５と接続されている相関演算部２１９へ送られ、相関演算により像シフト量ごとの相関量が算出される。算出された相関量は、カメラコントローラ２１５と接続されている相関量加算部２２０で、加算カウンタ２１８で回数をカウントしながら、所定回数だけ加算される。加算された相関量は、位相差検出部２２１で最も相関量が高くなる位相差が算出される。
The
デフォーカス量検出部２２２は、位相差検出部２２１で算出された位相差とレンズ部１００の光学特性に基づいて、公知の位相差検出方式によりデフォーカス量を算出する。算出されたデフォーカス量は、デフォーカス量加算部２２３へ送られ、加算カウンタ２１８で回数をカウントしながら、所定回数だけ加算される。
The defocus
カメラコントローラ２１５は、電気接点ユニット１０８を介してレンズコントローラ１０５と制御情報を送受信し、デフォーカス量検出部２２２あるいはデフォーカス量加算部２２３で算出されたデフォーカス量に基づいて、レンズ群１０１の焦点位置を制御する。
The
本実施形態におけるデジタルカメラは、撮像部２１３で撮像された被写体像や各種の操作状況を表示する表示部２２４と、撮像部２１３の動作を後述する２つの動作モード、ライブビューモードあるいは動画記録モードに切り替えるための操作部２２５を備える。また、デジタルカメラでは、電源投入とともにライブビューモードが自動で設定され、撮像部２１３で撮像を開始して、撮像した被写体像が現像演算されて表示部２２４で表示される。撮像部２１３で撮像された静止画や動画は、所定のデータフォーマットで記録部２２６に記録される。
The digital camera according to the present embodiment includes a
次に、撮像部２１３における画素の配置について説明する。
Next, the arrangement of pixels in the
撮像部２１３は、記録表示のための被写体像を得る撮像画素と、後述する位相差検出方式の焦点検出を行うための焦点検出画素とを備える。撮像画素と焦点検出画素が配置された撮像部２１３の態様を図２に示す。
The
図２において、Ｒ，Ｇ，Ｂはそれぞれ赤フィルタ、緑フィルタ、青フィルタが配置された通常の撮像画素である。また、Ｓ１，Ｓ２は第１および第２の焦点検出画素であり、撮像画素とは光学特性が異なる。第１および第２の焦点検出画素（Ｓ１，Ｓ２）は、それぞれ離散的な１ラインで対をなしており、そのラインの対を単位にして焦点検出エリアが構成される。第１および第２の焦点検出画素（Ｓ１，Ｓ２）の対が上下に２つ配置されており、それぞれ第１の焦点検出エリアおよび第２の焦点検出エリアを構成する。 In FIG. 2, R, G, and B are normal imaging pixels in which a red filter, a green filter, and a blue filter are arranged, respectively. S1 and S2 are first and second focus detection pixels, which have optical characteristics different from those of the imaging pixels. Each of the first and second focus detection pixels (S1, S2) is paired with one discrete line, and a focus detection area is configured with the pair of lines as a unit. Two pairs of the first and second focus detection pixels (S1, S2) are arranged in the vertical direction, and constitute a first focus detection area and a second focus detection area, respectively.
図２に示すように、焦点検出画素は撮像部２１３に離散的に一列に並んでおり、第１の焦点検出画素Ｓ１の列と第２の焦点検出画素Ｓ２の列が対をなすように近接して配置される。
As shown in FIG. 2, the focus detection pixels are discretely arranged in a line in the
図３は、図２における第１の焦点検出画素Ｓ１の構造を示す図である。 FIG. 3 is a diagram showing the structure of the first focus detection pixel S1 in FIG.
図３において、第１の焦点検出画素Ｓ１の光入射側には、マイクロレンズ３０１が形成されている。３０２は、マイクロレンズ３０１を形成するための平面を構成する平滑層である。３０３は遮光層であり、第１の焦点検出画素Ｓ１の光電変換領域３０４の中心０に対して一方向に偏心した絞り開口部を有する。
In FIG. 3, a
図４は、図２における第２の焦点検出画素Ｓ２の構造を示す図である。 FIG. 4 is a diagram showing the structure of the second focus detection pixel S2 in FIG.
図４において、第２の焦点検出画素Ｓ２の光入射側には、マイクロレンズ４０１が形成されている。４０２は、マイクロレンズ４０１を形成するための平面を構成する平滑層である。４０３は遮光層であり、第２の焦点検出画素Ｓ２の光電変換領域４０４の中心０に対して、第１の焦点検出画素Ｓ１とは反対方向に偏心した絞り開口部を有する。
In FIG. 4, a
図３および図４に示す構成によれば、撮像光学系を第１の焦点検出画素Ｓ１から見た場合と第２の焦点検出画素Ｓ２から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価になる。 3 and 4, the pupil of the imaging optical system is symmetrical when the imaging optical system is viewed from the first focus detection pixel S1 and when viewed from the second focus detection pixel S2. Equivalent to being divided.
図２において、第１の焦点検出画素Ｓ１および第２の焦点検出画素Ｓ２を含む行には、撮像素子の画素数が多くなるにつれて近似した２像が形成されるようになる。撮像光学系が被写体に対してピントが合っている状態では、第１の焦点検出画素Ｓ１で形成される一列の像信号と、第２の焦点検出画素Ｓ２で形成される一列の像信号は互いに一致する。これに対して、撮像光学系のピントがずれているならば、第１の焦点検出画素Ｓ１で形成される一列の像信号と、第２の焦点検出画素Ｓ２で形成される一列の像信号には、位相差が生じる。そして、その位相差の方向は前ピン状態と後ピン状態とで逆になる。 In FIG. 2, two approximate images are formed in the row including the first focus detection pixel S1 and the second focus detection pixel S2 as the number of pixels of the image sensor increases. In a state where the imaging optical system is in focus with respect to the subject, the row of image signals formed by the first focus detection pixel S1 and the row of image signals formed by the second focus detection pixel S2 are mutually Match. On the other hand, if the imaging optical system is out of focus, the image signal of one row formed by the first focus detection pixel S1 and the image signal of one row formed by the second focus detection pixel S2 are changed. Causes a phase difference. The direction of the phase difference is reversed between the front pin state and the rear pin state.
図５は、ピントが合ったときの第１の焦点検出画素Ｓ１と第２の焦点検出画素Ｓ２の像信号の位相差を示す図であり、図６は、ピントが合う前の第１の焦点検出画素Ｓ１と第２の焦点検出画素Ｓ２の像信号の位相差を示す図である。 FIG. 5 is a diagram showing the phase difference between the image signals of the first focus detection pixel S1 and the second focus detection pixel S2 when in focus, and FIG. 6 shows the first focus before focus. It is a figure which shows the phase difference of the image signal of detection pixel S1 and 2nd focus detection pixel S2.
図５および図６において、両焦点検出画素Ｓ１，Ｓ２を互いに近づけて、それぞれをＡ，Ｂの点として示している。なお、撮像画素については省略している。 5 and FIG. 6, the two focus detection pixels S1 and S2 are brought close to each other and are shown as points A and B, respectively. Note that imaging pixels are omitted.
被写体上の特定点からの光束は、焦点検出画素Ａに対応する分割瞳を通って該焦点検出画素Ａに入射する光束ΦＬａと、焦点検出画素Ｂに対応する分割瞳を通って該焦点検出画素Ｂに入射する光束ΦＬｂとに分割される。これら２つの光束は、被写体上の同一点から入射しているため、撮像光学系のピントが合った状態では、図５に示すように、同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、第１の焦点検出画素Ａ（Ｓ１）からなる一列の像信号と、第２の焦点検出画素Ｂ（Ｓ２）からなる一列の像信号は互いに一致する。 The light beam from a specific point on the subject passes through the divided pupil corresponding to the focus detection pixel A, enters the focus detection pixel A, and passes through the divided pupil corresponding to the focus detection pixel B. It is divided into a light beam ΦLb incident on B. Since these two light beams are incident from the same point on the subject, when the imaging optical system is in focus, one point on the image sensor passes through the same microlens as shown in FIG. To reach. Therefore, the image signal of one column composed of the first focus detection pixels A (S1) and the image signal of the column composed of the second focus detection pixels B (S2) coincide with each other.
しかしながら、図６に示すように、ｘだけピントがずれている状態では、光束ΦＬａ，ΦＬｂのマイクロレンズへの入射角の変化分だけ両光束ΦＬａ，ΦＬｂの到達位置が互いにずれる。したがって、第１の焦点検出画素Ａ（Ｓ１）からなる一列の像信号と、第２の焦点検出画素Ｂ（Ｓ２）からなる一列の像信号には、位相差が生じる。 However, as shown in FIG. 6, in the state where the focus is shifted by x, the arrival positions of the two light beams ΦLa and ΦLb are shifted from each other by the change in the incident angle of the light beams ΦLa and ΦLb to the microlens. Therefore, there is a phase difference between the row of image signals composed of the first focus detection pixels A (S1) and the row of image signals composed of the second focus detection pixels B (S2).
図７は、ラインセンサａ及びラインセンサｂからなる一対のラインセンサにおける被写体像の位相差とレンズ群１０１の焦点位置のデフォーカス量との関係を示す図である。
FIG. 7 is a diagram illustrating the relationship between the phase difference of the subject image and the defocus amount of the focal position of the
図７に示すように、位相差が大きくなるにつれてデフォーカス量が単調に増加する。また、位相差の向きとデフォーカス量の向き（至近側／無限側）が対応する。 As shown in FIG. 7, the defocus amount monotonously increases as the phase difference increases. Further, the direction of the phase difference corresponds to the direction of the defocus amount (closest side / infinite side).
図８は、デフォーカス量が小さいときのラインセンサに投影される被写体像を表した模式図、図９は、デフォーカス量が大きいときのラインセンサに投影される被写体像を表した模式図である。 FIG. 8 is a schematic diagram showing a subject image projected on the line sensor when the defocus amount is small, and FIG. 9 is a schematic diagram showing a subject image projected on the line sensor when the defocus amount is large. is there.
瞳面で分割された光線がラインセンサ上に２次結像された被写体像であるＡ像及びＢ像は、それぞれ、ラインセンサａ及びラインセンサｂの光軸中心位置に対してオフセットを持って結像している。また、Ａ像とＢ像の各オフセットは光軸中心に対して対称である。 The A and B images, which are subject images obtained by secondarily focusing the light beam divided on the pupil plane on the line sensor, have an offset with respect to the optical axis center positions of the line sensor a and the line sensor b, respectively. An image is formed. Further, each offset of the A image and the B image is symmetric with respect to the optical axis center.
図８はデフォーカス量が小さい場合を示しており、図９はデフォーカス量が大きい場合を示している。図９における光軸中心位置に対するオフセットが、図８のそれに比べて大きくなっている。このように、レンズ群１０１の焦点位置のデフォーカス量に応じて、ラインセンサａとラインセンサｂにそれぞれ結像される２つの被写体像の位相差が変化する。位相差は、公知の手法によりデフォーカス量に変換することができ、さらにデフォーカス量とレンズ群１０１の倍率関係に基づき、公知の手法により被写体までの距離を算出することもできる。 次に、位相差検出方式による焦点検出結果を加算平均することによる、焦点検出結果の信頼性向上について説明する。
FIG. 8 shows a case where the defocus amount is small, and FIG. 9 shows a case where the defocus amount is large. The offset with respect to the optical axis center position in FIG. 9 is larger than that in FIG. In this way, the phase difference between the two subject images formed on the line sensor a and the line sensor b changes according to the defocus amount of the focal position of the
位相差検出方式による焦点検出では、カメラのフォーカス状態と被写体像の合焦位置との差分が検出される。焦点検出で得られるデフォーカス量が、例えば低輝度で十分な信号が得られていない場合、被写体像の信号に含まれるノイズの比率が高まるために信号に歪みが生じて、位相差を算出する際の相関演算に誤差が生じる。その結果、デフォーカス量にばらつきが生じて誤差が生じる。例えば、ノイズレベルより被写体像の信号レベルの方が大きい場合、焦点検出画素で得られる被写体像の信号は、ノイズによる変形が軽微なため、１対の被写体像の信号に基づくデフォーカス量は比較的正しい。この場合、同一条件で複数のデフォーカス量の結果を加算平均することで、デフォーカス量のばらつきを抑えることができ、焦点検出精度を向上できる。一方、被写体像の信号レベルよりノイズレベルの方が大きい場合、焦点検出画素で得られる被写体像の信号は、ノイズによる変形が著しく、１対の被写体像の信号に基づくデフォーカス量は、被写体像に無関係の誤った結果を示す。この場合、同一条件で複数のデフォーカス量の結果を加算平均しても、被写体像によらない結果の平均をとるため、結果サンプルをいくら増やしても正しい焦点検出結果が得られない。 In focus detection by the phase difference detection method, the difference between the focus state of the camera and the focus position of the subject image is detected. When the defocus amount obtained by focus detection is low, for example, when a sufficient signal is not obtained, the ratio of noise included in the signal of the subject image increases, so that the signal is distorted and the phase difference is calculated. An error occurs in the correlation calculation. As a result, the defocus amount varies and an error occurs. For example, when the signal level of the subject image is higher than the noise level, the subject image signal obtained by the focus detection pixel is not significantly deformed by noise, so the defocus amount based on the pair of subject image signals is compared. Right. In this case, by averaging the results of a plurality of defocus amounts under the same conditions, variations in the defocus amount can be suppressed, and focus detection accuracy can be improved. On the other hand, when the noise level is higher than the signal level of the subject image, the subject image signal obtained by the focus detection pixel is significantly deformed by noise, and the defocus amount based on the signal of the pair of subject images is the subject image. Indicates an incorrect result unrelated to. In this case, even if the results of a plurality of defocus amounts are added and averaged under the same conditions, the average of the results not depending on the subject image is averaged. Therefore, no matter how many result samples are increased, a correct focus detection result cannot be obtained.
そこで、本実施形態では、ノイズレベルより被写体像の信号レベルが低くなる低輝度といった被写体条件において、デフォーカス量の加算平均の手法を用いず、後述する別の手法で信頼性を向上させるように制御する。 Therefore, in this embodiment, in the subject condition such as low luminance in which the signal level of the subject image is lower than the noise level, the reliability is improved by another method to be described later without using the method of averaging the defocus amount. Control.
本実施形態におけるデジタルカメラは、撮像部２１３で撮像した被写体像を表示部２２４に適宜表示する。表示する動作モードは２種類あり、静止画を撮影するために構図を確認する目的で表示するライブビューモードと、動画を撮影する動画記録モードを有する。
The digital camera according to the present embodiment appropriately displays the subject image captured by the
動画記録モードは、記録部２２６が常時記録状態となるため、ライブビューモードと比べてカメラコントローラ２１５の処理負荷が増大する。このため、動画記録モード時には、焦点検出処理といった他の処理を軽負荷にすることが好ましい。
In the moving image recording mode, since the
図１０は、本発明の第１の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 10 is a flowchart showing the flow of the AF operation of the digital camera in the first embodiment of the present invention. This process is realized by the
デジタルカメラでは、電源オン後に、動作モードがライブビューモードに自動的に設定されて、撮像部２１３で撮像を連続的に行いつつ、撮像された被写体像が表示部２２４で表示されているものとする。
In the digital camera, after the power is turned on, the operation mode is automatically set to the live view mode, and the captured subject image is displayed on the
まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより処理が開始される。
First, when SW1 of the
ステップＳ１００１では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ１００２へ進む。
In step S1001, the
ステップＳ１００２では、カメラコントローラ２１５は、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ１００３へ進む。
In step S <b> 1002, the
ステップＳ１００３では、カメラコントローラ２１５は、ステップＳ１００２で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ１００４へ進む。
In step S1003, the
ステップＳ１００４では、カメラコントローラ２１５は、操作部２２５で動画記録モードが選択されていて、記録部２２６へ動画記録がなされているか判定する。処理負荷の重い動画記録中である場合は、後述する処理負荷の比較的軽い方法を行うために、ステップＳ１００５へ進む。一方、動画記録中でない場合は、ステップＳ１００９へ進む。
In step S <b> 1004, the
ステップＳ１００５では、ステップＳ１００３で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１００６へ進む。
In step S1005, the
ステップＳ１００６では、相関量加算部２２０がステップＳ１００５で算出した相関量を相関演算の像ずらし量ごとに対応するよう加算する。本実施形態では、加算カウンタ２１８のカウント値が所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。このように、相関演算の像ずらし量ごとに対応するよう相関量の値を加算するだけなので、加算にかかる処理負荷を比較的軽くできる。また、相関演算の像ずらし量ごとに対応するよう相関量を加算することで、仮に値にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１１０７へ進む。
In step S1006, the correlation
ステップＳ１００７では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ１００８へ進む。
In step S1007, the
ステップＳ１００８では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、所定回数の加算処理を終えているかを判定する。一方、加算カウンタ２１８のカウント値ｎが所定回数以上であれば、レンズ群１０１のフォーカス制御を行う動作に進めるため、ステップＳ１０１１へ進む。
In step S <b> 1008, the
一方、ステップＳ１００８で加算カウンタ２１８のカウント値ｎが所定回数未満であれば、ステップＳ１００２に戻る。これは、所定回数の加算ができるよう、撮像部２１３が複数有する１対の焦点検出画素列のうち、まだ像信号を取得していない画素列から像信号を取得し、残る１対の像信号に対して、上述したステップの処理を同様に行うためである。
On the other hand, if the count value n of the
ステップＳ１００９では、画素加算部２１７は、ステップＳ１００３で補正処理が行われた焦点検出用の１対の像信号に対して、位置的に対応する画素同士で加算する。本実施形態では、加算カウンタ２１８のカウント値が所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対して個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１０１０へ進む。
In step S1009, the
ステップＳ１０１０では、ステップＳ１００９で加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１００７へ進む。
In step S1010, the
ステップＳ１０１１では、ステップＳ１００６あるいはステップＳ１０１０で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１０１２へ進む。
In step S1011, the phase
ステップＳ１０１２では、算出されたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御が完了することでＡＦ動作が終了となる。
In step S1012, the focal position of the
本第１の実施形態によれば、処理負荷の重い動画記録モード時と処理負荷の軽い他モードの時とで、異なる焦点検出結果の信頼性向上手法を適切に選択させることができ、処理負荷のいかんにかかわらず、高精度な焦点検出を実現できる。 According to the first embodiment, it is possible to appropriately select different focus detection result reliability improvement methods in the moving image recording mode with a heavy processing load and the other mode with a light processing load. Regardless of the time, high-precision focus detection can be realized.
［第２の実施形態］
本発明の第２の実施の形態に係る撮像装置は、その構成（図１）が上記第１の実施の形態に係る撮像装置と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
[Second Embodiment]
The imaging apparatus according to the second embodiment of the present invention has the same configuration (FIG. 1) as that of the imaging apparatus according to the first embodiment, and the same parts as those in the first embodiment. The description will be omitted using the same reference numerals. Only differences from the first embodiment will be described below.
上記第１の実施形態では、処理負荷が高いモード時に、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、相関量の状態で加算することで、焦点検出の信頼性を向上させていた。本発明の第２の実施形態では、相関量の状態で加算する代わりに、相関量から算出されるデフォーカス量の状態で加算するものである。
In the first embodiment, focus detection is performed by adding, in a correlation amount state, image signals obtained from a pair of focus detection pixel arrays that the
図１１は、本発明の第２の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 11 is a flowchart showing a flow of AF operation of the digital camera according to the second embodiment of the present invention. This process is realized by the
デジタルカメラでは、電源オン後に、動作モードがライブビューモードに自動的に設定されて、撮像部２１３で撮像を連続的に行いつつ、撮像された被写体像が表示部２２４で表示されているものとする。
In the digital camera, after the power is turned on, the operation mode is automatically set to the live view mode, and the captured subject image is displayed on the
まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより処理が開始される。
First, when SW1 of the
ステップＳ１１０１では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ１１０２へ進む。
In step S1101, the
ステップＳ１１０２では、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ１１０３へ進む。
In step S1102, an image signal obtained from a pair of focus detection pixel arrays that the
ステップＳ１１０３では、カメラコントローラ２１５は、ステップＳ１１０２で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ１１０４へ進む。
In step S1103, the
ステップＳ１１０４では、カメラコントローラ２１５は、操作部２２５で動画記録モードが選択されていて、記録部２２６へ動画記録がなされているか判定する。処理負荷の重い動画記録中である場合は、後述する処理負荷の比較的軽い方法を行うために、ステップＳ１１０５へ進む。一方、動画記録中でない場合は、ステップＳ１１１０へ進む。
In step S <b> 1104, the
ステップＳ１１０５では、ステップＳ１１０３で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１１０６へ進む。
In step S1105, the
ステップＳ１１０６では、ステップＳ１１０５で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１１０７へ進む。
In step S1106, the phase
ステップＳ１１０７では、算出したデフォーカス量をデフォーカス量加算部２２３が加算平均する。本実施形態では、加算カウンタ２１８のカウント値が所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。デフォーカス量の値を加算平均するだけなので、加算平均にかかる処理負荷が非常に軽くできる。また、デフォーカス量を加算平均することで、仮にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算平均後、ステップＳ１１０８へ進む。
In step S1107, the defocus
ステップＳ１１０８では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ１１０９へ進む。
In step S1108, the
ステップＳ１１０９では、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、所定回数の加算処理を終えているかを判定する。加算カウンタのカウント値ｎが所定回数以上であれば、レンズ群１０１のフォーカス制御を行う動作に進めるため、ステップＳ１１１３へ進む。
In step S <b> 1109, it is determined whether the count value n of the
一方、加算カウンタ２１８のカウント値ｎが所定回数未満であれば、ステップＳ１１０２に戻る。これは、所定回数の加算ができるよう、撮像部２１３が複数有する１対の焦点検出画素列のうち、まだ像信号を取得していない画素列から像信号を取得し、残る１対の像信号に対して、上述したステップの処理を同様に行うためである。
On the other hand, if the count value n of the
ステップＳ１１１０では、画素加算部２１７は、ステップＳ１１０３で補正処理が行われた焦点検出用の１対の像信号に対して、位置的に対応する画素から得られる像信号を加算する。本実施形態では、加算カウンタ２１８のカウント値が所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対して個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１１１１へ進む。
In step S1110, the
ステップＳ１１１１では、ステップＳ１１１０で加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１１１２へ進む。
In step S <b> 1111, the
ステップＳ１１１２では、ステップＳ１１１１で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、相関量に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１１０８へ進む。
In step S1112, the phase
ステップＳ１１１３では、ステップＳ１１０７あるいはステップＳ１１１２で得られたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御が完了することでＡＦ動作が終了となる。
In step S1113, the focal position of the
本第２の実施形態によれば、上記第１の実施形態と同様の効果が得られる。具体的には、処理負荷の重い動画記録モード時と処理負荷の軽い他モードの時とで、異なる焦点検出結果の信頼性向上手法を適切に選択させることができ、処理負荷のいかんにかかわらず、高精度な焦点検出を実現できる。 According to the second embodiment, the same effect as the first embodiment can be obtained. Specifically, it is possible to select different methods for improving the reliability of focus detection results in the video recording mode with a heavy processing load and the other mode with a light processing load, regardless of the processing load. Highly accurate focus detection can be realized.
［第３の実施形態］
本発明の第３の実施の形態に係る撮像装置は、その構成（図１）が上記第１の実施の形態に係る撮像装置と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
[Third Embodiment]
The imaging apparatus according to the third embodiment of the present invention has the same configuration (FIG. 1) as that of the imaging apparatus according to the first embodiment, and the same parts as those in the first embodiment. The description will be omitted using the same reference numerals. Only differences from the first embodiment will be described below.
上記第１の実施形態では、撮像部２１３で撮像された１フレームに含まれる、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号、あるいはその像信号から算出される相関量を加算し、その加算した結果を用いて焦点検出を行っている。
In the first embodiment, an image signal obtained from a pair of focus detection pixel arrays included in a plurality of
本発明の第３の実施形態では、撮像部２１３で複数のフレームを撮像し、撮像した各フレームで得られる１対の焦点検出画素列から得られた像信号、あるいはその像信号から算出される相関量を、フレームを跨いて加算するものである。
In the third embodiment of the present invention, a plurality of frames are imaged by the
図１２は、本発明の第３の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 12 is a flowchart showing the flow of the AF operation of the digital camera in the third embodiment of the present invention. This process is realized by the
デジタルカメラでは、電源オン後に、動作モードがライブビューモードに自動的に設定されて、撮像部２１３で撮像を連続的に行いつつ、撮像された被写体像が表示部２２４で表示されているものとする。
In the digital camera, after the power is turned on, the operation mode is automatically set to the live view mode, and the captured subject image is displayed on the
まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより処理が開始される。
First, when SW1 of the
ステップＳ１２０１では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ１２０２へ進む。
In step S1201, the
ステップＳ１２０２では、撮像部２１３で被写体像を撮像し、１フレームの撮像信号を取得する。取得後、ステップＳ１２０３へ進む。
In step S1202, the
ステップＳ１２０３では、カメラコントローラ２１５は、撮像部２１３における１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ１２０４へ進む。
In step S <b> 1203, the
ステップＳ１２０４では、カメラコントローラ２１５は、ステップＳ１２０３で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ１２０５へ進む。
In step S1204, the
ステップＳ１２０５では、カメラコントローラ２１５は、操作部２２５で動画記録モードが選択されていて、記録部２２６へ動画記録がなされているか判定する。処理負荷の重い動画記録中である場合は、後述する処理負荷の比較的軽い方法を行うために、ステップＳ１２０６へ進む。一方、動画記録中でない場合は、ステップＳ１２１０へ進む。
In step S <b> 1205, the
ステップＳ１２０６では、ステップＳ１２０４で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１２０７へ進む。
In step S1206, the
ステップＳ１２０７では、異なるフレームにおける同じ焦点検出画素列の像信号から算出された相関量を相関演算の像ずらし量ごとに対応するよう相関量加算部２２０が加算する。本実施形態では、加算カウンタ２１８のカウント値が所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。このように、異なるフレームで個々に算出した相関演算の像ずらし量ごとの相関量を加算するだけなので、加算にかかる処理負荷を比較的軽くできる。また、相関演算の像ずらし量ごとに対応するよう相関量を加算することで、仮に値にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１１０８へ進む。
In step S1207, the correlation
ステップＳ１２０８では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ１２０９へ進む。
In step S1208, the
ステップＳ１２０９では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、フレームを跨いで所定回数の加算処理を終えているかを判定する。加算カウンタ２１８のカウント値ｎが所定回数以上であれば、レンズ群１０１のフォーカス制御を行う動作に進めるため、ステップＳ１２１２へ進む。
In step S <b> 1209, the
一方、加算カウンタ２１８のカウント値ｎが所定回数未満であれば、所定回数の加算ができるよう、次フレームにおける１対の焦点検出画素列で得られる像信号を取得して、上述したステップの処理を同様に行うために、ステップＳ１２０２に戻る。
On the other hand, if the count value n of the
ステップＳ１２１０では、画素加算部２１７は、ステップＳ１２０４で補正処理が行われた焦点検出用の１対の像信号に対して、それぞれ対応する画素同士で加算する。本実施形態では、加算カウンタ２１８のカウント値が所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対してフレームを跨いて個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１２１１へ進む。
In step S1210, the
ステップＳ１２１１では、ステップＳ１２１０にてフレームを跨いで加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１２０８へ進む。
In step S1211, the
ステップＳ１２１２では、ステップＳ１２０７あるいはステップＳ１２１１で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１２１３へ進む。
In step S1212, the phase
ステップＳ１２１３では、算出されたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御が完了することでＡＦ動作が終了となる。
In step S1213, the focal position of the
本第３の実施形態によれば、上記第１の実施形態と同様の効果が得られる。具体的には、処理負荷の重い動画記録モード時と処理負荷の軽い他モードの時とで、異なる焦点検出結果の信頼性向上手法を適切に選択させることができ、処理負荷のいかんにかかわらず、高精度な焦点検出を実現できる。 According to the third embodiment, the same effect as in the first embodiment can be obtained. Specifically, it is possible to select different methods for improving the reliability of focus detection results in the video recording mode with a heavy processing load and the other mode with a light processing load, regardless of the processing load. Highly accurate focus detection can be realized.
［第４の実施形態］
本発明の第４の実施の形態に係る撮像装置は、その構成（図１）が上記第１の実施の形態に係る撮像装置と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
[Fourth Embodiment]
The imaging apparatus according to the fourth embodiment of the present invention has the same configuration (FIG. 1) as that of the imaging apparatus according to the first embodiment, and the same parts as those in the first embodiment. The description will be omitted using the same reference numerals. Only differences from the first embodiment will be described below.
上記第２の実施形態では、撮像部２１３で撮像された１フレームに含まれる、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号、またはその像信号から算出されるデフォーカス量を加算し、その加算した結果を用いて焦点検出が行われる。
In the second embodiment, an image signal obtained from a pair of focus detection pixel columns included in a plurality of
本発明の第４の実施形態では、撮像部２１３で複数のフレームを撮像し、撮像した各フレームで得られる１対の焦点検出画素列から得られた像信号、あるいはその像信号から相関量の算出を経て算出されるデフォーカス量を、フレームを跨いて加算するものである。
In the fourth embodiment of the present invention, a plurality of frames are imaged by the
図１３は、本発明の第４の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 13 is a flowchart showing the flow of the AF operation of the digital camera in the fourth embodiment of the present invention. This process is realized by the
デジタルカメラでは、電源オン後に、動作モードがライブビューモードに自動的に設定されて、撮像部２１３で撮像を連続的に行いつつ、撮像された被写体像が表示部２２４で表示されているものとする。
In the digital camera, after the power is turned on, the operation mode is automatically set to the live view mode, and the captured subject image is displayed on the
まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより処理が開始される。
First, when SW1 of the
ステップＳ１３０１では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ１３０２へ進む。
In step S1301, the
ステップＳ１３０２では、撮像部２１３で被写体像を撮像し、１フレームの撮像信号を取得する。取得後、ステップＳ１３０３へ進む。
In step S1302, the
ステップＳ１３０３では、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ１３０４へ進む。
In step S1303, an image signal obtained from a pair of focus detection pixel arrays that the
ステップＳ１３０４では、カメラコントローラ２１５は、ステップＳ１３０３で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ１３０５へ進む。
In step S1304, the
ステップＳ１３０５では、カメラコントローラ２１５は、操作部２２５で動画記録モードが選択されていて、記録部２２６へ動画記録がなされているか判定する。処理負荷の重い動画記録中である場合は、後述する処理負荷の比較的軽い方法を行うために、ステップＳ１３０６へ進む。一方、動画記録中でない場合は、ステップＳ１３１１へ進む。
In step S <b> 1305, the
ステップＳ１３０６では、ステップＳ１３０４で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１３０７へ進む。
In step S1306, the
ステップＳ１３０７では、ステップＳ１３０６で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、相関量に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１３０８へ進む。
In step S1307, the phase
ステップＳ１３０８では、異なるフレームにおける同じ焦点検出画素列の像信号からそれぞれ算出したデフォーカス量をデフォーカス量加算部２２３が加算平均する。本実施形態では、加算カウンタ２１８のカウント値が所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。異なるフレームで個々に算出したデフォーカス量の値を加算平均するだけなので、加算平均にかかる処理負荷が非常に軽くできる。また、デフォーカス量を加算平均することで、仮にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算平均後、ステップＳ１３０９へ進む。
In step S1308, the defocus
ステップＳ１３０９では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ１３１０へ進む。
In step S1309, the
ステップＳ１３１０では、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、フレームを跨いで所定回数の加算処理を終えているかを判定する。加算カウンタ２１８のカウント値ｎが所定回数以上であれば、レンズ群１０１のフォーカス制御を行う動作に進めるため、ステップＳ１３１４へ進む。
In step S1310, it is determined whether the count value n of the
一方、加算カウンタ２１８のカウント値ｎが所定回数未満であれば、所定回数の加算ができるよう、次フレームにおける１対の焦点検出画素列で得られる像信号を取得して、上述したステップの処理を同様に行うために、ステップＳ１３０２に戻る。
On the other hand, if the count value n of the
ステップＳ１３１１では、ステップＳ１３０４で補正処理が行われた焦点検出用の１対の像信号を、画素加算部２１７がそれぞれ対応する画素同士で加算する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対してフレームを跨いて個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出処理の信頼性を高めることができる。加算後、ステップＳ１３１２へ進む。
In step S1311, the
ステップＳ１３１２では、ステップＳ１３１１にてフレームを跨いで加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１３１３へ進む。
In step S1312, the
ステップＳ１３１３では、ステップＳ１３１２で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１３０９へ進む。
In step S1313, the phase
ステップＳ１３１４では、ステップＳ１３０８あるいはステップＳ１３１３で得られたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御が完了することでＡＦ動作が終了となる。
In step S1314, the focal position of the
本第４の実施形態によれば、上記第１の実施形態と同様の効果が得られる。具体的には、処理負荷の重い動画記録モード時と処理負荷の軽い他モードの時とで、異なる焦点検出結果の信頼性向上手法を適切に選択させることができ、処理負荷のいかんにかかわらず、高精度な焦点検出を実現できる。 According to the fourth embodiment, the same effect as in the first embodiment can be obtained. Specifically, it is possible to select different methods for improving the reliability of focus detection results in the video recording mode with a heavy processing load and the other mode with a light processing load, regardless of the processing load. Highly accurate focus detection can be realized.
［第５の実施形態］
本発明の第５の実施の形態に係る撮像装置は、その構成（図１）が上記第１の実施の形態に係る撮像装置と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
[Fifth Embodiment]
An imaging apparatus according to the fifth embodiment of the present invention has the same configuration (FIG. 1) as that of the imaging apparatus according to the first embodiment, and the same parts as those in the first embodiment. The description will be omitted using the same reference numerals. Only differences from the first embodiment will be described below.
上記第３の実施形態では、カメラ部２００の処理負荷の重い動画記録モード時と処理負荷の軽い他モードの時とで、異なる焦点検出結果の信頼性向上手法を選択していた。
In the third embodiment, different methods for improving the reliability of focus detection results are selected in the moving image recording mode with a heavy processing load of the
しかしながら、像信号の各画素を加算する方式の信頼性向上手法では、被写体が移動したり、デジタルカメラがぶれたりした場合に、被写体像が多重になったり輪郭に尾を引くような像になったりして、焦点検出に適した加算ができない。そこで、本発明の第５の実施形態では、撮像部２１３が撮像するフレームレートに応じて、異なる焦点検出結果の信頼性向上手法を選択するものである。
However, in the method of improving the reliability of the method of adding each pixel of the image signal, when the subject moves or the digital camera shakes, the subject image is multiplexed or the image has a tail. Therefore, addition suitable for focus detection cannot be performed. Therefore, in the fifth embodiment of the present invention, different methods for improving the reliability of focus detection results are selected according to the frame rate captured by the
本第５の実施形態におけるデジタルカメラは、上記第１の実施形態におけるデジタルカメラに対して、操作部２２５が後述する撮像部２１３の撮像フレームレートの切り替え操作を行える点が異なる。具体的には、デジタルカメラは、撮像部２１３で撮像する間隔、つまりフレームレートを複数備える。例えば、２４．０，２９．２７，５９．９４［フレーム／秒］の各フレームレートで撮像される撮像モードを備える。２４．０［フレーム／秒］の撮像モード（以降、「２４ｐモード」と称す。）は、主に映画撮影向けのフレームレートであり、撮像部２１３の画素の各行を読み飛ばしなく順次読み出す。２９．２７［フレーム／秒］の撮像モード（以降、「３０ｐモード」と称す。）は、主にパーソナル・コンピュータのディスプレイで表示するのに適したフレームレートであり、撮像部２１３の画素の各行を読み飛ばしなく順次読み出す。５９．９４［フレーム／秒］の撮像モード（以降、「６０ｉモード（登録商標）」と称す。）は、テレビ受像機で表示するのに適したフレームレートである。この６０ｉモード（登録商標）は、撮像部２１３の画素の各行を１つ飛ばしで読出し、結果として奇数行と偶数行のいずれかのみで構成されるフレームが、交互に得られる。撮像モードの変更は、操作部２２５にて不図示のメニューに従いユーザーの操作入力によりなされる。
The digital camera according to the fifth embodiment is different from the digital camera according to the first embodiment in that the
図１４は、本発明の第５の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 14 is a flowchart showing a flow of AF operation of the digital camera in the fifth embodiment of the present invention. This process is realized by the
デジタルカメラでは、電源オン後に、撮像フレームレートを変更する撮像モードがライブビューモードに自動的に設定されて、撮像部２１３で撮像を連続的に行いつつ、撮像された被写体像が表示部２２４で表示されているものとする。
In the digital camera, after the power is turned on, the imaging mode for changing the imaging frame rate is automatically set to the live view mode, and while the
まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより処理が開始される。
First, when SW1 of the
ステップＳ１４０１では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ１４０２へ進む。
In step S1401, the
ステップＳ１４０２では、撮像部２１３で被写体像を撮像し、１フレームの撮像信号を取得する。取得後、ステップＳ１４０３へ進む。
In step S1402, the
ステップＳ１４０３では、カメラコントローラ２１５は、撮像部２１３における１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ１４０４へ進む。
In step S1403, the
ステップＳ１４０４では、カメラコントローラ２１５は、ステップＳ１４０３で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ１４０５へ進む。
In step S <b> 1404, the
ステップＳ１４０５では、カメラコントローラ２１５は、操作部２２５で設定されている撮像モードのフレームレートが所定のフレームレート以上か判定する。所定のフレームレート未満の場合は、被写体が移動したり、デジタルカメラがぶれたりすることで、被写体像の像信号を加算した際に、被写体像が多重になったり輪郭に尾を引くような像になる可能性が高い。この場合、焦点検出に適した加算ができなくなってしまうことから、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号を加算しないようにすることが望ましい。そこで、像信号の加算なく焦点検出の信頼性を向上させる効果が高い手法を行うために、ステップＳ１４０６へ進む。
In step S1405, the
一方、ステップＳ１４０５で撮影モードのフレームレートが所定のフレームレート以上であれば、焦点検出の信頼性を向上させる効果が高い像信号を得るために、ステップＳ１４１０へ進む。 On the other hand, if the frame rate of the shooting mode is greater than or equal to the predetermined frame rate in step S1405, the process proceeds to step S1410 in order to obtain an image signal that is highly effective in improving the reliability of focus detection.
ステップＳ１４０６では、ステップＳ１４０４で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１４０７へ進む。
In step S1406, the
ステップＳ１４０７では、異なるフレームにおける同じ焦点検出画素列の像信号から算出した相関量を相関演算の像ずらし量ごとに対応するよう相関量加算部２２０が加算する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。このように、異なるフレームで個々に算出された相関演算の像ずらし量ごとの相関量を加算するだけなので、加算にかかる処理負荷を比較的軽くできる。また、関演算の像ずらし量ごとに対応するよう相関量を加算することで、仮に値にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１１０８へ進む。
In step S1407, the correlation
ステップＳ１４０８では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ１４０９へ進む。
In step S1408, the
ステップＳ１４０９では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、フレームを跨いで所定回数の加算処理を終えているかを判定する。加算カウンタ２１８のカウント値ｎが所定回数以上であれば、レンズ群１０１のフォーカス制御を行う動作に進めるため、ステップＳ１４１２へ進む。
In step S1409, the
一方、加算カウンタ２１８のカウント値ｎが所定回数未満であれば、所定回数の加算ができるよう、次フレームにおける１対の焦点検出画素列で得られる像信号を取得して、上述したステップの処理を同様に行うために、ステップＳ１４０２に戻る。
On the other hand, if the count value n of the
ステップＳ１４１０では、ステップＳ１４０４で補正処理が行われた焦点検出用の１対の像信号を、画素加算部２１７がそれぞれ対応する画素同士で加算する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対してフレームを跨いて個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１４１１へ進む。
In step S1410, the
ステップＳ１４１１では、ステップＳ１４１０にてフレームを跨いで加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１４０８へ進む。
In step S1411, the
ステップＳ１４１２では、ステップＳ１４０７あるいはステップＳ１４１１で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１４１３へ進む。
In step S1412, the phase
ステップＳ１４１３では、算出されたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御が完了することでＡＦ動作が終了となる。
In step S1413, the focal position of the
上記第５の実施形態によれば、撮像フレームレートに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させることができ、フレームレートのいかんにかかわらず、高精度な焦点検出を実現できる。 According to the fifth embodiment, it is possible to appropriately select a method for improving the reliability of different focus detection results according to the imaging frame rate, and realizes highly accurate focus detection regardless of the frame rate. it can.
［第６の実施形態］
本発明の第６の実施の形態に係る撮像装置は、その構成（図１）が上記第１の実施の形態に係る撮像装置と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
[Sixth Embodiment]
The imaging apparatus according to the sixth embodiment of the present invention has the same configuration (FIG. 1) as that of the imaging apparatus according to the first embodiment, and the same parts as those in the first embodiment. The description will be omitted using the same reference numerals. Only differences from the first embodiment will be described below.
上記第５の実施形態では、撮像フレームレートが所定フレームレート閾値より低い場合に、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、相関量の状態で加算することで、焦点検出の信頼性を向上させていた。本発明の第６の実施形態では、相関量の状態で加算する代わりに、相関量から算出されるデフォーカス量の状態で加算するものである。
In the fifth embodiment, when the imaging frame rate is lower than the predetermined frame rate threshold, the image signal obtained from the pair of focus detection pixel columns that the
図１５は、本発明の第６の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 15 is a flowchart showing the flow of AF operation of the digital camera in the sixth embodiment of the present invention. This process is realized by the
デジタルカメラでは、電源オン後に、動作モードがライブビューモードに自動的に設定されて、撮像部２１３で撮像を連続的に行いつつ、撮像された被写体像が表示部２２４で表示されているものとする。
In the digital camera, after the power is turned on, the operation mode is automatically set to the live view mode, and the captured subject image is displayed on the
まず、操作スイッチ２１４のＳＷ１が押下されて、焦点検出命令が発生することにより処理が開始される。
First, when SW1 of the
ステップＳ１５０１では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ１５０２へ進む。
In step S1501, the
ステップＳ１５０２では、撮像部２１３で被写体像を撮像し、１フレームの撮像信号を取得する。取得後、ステップＳ１５０３へ進む。
In step S1502, a subject image is picked up by the
ステップＳ１５０３では、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ１５０４へ進む。
In step S1503, an image signal obtained from a pair of focus detection pixel arrays that the
ステップＳ１５０４では、カメラコントローラ２１５は、ステップＳ１５０３で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ１５０５へ進む。
In step S1504, the
ステップＳ１５０５では、カメラコントローラ２１５は、操作部２２５で設定されている撮像モードのフレームレートが所定のフレームレート以上か判定する。所定のフレームレート未満の場合は、被写体が移動したり、デジタルカメラがぶれたりすることで、被写体像の像信号を加算した際に、被写体像が多重になったり輪郭に尾を引くような像になる可能性が高い。この場合、焦点検出に適した加算ができなくなってしまうことから、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号を加算しないようにすることが望ましい。そこで、像信号の加算なく焦点検出の信頼性を向上させる効果が高い手法を行うために、ステップＳ１５０６へ進む。
In step S1505, the
一方、ステップＳ１５０５で撮影モードのフレームレートが所定のフレームレート以上であれば、焦点検出の信頼性を向上させる効果の高い、像信号を加算する手法を行うために、ステップＳ１５１１へ進む。 On the other hand, if the frame rate of the shooting mode is equal to or higher than the predetermined frame rate in step S1505, the process proceeds to step S1511 in order to perform a method of adding image signals that is highly effective in improving the reliability of focus detection.
ステップＳ１５０６では、ステップＳ１５０４で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１５０７へ進む。
In step S1506, the
ステップＳ１５０７では、ステップＳ１５０６で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１５０８へ進む。
In step S1507, the phase
ステップＳ１５０８では、異なるフレームにおける同じ焦点検出画素列の像信号から算出された相関量を相関演算の像ずらし量ごとに対応するよう相関量加算部２２０が加算する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。異なるフレームで個々に算出した相関演算の像ずらし量ごとの相関量を加算するだけなので、加算にかかる処理負荷を比較的軽くできる。また、相関演算の像ずらし量ごとに対応するよう相関量を加算することで、仮に値にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算平均後、ステップＳ１５０９へ進む。
In step S1508, the correlation
ステップＳ１５０９では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ１５１０へ進む。
In step S1509, the
ステップＳ１５１０では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、フレームを跨いで所定の加算数だけ加算処理を終えているかを判定する。加算カウンタ２１８のカウント値ｎが所定回数以上であれば、レンズ群１０１のフォーカス制御を行う動作に進めるため、ステップＳ１５１４へ進む。加算カウンタ２１８のカウント値ｎが所定回数未満であれば、所定回数の加算ができるよう、次フレームにおける１対の焦点検出画素列で得られる像信号を取得して、上述したステップの処理を同様に行うために、ステップＳ１５０２に戻る。
In step S <b> 1510, the
ステップＳ１５１１では、ステップＳ１５０４で補正処理が行われた焦点検出用の１対の像信号を、画素加算部２１７がそれぞれ対応する画素同士で加算する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対してフレームを跨いて個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１５１２へ進む。
In step S <b> 1511, the
ステップＳ１５１２では、ステップＳ１５１１にてフレームを跨いで加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１５１３へ進む。
In step S1512, the
ステップＳ１５１３では、ステップＳ１５１２で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１５０９へ進む。
In step S1513, the phase
ステップＳ１５１４では、ステップＳ１５０８あるいはステップＳ１５１３で得られたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御が完了することでＡＦ動作が終了となる。
In step S1514, the focal position of the
本第６の実施形態によれば、上記第５の実施形態と同様の効果が得られる。具体的には、撮像フレームレートに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させることができ、フレームレートのいかんにかかわらず、高精度な焦点検出を実現できる。 According to the sixth embodiment, the same effect as in the fifth embodiment can be obtained. Specifically, a technique for improving the reliability of different focus detection results can be appropriately selected according to the imaging frame rate, and high-precision focus detection can be realized regardless of the frame rate.
［第７の実施形態］
本発明の第７の実施の形態に係る撮像装置は、その構成（図１）が上記第１の実施の形態に係る撮像装置と同じであり、第１の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第１の実施の形態と異なる点のみを説明する。
[Seventh Embodiment]
The imaging apparatus according to the seventh embodiment of the present invention has the same configuration (FIG. 1) as that of the imaging apparatus according to the first embodiment, and the same parts as those in the first embodiment. The description will be omitted using the same reference numerals. Only differences from the first embodiment will be described below.
上記第３の実施形態では、カメラ部２００の処理負荷の重い動画記録モード時と処理負荷の軽い他モードの時とで、異なる焦点検出結果の信頼性向上手法を選択していた。
In the third embodiment, different methods for improving the reliability of focus detection results are selected in the moving image recording mode with a heavy processing load of the
しかしながら、屋外の撮影において、晴れたり曇ったりする変化が頻繁に繰り返されることで、被写体の輝度が大きく変化する場合、絞り１０２の開口が頻繁に制御される可能性がある。この場合、焦点検出に用いる像信号の各画素を加算する手法だと、１対の像信号の基線長が絞り変化によって相対的に変化してしまうため、焦点検出に適した加算ができない。そこで、第７の実施形態におけるデジタルカメラでは、絞り１０２の変動状況によって、異なる焦点検出結果の信頼性向上手法を選択するものである。
However, in outdoor shooting, when the brightness of the subject changes greatly due to frequent changes such as clear or cloudy, the aperture of the
本第７の実施形態におけるデジタルカメラは、上記第３の実施形態におけるデジタルカメラに対して、連続的に焦点検出を行い続けるコンティニュアスＡＦモードを有し、操作部２２５への操作入力によってモードの入／切が切り替えできる点が異なる。
The digital camera according to the seventh embodiment has a continuous AF mode in which focus detection is continuously performed with respect to the digital camera according to the third embodiment, and the mode is determined by an operation input to the
図１６は、本発明の第７の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 16 is a flowchart showing the flow of AF operation of the digital camera in the seventh embodiment of the present invention. This process is realized by the
デジタルカメラでは、電源オン後に、動作モードがライブビューモードに自動的に設定されて、撮像部２１３で撮像を連続的に行いつつ、撮像された被写体像が表示部２２４で表示されているものとする。
In the digital camera, after the power is turned on, the operation mode is automatically set to the live view mode, and the captured subject image is displayed on the
まず、操作スイッチ２１４のＳＷ１が押下されることにより処理が開始される。
First, processing is started when SW1 of the
ステップＳ１６０１では、カメラコントローラ２１５は、操作部２２５の操作入力によって、コンティニュアスＡＦモードに入れられているか判定する。モードに入っていればステップＳ１６０２へ進む。一方、モードに入っていなければ、動作を終了する。
In step S <b> 1601, the
ステップＳ１６０２では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ１６０３へ進む。
In step S1602, the
ステップＳ１６０３では、カメラコントローラ２１５は、絞り１０２で現在設定されている絞り値を、絞り状況の変化を監視するため、一時記憶する。記憶後、ステップＳ１６０４へ進む。
In step S1603, the
ステップＳ１６０４では、撮像部２１３で被写体像を撮像し、１フレームの撮像信号を取得する。取得後、ステップＳ１６０５へ進む。
In step S1604, the
ステップＳ１６０５では、撮像部２１３における１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ１６０６へ進む。
In step S1605, an image signal obtained from a pair of focus detection pixel rows in the
ステップＳ１６０６では、カメラコントローラ２１５は、ステップＳ１６０５で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ１６０７へ進む。
In step S <b> 1606, the
ステップＳ１６０７では、カメラコントローラ２１５は、絞り１０２の絞り値が前フレームから変化しているか判定する。絞り値が変化している場合、１対の像信号の位相差の検出にあたり、合焦時に生じる位相差である基線長が変化する。被写体像の像信号を加算した際に、異なる基線長の被写体像を重ねるため、絞り値の変化に応じた被写体像の位相ずれが生じて、被写体像が多重になってしまい、焦点検出に適した加算ができなくなってしまう。そこで、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号を加算しないようにすることが望ましい。そこで、像信号の加算なく焦点検出の信頼性を向上させる効果が高い手法を行うために、ステップＳ１６０８へ進む。
In step S1607, the
一方、ステップＳ１６０７で絞り値が変化していなければ、焦点検出の信頼性を向上させる効果が高い像信号を得るために、ステップＳ１６１１へ進む。 On the other hand, if the aperture value has not changed in step S1607, the process proceeds to step S1611 in order to obtain an image signal that is highly effective in improving the reliability of focus detection.
ステップＳ１６０８では、ステップＳ１６０６で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１６０９へ進む。
In step S1608, the
ステップＳ１６０９では、ステップＳ１６０８で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１６１０へ進む。
In step S1609, the phase
ステップＳ１６１０では、像信号の加算なく焦点検出の信頼性を向上させる手法を用いるために、異なるフレームにおける同じ焦点検出画素列の像信号からそれぞれ算出したデフォーカス量をデフォーカス量加算部２２３が加算平均する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。異なるフレームで個々に算出したデフォーカス量の値を加算平均するだけなので、加算平均にかかる処理負荷が非常に軽くできる。また、デフォーカス量を加算平均することで、仮にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算平均後、ステップＳ１６１４へ進む。
In step S1610, the defocus
ステップＳ１６１１では、被写体やデジタルカメラの移動を考慮する必要がなく効果の高い手法を用いるために、ステップＳ１６０６で補正処理が行われた焦点検出用の１対の像信号を、画素加算部２１７がそれぞれ対応する画素同士で加算する。本実施形態では、加算カウンタ２１８がカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対してフレームを跨いて個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１６１２へ進む。
In step S <b> 1611, the
ステップＳ１６１２では、ステップＳ１６１１にてフレームを跨いで加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１６１３へ進む。
In step S1612, the
ステップＳ１６１３では、ステップＳ１６１２で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１６１４へ進む。
In step S1613, the phase
ステップＳ１６１４では、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、フレームを跨いで所定の加算数だけ像信号が取得できているかを判定する。加算カウンタ２１８のカウント値ｎが所定回数以上であれば、ステップＳ１６１５へ進み、所定回数分の過去のフレームの古いデータを削除する。削除する古いデータの種類は、ステップＳ１００９で過去に算出されたデフォーカス量、あるいはステップＳ１００５乃至ステップＳ１００６で過去に得られた補正済みの焦点検出用の１対の像信号である。削除後、ステップＳ１６１７へ進む。
In step S1614, the count value n of the
ステップＳ１６１４において、加算カウンタ２１８のカウント値ｎが所定回数未満であれば、ステップＳ１６１６へ進み、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ１６１７へ進む。
If the count value n of the
ステップＳ１６１７では、ステップＳ１６１０あるいはステップＳ１６１３で得られたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御後、ステップＳ１６１８へ進む。
In step S1617, the focal position of the
ステップＳ１６１８では、コンティニュアスＡＦモードの動作を続けるか否かを判定するため、ＳＷ１の押下状況を判定する。ＳＷ１が解放されずに押下し続けられていれば、コンティニュアスＡＦモードの動作を続けるため、ステップＳ１６０３へ戻る。ＳＷ１が解放されていれば、コンティニュアスＡＦモードの動作が終了となる。 In step S1618, in order to determine whether or not to continue the operation in the continuous AF mode, the pressing state of SW1 is determined. If SW1 is kept pressed without being released, the operation returns to step S1603 to continue the operation in the continuous AF mode. If SW1 is released, the operation in the continuous AF mode is completed.
本第７の実施形態によれば、撮像部２１３における焦点検出画素列に結像する各光線において、絞り１０２の絞り値の変化によって各光線の基線長が変化しているか否かを確認できる。また、確認された結果に応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させることができ、絞り値の変化の有無にかかわらず、高精度な焦点検出を実現できる。
According to the seventh embodiment, it is possible to confirm whether or not the base line length of each light beam has changed due to the change in the aperture value of the
［第８の実施形態］
上記第３の実施形態では、カメラ部２００の処理負荷の重い動画記録モード時と処理負荷の軽い他モードの時とで、異なる焦点検出結果の信頼性向上手法を選択していた。
[Eighth Embodiment]
In the third embodiment, different methods for improving the reliability of focus detection results are selected in the moving image recording mode with a heavy processing load of the
しかしながら、像信号の各画素を加算する方式の信頼性向上手法では、被写体が移動したり、デジタルカメラがぶれたりした場合に、被写体像が多重になったり輪郭に尾を引くような像になったりして、焦点検出に適した加算ができない。特に、人物を被写体にした場合において、さらにその人物の顔の大きさが大きい場合、人物の移動による構図変化は大きいと考えられる。そこで、本発明の第８の実施形態では、撮像部２１３で得られる被写体像から顔を検出して、その顔の大きさを算出する手段を備え、検出された顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を選択するものである。
However, with the method of improving the reliability of the method of adding each pixel of the image signal, when the subject moves or the digital camera shakes, the subject image is multiplexed or the image has a tail. Therefore, addition suitable for focus detection cannot be performed. In particular, when a person is a subject and the face size of the person is larger, the composition change due to the movement of the person is considered to be large. Therefore, in the eighth embodiment of the present invention, there is provided means for detecting a face from the subject image obtained by the
図１７は、本発明の第８の実施形態に係る撮像装置の概略構成を示す図である。 FIG. 17 is a diagram showing a schematic configuration of an imaging apparatus according to the eighth embodiment of the present invention.
図１７に示すデジタルカメラは、図１に示すデジタルカメラに対して、撮像部２１３で得られる被写体像から顔を検出して、その顔の大きさを算出する顔検出部２２７が追加されている点が異なる。
The digital camera shown in FIG. 17 has a
図１８は、本発明の第８の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 18 is a flowchart showing a flow of AF operation of the digital camera in the eighth embodiment of the present invention. This process is realized by the
デジタルカメラでは、電源オン後に、動作モードがライブビューモードに自動的に設定されて、撮像部２１３で撮像を連続的に行いつつ、撮像された被写体像が表示部２２４で表示されているものとする。
In the digital camera, after the power is turned on, the operation mode is automatically set to the live view mode, and the captured subject image is displayed on the
まず、操作スイッチ２１４のＳＷ１が押下されることにより処理が開始される。
First, processing is started when SW1 of the
ステップＳ１８０では、カメラコントローラ２１５は、操作部２２５の操作入力によって、コンティニュアスＡＦモードに入れられているか判定する。モードに入っていればステップＳ１８０２へ進む。一方、モードに入っていなければ、動作を終了する。
In step S <b> 180, the
ステップＳ１８０２では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ１８０３へ進む。
In step S1802, the
ステップＳ１８０３では、撮像部２１３で被写体像を撮像し、１フレームの撮像信号を取得する。取得後、ステップＳ１８０４へ進む。
In step S1803, the
ステップＳ１８０４では、撮像部２１３で得られた１フレームの撮像信号に人物の顔が含まれているか顔検出部２２７が検出し、また顔が含まれている場合はさらに顔検出部２２７がその顔サイズを検出する。顔検出の有無や検出された顔の大きさといった顔情報は、後述する処理で顔の大きさの変化を監視するため、一時記憶される。記憶後、ステップＳ１８０５へ進む。
In step S1804, the
ステップＳ１８０５では、撮像部２１３における１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ１８０６へ進む。
In step S1805, an image signal obtained from a pair of focus detection pixel rows in the
ステップＳ１８０６では、カメラコントローラ２１５は、ステップＳ１８０５で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ１８０７へ進む。
In step S1806, the
ステップＳ１８０７では、カメラコントローラ２１５は、所定の条件を満足するか否か、すなわち顔が検出されていてその顔の大きさが所定の閾値以上か判定する。顔が検出されていてその顔の大きさが閾値以上である場合は、人物の移動による構図変化が大きいと考えられる。このまま被写体像の像信号を加算した際に、異なる位置の顔が重ねられるため、被写体像が多重になってしまい、焦点検出に適した加算ができない。この場合は、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号を加算しないようにすることが望ましい。そこで、像信号の加算なく焦点検出の信頼性を向上させる効果が高い手法を行うために、ステップＳ１８０８へ進む。
In step S1807, the
一方、ステップＳ１８０７で顔が検出されていない場合、あるいは顔が検出されているもののその顔の大きさが閾値未満である場合は、焦点検出の信頼性を向上させる効果が高い像信号を得るために、ステップＳ１８１１へ進む。 On the other hand, if a face is not detected in step S1807, or if a face is detected but the size of the face is less than a threshold, an image signal that is highly effective in improving focus detection reliability is obtained. Then, the process proceeds to step S1811.
ステップＳ１８０８では、ステップＳ１８０６で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１８０９へ進む。
In step S1808, the
ステップＳ１８０９では、異なるフレームにおける同じ焦点検出画素列の像信号から算出された相関量を相関量加算部２２０が加算する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。相関量の値を加算するだけなので、加算にかかる処理負荷を比較的軽くできる。また、相関量を加算することで、仮に値にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１８１２へ進む。
In step S1809, the correlation
ステップＳ１８１０では、被写体やデジタルカメラの移動を考慮する必要がなく効果の高い手法を用いるために、ステップＳ１８０６で補正処理が行われた焦点検出用の１対の像信号を、画素加算部２１７がそれぞれ対応する画素同士で加算する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対してフレームを跨いて個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ１８１１へ進む。
In step S1810, the
ステップＳ１８１１では、ステップＳ１８１０にてフレームを跨いで加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ１８１２へ進む。
In step S1811, the
ステップＳ１８１２では、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、フレームを跨いで所定回数の像信号が取得できているかを判定する。加算カウンタのカウント値ｎが所定回数以上であれば、ステップＳ１８１３へ進み、所定回数分の過去のフレームの古いデータを削除する。削除する古いデータの種類は、ステップＳ１８０９で過去に算出されたデフォーカス量、あるいはステップＳ１８０５乃至ステップＳ１８０６で過去に得られた補正済みの焦点検出用の１対の像信号である。削除後、ステップＳ１８１５へ進む。一方、加算カウンタのカウント値ｎが所定回数未満であれば、ステップＳ１８１４へ進み、加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ１８１５へ進む。
In step S1812, whether the count value n of the
ステップＳ１８１５では、ステップＳ１８０９あるいはステップＳ１８１１で算出された像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ１８１６へ進む。
In step S1815, the phase
ステップＳ１８１６では、ステップＳ１８１５で得られたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御後、ステップＳ１８１７へ進む。
In step S1816, the focal position of the
ステップＳ１８１７では、コンティニュアスＡＦモードの動作を続けるか否かを判定するため、ＳＷ１の押下状況を判定する。ＳＷ１が解放されずに押下し続けられていれば、コンティニュアスＡＦモードの動作を続けるため、ステップＳ１８０３へ戻る。一方、ＳＷ１が解放されていれば、コンティニュアスＡＦモードの動作が終了となる。 In step S1817, in order to determine whether or not to continue the operation in the continuous AF mode, the pressing state of SW1 is determined. If SW1 is kept pressed without being released, the operation returns to step S1803 to continue the operation in the continuous AF mode. On the other hand, if SW1 is released, the operation in the continuous AF mode is completed.
本第８の実施形態によれば、被写体が人物かどうか顔検出を行い、顔の有無や顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させることができる。このため、人物の被写体が移動するか否かにかかわらず、高精度な焦点検出を実現できる。 According to the eighth embodiment, face detection can be performed to determine whether or not the subject is a person, and a different focus detection result reliability improvement method can be appropriately selected according to the presence or absence of the face and the size of the face. For this reason, high-precision focus detection can be realized regardless of whether or not a person's subject moves.
上記第８の実施形態では、顔を検出して、その顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させていた。しかし、これに限らず、顔を検出してその顔サイズを撮像される度に監視して、顔の大きさが前フレームから変化しているか検出し、変化の有無あるいは程度に応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させる構成でもよい。なお、このような構成の場合、デジタルカメラの動作は、基本的に上記第８の実施形態と同様であるが、図１８におけるステップＳ１８０７が、顔の大きさが前フレームから変化しているか、あるいは所定閾値以上の変化があるか、という判定になる。 In the eighth embodiment, a face is detected, and a different focus detection result reliability improvement method is appropriately selected according to the size of the face. However, the present invention is not limited to this, and each time a face is detected and its face size is imaged, it is detected whether the face size has changed from the previous frame, and varies depending on whether or not there is a change. A configuration may be adopted in which a technique for improving the reliability of the focus detection result is appropriately selected. In the case of such a configuration, the operation of the digital camera is basically the same as that in the eighth embodiment, but step S1807 in FIG. 18 determines whether the face size has changed from the previous frame. Alternatively, it is determined whether there is a change greater than a predetermined threshold.
上述の動作を行うことにより、上記第８の実施形態と同様の効果が得られるようになる。具体的には、被写体が人物かどうか顔検出を行い、顔の大きさが変化して人物が移動しているかの判定に基づき、異なる焦点検出結果の信頼性向上手法を適切に選択させることができる。このため、人物の被写体が移動するか否かにかかわらず、高精度な焦点検出を実現できる。 By performing the above-described operation, the same effect as in the eighth embodiment can be obtained. Specifically, it is possible to perform face detection to determine whether the subject is a person, and to appropriately select a method for improving the reliability of different focus detection results based on the determination of whether the person is moving as the face size changes. it can. For this reason, high-precision focus detection can be realized regardless of whether or not a person's subject moves.
また、上記第８の実施形態では、顔を検出して、その顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させていた。しかし、これに限らず、顔を検出した検出数に応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させてもよい。 In the eighth embodiment, a face is detected, and different methods for improving the reliability of focus detection results are appropriately selected according to the size of the face. However, the present invention is not limited to this, and different methods for improving the reliability of focus detection results may be appropriately selected according to the number of detected faces.
また、本変形例のデジタルカメラの動作は、基本的に上記第８の実施形態と同様の動作である。しかし、上記第８の実施形態の動作を説明した図１８における、ステップＳ１８０７の動作が変わり、顔の検出数が所定閾値以上かという判定である。 The operation of the digital camera according to the present modification is basically the same as that of the eighth embodiment. However, in FIG. 18 illustrating the operation of the eighth embodiment, the operation in step S1807 is changed, and it is determined whether the number of detected faces is equal to or greater than a predetermined threshold.
上述の動作を行うことにより、上記第８の実施形態と同様の効果が得られるようになる。具体的には、被写体が人物かどうか顔検出を行い、顔の検出数が所定閾値以上であれば集合写真と推測して、人物の移動が少ないと判定する。一方、顔の検出数が所定閾値未満であれば、少人数のポートレート写真と推測して、人物の移動の可能性があると判定する。このように、検出された顔の数に基づいて、人物の移動の可能性を判定して、異なる焦点検出結果の信頼性向上手法を適切に選択させることができる。このため、人物の被写体が移動するか否かにかかわらず、高精度な焦点検出を実現できる。 By performing the above-described operation, the same effect as in the eighth embodiment can be obtained. Specifically, face detection is performed to determine whether or not the subject is a person. If the number of detected faces is equal to or greater than a predetermined threshold, it is estimated that the photograph is a group photo, and it is determined that the movement of the person is small. On the other hand, if the number of detected faces is less than the predetermined threshold value, it is estimated that the portrait photograph is a small number of people and it is determined that there is a possibility of movement of the person. In this way, it is possible to determine the possibility of movement of a person based on the number of detected faces and to appropriately select a method for improving the reliability of different focus detection results. For this reason, high-precision focus detection can be realized regardless of whether or not a person's subject moves.
［第９の実施形態］
本発明の第９の実施形態では、撮像部２１３に有する１対の焦点検出画素列から得られる像信号を、複数フレーム分それぞれ取得して、各像信号あるいは各像信号から個々に算出された相関量を加算していた。しかし、これに限らず、撮像部２１３とは別に、撮像部２１３へ入射する光束を途中で光路分割して、独立した焦点検出センサへ結像させる構成であっても、同様の加算動作を行え、同様の効果を得ることができる。
[Ninth Embodiment]
In the ninth embodiment of the present invention, image signals obtained from a pair of focus detection pixel arrays included in the
図１９は、本発明の第９の実施形態に係る撮像装置の概略構成を示す図である。 FIG. 19 is a diagram showing a schematic configuration of an imaging apparatus according to the ninth embodiment of the present invention.
図１９において、デジタルカメラは、レンズ部１００とカメラ部２００からなる。レンズ部１００は、不図示のマウント部のレンズ装着機構を介してカメラ部２００に着脱可能に取り付けられている。マウント部には、電気接点ユニット１０８が設けられている。この電気接点ユニット１０８には、通信クロックライン、データ転送ライン、データ受信ラインなどからなる通信バスライン用の端子がある。これらにより、レンズ部１００とカメラ部２００が通信可能になっている。
In FIG. 19, the digital camera includes a
レンズ部１００には、撮像光学系を構成し、フォーカスやズームを行うレンズ群１０１、入射光線を制御する絞り１０２が設けられている。また、レンズ群１０１のズームやフォーカスを行うためのステッピングモータからなる駆動系、及び駆動系を制御するレンズ駆動ユニット１０３が設けられている。レンズ駆動ユニット１０３などは焦点制御手段を構成する。
The
また、レンズ部１００には、絞り１０２の開口を制御する絞り制御ユニット１０４と、レンズ群１０１のズーム、フォーカス、絞りの各種光学設計値が記録された光学情報記録部１０６が設けられている。
In addition, the
レンズ駆動ユニット１０３、絞り制御ユニット１０４、および光学情報記録部１０６は、レンズ部１００全体の動作を制御するＣＰＵからなるレンズコントローラ１０５に接続されている。
The
また、レンズ部１００には、レンズ駆動ユニット１０３に内包されたステッピングモータの位相波形を、レンズ駆動ユニット１０３からレンズコントローラ１０５を通じて取得してレンズの位置情報を検出するレンズ位置検出部１０７が設けられている。
In addition, the
カメラ部２００は、レンズ部１００と電気接点ユニット１０８を介して通信を行い、レンズ群１０１のズームやフォーカス、絞り１０２の開口について制御要求を送信し、制御結果を受信する。
The
入射光線は、レンズ群１０１及び絞り１０２を介して、カメラ部２００内のクイックリターンミラー２０３に導かれる。クイックリターンミラー２０３は、撮影光路内に、光軸に対して斜めに配置されている。そして、クイックリターンミラー２０３がアップまたはダウンすることにより、被写体からの光束を上方のファインダ光学系に導く第１の位置（図示した位置）と、撮影光路外に退避する第２の位置とに移動が可能である。
The incident light beam is guided to the
クイックリターンミラー２０３の中央部はハーフミラーになっており、クイックリターンミラー２０３が第１の位置にダウンしているときには、被写体からの光束の一部が該ハーフミラー部を透過する。そして、この透過した光束は、クイックリターンミラー２０３の背面側に設けられたサブミラー２０４で反射される。サブミラー２０４で反射された光束は、焦点検出に不要な光束をカットする視野マスク２０５、赤外カットフィルタ２０６、フィールドレンズ２０７、焦点検出用の絞り２０８、２次結像レンズ２０９を経て、焦点検出装置の焦点検出センサ２１０上に結像する。この像を光電変換して得られる像信号を処理することで、レンズ群１０１の焦点位置を検出することができる。
The central portion of the
以上のように、本実施形態では、１対の複数画素列を複数有するセンサが、被写体からの光線を撮像面へ結像させる１次結像系の途中で光路分割された２次結像系に設けられている。 As described above, in the present embodiment, a secondary imaging system in which a sensor having a plurality of pairs of a plurality of pixel columns is optically divided in the middle of a primary imaging system that forms an image of light rays from a subject on an imaging surface. Is provided.
一方、クイックリターンミラー２０３で反射された光束は、ピント面に設けられたファインダスクリーン２０２、ペンタプリズム２０１、接眼レンズ２１１により構成されるファインダ光学系を介して、撮影者の目に至る。また、測光部２１２が、ペンタプリズム２０１で折り曲げられた光束を斜めから観察するように配置され、光束のうち２次元の撮影平面に相当する領域内で、さらに複数に分割された区分領域ごとに測光が行われる。上記区分領域の各測光結果は、ＣＰＵからなりカメラ部２００の全体を制御するカメラコントローラ２１５へ出力される。
On the other hand, the light beam reflected by the
クイックリターンミラー２０３が第２の位置にアップした際には、レンズ部１００からの光束は、不図示の光電変換素子及び現像演算を行うプロセッサからなる撮像部２１３へ至る。撮像部２１３では、入射した被写体像を光電変換して現像演算することで撮像データが得られる。
When the
また、カメラ部２００へ操作入力を行うための操作スイッチ２１４が設けられている。操作スイッチ２１４は、２段ストロークタイプのスイッチで構成されており、１段目のスイッチ（ＳＷ１）は、測光や焦点検出など撮影準備動作を開始させるためのスイッチである。２段目のスイッチ（ＳＷ２）は、静止画を取得するため、撮像部２１３で電荷蓄積及び電荷読み出しといった撮影動作を開始させるためのスイッチである。
In addition, an
また、撮像部２１３には１対の焦点検出用画素列を複数有し、１対の焦点検出用画素列から光電変換して得られた１対の像信号は、カメラコントローラ２１５と接続されているメモリ２１６に一時記憶される。メモリ２１６に一時記憶された１対の被写体像の像信号は、カメラコントローラ２１５と接続されている画素加算部２１７へ送られ、撮像部２１３上の位置的に対応する画素単位で所定回数だけ加算される。加算状況は加算カウンタ２１８で数えられ、画素加算部２１７は、加算カウンタが所定回数に達するまで加算する。加算された１対の像信号は、カメラコントローラ２１５と接続されている相関演算部２１９へ送られ、相関演算により像シフト量ごとの相関量が算出される。算出された相関量は、カメラコントローラ２１５と接続されている相関量加算部２２０で、加算カウンタ２１８で回数をカウントしながら、所定回数だけ加算される。加算された相関量は、位相差検出部２２１で最も相関量が高くなる位相差が算出される。デフォーカス量検出部２２２は、算出された位相差とレンズ部１００の光学特性に基づいて、公知の位相差検出方式の焦点検出方法によりデフォーカス量が算出される。算出されたデフォーカス量は、デフォーカス量加算部２２３へ送られ、加算カウンタ２１８で回数をカウントしながら、所定回数だけ加算される。カメラコントローラ２１５は、電気接点ユニット１０８を介してレンズコントローラ１０５と制御情報を送受信し、デフォーカス量検出部２２２あるいはデフォーカス量加算部２２３で算出されたデフォーカス量に基づいて、レンズ群１０１の焦点位置を制御する。
The
また、本実施形態のデジタルカメラは、撮像部２１３で撮像された被写体像や各種の操作状況を表示する表示部２２４と、撮像部２１３の動作を後述する２つの動作モード、ライブビューモードあるいは動画記録モードに切り替えるための操作部２２５を備える。
In addition, the digital camera according to the present embodiment includes a
本実施形態におけるデジタルカメラでは、電源投入とともにライブビューモードが自動で設定され、撮像部２１３で撮像を開始して、撮像した被写体像が現像演算されて表示部２２４で表示される。また、撮像部２１３で撮像された静止画や動画は、所定のデータフォーマットで記録部２２６に記録される。
In the digital camera according to the present embodiment, the live view mode is automatically set when the power is turned on, imaging is started by the
本実施形態におけるデジタルカメラは、連続的に焦点検出を行い続けるコンティニュアスＡＦモードを有し、操作部２２５への操作入力によってモードの入／切が切り替えできる。
The digital camera according to the present embodiment has a continuous AF mode in which focus detection is continuously performed, and the mode can be switched on / off by an operation input to the
図２０は、焦点検出センサ２１０の詳細を示す図であり、瞳面で分割された２つの被写体像（以後、一方を「Ａ像」、他方を「Ｂ像」とも呼ぶ。）の位相差を検出するために焦点検出センサ内に配置されたラインセンサの配置が示されている。
FIG. 20 is a diagram showing details of the
図２０において、Ａ像が結像するラインセンサａと、Ｂ像が結像するラインセンサｂが、焦点検出センサ２１０上に左右に配置されている。得られたＡ像とＢ像について相関演算を行うことにより、被写体像の位相差が算出される。
In FIG. 20, a line sensor a on which an A image is formed and a line sensor b on which a B image is formed are arranged on the left and right on the
焦点検出センサ２１０には、１対の複数画素列が複数設けられている。複数備わる焦点検出センサ２１０の各画素は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成される。レンズ群１０１等を介して焦点検出センサ２１０上に結像した被写体像は、各画素により光電変換され、電気信号（被写体像信号）の列に変換される。
The
図２１は、本発明の第９の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 21 is a flowchart showing an AF operation flow of the digital camera according to the ninth embodiment of the present invention. This process is realized by the
デジタルカメラは、あらかじめ電源が投入されているものとする。 It is assumed that the digital camera is already turned on.
まず、操作スイッチ２１４のＳＷ１が押下されることにより処理が開始される。
First, processing is started when SW1 of the
ステップＳ２１０１では、カメラコントローラ２１５は、操作部２２５の操作入力によって、コンティニュアスＡＦモードに入れられているか判定する。モードに入っていればステップＳ２１０２へ進む。一方、モードに入っていなければ、動作を終了する。
In step S <b> 2101, the
ステップＳ２１０２では、カメラコントローラ２１５は、加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ２１０３へ進む。
In step S2102, the
ステップＳ２１０３では、測光部２１２で被写体像を撮像して撮像信号を取得する。測光部２１２で得られた撮像信号は、その輝度積分値に基づいて公知の測光演算がなされる。また、測光部２１２で得られた撮像信号は、顔検出部２２７へ送られる。上記処理の後、ステップＳ２１０４へ進む。
In step S2103, the
ステップＳ２１０４では、測光部２１２で得られた１フレームの撮像信号に人物の顔が含まれているか顔検出部２２７が検出し、また顔が含まれている場合はさらに顔検出部２２７がその顔サイズを検出する。顔検出の有無や検出された顔の大きさといった顔情報は、後述する処理で顔の大きさの変化を監視するため、一時記憶される。記憶後、ステップＳ２１０５へ進む。
In step S2104, the
ステップＳ２１０５では、焦点検出センサ２１０における１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ２１０６へ進む。
In step S2105, an image signal obtained from a pair of focus detection pixel arrays in the
ステップＳ２１０６では、カメラコントローラ２１５は、ステップＳ２１０５で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ２１０７へ進む。
In step S <b> 2106, the
ステップＳ２１０７では、カメラコントローラ２１５は、所定の条件を満足するか否か、すなわち顔が検出されていてその顔の大きさが所定の閾値以上か判定する。顔が検出されていてその顔の大きさが閾値以上である場合は、人物の移動による構図変化が大きいと考えられる。このまま被写体像の像信号を加算した際に、異なる位置の顔が重ねられるため、被写体像が多重になってしまい、焦点検出に適した加算ができなくなってしまう。この場合は、焦点検出センサ２１０が複数有する１対の焦点検出画素列から得られた像信号を加算しないようにすることが望ましい。そこで、像信号の加算なく焦点検出の信頼性を向上させる効果が高い手法を行うために、ステップＳ２１０８へ進む。
In step S2107, the
一方、ステップＳ２１０７で顔が検出されていない場合、あるいは顔が検出されているもののその顔の大きさが閾値未満である場合は、焦点検出の信頼性を向上させる効果が高い像信号を得るために、ステップＳ２１１１へ進む。 On the other hand, if no face is detected in step S2107, or if a face is detected but the size of the face is less than the threshold value, an image signal that is highly effective in improving focus detection reliability is obtained. Then, the process proceeds to step S2111.
ステップＳ２１０８では、ステップＳ２１０６で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ２１０９へ進む。
In step S2108, the
ステップＳ２１０９では、異なるフレームにおける同じ焦点検出画素列の像信号から算出された相関量を相関量加算部２２０が加算する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。相関量の値を加算するだけなので、加算にかかる処理負荷を比較的軽くできる。また、相関量を加算することで、仮に値にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ２１１２へ進む。
In step S2109, the correlation
ステップＳ２１１０では、被写体やデジタルカメラの移動を考慮する必要がなく効果の高い手法を用いるために、ステップＳ２１０６で補正処理が行われた焦点検出用の１対の像信号を、画素加算部２１７がそれぞれ対応する画素同士で加算する。本実施形態では、加算カウンタ２１８のカウント値ｎが所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対してフレームを跨いて個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ２１１１へ進む。
In step S2110, in order to use a highly effective method without considering the movement of the subject or the digital camera, the
ステップＳ２１１１では、ステップＳ２１１０にてフレームを跨いで加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ２１１２へ進む。
In step S2111, the
ステップＳ２１１２では、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、フレームを跨いで所定回数の像信号が取得できているかを判定する。加算カウンタのカウント値ｎが所定回数以上であれば、ステップＳ２１１３へ進み、所定回数分の過去のフレームの古いデータを削除する。削除する古いデータの種類は、ステップＳ２１０９で過去に算出されたデフォーカス量、あるいはステップＳ２１０５乃至ステップＳ２１０６で過去に得られた補正済みの焦点検出用の１対の像信号である。削除後、ステップＳ２１１５へ進む。一方、加算カウンタのカウント値ｎが所定回数未満であれば、ステップＳ２１１４へ進み、加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ２１１５へ進む。
In step S2112, whether the count value n of the
ステップＳ２１１５では、ステップＳ２１０９あるいはステップＳ２１１１で算出された像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ２１１６へ進む。
In step S2115, the phase
ステップＳ２１１６では、ステップＳ２１１５で得られたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御後、ステップＳ２１１７へ進む。
In step S2116, the focal position of the
ステップＳ２１１７では、コンティニュアスＡＦモードの動作を続けるか否かを判定するため、ＳＷ１の押下状況を判定する。ＳＷ１が解放されずに押下し続けられていれば、コンティニュアスＡＦモードの動作を続けるため、ステップＳ２１０３へ戻る。一方、ＳＷ１が解放されていれば、コンティニュアスＡＦモードの動作が終了となる。 In step S2117, in order to determine whether or not to continue the operation in the continuous AF mode, the pressing state of SW1 is determined. If SW1 is kept pressed without being released, the operation returns to step S2103 to continue the operation in the continuous AF mode. On the other hand, if SW1 is released, the operation in the continuous AF mode is completed.
上述の動作を行うことにより、撮像部２１３へ入射する光束を途中で光路分割して、独立した焦点検出センサへ結像させる構成であっても、上記第８の実施形態と同様の効果を得ることができる。具体的には、被写体が人物かどうか顔検出を行い、顔の有無や顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させることができる。このため、人物の被写体が移動するか否かにかかわらず、高精度な焦点検出を実現できる。
By performing the above-described operation, the same effect as in the eighth embodiment can be obtained even in a configuration in which the light beam incident on the
［第１０の実施形態］
本発明の第１０の実施の形態に係る撮像装置は、その構成が上記第８の実施の形態に係る撮像装置と同じであり、第８の実施の形態と同様の部分については、同一の符号を用いてその説明を省略する。以下に、上記第８の実施の形態と異なる点のみを説明する。
[Tenth embodiment]
The imaging apparatus according to the tenth embodiment of the present invention has the same configuration as that of the imaging apparatus according to the eighth embodiment, and the same reference numerals are used for the same parts as those in the eighth embodiment. The description is omitted using. Only differences from the eighth embodiment will be described below.
上記第４の実施形態では、カメラ部２００の処理負荷の重い動画記録モード時と処理負荷の軽い他モードの時とで、異なる焦点検出結果の信頼性向上手法を選択していた。ここで、像信号の各画素を加算する方式の信頼性向上手法では、被写体が移動したり、デジタルカメラがぶれたりした場合に、被写体像が多重になったり輪郭に尾を引くような像になったりして、焦点検出に適した加算ができない。特に、人物を被写体にした場合において、さらにその人物の顔の大きさが大きい場合、人物の移動による構図変化は大きいと考えられる。そこで、上記実施形態に限らず、撮像部２１３で得られる被写体像から顔を検出して、その顔の大きさを算出する手段を備え、検出された顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を選択するようにしてもよい。
In the fourth embodiment, different focus detection result reliability improvement methods are selected in the moving image recording mode in which the processing load of the
図２２は、本発明の第１０の実施形態におけるデジタルカメラのＡＦ動作の流れを示すフローチャートである。本処理は、カメラコントローラ２１５が各部を制御することにより実現される。
FIG. 22 is a flowchart showing a flow of AF operation of the digital camera in the tenth embodiment of the present invention. This process is realized by the
デジタルカメラでは、電源オン後に、動作モードがライブビューモードに自動的に設定されて、撮像部２１３で撮像を連続的に行いつつ、撮像された被写体像が表示部２２４で表示されているものとする。
In the digital camera, after the power is turned on, the operation mode is automatically set to the live view mode, and the captured subject image is displayed on the
まず、操作スイッチ２１４のＳＷ１が押下されることにより処理が開始される。
First, processing is started when SW1 of the
ステップＳ２２０１では、操作部２２５の操作入力によって、コンティニュアスＡＦモードに設定されているか判定する。コンティニュアスＡＦモードに設定されていればステップＳ２２０２へ進む。一方、コンティニュアスＡＦモードに設定されていなければ、本処理を終了する。
In step S2201, it is determined whether or not the continuous AF mode is set by an operation input of the
ステップＳ２２０２では、各種の演算結果の加算回数を数えるカメラコントローラ２１５に内包された加算カウンタ２１８のカウント値ｎを０に初期化する。初期化後、ステップＳ２２０３へ進む。
In step S2202, the count value n of the
ステップＳ２２０３では、撮像部２１３で被写体像を撮像し、１フレームの撮像信号を取得する。取得後、ステップＳ２２０４へ進む。
In step S2203, the
ステップＳ２２０４では、撮像部２１３で得られた被写体像１フレームの撮像信号に人物の顔が含まれているか顔検出部２２７が検出し、また顔が含まれている場合はさらに顔検出部２２７がその顔サイズを検出する。顔検出の有無や検出された顔の大きさといった顔情報は、後述する処理ステップで顔の大きさの変化を監視するため、一時記憶される。記憶後、ステップＳ２２０５へ進む。
In step S2204, the
ステップＳ２２０５では、撮像部２１３における１対の焦点検出画素列から得られた像信号を取得する。取得後、ステップＳ２２０６へ進む。
In step S2205, an image signal obtained from a pair of focus detection pixel rows in the
ステップＳ２２０６では、ステップＳ２２０５で取得した１対の像信号に対して、黒レベル補正や撮像光学系の周辺光量落ちなど各種の信号レベル変動を抑える補正処理を行う。補正処理後、ステップＳ２２０７へ進む。 In step S2206, correction processing is performed on the pair of image signals acquired in step S2205 to suppress various signal level fluctuations such as black level correction and a decrease in peripheral light amount of the imaging optical system. After the correction process, the process proceeds to step S2207.
ステップＳ２２０７では、カメラコントローラ２１５は、所定の条件を満足するか否か、すなわち顔が検出されていてその顔の大きさが所定の閾値以上か判定する。顔が検出されていてその顔の大きさが閾値以上である場合は、人物の移動による構図変化が大きいと考えられる。このまま被写体像の像信号を加算した際に、異なる位置の顔が重ねられるため、被写体像が多重になってしまい、焦点検出に適した加算ができない。この場合は、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号を加算しないようにすることが望ましい。そこで、像信号の加算なく焦点検出の信頼性を向上させる手法が用いられる、ステップＳ２２０８へ進む。
In step S2207, the
ステップＳ２２０７で顔が検出されていない場合、あるいは顔が検出されているもののその顔の大きさが閾値未満である場合は、焦点検出の信頼性を向上させる効果の高い、像信号を加算する手法を行うために、ステップＳ２２１１へ進む。 If no face is detected in step S2207, or if a face is detected but the size of the face is less than a threshold, a method for adding image signals that is highly effective in improving focus detection reliability. In order to perform the process, the process proceeds to step S2211.
ステップＳ２２０８では、ステップＳ２２０６で補正処理が行われた焦点検出用の１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ２２０９へ進む。
In step S2208, the
ステップＳ２２０９では、ステップＳ２２０８で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ２２１０へ進む。
In step S2209, the phase
ステップＳ２２１０では、像信号の加算なく焦点検出の信頼性を向上させる手法を用いるために、異なるフレームにおける同じ焦点検出画素列の像信号からそれぞれ算出したデフォーカス量をデフォーカス量加算部２２３が加算平均する。本実施形態では、加算カウンタ２１８が所定回数に達するまで加算が行われるが、初回の処理では加算対象がないためカウントだけなされる。異なるフレームで個々に算出したデフォーカス量の値を加算平均するだけなので、加算平均にかかる処理負荷が非常に軽くできる。また、デフォーカス量を加算平均することで、仮にばらつきが含まれていても加算数に応じてばらつきが収まるため、焦点検出に用いる位相差の信頼性を高めることができる。加算平均後、ステップＳ２２１４へ進む。
In step S2210, the defocus
ステップＳ２２１１では、被写体やデジタルカメラの移動を考慮する必要がなく効果の高い手法を用いるために、ステップＳ２２０６で補正処理が行われた焦点検出用の１対の像信号を、画素加算部２１７がそれぞれ対応する画素同士で加算する。本実施形態では、加算は加算カウンタ２１８が所定回数に達するまで行われるが、初回の処理では加算対象がないためカウントだけなされる。１対の像信号における各画素に対してフレームを跨いて個別に加算処理を行うため、加算にかかる処理負荷が比較的重くなってしまう。しかし、像信号を対応する画素同士で加算することで、後段の相関演算に用いる像信号に混入するノイズ成分が効果的に抑制されるため、焦点検出に用いる位相差の信頼性を高めることができる。加算後、ステップＳ２２１２へ進む。
In step S2211, the
ステップＳ２２１２では、ステップＳ２２１１にてフレームを跨いで加算した１対の像信号から相関演算部２１９が相関演算を行い、像ずらし量ごとの相関量を算出する。算出後、ステップＳ２２１３へ進む。
In step S2212, the
ステップＳ２２１３では、ステップＳ２２１２で得られた像ずらし量ごとの相関量から位相差検出部２２１が最も相関量が高い位相差を算出する。そして、その位相差に基づいて、デフォーカス量検出部２２２が現在の焦点位置から被写体の合焦位置までのデフォーカス量を算出する。算出方法は、公知の位相差検出方式の焦点検出で行われているものであり、最も相関量の高い位相差に撮像光学系に基づく所定の係数を掛けてデフォーカス量に変換するといった演算となる。算出後、ステップＳ２２１４へ進む。
In step S2213, the phase
ステップＳ２２１４では、加算カウンタ２１８のカウント値ｎが、撮像部２１３が複数有する１対の焦点検出画素列から得られた像信号に対して、フレームを跨いで所定の加算数だけ像信号が取得できているかを判定する。加算カウンタのカウント値ｎが所定回数以上であれば、ステップＳ２２１５へ進み、所定回数分の過去のフレームの古いデータを削除する。削除する古いデータの種類は、ステップＳ１００９で過去に算出されたデフォーカス量、あるいはステップＳ１００５乃至ステップＳ１００６で過去に得られた補正済みの焦点検出用の１対の像信号である。削除後、ステップＳ２２１７へ進む。一方、加算カウンタのカウント値ｎが所定回数未満であれば、ステップＳ２２１７へ進み、演算結果の加算回数を数えるカメラコントローラ２１５に内包された加算カウンタ２１８のカウント値ｎに１を加算して更新する。更新後、ステップＳ２２１７へ進む。
In step S2214, the count value n of the
ステップＳ２２１７では、ステップＳ２２１０あるいはステップＳ２２１３で得られたデフォーカス量に基づいて、レンズコントローラ１０５を介して、レンズ群１０１の焦点位置が制御される。制御後、ステップＳ２２１８へ進む。
In step S2217, the focal position of the
ステップＳ２２１８では、コンティニュアスＡＦモードの動作を続けるか否かを判定するため、ＳＷ１の押下状況を確認する。ＳＷ１が解放されずに押下し続けられていれば（ステップＳ２２１８でＮＯ）、コンティニュアスＡＦモードの動作を続けるため、ステップＳ２２０３へ戻る。一方、ＳＷ１が解放されていれば（ステップＳ２２１８でＹＥＳ）、本処理を終了する。 In step S2218, in order to determine whether or not to continue the operation in the continuous AF mode, the pressing state of SW1 is confirmed. If SW1 is kept pressed without being released (NO in step S2218), the process returns to step S2203 to continue the operation in the continuous AF mode. On the other hand, if SW1 is released (YES in step S2218), the process ends.
上述の動作を行うことにより、上記第８の実施形態と同様の効果が得られるようになる。具体的には、被写体が人物かどうか顔検出を行い、顔の有無や顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させることができる。このため、人物の被写体が移動するか否かにかかわらず、高精度な焦点検出を実現できる。 By performing the above-described operation, the same effect as in the eighth embodiment can be obtained. Specifically, face detection can be performed to determine whether the subject is a person, and a different focus detection result reliability improvement method can be appropriately selected according to the presence or absence of the face and the size of the face. For this reason, high-precision focus detection can be realized regardless of whether or not a person's subject moves.
上記第１０の実施形態では、顔を検出して、その顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させていた。しかし、これに限らず、顔を検出してその顔サイズを撮像される度に監視して、顔の大きさが前フレームから変化しているか検出し、変化の有無あるいは程度に応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させてもよい。この場合、本変形例のデジタルカメラの構成は、上記第１０の実施形態と同様の構成である。 In the tenth embodiment, a face is detected, and a different focus detection result reliability improvement method is appropriately selected according to the size of the face. However, the present invention is not limited to this, and each time a face is detected and its face size is imaged, it is detected whether the face size has changed from the previous frame, and varies depending on whether or not there is a change. A method for improving the reliability of the focus detection result may be appropriately selected. In this case, the configuration of the digital camera of the present modification is the same as that of the tenth embodiment.
また、本変形例のデジタルカメラの動作は、基本的に上記第１０の実施形態と同様の動作である。しかしながら、図２２におけるステップＳ２２０７の動作が変わり、顔の大きさが前フレームから変化しているか、あるいは所定閾値以上の変化があるか、という判定である。 The operation of the digital camera according to the present modification is basically the same as that of the tenth embodiment. However, the operation in step S2207 in FIG. 22 is changed, and it is determined whether the size of the face has changed from the previous frame or whether there has been a change beyond a predetermined threshold.
上述の動作を行うことにより、上記第１０の実施形態と同様の効果が得られるようになる。具体的には、被写体が人物かどうか顔検出を行い、顔の大きさが変化して人物が移動しているかの判定に基づき、異なる焦点検出結果の信頼性向上手法を適切に選択させることができる。このため、人物の被写体が移動するか否かにかかわらず、高精度な焦点検出を実現できる。 By performing the above-described operation, the same effect as in the tenth embodiment can be obtained. Specifically, it is possible to perform face detection to determine whether the subject is a person, and to appropriately select a method for improving the reliability of different focus detection results based on the determination of whether the person is moving as the face size changes. it can. For this reason, high-precision focus detection can be realized regardless of whether or not a person's subject moves.
また、上記第１０の実施形態では、顔を検出して、その顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させていた。しかし、これに限らず、顔を検出した検出数に応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させてもよい。 In the tenth embodiment, a face is detected, and a different focus detection result reliability improvement method is appropriately selected according to the size of the face. However, the present invention is not limited to this, and different methods for improving the reliability of focus detection results may be appropriately selected according to the number of detected faces.
また、本変形例のデジタルカメラの動作は、基本的に上記第８の実施形態と同様の動作である。しかしながら、図２２におけるステップＳ２２０７の動作が変わり、顔の検出数が所定閾値以上かという判定である。 The operation of the digital camera according to the present modification is basically the same as that of the eighth embodiment. However, the operation in step S2207 in FIG. 22 changes, and it is determined whether the number of detected faces is greater than or equal to a predetermined threshold value.
上述の動作を行うことにより、上記第１０の実施形態と同様の効果が得られるようになる。具体的には、被写体が人物かどうか顔検出を行い、顔の検出数が所定閾値以上であれば集合写真と推測して、人物の移動が少ないと判定する。一方、顔の検出数が所定閾値未満であれば、少人数のポートレート写真と推測して、人物の移動の可能性があると判定する。このように、検出された顔の数に基づいて、人物の移動の可能性を判定して、異なる焦点検出結果の信頼性向上手法を適切に選択させることができる。このため、人物の被写体が移動するか否かにかかわらず、高精度な焦点検出を実現できる。 By performing the above-described operation, the same effect as in the tenth embodiment can be obtained. Specifically, face detection is performed to determine whether or not the subject is a person. If the number of detected faces is equal to or greater than a predetermined threshold, it is estimated that the photograph is a group photo, and it is determined that the movement of the person is small. On the other hand, if the number of detected faces is less than the predetermined threshold value, it is estimated that the portrait photograph is a small number of people and it is determined that there is a possibility of movement of the person. In this way, it is possible to determine the possibility of movement of a person based on the number of detected faces and to appropriately select a method for improving the reliability of different focus detection results. For this reason, high-precision focus detection can be realized regardless of whether or not a person's subject moves.
また、上記第１０の実施形態では、顔を検出して、その顔の大きさに応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させていた。しかし、これに限らず、選択の切れ目が目立たないよう、選択変更前後の手法で得られたデフォーカス量を所定比率で加算平均して、加算平均した結果に基づいてフォーカス制御してもよい。 In the tenth embodiment, a face is detected, and a different focus detection result reliability improvement method is appropriately selected according to the size of the face. However, the present invention is not limited to this, and defocus amounts obtained by the methods before and after the selection change may be added and averaged at a predetermined ratio, and focus control may be performed based on the result of the addition and averaging so that selection breaks are not noticeable.
このような動作を行うことにより、特に動画記録時のコンティニュアスＡＦにおける焦点検出に伴う被写体像の急変を緩和でき、画像品位を高めることができる。 By performing such an operation, it is possible to alleviate a sudden change in the subject image caused by focus detection in continuous AF, particularly during moving image recording, and to improve image quality.
また、上記第１０の実施形態では、像信号の加算か相関量の加算という手法を用いていた。また、第１０の実施形態では、像信号の加算かデフォーカス量の加算平均という手法を用いていた。しかし、これに限らず、像信号の加算、相関量の加算、デフォーカス量の加算平均の各手法でぞれぞれの結果を出力し、撮像部２１３の撮像設定、測光部２１２の露出設定、顔検出部２２７のいずれかに比較用の閾値を設定し、その閾値との大小を比較してもよい。さらに、各手法のうち少なくとも２種類の結果を取得して、それぞれの閾値と大小を比較して、比較結果に応じて、異なる焦点検出結果の信頼性向上手法を適切に選択させるようにしてもよい。
In the tenth embodiment, a method of adding image signals or adding correlation amounts is used. In the tenth embodiment, a method of adding image signals or adding and averaging defocus amounts is used. However, the present invention is not limited to this, and each result is output by each of the image signal addition, the correlation amount addition, and the defocus amount addition average method, and the imaging setting of the
上述の動作を行うことにより、撮像設定、露出設定、被写体検出状況に応じて、焦点検出の信頼性向上手法を適切に選択できる。 By performing the above-described operation, it is possible to appropriately select a focus detection reliability improvement method according to the imaging setting, the exposure setting, and the subject detection situation.
上記第１〜第１０の実施形態および変形例では、本発明を撮像装置に適用した場合について説明したが、焦点検出装置に適用してもよいことは云うまでもない。 In the above first to tenth embodiments and modifications, the case where the present invention is applied to an imaging apparatus has been described, but it goes without saying that the present invention may be applied to a focus detection apparatus.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
１００ レンズ部
１０７ レンズ位置検出部
２００ カメラ部
２１０ 焦点検出センサ
２１３ 撮像部
２１５ カメラコントローラ
２１７ 画素加算部
２１９ 相関演算部
２２０ 相関量加算部
２２１ 位相差検出部
DESCRIPTION OF
Claims (22)
前記１対の像信号から相関演算を行って相関量を算出し、算出した相関量を加算する第１の算出手段と、
前記１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って相関量を算出する第２の算出手段と、
動作モードを判定する判定手段と、
前記判定手段により処理負荷の重い動作モードと判定された場合には、前記第１の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、前記判定手段により処理負荷の軽い動作モードと判定された場合には、前記第２の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出するデフォーカス量検出手段と、
前記デフォーカス量検出手段により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出手段とを備えることを特徴とする焦点検出装置。 An imaging unit that has a plurality of paired focus detection pixel columns in a part of the plurality of pixels and outputs a pair of image signals from the pair of focus detection pixel columns;
First calculating means for calculating a correlation amount from the pair of image signals to calculate a correlation amount, and adding the calculated correlation amount;
Second calculation means for adding the image signals between corresponding pixels to the pair of image signals and calculating a correlation amount by performing a correlation operation from the added image signals;
Determination means for determining an operation mode;
If the determination unit determines that the operation mode is a heavy processing load, the defocus amount to the in-focus position is calculated based on the phase difference obtained from the correlation amount calculated by the first calculation unit; If the determination unit determines that the operation mode is light processing load, the defocus amount to the in-focus position is calculated based on the phase difference obtained from the correlation amount calculated by the second calculation unit. Focus amount detection means;
A focus detection apparatus comprising: focus detection means for performing focus detection based on the defocus amount calculated by the defocus amount detection means.
前記１対の像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、算出したデフォーカス量を加算平均する第１の算出手段と、
前記１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出する第２の算出手段と、
動作モードを判定する判定手段と、
前記判定手段により処理負荷の重い動作モードと判定された場合には、前記第１の算出手段により算出されたデフォーカス量に基づいて焦点検出を行い、前記判定手段により処理負荷の軽い動作モードと判定された場合には、前記第２の算出手段により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出手段とを備えることを特徴とする焦点検出装置。 An imaging unit that has a plurality of paired focus detection pixel columns in a part of the plurality of pixels and outputs a pair of image signals from the pair of focus detection pixel columns;
First calculation means for calculating a defocus amount to the in-focus position based on a phase difference obtained by performing a correlation operation from the pair of image signals and calculating an average of the calculated defocus amounts. When,
Defocusing to the in-focus position based on the phase difference obtained from the correlation amount calculated by adding the image signals between the corresponding pixels to the pair of image signals and performing correlation calculation from the added image signals A second calculating means for calculating an amount;
Determination means for determining an operation mode;
When the operation mode with a heavy processing load is determined by the determination unit, focus detection is performed based on the defocus amount calculated by the first calculation unit, and the operation mode with a light processing load is performed by the determination unit. A focus detection device comprising: a focus detection unit that performs focus detection based on the defocus amount calculated by the second calculation unit when the determination is made.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って相関量を算出し、算出した相関量を加算する第１の算出手段と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って相関量を算出する第２の算出手段と、
前記撮像手段のフレームレートを判定する判定手段と、
前記判定手段により前記フレームレートが所定のフレームレート未満であると判定された場合には、前記第１の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、前記判定手段により前記フレームレートが所定のフレームレート以上であると判定された場合には、前記第２の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出するデフォーカス量検出手段と、
前記デフォーカス量検出手段により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出手段とを備えることを特徴とする焦点検出装置。 An imaging unit that has a plurality of paired focus detection pixel columns in a part of the plurality of pixels and outputs a pair of image signals from the pair of focus detection pixel columns;
First calculating means for calculating a correlation amount from a pair of image signals included in a plurality of frames imaged by the imaging means, calculating a correlation amount, and adding the calculated correlation amount;
Second, calculating a correlation amount by adding image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals. Means for calculating
Determining means for determining a frame rate of the imaging means;
When the determination unit determines that the frame rate is less than a predetermined frame rate, the defocusing to the in-focus position is performed based on the phase difference obtained from the correlation amount calculated by the first calculation unit. When the determination means determines that the frame rate is equal to or higher than a predetermined frame rate, focusing is performed based on the phase difference obtained from the correlation amount calculated by the second calculation means. Defocus amount detection means for calculating the defocus amount to the position;
A focus detection apparatus comprising: focus detection means for performing focus detection based on the defocus amount calculated by the defocus amount detection means.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、算出したデフォーカス量を加算平均する第１の算出手段と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出する第２の算出手段と、
前記撮像手段のフレームレートを判定する判定手段と、
前記判定手段により前記フレームレートが所定のフレームレート未満であると判定された場合には、前記第１の算出手段により算出されたデフォーカス量に基づいて焦点検出を行い、前記判定手段により前記フレームレートが所定のフレームレート以上であると判定された場合には、前記第２の算出手段により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出手段とを備えることを特徴とする焦点検出装置。 An imaging unit that has a plurality of paired focus detection pixel columns in a part of the plurality of pixels and outputs a pair of image signals from the pair of focus detection pixel columns;
A defocus amount up to the in-focus position is calculated based on a phase difference obtained from a correlation amount calculated by performing a correlation operation from a pair of image signals included in a plurality of frames captured by the imaging unit. First calculating means for averaging the defocus amounts;
Obtained from the correlation amount calculated by adding the image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals A second calculating means for calculating a defocus amount to the in-focus position based on the phase difference;
Determining means for determining a frame rate of the imaging means;
When the determination unit determines that the frame rate is less than a predetermined frame rate, focus detection is performed based on the defocus amount calculated by the first calculation unit, and the determination unit performs the frame detection. Focus detection means comprising: focus detection means for performing focus detection based on the defocus amount calculated by the second calculation means when it is determined that the rate is equal to or higher than a predetermined frame rate. apparatus.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、算出したデフォーカス量を加算平均する第１の算出手段と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出する第２の算出手段と、
現在設定されている絞り値が前フレームから変化したかを判定する判定手段と、
前記判定手段により前記絞り値が変化したと判定された場合には、前記第１の算出手段により算出されたデフォーカス量に基づいて焦点検出を行い、前記判定手段により前記絞り値が変化していないと判定された場合には、前記第２の算出手段により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出手段とを備えることを特徴とする焦点検出装置。 An imaging unit that has a plurality of paired focus detection pixel columns in a part of the plurality of pixels and outputs a pair of image signals from the pair of focus detection pixel columns;
A defocus amount up to the in-focus position is calculated based on a phase difference obtained from a correlation amount calculated by performing a correlation operation from a pair of image signals included in a plurality of frames captured by the imaging unit. First calculating means for averaging the defocus amounts;
Obtained from the correlation amount calculated by adding the image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals A second calculating means for calculating a defocus amount to the in-focus position based on the phase difference;
Determination means for determining whether the currently set aperture value has changed from the previous frame;
When the determination means determines that the aperture value has changed, focus detection is performed based on the defocus amount calculated by the first calculation means, and the aperture value has changed by the determination means. A focus detection apparatus comprising: a focus detection unit that performs focus detection based on the defocus amount calculated by the second calculation unit when it is determined that the second calculation unit does not.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って相関量を算出し、算出した相関量を加算する第１の算出手段と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って相関量を算出する第２の算出手段と、
前記撮像手段の出力から顔の有無および検出された顔のサイズを検出する顔検出手段と、
前記顔検出手段による検出結果から所定の条件を満足するかを判定する判定手段と、
前記判定手段により前記所定の条件として顔が検出され且つ検出された顔のサイズが閾値以上であると判定された場合には、前記第１の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、前記判定手段により前記所定の条件を満たしていないと判定された場合には、前記第２の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出するデフォーカス量検出手段と、
前記デフォーカス量検出手段により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出手段とを備えることを特徴とする焦点検出装置。 An imaging unit that has a plurality of paired focus detection pixel columns in a part of the plurality of pixels and outputs a pair of image signals from the pair of focus detection pixel columns;
First calculating means for calculating a correlation amount from a pair of image signals included in a plurality of frames imaged by the imaging means, calculating a correlation amount, and adding the calculated correlation amount;
Second, calculating a correlation amount by adding image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals. Means for calculating
Face detection means for detecting the presence of a face and the size of the detected face from the output of the imaging means;
Determination means for determining whether a predetermined condition is satisfied from a detection result by the face detection means;
If the determination unit detects a face as the predetermined condition and determines that the detected face size is greater than or equal to a threshold value, the phase difference obtained from the correlation amount calculated by the first calculation unit Is calculated from the correlation amount calculated by the second calculation means when the determinating means determines that the predetermined condition is not satisfied by the determination means. Defocus amount detection means for calculating a defocus amount to the in-focus position based on the phase difference;
A focus detection apparatus comprising: focus detection means for performing focus detection based on the defocus amount calculated by the defocus amount detection means.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、算出したデフォーカス量を加算平均する第１の算出手段と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出する第２の算出手段と、
前記撮像手段の出力から顔の有無および検出された顔のサイズを検出する顔検出手段と、
前記顔検出手段による検出結果から所定の条件を満足するかを判定する判定手段と、
前記判定手段により前記所定の条件として顔が検出され且つ検出された顔のサイズが閾値以上であると判定された場合には、前記第１の算出手段により算出されたデフォーカス量に基づいて焦点検出を行い、前記判定手段により前記所定の条件を満たしていないと判定された場合には、前記第２の算出手段により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出手段とを備えることを特徴とする焦点検出装置。 An imaging unit that has a plurality of paired focus detection pixel columns in a part of the plurality of pixels and outputs a pair of image signals from the pair of focus detection pixel columns;
A defocus amount up to the in-focus position is calculated based on a phase difference obtained from a correlation amount calculated by performing a correlation operation from a pair of image signals included in a plurality of frames captured by the imaging unit. First calculating means for averaging the defocus amounts;
Obtained from the correlation amount calculated by adding the image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals A second calculating means for calculating a defocus amount to the in-focus position based on the phase difference;
Face detection means for detecting the presence of a face and the size of the detected face from the output of the imaging means;
Determination means for determining whether a predetermined condition is satisfied from a detection result by the face detection means;
When the determination unit detects a face as the predetermined condition and determines that the detected face size is greater than or equal to a threshold value, the focus is determined based on the defocus amount calculated by the first calculation unit. And a focus detection unit that performs focus detection based on the defocus amount calculated by the second calculation unit when the determination unit determines that the predetermined condition is not satisfied. A focus detection apparatus.
前記１対の像信号から相関演算を行って相関量を算出し、算出した相関量を加算する第１の算出手段と、
前記１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って相関量を算出する第２の算出手段と、
前記撮像手段とは異なる測光手段の出力から顔の有無および検出された顔のサイズを検出する顔検出手段と、
前記顔検出手段による検出結果から所定の条件を満足するかを判定する判定手段と、
前記判定手段により前記所定の条件として顔が検出され且つ検出された顔のサイズが閾値以上であると判定された場合には、前記第１の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、前記判定手段により前記所定の条件を満たしていないと判定された場合には、前記第２の算出手段により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出するデフォーカス量検出手段と、
前記デフォーカス量検出手段により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出手段とを備えることを特徴とする焦点検出装置。 A focus sensor configured to divide and form a light beam incident on the imaging unit and output a pair of image signals from a pair of focus detection pixel arrays;
First calculating means for calculating a correlation amount from the pair of image signals to calculate a correlation amount, and adding the calculated correlation amount;
Second calculation means for adding the image signals between corresponding pixels to the pair of image signals and calculating a correlation amount by performing a correlation operation from the added image signals;
Face detection means for detecting the presence or absence of a face and the size of the detected face from the output of photometry means different from the imaging means;
Determination means for determining whether a predetermined condition is satisfied from a detection result by the face detection means;
If the determination unit detects a face as the predetermined condition and determines that the detected face size is greater than or equal to a threshold value, the phase difference obtained from the correlation amount calculated by the first calculation unit Is calculated from the correlation amount calculated by the second calculation means when the determinating means determines that the predetermined condition is not satisfied by the determination means. Defocus amount detection means for calculating a defocus amount to the in-focus position based on the phase difference;
A focus detection apparatus comprising: focus detection means for performing focus detection based on the defocus amount calculated by the defocus amount detection means.
前記１対の像信号から相関演算を行って相関量を算出し、算出した相関量を加算する第１の算出工程と、
前記１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って相関量を算出する第２の算出工程と、
動作モードを判定する判定工程と、
前記判定工程により処理負荷の重い動作モードと判定された場合には、前記第１の算出工程により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、前記判定工程により処理負荷の軽い動作モードと判定された場合には、前記第２の算出工程により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出するデフォーカス量検出工程と、
前記デフォーカス量検出工程により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出工程とを備えることを特徴とする焦点検出方法。 A focus detection method for a focus detection apparatus, comprising a plurality of focus detection pixel columns that are paired with each other in a part of a plurality of pixels, and an imaging unit that outputs a pair of image signals from the pair of focus detection pixel columns. There,
A first calculation step of calculating a correlation amount from the pair of image signals to calculate a correlation amount, and adding the calculated correlation amount;
A second calculation step of adding an image signal between corresponding pixels to the pair of image signals and calculating a correlation amount by performing a correlation operation from the added image signals;
A determination step of determining an operation mode;
When it is determined in the determination step that the operation mode is heavy processing load, the defocus amount to the in-focus position is calculated based on the phase difference obtained from the correlation amount calculated in the first calculation step, If it is determined in the determination step that the operation mode is light processing load, the defocus amount to the in-focus position is calculated based on the phase difference obtained from the correlation amount calculated in the second calculation step. A focus amount detection step;
And a focus detection step of performing focus detection based on the defocus amount calculated by the defocus amount detection step.
前記１対の像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、算出したデフォーカス量を加算平均する第１の算出工程と、
前記１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出する第２の算出工程と、
動作モードを判定する判定工程と、
前記判定工程により処理負荷の重い動作モードと判定された場合には、前記第１の算出工程により算出されたデフォーカス量に基づいて焦点検出を行い、前記判定工程により処理負荷の軽い動作モードと判定された場合には、前記第２の算出工程により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出工程とを備えることを特徴とする焦点検出方法。 A focus detection method for a focus detection apparatus, comprising a plurality of focus detection pixel columns that are paired with each other in a part of a plurality of pixels, and an imaging unit that outputs a pair of image signals from the pair of focus detection pixel columns. There,
A first calculation step of calculating a defocus amount to the in-focus position based on a phase difference obtained by performing a correlation operation from the pair of image signals and calculating an average of the calculated defocus amounts. When,
Defocusing to the in-focus position based on the phase difference obtained from the correlation amount calculated by adding the image signals between the corresponding pixels to the pair of image signals and performing correlation calculation from the added image signals A second calculation step for calculating an amount;
A determination step of determining an operation mode;
When it is determined that the operation mode has a heavy processing load in the determination step, focus detection is performed based on the defocus amount calculated in the first calculation step, and the operation mode with a light processing load is performed in the determination step. A focus detection method comprising: a focus detection step of performing focus detection based on the defocus amount calculated in the second calculation step when the determination is made.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って相関量を算出し、算出した相関量を加算する第１の算出工程と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って相関量を算出する第２の算出工程と、
前記撮像手段のフレームレートを判定する判定工程と、
前記判定工程により前記フレームレートが所定のフレームレート未満であると判定された場合には、前記第１の算出工程により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、前記判定工程により前記フレームレートが所定のフレームレート以上であると判定された場合には、前記第２の算出工程により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出するデフォーカス量検出工程と、
前記デフォーカス量検出工程により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出工程とを備えることを特徴とする焦点検出方法。 A focus detection method for a focus detection apparatus, comprising a plurality of focus detection pixel columns that are paired with each other in a part of a plurality of pixels, and an imaging unit that outputs a pair of image signals from the pair of focus detection pixel columns. There,
A first calculation step of calculating a correlation amount by performing a correlation operation from a pair of image signals included in a plurality of frames captured by the imaging unit, and adding the calculated correlation amount;
Second, calculating a correlation amount by adding image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals. The calculation process of
A determination step of determining a frame rate of the imaging means;
If the determination step determines that the frame rate is less than a predetermined frame rate, defocusing to the in-focus position is performed based on the phase difference obtained from the correlation amount calculated in the first calculation step. When the determination step determines that the frame rate is equal to or higher than a predetermined frame rate, focusing is performed based on the phase difference obtained from the correlation amount calculated in the second calculation step. A defocus amount detection step for calculating a defocus amount to the position;
And a focus detection step of performing focus detection based on the defocus amount calculated by the defocus amount detection step.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、算出したデフォーカス量を加算平均する第１の算出工程と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出する第２の算出工程と、
前記撮像手段のフレームレートを判定する判定工程と、
前記判定工程により前記フレームレートが所定のフレームレート未満であると判定された場合には、前記第１の算出工程により算出されたデフォーカス量に基づいて焦点検出を行い、前記判定工程により前記フレームレートが所定のフレームレート以上であると判定された場合には、前記第２の算出工程により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出工程とを備えることを特徴とする焦点検出方法。 A focus detection method for a focus detection apparatus, comprising a plurality of focus detection pixel columns that are paired with each other in a part of a plurality of pixels, and an imaging unit that outputs a pair of image signals from the pair of focus detection pixel columns. There,
A defocus amount up to the in-focus position is calculated based on a phase difference obtained from a correlation amount calculated by performing a correlation operation from a pair of image signals included in a plurality of frames captured by the imaging unit. A first calculation step of averaging the defocus amounts;
Obtained from the correlation amount calculated by adding the image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals A second calculation step of calculating a defocus amount to the in-focus position based on the phase difference;
A determination step of determining a frame rate of the imaging means;
When it is determined by the determination step that the frame rate is less than a predetermined frame rate, focus detection is performed based on the defocus amount calculated by the first calculation step, and the frame is determined by the determination step. And a focus detection step of performing focus detection based on the defocus amount calculated in the second calculation step when it is determined that the rate is equal to or higher than a predetermined frame rate. Method.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、算出したデフォーカス量を加算平均する第１の算出工程と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出する第２の算出工程と、
現在設定されている絞り値が前フレームから変化したかを判定する判定工程と、
前記判定工程により前記絞り値が変化したと判定された場合には、前記第１の算出工程により算出されたデフォーカス量に基づいて焦点検出を行い、前記判定工程により前記絞り値が変化していないと判定された場合には、前記第２の算出工程により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出工程とを備えることを特徴とする焦点検出方法。 A focus detection method for a focus detection apparatus, comprising a plurality of focus detection pixel columns that are paired with each other in a part of a plurality of pixels, and an imaging unit that outputs a pair of image signals from the pair of focus detection pixel columns. There,
A defocus amount up to the in-focus position is calculated based on a phase difference obtained from a correlation amount calculated by performing a correlation operation from a pair of image signals included in a plurality of frames captured by the imaging unit. A first calculation step of averaging the defocus amounts;
Obtained from the correlation amount calculated by adding the image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals A second calculation step of calculating a defocus amount to the in-focus position based on the phase difference;
A determination step of determining whether the currently set aperture value has changed from the previous frame;
When it is determined by the determination step that the aperture value has changed, focus detection is performed based on the defocus amount calculated by the first calculation step, and the aperture value has changed by the determination step. And a focus detection step of performing focus detection based on the defocus amount calculated in the second calculation step when it is determined that there is no focus detection method.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って相関量を算出し、算出した相関量を加算する第１の算出工程と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って相関量を算出する第２の算出工程と、
前記顔検出手段による検出結果から所定の条件を満足するかを判定する判定工程と、
前記判定工程により前記所定の条件として顔が検出され且つ検出された顔のサイズが閾値以上であると判定された場合には、前記第１の算出工程により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、前記判定工程により前記所定の条件を満たしていないと判定された場合には、前記第２の算出工程により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出するデフォーカス量検出工程と、
前記デフォーカス量検出工程により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出工程とを備えることを特徴とする焦点検出方法。 A plurality of focus detection pixel columns that are paired with each other in a part of the plurality of pixels, an imaging unit that outputs a pair of image signals from the pair of focus detection pixel columns; A focus detection method for a focus detection device comprising face detection means for detecting presence / absence and size of a detected face,
A first calculation step of calculating a correlation amount by performing a correlation operation from a pair of image signals included in a plurality of frames captured by the imaging unit, and adding the calculated correlation amount;
Second, calculating a correlation amount by adding image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals. The calculation process of
A determination step of determining whether a predetermined condition is satisfied from a detection result by the face detection means;
When a face is detected as the predetermined condition by the determination step and the size of the detected face is determined to be greater than or equal to a threshold value, the phase difference obtained from the correlation amount calculated by the first calculation step Is calculated from the correlation amount calculated in the second calculation step when it is determined that the predetermined condition is not satisfied by the determination step. A defocus amount detection step of calculating a defocus amount to the in-focus position based on the phase difference;
And a focus detection step of performing focus detection based on the defocus amount calculated by the defocus amount detection step.
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、算出したデフォーカス量を加算平均する第１の算出工程と、
前記撮像手段で撮像された複数フレームに含まれる、１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って算出した相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出する第２の算出工程と、
前記顔検出手段による検出結果から所定の条件を満足するかを判定する判定工程と、
前記判定工程により前記所定の条件として顔が検出され且つ検出された顔のサイズが閾値以上であると判定された場合には、前記第１の算出工程により算出されたデフォーカス量に基づいて焦点検出を行い、前記判定工程により前記所定の条件を満たしていないと判定された場合には、前記第２の算出工程により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出工程とを備えることを特徴とする焦点検出方法。 A plurality of focus detection pixel columns that are paired with each other in a part of the plurality of pixels, an imaging unit that outputs a pair of image signals from the pair of focus detection pixel columns; A focus detection method for a focus detection device comprising face detection means for detecting presence / absence and size of a detected face,
A defocus amount up to the in-focus position is calculated based on a phase difference obtained from a correlation amount calculated by performing a correlation operation from a pair of image signals included in a plurality of frames captured by the imaging unit. A first calculation step of averaging the defocus amounts;
Obtained from the correlation amount calculated by adding the image signals between corresponding pixels to a pair of image signals included in a plurality of frames imaged by the imaging means, and performing a correlation operation from the added image signals A second calculation step of calculating a defocus amount to the in-focus position based on the phase difference;
A determination step of determining whether a predetermined condition is satisfied from a detection result by the face detection means;
When the determination step detects a face as the predetermined condition and determines that the detected face size is greater than or equal to a threshold value, the focus is determined based on the defocus amount calculated in the first calculation step. And a focus detection step of performing focus detection based on the defocus amount calculated by the second calculation step when it is determined by the determination step that the predetermined condition is not satisfied. A focus detection method characterized by the above.
前記１対の像信号から相関演算を行って相関量を算出し、算出した相関量を加算する第１の算出工程と、
前記１対の像信号に対して、対応する画素同士で像信号を加算し、加算した像信号から相関演算を行って相関量を算出する第２の算出工程と、
前記顔検出手段による検出結果から所定の条件を満足するかを判定する判定工程と、
前記判定工程により前記所定の条件として顔が検出され且つ検出された顔のサイズが閾値以上であると判定された場合には、前記第１の算出工程により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出し、前記判定工程により前記所定の条件を満たしていないと判定された場合には、前記第２の算出工程により算出された相関量から得た位相差に基づいて合焦位置までのデフォーカス量を算出するデフォーカス量検出工程と、
前記デフォーカス量検出工程により算出されたデフォーカス量に基づいて焦点検出を行う焦点検出工程とを備えることを特徴とする焦点検出方法。 A focus sensor configured to divide and form a light beam incident on the imaging unit and output a pair of image signals from a pair of focus detection pixel arrays, and from an output of a photometric unit different from the imaging unit A focus detection method of a focus detection device comprising face detection means for detecting the presence of a face and the size of the detected face,
A first calculation step of calculating a correlation amount from the pair of image signals to calculate a correlation amount, and adding the calculated correlation amount;
A second calculation step of adding an image signal between corresponding pixels to the pair of image signals and calculating a correlation amount by performing a correlation operation from the added image signals;
A determination step of determining whether a predetermined condition is satisfied from a detection result by the face detection means;
When a face is detected as the predetermined condition by the determination step and the size of the detected face is determined to be greater than or equal to a threshold value, the phase difference obtained from the correlation amount calculated by the first calculation step Is calculated from the correlation amount calculated in the second calculation step when it is determined that the predetermined condition is not satisfied by the determination step. A defocus amount detection step of calculating a defocus amount to the in-focus position based on the phase difference;
And a focus detection step of performing focus detection based on the defocus amount calculated by the defocus amount detection step.
A computer-readable program for causing a focus detection apparatus or an imaging apparatus to execute the focus detection method according to any one of claims 14 to 21.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014160264A JP2016038428A (en) | 2014-08-06 | 2014-08-06 | Focus detection device and method, and program as well as imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014160264A JP2016038428A (en) | 2014-08-06 | 2014-08-06 | Focus detection device and method, and program as well as imaging device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016038428A true JP2016038428A (en) | 2016-03-22 |
Family
ID=55529553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014160264A Pending JP2016038428A (en) | 2014-08-06 | 2014-08-06 | Focus detection device and method, and program as well as imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016038428A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108933881A (en) * | 2017-05-22 | 2018-12-04 | 中兴通讯股份有限公司 | A kind of method for processing video frequency and device |
-
2014
- 2014-08-06 JP JP2014160264A patent/JP2016038428A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108933881A (en) * | 2017-05-22 | 2018-12-04 | 中兴通讯股份有限公司 | A kind of method for processing video frequency and device |
| CN108933881B (en) * | 2017-05-22 | 2022-05-27 | 中兴通讯股份有限公司 | Video processing method and device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5388544B2 (en) | Imaging apparatus and focus control method thereof | |
| US9185317B2 (en) | Image capturing apparatus capable of storing focus detection data | |
| JP6405243B2 (en) | Focus detection apparatus and control method thereof | |
| US7889985B2 (en) | Imaging apparatus | |
| US10904425B2 (en) | Image processing apparatus, control method therefor, and storage medium for evaluating a focusing state of image data | |
| JP4697606B2 (en) | Imaging apparatus and focus control method | |
| US8988579B2 (en) | Imaging apparatus | |
| KR101692398B1 (en) | Digital photographing apparatus and control method thereof | |
| JP6289017B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
| JP5954933B2 (en) | Imaging device and lens device | |
| JP2011048276A (en) | Stereoscopic imaging apparatus | |
| US20160044231A1 (en) | Image capturing apparatus and method of controlling the same | |
| JP5503438B2 (en) | 3D image display apparatus and 3D image display method | |
| JP2007212724A (en) | Focusing position determination method and device | |
| JP4997043B2 (en) | Imaging apparatus, method and program | |
| JP2007225897A (en) | Focusing position determination device and method | |
| JP4949717B2 (en) | In-focus position determining apparatus and method | |
| JP2018091977A (en) | Focus controller, imaging apparatus, focus control method, and focus control program | |
| JP2016038428A (en) | Focus detection device and method, and program as well as imaging device | |
| JP2020181147A (en) | Focusing apparatus, image pickup apparatus, focusing method, and program | |
| CN116095258A (en) | Electronic device, control method of electronic device, and computer-readable medium | |
| JP6859388B2 (en) | Imaging device, focus adjustment device, and its control method | |
| JPH09181954A (en) | Electronic still camera and method for focus-controlling the same | |
| JP5896947B2 (en) | IMAGING DEVICE AND ITS CONTROL METHOD, IMAGING SYSTEM, PROGRAM, AND STORAGE MEDIUM | |
| JP3395769B2 (en) | Digital still camera |