JP2021015162A - Image processing device and control method therefor - Google Patents

Abstract

To solve the problem that when a moving subject is imaged while there is a difference in processing time between a subject tracking process and a focus detection process and the result of subject tracking is applied to the result of focus detection directly as is, the subject position is shifted.SOLUTION: Provided is an image processing device having focus detection means for performing focus detection using a plurality of focus detection regions and photometry means for detecting photometric image data that includes the color information of a subject. The image processing device comprises first computation means for acquiring the detection information of the focus detection means and then selecting a focus detection region and computing a focus shift amount in the focus detection region, and second computation means for computing a tracking process from the photometric image data detected by the photometry means, and is characterized in that the position of the subject is determined on the basis of the results of the second computation preceding and following in time series when adjusting the focus from the computation result of the first computation means, and information of the determined position is utilized.SELECTED DRAWING: Figure 1

Description

本発明は、ピントを合わせる被写体への被写体追尾処理と焦点検出処理とに関する。 The present invention relates to a subject tracking process and a focus detection process for a subject to be focused.

従来、固体撮像素子を搭載したカメラにおいて、連続して撮像される画像から任意の被写体像を抽出し、連続するコマ間で被写体を追尾し続ける機能が実用化されている。連続撮影中の各画像における被写体像の位置検出によって、適切な自動焦点調節と自動露出演算が可能となる。被写体追尾法としては、画像内における被写体像の領域をテンプレートとしてテンプレートマッチングを行って被写体を探索する方法が知られている。 Conventionally, in a camera equipped with a solid-state image sensor, a function of extracting an arbitrary subject image from continuously captured images and continuously tracking the subject between continuous frames has been put into practical use. By detecting the position of the subject image in each image during continuous shooting, appropriate automatic focus adjustment and automatic exposure calculation become possible. As a subject tracking method, a method of searching for a subject by performing template matching using the area of the subject image in the image as a template is known.

特許文献１では被写体追尾処理と焦点検出処理を異なるセンサを用いて処理し、かつ被写体追尾結果を焦点検出結果に反映させることで精度の高い被写体追尾処理と焦点検出処理が可能となる方法が開示されている。 Patent Document 1 discloses a method that enables highly accurate subject tracking processing and focus detection processing by processing the subject tracking process and the focus detection process using different sensors and reflecting the subject tracking result in the focus detection result. Has been done.

特開２０１３−２００５３０号公報Japanese Unexamined Patent Publication No. 2013-200530

しかしながら、特許文献１では被写体追尾処理と焦点検出処理が同期して動作することが前提になっており、ここが非同期で動作周期に時間的な差がある場合が考慮されていない。動いている被写体を撮影した際に、非同期動作で各処理に時間差がある場合、それぞれの処理における被写体の位置は異なる可能性があるがこの問題について解決できていなかった。 However, Patent Document 1 presupposes that the subject tracking process and the focus detection process operate in synchronization, and does not consider the case where the subject tracking process and the focus detection process are asynchronous and have a time difference in the operation cycle. When shooting a moving subject, if there is a time difference in each process due to asynchronous operation, the position of the subject in each process may be different, but this problem has not been solved.

そこで、本発明は、移動する被写体に対してより精度よくピントを合わせることができる画像処理装置及びその制御方法を提供することを目的とする。 Therefore, an object of the present invention is to provide an image processing device capable of focusing on a moving subject with higher accuracy and a control method thereof.

本発明は、焦点検出領域に対応して焦点検出を行う焦点検出手段と、被写体の色情報を含む測光画像データを検出する測光手段と、フォーカスレンズを有する画像処理装置であって、前記焦点検の結果を取得して焦点調節に用いる前記焦点検出領域の選択および前記焦点検出領域での焦点ずれ量の演算を行う第１演算手段と、前記測光手段が検出した前記測光画像データを取得して被写体の追尾用領域を決定して追尾処理の演算を行う第２演算手段と、前記第１演算手段の演算結果を取得して前記フォーカスレンズの駆動を制御する制御手段を備え、前記第１演算を実行する第１のタイミングと、前記第２演算を実行する第２のタイミングとが異なっており、前記第１演算の焦点検出手段で焦点検出領域を選択する際に、時系列的に前後する前記第２演算の結果に基づいて、被写体の位置を判断し、その位置情報を利用するよう構成したことを特徴とする。 The present invention is an image processing device including a focus detection means that performs focus detection corresponding to a focus detection region, a photometric image data that includes color information of a subject, and a focus lens. The first calculation means for selecting the focus detection region to be used for focus adjustment and calculating the amount of defocus in the focus detection region, and the photometric image data detected by the photometric means are acquired. The first calculation means is provided with a second calculation means for determining a tracking area of a subject and performing a calculation of tracking processing, and a control means for acquiring a calculation result of the first calculation means and controlling driving of the focus lens. The first timing for executing the second calculation is different from the second timing for executing the second calculation, and when the focus detection region of the first calculation selects the focus detection area, it moves back and forth in chronological order. It is characterized in that the position of the subject is determined based on the result of the second calculation and the position information is used.

本発明によれば、移動する被写体に対してより精度よくピントを合わせることができる。 According to the present invention, it is possible to focus on a moving subject with higher accuracy.

本実施形態の撮影処理全体を示すフロー図Flow chart showing the whole shooting process of this embodiment 本実施形態の画像処理装置例を示す図The figure which shows the example of the image processing apparatus of this embodiment 本実施形態のシステム構成例を示す図The figure which shows the system configuration example of this embodiment 本実施形態の焦点検出方法について示す図The figure which shows the focus detection method of this embodiment 本実施形態におけるＳＷ１およびＳＷ２操作があった際の各処理タイミングを示す図The figure which shows each processing timing at the time of SW1 and SW2 operation in this embodiment 図５で撮影された各画像に対して実施例１の被写体追尾処理とＡＦ処理との関係性を示す図The figure which shows the relationship between the subject tracking processing and AF processing of Example 1 for each image photographed in FIG. 実施例２の被写体追尾処理とＡＦ処理との関係性を示す図The figure which shows the relationship between the subject tracking process and AF process of Example 2.

［実施形態１］
以下、添付図面を参照して、本発明の実施形態に係る撮像装置について説明する。 [Embodiment 1]
Hereinafter, the imaging apparatus according to the embodiment of the present invention will be described with reference to the accompanying drawings.

［撮像装置の構成］
図２を参照して本実施形態に係るカメラの構成を説明する。当該カメラは画像処理装置や撮像装置の一例である。図２の構成例に示す撮像装置において、カメラ本体部２０１の前面には撮影レンズ２０２が装着される。撮影レンズ２０２は交換可能であり、カメラ本体部２０１と撮影レンズ２０２は、マウント接点群２１５を介して電気的に接続されている。撮影レンズ２０２は、内部にフォーカスレンズ２１３と絞りシャッタ２１４を備えており、マウント接点群２１５を介した制御により、カメラ内に取り込む光量とピントを調整する。カメラ本体部２０１内に配置された可動のメインミラー２０３はハーフミラーであり、ファインダ観測状態で撮影光路上に斜設され、撮影レンズ２０２からの撮影光束をファインダ光学系へと反射する。一方、メインミラー２０３の透過光は可動のサブミラー２０４を介してＡＦ（オートフォーカス）装置２０５に入射する。ＡＦ装置２０５は焦点検出センサを備え、撮影レンズ２０２の二次結像面を焦点検出ラインセンサ上に形成することで、位相差検出方式により撮影レンズ２０２の焦点調節状態を検出する。ピント板２０６はファインダ光学系を構成し、撮影レンズ２０２の予定結像面に配置されている。ペンタプリズム２０７はファインダ光路を変更し、アイピース２０９からユーザがピント板２０６を観察することで撮影画面を確認できる。 [Configuration of imaging device]
The configuration of the camera according to the present embodiment will be described with reference to FIG. The camera is an example of an image processing device and an imaging device. In the image pickup apparatus shown in the configuration example of FIG. 2, a photographing lens 202 is mounted on the front surface of the camera body 201. The photographing lens 202 is interchangeable, and the camera body 201 and the photographing lens 202 are electrically connected via the mount contact group 215. The photographing lens 202 is provided with a focus lens 213 and an aperture shutter 214 inside, and the amount of light taken into the camera and the focus are adjusted by control via the mount contact group 215. The movable main mirror 203 arranged in the camera main body 201 is a half mirror, which is obliquely arranged on the photographing optical path in the finder observation state, and reflects the photographed luminous flux from the photographing lens 202 to the finder optical system. On the other hand, the transmitted light of the main mirror 203 is incident on the AF (autofocus) device 205 via the movable sub mirror 204. The AF device 205 includes a focus detection sensor, and by forming a secondary image plane of the photographing lens 202 on the focus detection line sensor, the focus adjustment state of the photographing lens 202 is detected by a phase difference detection method. The focus plate 206 constitutes a finder optical system and is arranged on the planned image plane of the photographing lens 202. The pentaprism 207 changes the finder optical path, and the user can confirm the shooting screen by observing the focus plate 206 from the eyepiece 209.

なお本実施例においては後述するメインセンサ２１１での焦点検出処理をメインのＡＦ処理とし、以降ＡＦ装置２０５でのＡＦ処理については説明を省略し、単純にＡＦと記載した場合にはメインセンサでのＡＦ処理を指すものとする。 In this embodiment, the focus detection process by the main sensor 211, which will be described later, is the main AF process. Hereinafter, the AF process by the AF device 205 will be omitted, and when simply described as AF, the main sensor will be used. It shall refer to the AF processing of.

ＡＥ（自動露出）装置２０８は測光センサを備え、これに照射される光信号から測光画像データを生成する。測光画像データは輝度データと色差データを有する。ＡＥ装置２０８は、測光画像データを用いて被写体の明るさを検出し、露出演算および被写体追尾処理を行う。サブミラー２０４の背後にはフォーカルプレーンシャッタ２１０が配置され、さらにメインセンサ２１１が位置する。メインミラー２０３およびサブミラー２０４が撮影光束上から退避し、フォーカルプレーンシャッタ２１０が開くことにより、メインセンサ２１１が露光される。カメラ本体部２０１の背面には表示手段としてディスプレイユニット２１２が設けられており、ユーザが撮影情報や撮影画像を確認できる。 The AE (automatic exposure) device 208 includes a photometric sensor, and generates photometric image data from the optical signal applied to the sensor. The photometric image data includes luminance data and color difference data. The AE device 208 detects the brightness of the subject using the photometric image data, and performs exposure calculation and subject tracking processing. A focal plane shutter 210 is arranged behind the sub mirror 204, and a main sensor 211 is further located. The main sensor 203 and the sub mirror 204 are retracted from the shooting light flux, and the focal plane shutter 210 is opened to expose the main sensor 211. A display unit 212 is provided as a display means on the back surface of the camera body 201, and the user can check the shooting information and the shot image.

次に、本実施形態の撮像装置の機能について、図２の模式図および図３の構成図を用いて説明する。なお、図３は本発明に関連する構成要素のみを示す。 Next, the function of the image pickup apparatus of this embodiment will be described with reference to the schematic diagram of FIG. 2 and the configuration diagram of FIG. Note that FIG. 3 shows only the components related to the present invention.

操作部３０１はユーザが操作する操作部材を備えており、カメラ本体部２０１に取り付けられたボタン、スイッチ、ダイヤル、接続機器等を介してユーザが行った操作を検知し、操作指示に応じた信号をシステム制御部３０６へ送る。操作部３０１は、ユーザがレリーズボタンを半押し操作した場合に発する指示信号（以下、ＳＷ１信号という）と、レリーズボタンを深く押し込む全押し操作を行った場合に発する指示信号（以下、ＳＷ２信号という）をシステム制御部３０６に出力する。ここで、ユーザがレリーズボタンの半押し操作を維持した状態を「ＳＷ１保持状態」と呼び、レリーズボタンの全押し操作を維持した状態を「ＳＷ２保持状態」と呼ぶこととする。また、操作部３０１は、ユーザがＳＷ１保持状態にてレリーズボタンを離した瞬間にＳＷ１解除信号をシステム制御部３０６に出力し、ＳＷ２保持状態にてユーザがレリーズボタンを離した瞬間にＳＷ２解除信号をシステム制御部３０６に出力する。 The operation unit 301 includes an operation member operated by the user, detects an operation performed by the user via buttons, switches, dials, connected devices, etc. attached to the camera body unit 201, and signals according to the operation instruction. Is sent to the system control unit 306. The operation unit 301 has an instruction signal (hereinafter referred to as SW1 signal) emitted when the user half-presses the release button and an instruction signal (hereinafter referred to as SW2 signal) emitted when the release button is fully pressed. ) Is output to the system control unit 306. Here, the state in which the user maintains the half-pressed operation of the release button is referred to as the "SW1 holding state", and the state in which the user maintains the full-pressing operation of the release button is referred to as the "SW2 holding state". Further, the operation unit 301 outputs the SW1 release signal to the system control unit 306 at the moment when the user releases the release button in the SW1 holding state, and the SW2 release signal at the moment when the user releases the release button in the SW2 holding state. Is output to the system control unit 306.

自動露出演算および被写体追尾を行うＡＥ装置２０８は、ＡＥ制御部３０２および測光センサ３０３を備える。測光センサ３０３は、被写体の色情報を含む測光画像データを検出する。ＡＥ制御部３０２は、測光センサ３０３が検出した測光画像データを取得して被写体の追尾用領域を決定して追尾処理の演算を行う。ＡＥ制御部３０２は、撮像画面に対応する測光画像データに対して追尾用領域内の画像との相関演算により追尾対象位置を設定する。連写撮影の場合、連続して取得される撮像信号に対応する測光画像データに対して、追尾用領域内の画像との相関演算が行われる。また、ＡＥ制御部３０２は、測光センサ３０３の測光画像データに基づいて自動露出演算を行い、演算結果をシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２からの自動露出演算結果に基づいて、絞りシャッタ２１４の絞りを制御し、カメラ本体部２０１内の入射光量を調節する。さらに、自動露出演算結果に基づいて、レリーズ操作時にフォーカルプレーンシャッタ２１０の制御が行われ、撮像素子２１１の露光時間が調節される。また、ＳＷ１保持状態および連写撮影中において、ＡＥ制御部３０２は測光センサ３０３から取得した測光画像データを用いて被写体追尾処理を行い、追尾対象となる被写体の位置データをシステム制御部３０６に出力する。システム制御部３０６はＡＥ制御部３０２から出力された追尾対象の位置データをＡＦ処理に用いる。詳細は後述する。 The AE device 208 that performs automatic exposure calculation and subject tracking includes an AE control unit 302 and a photometric sensor 303. The photometric sensor 303 detects photometric image data including color information of the subject. The AE control unit 302 acquires the photometric image data detected by the photometric sensor 303, determines the tracking area of the subject, and calculates the tracking process. The AE control unit 302 sets the tracking target position by the correlation calculation with the image in the tracking area for the photometric image data corresponding to the imaging screen. In the case of continuous shooting, the photometric image data corresponding to the continuously acquired imaging signals is subjected to a correlation calculation with the image in the tracking region. Further, the AE control unit 302 performs an automatic exposure calculation based on the photometric image data of the photometric sensor 303, and outputs the calculation result to the system control unit 306. The system control unit 306 controls the aperture of the aperture shutter 214 based on the result of the automatic exposure calculation from the AE control unit 302, and adjusts the amount of incident light in the camera body 201. Further, based on the result of the automatic exposure calculation, the focal plane shutter 210 is controlled during the release operation, and the exposure time of the image sensor 211 is adjusted. Further, during the SW1 holding state and continuous shooting, the AE control unit 302 performs subject tracking processing using the photometric image data acquired from the photometric sensor 303, and outputs the position data of the subject to be tracked to the system control unit 306. To do. The system control unit 306 uses the position data of the tracking target output from the AE control unit 302 for AF processing. Details will be described later.

システム制御部３０６は、操作部３０１の出力信号に基づいてメインミラー２０３、サブミラー２０４、およびフォーカルプレーンシャッタ２１０を制御する。システム制御部３０６は、操作部３０１の出力信号がＳＷ２信号である場合、メインミラー２０３およびサブミラー２０４のアップ動作制御を行って撮影光路上から退避させ、フォーカルプレーンシャッタ２１０を制御してメインセンサ２１１へ光を照射させる。そして、シャッタ制御が終了すると、システム制御部３０６はメインミラー２０３およびサブミラー２０４のダウン動作制御を行う。 The system control unit 306 controls the main mirror 203, the sub mirror 204, and the focal plane shutter 210 based on the output signal of the operation unit 301. When the output signal of the operation unit 301 is the SW2 signal, the system control unit 306 controls the up operation of the main mirror 203 and the sub mirror 204 to retract the main mirror 203 from the photographing optical path, and controls the focal plane shutter 210 to control the main sensor 211. Irradiate the light. Then, when the shutter control is completed, the system control unit 306 controls the down operation of the main mirror 203 and the sub mirror 204.

つまり、メインミラー２０３が退避された際には、メインセンサ２１１で行うＡＦ制御が可能となり、一方メインミラー２０３が再度挿入されるとＡＥ制御部２０３の処理が可能となることから、これらの処理は排他で処理されることとなる。 That is, when the main mirror 203 is retracted, AF control performed by the main sensor 211 becomes possible, while when the main mirror 203 is reinserted, processing of the AE control unit 203 becomes possible. Will be processed exclusively.

メインセンサ２１１は撮影レンズ２０２を通して入射する被写体からの光を電気信号に変換して画像データを生成し、システム制御部３０６へ出力する。システム制御部３０６はメインセンサ２１１から取得した画像データに従ってディスプレイユニット２１２の画面上に画像を表示させるとともに、画像記憶装置３０４へ画像データを書き込む制御を行う。 The main sensor 211 converts the light from the subject incident through the photographing lens 202 into an electric signal to generate image data, and outputs the image data to the system control unit 306. The system control unit 306 displays an image on the screen of the display unit 212 according to the image data acquired from the main sensor 211, and controls to write the image data to the image storage device 304.

ＡＦ制御部３０５はメインセンサ２１１の出力画像から行うＡＦ処理を行う。具体的な処理について図４を用いて説明する。本実施例ではメインセンサ２１１から出力される画像は視差のある２枚の画像（以下Ａ像、Ｂ像という）であるものとし、その２画像の像ずれ量を求める位相差式の焦点検出を行う。視差のある２枚の画像出力について、図４（ａ）を用いて説明する。 The AF control unit 305 performs AF processing performed from the output image of the main sensor 211. The specific processing will be described with reference to FIG. In this embodiment, it is assumed that the images output from the main sensor 211 are two images with parallax (hereinafter referred to as A image and B image), and the focus detection of the phase difference type for obtaining the amount of image shift between the two images is performed. Do. The output of two images having parallax will be described with reference to FIG. 4A.

メインセンサ２１１の各画素は２つのフォトダイオードＰＤを保持している。フォーカスレンズ２１３を通過した光束をマイクロレンズＭＬで分離し、この２つのフォトダイオードＰＤで結像することで、撮像用と焦点検出用の２つの信号が取り出せるようになっている。２つのフォトダイオードＰＤの信号を加算した信号Ａ＋Ｂが撮像信号であり、個々のフォトダイオードの信号Ａ、信号Ｂが焦点検出用の２つの像信号（焦点検出信号）になっている。各画素からこの信号Ａと信号Ｂを読み出して、Ａ像、Ｂ像として出力している。 Each pixel of the main sensor 211 holds two photodiodes PD. By separating the light flux passing through the focus lens 213 with the microlens ML and forming an image with the two photodiode PDs, two signals for imaging and focus detection can be taken out. The signal A + B obtained by adding the signals of the two photodiode PDs is an imaging signal, and the signals A and B of the individual photodiodes are two image signals (focus detection signals) for focus detection. The signal A and the signal B are read from each pixel and output as an A image and a B image.

次に本実施例の焦点検出方法について図４（ｂ）、（ｃ）を用いて説明する。 Next, the focus detection method of this embodiment will be described with reference to FIGS. 4 (b) and 4 (c).

図４（ｂ）は、入力されたＡ像、Ｂ像の説明図であり、縦軸は像信号のレベル（値）、横軸は画素位置をそれぞれ示している。一対の位相差検出用信号の像ずれ量を算出するため、相関演算を行う。相関演算では、Ａ像信号およびＢ像信号の画素をシフトさせながら相関量が演算される。図４（ｃ）は、像信号の画素をシフトさせていった時の相関量（以下、相関量波形という）を示す図である。図４（ｃ）において、横軸は画素のシフト量、縦軸はその時のＡ像信号とＢ像信号の相関量それぞれ示している。相関量が最大になる位置同士の差が像ずれ量として算出される。相関量を算出する際、二つの像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積を取得する。なお、大きい方の値の累積を取得しても良い。また、これらの値の差分を取得しても良い。累積は、相関を指し示す指標となり、小さい方の値の累積を取得した場合には、この値が最も大きいときが相関の高い時である。なお、大きい方の値の累積を取得した場合、または差分を取得した場合、この値が最も小さい時が相関の高い時となる。 FIG. 4B is an explanatory diagram of the input A image and B image. The vertical axis shows the level (value) of the image signal, and the horizontal axis shows the pixel position. Correlation calculation is performed to calculate the amount of image shift of the pair of phase difference detection signals. In the correlation calculation, the correlation amount is calculated while shifting the pixels of the A image signal and the B image signal. FIG. 4C is a diagram showing a correlation amount (hereinafter, referred to as a correlation amount waveform) when the pixels of the image signal are shifted. In FIG. 4C, the horizontal axis represents the pixel shift amount, and the vertical axis represents the correlation amount between the A image signal and the B image signal at that time. The difference between the positions where the amount of correlation is maximized is calculated as the amount of image shift. When calculating the amount of correlation, two image signals are superposed, the corresponding signals are compared with each other, and the accumulation of the smaller value is obtained. It should be noted that the cumulative value of the larger value may be acquired. Further, the difference between these values may be acquired. The accumulation is an index indicating the correlation, and when the accumulation of the smaller value is acquired, the time when this value is the largest is the time when the correlation is high. When the cumulative value of the larger value is acquired or the difference is acquired, the time when this value is the smallest is the time when the correlation is high.

このように算出された像ずれ量は、ズームレンズ位置、絞り値、撮像面の像高等を考慮した変換係数を掛けることでデフォーカス量へと変換される。デフォーカス量は更にフォーカスレンズの駆動量へと変換される。なお、ここで像ずれ量及びこれに対応するデフォーカス量を、焦点検出結果とも称する。 The image shift amount calculated in this way is converted into a defocus amount by multiplying the conversion coefficient in consideration of the zoom lens position, the aperture value, the image height of the imaging surface, and the like. The defocus amount is further converted into the drive amount of the focus lens. Here, the image shift amount and the corresponding defocus amount are also referred to as focus detection results.

［本実施形態が想定している課題］
ここでＡＥ装置２０８による被写体追尾処理とメインセンサ２１１からの出力によるＡＦ処理の動作シーケンスについて図５を用いて説明する。 [Issues assumed by this embodiment]
Here, the operation sequence of the subject tracking process by the AE device 208 and the AF process by the output from the main sensor 211 will be described with reference to FIG.

ある移動している被写体を撮影しているものとし、レリーズボタンが半押しされ、ＳＷ１保持状態となったとする（図６タイミングｔ１）。その際の測光センサ３０３による画像の蓄積と読み出しが行われるが、その画像が画像５０１（フレームＡ１）であったとする。読み出された画像から被写体追尾処理が行われる。さらに直後にレリーズボタンが全押しされ、ＳＷ２保持状態となったものとする（図６タイミングｔ２）。その際、メインセンサ２１１での蓄積と読み出しが行なれ、その時の画像が画像５２１（フレームＢ１）であったとする。この時、メインセンサ２１１は測光センサ３０３より画素数が多いため、読み出しに時間がかかる。そこで読み出された画像部分から順次ＡＦ処理を行うことで処理時間の短縮を図る。その間、メインセンサ２１１での画像の蓄積が完了していればミラーダウン可能なので再度測光センサ３０３による画像の蓄積、読み出しを行う。（図６タイミングｔ３）その時の画像が画像５０２（フレームＡ２）であったものとする。その後の動作は記載しないがもしＳＷ２保持状態が続いている場合は再度ミラーアップしてメインセンサ２１１での画像読み出し処理を行う。 It is assumed that a moving subject is being photographed, the release button is pressed halfway, and the SW1 holding state is set (timing t1 in FIG. 6). At that time, the photometric sensor 303 accumulates and reads out the image, and it is assumed that the image is the image 501 (frame A1). Subject tracking processing is performed from the read image. Immediately after that, the release button is fully pressed, and it is assumed that the SW2 is held (timing t2 in FIG. 6). At that time, it is assumed that the main sensor 211 can store and read the image, and the image at that time is the image 521 (frame B1). At this time, since the main sensor 211 has more pixels than the photometric sensor 303, it takes time to read out. Therefore, the processing time is shortened by sequentially performing AF processing from the image portion read out. During that time, if the image accumulation by the main sensor 211 is completed, the mirror can be downed, so the image is accumulated and read out by the photometric sensor 303 again. (FIG. 6 Timing t3) It is assumed that the image at that time is image 502 (frame A2). The subsequent operation is not described, but if the SW2 holding state continues, the mirror is raised again and the image reading process by the main sensor 211 is performed.

この時撮影された前述の３枚の画像における被写体追尾処理とＡＦ処理との関係性について図６を用いて説明する。 The relationship between the subject tracking process and the AF process in the above-mentioned three images taken at this time will be described with reference to FIG.

まず画像５０１と画像５０２は測光センサ３０３によって読み出されたものであるため、被写体追尾処理のみが実行される。画像５０１の被写体追尾結果の位置を示すものが破線枠５１１である。同様に画像５０２の被写体追尾結果の位置は破線５１２である。 First, since the images 501 and 502 are read by the photometric sensor 303, only the subject tracking process is executed. The broken line frame 511 indicates the position of the subject tracking result of the image 501. Similarly, the position of the subject tracking result of the image 502 is the broken line 512.

画像５２１はメインセンサ２１１から読み出された画像であり、ＡＦ処理を行う。なお本実施例において、図６のＡＦ枠５３１に示すように画像全体で分割した領域がＡＦ枠である。ＡＦ処理において、ＡＦ枠毎に位相差焦点検出処理を行うものとする。なお、ＡＦ枠を焦点検出領域とも称する。 The image 521 is an image read from the main sensor 211, and AF processing is performed. In this embodiment, as shown in the AF frame 531 of FIG. 6, the region divided by the entire image is the AF frame. In the AF process, the phase difference focus detection process is performed for each AF frame. The AF frame is also referred to as a focus detection area.

この時、画像５２１の直前の被写体追尾結果となる画像５０１での被写体追尾結果位置に相当するＡＦ枠は斜線枠５４１となる。しかし被写体は移動しているため、その１つとなりの枠に移動してしまっている。 At this time, the AF frame corresponding to the subject tracking result position in the image 501, which is the subject tracking result immediately before the image 521, is the shaded frame 541. However, since the subject is moving, it has moved to the frame next to it.

このように被写体追尾処理とＡＦ処理とで処理する画像に時間差があるため、移動する被写体を撮影した際に、単純に被写体追尾結果をＡＦ処理に適用すると正しい結果が得られない場合があった。 Since there is a time lag between the images processed by the subject tracking process and the AF process in this way, when shooting a moving subject, if the subject tracking result is simply applied to the AF process, the correct result may not be obtained. ..

そこで本実施例においては、ＡＦ処理を行う前後の被写体追尾結果の位置から補間して被写***置を推測することで適切な枠位置を判断する。 Therefore, in this embodiment, an appropriate frame position is determined by estimating the subject position by interpolating from the position of the subject tracking result before and after performing the AF process.

［撮像装置の動作］
次に、図１を用いてユーザのＳＷ１操作とＳＷ２操作があった場合のカメラ全体の制御シーケンスについて記載する。 [Operation of imaging device]
Next, with reference to FIG. 1, the control sequence of the entire camera when the user operates SW1 and SW2 will be described.

Ｓ１０１において、ユーザからのＳＷ１操作があるか判定する。ＳＷ１操作があった場合はＳ１０２に進む。Ｓ１０２ではメインミラー２０３とサブミラー２０４をダウン動作して、ＡＥ制御部２０３の処理を可能な状態とする。Ｓ１０３ではＡＥ制御部２０３において測光センサ３０３の蓄積および画像の読み出しを行う。Ｓ１０４では読み出された画像から被写体追尾処理を行う。Ｓ１０５ではＳＷ２操作があるか判断する。ＳＷ２操作がない場合はＳ１０１に戻り、ＳＷ１操作が継続しているか判断する。Ｓ１０５でＳＷ１操作からＳＷ２に切り替わった場合、Ｓ１０６でメインミラー２０３とサブミラー２０４をアップ動作して、メインセンサ２１１での処理を可能な状態とする。Ｓ１０７ではメインセンサ２１１での蓄積および画像の読み出しを行う。Ｓ１０８では読み出されたＡ像とＢ像を用いてＡＦ制御部３０５によって位相差焦点検出処理を行う。このとき、前述したようにメインセンサ２１１は多画素であり、読み出しに時間がかかる。その間にもう一度ＡＥ制御部の処理を実行する。Ｓ１０９〜Ｓ１１１はＳ１０２〜Ｓ１０４と同様のため説明は省略する。Ｓ１１２ではＳ１０４とＳ１１１で行った被写体追尾処理の結果を用いて、Ｓ１０８のＡＦ処理におけるどの枠位置の結果を用いるかを判定する。このＡＦ枠位置選択の詳細は後述する。そしてＳ１０５に戻ってＳＷ２操作が継続されている、いわゆる連写操作が行われているかを判定する。 In S101, it is determined whether there is a SW1 operation from the user. If there is a SW1 operation, the process proceeds to S102. In S102, the main mirror 203 and the sub mirror 204 are operated down to enable the processing of the AE control unit 203. In S103, the AE control unit 203 stores the photometric sensor 303 and reads out the image. In S104, subject tracking processing is performed from the read image. In S105, it is determined whether there is a SW2 operation. If there is no SW2 operation, the process returns to S101 to determine whether the SW1 operation is continuing. When the operation of SW1 is switched to SW2 in S105, the main mirror 203 and the sub mirror 204 are moved up in S106 to enable processing by the main sensor 211. In S107, the main sensor 211 accumulates and reads out the image. In S108, the AF control unit 305 performs the phase difference focus detection process using the read A image and B image. At this time, as described above, the main sensor 211 has a large number of pixels, and it takes time to read out. In the meantime, the processing of the AE control unit is executed again. Since S109 to S111 are the same as S102 to S104, the description thereof will be omitted. In S112, the result of the subject tracking process performed in S104 and S111 is used to determine which frame position result is used in the AF process of S108. Details of this AF frame position selection will be described later. Then, returning to S105, it is determined whether the so-called continuous shooting operation in which the SW2 operation is continued is being performed.

ここでＳ１０８のＡＦ処理時の枠位置選択について図６を用いて説明する。前述の通り図６における３枚の画像は時系列としては測光センサ３０３による画像５０１、メインセンサ２１１による画像５２１、測光センサ３０３による画像５０２の順となる。 Here, the frame position selection at the time of AF processing of S108 will be described with reference to FIG. As described above, the three images in FIG. 6 are in the order of image 501 by the photometric sensor 303, image 521 by the main sensor 211, and image 502 by the photometric sensor 303 in chronological order.

また前述の通り、画像５０１の追尾結果５１１をそのまま画像５２１のＡＦ枠に適用しようとすると被写体が移動しており、正しい位置にならない。同様に画像５０２の追尾処理結果５１２も被写体がさらに外に移動しているためそのまま利用しても正しい位置とはならない。 Further, as described above, if the tracking result 511 of the image 501 is applied to the AF frame of the image 521 as it is, the subject is moving and the position is not correct. Similarly, the tracking process result 512 of the image 502 also does not have the correct position even if it is used as it is because the subject is further moved to the outside.

つまり、この２つの画像の間に撮影されたメインセンサ画像上の被写***置をより精度よく求めるにはこの２つの結果から位置を補間する必要がある。補間の方法はいずれの方法でもよく、本実施例においては追尾検出結果の２点間の中心位置とする。図６において追尾結果５１１と５１２の中間位置を破線５５１で示す。このように破線５５１上にある枠位置を選択することで画像５２１における被写体が存在する枠位置を選択することが可能となる。 That is, in order to obtain the subject position on the main sensor image captured between these two images with higher accuracy, it is necessary to interpolate the position from these two results. Any method may be used for interpolation, and in this embodiment, the center position between the two points of the tracking detection result is used. In FIG. 6, the intermediate position between the tracking results 511 and 512 is shown by the broken line 551. By selecting the frame position on the broken line 551 in this way, it is possible to select the frame position where the subject exists in the image 521.

［本実施例による効果］
以上のように、本実施形態では移動する被写体であっても精度よく追従して焦点検出処理を行い焦点検出の追従性能を向上させることができる。 [Effect of this example]
As described above, in the present embodiment, even a moving subject can be accurately followed and the focus detection process can be performed to improve the tracking performance of the focus detection.

［実施形態２］
次に、本発明の実施例２における枠位置補正処理について説明する。 [Embodiment 2]
Next, the frame position correction process according to the second embodiment of the present invention will be described.

実施例１では２つの被写体追尾結果を用いて補間したが、本実施例ではこの２つの被写体追尾結果の差に対して閾値を設け、閾値以上となった場合には枠位置補間を行わない。 In the first embodiment, the interpolation was performed using the two subject tracking results, but in the present embodiment, a threshold value is set for the difference between the two subject tracking results, and when the threshold value is exceeded, the frame position interpolation is not performed.

図７を用いて本実施例の枠位置補間処理とその結果に応じたＡＦ処理について説明する。前述の図５の各タイミングｔ１、ｔ２、ｔ３において撮影された画像が図７の画像７０１、画像７２１、画像７０２であったとする。 The frame position interpolation processing of this embodiment and the AF processing according to the result will be described with reference to FIG. 7. It is assumed that the images taken at the respective timings t1, t2, and t3 of FIG. 5 described above are the image 701, the image 721, and the image 702 of FIG.

この時、画像７０１と画像７０２の被写体追尾結果を示すものが破線枠７１１と破線枠７１２であり、２点間の距離を幅７５１で示している。このとき幅７５１が閾値以上かを判定する。本実施例においては閾値をＡＦ枠３枠分の距離とする。図７において幅７５１はＡＦ枠３枠以上の距離があるため、閾値以上となり枠位置補間不能と判断する。 At this time, the dashed line frame 711 and the broken line frame 712 show the subject tracking results of the images 701 and 702, and the distance between the two points is shown by the width 751. At this time, it is determined whether the width 751 is equal to or larger than the threshold value. In this embodiment, the threshold value is the distance of three AF frames. In FIG. 7, since the width 751 has a distance of 3 or more AF frames, it is equal to or more than the threshold value and it is determined that the frame position cannot be interpolated.

このとき、ＡＦ処理としては枠位置補間ができなかったので、どのＡＦ枠位置結果を用いればいいか特定できていないため、前後の被写体追尾処理結果との間にあるＡＦ枠（図７の斜線領域７４１）すべてを評価して、最も評価が高いものを選択する。本実施例においてＡＦ処理の評価値としては前述の相関量を用いるものとする。評価値としてはこれに限ったものでなく、被写体のコントラスト値を評価値に含めて総合的に判断してもよい。 At this time, since the frame position interpolation could not be performed as the AF processing, it was not possible to specify which AF frame position result should be used. Therefore, the AF frame between the front and rear subject tracking processing results (diagonal line in FIG. 7). Region 741) Evaluate all and select the one with the highest rating. In this example, the above-mentioned correlation amount is used as the evaluation value of the AF process. The evaluation value is not limited to this, and the contrast value of the subject may be included in the evaluation value for comprehensive judgment.

［本実施例による効果］
以上のように、本実施形態では移動速度の速い被写体であった場合は、移動経路上で最も評価値の高いものを選択することで、誤測距を抑制し焦点検出の追従性能を向上させることができる。 [Effect of this example]
As described above, in the case of a subject having a high moving speed in the present embodiment, by selecting the subject having the highest evaluation value on the moving path, erroneous distance measurement is suppressed and the tracking performance of focus detection is improved. be able to.

［その他の構成］
以上のように本実施例のＡＦ処理における枠選択において、被写体追従結果をもとに枠位置を決定したが、さらにその後でＡＦとしての評価値でさらにそのＡＦ枠が適切か判断してもよい。ＡＦとしての評価値が低い場合には周辺のＡＦ枠の評価値も参照してもっとも評価値の高かったＡＦ枠の結果を最終的に選択する。なお、前述の実施例でフローチャートを用いて説明した動作は、同様の目的を達成することができるように、適宜実行されるステップの順序を変更することが可能である。 [Other configurations]
As described above, in the frame selection in the AF processing of this embodiment, the frame position is determined based on the subject tracking result, but after that, it may be further determined whether the AF frame is appropriate based on the evaluation value as AF. .. When the evaluation value as AF is low, the result of the AF frame having the highest evaluation value is finally selected by referring to the evaluation values of the surrounding AF frames. In addition, in the operation described by using the flowchart in the above-described embodiment, the order of the steps to be executed can be changed as appropriate so that the same purpose can be achieved.

また、本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワークあるいは記憶媒体を介してシステム又は装置に供給し、そのシステムあるいは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention also supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device implement the program. It can also be realized by the process of reading and executing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

以上、ここでは本発明の好ましい実施形態について説明した。なお、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 The preferred embodiment of the present invention has been described above. The present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the gist thereof.

２１３ フォーカスレンズ
３０２ ＡＥ制御部
３０５ ＡＦ制御部
３０６ システム制御部 213 Focus lens 302 AE control unit 305 AF control unit 306 System control unit

Claims (4)

焦点検出領域に対応して焦点検出を行う焦点検出手段と、被写体の色情報を含む測光画像データを検出する測光手段と、フォーカスレンズを有する画像処理装置であって、
前記焦点検の結果を取得して焦点調節に用いる前記焦点検出領域の選択および前記焦点検出領域での焦点ずれ量の演算を行う第１演算手段と、
前記測光手段が検出した前記測光画像データを取得して被写体の追尾用領域を決定して追尾処理の演算を行う第２演算手段と、
前記第１演算手段の演算結果を取得して前記フォーカスレンズの駆動を制御する制御手段を備え、
前記第１演算を実行する第１のタイミングと、前記第２演算を実行する第２のタイミングとが異なっており、前記第１演算の焦点検出手段で焦点検出領域を選択する際に、時系列的に前後する前記第２演算の結果に基づいて、被写体の位置を判断し、その位置情報を利用することを特徴とする画像処理装置。 An image processing device having a focus detection means for performing focus detection corresponding to a focus detection region, a photometric means for detecting photometric image data including color information of a subject, and a focus lens.
A first calculation means for acquiring the result of the focus inspection, selecting the focus detection region to be used for focus adjustment, and calculating the amount of defocus in the focus detection region.
A second calculation means that acquires the photometric image data detected by the photometric means, determines a tracking area for the subject, and performs a tracking process calculation.
A control means for acquiring the calculation result of the first calculation means and controlling the driving of the focus lens is provided.
The first timing for executing the first operation and the second timing for executing the second operation are different, and when the focus detection means of the first operation selects the focus detection region, the time series An image processing apparatus characterized in that the position of a subject is determined based on the result of the second calculation before and after the target, and the position information is used. 時系列的に前後する前記第２演算の追尾処理結果を補間する補間手段を備え、
前記第１演算の焦点検出手段で焦点検出領域を選択する際に、前記補間手段による補間の結果を用いて焦点検出領域を決定することを特徴とする請求項１に記載の画像処理装置。 It is provided with an interpolation means for interpolating the tracking processing result of the second operation that moves back and forth in time series.
The image processing apparatus according to claim 1, wherein when the focus detection region of the first calculation is selected, the focus detection region is determined by using the result of interpolation by the interpolation means. 前記補間手段は、時系列的に前後する前記第２演算の追尾処理結果の中間位置を補間の結果とすることを特徴とする請求項２記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the interpolation means sets an intermediate position of the tracking processing result of the second operation, which is back and forth in time series, as the interpolation result. 前記補間手段は、時系列的に前後する前記第２演算の追尾処理結果の位置の差分が閾値以上であった場合には、補間不能と判断し、
前記第１演算手段の焦点検出手段は前記２つの追尾処理結果の間にある焦点検出領域すべてに対して焦点検出を行うことを特徴とする請求項２又は請求項３に記載の画像処理装置。 The interpolation means determines that interpolation is not possible when the difference in position of the tracking processing result of the second operation that precedes and decreases in time series is equal to or greater than the threshold value.
The image processing apparatus according to claim 2 or 3, wherein the focus detecting means of the first calculation means performs focus detection on the entire focus detection region between the two tracking processing results.

Images