JP7305332B2 - LENS CONTROL DEVICE AND CONTROL METHOD THEREOF - Google Patents
LENS CONTROL DEVICE AND CONTROL METHOD THEREOF Download PDFInfo
- Publication number
- JP7305332B2 JP7305332B2 JP2018207518A JP2018207518A JP7305332B2 JP 7305332 B2 JP7305332 B2 JP 7305332B2 JP 2018207518 A JP2018207518 A JP 2018207518A JP 2018207518 A JP2018207518 A JP 2018207518A JP 7305332 B2 JP7305332 B2 JP 7305332B2
- Authority
- JP
- Japan
- Prior art keywords
- image plane
- subject
- plane position
- prediction
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
Description
本発明は、像面位置の予測に関するものである。 The present invention relates to image plane position prediction.
従来、動く被写体に対してピントを合わせるために、ある時刻の焦点検出結果に基づいて当該時刻よりも後の時刻における像面位置を予測し、予測された当該像面位置に基づいてフォーカスレンズの駆動を制御する技術が提案されている。 Conventionally, in order to focus on a moving subject, the image plane position at a time later than a certain time is predicted based on the focus detection result at a certain time, and the focus lens is adjusted based on the predicted image plane position. Techniques for controlling drive have been proposed.
特許文献1では、像面位置及び対応する焦点検出の時刻のデータを複数用いて、予測関数にもっともフィットする係数を最小二乗法(一括最小二乗法とも称される)により求めることで、像面位置を予測する技術が公知であることが記載されている。
In
上述の一括最小二乗法を用いて像面位置を予測し、当該像面位置に基づいてフォーカスレンズの駆動を制御することで、動いている被写体に対して焦点位置を合わせることが可能である。 By predicting the image plane position using the above-described lumped least squares method and controlling the driving of the focus lens based on the image plane position, it is possible to focus on a moving subject.
しかしながら、一括最小二乗法を用いてある時刻よりも後の時刻における被写体の像面位置を予測する場合、より安定した予測結果を得るためには、演算量を増やす必要があるという課題があった。像面位置及び対応する焦点検出の時刻のデータをより多く用いて演算する必要があるためである。 However, when using the lumped least squares method to predict the image plane position of an object at a time later than a certain time, there is a problem that it is necessary to increase the amount of calculation in order to obtain a more stable prediction result. . This is because it is necessary to perform calculations using more image plane position and corresponding focus detection time data.
そこで、本発明の目的は、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができるレンズ制御装置及びその制御方法を提供することである。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a lens control device and a control method thereof that can appropriately focus on a moving subject while reducing the processing load.
焦点検出結果を取得する焦点検出手段と、前記焦点検出結果に基づいて被写体の像面位置に対応する情報を逐次最小二乗法に基づいて推定する推定手段と、前記推定手段により推定された被写体の像面位置に対応する情報に基づいて、被写体の将来の像面位置に対応する情報を予測する第1の予測手段と、一括最小二乗法に基づいて被写体の将来の像面位置に対応する情報の予測を行う第2の予測手段と、前記第1の予測手段又は前記第2の予測手段によって予測された前記被写体の将来の像面位置に対応する情報に基づいてフォーカスレンズの駆動を制御する駆動制御手段と、を有し、前記駆動制御手段は、被写体までの撮影距離が前記第1の距離未満である場合には、前記第2の予測手段によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動するよう構成したことを特徴とする。 focus detection means for obtaining a focus detection result; estimation means for estimating information corresponding to an image plane position of an object based on the focus detection result based on a sequential least squares method; a first predicting means for predicting information corresponding to the future image plane position of the subject based on information corresponding to the image plane position; and information corresponding to the future image plane position of the subject based on the lumped least squares method. and controlling driving of the focus lens based on information corresponding to the future image plane position of the subject predicted by the first prediction means or the second prediction means. and drive control means, wherein the drive control means predicts the future image plane position of the subject predicted by the second prediction means when the shooting distance to the subject is less than the first distance. is configured to drive the focus lens based on information corresponding to
本発明によれば、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。 According to the present invention, it is possible to appropriately focus on a moving subject while suppressing the processing load.
[実施例1]
以下、本発明を適用した実施例を説明する。本実施例では一例として、本発明をデジタル一眼レフカメラに適用した例を説明する。
[Example 1]
Examples to which the present invention is applied will be described below. In this embodiment, as an example, an example in which the present invention is applied to a digital single-lens reflex camera will be described.
<撮像装置の構成>
図1は、デジタル一眼レフカメラの構成を示すブロック図である。
<Structure of Imaging Device>
FIG. 1 is a block diagram showing the configuration of a digital single-lens reflex camera.
レンズ駆動回路202は、例えばDCモータやステッピングモータを有し、マイクロコンピュータ224の駆動制御によって、撮影レンズ201が有するフォーカスレンズの位置を変化させることにより焦点位置を合わせる。すなわち、マイクロコンピュータ224によってレンズ制御が行われる。
The
レンズ通信回路203は、撮影レンズ201内部のマイクロコンピュータ(不図示)と通信を行う。通信内容はマイクロコンピュータ224によって制御され、撮影レンズ201の状態を取得する。
A
絞り駆動回路205は、絞り204を駆動する。駆動されるべき量はマイクロコンピュータ224によって算出され、光学的な絞り値を変化させる。
A
主ミラー206は常時はファインダー部(不図示)へと光束を導くよう反射させるように配されているが、撮影が行われる場合には、撮像素子213へと光束を導くように上方に跳ね上がり光束中から待避する。すなわち、撮影レンズ201から入射した光束をファインダー側と撮像素子側とに切替える。また主ミラー206はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うための焦点検出センサに入射するように透過させる。
The
サブミラー207は主ミラー206から透過してきた光束を反射させ焦点検出を行うための焦点検出センサ(焦点検出回路210内に配置されている)に導く。
The
ペンタプリズム208主ミラー206が反射した光束をファインダー部(不図示)へと導く。ファインダー部は他にピント板、アイピースレンズ(不図示)などを有する。
The
測光回路209は、ピント板(不図示)に結像された被写体像の色および明るさを、カラーフィルタを備えた測光センサ(測光回路209内に配置されている)によって、電気信号に変換する。
The
主ミラー206の中央部を透過し、サブミラー207で反射された光束は、焦点検出回路210の内部に配置された光電変換を行うための焦点検出センサに至る。焦点検出の結果であるデフォーカス量は、焦点検出センサの出力を演算することによって求められる。マイクロコンピュータ224は演算結果を評価してレンズ駆動回路202に指示し、フォーカスレンズを駆動させる。
A light beam transmitted through the central portion of the
シャッター駆動回路212は、フォーカルプレーンシャッター211を駆動する。シャッターの開口時間はマイクロコンピュータ224によって、制御される。
A
撮像素子213には、CCDやCMOSセンサなどが用いられ、撮影レンズ201によって結像された被写体像を電気信号に変換する。
A CCD, a CMOS sensor, or the like is used as the
クランプ回路214やAGC回路215は、A/D変換をする前の基本的なアナログ信号処理を行い、マイクロコンピュータ224により、クランプレベルやAGC基準レベルの変更が行われる。
A
A/D変換器216は撮像素子213のアナログ出力信号をデジタル信号に変換する。
An A/
映像信号処理回路217は、ゲートアレイなどのロジックデバイスにより実現され、デジタル化された画像データに、フィルタ処理、色変換処理、ガンマ処理を行うと共に、JPEGなどの圧縮処理を行い、メモリコントローラ220に出力する。
The video
映像信号処理回路217は、必要に応じて撮像素子213の信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ224に出力することが可能である。それらの情報を基にマイクロコンピュータ224はホワイトバランスやゲイン調整の指示を行う。連続撮影動作の場合においては、一旦、未処理画像のままバッファメモリ223に撮影データを格納し、メモリコントローラ220を通して未処理の画像データを読み出し、映像信号処理回路217にて画像処理や圧縮処理を行い、連続撮影を行う。連像撮影枚数は、バッファメモリの大きさに左右される。
The video
メモリコントローラ220では、映像信号処理回路217から入力された未処理のデジタル画像データをバッファメモリに格納し、処理済みのデジタル画像データをメモリ221に格納する。また、逆にバッファメモリ223やメモリ221から画像データを映像信号処理回路217に出力する。メモリ221は取り外し可能である場合もある。メモリコントローラ220は、コンピュータ等と接続可能な外部インターフェイス222を介してメモリ221に記憶されている画像を出力可能である。
The
操作部材225は、マイクロコンピュータ224にその状態を伝え、マイクロコンピュータ224はその操作部材の変化に応じて各部をコントロールする。
The
スイッチ1(以後SW1)とスイッチ2(以後SW2)は、レリーズボタンの操作でオンオフするスイッチであり、それぞれ操作部材225の入力スイッチのうちの1つである。SW1のみオンの状態はレリーズボタン半押し状態であり、この状態でオートフォーカス動作や測光動作を行う。
A switch 1 (hereinafter referred to as SW1) and a switch 2 (hereinafter referred to as SW2) are switches that are turned on and off by operating the release button, and each is one of the input switches of the
SW1、SW2が共にオンの状態はレリーズボタンの全押し状態であり、画像を記録するためのレリーズボタンオン状態である。この状態で撮影が行われる。またSW1、SW2がONし続けている間は、連続撮影動作が行われる。操作部材225には、他に、ISO設定ボタン、画像サイズ設定ボタン、画質設定ボタン、情報表示ボタンなど不図示のスイッチが接続されており、スイッチの状態が検出されている。
When both SW1 and SW2 are on, the release button is fully pressed, and the release button is on for recording an image. Shooting is performed in this state. A continuous shooting operation is performed while SW1 and SW2 are kept ON. Switches (not shown) such as an ISO setting button, an image size setting button, an image quality setting button, and an information display button are connected to the
液晶駆動回路228は、マイクロコンピュータ224の表示内容命令に従って、外部液晶表示部材229やファインダー内液晶表示部材230を駆動する。また、ファインダー内液晶表示部材230には、不図示のLEDなどのバックライトが配置されており、そのLEDも液晶駆動回路228で駆動される。マイクロコンピュータ224は撮影前に設定されているISO感度、画像サイズ、画質に応じた、画像サイズの予測値データをもとに、メモリコントローラ220を通して、メモリの容量を確認した上で撮影可能残数を演算することができる。必要に応じて外部液晶表示部材229、ファインダー内液晶表示部材230にも表示することができる。
The liquid
不揮発性メモリ231(EEPROM)は、カメラに電源が入れられていない状態でも、データを保存することができる。例えば異なる時刻に検出されたデフォーカス量に対応する像面位置の情報が、対応する時刻の情報とともに複数記憶されている。なお、像面位置と対応する時刻の情報は、不図示の揮発性メモリに記憶し、電源を切った場合にはデータが消去されるように構成しても良い。 The non-volatile memory 231 (EEPROM) can store data even when the camera is powered off. For example, a plurality of image plane position information corresponding to defocus amounts detected at different times are stored together with corresponding time information. The image plane position and corresponding time information may be stored in a volatile memory (not shown) so that the data is erased when the power is turned off.
電源部232は、各ICや駆動系に必要な電源を供給する。
The
なお、本実施例のマイクロコンピュータ224は、本願請求項の状態算出手段、距離算出手段、誤差算出手段、速度算出手段、デフォーカス量検出手段、決定手段の一例である。
The
<カルマンフィルタ演算>
ここで、カルマンフィルタ演算について説明する。時刻kにおける時系列データy(k)が、次の式で与えられるものとする。なお、時系列データを観測値とも称する。なお、以下の説明において時刻k-1、時刻k、時刻k+1はいずれも時系列データが得られる時刻に相当する。
y(k)=XT(k)A(k)+ω(k)
A(k+1)=L(k)A(k)+m(k)ν(k)
<Kalman filter calculation>
Here, the Kalman filter calculation will be described. Time-series data y(k) at time k is given by the following equation. Note that the time-series data is also referred to as an observed value. In the following description, time k−1, time k, and time k+1 all correspond to times when time-series data is obtained.
y(k)= XT (k)A(k)+ω(k)
A(k+1)=L(k)A(k)+m(k)ν(k)
X(k)、m(k)はn次元の列ベクトル、A(k)はn次元の列ベクトル(状態ベクトル)、ω(k)は平均値0であり分散σω
2の観測ノイズ、L(k)はn×n行列、νは平均値0であり分散σν
2のシステムノイズである。
X(k) and m(k) are n-dimensional column vectors, A(k) is an n-dimensional column vector (state vector), ω(k) is observation noise with
カルマンフィルタ演算は、状態ベクトルA(k)を求めるものであり、予測ステップとフィルタリングステップの2つに演算ステップが分かれる。まず予測ステップで事前に状態を推定し、フィルタリングステップでは観測結果を用いて状態を推定する。 The Kalman filter calculation is for obtaining the state vector A(k), and the calculation step is divided into a prediction step and a filtering step. First, the prediction step estimates the state in advance, and the filtering step estimates the state using the observation results.
予測ステップにおいて、事前状態推定ベクトルA’(k)(n次元の列ベクトル)、および事前誤差共分散行列P’(k)(n×n行列)は下式で求められる。
A’(k)=L(k-1)A(k-1)
P’(k)=L(k-1)P(k-1)LT(k-1)+
σν
2(k-1)m(k-1)mT(k-1)
In the prediction step, the prior state estimation vector A′(k) (n-dimensional column vector) and the prior error covariance matrix P′(k) (n×n matrix) are obtained by the following equations.
A'(k)=L(k-1)A(k-1)
P′(k)=L(k−1)P(k−1) LT (k−1)+
σ ν 2 (k−1)m(k−1)m T (k−1)
上述の式に示されるように、事前状態推定ベクトルA’(k)は、時刻kにおける状態ベクトルを、時刻k-1に得られた状態ベクトル(k-1)と任意のL(k)によって推定するものである。また、事前誤差共分散行列P’(k)は、時刻kにおける状態ベクトルA(k)と事前状態推定ベクトルA’(k)との誤差を推定する式である。 As shown in the above equation, the prior state estimation vector A'(k) is the state vector at time k by the state vector (k-1) obtained at time k-1 and an arbitrary L(k) It is an estimate. Also, the prior error covariance matrix P'(k) is an equation for estimating the error between the state vector A(k) and the prior state estimation vector A'(k) at time k.
フィルタリングステップにおいて、状態推定ベクトルA(k)(n次元の列ベクトル)が、検出された時系列データy(k)に基づいて、下式で求められる。また、事後誤差共分散行列P(k)(n×n行列)が下式で求められる。
A(k)=A’(k)+g(k)(y(k)-XT(k)A’(k))
P(k)=(I-g(k)XT(k))P’(k)
In the filtering step, the state estimation vector A(k) (n-dimensional column vector) is obtained by the following formula based on the detected time-series data y(k). Also, the posterior error covariance matrix P(k) (n×n matrix) is obtained by the following equation.
A(k)=A'(k)+g(k)(y(k) -XT (k)A'(k))
P(k)=(Ig(k) XT (k))P'(k)
上述の式に示されているように、A(k)は、実際の検出結果であるy(k)と事前に予測された検出結果に基づくXT(K)A’(K)との差分にカルマンゲインg(k)を掛けた補正値を、A’(k)に加えることによって算出される。なお、行列Iはn×nの単位行列である。 As shown in the above equation, A(k) is the difference between the actual detection result y(k) and the predicted detection result X T( K)A′(K) is multiplied by the Kalman gain g(k) and added to A'(k). Note that the matrix I is an n×n unit matrix.
また、カルマンゲインg(k)は下式で求められる。 Also, the Kalman gain g(k) is obtained by the following equation.
上述の式に示されているように、観測ノイズσ2 ω(k)が大きくなるほど、g(k)は小さくなる。また、事前誤差共分散行列P’(k)が大きくなるほど、g(k)は小さくなる。すなわち、検出されたy(k)や、XT(K)A’(K)に誤差が生じている可能性が高いと考えられる場合には、そうでない場合と比較してg(k)が小さくなる。これにより、算出されるA(k)が誤差の影響を受けにくくなる。 As shown in the above equation, the larger the observation noise σ 2 ω (k), the smaller g(k). Also, the larger the prior error covariance matrix P'(k), the smaller g(k). That is, when it is considered that there is a high possibility that an error has occurred in the detected y(k) or XT ( K)A'(K), g(k) is become smaller. This makes the calculated A(k) less susceptible to errors.
状態ベクトルの初期値A(0)、誤差共分散行列の初期値P(0)は下式で与える。 The initial value A(0) of the state vector and the initial value P(0) of the error covariance matrix are given by the following equations.
<本実施例のカルマンフィルタ演算>
本実施例におけるカルマンフィルタ演算を説明する。y(k)は時刻kの像面位置の検出結果である。そして、本実施例のカルマンフィルタ演算では、状態ベクトルA(k)から、被写体の状態に関する情報として、時刻kにおける像面位置と像面移動速度とが推定される。また、状態ベクトルA(k)に基づいて、状態ベクトルA(k+1)が求められることで、被写体の状態に関する情報として、時刻k+1における像面位置と像面移動速度とが推定される。
<Kalman filter calculation in this embodiment>
The Kalman filter calculation in this embodiment will be described. y(k) is the detection result of the image plane position at time k. Then, in the Kalman filter calculation of this embodiment, the image plane position and the image plane moving speed at time k are estimated from the state vector A(k) as information about the state of the object. Further, by obtaining the state vector A(k+1) based on the state vector A(k), the image plane position and the image plane moving speed at the time k+1 are estimated as the information regarding the state of the object.
なお、本実施形態において像面位置とは、撮影レンズ201に対応する後側焦点の位置である(撮影レンズの像面位置、レンズ像面位置とも称する)。また、被写体に対応する像面位置とは、被写体に対して前側焦点の合う位置に撮影レンズ201がある場合の後側焦点の位置である。つまり、被写体に対応する像面位置とは、被写体に対して焦点検出をした時刻において、その時刻の後側焦点の位置に対して当該焦点検出の結果(本実施例ではデフォーカス量)を加味して算出される後側焦点の位置である。本実施例では像面位置に対応する情報として像面位置を用いている例を説明するが、像面位置に対応する情報として像面位置以外の情報を用いても良い。例えば像面位置は撮影レンズ201の位置に対応していることから、本実施例の像面位置に代えて像面位置に対応する撮影レンズ201の位置を用いても良い。この場合、被写体に対応する像面位置に対応するレンズ位置は、次のように算出されるフォーカスレンズ位置である。すなわち、被写体に対して焦点検出をした時刻において、その時刻のフォーカスレンズ位置に対して当該焦点検出の結果(本実施例ではデフォーカス量)を加味して算出されるフォーカスレンズの位置である。
Note that the image plane position in this embodiment is the position of the back focal point corresponding to the photographing lens 201 (also referred to as the image plane position of the photographing lens or the lens image plane position). Further, the image plane position corresponding to the subject is the position of the back focus when the photographing
ここで、被写体の状態に関する情報(カルマンフィルタ演算によって推定された像面位置と像面移動速度)を用いて被写体の動きを予測するための、モデル式を説明する。一例を図7に示す。被写体の像面位置の予測を図7の破線のように1次式(2次元)で行うものを考える。時刻kの像面位置は、時刻kにおける平均像面移動速度vと、時刻0の像面位置yAで予測できるモデルとする。このとき、列ベクトルAを、時刻0の像面位置(切片)yAと時刻kにおける平均像面移動速度(傾き)vとして定義する。また列ベクトルXを、時刻kおよびyAが定数となるよう1として定義する。分散σω
2は検出結果の分散に基づいて入れればよい。初期値A(0)において、yAの初期値は、例えば初めて検出した像面位置y0に基づいて入れてもよい。また平均像面移動速度の初期値vは0として入れてもよい。初期値P(0)は適切な値を入れればよい。行列L、列ベクトルmおよび分散σν
2は、モデルの性質、すなわち撮影の対象としたい被写体の動き等の性質によって設定すればよく、時不変でもよい。
Here, a model formula for predicting the motion of the subject using information about the state of the subject (the image plane position and the image plane moving speed estimated by the Kalman filter calculation) will be described. An example is shown in FIG. Consider the prediction of the image plane position of the subject by a linear expression (two-dimensional) as indicated by the dashed line in FIG. The image plane position at time k is assumed to be a model that can be predicted from the average image plane moving velocity v at time k and the image plane position yA at
なお、像面移動速度は、像面位置が移動する速度であり、被写体の移動速度に対応する速度である。本実施例では像面移動速度を用いて説明するが、像面移動速度に対応する速度であれば、これに限られない。例えば、像面位置の移動速度に対応する、フォーカスレンズ位置の移動速度であっても良い。 Note that the image plane moving speed is the speed at which the image plane position moves, and is a speed corresponding to the moving speed of the object. In this embodiment, the image plane moving speed is used for explanation, but the speed is not limited to this as long as it corresponds to the image plane moving speed. For example, it may be the moving speed of the focus lens position corresponding to the moving speed of the image plane position.
本実施例ではあくまで一例としてモデル式が1次式(2次元)である例を挙げたが、想定する被写体の動き等に応じてモデル式は何次元であっても良く、モデル式の次元に合わせて列ベクトルAを定義すれば良い。 In this embodiment, an example in which the model formula is a linear formula (two-dimensional) is given as an example only, but the model formula may have any number of dimensions according to the assumed movement of the subject. A column vector A may be defined together.
以上によって、予測ステップに必要な行列、ベクトルおよび分散の定義ができた。その後像面位置の検出結果を用いてフィルタリングステップ、さらに次の時刻のための予測ステップと繰り返すことでカルマンフィルタ演算による被写体の動きを予測するモデル式を得ることができる。 We have now defined the matrices, vectors and variances required for the prediction step. After that, by repeating the filtering step using the detection result of the image plane position and the prediction step for the next time, a model formula for predicting the movement of the subject by the Kalman filter calculation can be obtained.
カルマンフィルタ演算によれば、上述したように、誤差を考慮した演算を行うことから、焦点検出結果に誤差が生じやすいシチュエーションであっても精度の良い像面位置の予測を行うことができる。 According to the Kalman filter calculation, as described above, since calculation is performed in consideration of errors, it is possible to predict the image plane position with high accuracy even in a situation where errors are likely to occur in focus detection results.
<一括最小二乗法による演算>
ここで図8を用いて、特許文献1にも開示されている一括最小二乗法に基づく像面位置の予測についてより詳しく説明する。
<Calculation by collective least squares method>
Here, with reference to FIG. 8, the prediction of the image plane position based on the collective least squares method disclosed in
時刻xkにおける像面位置がykであり、図中●で表現されている。ここで複数の図中●を時刻tに対する(n-1)次の多次式モデルで表現するとき、像面位置をy(t)、時刻パラメータを列ベクトルT(t)、モデル式の係数を列ベクトルC(t)とすると、下式で与えられ、図中の一点鎖線のような曲線が与えられる。
y(t)=C(t)TT(t)
The image plane position at time xk is yk , which is represented by ● in the figure. Here, when a plurality of ● in the figure are represented by an (n−1)-order multidimensional model for time t, y(t) is the image plane position, T(t) is the time parameter, and the coefficients of the model formula is a column vector C(t), the following formula gives a curve like the one-dot chain line in the figure.
y(t)=C(t) T T(t)
列ベクトルC(t)および列ベクトルT(t)は、次の通りである。 Column vector C(t) and column vector T(t) are as follows.
上述の列ベクトルCを求める方法として、一括最小二乗法が用いることができる。モデル式を(n-1)次の多次式、過去の像面位置の測定結果数をN、時刻kを含む過去の像面位置に対応する焦点検出結果が得られた時刻より与えられる行列Z(k)、時刻kを含む過去の像面位置より与えられる列ベクトルY(k)とする。このとき、求めるべき列ベクトルC(k)は下式で与えられる。
C(k)=[Z(k)TZ(k)]-1Z(k)TY(k)
As a method for obtaining the column vector C described above, a collective least squares method can be used. A matrix given by the (n-1)th order polynomial expression for the model formula, N for the number of past image plane position measurement results, and the times at which focus detection results corresponding to past image plane positions including time k were obtained Let Z(k) be a column vector Y(k) given from a past image plane position including time k. At this time, the column vector C(k) to be obtained is given by the following equation.
C(k)=[Z(k) T Z(k)] −1 Z(k) T Y(k)
行列Z(k)および列ベクトルY(k)は、それぞれ下式で与えられる。 Matrix Z(k) and column vector Y(k) are given by the following equations respectively.
上述の一括最小二乗法を用いて像面位置を予測し、当該像面位置に基づいてフォーカスレンズの駆動を制御することで、動いている被写体に対して焦点位置を合わせることが可能である。 By predicting the image plane position using the above-described lumped least squares method and controlling the driving of the focus lens based on the image plane position, it is possible to focus on a moving subject.
しかしながら、一括最小二乗法を用いてある時刻よりも後の時刻における被写体の像面位置を予測する場合、より安定した予測結果を得るためには、計算量を増やす必要があるという課題があった。列ベクトルCを求めるための計算量は少なくともO(N・n2)であところ、安定した列ベクトルCを求めるには過去の測定結果数Nを大きくする必要がある。計算量はNに比例して増加する。 However, when using the collective least squares method to predict the image plane position of an object at a time later than a certain time, there is a problem that it is necessary to increase the amount of calculation in order to obtain a more stable prediction result. . The amount of calculation for obtaining the column vector C is at least O(N·n 2 ), and in order to obtain a stable column vector C, the number N of past measurement results must be increased. The amount of computation increases in proportion to N.
これに対し、n次元のパラメータによるカルマンフィルタの計算量は、O(n3)である。モデル式が低次元であるときは、カルマンフィルタの演算回数は同次元の一括最小二乗法よりも十分小さくすることができる。また観測結果にばらつきがあるとき、一括最小二乗法は演算に用いる過去の観測結果数Nを大きく取りたくなるが、前述のとおり一括最小二乗法の計算量は、O(Nn2)であり、Nを大とするとカルマンフィルタの計算量よりもはるかに大きくなる。従って、本実施例のように、適切なシーンにおいてはカルマンフィルタによって演算することで、計算量を一括最小二乗法の計算量よりも小さくすることができる。 On the other hand, the computational complexity of the Kalman filter with n-dimensional parameters is O(n 3 ). When the model formula has a low dimension, the number of computations of the Kalman filter can be made sufficiently smaller than that of the lumped least squares method of the same dimension. Also, when there are variations in the observation results, the batch least squares method tends to take a large number N of past observation results used for calculation. If N is made large, it becomes much larger than the computational complexity of the Kalman filter. Therefore, by using the Kalman filter in an appropriate scene as in the present embodiment, the amount of calculation can be made smaller than the amount of calculation of the collective least-squares method.
<撮影処理の動作例>
次に、本発明の実施例1に関する撮影処理の動作例を図2のフローチャートに基づいて説明する。
<Operation example of shooting processing>
Next, an operation example of photographing processing according to the first embodiment of the present invention will be described with reference to the flowchart of FIG.
一般にカメラにはある時刻における被写体の像面に対してレンズを駆動するモード(ワンショット撮影モード)と、現在の時刻よりも後の時刻の被写体の像面を予測しながらレンズを駆動するモード(予測撮影モード)の2種類がある。実施例1ではカメラが予測撮影モードに設定されたときの動きを示す。 In general, cameras have a mode in which the lens is driven in relation to the subject's image plane at a certain time (one-shot shooting mode), and a mode in which the lens is driven while predicting the subject's image plane at a time later than the current time ( There are two types of predictive shooting mode). Example 1 shows the motion when the camera is set to the predictive shooting mode.
ステップS401で、マイクロコンピュータ224は、SW1の状態を判定する。SW1がオンである場合は、ステップS402へ進む。SW1がオフされると、マイクロコンピュータ224は予測撮影モードを終了するよう制御する。
At step S401, the
ステップS402で、マイクロコンピュータ224は、焦点調節処理を行うよう制御する。詳細は図3を用いて後述する。
At step S402, the
ステップS403で、マイクロコンピュータ224は、SW2の状態を判定する。SW2がオフならばステップS401へ戻る。SW2がオンである場合は、ステップS404へ進む。
At step S403, the
ステップS404で、マイクロコンピュータ224は、主ミラー206をアップし、フォーカルプレーンシャッター211を動作させ撮影を行うよう制御する。その後ステップS401へ戻る。
In step S404, the
<焦点調節処理>
次にステップS402の焦点調節処理の動作の一例を図3のフローチャートに基づき説明する。
<Focus adjustment processing>
Next, an example of the operation of focus adjustment processing in step S402 will be described with reference to the flowchart of FIG.
ステップS501で、マイクロコンピュータ224は、焦点検出回路210を駆動させ、デフォーカス量を求める。さらに、デフォーカス量と現在の撮像レンズの位置から、被写体にピントが合う撮影レンズの位置である像面位置を取得する。
At step S501, the
ステップS502で、マイクロコンピュータ224は、記憶処理を行うよう制御する。記憶処理では、ステップS501で得た像面位置ならびにデフォーカス量の検出時刻をメモリに格納する。
In step S502, the
ステップS503で、マイクロコンピュータ224は、前述のカルマンフィルタ演算を行う。カルマンフィルタは、逐次同定法の一種であり、一括最小二乗法のように演算時に複数の時系列データを必要としない。ここで、状態ベクトルA(k)から、被写体の状態に関する情報として、時刻(k)における像面位置と像面移動速度とが推定される。
At step S503, the
ステップS504で、マイクロコンピュータ224は、メモリに格納されたデータ数が第1の数未満であるかを評価する。データ数が第1の数未満であるときはステップS508へ、データ数が第1の数以上であるときはステップS505へ進む。
At step S504,
ステップS505で、マイクロコンピュータ224は、ステップS503で実施したカルマンフィルタの同定度合いを評価する。同定度合いは、前述の事後誤差共分散行列Pを用いて評価する。同行列Pを用いることで、カルマンフィルタ演算で求めた状態推定ベクトルAの結果が収束しているかを判定することができるためである。同定度合い、すなわちPが第1の値未満であるならば、ステップS507へ進む。カルマンフィルタ演算で求めた状態推定ベクトルAの結果が収束していない、すなわちカルマンフィルタ演算により得られる像面位置に誤差が生じている可能性があるためである。同定度合い、すなわちPが第1の値以上であるときはステップS506へ進む。このように同定度合いに基づいて予測手法を切換えることで、カルマンフィルタ演算が十分収束しているときは、演算量を少なくする手法を選択することができる。
At step S505, the
ステップS506で、マイクロコンピュータ224は、一括最小二乗法による焦点予測を行う。具体的にはステップS502でメモリに記憶された像面位置とその検出時刻の時系列データを複数用いて、一括最小二乗法により被写体の像面位置のモデル式を求め、得られた結果によって現在の時刻(k)よりも後の時刻(k+1)の被写体の像面位置を求める。
In step S506, the
ステップS507で、マイクロコンピュータ224は、カルマンフィルタによる焦点予測を行う。ステップS503で状態ベクトルA(k)を求めたことで、被写体の像面位置のモデル式の同定ができているので、その結果によって将来の像面位置を予測する。より具体的には、状態ベクトルA(k)を求めることで被写体の状態に関する情報として推定された時刻(k)における像面位置(切片に相当する)及び像面移動速度(傾きに相当する)と、モデル式とを用いることで、時刻k+Δdにおける像面位置を算出する。ここで、時刻k+Δdは撮影時刻に対応する時刻である。例えば時刻k+Δdは、S404の時刻に対応する。
In step S507, the
ステップS508で、マイクロコンピュータ224は、焦点検出結果に基づくフォーカスレンズの駆動を行うよう制御する。ステップS501によって得られた被写体の像面位置に基づいて撮影レンズの駆動を行う。
In step S508, the
ステップS509で、マイクロコンピュータ224は、焦点予測結果に基づくレンズ駆動を行う。ステップS506もしくはステップS507で将来の像面位置が求められているので、その結果に基づいてフォーカスレンズの駆動を行う。
In step S509, the
<効果>
以上説明したように、実施例1ではカルマンフィルタ演算を用いて算出された被写体の像面位置に基づいてフォーカスレンズの駆動を制御する。これにより、カルマンフィルタ演算を用いない場合と比較して、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。
<effect>
As described above, in the first embodiment, driving of the focus lens is controlled based on the image plane position of the object calculated using the Kalman filter calculation. As a result, it is possible to appropriately focus on a moving subject while suppressing the processing load as compared with the case where the Kalman filter calculation is not used.
また、実施例1では、カルマンフィルタ演算を用いる場合とそうでない場合とを条件に応じて切換えることで、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。 In addition, in the first embodiment, by switching between the case of using the Kalman filter calculation and the case of not using the Kalman filter calculation according to conditions, it is possible to appropriately focus on a moving subject while suppressing the processing load.
[実施例2]
実施例1では、カルマンフィルタ演算による同定度合いが閾値以上である場合にカルマンフィルタ演算を用いる例を説明した。
[Example 2]
In the first embodiment, an example in which the Kalman filter calculation is used when the degree of identification by the Kalman filter calculation is equal to or higher than the threshold has been described.
実施例2では、カルマンフィルタ演算による同定度合いに加え、被写体の動きを考慮した例を説明する。なお、実施例1との共通点については極力説明を省略し、相違点に着目して説明する。 In a second embodiment, in addition to the degree of identification by the Kalman filter calculation, an example will be described in which the movement of the subject is considered. Note that the description of common points with the first embodiment will be omitted as much as possible, and the description will focus on the points of difference.
デジタル一眼レフカメラの構成(図1)、撮影処理の動作(図2)は実施例1と同様であるため、説明を省略する。 Since the configuration of the digital single-lens reflex camera (FIG. 1) and the operation of the photographing process (FIG. 2) are the same as those of the first embodiment, description thereof will be omitted.
<焦点調節処理>
本実施例での焦点調節処理の動作を図4のフローチャートに基づき説明する。
<Focus adjustment processing>
The operation of focus adjustment processing in this embodiment will be described with reference to the flow chart of FIG.
ステップS601は、ステップS501と同じであるため、説明を省略する。 Since step S601 is the same as step S501, description thereof is omitted.
ステップS602で、マイクロコンピュータ224は、被写体距離演算を行う。ここで、被写体距離は、カメラから被写体までの撮影距離である。レンズ通信回路203を用いて撮影レンズ201より現在の撮影レンズの結像位置から求められる被写体距離を取得する。
In step S602, the
ステップS603、S604は、それぞれステップS502、S503と同じであるため、説明を省略する。 Steps S603 and S604 are the same as steps S502 and S503, respectively, so description thereof will be omitted.
ステップS605で、マイクロコンピュータ224は、像面移動速度を演算する。像面移動速度はステップS604のカルマンフィルタ演算で求めてもよい。本実施例では、モデル式を時刻kに対する2次元(1次式)としている。そして、列ベクトルAは、時刻0の像面位置(切片)と時刻kにおける平均像面移動速度(傾き)とを表すよう定義されることから、A(k)を求めることで、像面移動速度を得ることができる。また、その他公知の方法により求めても良い。
At step S605, the
ステップS606、ステップS607は、それぞれステップS504、ステップS505と同じであるため、説明を省略する。 Since steps S606 and S607 are the same as steps S504 and S505, respectively, the description thereof is omitted.
ステップS608で、マイクロコンピュータ224は、被写体距離を評価する。ステップS602で求めた被写体距離が第1の距離以上ならばステップS609へ、第1の距離未満ならばステップS610へ進む。カルマンフィルタ演算に用いるモデル式を例えばモデル式を1次式(2次元)とすると、被写体距離が近いときは、被写体の像面位置がモデル式とは合わなくなることが考えられる。従って被写体距離が第1の距離未満であるときはステップS610へ進み、一括最小二乗法によって将来の像面位置を求めるようにする。
At step S608, the
ステップS609で、マイクロコンピュータ224は、像面移動速度を評価する。ステップS604で求めた像面移動速度が第1の速度未満であるならばステップS611へ、第1の速度以上であるならばステップS610へ進む。これもカルマンフィルタ演算に用いるモデル式によるが、像面移動速度が速いときに被写体の像面位置がモデル式と合わなくなることを考慮したためである。
At step S609, the
ステップS610~ステップS613は、それぞれステップS506~ステップS509と同じであるため、説明を省略する。 Steps S610 to S613 are the same as steps S506 to S509, respectively, so description thereof will be omitted.
<効果>
以上説明したように、実施例2では、被写体の動きに応じてカルマンフィルタ演算を採用し、像面位置を求める。より具体的には、被写体の移動速度に対応する像面移動速度に応じてカルマンフィルタ演算を採用するか否かを切り替える。処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。
<effect>
As described above, in the second embodiment, the Kalman filter calculation is employed according to the movement of the subject to obtain the image plane position. More specifically, whether or not to adopt the Kalman filter calculation is switched according to the image plane moving speed corresponding to the moving speed of the subject. It is possible to appropriately focus on a moving subject while suppressing the processing load.
[実施例3]
実施例1では、カルマンフィルタ演算による同定度合いが閾値以上である場合にカルマンフィルタ演算を用いる例を説明した。また、実施例2では、実施例1に対して更に被写体の動きを考慮してカルマンフィルタ演算を用いる例を説明した。
[Example 3]
In the first embodiment, an example in which the Kalman filter calculation is used when the degree of identification by the Kalman filter calculation is equal to or higher than the threshold has been described. In addition, in the second embodiment, an example in which the Kalman filter calculation is used in consideration of the movement of the subject in addition to the first embodiment has been described.
実施例3では、焦点検出結果のばらつきを考慮してカルマンフィルタ演算を用いる例を説明する。なお、実施例1との共通点については極力説明を省略し、相違点に着目して説明する。 In a third embodiment, an example using Kalman filter calculation in consideration of variations in focus detection results will be described. Note that the description of common points with the first embodiment will be omitted as much as possible, and the description will focus on the points of difference.
デジタル一眼レフカメラの構成(図1)、撮影処理の動作(図2)は実施例1と同様であるため、説明を省略する。 Since the configuration of the digital single-lens reflex camera (FIG. 1) and the operation of the photographing process (FIG. 2) are the same as those of the first embodiment, description thereof will be omitted.
<焦点調節処理>
本実施例での焦点調節処理の動作を図5のフローチャートに基づき説明する。
<Focus adjustment processing>
The operation of focus adjustment processing in this embodiment will be described with reference to the flow chart of FIG.
ステップS701~ステップS703は、それぞれステップS501~ステップS503と同じであるため、説明を省略する。 Steps S701 to S703 are the same as steps S501 to S503, respectively, so description thereof will be omitted.
ステップS704で、マイクロコンピュータ224は、ばらつき演算を行う。焦点検出結果には、一般的に多少のばらつきが生じ得る。例えば、被写体距離が遠くなるほど、焦点検出結果のばらつきが大きくなる。ステップS702では、マイクロコンピュータ224は、メモリに記憶された像面位置とその検出時刻を用いて、被写体の像面位置のばらつき(分散)を求める。
In step S704, the
ステップS705、ステップS706は、それぞれステップS504、ステップS505と同じであるため、説明を省略する。 Since steps S705 and S706 are the same as steps S504 and S505, respectively, the description thereof is omitted.
ステップS707で、マイクロコンピュータ224は、ばらつきを評価する。ステップS704で求めた像面位置のばらつきが第2の値以上である場合は、カルマンフィルタ演算を用いた焦点予測を行うべく、ステップS709へ進む。カルマンフィルタ演算は検出結果の誤差を考慮した演算であることから、カルマンフィルタ演算を用いて焦点予測を行うことで、焦点検出結果にばらつきが生じる場面であっても安定した演算結果を得ることできるためである。この結果、より精度良く像面位置を算出することが可能である。ステップS704で求めた像面位置のばらつきが第2の値未満である場合は、ステップS708へ進む。
At step S707, the
ステップS708~ステップS711は、それぞれステップS506~ステップS509と同じであるため、説明を省略する。 Steps S708 to S711 are the same as steps S506 to S509, respectively, so description thereof will be omitted.
<効果>
以上説明したように、実施例3では、焦点検出結果のばらつきに応じて、カルマンフィルタ演算を用いる。より具体的には、焦点検出結果のばらつきが閾値以上である場合に、カルマンフィルタ演算を用いる。これにより、処理負荷を抑えつつ、動く被写体に対して適切にピントを合わせることができる。
<effect>
As described above, in the third embodiment, Kalman filter calculation is used according to variations in focus detection results. More specifically, the Kalman filter calculation is used when the variation in the focus detection result is equal to or greater than the threshold. As a result, it is possible to appropriately focus on a moving subject while suppressing the processing load.
[実施例4]
カルマンフィルタ演算を用いる場合に、行列L、列ベクトルmを固定とすると、被写体の動きによっては、被写体の像面位置がモデル式から乖離する場合がある。具体的には、被写体が近づくことで、撮影距離が短くなり、かつ、被写体の像面移動速度が速くなると、そうでない場合に比較して、状態推定ベクトルAの変化量を大きくしないと、被写体の像面位置がモデル式から乖離しやすくなる。状態推定ベクトルAの変化量は、行列L、列ベクトルmおよび分散σν
2によって変えることができる。そこで、実施例4では、各種条件に応じて、カルマンフィルタ演算に用いる設定パラメータを変更することで、より精度良くカルマンフィルタ演算を行う例を説明する。
[Example 4]
When using the Kalman filter calculation, if the matrix L and the column vector m are fixed, the image plane position of the object may deviate from the model formula depending on the movement of the object. Specifically, when the object approaches, the object distance becomes shorter and the image plane movement speed of the object becomes faster. image plane position tends to deviate from the model formula. The amount of change in state estimation vector A can be changed by matrix L, column vector m, and variance σ ν 2 . Therefore, in a fourth embodiment, an example will be described in which the Kalman filter calculation is performed with higher accuracy by changing the setting parameters used for the Kalman filter calculation according to various conditions.
まず、本発明を適用した実施例4を説明する。なお、実施例1との共通点については極力説明を省略し、相違点に着目して説明する。 First, Example 4 to which the present invention is applied will be described. Note that the description of common points with the first embodiment will be omitted as much as possible, and the description will focus on the points of difference.
デジタル一眼レフカメラの構成(図1)、撮影処理の動作(図2)は実施例1と同様であるため、説明を省略する。 Since the configuration of the digital single-lens reflex camera (FIG. 1) and the operation of the photographing process (FIG. 2) are the same as those of the first embodiment, description thereof will be omitted.
<焦点調節処理>
次に、本発明の実施例4の焦点調節処理の動作例を図6のフローチャートに基づいて説明する。
<Focus adjustment processing>
Next, an operation example of focus adjustment processing according to the fourth embodiment of the present invention will be described with reference to the flowchart of FIG.
ステップS1301は、ステップS501と同じであるため、説明を省略する。 Since step S1301 is the same as step S501, description thereof is omitted.
ステップS1302で、マイクロコンピュータ224は、像面移動速度演算を行う。
In step S1302, the
ステップS1303で、マイクロコンピュータ224は、被写体距離演算を行う。レンズ通信回路203を用いて撮影レンズ201より現在の撮影レンズの結像位置から求められる被写体距離を取得する。
In step S1303, the
ステップS1304で、マイクロコンピュータ224は、焦点距離、ステップS1302で求めた像面移動速度とステップS1303で求めた被写体距離に応じて行列L、列ベクトルmを設定する。このように、像面移動速度と被写体距離に基づいて行列L、列ベクトルmを変化させることで、被写体の被写体距離がモデル式から乖離することなく、将来の像面位置を求めることができる。
In step S1304, the
ステップS1305で、マイクロコンピュータ224は、ステップS1304で求め列ベクトルmの評価を行う。列ベクトルmが第1の閾値未満であるかを評価する。列ベクトルmが第1の閾値未満であるときはステップS1306へ、そうでないときはステップS1307へ進む。
At step S1305, the
ステップS1306で、マイクロコンピュータ224は、列ベクトルmをデフォルト値とする。列ベクトルmが示す変化量が小さいときはデフォルト値とし、変化量の最小値を規定する。
At step S1306, the
ステップS1307で、マイクロコンピュータ224は、カルマンフィルタ演算を行う。ステップS1307は、ステップS503と同じであるため、説明を省略する。
In step S1307, the
ステップS1308で、マイクロコンピュータ224は、カルマンフィルタによる焦点予測を行う。ステップS1308は、ステップS507と同じであるため、説明を省略する。
In step S1308, the
ステップS1309で、マイクロコンピュータ224は、焦点予測結果に基づくフォーカスレンズの駆動を制御する。ステップS1308で将来の像面位置が求められているので、その結果に基づいてフォーカスレンズの駆動制御を行う。
In step S1309, the
<効果>
以上で説明した実施形態により、各種条件に応じて行列L、列ベクトルmを変化させることで、被写体の像面位置がモデル式から乖離し得る条件下であっても、カルマンフィルタを用いて将来の像面位置を求めることができる。
<effect>
According to the embodiment described above, by changing the matrix L and the column vector m according to various conditions, even under conditions where the image plane position of the subject may deviate from the model formula, the future The image plane position can be obtained.
<その他の実施例>
上述の実施例ではカルマンフィルタ演算を用いたが、逐次同定法の別種である逐次最小二乗法(RLS法)を用いてもよい。この場合、σ2
ω(k)=1となる。つまり、逐次最小二乗法は、本実施例のカルマンフィルタ演算と比較して、設定されたパラメータが少ない特殊例である。従って計算量の観点ではカルマンフィルタと同一の効果が得られる。
<Other Examples>
Although the Kalman filter operation is used in the above-described embodiment, a recursive least squares method (RLS method), which is another kind of recursive identification method, may be used. In this case, σ 2 ω (k)=1. That is, the iterative least squares method is a special case in which fewer parameters are set than the Kalman filter calculation of this embodiment. Therefore, from the viewpoint of the amount of calculation, the same effect as the Kalman filter can be obtained.
モデル式については、前述のように、本実施例で紹介した以外のモデル式を用いることができる。 As for model formulas, as described above, model formulas other than those introduced in this embodiment can be used.
また、上述の実施例では状態ベクトルA(k)から、被写体の状態に関する情報として、時刻kにおける像面位置と像面移動速度とが算出される例を説明したが、被写体の状態に関する情報であればこれに限らない。例えば、状態ベクトルA(k)から時刻kにおける像面位置と被写体移動速度とが算出される構成としても良い。 In the above-described embodiment, the image plane position and the image plane moving speed at time k are calculated from the state vector A(k) as information related to the state of the subject. If there is, it is not limited to this. For example, the configuration may be such that the image plane position and the subject moving speed at time k are calculated from the state vector A(k).
また、実施例4では各種条件に応じて行列L、列ベクトルmを設定することを説明したが、行列L、列ベクトルm又は分散σν 2の少なくとも1つを設定すれば良い。 Also, in the fourth embodiment, it is explained that the matrix L and the column vector m are set according to various conditions, but at least one of the matrix L, the column vector m or the variance σ ν 2 may be set.
行列L、列ベクトルmおよび分散σν 2を、ユーザが設定するようにしても良い。これにより、ユーザが認識している撮影シーンの特性に合わせて、演算結果を調整することが可能である。 The matrix L, the column vector m, and the variance σ ν 2 may be set by the user. This makes it possible to adjust the calculation result in accordance with the characteristics of the shooting scene recognized by the user.
また、本発明は上述の実施例の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み取り実行する処理でも実現できる。更に、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。 Further, the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to Furthermore, it can be implemented by a circuit (eg, an ASIC) that implements one or more functions.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and changes are possible within the scope of the gist.
224 マイクロコンピュータ 224 microcomputer
Claims (8)
前記焦点検出結果に基づいて被写体の像面位置に対応する情報を逐次最小二乗法に基づいて推定する推定手段と、
前記推定手段により推定された被写体の像面位置に対応する情報に基づいて、被写体の将来の像面位置に対応する情報を予測する第1の予測手段と、
一括最小二乗法に基づいて被写体の将来の像面位置に対応する情報の予測を行う第2の予測手段と、
前記第1の予測手段又は前記第2の予測手段によって予測された前記被写体の将来の像面位置に対応する情報に基づいてフォーカスレンズの駆動を制御する駆動制御手段と、を有し、
前記駆動制御手段は、被写体までの撮影距離が第1の距離未満である場合には、前記第2の予測手段によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動することを特徴とするレンズ制御装置。focus detection means for obtaining focus detection results;
estimating means for estimating information corresponding to the image plane position of the object based on the focus detection result based on the iterative least-squares method;
a first prediction means for predicting information corresponding to the future image plane position of the subject based on the information corresponding to the image plane position of the subject estimated by the estimation means;
a second prediction means for predicting information corresponding to the future image plane position of the subject based on the lumped least squares method;
drive control means for controlling drive of the focus lens based on information corresponding to the future image plane position of the subject predicted by the first prediction means or the second prediction means;
The drive control means adjusts the focus lens based on the information corresponding to the future image plane position of the subject predicted by the second prediction means when the shooting distance to the subject is less than the first distance. A lens control device characterized by driving.
前記駆動制御手段は、前記距離算出手段によって算出された被写体までの撮影距離が第1の距離以上である場合には、前記第1の予測手段によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動することを特徴とする請求項1に記載のレンズ制御装置。 Provided with a distance calculation means for calculating the shooting distance to the subject,
The drive control means corresponds to the future image plane position of the subject predicted by the first prediction means when the photographing distance to the subject calculated by the distance calculation means is equal to or greater than a first distance. 2. The lens control device according to claim 1, wherein the focus lens is driven based on the information obtained.
像面位置の移動速度に対応する速度である像面移動速度を算出する速度算出手段を有し、
前記駆動制御手段は、前記速度算出手段によって算出された像面移動速度が第1の速度以上である場合には、前記第2の予測手段によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動することを特徴とする請求項1に記載のレンズ制御装置。 a second prediction means for predicting information corresponding to the future image plane position of the subject based on the lumped least squares method;
having speed calculation means for calculating an image plane moving speed that is a speed corresponding to the moving speed of the image plane position;
The drive control means corresponds to the future image plane position of the object predicted by the second prediction means when the image plane moving speed calculated by the speed calculation means is equal to or higher than a first speed. 2. The lens control device according to claim 1, wherein the focus lens is driven based on the information.
前記設定手段は、被写体の動きに応じて前記パラメータを設定することを特徴とする請求項1乃至請求項4のいずれか1項に記載のレンズ制御装置。 Having setting means for setting parameters in the iterative least squares method,
5. The lens control device according to any one of claims 1 to 4 , wherein the setting means sets the parameter according to the movement of the subject.
焦点検出結果を取得する焦点検出ステップと
前記焦点検出結果に基づいて被写体の像面位置に対応する情報を逐次最小二乗法に基づいて推定する推定ステップと、
前記推定ステップで推定された被写体の像面位置に対応する情報に基づいて、被写体の将来の像面位置に対応する情報を予測する第1の予測、又は一括最小二乗法に基づいて被写体の将来の像面位置に対応する情報の予測を行う第2の予測によって、被写体の将来の像面位置に対応する情報を予測する予測ステップと、
前記第1の予測又は前記第2の予測によって予測された前記被写体の将来の像面位置に対応する情報に基づいてフォーカスレンズの駆動を制御する駆動制御ステップと、を有し、
前記駆動制御ステップでは、被写体までの撮影距離が第1の距離未満である場合には、前記第2の予測によって予測された将来の被写体の像面位置に対応する情報に基づいてフォーカスレンズを駆動することを特徴とするレンズ制御装置の制御方法。A control method for a lens control device,
a focus detection step of obtaining a focus detection result; an estimation step of sequentially estimating information corresponding to an image plane position of a subject based on the focus detection result based on the least squares method;
a first prediction for predicting information corresponding to the future image plane position of the subject based on the information corresponding to the image plane position of the subject estimated in the estimating step, or the future of the subject based on a collective least squares method; a prediction step of predicting information corresponding to the future image plane position of the subject by a second prediction of predicting information corresponding to the image plane position of
a drive control step of controlling drive of the focus lens based on information corresponding to the future image plane position of the subject predicted by the first prediction or the second prediction;
In the drive control step, when the shooting distance to the subject is less than the first distance, the focus lens is driven based on information corresponding to the future image plane position of the subject predicted by the second prediction. A control method for a lens control device, characterized by:
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/186,959 US10834309B2 (en) | 2017-11-16 | 2018-11-12 | Lens control apparatus and control method for tracking moving object |
CN201811367008.6A CN110022432B (en) | 2017-11-16 | 2018-11-16 | Lens control apparatus and control method for tracking moving object |
KR1020180141220A KR102402325B1 (en) | 2017-11-16 | 2018-11-16 | Lens control apparatus and control method for tracking moving object |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017221285 | 2017-11-16 | ||
JP2017221285 | 2017-11-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019091031A JP2019091031A (en) | 2019-06-13 |
JP7305332B2 true JP7305332B2 (en) | 2023-07-10 |
Family
ID=66836321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018207518A Active JP7305332B2 (en) | 2017-11-16 | 2018-11-02 | LENS CONTROL DEVICE AND CONTROL METHOD THEREOF |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7305332B2 (en) |
CN (1) | CN110022432B (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001021794A (en) | 1999-07-12 | 2001-01-26 | Canon Inc | Auto-focusing adjusting device, and optical instrument |
US20040004670A1 (en) | 2002-03-14 | 2004-01-08 | Canon Kabushiki Kaisha | Image pickup apparatus having auto-focus control and image pickup method |
JP2009089365A (en) | 2007-09-20 | 2009-04-23 | Delphi Technologies Inc | Method for tracking object |
JP2016140030A (en) | 2015-01-29 | 2016-08-04 | 株式会社リコー | Image processing apparatus, imaging device, and image processing program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0814861A (en) * | 1994-07-01 | 1996-01-19 | Canon Inc | Method of measuring three-dimensional shape and device therefor |
JP3635687B2 (en) * | 1994-09-07 | 2005-04-06 | 株式会社ニコン | Automatic focusing device |
WO2012128226A1 (en) * | 2011-03-18 | 2012-09-27 | 富士フイルム株式会社 | Lens control device and lens control method |
JP5616934B2 (en) * | 2012-09-14 | 2014-10-29 | オリンパスイメージング株式会社 | Focus adjustment device, camera system, and focus adjustment method |
JP6664177B2 (en) * | 2015-09-28 | 2020-03-13 | キヤノン株式会社 | Focus detection device, prediction method, program, and storage medium |
JP2017126035A (en) * | 2016-01-15 | 2017-07-20 | キヤノン株式会社 | Imaging apparatus, control method, program, and storage medium |
-
2018
- 2018-11-02 JP JP2018207518A patent/JP7305332B2/en active Active
- 2018-11-16 CN CN201811367008.6A patent/CN110022432B/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001021794A (en) | 1999-07-12 | 2001-01-26 | Canon Inc | Auto-focusing adjusting device, and optical instrument |
US20040004670A1 (en) | 2002-03-14 | 2004-01-08 | Canon Kabushiki Kaisha | Image pickup apparatus having auto-focus control and image pickup method |
JP2009089365A (en) | 2007-09-20 | 2009-04-23 | Delphi Technologies Inc | Method for tracking object |
JP2016140030A (en) | 2015-01-29 | 2016-08-04 | 株式会社リコー | Image processing apparatus, imaging device, and image processing program |
Also Published As
Publication number | Publication date |
---|---|
CN110022432B (en) | 2021-03-26 |
CN110022432A (en) | 2019-07-16 |
JP2019091031A (en) | 2019-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6749791B2 (en) | Imaging device and automatic focusing method | |
JP7086571B2 (en) | Image pickup device, lens device and control method thereof | |
US20100315528A1 (en) | Digital photographing apparatus, method of controlling the same, and computer readable storage medium having recorded thereon program for executing the method | |
CN106470317B (en) | Image pickup apparatus and control method thereof | |
JP7210185B2 (en) | Imaging device and its control method | |
JP5020800B2 (en) | Imaging apparatus and control method thereof | |
JP2006093860A (en) | Camera mounted with twin lens image pick-up system | |
KR102402325B1 (en) | Lens control apparatus and control method for tracking moving object | |
JP4500140B2 (en) | Camera equipped with a twin-lens imaging system | |
JP5947489B2 (en) | Focus adjustment device and focus adjustment method | |
JP7305332B2 (en) | LENS CONTROL DEVICE AND CONTROL METHOD THEREOF | |
JP2015111226A (en) | Subject tracking device and control method of the same, imaging device, program, and storage medium | |
JP2020091415A (en) | Lens control device and its control method | |
JP2010145495A (en) | Camera system | |
JP2022033163A (en) | Imaging apparatus, accessory device, and method for controlling these | |
CN115484373A (en) | Automatic focusing system and automatic focusing method | |
JP2018197845A (en) | Focus control device and imaging device | |
JP7431555B2 (en) | Imaging device and its control method | |
JP7379083B2 (en) | Control device, imaging device, control method, and program | |
JP7254555B2 (en) | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE | |
JP2017224908A (en) | Imaging apparatus | |
JP7426841B2 (en) | Image blur correction device, its control method, program, storage medium | |
JP2006229627A (en) | Digital camera | |
JP2006093858A (en) | Camera mounted with twin lens image pick-up system | |
JP2022013076A (en) | Imaging apparatus, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211101 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230628 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7305332 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |