JP2021156961A - Imaging device and control method of the same, program and storage medium - Google Patents
Imaging device and control method of the same, program and storage medium Download PDFInfo
- Publication number
- JP2021156961A JP2021156961A JP2020054902A JP2020054902A JP2021156961A JP 2021156961 A JP2021156961 A JP 2021156961A JP 2020054902 A JP2020054902 A JP 2020054902A JP 2020054902 A JP2020054902 A JP 2020054902A JP 2021156961 A JP2021156961 A JP 2021156961A
- Authority
- JP
- Japan
- Prior art keywords
- image plane
- subject
- image
- focus detection
- historical data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 80
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 title claims description 57
- 238000001514 detection method Methods 0.000 claims abstract description 101
- 230000003287 optical effect Effects 0.000 claims abstract description 50
- 230000001133 acceleration Effects 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 43
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 abstract description 18
- 238000012545 processing Methods 0.000 description 28
- 210000001747 pupil Anatomy 0.000 description 22
- 230000004907 flux Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000009792 diffusion process Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000003321 amplification Effects 0.000 description 7
- 238000003199 nucleic acid amplification method Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000491 multivariate analysis Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置における焦点調節技術に関するものである。 The present invention relates to a focus adjustment technique in an imaging device.
動く被写体を連写撮影する場合には、撮影を行っている間、動く被写体に追従して焦点を合わせ続ける必要がある。被写体に追従するために、撮影時の被写体の像面位置を予測して、その予測に基づいてフォーカスを調整する方法が知られている。 When shooting a moving subject continuously, it is necessary to follow the moving subject and keep focusing while shooting. In order to follow the subject, there is known a method of predicting the position of the image plane of the subject at the time of shooting and adjusting the focus based on the prediction.
特許文献１には、被写体の像面位置を予測する場合に、予め記憶された被写体の最高像面速度と追従中の被写体の像面速度との比に応じて、被写体の像面位置の予測に用いる履歴データ数を変更することにより、予測精度を向上させる技術が開示されている。
In
しかしながら、特許文献１に開示されているような、被写体の像面速度によって被写体の像面位置を予測する方法では、被写体の像面速度変化が大きい場合に、適切に被写体の像面位置の予測に用いる履歴データ数を設定できない。その結果、被写体の像面位置の予測誤差が生じてしまうおそれがある。
However, in the method of predicting the image plane position of the subject by the image plane velocity of the subject as disclosed in
本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体の像面速度変化が大きい場合でも、適切に被写体の像面位置の予測を行うことが可能な撮像装置を提供することである。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide an imaging device capable of appropriately predicting the image plane position of a subject even when the image plane velocity change of the subject is large. That is.
本発明に係わる撮像装置は、撮像光学系を介して入射した光を光電変換して得られた信号に基づいて焦点検出を行う焦点検出手段と、前記焦点検出手段の焦点検出動作により、時系列的に得られた被写体の像面位置と、該像面位置に対応する時刻の情報とを履歴データとして記憶する記憶手段と、前記履歴データに基づいて、被写体の像面速度と像面加速度とを算出する算出手段と、前記履歴データに基づいて、被写体を撮像する時刻における被写体の像面位置を予測する予測手段と、を備え、前記予測手段は、前記像面速度と前記像面加速度とに基づいて、被写体の像面位置を予測するために用いる前記履歴データの数を変更することを特徴とする。 The image pickup apparatus according to the present invention is time-series by a focus detection means that performs focus detection based on a signal obtained by photoelectric conversion of light incident on the image pickup optical system and a focus detection operation of the focus detection means. A storage means for storing the image plane position of the subject and the time information corresponding to the image plane position as historical data, and the image plane speed and the image plane acceleration of the subject based on the historical data. The prediction means includes a calculation means for calculating the image plane and a prediction means for predicting the image plane position of the subject at the time when the subject is imaged based on the history data, and the prediction means includes the image plane velocity and the image plane acceleration. The feature is that the number of the historical data used for predicting the image plane position of the subject is changed based on the above.
本発明によれば、被写体の像面速度変化が大きい場合でも、適切に被写体の像面位置の予測を行うことが可能な撮像装置を提供することが可能となる。 According to the present invention, it is possible to provide an image pickup apparatus capable of appropriately predicting the image plane position of a subject even when the image plane velocity change of the subject is large.
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the attached drawings, the same or similar configurations are given the same reference numbers, and duplicate explanations are omitted.
図１は、撮像レンズ（交換レンズ）３００と、撮像レンズ３００が交換（着脱）可能に装着される撮像装置としてのカメラ本体（以下、単にカメラという）１００とにより構成されるカメラシステムの構成を示す図である。
FIG. 1 shows a configuration of a camera system composed of an image pickup lens (interchangeable lens) 300 and a camera body (hereinafter, simply referred to as a camera) 100 as an image pickup device to which the
図１を参照して、まず、カメラ１００の構成について説明する。
First, the configuration of the
カメラ１００のカメラマウント１０６には、撮像レンズ３００のレンズマウント３０６が機械的および電気的に着脱可能に装着される。カメラマウント１０６およびレンズマウント３０６には、撮像レンズ３００をカメラ１００と電気的に接続する電気接点部としてのコネクタ１２２，３２２が設けられている。
The
被写体から撮像レンズ３００に入射して撮像レンズ３００内の撮像光学系を通過した光束は、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。ユーザは、光学ファインダ１０４を通して被写体の光学像である被写体像を観察しながら撮像を行うことができる。光学ファインダ１０４内には後述する表示部５４の一部が設けられており、光学ファインダ内の表示部５４には、焦点検出領域、合焦状態、手振れ警告、絞り値および露出補正値等が表示される。
The luminous flux incident on the
メインミラー１３０は、ハーフミラーにより構成されている。撮像光路内に配置されたメインミラー１３０に入射した光束の一部はメインミラー１３０を通過して、その背後に設けられたサブミラー１３１により下方へ反射されて焦点検出ユニット１０５に入射する。
The
焦点検出ユニット１０５は、２次結像光学系と光電変換素子とを備えて構成され、位相差検出方式による焦点検出を行う。焦点検出ユニット１０５は、２次結像光学系により形成された一対の被写体像をラインセンサ等の光電変換素子により電気信号（一対の焦点検出信号としての位相差像信号）に変換してＡＦ（オートフォーカス）部４２に送る。ＡＦ部４２は、この一対の位相差像信号間のずれ量である位相差を算出する。焦点検出ユニット１０５とＡＦ部４２とにより焦点検出手段が構成される。制御手段としてのシステム制御部５０は、算出された位相差から焦点検出結果としてのデフォーカス量を算出する。フォーカス制御部３４２は、デフォーカス量が小さくなるように撮像光学系に含まれるフォーカスレンズ（フォーカス素子）３１１を光軸方向に移動させる焦点調節処理を行う。なお、本実施形態では、撮像光学系内のフォーカスレンズ３１１を移動させて焦点調節を行うが、後述する撮像素子１４をフォーカス素子として光軸方向に移動させて焦点調節を行うことも可能である。
The
一方、撮像レンズ３００の焦点調節処理が終了して静止画、電子ファインダ画像または動画の撮像を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を撮像光束外に退避させる。これにより、撮像レンズ３００からの光束は、露光量を制御するためのシャッター１２を介して撮像素子１４に入射する。撮像素子１４は、ＣＭＯＳセンサ等の光電変換素子により構成され、撮像レンズ３００からの光束により形成された被写体像を撮像（光電変換）する。撮像が終了すると、メインミラー１３０とサブミラー１３１は撮像光路内に戻される。
On the other hand, when the focus adjustment process of the
撮像素子１４での光電変換により生成された電気信号（アナログ撮像信号）は、Ａ／Ｄ変換器１６によりデジタル撮像信号に変換される。タイミング発生部１８は、メモリ制御部２２およびシステム制御部５０により制御されて撮像素子１４、Ａ／Ｄ変換器１６およびＤ／Ａ変換器２６にクロック信号や制御信号を供給する。画像処理部２０は、Ａ／Ｄ変換器１６またはメモリ制御部２２からのデジタル撮像信号に対して画素補間処理や色変換処理等の画像処理を行って画像データを生成する。画像処理部２０は、生成した画像データを用いて各種演算処理を行う。
The electric signal (analog imaging signal) generated by the photoelectric conversion in the
撮像素子１４は、その全画素または一部の画素が焦点検出可能な画素として構成されており、画素を用いて撮像面位相差検出方式による焦点検出を行うことができる。画像処理部２０は、生成した画像データのうち後述する焦点検出領域に対応する部分画像データを焦点検出データに変換する。焦点検出データは、システム制御部５０を介してＡＦ部４２に送られ、ＡＦ部４２は撮像レンズ３００内のフォーカス制御部３４２を通じてフォーカスレンズ３１１を移動させて合焦状態を得る。
The
本実施形態のカメラ１００では、システム制御部５０は、画像処理部２０により生成された画像データからコントラスト状態を示すコントラスト評価値を生成することができる。そして、コントラスト評価値がピークを示す位置にフォーカス制御部３４２を通じてフォーカスレンズ３１１を移動させて合焦状態を得るコントラスト検出方式によるＡＦを行うことも可能である。
In the
このため、メインミラー１３０とサブミラー１３１が撮像光路内に配置された光学ファインダ観察状態では焦点検出手段としての焦点検出ユニット１０５による位相差検出方式でのＡＦ（位相差ＡＦ）が行われる。一方、メインミラー１３０とサブミラー１３１が撮像光束外へ退避した電子ファインダ観察状態や動画撮像時には、撮像素子１４による撮像面位相差検出方式でのＡＦ（撮像面位相差ＡＦ）とコントラスト検出方式でのＡＦ（コントラストＡＦ）が行われるため、これらを焦点検出手段としてもよい。
Therefore, in the optical viewfinder observation state in which the
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０および圧縮伸長部３２を制御する。前述したようにＡ／Ｄ変換器１６からのデジタル撮像データが画像処理部２０に入力されることで画像データが生成され、その画像データはメモリ制御部２２を介して画像表示メモリ２４またはメモリ３０に書き込まれる。Ａ／Ｄ変換器１６からの撮像データがメモリ制御部２２を介して直接、画像表示メモリ２４またはメモリ３０に書き込まれてもよい。
The
画像表示部（表示手段）２８は、液晶モニタ等の表示デバイスを有する。画像表示メモリ２４に書き込まれた表示用画像データは、Ｄ／Ａ変換器２６を介して画像表示部２８により表示される。撮像により順次得られる画像データ（フレーム画像）を画像表示部２８に順次表示することで、電子ファインダ画像としてのライブビュー画像を表示することができる。
The image display unit (display means) 28 has a display device such as a liquid crystal monitor. The display image data written in the
メモリ３０は、撮像により生成された静止画像や動画像を記憶する。また、メモリ３０は、システム制御部５０の作業領域としても使用される。圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像データを読み込んで圧縮処理または伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。
The
シャッター制御部３６は、測光部４６からの測光情報に基づいて、撮像レンズ３００内の絞り３１２を駆動する絞り制御部３４４と連携しながらシャッター１２を制御する。カメラインターフェース部３８は、コネクタ１２２，３２２およびレンズインターフェース部３３８を介して、カメラ１００と撮像レンズ３００との間での制御信号、状態信号および各種データ等の通信を可能とする。また、カメラ１００から撮像レンズ３００への電源供給も可能とする。
The
測光部４６は、ＡＥ処理を行う。撮像レンズ３００を通過した光束をミラー１３０および不図示の測光用レンズを介して測光部４６に入射させることにより、被写体像の輝度を測定することができる。また、測光部４６は、フラッシュ４８と連携して調光処理を行う。フラッシュ４８は、被写体に向けて光を発する発光手段（第１の発光手段）として、静止画撮像時にフラッシュ（閃光）発光して被写体を明るく照明するとともに、焦点検出時に間欠発光して被写体に間欠的にＡＦ補助光を投光して被写体を照明する機能を有する。 なお、測光部４６に代わり、システム制御部５０が、画像処理部２０により生成された画像データから輝度を演算した結果に基づいてシャッター制御部３６と撮像レンズ３００内の絞り制御部３４４に対してＡＥ制御を行うことも可能である。
The
ＬＥＤランプ４９は、被写体を照明する光源として、常時発光（連続発光）が可能な発光手段（第２の発光手段）である。ＬＥＤランプ４９が発するＬＥＤ光は、ＡＦ補助光であるＬＥＤ補助光として機能する以外に、いわゆる赤目現象を軽減したり、セルフタイマー撮像時の撮像タイミングの指標となったりする。
The
システム制御部５０は、カメラ１００の動作全体を制御する。メモリ５２は、システム制御部５０の動作に用いられる定数、変数およびプログラム等を記憶する。表示部５４は、液晶表示パネルやＬＥＤ等の表示デバイスにより構成され、文字、画像および音声等を用いて動作状態やメッセージ等を表示する。具体的には、撮像済画像数や残撮像可能画像数等の撮像画像数に関する情報や、シャッタースピード、絞り値、露出補正およびフラッシュ発光の有無等の撮像条件に関する情報や、電池残量や日付・時刻等を表示する。前述したように表示部５４の一部は、光学ファインダ１０４内にも設けられている。
The
不揮発性メモリ５６は、ＥＥＰＲＯＭ等により構成され、電気的に記録および消去可能なメモリである。モードダイヤル６０、シャッタースイッチ６２（ＳＷ１），６４（ＳＷ２）、画像表示オン／オフスイッチ６６、クイックレビューオン／オフスイッチ６８および操作部７０は、システム制御部５０に対して各種動作指示を入力するためにユーザにより操作される。操作部７０は、スイッチ、ダイアル、タッチパネル、視線検知によるポインティングデバイス、音声認識デバイス等を含む。
The
電源制御部８０は、電池検出部、ＤＣ／ＤＣコンバータおよび通電するブロックを切り替えるスイッチ部を含む。電源制御部８０は、電池検出部を通じて電池の装着の有無、電池の種類および電池残量を検出し、その検出結果およびシステム制御部５０からの指示に応じてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。コネクタ８２，８４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池やリチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００に接続する。
The power supply control unit 80 includes a battery detection unit, a DC / DC converter, and a switch unit for switching a block to be energized. The power supply control unit 80 detects whether or not a battery is installed, the type of battery, and the remaining battery level through the battery detection unit, and controls the DC / DC converter according to the detection result and the instruction from the
インターフェース９０は、メモリカードやハードディスク等の記録媒体２００との接続機能を有し、コネクタ９２は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２に記録媒体２００が接続されていることを検知する。
The
次に、撮像レンズ３００の構成について説明する。撮像レンズ３００は、変倍（ズーム）レンズ３１０、上述したフォーカスレンズ３１１および絞り３１２等により構成される撮像光学系を有する。ズーム制御部３４０は、ズームレンズ３１０を光軸方向に移動させて変倍を行う。焦点調節手段としてのフォーカス制御部３４２は、フォーカスレンズ３１１を光軸方向に移動させて焦点調節を行う。絞り制御部３４４は、測光部４６およびシステム制御部５０からの測光情報に基づいて絞り３１２を駆動する。
Next, the configuration of the
レンズシステム制御部３４６は、撮像レンズ３００の動作全体を制御する。レンズシステム制御部３４６は、その動作に用いる定数、変数およびプログラム等を記憶するメモリ機能を備えている。
The lens
不揮発性メモリ３４８は、撮像レンズ３００に固有の製造番号等の識別情報や、開放絞り値、最小絞り値および焦点距離等の光学情報や、現在または過去の各種設定値等を記憶する。また、不揮発性メモリ３４８は、撮像レンズ３００の状態に応じた枠情報やデフォーカス関連情報も記憶している。
The
枠情報は、撮像レンズ（撮像光学系）３００を通過する光束の径を決定する「枠」に関する情報であり、具体的には「枠」の撮像素子１４からの距離と、「枠」の光束通過開口の半径を示す情報である。「枠」の１つは絞り３１２であり、他にも撮像光学系を構成するレンズを保持するレンズ保持部材が「枠」に相当する。「枠」は、ズームレンズ３１０の位置（ズーム位置）やフォーカスレンズ３１１の位置（フォーカス位置）に応じて異なるため、ズーム位置ごとおよびフォーカス位置ごとに用意されている。焦点検出を行う際には、ズーム位置とフォーカス位置に応じた最適な枠情報が選択され、その枠情報がレンズシステム制御部３４６からシステム制御部５０に送られる。
The frame information is information about the "frame" that determines the diameter of the light flux passing through the image pickup lens (imaging optical system) 300. Specifically, the distance from the
デフォーカス関連情報は、被写体距離ごとの無限遠端および至近端までのデフォーカス量の情報であり、フォーカス位置に対応付けられた被写体距離ごとに分割されて記憶されている。 The defocus-related information is information on the amount of defocus to the infinity end and the nearest end for each subject distance, and is divided and stored for each subject distance associated with the focus position.
次に、撮像素子１４の構成について図２（ａ）〜（ｃ）を用いて説明する。図２（ａ）は、撮像素子１４の１つの画素２００の構成を示す図である。画素２００は、一対の光電変換部としての２つのフォトダイオード（ＰＤ）２０１ａ，２０１ｂと、転送スイッチ２０２ａ，２０２ｂと、フローティングディフュージョン領域２０３と、増幅部２０４と、リセットスイッチ２０５と、選択スイッチ２０６とを有する。各スイッチは、ＭＯＳトランジスタ等により構成される。以下の説明では、例として、各スイッチがＮ型ＭＯＳトランジスタにより構成されているものとする。ただし、各スイッチはＰ型ＭＯＳトランジスタにより構成されていてもよく、さらに他のスイッチング素子により構成されていてもよい。また、画素２００に設けられるフォトダイオードの数は３つ以上（例えば、４つ）であってもよい。
Next, the configuration of the
フォトダイオード２０１ａ，２０１ｂはそれぞれ、図２（ｂ）に示すように、同一のマイクロレンズ２０１ｃを通過した光を受光して光電変換し、その受光量に応じた電荷を発生する。以下の説明において、フォトダイオード２０１ａで発生した電荷により得られる信号をＡ信号といい、フォトダイオード２０１ｂで発生した電荷により得られる信号をＢ信号という。
As shown in FIG. 2B, the
転送スイッチ２０２ａは、フォトダイオード２０１ａとフローティングディフュージョン領域２０３との間に接続され、転送スイッチ２０２ｂはフォトダイオード２０１ｂとフローティングディフュージョン領域２０３との間に接続される。転送スイッチ２０２ａ，２０２ｂはそれぞれ、フォトダイオード２０１ａ，２０１ｂで発生した電荷を共通のフローティングディフュージョン領域２０３に転送する。転送スイッチ２０２ａ，２０２ｂはそれぞれ、制御信号ＴＸ＿Ａ，ＴＸ＿Ｂによって制御される。
The
フローティングディフュージョン領域２０３は、フォトダイオード２０１ａ，２０１ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する。
The floating
増幅部２０４は、ソースフォロワＭＯＳトランジスタである。増幅部２０４のゲートは、フローティングディフュージョン領域２０３に接続され、増幅部２０４のドレインは電源電位ＶＤＤを供給する共通電源２０８に接続される。増幅部２０４は、フローティングディフュージョン領域２０３に保持された電荷により得られる電圧信号を増幅して出力する。
The
リセットスイッチ２０５は、フローティングディフュージョン領域２０３と共通電源２０８との間に接続されている。リセットスイッチ２０５は、制御信号ＲＥＳによって制御され、フローティングディフュージョン領域２０３の電位を電源電位ＶＤＤにリセットする。
The
選択スイッチ２０６は、増幅部２０４のソースと垂直出力線２０７の間に接続されている。選択スイッチ２０６は、制御信号ＳＥＬによって制御され、増幅部２０４で増幅された電圧信号を垂直出力線２０７に出力する。
The
図２（ｃ）は、撮像素子１４の回路構成を示す図である。撮像素子１４は、画素アレイ２３４、垂直走査回路２０９、電流源負荷２１０、読み出し回路２３５、共通出力線２２８，２２９、水平走査回路２３２およびデータ出力部２３３を有する。
FIG. 2C is a diagram showing a circuit configuration of the
画素アレイ２３４は、行列状に配置された複数の画素２００を有する。図２（ｃ）には説明を簡略化するために、水平方向ｎ画素×垂直方向４画素を示している。また、各画素２００には、複数色のカラーフィルタのうちいずれか１つが設けられている。図２（ｃ）に示す例では、カラーフィルタの色は赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）である。これらのカラーフィルタが設けられたｎ×ｍ画素はベイヤー配列に従って配置されている。
The
また、撮像素子１４は、画素アレイ２３４の一部が遮光層で遮光された領域（ＯＢ）を持つ。
Further, the
垂直走査回路２０９は、画素行ごとに設けられた駆動信号線２０８を介して、各画素行の画素２００に制御信号を出力する。図２（ｃ）では駆動信号線２０８は画素行ごとに１本ずつ示されているが、実際には画素行ごとに複数の駆動信号線が接続されている。
The
同じ画素列の画素２００は、画素列ごとに設けられた垂直出力線２０７に共通接続される。各画素２００から出力される信号は、この垂直出力線２０７を介して読み出し回路２３５に入力され、読み出し回路２３５で処理される。電流源負荷２１０は、各画素列の垂直出力線２０７に接続されている。
水平走査回路２３２は、制御信号ＨＳＲ（０）〜ＨＳＲ（ｎ−１）を出力することにより、複数の読み出し回路２３５の中から信号を出力させる読み出し部を順次選択する。選択された読み出し回路２３５は、共通出力線２２８，２２９を介して出力アンプ２３３に処理した信号を出力する。
By outputting the control signals HSR (0) to HSR (n-1), the
読み出し回路２３５の具体的な構成について説明する。
A specific configuration of the
読み出し回路２３５は、クランプ容量２１１、フィードバック容量２１４〜２１６、オペアンプ２１３、基準電圧源２１２およびスイッチ２１７〜２２０を有する。また、比較器２２１、Ｌａｔｃｈ＿Ｎ２２２、Ｌａｔｃｈ＿Ｓ２２３およびスイッチ２２６，２２７を有する。
The
垂直出力線２０７を介して読み出し回路２３５に入力された信号は、クランプ容量２１１を介してオペアンプ２１３の反転入力端子に入力される。オペアンプ２１３の非反転入力端子には、基準電圧源２１２から基準電圧Ｖｒｅｆが供給される。フィードバック容量２１４〜２１６は、オペアンプ２１３の反転入力端子と出力端子の間に接続される。スイッチ２１７もオペアンプ２１３の反転入力端子と出力端子の間に接続され、フィードバック容量２１４〜２１６の両端をショートさせる。スイッチ２１７は、制御信号ＲＥＳ＿Ｃにより制御される。また、スイッチ２１８〜２２０は、制御信号ＧＡＩＮ０〜２で制御される。
The signal input to the
比較器２２１にはオペアンプ２１３の出力信号と、ランプ信号発生器２３０から出力されるランプ信号２２４が入力される。Ｌａｔｃｈ＿Ｎ２２２はノイズレベル（Ｎ信号）を保持するための記憶素子であり、Ｌａｔｃｈ＿Ｓ２２３はＡ信号およびＡ信号とＢ信号が加算されたＡＢ信号の信号レベル（Ｓ信号）を保持するための記憶素子である。比較器２２１の出力端子とカウンタ２３１から出力されるカウンタ値２２５がＬａｔｃｈ＿Ｎ２２２とＬａｔｃｈ＿Ｓ２２３に入力され、それぞれＬＡＴＥＮ＿Ｎ、ＬＡＴＥＮ＿Ｓで制御される。Ｌａｔｃｈ＿Ｎ、Ｌａｔｃｈ＿Ｓの出力端子はスイッチ２２６，２２７を介してそれぞれ共通出力線２２８，２２９に接続される。共通出力線２２８，２２９はデータ出力部２３３に接続される。
The output signal of the
スイッチ２２６，２２７は、水平走査回路２３２からの制御信号ＨＳＲ（ｈ）により制御される。ここで、ｈは制御信号線が接続されている読み出し回路２３５の列番号を示す。Ｌａｔｃｈ＿Ｎ２２２およびＬａｔｃｈ＿Ｓ２２３に保持された信号は、共通出力線２２８，２２９を介して出力され、データ出力部２３３から外部へ出力される。この動作を水平転送と呼ぶ。
The
本実施形態では、撮像素子１４は、第１の読み出しモードと第２の読み出しモードとを有する。第１の読み出しモードは、記録用の高精細の静止画を撮像するために全画素から出力信号が読み出される全画素読み出しモードである。第２の読み出しモードは、記録用の静止画よりも画素数が少ないライブビュー画像や記録用の動画の表示を行うため、全画素のうち一部の画素からの出力信号のみが読み出される間引き読み出しモードである。ライブビュー画像や動画の生成に必要な画素数は全画素数よりも少ないため、撮像素子から水平方向および垂直方向ともに所定比率で間引いた数の画素のみから出力信号を読み出すことで、信号処理負荷を軽減するとともに、消費電力の低減にも寄与する。また、第１および第２の読み出しモードのいずれにおいても各画素に設けられた各光電変換部からの出力信号は独立して読み出しされるため、いずれの読み出しモードでも一対の位相差像信号の生成が可能である。
In the present embodiment, the
図３（ａ）、（ｂ）は、本実施形態のカメラシステムにおける撮像光学系１０１の射出瞳面と、撮像素子１４における像高０付近、すなわち像面の中央近傍に配置された画素（以下、中央画素という）２００における一対の光電変換部２０１ａ，２０１ｂとの共役関係を示す図である。撮像光学系の射出瞳面と一対の光電変換部とは、マイクロレンズ２０１ｃによって共役関係となるように設定されている。撮像光学系の射出瞳は、一般的に、絞り３１２が配置された面に位置する。一方、本実施形態の撮像光学系は変倍機能を有し、変倍によって像面から射出瞳までの距離（射出瞳距離）や大きさが変化する。図３（ａ）に示す撮像光学系１０１は、焦点距離が広角端と望遠端との間の中間ズーム状態にある。これを標準的な射出瞳距離Ｚｅｐと仮定して、マイクロレンズ２０１ｃの形状や像高（Ｘ，Ｙ座標）に応じた偏心パラメータが最適化される。
3 (a) and 3 (b) show the exit pupil surface of the image pickup optical system 101 in the camera system of the present embodiment and the pixels arranged near the
図３（ａ）において、３０１は撮像光学系の最も被写体側に配置された第１レンズ群であり、３０１ｂは第１レンズ群３０１を保持する鏡筒部材である。３１１ｂはフォーカスレンズ３１１を保持する鏡筒部材である。３１２ａは絞り３１２の開放口径を決める開口を有する開口板であり、３１２ｂは絞り込み開口径を調節するための絞り羽根である。撮像光学系を通過する光束を制限する部材としての鏡筒部材３０１ｂ、開口板３１２ａ、絞り羽根３１２ｂは、像面側から観察した場合の光学的な虚像として示している。また、絞り３１２の近傍における合成開口を撮像光学系の射出瞳（以下、レンズ射出瞳という）と定義して、前述したように像面からレンズ射出瞳までの距離をＺｅｐとする。
In FIG. 3A, 301 is a first lens group arranged on the most subject side of the imaging optical system, and 301b is a lens barrel member holding the
中央画素２００に含まれる一対の光電変換部２０１ａ，２０１ｂは、マイクロレンズ２０１ｃによってレンズ射出瞳面上に像ＥＰ１ａ，ＥＰ１ｂとして逆投影される。言い換えれば、レンズ射出瞳のうち互いに異なる瞳領域（以下、焦点検出瞳という）であるＥＰ１ａ，ＥＰ１ｂが、マイクロレンズ２０１ｃを介して光電変換部２０１ａ，２０１ｂの表面に投影される。中央画素２００は、その最下層から順に、光電変換部２０１ａ，２０１ｂ、配線層２０１ｅ〜２０１ｇ、カラーフィルタ２０１ｈおよびマイクロレンズ２０１ｃを備えて構成されている。
The pair of
図３（ｂ）は、撮像光学系の射出瞳面上における光電変換部２０１ａ，２０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂを光軸方向から見て示した図である。撮像素子１４は、２つの光電変換部２０１ａ，２０１ｂのうち一方からの信号を出力することができるとともに、これらの両方からの信号を加算して出力できる画素を有する。加算して出力された信号は、焦点検出瞳ＥＰ１ａ，ＥＰ１ｂを通過した全ての光束を光電変換して得られた信号である。
FIG. 3B is a diagram showing back projection images EP1a and EP1b of the
図３（ａ）において、撮像光学系を通過する光束（図ではその外縁を直線で示している）Ｌは、絞り３１２の開口板３１２ａによって制限されており、焦点検出瞳ＥＰ１ａ，ＥＰ１ｂからの光束は撮像光学系においてケラレることなく画素２００に到達する。図３（ｂ）では、図３（ａ）に示した光束Ｌの射出瞳面での断面（外縁）をＴＬとして示している。ＴＬで示される円（つまりは開口板３１２ａの開口）の内部に２つの光電変換部２０１ａ，２０１ｂの逆投影像ＥＰ１ａ，ＥＰ１ｂの大部分が含まれていることから、逆投影像ＥＰ１ａ，ＥＰ１ｂにはわずかなケラレしか発生していないことが分かる。この際、射出瞳面の中央では逆投影像ＥＰ１ａ，ＥＰ１ｂのケラレ状態は、撮像光学系の光軸（図３（ａ）に一点鎖線で示す）に関して対称となり、光電変換部２０１ａ，２０１ｂが受光する光量は互いに等しい。
In FIG. 3A, the luminous flux L passing through the imaging optical system (the outer edge thereof is shown by a straight line in the figure) is limited by the
このように、撮像素子１４は被写体像を撮像する機能だけではなく、レンズ射出瞳における互いに異なる焦点検出瞳からの光束を個別に受光して撮像面位相差検出方式の焦点検出を行う機能も有する。なお、本実施形態では、撮像素子１４の１つの画素が一対の光電変換部を有する場合について説明するが、互いに異なる一部が遮光された２つの焦点検出専用画素を一対の光電変換部として用いてもよい。
As described above, the
図４は、撮像範囲４００内における焦点検出領域４０１を示す図である。本実施形態では、複数（３つ）の焦点検出領域４０１で撮像面位相差検出方式の焦点検出を行う。焦点検出領域４０１内では、水平方向のコントラスト差を用いて位相差を検出する。
FIG. 4 is a diagram showing a
図５は、本実施形態における一対の位相差像信号４３０ａ，４３０ｂの例を示している。一対の位相差像信号４３０ａ，４３０ｂは、撮像素子１４における焦点検出領域４０１内の複数の画素から得られたＡ信号同士およびＢ信号同士をそれぞれ連結し、さらに画像処理部２０による各種画像処理（補正）が行われた信号である。一対の位相差像信号４３０ａ，４３０ｂはＡＦ部４２に送られる。
FIG. 5 shows an example of a pair of phase difference image signals 430a and 430b in the present embodiment. The pair of phase difference image signals 430a and 430b connect the A signals and the B signals obtained from a plurality of pixels in the
図５において、横軸は互いに連結された信号（ＡまたはＢ信号）の画素配列方向を示し、縦軸はその信号の強度を示す。図５は、撮像光学系が被写体に対してデフォーカスした状態（非合焦状態）での一対の位相差像信号４３０ａ，４３０ｂを示している。合焦状態に比べて、位相差像信号４３０ａは左側にずれ、位相差像信号４３０ｂは右側にずれている。ＡＦ部４２は、一対の位相差像信号４３０ａ，４３０ｂのずれ量（位相差）を相関演算を用いて算出し、その位相差から撮像光学系の被写体に対するデフォーカス量を求める。
In FIG. 5, the horizontal axis indicates the pixel arrangement direction of signals (A or B signals) connected to each other, and the vertical axis indicates the intensity of the signal. FIG. 5 shows a pair of phase difference image signals 430a and 430b in a state in which the imaging optical system is defocused with respect to the subject (out-of-focus state). Compared to the focused state, the phase
システム制御部５０は、レンズシステム制御部３４６から送信されたフォーカス敏感度（フォーカスレンズ３１１の単位移動量に対する像面移動量）の情報およびＡＦ部４２から得られたデフォーカス量とからフォーカスレンズ３１１の駆動量を算出する。さらにシステム制御部５０は、レンズシステム制御部３４６から送信されたフォーカス位置の情報とフォーカスレンズ３１１の駆動量とからフォーカスレンズ３１１を移動させる目標位置の情報を求めて、レンズシステム制御部３４６に送信する。レンズシステム制御部３４６は、フォーカス制御部３４２を通じてフォーカスレンズ３１１を移動させる目標位置に移動させる。以上により、撮像面位相差ＡＦによる焦点調節が行われる。
The
次に、図６のフローチャートを用いて、本実施形態のカメラ１００における撮像制御処理（制御方法）について説明する。図６は、ライブビュー画像を表示する状態から静止画撮像を行う場合の撮像制御処理の流れを示している。コンピュータとしてのシステム制御部５０は、コンピュータプログラムとしての制御プログラムに従って本処理を実行する。
Next, the image pickup control process (control method) in the
ステップＳ１において、システム制御部５０は、撮像準備開始指示としてのスイッチＳＷ１（６２）のオン／オフを検出する。スイッチＳＷ１は、レリーズ（撮像トリガ）ボタンの半押し操作によりオンになる。スイッチＳＷ１がオンであればステップＳ２に進み、スイッチＳＷ１がオフであれば本処理を終了する。
In step S1, the
ステップＳ２では、システム制御部５０（ＡＦ部４２）は、図４に示した３つの焦点検出領域４０１における焦点検出データを用いて焦点検出処理を行う。すなわち、ＡＦ部４２は、図５に示した一対の位相差像信号の位相差からデフォーカス量を算出する焦点検出処理を行う。
In step S2, the system control unit 50 (AF unit 42) performs the focus detection process using the focus detection data in the three
ステップＳ３では、システム制御部５０は、被写体が動体であるか否かを判定する。被写体が動体であるか否かの判定とは、被写体が光軸方向に時系列に移動しているか否かを判定することである。被写体が動体である場合にはステップＳ４へ進み、動体でない場合にはステップＳ５に進む。
In step S3, the
被写体が動体であるか否かの判定方法はフォーカスレンズ駆動が生じていない場合と生じている場合で異なる。フォーカスレンズ駆動が生じていない場合は、ステップＳ２における焦点検出結果であるデフォーカス量の時系列データから、時系列にデフォーカス量が所定量以上単調増加または単調減少しているかにより、被写体が動体であるか否かを判定する。フォーカスレンズ駆動が生じている場合には、フォーカスレンズ位置に相当する距離情報、またはフォーカスレンズ位置の無限または至近をデフォーカス量０とした基準位置からのデフォーカス量が所定量以上、時系列に単調増加または単調減少しているかにより、被写体が動体であるか否かを判定する。ともに判定の基準を所定量以上としている理由は、ノイズにより誤って被写体を動体と判定することを防止するためである。
The method of determining whether or not the subject is a moving object differs depending on whether the focus lens drive is not occurring or is occurring. When the focus lens is not driven, the subject is a moving object depending on whether the defocus amount is monotonically increased or decreased by a predetermined amount or more in time series from the time series data of the defocus amount which is the focus detection result in step S2. It is determined whether or not it is. When the focus lens is driven, the distance information corresponding to the focus lens position, or the defocus amount from the reference position with the infinity or proximity of the focus lens position as the
ステップＳ４では、システム制御部５０は、被写***置の予測処理を行うが、この処理の詳細については後述する。
In step S4, the
ステップＳ５では、システム制御部５０は、ステップＳ４で行った予測処理の結果に基づいて、被写***置の予測が可能であるか否かを判定する。予測が可能である場合にはステップＳ７に進み、予測が可能でない場合にはステップＳ６へ進む。この判定では、後述する予測演算による予測曲線と履歴データによる過去の被写***置との一致度が高いか否かを判定するとともに、連続撮影中の撮影者による撮像装置を左右に動かすパンニング操作が行われたか否かを検知する。これらによって、焦点検出結果の履歴データが使用可能か否かを判定し、それに基づいて被写***置の予測が可能であるか否かを判定する。
In step S5, the
ステップＳ６では、システム制御部５０は、ステップＳ２の焦点検出処理の結果であるデフォーカス量をフォーカスレンズ駆動量に換算し、フォーカスレンズを駆動する。
In step S6, the
ステップＳ７では、システム制御部５０は、ステップＳ４での予測処理の結果である被写体予測位置に相当するフォーカスレンズの駆動量を算出し、フォーカスレンズを駆動する。
In step S7, the
ステップＳ８では、システム制御部５０は、撮像開始指示としてのスイッチＳＷ２（６４）のオン／オフを検出する。スイッチＳＷ２は、レリーズ（撮像トリガ）ボタンの全押し操作によりオンになる。スイッチＳＷ２がオンであればステップＳ９に進み、スイッチＳＷ２がオフであればステップＳ１に戻る。
In step S8, the
ステップＳ９では、システム制御部５０は、撮像処理を行い、本処理を終了する。撮像処理については後述する。
In step S9, the
次に、被写***置の予測処理について説明する。 Next, the subject position prediction process will be described.
図７は、被写体の像面位置の時系列的な変化の例を図示した図であり、横軸が時間、縦軸が像面移動量、黒丸が焦点検出した結果に基づいた被写体の像面位置の履歴データ、点線が予測処理による予測曲線を示している。被写体の像面位置の予測では、過去の被写体の像面位置と時刻についての履歴データを用いて、多変量解析（例えば最小２乗法）を行い、予測曲線の式を求める。求めた予測曲線の式に静止画撮影の時刻を代入することにより、被写体の像面予測位置を算出することができる。 FIG. 7 is a diagram illustrating an example of time-series changes in the image plane position of the subject. The horizontal axis is time, the vertical axis is the amount of image plane movement, and the black circle is the image plane of the subject based on the result of focus detection. The historical data of the position and the dotted line show the prediction curve by the prediction processing. In the prediction of the image plane position of the subject, multivariate analysis (for example, the least squares method) is performed using the historical data about the image plane position and time of the past subject, and the formula of the prediction curve is obtained. By substituting the time of still image shooting into the formula of the obtained prediction curve, the predicted position of the image plane of the subject can be calculated.
次に、被写体の像面位置の予測に用いられる、過去の被写体の像面位置と時刻の履歴データ数の変更について図８Ａ〜図８Ｄを用いて説明する。 Next, changes in the number of historical data of the image plane position and time of the past subject used for predicting the image plane position of the subject will be described with reference to FIGS. 8A to 8D.
図８Ａ〜図８Ｃは、被写体の像面位置の時系列変化の例を示した図であり、横軸が時間、縦軸が像面移動量、黒丸が焦点検出した結果に基づいた被写体の像面位置と時刻の履歴データ、点線が予測処理による予測曲線を示している。 8A to 8C are diagrams showing an example of time-series changes in the image plane position of the subject, in which the horizontal axis is time, the vertical axis is the amount of image plane movement, and the black circle is the image of the subject based on the result of focus detection. The historical data of the surface position and time, and the dotted line show the prediction curve by the prediction processing.
図８Ａが被写体の像面位置の時間変化が小さい（像面速度が小さい）場合の例、図８Ｂが被写体の像面位置の時間変化が大きい（像面速度が大きい）場合の例、図８Ｃが被写体の像面移動量が途中で一定になる(急停止する)場合の例をそれぞれ示している。 FIG. 8A shows an example when the time change of the image plane position of the subject is small (the image plane speed is small), FIG. 8B shows an example when the time change of the image plane position of the subject is large (the image plane speed is large), and FIG. 8C. Shows examples of cases where the amount of movement of the image plane of the subject becomes constant (stops suddenly) in the middle.
図８Ａのように、被写体の像面速度が小さく、且つ像面加速度が小さい場合は、被写体の像面位置と時刻の履歴データを多く用いて予測曲線を算出しても、被写体の像面予測位置の誤差が小さい。また、被写体の像面位置と時刻の履歴データを多く用いることでＳ／Ｎもよいため、焦点検出結果であるデフォーカス量の誤差を低減した予測曲線を算出することができ、被写体の像面予測位置の誤差を低減できる。 As shown in FIG. 8A, when the image plane velocity of the subject is small and the image plane acceleration is small, even if the prediction curve is calculated by using a lot of history data of the image plane position and time of the subject, the image plane of the subject is predicted. The position error is small. Further, since the S / N is good by using a lot of historical data of the image plane position and time of the subject, it is possible to calculate a prediction curve in which the error of the defocus amount which is the focus detection result is reduced, and the image plane of the subject can be calculated. The error of the predicted position can be reduced.
図８Ｂのように、被写体の像面速度が大きく、且つ像面加速度が大きい場合は、被写体の像面位置の履歴データを多く用いると、像面加速度が小さい時刻の履歴データも使用することになるため、予測曲線を算出しても、像面の予測位置の誤差が大きくなる。そのため、デフォーカスが生じ、ボケた画像が撮影されてしまう。 As shown in FIG. 8B, when the image plane velocity of the subject is high and the image plane acceleration is high, if a lot of historical data of the image plane position of the subject is used, the historical data of the time when the image plane acceleration is small is also used. Therefore, even if the prediction curve is calculated, the error of the prediction position of the image plane becomes large. Therefore, defocus occurs and a blurred image is taken.
そこで、本実施形態では、像面加速度が大きい場合には、予測曲線算出に使用する被写体の像面位置と時刻の履歴データ数を少なくすることにより、像面加速度が小さいときの履歴データは用いず、像面加速度が大きいときの履歴データのみを用いるようにする。これにより、被写体の像面予測位置の誤差が低減できる。 Therefore, in the present embodiment, when the image plane acceleration is large, the history data when the image plane acceleration is small is used by reducing the number of history data of the image plane position and time of the subject used for calculating the prediction curve. Instead, use only the historical data when the image plane acceleration is large. As a result, the error of the image plane prediction position of the subject can be reduced.
図８Ｃは、被写体が急停止する場合の例を示している。被写体が移動状態から急停止する場合には、像面速度が増加から減少に転じる時に、図８Ｄに示すように、像面速度変化が小さくなるとともに像面加速度が急激に小さくなるタイミングがある。そのタイミングで、図８Ａで説明したように、像面加速度が小さいことに基づいて被写体の像面位置と時刻の履歴データ数を多くして像面の予測位置を算出すると、被写体が急停止の場合は被写体の像面加速度が急激に変化するため、像面の予測位置が実際の像面の予測位置に対して過応答して、誤差が大きくなる。 FIG. 8C shows an example when the subject suddenly stops. When the subject suddenly stops from the moving state, when the image plane velocity changes from increasing to decreasing, as shown in FIG. 8D, there is a timing in which the change in the image plane velocity becomes small and the image plane acceleration sharply decreases. At that timing, as described with reference to FIG. 8A, when the predicted position of the image plane is calculated by increasing the number of historical data of the image plane position and time of the subject based on the small image plane acceleration, the subject suddenly stops. In this case, since the acceleration of the image plane of the subject changes abruptly, the predicted position of the image plane overreacts to the predicted position of the actual image plane, and the error becomes large.
そこで、本実施形態では、像面速度と像面加速度に閾値を設け、条件を設定することにより、上記のような被写体の急停止時に像面予測位置が過応答する状態になることを抑制する。 Therefore, in the present embodiment, by setting threshold values for the image plane velocity and the image plane acceleration and setting the conditions, it is possible to prevent the image plane prediction position from becoming overreacting when the subject suddenly stops as described above. ..
次に、図９Ａ、図９Ｂを用いて、被写体の像面速度または像面加速度に対する、被写体の像面位置と時刻の履歴データ数のテーブルについて説明する。 Next, with reference to FIGS. 9A and 9B, a table of the number of historical data of the image plane position and time of the subject with respect to the image plane velocity or the image plane acceleration of the subject will be described.
図９Ａは、像面加速度に対する、被写体の像面位置と時刻の履歴データ数のテーブルを示す図である。この図は、像面加速度と、焦点検出の周期である焦点検出サンプリング周期とに対する使用する履歴データ数の関係を示している。像面加速度が小さく、焦点検出サンプリング周期が小さい場合には予測曲線の算出に使用する履歴データ数を多くし、像面加速度が大きく、焦点検出サンプリング周期が大きい場合には予測曲線の算出に使用する履歴データ数を少なくする。 FIG. 9A is a diagram showing a table of the number of historical data of the image plane position and time of the subject with respect to the image plane acceleration. This figure shows the relationship between the image plane acceleration and the number of historical data used for the focus detection sampling cycle, which is the focus detection cycle. When the image plane acceleration is small and the focus detection sampling cycle is small, the number of historical data used to calculate the prediction curve is large, and when the image plane acceleration is large and the focus detection sampling cycle is large, it is used to calculate the prediction curve. Reduce the number of historical data to be performed.
図９Ｂは、像面速度に対する、被写体の像面位置と時刻の履歴データ数のテーブルを示す図である。この図は、像面速度と、焦点検出の周期である焦点検出サンプリング周期とに対する使用する履歴データ数の関係を示している。像面速度が小さく、焦点検出サンプリング周期が小さい場合には予測曲線の算出に使用する履歴データ数を多くし、像面速度が大きく、焦点検出サンプリング周期が大きい場合には予測曲線の算出に使用する履歴データ数を少なくする。 FIG. 9B is a diagram showing a table of the number of historical data of the image plane position and time of the subject with respect to the image plane velocity. This figure shows the relationship between the image plane velocity and the number of historical data used with respect to the focus detection sampling cycle, which is the focus detection cycle. When the image plane velocity is small and the focus detection sampling cycle is small, the number of historical data used to calculate the prediction curve is large, and when the image plane velocity is large and the focus detection sampling cycle is large, it is used to calculate the prediction curve. Reduce the number of historical data to be performed.
なお、テーブルは上記に限らず、焦点検出結果のデフォーカス量の信頼性やばらつき範囲を加味して用意してもよい。また被写体が近づく場合と遠ざかる場合とでテーブルを変更してもよい。さらに焦点検出と撮影の時間差を加味したテーブルを用いてもよい。これらのテーブルは予めカメラ内に記憶するか、ネットワーク又は記憶媒体を介してカメラに供給するようにしてもよい。 The table is not limited to the above, and may be prepared in consideration of the reliability of the defocus amount of the focus detection result and the variation range. Further, the table may be changed depending on whether the subject approaches or moves away. Further, a table may be used in which the time difference between focus detection and photographing is taken into consideration. These tables may be pre-stored in the camera or supplied to the camera via a network or storage medium.
次に、図１０は、図６のステップＳ４における被写体の像面位置の予測処理のサブルーチンを示すフローチャートである。 Next, FIG. 10 is a flowchart showing a subroutine of prediction processing of the image plane position of the subject in step S4 of FIG.
ステップＳ２０１では、システム制御部５０は、図６のステップＳ２での焦点検出結果であるデフォーカス量とその時刻の履歴データ数が所定数あるか否かを判定する。所定数ある場合にはステップＳ２０２へ進み、ない場合にはステップＳ２１６へ進む。予測処理には履歴データ数を複数用いる必要があり、かつ後述する履歴データ数の変更を行うためには、最低限必要な履歴データ数に達していないと変更できないため、本判定を行う。
In step S201, the
ステップＳ２０２では、システム制御部５０は、焦点距離が所定値以上であるか否かを判定する。所定値以上である場合にはステップＳ２０３へ進み、所定値以上でない場合にはステップＳ２１５へ進む。被写体を撮影する画角が同一画角の場合、焦点距離が短ければ被写体の像面位置の変化が小さいため、被写体の像面位置の時間変化である像面移動速度が小さくなる。そのため、前述の履歴データ数を変更する必要性が低い。一方、焦点距離が長い場合（例えば２００ｍｍ以上）には被写体の像面位置の変化が大きいため、被写体の像面速度が大きくなる。そのため、前述の履歴データ数を変更する必要がある。
In step S202, the
ステップＳ２０３では、システム制御部５０は、被写体距離が所定値以下であるか否かを判定する。所定値以下である場合にはステップＳ２０４へ進み、そうでない場合にはステップＳ２１５へ進む。被写体距離が近い場合には、被写体距離から幾何光学における公式であるレンズ公式を用いて被写体の像面位置を算出すると、像面位置の変化が大きい。そのため、前述の履歴データ数を変更する必要がある。
In step S203, the
ステップＳ２０４では、システム制御部５０は、被写体の移動方向が近づく方向か否かを判定する。近づく方向の場合にはステップＳ２０５へ進み、そうでない場合にはステップＳ２０６へ進む。
In step S204, the
ステップＳ２０５では、システム制御部５０は、被写体が近づく場合の履歴データ数を決めるテーブルを選択する。
In step S205, the
ステップＳ２０６では、システム制御部５０は、被写体が遠ざかる場合の履歴データ数を決めるテーブルを選択する。
In step S206, the
ステップＳ２０７では、システム制御部５０は、焦点検出結果のばらつきが所定値以上であるか否かを判定する。所定値以上である場合にはステップＳ２０８へ進み、そうでない場合にはステップＳ２０９へ進む。焦点検出結果のばらつきとはＳ／Ｎが小さいため、焦点検出結果の信頼性が低い状態のことを示す。信頼性が低い場合には履歴データ数を多くし、Ｓ／Ｎを向上させる必要があるため、本判定を行う。
In step S207, the
ステップＳ２０８では、システム制御部５０は、ばらつきが所定値以上である場合のテーブルを選択し、ステップＳ２０９では、ばらつきが所定値未満の場合のテーブルを選択する。
In step S208, the
ステップＳ２１０では、システム制御部５０は、被写体の像面速度、像面加速度を時系列の被写体の像面位置とその時刻とから算出する。
In step S210, the
ステップＳ２１１では、システム制御部５０は、被写体の像面速度が第１閾値(例えば1ｍｍ／ｓｅｃ)以上であるか否かを判定する。第１閾値以上である場合にはステップＳ２１２へ進み、そうでない場合にはステップＳ２１４へ進む。
In step S211 the
ステップＳ２１２では、システム制御部５０は、像面加速度が第２閾値以上であるか否かを判定する。第２閾値以上である場合にはステップＳ２１３へ進み、そうでない場合にはステップＳ２１４へ進む。
In step S212, the
ステップＳ２１３では、システム制御部５０は、図９Ａに示したような像面加速度と履歴データ数のテーブルを参照し、予測演算に用いる履歴データ数を設定する。履歴データ数は像面加速度が大きい場合には少なくし、像面加速度が小さい場合には多く設定する。
In step S213, the
ステップＳ２１４では、システム制御部５０は、図９Ｂに示したような像面速度と履歴データ数のテーブルを参照し、予測演算に用いる履歴データ数を設定する。履歴データ数は像面速度が大きい場合には少なくし、像面速度が小さい場合には多く設定する。
In step S214, the
ステップＳ２１５では、システム制御部５０は、予測演算に用いる履歴データ数を固定値（例えば５点）として設定する。固定値とするのは、ステップＳ２０２、Ｓ２０３の判定で被写体の像面速度、像面加速度がともに小さいため、履歴データ数を変更する必要性が低いためである。
In step S215, the
ステップＳ２１６では、ステップＳ２０１の判定で履歴データ数が所定数に達していないため、システム制御部５０は、全履歴データ数を予測演算に用いる。
In step S216, since the number of history data has not reached a predetermined number in the determination of step S201, the
ステップＳ２１７では、システム制御部５０は、ステップＳ２１３〜Ｓ２１６で設定した履歴データ数を用いて、多変量解析（例えば最小２乗法）により被写***置の予測曲線を算出する。
In step S217, the
ステップＳ２１８では、予測曲線から撮影時の被写体の像面予測位置を算出し、像面位置の予測処理を完了する。 In step S218, the image plane predicted position of the subject at the time of shooting is calculated from the prediction curve, and the image plane position prediction process is completed.
なお、本実施形態では履歴データ数のみを変更したが、時刻が新しい履歴データの重みを大きくして、予測曲線を算出してもよい。 In this embodiment, only the number of historical data is changed, but the prediction curve may be calculated by increasing the weight of the historical data whose time is new.
次に、図１１は、図６のＳ９で行われる撮像処理のサブルーチンを示すフローチャートである。 Next, FIG. 11 is a flowchart showing a subroutine of the imaging process performed in S9 of FIG.
まず、ステップＳ３０１では、システム制御部５０は、光量調節のために絞り３１２を駆動し、露光時間を制御するシャッター１２を駆動する。フラッシュ４８を閃光発光させて撮像を行う場合には、システム制御部５０は、その発光のタイミングに合わせてシャッター１２を駆動する。
First, in step S301, the
続いて、ステップＳ３０２では、システム制御部５０は、撮像素子１４から静止画の撮像のための全画素読み出しを行う。
Subsequently, in step S302, the
ステップＳ３０３では、システム制御部５０（画像処理部２０）は、撮像素子１４から読み出した撮像信号に対して、事前に記憶された欠陥画素の位置情報に基づく欠陥画素補間を行う。欠陥画素は、画素間の出力オフセットやゲインのばらつきが大きい画素や、撮像に使用されなかった画素（前述した焦点検出専用画素等）が含まれる。
In step S303, the system control unit 50 (image processing unit 20) performs defect pixel interpolation based on the position information of the defective pixels stored in advance with respect to the image pickup signal read from the
ステップＳ３０４では、システム制御部５０は、撮像信号に対して、γ補正、色変換、エッジ強調等の画像処理を行って撮像画像データ（静止画データ）を生成する。そしてステップＳ３０５において、システム制御部５０は、撮像画像データをメモリ３０に記録する。
In step S304, the
ステップＳ３０６では、システム制御部５０は、ステップＳ３０５において記録した撮像画像データに対応付けて、カメラ１００の特性情報をメモリ３０およびシステム制御部５０内のメモリに記録する。カメラ１００の特性情報とは、例えば、露光時間、現像時の画像処理、撮像素子１４の画素の受光感度分布およびカメラ１００内での撮像光束のケラレに関する情報等である。画素の受光感度分布は、マイクロレンズ２０１ｃおよびフォトダイオード２０１ａ，２０１ｂの相対的な位置関係により決定されるため、画素の受光感度分布ではなく、マイクロレンズとフォトダイオードの位置関係に関する情報を記録してもよい。また、カメラ１００の特性情報は、カメラ１００と撮像レンズ３００との取り付け面から撮像素子１４までの距離や製造誤差に関する情報も含む。
In step S306, the
ステップＳ３０７では、システム制御部５０は、ステップＳ３０５において記録した撮像画像データに対応付けて、撮像レンズ３００の特性情報をメモリ３０とシステム制御部５０内のメモリに記録する。撮像レンズ３００の特性情報とは、例えば、射出瞳、枠情報、撮像時の焦点距離やＦナンバー、撮像光学系の収差および製造誤差に関する情報等である。
In step S307, the
ステップＳ３０８では、システム制御部５０は、撮像画像データに関する画像関連情報をメモリ３０およびシステム制御部５０内のメモリに記録する。画像関連情報とは、例えば、撮像前の焦点検出動作に関する情報、被写体の移動、焦点検出動作の精度に関する情報等である。
In step S308, the
そして、ステップＳ３０８で撮像処理を終了する。 Then, in step S308, the imaging process is completed.
以上説明したように、上記の実施形態によれば、被写体の像面速度や像面加速度が大きい場合でも、被写体の像面位置の予測に用いる被写***置の履歴データ数を適切に選択することにより、適切に被写体の像面位置の予測を行うことが可能となる。 As described above, according to the above embodiment, even when the image plane velocity or the image plane acceleration of the subject is large, the number of historical data of the subject position used for predicting the image plane position of the subject is appropriately selected. , It becomes possible to appropriately predict the position of the image plane of the subject.
（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
(Other embodiments)
The present invention also supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads the program. It can also be realized by the processing to be executed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above embodiments, and various modifications and modifications can be made without departing from the spirit and scope of the invention. Therefore, a claim is attached to make the scope of the invention public.
１４：撮像素子、５０：システム制御部、１００：カメラ、１０５：焦点検出ユニット、３００：撮像レンズ、３１１：フォーカスレンズ 14: Image sensor, 50: System control unit, 100: Camera, 105: Focus detection unit, 300: Image lens, 311: Focus lens
Claims (18)
前記焦点検出手段の焦点検出動作により、時系列的に得られた被写体の像面位置と、該像面位置に対応する時刻の情報とを履歴データとして記憶する記憶手段と、
前記履歴データに基づいて、被写体の像面速度と像面加速度とを算出する算出手段と、
前記履歴データに基づいて、被写体を撮像する時刻における被写体の像面位置を予測する予測手段と、を備え、
前記予測手段は、前記像面速度と前記像面加速度とに基づいて、被写体の像面位置を予測するために用いる前記履歴データの数を変更することを特徴とする撮像装置。 A focus detection means that performs focus detection based on a signal obtained by photoelectric conversion of light incident through an imaging optical system, and
A storage means that stores the image plane position of the subject obtained in time series by the focus detection operation of the focus detection means and the time information corresponding to the image plane position as historical data.
A calculation means for calculating the image plane velocity and the image plane acceleration of the subject based on the historical data, and
A prediction means for predicting the position of the image plane of the subject at the time when the subject is imaged based on the historical data is provided.
The predicting means is an imaging device that changes the number of historical data used for predicting the image plane position of a subject based on the image plane velocity and the image plane acceleration.
前記焦点検出工程での焦点検出動作により、時系列的に得られた被写体の像面位置と、該像面位置に対応する時刻の情報とを履歴データとして記憶する記憶工程と、
前記履歴データに基づいて、被写体の像面速度と像面加速度とを算出する算出工程と、
前記履歴データに基づいて、被写体を撮像する時刻における被写体の像面位置を予測する予測工程と、を有し、
前記予測工程では、前記像面速度と前記像面加速度とに基づいて、被写体の像面位置を予測するために用いる前記履歴データの数を変更することを特徴とする撮像装置の制御方法。 A focus detection step in which focus detection is performed based on a signal obtained by photoelectric conversion of light incident through an imaging optical system, and
A storage step of storing the image plane position of the subject obtained in time series by the focus detection operation in the focus detection step and the time information corresponding to the image plane position as historical data.
A calculation process for calculating the image plane velocity and the image plane acceleration of the subject based on the historical data, and
It has a prediction step of predicting the position of the image plane of the subject at the time when the subject is imaged based on the historical data.
The prediction step is a control method for an imaging device, which comprises changing the number of historical data used for predicting the image plane position of a subject based on the image plane velocity and the image plane acceleration.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020054902A JP2021156961A (en) | 2020-03-25 | 2020-03-25 | Imaging device and control method of the same, program and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020054902A JP2021156961A (en) | 2020-03-25 | 2020-03-25 | Imaging device and control method of the same, program and storage medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021156961A true JP2021156961A (en) | 2021-10-07 |
Family
ID=77919731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020054902A Pending JP2021156961A (en) | 2020-03-25 | 2020-03-25 | Imaging device and control method of the same, program and storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021156961A (en) |
-
2020
- 2020-03-25 JP JP2020054902A patent/JP2021156961A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6405243B2 (en) | Focus detection apparatus and control method thereof | |
| JP5653035B2 (en) | Imaging apparatus, focus detection method, and control method | |
| JP5623254B2 (en) | Imaging apparatus and control method thereof | |
| JP4155280B2 (en) | Imaging device | |
| US11539874B2 (en) | Image-capturing apparatus and control method thereof | |
| US9602716B2 (en) | Focus-detection device, method for controlling the same, and image capture apparatus | |
| US7019775B2 (en) | Image sensing apparatus and control method thereof | |
| JP2008298943A (en) | Focal point control device and imaging device | |
| JP5361356B2 (en) | Focus detection apparatus and control method thereof | |
| JP6960755B2 (en) | Imaging device and its control method, program, storage medium | |
| JP5063184B2 (en) | IMAGING DEVICE, LIGHT EMITTING DEVICE, AND IMAGING DEVICE CONTROL METHOD | |
| JP6941011B2 (en) | Imaging device and its control method, program, storage medium | |
| JP4863370B2 (en) | Imaging device | |
| JP2011191340A (en) | Imaging apparatus | |
| JP2021156961A (en) | Imaging device and control method of the same, program and storage medium | |
| CN109387992B (en) | Image pickup apparatus capable of sufficiently ensuring light emission accuracy and control method thereof | |
| JP7195783B2 (en) | IMAGING DEVICE, ACCESSORY DEVICE AND CONTROL METHOD THEREOF | |
| JP2016099432A (en) | Focus detection device, and method, program and storage medium | |
| JP7225192B2 (en) | Imaging device and its control method | |
| JP7066458B2 (en) | Imaging device and its control method, program | |
| JP2019086635A (en) | Imaging apparatus and control method thereof | |
| JP7171265B2 (en) | Imaging device and its control method | |
| JP7005313B2 (en) | Imaging device and its control method, program, storage medium | |
| JP2011175172A (en) | Digital camera | |
| JP3269484B2 (en) | 3D information input camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230320 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240430 |