JP6781589B2 - Image blur correction device and its control method, program, storage medium - Google Patents
Image blur correction device and its control method, program, storage medium Download PDFInfo
- Publication number
- JP6781589B2 JP6781589B2 JP2016155866A JP2016155866A JP6781589B2 JP 6781589 B2 JP6781589 B2 JP 6781589B2 JP 2016155866 A JP2016155866 A JP 2016155866A JP 2016155866 A JP2016155866 A JP 2016155866A JP 6781589 B2 JP6781589 B2 JP 6781589B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- main subject
- focus detection
- motion vector
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Automatic Focus Adjustment (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、像ブレ補正機能を有する撮像装置における、流し撮りをアシストする技術に関するものである。 The present invention relates to a technique for assisting panning in an imaging device having an image blur correction function.
カメラの撮影手法の一つとして、流し撮りと呼ばれる方法が知られている。これは動いている被写体を撮影するときに、被写体を追いながら通常よりも遅いシャッター速度で撮影する手法であり、背景が流れ、被写体は静止している画像が得られる。そのため、流し撮りを行うことでスピード感あふれる写真を撮影することができる。しかし流し撮りでは露光時間の長い撮影を行うため、露光期間中に被写体のスピードとカメラを振る速度を合わせることが難しく、失敗する可能性も高い。そのため難しい撮影技術のひとつとなっている。 As one of the shooting methods of a camera, a method called panning is known. This is a method of shooting a moving subject at a slower shutter speed than usual while following the subject, and an image in which the background flows and the subject is stationary can be obtained. Therefore, it is possible to take a photo with a sense of speed by taking a panning shot. However, in panning, it is difficult to match the speed of the subject with the speed of shaking the camera during the exposure period because the exposure time is long, and there is a high possibility of failure. Therefore, it is one of the difficult shooting techniques.
そこで、流し撮り撮影を簡単に実現するために、被写体の速度と、カメラを振る速度の差分を検出し、速度の差分に相当するズレ量を、シフトレンズの移動を用いて補正することで、流し撮りを成功させる方法が知られている。このような方法は、流し撮りアシストと呼ばれている。この方法では、撮影直前に、カメラ内の角速度センサで被写体を追っているカメラのパンニングの角速度を検出し、同時に撮像面上の主被写体の移動量を検出する。そして、検出したパンニング角速度と像面上の主被写体の移動量とから主被写体の角速度を算出する。そして露光中は、算出した主被写体の角速度と、カメラ内の角速度センサの出力との差分量に従ってレンズをシフトさせることで、主被写体とカメラのパンニング速度の差を補正し、流し撮り対象である主被写体のブレを止める。 Therefore, in order to easily realize panning photography, the difference between the speed of the subject and the speed at which the camera is shaken is detected, and the amount of deviation corresponding to the difference in speed is corrected by using the movement of the shift lens. There are known ways to make a successful panning shot. Such a method is called panning assist. In this method, immediately before shooting, the angular velocity sensor in the camera detects the panning angular velocity of the camera following the subject, and at the same time, the amount of movement of the main subject on the imaging surface is detected. Then, the angular velocity of the main subject is calculated from the detected panning angular velocity and the amount of movement of the main subject on the image plane. During exposure, the lens is shifted according to the difference between the calculated angular velocity of the main subject and the output of the angular velocity sensor in the camera to correct the difference in panning speed between the main subject and the camera, which is the subject of panning. Stop blurring of the main subject.
ここで、重要になるのが、主被写体の角速度をより正確に求めることである。この値に誤差が生じると、シフトレンズによる補正に誤差が発生し、その誤差分がブレ残りとして画像に表れてしまう。このような像ブレを防ぐ技術として、特許文献１には、２枚の撮影画像から撮像画面内の被写体の移動量を取得し、撮像光学系を光軸と異なる方向に移動させて被写体の移動量を抑制する技術が開示されている。 Here, it is important to obtain the angular velocity of the main subject more accurately. If an error occurs in this value, an error will occur in the correction by the shift lens, and the error will appear in the image as a blur residue. As a technique for preventing such image blur, Patent Document 1 obtains the amount of movement of the subject in the imaging screen from two captured images, and moves the imaging optical system in a direction different from the optical axis to move the subject. Techniques for controlling the amount are disclosed.
ここで、主被写体の画面内の移動量を検出する方法について、図２１を用いて説明する。図２１（ａ）は、連続して撮影された画像からブロック毎の移動量を検出する方法を示している。（Ｎ−１）番目のフレームの参照ブロック９０１の座標を（ｘ，ｙ）とする。Ｎ番目のフレームの候補ブロックを（Ｎ−１）番目のフレームの参照ブロック９０１の座標に対して１画素ずつずらしながらブロック内の画素値の差分を足し合わせたものを相関値とする。相関値が０に最も近くなる座標を（ｘ−ａ，ｙ−ｂ）とすると、被写体の移動量αは（ａ，ｂ）と表わされる。 Here, a method of detecting the amount of movement of the main subject in the screen will be described with reference to FIG. FIG. 21A shows a method of detecting the amount of movement for each block from continuously captured images. Let the coordinates of the reference block 901 of the (N-1) th frame be (x, y). The correlation value is the sum of the differences between the pixel values in the block while shifting the candidate block of the Nth frame by one pixel with respect to the coordinates of the reference block 901 of the (N-1) th frame. Assuming that the coordinates whose correlation value is closest to 0 are (x-a, y-b), the amount of movement α of the subject is expressed as (a, b).
図２１（ｂ）は、参照ブロック９０１の配置例を示している。ここでは、８×８＝６４個のブロックを画像全体に配置した場合の配置例を示している。図２１（ｃ）は、図２１（ｂ）の参照ブロック９０１のうち、点線で囲まれた４×３のブロックについて、検出された移動量を矢印で示している。図２１（ｃ）の移動量を示す矢印のうち、信頼性の低い移動量を点線で示している。例えば、参照ブロック９０１と候補ブロックがエッジなどの特徴のある画素値を含まなければ、どの座標で相関値を算出しても同じような値となる。このようなときは、主被写体の移動量を求めることができないか、もしくは信頼性の低い値となる。 FIG. 21B shows an arrangement example of the reference block 901. Here, an arrangement example when 8 × 8 = 64 blocks are arranged in the entire image is shown. In FIG. 21 (c), among the reference blocks 901 of FIG. 21 (b), the detected movement amount of the 4 × 3 block surrounded by the dotted line is indicated by an arrow. Among the arrows indicating the movement amount in FIG. 21C, the unreliable movement amount is indicated by a dotted line. For example, if the reference block 901 and the candidate block do not include a characteristic pixel value such as an edge, the correlation value will be the same regardless of the coordinates. In such a case, the amount of movement of the main subject cannot be obtained, or the value becomes unreliable.
また、図２２（ａ）のように、参照ブロック９０１内に主被写体であるエリア１と背景であるエリア２が存在し、且つエリア２が均一面である場合には、エリア１が特徴ある画素として移動量が検出される。しかし、図２２（ｂ）のように、エリア１の主被写体とエリア２の背景の双方に特徴ある画素が含まれる場合、参照ブロック９０１の一枠内に占める割合が大きい方を特徴ある画素と判定する。そのため、この場合には、エリア２が特徴ある画素として移動量が算出されてしまう。この場合、背景を主被写体として誤検知するため、流し撮り対象である主被写体を止めることができなくなってしまう。特に、小さい被写体では、参照ブロック９０１内の特徴ある画素とならず、正しく被写体の移動量を算出することができない。 Further, as shown in FIG. 22A, when the area 1 as the main subject and the area 2 as the background exist in the reference block 901 and the area 2 is a uniform surface, the pixel in which the area 1 is characteristic is present. The amount of movement is detected as. However, as shown in FIG. 22B, when a characteristic pixel is included in both the main subject in the area 1 and the background in the area 2, the one having a large proportion in one frame of the reference block 901 is regarded as the characteristic pixel. judge. Therefore, in this case, the movement amount is calculated as the pixel in which the area 2 is characteristic. In this case, since the background is erroneously detected as the main subject, it becomes impossible to stop the main subject that is the subject of panning. In particular, for a small subject, the characteristic pixels in the reference block 901 are not formed, and the movement amount of the subject cannot be calculated correctly.
本発明は上述した課題に鑑みてなされたものであり、その目的は、流し撮りアシストを行う場合に、撮像面上での主被写体の移動量を正確に検出できる像ブレ補正装置を提供することである。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide an image blur correction device capable of accurately detecting the amount of movement of a main subject on an imaging surface when performing panning assist. Is.
本発明に係わる像ブレ補正装置は、焦点検出用画素を有する撮像素子から、表示するための画像と、焦点検出領域を含む領域を部分的に切り出した焦点検出用の画像とを同時に一つの画像として取得する取得手段と、前記取得手段により取得された画像に対して、動きベクトルを検出する枠を設定する設定手段と、連続するフレームの画像間の動きベクトルを前記枠ごとに検出するベクトル検出手段と、前記動きベクトルに基づいて被写体の撮像面上での動き量の度数分布を作成する作成手段と、前記度数分布に基づいて主被写体に対応する動きベクトルを判定する判定手段と、前記主被写体に対応する動きベクトルと、撮像装置のパンニング速度を検出する検出手段により検出されたパンニング速度とに基づいて、主被写体の角速度を算出する算出手段と、前記主被写体の角速度と前記パンニング速度とに基づいて、主被写体の像ブレを補正する像ブレ補正手段の駆動量を算出する駆動量算出手段と、を備え、前記判定手段が、前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記取得手段は、前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータを変更することを特徴とする。 In the image blur correction device according to the present invention, an image to be displayed and an image for focus detection in which a region including the focus detection region is partially cut out are simultaneously displayed as one image from an image pickup element having focus detection pixels. A setting means for setting a frame for detecting a motion vector for an image acquired by the acquisition means, and a vector detection for detecting a motion vector between images of consecutive frames for each frame. Means, a means for creating a velocity distribution of the amount of movement of a subject on an imaging surface based on the motion vector, a determination means for determining a motion vector corresponding to the main subject based on the velocity distribution, and the main subject. A calculation means for calculating the angular velocity of the main subject based on the motion vector corresponding to the subject and the panning speed detected by the detection means for detecting the panning speed of the image pickup apparatus, the angular velocity of the main subject, and the panning speed. Based on the above, the determination means is provided with a drive amount calculation means for calculating the drive amount of the image blur correction means for correcting the image blur of the main subject, and it is determined that the determination means cannot specify the motion vector corresponding to the main subject. In this case, the acquisition means is characterized in that the parameters for cutting out the image for focus detection from the image pickup element are changed.
本発明によれば、流し撮りアシストを行う場合に、撮像面上での主被写体の移動量を正確に検出できる像ブレ補正装置を提供することが可能となる。 According to the present invention, it is possible to provide an image blur correction device that can accurately detect the amount of movement of the main subject on the imaging surface when performing panning assist.
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置１００の構成を示すブロック図である。撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってもよい。光学系１０１は、レンズ（シフトレンズを含む）、シャッター、絞りから構成されており、中央演算装置（以下、ＣＰＵ）１０３の制御によって被写体からの光を撮像素子１０２に結像させる。なお、シフトレンズ（像ブレ補正レンズ）とは、光学系１０１の光軸とは異なる方向に移動することにより、撮像素子１０２に入射する光束の向きを変えるレンズである。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１を通って結像した光を画像信号に変換する。
(First Embodiment)
FIG. 1 is a block diagram showing a configuration of an image pickup apparatus 100 according to a first embodiment of the present invention. The image pickup device 100 may be any electronic device having a camera function, such as a mobile phone with a camera function, a computer with a camera, as well as a camera such as a digital camera or a digital video camera. The optical system 101 is composed of a lens (including a shift lens), a shutter, and an aperture, and the light from the subject is imaged on the image pickup element 102 under the control of the central processing unit (hereinafter, CPU) 103. The shift lens (image blur correction lens) is a lens that changes the direction of the light flux incident on the image sensor 102 by moving in a direction different from the optical axis of the optical system 101. An image sensor 102 such as a CCD image sensor or a CMOS image sensor converts the light imaged through the optical system 101 into an image signal.
ジャイロセンサなどの角速度センサ１０５は、撮像装置１００の移動量を表す角速度を検出し、電気信号に変換してＣＰＵ１０３へ出力する。ＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。一次記憶装置１０４は、例えばＲＡＭのような揮発性の記憶装置であり、一時的にデータを記憶し、ＣＰＵ１０３の作業領域として使われる。また、一次記憶装置１０４に記憶されている情報は、画像処理装置１０６で利用されたり、記録媒体１０７へ記録されたりもする。二次記憶装置１０８は、例えばＥＥＰＲＯＭのような不揮発性の記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶しており、ＣＰＵ１０３によって利用される。 An angular velocity sensor 105 such as a gyro sensor detects an angular velocity indicating the amount of movement of the image pickup apparatus 100, converts it into an electric signal, and outputs it to the CPU 103. The CPU 103 realizes the function of the image pickup apparatus 100 by controlling each unit constituting the image pickup apparatus 100 according to an input signal or a program stored in advance. The primary storage device 104 is a volatile storage device such as a RAM, which temporarily stores data and is used as a work area of the CPU 103. Further, the information stored in the primary storage device 104 may be used in the image processing device 106 or recorded in the recording medium 107. The secondary storage device 108 is a non-volatile storage device such as EEPROM, and stores a program (firmware) for controlling the image pickup device 100 and various setting information, and is used by the CPU 103.
記録媒体１０７は、一次記憶装置１０４に記憶されているところの、撮影により得られた画像データなどを記録する。なお、記録媒体１０７は、例えば半導体メモリカードのように撮像装置１００から取り外し可能である。また、記録されたデータは、記録媒体１０７をパーソナルコンピュータなどに装着することにより読み出すことが可能である。つまり、撮像装置１００は、記録媒体１０７の着脱機構及び読み書き機能を有する。 The recording medium 107 records image data or the like obtained by photographing, which is stored in the primary storage device 104. The recording medium 107 is removable from the image pickup apparatus 100, such as a semiconductor memory card. Further, the recorded data can be read by attaching the recording medium 107 to a personal computer or the like. That is, the image pickup apparatus 100 has a attachment / detachment mechanism for the recording medium 107 and a read / write function.
表示部１０９は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのＧＵＩ画像などの表示を行う。操作部１１０は、ユーザの操作を受け付けてＣＰＵ１０３へ入力情報を伝達する入力デバイス群であり、例えばボタン、レバー、タッチパネル等でもよいし、音声や視線などを用いた入力機器であってもよい。動きベクトル検出部１１１は、撮影により得られた画像を用いて主被写体の移動量を検出するための動きベクトルを出力する。 The display unit 109 displays a viewfinder image at the time of shooting, displays the shot image, and displays a GUI image for interactive operation. The operation unit 110 is an input device group that receives a user's operation and transmits input information to the CPU 103. For example, the operation unit 110 may be a button, a lever, a touch panel, or the like, or may be an input device using voice, line of sight, or the like. The motion vector detection unit 111 outputs a motion vector for detecting the amount of movement of the main subject using the image obtained by shooting.
次に、本実施形態における撮像素子１０２について、図２〜図４を用いて説明する。図２は本実施形態における撮像素子１０２の構成の一例を示す等価回路図である。画素領域には複数の光電変換部を含む単位画素が、水平及び垂直方向に等間隔で行列状に配列されている。 Next, the image pickup device 102 in this embodiment will be described with reference to FIGS. 2 to 4. FIG. 2 is an equivalent circuit diagram showing an example of the configuration of the image pickup device 102 in the present embodiment. In the pixel region, unit pixels including a plurality of photoelectric conversion units are arranged in a matrix at equal intervals in the horizontal and vertical directions.
まず、ここで単位画素の構成について説明する。図３は撮像素子１０２の第ｎ行目の単位画素の構成を説明するための等価回路図、図４は単位画素の平面図である。図２、図３及び図４において、光電変換部５０１及び光電変換部５０２はフォトダイオードにより構成される。光電変換部５０１及び５０２は単位画素上部に配置された一つのマイクロレンズ６０１に対応する領域内に２つ配置されており、便宜的に光電変換部５０１をＡ画素、光電変換部５０２をＢ画素と呼ぶこととする。マイクロレンズ６０１は点線で示した画素ピッチに接するように形成されている。 First, the configuration of the unit pixel will be described here. FIG. 3 is an equivalent circuit diagram for explaining the configuration of the unit pixel in the nth row of the image sensor 102, and FIG. 4 is a plan view of the unit pixel. In FIGS. 2, 3 and 4, the photoelectric conversion unit 501 and the photoelectric conversion unit 502 are composed of a photodiode. Two photoelectric conversion units 501 and 502 are arranged in a region corresponding to one microlens 601 arranged above a unit pixel. For convenience, the photoelectric conversion unit 501 is A pixel and the photoelectric conversion unit 502 is B pixel. I will call it. The microlens 601 is formed so as to be in contact with the pixel pitch indicated by the dotted line.
マイクロレンズ６０１に対してオフセットして配置されていることから、Ａ画素とＢ画素は分割された瞳領域を透過した被写体像を光電変換することとなり、Ａ画素出力、Ｂ画素出力を読み出すことで位相差検出が可能となり、焦点検出動作が可能となる。即ち、Ａ画素及びＢ画素が位相差検出用画素（焦点検出用画素）である。 Since the A pixel and the B pixel are arranged offset with respect to the microlens 601, the subject image transmitted through the divided pupil region is photoelectrically converted, and the A pixel output and the B pixel output are read out. Phase difference detection becomes possible, and focus detection operation becomes possible. That is, the A pixel and the B pixel are phase difference detection pixels (focus detection pixels).
光電変換部５０１，５０２で発生した電荷は、それぞれ転送トランジスタ５０７，５０８を介してフローティングディフュージョン（ＦＤ）部５０３に転送される。ＦＤ部５０３は増幅トランジスタ５０４のゲートに接続され、画素アンプを構成すると共に、電荷電圧変換部としても機能する。 The electric charges generated by the photoelectric conversion units 501 and 502 are transferred to the floating diffusion (FD) unit 503 via the transfer transistors 507 and 508, respectively. The FD unit 503 is connected to the gate of the amplification transistor 504 to form a pixel amplifier and also function as a charge-voltage conversion unit.
各転送トランジスタ５０７，５０８は垂直走査回路５２０から制御線５１２に出力される制御信号φＴＸＡ＿ｎ、及び、制御線５１３に出力される制御信号φＴＸＢ＿ｎにより制御される。転送トランジスタ５０７，５０８は、制御信号φＴＸＡ＿ｎ、φＴＸＢ＿ｎがハイ（Ｈ）のときオン、ロー（Ｌ）のときオフとなる。なお、各制御信号におけるｎは行を示しており、例えば、制御信号φＴＸＡ＿ｎは、第ｎ行目の単位画素に対して出力する制御信号φＴＸＡであることを表している。 The transfer transistors 507 and 508 are controlled by the control signal φTXA_n output from the vertical scanning circuit 520 to the control line 512 and the control signal φTXB_n output from the control line 513. The transfer transistors 507 and 508 are turned on when the control signals φTXA_n and φTXB_n are high (H) and turned off when they are low (L). Note that n in each control signal indicates a line, and for example, the control signal φTXA_n indicates that the control signal φTXA is output to the unit pixel in the nth line.
また、垂直走査回路５２０から制御線５１１に出力される制御信号φＲＥＳ＿ｎをＨとすることで、リセットトランジスタ５０５がオンとなり、ＦＤ部５０３をリセットすることができる。また、制御信号φＴＸＡ＿ｎ及びφＴＸＢ＿ｎがＨの期間の光電変換部５０１，５０２の電荷をリセットすることができる。 Further, by setting the control signal φRES_n output from the vertical scanning circuit 520 to the control line 511 to H, the reset transistor 505 is turned on and the FD unit 503 can be reset. Further, the electric charges of the photoelectric conversion units 501 and 502 during the period when the control signals φTXA_n and φTXB_n are H can be reset.
垂直走査回路５２０から制御線５１０に出力される制御信号φＳＥＬ＿ｎがＨになると、選択トランジスタ５０６がオンとなり、増幅トランジスタ５０４の出力が垂直出力線５０９に現れる。垂直出力線５０９には不図示の定電流源が接続され、この垂直出力線５０９に接続された列ごとの増幅トランジスタ５０４とともにソースフォロワ回路を構成する。 When the control signal φSEL_n output from the vertical scanning circuit 520 to the control line 510 becomes H, the selection transistor 506 is turned on and the output of the amplification transistor 504 appears on the vertical output line 509. A constant current source (not shown) is connected to the vertical output line 509, and a source follower circuit is formed together with the amplification transistors 504 for each row connected to the vertical output line 509.
図２は、上述した単位画素が水平方向に４画素、垂直方向に２画素配置された場合を示す模式図である。なお、実際の撮像素子では、このような画素が数十万から数千万画素程度、配置されている。図２では各単位画素のマイクロレンズ６０１と、その下のＡ画素、Ｂ画素を模式的に示している。各単位画素は列毎に垂直出力線５０９に接続されている。 FIG. 2 is a schematic view showing a case where the above-mentioned unit pixels are arranged 4 pixels in the horizontal direction and 2 pixels in the vertical direction. In an actual image sensor, such pixels are arranged in the order of hundreds of thousands to tens of millions of pixels. FIG. 2 schematically shows a microlens 601 of each unit pixel and A pixel and B pixel below the microlens 601. Each unit pixel is connected to the vertical output line 509 for each column.
垂直出力線５０９は各列に用意された列アンプ４０１に接続されている。この列アンプ４０１は各垂直出力線５０９の出力に入力容量Ｃ０と帰還容量Ｃｆにより定まる所定のゲインを乗じて、後段のフォロワ４０４に出力する。フォロワ４０４はこの出力をアナログスイッチ４０５または４０６を介して、ノイズ成分保持容量ＣＴｋＮまたは信号成分保持容量ＣＴｋＳに出力する。なお、ｋは、図２に示す例では列を表し、ｋ＝１〜４である。アナログスイッチ４０５，４０６は制御信号φＴＳ４０９またはφＴＮ４１０により制御される。 The vertical output line 509 is connected to a row amplifier 401 prepared in each row. The column amplifier 401 multiplies the output of each vertical output line 509 by a predetermined gain determined by the input capacitance C0 and the feedback capacitance Cf, and outputs the output to the follower 404 in the subsequent stage. The follower 404 outputs this output to the noise component holding capacity CTkN or the signal component holding capacity CTkS via the analog switch 405 or 406. In the example shown in FIG. 2, k represents a column, and k = 1 to 4. The analog switches 405 and 406 are controlled by the control signals φTS409 or φTN410.
列毎に第ｎ行目の画素のノイズ成分と信号成分を保持した保持容量ＣＴｋＮ，ＣＴｋＳは、不図示の水平走査回路によって出力アンプ４１１の入力に順次接続される。例えば保持容量ＣＴ１Ｎ，ＣＴ１Ｓが出力アンプ４１１に接続されると、出力アンプ４１１は１列目の電圧の差分に対して所定ゲインを乗じて撮像素子１０２の外部へ出力する。水平走査回路により次の時刻に保持容量ＣＴ３Ｎ、ＣＴ３Ｓが出力アンプ４１１に接続され、これを１行の列数分だけ繰り返し一行分の水平走査動作を終える。この動作を撮像素子１０２の特定行の選択動作を順次垂直方向に進めることで、撮像素子１０２の所定の画素の出力を得ることが可能となる。また、このときに各単位画素のＡ画素とＢ画素の両方の出力を同時に転送すると、画像生成に好適な同一マイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することができる。 The holding capacitances CTkN and CTkS holding the noise component and the signal component of the nth row pixel for each column are sequentially connected to the input of the output amplifier 411 by a horizontal scanning circuit (not shown). For example, when the holding capacitances CT1N and CT1S are connected to the output amplifier 411, the output amplifier 411 multiplies the voltage difference in the first row by a predetermined gain and outputs the output to the outside of the image sensor 102. The holding capacitances CT3N and CT3S are connected to the output amplifier 411 by the horizontal scanning circuit at the next time, and this is repeated for the number of columns in one row to finish the horizontal scanning operation for one row. By sequentially advancing this operation in the vertical direction in the selection operation of the specific line of the image sensor 102, it is possible to obtain the output of a predetermined pixel of the image sensor 102. Further, at this time, if the outputs of both the A pixel and the B pixel of each unit pixel are transferred at the same time, it is possible to output the charge signal generated in the entire pixel arranged under the same microlens 601 suitable for image generation. ..
撮像素子１０２の画素部を図５（ａ）に示す。図中の斜め斜線部は遮光されたオプティカルブラック部（ＯＢ部）を示している。本実施形態においては、撮像装置１００の撮影動作では、画素部を構成する全ての画素から、Ａ画素＋Ｂ画素の信号（合成信号）を読み出す。 The pixel portion of the image sensor 102 is shown in FIG. 5 (a). The diagonally shaded portion in the figure indicates a light-shielded optical black portion (OB portion). In the present embodiment, in the photographing operation of the image pickup apparatus 100, a signal (composite signal) of A pixel + B pixel is read from all the pixels constituting the pixel portion.
また、撮像素子１０２は、後述の流し撮り撮影前は、垂直方向に所定行数（複数行）ずつ間引きながら、Ａ画素＋Ｂ画素の信号（合成信号）を読み出す。そして、全面を垂直方向に走査したのち、再度垂直走査を垂直方向の上部の行に戻し、今度は先に読み出さなかった行の内、所定行数ずつ間引きながら再度走査する垂直方向走査を行う。１度目の走査時は対象行の画素から合成信号を読み出し、２度目の走査時には、全画面から部分的に、対象行の画素のＡ画素及びＢ画素の信号（位相差検出用信号）を読み出す。そして、読み出した位相差検出用信号を用いて位相差検出を行う。 Further, the image sensor 102 reads out a signal (composite signal) of A pixel + B pixel while thinning out a predetermined number of lines (plurality of lines) in the vertical direction before panning shooting, which will be described later. Then, after scanning the entire surface in the vertical direction, the vertical scan is returned to the upper row in the vertical direction again, and this time, the vertical scan is performed again while thinning out a predetermined number of rows among the rows that were not read earlier. At the time of the first scan, the composite signal is read from the pixels of the target row, and at the time of the second scan, the signals of the pixels A and B of the pixels of the target row are partially read from the full screen (phase difference detection signal). .. Then, the phase difference detection is performed using the read phase difference detection signal.
垂直方向の間引き読み出しを行う場合の読み出し行の模式図を図５（ｂ）に示す。図５（ｂ）において、太枠で囲まれた行が読み出し対象行であり、太枠になっていない部分は読み出し時に間引かれる行である。図５（ｂ）に示す例では、Ｖ０行目のＡ画素及びＢ画素から合成信号を読み出した後、垂直走査回路５２０は３行後のＶ１行目から合成信号を読み出す。引き続き同じ間引き率でＶ２からＶ７行から合成信号を読み出す。ここまでの読み出しを、以下、第１の走査方法と呼ぶ。第１の走査方法により読み出される行は、画像生成に好適な同一マイクロレンズ６０１の下部に配置された画素全体に生じる電荷信号を出力することとなり、同じ間引き率で読み出したＶ０〜Ｖ７行目の合成信号から、画像データを生成することが可能となる。 FIG. 5 (b) shows a schematic diagram of a read line when thinning out in the vertical direction is performed. In FIG. 5B, the line surrounded by the thick frame is the line to be read, and the portion not not the thick frame is the line thinned out at the time of reading. In the example shown in FIG. 5B, after reading the composite signal from the A pixel and the B pixel on the V0th row, the vertical scanning circuit 520 reads the composite signal from the V1th row after the third row. Subsequently, the composite signal is read from the V2 to V7 lines with the same thinning rate. The reading up to this point is hereinafter referred to as a first scanning method. The line read by the first scanning method outputs a charge signal generated in the entire pixel arranged under the same microlens 601 suitable for image generation, and the lines V0 to V7 read out with the same thinning rate. Image data can be generated from the composite signal.
Ｖ７行目まで第１の走査方法で読み出した後、垂直走査回路５２０はＶ８行目まで戻り、Ｖ８行目に含まれる画素のうち、まず、Ａ画素から位相差検出用信号を読み出す。続けて、同一行のＶ８行目に含まれる画素のうち、Ｂ画素から位相差検出用信号を読み出す。その後、Ｖ８行の次の行であるＶ９行目に含まれる画素のうち、Ａ画素から位相差検出用信号を読み出す。続けて、同一行のＶ９行目に含まれる画素のうち、Ｂ画素から位相差検出用信号を読み出す。その後、既に第１の走査方法で読み出されているＶ４行目をスキップし、Ｖ１０行目のＡ画素及びＢ画素、次のＶ１１行目のＡ画素及びＢ画素を読み出す。同様に既に第１の走査方法で読み出されているＶ５行目をスキップし、Ｖ１２行目及び次のＶ１３行目を読み出す。Ｖ８行目以降の駆動方法をここでは第２の走査方法と呼ぶ。このように、第２の走査方法では、同一行に対して、Ａ画素及びＢ画素の信号を読み出す。なお、第２の走査方法で読み出す領域は、焦点状態を検出するために予め設定された焦点検出領域を含み、第１の走査方法で読み出す領域よりも狭い領域である。 After reading up to the V7th line by the first scanning method, the vertical scanning circuit 520 returns to the V8th line, and among the pixels included in the V8th line, first reads the phase difference detection signal from the A pixel. Subsequently, among the pixels included in the V8th line of the same line, the phase difference detection signal is read from the B pixel. After that, among the pixels included in the V9th line, which is the next line after the V8 line, the phase difference detection signal is read from the A pixel. Subsequently, among the pixels included in the V9th line of the same line, the phase difference detection signal is read from the B pixel. After that, the V4th line already read by the first scanning method is skipped, and the A pixel and B pixel of the V10th line and the A pixel and B pixel of the next V11th line are read out. Similarly, the V5th line already read by the first scanning method is skipped, and the V12th line and the next V13th line are read. The driving method after the 8th line of V8 is referred to as a second scanning method here. As described above, in the second scanning method, the signals of the A pixel and the B pixel are read out for the same row. The area read by the second scanning method includes a focus detection area set in advance for detecting the focal state, and is narrower than the area read by the first scanning method.
こうして読み出した順序に従って画素配置を並べ替えると、図５（ｃ）に示す模式図のようになる。先に説明したように、Ｖ１〜Ｖ７行目は第１の走査方法によりＡ画素及びＢ画素から合成信号を読み出しているため、この出力を用いて通常の画像生成が可能である。Ｖ８〜Ｖ１３行目は第２の走査方法によりＡ画素及びＢ画素から焦点検出用信号を読み出しているため、同一行毎に得られるペアのＡ画素出力とＢ画素出力を用いて位相差検出が可能である。なお、以降第１の走査方法により読みだされた信号を撮影画像、第２の走査方法により読みだされた信号をＡＦ画像と呼ぶ。 When the pixel arrangement is rearranged according to the reading order, the schematic diagram shown in FIG. 5C is obtained. As described above, since the V1 to V7 lines read the composite signal from the A pixel and the B pixel by the first scanning method, normal image generation can be performed using this output. Since the focus detection signals are read from the A pixel and the B pixel in the V8 to V13 lines by the second scanning method, the phase difference detection can be performed by using the paired A pixel output and B pixel output obtained for each line. It is possible. Hereinafter, the signal read by the first scanning method is referred to as a captured image, and the signal read by the second scanning method is referred to as an AF image.
次に、図６にＡＦを行う焦点検出領域と第２の走査方法で読み出しを行う行の関係を示す。図６（ａ）は、焦点検出領域として１点の焦点検出枠が設定された場合、図６（ｂ）は、焦点検出領域として５×５分割の焦点検出枠が設定された場合をそれぞれ示している。ＣＰＵ１０３は、共に焦点検出領域を含む範囲に第２の走査方法で読み出す範囲を設定している。ＣＰＵ１０３は、ユーザによって設定される不図示の焦点検出モードに応じて、焦点検出領域を設定する。例えば、焦点検出モードが任意１点モードの場合は、図６（ａ）のように焦点検出領域を設定し、焦点検出モードが自動選択モードの場合は、図６（ｂ）のように焦点検出領域を設定する。また、ＡＦの動作状態に応じて、焦点検出領域を設定してもよい。 Next, FIG. 6 shows the relationship between the focus detection region where AF is performed and the row where reading is performed by the second scanning method. FIG. 6A shows a case where one focus detection frame is set as the focus detection area, and FIG. 6B shows a case where a 5 × 5 division focus detection frame is set as the focus detection area. ing. The CPU 103 both sets a range to be read by the second scanning method in a range including the focus detection area. The CPU 103 sets the focus detection area according to the focus detection mode (not shown) set by the user. For example, when the focus detection mode is the arbitrary one-point mode, the focus detection area is set as shown in FIG. 6A, and when the focus detection mode is the automatic selection mode, the focus detection is as shown in FIG. 6B. Set the area. Further, the focus detection area may be set according to the AF operating state.
また、ＣＰＵ１０３は、第２の走査方法で読み出しを行う対象行の間引き周期を撮像素子１０２に指示することで読み出される位相差検出用信号の密度の切り替えを行う。図７に第２の走査方法で読み出しを行う対象行の間引き周期の設定例を示す。図７（ａ）〜図７（ｃ）では、いずれも第１の走査方法で読み出される合成信号の対象行（白枠）は、３画素周期である。 Further, the CPU 103 switches the density of the phase difference detection signal read by instructing the image sensor 102 to thin out the target line to be read by the second scanning method. FIG. 7 shows an example of setting the thinning cycle of the target line to be read by the second scanning method. In each of FIGS. 7 (a) to 7 (c), the target line (white frame) of the composite signal read by the first scanning method has a three-pixel period.
図７（ａ）では、第１の走査方法で読み出されていない行の全てが第２の走査方法で読み出される対象行（格子枠）として設定されているため、高密度に位相差検出用信号を得ることが可能である。図７（ｂ）では、第１の走査方法で読み出されていない行の半分の行が第２の走査方法で読み出される対象行（格子枠）として設定されているため、図７（ａ）に対して読み出し行数を減少させることで、より高速な読み出しを可能としている。 In FIG. 7A, all the rows not read by the first scanning method are set as target rows (lattice frames) read by the second scanning method, so that they are used for high-density phase difference detection. It is possible to get a signal. In FIG. 7B, half of the rows not read by the first scanning method are set as target rows (lattice frames) read by the second scanning method, and therefore FIG. 7A. On the other hand, by reducing the number of read lines, faster reading is possible.
図７（ｃ）では、第２の走査方法で読み出す対象行がさらに間引かれ、より高速な読み出しが可能となる。ＣＰＵ１０３は、焦点検出モードや被写体の明るさなどにより、第２の走査方法で読み出しを行う対象行の間引き周期を切り替える。そして、図７（ｂ）により、読み出し行数を減少させることで読み出し時間を短縮し、高フレームレート化することで、ＡＦ速度を改善させることが可能である。また、ＡＦを行う被写***置が特定されていない場合に、図６（ｂ）のような広範囲な焦点検出領域を設定した上で、図７（ｃ）により、高速な読み出しを行う。これにより、フレームレートを維持したまま広範囲な焦点検出を行うことが可能となる。この場合、読み出される位相差検出信号は低密度となり、焦点検出性能の劣化を招く可能性がある。しかし、ＡＦを行う被写***置の特定（焦点検出点選択）を行う上で必要な焦点検出性能が満たされていればよく、被写体の特定を行った後の合焦動作では、図７（ａ）または図７（ｂ）の動作に切り替えることで、高精度な焦点検出を可能とする。 In FIG. 7C, the target lines to be read by the second scanning method are further thinned out, and higher-speed reading becomes possible. The CPU 103 switches the thinning cycle of the target line to be read by the second scanning method depending on the focus detection mode, the brightness of the subject, and the like. Then, according to FIG. 7B, it is possible to shorten the read time by reducing the number of read lines and improve the AF speed by increasing the frame rate. Further, when the position of the subject to be AF is not specified, a wide focal point detection area as shown in FIG. 6B is set, and then high-speed reading is performed according to FIG. 7C. This makes it possible to perform a wide range of focus detection while maintaining the frame rate. In this case, the read phase difference detection signal has a low density, which may lead to deterioration of the focus detection performance. However, it suffices if the focus detection performance required for identifying the subject position (focus detection point selection) for AF is satisfied, and in the focusing operation after identifying the subject, FIG. 7A shows. Alternatively, by switching to the operation shown in FIG. 7B, highly accurate focus detection is possible.
次に、図８は、本実施形態における、間引き動作時の蓄積、読み出しを模式的に示した図である。横軸は経過時間、上下は垂直方向に走査される行を表している。まず、図５（ｂ）のＶ０〜Ｖ７行目を垂直走査部回路５２０により走査する。その後、Ｖ８行目からＶ１３行目を垂直走査することで、蓄積および読み出し制御を行う。図中の斜めの実線は、ローリング読み出し動作を表わしており、垂直出力線が、各行で共用されているため、垂直方向に走査して、行ごとに順次読み出しを実行する必要がある。図中の斜めの破線は、読み出しに先立って実行されるローリングリセット動作を表わしており、リセットトランジスタ、転送トランジスタは行ごとに存在するため、第１の走査方法で読み出される行と第２の走査方法で読み出される行でパラレル制御可能である。したがって、第１の走査方法で読み出される行、第２の走査方法で読み出される行で、図中のように、別々に独立してローリングリセットをかけることが可能である。また、第１の走査方法で読み出される行と第２の走査方法で読み出される行のリセットタイミングを異ならせることで蓄積時間を異ならせることができる。そのため、両者を同時に適正露出に蓄積制御することが可能である。 Next, FIG. 8 is a diagram schematically showing the accumulation and reading during the thinning operation in the present embodiment. The horizontal axis represents the elapsed time, and the top and bottom represent the rows scanned vertically. First, the lines V0 to V7 of FIG. 5B are scanned by the vertical scanning unit circuit 520. After that, the accumulation and reading control are performed by vertically scanning the V8th line to the V13th line. The diagonal solid line in the figure represents the rolling read operation, and since the vertical output line is shared by each line, it is necessary to scan in the vertical direction and sequentially read each line. The diagonal broken line in the figure represents the rolling reset operation executed prior to the reading, and since the reset transistor and the transfer transistor exist for each row, the row read by the first scanning method and the second scanning are performed. Parallel control is possible with the lines read by the method. Therefore, as shown in the figure, the rolling reset can be independently applied to the row read by the first scanning method and the row read by the second scanning method. Further, the accumulation time can be made different by making the reset timing of the line read by the first scanning method and the line read by the second scanning method different. Therefore, it is possible to simultaneously control the accumulation of both at an appropriate exposure.
以下、図９、図１０を参照して、第１の実施形態における、撮像素子１０２から読み出される画像に対する、主被写体の移動量を算出するための参照ブロック９０１の配置について説明する。 Hereinafter, with reference to FIGS. 9 and 10, the arrangement of the reference block 901 for calculating the movement amount of the main subject with respect to the image read from the image sensor 102 in the first embodiment will be described.
図９は、撮像素子１０２から読み出される画像に対する参照ブロック９０１の配置を示している。撮像素子１０２から読み出される画像全体に対して、参照ブロック９０１を配置している。そして、焦点検出領域の垂直方向サイズをβ［ｐｉｘｅｌ］、参照ブロック９０１の垂直方向サイズをγ［ｐｉｘｅｌ］、第２の走査方法で読み出す垂直方向範囲をα［ｐｉｘｅｌ］としたときに、α＞β≧γの関係が成り立つようにする。また、第２の走査方法で読み出す範囲は、必ずＡＦ枠の中心が第２の走査方法で読み出す範囲の中心になるように設定する。 FIG. 9 shows the arrangement of the reference block 901 with respect to the image read from the image sensor 102. A reference block 901 is arranged for the entire image read from the image sensor 102. Then, when the vertical size of the focus detection region is β [pixel], the vertical size of the reference block 901 is γ [pixel], and the vertical range read by the second scanning method is α [pixel], α> Make sure that the relationship β ≧ γ holds. Further, the range read by the second scanning method is always set so that the center of the AF frame is the center of the range read by the second scanning method.
図１０（ａ）は焦点検出領域と第２の走査方法で読み出す範囲を示した図で、図１０（ｂ）は、図１０（ａ）の設定で、撮像素子１０２から読み出される画像と参照ブロック９０１の位置関係を模式的に示した図である。 FIG. 10 (a) is a diagram showing a focus detection region and a range read by the second scanning method, and FIG. 10 (b) is an image and a reference block read from the image sensor 102 with the settings of FIG. 10 (a). It is a figure which showed the positional relationship of 901 schematically.
なお、本実施形態では、第１の走査方法で読み出される撮影画像のサイズを（Ｘ，Ｙ）＝（６００，３９０）とする。そして、焦点検出領域のサイズβ＝８０［ｐｉｘｅｌ］を基準として、参照ブロック９０１のサイズγ［ｐｉｘｅｌ］をγ＝β／２＝４０［ｐｉｘｅｌ］とする。また、第２の走査方法で読み出す範囲α［ｐｉｘｅｌ］をα＝２β＝１６０［ｐｉｘｅｌ］とする。参照ブロック数（Ｂｘ，Ｂｙ）は、式（１）に基づいて（１５，１３）と求められ、全部で１５×１３＝１９５個として、以下説明する。 In the present embodiment, the size of the captured image read by the first scanning method is (X, Y) = (600,390). Then, the size γ [pixel] of the reference block 901 is set to γ = β / 2 = 40 [pixel] with reference to the size β = 80 [pixel] of the focus detection region. Further, the range α [pixel] read by the second scanning method is set to α = 2β = 160 [pixel]. The number of reference blocks (Bx, By) is determined to be (15, 13) based on the equation (1), and will be described below assuming that the total number is 15 × 13 = 195.
（Ｂｘ，Ｂｙ）＝（Ｘ／γ，（Ｙ＋α）／γ） …（１）
なお、式（１）において、参照ブロック数（Ｂｘ，Ｂｙ）は割り切れなかった場合は、図９のように右端／下端に余分領域φ［ｐｉｘｅｌ］を設けるが、余剰分を分割して参照ブロック９０１の間に隙間をあけ、均等に割り振る構成にしてもよい。なお、本実施形態では、上記のサイズに限定されるものではなく、α＞β≧γの関係が成り立てばよい。
(Bx, By) = (X / γ, (Y + α) / γ)… (1)
In equation (1), if the number of reference blocks (Bx, By) is not divisible, an extra area φ [pixel] is provided at the right end / lower end as shown in FIG. 9, but the surplus is divided into reference blocks. A gap may be provided between 901 and the components may be evenly distributed. In this embodiment, the size is not limited to the above, and the relationship of α> β ≧ γ may be established.
次に、図１１を参照して、第１の実施形態における流し撮りアシストモードにおける撮影シーケンスについて説明する。 Next, with reference to FIG. 11, the photographing sequence in the panning assist mode in the first embodiment will be described.
まずステップＳ２０１において、ＣＰＵ１０３は撮像画像から被写体の移動量を算出する。なお、この動作は、動きベクトル検出部１１１により連続するフレームの撮像画像間から得た動きベクトルを用いて行われる。 First, in step S201, the CPU 103 calculates the amount of movement of the subject from the captured image. In addition, this operation is performed by using the motion vector obtained from the captured images of continuous frames by the motion vector detection unit 111.
動きベクトルは、図９に示した参照ブロック９０１の配置に基づいて求めるが、既に説明したように、参照ブロック９０１および候補ブロックがエッジなどの特徴のある画素値を含まなければ、どの座標で相関値を算出しても同じような値となる。このようなときは、主被写体の移動量を求めることができないか、もしくは信頼性の低い値となる。 The motion vector is obtained based on the arrangement of the reference block 901 shown in FIG. 9, but as described above, if the reference block 901 and the candidate block do not include characteristic pixel values such as edges, the motion vector is correlated at which coordinates. Even if the value is calculated, it will be the same value. In such a case, the amount of movement of the main subject cannot be obtained, or the value becomes unreliable.
そこで、算出された移動量の信頼性を判定する手段を有してもよい。本実施形態における移動量の算出では、次の２つの場合に、算出された移動量の信頼性が低いと判断する。一つは、コントラストが低いために相関値を得られなかった場合である。もう一つは、ブロックが高周波な信号を多く含む画像であるために相関値を得られなかった場合である。 Therefore, there may be a means for determining the reliability of the calculated movement amount. In the calculation of the movement amount in the present embodiment, it is determined that the reliability of the calculated movement amount is low in the following two cases. One is the case where the correlation value cannot be obtained due to the low contrast. The other is the case where the correlation value cannot be obtained because the block is an image containing many high-frequency signals.
次に、ＣＰＵ１０３は、ステップＳ２０２において角速度センサ１０５で検出された撮像装置１００の角速度情報を取得し、ステップＳ２０３に進む。ステップＳ２０３においてＣＰＵ１０３は、主被写体の角速度の算出を行う。本実施形態においては、撮像装置１００の角速度（以下、パンニング角速度と表記）と被写体の画面上での移動量データから、主被写体の角速度を算出する。主被写体の角速度算出の詳細は後述する。 Next, the CPU 103 acquires the angular velocity information of the imaging device 100 detected by the angular velocity sensor 105 in step S202, and proceeds to step S203. In step S203, the CPU 103 calculates the angular velocity of the main subject. In the present embodiment, the angular velocity of the main subject is calculated from the angular velocity of the imaging device 100 (hereinafter referred to as panning angular velocity) and the movement amount data of the subject on the screen. Details of the calculation of the angular velocity of the main subject will be described later.
ＣＰＵ１０３は、ステップＳ２０４において露光動作を行うか否かの判定を行う。ここでは操作部１１０に含まれるシャッターボタンの全押し（以下、Ｓ２のＯＮと表記）がなされたか否かの判定を行う。Ｓ２のＯＮが行われていない場合、ＣＰＵ１０３はステップＳ２０１からステップＳ２０３までの動作を、フレーム毎に繰り返し行う。ステップＳ２０４でＳ２のＯＮが行われていた場合、ＣＰＵ１０３はステップＳ２０５へと進む。 The CPU 103 determines in step S204 whether or not to perform the exposure operation. Here, it is determined whether or not the shutter button included in the operation unit 110 is fully pressed (hereinafter, referred to as S2 ON). When S2 is not turned on, the CPU 103 repeats the operations from step S201 to step S203 for each frame. If S2 has been turned ON in step S204, the CPU 103 proceeds to step S205.
ステップＳ２０５では、ＣＰＵ１０３は、光学系１０１に含まれるシャッターを制御し、シャッターの走行を開始させる。次に、ＣＰＵ１０３は、ステップＳ２０６において、ステップＳ２０３で求めた主被写体の角速度に基づいて光学系１０１のシフトレンズを駆動する駆動量を算出（駆動量算出）し、シフトレンズを動作させる。次に、ステップＳ２０７において、設定された露光時間が経過したか否かを判定し、経過するまで、ステップＳ２０６からステップＳ２０７を繰り返し、流し撮り撮影のアシストを実現する。 In step S205, the CPU 103 controls the shutter included in the optical system 101 to start traveling of the shutter. Next, in step S206, the CPU 103 calculates the drive amount for driving the shift lens of the optical system 101 (calculation of the drive amount) based on the angular velocity of the main subject obtained in step S203, and operates the shift lens. Next, in step S207, it is determined whether or not the set exposure time has elapsed, and steps S206 to S207 are repeated until the set exposure time elapses to realize the assist of panning shooting.
次に、図１１のステップＳ２０３における主被写体の角速度の算出方法について、図１２Ａ〜１２Ｃを用いて説明する。 Next, the method of calculating the angular velocity of the main subject in step S203 of FIG. 11 will be described with reference to FIGS. 12A to 12C.
まず、ＣＰＵ１０３は、ステップＳ４０１において、ステップＳ２０２で取得したパンニング角速度を像面上の移動量に換算する。算出方法について、図１３を用いて説明する。図１３は被写体がｔ秒の間に点Ａから点Ｂへ移動し、それに応じて撮像素子１０２上に結像した被写体像が点Ｃから点Ｄへと移動したことを示した図である。ここで、点Ｃと点Ｄとの距離をｖ［ｐｉｘｅｌ］、焦点距離をｆ［ｍｍ］、撮像素子１０２の画素ピッチをｐ［μｍ／ｐｉｘｅｌ］とした場合、像面上の被写体の角速度ω［ｒａｄ／ｓｅｃ］は以下の式で表わされる。 First, in step S401, the CPU 103 converts the panning angular velocity acquired in step S202 into the amount of movement on the image plane. The calculation method will be described with reference to FIG. FIG. 13 is a diagram showing that the subject moves from the point A to the point B in t seconds, and the subject image formed on the image sensor 102 moves from the point C to the point D accordingly. Here, when the distance between the point C and the point D is v [pixel], the focal length is f [mm], and the pixel pitch of the image sensor 102 is p [μm / pixel], the angular velocity ω of the subject on the image plane. [Rad / sec] is expressed by the following equation.
ｔａｎ（ω／２）[rad/sec]＝（ｖ／２）[pixel]×（ｐ／１０００）[mm/pixel]
÷ｔ[sec]÷ｆ[mm]
＝ｖｐ／２０００ｔｆ …（２）
この式（２）と、カメラのパンニング角速度ωｐ［ｒａｄ／ｓｅｃ］から、パンニングによる被写体の像面上の移動量ｖｐ［ｐｉｘｅｌ］を算出することができる。
tan (ω / 2) [rad / sec] = (v / 2) [pixel] x (p / 1000) [mm / pixel]
÷ t [sec] ÷ f [mm]
= Vp / 2000tf ... (2)
From this equation (2) and the panning angular velocity ωp [rad / sec] of the camera, the amount of movement vp [pixel] on the image plane of the subject due to panning can be calculated.
ｖｐ＝２０００ｔｆ×ｔａｎ（ωｐ／２）／ｐ [pixel] …（３）
この式（３）と、本実施形態では動きベクトル検出に用いる画像が撮像素子１０２の画素部に対して間引かれていることから、間引き率をＳとして、像面上の移動量 ｖｐ’［ｐｉｘｅｌ］を算出することができる
ｖｐ’＝ｖｐ／Ｓ [pixel] …（４）
なお、本実施形態では、ωｐの値は撮像装置１００の角速度のうち最新の値を用いる。ただし、複数フレーム分の撮像装置１００の角速度を一次記憶装置１０４に記憶しておき、その中から任意の値を選んでもよいし、ｎフレーム分の撮像装置１００の角速度から平均値を算出してそれを用いてもよい。
vp = 2000tf × tan (ωp / 2) / p [pixel]… (3)
Since the image used for motion vector detection in this equation (3) and the present embodiment is thinned out with respect to the pixel portion of the image sensor 102, the thinning rate is S, and the amount of movement on the image plane vp'[. [Pixel] can be calculated vp'= vp / S [pixel]… (4)
In the present embodiment, the latest value of the angular velocity of the image pickup apparatus 100 is used as the value of ωp. However, the angular velocities of the imaging device 100 for a plurality of frames may be stored in the primary storage device 104, and an arbitrary value may be selected from them, or an average value is calculated from the angular velocities of the imaging device 100 for n frames. You may use it.
次に、ＣＰＵ１０３は、ステップＳ４０２において、移動量の度数分布を作成する。これは、ステップＳ２０１で取得したブロック毎の移動量に応じて度数を算出し、作成する。例えば、本実施形態では、１４３個のブロックを配置しているため、１フレームにおいて全ての移動量に対応する度数を合計すると１４３となる。 Next, the CPU 103 creates a frequency distribution of the movement amount in step S402. This is created by calculating the frequency according to the movement amount for each block acquired in step S201. For example, in the present embodiment, since 143 blocks are arranged, the total number of frequencies corresponding to all the movement amounts in one frame is 143.
そして、ステップＳ４０３において、ステップＳ４０２で作成した度数分布から主被写体の移動量を判定する。度数分布には背景の移動量に対するピークと主となる被写体の移動量に対するピークの二つが現れる。この場合、背景の移動量は式（３）を用いて像面上の角速度に変換すると、パンニング角速度ωｐと一致する。この関係から度数分布に表れる二つのピークのうち撮像装置１００の角速度に一致する方を背景の移動量であると判定する。そして、残った方のピークが主被写体の移動量と判定する。 Then, in step S403, the movement amount of the main subject is determined from the frequency distribution created in step S402. Two peaks appear in the frequency distribution, one for the amount of movement of the background and the other for the amount of movement of the main subject. In this case, the amount of movement of the background coincides with the panning angular velocity ωp when converted into the angular velocity on the image plane using the equation (3). From this relationship, it is determined that the one of the two peaks appearing in the frequency distribution that matches the angular velocity of the imaging device 100 is the amount of movement of the background. Then, the remaining peak is determined to be the amount of movement of the main subject.
ここで、図１４（ａ）および図１４（ｂ）に、１フレーム分のデータに対する度数分布の例を示す。度数分布の横軸は移動量、縦軸は移動量の頻度を表している。なお、点線は検出閾値を表している。度数分布からピークを読み取る際にノイズを拾わないように一般的にある閾値を設定して検出を行う。この場合、背景の移動量と主被写体の移動量の出現頻度が検出閾値を超えているため、度数分布に背景の移動量に対するピークと主被写体の移動量に対するピークが現れる。 Here, FIGS. 14 (a) and 14 (b) show an example of a frequency distribution for one frame of data. The horizontal axis of the frequency distribution represents the amount of movement, and the vertical axis represents the frequency of movement. The dotted line represents the detection threshold. In general, a certain threshold value is set so that noise is not picked up when reading a peak from a frequency distribution. In this case, since the appearance frequency of the background movement amount and the main subject movement amount exceeds the detection threshold value, a peak with respect to the background movement amount and a peak with respect to the main subject movement amount appear in the frequency distribution.
なお、図９や図１０（ｂ）のように、撮像素子１０２から読み出される撮影画像とＡＦ画像を一つとした画像に対して参照ブロック９０１を配置することで、ＡＦ画像に主被写体が含まれていれば、主被写体の移動量が増加する。これにより主被写体の頻度分布が増加し、主被写体を検出しやすくすることができる。 As shown in FIGS. 9 and 10B, by arranging the reference block 901 for the image in which the captured image and the AF image read from the image sensor 102 are combined, the AF image includes the main subject. If so, the amount of movement of the main subject increases. As a result, the frequency distribution of the main subject is increased, and the main subject can be easily detected.
なお、本実施形態において、作成した度数分布や、判定した主被写体の移動量は、一次記憶装置１０４に記憶しておく構成とする。その際、複数フレーム分を、一次記憶装置１０４に記録しておいてもよいし、最新フレームのみ記憶する構成にしてもよい。 In this embodiment, the created frequency distribution and the determined movement amount of the main subject are stored in the primary storage device 104. At that time, a plurality of frames may be recorded in the primary storage device 104, or only the latest frame may be stored.
次に、ＣＰＵ１０３は、ステップＳ４０４において、主被写体が存在すると判定できたか否かを判定する。図１４（ａ）のように、閾値を超えた背景と主被写体の２つのピークが現れている場合に、主被写体が存在すると判定され、ステップＳ４０５へ進む。 Next, the CPU 103 determines in step S404 whether or not it can be determined that the main subject exists. As shown in FIG. 14A, when two peaks of the background exceeding the threshold value and the main subject appear, it is determined that the main subject exists, and the process proceeds to step S405.
ＣＰＵ１０３は、ステップＳ４０５において、ステップＳ４０３で判定した主被写体の移動量から、像面上の主被写体の角速度を算出する。主被写体の角速度を図１３のように、主点を中心とした角速度として算出する。 In step S405, the CPU 103 calculates the angular velocity of the main subject on the image plane from the movement amount of the main subject determined in step S403. As shown in FIG. 13, the angular velocity of the main subject is calculated as the angular velocity centered on the principal point.
像面上の被写体の角速度ω［ｒａｄ／ｓｅｃ］は、式（２）から逆算して、以下の式で表わされる。 The angular velocity ω [rad / sec] of the subject on the image plane is calculated back from the equation (2) and expressed by the following equation.
ω＝２ｔａｎ-1（ｖｐ／２０００ｔｆ） [rad/sec] …（５）
ここで、撮像装置をパンニングしていた場合、像面上の被写体の角速度ωは、式（６）で示すように、主被写体自身の角速度（以下主被写体角速度と表記）ωｓからパンニング角速度ωｐを減算したものとなる。
ω = 2tan -1 (vp / 2000tf) [rad / sec]… (5)
Here, when the image pickup device is panned, the angular velocity ω of the subject on the image plane is the panning angular velocity ωp from the angular velocity of the main subject itself (hereinafter referred to as the main subject angular velocity) ωs as shown in the equation (6). It will be subtracted.
ω＝ωｓ−ωｐ …（６）
そこで、主被写体角速度を求めるにあたり、角速度センサ１０５で検出された撮像装置１００のパンニング角速度ωｐから、以下の式により被写体角速度ωｓが算出される。
ω = ωs-ωp ... (6)
Therefore, in obtaining the main subject angular velocity, the subject angular velocity ωs is calculated from the panning angular velocity ωp of the imaging device 100 detected by the angular velocity sensor 105 by the following formula.
ωｓ＝ω＋ωｐ …（７）
なお、主被写体の角速度は上述したような計算方法の他に、あらかじめ操作部１１０により指定された値を使用したりすることも可能である。
ωs = ω + ωp ... (7)
In addition to the calculation method described above, the angular velocity of the main subject may be a value specified in advance by the operation unit 110.
図１２Ａに戻って、ステップＳ４０４において、図１４（ｂ）のように閾値を超えるピークが一つしか現れない場合、主被写体が存在すると判定できないため、ステップＳ４０６へ進む。 Returning to FIG. 12A, if only one peak exceeding the threshold value appears in step S404 as shown in FIG. 14B, it cannot be determined that the main subject exists, so the process proceeds to step S406.
ＣＰＵ１０３は、ステップＳ４０６において、前述した第２の走査方法による走査位置（第２の走査方法によるパラメータ）を変更する。これは、ステップＳ４０４において、主被写体が存在しないと判定されるケースとして、図１５Ａのように、参照ブロック９０１の交点に主被写体が来てしまった場合が考えられる。この場合、参照ブロック９０１を配置した時点で、ＡＦ画像のＡＦ枠の中心位置が、参照ブロック９０１の何番目のブロックに含まれるかがわかる。そのため、参照ブロック９０１の中心にＡＦ枠の中心位置が来るように、図１５ＢのようにＡＦ画像の第２の走査方法による走査位置を変更する。例えば、図１５Ａの場合、撮影画像の垂直サイズをＹ［ｐｉｘｅｌ］、焦点検出領域のサイズをβ［ｐｉｘｅｌ］、参照ブロック９０１のサイズをγ［ｐｉｘｅｌ］とし、第２の走査方法で読み出す範囲をα［ｐｉｘｅｌ］とする。この場合、ずらし量μ［ｐｉｘｅｌ］は、
μ＝γ−（ＭＯＤ（Ｙ＋α／２，γ）） （０＜μ＜（α−β）） …（８）
となる。本実施形態においては、
μ＝４０−（ＭＯＤ（３９０＋１６０／２，４０））＝１０ [pixel]
となるので、第２の走査方法で読み出す範囲の読み出し開始位置を、上下方向のどちらかに１０［ｐｉｘｅｌ］ずらす。なお、ずらし量μ［ｐｉｘｅｌ］が０［ｐｉｘｅｌ］の場合は、参照ブロック９０１のサイズγ［ｐｉｘｅｌ］を１／Ｎ（Ｎ＝１，２，３，４，…）したサイズ分上下方向にずらして読み出す。また、ずらし量μ［ｐｉｘｅｌ］だけずらしても主被写体が存在しないと判定される場合は、ずらし量μ’［ｐｉｘｅｌ］を、
μ’＝μ＋γ／Ｎ （Ｎ＝１，２，３，４，…） （０＜μ＜（α−β）） …（９）
として、ずらし量を変えていく。なお、ずらし量μおよびずらし量μ’は、ＡＦ枠位置が必ず第２の走査方法で読み出す範囲に含まれる必要があるため、取りうる範囲は０＜μ＜（α−β）となる。
In step S406, the CPU 103 changes the scanning position (parameter according to the second scanning method) by the second scanning method described above. This is a case where it is determined in step S404 that the main subject does not exist, and it is conceivable that the main subject has come to the intersection of the reference block 901 as shown in FIG. 15A. In this case, when the reference block 901 is arranged, it is possible to know which block of the reference block 901 the center position of the AF frame of the AF image is included in. Therefore, the scanning position of the AF image by the second scanning method is changed as shown in FIG. 15B so that the center position of the AF frame comes to the center of the reference block 901. For example, in the case of FIG. 15A, the vertical size of the captured image is Y [pixel], the size of the focus detection area is β [pixel], the size of the reference block 901 is γ [pixel], and the range read by the second scanning method is defined. Let it be α [pixel]. In this case, the shift amount μ [pixel] is
μ = γ- (MOD (Y + α / 2, γ)) (0 <μ <(α-β))… (8)
Will be. In this embodiment,
μ = 40- (MOD (390 + 160 / 2,40)) = 10 [pixel]
Therefore, the read start position of the range read by the second scanning method is shifted by 10 [pixel] in either the vertical direction. When the shift amount μ [pixel] is 0 [pixel], the size γ [pixel] of the reference block 901 is shifted in the vertical direction by the size of 1 / N (N = 1, 2, 3, 4, ...). And read. If it is determined that the main subject does not exist even if the shift amount μ [pixel] is shifted, the shift amount μ'[pixel] is set.
μ'= μ + γ / N (N = 1, 2, 3, 4, ...) (0 <μ <(α-β))… (9)
As a result, the amount of shift is changed. Since the shift amount μ and the shift amount μ'must be included in the range in which the AF frame position is always read out by the second scanning method, the range that can be taken is 0 <μ <(α-β).
これにより、図１５Ｃのように、参照ブロック９０１に対して、主被写体の位置を変えることで、参照ブロック９０１に、主被写体にあたる特徴のある画素値が含まれるようになる（図１５Ｃの網掛け部）。よって、主被写体の移動量を算出することが可能となり、また焦点検出領域も読み出せているため、焦点検出も可能となる。 As a result, as shown in FIG. 15C, by changing the position of the main subject with respect to the reference block 901, the reference block 901 includes a characteristic pixel value corresponding to the main subject (shaded in FIG. 15C). Department). Therefore, it is possible to calculate the amount of movement of the main subject, and since the focus detection area can be read out, focus detection is also possible.
このように、ステップＳ２０４でＳ２がＯＮされるまでの間、第２の走査方法による走査位置を変更することで、ずらし量を変化させて主被写体の移動量が検出できるように上下方向に探索を行うことができる。 In this way, by changing the scanning position by the second scanning method until S2 is turned on in step S204, the shift amount is changed and the search is performed in the vertical direction so that the movement amount of the main subject can be detected. It can be performed.
なお、上下方向への移動は、ＡＦ枠の中心位置によって決める。例えば、撮影画像の中央より上側にＡＦ枠の中心位置がある場合には下方向へ、下側にある場合は上方向へ移動する。本実施形態において、図１０（ａ）のように、ＡＦ枠の中心位置（Ｃｘ，Ｃｙ）が撮影画像上の（２４０，８０）にある場合、撮影画像サイズが（Ｘ，Ｙ）＝（６００，３９０）であるので、中央より上側にＡＦ枠の中心位置があるため、下方向へ移動する。 The movement in the vertical direction is determined by the center position of the AF frame. For example, if the center position of the AF frame is above the center of the captured image, it moves downward, and if it is below the center, it moves upward. In the present embodiment, when the center position (Cx, Cy) of the AF frame is at (240, 80) on the captured image as shown in FIG. 10 (a), the captured image size is (X, Y) = (600). , 390), so that the center position of the AF frame is above the center, so it moves downward.
なお、上下方法への移動は、上記の方法に限るものではなく、固定的に下から上への順としてもよいし、パンニング方向や角速度センサ１０５の垂直成分の角速度によって決定してもよい。また、上下方向のずらし量は上記に限らず、パンニング角速度から、例えばカメラの姿勢に対して垂直方向成分を抽出し、垂直方向へのパンニング速度を考慮して、ずらし量を決定してもよい。 The movement to the vertical method is not limited to the above method, and may be fixedly in the order from bottom to top, or may be determined by the panning direction or the angular velocity of the vertical component of the angular velocity sensor 105. Further, the amount of shift in the vertical direction is not limited to the above, and the amount of shift may be determined by extracting, for example, a component in the vertical direction with respect to the posture of the camera from the panning angular velocity and considering the panning speed in the vertical direction. ..
さらに、本実施形態では、主被写体を判定するために、垂直方向に第２の走査方法で読み出す範囲を変更した。しかし、例えば、撮像素子１０２とＣＰＵ１０３の間に不図示のフロントエンドデバイスを経由する構成をとる場合には垂直方向だけでなく、水平方向にもずらすことが可能となる。例えば、フロントエンドデバイスにより、第２の走査方法で読み出す範囲が始まるタイミング以降、毎行の先頭にダミー画素を出力させることで、ダミー画素数分、水平方向にずらすことが可能となる。ずらし量および方向に関しては、上述の垂直方向の場合と同じ処理により決定する。 Further, in the present embodiment, in order to determine the main subject, the range read out by the second scanning method is changed in the vertical direction. However, for example, when the image sensor 102 and the CPU 103 are configured to pass through a front-end device (not shown), the image sensor 102 and the CPU 103 can be shifted not only in the vertical direction but also in the horizontal direction. For example, the front-end device can output a dummy pixel at the beginning of each line after the timing at which the reading range by the second scanning method starts, so that the dummy pixel can be shifted in the horizontal direction by the number of dummy pixels. The amount of shift and the direction are determined by the same processing as in the case of the vertical direction described above.
また、図１２Ｂのように、ステップＳ４０４の代わりにステップＳ４０７において、第２の走査方法で読み出される領域の蓄積時間を変更してもよい。蓄積時間が長い場合、主被写体が像ぶれを起こしてしまうため、移動量を正しく求められない場合がある。そこで、蓄積時間を短くし、像ぶれを防ぐことで、移動量を正確に求めることが可能となる。また、第２の走査方法で読み出される領域のみ蓄積時間を変更するため、表示される画像に影響がなく、主被写体の検出精度を向上させることが可能となる。なお、蓄積時間は、パンニング速度や、設定されている露光時間、被写体までの距離などの条件によって変更する構成としてもよい。 Further, as shown in FIG. 12B, the accumulation time of the region read by the second scanning method may be changed in step S407 instead of step S404. If the storage time is long, the image of the main subject will be blurred, so the amount of movement may not be calculated correctly. Therefore, by shortening the accumulation time and preventing image blurring, it is possible to accurately determine the amount of movement. Further, since the accumulation time is changed only in the area read by the second scanning method, the displayed image is not affected and the detection accuracy of the main subject can be improved. The accumulation time may be changed depending on conditions such as the panning speed, the set exposure time, and the distance to the subject.
また、図１２Ｃのように、ステップＳ４０４の代わりにステップＳ４０８において、第２の走査方法で読み出される領域の間引き率を変更する構成としてもよい。この場合、式（４）において、変更後の間引き率を用いて移動量を算出する。これにより、例えば間引き率を大きくすると、第２の走査方法で読み出されるＡＦ画像が小さくなり、主被写体も小さくなるため、参照ブロックの枠内に収まることで、移動量の検出ができるようになる。また、間引き率を小さくすると、ＡＦ画像が大きくなり、ＡＦ画像の解像度が上がり、主被写体の特徴量が検出しやすくなる。これにより、移動量の検出ができるようになる。 Further, as shown in FIG. 12C, the thinning rate of the region read by the second scanning method may be changed in step S408 instead of step S404. In this case, in the equation (4), the movement amount is calculated using the changed thinning rate. As a result, for example, when the thinning rate is increased, the AF image read by the second scanning method becomes smaller and the main subject also becomes smaller. Therefore, the movement amount can be detected by fitting within the frame of the reference block. .. Further, when the thinning rate is reduced, the AF image becomes large, the resolution of the AF image increases, and the feature amount of the main subject becomes easy to detect. This makes it possible to detect the amount of movement.
これら図１２Ａ〜１２Ｃは、ステップＳ２０１からステップＳ２０３が繰り返されている間、露光時間などの撮影条件やパンニング速度などの条件に応じて切り替えて実行する構成とする。また、図１２Ａ〜１２Ｃを組み合わせて実行する構成としてもよいし、図１２Ａから図１２Ｃへ順番に切り替えて実行する構成としてもよい。さらに、表示部１０９を用いて、ユーザにＧＵＩ上であらかじめ選択させる構成としてもよい。 12A to 12C are configured to be switched and executed according to shooting conditions such as exposure time and conditions such as panning speed while steps S201 to S203 are repeated. Further, it may be configured to execute by combining FIGS. 12A to 12C, or may be configured to execute by switching from FIG. 12A to FIG. 12C in order. Further, the display unit 109 may be used to allow the user to select in advance on the GUI.
なお、被写体の抽出ができなかった場合、被写体角速度の算出が行えないことにより流し撮りアシストが機能しない。この場合、ステップＳ２０７においてシフトレンズを駆動しない通常の撮影方法に切り替えることが可能である。 If the subject cannot be extracted, the panning assist does not work because the subject angular velocity cannot be calculated. In this case, it is possible to switch to a normal photographing method in which the shift lens is not driven in step S207.
なお、本実施形態では、任意の１点の焦点検出枠が設定された場合を例に説明したが、本発明を図６（ｂ）のように５×５分割された焦点検出枠に対して適用してもよいことは言うまでもない。 In the present embodiment, the case where an arbitrary one-point focus detection frame is set has been described as an example, but the present invention is applied to a focus detection frame divided into 5 × 5 as shown in FIG. 6 (b). It goes without saying that it may be applied.
以上説明したように、主被写体の判定ができない場合に、撮像素子１０２から第２の走査方法で読み出される領域を用いて動きベクトルの検出精度を上げることができる。これにより、主被写体の検出精度を向上させることが可能となる。特に、複数の参照ブロック９０１にまたがってしまうような被写体で、１ブロック当たりに占める特徴量が少ない場合においても、動きベクトルを検出することが可能となる。 As described above, when the main subject cannot be determined, the motion vector detection accuracy can be improved by using the region read from the image sensor 102 by the second scanning method. This makes it possible to improve the detection accuracy of the main subject. In particular, it is possible to detect a motion vector even when the feature amount occupying a small amount per block is small in a subject that straddles a plurality of reference blocks 901.
（第２の実施形態）
以下、図１６を参照して、第２の実施形態における主被写体の角速度の算出方法について説明する。ステップＳ４０１〜ステップＳ４０５までは、図１２で説明した処理と同様の処理を行うため、説明を省略する。
(Second Embodiment)
Hereinafter, a method of calculating the angular velocity of the main subject in the second embodiment will be described with reference to FIG. Since steps S401 to S405 are the same as the processes described with reference to FIG. 12, the description thereof will be omitted.
ＣＰＵ１０３は、ステップＳ４０４において、図１４（ｂ）のように閾値を超えるピークが一つしか現れない場合、主被写体が存在すると判定できず、ステップＳ４０９へ進む。ＣＰＵ１０３は、ステップＳ４０９において、第２の走査方法による走査領域に該当する参照ブロック９０１のサイズを変更する。 If only one peak exceeding the threshold value appears in step S404 as shown in FIG. 14B, the CPU 103 cannot determine that the main subject exists and proceeds to step S409. In step S409, the CPU 103 changes the size of the reference block 901 corresponding to the scanning area according to the second scanning method.
これは、図１７のように、第２の走査方法で読み出す範囲にある参照ブロック９０１のサイズγ2［ｐｉｘｅｌ］をγより小さくして、配置される参照ブロック９０１の配置密度を上げる。これにより、小さな主被写体であっても、参照ブロック９０１に占める、主被写体にあたる特徴のある画素値の割合が増えるため、主被写体の移動量を算出することが可能となる。例えば、γ2［ｐｉｘｅｌ］は、以下の式によって求められる。 As shown in FIG. 17, the size γ2 [pixel] of the reference block 901 in the range read by the second scanning method is made smaller than γ, and the arrangement density of the reference block 901 to be arranged is increased. As a result, even if the main subject is small, the ratio of the characteristic pixel value corresponding to the main subject to the reference block 901 increases, so that the movement amount of the main subject can be calculated. For example, γ2 [pixel] is calculated by the following formula.
γ2＝γ／Ｎ （Ｎ＝１，２，３，４，…） …（１０）
そして、ステップＳ２０４でＳ２がＯＮされるまでの間で、ステップＳ２０１からステップＳ２０３が繰り返されているときに、Ｎを大きくして参照ブロック９０１のサイズを小さくし密度を上げていく。これにより、参照ブロックと被写体が適正な大きさの関係になり、動きベクトルを検出することが可能となる。
γ2 = γ / N (N = 1, 2, 3, 4, ...) ... (10)
Then, when steps S201 to S203 are repeated until S2 is turned on in step S204, N is increased to reduce the size of the reference block 901 and increase the density. As a result, the reference block and the subject have an appropriate size relationship, and the motion vector can be detected.
以上説明したように、主被写体の判定ができない場合に、撮像素子１０２から第２の走査方法で読み出される領域に配置される参照ブロック９０１の一枠のサイズを小さくしていく。これにより、小さい被写体に対する動きベクトルの検出精度をより向上させることができ、主被写体の検出精度を向上させることが可能となる。 As described above, when the main subject cannot be determined, the size of one frame of the reference block 901 arranged in the region read from the image sensor 102 by the second scanning method is reduced. As a result, the detection accuracy of the motion vector for a small subject can be further improved, and the detection accuracy of the main subject can be improved.
（第３の実施形態）
以下、図１８を参照して、第３の実施形態における参照ブロック９０１の配置方法について説明する。
(Third Embodiment)
Hereinafter, a method of arranging the reference block 901 in the third embodiment will be described with reference to FIG.
図１８は、撮像素子１０２から読み出される画像に対する参照ブロック９０１の初期配置を示している。本実施形態では、撮像素子１０２から読み出される画像全体に対して、１３×１１＝１４３個の参照ブロック９０１を配置している。なお、焦点検出領域のサイズをβ［ｐｉｘｅｌ］、参照ブロック９０１のサイズをγ［ｐｉｘｅｌ］、第２の走査方法で読み出す範囲をα［ｐｉｘｅｌ］としたときに、α＞β≧γの関係が成り立つようにする。さらに、画素部と参照ブロック９０１の間に余分領域φ［ｐｉｘｅｌ］を、φ≧γの関係が成り立つように配置する。なお、本実施形態では、焦点検出領域のサイズβ＝８０［ｐｉｘｅｌ］を基準として、参照ブロック９０１のサイズγ［ｐｉｘｅｌ］をγ＝β／２＝４０とし、第２の走査方法で読み出す範囲α［ｐｉｘｅｌ］をα＝２β＝１６０、余分領域φ［ｐｉｘｅｌ］を（φU，φD，φL，φR）＝（４０，７０，４０，４０）、参照ブロック数（Ｂｘ，Ｂｙ）＝（１３，１１）として、以下説明する。 FIG. 18 shows the initial arrangement of the reference block 901 with respect to the image read from the image sensor 102. In the present embodiment, 13 × 11 = 143 reference blocks 901 are arranged with respect to the entire image read from the image sensor 102. When the size of the focus detection region is β [pixel], the size of the reference block 901 is γ [pixel], and the range read by the second scanning method is α [pixel], the relationship of α> β ≧ γ is established. Make it hold. Further, an extra region φ [pixel] is arranged between the pixel portion and the reference block 901 so that the relationship of φ ≧ γ is established. In the present embodiment, the size γ [pixel] of the reference block 901 is set to γ = β / 2 = 40 based on the size β = 80 [pixel] of the focus detection region, and the range α read by the second scanning method. [Pixel] is α = 2β = 160, extra area φ [pixel] is (φU, φD, φL, φR) = (40,70,40,40), number of reference blocks (Bx, By) = (13,11) ), Which will be described below.
次に、図１９を参照して、第３の実施形態における主被写体の角速度の算出方法について説明する。ステップＳ４０１〜ステップＳ４０５までは、図１２で説明した処理と同様の処理を行うため、説明を省略する。 Next, with reference to FIG. 19, a method of calculating the angular velocity of the main subject in the third embodiment will be described. Since steps S401 to S405 are the same as the processes described with reference to FIG. 12, the description thereof will be omitted.
ＣＰＵ１０３は、ステップＳ４０４において、図１４（ｂ）のように閾値を超えるピークが一つしか現れない場合、主被写体が存在すると判定できず、ステップＳ４１０へ進む。ＣＰＵ１０３は、ステップＳ４１０において、参照ブロック９０１の位置を、上下左右方向に所定量シフトさせて配置する。これには、図１８に記した余分領域φ［ｐｉｘｅｌ］を利用する。 If only one peak exceeding the threshold value appears in step S404 as shown in FIG. 14B, the CPU 103 cannot determine that the main subject exists and proceeds to step S410. In step S410, the CPU 103 arranges the reference block 901 by shifting the position of the reference block 901 in the vertical and horizontal directions by a predetermined amount. For this, the extra region φ [pixel] shown in FIG. 18 is used.
まず、枠シフト量εは、ＡＦ枠位置とＡＦ画像上の参照ブロック９０１の配置位置より求める。ＡＦ枠位置の中心位置と、ＡＦ画像領域の参照ブロック９０１のある１枠の中心位置が一致するように枠シフト量εを算出する。 First, the frame shift amount ε is obtained from the AF frame position and the arrangement position of the reference block 901 on the AF image. The frame shift amount ε is calculated so that the center position of the AF frame position and the center position of one frame having the reference block 901 in the AF image area coincide with each other.
以下、枠シフト量εの算出方法について説明する。まず、各参照ブロックの中心位置（ＣＳｘ，ＣＳｙ）を、以下の式で求める。 Hereinafter, a method for calculating the frame shift amount ε will be described. First, the center position (CSx, CSy) of each reference block is obtained by the following formula.
（ＣＳｘ，ＣＳｙ）＝（φL＋γ×Ｎ＋γ／２，φU＋γ×Ｍ＋γ／２）
（Ｎ＝０，１，２，…，Ｂｘ−１）
（Ｍ＝０，１，２，…，Ｂｘ−１） …（１１）
式（１１）より、ＡＦ画像上のＡＦ枠の中心位置（Ｃｘ，Ｃｙ）と、最も近い位置にある参照ブロック９０１の中心位置（ＣＳｘ，ＣＳｙ）を算出する。例えば、図２０Ａのように、撮像画像上のＡＦ枠の中心位置を（ＣＩｘ，ＣＩｙ)とすると、ＡＦ画像上のＡＦ枠の中心位置は（Ｃｘ，Ｃｙ）＝（２４０，４９０）となる。これに最も近い位置にある参照ブロック９０１の中心位置（ＣＳｘ，ＣＳｙ）を求めると、
（ＣＳｘ，Ｃｓｙ)＝（２２０，４６０） （Ｎ，Ｍ）＝（４，１０）
となる。なお、各参照ブロックの中心位置を本実施形態では演算して求めたが、あらかじめ計算しておき、二次記憶装置１０８に記録しておく構成としてもよい。そして、求めた最も近い参照ブロック９０１の中心位置（ＣＳｘ，ＣＳｙ）からＡＦ画像上のＡＦ枠の中心位置への差分が枠シフト量（εｘ，εｙ）となる。
(CSx, CSy) = (φL + γ × N + γ / 2, φU + γ × M + γ / 2)
(N = 0, 1, 2, ..., Bx-1)
(M = 0, 1, 2, ..., Bx-1) ... (11)
From the formula (11), the center position (Cx, Cy) of the AF frame on the AF image and the center position (CSx, CSy) of the reference block 901 closest to the AF frame are calculated. For example, as shown in FIG. 20A, assuming that the center position of the AF frame on the captured image is (CIx, CIy), the center position of the AF frame on the AF image is (Cx, Cy) = (240,490). When the center position (CSx, CSy) of the reference block 901 closest to this is obtained,
(CSx, Csy) = (220,460) (N, M) = (4,10)
Will be. Although the center position of each reference block is calculated in the present embodiment, it may be calculated in advance and recorded in the secondary storage device 108. Then, the difference from the center position (CSx, CSy) of the closest reference block 901 obtained to the center position of the AF frame on the AF image is the frame shift amount (εx, εy).
（εｘ，εｙ）＝（Ｃｘ−ＣＳｘ，Ｃｙ−ＣＳｙ）＝（２０，３０）
このように、算出された枠シフト量（εｘ，εｙ）に応じて、参照ブロック９０１をシフトさせることで、主被写体の中心が常に参照ブロックの中央にくるようになる。そのため、図２０Ｂのように、参照ブロック内に特徴ある画素値が含まれるようになり、主被写体の移動量を算出することが可能となる。
(Εx, εy) = (Cx-CSx, Cy-CSy) = (20,30)
By shifting the reference block 901 according to the calculated frame shift amount (εx, εy) in this way, the center of the main subject always comes to the center of the reference block. Therefore, as shown in FIG. 20B, the characteristic pixel value is included in the reference block, and the movement amount of the main subject can be calculated.
そして、ステップＳ２０４でＳ２がＯＮされるまでの間で、ステップＳ２０１からステップＳ２０３が繰り返される時に、ＡＦ枠位置に応じて枠シフト量を変更する。これにより、例えば、顔検知機能や物体追尾機能が働いている場合や、焦点検出モードが自動選択モードの場合などでも、ＡＦ領域の中心位置と参照ブロックの中心位置を合わせることができる。結果として、ＡＦ制御と連動して主被写体の移動量を算出することが可能となる。 Then, when steps S201 to S203 are repeated until S2 is turned on in step S204, the frame shift amount is changed according to the AF frame position. Thereby, for example, even when the face detection function or the object tracking function is working, or when the focus detection mode is the automatic selection mode, the center position of the AF region and the center position of the reference block can be aligned. As a result, it becomes possible to calculate the amount of movement of the main subject in conjunction with AF control.
以上説明したように、主被写体の判定ができない場合に、参照ブロックの配置位置をＡＦ領域に合わせてシフトさせる。これにより、焦点検出モードが、一度ＡＦした箇所を常にＡＦし続けるサーボＡＦモードの場合や、自動選択モードの場合でも、ＡＦ領域の中心位置に参照ブロックの中心位置を合わせることができる。結果として、ＡＦと連動して主被写体の移動量算出ができ、主被写体の検出精度をより向上させることが可能となる。 As described above, when the main subject cannot be determined, the placement position of the reference block is shifted according to the AF area. As a result, the center position of the reference block can be aligned with the center position of the AF region even when the focus detection mode is the servo AF mode in which the AF portion is always AFed once or in the automatic selection mode. As a result, the movement amount of the main subject can be calculated in conjunction with AF, and the detection accuracy of the main subject can be further improved.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。 Although the preferred embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and various modifications and modifications can be made within the scope of the gist thereof.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１００：撮像装置、１０１：光学系、１０２：撮像素子、１０３：中央演算装置（ＣＰＵ）、１０４：一次記憶装置、１０５：角速度センサ、１０６：画像処理装置、１０７：記録媒体、１０８：二次記憶装置、１０９：表示部、１１０：操作部、９０１：参照ブロック 100: Image pickup device, 101: Optical system, 102: Image sensor, 103: Central processing unit (CPU), 104: Primary storage device, 105: Angle velocity sensor, 106: Image processing device, 107: Recording medium, 108: Secondary Storage device, 109: Display unit, 110: Operation unit, 901: Reference block
Claims (13)
前記取得手段により取得された画像に対して、動きベクトルを検出する枠を設定する設定手段と、
連続するフレームの画像間の動きベクトルを前記枠ごとに検出するベクトル検出手段と、
前記動きベクトルに基づいて被写体の撮像面上での動き量の度数分布を作成する作成手段と、
前記度数分布に基づいて主被写体に対応する動きベクトルを判定する判定手段と、
前記主被写体に対応する動きベクトルと、撮像装置のパンニング速度を検出する検出手段により検出されたパンニング速度とに基づいて、主被写体の角速度を算出する算出手段と、
前記主被写体の角速度と前記パンニング速度とに基づいて、主被写体の像ブレを補正する像ブレ補正手段の駆動量を算出する駆動量算出手段と、を備え、
前記判定手段が、前記主被写体に対応する動きベクトルを特定できないと判定した場合に、前記取得手段は、前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータを変更することを特徴とする像ブレ補正装置。 An acquisition means for simultaneously acquiring an image to be displayed and a focus detection image in which a region including the focus detection region is partially cut out as one image from an image sensor having focus detection pixels.
A setting means for setting a frame for detecting a motion vector for an image acquired by the acquisition means, and
A vector detecting means for detecting a motion vector between images of continuous frames for each frame, and
A creating means for creating a frequency distribution of the amount of movement of the subject on the imaging surface based on the motion vector, and
A determination means for determining a motion vector corresponding to the main subject based on the frequency distribution, and
A calculation means for calculating the angular velocity of the main subject based on the motion vector corresponding to the main subject and the panning speed detected by the detection means for detecting the panning speed of the imaging device.
A drive amount calculating means for calculating the drive amount of the image blur correction means for correcting the image blur of the main subject based on the angular velocity of the main subject and the panning speed is provided.
When the determination means determines that the motion vector corresponding to the main subject cannot be specified, the acquisition means changes the parameters for cutting out the image for focus detection from the image pickup device. Image sensor.
前記取得工程において取得された画像に対して、動きベクトルを検出する枠を設定する設定工程と、
連続するフレームの画像間の動きベクトルを前記枠ごとに検出するベクトル検出工程と、
前記動きベクトルに基づいて被写体の撮像面上での動き量の度数分布を作成する作成工程と、
前記度数分布に基づいて主被写体に対応する動きベクトルを判定する判定工程と、
前記主被写体に対応する動きベクトルと、撮像装置のパンニング速度を検出する検出手段により検出されたパンニング速度とに基づいて、主被写体の角速度を算出する算出工程と、
前記主被写体の角速度と前記パンニング速度とに基づいて、主被写体の像ブレを補正する像ブレ補正手段の駆動量を算出する駆動量算出工程と、を備え、
前記判定工程において、前記主被写体に対応する動きベクトルを特定できないと判定された場合に、前記取得工程では、前記撮像素子から前記焦点検出用の画像を切り出す場合のパラメータを変更することを特徴とする像ブレ補正装置の制御方法。 An acquisition step of simultaneously acquiring an image to be displayed and an image for focus detection in which a region including the focus detection region is partially cut out as one image from an image sensor having focus detection pixels.
A setting step of setting a frame for detecting a motion vector for an image acquired in the acquisition step, and a setting step.
A vector detection step of detecting a motion vector between images of continuous frames for each frame, and
A creation process for creating a frequency distribution of the amount of movement of the subject on the imaging surface based on the motion vector, and
A determination step of determining a motion vector corresponding to the main subject based on the frequency distribution, and
A calculation step of calculating the angular velocity of the main subject based on the motion vector corresponding to the main subject and the panning velocity detected by the detection means for detecting the panning velocity of the imaging device.
A drive amount calculation step of calculating the drive amount of the image blur correction means for correcting the image blur of the main subject based on the angular velocity of the main subject and the panning velocity is provided.
When it is determined in the determination step that the motion vector corresponding to the main subject cannot be specified, the acquisition step is characterized in that the parameters for cutting out the image for focus detection from the image sensor are changed. Control method of the image blur correction device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016155866A JP6781589B2 (en) | 2016-08-08 | 2016-08-08 | Image blur correction device and its control method, program, storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016155866A JP6781589B2 (en) | 2016-08-08 | 2016-08-08 | Image blur correction device and its control method, program, storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018025611A JP2018025611A (en) | 2018-02-15 |
| JP6781589B2 true JP6781589B2 (en) | 2020-11-04 |
Family
ID=61194570
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016155866A Active JP6781589B2 (en) | 2016-08-08 | 2016-08-08 | Image blur correction device and its control method, program, storage medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6781589B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109660730B (en) * | 2019-01-03 | 2021-02-02 | 中国联合网络通信集团有限公司 | Image processing method and system |
| JP7443005B2 (en) * | 2019-09-18 | 2024-03-05 | キヤノン株式会社 | Image processing device, imaging device and control method |
| JP7462240B2 (en) | 2020-02-25 | 2024-04-05 | パナソニックＩｐマネジメント株式会社 | Shutter speed determination device and image capture device |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5473260B2 (en) * | 2008-06-27 | 2014-04-16 | キヤノン株式会社 | Imaging device |
| JP2010021598A (en) * | 2008-07-08 | 2010-01-28 | Victor Co Of Japan Ltd | Image capturing apparatus and method |
| JP5173676B2 (en) * | 2008-08-25 | 2013-04-03 | キヤノン株式会社 | Automatic focus adjustment device and control method thereof |
| JP2010114752A (en) * | 2008-11-07 | 2010-05-20 | Canon Inc | Device and method of imaging and program |
| JP5374220B2 (en) * | 2009-04-23 | 2013-12-25 | キヤノン株式会社 | Motion vector detection device, control method therefor, and imaging device |
| JP2012105141A (en) * | 2010-11-11 | 2012-05-31 | Canon Inc | Image processing system and method of controlling the same |
| JP6071173B2 (en) * | 2011-05-23 | 2017-02-01 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
| JP6157242B2 (en) * | 2013-06-28 | 2017-07-05 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP6272116B2 (en) * | 2014-04-14 | 2018-01-31 | キヤノン株式会社 | Imaging apparatus and control method thereof |
-
2016
- 2016-08-08 JP JP2016155866A patent/JP6781589B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018025611A (en) | 2018-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8890996B2 (en) | Imaging device, semiconductor integrated circuit and imaging method | |
| US8823861B2 (en) | Imaging apparatus, image display apparatus, imaging method, method of displaying image and method of correcting position of focusing-area frame | |
| CN105516582B (en) | The control method of photographic device and photographic device | |
| US9160919B2 (en) | Focus adjustment unit and camera system | |
| US10397502B2 (en) | Method and apparatus for imaging an object | |
| JP2014057141A (en) | Image processing device, method and program, and imaging apparatus including image processing device | |
| JP2015211351A5 (en) | ||
| KR20150074641A (en) | Auto focus adjusting method and auto focus adjusting apparatus | |
| JP6271842B2 (en) | Ranging device, ranging method, and imaging device | |
| US10645320B2 (en) | Image pickup apparatus, control method for image pickup apparatus, and computer-readable non-transitory recording medium in which control program for image pickup apparatus is recorded | |
| JP2006162991A (en) | Stereoscopic image photographing apparatus | |
| JP6781589B2 (en) | Image blur correction device and its control method, program, storage medium | |
| WO2017130522A1 (en) | Image processing device, image capturing device, image processing method and program | |
| CN113498604B (en) | Imaging element, imaging apparatus, method of operating imaging element, and computer-readable storage medium | |
| JP5677869B2 (en) | Electronic imaging device | |
| JP5278483B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP2008028890A (en) | Imaging apparatus, imaging method, and imaging program | |
| JP6704725B2 (en) | Imaging device, control method, and program thereof | |
| JP3956284B2 (en) | Imaging device | |
| JP6547742B2 (en) | Imaging control apparatus, imaging apparatus and imaging control method | |
| JP2019074640A (en) | Imaging apparatus and control method of the same, and program | |
| US11375113B2 (en) | Imaging element, and imaging apparatus which changes frame rate of output image data based on derived focus evaluation value | |
| JP2014003417A (en) | Image pickup device | |
| JP2009044534A (en) | Electronic camera | |
| JP2022191894A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190718 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200604 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200918 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201016 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6781589 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |