JP2019022139A - Imaging apparatus and control method of the same - Google Patents
Imaging apparatus and control method of the same Download PDFInfo
- Publication number
- JP2019022139A JP2019022139A JP2017140851A JP2017140851A JP2019022139A JP 2019022139 A JP2019022139 A JP 2019022139A JP 2017140851 A JP2017140851 A JP 2017140851A JP 2017140851 A JP2017140851 A JP 2017140851A JP 2019022139 A JP2019022139 A JP 2019022139A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- accumulation
- time
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置およびその制御方法に関し、特に、撮像素子からの同期した蓄積期間の異なる複数の映像を出力する撮像装置に関する。 The present invention relates to an imaging apparatus and a control method thereof, and more particularly to an imaging apparatus that outputs a plurality of videos having different accumulation periods synchronized from an imaging element.
動画と静止画の同時撮影を一台のカメラで行うことができると、撮影シーンを動画として視聴するとともに、その動画の中の決定的なシーンを静止画としても楽しむことができ、撮影された映像の価値を大きく高めることが可能になる。また、通常のフレームレートの動画と高フレームレートの動画を一台のカメラで同時に撮影することができると、特定のシーンをスローモーション映像に切り替えつつ高品位な作品として楽しむこともでき、視聴者に対して動感を豊かに伝えることが可能になる。ここで、一般に、再生された動画に一種のコマ送り的なパラパラ感があると品位が大きく失われてしまう。パラパラ感が出ないようにするためには、一連の撮影において１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０ｆｐｓであれば、１／３０秒とか１／６０秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においてはこの設定が重要である。 If you can shoot movies and still images at the same time with a single camera, you can watch the shooting scene as a movie and enjoy the decisive scene in the movie as a still image. The value of the video can be greatly increased. Also, if you can shoot a normal frame rate video and a high frame rate video simultaneously with one camera, you can enjoy a high-quality work while switching a specific scene to slow motion video. It is possible to convey a dynamic feeling to Here, in general, if a reproduced moving image has a kind of frame-by-frame feeling, the quality is greatly lost. In order to prevent a sense of disparity, it is necessary to set an accumulation time close to one frame period in a series of photographing. That is, if the frame rate is 30 fps, a relatively long accumulation time such as 1/30 second or 1/60 second is appropriate. This setting is particularly important in situations where the camera posture is unstable, such as aerial photography.
一方、静止画においては、一瞬を写し止めた鮮鋭さが求められるので、ストップモーション効果を得るために、例えば、１／１０００秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では１フレーム期間が短いので、例えば、フレームレートが１２０ｆｐｓであれば、１／１２５秒や１／２５０秒といった必然的に短い蓄積時間を設定することとなる。ここで、特許文献１の撮像装置は、撮像素子の各画素に非対称な一対のフォトダイオードを備える技術を開示したものである。特許文献１において、一方のフォトダイオードの受光効率が高く、他方のフォトダイオードの受光効率が低くなっている。従って、特許文献１では、蓄積期間の異なる二つの映像を同時に撮影することができることを示唆している。一方、動画撮影において、撮影者の手振れによって生じる撮影画像のブレを低減するために、過去フレームと現フレームを比較演算して算出した動きベクトルを用いて、振れ補正を行うことがある。また、算出された動きベクトルは、動画像の圧縮や被写体追尾に用いることも可能である。 On the other hand, in a still image, since sharpness that captures a moment is required, it is necessary to set a short accumulation time of, for example, about 1/1000 second in order to obtain a stop motion effect. In addition, since one frame period is short in a high-frame-rate moving image, for example, if the frame rate is 120 fps, a short accumulation time such as 1/125 seconds or 1/250 seconds is inevitably set. Here, the imaging apparatus disclosed in Patent Document 1 discloses a technique including a pair of asymmetric photodiodes in each pixel of an imaging element. In Patent Document 1, the light receiving efficiency of one photodiode is high, and the light receiving efficiency of the other photodiode is low. Therefore, Patent Document 1 suggests that two videos having different accumulation periods can be taken simultaneously. On the other hand, in moving image shooting, in order to reduce blurring of a captured image caused by a camera shake of a photographer, shake correction may be performed using a motion vector calculated by comparing a past frame and a current frame. The calculated motion vector can also be used for moving image compression and subject tracking.
しかしながら、前述のように、動画の品位を確保するために、動画の蓄積時間は比較的長い。そのため、蓄積時間中の被写体や撮像装置の動きのため、各フレーム画像にブレが生じて先鋭度が低くなる。したがって、フレーム間比較によって算出される動きベクトルの精度が低下し、ひいては、振れ補正、動画像の圧縮、被写体追尾などの性能が劣化する。 However, as described above, the moving image storage time is relatively long in order to ensure the quality of the moving image. Therefore, due to the movement of the subject and the imaging device during the accumulation time, each frame image is blurred and the sharpness is lowered. Accordingly, the accuracy of the motion vector calculated by the inter-frame comparison is lowered, and the performances such as shake correction, moving image compression, and subject tracking are deteriorated.
本発明は、上記課題を鑑みて、静止画と動画を同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上する撮像装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an imaging apparatus that improves the calculation accuracy of a motion vector adapted to moving image shooting while simultaneously shooting a still image and a moving image.
上記の課題を解決するために、本発明の撮像装置は、第１の画像と、蓄積開始から終了までの時間が前記第１の画像より長い第２の画像と、を連続的に取得可能な撮像手段と、複数の前記第１の画像から動きベクトルを算出する演算手段と、前記動きベクトルを用いて、前記第２の画像から生成される動画像の画像処理を行う画像処理手段と、を有することを特徴とする。 In order to solve the above-described problem, the imaging apparatus of the present invention can continuously acquire a first image and a second image in which the time from the start to the end of accumulation is longer than that of the first image. An imaging unit; an arithmetic unit that calculates a motion vector from the plurality of first images; and an image processing unit that performs image processing of a moving image generated from the second image using the motion vector. It is characterized by having.
本発明によれば、静止画と動画を同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上する撮像装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the imaging device which improves the calculation accuracy of the motion vector adapted to video recording can be provided, capturing a still image and a video simultaneously.
以下、本発明を実施するための最良の形態について図面などを参照して説明する。 The best mode for carrying out the present invention will be described below with reference to the drawings.
（第１実施形態）
映像処理装置に撮像のための撮影光学系等を加えた撮像装置を本発明の好適な実施の形態として以下に説明する。図１は、本実施形態に係る撮像装置としてのデジタルスチルモーションカメラの外観図であり、図１（Ａ）は、撮像装置の正面図、図１（Ｂ）は、撮像装置の背面図である。図１を参照して、本実施形態に係る撮像装置は、内部に撮像素子やシャッター装置を収納した撮像装置本体１５１と、内部に絞りを有した撮影光学系１５２と、撮影情報や映像を表示するための可動式表示部１５３とを備える。また、主に静止画の撮影を行うために使用するスイッチＳＴ１５４と、動画撮影を開始および停止するための釦であるスイッチＭＶ１５５とを備える。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。また、撮影モードを選択するための撮影モード選択レバー１５６と、撮像装置の機能設定を行う機能設定モードへ移行するためのメニュー釦１５７と、各種の設定値を変更するためのアップダウンスイッチ１５８および１５９とを備える。また、各種の設定値を変更するためのダイアル１６０と、撮像装置本体内に収納されている記録媒体に記録されている映像を表示部１５３上で再生する再生モードへ移行するための再生ボタン１６１を備える。また、空中からの撮影を行うために撮像装置を空中に浮上させるためのプロペラ１６２とを備える。
(First embodiment)
An imaging apparatus in which a photographing optical system for imaging is added to an image processing apparatus will be described below as a preferred embodiment of the present invention. FIG. 1 is an external view of a digital still motion camera as an imaging apparatus according to the present embodiment, FIG. 1A is a front view of the imaging apparatus, and FIG. 1B is a rear view of the imaging apparatus. . Referring to FIG. 1, the imaging apparatus according to the present embodiment displays an imaging apparatus main body 151 that houses an imaging element and a shutter device therein, a shooting optical system 152 that has a diaphragm inside, and shooting information and video. And a movable display unit 153. In addition, a switch ST154 used mainly for photographing a still image and a switch MV155 which is a button for starting and stopping moving image photographing are provided. The display unit 153 has a display luminance range that can display an image with a wide dynamic range without suppressing the luminance range. Also, a shooting mode selection lever 156 for selecting a shooting mode, a menu button 157 for shifting to a function setting mode for setting a function of the image pickup apparatus, an up / down switch 158 for changing various setting values, and 159. Also, a dial 160 for changing various setting values and a playback button 161 for shifting to a playback mode for playing back video recorded on a recording medium housed in the imaging apparatus main body on the display unit 153. Is provided. In addition, a propeller 162 for levitating the imaging device in the air in order to perform shooting from the air is provided.
図２は、本実施形態に係る撮像装置１５１の概略構成を示すブロック図である。なお、本実施形態に係る撮像装置１５１の範囲を点線で示す。同図において、撮像素子（撮像手段）１８４は、撮影光学系（光学系）１５２を介して結像された被写体の光学像を電気的な映像信号に変換する。撮影光学系１５２は、被写体の光学像を撮像素子１８４に結像させる。光軸１８０は、撮影光学系１５２の光軸である。絞り１８１は、撮影光学系１５２を通る光の量を調節するための絞りであり、絞り制御部１８２により制御される。光学フィルター１８３は、撮像素子１８４に入射する光の波長および撮像素子１８４に伝達する空間周波数を制限する。撮像素子１８４は、Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎの規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。 FIG. 2 is a block diagram illustrating a schematic configuration of the imaging apparatus 151 according to the present embodiment. Note that the range of the imaging apparatus 151 according to the present embodiment is indicated by a dotted line. In the figure, an image sensor (imaging means) 184 converts an optical image of a subject formed through a photographing optical system (optical system) 152 into an electrical video signal. The photographing optical system 152 forms an optical image of the subject on the image sensor 184. The optical axis 180 is the optical axis of the photographing optical system 152. The diaphragm 181 is a diaphragm for adjusting the amount of light passing through the photographing optical system 152, and is controlled by the diaphragm controller 182. The optical filter 183 limits the wavelength of light incident on the image sensor 184 and the spatial frequency transmitted to the image sensor 184. The imaging element 184 has a sufficient number of pixels, signal readout speed, color gamut, and dynamic range to satisfy the Ultra High Definition Television standard.
デジタル信号処理部１８７は、撮像素子１８４より出力されたデジタル映像データに各種の補正を行った後に、映像データを圧縮する。タイミング発生部（制御手段）１８９は、撮像素子１８４、デジタル信号処理部１８７に各種タイミング信号を出力する。システム制御ＣＰＵ（制御手段）１７８は、各種演算とデジタルスチルモーションカメラ全体を制御する。 The digital signal processing unit 187 performs various corrections on the digital video data output from the image sensor 184 and then compresses the video data. The timing generation unit (control unit) 189 outputs various timing signals to the image sensor 184 and the digital signal processing unit 187. A system control CPU (control means) 178 controls various calculations and the entire digital still motion camera.
映像メモリ１９０は、映像データを一時的に記憶し、表示インターフェース部１９１は、撮影された映像を表示する。表示部１５３は、液晶ディスプレイ等の表示装置である。記録媒体１９３は、映像データや付加データ等を記録するための半導体メモリ等の着脱可能な記録媒体である。記録インターフェース部１９２は、記録媒体１９３に記録または読み出しを行うためのインターフェースであり、外部インターフェース部１９６は、外部コンピュータ１９７等と通信するためのインターフェースである。プリンタ１９５は、小型インクジェットプリンタ等のプリンタであり、プリントインターフェース部１９４は、撮影された映像をプリンタ１９５に出力し印刷するためのインターフェース部である。コンピュータネットワーク１９９は、インターネットなどのコンピュータネットワークであり、無線インターフェース部１９８は、ネットワーク１９９と通信するためのインターフェース部である。スイッチ入力手段１７９は、スイッチＳＴ１５４やスイッチＭＶ１５５や各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置２００は、空中からの撮影を行うための飛行制御装置である。 The video memory 190 temporarily stores video data, and the display interface unit 191 displays the captured video. The display unit 153 is a display device such as a liquid crystal display. The recording medium 193 is a detachable recording medium such as a semiconductor memory for recording video data, additional data, and the like. The recording interface unit 192 is an interface for performing recording or reading on the recording medium 193, and the external interface unit 196 is an interface for communicating with the external computer 197 and the like. The printer 195 is a printer such as a small inkjet printer, and the print interface unit 194 is an interface unit for outputting a captured image to the printer 195 for printing. The computer network 199 is a computer network such as the Internet, and the wireless interface unit 198 is an interface unit for communicating with the network 199. The switch input means 179 includes a switch ST154, a switch MV155, and a plurality of switches for switching various modes. The flight control device 200 is a flight control device for performing imaging from the air.
図３は、撮像素子１８４の一部回路図である。同図において、撮像素子１８４の多数の画層要素のうち、１行１列目（１，１）の画素要素と最終行であるｍ行１列目（ｍ，１）の画素要素を示している。１行１列目（１，１）の画素要素とｍ行１列目（ｍ，１）の画素要素の同じ構成要素は同じ番号で付番している。本実施形態に係る撮像素子１８４の１つの画素要素は、１つのフォトダイオード５００に対して２つの信号保持部５０７Ａ、５０７Ｂを有している。信号保持部を有する撮像素子１８４の基本構造は、本出願人により特開２０１３−１７２２１０号公報にて開示されているのでその説明は省略する。 FIG. 3 is a partial circuit diagram of the image sensor 184. In the same figure, the pixel element of the first row and the first column (1, 1) and the pixel element of the m-th row and the first column (m, 1), which are the last row, among the many layer elements of the image sensor 184 are shown. Yes. The same constituent elements of the pixel element in the first row and first column (1, 1) and the pixel element in the m row and first column (m, 1) are numbered with the same number. One pixel element of the image sensor 184 according to this embodiment has two signal holding units 507A and 507B for one photodiode 500. The basic structure of the image sensor 184 having a signal holding unit is disclosed in Japanese Patent Application Laid-Open No. 2013-172210 by the applicant of the present invention, and thus the description thereof is omitted.
図３の回路図において、１つの画素要素は、フォトダイオード５００と、第１の転送トランジスタ５０１Ａと、第１の信号保持部５０７Ａとを備える。また、第２の転送トランジスタ５０２Ａと、第３の転送トランジスタ５０１Ｂと、第２の信号保持部５０７Ｂと、第４の転送トランジスタ５０２Ｂとを有する。さらに１つの画素要素は、第５の転送トランジスタ５０３と、フローティングディフュージョン領域５０８と、リセットトランジスタ５０４と、増幅トランジスタ５０５と、選択トランジスタ５０６とを有している。 In the circuit diagram of FIG. 3, one pixel element includes a photodiode 500, a first transfer transistor 501A, and a first signal holding unit 507A. In addition, it includes a second transfer transistor 502A, a third transfer transistor 501B, a second signal holding unit 507B, and a fourth transfer transistor 502B. Further, one pixel element includes a fifth transfer transistor 503, a floating diffusion region 508, a reset transistor 504, an amplification transistor 505, and a selection transistor 506.
また、第１の転送トランジスタ５０１Ａは、転送パルスφＴＸ１Ａにて制御され、第２の転送トランジスタ５０２Ａは、転送パルスφＴＸ２Ａにて制御される。また、第３の転送トランジスタ５０１Ｂは、転送パルスφＴＸ１Ｂにて制御され、第４の転送トランジスタ５０２Ｂは、転送パルスφＴＸ２Ｂにて制御される。また、リセットトランジスタ５０４は、リセットパルスφＲＥＳで制御され、選択トランジスタ５０６は、選択パルスφＳＥＬで制御される。さらに、第５の転送トランジスタ５０３は、転送パルスφＴＸ３にて制御される。ここで、各制御パルスは、不図示の垂直走査回路から送出される。 The first transfer transistor 501A is controlled by the transfer pulse φTX1A, and the second transfer transistor 502A is controlled by the transfer pulse φTX2A. The third transfer transistor 501B is controlled by the transfer pulse φTX1B, and the fourth transfer transistor 502B is controlled by the transfer pulse φTX2B. The reset transistor 504 is controlled by a reset pulse φRES, and the selection transistor 506 is controlled by a selection pulse φSEL. Further, the fifth transfer transistor 503 is controlled by the transfer pulse φTX3. Here, each control pulse is transmitted from a vertical scanning circuit (not shown).
さらに、図３には、電源線５２０と、電源線５２１と、信号出力線５２３が含まれる。本実施形態に係る撮像装置を構成する撮像素子１８４は、１つのフォトダイオード５００に対して２つの信号保持部５０７Ａ、５０７Ｂを有しているため、第１の画像である静止画と第２の画像である動画とを同時に撮影することが可能となっている。そのため、Ｓ／Ｎの低下を伴わずに蓄積期間の異なる二つの画像を読み出すことが可能となっている。 Further, FIG. 3 includes a power supply line 520, a power supply line 521, and a signal output line 523. Since the image sensor 184 constituting the image pickup apparatus according to the present embodiment has two signal holding units 507A and 507B for one photodiode 500, the still image that is the first image and the second image are stored. It is possible to shoot a moving image as an image at the same time. Therefore, it is possible to read two images having different accumulation periods without a decrease in S / N.
図４は、撮像装置本体１５１における静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）の撮影条件の設定画面を説明するための図である。撮影モード選択レバー１５６を時計方向に回転させることによって２つの映像を同時に撮影することができるデュアル映像モードに入る。表示部１５３には、その時の被写体の輝度に応じたＢｖ値３２１、Ｆナンバー３２２、静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）それぞれのＩＳＯ感度３２３、３２４、シャッタースピード３２５、３２６が表示される。また、静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）のそれぞれについて現在設定されているピクチャーモード３２７、３２８が表示される。ピクチャーモードはアップダウンスイッチ１５８、１５９、およびダイアル１６０を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。 FIG. 4 is a diagram for explaining a setting screen for shooting conditions of a still image (picture A) and a moving image (picture B) in the imaging apparatus main body 151. By rotating the shooting mode selection lever 156 in the clockwise direction, a dual video mode is entered in which two videos can be shot simultaneously. The display unit 153 displays a Bv value 321 according to the brightness of the subject at that time, an F number 322, ISO sensitivities 323 and 324, and shutter speeds 325 and 326 for still images (picture A) and moving images (picture B), respectively. The Also, currently set picture modes 327 and 328 are displayed for each of the still image (picture A) and the moving image (picture B). In the picture mode, the up / down switches 158 and 159 and the dial 160 can be used to select a suitable one for a shooting purpose from a plurality of options.
図５は、本実施形態に係るデュアル映像モードにおけるプログラムＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）線図である。横軸がＴｖ値とそれに対応するシャッタースピード、縦軸はＡｖ値とそれに対応する絞り値、斜め方向が等Ｂｖ線となっている。ゲイン表記領域３５６は、静止画（ｐｉｃｔｕｒｅ Ａ）のＢｖ値とＩＳＯ感度の関係を表しゲイン表記領域３５７は、動画（ｐｉｃｔｕｒｅ Ｂ）のＢｖ値とＩＳＯ感度の関係を表す。高輝度から低輝度になるに従って、シャッタースピード、絞り値、ＩＳＯ感度がどのように変化するかを説明する。本実施形態に係る撮影装置は、第１の画像である静止画と第２の画像である動画とを同時に撮影するため、プログラムＡＥ線図は、同じ被写体輝度に対して同じ絞り値になるように設定されている。 FIG. 5 is a program AE (Automatic Exposure) diagram in the dual video mode according to the present embodiment. The horizontal axis is the Tv value and the corresponding shutter speed, the vertical axis is the Av value and the corresponding aperture value, and the diagonal direction is the equal Bv line. The gain notation area 356 represents the relationship between the Bv value of the still picture (picture A) and the ISO sensitivity, and the gain notation area 357 represents the relation between the Bv value of the moving picture (picture B) and the ISO sensitivity. The following describes how the shutter speed, aperture value, and ISO sensitivity change as the luminance increases from low to high. Since the photographing apparatus according to the present embodiment photographs a still image that is the first image and a moving image that is the second image at the same time, the program AE diagram has the same aperture value for the same subject luminance. Is set to
まず、輝度Ｂｖ１４のときは、静止画ではＩＳＯ感度はＩＳＯ１００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図の線３５８と点３５１で交差し、点３５１からシャッタースピード１／４０００秒、絞り値Ｆ１１と定まる。一方、動画ではＩＳＯ感度はＩＳＯ１に設定される。動画（ｐｉｃｔｕｒｅ Ｂの等Ｂｖ線は、動画のプログラム線図の線３５９と点３５２で交差し、点３５２からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。 First, when the brightness is Bv14, the ISO sensitivity is set to ISO100 for a still image. The still image equal Bv line intersects the line 358 of the still image program diagram at a point 351, and from the point 351, the shutter speed is 1/4000 seconds and the aperture value F11 is determined. On the other hand, ISO sensitivity is set to ISO1 for moving images. The equal Bv line of the moving image (picture B) intersects the line 359 of the moving image program diagram at the point 352, and the shutter speed is 1/60 seconds and the aperture value F11 is determined from the point 352.
輝度Ｂｖ１１のときは、静止画ではＩＳＯ感度は１段分上昇してＩＳＯ２００に設定される。静止画の等Ｂｖ線は静止画のプログラム線図の線３５８と点３５３で交差し、点３５３からシャッタースピード１／１０００秒、絞り値Ｆ１１と定まる。一方、動画ではＩＳＯ感度はＩＳＯ１２に設定される。動画の等Ｂｖ線は、動画のプログラム線図の線３５９と点３５２で交差し、点３５２からシャッタースピード１／６０秒、絞り値Ｆ１１と定まる。 When the brightness is Bv11, the ISO sensitivity of the still image is increased by one step and set to ISO200. The still image equal Bv line intersects the line 358 of the still image program diagram at the point 353, and the shutter speed is 1/1000 second and the aperture value F11 is determined from the point 353. On the other hand, ISO sensitivity is set to ISO12 for moving images. The equal Bv line of the moving image intersects the line 359 of the moving image program diagram at the point 352, and the shutter speed is 1/60 second and the aperture value F11 is determined from the point 352.
輝度Ｂｖ７のときは、静止画ではＩＳＯ感度は、ＩＳＯ２００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図の線３５８と点３５４で交差し、点３５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、動画ではＩＳＯ感度は、ＩＳＯ１２に設定される。動画の等Ｂｖ線は、動画のプログラム線図の線３５９と点３５５で交差し、点３５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。 When the brightness is Bv7, the ISO sensitivity is set to ISO200 for a still image. The iso Bv line of the still image intersects the line 358 of the program diagram of the still image at the point 354, and the shutter speed is 1/1000 second and the aperture value F2.8 is determined from the point 354. On the other hand, ISO sensitivity is set to ISO12 for moving images. The equal Bv line of the moving image intersects the line 359 of the moving image program diagram at the point 355, and from the point 355, the shutter speed is 1/60 seconds and the aperture value F2.8 is determined.
輝度Ｂｖ６のときは、静止画ではＩＳＯ感度は、１段分上昇してＩＳＯ４００に設定される。静止画の等Ｂｖ線は、静止画のプログラム線図の線３５８と点３５４で交差し、点３５４からシャッタースピード１／１０００秒、絞り値Ｆ２．８と定まる。一方、動画ではＩＳＯ感度はＩＳＯ２５に設定される。動画の等Ｂｖ線は、動画のプログラム線図の線３５９と点３５５で交差し、点３５５からシャッタースピード１／６０秒、絞り値Ｆ２．８と定まる。以降、輝度が下がるにつれて静止画、動画ともにシャッタースピードと絞り値は変化せずにゲインアップしＩＳＯ感度が上昇していく。 When the brightness is Bv6, the ISO sensitivity of the still image is increased by one step and set to ISO400. The iso Bv line of the still image intersects the line 358 of the program diagram of the still image at the point 354, and the shutter speed is 1/1000 second and the aperture value F2.8 is determined from the point 354. On the other hand, ISO sensitivity is set to ISO25 for moving images. The equal Bv line of the moving image intersects the line 359 of the moving image program diagram at the point 355, and from the point 355, the shutter speed is 1/60 seconds and the aperture value F2.8 is determined. Thereafter, as the brightness decreases, the shutter speed and aperture value of both still images and moving images do not change, and the gain is increased and the ISO sensitivity is increased.
このプログラムＡＥ線図に示した露光動作を行うことにより、表記した全輝度範囲において静止画は１／１０００秒以上のシャッタースピードを保ち、動画は全輝度範囲で１／６０秒のシャッタースピードを保っている。そのため、静止画ではストップモーション効果を得つつ、動画ではコマ送り的なパラパラ感の無い高品位な動画を得ることができる。 By performing the exposure operation shown in this program AE diagram, still images have a shutter speed of 1/1000 seconds or more in the entire luminance range shown, and moving images have a shutter speed of 1/60 seconds in the entire luminance range. ing. Therefore, it is possible to obtain a high-quality moving image that does not have a frame-by-frame parallax with a moving image while obtaining a stop motion effect with a still image.
ところで、同じ絞り値で同時に撮影される静止画と動画は、ＩＳＯが異なるように制御されるが、静止画が適正露出になるように露出制御を行うと、動画は飽和してしまいＩＳＯ制御をすることができない。そこで、本実施形態に係る撮像装置では、動画のフレームレートに相当するシャッタースピード１／６０秒の間で均等の時間間隔で短い蓄積をＮｐ（Ｎｐ＞１）回加算して動画を生成することにより、実質的にＩＳＯが小さくなるようにしている。 By the way, still images and moving images that are shot simultaneously with the same aperture value are controlled so that the ISO is different. However, if exposure control is performed so that the still images have proper exposure, the moving images are saturated and ISO control is performed. Can not do it. Thus, in the imaging apparatus according to the present embodiment, a moving image is generated by adding short accumulation Np (Np> 1) times at equal time intervals within a shutter speed of 1/60 seconds corresponding to the moving image frame rate. Therefore, the ISO is substantially reduced.
本実施形態では、動画のシャッタースピード１／６０秒を蓄積期間、静止画のシャッタースピード１／１０００秒を蓄積時間と称し、動画の蓄積時間は静止画の蓄積時間と同じになるように制御される。すなわち、短い蓄積を撮像素子１８４の信号保持部５０７にてＮｐ（Ｎｐ＞１）回加算して生成された動画の全蓄積時間は静止画の蓄積時間と同じで、同じ撮影周期に撮影された静止画と同じＩＳＯで制御するようにしている。例えば、輝度Ｂｖ７のとき、シャッタースピード１／６０秒の周期中に１６回に分けて蓄積加算することにより動画を生成する場合、静止画のＩＳＯ２００と同様のＩＳＯ制御をするために、動画を生成するための１回の蓄積時間は１／１６０００秒に設定される。 In this embodiment, the moving image shutter speed 1/60 seconds is referred to as the accumulation period, and the still image shutter speed 1/1000 seconds is referred to as the accumulation time, and the moving image accumulation time is controlled to be the same as the still image accumulation time. The In other words, the total accumulation time of the moving image generated by adding the short accumulation Np (Np> 1) times in the signal holding unit 507 of the image sensor 184 is the same as the accumulation time of the still image, and the images were taken in the same photographing cycle. Control is performed with the same ISO as the still image. For example, when luminance is Bv7 and a moving image is generated by accumulating and adding 16 times during a period of 1/60 seconds of shutter speed, the moving image is generated in order to perform ISO control similar to ISO 200 for still images. The accumulation time for one time is set to 1/16000 seconds.
図６は、本実施形態に係る撮像装置において、第１の画像である静止画と第２の画像である動画と同時に撮影するための、撮像素子１８４における蓄積、読み出しタイミングを説明するための図である。ここで、蓄積とは、フォトダイオード５００で発生した電荷を信号保持部５０７に転送することにより実行される。また、読み出しとは、信号保持部５０７に保持された電荷をフローティングディフュージョン領域５０８を介して撮像素子１８４の外部に出力することを指している。 FIG. 6 is a diagram for explaining accumulation and readout timings in the image sensor 184 for simultaneously capturing a still image that is the first image and a moving image that is the second image in the imaging apparatus according to the present embodiment. It is. Here, accumulation is performed by transferring the charge generated in the photodiode 500 to the signal holding unit 507. Further, “read” refers to outputting the charge held in the signal holding unit 507 to the outside of the image sensor 184 through the floating diffusion region 508.
図６において、本実施形態に係る撮像装置は、垂直同期信号５５０の１周期中に静止画と動画を読み出せるようになっている。また、図６では便宜的に１６行のタイミングを図示しているが、実際の撮像素子１８４は、数千行を有し、本実施形態では、最終行をｍ行としている。さらに、第１の画像である静止画は、垂直同期信号５５０の１周期（時間Ｔｆ）中に全行同時に１回の蓄積（５６１）で生成され、第２の画像である動画は、全行Ｎｐ（Ｎｐ＞１）回に分割された蓄積（５６３）を信号保持部に加算して生成される。本実施形態では、第２の画像である動画の１周期中に行われる蓄積の回数は１６回で、１周期中に均等の時間間隔で蓄積加算が行われる。垂直同期信号５５０の間隔Ｔｆは、動画のフレームレートに相当し、本実施形態では、１／６０秒である。 In FIG. 6, the imaging apparatus according to the present embodiment can read still images and moving images during one cycle of the vertical synchronization signal 550. In FIG. 6, the timing of 16 rows is illustrated for convenience, but the actual image sensor 184 has several thousand rows, and in this embodiment, the final row is m rows. Furthermore, the still image that is the first image is generated in one cycle (time Tf) of the vertical synchronization signal 550 by one accumulation (561) at the same time for all rows, and the moving image that is the second image is generated for all rows. The accumulation (563) divided into Np (Np> 1) times is added to the signal holding unit and generated. In the present embodiment, the number of times of accumulation performed during one cycle of the moving image that is the second image is 16, and accumulation and addition are performed at equal time intervals during one cycle. The interval Tf of the vertical synchronization signal 550 corresponds to the frame rate of the moving image, and is 1/60 second in this embodiment.
その結果、動画と静止画を同時に撮影することが可能で、かつ静止画は、撮影者の意図する蓄積時間の短いブレのない画像を取得可能で、一方、動画は、パラパラ感のない滑らかな画像を取得可能となっている。図６の蓄積、読み出しタイミングの説明図の撮影周期１において、静止画の蓄積時間（５６１）は、撮影者によって設定されたシャッタースピードＴ１に設定されている。本実施形態では、Ｔ１＝１／２０００秒である。静止画の蓄積終了時間は、全行固定（垂直同期信号５５０からＴaの時間）で、第１行目の静止画の読み出し（５６５）開始直前に蓄積が終了するように設定されている。静止画の蓄積終了時間は、全行固定のため、静止画のシャッタースピードＴ１に応じて、垂直同期信号５５０に対する静止画の蓄積開始時間が設定されるようになっている。ここで、静止画の蓄積終了時間Ｔaは、垂直同期信号５５０の間隔Ｔｆの半分以下に設定される。 As a result, it is possible to shoot a moving image and a still image at the same time, and the still image can acquire a blur-free image with a short accumulation time intended by the photographer, while the moving image is smooth and smooth. Images can be acquired. In the shooting cycle 1 in the explanatory diagram of the storage and readout timing in FIG. 6, the still image storage time (561) is set to the shutter speed T1 set by the photographer. In this embodiment, T1 = 1/2000 seconds. The still image accumulation end time is fixed for all rows (the time from the vertical synchronization signal 550 to Ta), and is set so that the accumulation ends immediately before the start of reading the first row still image (565). Since the still image accumulation end time is fixed to all rows, the still image accumulation start time for the vertical synchronization signal 550 is set in accordance with the still image shutter speed T1. Here, the accumulation end time Ta of the still image is set to be not more than half of the interval Tf of the vertical synchronization signal 550.
一方、動画の蓄積は１周期中に均等の時間間隔で行われ、各行の動画の読み出し（５６６）開始直前までに、本実施形態では、１６回に分割された蓄積が終了するように時間間隔が設定される。このとき、動画の蓄積の時間間隔は、水平同期信号５５１の間隔Ｔｈの整数倍に設定される。その結果、各行の動画の蓄積タイミングが同じになるようになっている。図６では、動画の蓄積の時間間隔は、便宜的に水平同期信号間隔Ｔｈの２倍になるように図示されている。通常は、動画の蓄積の時間間隔は、撮像素子１８４の行数をｍ、１周期中の動画の蓄積回数をＮｐとすると、ｍ／Ｎｐを超えない整数に水平同期信号５５１の間隔Ｔｈを掛けた値に設定される。また、動画の１回の蓄積時間はＴ１／１６（＝１／３２０００秒）に設定される。ここで、各行の動画の蓄積開始時間は、垂直同期信号５５０に対して固定で、撮影者によって設定された静止画のシャッタースピードＴ１に応じて、動画の１回の蓄積終了時間が垂直同期信号５５０に対して設定されるようになっている。 On the other hand, the accumulation of moving images is performed at equal time intervals during one cycle, and in the present embodiment, the time intervals are set so that the accumulation divided into 16 times ends immediately before the start of reading (566) of moving images in each row. Is set. At this time, the time interval for storing moving images is set to an integral multiple of the interval Th of the horizontal synchronization signal 551. As a result, the moving image accumulation timing of each row is the same. In FIG. 6, the time interval for storing moving images is shown to be twice the horizontal synchronization signal interval Th for convenience. Normally, the time interval for storing moving images is set such that the number of rows of the image sensor 184 is m, and the number of moving images stored in one cycle is Np, and an integer not exceeding m / Np is multiplied by the interval Th of the horizontal synchronization signal 551. Value is set. In addition, the time for storing the moving image once is set to T1 / 16 (= 1/32000 seconds). Here, the accumulation start time of the moving image of each row is fixed with respect to the vertical synchronization signal 550, and the accumulation end time of one moving image depends on the shutter speed T1 of the still image set by the photographer. 550 is set.
一方、被写体輝度が低いときに撮影者が静止画のシャッタースピードＴ２を長めに設定（例えば、Ｔ２＝１／５００秒）した例を示したのが、図６の蓄積、読み出しタイミングの説明図の撮影周期２の部分である。上記撮影周期１で説明したように、静止画の蓄積終了時間は、全行固定（垂直同期信号５５０からＴaの時間）で、第１行目の静止画の読み出し（５６５）開始直前に蓄積が終了するように設定されている。静止画の蓄積終了時間は全行固定のため、静止画のシャッタースピードＴ１に応じて、垂直同期信号５５０に対する静止画の蓄積開始時間が設定されるようになっている。 On the other hand, when the subject brightness is low, an example in which the photographer sets the still image shutter speed T2 to be longer (for example, T2 = 1/500 seconds) is shown in the explanatory diagram of the accumulation and readout timing in FIG. This is the part of the imaging cycle 2. As described in the shooting cycle 1 above, the accumulation end time of the still image is fixed for all rows (the time from the vertical synchronization signal 550 to Ta), and the accumulation is performed immediately before the start of the still image reading (565) in the first row. It is set to end. Since the still image accumulation end time is fixed to all rows, the still image accumulation start time for the vertical synchronization signal 550 is set in accordance with the still image shutter speed T1.
撮影周期１と同様に、動画の蓄積は、１周期中に均等の時間間隔で行われ、各行の動画の読み出し（５６６）開始直前までに１６回に分割された蓄積が終了するように時間間隔が設定される。このとき、動画の蓄積の時間間隔は、水平同期信号５５１の間隔Ｔｈの整数倍に設定される。その結果、各行の動画の蓄積タイミングが同じになるようになっている。また、動画の１回の蓄積時間はＴ２／１６（＝１／８０００秒）に設定される。ここで、各行の動画の蓄積開始時間は、垂直同期信号５５０に対して固定で、撮影者によって設定された静止画のシャッタースピードＴ２に応じて、動画の１回の蓄積終了時間が垂直同期信号５５０に対して設定されるようになっている。図６の蓄積、読み出しタイミングの説明図の撮影周期２では、静止画の蓄積時間Ｔ２が長いため、１周期中の動画の蓄積回数Ｎｐは、１４回になっている。そのため、撮影周期２で生成された動画は、撮影周期２で生成された静止画を用いて補正を行っている。 Similar to the shooting cycle 1, the accumulation of moving images is performed at equal time intervals during one cycle, and the time intervals are set so that the accumulation divided into 16 times ends immediately before the start of reading (566) of moving images in each row. Is set. At this time, the time interval for storing moving images is set to an integral multiple of the interval Th of the horizontal synchronization signal 551. As a result, the moving image accumulation timing of each row is the same. In addition, the accumulation time of one moving image is set to T2 / 16 (= 1/8000 seconds). Here, the accumulation start time of the moving image of each row is fixed with respect to the vertical synchronization signal 550, and the accumulation end time of one moving image is determined according to the shutter speed T2 of the still image set by the photographer. 550 is set. In the shooting cycle 2 in the explanatory diagram of the storage and readout timings in FIG. 6, since the still image storage time T2 is long, the moving image storage count Np in one cycle is 14. For this reason, the moving image generated in the shooting cycle 2 is corrected using the still image generated in the shooting cycle 2.
次に、図７のタイミングチャートを用いて、図６の蓄積、読み出しタイミングの説明図の撮影周期２における第１の画像である静止画と第２の画像である動画を撮影可能な撮像素子１８４の制御方法を説明する。図７のタイミングチャートにおいて、垂直同期信号φＶの立ち上がり時刻ｔ１は、図６の蓄積、読み出しタイミングの説明図の撮影周期２が始まる垂直同期信号５５０の時刻１と同じである。 Next, by using the timing chart of FIG. 7, an image sensor 184 that can shoot a still image that is the first image and a moving image that is the second image in the shooting period 2 in the explanatory diagram of the storage and readout timings of FIG. 6. The control method will be described. In the timing chart of FIG. 7, the rising time t1 of the vertical synchronizing signal φV is the same as the time 1 of the vertical synchronizing signal 550 at which the imaging period 2 in the explanatory diagram of the storage and reading timings in FIG.
本実施形態に係る撮像素子１８４は、垂直方向にｍ行の画素列があり、図７では第１行と最終行の第ｍ行のタイミングを示している。まず、時刻ｔ１において、タイミング発生部１８９にて垂直同期信号φＶがハイレベルになり、同時に水平同期信号φＨがハイレベルになる。垂直同期信号φＶがハイレベルになるのに同期した時刻ｔ２において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなると第１行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなると第１行の選択トランジスタ５０６がオンとなって、第１行の画像信号の読み出しが可能となる。 The imaging device 184 according to the present embodiment has m pixel columns in the vertical direction, and FIG. 7 shows the timing of the first row and the last row m. First, at time t1, the timing generator 189 causes the vertical synchronization signal φV to be at a high level and simultaneously the horizontal synchronization signal φH to be at a high level. At time t2 synchronized with the vertical synchronization signal φV becoming high level, when the reset pulse φRES (1) in the first row becomes low level, the reset transistor 504 in the first row is turned off, and the floating diffusion region 508 The reset state is released. At the same time, when the selection pulse φSEL (1) of the first row becomes a high level, the selection transistor 506 of the first row is turned on, and the image signal of the first row can be read.
時刻ｔ３において、第１行の転送パルスφＴＸ２Ｂ（１）がハイレベルとなると第１行の第４の転送トランジスタ５０２Ｂがオンとなる。そして、直前の撮影周期（図６における撮影周期１）中に信号保持部５０７Ｂの加算蓄積された動画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出さる。そして、不図示の読み出し回路に供給されて第１行の動画信号として外部に出力される（図６では動画読み出し（５６６）で図示）。 At time t3, when the transfer pulse φTX2B (1) in the first row becomes high level, the fourth transfer transistor 502B in the first row is turned on. Then, the moving image signal charge added and accumulated in the signal holding unit 507B during the immediately preceding shooting cycle (shooting cycle 1 in FIG. 6) is transferred to the floating diffusion region 508. Further, an output corresponding to a change in potential of the floating diffusion region 508 is read out to the signal output line 523 via the amplification transistor 505 and the selection transistor 506. Then, it is supplied to a reading circuit (not shown) and outputted to the outside as a moving image signal of the first row (illustrated as moving image reading (566) in FIG. 6).
時刻ｔ４において、第１行の転送パルスφＴＸ２Ｂ（１）、及び全行の転送パルスφＴＸ２Ａ（図７においては、φＴＸ２Ａ（１）、φＴＸ２Ａ（ｍ））がハイレベルとなる。すると、第１行の第４の転送トランジスタ５０２Ｂ、全行の第２の転送トランジスタ５０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳがハイレベルになり、リセットトランジスタ５０４がオン状態になっている。そのため、全行のフローティングディフュージョン領域５０８、全行の静止画の信号保持部５０７Ａ、第１行の動画の信号保持部５０７Ｂがリセットされる。また、時刻ｔ４には、第１行の選択パルスφＳＥＬ（１）は、ローレベルになっている。 At time t4, the transfer pulse φTX2B (1) of the first row and the transfer pulse φTX2A of all rows (φTX2A (1) and φTX2A (m) in FIG. 7) become high level. Then, the fourth transfer transistors 502B in the first row and the second transfer transistors 502A in all rows are turned on. At this time, the reset pulse φRES of all the rows has already been at a high level, and the reset transistor 504 has been turned on. Therefore, the floating diffusion regions 508 of all rows, the still image signal holding unit 507A of all rows, and the moving image signal holding unit 507B of the first row are reset. At time t4, the selection pulse φSEL (1) in the first row is at a low level.
時刻ｔ５において、全行の転送パルスφＴＸ３がローレベルとなると、全行の第５の転送トランジスタ５０３がオフとなる。そして、全行のフォトダイオード５００のリセットが解除されて全行のフォトダイオード５００での動画の信号電荷の蓄積が開始される（図６では蓄積（５６３）で図示）。ここで、垂直同期信号φＶのハイレベルとなる時刻ｔ１と全行のフォトダイオード５００での動画の信号電荷の蓄積開始時刻ｔ５との時間間隔Ｔｂは固定である。 At time t5, when the transfer pulse φTX3 for all rows becomes low level, the fifth transfer transistors 503 for all rows are turned off. Then, resetting of the photodiodes 500 in all rows is released, and accumulation of moving image signal charges in the photodiodes 500 in all rows is started (illustrated by accumulation (563) in FIG. 6). Here, the time interval Tb between the time t1 when the vertical synchronization signal φV is at the high level and the moving image signal charge accumulation start time t5 in the photodiodes 500 of all rows is fixed.
ところで、図７のタイミングチャートの時刻ｔ５での第１行の動画の蓄積開始は、図６に示す撮影周期２中の動画の蓄積開始を表し、時刻ｔ５での第ｍ行の動画の蓄積開始は、図６の撮影周期１中の動画の蓄積開始を表している。本実施形態の図６において、撮影周期１と撮影周期２の静止画及び動画の蓄積時間は異なり、撮影周期１の蓄積時間は撮影周期２の蓄積時間より短いため、撮影周期１中の第ｍ行の動画蓄積が先に終了する。 By the way, the accumulation start of the moving image of the first row at time t5 in the timing chart of FIG. 7 represents the accumulation start of the moving image during the photographing cycle 2 shown in FIG. 6, and the accumulation start of the moving image of the mth row at time t5. Represents the start of accumulation of moving images during the photographing period 1 in FIG. In FIG. 6 of the present embodiment, the accumulation times of the still images and moving images in the shooting cycle 1 and the shooting cycle 2 are different, and the storage time of the shooting cycle 1 is shorter than the storage time of the shooting cycle 2, so The video accumulation of the line ends first.
時刻ｔ６の直前に、第ｍ行の転送パルスφＴＸ１Ｂ（ｍ）がハイレベルとなると、第ｍ行の第３の転送トランジスタ５０１Ｂがオンとなる。そして、第ｍ行のフォトダイオード５００に蓄積された信号電荷は、第ｍ行の動画の電荷を保持する信号保持部５０７Ｂに転送される（図６では動画転送（５６４）で図示）。さらに、時刻ｔ６において、第ｍ行の転送パルスφＴＸ１Ｂ（ｍ）がローレベルとなると、第ｍ行の第３の転送トランジスタ５０１Ｂがオフとなり、フォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ｂへの転送が終了する。 Immediately before time t6, when the transfer pulse φTX1B (m) in the m-th row becomes high level, the third transfer transistor 501B in the m-th row is turned on. Then, the signal charge accumulated in the photodiode 500 in the m-th row is transferred to the signal holding unit 507B that holds the charge of the moving image in the m-th row (illustrated as moving image transfer (564) in FIG. 6). Further, at time t6, when the transfer pulse φTX1B (m) in the m-th row becomes low level, the third transfer transistor 501B in the m-th row is turned off, and the signal charge holding unit 507B for the signal charge accumulated in the photodiode 500 is turned off. The transfer to is completed.
ここで、時刻ｔ５から時刻ｔ６が、図６の撮影周期１における動画の１回の蓄積時間（＝Ｔ１／１６）に相当する。また、時刻ｔ６において、第ｍ行の転送パルスφＴＸ３（ｍ）がハイレベルとなり、第ｍ行の第５の転送トランジスタ５０３がオンとなって、第ｍ行のフォトダイオード５００がリセット状態になる。 Here, the time t5 to the time t6 correspond to one accumulation time (= T1 / 16) of the moving image in the shooting cycle 1 of FIG. Further, at time t6, the transfer pulse φTX3 (m) in the m-th row becomes a high level, the fifth transfer transistor 503 in the m-th row is turned on, and the photodiode 500 in the m-th row is reset.
時刻ｔ７の直前に、第１行の転送パルスφＴＸ１Ｂ（１）がハイレベルとなると、第１行の第３の転送トランジスタ５０１Ｂがオンとなる。そして、第１行のフォトダイオード５００に蓄積された信号電荷は、第１行の動画の電荷を保持する信号保持部５０７Ｂに転送される。さらに、時刻ｔ７において、第１行の転送パルスφＴＸ１Ｂ（１）がローレベルとなると、第１行の第３の転送トランジスタ５０１Ｂがオフとなり、第１行のフォトダイオード５００に蓄積された信号電荷の第１行の信号保持部５０７Ｂへの転送が終了する。ここで、時刻ｔ５から時刻ｔ７が、図６の撮影周期２における動画の１回の蓄積時間（＝Ｔ２／１６）に相当する。また、時刻ｔ７において、第１行の転送パルスφＴＸ３（１）がハイレベルとなり、第１行の第５の転送トランジスタ５０３がオンとなって、第１行のフォトダイオード５００がリセット状態になる。 Immediately before time t7, when the transfer pulse φTX1B (1) of the first row becomes a high level, the third transfer transistor 501B of the first row is turned on. Then, the signal charges accumulated in the photodiodes 500 in the first row are transferred to the signal holding unit 507B that holds the charges of the moving image in the first row. Further, at time t7, when the transfer pulse φTX1B (1) in the first row becomes a low level, the third transfer transistor 501B in the first row is turned off, and the signal charge accumulated in the photodiode 500 in the first row is reduced. The transfer to the signal holding unit 507B in the first row is completed. Here, the time t5 to the time t7 correspond to one accumulation time (= T2 / 16) of the moving image in the shooting cycle 2 of FIG. At time t7, the transfer pulse φTX3 (1) in the first row becomes high level, the fifth transfer transistor 503 in the first row is turned on, and the photodiode 500 in the first row is reset.
時刻ｔ１から始まる撮影周期における第１回目の動画の蓄積開始時刻ｔ５から、水平同期信号間隔Ｔｈの２倍の時間がたった時刻ｔ８に第２回目の動画の蓄積が開始される。時刻ｔ８から始まり時刻ｔ１０に終了する第２回目の動画の蓄積動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第１回目の動画の蓄積動作と同様なので説明は省略する。 From the first moving image accumulation start time t5 in the shooting period starting from time t1, the second moving image accumulation is started at time t8, which is twice as long as the horizontal synchronization signal interval Th. The second moving image accumulating operation starting from time t8 and ending at time t10 is the same as the first moving image accumulating operation starting from time t5 and ending at time t7.
ここで、第１回目、第２回目の動画の蓄積動作において、２回の蓄積期間の動画の信号電荷が信号保持部５０７Ｂに加算して保持される。さらに、時刻ｔ１１から第６回目の動画の蓄積が開始される。そして、第６回目の動画の蓄積開始時刻ｔ１１は、垂直同期信号φＶのハイレベルとなる時刻ｔ１から、Ｔ＝６×２×Ｔｈ＋Ｔｂの時間に設定されている。ここで、Ｔｈは、水平同期信号φＨの時間間隔、Ｔｂは、垂直同期信号φＶのハイレベルとなる時刻ｔ１とフォトダイオード５００での第１回目の動画の信号電荷の蓄積開始時刻ｔ５との時間間隔である。時刻ｔ１１から始まり時刻ｔ１３に終了する第６回目の動画の蓄積動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第１回目の動画の蓄積動作と同様なので説明は省略する。 Here, in the first and second moving image accumulating operations, the moving image signal charges in the two accumulation periods are added and held in the signal holding unit 507B. Furthermore, accumulation of the sixth moving image is started from time t11. The sixth moving image accumulation start time t11 is set to T = 6 × 2 × Th + Tb from the time t1 when the vertical synchronization signal φV becomes high level. Here, Th is the time interval of the horizontal synchronization signal φH, and Tb is the time between the time t1 when the vertical synchronization signal φV is at the high level and the signal charge accumulation start time t5 of the first moving image in the photodiode 500. It is an interval. The sixth moving image accumulation operation starting from time t11 and ending at time t13 is the same as the first moving image accumulation operation starting from time t5 and ending at time t7, and thus the description thereof is omitted.
次に、時刻ｔ１４から第１の画像である静止画の蓄積が実行される。本実施形態では、１撮影周期中の静止画の蓄積回数は１回である。垂直同期信号φＶに対する静止画の読み出し（図６では静止画読み出し（５６５）で図示）の開始時間は固定のため、垂直同期信号φＶに対する静止画の蓄積終了時間（図６の時間Ｔa）は固定で、静止画の蓄積は、時刻ｔ１９に終了するように設定されている。撮影者によって静止画のシャッタースピードＴ２が設定されると、本実施形態に係る撮像装置では、静止画の蓄積開始時間が制御される。 Next, accumulation of the still image as the first image is executed from time t14. In the present embodiment, the number of times still images are accumulated during one shooting period is one. Since the start time of still image reading (illustrated by still image reading (565) in FIG. 6) with respect to the vertical synchronization signal φV is fixed, the still image accumulation end time (time Ta in FIG. 6) with respect to the vertical synchronization signal φV is fixed. Thus, the accumulation of still images is set to end at time t19. When the shutter speed T2 of the still image is set by the photographer, the accumulation start time of the still image is controlled in the imaging apparatus according to the present embodiment.
静止画の蓄積終了時刻ｔ１９より時間Ｔ２さかのぼった時刻ｔ１４において、全行の転送パルスφＴＸ３がローレベルとなると、全行の第５の転送トランジスタ５０３がオフとなる。そして、全行のフォトダイオード５００のリセットが解除されて全行のフォトダイオード５００での静止画の信号電荷の蓄積が開始される（図６では静止画蓄積（５６１）で図示）。 When the transfer pulse φTX3 of all rows becomes low level at time t14 that goes back by time T2 from the still image accumulation end time t19, the fifth transfer transistors 503 of all rows are turned off. Then, resetting of the photodiodes 500 in all rows is released, and accumulation of signal charges of still images in the photodiodes 500 in all rows is started (illustrated as still image accumulation (561) in FIG. 6).
また、静止画の信号電荷の蓄積中に、撮影周期１の第ｍ行の動画の読み出しが終了する。まず、時刻ｔ１５において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がローレベルとなると第ｍ行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がハイレベルとなると第ｍ行の選択トランジスタ５０６がオンとなって、第ｍ行の画像信号の読み出しが可能となる。 In addition, during the accumulation of the still image signal charge, the readout of the moving image in the m-th row in the shooting period 1 is completed. First, at time t15, when the reset pulse φRES (m) in the m-th row becomes low level, the reset transistor 504 in the m-th row is turned off, and the reset state of the floating diffusion region 508 is released. At the same time, when the selection pulse φSEL (m) in the m-th row becomes high level, the selection transistor 506 in the m-th row is turned on, and the image signal in the m-th row can be read out.
時刻ｔ１６において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がハイレベルとなると第ｍ行の第４の転送トランジスタ５０２Ｂがオンとなる。そして、直前の撮影周期（図６における撮影周期１）中に信号保持部５０７Ｂの加算蓄積された動画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。そして、不図示の読み出し回路に供給されて第ｍ行の動画信号として外部に出力される（図６では動画読み出し（５６６）で図示）。このとき、撮影周期１の第２の画像である動画の読み出しが完了し、次に撮影周期２の第１の画像である静止画の読み出しが行われる（図６では動画読み出し（５６６）で図示）。 At time t16, when the transfer pulse φTX2B (m) in the m-th row becomes a high level, the fourth transfer transistor 502B in the m-th row is turned on. Then, the moving image signal charge added and accumulated in the signal holding unit 507B during the immediately preceding shooting cycle (shooting cycle 1 in FIG. 6) is transferred to the floating diffusion region 508. Further, an output corresponding to a change in the potential of the floating diffusion region 508 is read out to the signal output line 523 via the amplification transistor 505 and the selection transistor 506. Then, it is supplied to a reading circuit (not shown) and outputted to the outside as a moving image signal of the m-th row (illustrated as moving image reading (566) in FIG. 6). At this time, the reading of the moving image that is the second image in the shooting cycle 1 is completed, and the reading of the still image that is the first image in the shooting cycle 2 is then performed (illustrated as moving image reading (566) in FIG. 6). ).
時刻ｔ１７において、第ｍ行の転送パルスφＴＸ２Ｂ（ｍ）がハイレベルとなると、第ｍ行の第４の転送トランジスタ５０２Ｂがオンとなる。このとき既に第ｍ行のリセットパルスφＲＥＳ（ｍ）がハイレベルになりリセットトランジスタ５０４がオン状態になっているため、第ｍ行のフローティングディフュージョン領域５０８、第ｍ行の動画の信号保持部５０７Ｂがリセットされる。また時刻ｔ１７には、第ｍ行の選択パルスφＳＥＬ（ｍ）は、ローレベルになっている。 At time t17, when the transfer pulse φTX2B (m) in the m-th row becomes high level, the fourth transfer transistor 502B in the m-th row is turned on. At this time, the reset pulse φRES (m) of the m-th row is already at the high level and the reset transistor 504 is turned on, so that the floating diffusion region 508 of the m-th row and the signal holding unit 507B of the moving image of the m-th row Reset. At time t17, the selection pulse φSEL (m) in the m-th row is at a low level.
時刻ｔ１８において、第１行のリセットパルスφＲＥＳ（１）がローレベルとなると第１行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第１行の選択パルスφＳＥＬ（１）がハイレベルとなると第１行の選択トランジスタ５０６がオンとなって、第１行の画像信号の読み出しが可能となる。 At time t18, when the reset pulse φRES (1) in the first row becomes low level, the reset transistor 504 in the first row is turned off, and the reset state of the floating diffusion region 508 is released. At the same time, when the selection pulse φSEL (1) of the first row becomes a high level, the selection transistor 506 of the first row is turned on, and the image signal of the first row can be read.
時刻ｔ１９の直前に、全行の転送パルスφＴＸ１Ａがハイレベルとなると、全行の第１の転送トランジスタ５０１Ａがオンとなる。そして、全行のフォトダイオード５００に蓄積された信号電荷は全行の静止画の電荷を保持する信号保持部５０７Ａに転送される（図６では静止画転送（５６２）で図示）。さらに、時刻ｔ１９において、全行の転送パルスφＴＸ１Ａがローレベルとなると、全行の第１の転送トランジスタ５０１Ａがオフとなり、全行のフォトダイオード５００に蓄積された信号電荷の信号保持部５０７Ａへの転送が終了する。ここで、時刻ｔ１４から時刻ｔ１９が、図６の撮影周期２における静止画の蓄積時間Ｔ２に相当する。 Immediately before time t19, when the transfer pulse φTX1A of all rows becomes high level, the first transfer transistors 501A of all rows are turned on. Then, the signal charges accumulated in the photodiodes 500 of all rows are transferred to the signal holding unit 507A that holds the charges of still images of all rows (illustrated by still image transfer (562) in FIG. 6). Further, at time t19, when the transfer pulse φTX1A of all rows becomes low level, the first transfer transistors 501A of all rows are turned off, and the signal charges accumulated in the photodiodes 500 of all rows are transferred to the signal holding unit 507A. The transfer ends. Here, the time t14 to the time t19 correspond to the still image accumulation time T2 in the imaging cycle 2 of FIG.
時刻ｔ２０において、第１行の転送パルスφＴＸ２Ａ（１）がハイレベルとなると第１行の第２の転送トランジスタ５０２Ａがオンとなり、第１行の信号保持部５０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が第１行の増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。そして、不図示の読み出し回路に供給されて第１行の静止画信号として外部に出力される（図６では静止画読み出し（５６５）で図示）。 At time t20, when the transfer pulse φTX2A (1) of the first row becomes high level, the second transfer transistor 502A of the first row is turned on, and the signal charge of the still image accumulated in the signal holding unit 507A of the first row Is transferred to the floating diffusion region 508. Further, an output corresponding to a change in the potential of the floating diffusion region 508 is read out to the signal output line 523 via the amplification transistor 505 and the selection transistor 506 in the first row. Then, it is supplied to a readout circuit (not shown) and output to the outside as a still image signal of the first row (illustrated as still image readout (565) in FIG. 6).
さらに、時刻ｔ２１から第７回目の動画の蓄積が開始される。ここで、第７回目の動画の蓄積開始時刻ｔ２１は、垂直同期信号φＶのハイレベルとなる時刻ｔ１から、Ｔ＝（７＋２）×２×Ｔｈ＋Ｔｂの時間に設定されている。本実施形態では、２回の動画の蓄積期間が静止画の蓄積期間（図６では静止画蓄積（５６１）で図示）と重なっているため、第７回目の動画の蓄積開始時刻ｔ２１は、撮影周期１の第９回目の蓄積開始時間と同等になっている。 Furthermore, accumulation of the seventh moving image is started from time t21. Here, the seventh moving image accumulation start time t21 is set to a time of T = (7 + 2) × 2 × Th + Tb from the time t1 when the vertical synchronization signal φV becomes the high level. In the present embodiment, the second moving image accumulation period overlaps with the still image accumulation period (illustrated as still image accumulation (561) in FIG. 6). This is equivalent to the ninth accumulation start time of period 1.
時刻ｔ２１から始まり時刻ｔ２３に終了する第７回目の動画の蓄積動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第１回目の動画の蓄積動作と同様なので説明は省略する。さらに、時刻ｔ２４から撮影周期２の最後の第１４回目の動画の蓄積が開始される。ここで、第１４回目の動画の蓄積開始時刻ｔ２４は、垂直同期信号φＶのハイレベルとなる時刻ｔ１から、Ｔ＝（１４＋２）×２×Ｔｈ＋Ｔｂの時間に設定されている。時刻ｔ２４から始まり時刻ｔ２６に終了する第１４回目の動画の蓄積動作は、前述の時刻ｔ５から始まり時刻ｔ７に終了する第１回目の動画の蓄積動作と同様なので説明は省略する。 The seventh moving image accumulating operation starting from time t21 and ending at time t23 is the same as the first moving image accumulating operation starting from time t5 and ending at time t7. Further, accumulation of the last fourteenth moving images in the shooting period 2 is started from time t24. Here, the 14th moving image accumulation start time t24 is set to a time of T = (14 + 2) × 2 × Th + Tb from time t1 when the vertical synchronization signal φV becomes high level. The fourteenth moving image accumulation operation starting from time t24 and ending at time t26 is the same as the first moving image accumulation operation starting from time t5 and ending at time t7, and a description thereof will be omitted.
時刻ｔ２７において、第ｍ行のリセットパルスφＲＥＳ（ｍ）がローレベルとなると第ｍ行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第ｍ行の選択パルスφＳＥＬ（ｍ）がハイレベルとなると第ｍ行の選択トランジスタ５０６がオンとなって、第ｍ行の画像信号の読み出しが可能となる。 At time t27, when the reset pulse φRES (m) in the m-th row becomes low level, the reset transistor 504 in the m-th row is turned off, and the reset state of the floating diffusion region 508 is released. At the same time, when the selection pulse φSEL (m) in the m-th row becomes high level, the selection transistor 506 in the m-th row is turned on, and the image signal in the m-th row can be read out.
時刻ｔ２８において、第ｍ行の転送パルスφＴＸ２Ａ（ｍ）がハイレベルとなると第ｍ行の第２の転送トランジスタ５０２Ａがオンとなり、第ｍ行の信号保持部５０７Ａに蓄積された静止画の信号電荷がフローティングディフュージョン領域５０８に転送される。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が第ｍ行の増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。そして、不図示の読み出し回路に供給されて第ｍ行の静止画信号として外部に出力される（図６では静止画読み出し（５６５）で図示）。 At time t28, when the transfer pulse φTX2A (m) in the m-th row becomes high level, the second transfer transistor 502A in the m-th row is turned on, and the signal charge of the still image accumulated in the signal holding unit 507A in the m-th row. Is transferred to the floating diffusion region 508. Further, an output corresponding to a change in the potential of the floating diffusion region 508 is read out to the signal output line 523 via the amplification transistor 505 and the selection transistor 506 in the m-th row. Then, it is supplied to a readout circuit (not shown) and outputted to the outside as a still image signal of the m-th row (illustrated as still image readout (565) in FIG. 6).
時刻ｔ２９において、タイミング発生部１８９にて垂直同期信号φＶがハイレベルになり、撮影周期３が開始される。以上のように、本実施形態に係る撮像装置では、静止画の蓄積終了時間を垂直同期信号に対して固定とし、１撮影周期中に複数回行われる動画の蓄積の蓄積開始時間は、垂直同期信号に対して固定にする。これにより、同一撮影周期内に動画と静止画を読み出せるようにしている。 At time t29, the timing generator 189 causes the vertical synchronization signal φV to be at a high level, and the imaging cycle 3 is started. As described above, in the imaging apparatus according to the present embodiment, the accumulation end time of the still image is fixed with respect to the vertical synchronization signal, and the accumulation start time of the accumulation of moving images that is performed a plurality of times during one shooting cycle is vertical synchronization. Fix to signal. Thereby, a moving image and a still image can be read out within the same shooting period.
また、本実施形態に係る撮像装置は、第１の画像であるところの静止画と、蓄積開始から終了までの時間が第１の画像より長い第２の画像であるところの動画と、を連続的に取得可能である。ここで、蓄積開始から終了までの時間とは、複数の第１の画像であるところの複数の静止画においては蓄積時間、第２の画像であるところの動画においては蓄積期間を表す。その結果、撮影者によって静止画のシャッタースピードの変更があっても、１撮影周期中に蓄積時間の短いブレのない静止画とパラパラ感のない動画を同時に撮影することができる。すなわち、静止画と動画を高品位で同時撮影することができる。 In addition, the imaging apparatus according to the present embodiment continuously performs a still image that is a first image and a moving image that is a second image in which the time from the start to the end of accumulation is longer than the first image. Can be obtained. Here, the time from the start to the end of accumulation represents the accumulation time for a plurality of still images that are a plurality of first images, and the accumulation period for a moving image that is a second image. As a result, even if the photographer changes the shutter speed of a still image, it is possible to simultaneously shoot a still image without blurring and a moving image without a feeling of flutter during a single shooting cycle. That is, a still image and a moving image can be taken simultaneously with high quality.
ここで、本実施形態に係る振れ補正処理について説明する。図１１は、本実施形態に係る振れ補正処理部６００の構成を示す図である。振れ補正処理部６００は、デジタル信号処理部１８７に設けられ、撮像素子１８４の静止画の出力をもとに動画の振れ補正処理を行い、振れ補正済みの動画を出力する。 Here, the shake correction processing according to the present embodiment will be described. FIG. 11 is a diagram illustrating a configuration of the shake correction processing unit 600 according to the present embodiment. The shake correction processing unit 600 is provided in the digital signal processing unit 187, performs a shake correction process on a moving image based on a still image output from the image sensor 184, and outputs a shake-corrected moving image.
動きベクトル算出部（演算手段）６０１は、撮像素子１８４の出力のうち、静止画に対し過去フレームと現フレームの相関演算を行い、動きベクトルを出力する。過去フレームは、図６の撮影周期１における静止画の読み出し（５６５）で得られた画像であり、現フレームは、図６の撮影周期２における静止画の読み出し（５６５）で得られた画像である。すなわち、本実施形態では、第１の画像であるところの静止画から動きベクトルを算出する。動きベクトル補正部（演算手段）６０２は、静止画から算出された動きベクトルに対し、動画に適応するために以下の補正（（１）解像度、（２）フレーム間隔、（３）蓄積タイミング）を行い、補正動きベクトルとして出力する。
（１）解像度
動画は４Ｋなど規定のフォーマットに合わせるため、撮像素子１８４の出力を間引くなどして解像度の調整を行うことがある。動きベクトル補正部６０２は、静止画の解像度と動画の解像度が異なる場合、解像度の比率に合わせて動きベクトルを拡大縮小する。
（２）フレーム間隔
動画のフレーム間隔はＴｆで一定である。一方、静止画において、過去フレームの露光時間の中心と現フレームの露光時間の中心との間をフレーム間隔とすると、フレーム間隔は一定ではない。
A motion vector calculation unit (calculation unit) 601 performs a correlation calculation between a past frame and a current frame on a still image among outputs from the image sensor 184, and outputs a motion vector. The past frame is an image obtained by reading out a still image in shooting period 1 (565) in FIG. 6, and the current frame is an image obtained by reading out a still image in shooting period 2 in FIG. 6 (565). is there. That is, in the present embodiment, the motion vector is calculated from the still image that is the first image. The motion vector correction unit (arithmetic unit) 602 performs the following corrections ((1) resolution, (2) frame interval, (3) accumulation timing) on the motion vector calculated from the still image in order to adapt to the moving image. And output as a corrected motion vector.
(1) In order to adjust the resolution moving image to a specified format such as 4K, the resolution may be adjusted by thinning the output of the image sensor 184 or the like. When the resolution of the still image is different from the resolution of the moving image, the motion vector correction unit 602 scales the motion vector in accordance with the resolution ratio.
(2) Frame interval The frame interval of the moving image is constant at Tf. On the other hand, in a still image, when the frame interval is between the center of the exposure time of the past frame and the center of the exposure time of the current frame, the frame interval is not constant.
切り出し処理部（画像処理手段）６０３は、算出された補正動きベクトルを用いて、撮像素子１８４の動画の出力に対して切り出し処理を行う。切り出し処理とは、撮像素子１８４の全画素から、指定された、ある領域の画素のみを出力する処理である。 The cutout processing unit (image processing means) 603 performs cutout processing on the output of the moving image from the image sensor 184 using the calculated corrected motion vector. The cutout process is a process of outputting only the pixels in a specified area from all the pixels of the image sensor 184.
動きベクトルの算出手法としては、ブロックマッチング法を用いる。ここで、図１２は、ブロックマッチング法を説明する図である。図１２（Ａ）に示すように、現フレーム７０１にＮ×Ｎ画素の基準ブロック７０２を複数配置する。任意の基準ブロック７０３（不図示）に対して、図１２（Ｂ）に示す過去フレーム７０５内に対応するブロック７０４を設定するとともに、ブロック７０４の周辺に（Ｎ＋２Ｍ）×（Ｎ＋２Ｍ）画素の探索範囲７０５を設定する。本実施形態では、ＭはＮより大きい。基準ブロック７０３と探索範囲７０５に存在するＮ×Ｎブロック内の画素について相関演算を行い、最も相関の高いブロック７０６の位置を動きベクトル７０７とする。 A block matching method is used as a motion vector calculation method. Here, FIG. 12 is a diagram for explaining the block matching method. As shown in FIG. 12A, a plurality of N × N pixel reference blocks 702 are arranged in the current frame 701. For an arbitrary reference block 703 (not shown), a block 704 corresponding to the past frame 705 shown in FIG. 12B is set, and a search range of (N + 2M) × (N + 2M) pixels around the block 704 is set. 705 is set. In this embodiment, M is greater than N. A correlation calculation is performed on the pixels in the N × N block existing in the reference block 703 and the search range 705, and the position of the block 706 having the highest correlation is set as a motion vector 707.
図１３は、図６と同様の、撮像素子１８４における蓄積と読み出し、振れ補正処理部６００の振れ補正処理のタイミングを説明するための図である。領域８０１は、静止画蓄積を示し、領域８０２は、動画蓄積を示す。例えば、撮影周期１と撮影周期２の間の静止画のフレーム間隔Ｔｆｓ２は以下のように表せる。
Ｔｆｓ２ ＝ Ｔｆ − （Ｔ２−Ｔ１）／２
FIG. 13 is a diagram for explaining the timing of the shake correction processing of the shake correction processing unit 600, which is similar to FIG. An area 801 indicates still image accumulation, and an area 802 indicates moving image accumulation. For example, the frame interval Tfs2 of still images between the shooting cycle 1 and the shooting cycle 2 can be expressed as follows.
Tfs2 = Tf− (T2−T1) / 2
従って、過去フレームと現フレームで静止画のシャッタースピードが異なる場合、静止画と動画のフレーム間隔が異なる。動きベクトルは、フレーム間の画像の移動量を示すものであるため、フレーム間隔が異なれば補正が必要になる。動きベクトル補正部６０２は、静止画のフレーム間隔と動画のフレーム間隔が異なる場合、その比率に合わせて動きベクトルを補正する。撮影周期２で得られた静止画から算出された動きベクトルをＡｓ２としたとき、フレーム間隔を補正した動きベクトルＡＳ２´は以下のように算出される。
ＡＳ２´＝ Ａｓ２ ＊ Ｔｆ ／ Ｔｆｓ２
Ｔｓ２ ＝ Ｔｆ − （Ｔ２−Ｔ１）／２
Accordingly, when the shutter speed of a still image is different between the past frame and the current frame, the frame interval between the still image and the moving image is different. Since the motion vector indicates the amount of image movement between frames, correction is required if the frame interval is different. When the still image frame interval and the moving image frame interval are different, the motion vector correction unit 602 corrects the motion vector in accordance with the ratio. When the motion vector calculated from the still image obtained in the shooting cycle 2 is As2, the motion vector AS2 ′ with the frame interval corrected is calculated as follows.
AS2 ′ = As2 * Tf / Tfs2
Ts2 = Tf− (T2−T1) / 2
また、動きベクトル補正部６０２は、（３）蓄積タイミングの補正を行い、補正動きベクトルとして出力する。
（３）蓄積タイミング
本実施形態では、動画と静止画で蓄積シーケンスが異なるため、画像の中心が蓄積されるタイミングが異なる。ある撮影周期において、動画の蓄積開始から、画像の中心である（ｍ＋１）／２行目の蓄積期間の中心までの時間を蓄積タイミングＴｍとする。撮影周期１における静止画の蓄積タイミングＴｍｓ１、動画の蓄積タイミングＴｍｍ１は、図１３のように示すことができ、以下の式で表される。
Ｔｍｓ１ ＝ Ｔａ − Ｔ１／２
Ｔｍｍ１ ＝ Ｔｈ ＊ （ｍ＋１）／２ ＋ Ｔｆ／２
Also, the motion vector correction unit 602 (3) corrects the accumulation timing and outputs it as a corrected motion vector.
(3) Accumulation timing In this embodiment, the accumulation sequence differs between a moving image and a still image, and therefore the timing at which the center of the image is accumulated differs. In a certain shooting cycle, the time from the start of moving image accumulation to the center of the accumulation period of (m + 1) / 2nd row, which is the center of the image, is defined as accumulation timing Tm. The still image accumulation timing Tms1 and the moving image accumulation timing Tmm1 in the shooting cycle 1 can be expressed as shown in FIG.
Tms1 = Ta-T1 / 2
Tmm1 = Th * (m + 1) / 2 + Tf / 2
また、撮影周期１における静止画と動画の蓄積タイミングのずれｄＴｍ１は、以下の式で表される。
ｄＴｍ１ ＝ Ｔｍｍ１ − Ｔｍｓ１
同様に、撮影周期２における静止画の蓄積タイミングＴｍｓ２、動画の蓄積タイミングＴｍｍ２、静止画と動画の蓄積タイミングのずれｄＴｍ２は、以下の式で表される。
Ｔｍｓ２ ＝ Ｔａ − Ｔ２／２
Ｔｍｍ２ ＝ Ｔｍｍ１
ｄＴｍ２ ＝ Ｔｍｍ２ − Ｔｍｓ２
Also, the difference dTm1 between the still image and moving image accumulation timing in the shooting cycle 1 is expressed by the following equation.
dTm1 = Tmm1−Tms1
Similarly, the still image accumulation timing Tms2, the moving image accumulation timing Tmm2, and the difference between the still image and moving image accumulation timing dTm2 in the shooting cycle 2 are expressed by the following equations.
Tms2 = Ta-T2 / 2
Tmm2 = Tmm1
dTm2 = Tmm2-Tms2
動きベクトルを算出した静止画の蓄積タイミングと、補正対象である動画の蓄積タイミングが異なるため、動きベクトルの補正が必要になる。動きベクトル補正部６０２は、静止画と動画の蓄積タイミングが異なる場合、そのずれ量に合わせて動きベクトルを補正する。撮影周期１、撮影周期２で得られた静止画から算出された動きベクトルをそれぞれＡＳ１、ＡＳ２としたとき、蓄積タイミングを補正した動きベクトルＡＳ２´´は、線形補間を利用して以下のように算出される。
ＡＳ２´´＝ （Ａｓ２−Ａｓ１） ／ Ｔｆｓ２ ＊ ｄＴｍ２
Since the accumulation timing of the still image for which the motion vector is calculated is different from the accumulation timing of the moving image to be corrected, it is necessary to correct the motion vector. The motion vector correction unit 602 corrects the motion vector in accordance with the amount of deviation when the accumulation timings of the still image and the moving image are different. When the motion vectors calculated from the still images obtained in the shooting cycle 1 and the shooting cycle 2 are AS1 and AS2, respectively, the motion vector AS2 ″ corrected for the accumulation timing is as follows using linear interpolation. Calculated.
AS2 ″ = (As2-As1) / Tfs2 * dTm2
図１４は、切り出し処理部６０３の切り出し処理を説明するための図である。撮像素子１８４で取得された全画素からなる画像９０１に対して、過去フレームでは領域９０２の画素のみを出力する。現フレームでは、領域９０２を補正動きベクトル９０３だけシフトさせた領域９０４の画素を出力する。補正動きベクトル９０３は、動きベクトル算出部６０１から出力された動きベクトルに対して、動きベクトル補正部６０２によって動画に適応するための補正を行ったものである。 FIG. 14 is a diagram for explaining the cut-out process of the cut-out processing unit 603. For the image 901 composed of all the pixels acquired by the image sensor 184, only the pixels in the region 902 are output in the past frame. In the current frame, a pixel in the region 904 obtained by shifting the region 902 by the corrected motion vector 903 is output. The corrected motion vector 903 is obtained by correcting the motion vector output from the motion vector calculation unit 601 for adaptation to a moving image by the motion vector correction unit 602.
また、動画で適応するための補正として、前述の解像度、フレーム間隔、蓄積タイミングの３つの補正のうち、少なくとも一つの補正を行うことで、動きベクトルの算出精度が向上できる。また、上記３つの補正をすべて行うことが望ましく、その場合は動画により適応するように動きベクトルが補正でき、動きベクトルの算出精度が向上できる。切り出し処理により、動きベクトルとして算出された振れに応じて動画の切り出し位置をシフトさせることができ、撮影者の手振れなどによって生じる撮影画像のブレを低減することができる。 In addition, as a correction for adapting to a moving image, the motion vector calculation accuracy can be improved by performing at least one of the three corrections of resolution, frame interval, and accumulation timing. Further, it is desirable to perform all three corrections. In this case, the motion vector can be corrected so as to be more adapted to the moving image, and the motion vector calculation accuracy can be improved. The cutout process can shift the cutout position of a moving image in accordance with the shake calculated as a motion vector, and can reduce blurring of a shot image caused by a camera shake of a photographer.
以上説明したように、本実施形態に係る撮像装置は、第１の画像である静止画と、蓄積開始から終了までの時間が第１の画像より長い第２の画像である動画と、を取得可能である。また、振れ補正処理部６００は、複数の第１の画像であるところの複数の静止画から算出した動きベクトルを用いて、第２の画像であるところの動画から生成される動画像の画像処理であるところの振れ補正処理を行う。 As described above, the imaging apparatus according to the present embodiment acquires the still image that is the first image and the moving image that is the second image whose time from the start to the end of the accumulation is longer than the first image. Is possible. Further, the shake correction processing unit 600 uses a motion vector calculated from a plurality of still images that are a plurality of first images, and performs image processing of a moving image that is generated from a moving image that is a second image. The shake correction process is performed.
前述のように、本発明の撮像装置では、蓄積開始から終了までの時間は動画に対して静止画の方が短い。そのため、静止画の方が、被写体の動きや手振れなどによるカメラの動きによって生じる画像の劣化が小さく、先鋭度が高い画像が得られる。したがって、動画に対してフレーム間の相関演算を行った場合に対して、静止画に対してフレーム間の相関演算を行った場合の方が演算の精度が高くできて、動きベクトルの算出精度が向上する。 As described above, in the imaging apparatus of the present invention, the time from the start to the end of accumulation is shorter for a still image than for a moving image. For this reason, a still image is less likely to be deteriorated due to camera movement due to subject movement or camera shake, and an image with a high degree of sharpness can be obtained. Therefore, when the correlation calculation between frames is performed on a moving image, the calculation accuracy is higher when the correlation calculation between frames is performed on a still image, and the calculation accuracy of the motion vector is higher. improves.
図１３に示すように、撮影周期１において、動画読み出しが終了する前に、静止画読み出しが終了する。また、動画読み出しが終了する前に、動きベクトル算出部６０１によって動きベクトルの算出が開始される。これは、他の撮影周期においても同様である。すなわち、本実施形態の撮像装置では、撮像素子１８４が第２の画像であるところの動画の読み出しを終了する前に、第１の画像であるところの静止画の読み出しを終了して、演算手段であるところの動きベクトル算出部６０１が動きベクトルの算出を開始する。 As shown in FIG. 13, in the shooting cycle 1, the still image reading ends before the moving image reading ends. In addition, before the moving image reading ends, the motion vector calculation unit 601 starts calculating the motion vector. The same applies to other imaging cycles. In other words, in the imaging apparatus of the present embodiment, the reading of the still image that is the first image is terminated before the reading of the moving image where the imaging element 184 is the second image, and the calculation unit. The motion vector calculation unit 601 starts calculating motion vectors.
従来は、動画読み出しが終了してから動きベクトルの算出が開始されていたのに対して、本実施形態では、動きベクトルの開始タイミングが早くなり、処理の高速化が可能である。動画に対して静止画の画素数が大きい場合や、基準ブロックや探索範囲が大きい場合には、動きベクトルの算出時間が増大する傾向にあるため、この効果がより顕著となる。 Conventionally, calculation of a motion vector has been started after the end of moving image reading, but in this embodiment, the start timing of a motion vector is advanced, and the processing speed can be increased. When the number of pixels of a still image is large with respect to a moving image, or when the reference block and the search range are large, the motion vector calculation time tends to increase, so this effect becomes more prominent.
図８は、撮像装置に電源を投入した後のライブビュー表示中の表示部１５３の様子を表す図である。撮影光学系１５２を通して捉えられた人物１６３のスポーツシーンが表示部１５３上に表示されている。それとともに、撮影モード選択レバー１５６が時計方向に回動した位置にあるので、デュアル映像モードでの静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）のシャッタースピード４９１、４９２とＦナンバー４９３が表示されている。 FIG. 8 is a diagram illustrating a state of the display unit 153 during live view display after power is turned on to the imaging apparatus. A sports scene of the person 163 captured through the photographing optical system 152 is displayed on the display unit 153. At the same time, since the shooting mode selection lever 156 is at the position rotated clockwise, the shutter speeds 491 and 492 and the F number 493 of the still image (picture A) and the moving image (picture B) in the dual image mode are displayed. ing.
デジタルスチルモーションカメラの表示部１５３上では、図９に示すように、再生ボタン１６１が操作されたときに、静止画（ｐｉｃｔｕｒｅ Ａ）4９６と動画（ｐｉｃｔｕｒｅ Ｂ）４９７の両方を並べて表示できるようにする。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。 On the display unit 153 of the digital still motion camera, as shown in FIG. 9, when the playback button 161 is operated, both a still image (picture A) 496 and a moving image (picture B) 497 can be displayed side by side. To do. In this way, the level of the stop motion effect can be confirmed by comparing the images. In this process, the video data may be supplied to a system or apparatus via a network, and a computer of the system or apparatus may read and execute the program.
図１０は、タブレット端末、パーソナルコンピュータ、テレビモニタなどでの、静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）の活用例を示す図である。静止画（ｐｉｃｔｕｒｅ Ａ）と動画（ｐｉｃｔｕｒｅ Ｂ）のデータファイルは、ネットワーク上のストレージ等に格納されている。図１０において、フレーム群５８１は、ＭＰ４ファイルに格納された静止画（ｐｉｃｔｕｒｅ Ａ）のフレーム群であり、フレーム群５７１は、別のＭＰ４ファイルに格納された動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群である。これらのＭＰ４ファイルには、撮影時に同じＣＬＩＰ−ＵＭＩＤが設定され、関連付けがなされている。 FIG. 10 is a diagram illustrating an example of using a still image (picture A) and a moving image (picture B) on a tablet terminal, a personal computer, a television monitor, and the like. The data files of the still image (picture A) and the moving image (picture B) are stored in a storage on the network. In FIG. 10, a frame group 581 is a frame group of still images (picture A) stored in an MP4 file, and a frame group 571 is a frame group of moving images (picture B) stored in another MP4 file. . These MP4 files are associated with the same CLIP-UMID set at the time of shooting.
まず、動画の再生をスタートすると、動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群５７１の先頭フレーム５７２から決められたフレームレートで順次フレームが再生される。動画（ｐｉｃｔｕｒｅ Ｂ）は、シャッタースピードが過度に速くならないような設定（本実施形態では、１／６０秒）で撮影されているため、再生された映像はコマ送りのようなパラパラ感の無い高品位なものである。 First, when reproduction of a moving image is started, frames are sequentially reproduced at a frame rate determined from the first frame 572 of the frame group 571 of the moving image (picture B). Since the movie (picture B) is shot at a setting that prevents the shutter speed from becoming excessively high (in this embodiment, 1/60 seconds), the reproduced video is a high-quality image that does not feel paralyzed like frame advance. It is decent.
フレーム５７３まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的に動画（ｐｉｃｔｕｒｅ Ｂ）に対応する静止画（ｐｉｃｔｕｒｅ Ａ）のデータファイルから同一タイムコードのフレーム５８２が検索され、表示される。静止画（ｐｉｃｔｕｒｅ Ａ）は、ストップモーション効果が得られやすい高速シャッタースピード（本実施形態では、１／１０００秒）で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。静止画（ｐｉｃｔｕｒｅ Ａ）と動画（pｉｃｔｕｒｅ Ｂ）の２つの映像が異なる蓄積期間（シャッタースピード）の設定で撮影されながらも、静止画（ｐｉｃｔｕｒｅ Ａ）についてゲインアップするのではなく、撮像素子で同程度の信号電荷を得ている。そのため、どちらもＳＮの良好なノイズ感の無い映像となっている。 When the user performs a pause operation when the playback has progressed to frame 573, a frame 582 having the same time code is automatically searched from the data file of the still image (picture A) corresponding to the movie (picture B). ,Is displayed. The still image (picture A) is taken at a high shutter speed (in this embodiment, 1/1000 second) at which a stop motion effect is easily obtained, and is a powerful image that captures a moment in a sports scene. While the two images of the still image (picture A) and the moving image (picture B) are shot with different accumulation periods (shutter speeds), the gain of the still image (picture A) is not increased, A signal charge of a degree is obtained. For this reason, both images have good SN and no noise.
ここで、印刷の指示を行うと、静止画（ｐｉｃｔｕｒｅ Ａ）のフレーム５８２のデータがプリントインターフェース部１９４を介してプリンタ１９５に対して出力される。従って、印刷物もストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的に動画（ｐｉｃｔｕｒｅ Ｂ）のフレーム群５７１に戻って、フレーム５７４から再生が再開する。このとき、再生される映像はコマ送りのようなパラパラ感の無い高品位なものである。 When printing is instructed, the data of the still image (picture A) frame 582 is output to the printer 195 via the print interface unit 194. Accordingly, the printed matter is also powerful with a stop motion effect. When the user cancels the pause, it automatically returns to the moving image (picture B) frame group 571 and the reproduction is resumed from the frame 574. At this time, the reproduced video is of high quality without a feeling of flipping like frame advance.
以上説明したように、本実施形態に係る撮像装置では、静止画と動画を高品位で同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上することができる。また、本実施形態の構成は、上記に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。例えば、算出された動きベクトルを振れ補正以外の画像処理、例えば、動画像の圧縮や、被写体の追尾などに利用してもよい。本実施形態と同様に動きベクトルの算出精度が向上でき、性能の向上が可能である。 As described above, in the imaging apparatus according to the present embodiment, it is possible to improve the calculation accuracy of a motion vector adapted to moving image shooting while simultaneously shooting a still image and a moving image with high quality. Further, the configuration of the present embodiment is not limited to the one exemplified above, and can be appropriately changed without departing from the gist of the present invention. For example, the calculated motion vector may be used for image processing other than shake correction, for example, compression of a moving image or tracking of a subject. As in the present embodiment, motion vector calculation accuracy can be improved, and performance can be improved.
（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同じ部分については同じ番号を付すことで説明を省略する。第１実施形態に対する主な相違点は、光学系の一部を動かして振れ補正を行うことである。
(Second Embodiment)
Next, a second embodiment will be described. The same parts as those in the first embodiment are denoted by the same reference numerals and the description thereof is omitted. The main difference from the first embodiment is that a shake correction is performed by moving a part of the optical system.
図１５は、本実施形態に係る撮像装置１５１を示すブロック図である。なお、撮像装置１５１の範囲を点線で示す。。補正レンズ１００１は、撮影光学系１５２の一部であり、不図示の保持機構によって光軸１８０に直交する面内で移動可能に保持されている。補正レンズ１００１が移動することで、撮像素子１８４上の被写体像の位置を光軸１８０に直交する面内で移動させることが可能である。振れ補正制御部（光学系制御手段）１００２は、デジタル信号処理部の出力に応じて、補正レンズを光軸１８０に直交する面内で移動するように駆動制御する。 FIG. 15 is a block diagram illustrating the imaging device 151 according to the present embodiment. The range of the imaging device 151 is indicated by a dotted line. . The correction lens 1001 is a part of the photographing optical system 152 and is held so as to be movable in a plane perpendicular to the optical axis 180 by a holding mechanism (not shown). By moving the correction lens 1001, it is possible to move the position of the subject image on the image sensor 184 within a plane orthogonal to the optical axis 180. A shake correction control unit (optical system control unit) 1002 controls driving so that the correction lens moves in a plane orthogonal to the optical axis 180 in accordance with the output of the digital signal processing unit.
図１６は、本実施形態に係る振れ補正処理部１００３の構成を示す図である。動きベクトル算出部１００４は、第１実施形態における動きベクトル算出部６０１と同様に、静止画に対し過去フレームと現フレームの相関演算を行い、動きベクトルを出力する。第１実施形態とは異なり、動きベクトル算出部１００４で算出された動きベクトルは、振れ補正制御部１００２に出力される。振れ補正制御部１００２は、算出された動きベクトルを撮像装置の振れ量とみなし、撮像装置の振れをキャンセルするのに必要な補正レンズ１００１の移動量を算出する。さらに、算出された移動量だけ補正レンズ１００１が移動するように駆動制御する。 FIG. 16 is a diagram illustrating a configuration of the shake correction processing unit 1003 according to the present embodiment. Similar to the motion vector calculation unit 601 in the first embodiment, the motion vector calculation unit 1004 performs a correlation operation between the past frame and the current frame on the still image and outputs a motion vector. Unlike the first embodiment, the motion vector calculated by the motion vector calculation unit 1004 is output to the shake correction control unit 1002. The shake correction control unit 1002 regards the calculated motion vector as the shake amount of the imaging apparatus, and calculates the movement amount of the correction lens 1001 necessary to cancel the shake of the imaging apparatus. Further, drive control is performed so that the correction lens 1001 moves by the calculated movement amount.
以上により、動きベクトルとして算出された振れに応じて補正レンズ１００１が光軸１８０に直交する面内で移動し、撮像素子１８４上の被写体像の振れが補正される。すなわち、本実施形態では、光学系制御手段であるところの振れ補正制御部１００２が、第１の画像であるところの静止画から算出した動きベクトルを用いて、光学系の制御を行う。また、本実施形態に係る振れ補正は、撮影周期毎に更新され、動画撮影時の振れを補正することができる。従って、第１実施形態と同様に、動画撮影に適応する動きベクトルの算出精度を向上することができる。
なお、本実施形態では、撮影光学系１５２の一部を移動させることにより光学的な振れ補正を行ったが、撮影光学系１５２の全体を移動させたり、撮像素子１８４を移動させたりして光学的な振れ補正を行ってもよい。
As described above, the correction lens 1001 moves in a plane orthogonal to the optical axis 180 according to the shake calculated as the motion vector, and the shake of the subject image on the image sensor 184 is corrected. In other words, in this embodiment, the shake correction control unit 1002 serving as the optical system control unit controls the optical system using the motion vector calculated from the still image serving as the first image. In addition, the shake correction according to the present embodiment is updated for each shooting cycle, and the shake at the time of moving image shooting can be corrected. Therefore, as in the first embodiment, it is possible to improve the accuracy of motion vector calculation adapted to moving image shooting.
In this embodiment, the optical shake correction is performed by moving a part of the photographic optical system 152. However, the whole of the photographic optical system 152 or the image sensor 184 is optically moved. Shake correction may be performed.
（第３実施形態）
次に、第３実施形態について説明する。第１実施形態と同じ部分については同じ番号を付すことで説明を省略する。第１実施形態に対する主な相違点は、静止画の蓄積時間によって適応する動きベクトルを変更することである。
(Third embodiment)
Next, a third embodiment will be described. The same parts as those in the first embodiment are denoted by the same reference numerals and the description thereof is omitted. The main difference from the first embodiment is that the motion vector to be adapted is changed according to the storage time of the still image.
図１７は、本実施形態に係る振れ補正処理部１１００の構成を示す図である。動きベクトル選択部（選択手段）１１０１は、静止画の撮影条件に応じて、動きベクトル算出部１１０２と動画動きベクトル算出部１１０４のどちらで動きベクトルを算出するかを選択する。動きベクトル算出部１１０２は、第１実施形態における動きベクトル算出部６０１と同様に、静止画に対し過去フレームと現フレームの相関演算を行い、動きベクトルを出力する。 FIG. 17 is a diagram illustrating a configuration of the shake correction processing unit 1100 according to the present embodiment. The motion vector selection unit (selection unit) 1101 selects which of the motion vector calculation unit 1102 and the moving image motion vector calculation unit 1104 calculates the motion vector according to the still image shooting condition. Similar to the motion vector calculation unit 601 in the first embodiment, the motion vector calculation unit 1102 performs a correlation operation between a past frame and a current frame on a still image, and outputs a motion vector.
動きベクトル補正部１１０３は、第１実施形態における動きベクトル補正部６０２と同様に、静止画から算出された動きベクトルに対し、動画に適応するために補正を行い、補正動きベクトルとして出力する。動画動きベクトル算出部（第２演算手段）１１０４は、第２の画像であるところの動画を用いて、動画動きベクトルを算出する。動きベクトル算出部１１０４は、動きベクトル算出部１１０２と同様に、動画に対し過去フレームと現フレームの相関演算を行い、動画動きベクトルを出力するが、動きベクトル補正部１１０３に相当するような動画に適応するための補正は行わない。切り出し処理部１１０５は、動きベクトル選択部１１０１の選択に基づき、補正動きベクトルもしくは動画動きベクトルを用いて、撮像素子１８４の動画の出力に対して切り出し処理を行う。 Similar to the motion vector correction unit 602 in the first embodiment, the motion vector correction unit 1103 corrects a motion vector calculated from a still image so as to adapt to a moving image, and outputs the corrected motion vector as a corrected motion vector. The moving image motion vector calculation unit (second calculation means) 1104 calculates a moving image motion vector using the moving image that is the second image. Similar to the motion vector calculation unit 1102, the motion vector calculation unit 1104 performs a correlation operation between the past frame and the current frame on the moving image and outputs a moving image motion vector. No correction is made to adapt. Based on the selection by the motion vector selection unit 1101, the cutout processing unit 1105 performs cutout processing on the moving image output of the image sensor 184 using the corrected motion vector or the moving image motion vector.
図１８は、本実施形態に係る振れ補正処理部１１００の動作を示すフローチャートである。まず、ステップＳ１２０１で、振れ補正処理が開始されると、ステップＳ１２０２で静止画の蓄積時間と動画の蓄積期間を比較する。前述のように、静止画の蓄積時間は、撮影者によって設定されたシャッタースピードに相当するＴであり、図６中のＴ１、Ｔ２で示すように変更可能である。すなわち、第１の画像であるところの静止画の蓄積開始から終了までの時間が変更可能である。また、動画の蓄積期間はフレームレートに相当するＴｆであり、１／６０秒で固定されている。 FIG. 18 is a flowchart showing the operation of the shake correction processing unit 1100 according to this embodiment. First, when the shake correction process is started in step S1201, the accumulation time of the still image is compared with the accumulation period of the moving image in step S1202. As described above, the still image accumulation time is T corresponding to the shutter speed set by the photographer, and can be changed as indicated by T1 and T2 in FIG. That is, the time from the start to the end of the accumulation of the still image as the first image can be changed. The moving image accumulation period is Tf corresponding to the frame rate, and is fixed at 1/60 seconds.
次に、ステップＳ１２０２で、静止画の蓄積時間Ｔが動画の蓄積期間Ｔｆ以下であるか否かを判定する。静止画の蓄積時間Ｔが動画の蓄積期間Ｔｆ以下である場合（Ｙｅｓ）、ステップＳ１２０３に進み、動きベクトル算出部１１０２で動きベクトルが算出される。その後、ステップＳ１２０４に進み、動きベクトル補正部１１０３で補正動きベクトルが算出されてステップＳ１２０６に進む。一方、ステップＳ１２０２で静止画の蓄積時間Ｔが動画の蓄積期間Ｔｆより長い場合（Ｎｏ）、ステップＳ１２０５に進み、動画動きベクトル算出部１１０４で動画動きベクトルが算出されてステップＳ１２０６に進む。次に、ステップＳ１２０６で、ステップＳ１２０４から入力された補正動きベクトルまたはステップＳ１２０５から入力された動画動きベクトルを基に、切り出し処理部１１０５で切り出し処理が行われた後、ステップＳ１２０７に進んで振れ補正処理が終了する。蓄積開始から終了までの時間が短い方が、被写体の動きや手振れなどによるカメラの動きによって生じる画像の劣化が小さく、先鋭度が高い画像が得られる。 In step S1202, it is determined whether the still image accumulation time T is equal to or shorter than the moving image accumulation period Tf. When the still image accumulation time T is equal to or shorter than the moving image accumulation period Tf (Yes), the process advances to step S1203, and the motion vector calculation unit 1102 calculates a motion vector. Thereafter, the process proceeds to step S1204, the corrected motion vector is calculated by the motion vector correction unit 1103, and the process proceeds to step S1206. On the other hand, if the still image accumulation time T is longer than the moving image accumulation period Tf in step S1202 (No), the process proceeds to step S1205, the moving image motion vector calculation unit 1104 calculates the moving image motion vector, and the process proceeds to step S1206. Next, in step S1206, the cutout processing unit 1105 performs cutout processing based on the corrected motion vector input from step S1204 or the moving image motion vector input from step S1205, and then the process proceeds to step S1207. The process ends. When the time from the start to the end of accumulation is shorter, an image with a high degree of sharpness can be obtained with less image degradation caused by camera movement due to subject movement or camera shake.
本実施例では、第１の画像である静止画の蓄積開始から終了までの時間が、第２の画像である動画の蓄積開始から終了までの時間より長いときは、第２の画像である動画から算出した動きベクトルを用いて動画の振れ補正処理を行う。従って、静止画と動画のうち、蓄積開始から終了までの時間が短いほうの画像、すなわち先鋭度が高い画像から動きベクトルを算出でき、動画撮影に適応する動きベクトルの算出精度が向上する。 In this embodiment, when the time from the start to the end of the accumulation of the still image that is the first image is longer than the time from the start to the end of the accumulation of the moving image that is the second image, the moving image that is the second image Using the motion vector calculated from the above, motion blur correction processing is performed. Accordingly, it is possible to calculate a motion vector from an image having a shorter time from the start to the end of accumulation of still images and moving images, that is, an image having a high degree of sharpness, and the accuracy of calculating a motion vector suitable for moving image shooting is improved.
（第４実施形態）
次に、第４実施形態について説明する。第３実施形態と同じ部分については同じ番号を付すことで説明を省略する。第３実施形態に対する主な相違点は、動きベクトルの信頼度によって適応する動きベクトルを変更することである。
(Fourth embodiment)
Next, a fourth embodiment will be described. About the same part as 3rd Embodiment, description is abbreviate | omitted by attaching | subjecting the same number. The main difference from the third embodiment is that the motion vector to be adapted is changed according to the reliability of the motion vector.
動きベクトルを算出すると同時に、算出した動きベクトルの信頼度を算出する方法が公知である（例えば、特開２０１５−１１１７６４中の動きベクトル検出部１０３に相当する）。後述する本実施形態に係る動きベクトル算出部１３０２と動画動きベクトル算出部１３０４は、探索範囲上の基準ブロックの位置と相関値の関係から信頼度を算出することが可能である。信頼度は、別に設けられたジャイロセンサの出力との乖離の大小などから算出してもよい。 A method for calculating the reliability of the calculated motion vector at the same time as calculating the motion vector is known (for example, corresponding to the motion vector detection unit 103 in JP-A-2015-111864). The motion vector calculation unit 1302 and the moving image motion vector calculation unit 1304 according to the present embodiment, which will be described later, can calculate the reliability from the relationship between the position of the reference block on the search range and the correlation value. The reliability may be calculated from the magnitude of deviation from the output of a gyro sensor provided separately.
図１９は、本実施例の振れ補正処理部１３００の構成を示す図である。動きベクトル算出部１３０２は、動きベクトルと、動きベクトルの信頼度（以下、信頼度Ｒｓと定義する）を出力する。動画動きベクトル算出部１３０４は、動画動きベクトルと、動画動きベクトルの信頼度（以下、信頼度Ｒｍと定義する）を算出する。動きベクトル選択部１３０１は、動きベクトルの信頼度と動画動きベクトルの信頼度を比較して、動きベクトルと動画動きベクトルのどちらかを選択して出力する。 FIG. 19 is a diagram illustrating a configuration of the shake correction processing unit 1300 of the present embodiment. The motion vector calculation unit 1302 outputs a motion vector and the reliability of the motion vector (hereinafter, defined as reliability Rs). The moving image motion vector calculation unit 1304 calculates the moving image motion vector and the reliability of the moving image motion vector (hereinafter, defined as reliability Rm). The motion vector selection unit 1301 compares the reliability of the motion vector and the reliability of the moving image motion vector, and selects and outputs either the motion vector or the moving image motion vector.
図２０は、本実施形態に係る振れ補正処理部１３００の動作を示すフローチャートである。まず、ステップＳ１４０１で、振れ補正処理が開始されると、ステップＳ１４０２において、動きベクトル算出部１３０２で動きベクトルおよび信頼度が算出される。これとほぼ同時に、ステップＳ１４０３において動きベクトル補正部１３０３で補正動きベクトルが算出される。次に、ステップＳ１４０４で、動画動きベクトル算出部１３０４において動画動きベクトルおよび信頼度が算出される。次に、ステップＳ１４０５で、動きベクトルの信頼度Ｒｓと動画動きベクトルの信頼度Ｒｍを比較する。そして、ステップＳ１４０５で動きベクトルの信頼度Ｒｓが動画動きベクトルの信頼度Ｒｍ以上である場合（Ｙｅｓ）、ステップＳ１４０６で、動きベクトル選択部１３０１から補正動きベクトルが出力される。一方、ステップＳ１４０５で動きベクトルの信頼度Ｒｓが動画動きベクトルの信頼度Ｒｍより小さい場合（Ｎｏ）、ステップＳ１４０７で、動きベクトル選択部１３０１から動画動きベクトルが出力される。その後、ステップＳ１４０８で、切り出し処理が行われた後、ステップＳ１４０９に進んで振れ補正処理が終了する。 FIG. 20 is a flowchart showing the operation of the shake correction processing unit 1300 according to this embodiment. First, when shake correction processing is started in step S1401, a motion vector and reliability are calculated by the motion vector calculation unit 1302 in step S1402. At substantially the same time, the motion vector correction unit 1303 calculates a corrected motion vector in step S1403. Next, in step S1404, the moving image motion vector calculation unit 1304 calculates the moving image motion vector and the reliability. In step S1405, the motion vector reliability Rs is compared with the motion vector reliability Rm. If the motion vector reliability Rs is equal to or higher than the motion vector reliability Rm in step S1405 (Yes), the motion vector selection unit 1301 outputs a corrected motion vector in step S1406. On the other hand, if the motion vector reliability Rs is smaller than the motion vector reliability Rm in step S1405 (No), the motion vector selection unit 1301 outputs the motion vector motion vector in step S1407. Thereafter, after the cutout process is performed in step S1408, the process proceeds to step S1409, and the shake correction process ends.
本実施形態では、第１演算手段であるところの動きベクトル算出部６０１と動きベクトル補正部６０２は、複数の第１の画像である複数の静止画から算出した動きベクトルの信頼度Ｒｍを算出可能である。また、第２演算手段であるところの動画動きベクトル算出部１３０４は、複数の第２の画像である複数の動画から算出した動きベクトルの信頼度Ｒｍを算出可能である。さらに、画像処理手段であるところの振れ補正処理部１３００は、信頼度Ｒｓが信頼度Ｒｍより小さいときは、第２演算手段であるところの動画動きベクトル算出部１３０４が算出した動きベクトルを用いて動画の振れ補正処理を行う。従って、静止画と動画から算出された動きベクトルのうち、信頼度が高い方の動きベクトルを選択でき、動画撮影に適応する動きベクトルの算出精度が向上する。 In this embodiment, the motion vector calculation unit 601 and the motion vector correction unit 602 serving as the first calculation unit can calculate the reliability Rm of the motion vector calculated from a plurality of still images that are a plurality of first images. It is. In addition, the moving image motion vector calculation unit 1304 serving as the second computing unit can calculate the reliability Rm of the motion vector calculated from a plurality of moving images that are a plurality of second images. Further, when the reliability Rs is smaller than the reliability Rm, the shake correction processing unit 1300 serving as the image processing unit uses the motion vector calculated by the moving image motion vector calculating unit 1304 serving as the second calculation unit. Perform video shake correction processing. Therefore, a motion vector with higher reliability can be selected from motion vectors calculated from still images and moving images, and the accuracy of calculating a motion vector adapted to moving image shooting is improved.
本発明の構成は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。例えば、撮像素子１８４上の領域を分割し、ある領域では静止画を撮像し、他の領域では動画を撮像する構成であってもよい。また、複数の撮像素子を備えており、ある撮像素子で静止画を撮像し、他の撮像素子で動画を撮像する構成であってもよい。その際、途中で光路を分割して異なる撮像面上に複数の撮像素子を配置してもよく、同一撮像面上に複数の撮像素子を配置してもよい。上記の構成であれば、静止画と動画の蓄積を同時に行うことができ、撮像シーケンスの自由度が高くできる。 The configuration of the present invention is not limited to those exemplified in the above embodiments, and can be appropriately changed without departing from the gist of the present invention. For example, an area on the image sensor 184 may be divided, a still image may be captured in a certain area, and a moving image may be captured in another area. Further, a configuration may be employed in which a plurality of image sensors are provided, a still image is captured by a certain image sensor, and a moving image is captured by another image sensor. At that time, a plurality of image sensors may be arranged on different imaging surfaces by dividing the optical path in the middle, or a plurality of image sensors may be arranged on the same imaging surface. With the above configuration, still images and moving images can be stored simultaneously, and the degree of freedom of the imaging sequence can be increased.
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。 Moreover, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary.
１８４ 撮像素子
６０１ 動きベクトル算出部
６０３ 切り出し処理部
184 Image sensor 601 Motion vector calculation unit 603 Cutout processing unit
Claims (8)
複数の前記第１の画像から動きベクトルを算出する演算手段と、
前記動きベクトルを用いて、前記第２の画像から生成される動画像の画像処理を行う画像処理手段と、
を有する
ことを特徴とする撮像装置。 Imaging means capable of continuously acquiring a first image and a second image having a longer time from the start to the end of the accumulation than the first image;
Computing means for calculating a motion vector from a plurality of the first images;
Image processing means for performing image processing of a moving image generated from the second image using the motion vector;
An imaging device comprising:
被写体の光学像を前記撮像手段に結像させる光学系と、
複数の前記第１の画像から動きベクトルを算出する演算手段と、
前記動きベクトルを用いて、前記光学系の制御を行う光学系制御手段と、
を有する
ことを特徴とする撮像装置。 Imaging means capable of continuously acquiring a first image and a second image having a longer time from the start to the end of the accumulation than the first image;
An optical system for forming an optical image of a subject on the imaging means;
Computing means for calculating a motion vector from a plurality of the first images;
Optical system control means for controlling the optical system using the motion vector;
An imaging device comprising:
ことを特徴とする請求項１または２に記載の撮像装置。 The imaging means finishes reading the first image before the imaging means finishes reading the second image, and the computing means starts calculating a motion vector. Item 3. The imaging device according to Item 1 or 2.
前記画像処理手段または前記光学系制御手段は、前記算出した第１の画像の動きベクトルの信頼度が、前記算出した第２の画像の動きベクトルの信頼度より小さい場合、前記第２の画像の動きベクトルを用いる
ことを特徴とする請求項３に記載の撮像装置。 The calculation means further calculates a reliability of the motion vector of the second image and each of the motion vectors of the first image and the second image,
When the reliability of the calculated motion vector of the first image is smaller than the reliability of the calculated motion vector of the second image, the image processing means or the optical system control means The imaging apparatus according to claim 3, wherein a motion vector is used.
複数の前記第１の画像から動きベクトルを算出する第１演算手段と、
複数の前記第２の画像から動きベクトルを算出する第２演算手段と、
前記第１演算手段が算出した動きベクトルと前記第２演算手段が算出した動きベクトルを選択する選択手段と
を有し、
前記選択手段は、前記第１の画像の蓄積開始から終了までの時間が、前記第２の画像の蓄積開始から終了までの時間より長い場合、前記第２の画像から算出した動きベクトルを選択する
ことを特徴とする撮像装置。 Imaging means capable of continuously acquiring a first image and a second image having a different accumulation time from the first image;
First computing means for calculating a motion vector from a plurality of the first images;
Second calculating means for calculating a motion vector from a plurality of the second images;
A selection means for selecting the motion vector calculated by the first calculation means and the motion vector calculated by the second calculation means;
The selection unit selects a motion vector calculated from the second image when the time from the start to the end of accumulation of the first image is longer than the time from the start to the end of accumulation of the second image. An imaging apparatus characterized by that.
複数の前記第１の画像から動きベクトルを算出する演算工程と、
前記動きベクトルを用いて、前記第２の画像から生成される動画像の画像処理を行う画像処理工程と、
を有する
ことを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus including an imaging unit capable of continuously acquiring a first image and a second image having a longer time from the start to the end of accumulation than the first image,
A calculation step of calculating a motion vector from a plurality of the first images;
An image processing step of performing image processing of a moving image generated from the second image using the motion vector;
A method for controlling an imaging apparatus, comprising:
複数の前記第１の画像から動きベクトルを算出する演算工程と、
前記動きベクトルを用いて、前記光学系の制御を行う光学系制御工程と、
を有する
ことを特徴とする撮像装置の制御方法。 An imaging unit capable of continuously acquiring a first image and a second image having a longer time from the start to the end of accumulation than the first image, and an optical for forming an optical image of a subject on the imaging unit A method for controlling an imaging apparatus including a system,
A calculation step of calculating a motion vector from a plurality of the first images;
An optical system control step of controlling the optical system using the motion vector;
A method for controlling an imaging apparatus, comprising:
複数の前記第１の画像から動きベクトルを算出する第１演算工程と、
複数の前記第２の画像から動きベクトルを算出する第２演算工程と、
前記第１の画像から算出した動きベクトルと前記第２の画像から算出した動きベクトルを選択する選択工程と
を有し、
前記選択工程では、前記第１の画像の蓄積開始から終了までの時間が、前記第２の画像の蓄積開始から終了までの時間より長い場合、前記第２の画像から算出した動きベクトルを選択する
ことを特徴とする撮像装置の制御方法。 A control method for an imaging apparatus comprising imaging means capable of continuously acquiring a first image and a second image having a different accumulation time from the first image,
A first calculation step of calculating a motion vector from a plurality of the first images;
A second calculation step of calculating a motion vector from a plurality of the second images;
A selection step of selecting a motion vector calculated from the first image and a motion vector calculated from the second image;
In the selection step, when the time from the start to the end of accumulation of the first image is longer than the time from the start to the end of accumulation of the second image, the motion vector calculated from the second image is selected. And a method of controlling the imaging apparatus.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017140851A JP2019022139A (en) | 2017-07-20 | 2017-07-20 | Imaging apparatus and control method of the same |
| US16/031,470 US20190026902A1 (en) | 2017-07-20 | 2018-07-10 | Imaging apparatus and control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017140851A JP2019022139A (en) | 2017-07-20 | 2017-07-20 | Imaging apparatus and control method of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019022139A true JP2019022139A (en) | 2019-02-07 |
Family
ID=65355819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017140851A Pending JP2019022139A (en) | 2017-07-20 | 2017-07-20 | Imaging apparatus and control method of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019022139A (en) |
-
2017
- 2017-07-20 JP JP2017140851A patent/JP2019022139A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8848097B2 (en) | Image processing apparatus, and method, for providing special effect | |
| JP2013046259A (en) | Video apparatus, control method, and program | |
| US20140286593A1 (en) | Image processing device, image procesisng method, program, and imaging device | |
| JP6321990B2 (en) | Imaging apparatus and imaging method | |
| JP2009124661A (en) | Imaging apparatus | |
| JP6758946B2 (en) | Imaging device and playback device | |
| JP6261397B2 (en) | Imaging apparatus and control method thereof | |
| US11516414B2 (en) | Imaging device and method of controlling the same | |
| US20130002952A1 (en) | Image synthesizing apparatus that synthesizes multiple images to obtain moving image, control method therefor, and storage medium | |
| JP2013110754A (en) | Camera device, and photographing method and program of the same | |
| JP4865648B2 (en) | Imaging device | |
| JP4860567B2 (en) | Imaging device | |
| JP2010193324A (en) | Camera apparatus, photographing method thereof and program | |
| JP2017112596A (en) | Imaging apparatus and control method of the same | |
| US20190026902A1 (en) | Imaging apparatus and control method | |
| JP7013254B2 (en) | Image pickup device and control method of image pickup device | |
| JP2019041170A (en) | Imaging apparatus and control method of the same | |
| JP7271155B2 (en) | Imaging device and its control method | |
| JP2019022139A (en) | Imaging apparatus and control method of the same | |
| JP7234015B2 (en) | Imaging device and its control method | |
| JP2012099887A (en) | Imaging device | |
| CN111917947A (en) | Image pickup apparatus, control method thereof, and machine-readable medium | |
| JP6674225B2 (en) | Imaging device and image distortion detection method | |
| JP2018125697A (en) | Imaging apparatus and control method thereof | |
| US11832020B2 (en) | Image pickup apparatus, image pickup method, and storage medium |