JP2021016037A - Imaging device and method of controlling the same - Google Patents

Abstract

To provide means capable of acquiring, even when a large shake is caused during an exposure period, an image having the shake suppressed.SOLUTION: An imaging device comprises: imaging means which comprises an imaging element consisting of a plurality of pixels and picks up an image under previously set exposure conditions; and shake detecting means which detects a shake of the imaging device. The imaging means comprises a physical mechanical trailing curtain which travels to block incidence of light on the imaging element under previously set exposure conditions, and a resetting part which performs sequential resetting operation on the imaging element, line by line, and also allows, when a detection result of a shake detected by the shake detecting means exceeds a predetermined value, the mechanical trailing curtain to travel earlier than under the previously set exposure condition to block the incidence of the light on the imaging element.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置およびその制御方法に関し、特に蓄積振れを抑えた画像を取得することが可能な撮像装置に関するものである。 The present invention relates to an image pickup device and a control method thereof, and more particularly to an image pickup device capable of acquiring an image in which accumulated runout is suppressed.

近年、普及しているデジタルカメラ（以降、カメラ）では、撮影前に露光条件（露光時間）を設定して露光を行うことで、画像データを取得することが一般的である。このとき、予め設定した露光時間が長い場合には、手振れや被写体の動きによって露光時間中のブレが発生し、蓄積振れが発生した画像が撮像されることがある。 In recent years, in digital cameras (hereinafter referred to as cameras) that have become widespread, it is common to acquire image data by setting exposure conditions (exposure time) and performing exposure before shooting. At this time, if the preset exposure time is long, blurring may occur during the exposure time due to camera shake or movement of the subject, and an image in which accumulated shake may occur may be captured.

それに対して、デジタルカメラの多くは、画像の振れを低減させるために、手振れ補正機能を備えている。例えば、筐体内の撮像素子を移動させることで手振れを打ち消すイメージャーシフト式手振れ補正、レンズ側を駆動させる光学式タイプの補正方式や、撮像素子上で撮像した画像を切り出す画像処理による補正方式などがある。 On the other hand, many digital cameras are provided with an image stabilization function in order to reduce image shake. For example, imager shift type image stabilization that cancels camera shake by moving the image sensor inside the housing, optical type correction method that drives the lens side, correction method by image processing that cuts out the image captured on the image sensor, etc. There is.

特許文献１は、イメージャーシフト式の振れ補正機能を有した撮像装置において、振れの検出結果に基づいて移動させた撮像素子の移動量を算出し、撮像素子の移動分に対して電子先幕のリセットタイミングを調整して露光量の調整を行っている。これにより、イメージャーシフト式の振れ補正が行われる場合に、撮像素子のシフト量に応じて電子先幕とメカ後幕の間のスリット幅が上部と下部で均一になるように制御することで、振れを抑えつつ画面全体の光量が均一な画像を生成することができる。 Patent Document 1 calculates the amount of movement of an image sensor that has been moved based on the detection result of shake in an image pickup device having an imager shift type shake correction function, and makes an electronic front curtain with respect to the amount of movement of the image sensor. The amount of exposure is adjusted by adjusting the reset timing of. As a result, when imager shift type runout correction is performed, the slit width between the electronic front curtain and the mechanical rear curtain is controlled to be uniform at the upper and lower parts according to the shift amount of the image sensor. It is possible to generate an image in which the amount of light on the entire screen is uniform while suppressing shake.

特開２０１２−１２９５８８公報Japanese Unexamined Patent Publication No. 2012-129588

しかしながら参考文献１によれば、手振れ補正が働く補正範囲では撮像素子を移動させ、手振れを抑えつつスリット幅の上部と下部での光量を均一にするように調整が行える一方で、撮像素子を動かす具材の可動限界範囲以上の手振れを補正することはできない。したがって、露光期間中に大きな振れが発生した場合には、振れの影響で蓄積振れした画像となってしまい、画像の上下のラインの明るさの違いよりも許容しがたい蓄積振れした画像になってしまう。 However, according to Reference 1, the image sensor can be moved in the correction range in which image stabilization works, and the image sensor can be moved while suppressing camera shake and adjusting the amount of light at the upper and lower parts of the slit width to be uniform. It is not possible to correct camera shake beyond the movable limit range of the ingredients. Therefore, if a large shake occurs during the exposure period, the image will have accumulated shake due to the influence of the shake, and the accumulated shake will be more unacceptable than the difference in brightness between the upper and lower lines of the image. It ends up.

そこで、本発明の目的は、露光期間中に大きな振れが発生する場合にも、振れを抑えた画像を取得することが可能な手段を提供することにある。 Therefore, an object of the present invention is to provide a means capable of acquiring an image in which the shake is suppressed even when a large shake occurs during the exposure period.

上記目的を達成するために、本発明は、複数の画素からなる撮像素子を備え、所定の露光時間を含む露光条件に基づいて被写体を撮像して画像を生成する撮像手段と、第１の方式で前記撮像素子の露光を制御する第１の露光手段と、第２の方式で前記撮像素子の露光を制御する第２の露光手段と、前記撮像手段又は前記被写体の動きを検出する検出手段と、前記第１の露光手段による露光を開始したあと前記所定の露光時間を経過する前に、前記検出手段により所定より大きい動きが検出された場合は、前記第２の露光手段により前記露光を終了する制御手段と、を有することを特徴とする。 In order to achieve the above object, the present invention includes an imaging means including an imaging element composed of a plurality of pixels, imaging a subject based on exposure conditions including a predetermined exposure time, and generating an image, and a first method. A first exposure means for controlling the exposure of the image pickup element, a second exposure means for controlling the exposure of the image pickup element by a second method, and a detection means for detecting the movement of the image pickup means or the subject. If a movement larger than a predetermined value is detected by the detection means after the exposure by the first exposure means is started and before the predetermined exposure time elapses, the exposure is ended by the second exposure means. It is characterized by having a control means for the operation.

本発明によれば、露光期間中に大きな振れが発生する場合にも振れを抑えた画像を取得することが可能な撮像装置を提供することを目的とする。 According to an object of the present invention, it is an object of the present invention to provide an image pickup apparatus capable of acquiring an image in which the shake is suppressed even when a large shake occurs during an exposure period.

本発明に係る撮像装置（カメラ）の構成例を示すブロック図A block diagram showing a configuration example of an imaging device (camera) according to the present invention. 電子先幕メカ後幕シャッタの例を示す正面図Front view showing an example of the electronic front curtain mechanical rear curtain shutter 第１の実施形態に係る電子シャッタのタイミングを表す図The figure which shows the timing of the electronic shutter which concerns on 1st Embodiment 第１の実施形態に係る撮像動作を説明するフローチャートFlow chart for explaining the imaging operation according to the first embodiment 第１の実施形態に係る撮像装置（カメラ）の振れの例をステップ示す図The figure which shows the example of the shake of the image pickup apparatus (camera) which concerns on 1st Embodiment step | 第１の実施形態に係る撮像装置（カメラ）の振れとメカ後幕の制御の例を示す図The figure which shows the example of the runout of the image pickup apparatus (camera) and the control of a mechanical rear curtain which concerns on 1st Embodiment 第２の実施形態に係る撮像動作を説明するフローチャートFlow chart for explaining the imaging operation according to the second embodiment 第２の実施形態に係る露出の異なる画像のレベル合わせの例を示す図The figure which shows the example of the level adjustment of the image with different exposures which concerns on 2nd Embodiment 第２の実施形態に係る露出の異なる画像の合成比率の例を示す図The figure which shows the example of the composition ratio of the image with different exposures which concerns on 2nd Embodiment 第３の実施形態に係る動きベクトル算出方法の例を示す図The figure which shows the example of the motion vector calculation method which concerns on 3rd Embodiment

以下、本発明の好適な一実施形態について、添付の図面を参照して詳細に説明する。なお、以下に説明する一実施形態は撮像装置であり、一例としてのデジタルカメラ（以降、カメラ）に本発明を適用した例を説明する。 Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. An embodiment described below is an imaging device, and an example in which the present invention is applied to a digital camera (hereinafter referred to as a camera) as an example will be described.

（第１の実施形態）
本発明の第１の実施形態は、一例として、後述する電子シャッタ方式の撮影時に、露光期間中のカメラの振れ量を検出し、検出した振れ量を元にメカシャッタを駆動させて露光時間を制御するカメラに関して説明を行う。 (First Embodiment)
In the first embodiment of the present invention, as an example, when shooting with the electronic shutter method described later, the amount of camera shake during the exposure period is detected, and the mechanical shutter is driven based on the detected amount of shake to control the exposure time. I will explain about the camera to be used.

以下、本発明の実施形態に係る撮像装置（カメラ）の構成例について図１を参照して説明する。図１は、本発明の実施形態に係るカメラ１００の構成例を示すブロック図である。 Hereinafter, a configuration example of the imaging device (camera) according to the embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration example of the camera 100 according to the embodiment of the present invention.

制御部１０１は、例えばＣＰＵであり、カメラ１００が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、カメラ１００全体を制御して、カメラ１００が備える各ブロックの機能を実行する。 The control unit 101 is, for example, a CPU, reads a control program for each block included in the camera 100 from the ROM 102 described later, expands the control program into the RAM 103 described later, and executes the control program. As a result, the entire camera 100 is controlled to execute the function of each block included in the camera 100.

ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、カメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。 The ROM 102 is a non-volatile memory that can be electrically erased and recorded, and stores, in addition to the operation program of each block included in the camera 100, parameters and the like necessary for the operation of each block.

ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１等が実行するプログラムの展開や、カメラ１００が備える各ブロックの動作で生成等されたデータの一時的な記憶等に用いられる。 The RAM 103 is a rewritable volatile memory, and is used for developing a program executed by the control unit 101 or the like, temporarily storing data generated by the operation of each block included in the camera 100, or the like.

光学系１０４は、例えば、ズームレンズ、フォーカスレンズなどの光学素子を含むレンズ群で構成され、入射した被写体像を後述の撮像素子１０５の撮像面上に結像する。 The optical system 104 is composed of a lens group including optical elements such as a zoom lens and a focus lens, and forms an incident subject image on an image pickup surface of an image pickup device 105 described later.

撮像素子１０５は、例えばＣＣＤやＣＭＯＳセンサ等で構成される。撮像素子１０５の各画素は、露光されている間、光学系１０４により撮像素子１０５の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号を後述のＡ／Ｄ変換部１０６に出力する。 The image sensor 105 is composed of, for example, a CCD or a CMOS sensor. While each pixel of the image sensor 105 is exposed, the optical image formed on the image pickup surface of the image sensor 105 by the optical system 104 is photoelectrically converted, and the obtained analog image signal is A / D-converted, which will be described later. Output to unit 106.

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換し、Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。 The A / D conversion unit 106 converts the input analog image signal into digital image data, and the digital image data output from the A / D conversion unit 106 is temporarily stored in the RAM 103.

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用して画像を生成する。また、撮像した画像信号を用いて、所定の演算処理が行われ、得られた演算結果に基づいて、後述するパルス発生部１０９や垂直駆動変調部１１０による露光制御や、測距制御など、撮像制御が行われる。 The image processing unit 107 applies various image processing such as white balance adjustment, color interpolation, and gamma processing to the image data stored in the RAM 103 to generate an image. Further, a predetermined calculation process is performed using the captured image signal, and based on the obtained calculation result, an image is taken such as exposure control by the pulse generation unit 109 and the vertical drive modulation unit 110, which will be described later, and distance measurement control. Control is done.

記録部１０８は、着脱可能なメモリカード等であり、画像処理部１０７で処理された画像データを記録画像として記録する。 The recording unit 108 is a detachable memory card or the like, and records the image data processed by the image processing unit 107 as a recorded image.

パルス発生部１０９は、非撮影状態から撮影状態に移行した際に、撮像素子１０５に走査クロック（水平駆動パルス）や所定の制御パルスを供給する。パルス発生部１０９で発生した走査クロックのうち、垂直走査用のクロックは、後述の垂直駆動変調部１１０に入力する。 The pulse generation unit 109 supplies a scanning clock (horizontal drive pulse) and a predetermined control pulse to the image sensor 105 when the state shifts from the non-shooting state to the shooting state. Of the scanning clocks generated by the pulse generating unit 109, the clock for vertical scanning is input to the vertical drive modulation unit 110 described later.

垂直駆動変調部１１０は、パルス発生部１０９で発生した走査クロック信号のうち、垂直走査用のクロックを所定のクロック周波数に変調し、撮像素子１０５に入力する。この垂直駆動変調部１１０によって、複数の画素からなる撮像素子１０５のライン毎に行われるリセット走査および読み出しの走査パターンが決定される。この撮像素子１０５のライン毎のリセット走査および読み出し走査により、電子シャッタとしての機能を実現する。 The vertical drive modulation unit 110 modulates the clock for vertical scanning among the scanning clock signals generated by the pulse generation unit 109 to a predetermined clock frequency, and inputs the clock to the image sensor 105. The vertical drive modulation unit 110 determines a scan pattern for reset scanning and readout performed for each line of the image sensor 105 composed of a plurality of pixels. The function as an electronic shutter is realized by the reset scanning and the readout scanning for each line of the image sensor 105.

ジャイロセンサ１１１は、角速度を検出する動き検知センサであり、カメラの振れの大きさを判別する。 The gyro sensor 111 is a motion detection sensor that detects the angular velocity, and determines the magnitude of camera shake.

メカシャッタ１１２は、撮像素子１０５に入射する光を物理的に遮る遮光機構を実現する開閉式のシャッタ機構で、複数の遮光羽根で構成される。制御部１０１は、メカシャッタ１１２の走行を開始させるタイミングを調整することで露光時間（シャッタースピード）を制御することができる。本実施形態において、メカシャッタ１１２は、メカ後幕シャッタとしての機能を実現する。 The mechanical shutter 112 is an open / close type shutter mechanism that realizes a light-shielding mechanism that physically blocks the light incident on the image sensor 105, and is composed of a plurality of light-shielding blades. The control unit 101 can control the exposure time (shutter speed) by adjusting the timing at which the mechanical shutter 112 starts traveling. In the present embodiment, the mechanical shutter 112 realizes a function as a mechanical rear curtain shutter.

表示部１１３は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３に記憶されている画像や記録部１０８に記録されている画像の表示、ユーザの指示を受け付けるための操作ユーザインターフェイスの表示等を行う。また、表示部１１３は、準備撮影中に構図合わせ等のために撮像素子１０５が撮像した画像を表示（ライブビュー表示）する。 The display unit 113 is a display device such as an LCD, and displays an image stored in the RAM 103 or an image recorded in the recording unit 108, displays an operation user interface for receiving a user's instruction, and the like. In addition, the display unit 113 displays an image captured by the image sensor 105 (live view display) for composition adjustment and the like during the preparatory shooting.

以上、カメラ１００の構成について説明した。 The configuration of the camera 100 has been described above.

続いて、撮像装置の電子制御の先幕（以降、電子先幕）とメカニカルシャッタの後幕（以降、メカ後幕）を併用した電子先幕シャッタ方式の構成と撮影動作について図２を用いて詳細に説明する。この電子先幕シャッタ方式の動作は、まず、電子先幕により撮像素子の画素の蓄積電荷量をゼロにするリセット操作がライン毎に行われる。その後、リセット操作を行った撮像素子のライン毎に、所定の時間を経過してから、メカ後幕を実行し、撮像素子に入ってくる光を遮断した後に蓄積した電荷を読み出す走査を行うことで、露光時間を制御するカメラのシャッタ機構を実現している。 Next, FIG. 2 is used to describe the configuration and shooting operation of the electronic front curtain shutter system in which the electronically controlled front curtain (hereinafter, electronic front curtain) of the image pickup apparatus and the rear curtain of the mechanical shutter (hereinafter, mechanical rear curtain) are used together. This will be described in detail. In the operation of this electronic front curtain shutter method, first, a reset operation is performed for each line by using the electronic front curtain to reduce the accumulated charge amount of the pixels of the image sensor to zero. After that, for each line of the image sensor that has undergone the reset operation, after a predetermined time has elapsed, the mechanical rear curtain is executed, the light entering the image sensor is blocked, and then the accumulated charge is read out. Therefore, the shutter mechanism of the camera that controls the exposure time is realized.

図２は、電子先幕シャッタの例を示す正面図であり、撮像素子１０５およびメカ後幕２０３をレンズ側から光軸方向に沿ってみた様子を示す。撮影が開始された後の撮像素子１０５で行われるリセット走査及び、メカ後幕２０３が走行途中である時の状態を示しており、メカシャッタ１１２で構成されるメカ後幕２０３が、撮像素子１０５の一部の領域を遮光している状態である。矢印２０１は、リセット走査の方向（電子先幕２０７の走行方向）とメカ後幕２０３の走行方向を示している。リセットライン２０８は、撮像素子１０５で行われるリセット走査のライン（リセットライン）であり、リセットライン２０８に沿ってライン毎に画素の蓄積電荷量がゼロにリセットされる。 FIG. 2 is a front view showing an example of an electronic front curtain shutter, and shows a state in which the image sensor 105 and the mechanical rear curtain 203 are viewed from the lens side along the optical axis direction. The reset scan performed by the image sensor 105 after the start of photographing and the state when the mechanical rear curtain 203 is in the middle of traveling are shown, and the mechanical rear curtain 203 composed of the mechanical shutter 112 is the image sensor 105. It is in a state where a part of the area is shielded from light. The arrow 201 indicates the reset scanning direction (traveling direction of the electronic front curtain 207) and the traveling direction of the mechanical rear curtain 203. The reset line 208 is a reset scanning line (reset line) performed by the image sensor 105, and the accumulated charge amount of the pixel is reset to zero for each line along the reset line 208.

リセットライン２０８とメカ後幕２０３の端部２０５との間のスリットによって形成される領域２０６は、電子先幕２０７とメカ後幕２０３の走行にしたがって矢印２０１の方向へ移動していくように制御する。リセットライン２０８が通過してから、つまり画素が矢印２０１の方向ヘライン毎に順次リセットされてから、メカ後幕２０３によって遮光状態となるまでの時間が、画素の露光による電荷蓄積時間となる。このように、リセットライン２０８が矢印２０１の方向へ走行してライン毎の電荷蓄積が開始されるので、電荷蓄積の開始タイミングは撮像素子１０５のライン毎に異なる。 The region 206 formed by the slit between the reset line 208 and the end 205 of the mechanical rear curtain 203 is controlled to move in the direction of arrow 201 as the electronic front curtain 207 and the mechanical rear curtain 203 travel. To do. The time from the passage of the reset line 208, that is, the time when the pixels are sequentially reset for each direction of the arrow 201 to the time when the light-shielded state is set by the mechanical rear curtain 203, is the charge accumulation time due to the exposure of the pixels. In this way, since the reset line 208 travels in the direction of the arrow 201 and the charge accumulation is started for each line, the start timing of the charge accumulation is different for each line of the image sensor 105.

次に、図３を用いて、本実施形態に係る電子シャッタ方式による電荷蓄積のタイミングを詳しく説明する。図３は、第１の実施形態に係る電子シャッタのタイミングを表す図である。図３（ａ）は電荷のリセットと読み出し開始の概念図、（ｂ）はライン毎の電荷のリセットと読み出しのタイミング説明図である。図３（ｂ）は縦軸が撮像素子の行（ライン）、横軸が時間を示し、リセットタイミング４０１〜４１０はライン毎に電荷をリセット処理されるタイミングを表しており、リセットタイミング４０１で最初のラインが電荷をリセットされる。逆に、リセットタイミング４１０で最後のラインがリセットされる。このように、ライン毎にリセットのタイミングを制御している。ライン毎にリセットのタイミングが異なるため、電荷の蓄積時間が各ラインで揃うように、ライン毎に同じ露光時間になるタイミングで電荷を読み出すように、制御部１０１が読み出しタイミング４１１〜４２０を制御する。 Next, with reference to FIG. 3, the timing of charge accumulation by the electronic shutter method according to the present embodiment will be described in detail. FIG. 3 is a diagram showing the timing of the electronic shutter according to the first embodiment. FIG. 3A is a conceptual diagram of charge reset and read start, and FIG. 3B is an explanatory diagram of charge reset and read timing for each line. In FIG. 3B, the vertical axis represents the line of the image sensor, the horizontal axis represents the time, and the reset timings 401 to 410 represent the timing at which the charge is reset for each line, and the reset timing 401 is the first. Line resets the charge. On the contrary, the last line is reset at the reset timing 410. In this way, the reset timing is controlled for each line. Since the reset timing is different for each line, the control unit 101 controls the read timings 411 to 420 so that the charge accumulation time is the same for each line and the charge is read at the same exposure time for each line. ..

続いて、本実施形態におけるカメラ１００の処理について、図４のフローチャートを参照して詳しく説明する。図４は、第１の実施形態に係る撮像動作を説明するフローチャートである。図４のフローチャートにおける各処理は、制御部１０１が、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に展開して、カメラ１００の各機能ブロックを制御することにより実現される。図４のフローチャートは、例えばユーザ操作などにより、カメラ１００が撮影モードになると開始される。 Subsequently, the processing of the camera 100 in the present embodiment will be described in detail with reference to the flowchart of FIG. FIG. 4 is a flowchart illustrating an imaging operation according to the first embodiment. Each process in the flowchart of FIG. 4 is realized by the control unit 101 expanding the program stored in the ROM 102 into the RAM 103 and controlling each functional block of the camera 100. The flowchart of FIG. 4 is started when the camera 100 enters the shooting mode by, for example, a user operation.

ステップＳ３００において、カメラ１００が露光動作を開始するための撮影条件を設定する。具体的な撮影条件は、例えば、シャッタースピード、絞り、ＩＳＯ感度などの露出設定などである。この撮影条件を設定している期間には、カメラ１００は撮影状態を確認するために表示部１０９に撮影前の画像を表示（ライブビュー表示）する。そして、ユーザは表示部１０９に表示された画像を見ながら構図合わせなどを行う。 In step S300, the shooting conditions for the camera 100 to start the exposure operation are set. Specific shooting conditions include, for example, exposure settings such as shutter speed, aperture, and ISO sensitivity. During the period in which the shooting conditions are set, the camera 100 displays the image before shooting (live view display) on the display unit 109 in order to confirm the shooting state. Then, the user adjusts the composition while looking at the image displayed on the display unit 109.

ステップＳ３０１では、画像を生成して記録するための撮影指示があったかどうかを判定する。撮影指示があった場合はステップＳ３０２へ進み、ない場合は撮影指示があるまでライブビュー表示を継続する。なお、ユーザ操作やカメラ１００の自動判定機能などに応答して、撮影条件が変わる場合には、ステップＳ３００へ戻り、撮影条件を再設定する。また、カメラ１００の電源がオフになった場合や、再生モードに移行した場合など、撮影待機状態ではなくなった場合には、本フローチャートは終了する。 In step S301, it is determined whether or not there is a shooting instruction for generating and recording an image. If there is a shooting instruction, the process proceeds to step S302, and if not, the live view display is continued until the shooting instruction is given. If the shooting conditions change in response to a user operation or an automatic determination function of the camera 100, the process returns to step S300 and the shooting conditions are reset. Further, this flowchart ends when the camera 100 is no longer in the shooting standby state, such as when the power of the camera 100 is turned off or when the playback mode is entered.

撮影指示があった場合は、ステップＳ３０２において、ステップＳ３００で設定した撮影条件でカメラ１００は撮影のための露光を開始する。このとき、本実施形態においては、電子シャッタ方式で撮影（露光）を開始する。 When a shooting instruction is given, in step S302, the camera 100 starts exposure for shooting under the shooting conditions set in step S300. At this time, in the present embodiment, shooting (exposure) is started by the electronic shutter method.

次に、ステップＳ３０３において、ジャイロセンサ１１１の検出信号を取得する。ジャイロセンサ１１１は、例えば、ヨーイング方向における振れに応じて角速度を検出するヨーイング角速度センサと、ピッチング方向における振れに応じて角速度を検出するピッチング角度センサから構成される。ジャイロセンサ１１１は、カメラ１００の本体の振れを検出するセンサの一例であり、他の種類としては、加速度センサ等を用いて振れの検出を行うようにしてもよい。 Next, in step S303, the detection signal of the gyro sensor 111 is acquired. The gyro sensor 111 is composed of, for example, a yawing angular velocity sensor that detects an angular velocity according to a runout in the yawing direction and a pitching angle sensor that detects an angular velocity according to a runout in the pitching direction. The gyro sensor 111 is an example of a sensor that detects the runout of the main body of the camera 100, and as another type, the runout may be detected by using an acceleration sensor or the like.

ステップＳ３０４において、ステップＳ３０３で検出したジャイロセンサ１１１の検出信号に対して積分処理を行い、移動距離を算出することでカメラ１００本体の振れの大きさを算出する。加速度センサを用いる場合、加速度センサの出力を積分して速度を算出し、更に速度を積分することにより移動距離を算出することが可能である。したがって、加速度センサの出力に基づき振れの大きさを判別することができる。センサの値は、動いている方向を判断するために、正負の数値になっている。 In step S304, the detection signal of the gyro sensor 111 detected in step S303 is integrated, and the moving distance is calculated to calculate the magnitude of the shake of the camera 100 main body. When an acceleration sensor is used, it is possible to calculate the moving distance by integrating the output of the acceleration sensor to calculate the speed and then integrating the speed. Therefore, the magnitude of the runout can be determined based on the output of the acceleration sensor. The value of the sensor is a positive or negative numerical value in order to judge the direction of movement.

ステップＳ３０５において、ステップＳ３０４において、ジャイロセンサ１１１で検出したカメラ１００の振れが、露光中の蓄積ブレに影響するかを判断する。露光中の蓄積ブレに影響するとは、ここでは、現在露光中の電荷に基づく画像に置けり被写体のブレが大きく、画質の低下が大きいことであるとする。具体的には、カメラ１００の振れの大きさの絶対値が、所定値以内に収まっているか否かで判断する。カメラ１００の振れが露光中の蓄積ブレに影響する場合、すなわち、カメラ１００の振れの大きさの絶対値が所定値以上の場合には、ステップＳ３０６の処理に移行する。逆にカメラ１００の振れが露光中の蓄積ブレに影響しない場合、すなわち、カメラ１００の振れの大きさが所定値以内の場合には、ステップＳ３０７の処理に移行する。 In step S305, in step S304, it is determined whether the shake of the camera 100 detected by the gyro sensor 111 affects the accumulated blur during exposure. Here, it is assumed that the effect of the accumulated blur during the exposure is that the blur of the subject is large and the image quality is greatly deteriorated in the image based on the electric charge currently being exposed. Specifically, it is determined whether or not the absolute value of the magnitude of the shake of the camera 100 is within a predetermined value. When the shake of the camera 100 affects the accumulated blur during exposure, that is, when the absolute value of the shake magnitude of the camera 100 is equal to or more than a predetermined value, the process proceeds to step S306. On the contrary, when the shake of the camera 100 does not affect the accumulated shake during exposure, that is, when the magnitude of the shake of the camera 100 is within a predetermined value, the process proceeds to step S307.

ステップＳ３０６において、撮影条件に設定されている露光時間に基づく電子シャッタによる読み出し（露光終了）のタイミングよりも早く、メカシャッタ１１２を閉じて撮像素子１０５に外光が入射しないように遮断して露光を終了する。 In step S306, the mechanical shutter 112 is closed to block external light from entering the image sensor 105 earlier than the timing of reading (exposure end) by the electronic shutter based on the exposure time set in the shooting conditions, and the exposure is performed. finish.

ステップＳ３０７において制御部１０１は、設定した露光時間になったかどうかを判断する。まだ、設定した露光時間に達していない場合には、露光を継続し、ステップＳ３０３に移行する。一方、設定した露光時間になった場合には、ステップＳ３０８の処理に移行する。 In step S307, the control unit 101 determines whether or not the set exposure time has been reached. If the set exposure time has not been reached yet, the exposure is continued and the process proceeds to step S303. On the other hand, when the set exposure time is reached, the process proceeds to step S308.

ステップＳ３０８において、ライン毎の電荷の読み出しを行い、読み出しが終わったラインから電荷のリセット処理を行うことで、カメラ１００の露光を終了し画像を取得する。 In step S308, the electric charge is read out for each line, and the electric charge is reset from the line where the reading is completed, so that the exposure of the camera 100 is completed and an image is acquired.

ステップＳ３０９において、今回露光した画像が適切な露光時間になっているかを判断する。振れが大きい場合には、適切な露光時間になる前に露光が打ち切られているため、ステップＳ３１０に移行する。 In step S309, it is determined whether or not the image exposed this time has an appropriate exposure time. If the runout is large, the exposure is terminated before the appropriate exposure time is reached, so the process proceeds to step S310.

ステップＳ３１０において、画像データに対して、不足した露光時間に対して、本来の露光時間の明るさになるように、撮像素子１０５から読み出された電気信号（画像信号）を補正する。具体的には、撮像素子１０５からの画像信号に対し、本来の露光時間（所定の露光時間）と、メカシャッタ１１２により本来の露光時間よりも前に遮断したことにより短くなった露光時間との差分に対応したゲイン（デジタルゲイン）を生成する。そして、このゲインに基づいて、撮像素子１０５からの画像信号を補正する。本実施例は、例えば、撮像素子１０５から出力された画像信号に対して、生成したゲインを乗算する信号処理を行う。尚、露光時間の差分から求めるデジタルゲインは、以下の（式１）から求められる。
デジタルゲイン＝撮像開始時に設定した露光時間／（撮像開始時に設定した露光時間−露光開始からメカシャッタ１１２による遮光までの時間）・・・（式１） In step S310, the electric signal (image signal) read from the image sensor 105 is corrected for the image data so that the brightness of the original exposure time is obtained with respect to the insufficient exposure time. Specifically, the difference between the original exposure time (predetermined exposure time) and the exposure time shortened by blocking the image signal from the image sensor 105 before the original exposure time by the mechanical shutter 112. Generates a gain (digital gain) corresponding to. Then, based on this gain, the image signal from the image sensor 105 is corrected. In this embodiment, for example, signal processing is performed by multiplying the image signal output from the image sensor 105 by the generated gain. The digital gain obtained from the difference in exposure time is obtained from the following (Equation 1).
Digital gain = exposure time set at the start of imaging / (exposure time set at the start of imaging-time from the start of exposure to shading by the mechanical shutter 112) ... (Equation 1)

（式１）で算出したデジタルゲインを一律画像に掛けることで、画像データの明るさを期待していた露光時間相当の明るさに補正する。より厳密にゲイン補正を行う場合には、画像データの水平ライン毎にデジタルゲインを算出し、画像データにデジタルゲインを掛けてもよい。 By uniformly multiplying the image by the digital gain calculated by (Equation 1), the brightness of the image data is corrected to the brightness equivalent to the expected exposure time. When the gain correction is performed more strictly, the digital gain may be calculated for each horizontal line of the image data and the digital gain may be applied to the image data.

以上、図４のフローチャートを用いてカメラ１００の動作を説明した。 The operation of the camera 100 has been described above using the flowchart of FIG.

続いて、前述のステップＳ３０５処理で、カメラ１００本体の動きが、蓄積振れに影響するかを判断する方法について図５を用いて詳しく説明する。図５は、第１の実施形態に係る撮像装置の振れの例を示す図であり、露光中に発生するカメラ１００の本体の動きの変化を表したグラフである。ここで動き量とは、ジャイロセンサ１１１が検出したカメラ１００本体の角速度を積分し、移動量に換算した値である。ヨー・ピッチ（場合によってロール）方向それぞれの動きがあるが、ここでは説明を簡単にするため単一のヨー方向のみの検出結果とする。動きの向きを表す符号として＋と−を用いる。＋と−は正反対の動きとする。 Subsequently, a method of determining whether the movement of the camera 100 main body affects the accumulated runout in the above-mentioned step S305 process will be described in detail with reference to FIG. FIG. 5 is a diagram showing an example of runout of the image pickup apparatus according to the first embodiment, and is a graph showing changes in the movement of the main body of the camera 100 that occurs during exposure. Here, the amount of movement is a value obtained by integrating the angular velocity of the camera 100 body detected by the gyro sensor 111 and converting it into the amount of movement. There are movements in each yaw pitch (or roll) direction, but here, for the sake of simplicity, only a single yaw direction is detected. + And-are used as symbols to indicate the direction of movement. + And-are opposite movements.

カメラ１００本体の動きによって、ジャイロセンサ１１１の検出信号が発生する。この時、＋方向の許容閾値５１１から−方向の許容閾値５１２の範囲に含まれる５０１の動きであれば、撮像した画像内に蓄積振れの影響が小さい良好な画像となる。逆に−方向の許容閾値５１２を超える５０２や、＋方向の許容閾値５１１を超える５０３の動きが露光中に含まれた場合には、撮像した画像内に蓄積振れの影響が大きくなり、被写体にボケが目立つ画像となる。このように、ジャイロセンサ１１１を用いてカメラ１００の動きを検出することで、露光中に蓄積振れが発生するかどうかを判断することができる。許容閾値５１１、５１２は、露光中の蓄積振れが人の目で見たときに許容できる限界値である。この許容値はユーザや画像の目的によっても変わってくるため、例えば、ユーザ操作で許容できる度合いを設定できる構成としてもよい。許容できる振れが小さいほど、許容値５１１と許容値５１２の幅を小さくする。また、カメラ１００本体の振れが同じであっても、望遠撮影時と広角撮影時では見え方が違うため、少しの振れでも画像に影響が出やすい望遠側ほど、許容閾値５１１と５１２の幅を小さくするような構成としてもよい。 The detection signal of the gyro sensor 111 is generated by the movement of the camera 100 body. At this time, if the movement is 501 within the range from the allowable threshold value 511 in the + direction to the allowable threshold value 512 in the-direction, a good image with little influence of accumulated runout in the captured image will be obtained. On the contrary, when the movement of 502 exceeding the allowable threshold value 512 in the-direction or 503 exceeding the allowable threshold value 511 in the + direction is included in the exposure, the influence of the accumulated shake becomes large in the captured image, and the subject is affected. The image will be blurred. In this way, by detecting the movement of the camera 100 using the gyro sensor 111, it is possible to determine whether or not accumulated runout occurs during exposure. The permissible threshold values 511 and 512 are limit values that are permissible when the accumulated runout during exposure is seen by the human eye. Since this permissible value changes depending on the user and the purpose of the image, for example, the allowable degree may be set by the user operation. The smaller the permissible runout, the smaller the width between the permissible value 511 and the permissible value 512. Further, even if the camera 100 has the same shake, the appearance differs between telephoto shooting and wide-angle shooting. Therefore, the telephoto side, which is more likely to affect the image even with a slight shake, has a width of the allowable thresholds 511 and 512. It may be configured to be smaller.

続いて、前述のステップＳ３０６の処理で、カメラ１００本体の動きが大きい場合に行うメカ後幕制御の動作について、図６を用いて詳しく説明する。図６は、第１の実施形態に係るカメラ１００（撮像装置）の振れとメカ後幕の制御の例を示す図である。カメラ１００本体の動きの影響で、露光中の画像に蓄積振れが発生しそうな状況になった場合にメカ後幕を制御して露光時間を制御する。 Subsequently, the operation of the mechanical rear curtain control performed when the movement of the camera 100 main body is large in the process of step S306 described above will be described in detail with reference to FIG. FIG. 6 is a diagram showing an example of the runout of the camera 100 (imaging device) and the control of the rear curtain of the mechanism according to the first embodiment. The exposure time is controlled by controlling the rear curtain of the mechanism when the image being exposed is likely to have accumulated runout due to the influence of the movement of the camera 100 body.

図６のリセットタイミング４０１〜４１０（図３（ｂ）と撮影条件は同じ）は、リセットラインである。リセットタイミング４０１でリセット処理を開始した後に、外光が撮像素子１０５に届き、電荷の蓄積が開始される。カメラ１００本体の動きが、露光中に撮像する画像が蓄積振れを発生しない場合には、次のリセット処理の読み出しタイミング４１１〜４２０（図３（ｂ）と撮影条件は同じ）まで電荷が蓄積される。 The reset timings 401 to 410 of FIG. 6 (the shooting conditions are the same as those of FIG. 3B) are reset lines. After the reset process is started at the reset timing 401, the external light reaches the image sensor 105 and the accumulation of electric charges is started. When the movement of the camera 100 body does not cause the accumulated shake of the image captured during the exposure, the electric charge is accumulated until the read timing 411 to 420 of the next reset process (the shooting conditions are the same as those in FIG. 3B). To.

一方、露光中に画像の蓄積振れが検出されるカメラ１００本体の動きが発生した場合の例を説明する。制御部１０１は、図６の先頭リセットタイミング４０１で最初のラインのリセット処理を実行し露光を開始すると、同時にカメラ１００本体の動きを検出するジャイロセンサ１１１の検出を開始する。カメラ１００本体の振れが大きくなり、時間６１１のタイミングで振れの許容閾値を超えることを検出すると、制御部１０１はメカ後幕シャッタの機能を実行し、撮像素子１０５に外光が届かないようにメカシャッタ１１２を閉じる。メカシャッタ１１２を閉じることにより、図６の遮光タイミング６０１〜６１０までの間が実際の露光時間となる。つまり、遮光タイミング６０１〜６１０から読み出しタイミング４１１〜４２０の間の露光時間されないため、撮像素子１０５に電荷が蓄積されない。それにより、カメラ１００本体の振れの影響によって発生する蓄積振れの影響の少ない画像を生成することができる。 On the other hand, an example will be described in which the camera 100 main body, in which the accumulated shake of the image is detected during the exposure, moves. The control unit 101 executes the reset process of the first line at the head reset timing 401 of FIG. 6 to start the exposure, and at the same time, starts the detection of the gyro sensor 111 that detects the movement of the camera 100 main body. When it is detected that the runout of the camera 100 body becomes large and exceeds the allowable runout threshold at the timing of time 611, the control unit 101 executes the function of the mechanical rear curtain shutter so that the external light does not reach the image sensor 105. The mechanical shutter 112 is closed. By closing the mechanical shutter 112, the actual exposure time is between the light-shielding timings 601 to 610 in FIG. That is, since the exposure time is not between the light-shielding timings 601 to 610 and the read-out timings 411 to 420, the electric charge is not accumulated in the image sensor 105. As a result, it is possible to generate an image that is less affected by the accumulated runout generated by the influence of the shake of the camera 100 body.

以上、第１の実施形態によれば、露光期間中にカメラ１００に大きな振れが発生した場合にも、蓄積振れの影響の少ない画像を取得することが可能である。また、本実施例における電子シャッタの場合、露光前に露光時間およびシャッタ方式が決定され、一旦、露光を開始した後は露光途中で打ち切ることがシステム的に難しい。第１の実施形態によれば、そのような場合であっても、別のシャッタ手段であるメカ後幕シャッタを用いることで、露光を途中で打ち切ることが可能になる。 As described above, according to the first embodiment, even when a large shake occurs in the camera 100 during the exposure period, it is possible to acquire an image that is less affected by the accumulated shake. Further, in the case of the electronic shutter in the present embodiment, the exposure time and the shutter method are determined before the exposure, and it is systematically difficult to stop the exposure in the middle of the exposure once the exposure is started. According to the first embodiment, even in such a case, the exposure can be stopped in the middle by using the mechanical rear curtain shutter which is another shutter means.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態の撮像装置（カメラ）は、複数の異なる露光条件で撮像した画像を合成してＨＤＲ画像を生成する。その際に、第１の実施形態と同様に、電子シャッタ方式で撮影を開始し、露光期間中のカメラの振れ量を検出し、検出した振れ量を元にメカ後幕シャッタを駆動させて動作のタイミングを制御して蓄積振れを改善する。本実施形態において、第１の実施形態と同様のカメラ動作及び処理については図中に同一の符号を付しその説明を省略する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. The image pickup apparatus (camera) of the second embodiment synthesizes images captured under a plurality of different exposure conditions to generate an HDR image. At that time, as in the first embodiment, shooting is started by the electronic shutter method, the amount of camera shake during the exposure period is detected, and the mechanical rear curtain shutter is driven based on the detected amount of shake. The timing of is controlled to improve the accumulated runout. In the present embodiment, the same reference numerals are given in the drawings for camera operations and processes similar to those in the first embodiment, and the description thereof will be omitted.

本発明の第２の実施形態のカメラ１００の処理ステップについて、図７のフローチャートを用いて説明する。図７は、第２の実施形態に係る撮像動作を説明するフローチャートである。図７のフローチャートにおける各処理は、制御部１０１が、ＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に展開して、カメラ１００の各機能ブロックを制御することにより実現される。図７のフローチャートは、例えばユーザ操作などにより、カメラ１００に記録画像を生成するための撮影指示があると開始される。 The processing steps of the camera 100 according to the second embodiment of the present invention will be described with reference to the flowchart of FIG. FIG. 7 is a flowchart illustrating an imaging operation according to the second embodiment. Each process in the flowchart of FIG. 7 is realized by the control unit 101 expanding the program stored in the ROM 102 into the RAM 103 and controlling each functional block of the camera 100. The flowchart of FIG. 7 is started when the camera 100 receives a shooting instruction for generating a recorded image, for example, by a user operation or the like.

なお、本実施形態においては、露出調整を行った露出０（適性）、−１（アンダー）、＋１（オーバー）、の３枚の画像を撮像してＨＤＲ合成する例を説明する。なお、合成枚数やフレーム間の露出差は一例であり、これに限定されない。 In this embodiment, an example will be described in which three images of exposure 0 (appropriate), -1 (under), and +1 (over) with exposure adjustment are captured and HDR composited. The combined number of sheets and the exposure difference between frames are examples, and are not limited to these.

まず、ステップＳ７００にて、撮影する画像がＨＤＲ合成する画像のうちの何枚目であるかを示す変数に初期値として１を設定する。本実施形態においては、露出を変更させるために異なる露出＋１、０、−１の３つの撮影条件を順次設定して、３枚の画像を撮影して合成する。 First, in step S700, 1 is set as an initial value in the variable indicating the number of the image to be captured in the HDR composited image. In the present embodiment, three different exposure conditions of exposure +1, 0, and -1 are sequentially set in order to change the exposure, and three images are photographed and combined.

ステップＳ７０１において、ｉフレーム目の撮影条件（露光時間）を設定する。本実施形態においては、例えば、１回目の撮影では露出−１（アンダー）の撮影条件を設定し、２回目の撮影では０（適性）、３回目の撮影では＋１（オーバー）というように設定を行う。 In step S701, the shooting conditions (exposure time) for the i-frame are set. In the present embodiment, for example, the shooting condition of exposure -1 (under) is set in the first shooting, 0 (appropriate) in the second shooting, and +1 (over) in the third shooting. Do.

ステップＳ３０２〜Ｓ３１０までの処理は、第１の実施形態における図４のフローチャートの処理と同様なので、その説明を省略する。ステップＳ３１０までの処理でｉフレーム目の画像を生成して、ステップＳ７０２へ進む。 Since the processes of steps S302 to S310 are the same as the processes of the flowchart of FIG. 4 in the first embodiment, the description thereof will be omitted. The process up to step S310 generates an image of the i-frame, and the process proceeds to step S702.

ステップＳ７０２において、露出０、−１、＋１の３回の露光が終了したか（ｉ＝３か否か）を判断する。３回の露光が終了している場合、すなわちｉ＝３の場合には、ステップＳ７０４の処理に移行する。まだ、３回の露光が終了していない場合、すなわちｉ＝３を満たさない場合には、ステップＳ７０３へ進み、変数ｉをインクリメントして、ステップＳ７０１に戻る。 In step S702, it is determined whether or not the three exposures of exposure 0, -1, and +1 have been completed (whether or not i = 3). When the three exposures are completed, that is, when i = 3, the process proceeds to step S704. If the three exposures have not been completed, that is, if i = 3 is not satisfied, the process proceeds to step S703, the variable i is incremented, and the process returns to step S701.

ステップＳ７０４において、異なる露出で撮影した３枚の画像に関して、信号のレベルを合わせて合成し、ダイナミックレンジの広い画像（ＨＤＲ画像）を生成する。 In step S704, three images taken with different exposures are combined by matching the signal levels to generate an image (HDR image) having a wide dynamic range.

以上、第２の実施形態に係るＨＤＲ画像撮影の処理についての概要を、図７のフローチャートを用いて説明した。 As described above, the outline of the HDR image shooting process according to the second embodiment has been described with reference to the flowchart of FIG. 7.

続いて、ステップＳ７０４の画像合成の処理について、図８、９を用いて詳しく説明する。まず、図８を用いて露出の異なる画像の信号のレベルを合わせる処理について説明する。図８は、第２の実施形態に係る露出の異なる画像のレベル合わせの例を示す図である。 Subsequently, the image composition process in step S704 will be described in detail with reference to FIGS. 8 and 9. First, a process of adjusting the signal levels of images having different exposures will be described with reference to FIG. FIG. 8 is a diagram showing an example of level matching of images having different exposures according to the second embodiment.

図８の例において、実線８０１は露出０（適性）、実線８０２は露出−１（アンダー）の撮影条件で撮影した画像の画像信号を示す。横軸は撮影時の被写体輝度を表し、縦軸は画像信号の信号値を表す。撮像素子１０５で受光した光は、Ａ／Ｄ変換部１０６でＡ／Ｄ変換された後に、所定のビット長の画像データとして出力される。破線８１１は、カメラ１００で撮影した１フレームの画像信号値の上限値を示す。カメラ１００で撮影したとき、破線８１１の信号値よりも明るくなる信号は飽和信号となり、破線８１１の信号値に制限されて白飛びした画像になる。 In the example of FIG. 8, the solid line 801 indicates an image signal of an image taken under the imaging conditions of 0 exposure (appropriate) and the solid line 802 indicates an exposure of -1 (under). The horizontal axis represents the subject brightness at the time of shooting, and the vertical axis represents the signal value of the image signal. The light received by the image sensor 105 is A / D converted by the A / D conversion unit 106 and then output as image data having a predetermined bit length. The broken line 811 indicates the upper limit of the image signal value of one frame taken by the camera 100. When taken with the camera 100, a signal brighter than the signal value of the broken line 811 becomes a saturation signal, and the image is limited to the signal value of the broken line 811 and becomes an overexposed image.

露出０で撮影した実線８０１で示す画像（適性画像）は、点線８２１のラインよりも明るい被写体輝度に関しては、画像の信号が飽和しているため、破線８１１の信号値で制限が掛かっている形になっている。一方、露出−１で撮影した実線８０２で示す画像（アンダー画像）は、点線８２１のラインよりも明るい被写体輝度に対する信号値も破線８１１で示す上限値に達していないため、画像信号が飽和していないことが分かる。このとき、実線８０２で示す画像の信号を実線８０１で示す画像信号と同じ明るさに合わせ、８２１よりも明るい被写体輝度の領域に置き換えることで、点線８２１よりも明るい被写体輝度も画像信号として飽和することなく表現することができる。今回の例では、露出は１段差なので、実線８０２で示す画像の画像信号に対して２倍デジタルゲインを掛けることで、実線８０１で示す画像と同じ信号レベルに合わせることができる。このように露出が低い画像を露出が高い画像の信号の明るさに合わせて、飽和する領域をより低い露出の信号に置き換えることで広いダイナミックレンジを保持することができる画像（ＨＤＲ画像）を生成することができる。 The image shown by the solid line 801 (appropriate image) taken at exposure 0 has a shape in which the signal value of the broken line 811 is limited because the signal of the image is saturated with respect to the subject brightness brighter than the line of the dotted line 821. It has become. On the other hand, in the image (under image) shown by the solid line 802 taken with exposure -1, the signal value for the subject luminance brighter than the dotted line 821 does not reach the upper limit value shown by the broken line 811, so that the image signal is saturated. It turns out that there is no such thing. At this time, by matching the signal of the image shown by the solid line 802 to the same brightness as the image signal shown by the solid line 801 and replacing it with a region of the subject brightness brighter than 821, the subject brightness brighter than the dotted line 821 is also saturated as the image signal. It can be expressed without any need. In this example, since the exposure is one step, the image signal of the image shown by the solid line 802 can be adjusted to the same signal level as the image shown by the solid line 801 by multiplying the image signal by twice the digital gain. An image (HDR image) that can maintain a wide dynamic range is generated by replacing the saturated region with a signal with a lower exposure according to the brightness of the signal of the image with a higher exposure in this way. can do.

図９を参照して、本実施形態において、露出の異なる３枚の画像を合成する具体的な方法について説明する。図９は、第２の実施形態に係る露出の異なる画像の合成比率の例を示す図である。図８で説明したように、露出段差に応じてデジタルゲインをかけて露出の異なる３枚の画像のレベル合わせをした後、画像信号レベルに応じた合成比率を露出の異なる３枚の画像それぞれに設定し、求めた割合で合成を行う。図９の横軸は、露出の異なる３枚の画像をレベル合わせした後の信号値である。実線９０１は、露出が一番高い露出＋１の画像データ（オーバー画像）、実線９０２は、露出０の画像データ（適性画像）、実線９０３は露出−１の一番低い露出の画像データ（アンダー画像）の合成比率を示している。つまり、レベル合わせ後の信号で、信号値が小さい領域は露出が高い画像（露出＋１）が出力され、レベル合わせ後の信号が大きい領域は、露出の低い画像（露出−１）が出力される。これにより、信号が小さい暗くなる領域はノイズが改善され、信号の大きくなる領域は白飛びが抑制されダイナミックレンジが拡大された画像（ＨＤＲ画像）を生成することができる。 A specific method for synthesizing three images having different exposures will be described with reference to FIG. 9. FIG. 9 is a diagram showing an example of the composition ratio of images having different exposures according to the second embodiment. As described with reference to FIG. 8, after applying digital gain according to the exposure step to adjust the levels of the three images having different exposures, the composition ratio according to the image signal level is applied to each of the three images having different exposures. Set and synthesize at the required ratio. The horizontal axis of FIG. 9 is a signal value after level-matching three images having different exposures. The solid line 901 is the image data of the highest exposure +1 (over image), the solid line 902 is the image data of the zero exposure (appropriate image), and the solid line 903 is the image data of the lowest exposure of the exposure -1 (under image). ) Is shown. That is, in the signal after level adjustment, a high exposure image (exposure +1) is output in the region where the signal value is small, and a low exposure image (exposure-1) is output in the region where the signal after level adjustment is large. .. As a result, noise is improved in the dark region where the signal is small, and an image (HDR image) in which overexposure is suppressed and the dynamic range is expanded can be generated in the region where the signal is large.

以上、第２の実施形態に係るカメラ１００がＨＤＲ合成画像を生成する処理について説明した。本実施例中の処理を行う事で、カメラ１００による撮影において露光期間中にカメラ１００の振れが発生する場合でも、その振れによる画像の蓄積振れを防いだＨＤＲ合成画像を取得することが可能となる。特に、ＨＤＲ合成画像を生成する場合には、オーバー画像を生成するとき露光時間が長くなりやすいが、そのような場合において動き量に応じて露光を終了することで、蓄積ぶれの少ないＨＤＲ合成画像が生成できる。 The process of generating the HDR composite image by the camera 100 according to the second embodiment has been described above. By performing the processing in this embodiment, even if the camera 100 shakes during the exposure period in the shooting by the camera 100, it is possible to acquire an HDR composite image in which the accumulated shake of the image due to the shake is prevented. Become. In particular, when generating an HDR composite image, the exposure time tends to be long when generating an over image, but in such a case, by ending the exposure according to the amount of movement, the HDR composite image with less accumulated blurring Can be generated.

（第３の実施形態）
第３の実施形態として、図４のステップＳ３０３にてカメラ１００の動きを検出することで画像の振れを検出していたが、別の方法で画像の振れを検出する方法について説明する。 (Third Embodiment)
As a third embodiment, the image shake is detected by detecting the movement of the camera 100 in step S303 of FIG. 4, but a method of detecting the image shake by another method will be described.

例えば、ジャイロセンサではなく露出＋１の画像の画像中の蓄積振れを判断する方法として、事前に撮影した露出０と露出−１の画像間の動き量を元に検出してもよい。動き量の検出方法として、例えば、図１０のようなベクトル検出方法を用いる方法が考えられる。図１０は、第３の実施形態に係る動きベクトル算出方法の例を示す図である。 For example, as a method of determining the accumulated runout in the image of the image of exposure +1 instead of the gyro sensor, it may be detected based on the amount of movement between the images of exposure 0 and exposure -1 taken in advance. As a method for detecting the amount of motion, for example, a method using a vector detection method as shown in FIG. 10 can be considered. FIG. 10 is a diagram showing an example of the motion vector calculation method according to the third embodiment.

制御部１０１は、現在露光を開始しようとしている画像よりも過去に撮影された時間的に隣接する２枚の準備撮影画像（選択した画像のうち、時間的に過去の画像をＭ番目、時間的に後の画像をＭ＋１番目とする）を取得する。そして、Ｍ番目フレームの準備撮影画像を基準フレームに設定し、Ｍ＋１番目フレームの準備撮影画像を参照フレームに設定する。 The control unit 101 performs two preparatory shot images (of the selected images, the past image in time is the Mth, temporally) taken in the past than the image for which the current exposure is to be started. The latter image is the M + 1th image). Then, the preparatory shooting image of the Mth frame is set as the reference frame, and the preparatory shooting image of the M + 1th frame is set as the reference frame.

Ｍ番目のフレームである基準フレーム１００１において、Ｎ×Ｎ画素の基準ブロック１００２を配置する。その後、Ｍ＋１番目のフレームである参照フレーム１００３において、基準フレーム１００１の基準ブロック１００２の中心座標に対応する座標である同座標１００４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲１００５として設定する。ここで、ｎは予め設定された設計値である。設計値ｎが小さいほど探索範囲１００５が狭くなるため、後述する参照ブロック１００６の精度が高くなり、設計値ｎが大きいほど探索範囲１００５が広くなり、動きが大きい被写体の移動も検出することが可能になる。設計値ｎは振れが発生し得る範囲で、なるべく小さい値とすることが望ましい。 In the reference frame 1001 which is the Mth frame, the reference block 1002 of N × N pixels is arranged. After that, in the reference frame 1003 which is the M + 1th frame, the peripheral (N + n) × (N + n) pixels of the same coordinates 1004, which are the coordinates corresponding to the center coordinates of the reference block 1002 of the reference frame 1001, are set as the search range 1005. .. Here, n is a preset design value. Since the search range 1005 becomes narrower as the design value n becomes smaller, the accuracy of the reference block 1006 described later becomes higher, and the search range 1005 becomes wider as the design value n becomes larger, and it is possible to detect the movement of a subject having a large movement. become. It is desirable that the design value n is as small as possible within the range in which runout can occur.

次に、基準フレーム１００１の基準ブロック１００２と、参照フレーム１００３の探索範囲１００５内に存在する任意のＮ×Ｎ画素の参照ブロックとの相関演算を行い、相関値を算出する。相関値は、基準ブロック１００２及び参照ブロックの画素に対するフレーム間差分絶対値和に基づき算出する。つまり、フレーム間差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。尚、相関値の算出方法は、フレーム間差分絶対値和を求める方法に限定されず、例えばフレーム間差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図１０の例では、参照ブロック１００６が最も相関が高いことを示しているとする。 Next, a correlation calculation is performed between the reference block 1002 of the reference frame 1001 and the reference block of any N × N pixels existing in the search range 1005 of the reference frame 1003, and the correlation value is calculated. The correlation value is calculated based on the sum of the absolute values of the differences between the frames of the reference block 1002 and the pixels of the reference block. That is, the coordinate having the smallest value of the sum of the absolute values of the differences between frames is the coordinate having the highest correlation value. The method of calculating the correlation value is not limited to the method of obtaining the sum of the absolute values of the differences between frames, and may be, for example, a method of calculating the correlation value based on the sum of squares of the differences between frames or the normal cross-correlation value. In the example of FIG. 10, it is assumed that the reference block 1006 shows the highest correlation.

その後、最も高い相関値を示す参照ブロック座標に基づき動きベクトルを算出する。図１０の例の場合、参照フレーム１００３の探索範囲１００５の中で、基準フレーム１００１の基準ブロック１００２の中心座標に対応した同座標１００４と、最も高い相関を示す参照ブロック１００６の中心座標に基づき動きベクトルが求められる。つまり、同座標１００４から参照ブロック１００６の中心座標までの座標間距離と方向が動きベクトルとして求められる。尚、本発明では、動きベクトルの算出手法としてブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。 After that, the motion vector is calculated based on the reference block coordinates showing the highest correlation value. In the case of the example of FIG. 10, in the search range 1005 of the reference frame 1003, the movement is based on the same coordinates 1004 corresponding to the center coordinates of the reference block 1002 of the reference frame 1001 and the center coordinates of the reference block 1006 showing the highest correlation. The vector is calculated. That is, the inter-coordinate distance and direction from the same coordinates 1004 to the center coordinates of the reference block 1006 are obtained as motion vectors. In the present invention, the block matching method will be described as an example of the motion vector calculation method, but the motion vector calculation method is not limited to this example, and may be, for example, a gradient method.

ここで求めた動きベクトルに対し、露出０から露出−１までの露光時間と、露出０から露出＋１の露光時間との比を乗算したものを、露出＋１の露光中の動き量の予測値とする。そして、所定閾値よりも動き量の予測値が大きい場合には、露出＋１の露光時間を短縮するもしくは、露出＋１の画像の撮像を止める制御を行ってもよい。 The motion vector obtained here is multiplied by the ratio of the exposure time from exposure 0 to exposure -1 and the exposure time from exposure 0 to exposure +1 to obtain the predicted value of the amount of motion during exposure of exposure +1. To do. Then, when the predicted value of the amount of movement is larger than the predetermined threshold value, the exposure time of the exposure +1 may be shortened, or the imaging of the image of the exposure +1 may be stopped.

また、他の検出方法として、例えば、実際に露光中のジャイロセンサの信号ではなく、事前に撮影した画像中に検出したジャイロセンサの値から次に撮影する露出の画像の蓄積振れの発生を予測してもよい。このとき、前に撮影した画像が露出０で次に撮影する画像が露出＋１の場合、露光時間は２倍となる。そのため、露出０で撮影したジャイロセンサの値を２倍した信号を算出し、それを予測振れ量として所定の閾値と判断して、露出＋１の撮像時に蓄積振れが発生するかを判定できる。 As another detection method, for example, instead of the signal of the gyro sensor actually being exposed, the value of the gyro sensor detected in the image taken in advance is used to predict the occurrence of accumulated runout of the image of the next exposure to be taken. You may. At this time, if the previously captured image has an exposure of 0 and the next image captured has an exposure of +1 the exposure time is doubled. Therefore, it is possible to calculate a signal obtained by doubling the value of the gyro sensor captured at 0 exposure, determine that it is a predetermined threshold value as the predicted runout amount, and determine whether accumulated runout occurs at the time of imaging with exposure +1.

（その他の実施形態）
以上、本発明をその公的な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の出を逸脱しない範囲の様々な形態も発明に含まれる。 (Other embodiments)
Although the present invention has been described in detail above based on its official embodiments, the present invention is not limited to these specific embodiments, and various embodiments within the scope of the present invention are also included in the invention. included.

例えば、本実施例では、露出の異なる３枚の画像として、露出＋１、０、−１の画像を合成する例について説明したが、露出差を変更した画像を用いてもよい。この時レベル合わせは、図８を用いて説明したように露出差に合わせたゲインを乗算することで実現できる。 For example, in this embodiment, an example of synthesizing images with exposures +1, 0, and -1 as three images having different exposures has been described, but images with different exposure differences may be used. At this time, the level adjustment can be realized by multiplying the gain according to the exposure difference as described with reference to FIG.

例えば、本実施例では、露出の異なる３枚の画像を用いて説明を行ったが、撮影する露出の異なる画像の枚数を変更してもよい。この時合成比率は、図９を用いて説明したように、レベル合わせ後の信号の大きさに応じて、合成比率をそれぞれの画像に対して設定することで実現できる。 For example, in this embodiment, the description has been made using three images with different exposures, but the number of images with different exposures to be captured may be changed. At this time, the composition ratio can be realized by setting the composition ratio for each image according to the magnitude of the signal after level adjustment, as described with reference to FIG.

例えば、本実施例では、蓄積振れが発生した場合にはメカ後幕を制御し、予め設定した露光時間よりも短い露光時間に露光を終了する処理を行った。しかし、複数の異なる露光画像のうちある露光時間での画像撮影時に、カメラ１００本体の振れが大きいことを検出して前記処理を実行した場合には、それよりも露光時間が長い画像を撮影することを止めてもよい。そして、その場合、その露光時間よりも短い露光時間で撮影した画像のみを合成して出力画像を生成してもよい。 For example, in this embodiment, when the accumulated runout occurs, the rear curtain of the mechanism is controlled, and the exposure is terminated in an exposure time shorter than the preset exposure time. However, when an image is taken with a certain exposure time among a plurality of different exposure images, when it is detected that the camera 100 main body has a large shake and the above processing is executed, an image having a longer exposure time is taken. You may stop doing that. Then, in that case, only the images taken with the exposure time shorter than the exposure time may be combined to generate the output image.

例えば、実施例では、電子シャッタ方式での撮影時にメカシャッタで露光時間を打ち切る例を説明したが、これに限定されない。予め設定されたシャッタ方式と異なる手段により露光時間を打ち切る構成であれば、他の構成であってもよい。例えば、電子先幕シャッタ方式（メカ後幕）の撮影時に、電子シャッタによる読み出しを行うことで露光時間を打ち切ってもよい。また、メカシャッタ方式の撮影時に、電子シャッタによる読み出しを行うことで露光時間を打ち切る構成であってもよい。 For example, in the embodiment, an example in which the exposure time is cut off by the mechanical shutter during shooting by the electronic shutter method has been described, but the present invention is not limited to this. Other configurations may be used as long as the exposure time is cut off by a means different from the preset shutter method. For example, at the time of shooting by the electronic front curtain shutter method (mechanical rear curtain), the exposure time may be cut off by reading with the electronic shutter. Further, the exposure time may be cut off by reading out with an electronic shutter at the time of shooting by the mechanical shutter method.

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で、撮像装置として説明したカメラは、デジタルスチルカメラやデジタルビデオカメラに適用することができる。 The above is a description of a preferred embodiment of the present invention, but the present invention is not limited to the above embodiment within the scope of the technical idea of the present invention, and is appropriately modified and adapted depending on the target circuit form. It should be done. For example, the camera described as the imaging device in the above-described embodiment can be applied to a digital still camera or a digital video camera.

また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、１つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 Further, the present invention can be implemented as, for example, a system, a device, a method, a computer program, a recording medium, or the like. Specifically, even if it is realized by one device, it is applied to a system composed of a plurality of devices. You may. Each means constituting the image pickup apparatus and each step of the control method of the image pickup apparatus according to the present embodiment can also be realized by operating a program stored in a memory of a computer or the like. The computer program and a computer-readable recording medium on which the program is recorded are included in the present invention.

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００ 撮像装置
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像素子
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録部
１０９ 表示部
１１０ 指示入力部
１１１ ジャイロセンサ
１１２ メカシャッタ
１１３ 表示部 100 Imaging device 101 Control unit 102 ROM
103 RAM
104 Optical system 105 Image sensor 106 A / D conversion unit 107 Image processing unit 108 Recording unit 109 Display unit 110 Instruction input unit 111 Gyro sensor 112 Mechanical shutter 113 Display unit

Claims (13)

被写体を撮像する撮像手段と、
第１の方式で前記撮像素子の露光を制御する第１の露光手段と、
第２の方式で前記撮像素子の露光を制御する第２の露光手段と、
前記撮像手段又は前記被写体の動きを検出する検出手段と、
前記第１の露光手段による露光を開始し、所定の露光時間が経過したことに応じて前記第１の露光手段による露光を停止するように制御する制御手段とを有し、
前記制御手段は、前記第１の露光手段による露光を開始したあと前記所定の露光時間を経過する前に、前記検出手段により所定より大きい動きが検出された場合は、前記第２の露光手段により前記露光を終了する制御手段と、
を有することを特徴とする撮像装置。 An imaging means that captures the subject,
A first exposure means for controlling the exposure of the image pickup device by the first method,
A second exposure means for controlling the exposure of the image sensor by the second method,
With the imaging means or the detecting means for detecting the movement of the subject,
It has a control means for starting the exposure by the first exposure means and controlling the exposure by the first exposure means to be stopped when a predetermined exposure time has elapsed.
When the detection means detects a movement larger than a predetermined value after the exposure by the first exposure means is started and before the predetermined exposure time elapses, the control means is subjected to the second exposure means. A control means for ending the exposure and
An imaging device characterized by having. 被写体を撮像する撮像手段と、
第１の方式で前記撮像素子の露光を制御する第１の露光手段と、
第２の方式で前記撮像素子の露光を制御する第２の露光手段と、
前記撮像手段又は前記被写体の動きを検出する検出手段と、
前記第１の露光手段による露光を開始したあと前記所定の露光時間を経過する前に、前記検出手段により所定より大きい動きが検出された場合は、前記第２の露光手段により前記露光を終了する制御手段と、
前記撮像手段により異なる露光時間で撮像された複数の画像を合成する合成手段と、
を有することを特徴とする撮像装置。 An imaging means that captures the subject,
A first exposure means for controlling the exposure of the image pickup device by the first method,
A second exposure means for controlling the exposure of the image sensor by the second method,
With the imaging means or the detecting means for detecting the movement of the subject,
If a movement larger than a predetermined value is detected by the detection means after the exposure by the first exposure means is started and before the predetermined exposure time elapses, the exposure is ended by the second exposure means. Control means and
A compositing means for synthesizing a plurality of images captured at different exposure times by the imaging means, and
An imaging device characterized by having. 前記撮像手段は、前記所定の露光時間が異なる複数の撮像を行い、
前記制御手段が、前記第２の露光手段による露光の終了を行った場合には、
前記合成手段は、前記制御手段による露光の終了が行われた画像は合成に用いないことを特徴とする請求項２に記載の撮像装置。 The imaging means performs a plurality of imaging with different predetermined exposure times.
When the control means ends the exposure by the second exposure means,
The imaging apparatus according to claim 2, wherein the compositing means does not use an image whose exposure by the controlling means has been completed for compositing. 前記撮像手段は、前記検出手段により所定より大きい動きが検出されたときに露光中であったフレームの画像は生成しないことを特徴とする請求項２に記載の撮像装置。 The imaging device according to claim 2, wherein the imaging means does not generate an image of a frame that was being exposed when a motion larger than a predetermined value is detected by the detecting means. 前記撮像手段は、前記所定の露光時間が異なる複数の撮像を該露光時間が短い順に行い、
前記制御手段が、前記第２の露光手段による露光の終了を行った場合には、
前記撮像手段は、その後の撮像を行わないことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。 The imaging means performs a plurality of imaging with different predetermined exposure times in ascending order of the exposure time.
When the control means ends the exposure by the second exposure means,
The imaging device according to any one of claims 2 to 4, wherein the imaging means does not perform subsequent imaging. 前記第１の露光手段は、前記撮像素子をライン毎に電荷を蓄積して読み出しを行う電子シャッタであって、
前記第２の露光手段は、前記撮像素子への光の入射を遮断するために走行する物理的なメカシャッタであることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 The first exposure means is an electronic shutter that accumulates electric charges for each line of the image sensor and reads them out.
The image pickup apparatus according to any one of claims 1 to 5, wherein the second exposure means is a physical mechanical shutter that travels to block the incident light on the image pickup device. 前記制御手段により露光を終了した場合に、前記所定の露光時間と実際の露光時間の差に基づいてゲインを調整するゲイン補正手段と、を有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。 One of claims 1 to 6, further comprising a gain correction means for adjusting a gain based on a difference between the predetermined exposure time and an actual exposure time when the exposure is completed by the control means. The imaging apparatus according to item 1. 前記露光手段は、前記制御手段により露光を終了した場合に、ライン毎の露光時間の差に基づいてライン毎にゲインを調整することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。 The method according to any one of claims 1 to 7, wherein the exposure means adjusts the gain for each line based on the difference in the exposure time for each line when the exposure is completed by the control means. Imaging device. 前記検出手段は、露光中の自装置の動きを、角速度または加速度から換算して振れ量を検出することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 8, wherein the detecting means detects the amount of runout by converting the movement of the own device during exposure from angular velocity or acceleration. 前記検出手段は、過去の画像からベクトルを算出して、算出したベクトルから動きを予測することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 9, wherein the detection means calculates a vector from a past image and predicts a motion from the calculated vector. 前記検出手段は、過去の画像の露光期間中に検出した自装置の角速度または加速度から変換した振れ量を用いて、現在の動きを予測することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。 Any one of claims 1 to 10, wherein the detection means predicts the current motion by using the amount of runout converted from the angular velocity or acceleration of the own device detected during the exposure period of the past image. The imaging device according to the section. 複数の画素からなる撮像素子と、
第１の方式で前記撮像素子の露光を制御する第１の露光手段と、
第２の方式で前記撮像素子の露光を制御する第２の露光手段と、を有する撮像装置の制御方法であって、
所定の露光時間を含む露光条件に基づいて被写体を撮像して画像を生成するステップと、
前記撮像手段又は前記被写体の動きを検出するステップと、
前記第１の露光手段による露光を開始したあと前記所定の露光時間を経過する前に、前記検出手段により所定より大きい動きが検出された場合は、前記第２の露光手段により前記露光を終了するステップと、
を有することを特徴とする撮像装置の制御方法。 An image sensor consisting of multiple pixels and
A first exposure means for controlling the exposure of the image pickup device by the first method,
It is a control method of an image pickup apparatus including a second exposure means for controlling the exposure of the image pickup device by the second method.
A step of capturing an image of a subject based on exposure conditions including a predetermined exposure time to generate an image, and
The step of detecting the movement of the imaging means or the subject, and
If a movement larger than a predetermined value is detected by the detection means after the exposure by the first exposure means is started and before the predetermined exposure time elapses, the exposure is ended by the second exposure means. Steps and
A method for controlling an imaging device, which comprises. 前記第１の露光手段は、前記撮像素子をライン毎に電荷を蓄積して読み出しを行う電子シャッタであって、
前記第２の露光手段は、前記撮像素子への光の入射を遮断するために走行する物理的なメカシャッタであることを特徴とする請求項１２に記載の撮像装置の制御方法。 The first exposure means is an electronic shutter that accumulates electric charges for each line of the image sensor and reads them out.
The method for controlling an image pickup device according to claim 12, wherein the second exposure means is a physical mechanical shutter that travels to block the incident light on the image pickup device.

Images