JP2016140057A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2016140057A JP2016140057A JP2015239815A JP2015239815A JP2016140057A JP 2016140057 A JP2016140057 A JP 2016140057A JP 2015239815 A JP2015239815 A JP 2015239815A JP 2015239815 A JP2015239815 A JP 2015239815A JP 2016140057 A JP2016140057 A JP 2016140057A
- Authority
- JP
- Japan
- Prior art keywords
- information
- luminance
- exposure
- shutter
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Exposure Control For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本技術は、撮像装置に関する。 The present technology relates to an imaging apparatus.
従来の撮像装置には、被写体を異なる露光時間で撮像した複数の撮像信号を合成できるものがある（特許文献１を参照）。このタイプの撮像装置では、例えば、第１の撮像信号および第１撮像信号より露光量の小さい第２撮像信号を合成することによって、明暗差が拡大された合成信号（合成画像）が、生成される。 Some conventional imaging devices can synthesize a plurality of imaging signals obtained by imaging a subject with different exposure times (see Patent Document 1). In this type of imaging device, for example, a synthesized signal (synthesized image) in which the contrast is enlarged is generated by synthesizing the first imaging signal and the second imaging signal having a smaller exposure amount than the first imaging signal. The
従来の撮像装置では、露光時間の長い第１撮像信号と、露光時間の短い第２撮像信号とを合成することによって、合成信号が生成される。このため、被写体が移動するような場合、第１撮像信号に基づいたブレが生じた画像と、第２撮像信号に基づいたブレのない鮮明な画像とが、重ね合わせられた合成信号が、生成される。このため、被写体は滑らかに移動しているにもかかわらず、第２撮像信号に基づくブレのない鮮明な画像が、合成信号に生じ、合成画像が不自然なものになる場合がある（図４Ａを参照）。 In a conventional imaging device, a synthesized signal is generated by synthesizing a first imaging signal with a long exposure time and a second imaging signal with a short exposure time. For this reason, when the subject moves, a composite signal is generated in which a blurred image based on the first imaging signal and a clear image based on the second imaging signal are superimposed. Is done. For this reason, although the subject is moving smoothly, a clear image without blurring based on the second imaging signal is generated in the combined signal, and the combined image may become unnatural (FIG. 4A). See).
本技術は、上記の問題に鑑みてなされたものであって、本技術の目的は、被写体が移動しても自然な映像を生成可能な撮像装置を、提供することにある。 The present technology has been made in view of the above problems, and an object of the present technology is to provide an imaging device capable of generating a natural image even when a subject moves.
ここに開示された撮像装置は、撮像部と、露光部と、撮像処理部と、露光情報設定部と、画像処理部とを、備えている。撮像部は、フレーム毎に、入射する光に応じた電荷を蓄積することにより、撮像信号を生成し出力する。露光部は、撮像部に入射する光を調節する。撮像処理部は、撮像部が電荷を蓄積する時間を、第１蓄積時間、及び第１蓄積時間以下の第２蓄積時間に、制御する。露光情報設定部は、第１蓄積時間で生成された第１撮像信号の輝度を制御する第１露光制御情報、及び第２蓄積時間で生成された第２撮像信号の輝度を制御する第２露光制御情報を、設定する。画像処理部は、第１撮像信号と第２撮像信号とを合成する。ここで、第１露光制御情報が所定の条件を満足した場合には、露光情報設定部は、時間軸上において互いに隣接するフレームに対応するそれぞれの電荷を蓄積する時間が同じになるように、第１露光制御情報及び第２露光制御情報を設定する。 The imaging device disclosed herein includes an imaging unit, an exposure unit, an imaging processing unit, an exposure information setting unit, and an image processing unit. The imaging unit generates and outputs an imaging signal by accumulating charges corresponding to incident light for each frame. The exposure unit adjusts light incident on the imaging unit. The imaging processing unit controls the time for which the imaging unit accumulates the charge to a first accumulation time and a second accumulation time that is equal to or less than the first accumulation time. The exposure information setting unit controls the luminance of the first imaging signal generated during the first accumulation time and the second exposure controls the luminance of the second imaging signal generated during the second accumulation time. Set control information. The image processing unit synthesizes the first imaging signal and the second imaging signal. Here, when the first exposure control information satisfies a predetermined condition, the exposure information setting unit has the same time for accumulating respective charges corresponding to frames adjacent to each other on the time axis. First exposure control information and second exposure control information are set.
本技術では、被写体が移動しても自然な映像を生成できる。 With this technology, a natural image can be generated even if the subject moves.
＜撮像装置の構成＞
図１は、本技術の実施形態に係る撮像装置１００の構成を示すブロック図である。本実施形態における撮像装置１００は、動画撮影が可能なデジタルカメラ及びビデオカメラを含む。以下では、撮像装置１００がデジタルカメラである場合を一例として、説明を行う。
<Configuration of imaging device>
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus 100 according to an embodiment of the present technology. The imaging apparatus 100 according to the present embodiment includes a digital camera and a video camera that can shoot a moving image. Hereinafter, the case where the imaging apparatus 100 is a digital camera will be described as an example.
撮像装置１００は、主に、光学系１１０と、露光部１７０と、撮像部１４０と、信号処理部１５０と、制御部１３０と、レンズ駆動部１２０と、記録部１６０とを、備えている。なお、以下で用いる信号という文言は、画像、画像データ、映像、及び映像データを含む概念である。また、以下で用いる情報という文言は、情報データを含む概念である。 The imaging apparatus 100 mainly includes an optical system 110, an exposure unit 170, an imaging unit 140, a signal processing unit 150, a control unit 130, a lens driving unit 120, and a recording unit 160. Note that the term “signal” used below is a concept including an image, image data, video, and video data. Further, the term “information” used below is a concept including information data.
＜光学系＞
光学系１１０は、被写体像を形成する。光学系１１０は、主に、フォーカスレンズ１１１、ズームレンズ１１２を、有する。
<Optical system>
The optical system 110 forms a subject image. The optical system 110 mainly includes a focus lens 111 and a zoom lens 112.
フォーカスレンズ１１１は、被写体のフォーカス状態を調節するレンズである。ズームレンズ１１２は、被写体の画角を調節するレンズである。フォーカスレンズ１１１及びズームレンズ１１２は、制御部１３０から発行される制御信号に基づいて、レンズ駆動部１２０により駆動される。 The focus lens 111 is a lens that adjusts the focus state of the subject. The zoom lens 112 is a lens that adjusts the angle of view of the subject. The focus lens 111 and the zoom lens 112 are driven by the lens driving unit 120 based on a control signal issued from the control unit 130.
なお、ここでは、代表的なレンズを説明したが、光学系１１０は、撮像に必要な他のレンズを有していてもよい。例えば、光学系１１０は、光学式手ぶれ補正レンズを、含んでいてもよい。また、光学系１１０に含まれるレンズは、何枚のレンズから構成されるものであってもよいし、何群のレンズから構成されるものであってもよい。 In addition, although the typical lens was demonstrated here, the optical system 110 may have another lens required for imaging. For example, the optical system 110 may include an optical camera shake correction lens. Further, the lens included in the optical system 110 may be composed of any number of lenses, and may be composed of any number of groups of lenses.
＜露光部＞
露光部１７０は、絞り１１３と、シャッタ１１４とを、有する。絞り１１３は、撮像部１４０に入射する光量を調節する。シャッタ１１４は、撮像部１４０に入射する光の露光時間を調節する。絞り１１３及びシャッタ１１４によって、撮像部１４０の露出量が、決定される。絞り１１３と、シャッタ１１４とは、制御部１３０から発行される制御信号に基づいて、図示しない駆動部により駆動される。
<Exposure part>
The exposure unit 170 includes a diaphragm 113 and a shutter 114. The diaphragm 113 adjusts the amount of light incident on the imaging unit 140. The shutter 114 adjusts the exposure time of light incident on the imaging unit 140. The exposure amount of the imaging unit 140 is determined by the diaphragm 113 and the shutter 114. The diaphragm 113 and the shutter 114 are driven by a drive unit (not shown) based on a control signal issued from the control unit 130.
＜撮像部＞
撮像部１４０は、露光部１７０が調節した光を蓄積することによって、撮像信号を生成し出力する。撮像部１４０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ１４１を有している。ＣＭＯＳイメージセンサ１４１は、光学系１１０により形成された被写体像を撮像する撮像素子である。例えば、ＣＭＯＳイメージセンサ１４１は、被写体からの光を周期的に蓄積することによって、撮像信号を生成し出力する。
<Imaging unit>
The imaging unit 140 generates and outputs an imaging signal by accumulating the light adjusted by the exposure unit 170. The imaging unit 140 includes a complementary metal oxide semiconductor (CMOS) image sensor 141. The CMOS image sensor 141 is an image sensor that captures a subject image formed by the optical system 110. For example, the CMOS image sensor 141 generates and outputs an imaging signal by periodically accumulating light from a subject.
＜信号処理部＞
信号処理部１５０は、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１５１を有している。ＡＦＥ１５１は、ＣＭＯＳイメージセンサ１４１により生成された撮像信号に対して、各種処理を施す。具体的には、ＡＦＥ１５１は、相関二重サンプリングによる雑音抑圧、アナログゲイン制御部によるＡ／Ｄコンバータの入力レンジ幅への増幅、Ａ／ＤコンバータによるＡ／Ｄ変換等の処理を施す。
<Signal processing unit>
The signal processing unit 150 includes an AFE (Analog Front End) 151. The AFE 151 performs various processes on the imaging signal generated by the CMOS image sensor 141. Specifically, the AFE 151 performs processing such as noise suppression by correlated double sampling, amplification to the input range width of the A / D converter by the analog gain control unit, and A / D conversion by the A / D converter.
＜制御部＞
制御部１３０は、撮像装置１００全体の動作を統括制御する。例えば、制御部１３０は、光学系１１０（レンズ駆動部１２０）、露光部１７０、撮像部１４０、信号処理部１５０、及び記録部１６０等を、制御する。また、制御部１３０は、光学系１１０（レンズ駆動部１２０）、露光部１７０、撮像部１４０、信号処理部１５０、及び記録部１６０等を制御するための各種処理及び情報認識（データ認識を含む）を、実行する。
<Control unit>
The control unit 130 controls the overall operation of the imaging apparatus 100. For example, the control unit 130 controls the optical system 110 (the lens driving unit 120), the exposure unit 170, the imaging unit 140, the signal processing unit 150, the recording unit 160, and the like. The control unit 130 also performs various processes and information recognition (including data recognition) for controlling the optical system 110 (lens driving unit 120), the exposure unit 170, the imaging unit 140, the signal processing unit 150, the recording unit 160, and the like. ) Is executed.
制御部１３０は、被写体の状態、例えば撮像信号から取得したＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）制御情報に基づいて、光学系１１０（レンズ駆動部１２０）に対するＡＦ制御を、指示する。ＡＦ制御情報には、例えばコントラスト情報が含まれる。また、制御部１３０は、被写体の状態、例えば撮像信号から取得したＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）制御情報に基づいて、露光部１７０に対するＡＥ制御を、指示する。ＡＥ制御情報には、後述する露光制御情報が含まれる。 The control unit 130 instructs AF control on the optical system 110 (lens driving unit 120) based on the state of the subject, for example, AF (Auto Focus) control information acquired from the imaging signal. The AF control information includes, for example, contrast information. Further, the control unit 130 instructs AE control for the exposure unit 170 based on the state of the subject, for example, AE (Auto Exposure) control information acquired from the imaging signal. The AE control information includes exposure control information described later.
これにより、制御部１３０は、撮像信号及び／又は合成信号（合成画像）を生成し、これら信号に対応するデータを、静止画データ又は動画データとして、例えばメモリカード１９０及び内部メモリ１６０ｂ（以下、メモリ等）に記録可能である。なお、内部メモリ１６０ｂは、記録部１６０に含まれる第２記録部（後述する）である。メモリカード１９０は、記録部１６０に含まれる第３記録部（カードスロット１６０ｃ）に、装着される。 Thereby, the control unit 130 generates an imaging signal and / or a synthesized signal (synthesized image), and uses data corresponding to these signals as still image data or moving image data, for example, the memory card 190 and the internal memory 160b (hereinafter, referred to as “image data”). Memory). The internal memory 160b is a second recording unit (described later) included in the recording unit 160. The memory card 190 is attached to a third recording unit (card slot 160c) included in the recording unit 160.
より具体的には、制御部１３０は、ＲＯＭ及びＣＰＵ等から、構成される。ＲＯＭには、撮像装置１００全体の動作を統括制御するための各種プログラムが、格納されている。各種プログラムには、信号制御（合成制御を含む）、レンズ駆動制御、ＡＦ制御、及びＡＥ制御等に関するプログラムの他、撮像装置１００全体の動作を統括制御するプログラムが、含まれている。ＣＰＵは、ＲＯＭに格納されているプログラムを実行することによって、上述した各種制御を実行する。なお、制御部１３０は、プログラムを実行するマイクロコンピュータから構成されていてもよいし、ハードワイヤードな電子回路であってもよい。 More specifically, the control unit 130 includes a ROM, a CPU, and the like. The ROM stores various programs for overall control of the entire operation of the imaging apparatus 100. The various programs include programs related to signal control (including synthesis control), lens drive control, AF control, AE control, and the like, as well as programs that control the overall operation of the imaging apparatus 100. The CPU executes the various controls described above by executing a program stored in the ROM. The control unit 130 may be composed of a microcomputer that executes a program, or may be a hard-wired electronic circuit.
また、制御部１３０は、例えば、命令処理部１３１と、画像処理部１３３と、撮像処理部１３５と、輝度情報取得部１３６と、輝度情報補完部１３７と、輝度調整部１３８と、輝度平均処理部１３９と、露光情報設定部１３２とを、有している。 The control unit 130 also includes, for example, an instruction processing unit 131, an image processing unit 133, an imaging processing unit 135, a luminance information acquisition unit 136, a luminance information complementing unit 137, a luminance adjustment unit 138, and luminance average processing. Part 139 and exposure information setting part 132.
命令処理部１３１は、撮像装置１００を動作させるために、各種の命令を処理する。例えば、命令処理部１３１は、レンズ駆動部１２０、露光部１７０、撮像部１４０、及び信号処理部１５０等に対する命令を処理し、処理後の命令を各部に対して指示する。これにより、上述したように、ＡＦ制御及び／又はＡＥ制御が実行され、静止画用の撮像信号、及び／又は動画用の合成信号（合成画像）が、生成される。これら撮像信号及び／又は合成信号（合成画像）の生成は、主に、画像処理部１３３において行われる。 The command processing unit 131 processes various commands in order to operate the imaging apparatus 100. For example, the command processing unit 131 processes commands for the lens driving unit 120, the exposure unit 170, the imaging unit 140, the signal processing unit 150, and the like, and instructs the respective units for the processed commands. Thereby, as described above, AF control and / or AE control is executed, and a still image pickup signal and / or a moving image composite signal (composite image) is generated. The generation of these imaging signals and / or synthesized signals (synthesized images) is mainly performed in the image processing unit 133.
画像処理部１３３は、信号処理部１５０から出力された撮像信号に対して、各種の処理を施す。例えば、画像処理部１３３は、被写体に応じて設定された露出設定を用いて撮像された撮像信号に対して、各種の処理を施す。例えば、各種処理には、スミア補正、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、縮小処理、拡大処理等の処理等が、含まれる。 The image processing unit 133 performs various types of processing on the imaging signal output from the signal processing unit 150. For example, the image processing unit 133 performs various types of processing on the imaging signal captured using the exposure setting set according to the subject. For example, the various types of processing include smear correction, white balance correction, gamma correction, YC conversion processing, electronic zoom processing, compression processing, reduction processing, enlargement processing, and the like.
画像処理部１３３は、合成処理部１３４を含んでいる。合成処理部１３４は、複数の蓄積時間で蓄積することによって生成された複数の撮像信号を合成して、記録部１６０に記録する。 The image processing unit 133 includes a synthesis processing unit 134. The combination processing unit 134 combines a plurality of imaging signals generated by storing in a plurality of storage times and records the combined signal in the recording unit 160.
例えば、動画撮影時には、合成処理部１３４は、異なる露出設定で撮像された複数の撮像信号を合成する処理を、実行する。例えば、合成処理部１３４は、第１撮像信号及び第２撮像信号を合成し、合成後の撮像信号を記録部１６０に記録する。この合成処理によって、明暗差が拡大された合成信号（合成画像）が生成される。 For example, at the time of moving image shooting, the composition processing unit 134 executes a process of combining a plurality of image pickup signals imaged with different exposure settings. For example, the combination processing unit 134 combines the first image pickup signal and the second image pickup signal, and records the combined image pickup signal in the recording unit 160. By this synthesis process, a synthesized signal (synthesized image) in which the contrast is enlarged is generated.
このように、画像処理部１３３で処理された静止画用の撮像信号、及び／又は動画用の合成信号は、上述したように、静止画データ又は動画データとして、メモリ等に記録可能である。 As described above, the still image pickup signal and / or the moving image composite signal processed by the image processing unit 133 can be recorded in a memory or the like as still image data or moving image data as described above.
撮像処理部１３５は、撮像部１４０例えばＣＭＯＳイメージセンサ１４１を、制御する。撮像処理部１３５は、ＣＭＯＳイメージセンサ１４１の蓄積時間を、複数の蓄積時間で周期的に制御する。複数の蓄積時間は、例えば、第１蓄積時間及び第２蓄積時間である。具体的には、図２に示すように、撮像処理部１３５は、露光部１７０を制御することによって、撮像部１４０であるＣＭＯＳイメージセンサ１４１の蓄積時間を、第１蓄積時間及び第２蓄積時間で周期的に制御する。第１蓄積時間では、撮像処理部１３５は第１撮像信号を生成する。第２蓄積時間では、撮像処理部１３５は第２撮像信号を生成する。 The imaging processing unit 135 controls the imaging unit 140, for example, the CMOS image sensor 141. The imaging processing unit 135 periodically controls the accumulation time of the CMOS image sensor 141 with a plurality of accumulation times. The plurality of accumulation times are, for example, a first accumulation time and a second accumulation time. Specifically, as illustrated in FIG. 2, the imaging processing unit 135 controls the exposure unit 170 to change the accumulation time of the CMOS image sensor 141 that is the imaging unit 140 into the first accumulation time and the second accumulation time. Control periodically. In the first accumulation time, the imaging processing unit 135 generates a first imaging signal. In the second accumulation time, the imaging processing unit 135 generates a second imaging signal.
図２に示す例では、１番目と３番目のフレーム（フレームａとフレームｃ）では撮像部１４０は各フレーム全体にわたって光を蓄積しており、２番目と４番目のフレーム（フレームｂとフレームｄ）では撮像部１４０は各フレームの途中から光の蓄積を開始して蓄積時間を短くしている。ここで、フレームの途中から光の蓄積を開始する方法として、フレームの始まりから光の蓄積開始までの期間（非蓄積期間）において撮像部１４０に入射する光を遮断する方法（メカシャッタ）に限らず、非蓄積期間において蓄積された光による撮像信号を、光の蓄積開始時（フレームの途中）にリセットするという電子シャッタを用いてもよい。 In the example shown in FIG. 2, in the first and third frames (frame a and frame c), the imaging unit 140 accumulates light over the entire frame, and the second and fourth frames (frame b and frame d). ), The imaging unit 140 starts accumulating light in the middle of each frame to shorten the accumulation time. Here, the method for starting the accumulation of light from the middle of the frame is not limited to the method (mechanical shutter) for blocking the light incident on the imaging unit 140 in the period from the start of the frame to the start of the accumulation of light (non-accumulation period). An electronic shutter that resets an imaging signal based on light accumulated during the non-accumulation period when light accumulation starts (in the middle of the frame) may be used.
本実施形態では、第１蓄積時間が、第２蓄積時間以上に設定される。基本的には、第１蓄積時間が第２蓄積時間より長く設定されるが、第１蓄積時間及び第２蓄積時間が同じに設定される場合がある。なお、上記のＣＭＯＳイメージセンサ１４１の蓄積時間とは、ＣＭＯＳイメージセンサ１４１に電荷を蓄積する時間を示す文言である。ＣＭＯＳイメージセンサ１４１が電荷を蓄積している時間が、ＣＭＯＳイメージセンサ１４１が露光部１７０により露光されている時間である場合は、蓄積時間と露光時間とは同じになる。 In the present embodiment, the first accumulation time is set to be equal to or longer than the second accumulation time. Basically, the first accumulation time is set longer than the second accumulation time, but the first accumulation time and the second accumulation time may be set to be the same. The accumulation time of the CMOS image sensor 141 is a term indicating the time for accumulating charges in the CMOS image sensor 141. When the time during which the CMOS image sensor 141 accumulates charges is the time during which the CMOS image sensor 141 is exposed by the exposure unit 170, the accumulation time and the exposure time are the same.
輝度情報取得部１３６は、第１蓄積時間及び第２蓄積時間で生成された第１撮像信号及び第２撮像信号に基づいて、第１撮像信号の第１輝度情報及び第２撮像信号の第２輝度情報を、取得する。なお、第１輝度情報は第１輝度レベルを含む文言であり、第２輝度情報は第２輝度レベルを含む文言である。 The luminance information acquisition unit 136, based on the first imaging signal and the second imaging signal generated at the first accumulation time and the second accumulation time, the first luminance information of the first imaging signal and the second of the second imaging signal. Luminance information is acquired. The first luminance information is a word including a first luminance level, and the second luminance information is a word including a second luminance level.
具体的には、図３に示すように、輝度情報取得部１３６は、第１撮像信号及び第２撮像信号それぞれを複数に分割（例えばＭ×Ｎ個に分割）することによって、各区分の輝度部分情報（第１輝度部分情報・第２輝度部分情報）を、検出する。すなわち、輝度情報取得部１３６は、Ｍ×Ｎ個の第１輝度部分情報、及びＭ×Ｎ個の第２輝度部分情報を検出することによって、第１輝度情報及び第２輝度情報を、取得する。ここで、第１輝度情報は、Ｍ×Ｎ個の第１輝度部分情報から構成され、第２輝度情報は、Ｍ×Ｎ個の第２輝度部分情報から構成される。 Specifically, as illustrated in FIG. 3, the luminance information acquisition unit 136 divides each of the first image pickup signal and the second image pickup signal into a plurality of pieces (for example, divided into M × N pieces), thereby obtaining the luminance of each section. Partial information (first luminance partial information / second luminance partial information) is detected. That is, the luminance information acquisition unit 136 acquires the first luminance information and the second luminance information by detecting M × N pieces of first luminance partial information and M × N pieces of second luminance partial information. . Here, the first luminance information is configured from M × N pieces of first luminance partial information, and the second luminance information is configured from M × N pieces of second luminance partial information.
輝度情報補完部１３７は、第１輝度情報に飽和部分が存在する場合、第２輝度情報から飽和部分に対応する対応部分を検出し、対応部分の第２輝度部分情報を用いて第１輝度情報の飽和部分を補完する。 When the saturated portion exists in the first luminance information, the luminance information complementing unit 137 detects a corresponding portion corresponding to the saturated portion from the second luminance information, and uses the second luminance partial information of the corresponding portion to detect the first luminance information. Complement the saturated part of.
具体的には、第１輝度部分情報の少なくとも１つが飽和した場合、第２輝度部分情報において、第１輝度部分情報の飽和部分に対応する対応部分が、検出される。そして、この対応部分の第２輝度部分情報を用いて、飽和部分の第１輝度部分情報が補完される。すなわち、第１輝度部分情報の少なくとも１つが飽和した場合、第１撮像信号における飽和部分の第１輝度部分情報が、第２撮像信号における対応部分の第２輝度部分情報によって、補完される。図３に示す例では、第１撮像信号ｃの第１輝度部分情報の一つに飽和部分があり、この飽和部分の第１輝度部分情報が第２撮像信号ｂの対応部分の第２輝度部分情報によって補完されている。ここで、飽和部分とは、輝度を算出する処理において桁溢れを起こした部分、すなわち輝度が最大又は最小になった部分を示す。言い換えると、飽和部分では輝度が最大又は最小になっている。 Specifically, when at least one of the first luminance portion information is saturated, a corresponding portion corresponding to the saturated portion of the first luminance portion information is detected in the second luminance portion information. Then, the first luminance portion information of the saturated portion is complemented using the second luminance portion information of the corresponding portion. That is, when at least one of the first luminance partial information is saturated, the first luminance partial information of the saturated portion in the first imaging signal is complemented by the second luminance partial information of the corresponding portion in the second imaging signal. In the example shown in FIG. 3, one of the first luminance portion information of the first image pickup signal c has a saturated portion, and the first luminance portion information of the saturated portion is the second luminance portion of the corresponding portion of the second imaging signal b. It is complemented by information. Here, the saturated portion indicates a portion where overflow has occurred in the process of calculating the luminance, that is, a portion where the luminance is maximized or minimized. In other words, the luminance is maximum or minimum in the saturated portion.
輝度調整部１３８は、補完後の第１輝度情報、又は輝度情報取得部１３６が取得した第１輝度情報に対して、輝度調整処理を実行する。 The luminance adjustment unit 138 performs luminance adjustment processing on the first luminance information after complementing or the first luminance information acquired by the luminance information acquisition unit 136.
具体的には、輝度調整部１３８は、第１輝度部分情報が飽和した場合、輝度情報補完部１３７によって補完された第１輝度情報に対して、重み付け処理を実行する。また、輝度調整部１３８は、第１輝度部分情報が非飽和であった場合、輝度情報取得部１３６が取得した第１輝度情報に対して、重み付け処理を実行する。図３に示す例では、第１撮像信号ａは第１輝度部分情報が非飽和である場合であり、輝度情報取得部１３６が取得した第１輝度情報に対して重み付け処理が実行される。また、第１撮像信号ｃは第１輝度部分情報に飽和部分がある場合であり、この場合は飽和部分が補完された第１撮像信号ｃの第１輝度情報に対して重み付け処理が実行される。 Specifically, when the first luminance partial information is saturated, the luminance adjusting unit 138 performs a weighting process on the first luminance information supplemented by the luminance information complementing unit 137. In addition, when the first luminance partial information is not saturated, the luminance adjustment unit 138 performs a weighting process on the first luminance information acquired by the luminance information acquisition unit 136. In the example illustrated in FIG. 3, the first imaging signal a is a case where the first luminance partial information is not saturated, and weighting processing is performed on the first luminance information acquired by the luminance information acquisition unit 136. The first imaging signal c is a case where the first luminance portion information has a saturated portion, and in this case, weighting processing is performed on the first luminance information of the first imaging signal c in which the saturated portion is complemented. .
輝度平均処理部１３９は、輝度調整部１３８が重み付け処理を実行した第１輝度情報に対して、輝度平均化処理を実行する。具体的には、輝度平均処理部１３９は、複数の第１輝度部分情報（Ｍ×Ｎ個の第１輝度部分情報）に対して、輝度平均化処理を実行する。これにより、第１輝度情報の輝度代表値（第１輝度平均）が算出される。 The luminance average processing unit 139 performs luminance averaging processing on the first luminance information subjected to the weighting processing by the luminance adjusting unit 138. Specifically, the luminance average processing unit 139 performs luminance averaging processing on a plurality of pieces of first luminance partial information (M × N pieces of first luminance partial information). Thereby, the luminance representative value (first luminance average) of the first luminance information is calculated.
露光情報設定部１３２は、図１に示すように、第１露光情報設定部１３２ａと、第２露光情報設定部１３２ｂと、第３露光情報設定部１３２ｃとを、有している。 As shown in FIG. 1, the exposure information setting unit 132 includes a first exposure information setting unit 132a, a second exposure information setting unit 132b, and a third exposure information setting unit 132c.
第１露光情報設定部１３２ａは、第１蓄積時間で生成される第１撮像信号の輝度を制御する第１露光制御情報、及び第２蓄積時間で生成される第２撮像信号の輝度を制御する第２露光制御情報を、設定する。 The first exposure information setting unit 132a controls the first exposure control information for controlling the luminance of the first imaging signal generated during the first accumulation time and the luminance of the second imaging signal generated during the second accumulation time. Second exposure control information is set.
第１露光制御情報は、第１露出情報、第１シャッタ情報、及び第１感度情報を含む。第２露光制御情報及は、第２露出情報、第２シャッタ情報、及び第２感度情報を含む。すなわち、第１露光制御情報及び第２露光制御情報それぞれは、ＡＥ制御情報（ＡＥ制御値）である。 The first exposure control information includes first exposure information, first shutter information, and first sensitivity information. The second exposure control information and second exposure information, second shutter information, and second sensitivity information are included. That is, each of the first exposure control information and the second exposure control information is AE control information (AE control value).
第１露出情報及び第２露出情報は、露光部１７０の絞り１１３を制御するための情報である。第１シャッタ情報及び第２シャッタ情報は、露光部１７０のシャッタ１１４を制御するための情報である。第１感度情報及び第２感度情報は、撮像部１４０のＣＭＯＳイメージセンサ１４１を制御するための情報である。第１露出情報及び第２露出情報は露出量データを含み、第１シャッタ情報及び第２シャッタ情報はシャッタスピードデータを含み、第１感度情報及び第２感度情報はゲインデータを含んでいる。 The first exposure information and the second exposure information are information for controlling the diaphragm 113 of the exposure unit 170. The first shutter information and the second shutter information are information for controlling the shutter 114 of the exposure unit 170. The first sensitivity information and the second sensitivity information are information for controlling the CMOS image sensor 141 of the imaging unit 140. The first exposure information and the second exposure information include exposure amount data, the first shutter information and the second shutter information include shutter speed data, and the first sensitivity information and the second sensitivity information include gain data.
また、第１露光情報設定部１３２ａは、第１輝度情報に飽和部分が存在する場合、補完後の第１輝度情報に基づいて、第１露光制御情報を設定する。詳細には、露光情報設定部１３２は、第１輝度情報に飽和部分が存在する場合、輝度調整部１３８が調整した第１輝度情報に基づいて、第１露光制御情報を設定する。より詳細には、第１露光情報設定部１３２ａは、第１輝度情報に飽和部分が存在する場合、輝度平均処理部１３９が平均化した第１輝度情報の第１輝度平均に基づいて、第１露光制御情報を設定する。一方で、第１露光情報設定部１３２ａは、第１輝度情報に飽和部分が存在しない場合、輝度情報取得部１３６が取得した第１輝度情報に基づいて、第１露光制御情報を、設定する。また、第１露光情報設定部１３２ａは、輝度情報取得部１３６が取得した第２輝度情報に基づいて、第２露光制御情報を、設定する。 Moreover, the 1st exposure information setting part 132a sets 1st exposure control information based on the 1st luminance information after a complement, when a saturated part exists in 1st luminance information. Specifically, the exposure information setting unit 132 sets the first exposure control information based on the first luminance information adjusted by the luminance adjusting unit 138 when a saturated portion exists in the first luminance information. More specifically, when there is a saturated portion in the first luminance information, the first exposure information setting unit 132a performs the first exposure based on the first luminance average of the first luminance information averaged by the luminance average processing unit 139. Sets exposure control information. On the other hand, when there is no saturated portion in the first luminance information, the first exposure information setting unit 132a sets the first exposure control information based on the first luminance information acquired by the luminance information acquisition unit 136. The first exposure information setting unit 132a sets the second exposure control information based on the second luminance information acquired by the luminance information acquisition unit 136.
第２露光情報設定部１３２ｂは、被写体の輝度変化に応じて、第１輝度情報の輝度を変化させる第１輝度変化量（第１輝度情報用の輝度変化量）を、変更する。そして、第２露光情報設定部１３２ｂは、第１輝度変化量に基づいて、第１露光制御情報を、設定する。 The second exposure information setting unit 132b changes the first luminance change amount (the luminance change amount for the first luminance information) that changes the luminance of the first luminance information in accordance with the luminance change of the subject. Then, the second exposure information setting unit 132b sets the first exposure control information based on the first luminance change amount.
詳細には、第２露光情報設定部１３２ｂは、被写体の輝度変化に応じて第１輝度変化量を変更する。そして、第２露光情報設定部１３２ｂは、第１輝度変化量を所定値以下（閾値以下）に設定する。そして、第２露光情報設定部１３２ｂは、第１輝度変化量に基づいて、第１輝度情報を、第１輝度情報の第１輝度目標レベルに向けて変化させる。これにより、第２露光情報設定部１３２ｂは、第１露光制御情報を、設定する。 Specifically, the second exposure information setting unit 132b changes the first luminance change amount according to the luminance change of the subject. Then, the second exposure information setting unit 132b sets the first luminance change amount to be equal to or less than a predetermined value (below the threshold value). Then, the second exposure information setting unit 132b changes the first luminance information toward the first luminance target level of the first luminance information based on the first luminance change amount. Accordingly, the second exposure information setting unit 132b sets the first exposure control information.
例えば、第２露光情報設定部１３２ｂは、第１輝度情報の第１輝度目標レベル及び第１輝度情報の第１輝度平均に基づいて、第１輝度変化量が所定値以下になるように収束計算する。これにより、第１輝度変化量が所定値以下に設定される。そして、第２露光情報設定部１３２ｂは、第１輝度情報の第１輝度平均を、第１輝度変化量の収束値を用いて、第１輝度情報の第１輝度目標レベルに向けて変化させる。これにより、第２露光情報設定部１３２ｂは、第１露光制御情報を、設定する。 For example, the second exposure information setting unit 132b calculates convergence based on the first luminance target level of the first luminance information and the first luminance average of the first luminance information so that the first luminance change amount is a predetermined value or less. To do. Thereby, the first luminance change amount is set to a predetermined value or less. Then, the second exposure information setting unit 132b changes the first luminance average of the first luminance information toward the first luminance target level of the first luminance information using the convergence value of the first luminance change amount. Accordingly, the second exposure information setting unit 132b sets the first exposure control information.
さらに、第２露光情報設定部１３２ｂは、第２輝度情報を第１輝度変化量に基づいて変化させることによって、第２露光制御情報を設定する。詳細には、第２露光情報設定部１３２ｂは、第１輝度変化量に基づいて第２輝度情報が第２輝度情報の第２輝度目標レベルに近づくように、第２露光制御情報を設定する。 Further, the second exposure information setting unit 132b sets the second exposure control information by changing the second luminance information based on the first luminance change amount. Specifically, the second exposure information setting unit 132b sets the second exposure control information so that the second luminance information approaches the second luminance target level of the second luminance information based on the first luminance change amount.
第３露光情報設定部１３２ｃは、第１露光制御情報が所定の条件を満足した場合に、時間軸上において互いに隣接するフレームの露光時間が同じになるように、第１露光制御情報及び第２露光制御情報を設定する。 When the first exposure control information satisfies a predetermined condition, the third exposure information setting unit 132c sets the first exposure control information and the second exposure information so that the exposure times of frames adjacent to each other on the time axis are the same. Sets exposure control information.
詳細には、第３露光情報設定部１３２ｃは、シャッタ設定部１３２ｄと、感度調整部１３２ｅとを、含んでいる。シャッタ設定部１３２ｄは、第１シャッタ情報が、低速情報である場合、時間軸上において互いに隣接するフレームの第１シャッタ情報及び第２シャッタ情報を、同じ情報に設定する。すなわち、時間軸上において互いに隣接するフレームの第１シャッタ情報及び第２シャッタ情報が、同じ情報に設定される。 Specifically, the third exposure information setting unit 132c includes a shutter setting unit 132d and a sensitivity adjustment unit 132e. When the first shutter information is low-speed information, the shutter setting unit 132d sets the first shutter information and the second shutter information of frames adjacent to each other on the time axis to the same information. That is, the first shutter information and the second shutter information of frames adjacent to each other on the time axis are set to the same information.
具体的には、シャッタ設定部１３２ｄは、前フレームの第１シャッタ情報が低速情報である場合、現フレームの第２シャッタ情報に対して、前フレームの第１シャッタ情報を、設定する。なお、低速情報は、シャッタスピードが低速であることを示す情報である。 Specifically, when the first shutter information of the previous frame is low speed information, the shutter setting unit 132d sets the first shutter information of the previous frame for the second shutter information of the current frame. The low speed information is information indicating that the shutter speed is low.
ここで、例えば、被写体が移動しているような場合に、図４Ａに示すように、シャッタスピードの差により異なる露光時間（露光時間Ａ＞露光時間Ｂ）で撮像された第１撮像信号（露光時間Ａ）及び第２撮像信号（露光時間Ｂ）が合成されると、合成信号（合成画像）は、第１撮像信号に基づいたブレが生じた画像と、第２撮像信号に基づいたブレのない鮮明な画像とが、重ね合わせられたものになる。このとき、被写体は滑らかに移動しているにもかかわらず、第２撮像信号によるブレのない鮮明な画像が、合成信号に生じるために、合成画像は不自然なものになる。 Here, for example, when the subject is moving, as shown in FIG. 4A, the first imaging signal (exposure) captured at different exposure times (exposure time A> exposure time B) depending on the difference in shutter speeds. When the time A) and the second imaging signal (exposure time B) are combined, the combined signal (synthesized image) is the image of the blurring based on the first imaging signal and the blurring based on the second imaging signal. A clear image with no sharpness is superimposed. At this time, although the subject is moving smoothly, a clear image free from blurring due to the second imaging signal is generated in the composite signal, so that the composite image becomes unnatural.
しかしながら、シャッタ設定部１３２ｄにおいて、第１シャッタ情報及び第２シャッタ情報が同じ情報に設定され、例えば、図４Ｂに示すように、第１撮像信号の露光時間Ａと第２撮像信号の露光時間Ｂとが同じに設定されると、被写体が移動している場合であっても、第２撮像信号にブレのない鮮明な画像は生成されないので、自然な合成信号（合成画像）を生成することができる。 However, in the shutter setting unit 132d, the first shutter information and the second shutter information are set to the same information. For example, as shown in FIG. 4B, the exposure time A of the first imaging signal and the exposure time B of the second imaging signal. Are set to the same, even if the subject is moving, a clear image without blurring is not generated in the second image pickup signal, so that a natural synthesized signal (synthesized image) can be generated. it can.
感度調整部１３２ｅは、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定するために、シャッタ設定部１３２ｄで設定されたシャッタ情報に対応する感度情報を、調整する。すなわち、感度調整部１３２ｅは、シャッタ設定部１３２ｄで設定されたシャッタ情報に対応する感度情報を、調整することによって、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定する。 The sensitivity adjustment unit 132e adjusts sensitivity information corresponding to the shutter information set by the shutter setting unit 132d in order to set a luminance level difference between the first imaging signal and the second imaging signal. That is, the sensitivity adjustment unit 132e sets the luminance level difference between the first imaging signal and the second imaging signal by adjusting sensitivity information corresponding to the shutter information set by the shutter setting unit 132d.
例えば、シャッタ設定部１３２ｄで設定されたシャッタ情報が、現フレームの第２シャッタ情報である場合、感度調整部１３２ｅは、現フレームの第２露光制御情報において第２シャッタ情報に対応する感度情報を調整することによって、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定する。 For example, when the shutter information set by the shutter setting unit 132d is the second shutter information of the current frame, the sensitivity adjustment unit 132e sets the sensitivity information corresponding to the second shutter information in the second exposure control information of the current frame. By adjusting, the brightness level difference between the first imaging signal and the second imaging signal is set.
＜レンズ駆動部＞
レンズ駆動部１２０は、図１に示すように、光学系１１０を駆動するためのものである。レンズ駆動部１２０は、例えば、ＤＣモータ又はステッピングモータ等の駆動ユニットから、構成される。レンズ駆動部１２０は、制御部１３０からの命令に基づいて、駆動する。例えば、レンズ駆動部１２０が、ＡＦ制御のためのＡＦ制御情報を制御部１３０から受け取ると、このＡＦ制御情報に基づいて、レンズ駆動部１２０が光学系１１０を駆動する。例えば、レンズ駆動部１２０は、第１蓄積時間が経過した後に、第１蓄積時間で生成された第１撮像信号を用いて、光学系１１０例えばフォーカスレンズ１１１を、駆動する。また、第２蓄積時間が経過した後には、第２蓄積時間で生成された第２撮像信号を用いて、光学系１１０を、駆動する。
<Lens drive unit>
The lens driving unit 120 is for driving the optical system 110 as shown in FIG. The lens driving unit 120 includes a driving unit such as a DC motor or a stepping motor, for example. The lens driving unit 120 is driven based on a command from the control unit 130. For example, when the lens driving unit 120 receives AF control information for AF control from the control unit 130, the lens driving unit 120 drives the optical system 110 based on the AF control information. For example, the lens driving unit 120 drives the optical system 110, for example, the focus lens 111, using the first imaging signal generated at the first accumulation time after the first accumulation time has elapsed. In addition, after the second accumulation time has elapsed, the optical system 110 is driven using the second imaging signal generated during the second accumulation time.
＜記録部＞
記録部１６０は、第１記録部であるバッファ１６０ａと、第２記録部である内部メモリ１６０ｂと、第３記録部であるカードスロット１６０ｃとを、有している。バッファ１６０ａは、揮発性の記憶媒体であり、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のようなバッファメモリである。バッファ１６０ａは、制御部１３０例えば画像処理部１３３のワークメモリとして、機能する。内部メモリ１６０ｂは、不揮発性の記録媒体であり、例えばフラッシュメモリである。カードスロット１６０ｃは、メモリカード１９０を着脱可能であり、メモリカード１９０と電気的及び機械的に接続可能である。メモリカード１９０は、撮像装置１００の外部メモリである。例えば、メモリカード１９０は、不揮発性の記録媒体である。
<Recording section>
The recording unit 160 includes a buffer 160a that is a first recording unit, an internal memory 160b that is a second recording unit, and a card slot 160c that is a third recording unit. The buffer 160a is a volatile storage medium, and is a buffer memory such as a DRAM (Dynamic Random Access Memory), for example. The buffer 160a functions as a work memory for the control unit 130, for example, the image processing unit 133. The internal memory 160b is a non-volatile recording medium, for example, a flash memory. The card slot 160c is detachable from the memory card 190, and can be electrically and mechanically connected to the memory card 190. The memory card 190 is an external memory of the imaging apparatus 100. For example, the memory card 190 is a non-volatile recording medium.
＜その他の構成＞
また、撮像装置１００は、表示部２１０と、操作部２２０とを、備えている。表示部２１０は、例えば、液晶モニタや有機ＥＬモニタ等である。表示部２１０は、スルー画像及び記録画像等の画像を、表示する。スルー画像及び記録画像は、制御部１３０（画像処理部１３３）により、生成される。記録画像は、メモリ等の静止画データ又は動画データを、デコードすることにより得られる画像である。操作部２２０は、ユーザから操作を受け付ける操作インターフェースである。操作部２２０は、撮像装置１００の外部に配置される操作釦や操作ダイヤル等の総称である。操作部２２０は、ユーザによる操作を受け付けると、操作内容に対応する信号を、制御部１３０に送信する。
<Other configurations>
Further, the imaging apparatus 100 includes a display unit 210 and an operation unit 220. The display unit 210 is, for example, a liquid crystal monitor or an organic EL monitor. The display unit 210 displays images such as a through image and a recorded image. The through image and the recorded image are generated by the control unit 130 (image processing unit 133). The recorded image is an image obtained by decoding still image data or moving image data in a memory or the like. The operation unit 220 is an operation interface that receives an operation from a user. The operation unit 220 is a general term for operation buttons, operation dials, and the like arranged outside the imaging apparatus 100. When the operation unit 220 receives an operation by the user, the operation unit 220 transmits a signal corresponding to the operation content to the control unit 130.
＜動画撮影時のＡＥ処理＞
図２は、撮像装置１００において動画撮影が実行される場合のタイミングチャートである。この動画撮影では、合成信号（合成画像）が生成され、この合成信号がメモリ等に記録される。
<AE processing during movie shooting>
FIG. 2 is a timing chart when moving image shooting is performed in the imaging apparatus 100. In this moving image shooting, a synthesized signal (synthesized image) is generated, and this synthesized signal is recorded in a memory or the like.
ここでは、図２を参照して、合成信号の生成時の基本動作を説明する。動画撮影は、所定の時間間隔、例えば１／６０秒（１フレーム）ごとの垂直同期信号によって、実行される。図２では、フレームａ、フレームｂ・・・の順で、動画撮影が実行される様子を示している。このときに、撮像処理部１３５は、露光部１７０を制御することによって、撮像部１４０（ＣＭＯＳイメージセンサ１４１）の蓄積時間が、第１蓄積時間及び第２蓄積時間で周期的に変化するように、制御する。これにより、撮像部１４０が、第１蓄積時間に対応する第１撮像信号、及び第２蓄積時間に対応する第２撮像信号を、時間軸に沿って、周期的に生成し、出力する。すなわち、撮像部１４０は、第１蓄積時間と第２蓄積時間とのそれぞれの蓄積時間の終了のタイミングで、第１撮像信号と第２撮像信号とを順次出力する。 Here, with reference to FIG. 2, a basic operation at the time of generating a composite signal will be described. Movie shooting is executed by a vertical synchronization signal at a predetermined time interval, for example, every 1/60 seconds (one frame). FIG. 2 shows a state in which moving image shooting is executed in the order of frame a, frame b,. At this time, the imaging processing unit 135 controls the exposure unit 170 so that the accumulation time of the imaging unit 140 (CMOS image sensor 141) periodically changes between the first accumulation time and the second accumulation time. ,Control. Accordingly, the imaging unit 140 periodically generates and outputs the first imaging signal corresponding to the first accumulation time and the second imaging signal corresponding to the second accumulation time along the time axis. That is, the imaging unit 140 sequentially outputs the first imaging signal and the second imaging signal at the end timings of the first accumulation time and the second accumulation time.
そして、制御部１３０の画像処理部１３３（合成処理部１３４）が、撮像部１４０から出力された第１撮像信号及び第２撮像信号に基づいて、合成信号を生成し、この合成信号を合成画像データとしてメモリ等に記録する。図２では、第１撮像信号ａと第２撮像信号ｂに基づいて合成信号Ａが、第２撮像信号ｂと第１撮像信号ｃに基づいて合成信号Ｂが生成される様子を示している。このように、第１撮像信号と第２撮像信号に基づいて合成信号が順次生成される。 Then, the image processing unit 133 (compositing processing unit 134) of the control unit 130 generates a composite signal based on the first image pickup signal and the second image pickup signal output from the image pickup unit 140, and uses this composite signal as a composite image. Record as data in memory. FIG. 2 shows a state in which the synthesized signal A is generated based on the first imaging signal a and the second imaging signal b, and the synthesized signal B is generated based on the second imaging signal b and the first imaging signal c. In this way, a composite signal is sequentially generated based on the first image pickup signal and the second image pickup signal.
このようして合成信号を生成している際には、１フレームごとに、第１撮像信号及び第２撮像信号に対して、ＡＥ処理が実行される。まず、露光部１７０が作動し、撮像部１４０に対する光量及び露光時間が調節される。これにより、撮像部１４０において、上記の第１蓄積時間及び第２蓄積時間が、決定される。すると、第１蓄積時間又は第２蓄積時間に基づいて、撮像部１４０が、第１撮像信号又は第２撮像信号を生成する。この処理は、１フレームごとに実行され、第１撮像信号及び第２撮像信号を用いて、ＡＥ処理が実行される。このＡＥ処理に基づいて、露光部１７０がＡＥ制御される。 When the composite signal is generated in this way, the AE process is performed on the first imaging signal and the second imaging signal for each frame. First, the exposure unit 170 is activated, and the light amount and the exposure time for the imaging unit 140 are adjusted. Thereby, in the imaging unit 140, the first accumulation time and the second accumulation time are determined. Then, based on the first accumulation time or the second accumulation time, the imaging unit 140 generates a first imaging signal or a second imaging signal. This process is executed for each frame, and the AE process is executed using the first imaging signal and the second imaging signal. Based on this AE process, the exposure unit 170 is AE controlled.
以下では、図５Ａ〜図５Ｃのフローチャートを参照して、このＡＥ処理を詳細に説明する。まず、図５Ａに示すように、現フレームの撮像信号が第１撮像信号であるか否かが、判断される（ステップＳ１）。ここで、現フレームの撮像信号が第１撮像信号であった場合（ステップＳ１でＹｅｓ）、第１撮像信号の第１輝度情報が取得される（ステップＳ２）。具体的には、図３に示したように、第１撮像信号をＭ×Ｎ個に分割することによって、各区分の第１輝度部分情報が検出される。各区分の第１輝度部分情報を検出することによって、第１輝度情報が取得される。ここで、第１輝度情報は、Ｍ×Ｎ個の第１輝度部分情報から構成される。 Hereinafter, the AE process will be described in detail with reference to the flowcharts of FIGS. 5A to 5C. First, as shown in FIG. 5A, it is determined whether the imaging signal of the current frame is the first imaging signal (step S1). Here, when the imaging signal of the current frame is the first imaging signal (Yes in step S1), the first luminance information of the first imaging signal is acquired (step S2). Specifically, as shown in FIG. 3, the first luminance partial information of each section is detected by dividing the first imaging signal into M × N. By detecting the first luminance partial information of each section, the first luminance information is acquired. Here, the first luminance information is composed of M × N pieces of first luminance partial information.
続いて、第１輝度情報に飽和部分が存在するか否か、すなわち第１輝度情報が飽和情報（飽和部分の輝度を示す情報）を有しているか否かが、判断される（ステップＳ３）。 Subsequently, it is determined whether or not there is a saturated portion in the first luminance information, that is, whether or not the first luminance information has saturation information (information indicating the luminance of the saturated portion) (step S3). .
ここで、第１輝度情報が飽和情報を有していた場合（ステップＳ３でＹｅｓ）、前フレームの第２輝度情報から、現フレームの第１輝度情報の飽和部分に対応する第２輝度部分情報が、検出される。そして、図３に示すように、この検出された第２輝度部分情報を用いて、現フレームの第１輝度情報における飽和部分の第１輝度部分情報が、補完される。具体的には、第１輝度情報及び第２輝度情報の間の輝度レベル差に応じた所定の補完倍率によって、第２輝度部分情報が変換され、変換された第２輝度部分情報によって、第１輝度部分情報が補完される。そして、補完後の第１輝度情報（補完後のＭ×Ｎ個の第１輝度部分情報）は、第１記録部（バッファ１６０ａ）に記録される（ステップＳ４）。 Here, when the first luminance information has saturation information (Yes in step S3), the second luminance partial information corresponding to the saturated portion of the first luminance information of the current frame from the second luminance information of the previous frame. Is detected. As shown in FIG. 3, the first luminance partial information of the saturated portion in the first luminance information of the current frame is complemented using the detected second luminance partial information. Specifically, the second luminance part information is converted with a predetermined complementary magnification according to the luminance level difference between the first luminance information and the second luminance information, and the first luminance information is converted into the first luminance information. Luminance partial information is complemented. Then, the first luminance information after complementation (M × N pieces of first luminance partial information after complementation) is recorded in the first recording unit (buffer 160a) (step S4).
一方で、第１輝度情報が飽和情報を有してない場合（ステップＳ３でＮｏ）、現フレームの第１輝度情報（Ｍ×Ｎ個の第１輝度部分情報）が、第１記録部（バッファ１６０ａ）に記録される（ステップＳ５）。 On the other hand, when the first luminance information has no saturation information (No in step S3), the first luminance information (M × N pieces of first luminance partial information) of the current frame is stored in the first recording unit (buffer 160a) (step S5).
続いて、第１記録部に記録された第１輝度情報に対して、輝度調整部１３８により輝度調整処理が実行される。具体的には、Ｍ×Ｎ個の第１輝度部分情報に対して、重み付け処理が実行される。詳細には、所定の重み付け関数によって算出される倍率によって、Ｍ×Ｎ個の第１輝度部分情報が、重み付けされる（ステップＳ６）。 Subsequently, a luminance adjustment process is executed by the luminance adjustment unit 138 on the first luminance information recorded in the first recording unit. Specifically, a weighting process is performed on the M × N pieces of first luminance partial information. Specifically, M × N pieces of first luminance partial information are weighted by a magnification calculated by a predetermined weighting function (step S6).
続いて、重み付けされた第１輝度情報に対して、輝度平均処理部１３９による輝度平均化処理が実行される（ステップＳ７）。具体的には、Ｍ×Ｎ個の第１輝度部分情報を平均化する処理が、実行される。これにより、現フレームの第１輝度情報の輝度代表値（第１輝度平均）が、算出される。そして、この第１輝度情報の輝度代表値が、第１記録部に記録される。 Subsequently, the luminance averaging process by the luminance average processing unit 139 is performed on the weighted first luminance information (step S7). Specifically, a process of averaging M × N pieces of first luminance partial information is executed. Thereby, the luminance representative value (first luminance average) of the first luminance information of the current frame is calculated. Then, the luminance representative value of the first luminance information is recorded in the first recording unit.
なお、ステップＳ１において現フレームの撮像信号が第２撮像信号であった場合（ステップＳ１でＮｏ）、第２撮像信号の第２輝度情報が、取得される（ステップＳ８）。そして、この第２輝度情報が、現フレームの輝度情報として、第１記録部に記録される。なお、ステップＳ８における第２輝度情報の取得は、ステップＳ２における処理と同様であるので、説明は省略する。 Note that if the imaging signal of the current frame is the second imaging signal in step S1 (No in step S1), the second luminance information of the second imaging signal is acquired (step S8). The second luminance information is recorded in the first recording unit as luminance information of the current frame. Note that the acquisition of the second luminance information in step S8 is the same as the processing in step S2, and a description thereof will be omitted.
続いて、上記の第１輝度情報又は第２輝度情報に基づいて、第１露光制御情報又は第２露光制御情報（ＡＥ制御情報）が、設定される（ステップＳ９）。そして、第１露光制御情報又は第２露光制御情報（ＡＥ制御情報）に基づいて、ＡＥ制御が実行される（ステップＳ１０）。 Subsequently, the first exposure control information or the second exposure control information (AE control information) is set based on the first luminance information or the second luminance information (step S9). Then, AE control is executed based on the first exposure control information or the second exposure control information (AE control information) (step S10).
以下では、ステップＳ９において実行される処理について、説明する。まず、ステップＳ９の処理概要を、説明する。現フレームの撮像信号が第１撮像信号である場合、図５Ａに示すステップＳ７で平均化された第１輝度情報（Ｍ×Ｎ個の第１輝度部分情報）の第１輝度平均に基づいて、第１露光制御情報が設定される。一方で、現フレームの撮像信号が第２撮像信号である場合、ステップＳ８で取得された第２輝度情報（Ｍ×Ｎ個の第２輝度部分情報）に基づいて、第２露光制御情報が設定される。 Below, the process performed in step S9 is demonstrated. First, an outline of the process in step S9 will be described. When the imaging signal of the current frame is the first imaging signal, based on the first luminance average of the first luminance information (M × N pieces of first luminance partial information) averaged in step S7 shown in FIG. 5A, First exposure control information is set. On the other hand, when the imaging signal of the current frame is the second imaging signal, the second exposure control information is set based on the second luminance information (M × N pieces of second luminance partial information) acquired in step S8. Is done.
次に、図５Ａに示すステップＳ９の処理について、図５Ｂを参照して、詳細に説明する。まず、現フレームの撮像信号が第１撮像信号であるか否かが、判断される（ステップＳ１１）。なお、図５Ａに示すステップＳ１において、制御部１３０は、既に、現フレームの撮像信号が第１撮像信号であるか否かを認識している。このため、ステップＳ１１の判断は敢えて行う必要はないが、ここでは、説明を容易にするために、ステップＳ１と同じ処理を記載している。 Next, the process of step S9 shown in FIG. 5A will be described in detail with reference to FIG. 5B. First, it is determined whether or not the imaging signal of the current frame is the first imaging signal (step S11). In step S1 shown in FIG. 5A, the control unit 130 has already recognized whether or not the imaging signal of the current frame is the first imaging signal. For this reason, it is not necessary to dare to make the determination in step S11, but here, in order to facilitate the explanation, the same processing as in step S1 is described.
ここで、現フレームの撮像信号が第１撮像信号であった場合（ステップＳ１１でＹｅｓ）、図５ＡのステップＳ７で算出された第１輝度平均及び第１輝度目標レベルに基づいて、第１輝度変化量が設定される（ステップＳ１２）。具体的には、第１輝度平均及び第１輝度目標レベルに基づいて、輝度レベル差が設定され、この輝度レベル差を調整値で除算する処理（＝輝度レベル差／調整値）を実行することによって、第１輝度変化量が設定される。調整値は、輝度レベル差の大きさを調整するためのものである。 Here, when the imaging signal of the current frame is the first imaging signal (Yes in Step S11), the first luminance is calculated based on the first luminance average and the first luminance target level calculated in Step S7 of FIG. 5A. A change amount is set (step S12). Specifically, a luminance level difference is set based on the first luminance average and the first luminance target level, and a process of dividing the luminance level difference by the adjustment value (= luminance level difference / adjustment value) is executed. Thus, the first luminance change amount is set. The adjustment value is for adjusting the magnitude of the luminance level difference.
続いて、第１輝度変化量が、輝度を変化させる上限値（閾値）以下であるか否かが、判断される（ステップＳ１３）。ここで、第１輝度変化量が、輝度を変化させる上限値より大きい場合（ステップＳ１３でＮｏ）、調整値が増加される（ステップＳ１４）。そして、ここで増加させた調整値に基づいて、ステップＳ１２の処理が実行される。ステップＳ１３及びステップＳ１４の処理は、第１輝度変化量が上限値以下になるまで収束計算される。 Subsequently, it is determined whether or not the first luminance change amount is equal to or less than an upper limit value (threshold value) for changing the luminance (step S13). Here, when the first luminance change amount is larger than the upper limit value for changing the luminance (No in step S13), the adjustment value is increased (step S14). And the process of step S12 is performed based on the adjustment value increased here. In the processes in steps S13 and S14, convergence calculation is performed until the first luminance change amount becomes equal to or less than the upper limit value.
そして、第１輝度変化量が上限値以下になった場合（ステップＳ１３でＹｅｓ）、第１輝度変化量に基づいて第１輝度情報を第１輝度目標レベルに向けて変化させることによって、２フレーム先の第１輝度情報が設定される（ステップＳ１５）。すると、この第１輝度情報に基づいて、２フレーム先の第１露光制御情報（第１露出情報、第１シャッタ情報、第１感度情報）が、設定される（ステップＳ１６）。すると、この第１露光制御情報に基づいて、上述したＡＥ制御が実行される（図５ＡのステップＳ１０）。 Then, when the first luminance change amount is equal to or less than the upper limit value (Yes in step S13), the first luminance information is changed toward the first luminance target level based on the first luminance change amount, thereby obtaining two frames. The previous first luminance information is set (step S15). Then, the first exposure control information (first exposure information, first shutter information, first sensitivity information) two frames ahead is set based on the first luminance information (step S16). Then, the above-described AE control is executed based on the first exposure control information (step S10 in FIG. 5A).
ここで、ステップＳ１６の処理について、具体的に説明する。第１撮像信号から取得した第１輝度情報が、第１輝度目標レベルに対して低い場合、第１シャッタ情報を低速情報に（シャッタスピードを遅く）設定したり、第１感度情報を高感度情報に（ゲインを上げて）設定したりする。これにより、次の第１輝度情報を取得する時に、第１輝度情報が高くなるように、第１露光制御情報が設定される。 Here, the process of step S16 will be specifically described. When the first luminance information acquired from the first imaging signal is lower than the first luminance target level, the first shutter information is set to low speed information (slow shutter speed), or the first sensitivity information is set to high sensitivity information. Or to increase the gain. Accordingly, the first exposure control information is set so that the first luminance information becomes higher when the next first luminance information is acquired.
また、第１撮像信号から取得した第１輝度情報が、第１輝度目標レベルに対して高い場合、第１シャッタ情報を高速情報に（シャッタスピードを速く）設定したり、第１感度情報を低感度に（ゲインを下げて）設定したりする。これにより、次の第１輝度情報を取得する時に、第１輝度情報が低くなるように、第１露光制御情報が設定される。なお、第１シャッタ情報及び第１感度情報を変化させる量は、第１輝度情報が第１輝度目標レベルに徐々に近付くように、１フレームごとに調整される。 In addition, when the first luminance information acquired from the first imaging signal is higher than the first luminance target level, the first shutter information is set to high speed information (shutter speed is increased), or the first sensitivity information is set to low. Set sensitivity (with lower gain). Thus, the first exposure control information is set so that the first luminance information is lowered when the next first luminance information is acquired. The amount by which the first shutter information and the first sensitivity information are changed is adjusted for each frame so that the first luminance information gradually approaches the first luminance target level.
一方で、現フレームの撮像信号が第２撮像信号であった場合（ステップＳ１１でＮｏ）、第２露光制御情報が設定される（ステップＳ１７）。 On the other hand, when the imaging signal of the current frame is the second imaging signal (No in step S11), second exposure control information is set (step S17).
以下では、ステップＳ１７の処理を、図５Ｃを参照して、詳細に説明する。前フレームの第１露光制御情報において、第１シャッタ情報が低速情報であるか否かが、判断される（ステップＳ１８）。ここで、前フレームの第１シャッタ情報が低速情報である場合（ステップＳ１８でＹｅｓ）、現フレームの第２シャッタ情報に対して、前フレームの第１シャッタ情報が設定される（ステップＳ１９）。 Below, the process of step S17 is demonstrated in detail with reference to FIG. 5C. It is determined whether or not the first shutter information is the low speed information in the first exposure control information of the previous frame (step S18). If the first shutter information of the previous frame is low speed information (Yes in step S18), the first shutter information of the previous frame is set with respect to the second shutter information of the current frame (step S19).
そして、第１撮像信号及び第２撮像信号の間の輝度レベル差を設定するために、第２シャッタ情報に対応する第２感度情報が、調整される（ステップＳ２０）。具体的には、第２シャッタ情報に対応する第２感度情報のゲインを調整することによって、第１撮像信号及び第２撮像信号の間の輝度レベル差が設定される。ここで、露光部１７０は、１フレーム（１／６０秒）ごとの調整に追随することが難しいため、第２露出情報は、第２シャッタ情報に基づいて所定の露出量に設定されている。 Then, the second sensitivity information corresponding to the second shutter information is adjusted in order to set the luminance level difference between the first imaging signal and the second imaging signal (step S20). Specifically, the brightness level difference between the first imaging signal and the second imaging signal is set by adjusting the gain of the second sensitivity information corresponding to the second shutter information. Here, since it is difficult for the exposure unit 170 to follow the adjustment for each frame (1/60 second), the second exposure information is set to a predetermined exposure amount based on the second shutter information.
このようにして、第２輝度情報、第２感度情報、及び第２露出情報を設定することによって、２フレーム先の第２露光制御情報が設定される（ステップＳ２１）。すると、この第２露光制御情報に基づいて、上述したＡＥ制御が実行される（図５ＡのステップＳ１０）。 Thus, by setting the second luminance information, the second sensitivity information, and the second exposure information, the second exposure control information for two frames ahead is set (step S21). Then, the above-described AE control is executed based on the second exposure control information (step S10 in FIG. 5A).
ここで、前フレームの第１シャッタ情報が低速情報ではない場合（ステップＳ１８でＮｏ）、前フレームの第１撮像信号の第１輝度変化量に基づいて、第２露光制御情報が設定される（ステップＳ２２）。具体的には、第２感度情報は、前フレームの第１撮像信号の第１輝度変化量に基づいて、現フレームの第２輝度情報が第２輝度情報の第２輝度目標レベルに近づくように、２フレーム先の第２露光制御情報が設定される。 Here, when the first shutter information of the previous frame is not low speed information (No in step S18), the second exposure control information is set based on the first luminance change amount of the first imaging signal of the previous frame ( Step S22). Specifically, the second sensitivity information is set so that the second luminance information of the current frame approaches the second luminance target level of the second luminance information based on the first luminance change amount of the first imaging signal of the previous frame. Second exposure control information for two frames ahead is set.
より具体的には、前フレームの第１撮像信号の第１輝度変化量に基づいて、現フレーム第２輝度変化量が設定される。第２輝度変化量は、第２輝度情報の輝度を変化させるためのものである。この第２輝度変化量に基づいて、第２輝度情報が第２輝度目標レベルに近づくように、２フレーム先の第２輝度情報が設定される。第２輝度目標レベルは、第１輝度情報との輝度レベル差が一定となるような輝度レベルである。このようにして、第２輝度情報が設定されると、この第２輝度情報に基づいて、２フレーム先の第２露光制御情報が設定される。すると、この第２露光制御情報に基づいて、上述したＡＥ制御が実行される（図５ＡのステップＳ１０）。 More specifically, the current frame second luminance change amount is set based on the first luminance change amount of the first imaging signal of the previous frame. The second luminance change amount is for changing the luminance of the second luminance information. Based on this second luminance change amount, the second luminance information of two frames ahead is set so that the second luminance information approaches the second luminance target level. The second luminance target level is a luminance level at which the luminance level difference from the first luminance information is constant. When the second luminance information is set in this manner, the second exposure control information for two frames ahead is set based on the second luminance information. Then, the above-described AE control is executed based on the second exposure control information (step S10 in FIG. 5A).
上記のＡＥ処理では、図３及び図５Ａに示すように、第１輝度情報が飽和したとしても、第２輝度情報によって、第１輝度情報の飽和部分を補完することができるので、欠損のない輝度情報によって、ＡＥ制御を実行することができる。すなわち、輝度の欠損を適切に評価した上で、ＡＥ制御を実行することができる。 In the above AE processing, as shown in FIGS. 3 and 5A, even if the first luminance information is saturated, the saturated portion of the first luminance information can be complemented by the second luminance information, so there is no defect. AE control can be executed based on the luminance information. That is, the AE control can be executed after appropriately evaluating the luminance deficiency.
また、上記のＡＥ処理では、被写体の輝度変化に応じて、輝度情報を変化させている。例えば、図５Ｂで説明したように、輝度レベル差に基づいて、輝度変化量が閾値以下になるように設定し、設定後の輝度変化量に基づいて輝度を変化させている。これにより、輝度レベル差が大きい場合に、輝度情報を緩やかに変化させることができる。すなわち、輝度レベル差が大きい場合に、輝度が自然に変化する映像を、生成することができる。 In the AE process, the luminance information is changed according to the luminance change of the subject. For example, as described with reference to FIG. 5B, the luminance change amount is set to be equal to or less than the threshold based on the luminance level difference, and the luminance is changed based on the luminance change amount after the setting. Thereby, the luminance information can be changed gently when the luminance level difference is large. That is, when the luminance level difference is large, an image in which the luminance changes naturally can be generated.
さらに、上記のＡＥ処理では、図４Ｂ及び図５Ｃに示すように、第１露光制御情報が所定の条件を満足した場合、例えば第１シャッタ情報が低速情報を有する場合に、第２シャッタ情報に対して第１シャッタ情報を適用している。これにより、移動する被写体を撮影する場合であっても、シャッタスピードの差に伴う第１撮像信号と第２撮像信号とにおける画像のブレ方の差が抑制され、自然な合成信号（合成画像）を生成することができる。 Further, in the above AE process, as shown in FIGS. 4B and 5C, when the first exposure control information satisfies a predetermined condition, for example, when the first shutter information has low speed information, the second shutter information is included. On the other hand, the first shutter information is applied. Accordingly, even when a moving subject is photographed, a difference in image blurring between the first image pickup signal and the second image pickup signal due to a difference in shutter speed is suppressed, and a natural composite signal (composite image). Can be generated.
［他の実施形態］
本技術は以上のような実施形態に限定されるものではなく、本技術の範囲を逸脱することなく種々の変形又は修正が可能である。
[Other Embodiments]
The present technology is not limited to the above-described embodiments, and various changes or modifications can be made without departing from the scope of the present technology.
（ａ）上記実施形態では、画像処理部１３３が制御部１３０に含まれる場合の例を示したが、画像処理部１３３は、制御部１３０とは独立した構成としてもよい。 (A) In the above embodiment, an example in which the image processing unit 133 is included in the control unit 130 has been described. However, the image processing unit 133 may be configured independently of the control unit 130.
（ｂ）上記実施形態では、本技術の特徴を説明するために必要な構成を説明した。しかし、ここに示されてはいないものの撮像装置１００を動作させるために必要な他の構成については、従来技術と同様に構成されている。すなわち、ここで説明が省略された他の構成は、従来技術に準ずる。 (B) In the above embodiment, the configuration necessary for describing the features of the present technology has been described. However, although not shown here, other configurations necessary for operating the imaging apparatus 100 are configured in the same manner as in the prior art. In other words, other configurations that are not described here conform to the prior art.
（ｃ）上記実施形態では、第１輝度情報が飽和情報を有している場合に、第１輝度情報の輝度代表値に基づいて、第１露光制御情報が設定される場合の例を示した。これに代えて、この場合、図５Ａに示すステップＳ４で補完された第１輝度情報に基づいて、第１露光制御情報を設定してもよい。 (C) In the above-described embodiment, an example in which the first exposure control information is set based on the luminance representative value of the first luminance information when the first luminance information has saturation information has been shown. . Instead, in this case, the first exposure control information may be set based on the first luminance information supplemented in step S4 shown in FIG. 5A.
（ｄ）上記実施形態では、第１輝度情報が飽和情報を有している場合に、第１輝度情報の輝度代表値に基づいて、第１露光制御情報が設定される場合の例を示した。これに代えて、この場合、図５Ａに示すステップＳ６で調整された第１輝度情報に基づいて、第１露光制御情報を設定してもよい。 (D) In the above-described embodiment, an example in which the first exposure control information is set based on the luminance representative value of the first luminance information when the first luminance information has saturation information has been shown. . Instead, in this case, the first exposure control information may be set based on the first luminance information adjusted in step S6 shown in FIG. 5A.
１００ 撮像装置
１１０ 光学系
１３０ 制御部
１３２ 露光情報設定部
１３２ａ 第１露光情報設定部
１３２ｂ 第２露光情報設定部
１３２ｃ 第３露光情報設定部
１３２ｄ シャッタ設定部
１３２ｅ 感度調整部
１３３ 画像処理部
１３４ 合成処理部
１３５ 撮像処理部
１３６ 輝度情報取得部
１３７ 輝度情報補完部
１３８ 輝度調整部
１３９ 輝度平均処理部
１４０ 撮像部
１７０ 露光部
DESCRIPTION OF SYMBOLS 100 Imaging device 110 Optical system 130 Control part 132 Exposure information setting part 132a 1st exposure information setting part 132b 2nd exposure information setting part 132c 3rd exposure information setting part 132d Shutter setting part 132e Sensitivity adjustment part 133 Image processing part 134 Synthesis | combination process Unit 135 imaging processing unit 136 luminance information acquisition unit 137 luminance information complementing unit 138 luminance adjustment unit 139 luminance average processing unit 140 imaging unit 170 exposure unit
Claims (5)
前記撮像部に入射する光を調節する露光部と、
前記撮像部が前記電荷を蓄積する時間を、第１蓄積時間、及び前記第１蓄積時間以下の第２蓄積時間に、制御する撮像処理部と、
前記第１蓄積時間で生成される第１撮像信号の輝度を制御するための第１露光制御情報、及び前記第２蓄積時間で生成される第２撮像信号の輝度を制御するための第２露光制御情報を、設定する露光情報設定部と、
前記第１撮像信号と前記第２撮像信号とを合成する画像処理部と、
を備え、
前記第１露光制御情報が所定の条件を満足した場合には、前記露光情報設定部は、時間軸上において互いに隣接する前記フレームに対応するそれぞれの前記電荷を蓄積する時間が同じになるように、前記第１露光制御情報及び前記第２露光制御情報を設定する、
撮像装置。 An imaging unit that generates and outputs an imaging signal by accumulating electric charge according to incident light for each frame;
An exposure unit for adjusting light incident on the imaging unit;
An imaging processing unit that controls a time during which the imaging unit accumulates the charge to a first accumulation time and a second accumulation time equal to or less than the first accumulation time;
First exposure control information for controlling the luminance of the first imaging signal generated during the first accumulation time, and second exposure for controlling the luminance of the second imaging signal generated during the second accumulation time. Exposure information setting section for setting control information; and
An image processing unit that combines the first imaging signal and the second imaging signal;
With
When the first exposure control information satisfies a predetermined condition, the exposure information setting unit makes the time for storing the charges corresponding to the frames adjacent to each other on the time axis the same. Setting the first exposure control information and the second exposure control information;
Imaging device.
前記露光情報設定部は、前記シャッタ情報を設定するシャッタ設定部を、有し、
前記シャッタ設定部は、前記第１露光制御情報の前記シャッタ情報が、低速シャッタを示す低速情報である場合に、時間軸上において互いに隣接する前記フレームに対応する前記第１露光制御情報及び前記第２露光制御情報の前記シャッタ情報を、同じ情報に設定する、
請求項１に記載の撮像装置。 Each of the first exposure control information and the second exposure control information includes shutter information,
The exposure information setting unit has a shutter setting unit for setting the shutter information,
The shutter setting unit, when the shutter information of the first exposure control information is low-speed information indicating a low-speed shutter, the first exposure control information and the first exposure information corresponding to the frames adjacent to each other on the time axis 2 sets the shutter information of the exposure control information to the same information;
The imaging device according to claim 1.
請求項２に記載の撮像装置。 When the shutter information of the first exposure control information is the low-speed information, the shutter setting unit sets the shutter information of the first exposure control information to the shutter information of the second exposure control information. , Set,
The imaging device according to claim 2.
前記露光情報設定部は、前記第１撮像信号及び前記第２撮像信号の間の輝度レベル差を設定するために、前記シャッタ設定部で設定された前記シャッタ情報に対応する前記感度情報を、調整する感度調整部を、さらに有する、
請求項２又は３に記載の撮像装置。 Each of the first exposure control information and the second exposure control information further includes sensitivity information,
The exposure information setting unit adjusts the sensitivity information corresponding to the shutter information set by the shutter setting unit in order to set a luminance level difference between the first imaging signal and the second imaging signal. Further having a sensitivity adjustment unit
The imaging device according to claim 2 or 3.
前記感度調整部は、前記輝度レベル差を設定するために、前記第２露光制御情報において前記シャッタ情報に対応する前記感度情報を、調整する、
請求項４に記載の撮像装置。 When the shutter information of the first exposure control information is the low-speed information, the shutter setting unit sets the shutter information of the first exposure control information to the shutter information of the second exposure control information. ,Set,
The sensitivity adjustment unit adjusts the sensitivity information corresponding to the shutter information in the second exposure control information in order to set the luminance level difference;
The imaging device according to claim 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/990,249 US9843737B2 (en) | 2015-01-22 | 2016-01-07 | Imaging device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015010478 | 2015-01-22 | ||
| JP2015010478 | 2015-01-22 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016140057A true JP2016140057A (en) | 2016-08-04 |
Family
ID=56559398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015239815A Pending JP2016140057A (en) | 2015-01-22 | 2015-12-09 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016140057A (en) |
-
2015
- 2015-12-09 JP JP2015239815A patent/JP2016140057A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6124538B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM | |
| JP5715436B2 (en) | Imaging apparatus and control method thereof | |
| US9843735B2 (en) | Image processing apparatus, imaging apparatus comprising the same, and image processing method | |
| JP2007243759A (en) | Digital imaging apparatus | |
| JP2010160311A (en) | Imaging apparatus | |
| JP5868061B2 (en) | Imaging device | |
| KR20160044945A (en) | Image photographing appratus | |
| JP2010178164A (en) | Imaging apparatus | |
| JP6261397B2 (en) | Imaging apparatus and control method thereof | |
| JP7190355B2 (en) | Image processing device and image processing method | |
| US7945155B2 (en) | Apparatus for capturing images, method of controlling exposure in the apparatus, and computer readable recording medium storing program | |
| JP6118118B2 (en) | Imaging apparatus and control method thereof | |
| JP4898151B2 (en) | Imaging apparatus and imaging method | |
| JP5618765B2 (en) | Imaging apparatus and control method thereof | |
| JP6242129B2 (en) | Imaging device, control method thereof, and control program | |
| JP5947625B2 (en) | Imaging apparatus and control method thereof | |
| US9843737B2 (en) | Imaging device | |
| JP2019080261A (en) | Imaging apparatus | |
| JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP5341536B2 (en) | Imaging device | |
| JP2016134900A (en) | Imaging device | |
| JP6659163B2 (en) | Flash band determination device, control method thereof, and program | |
| JP2016140057A (en) | Imaging device | |
| JP2016134892A (en) | Imaging device | |
| JP5721552B2 (en) | Imaging apparatus and image composition method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160525 |