JP2011228771A - Imaging device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device capable of suppressing unnatural fixed pattern noise without using a light-shielding element.SOLUTION: An imaging device 1 comprises: a first imaging unit 11 which takes images of a subject and outputs an image taken with a first exposure time and an image taken with a second exposure time shorter than the first exposure time; a subtraction part 14 which generates a corrected image on the basis of the image taken with the first exposure time and the image taken with the second exposure time, the images having been outputted by the imaging unit 11; a frame rate conversion unit 15 which converts the frame rate of the corrected image outputted by the subtraction part 14; and a signal processing circuit 16 which performs signal processing of the output of the frame rate conversion unit 15.

Description

本発明は、撮像素子の生成する画像信号から固定パターンノイズを除去する撮像装置に関する。   The present invention relates to an imaging apparatus that removes fixed pattern noise from an image signal generated by an imaging element.

従来、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型やＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型などの撮像素子を使用した撮像装置において、アナログ処理回路の欠陥に起因する点や線や、そのシステムに起因する周期性ノイズなどにより、画素領域内における固定パターンノイズによる画質劣化が問題となっていた。発生するレベルが非常に小さい場合でも、画素領域に常に固定して点や線として現れるため、固定パターンノイズは非常に目立ち易い。特にＭＯＳ型などの場合、アナログ処理回路が細分化されて並列処理されていることから、各々の画素信号の通過経路が異なるため、固定パターンノイズが非常に多くなる。固定パターンノイズは入射する光量に影響されず常に一定量発生するという特徴があるため、撮像素子を遮光した場合には固定パターンノイズのみが取得できる。撮像素子を一時的に遮光して固定パターンノイズを取得し、通常撮影画像からこれを減算することによって、固定パターンを除去した通常撮影画像が得られる。撮像素子を一時的に遮光する手段として、撮像素子の前段に遮光素子を設けて、固定パターンノイズを取得する際には遮光素子を駆動して入射光を遮蔽する方法が考案されている（特許文献１参照）。   2. Description of the Related Art Conventionally, in an imaging device using an image sensor such as a CCD (Charge Coupled Device) type or a MOS (Metal Oxide Semiconductor) type, points and lines caused by analog processing circuit defects, periodic noise caused by the system, etc. Therefore, image quality deterioration due to fixed pattern noise in the pixel region has been a problem. Even when the generated level is very small, the fixed pattern noise is very conspicuous because it always appears fixed as a dot or line in the pixel area. In particular, in the case of the MOS type or the like, since the analog processing circuit is subdivided and processed in parallel, the passing path of each pixel signal is different, so that the fixed pattern noise becomes very large. Since the fixed pattern noise is always generated in a fixed amount without being affected by the amount of incident light, only the fixed pattern noise can be acquired when the image sensor is shielded from light. The fixed image noise is acquired by temporarily shielding the image sensor and subtracted from the normal image to obtain a normal image from which the fixed pattern is removed. As a means for temporarily shielding the image sensor, a method has been devised in which a light shield element is provided in front of the image sensor and when the fixed pattern noise is acquired, the light shield element is driven to block incident light (patent) Reference 1).

遮光素子は、偏光板や透過型液晶などを用いて、透過または遮蔽の制御を高速に行うことの出来るものが用いられる。偏光板を用いる場合には、偏光板を２枚使用し、２枚の相対角度を入射光軸上に回転させて、偏光板を２枚の相対角度が０度のときには入射光を透過し、相対角度が９０度のときには入射光を遮蔽するように回転駆動部が制御される。また、透過型液晶を用いる場合には、液晶パネルに対して電圧を供給出来るように構成し、電圧供給時には入射光を透過し、電圧遮断時には入射光を遮蔽出来るように電源が制御される。これらによって、比較的短い時間で入射光を透過、遮蔽することができる。   As the light shielding element, an element capable of performing transmission or shielding control at high speed using a polarizing plate, a transmissive liquid crystal, or the like is used. When using a polarizing plate, use two polarizing plates, rotate the relative angle of the two on the incident optical axis, and transmit the incident light when the relative angle of the two polarizing plates is 0 degree, When the relative angle is 90 degrees, the rotation driving unit is controlled so as to shield the incident light. In addition, when transmissive liquid crystal is used, a voltage can be supplied to the liquid crystal panel, and the power source is controlled so that incident light can be transmitted when the voltage is supplied and incident light can be blocked when the voltage is cut off. Accordingly, incident light can be transmitted and shielded in a relatively short time.

図５に示すように、被写体から遮光素子５１に入力される入射光は透過または遮蔽されて撮像素子５２に入力される。入射光は撮像素子５２で光電変換されて、変換された信号が選択部５３に出力される。選択部５３は遮光素子５１で遮蔽された信号をフレームメモリ５４に出力する。フレームメモリ５４は入力された遮光素子５１で遮蔽された信号を格納する。選択部５３は遮光素子５１で透過された信号を減算部５５に出力する。減算部５５は選択部５３から入力されたフレーム画像からフレームメモリ５４に格納されたフレーム画像を減算して信号処理回路に５６に出力する。信号処理回路５６は撮像装置に必要な様々な処理を施して映像信号を出力する。信号処理回路５６は、一方でタイミング発生器５７を制御する。タイミング発生器５７は遮光素子５１に対して最初のフレームは入射光を遮蔽して、次のフレームからは入射光を透過するように制御する。その後は、時間の経過に合わせて任意のタイミングで１フレームだけ遮光素子５１が入射光を遮蔽するように制御する。また、タイミング発生器５７は撮像素子５２に対して遮光素子５１の動作に関わらず一定な制御をする。   As shown in FIG. 5, incident light input from the subject to the light shielding element 51 is transmitted or shielded and input to the imaging element 52. Incident light is photoelectrically converted by the image sensor 52, and the converted signal is output to the selection unit 53. The selection unit 53 outputs the signal shielded by the light shielding element 51 to the frame memory 54. The frame memory 54 stores the input signal shielded by the light shielding element 51. The selection unit 53 outputs the signal transmitted through the light shielding element 51 to the subtraction unit 55. The subtractor 55 subtracts the frame image stored in the frame memory 54 from the frame image input from the selector 53 and outputs the result to the signal processing circuit 56. The signal processing circuit 56 performs various processes necessary for the imaging apparatus and outputs a video signal. On the other hand, the signal processing circuit 56 controls the timing generator 57. The timing generator 57 controls the light shielding element 51 such that the first frame blocks incident light and the next frame transmits incident light. After that, control is performed so that the light shielding element 51 shields incident light for one frame at an arbitrary timing as time passes. Further, the timing generator 57 performs constant control on the image sensor 52 regardless of the operation of the light shielding element 51.

特開２００４−２０７８９５号公報JP 2004-207895 A

しかしながら、上記の従来の構成の撮像装置は、ＭＯＳ型などで画素ごとのメモリを持たない撮像素子を用いた場合、ラインごとに画素電荷の読出時間に差がある（ローリングシャッタ）ため、遮光素子も撮像素子に同期してラインごとに時間差を設けて駆動しなければならない。上述した従来の方法ではこのような撮像素子には対応できないという課題がある。また、上述した従来の方法では遮光素子の透過時には入射光の透過率を著しく低下させてしまい、一方で遮光素子の遮蔽時には入射光の透過率を完全にゼロにすることが非常に困難であるという課題がある。また、遮光素子を追加する必要があるため、撮像装置のコスト、電力、重量、体積などが増加するという課題がある。   However, when the imaging device having the above-described conventional configuration uses a MOS type or the like and does not have a memory for each pixel, there is a difference in pixel charge readout time for each line (rolling shutter). However, it must be driven with a time difference for each line in synchronization with the image sensor. There is a problem that the conventional method described above cannot cope with such an image sensor. Further, in the conventional method described above, the transmittance of incident light is remarkably lowered when transmitting through the light shielding element, while it is very difficult to make the transmittance of incident light completely zero when shielding the light shielding element. There is a problem. In addition, since it is necessary to add a light shielding element, there is a problem that the cost, power, weight, volume, and the like of the imaging apparatus increase.

本発明は、上記従来の課題を解決するもので、遮光素子を用いることなく、不自然な固定パターンノイズを抑制することのできる撮像装置を提供することを目的とする。   The present invention solves the above-described conventional problems, and an object thereof is to provide an imaging apparatus that can suppress unnatural fixed pattern noise without using a light shielding element.

上記課題を解決するために、撮像装置は、被写体像を撮像し、第１の露光時間で撮像した映像と、前記第１の露光時間より短い第２の露光時間で撮像した映像とを出力する撮像部と、前記撮像部が出力する、前記第１の露光時間で撮像した映像と前記第２の露光時間で撮像した映像とを基に、補正画像を生成する補正画像生成部と、前記補正画像生成部が出力する補正画像のフレームレートを変換するフレームレート変換部と、前記フレームレート変換部の出力に対して信号処理を行う信号処理部と、を備える。   In order to solve the above-described problem, the imaging apparatus captures a subject image and outputs a video imaged with a first exposure time and a video imaged with a second exposure time shorter than the first exposure time. An image capturing unit; a correction image generating unit configured to generate a correction image based on the video imaged during the first exposure time and the video imaged during the second exposure time output from the image capturing unit; and the correction A frame rate conversion unit that converts the frame rate of the corrected image output by the image generation unit; and a signal processing unit that performs signal processing on the output of the frame rate conversion unit.

上記の構成により、撮像装置は、遮光素子を用いなくても、不自然な固定パターンノイズの発生を抑制することができる。   With the above configuration, the imaging apparatus can suppress the occurrence of unnatural fixed pattern noise without using a light shielding element.

実施の形態１における撮像装置の構成を示すブロック図1 is a block diagram illustrating a configuration of an imaging device in Embodiment 1. 実施の形態１における撮像装置の固定パターンノイズ補正の概略図Schematic diagram of fixed pattern noise correction of imaging apparatus in Embodiment 1 実施の形態１における撮像装置の駆動パルスと出力信号の概略図Schematic diagram of drive pulse and output signal of imaging apparatus in embodiment 1 実施の形態１における撮像装置の撮像素子のラインと経過時間を示した図The figure which showed the line and elapsed time of the image pick-up element of the imaging device in Embodiment 1 従来の撮像装置の構成を示すブロック図Block diagram showing the configuration of a conventional imaging device

以下、実施するための一形態について、図面を参照しながら説明する。   Hereinafter, an embodiment for implementation will be described with reference to the drawings.

（実施の形態１）
（１．撮像装置の構成）
図１は、実施の形態１における撮像装置の構成を示すブロック図である。撮像装置１は、撮像部１１と、選択部１２と、フレームメモリ１３と、減算部１４と、フレームレート変換部１５と、信号処理回路１６と、高速駆動タイミング発生部１７と、を含む。 (Embodiment 1)
(1. Configuration of imaging device)
FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus according to the first embodiment. The imaging device 1 includes an imaging unit 11, a selection unit 12, a frame memory 13, a subtraction unit 14, a frame rate conversion unit 15, a signal processing circuit 16, and a high-speed drive timing generation unit 17.

撮像部１１は、光学系と撮像素子とを含む。光学系は、対物レンズ、ズームレンズ、絞り、ＯＩＳ（Ｏｐｔｉｃａｌ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚｅｒ）ユニット、フォーカスレンズ等を含む。光学系は、被写体からの光を集光し、被写体像を形成する。撮像素子は、光学系で形成された被写体像を撮像して、画像信号を生成する。撮像素子は、ＭＯＳ型イメージセンサーである。撮像部１１は、撮像装置１の基準フレーム周波数より高速で（Ｎ＋１）ライン（Ｎは整数）、１ラインの２種類の長さの露光時間で高速駆動タイミング発生部１７により駆動される。   The imaging unit 11 includes an optical system and an imaging element. The optical system includes an objective lens, a zoom lens, a diaphragm, an OIS (Optical Image Stabilizer) unit, a focus lens, and the like. The optical system collects light from the subject and forms a subject image. The imaging device captures a subject image formed by the optical system and generates an image signal. The image sensor is a MOS image sensor. The imaging unit 11 is driven by the high-speed driving timing generation unit 17 at an exposure time of two types of length of (N + 1) lines (N is an integer) at a speed higher than the reference frame frequency of the imaging apparatus 1 and one line.

選択部１２は、撮像部１１が出力する画像信号について、その露光時間に応じて、出力先としてフレームメモリ１３又は減算部１４を選択する。選択部１２は（Ｎ＋１）ラインの長さの露光時間で撮像された明画像信号をフレームメモリ１３に出力する。一方、選択部１２は１ラインの長さの露光時間で撮像された暗画像信号を減算部１４に出力する。   The selection unit 12 selects the frame memory 13 or the subtraction unit 14 as an output destination for the image signal output by the imaging unit 11 according to the exposure time. The selection unit 12 outputs to the frame memory 13 a bright image signal captured with an exposure time having a length of (N + 1) lines. On the other hand, the selection unit 12 outputs a dark image signal captured with an exposure time of one line length to the subtraction unit 14.

フレームメモリ１３は選択部１２が出力する明画像信号を格納する。   The frame memory 13 stores the bright image signal output from the selection unit 12.

減算部１４はフレームメモリ１３に格納された明画像信号から選択部１２から入力された暗画像信号を画素毎に減算し、生成した補正画像信号をフレームレート変換部１５に出力する。   The subtractor 14 subtracts the dark image signal input from the selector 12 from the bright image signal stored in the frame memory 13 for each pixel, and outputs the generated corrected image signal to the frame rate converter 15.

フレームレート変換部１５は、減算部１４から出力された補正画像信号におけるサブフレーム周波数を、撮像装置の基準フレーム周波数に変換して、信号処理回路１６に出力する。   The frame rate conversion unit 15 converts the subframe frequency in the corrected image signal output from the subtraction unit 14 to the reference frame frequency of the imaging apparatus and outputs the converted signal to the signal processing circuit 16.

信号処理回路１６は撮像装置１に必要な様々な信号処理を施し、映像信号を出力する。また、高速駆動タイミング発生部１７は、信号処理回路１６によって制御され、撮像部１１をサブフレーム周波数で駆動する。   The signal processing circuit 16 performs various signal processing necessary for the imaging apparatus 1 and outputs a video signal. The high-speed drive timing generator 17 is controlled by the signal processing circuit 16 and drives the imaging unit 11 at a subframe frequency.

（２．撮像装置の動作）
ＭＯＳ型などで画素ごとのメモリを持たない撮像素子を用いた場合、ラインごとに画素電荷の読出時間に差がある（ローリングシャッタ）ため、動きが激しい被写体や撮像装置１を激しく動かした場合など、画像が歪む現象（スキュー現象）が発生する。これは撮像素子の駆動周波数が速いほど軽減されるため、撮像素子を撮像装置１の基本周波数よりも高速に駆動することが望まれる。例えば、撮像装置１の基準フレーム周波数が映画撮影などでよく用いられる２４Ｈｚ（１秒間に２４枚撮像）であっても、撮像素子の駆動フレーム周波数は２４Ｈｚより高いサブフレーム周波数で駆動される。本実施の形態では、撮像部１１の撮像素子を１２０Ｈｚのサブフレーム周波数で、信号処理回路１６を２４Ｈｚの基準フレーム周波数で駆動する場合を例として説明する。撮像素子を１２０Ｈｚのサブフレーム周波数で駆動すれば、一番上のラインと一番下のラインの画素電荷の読出時間の差が１／１２０秒となり、最大で１秒間に１２０回の撮像が可能となる。本実施の形態では、撮像素子は明画像と暗画像を後段の信号処理回路１６の基準フレーム周波数に相当する１秒間に２４回ずつを撮像する。ここで、明画像とは露光時間が（Ｎ＋１）ラインの長さの画像で、暗画像とは露光時間が１ラインの長さの画像である。 (2. Operation of imaging device)
When using an image sensor that does not have a memory for each pixel, such as a MOS type, there is a difference in pixel charge readout time for each line (rolling shutter). The phenomenon that the image is distorted (skew phenomenon) occurs. Since this is reduced as the drive frequency of the image sensor increases, it is desirable to drive the image sensor at a higher speed than the fundamental frequency of the image pickup apparatus 1. For example, even if the reference frame frequency of the image pickup apparatus 1 is 24 Hz (24 images taken per second) often used in movie shooting, the drive frame frequency of the image pickup device is driven at a subframe frequency higher than 24 Hz. In the present embodiment, an example will be described in which the image sensor of the imaging unit 11 is driven at a subframe frequency of 120 Hz and the signal processing circuit 16 is driven at a reference frame frequency of 24 Hz. If the image sensor is driven at a sub-frame frequency of 120 Hz, the difference in pixel charge readout time between the top line and the bottom line is 1/120 seconds, and a maximum of 120 images can be captured per second. It becomes. In the present embodiment, the image pickup device picks up a bright image and a dark image 24 times per second corresponding to the reference frame frequency of the signal processing circuit 16 in the subsequent stage. Here, the bright image is an image having an exposure time of (N + 1) lines, and the dark image is an image having an exposure time of one line.

図２は本実施の形態における撮像装置１の固定パターンノイズ補正の概略図である。   FIG. 2 is a schematic diagram of fixed pattern noise correction of the imaging apparatus 1 according to the present embodiment.

図２（Ａ）は固定パターンノイズとして画面全体に縦線が現れた場合を示す。図２（Ｂ）は固定パターンノイズとして画面全体に点が現れた場合を示す。（Ｎ＋１）ラインの長さの露光時間の明画像は、明るい被写体と固定パターンノイズの足された信号となる。１ラインの長さの露光時間の暗画像は、暗い被写体と固定パターンノイズを合わせた信号となる。図２（Ａ）及び図２（Ｂ）のいずれの場合においても、（Ｎ＋１）ラインの長さの露光時間の明画像から１ラインの長さの露光時間の暗画像を減算することで、Ｎラインの長さの露光時間の固定パターンノイズの取り除かれた補正画像が得られる。   FIG. 2A shows a case where a vertical line appears on the entire screen as fixed pattern noise. FIG. 2B shows a case where dots appear on the entire screen as fixed pattern noise. A bright image having an exposure time of (N + 1) line length is a signal obtained by adding a bright subject and fixed pattern noise. A dark image having an exposure time of one line length is a signal that combines a dark subject and fixed pattern noise. In either case of FIG. 2A or FIG. 2B, the dark image of the exposure time of 1 line length is subtracted from the bright image of the exposure time of the length of (N + 1) lines. A corrected image in which the fixed pattern noise of the exposure time of the line length is removed is obtained.

図３は本実施の形態における撮像装置１の駆動パルスと出力信号のタイミングチャートである。図３（Ａ）は基準フレーム周波数の垂直同期パルスを示す。図３（Ｂ）はサブフレーム周波数の垂直同期パルスを示す。図３（Ｃ）、図３（Ｄ）、図３（Ｅ）は撮像素子の垂直同期パルス、シャッタパルス、読出パルスをそれぞれ示す。図３（Ｃ）の撮像素子の垂直同期パルスは、１基準フレーム期間にサブフレーム周波数の垂直同期パルスが２回出力される。図３（Ｅ）の撮像素子の読出パルスは図３（Ｃ）の撮像素子の垂直同期パルスと同じタイミングとなる。図３（Ｄ）の撮像素子のシャッタパルスは図３（Ｅ）の撮像素子の読出パルスに対して１回目はＮ＋１ライン、２回目は１ラインの長さだけ早く、シャッタパルスと撮像素子の差が露光時間となる。図３（Ｆ）は撮像素子の出力信号で、明画像ＦＢ０〜ＦＢ３、暗画像ＦＤ０〜ＦＤ３が出力される。図３（Ｇ）は減算部１４の出力信号で、明画像から暗画像を減算したＦＣ０〜ＦＣ３が出力される。図３（Ｈ）はフレームレート変換部１５の出力信号であり、ＦＣ’０〜ＦＣ’３は、ＦＣ０〜ＦＣ３のフレームレートをサブフレーム周波数から基準フレーム周波数に変換したものである。   FIG. 3 is a timing chart of drive pulses and output signals of the imaging apparatus 1 according to the present embodiment. FIG. 3A shows a vertical synchronization pulse having a reference frame frequency. FIG. 3B shows a vertical synchronization pulse with a subframe frequency. FIGS. 3C, 3D, and 3E show a vertical synchronization pulse, a shutter pulse, and a readout pulse of the image sensor, respectively. As for the vertical synchronizing pulse of the image sensor in FIG. 3C, the vertical synchronizing pulse of the subframe frequency is output twice in one reference frame period. The readout pulse of the image sensor in FIG. 3E has the same timing as the vertical synchronization pulse of the image sensor in FIG. The shutter pulse of the image sensor in FIG. 3D is faster by the length of the N + 1 line for the first time and the length of one line for the second time than the read pulse of the image sensor in FIG. 3E, and the difference between the shutter pulse and the image sensor. Is the exposure time. FIG. 3F shows output signals of the image sensor, and bright images FB0 to FB3 and dark images FD0 to FD3 are output. FIG. 3G shows an output signal of the subtracting unit 14 that outputs FC0 to FC3 obtained by subtracting a dark image from a bright image. FIG. 3H shows an output signal of the frame rate conversion unit 15, and FC′0 to FC′3 are obtained by converting the frame rates of FC0 to FC3 from the subframe frequency to the reference frame frequency.

図４は本実施の形態における撮像素子のラインと経過時間を示した図である。縦軸に撮像素子のライン、横軸に経過時間を示す。図４（Ａ）に撮像素子の露光時間を示す。Ｂ１〜Ｂ４は（Ｎ＋１）ラインの長さの露光時間、Ｄ１〜Ｄ４は１ラインの長さの露光時間を示す。図４（Ｂ）に撮像素子から出力されるサブフレーム周波数の出力信号を示す。これは図３（Ｆ）に対応しており、フレーム信号ＦＢ１〜ＦＢ４、ＦＤ０〜ＦＤ４が出力される。図４（Ｃ）に減算部１４から出力されるサブフレーム周波数の出力信号を示す。これは図３（Ｇ）に対応しており、フレーム信号ＦＣ０〜ＦＣ４が出力される。図４（Ｄ）にフレームレート変換部１５から出力される基準フレーム周波数の出力信号を示す。これは図３（Ｈ）に対応しており、フレーム信号ＦＣ’０〜ＦＣ’３が出力される。   FIG. 4 is a diagram showing lines and elapsed time of the image sensor in the present embodiment. The vertical axis represents the image sensor line, and the horizontal axis represents the elapsed time. FIG. 4A shows the exposure time of the image sensor. B1 to B4 indicate an exposure time with a length of (N + 1) lines, and D1 to D4 indicate an exposure time with a length of one line. FIG. 4B shows an output signal of a subframe frequency output from the image sensor. This corresponds to FIG. 3F, and frame signals FB1 to FB4 and FD0 to FD4 are output. FIG. 4C shows an output signal of the subframe frequency output from the subtracting unit 14. This corresponds to FIG. 3G, and frame signals FC0 to FC4 are output. FIG. 4D shows an output signal of the reference frame frequency output from the frame rate conversion unit 15. This corresponds to FIG. 3H, and frame signals FC′0 to FC′3 are output.

本実施の形態では、暗画像取得のために明画像の露光時間を１基準フレーム期間より１サブフレーム期間だけ短く設定しなければならないという制約がある。しかし、露光時間は長いほど残像が目立つ（ブレる）ため、フレーム周波数が低い場合は、一般的な撮影では露光時間を短く設定して撮影する。従って、この制約は問題とならない。   In the present embodiment, there is a restriction that the exposure time of a bright image must be set shorter than one reference frame period by one subframe period in order to acquire a dark image. However, since the longer the exposure time, the afterimage becomes more conspicuous (blurs). Therefore, when the frame frequency is low, in general shooting, the exposure time is set short. Therefore, this restriction is not a problem.

また、被写体に動きがあれば明画像と暗画像の被写体信号の位置に差があり、原理的に補正画像に暗画像が残像として現れる。ただし、暗画像の露光時間が１ラインの時間と短いために非常に暗く、通常は問題とならない。しかし、太陽や照明など撮像素子の飽和の１０倍以上も高輝度な被写体がある場合は、残像が残る。これを回避する手段として、図１の減算部１４の演算方法として、明画像の輝度レベルが閾値以上であれば、その領域は暗画像の代わりにデフォルトの黒レベルを減算する方法も考えられる。ここで、デフォルトの黒レベルとは、撮像素子の出力する黒レベルのクランプターゲット値である。また、閾値は飽和レベル付近に設定することが望ましい。この場合、閾値以上の高輝度な領域の固定パターンノイズは抑制出来ないが、高輝度な領域では固定パターンノイズは目立ちにくいため、問題とならない。   Further, if the subject moves, there is a difference in the position of the subject signal between the bright image and the dark image, and the dark image appears as an afterimage in the corrected image in principle. However, since the exposure time of a dark image is as short as one line, it is very dark and usually does not cause a problem. However, an afterimage remains when there is a subject with a brightness that is 10 times or more the saturation of the image sensor, such as the sun or illumination. As a means for avoiding this, as a calculation method of the subtracting unit 14 in FIG. 1, if the brightness level of the bright image is equal to or higher than a threshold value, a method of subtracting the default black level instead of the dark image in that area can be considered. Here, the default black level is a black level clamp target value output from the image sensor. Further, it is desirable to set the threshold value near the saturation level. In this case, the fixed pattern noise in the high-brightness area above the threshold cannot be suppressed, but the fixed pattern noise is not conspicuous in the high-brightness area, so there is no problem.

以上に述べたように、本実施の形態によれば、１基準フレーム期間内で２種類の露光時間の信号を取得してこれらを減算し、得られた画像を適正に処理することで、固定パターンノイズを抑制することが出来る。   As described above, according to the present embodiment, two types of exposure time signals are acquired within one reference frame period, and these signals are subtracted, and the obtained image is processed appropriately, thereby fixing Pattern noise can be suppressed.

尚、本実施の形態の撮像装置１を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。   It should be noted that the detailed configuration and detailed operation of each component constituting the imaging apparatus 1 of the present embodiment can be changed as appropriate without departing from the spirit of the present invention.

本実施の形態にかかる撮像装置は、遮光素子を用いなくても、不自然な固定パターンノイズの発生を抑制することができ、ビデオカメラや、デジタルスチルカメラに適用することができ、有用である。   The imaging apparatus according to the present embodiment can suppress the occurrence of unnatural fixed pattern noise without using a light shielding element, and can be applied to a video camera or a digital still camera, which is useful. .

１ 撮像装置
１１ 撮像部
１２ 選択部
１３ フレームメモリ
１４ 減算部
１５ フレームレート変換部
１６ 信号処理回路
１７ 高速駆動タイミング発生部
５１ 遮光素子
５２ 撮像素子
５３ 選択部
５４ フレームメモリ
５５ 減算部
５６ 信号処理回路
５７ タイミング発生器 DESCRIPTION OF SYMBOLS 1 Imaging device 11 Imaging part 12 Selection part 13 Frame memory 14 Subtraction part 15 Frame rate conversion part 16 Signal processing circuit 17 High-speed drive timing generation part 51 Light-shielding element 52 Imaging element 53 Selection part 54 Frame memory 55 Subtraction part 56 Signal processing circuit 57 Timing generator

Claims (3)

被写体像を撮像し、第１の露光時間で撮像した映像と、前記第１の露光時間より短い第２の露光時間で撮像した映像とを出力する撮像部と、
前記撮像部が出力する、前記第１の露光時間で撮像した映像と前記第２の露光時間で撮像した映像とを基に、補正画像を生成する補正画像生成部と、
前記補正画像生成部が出力する補正画像のフレームレートを変換するフレームレート変換部と、
前記フレームレート変換部の出力に対して信号処理を行う信号処理部と、
を備える撮像装置。 An imaging unit that captures a subject image and outputs a video imaged at a first exposure time and a video imaged at a second exposure time shorter than the first exposure time;
A correction image generation unit that generates a correction image based on the video imaged during the first exposure time and the video imaged during the second exposure time output by the imaging unit;
A frame rate conversion unit that converts the frame rate of the corrected image output by the corrected image generation unit;
A signal processing unit that performs signal processing on the output of the frame rate conversion unit;
An imaging apparatus comprising: 前記補正画像生成部は、
前記第１の露光時間で撮像した映像から前記第２の露光時間で撮像した映像を減算することで、前記撮像部の固定パターンノイズを低減した前記補正画像を生成する
請求項１に記載の撮像装置。 The corrected image generation unit
2. The imaging according to claim 1, wherein the corrected image in which the fixed pattern noise of the imaging unit is reduced is generated by subtracting the video captured at the second exposure time from the video captured at the first exposure time. apparatus. 前記撮像部が出力する前記第１の露光時間で撮像した映像の輝度レベルを検出する輝度検出部と、
前記撮像部における固定パターンノイズを保持する記憶部と、をさらに備え、
前記補正画像生成部は、
前記輝度検出部で検出した輝度レベルに応じて、前記撮像部が出力する前記第１の露光時間で撮像した映像及び前記第２の露光時間で撮像した映像、若しくは前記撮像部が出力する前記第１の露光時間で撮像した映像及び前記記憶部に保持する前記固定パターンノイズを基に、前記補正画像を生成する
請求項１又は２に記載の撮像装置。 A luminance detection unit for detecting a luminance level of an image captured during the first exposure time output by the imaging unit;
A storage unit for holding fixed pattern noise in the imaging unit;
The corrected image generation unit
In accordance with the luminance level detected by the luminance detection unit, the video imaged during the first exposure time and the video imaged during the second exposure time output by the imaging unit, or the first image output by the imaging unit. The imaging apparatus according to claim 1, wherein the corrected image is generated based on a video imaged with an exposure time of 1 and the fixed pattern noise held in the storage unit.