JP5302912B2 - Solid-state imaging device and electronic information device - Google Patents

Solid-state imaging device and electronic information device Download PDF

Info

Publication number
JP5302912B2
JP5302912B2 JP2010031853A JP2010031853A JP5302912B2 JP 5302912 B2 JP5302912 B2 JP 5302912B2 JP 2010031853 A JP2010031853 A JP 2010031853A JP 2010031853 A JP2010031853 A JP 2010031853A JP 5302912 B2 JP5302912 B2 JP 5302912B2
Authority
JP
Japan
Prior art keywords
output
solid
state imaging
imaging device
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010031853A
Other languages
Japanese (ja)
Other versions
JP2011171861A (en
Inventor
貴昭 中道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2010031853A priority Critical patent/JP5302912B2/en
Publication of JP2011171861A publication Critical patent/JP2011171861A/en
Application granted granted Critical
Publication of JP5302912B2 publication Critical patent/JP5302912B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cameras In General (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、被写体からの画像光を光電変換して撮像する固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器に関する。   The present invention relates to a solid-state imaging device that photoelectrically converts image light from a subject to capture an image, a digital camera using the solid-state imaging device as an image input device in an imaging unit, such as a digital video camera and a digital still camera, and a monitor The present invention relates to an electronic information device such as an image input camera such as a camera, a scanner device, a facsimile device, a television telephone device, and a mobile phone device with a camera.

この種の従来の固体撮像装置として、特許文献１に、ハーフミラーにより複数に分割された入射光をそれぞれ、複数の電子シャッタ付固体撮像素子でそれぞれ受光し、複数の電子シャッタ付固体撮像素子でそれぞれ検出される信号を加算器で平均化する固体撮像装置が提案されている。   As a conventional solid-state imaging device of this type, Patent Document 1 discloses that incident light divided into a plurality of parts by a half mirror is received by a plurality of solid-state imaging elements with electronic shutters, and a plurality of solid-state imaging elements with electronic shutters. There has been proposed a solid-state imaging device that averages signals detected by an adder.

図６は、特許文献１に開示されている従来の固体撮像装置の要部構成例を示すブロック図である。   FIG. 6 is a block diagram illustrating a configuration example of a main part of a conventional solid-state imaging device disclosed in Patent Document 1. In FIG.

図６において、従来の固体撮像装置１００は、入射光が入射される撮影レンズ１０１と、撮影レンズ１０１の後方に設けられ、入射光の光軸方向Ｌに任意の角度（ここでは角度４５度）で傾斜して配置されたハーフミラー１０２と、二つの電子シャッタ付固体撮像素子１０３、１０４と、電子シャッタ付固体撮像素子１０３、１０４からの各撮像信号を加算する加算器１０５と、ダイナミックレンジ制御部１０６とを有している。   In FIG. 6, a conventional solid-state imaging device 100 is provided behind an imaging lens 101 on which incident light is incident and the imaging lens 101, and has an arbitrary angle (here, an angle of 45 degrees) in the optical axis direction L of the incident light. , The half mirror 102 disposed at an inclination, two solid-state image pickup devices 103 and 104 with electronic shutter, an adder 105 for adding image pickup signals from the solid-state image pickup devices 103 and 104 with electronic shutter, and dynamic range control Part 106.

ハーフミラー１０２は、反射光と透過光の強度差が同等になるような反射率と透過率が共に５０パーセントの特性を持つものを用いてもよいが、反射率と透過率が共に任意の特性を持つものであってもよい。   The half mirror 102 may have a characteristic that the reflectance and the transmittance are both 50% so that the difference in intensity between the reflected light and the transmitted light is equal, but both the reflectance and the transmittance are arbitrary characteristics. You may have.

電子シャッタ付固体撮像素子１０３は、ハーフミラー１０２からの光反射方向に垂直に設けられ、ハーフミラー１０２からの反射光を光電変換して撮像する。電子シャッタ付固体撮像素子１０４は、ハーフミラー１０２からの光透過方向に垂直に設けられ、ハーフミラー１０２からの透過光を光電変換して撮像する。電子シャッタ付固体撮像素子１０３は電子シャッタ機能を用いず、電子シャッタ付固体撮像素子１０４は、そのシャッタスピードを電子シャッタ機能を用いない場合の１／７．５に設定する。   The solid-state image pickup device 103 with an electronic shutter is provided perpendicular to the light reflection direction from the half mirror 102 and photoelectrically converts the reflected light from the half mirror 102 to pick up an image. The solid-state image pickup device 104 with an electronic shutter is provided perpendicular to the light transmission direction from the half mirror 102 and photoelectrically converts the light transmitted from the half mirror 102 to pick up an image. The solid-state image pickup device with electronic shutter 103 does not use the electronic shutter function, and the solid-state image pickup device with electronic shutter 104 sets the shutter speed to 1 / 7.5 when the electronic shutter function is not used.

ダイナミックレンジ制御部１０６は、二つの電子シャッタ付固体撮像素子１０３、１０４からの各撮像信号を加算器１０５で加算した後にその加算撮像信号（出力信号Ｃ１）が入力され、ダイナミックレンジ制御部１０６からの出力信号Ｃ２をビデオ信号として用いる。   The dynamic range control unit 106 adds the respective imaging signals from the two solid-state imaging devices 103 and 104 with an electronic shutter by the adder 105 and then inputs the added imaging signal (output signal C1). The output signal C2 is used as a video signal.

図７は、図６の従来の固体撮像装置の電子シャッタ付固体撮像素子における入出力特性を示す図であり、図８は、図６の電子シャッタ付固体撮像素子からの撮像信号を加算した加算出力およびダイナミックレンジ制御部出力を示す図である。   7 is a diagram showing input / output characteristics of the solid-state image pickup device with an electronic shutter of the conventional solid-state image pickup device of FIG. 6, and FIG. 8 is an addition obtained by adding image pickup signals from the solid-state image pickup device with an electronic shutter of FIG. It is a figure which shows an output and a dynamic range control part output.

図７の縦軸は電子シャッタ付固体撮像素子１０３，１０４の出力レベル（パーセント表示）、横軸は入射光の強度（パーセント表示）を示している。入射光はハーフミラー１０２で１／２され、電子シャッタ付固体撮像素子１０４は電子シャッタで電子シャッタ付固体撮像素子１０３の１／７．５に減衰されるので、入射光の強度に対して、電子シャッタ付固体撮像素子１０３，１０４における入出力特性は、図７に示すようになる。   The vertical axis in FIG. 7 indicates the output level (percent display) of the solid-state imaging devices 103 and 104 with electronic shutter, and the horizontal axis indicates the intensity of incident light (percent display). The incident light is halved by the half mirror 102, and the solid-state image pickup device 104 with an electronic shutter is attenuated to 1 / 7.5 of the solid-state image pickup device 103 with an electronic shutter by the electronic shutter. The input / output characteristics of the solid-state imaging devices 103 and 104 with the electronic shutter are as shown in FIG.

図８の縦軸は加算器１０５からの加算出力レベル（パーセント表示）、横軸は入射光の強度（パーセント表示）を示している。加算器１０５の加算によりダイナミックレンジが拡大された加算撮像信号（出力信号Ｃ１）が得られる。加算器１０５の出力信号Ｃ１のノイズレベルは２１／２・Ｎになる。加算器１０５からの出力信号Ｃ１をダイナミックレンジ制御部１０６に入力することにより、出力信号Ｃ１を適正なピーク値（１００パーセント）に入るように可変減衰させ、加算器１０５の入出力特性を１／２にした特性の出力信号Ｃ２を得ることができる。このときのダイナミックレンジ制御部１０６の出力信号Ｃ２のノイズレベルは２１／２・Ｎ／２になり、従来のビデオ信号のノイズレベルよりも小さくすることができる。 The vertical axis in FIG. 8 indicates the added output level (percentage display) from the adder 105, and the horizontal axis indicates the intensity of incident light (percentage display). An added imaging signal (output signal C1) with an expanded dynamic range is obtained by the addition of the adder 105. The noise level of the output signal C1 of the adder 105 is 21/2 · N. By inputting the output signal C1 from the adder 105 to the dynamic range control unit 106, the output signal C1 is variably attenuated so as to enter an appropriate peak value (100%), and the input / output characteristics of the adder 105 are reduced to 1 /. An output signal C2 having a characteristic of 2 can be obtained. At this time, the noise level of the output signal C2 of the dynamic range control unit 106 is 21/2 · N / 2, which can be made smaller than the noise level of the conventional video signal.

以上により、ダイナミックレンジが拡大された従来よりもＳ／Ｎの劣化が少ない信号を得ることができる。   As described above, it is possible to obtain a signal with less S / N degradation than in the conventional case where the dynamic range is expanded.

特開平４−１９６７７６号公報Japanese Patent Laid-Open No. 4-196767

上従来の固体撮像装置では、電子シャッタ付固体撮像素子１０３、１０４で検出された各撮像信号を単純に加算器１０５で加算して平均化しているため、入射光に対する出力（明るさ）の変化量があるポイントで折れ線グラフのように大きく変化してしまい、不自然な画像になってしまうという問題を有していた。   In the above conventional solid-state imaging device, since the respective imaging signals detected by the solid-state imaging devices 103 and 104 with the electronic shutter are simply added by the adder 105 and averaged, a change in output (brightness) with respect to incident light There has been a problem that the amount of the image changes greatly like a line graph at a certain point, resulting in an unnatural image.

本発明は、上記従来の問題を解決するもので、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器を提供することを目的とする。   The present invention solves the above-described conventional problems, and a solid-state imaging device capable of obtaining a natural image without causing an output change amount with respect to incident light to change suddenly at a specific point. An object of the present invention is to provide an electronic information device such as a mobile phone device with a camera used as an input device in an imaging unit.

本発明の固体撮像装置は、被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、該電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有し、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、該電子シャッタ付固体撮像素子は、該ハーフミラー手段からの光を異なる露光時間だけ露光したｎ個の撮像信号を出力し、該演算手段は、該電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力し、該電子シャッタ付固体撮像素子は、該ハーフミラー手段の透過および反射の一方により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と、該ハーフミラー手段の透過および反射の他方により短時間露光されて短時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子とを有し、該演算手段は、異なる露光時間による露光出力として該長時間露光出力Ａと該短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力し、該演算手段は、該異なる露光時間による露光出力として長時間露光出力Ａと短時間露光出力Ｂとを入力とし、該長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを該長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算出力するものであり、そのことにより上記目的が達成される。合成信号ＯＵＴ＝Ａ−（ｋＡ ２ −Ｂ）／２・・（１）
The solid-state imaging device according to the present invention synthesizes a solid-state image pickup device with an electronic shutter that photoelectrically converts image light from a subject and combines the output image pickup signals of different exposure times from the solid-state image pickup device with an electronic shutter. A solid-state image pickup device with an electronic shutter, and a half mirror unit disposed at an arbitrary angle with respect to the optical axis direction L of the incident light. Outputs n imaging signals obtained by exposing the light from the half mirror means for different exposure times, and the computing means synthesizes each output imaging signal from the solid-state image pickup device with an electronic shutter for smooth input / output A solid-state image sensor with an electronic shutter that outputs a composite signal of a characteristic curve is exposed for a long time by one of transmission and reflection of the half mirror means and outputs a long exposure output A. An imaging device and a solid-state imaging device with a second electronic shutter that is exposed for a short time by the other of the transmission and reflection of the half-mirror means and outputs a short-time exposure output B; As the exposure output, a synthesized signal OUT of a smooth input / output characteristic curve obtained by synthesizing the long-time exposure output A and the short-time exposure output B is output, and the computing means outputs the long-time exposure output as the exposure output by the different exposure times. A and the short-time exposure output B are input, the long-time exposure output A is squared, then multiplied by a coefficient k, and the value obtained by subtracting the short-time exposure output B from this is divided by 2 The composite signal OUT is calculated and output by the following calculation expression (1) subtracted from the time exposure output A , whereby the above object is achieved. Composite signal OUT = A− (kA 2 −B) / 2 (1)

本発明の固体撮像装置は、被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、該電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有し、該電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、順次出力した複数の撮像信号を記憶手段に記憶し、該演算手段は、該記憶手段からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力し、該演算手段は、該異なる露光時間による露光出力として長時間露光出力Ａと短時間露光出力Ｂとを入力とし、該長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを該長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算出力するものであり、そのことにより上記目的が達成される。合成信号ＯＵＴ＝Ａ−（ｋＡ ２ −Ｂ）／２・・（１）
The solid-state imaging device according to the present invention synthesizes a solid-state image pickup device with an electronic shutter that photoelectrically converts image light from a subject and combines the output image pickup signals of different exposure times from the solid-state image pickup device with an electronic shutter. A solid-state imaging device with an electronic shutter that sequentially outputs a plurality of imaging signals respectively exposed in time series with different exposure times, and outputs the plurality of sequential output signals. Is stored in the storage means, and the calculation means outputs a composite signal of a smooth input / output characteristic curve obtained by combining the time-series output image pickup signals from the storage means. The long-time exposure output A and the short-time exposure output B are input as exposure outputs according to the exposure time, the long-time exposure output A is squared, then multiplied by a coefficient k, and the short-time exposure output B is subtracted therefrom. value It is those by the following calculation formula for subtracting the divided by 2 from the long time exposure output A (1) to calculate outputs a combined signal OUT, the objects can be achieved. Composite signal OUT = A− (kA 2 −B) / 2 (1)

さらに、好ましくは、本発明の固体撮像装置における電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、順次出力した複数の撮像信号を記憶手段に記憶し、前記演算手段は、該記憶手段からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する。   Further preferably, the solid-state imaging device with an electronic shutter in the solid-state imaging device of the present invention sequentially outputs a plurality of imaging signals that are respectively exposed in time series with different exposure times, and the plurality of sequentially output imaging signals are stored in the storage means. The calculation means outputs a synthesized signal of a smooth input / output characteristic curve obtained by synthesizing each time-series output imaging signal from the storage means.

合成信号ＯＵＴ＝Ａ−（ｋＡ２−Ｂ）／２・・（１）。 Synthetic signal OUT = A− (kA 2 −B) / 2 (1).

さらに、好ましくは、本発明の固体撮像装置における演算手段は、前記長時間露光出力Ａを二乗してこれに係数ｋと乗算する乗算回路と、該乗算回路からの出力から前記短時間露光出力Ｂを減算する第１減算回路と、該第１減算回路からの出力を２で割るシフト回路と、該シフト回路からの出力を該長時間露光出力Ａから減算する第２減算回路とを有する。   Still preferably, in a solid-state imaging device according to the present invention, the calculation means squares the long-time exposure output A and multiplies it by a coefficient k, and the short-time exposure output B from the output from the multiplication circuit. , A shift circuit that divides the output from the first subtraction circuit by 2, and a second subtraction circuit that subtracts the output from the shift circuit from the long-time exposure output A.

さらに、好ましくは、本発明の固体撮像装置における演算手段は、制御プロいグラムに基づいて、前記長時間露光出力Ａを二乗しこれに係数ｋを乗算する第１ステップと、該第１ステップの演算値から前記短時間露光出力Ｂの値を差し引く第２ステップと、該第２ステップの演算値を「２」で割る第３ステップと、該第３ステップの演算値を該長時間露光出力Ａから差し引く第４ステップとを実行する。   Further preferably, the calculation means in the solid-state imaging device of the present invention includes a first step of squaring the long-time exposure output A and multiplying this by a coefficient k based on a control program, A second step of subtracting the value of the short time exposure output B from the calculated value, a third step of dividing the calculated value of the second step by “2”, and the calculated value of the third step as the long time exposure output A The fourth step of subtracting from is executed.

さらに、好ましくは、本発明の固体撮像装置はＣＭＯＳ固体撮像装置またはＣＣＤ固体撮像装置である。   Further preferably, the solid-state imaging device of the present invention is a CMOS solid-state imaging device or a CCD solid-state imaging device.

本発明の電子情報機器は、本発明の上記固体撮像装置を画像入力デバイスとして撮像部に用いたものであり、そのことにより上記目的が達成される。   The electronic information device of the present invention uses the solid-state imaging device of the present invention as an image input device in an imaging unit, thereby achieving the above object.

上記構成により、以下、本発明の作用を説明する。   With the above configuration, the operation of the present invention will be described below.

本発明においては、被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有している。   In the present invention, a smooth input / output characteristic is obtained by synthesizing a solid-state image pickup device with an electronic shutter that photoelectrically converts image light from a subject and an output image signal having different exposure times from the solid-state image pickup device with an electronic shutter. And a calculation means for outputting a combined signal of the curve.

その第１の事例（実施形態１ではｎが２）として、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、電子シャッタ付固体撮像素子は、ハーフミラー手段からの光を異なる露光時間だけ露光したｎ個の撮像信号を出力する第１〜第ｎ（ｎは２以上の自然数）電子シャッタ付固体撮像素子を有し、演算手段は、第１〜第ｎ電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する。   As a first example (n is 2 in the first embodiment), it has half mirror means arranged at an arbitrary angle with respect to the optical axis direction L of the incident light. The first to nth (n is a natural number greater than or equal to 2) electronic shutters that output n imaging signals obtained by exposing light from the mirror means for different exposure times, and the computing means includes first to first imaging elements. A synthesized signal of a smooth input / output characteristic curve obtained by synthesizing each output imaging signal from the solid-state imaging device with the nth electronic shutter is output.

その第２の事例（実施形態２ではｎが２）として、電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、演算手段は、電子シャッタ付固体撮像素子からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する演算手段とを有する。   As a second example (n is 2 in the second embodiment), the solid-state image pickup device with an electronic shutter sequentially outputs a plurality of imaging signals respectively exposed in time series with different exposure times, and the calculation means has an electronic shutter. Computing means for outputting a synthesized signal of a smooth input / output characteristic curve obtained by synthesizing each time-series output imaging signal from the solid-state imaging device.

演算手段は、長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算する。   The computing means squares the long-time exposure output A, then multiplies it by a coefficient k, and subtracts the value obtained by subtracting the short-time exposure output B from this by 2 from the long-time exposure output A. The composite signal OUT is calculated according to equation (1).

合成信号ＯＵＴ＝Ａ−（ｋＡ２−Ｂ）／２・・（１）
これによって、異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力するので、従来のように単に各出力撮像信号を加算して平均化しただけではなく、演算式（１）により滑らかに出力変化するように合成処理しており、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることが可能となる。 Composite signal OUT = A− (kA 2 −B) / 2 (1)
As a result, output image signals with different exposure times are combined to output a composite signal with a smooth input / output characteristic curve. The composition processing is performed so that the output changes smoothly according to the expression (1), and the change amount of the output with respect to the incident light does not change abruptly at a specific point, and a natural image can be obtained.

また、例えば二つの露光条件（長時間露光と短時間露光）の異なる画像データを、上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力信号を得、より自然な画像が得られる。   Further, for example, by processing image data having different exposure conditions (long time exposure and short time exposure) using the long time exposure output A and the short time exposure output B according to the arithmetic expression (1), An output signal having a wide dynamic range with respect to the input light quantity and a smooth output change amount (brightness change amount) can be obtained, and a more natural image can be obtained.

以上により、本発明によれば、異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力するため、従来のように単に各出力撮像信号を加算して平均化しただけではなく、演算式（１）により滑らかに出力変化するように合成処理しており、これによって、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる。   As described above, according to the present invention, output image signals with different exposure times are combined to output a smooth input / output characteristic curve composite signal. Therefore, the output image signals are simply added and averaged as in the past. In addition, the composition processing is performed so that the output changes smoothly according to the arithmetic expression (1), whereby a change amount of the output with respect to the incident light is not suddenly changed at a specific point, and a natural image is obtained. Can do.

このように、複数の露光条件、例えば二つの露光条件（長時間露光と短時間露光）の異なる画像データを、上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力信号を得ることができ、より自然な画像を得ることができる。   As described above, the long exposure output A and the short exposure output B are used for the image data different in a plurality of exposure conditions, for example, two exposure conditions (long exposure and short exposure) according to the above equation (1). By performing signal processing, an output signal having a wide dynamic range with respect to the input light amount and a smooth output change amount (brightness change amount) can be obtained, and a more natural image can be obtained.

本発明の実施形態１における固体撮像装置の要部構成例を示すブロック図である。It is a block diagram which shows the principal part structural example of the solid-state imaging device in Embodiment 1 of this invention. 図１の演算回路の構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration example of an arithmetic circuit in FIG. 1. 図１の長時間露光出力Ａ、短時間露光出力Ｂ、これらに基づく従来合成信号Ｄおよび本発明合成信号ＯＵＴの入力と出力との入出力特性を示す図である。It is a figure which shows the input-output characteristic of the input and output of the long exposure output A of FIG. 1, the short exposure output B, the conventional synthetic signal D based on these, and this invention synthetic signal OUT. 本発明の実施形態２における固体撮像装置の要部構成例を示すブロック図である。It is a block diagram which shows the principal part structural example of the solid-state imaging device in Embodiment 2 of this invention. 本発明の実施形態３として、本発明の実施形態１または２の固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。It is a block diagram which shows the schematic structural example of the electronic information device which used the solid-state imaging device of Embodiment 1 or 2 of this invention for the imaging part as Embodiment 3 of this invention. 特許文献１に開示されている従来の固体撮像装置の要部構成例を示すブロック図である。It is a block diagram which shows the principal part structural example of the conventional solid-state imaging device currently disclosed by patent document 1. FIG. 図６の従来の固体撮像装置の電子シャッタ付固体撮像素子における入出力特性を示す図である。It is a figure which shows the input-output characteristic in the solid-state image sensor with an electronic shutter of the conventional solid-state imaging device of FIG. 図６の電子シャッタ付固体撮像素子からの撮像信号を加算した加算出力およびダイナミックレンジ制御部出力を示す図である。It is a figure which shows the addition output and the dynamic range control part output which added the imaging signal from the solid-state image sensor with an electronic shutter of FIG.

以下に、本発明の固体撮像装置の実施形態１、２および、この固体撮像装置の実施形態１または２を画像入力デバイスとして撮像部に用いた例えばカメラ付き携帯電話装置などの電子情報機器の実施形態３について図面を参照しながら詳細に説明する。なお、各図における構成部材のそれぞれの厚みや長さなどは図面作成上の観点から、図示する構成に限定されるものではない。   Embodiments 1 and 2 of the solid-state imaging device of the present invention, and implementation of an electronic information device such as a mobile phone device with a camera using the solid-state imaging device 1 or 2 as an image input device in an imaging unit will be described below. The third embodiment will be described in detail with reference to the drawings. In addition, each thickness, length, etc. of the structural member in each figure are not limited to the structure to illustrate from a viewpoint on drawing preparation.

（実施形態１）
図１は、本発明の実施形態１における固体撮像装置の要部構成例を示すブロック図である。 (Embodiment 1)
FIG. 1 is a block diagram illustrating a configuration example of a main part of a solid-state imaging device according to Embodiment 1 of the present invention.

図１において、本実施形態１の固体撮像装置１０は、入射光が入射される撮影レンズ１と、この撮影レンズ１の後方に設けられ、入射光の光軸方向Ｌに任意の角度（ここでは角度４５度）で傾斜して配置されたハーフミラー手段としてのハーフミラー２と、ハーフミラー２を透過して長時間露光される電子シャッタ付固体撮像素子３と、ハーフミラー２で反射して短時間露光される電子シャッタ付固体撮像素子４と、電子シャッタ付固体撮像素子３からの長時間露光出力Ａと電子シャッタ付固体撮像素子４からの短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する演算回路５とを有している。   In FIG. 1, a solid-state imaging device 10 according to the first embodiment is provided with a photographing lens 1 on which incident light is incident and a rear side of the photographing lens 1, and an arbitrary angle (here, an optical axis direction L of incident light). The half mirror 2 as the half mirror means disposed at an angle of 45 degrees, the solid-state image pickup device 3 with an electronic shutter that is transmitted through the half mirror 2 and exposed for a long time, and is reflected by the half mirror 2 and short. Smooth input / output characteristics obtained by synthesizing the solid-state imaging device 4 with time-exposed electronic shutter, the long-time exposure output A from the solid-state imaging device 3 with electronic shutter, and the short-time exposure output B from the solid-state imaging device 4 with electronic shutter. And an arithmetic circuit 5 that outputs a curve synthesis signal OUT.

ハーフミラー２は、反射光と透過光の強度差が同等になるように、反射率と透過率が共に５０パーセントの特性を持つものを用いてもよいが、反射率と透過率が共に任意の特性を持つものであってもよい。   The half mirror 2 may have a characteristic that both the reflectance and the transmittance are 50% so that the difference in intensity between the reflected light and the transmitted light is equal, but both the reflectance and the transmittance are arbitrary. It may have a characteristic.

電子シャッタ付固体撮像素子３は、ハーフミラー２からの光透過方向に垂直に設けられ、ハーフミラー２からの透過光を光電変換して撮像する。電子シャッタ付固体撮像素子４は、ハーフミラー２からの光反射方向に垂直に設けられ、ハーフミラー２からの反射光を光電変換して撮像する。電子シャッタ付固体撮像素子３は電子シャッタ機能を用いず、電子シャッタ付固体撮像素子４は、そのシャッタスピードを電子シャッタ機能を用いない場合の例えば１／７．５に設定してもよい。、
演算回路５は、長時間露光出力Ａと短時間露光出力Ｂとを入力とし、ｋを係数として長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算する。これによって、長時間露光出力Ａと短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力することができる。 The solid-state image pickup device 3 with an electronic shutter is provided perpendicular to the light transmission direction from the half mirror 2, and photoelectrically converts the transmitted light from the half mirror 2 to pick up an image. The solid-state image pickup device 4 with an electronic shutter is provided perpendicular to the light reflection direction from the half mirror 2, and photoelectrically converts the reflected light from the half mirror 2 to pick up an image. The solid-state image pickup device 3 with the electronic shutter may not use the electronic shutter function, and the solid-state image pickup device 4 with the electronic shutter may set the shutter speed to 1 / 7.5, for example, when the electronic shutter function is not used. ,
The arithmetic circuit 5 receives the long-time exposure output A and the short-time exposure output B, squares the long-time exposure output A with k as a coefficient, then multiplies it by the coefficient k, and then calculates the short-time exposure output B. The composite signal OUT is calculated by the following calculation expression (1) in which the value obtained by dividing the subtracted value by 2 is subtracted from the long-time exposure output A. As a result, a smooth input / output characteristic curve combined signal OUT obtained by combining the long-time exposure output A and the short-time exposure output B can be output.

合成信号ＯＵＴ＝Ａ−（ｋＡ２−Ｂ）／２・・（１）
即ち、入射光に対する出力（明るさ）の変化量があるポイントで折れ線グラフのように大きく変化せず、長時間露光出力Ａと短時間露光出力Ｂを繋いだ入出力特性曲線が滑らかな２次曲線からなる合成信号ＯＵＴを出力するように、上記演算式（１）により演算処理が為される。このとき、長時間露光出力Ａと短時間露光出力Ｂはデジタル信号であり、上記演算式（１）による演算処理はデジタル信号処理である。 Composite signal OUT = A− (kA 2 −B) / 2 (1)
That is, the input / output characteristic curve connecting the long-time exposure output A and the short-time exposure output B does not change as much as in the line graph at a point where the output (brightness) change amount with respect to the incident light is at a certain point. Arithmetic processing is performed by the arithmetic expression (1) so as to output the composite signal OUT composed of a curve. At this time, the long-time exposure output A and the short-time exposure output B are digital signals, and the arithmetic processing according to the arithmetic expression (1) is digital signal processing.

演算回路５からの合成信号ＯＵＴは、その後、カラー画像信号処理が為されて表示画面に表示される。   The composite signal OUT from the arithmetic circuit 5 is then subjected to color image signal processing and displayed on the display screen.

図２は、図１の演算回路５の構成例を示すブロック図である。   FIG. 2 is a block diagram illustrating a configuration example of the arithmetic circuit 5 of FIG.

図２に示すように、演算回路５は、ｋを係数とし、長時間露光出力Ａを二乗してこれにｋと乗算する乗算回路５１と、乗算回路５１からの出力から短時間露光出力Ｂを演算する第１減算回路５２と、第１減算回路５２からの出力を２で割るシフト回路５３と、シフト回路５３からの出力を長時間露光出力Ａから演算する第２減算回路５４とを有して、第２減算回路５４から合成信号ＯＵＴを出力する。   As shown in FIG. 2, the arithmetic circuit 5 uses k as a coefficient, squares the long-time exposure output A and multiplies it by k, and the short-time exposure output B from the output from the multiplication circuit 51. A first subtracting circuit 52 for calculating, a shift circuit 53 for dividing the output from the first subtracting circuit 52 by 2, and a second subtracting circuit 54 for calculating the output from the shift circuit 53 from the long-time exposure output A. Thus, the composite signal OUT is output from the second subtraction circuit 54.

図３は、図１の長時間露光出力Ａ、短時間露光出力Ｂ、これらに基づく従来合成信号Ｄおよび本発明合成信号ＯＵＴの入力と出力との入出力特性を示す図である。   FIG. 3 is a diagram showing the input / output characteristics of the long-time exposure output A and the short-time exposure output B of FIG. 1 and the input and output of the conventional composite signal D and the present composite signal OUT based on these.

図３に示すように、長時間露光出力Ａの折れ線グラフと短時間露光出力Ｂの直線との間に、単に平均化した従来合成信号Ｄの折れ線グラフが位置しているが、本発明合成信号ＯＵＴは、折れ線グラフにならず、入射光に対する出力（明るさ）の変化量が折れ線状に変化するポイントで滑らかに２次曲線で繋いだ滑らかな入出力特性曲線になっている。このとき、入出力特性曲線（本発明の合成信号ＯＵＴ）は、係数ｋが大きくなるほど、長時間露光出力Ａの折れ線グラフから離れ、係数ｋが小さくなるほど、長時間露光出力Ａの折れ線グラフに近づく。ここでは係数ｋを例えば「１」に決めて設定している。なお、係数ｋは合成出力の分解能で決定している。例えば合成出力が８ビットの分解能の場合、係数ｋは１／２５５となる。   As shown in FIG. 3, the line graph of the conventional composite signal D simply averaged is positioned between the line graph of the long-time exposure output A and the straight line of the short-time exposure output B. OUT is not a line graph, but is a smooth input / output characteristic curve smoothly connected by a quadratic curve at a point where the amount of change in output (brightness) with respect to incident light changes in a line shape. At this time, the input / output characteristic curve (the combined signal OUT of the present invention) is further away from the long-time exposure output A line graph as the coefficient k increases, and approaches the long-time exposure output A line graph as the coefficient k decreases. . Here, for example, the coefficient k is set to “1”. The coefficient k is determined by the resolution of the combined output. For example, when the synthesized output has a resolution of 8 bits, the coefficient k is 1/255.

以上により、本実施形態１によれば、ハーフミラー２を透過した光が電子シャッタ付固体撮像素子３で長時間露光され、ハーフミラー２で反射した光が電子シャッタ付固体撮像素子４で短時間露光される。さらに、電子シャッタ付固体撮像素子３からの長時間露光出力Ａと電子シャッタ付固体撮像素子４からの短時間露光出力Ｂを用いて、演算回路５は、異なる露光時間の各出力撮像信号として合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力するため、従来のように単に各出力撮像信号を加算して平均化しただけではなく、上記演算式（１）により滑らかに出力変化するように合成処理しており、これによって、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる。   As described above, according to the first embodiment, the light transmitted through the half mirror 2 is exposed for a long time by the solid-state image pickup device 3 with an electronic shutter, and the light reflected by the half mirror 2 is short-time by the solid-state image pickup device 4 with an electronic shutter. Exposed. Further, using the long-time exposure output A from the solid-state image pickup device 3 with an electronic shutter and the short-time exposure output B from the solid-state image pickup device 4 with an electronic shutter, the arithmetic circuit 5 synthesizes each output image pickup signal with a different exposure time. In order to output the synthesized signal OUT of the smooth input / output characteristic curve, the output imaging signals are not simply added and averaged as in the prior art, but the output changes smoothly according to the above equation (1). Since the composition processing is performed, a natural image can be obtained without abruptly changing the output change amount with respect to the incident light at a specific point.

このように、二つの露光条件（長時間露光と短時間露光）の異なる画像データを上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力を得ることができ、より自然な画像を得ることができる。即ち、ＣＭＯＳイメージセンサやＣＣＤイメージセンサにおいて、車がトンネルに入ったりトンネルから出たりするときなど、暗い所に露出を合わせると明るい所が白とびしてしまい、逆に、明るい所に露出を合わせると暗い所が黒つぶれしてしまうという問題を解消すると共に、より自然な画像を得ることができる。   In this way, by processing the image data having different exposure conditions (long time exposure and short time exposure) using the long time exposure output A and the short time exposure output B according to the above equation (1), An output having a wide dynamic range with respect to the input light quantity and a smooth output change amount (brightness change amount) can be obtained, and a more natural image can be obtained. That is, in a CMOS image sensor or a CCD image sensor, when an exposure is adjusted to a dark place such as when a car enters or exits a tunnel, a bright place is overexposed, and conversely, an exposure is adjusted to a bright place. In addition to solving the problem of dark areas being darkened, a more natural image can be obtained.

なお、本実施形態１の固体撮像装置１０では、上記演算式（１）の演算処理を図２のハード回路構成である演算回路５を用いて行ったが、これに限らず、演算回路５に代えて、制御プログラムに基づいてソフトウェアにより行うこともできる。即ち、本実施形態１の変形例である固体撮像装置として、長時間露光出力Ａと短時間露光出力Ｂとを入力とし、ｋを係数として上記演算式（１）を制御プログラムに基づいて演算処理する演算手段としてのＣＰＵ（中央演算処理装置）が演算回路５に代えて設けられていてもよい。   In the solid-state imaging device 10 according to the first embodiment, the arithmetic processing of the arithmetic expression (1) is performed using the arithmetic circuit 5 having the hardware circuit configuration in FIG. Alternatively, it can be performed by software based on the control program. That is, as a solid-state imaging device that is a modification of the first embodiment, the long-time exposure output A and the short-time exposure output B are input, k is a coefficient, and the arithmetic expression (1) is calculated based on the control program. A CPU (central processing unit) may be provided in place of the arithmetic circuit 5 as the arithmetic means.

その手順としては、まず、係数ｋ＝１（ここでは１／２５５）で、長時間露光出力Ａを二乗し、次に、この二乗した長時間露光出力Ａの値から短時間露光出力Ｂの値を差し引く減算処理を行う。その後、減算処理した値を「２」で割った値を元の長時間露光出力Ａから差し引いて合成信号ＯＵＴを出力する減算処理を行う。   As the procedure, first, the long-time exposure output A is squared with a coefficient k = 1 (here 1/255), and then the value of the short-time exposure output B is calculated from the squared value of the long-time exposure output A. Subtraction processing is performed to subtract. Thereafter, a value obtained by dividing the subtracted value by “2” is subtracted from the original long-time exposure output A to perform a subtracting process for outputting the composite signal OUT.

演算手段は、制御プロいグラムに基づいて、長時間露光出力Ａを二乗しこれに係数ｋを乗算する第１ステップと、第１ステップの演算値から短時間露光出力Ｂの値を差し引く第２ステップと、第２ステップの演算値を「２」で割る第３ステップと、第３ステップの演算値を元の長時間露光出力Ａから差し引いてく第４ステップとを有する。これによって、ソフトウェアを用いた場合にも、上記ハードウェアを用いた場合と同様に、二つの露光条件の異なる画像データを上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂに元づく信号処理をして、入力光量に対してダイナミックレンジが広く出力の変化量が滑らかな出力を得ることができ、より自然な画像を得ることができる。   The calculating means squares the long-time exposure output A and multiplies it by a coefficient k based on the control program, and a second step of subtracting the value of the short-time exposure output B from the calculated value of the first step. A step, a third step of dividing the calculated value of the second step by “2”, and a fourth step of subtracting the calculated value of the third step from the original long-time exposure output A. As a result, even when software is used, as in the case of using the hardware, image data having two different exposure conditions can be obtained from the long-time exposure output A and the short-time exposure output B using the above equation (1). By performing the signal processing based on the above, it is possible to obtain an output having a wide dynamic range with respect to the input light quantity and a smooth output change amount, and a more natural image can be obtained.

なお、本実施形態１では、ハーフミラー２の透過により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子３と、ハーフミラー２の反射により短時間露光されて短時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子４とを有する場合について説明したが、これに限らず、ハーフミラー２の反射により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と３、ハーフミラー２の透過により短時間露光されて短時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子４とを有する場合にも、本発明を適用できて、長時間露光出力Ａと短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力することができる。   In the first embodiment, the first electronic shutter-equipped solid-state imaging device 3 that is exposed for a long time by transmission of the half mirror 2 and outputs a long-time exposure output A, and the short-time exposure by the reflection of the half mirror 2 is short. Although the case of having the second electronic shutter-equipped solid-state imaging device 4 that outputs the time exposure output B has been described, the present invention is not limited to this, and the second exposure output A that is exposed for a long time by reflection of the half mirror 2 is output. The present invention can also be applied to the case where the solid-state image pickup device with one electronic shutter and the solid-state image pickup device 3 with the second electronic shutter that outputs the short-time exposure output B after being exposed for a short time by transmission through the half mirror 2. Thus, a synthesized signal OUT having a smooth input / output characteristic curve obtained by synthesizing the long-time exposure output A and the short-time exposure output B can be output.

（実施形態２）
上記実施形態１では、二つの電子シャッタ付固体撮像素子３、４を設けて、入射光を２分して同時に長時間露光出力Ａと短時間露光出力Ｂを得て上記演算式（１）の演算処理を行ったが、本実施形態２では、一つの電子シャッタ付固体撮像素子を設けて、電子シャッタ付固体撮像素子から時系列の二つの長時間露光出力Ａと短時間露光出力Ｂを得て上記本発明の演算式（１）の演算処理を行う場合について説明する。 (Embodiment 2)
In the first embodiment, the two solid-state image pickup devices 3 and 4 with electronic shutter are provided, and the long-time exposure output A and the short-time exposure output B are obtained at the same time by dividing the incident light into two to obtain the equation (1). In the second embodiment, one solid-state image pickup device with an electronic shutter is provided, and two long-time exposure outputs A and short-time exposure outputs B in time series are obtained from the solid-state image pickup device with an electronic shutter. A case where the arithmetic processing of the arithmetic expression (1) of the present invention is performed will be described.

図４は、本発明の実施形態２における固体撮像装置の要部構成例を示すブロック図である。   FIG. 4 is a block diagram illustrating a configuration example of a main part of the solid-state imaging device according to the second embodiment of the present invention.

図４において、本実施形態２の固体撮像装置１０Ａは、入射光が入射される撮影レンズ１１と、この撮影レンズ１１の後方に設けられ、時系列の長時間露光出力Ａと短時間露光出力Ｂを出力する電子シャッタ付固体撮像素子１２と、電子シャッタ付固体撮像素子１２からの時系列の長時間露光出力Ａと短時間露光出力Ｂを記録する記憶手段としてのメモリ１３と、メモリ１３からの長時間露光出力Ａと短時間露光出力Ｂを用いて上記本発明の演算式（１）により演算処理して、滑らかに曲線状に変化する合成信号ＯＵＴを出力する演算回路１４とを有している。   In FIG. 4, the solid-state imaging device 10 </ b> A of the second embodiment is provided with a photographing lens 11 on which incident light is incident, and behind the photographing lens 11, and a time-series long-time exposure output A and short-time exposure output B. , A solid-state image pickup device 12 with an electronic shutter, a memory 13 as storage means for recording time-series long-time exposure output A and short-time exposure output B from the solid-state image pickup device 12 with electronic shutter, An arithmetic circuit 14 that performs arithmetic processing by the arithmetic expression (1) of the present invention using the long-time exposure output A and the short-time exposure output B, and outputs a composite signal OUT that smoothly changes into a curve. Yes.

演算回路１４は、時系列の長時間露光出力Ａと短時間露光出力Ｂが記憶されたメモリ１３から、長時間露光出力Ａと短時間露光出力Ｂを順次読み出して、係数ｋを乗算すると共に長時間露光出力Ａを二乗してこれに乗算する曲線を含む上記演算式（１）を演算して合成信号ＯＵＴを算出する。この場合、長時間露光出力Ａと短時間露光出力Ｂが上記実施形態１のように同時ではないため、早く動く画像など、厳密には時間的にずれた撮像画像になるものの、その時間誤差は小さく撮像画像に大きなずれはない。   The arithmetic circuit 14 sequentially reads the long-time exposure output A and the short-time exposure output B from the memory 13 in which the time-series long-time exposure output A and the short-time exposure output B are stored, multiplies the coefficient k, and increases the length. The composite signal OUT is calculated by calculating the above equation (1) including a curve obtained by squaring the time exposure output A and multiplying it. In this case, since the long-time exposure output A and the short-time exposure output B are not simultaneous as in the first embodiment, although the captured image is strictly shifted in time, such as an image that moves quickly, the time error is There is no large shift in the captured image.

以上により、本実施形態２によれば、演算回路１４は、異なる露光時間の時系列の各出力撮像信号として合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力するため、従来のように単に各出力撮像信号を加算して平均化しただけではなく、上記演算式（１）により滑らかに出力変化するように合成処理しており、これによって、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる。   As described above, according to the second embodiment, the arithmetic circuit 14 outputs the synthesized signal OUT of the smooth input / output characteristic curve synthesized as each time-series output imaging signal having different exposure times. Not only the output image signals are added and averaged, but also synthesized so that the output changes smoothly according to the above equation (1), so that the amount of change in output with respect to incident light suddenly increases at a specific point. A natural image can be obtained without changing.

このように、二つの露光条件（長時間露光と短時間露光）の異なる時系列画像データを上記本発明の演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理（演算処理）することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力（明るさが急に変化しない出力）を得ることができ、より自然な画像を得ることができる。この場合、ＣＭＯＳイメージセンサやＣＣＤイメージセンサにおいて、車がトンネルに入ったりトンネルから出たりするときなど、里暗い所に露出を合わせると明るい所が白とびしてしまい、逆に、明るい所に露出を合わせると暗い所が黒つぶれしてしまうという問題を解消することができ、より自然な画像を得ることができる。   As described above, time series image data having two different exposure conditions (long exposure and short exposure) are signaled using the long exposure output A and the short exposure output B according to the arithmetic expression (1) of the present invention. By performing processing (arithmetic processing), it is possible to obtain an output with a wide dynamic range with respect to the input light quantity and a smooth output change (brightness change) (output in which the brightness does not change suddenly). A natural image can be obtained. In this case, when a CMOS image sensor or CCD image sensor is exposed to a dark place such as when a car enters or exits a tunnel, the bright place will be overexposed. When the two are combined, the problem of dark areas being blackened can be solved, and a more natural image can be obtained.

なお、ここで、ＣＭＯＳイメージセンサとＣＣＤイメージセンサについて簡単に説明する。   Here, the CMOS image sensor and the CCD image sensor will be briefly described.

ＣＭＯＳイメージセンサは、ＣＣＤイメージセンサのように、垂直転送部により各受光部からの信号電荷をそれぞれ電荷転送し、垂直転送部からの信号電荷を水平転送部により水平方向に電荷転送するＣＣＤを使用せず、メモリデバイスのようにアルミニュウム配線などで構成される選択制御線によって、画素毎に受光部から信号電荷を読み出してそれを電圧変換し、その変換電圧に応じて信号増幅した撮像信号を、選択された画素から順次読み出すようになっている。一方、ＣＣＤイメージセンサは、ＣＣＤの駆動のために正負の複数の電源電圧を必要とするが、ＣＭＯＳイメージセンサは、単一電源で駆動が可能であり、ＣＣＤイメージセンサに比べ、低消費電力化や低電圧駆動が可能である。さらに、ＣＣＤイメージセンサの製造には、ＣＣＤ独自の製造プロセスを用いているために、ＣＭＯＳ回路で一般的に用いられる製造プロセスをそのまま適用することが難しい。これに対して、ＣＭＯＳイメージセンサは、ＣＭＯＳ回路で一般的に用いられる製造プロセスを使用しているために、表示制御用のドライバー回路や撮像制御用のドライバー回路、ＤＲＡＭなどの半導体メモリ、論理回路などの製造で多用されているＣＭＯＳプロセスにより、論理回路やアナログ回路、アナログデジタル変換回路などを同時に形成してしまうことができる。つまり、ＣＭＯＳイメージセンサは、半導体メモリ、表示制御用のドライバー回路および撮像制御用のドライバー回路と同一の半導体チップ上に形成することが容易であり、また、その製造に対しても、半導体メモリや表示制御用のドライバー回路および撮像制御用のドライバー回路と生産ラインを共有することが容易にできる。   The CMOS image sensor uses a CCD that, like a CCD image sensor, transfers signal charges from each light receiving unit by a vertical transfer unit, and horizontally transfers signal charges from the vertical transfer unit by a horizontal transfer unit. Without using a selection control line composed of aluminum wiring or the like like a memory device, a signal charge is read from the light receiving unit for each pixel, converted into a voltage, and an imaging signal amplified according to the converted voltage is obtained. Reading is sequentially performed from the selected pixel. On the other hand, the CCD image sensor requires a plurality of positive and negative power supply voltages for driving the CCD. However, the CMOS image sensor can be driven by a single power supply and consumes less power than the CCD image sensor. And low voltage drive. Furthermore, since a CCD original manufacturing process is used for manufacturing a CCD image sensor, it is difficult to apply a manufacturing process generally used in a CMOS circuit as it is. On the other hand, since the CMOS image sensor uses a manufacturing process generally used in a CMOS circuit, a driver circuit for display control, a driver circuit for imaging control, a semiconductor memory such as a DRAM, and a logic circuit A logic circuit, an analog circuit, an analog-digital conversion circuit, and the like can be formed at the same time by a CMOS process frequently used in manufacturing. That is, the CMOS image sensor can be easily formed on the same semiconductor chip as the semiconductor memory, the driver circuit for display control, and the driver circuit for imaging control. The production line can be easily shared with the driver circuit for display control and the driver circuit for imaging control.

なお、上記実施形態１では、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー２を有し、電子シャッタ付固体撮像素子として、ハーフミラー２からの光を異なる露光時間（長時間と短時間）だけ露光した２個の撮像信号を出力する第１および第２電子シャッタ付固体撮像素子３，４を有し、演算回路５は、第１および第２電子シャッタ付固体撮像素子３，４からの各出力撮像信号を合成した図３の本発明合成信号ＯＵＴのような滑らかな入出力特性曲線の合成信号を出力するように構成したが、これに限らず、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、電子シャッタ付固体撮像素子として、ハーフミラー手段からの光を異なる三つの露光時間（長時間、中時間および短時間）だけ露光した３個の撮像信号を出力する第１〜第３電子シャッタ付固体撮像素子を有し、演算回路は、該第１〜第３電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力するように構成することもできる。この場合、ハーフミラー手段は、入射光を透過光と反射光に分けるが、このときに、第１ハーフミラーで入射光を１対２の光量に分離し、１対２の光量のうちの「２」を第２ハーフミラーで１対１の光量に分離すれば、第１〜第３電子シャッタ付固体撮像素子にそれぞれ同等光量の光を照射することができる。これによって、第１〜第３電子シャッタ付固体撮像素子から、長時間露光出力Ａと短時間露光出力Ｂの他に、中時間露光出力を得ることができる。演算回路は、長時間露光出力Ａ、中時間露光出力および短時間露光出力Ｂを用いて、異なる三つの露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力することができる。   In the first embodiment, the half mirror 2 is arranged so as to be inclined at an arbitrary angle in the optical axis direction L of incident light, and the light from the half mirror 2 is exposed differently as a solid-state imaging device with an electronic shutter. It has first and second solid-state image pickup devices 3 and 4 with electronic shutters that output two imaging signals exposed for a long time (a short time and a short time), and the arithmetic circuit 5 has first and second electronic shutters. Although it is configured to output a composite signal of a smooth input / output characteristic curve such as the composite signal OUT of the present invention in which the output image pickup signals from the solid-state image pickup devices 3 and 4 are combined, the present invention is not limited to this. Half-mirror means arranged to be inclined at an arbitrary angle in the optical axis direction L of light, and as a solid-state image pickup device with an electronic shutter, light from the half-mirror means is exposed to three different exposure times (long time and medium time). And dew only) The solid-state image pickup device with the first to third electronic shutters that outputs the three image pickup signals, and the arithmetic circuit smoothly combines the output image pickup signals from the first to third solid-state image pickup devices with the electronic shutter. It can also be configured to output a composite signal of a simple input / output characteristic curve. In this case, the half mirror unit divides the incident light into transmitted light and reflected light. At this time, the first half mirror separates the incident light into a light amount of 1: 2, and “ If “2” is separated into a one-to-one light quantity by the second half mirror, the first to third solid-state image pickup devices with electronic shutters can each be irradiated with the same quantity of light. Thereby, in addition to the long-time exposure output A and the short-time exposure output B, the medium-time exposure output can be obtained from the first to third solid-state imaging devices with electronic shutter. The arithmetic circuit uses the long time exposure output A, the medium time exposure output, and the short time exposure output B to synthesize the output imaging signals of three different exposure times, and outputs a smooth input / output characteristic curve composite signal. be able to.

即ち、ｎが３の場合に、電子シャッタ付固体撮像素子は、ハーフミラー手段が第１および第２ハーフミラーで構成され、第１ハーフミラーの透過および反射の一方により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と、第１ハーフミラーの透過および反射の他方により光照射される第２ハーフミラーの透過および反射の一方により中時間露光されて中時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子と、第２ハーフミラーの透過および反射の他方により短時間露光されて短時間露光出力Ｃを出力する第３電子シャッタ付固体撮像素子とを有し、演算手段は、長時間露光出力Ａ、中時間露光出力Ｂおよび短時間露光出力Ｃを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する。   That is, when n is 3, the solid-state image pickup device with an electronic shutter has half mirror means constituted by the first and second half mirrors, and is exposed for a long time by one of transmission and reflection of the first half mirror. Medium time exposure by a solid-state image sensor with a first electronic shutter that outputs an exposure output A and a second half mirror that is irradiated with light by the other of the first half mirror and the second half mirror. A solid-state image sensor with a second electronic shutter that outputs an output B; and a solid-state image sensor with a third electronic shutter that outputs a short-time exposure output C after being exposed for a short time by the other of the transmission and reflection of the second half mirror. Then, the computing means outputs a synthesized signal OUT of a smooth input / output characteristic curve obtained by synthesizing the long time exposure output A, the medium time exposure output B, and the short time exposure output C.

要するに、ｎが２以上の自然数の場合に、入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、電子シャッタ付固体撮像素子は、ハーフミラー手段からの光を異なる露光時間だけ露光したｎ個の撮像信号を出力する第１〜第ｎ（ｎは２以上の自然数）電子シャッタ付固体撮像素子を有し、演算手段は、第１〜第ｎ電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する。   In short, in the case where n is a natural number of 2 or more, it has half mirror means arranged at an arbitrary angle in the optical axis direction L of incident light, and the solid-state imaging device with electronic shutter is It has first to n-th (n is a natural number of 2 or more) electronic shutter-equipped solid-state image sensors that output n imaging signals obtained by exposing light for different exposure times, and the computing means includes first to n-th electronic shutters. A synthesized signal of a smooth input / output characteristic curve obtained by synthesizing each output imaging signal from the attached solid-state imaging device is output.

また、上記実施形態２では、電子シャッタ付固体撮像素子１２は、異なる二つの露光時間（長時間と短時間）で時系列にそれぞれ露光した２個の撮像信号を順次出力し、演算回路１４は、電子シャッタ付固体撮像素子１２からの時系列の二つの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力するように構成したが、これに限らず、電子シャッタ付固体撮像素子は、異なる三つの露光時間（長時間、中時間および短時間）で時系列にそれぞれ露光した三つの撮像信号を順次出力し、演算回路は、電子シャッタ付固体撮像素子からの時系列の三つの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力するように構成することもできる。この場合、長時間露光出力Ａと短時間露光出力Ｂの他に、中時間露光出力を得ることができる。演算回路は、長時間露光出力Ａ、中時間露光出力および短時間露光出力Ｂを用いて、異なる三つの露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力することができる。   In the second embodiment, the solid-state imaging device 12 with an electronic shutter sequentially outputs two imaging signals that are exposed in time series with two different exposure times (long time and short time). In addition, although it is configured to output a combined signal of a smooth input / output characteristic curve obtained by combining two time-series output image pickup signals from the solid-state image pickup device 12 with an electronic shutter, the present invention is not limited to this, and is not limited thereto. The element sequentially outputs three imaging signals exposed in time series with three different exposure times (long time, medium time, and short time), and the arithmetic circuit outputs three time series signals from the solid-state image sensor with electronic shutter. It can also be configured to output a synthesized signal of a smooth input / output characteristic curve obtained by synthesizing each of the two output imaging signals. In this case, in addition to the long time exposure output A and the short time exposure output B, a medium time exposure output can be obtained. The arithmetic circuit uses the long time exposure output A, the medium time exposure output, and the short time exposure output B to synthesize the output imaging signals of three different exposure times, and outputs a smooth input / output characteristic curve composite signal. be able to.

長時間露光出力Ａ、中時間露光出力Ｂおよび短時間露光出力Ｃを用いて、異なる三つの露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号ＯＵＴを出力することができる。この場合、その演算式としては、合成信号ＯＵＴ＝Ｂ−（ｋＢ２−Ａ）／２−（ｋＡ２−Ｃ）／４である。 Using the long-time exposure output A, the medium-time exposure output B, and the short-time exposure output C, the output imaging signals of three different exposure times can be combined to output a smooth input / output characteristic curve composite signal OUT. it can. In this case, the arithmetic expression is the combined signal OUT = B− (kB 2 −A) / 2− (kA 2 −C) / 4.

長時間露光出力Ａおよび短時間露光出力Ｂの露光時間の具体例、また、長時間露光出力Ａ、中時間露光出力Ｂおよび短時間露光出力Ｃの露光時間の具体例については、例えば長時間露光出力Ａがｔで、中時間露光出力Ｂがｔ／５００、短時間露光出力Ｃがｔ／１０００である。   Specific examples of the exposure time of the long exposure output A and the short exposure output B, and specific examples of the exposure time of the long exposure output A, the medium exposure output B, and the short exposure output C are, for example, long exposure. The output A is t, the medium time exposure output B is t / 500, and the short time exposure output C is t / 1000.

要するに、異なる露光時間が複数の場合、電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、演算手段は、電子シャッタ付固体撮像素子からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力する。   In short, when there are a plurality of different exposure times, the solid-state image pickup device with an electronic shutter sequentially outputs a plurality of image pickup signals that are exposed in time series with different exposure times, and the arithmetic means outputs the signals from the solid-state image pickup device with an electronic shutter. A synthesized signal OUT of a smooth input / output characteristic curve obtained by synthesizing each series of output imaging signals is output.

（実施形態３）
図５は、本発明の実施形態３として、本発明の実施形態１または２の固体撮像装置を撮像部に用いた電子情報機器の概略構成例を示すブロック図である。 (Embodiment 3)
FIG. 5 is a block diagram illustrating a schematic configuration example of an electronic information device using the solid-state imaging device according to Embodiment 1 or 2 of the present invention as an imaging unit as Embodiment 3 of the present invention.

図５において、本実施形態３の電子情報機器９０は、上記実施形態１、２の固体撮像装置１０または１０Ａと、この固体撮像装置１０または１０Ａからのカラー画像信号を記録用に所定の信号処理した後にデータ記録可能とする記録メディアなどのメモリ部９１と、この固体撮像装置１０または１０Ａからのカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示可能とする液晶表示装置などの表示手段９２と、この固体撮像装置１０または１０Ａからのカラー画像信号を通信用に所定の信号処理をした後に通信処理可能とする送受信装置などの通信手段９３と、この固体撮像装置１０または１０Ａからのカラー画像信号を印刷用に所定の印刷信号処理をした後に印刷処理可能とするプリンタなどの画像出力手段９４とを有している。なお、この電子情報機器９０として、これに限らず、固体撮像装置１０または１０Ａの他に、メモリ部９１と、表示手段９２と、通信手段９３と、プリンタなどの画像出力手段９４とのうちの少なくともいずれかを有していてもよい。   In FIG. 5, the electronic information device 90 according to the third embodiment performs predetermined signal processing for recording the solid-state imaging device 10 or 10A according to the first and second embodiments and the color image signal from the solid-state imaging device 10 or 10A. And a memory unit 91 such as a recording medium that enables data recording after the color image signal from the solid-state imaging device 10 or 10A can be displayed on a display screen such as a liquid crystal display screen after predetermined signal processing for display. A display unit 92 such as a liquid crystal display device, a communication unit 93 such as a transmission / reception device that can perform communication processing after performing predetermined signal processing for color image signals from the solid-state imaging device 10 or 10A for communication, and the solid state Image output from a printer or the like that enables print processing after performing predetermined print signal processing for color image signals from the imaging device 10 or 10A for printing And a stage 94. The electronic information device 90 is not limited to this, but includes the memory unit 91, the display unit 92, the communication unit 93, and the image output unit 94 such as a printer in addition to the solid-state imaging device 10 or 10A. You may have at least any.

この電子情報機器９０としては、前述したように例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、監視カメラ、ドアホンカメラ、車載用後方監視カメラなどの車載用カメラおよびテレビジョン電話用カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、カメラ付き携帯電話装置および携帯端末装置（ＰＤＡ）などの画像入力デバイスを有した電子機器が考えられる。   As described above, the electronic information device 90 includes, for example, a digital camera such as a digital video camera and a digital still camera, an in-vehicle camera such as a surveillance camera, a door phone camera, and an in-vehicle rear surveillance camera, and a video phone camera. An electronic device having an image input device such as an image input camera, a scanner device, a facsimile device, a camera-equipped mobile phone device, and a portable terminal device (PDA) is conceivable.

したがって、本実施形態３によれば、この固体撮像装置１０または１０Ａからのカラー画像信号に基づいて、これを表示画面上に良好に表示したり、これを紙面にて画像出力手段９４により良好にプリントアウト（印刷）したり、これを通信データとして有線または無線にて良好に通信したり、これをメモリ部９１に所定のデータ圧縮処理を行って良好に記憶したり、各種データ処理を良好に行うことができる。   Therefore, according to the third embodiment, based on the color image signal from the solid-state imaging device 10 or 10A, the image is displayed on the display screen, or the image output unit 94 performs better display on the paper. Print out (print), communicate this well as wired or wirelessly as communication data, store it in the memory unit 91 by performing a predetermined data compression process, or perform various data processings satisfactorily It can be carried out.

なお、本実施形態１、２では、特に説明しなかったが、被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、この電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有していれば、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる本発明の目的を達成することができる。   Although not particularly described in Embodiments 1 and 2, a solid-state image sensor with an electronic shutter that captures an image by photoelectrically converting image light from a subject, and different exposure times from the solid-state image sensor with an electronic shutter. If there is a calculation means for synthesizing each output imaging signal and outputting a synthesized signal of a smooth input / output characteristic curve, the amount of change in output with respect to incident light does not change abruptly at a specific point, and a natural image The object of the present invention can be achieved.

以上のように、本発明の好ましい実施形態１〜３を用いて本発明を例示してきたが、本発明は、この実施形態１〜３に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態１〜３の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。   As mentioned above, although this invention has been illustrated using preferable Embodiment 1-3 of this invention, this invention should not be limited and limited to this Embodiment 1-3. It is understood that the scope of the present invention should be construed only by the claims. It is understood that those skilled in the art can implement an equivalent range based on the description of the present invention and the common general technical knowledge from the description of specific preferred embodiments 1 to 3 of the present invention. Patents, patent applications, and documents cited herein should be incorporated by reference in their entirety, as if the contents themselves were specifically described herein. Understood.

本発明は、被写体からの画像光を光電変換して撮像する固体撮像装置および、この固体撮像装置を画像入力デバイスとして撮像部に用いた例えばデジタルビデオカメラおよびデジタルスチルカメラなどのデジタルカメラや、監視カメラなどの画像入力カメラ、スキャナ装置、ファクシミリ装置、テレビジョン電話装置、カメラ付き携帯電話装置などの電子情報機器の分野において、異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力するため、従来のように単に各出力撮像信号を加算して平均化しただけではなく、演算式（１）により滑らかに出力変化するように合成処理しており、これによって、入射光に対する出力の変化量が特定ポイントで急激に変化させず、自然な画像を得ることができる。   The present invention relates to a solid-state imaging device that photoelectrically converts image light from a subject to capture an image, a digital camera using the solid-state imaging device as an image input device in an imaging unit, such as a digital video camera and a digital still camera, and a monitor Smooth input / output characteristic curves by combining output image signals with different exposure times in the field of electronic information devices such as image input cameras such as cameras, scanner devices, facsimile devices, television phone devices, and mobile phone devices with cameras. In order to output the combined signal, the output imaging signals are not simply added and averaged as in the conventional case, but are also combined so that the output changes smoothly according to the arithmetic expression (1). The amount of change in output with respect to incident light does not change suddenly at a specific point, and a natural image can be obtained.

このように、複数の露光条件、例えば二つの露光条件（長時間露光と短時間露光）の異なる画像データを、上記演算式（１）により、長時間露光出力Ａと短時間露光出力Ｂを用いて信号処理することにより、入力光量に対してダイナミックレンジが広く出力の変化量（明るさの変化量）が滑らかな出力信号を得ることができ、より自然な画像を得ることができる。   As described above, the long exposure output A and the short exposure output B are used for the image data different in a plurality of exposure conditions, for example, two exposure conditions (long exposure and short exposure) according to the above equation (1). By performing signal processing, an output signal having a wide dynamic range with respect to the input light amount and a smooth output change amount (brightness change amount) can be obtained, and a more natural image can be obtained.

１、１１ 撮影レンズ
２ ハーフミラー（ハーフミラー手段）
３、４、１２ 電子シャッタ付固体撮像素子
５、１４ 演算回路（演算手段）
５１ 乗算回路
５２ 第１減算回路
５３ シフト回路
５４ 第２減算回路
１０、１０Ａ 固体撮像装置
１３ メモリ
Ａ 長時間露光出力
Ｂ 短時間露光出力
ＯＵＴ 合成信号
ｋ 係数
９０ 電子情報機器
９１ メモリ部
９２ 表示手段
９３ 通信手段
９４ 画像出力手段 1, 11 Photography lens 2 Half mirror (half mirror means)
3, 4, 12 Solid-state image sensor with electronic shutter 5, 14 Arithmetic circuit (calculation means)
DESCRIPTION OF SYMBOLS 51 Multiplication circuit 52 1st subtraction circuit 53 Shift circuit 54 2nd subtraction circuit 10, 10A Solid-state imaging device 13 Memory A Long time exposure output B Short time exposure output OUT Composite signal k Coefficient 90 Electronic information equipment 91 Memory part 92 Display means 93 Communication means 94 Image output means

Claims (7)

被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、該電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有し、
入射光の光軸方向Ｌに任意の角度で傾斜して配置されたハーフミラー手段を有し、該電子シャッタ付固体撮像素子は、該ハーフミラー手段からの光を異なる露光時間だけ露光したｎ個の撮像信号を出力し、該演算手段は、該電子シャッタ付固体撮像素子からの各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力し、
該電子シャッタ付固体撮像素子は、該ハーフミラー手段の透過および反射の一方により長時間露光されて長時間露光出力Ａを出力する第１電子シャッタ付固体撮像素子と、該ハーフミラー手段の透過および反射の他方により短時間露光されて短時間露光出力Ｂを出力する第２電子シャッタ付固体撮像素子とを有し、該演算手段は、異なる露光時間による露光出力として該長時間露光出力Ａと該短時間露光出力Ｂを合成した滑らかな入出力特性曲線の合成信号ＯＵＴを出力し、
該演算手段は、該異なる露光時間による露光出力として長時間露光出力Ａと短時間露光出力Ｂとを入力とし、該長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを該長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算出力する固体撮像装置。
合成信号ＯＵＴ＝Ａ−（ｋＡ ２ −Ｂ）／２・・（１） A composite image of a smooth input / output characteristic curve by synthesizing a solid-state imaging device with an electronic shutter that photoelectrically converts image light from a subject and imaging and output output signals of different exposure times from the solid-state imaging device with an electronic shutter Calculating means for outputting
The solid-state imaging device with an electronic shutter has half mirror means arranged to be inclined at an arbitrary angle in the optical axis direction L of incident light. The imaging means outputs a synthesized signal of a smooth input / output characteristic curve obtained by synthesizing each output imaging signal from the solid-state imaging device with the electronic shutter,
The solid-state imaging device with an electronic shutter includes a first solid-state imaging device with an electronic shutter that is exposed for a long time by one of transmission and reflection of the half mirror means and outputs a long exposure output A; A solid-state imaging device with a second electronic shutter that is exposed for a short time by the other of the reflections and outputs a short-time exposure output B, and the computing means outputs the long-time exposure output A and the Output a composite signal OUT of a smooth input / output characteristic curve combining the short-time exposure output B,
The arithmetic means inputs the long exposure output A and the short exposure output B as exposure outputs by the different exposure times, squares the long exposure output A, and then multiplies it by a coefficient k. A solid-state imaging device that calculates and outputs a composite signal OUT according to the following arithmetic expression (1) that subtracts the value obtained by subtracting the time exposure output B by 2 from the long time exposure output A.
Composite signal OUT = A− (kA 2 −B) / 2 (1) 被写体からの画像光を光電変換して撮像する電子シャッタ付固体撮像素子と、該電子シャッタ付固体撮像素子からの異なる露光時間の各出力撮像信号を合成して滑らかな入出力特性曲線の合成信号を出力する演算手段とを有し、
該電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、順次出力した複数の撮像信号を記憶手段に記憶し、該演算手段は、該記憶手段からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力し、
該演算手段は、該異なる露光時間による露光出力として長時間露光出力Ａと短時間露光出力Ｂとを入力とし、該長時間露光出力Ａを二乗した後にこれに係数ｋを乗算して、これから短時間露光出力Ｂを引いた値を２で割ったものを該長時間露光出力Ａから減算する次の演算式（１）により合成信号ＯＵＴを演算出力する固体撮像装置。
合成信号ＯＵＴ＝Ａ−（ｋＡ ２ −Ｂ）／２・・（１） A composite image of a smooth input / output characteristic curve by synthesizing a solid-state imaging device with an electronic shutter that photoelectrically converts image light from a subject and imaging and output output signals of different exposure times from the solid-state imaging device with an electronic shutter He has a calculating means for outputting,
The solid-state imaging device with an electronic shutter sequentially outputs a plurality of imaging signals respectively exposed in time series with different exposure times, and stores the plurality of sequentially output imaging signals in a storage unit, and the calculation unit includes the storage unit Output a synthesized signal of a smooth input / output characteristic curve that combines the time-series output imaging signals from
The arithmetic means inputs the long exposure output A and the short exposure output B as exposure outputs by the different exposure times, squares the long exposure output A, and then multiplies it by a coefficient k. A solid-state imaging device that calculates and outputs a composite signal OUT according to the following arithmetic expression (1) that subtracts the value obtained by subtracting the time exposure output B by 2 from the long time exposure output A.
Composite signal OUT = A− (kA 2 −B) / 2 (1) 前記電子シャッタ付固体撮像素子は、異なる露光時間で時系列にそれぞれ露光した複数の撮像信号を順次出力し、順次出力した複数の撮像信号を記憶手段に記憶し、前記演算手段は、該記憶手段からの時系列の各出力撮像信号を合成した滑らかな入出力特性曲線の合成信号を出力する請求項１に記載の固体撮像装置。   The solid-state imaging device with an electronic shutter sequentially outputs a plurality of imaging signals respectively exposed in time series with different exposure times, stores the plurality of sequentially output imaging signals in a storage unit, and the calculation unit includes the storage unit The solid-state imaging device according to claim 1, wherein a synthesized signal of a smooth input / output characteristic curve obtained by synthesizing each time-series output imaging signal from is output. 前記演算手段は、前記長時間露光出力Ａを二乗してこれに係数ｋと乗算する乗算回路と、該乗算回路からの出力から前記短時間露光出力Ｂを減算する第１減算回路と、該第１減算回路からの出力を２で割るシフト回路と、該シフト回路からの出力を該長時間露光出力Ａから減算する第２減算回路とを有する請求項１または２に記載の固体撮像装置。 The computing means squares the long-time exposure output A and multiplies it by a coefficient k, a first subtraction circuit that subtracts the short-time exposure output B from the output from the multiplication circuit, 3. The solid-state imaging device according to claim 1, further comprising: a shift circuit that divides an output from one subtraction circuit by 2; and a second subtraction circuit that subtracts the output from the shift circuit from the long-time exposure output A. 4. 前記演算手段は、制御プログラムに基づいて、
前記長時間露光出力Ａを二乗しこれに係数ｋを乗算する第１ステップと、
該第１ステップの演算値から前記短時間露光出力Ｂの値を差し引く第２ステップと、
該第２ステップの演算値を「２」で割る第３ステップと、
該第３ステップの演算値を該長時間露光出力Ａから差し引く第４ステップとを実行する請求項４に記載の固体撮像装置。 The computing means is based on a control program,
A first step of squaring the long exposure output A and multiplying this by a factor k;
A second step of subtracting the value of the short-time exposure output B from the calculated value of the first step;
A third step of dividing the calculated value of the second step by “2”;
The solid-state imaging device according to claim 4 , wherein a fourth step of subtracting the calculated value of the third step from the long-time exposure output A is executed. ＣＭＯＳ固体撮像装置またはＣＣＤ固体撮像装置である請求項１〜５のいずれかに記載の固体撮像装置。 The solid-state imaging device according to any one of claims 1 to 5, which is a CMOS solid-state imaging device or a CCD solid-state imaging device. 請求項１〜６のいずれかに記載の固体撮像装置を画像入力デバイスとして撮像部に用いた電子情報機器。
Electronic information device using the imaging unit the solid-state imaging device according to any one of claims 1 to 6 as an image input device.
JP2010031853A 2010-02-16 2010-02-16 Solid-state imaging device and electronic information device Expired - Fee Related JP5302912B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010031853A JP5302912B2 (en) 2010-02-16 2010-02-16 Solid-state imaging device and electronic information device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010031853A JP5302912B2 (en) 2010-02-16 2010-02-16 Solid-state imaging device and electronic information device

Publications (2)

Publication Number Publication Date
JP2011171861A JP2011171861A (en) 2011-09-01
JP5302912B2 true JP5302912B2 (en) 2013-10-02

Family

ID=44685542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010031853A Expired - Fee Related JP5302912B2 (en) 2010-02-16 2010-02-16 Solid-state imaging device and electronic information device

Country Status (1)

Country Link
JP (1) JP5302912B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355650A (en) * 1998-06-09 1999-12-24 Nikon Corp Image fetching device
JP2001157109A (en) * 1999-11-24 2001-06-08 Nikon Corp Electronic camera and recording medium for image data processing
JP4742453B2 (en) * 2001-06-20 2011-08-10 ソニー株式会社 Imaging method and apparatus
JP4452161B2 (en) * 2004-11-12 2010-04-21 パナソニック株式会社 Imaging device

Also Published As

Publication number Publication date
JP2011171861A (en) 2011-09-01

Similar Documents

Publication Publication Date Title
US7995115B2 (en) Image pickup device, image pickup system, image pickup method, and image processing device
US8508619B2 (en) High dynamic range image generating apparatus and method
TWI357260B (en) Solid state photographing device
CN100531321C (en) Image processing apparatus and image capture apparatus
JP2011010108A (en) Imaging control apparatus, imaging apparatus, and imaging control method
CN102783135A (en) Method and apparatus for providing a high resolution image using low resolution
JP5843027B1 (en) Imaging apparatus, control method, and program
US8860852B2 (en) Image capturing apparatus
JP5238931B2 (en) HDR image generation method and digital imaging device using the method
US8964055B2 (en) Combining images based on position offset detection of a series of images
JP2006087088A (en) Imaging device, and imaging method
JP2006148550A (en) Image processor and imaging device
JP2009253447A (en) Solid state image sensor for both near-infrared light and visible light, and solid-state imaging apparatus
JP5302912B2 (en) Solid-state imaging device and electronic information device
US11711636B2 (en) Image processing device
EP1734745A1 (en) Digital camera and contol method thereof
JP4178046B2 (en) Digital camera
JP7289921B2 (en) IMAGING DEVICE, OPERATION METHOD OF IMAGING DEVICE, AND PROGRAM
JP2008072501A (en) Imaging apparatus, imaging method, program, and recording medium
JP4905229B2 (en) Image processing apparatus, image processing method, and image processing program
JP2005277618A (en) Photography taking apparatus and device and method for correcting shading
JP4229234B2 (en) Digital camera
JP2011234148A (en) Image signal processing apparatus
US8406558B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP4105556B2 (en) Digital camera and recorded image data recording method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130621

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

LAPS Cancellation because of no payment of annual fees