JP4715853B2 - Solid-state imaging device and imaging method - Google Patents

Description

本発明は、有効ダイナミックレンジが拡張された画像信号を生成する撮像方法および、この方法を用いたビデオカメラ等の固体撮像装置に関する。   The present invention relates to an imaging method for generating an image signal with an extended effective dynamic range, and a solid-state imaging device such as a video camera using the method.

撮像装置は、撮像管あるいはＣＣＤ（Charge Coupled Device ）等の固体撮像素子によって構成されており、デジタルカメラ，スキャナーあるいはビデオカメラ等の撮像部に広く使用されている。こうした撮像装置は、旧来の銀塩写真システムと比較するとダイナミックレンジが狭く、逆光時などに、被写体の明るい部分では、輝度レベルが著しく高いために像が白くなり過ぎたり（白とび）、被写体の暗い部分では、輝度レベルが著しく低いために像が黒くなり過ぎたり（黒つぶれ）することがあった。そこで、従来より、このような現象を解消して画質低下を防ぐために、同一被写体から得られた露光量の異なる複数の画像から１つの画像を合成する手法が採られている。   The imaging device is configured by a solid-state imaging device such as an imaging tube or a CCD (Charge Coupled Device), and is widely used in imaging units such as a digital camera, a scanner, or a video camera. Such an imaging device has a narrow dynamic range compared to the conventional silver halide photography system, and in bright areas of the subject, the brightness level is extremely high when the subject is backlit. In the dark part, the brightness level is extremely low, and the image may become too black (blackout). Therefore, conventionally, in order to eliminate such a phenomenon and prevent deterioration in image quality, a method of synthesizing one image from a plurality of images with different exposure amounts obtained from the same subject has been adopted.

例えば、特開平２−１７４４７０号公報や、特開平５−７３３６号公報には、画像合成を行う際に問題となっていた手ぶれ等による画像のずれを補正する技術が記載されている。そこに採用されている画像合成方法は、一般的なものである。上記特開平５−７３３６号公報によれば、図１１のように、１フレーム期間中に1/1000秒と1/60秒の２種類の露光時間で撮像素子からの信号を出力させ、１フレームを構成する奇（ＯＤＤ）フィールド，偶（ＥＶＥＮ）フィールドにそれぞれ、露光時間が1/1000秒および1/60秒で撮影された画像をそれぞれ割り当てるようになっている。これらの画像は露出が異なるので、一方のフィールドに「白とび」もしくは「黒つぶれ」が生じていても他方のフィールドには生じていない。こうして、２つの画像の互いに利用可能な部分を融通しあうことによりダイナミックレンジが拡張され、画質が改善される。   For example, Japanese Patent Application Laid-Open No. 2-174470 and Japanese Patent Application Laid-Open No. 5-7336 describe a technique for correcting image shift due to camera shake or the like, which has been a problem when performing image composition. The image composition method employed therein is a general one. According to the above-mentioned Japanese Patent Laid-Open No. 5-7336, as shown in FIG. 11, a signal from the image sensor is output with two types of exposure time of 1/1000 second and 1/60 second in one frame period. Are respectively assigned to the odd (ODD) field and the even (EVEN) field, which are images taken with an exposure time of 1/1000 second and 1/60 second. Since these images have different exposures, even if “overexposure” or “blackout” occurs in one field, it does not occur in the other field. In this way, the dynamic range is expanded and the image quality is improved by interchanging the usable portions of the two images.

なお、以上の説明に関連するものとして、以下の先行技術文献が挙げられる（特許文献１）。   In addition, the following prior art documents are mentioned as a thing relevant to the above description (patent document 1).

特開２０００−３５８１９０号公報JP 2000-358190 A

しかしながら、従来の方法では、各画像を順に撮像していくことから、大きく２つの問題点があった。１つ目の問題は、露光時間の異なる画像が２枚程度しか得られないため、合成が困難である点である。むろん、原理的には２枚以上の画像の合成は可能であるが、画像数が増えるに従って撮像期間全体が長くなってしまう。そのため、画像間の経時変化を抑えたり、総撮像期間を１フィールドまたは１フレーム内に収め、合成後の画像信号をＮＴＳＣ方式などの規格に対応させたりするには、画像を２〜３枚以上とすることは難しい。よって、実用上は合成には２枚の画像を用いることになるが、その場合、合成画像の有効ダイナミックレンジを拡張するため、互いの露光時間は比較的大きく異なるように選ばれる。またその場合には、両者の境界部分で不自然なコントラスト変化が生じるのを防ぐために、互いの画像信号の入射光量に対する特性を調整する必要が生じる。すなわち、露光時間が短い方の特性を増幅するなどしてゲイン調整を行うが、今度は、この操作に伴って画像同士の境界にノイズがしばしば発生するという問題が生じていた。   However, in the conventional method, since each image is taken in order, there are two major problems. The first problem is that since only about two images with different exposure times can be obtained, the composition is difficult. Of course, in principle, two or more images can be combined, but as the number of images increases, the entire imaging period becomes longer. Therefore, in order to suppress temporal changes between images, to keep the total imaging period within one field or one frame, and to make the combined image signal comply with standards such as the NTSC system, two or more images are required. It is difficult to do. Therefore, in practice, two images are used for synthesis. In this case, the exposure time is selected to be relatively different in order to extend the effective dynamic range of the composite image. In that case, it is necessary to adjust the characteristics of the mutual image signals with respect to the amount of incident light in order to prevent an unnatural contrast change at the boundary between the two. That is, gain adjustment is performed by amplifying the characteristic with the shorter exposure time, but this time, there is a problem that noise frequently occurs at the boundary between images.

２つ目の問題は、露出時間の異なる画像が、それぞれ別の期間に撮られる点である。このため、撮像対象に動きのある場合などでは、合成の際、対象の境界部に情報の欠落が生じてしまう。前述した技術は、主な被写体に合わせて画像同士をずらすような座標変換を行うことによって、画像間の経時的な位置ずれを解消するようにしている。ただし、各画像のずれた周辺部分は切り捨てられ、２画像共通のエリアが元の画像サイズに拡大されるようになっている。   The second problem is that images with different exposure times are taken in different periods. For this reason, when there is a movement in the imaging target, information is lost at the boundary portion of the target during synthesis. The technique described above eliminates the positional shift between images over time by performing coordinate conversion that shifts the images according to the main subject. However, the shifted peripheral portion of each image is discarded, and the area common to the two images is enlarged to the original image size.

このように、従来では、合成の際にコントラストや位置ずれに対しても何らかの策を講じなければならず、しかも、その結果、合成によって得ようとしていた撮像対象を忠実に再現する画像ではなくなっていた。   As described above, conventionally, some measures must be taken for contrast and positional deviation at the time of composition, and as a result, the image to be captured is not faithfully reproduced. It was.

本発明はかかる問題点に鑑みてなされたもので、その目的は、有効ダイナミックレンジが広く、画像ずれやノイズを抑えた画像を容易に得ることが可能な固体撮像装置および撮像方法を提供する。   The present invention has been made in view of such a problem, and an object thereof is to provide a solid-state imaging device and an imaging method capable of easily obtaining an image with a wide effective dynamic range and suppressing image shift and noise.

本発明の固体撮像装置は、所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成する撮像手段と、単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成する合成用画像生成手段と、合成用画像を合成して、ダイナミックレンジが拡張された合成画像を作成する合成手段とを備えたものである。また、上記合成用画像生成手段は、合成用画像の全てを、撮像期間に共通の重複部分があるように生成すると共に、この共通の重複部分が、撮像順が中央に位置する単位画像を含むようになっている。   The solid-state imaging device according to the present invention continuously captures a plurality of times within a predetermined time, and adds an imaging unit that generates a plurality of unit images that are sequentially captured, and the unit images. A composite image generating unit that generates a plurality of composite images that overlap and have different exposure times, and a composite unit that combines the composite images to create a composite image with an expanded dynamic range. Is. Further, the composition image generation unit generates all the composition images so that there is a common overlapping portion in the imaging period, and the common overlapping portion includes a unit image whose imaging order is located in the center. It is like that.

本発明の撮像方法は、所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成し、単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成し、さらに、合成用画像を合成して、ダイナミックレンジが拡張された合成画像を作成するものである。また、合成用画像の全てを、撮像期間に共通の重複部分を有するように生成すると共に、この共通の重複部分が、撮像順が中央に位置する単位画像を含むようになっている。   The imaging method of the present invention continuously performs imaging a plurality of times within a predetermined time, generates a plurality of unit images that are sequentially captured, adds the unit images, and partially overlaps the imaging periods; and A plurality of compositing images having different exposure times are generated, and the compositing images are further combined to create a composite image with an expanded dynamic range. Further, all of the images for synthesis are generated so as to have a common overlapping portion in the imaging period, and this common overlapping portion includes a unit image whose imaging order is located in the center.

本発明の固体撮像装置および撮像方法では、単位画像が、その数と経時的位置とを考慮して加算され、露光時間の異なる複数の合成用画像が部分的に撮像期間を重複させるように生成される。また、合成用画像の全てが、撮像期間に共通の重複部分を有するように生成されると共に、この共通の重複部分が、撮像順が中央に位置する単位画像を含んでいる。   In the solid-state imaging device and imaging method of the present invention, unit images are added in consideration of the number and position with time, and a plurality of composite images having different exposure times are generated so as to partially overlap imaging periods. Is done. Further, all of the synthesis images are generated so as to have a common overlapping part in the imaging period, and this common overlapping part includes a unit image whose imaging order is located in the center.

本発明の固体撮像装置および本発明の撮像方法によれば、所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成し、単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成し、合成用画像を合成して、ダイナミックレンジが拡張された画像を作成するようにしたので、複数で、しかも互いの撮像期間が部分的に重複した合成用画像が極めて平易な方法で得られる。従って、得られる画像は、複数の合成用画像から合成されるので、単にダイナミックレンジが拡張されているだけでなく、より滑らかな中間調を表現することが可能となる。
また、複数の合成用画像が用いられることにより、各合成用画像の信号の低域成分は合成に使用されないので、得られる画像のノイズを低減することが可能となる。同時に、合成用画像の撮像期間は互いに部分的に重複しているので、互いの経時変化が軽減され、被写体の位置ずれ等による画像の欠落を回避することが可能となる。
また、こうした合成用画像は、単位画像の露光時間等の撮像条件を変えなくとも、その生成に用いる単位画像の数や経時的位置を変更するだけで枚数や露光時間，撮像期間の設定を変えることができる。このように、画像の合成における条件設定の自由度が極めて高く、また容易に条件設定を行うことが可能である。
さらに、合成用画像の全てを、撮像期間に共通の重複部分を有するように生成すると共に、この共通の重複部分が、撮像順が中央に位置する単位画像を含むようにしたので、合成用画像間の時間差をほとんど考慮する必要がなくなり、撮像対象の経時的な位置ずれを軽減する効果を高くすることが可能となる。 According to the solid-state imaging device of the present invention and the imaging method of the present invention, imaging is performed by continuously imaging a plurality of times within a predetermined time, generating a plurality of unit images that are sequentially captured, and adding the unit images. Since a plurality of compositing images with different periods and overlapping exposure times are generated, and the compositing images are combined to create an image with an expanded dynamic range, In addition, it is possible to obtain an image for synthesis in which the imaging periods are partially overlapped by an extremely simple method. Therefore, since the obtained image is synthesized from a plurality of synthesis images, not only the dynamic range is expanded but also a smooth halftone can be expressed.
Further, since a plurality of synthesis images are used, the low-frequency component of the signal of each synthesis image is not used for synthesis, so that it is possible to reduce noise in the obtained image. At the same time, the imaging periods of the compositing images partially overlap each other, so that changes with time of each other are reduced, and it is possible to avoid image loss due to subject position deviation or the like.
In addition, such a composition image can be changed in the number of images, exposure time, and imaging period only by changing the number of unit images used for the generation and the position over time without changing the imaging conditions such as the exposure time of the unit image. be able to. As described above, the degree of freedom in setting conditions in image synthesis is extremely high, and it is possible to easily set conditions.
Furthermore, all the images for synthesis are generated so as to have a common overlapping part in the imaging period, and the common overlapping part includes a unit image whose imaging order is located in the center. It becomes unnecessary to consider the time difference between them, and it is possible to increase the effect of reducing the positional deviation of the imaging target over time.

以下、本発明の実施の形態について図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の一実施の形態に係る固体撮像装置の構成を示すブロック図である。図２は、単位画像から合成用画像を生成する様子を概念的に表しており、図３は、単位画像と合成用画像の間の撮像期間および露光時間における関係を示したタイムチャートである。この固体撮像装置では、実際に撮像して得た単位画像２１から、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像２２が生成され、さらに、これを用いて合成画像２３が生成される。なお、「撮像期間」は時間軸上の撮像されている期間を指し、「露光時間」は露光して撮像を行った時間の長さを指すものとして、以下の明細書においてはそれぞれを使い分けるものとする。   FIG. 1 is a block diagram showing a configuration of a solid-state imaging apparatus according to an embodiment of the present invention. FIG. 2 conceptually shows a state in which a compositing image is generated from a unit image, and FIG. 3 is a time chart showing a relationship between an imaging period and an exposure time between the unit image and the compositing image. In this solid-state imaging device, a plurality of compositing images 22 whose imaging periods partially overlap and whose exposure times are different from each other are generated from the unit image 21 actually captured and further used. A composite image 23 is generated. Note that “imaging period” refers to the period during which images are captured on the time axis, and “exposure time” refers to the length of time during which exposure is performed and images are captured. And

光学系１１は、入射した光線を撮像素子１２に結像するものであり、撮像素子１２は、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子で構成され、結像された画像の情報を電圧信号Ｓ_V に変換してカメラ信号前段処理回路１３に出力するものである。 The optical system 11 forms an image of incident light on the image sensor 12, and the image sensor 12 is formed of a solid-state image sensor such as a CMOS sensor or a CCD sensor. _This is converted to _V and output to the camera signal pre-stage processing circuit 13.

この撮像素子１２は、所定時間内に撮像を連続して複数回（ｎ回）行い、ｎ枚の単位画像２１を順次撮像するように（図３）、駆動回路１６により制御されている。その際の撮像条件、すなわち撮像期間全体の長さ（総露光時間）や、単位画像の数、それぞれの露光時間は、後述する合成用画像２２の各露光時間や枚数との関係によって設定される。   The imaging element 12 is controlled by the drive circuit 16 so that imaging is continuously performed a plurality of times (n times) within a predetermined time and n unit images 21 are sequentially captured (FIG. 3). Imaging conditions at that time, that is, the length of the entire imaging period (total exposure time), the number of unit images, and the respective exposure times are set according to the relationship between each exposure time and the number of images of the composition image 22 described later. .

例えば、一連の撮像は１フレームまたは１フィールド期間内に行われ、さらには、そのうちの所定期間にて行われる。また、ここでは、単位画像２１は全て、所定の単位露光時間ｔで撮像されるようになっている。単位露光時間ｔは適宜に設定可能であるが、例えば、従来の合成用画像の露光時間(1/1000 秒）と同程度以下としてよい。一例を挙げると、撮像期間の長さが1/60秒、単位露光時間1/6000秒、単位画像２１を１０枚などと設定することができる。こうした高速撮像は、一部のＣＭＯＳセンサにおいては現時点でも充分に実現可能である。   For example, a series of imaging is performed within one frame or one field period, and further, within a predetermined period. Here, all the unit images 21 are captured with a predetermined unit exposure time t. The unit exposure time t can be set as appropriate. For example, the unit exposure time t may be approximately equal to or less than the exposure time (1/1000 second) of the conventional image for synthesis. For example, the length of the imaging period can be set to 1/60 seconds, the unit exposure time 1/6000 seconds, and 10 unit images 21. Such high-speed imaging can be sufficiently realized at present for some CMOS sensors.

カメラ信号前段処理回路（前段処理回路）１３は、撮像素子１２からの各単位画像２１に相当する電圧信号Ｓ_V を、ｎ枚の単位画像２１に相当する画像データＤu に変換する機能を有している。すなわち、前段処理回路１３では、電圧信号Ｓ_V に対し、Ａ／Ｄ変換を始めとする通常のビデオカメラにおける信号処理と同様の周知の処理が行なわれる。なお、ここで生成された単位画像２１の画像データＤu は、画像メモリ１４に出力されるようになっている。 The camera signal pre-stage processing circuit (pre-stage processing circuit) 13 has a function of converting the voltage signal S _V corresponding to each unit image 21 from the image sensor 12 into image data Du corresponding to n unit images 21. ing. That is, in the pre-processing circuit 13, with respect to the voltage signal S _V, well known process similar to the signal processing in the conventional video camera including an A / D conversion is performed. The image data Du of the unit image 21 generated here is output to the image memory 14.

画像メモリ１４は、前段処理回路１３から入力された単位画像データＤu を格納すると共に、カメラ信号後段処理回路（後段処理回路）１５からの読み出し／書き込み要求に応じて単位画像データＤu を出力したり、後段処理回路１５から入力される合成用画像データＤs を格納したりする機能を有する。また、後段処理回路１５に対しては、画像合成に伴う作業領域を提供する。画像メモリ１４は、複数のデータを同時にリードライト可能な装置であり、具体的にはハードディスク，半導体メモリなどの記憶装置として構成されている。   The image memory 14 stores the unit image data Du input from the pre-stage processing circuit 13 and outputs the unit image data Du in response to a read / write request from the camera signal post-stage processing circuit (post-stage processing circuit) 15. And a function of storing the composition image data Ds input from the post-processing circuit 15. In addition, a work area associated with image composition is provided for the post-processing circuit 15. The image memory 14 is a device that can simultaneously read and write a plurality of data, and is specifically configured as a storage device such as a hard disk or a semiconductor memory.

後段処理回路１５は、ｎ枚の単位画像２１を撮像順に加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像２２を生成する機能を有している。すなわち、連続する単位画像２１のｍ枚（ｍ＝１〜ｎ）を加算することによって、露光時間が単位露光時間ｔのｍ倍で、撮像期間が、加算した単位画像２１の撮像期間の合計となる合成用画像２２が得られる。この操作は、画像メモリ１４からｎ枚の単位画像２１の画像データＤu を読み出し、これら画像データＤu を露光時間および撮像期間に応じて画素単位に加算し、合成用画像２２に相当する画像データＤs を生成することで行われる。得られた画像データＤs は、画像メモリ１４に格納される。   The post-processing circuit 15 has a function of adding n unit images 21 in the order of imaging, and generating a plurality of compositing images 22 having overlapping imaging periods and different exposure times. . That is, by adding m pieces of continuous unit images 21 (m = 1 to n), the exposure time is m times the unit exposure time t, and the imaging period is the sum of the added imaging periods of the unit images 21. The synthesis image 22 is obtained. This operation reads image data Du of n unit images 21 from the image memory 14, adds these image data Du in units of pixels according to the exposure time and imaging period, and image data Ds corresponding to the composition image 22. This is done by generating The obtained image data Ds is stored in the image memory 14.

合成用画像２２の生成に用いる単位画像２１の選び方は種々考えられる。簡単な一例としては、図２，図３に示したように、最後に撮られたものから１枚，２枚，・・・，ｎ枚をそれぞれ加算し、ｎ枚の合成用画像２２とする方法が挙げられる。この場合の合成用画像２２は、少なくとも最後の単位画像２１に相当する撮像期間を共有しており、露光時間がそれぞれｔ，２ｔ，・・・，ｎｔとなる。こうした合成用画像２２は、画像の合成に必要となる任意の数だけ生成されればよく、各合成用画像２２の露光時間，撮像期間も、必要に応じて適宜に設定可能である。ただし、最終的に滑らかに合成された画像を得るには、ここで合成用画像２２を３枚以上得ておくことが望ましい。また、合成の際の被写体の位置ずれ等を抑制するため、合成用画像２２の撮像期間は、互いの重複部分ができるだけ大きくなるように設定するのが望ましい。   Various methods of selecting the unit image 21 used for generating the composition image 22 are conceivable. As a simple example, as shown in FIG. 2 and FIG. 3, 1 image, 2 images,..., N images from the last image are added, respectively, to obtain n composition images 22. A method is mentioned. In this case, the composition image 22 shares at least an imaging period corresponding to the last unit image 21, and the exposure times are t, 2t,. It is only necessary to generate any number of such composition images 22 necessary for composition of the images, and the exposure time and imaging period of each composition image 22 can be appropriately set as necessary. However, in order to finally obtain a smoothly synthesized image, it is desirable to obtain three or more images for synthesis 22 here. In addition, in order to suppress the positional deviation of the subject at the time of composition, it is desirable to set the imaging period of the composition image 22 so that the overlapping portions are as large as possible.

図４は、画像データＤs の入射光量に対する特性を示している。このように、合成用画像２２（以下では画像２２と略記）は、その露光時間に応じて、得られる信号値すなわち画像データＤs の値の特性が異なっている。露光時間ｔである画像２２のデータ特性４３に対し、露光時間２ｔの場合の特性４２は傾きが２倍であり、露光時間ｎｔの場合の特性４１は傾きがｎ倍である。つまり、入射光量が少なく被写体が暗いときには、特性４１のように露光時間を長くし、得られるデータ信号値を十分に大きくすると、暗くとも階調が保たれるようになる。逆に、入射光量が多く明るい被写体には、特性４３のように露光時間を短くすると、大きな入射光量においてもデータ信号が飽和点に達しないために明るくとも階調が保たれるようになる。   FIG. 4 shows the characteristics of the image data Ds with respect to the amount of incident light. As described above, the composition image 22 (hereinafter abbreviated as image 22) has different characteristics of the obtained signal value, that is, the value of the image data Ds, depending on the exposure time. The characteristic 42 in the case of the exposure time 2t has a slope twice that of the data characteristic 43 of the image 22 that is the exposure time t, and the slope of the characteristic 41 in the case of the exposure time nt has a slope n times. That is, when the amount of incident light is small and the subject is dark, if the exposure time is lengthened as in the characteristic 41 and the obtained data signal value is sufficiently large, the gradation can be maintained even when it is dark. On the other hand, for a bright subject with a large amount of incident light, if the exposure time is shortened as in characteristic 43, the data signal does not reach the saturation point even with a large amount of incident light, so that the gradation is maintained even if it is bright.

このように、各画像２２は、露光時間すなわちデータ特性が互いに異なることから、全体として、広範な入射光量に対して適正な階調（特性の傾き）を与えることが可能である。なお、これら画像データＤs の値は全て、ある上限値で飽和するようになっている。   As described above, since the exposure time, that is, the data characteristics of the images 22 are different from each other, an appropriate gradation (gradient of characteristics) can be given to a wide range of incident light amounts as a whole. All the values of the image data Ds are saturated at a certain upper limit value.

さらに、後段処理回路１５は、これら画像２２を用いて合成を行ない、有効ダイナミックレンジが拡張された合成画像２３を作成する機能を有する。その合成方法はどのようなものであってもよいが、通常よく用いられているように、不連続な特性を有する画像同士の境界において一方の信号値を増幅して画像のつなぎ目をなくすようにする方法では、この操作がうまくいかない場合に、接合される画像の信号値の大きさが相対的に入れ替わるなどして不自然にしずんだ領域が生じることがある。そこで、本実施の形態では、こうした問題点を回避すべく以下のような方法を採用している。   Further, the post-processing circuit 15 has a function of performing synthesis using these images 22 and creating a synthesized image 23 with an expanded effective dynamic range. Any combination method may be used, but as commonly used, one signal value is amplified at the boundary between images having discontinuous characteristics so as to eliminate the joint of the images. In this method, if this operation is not successful, an unnatural region may occur due to a relative change in the magnitude of signal values of images to be joined. Therefore, in the present embodiment, the following method is adopted in order to avoid such problems.

すなわち、後段処理回路１５は、各画像２２の画像データＤs から入射光量に適したものを画素単位に選択して、合成に用いるようになっている。まず、露光時間が最も長い画像２２において、画像データＤs が設定上限値より小さい値であれば、そのまま採用される。ここで、設定上限値は、例えば画像データＤs の飽和点の値とされるが、飽和点より低い値に設定して画質を保証するようにしてもよい。この露光時間ｎｔの画像２２が採用されなかった画素に対しては、露光時間（ｎー１）ｔの画像２２を用いて同様の操作が行われる。同様の操作は、全ての画素に対して採用する画像データＤs が決定されるまで繰り返し行われる。最後に残った画素に対しては、露光時間ｔの画像２２の画像データＤs が採用される。   In other words, the post-processing circuit 15 selects an image data Ds suitable for the incident light amount from the image data Ds of each image 22 and uses it for synthesis. First, in the image 22 having the longest exposure time, if the image data Ds is smaller than the set upper limit value, it is adopted as it is. Here, the set upper limit value is, for example, the value of the saturation point of the image data Ds, but it may be set to a value lower than the saturation point to guarantee the image quality. The same operation is performed using the image 22 with the exposure time (n−1) t for the pixels for which the image 22 with the exposure time nt has not been adopted. The same operation is repeated until the image data Ds to be adopted for all the pixels is determined. For the last remaining pixel, the image data Ds of the image 22 at the exposure time t is employed.

その際に、本実施の形態では、入射光量に対するデータ特性が連続した一つの特性となるように、各画像２２の画像データＤs の値に補正が行われる。詳細は後述するが、画像２２のうち露光時間がｍ番目に長いもの（ｍは２以上の整数）の画像データＤs は、同じ画像における信号下限値からの自身の変位に、露光時間が１番長いものからｍ−１番目に長いものまでの画像２２各々における画像データＤs の下限値から設定上限値までの変位を全て積算した値に変換してから、合成される（図６を参照）。このように、各画像２２のデータ信号値の大きさは相対化され、切れ目なくつなぎ合わせられて、ダイナミックレンジの拡張が適正に行われる。   At this time, in the present embodiment, the value of the image data Ds of each image 22 is corrected so that the data characteristic with respect to the incident light amount becomes one continuous characteristic. Although details will be described later, the image data Ds of the image 22 having the longest exposure time (m is an integer of 2 or more) in the image 22 has an exposure time of No. 1 in its own displacement from the signal lower limit value in the same image. All the displacements from the lower limit value to the set upper limit value of the image data Ds in each of the images 22 from the longest to the (m-1) th longest are converted into integrated values and then combined (see FIG. 6). As described above, the magnitudes of the data signal values of the respective images 22 are relativized and joined together without breaks, so that the dynamic range is appropriately expanded.

なお、後段処理回路１５は、以上のような画像の合成を、画像２２を順に重ねるようにして行うほか、各画像２２の画像データＤs に施す処理は予めわかっているので、各画像２２それぞれの画像データＤs の処理を並列して行い、処理後の画像データＤw を元の画像データＤs の画素位置にあてはめることで一枚の合成画像２３を作成するように構成されていてもよい。   Note that the post-processing circuit 15 performs the above-described image synthesis by sequentially superimposing the images 22, and the processing to be performed on the image data Ds of each image 22 is known in advance. The image data Ds may be processed in parallel, and the processed image data Dw may be applied to the pixel position of the original image data Ds to create a single composite image 23.

また、この後段処理回路１５では、そのほかに、ガンマ補正や、そのほか通常のビデオカメラの信号処理と同様の周知の処理が行なわれるようになっている。なお、本実施の形態では、後段処理回路１５が本発明の「合成用画像生成手段」および「合成手段」に対応している。   In addition, the post-processing circuit 15 performs other known processes similar to gamma correction and signal processing of a normal video camera. In the present embodiment, the post-processing circuit 15 corresponds to “compositing image generating means” and “combining means” of the present invention.

駆動回路１６は、撮像素子１２を駆動するための回路である。ＡＥ制御部１７は、後段処理回路１５から入力される露光状態の情報に基づき、光学系１１の絞り調整，駆動回路１６の電子シャッタ制御，前段処理回路１３のゲイン調整などを行う機能を有し、画像２１〜２３の露光条件を調節するようになっている。   The drive circuit 16 is a circuit for driving the image sensor 12. The AE control unit 17 has a function of performing aperture adjustment of the optical system 11, electronic shutter control of the drive circuit 16, gain adjustment of the pre-processing circuit 13, and the like based on exposure state information input from the post-processing circuit 15. The exposure conditions for the images 21 to 23 are adjusted.

次に、この固体撮像装置の動作、および、本実施の形態に係る撮像方法について説明する。   Next, the operation of the solid-state imaging device and the imaging method according to the present embodiment will be described.

なお、以下ではより具体的な例として、図５のように単位露光時間ｔで撮られた８枚の単位画像２１から、最後の単位画像２１Ｌに相当する撮像期間を共有すると共に、露光時間がそれぞれｔ，２ｔ，４ｔ，８ｔ、つまり単位露光時間ｔの２ⁿ 倍（ｎは０以上の整数）であるような４枚の画像２２Ａ，２２Ｂ，２２Ｃ，２２Ｄを生成し、画像合成に用いる場合の説明を行う。 In the following, as a more specific example, an imaging period corresponding to the last unit image 21L is shared from eight unit images 21 taken at unit exposure time t as shown in FIG. When four images 22A, 22B, 22C, and 22D that are t, 2t, 4t, and 8t, that is, 2 ⁿ times the unit exposure time t (n is an integer of 0 or more), are used for image synthesis. Will be explained.

まず、光学系１１および撮像素子１２は、８枚の単位画像２１を単位露光時間ｔで順次撮像する。撮像素子１２は、各単位画像２１に相当する電圧信号Ｓ_V を、前段処理回路１３に出力する。前段処理回路１３は、入力された電圧信号Ｓ_V を、８枚の単位画像２１に相当する画像データＤu に変換し、画像データＤu を画像メモリ１４に格納する。 First, the optical system 11 and the imaging device 12 sequentially capture eight unit images 21 with a unit exposure time t. The image sensor 12 outputs a voltage signal S _V corresponding to each unit image 21 to the pre-processing circuit 13. The pre-stage processing circuit 13 converts the input voltage signal S _V into image data Du corresponding to eight unit images 21 and stores the image data Du in the image memory 14.

次に、後段処理回路１５は、画像メモリ１４から８枚の単位画像２１の画像データＤu を読み出し、画像データＤu を画素単位に加算することにより、最後の単位画像２１Ｌに相当する撮像期間を共有すると共に露光時間がそれぞれｔ，２ｔ，４ｔ，８ｔであるような４枚の画像２２Ａ，２２Ｂ，２２Ｃ，２２Ｄに相当する画像データＤs を生成する（図５）。これらの画像２２Ａ〜２２Ｄは、少なくとも１つの単位画像２１（最後の単位画像２１Ｌ）の撮像期間を共有しているため、その間に被写体の経時的な位置ずれが発生し難く、画像の欠落が回避される。なお、得られた画像データＤs は、画像メモリ１４に格納される。   Next, the post-processing circuit 15 reads the image data Du of the eight unit images 21 from the image memory 14, and adds the image data Du in units of pixels, thereby sharing the imaging period corresponding to the last unit image 21L. At the same time, image data Ds corresponding to four images 22A, 22B, 22C, and 22D having exposure times t, 2t, 4t, and 8t, respectively, is generated (FIG. 5). Since these images 22A to 22D share the imaging period of at least one unit image 21 (last unit image 21L), it is difficult for the subject to be displaced with time during that period, and to avoid missing images. Is done. The obtained image data Ds is stored in the image memory 14.

さらに、後段処理回路１５は、画像２２Ａ〜２２Ｄを合成して合成画像２３を作成する。図６は、この具体例に即したデータ信号の入射光量に対する特性図であり、（Ａ）が合成前、（Ｂ）が合成後に対応している。なお、同図（Ａ）の各特性は、対応する画像２２Ａ〜２２Ｄの末尾の符号によって区別をしている。   Further, the post-processing circuit 15 combines the images 22A to 22D to create a combined image 23. FIG. 6 is a characteristic diagram with respect to the incident light amount of the data signal in accordance with this specific example. FIG. 6A corresponds to before synthesis and FIG. 6B corresponds to after synthesis. Note that each characteristic in FIG. 5A is distinguished by the code at the end of the corresponding images 22A to 22D.

まず、露光時間が最も長い画像２２Ｄにおいて、画像データＤs が画像データＤs の飽和点の値ｍより小さい値であれば、そのまま合成後の画像データＤw として採用する。よって、画像データＤw における０からｍまでの範囲は、露光時間が最長である画像２２Ｄの画像データＤs で構成される。これは、入射光量の範囲ＬＤに対応している。   First, in the image 22D having the longest exposure time, if the image data Ds is a value smaller than the saturation point value m of the image data Ds, it is directly adopted as the combined image data Dw. Therefore, the range from 0 to m in the image data Dw is constituted by the image data Ds of the image 22D having the longest exposure time. This corresponds to the incident light amount range LD.

画像２２Ｄの画像データＤs が採用されなかった画素に対しては、次に、露光時間４ｔである画像２２Ｃを参照し、画像データＤs が飽和値ｍより小さい値であれば、画像データＤw として用いる。よって、画像２２Ｃの画像データＤs で用いられるのは、画像２２Ｄだと飽和しているが画像２２Ｃでは飽和していない入射光量の範囲ＬＣをカバーするものである。ここでは、画像２２Ｄと画像２２Ｃの特性の傾きは２：１であるから、用いられる画像データＤs の範囲はｍ／２からｍまでである。   For the pixels for which the image data Ds of the image 22D has not been adopted, the image 22C having the exposure time 4t is referred to, and if the image data Ds is smaller than the saturation value m, it is used as the image data Dw. . Therefore, what is used in the image data Ds of the image 22C covers the range LC of the incident light quantity that is saturated in the image 22D but not saturated in the image 22C. Here, since the gradient of the characteristics of the images 22D and 22C is 2: 1, the range of the image data Ds used is from m / 2 to m.

この範囲ＬＣに対応する画像データＤs は、合成に際し、画像２２Ｃにおける下限値ｍ／２からの自身の変位値（０〜ｍ／２）に、範囲ＬＤにおける画像データＤw の最高値ｍを足し合わせた値に変換して画像データＤw とする。これにより、図６（Ｂ）に示したように、合成後の画像データＤw は、２つの異なる特性Ｄ，Ｃが連続的に結合された特性を有するものとなる。なお、画像２２Ｃについては、ｍ／２未満の低域の画像データＤs を使用しないので、画像データＤw のノイズは低減される。   When the image data Ds corresponding to the range LC is synthesized, the maximum value m of the image data Dw in the range LD is added to its own displacement value (0 to m / 2) from the lower limit m / 2 in the image 22C. The converted value is converted into image data Dw. As a result, as shown in FIG. 6B, the combined image data Dw has a characteristic in which two different characteristics D and C are continuously combined. For the image 22C, the low-frequency image data Ds less than m / 2 is not used, so that the noise of the image data Dw is reduced.

以下、用いる画像データＤs が決定されてない画素がなくなるまで、画像２２Ｂ，２２Ａを順に参照して同様の操作を行う。画像２２Ｂでは、画像データＤs のうち、入射光量の範囲ＬＢに対応するｍ／２〜ｍの部分を用いる。合成に際しては、画像２２Ｂにおける下限値ｍ／２からの自身の変位値（０〜ｍ／２）に、範囲ＬＣまでの画像データＤw の最高値３ｍ／２を足し合わせた値に変換して画像データＤw とする。   Hereinafter, the same operation is performed by sequentially referring to the images 22B and 22A until there are no pixels for which the image data Ds to be used is not determined. In the image 22B, a part of m / 2 to m corresponding to the incident light amount range LB is used in the image data Ds. At the time of synthesis, the image 22B is converted to a value obtained by adding the maximum value 3 m / 2 of the image data Dw up to the range LC to the displacement value (0 to m / 2) from the lower limit m / 2 in the image 22B. Let it be data Dw.

画像２２Ａでは、画像データＤs のうち、入射光量の範囲ＬＡに対応するｍ／２〜ｍの部分を用いる。合成に際しては、画像２２Ａにおける下限値ｍ／２からの自身の変位値（０〜ｍ／２）に、範囲ＬＢまでの画像データＤw の最高値２ｍを足し合わせた値に変換して画像データＤw とする。   In the image 22A, a part of m / 2 to m corresponding to the range LA of the incident light quantity is used in the image data Ds. At the time of synthesis, the image data Dw is converted into a value obtained by adding the maximum value 2m of the image data Dw up to the range LB to the displacement value (0 to m / 2) from the lower limit m / 2 in the image 22A. And

こうして合成が行われ、図６（Ｂ）に示したデータ信号特性を有する合成画像２３が作成される。なお、この合成方法では、各画像２２Ａ〜２２Ｄの画像データＤs に施す処理は予めわかっているので、実際には各画像２２Ａ〜２２Ｄそれぞれに対し、利用範囲（ｍ／２〜ｍ）の画像データＤs の処理を並列して行い、処理後の画像データＤw を画素にあてはめることで一枚の合成画像２３を作成するようにしてもよい。   In this way, composition is performed, and a composite image 23 having the data signal characteristics shown in FIG. 6B is created. In this composition method, since the processing to be performed on the image data Ds of each of the images 22A to 22D is known in advance, the image data in the usage range (m / 2 to m) is actually applied to each of the images 22A to 22D. A single composite image 23 may be created by performing the processing of Ds in parallel and applying the processed image data Dw to the pixels.

この合成画像２３では、各画像２２Ａ〜２２Ｄの入射光量に対するデータ特性が連続してつなぎ合わせられ、有効ダイナミックレンジが拡張される。また、画像２２Ｄを除く画像２２Ａ〜２２Ｃについては、ｍ／２未満の低域の画像データＤs を使用しないので、画像データＤw のノイズは全体として低減される。なお、合成画像２３は、後段処理回路１５から画像データＤw として出力される。   In the composite image 23, the data characteristics with respect to the incident light amount of each of the images 22A to 22D are continuously connected, and the effective dynamic range is expanded. For the images 22A to 22C excluding the image 22D, the low-frequency image data Ds less than m / 2 is not used, so that the noise of the image data Dw is reduced as a whole. The composite image 23 is output as image data Dw from the post-processing circuit 15.

このように本実施の形態では、単位画像２１から互いに露光時間が異なる合成用画像２２を生成するようにしたので、通常より多い３枚以上の合成用画像２２を容易に得ることができる。これら複数の合成用画像２２から得られる合成画像２３では、より滑らかな中間調を表現することができる。また、一連の合成用画像２２を少なくとも１つの単位画像２１を共有するように生成したので、合成用画像２２の間の経時変化を軽減することができ、被写体の位置ずれ等による画像の欠落を回避することができる。   As described above, in the present embodiment, since the compositing images 22 having different exposure times are generated from the unit images 21, three or more compositing images 22 more than usual can be easily obtained. In the composite image 23 obtained from the plurality of composite images 22, a smoother halftone can be expressed. In addition, since a series of images for synthesis 22 is generated so as to share at least one unit image 21, the temporal change between the images for synthesis 22 can be reduced, and image loss due to subject position deviation or the like can be reduced. It can be avoided.

また、これら合成用画像２２の枚数やそれぞれの露光時間，撮像期間は、自在に変更可能である。合成用画像２２の各々の露光時間は、単位画像２１の露光時間の設定に基づいて互いに関数で表現されるような一定の相関を与えることができるので、複数枚の合成用画像２２の露光時間（特性）を互いに関連付けて選択することができる。また、そのような操作によって、例えば画像データＤs の合成に用いる範囲が決まる。ここでは、合成用画像２２の露光時間を、単位露光時間ｔの２ⁿ 倍としたので、各合成用画像２２の使用可能なデータ値を全てｍ／２〜ｍの一定範囲内に収めることができる。したがって、合成の際に各合成用画像２２の低域成分（０〜ｍ／２）は使用しないので、画像２３におけるノイズを低減することができる。また２ⁿ 倍とすることで、ビットデータとして画像データ処理を行う場合に取り扱いが簡単になる。 Further, the number of images for synthesis 22, the exposure time, and the imaging period can be freely changed. Each exposure time of the composition image 22 can be given a certain correlation such that it can be expressed as a function based on the setting of the exposure time of the unit image 21. Therefore, the exposure time of the plurality of composition images 22 can be given. (Characteristics) can be selected in association with each other. Further, such an operation determines, for example, a range used for the synthesis of the image data Ds. Here, since the exposure time of the composition image 22 is 2 ⁿ times the unit exposure time t, all usable data values of each composition image 22 may fall within a certain range of m / 2 to m. it can. Therefore, since the low frequency component (0 to m / 2) of each synthesis image 22 is not used at the time of synthesis, noise in the image 23 can be reduced. In addition, by using 2 ⁿ times, handling is easy when image data processing is performed as bit data.

なお、本実施の形態では、合成用画像２２の露光時間を単位露光時間ｔのｎ倍または２ⁿ 倍（ｎは共に０以上の整数）としたが、合成用画像相互の関係はそのほかの関数で表されるものであってもよい。例えば、各合成用画像の露光時間を、単位露光時間ｔの３^k 倍（１，３，９，・・・）などのｎ^k 倍（ｎは固定値であり２以上の整数，ｋは変数であり０以上の整数）としてもよい。この場合には、２ⁿ 倍の場合と同じく合成への適用範囲（上限値と下限値）が全ての合成用画像で一致するために、合成手法として取り扱いやすい。 In the present embodiment, the exposure time of the compositing image 22 is set to n times or 2 ⁿ times the unit exposure time t (n is an integer of 0 or more), but the relationship between the compositing images is another function. It may be represented by For example, the exposure time of each composite image is set to n ^k times such as 3 ^k times (1, 3, 9,...) Of the unit exposure time t (n is a fixed value, an integer of 2 or more, k is a variable) And an integer greater than or equal to 0). In this case, as in the case of 2 ⁿ times, since the application range (upper limit value and lower limit value) for synthesis matches in all the synthesis images, it is easy to handle as a synthesis method.

撮像期間の設定については、ここでは、合成用画像２２に共有される撮像期間を最後に撮像された単位画像２１の撮像期間であるようにしたが、本発明の合成用画像は、その撮像期間の少なくとも一部が重複していればよいので、例えば、図７に示したように共有期間を全撮像期間の最初に設定してもよい。また、図８に示したように、共有期間を全撮像期間の中央に設定してもよい。この場合には、合成用画像間の時間差をほとんど考慮する必要がなくなり、撮像対象の経時的な位置ずれを軽減する効果が高い。さらに、図９に示したように、合成用画像が互いのうちいずれかに対し撮像期間が部分的に重複するようにしてもよい。   Regarding the setting of the imaging period, here, the imaging period shared by the compositing image 22 is set to be the imaging period of the unit image 21 captured last. However, the compositing image of the present invention has its imaging period. For example, as shown in FIG. 7, the sharing period may be set at the beginning of the entire imaging period. Further, as shown in FIG. 8, the sharing period may be set at the center of the entire imaging period. In this case, it is not necessary to consider the time difference between the images for synthesis, and the effect of reducing the positional shift of the imaging target with time is high. Furthermore, as illustrated in FIG. 9, the imaging periods may partially overlap with one of the compositing images.

次に、本発明の具体的な実施例について説明する。なお、以下の実施例では、固体撮像装置全体の構成、作用動作は、基本的に実施の形態と同様である。   Next, specific examples of the present invention will be described. In the following examples, the configuration and operation of the entire solid-state imaging device are basically the same as those in the embodiment.

図１０は、本発明の実施例に係るデータ信号の入射光量に対する特性図であり、（Ａ）が合成前、（Ｂ）が合成後である。本実施例では、単位露光時間ｔで単位画像を順次撮像し、これら単位画像から、少なくとも１枚の単位画像に相当する撮像期間を共有すると共に露光時間がそれぞれｔ，２ｔ，４ｔ，８ｔ，１６ｔであるような５枚の合成用画像を生成した。   FIG. 10 is a characteristic diagram with respect to the amount of incident light of a data signal according to the embodiment of the present invention, where (A) is before synthesis and (B) is after synthesis. In this embodiment, unit images are sequentially captured at unit exposure time t, and from these unit images, an imaging period corresponding to at least one unit image is shared, and exposure times are t, 2t, 4t, 8t, and 16t, respectively. 5 composite images were generated.

次に、これら合成用画像を合成するが、実施の形態のように画像データをそのままの値で用いると、特に合成後のデータ長が大きくなってしまい、画像メモリ内に大きな領域が必要になる。そこで、合成後のデータ信号特性が図７（Ｂ）のように正規化されたかたちで得られるように、各合成用画像の画像データを予め一定の比率で縮小し、これらを用いて合成を行った。図７（Ｂ）の実線部分が、合成後のデータ信号特性である。同図から、ダイナミックレンジが１６倍に拡張されていることが確認できる。   Next, these images for synthesis are synthesized. If the image data is used as it is as in the embodiment, the data length after synthesis is particularly large, and a large area is required in the image memory. . Therefore, the image data of each composition image is reduced in advance at a certain ratio so that the synthesized data signal characteristics can be obtained in a normalized form as shown in FIG. went. The solid line portion in FIG. 7B is the data signal characteristic after synthesis. From this figure, it can be confirmed that the dynamic range is expanded 16 times.

なお、合成後の画像データの特性は折れ線となるため、対数曲線に補正する処理が有効である。ここでは、補正後の曲線を図７（Ｂ）に点線で示している。この曲線は、
（データ信号値）＝log ｛５０×（入射光量）＋１｝｝／log ５１
で表される対数曲線である。これにより、合成後のデータ信号特性を平滑化することができ、画質改善の効果が期待される。なお、一般的に知られていることとして、人間は、目に入ってくる光量を対数的特性でもって処理し、明るさとして感じているので、対数補正は、合成画像を生理的な見え方に近いものにするということができる。 In addition, since the characteristics of the image data after synthesis is a polygonal line, a process for correcting to a logarithmic curve is effective. Here, the corrected curve is indicated by a dotted line in FIG. This curve is
(Data signal value) = log {50 × (incident light quantity) +1}} / log 51
Is a logarithmic curve represented by As a result, the data signal characteristics after synthesis can be smoothed, and an effect of improving the image quality is expected. Note that it is generally known that humans treat the amount of light entering the eye with logarithmic characteristics and feel it as bright, so logarithmic correction is a way to view the synthesized image in a physiological way. It can be said that it is close to.

なお、本発明は、上記実施の形態に限定されず種々の変形実施が可能である。例えば、上記実施の形態では、単位画像２１は全て単位露光時間ｔで撮像されるようにしたが、各単位画像の露光時間は任意に選ぶことができ、同一の値でなくともよい。ただし、実施の形態のように、単位画像の露光時間を一定としておくと、合成用画像の露光時間が、加算する単位画像の数に比例するために制御しやすくなる。   In addition, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible. For example, in the above embodiment, all the unit images 21 are captured with the unit exposure time t, but the exposure time of each unit image can be arbitrarily selected and does not have to be the same value. However, if the exposure time of the unit image is kept constant as in the embodiment, the exposure time of the image for synthesis is proportional to the number of unit images to be added, so that control becomes easier.

また、単位画像の撮像条件および合成用画像の生成に用いる単位画像の選び方は、固定条件として予め定めておいてよいが、被写体の状況に応じて変化させるようにすることも可能である。   Further, the unit image capturing conditions and the method of selecting the unit images used for generating the composition image may be determined in advance as fixed conditions, but may be changed according to the condition of the subject.

さらに、上記実施の形態では、後段処理回路１５におけるデータ処理により合成用画像２２を生成するものとしたが、予め加算する単位画像がわかっている場合には、前段処理回路において、入力信号を画像データに変換するなり演算処理を行い、所定の単位画像が加算された時点で、その値を合成用画像として画像メモリに格納してゆく方法をとることも可能である。   Furthermore, in the above embodiment, the composition image 22 is generated by the data processing in the post-processing circuit 15. However, when the unit image to be added is known in advance, the input signal is converted into an image by the pre-processing circuit. It is also possible to take a method of performing arithmetic processing as it is converted into data, and storing the value in the image memory as a synthesis image when a predetermined unit image is added.

本発明の一実施の形態に係る固体撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the solid-state imaging device which concerns on one embodiment of this invention. 図１に示した固体撮像装置における合成用画像の生成手順を説明するための概念図である。It is a conceptual diagram for demonstrating the production | generation procedure of the image for a synthesis | combination in the solid-state imaging device shown in FIG. 図１に示した固体撮像装置において生成される合成用画像と単位画像との撮像期間および露光時間における関係を示すタイムチャートである。3 is a time chart showing a relationship between an imaging period and an exposure time between a synthesis image and a unit image generated in the solid-state imaging device shown in FIG. 1. 図１に示した固体撮像装置にて生成される合成用画像のデータ信号の特性図である。It is a characteristic view of the data signal of the image for a synthesis | combination produced | generated with the solid-state imaging device shown in FIG. 図１に示した固体撮像装置にて生成される合成用画像の具体例と単位画像との撮像期間および露光時間における関係を示すタイムチャートである。3 is a time chart illustrating a relationship between a specific example of a synthesis image generated by the solid-state imaging device illustrated in FIG. 1 and a unit image in an imaging period and an exposure time. 図５に示した合成用画像を用いた画像の合成方法を説明するための図であり、（Ａ）は合成前の特性図、（Ｂ）は合成後の特性図である。FIGS. 6A and 6B are diagrams for explaining a method for synthesizing an image using the image for synthesis shown in FIG. 5. FIG. 5A is a characteristic diagram before synthesis, and FIG. 5B is a characteristic diagram after synthesis. 図３に示した合成用画像と単位画像との撮像期間および露光時間における関係の第１の変形例を示すタイムチャートである。It is a time chart which shows the 1st modification of the relationship in the imaging period and exposure time of the image for a synthesis | combination shown in FIG. 3, and a unit image. 図３に示した合成用画像と単位画像との撮像期間および露光時間における関係の第２の変形例を示すタイムチャートである。It is a time chart which shows the 2nd modification of the relationship in the imaging period and exposure time of the image for a synthesis | combination shown in FIG. 3, and a unit image. 図３に示した合成用画像と単位画像との撮像期間および露光時間における関係の第３の変形例を示すタイムチャートである。It is a time chart which shows the 3rd modification of the relationship in the imaging period and exposure time of the image for a synthesis | combination shown in FIG. 3, and a unit image. 本発明の実施例に係る固体撮像装置における画像の合成方法を説明するための図であり、（Ａ）は合成前の特性図、（Ｂ）は合成後の特性図である。It is a figure for demonstrating the composition method of the image in the solid-state imaging device which concerns on the Example of this invention, (A) is a characteristic figure before a synthesis | combination, (B) is a characteristic figure after a synthesis | combination. 従来の固体撮像装置における画像合成方法を説明するためのタイムチャートである。It is a time chart for demonstrating the image composition method in the conventional solid-state imaging device.

符号の説明Explanation of symbols

１１…光学系、１２…撮像素子、１３…カメラ信号前段処理回路、１４…画像メモリ、１５…カメラ信号後段処理回路、１６…駆動回路、１７…ＡＥ制御部、２１…単位画像、２２，２２Ａ〜２２Ｄ…合成用画像、２３…合成画像、４１，４２，４３…合成用画像のデータ信号特性、Ｓv…電圧信号、ｔ…単位露光時間、Ｄu…単位画像の画像データ、Ｄs…合成用画像の画像データ、Ｄw…合成画像の画像データ、ＬＡ〜ＬＤ…入射光量の範囲。   DESCRIPTION OF SYMBOLS 11 ... Optical system, 12 ... Image sensor, 13 ... Camera signal pre-processing circuit, 14 ... Image memory, 15 ... Camera signal post-processing circuit, 16 ... Drive circuit, 17 ... AE control part, 21 ... Unit image, 22, 22A ˜22D... Composition image, 23... Composition image, 41, 42, 43... Data signal characteristics of composition image, Sv... Voltage signal, t .. Unit exposure time, Du. Image data, Dw... Composite image image data, LA to LD...

Claims (19)

所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成する撮像手段と、
前記単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成する合成用画像生成手段と、
前記合成用画像を合成して、ダイナミックレンジが拡張された合成画像を作成する合成手段と
を備え、
前記合成用画像生成手段は、前記合成用画像の全てを、撮像期間に共通の重複部分があるように生成し、
前記共通の重複部分は、撮像順が中央に位置する単位画像を含む
ことを特徴とする固体撮像装置。 Imaging means for continuously performing imaging a plurality of times within a predetermined time, and generating a plurality of unit images sequentially captured;
Adding the unit images to generate a plurality of compositing images that have overlapping imaging periods and different exposure times from each other; and
Synthesizing the synthesis image to create a synthesized image with an extended dynamic range, and
The composition image generation means generates all the composition images so that there is a common overlapping part in the imaging period,
The common overlapping portion includes a unit image whose imaging order is located in the center. 前記合成用画像生成手段は、前記合成用画像を３枚以上生成する
ことを特徴とする請求項１記載の固体撮像装置。 The solid-state imaging device according to claim 1, wherein the composition image generation unit generates three or more images for composition. 前記単位画像を全て同一の所定露光時間で撮像する
ことを特徴とする請求項１記載の固体撮像装置。 The solid-state imaging device according to claim 1, wherein all the unit images are captured with the same predetermined exposure time. 前記合成用画像の各々の露光時間を、前記所定露光時間のｎ^k 倍（ｎは固定値であり２以上の整数，ｋは変数であり０以上の整数）とする
ことを特徴とする請求項３記載の固体撮像装置。 The exposure time of each of the images for synthesis is ^nk times the predetermined exposure time (n is a fixed value and an integer of 2 or more, k is a variable and an integer of 0 or more). 3. The solid-state imaging device according to 3. 前記合成用画像の各々の露光時間を、前記所定露光時間の２^k 倍（ｋは変数であり０以上の整数）とする
ことを特徴とする請求項４記載の固体撮像装置。 5. The solid-state imaging device according to claim 4, wherein an exposure time of each of the synthesis images is 2 ^k times the predetermined exposure time (k is a variable and an integer of 0 or more). 前記合成手段は、前記合成用画像の各々から、設定上限値より小さく、露光時間が最も長い画像に属する信号を画素ごとに抽出し、合成に用いる
ことを特徴とする請求項１記載の固体撮像装置。 2. The solid-state imaging according to claim 1, wherein the synthesizing unit extracts, for each of the pixels, a signal belonging to an image that is smaller than a set upper limit value and has the longest exposure time from each of the images for synthesis. apparatus. 前記合成用画像のうち露光時間がｍ番目に長いもの（ｍは２以上の整数）の信号値は、同じ画像における信号下限値からの自身の変位に、前記合成用画像のうちの露光時間が１番長いものからｍ−１番目に長いものまでの各々における信号の下限値から設定上限値までの変位を全て積算した値に変換され、合成に用いられる
ことを特徴とする請求項６記載の固体撮像装置。 The signal value of the m-th image with the longest exposure time (m is an integer equal to or greater than 2) of the image for synthesis has its own displacement from the signal lower limit value in the same image, and the exposure time of the image for synthesis is The conversion from the first longest signal to the (m-1) longest signal from the lower limit value of the signal to the set upper limit value is converted into an integrated value and used for synthesis. Solid-state imaging device. 前記画像信号の設定上限値は、入射光量に対する飽和点での信号値である
ことを特徴とする請求項６記載の固体撮像装置。 The solid-state imaging device according to claim 6, wherein the set upper limit value of the image signal is a signal value at a saturation point with respect to an incident light amount. 前記合成手段は、前記合成用画像を合成する前に、前記合成画像のダイナミックレンジが正規化されたものとなるように前記合成用画像の各々の画像信号を縮小する
ことを特徴とする請求項６記載の固体撮像装置。 The synthesis means reduces the image signal of each of the synthesis images so that the dynamic range of the synthesis image is normalized before synthesizing the synthesis image. 6. The solid-state imaging device according to 6. 前記撮像手段としてＣＣＤセンサまたはＣＭＯＳセンサが用いられている
ことを特徴とする請求項１記載の固体撮像装置。 The solid-state imaging device according to claim 1, wherein a CCD sensor or a CMOS sensor is used as the imaging unit. 被写体を撮像して得られる画像の画質補正を行う撮像方法であって、
所定時間内に複数回の撮像を連続して行い、順次撮像された複数の単位画像を生成し、
前記単位画像を加算して、撮像期間が部分的に重複し、かつ、互いに露光時間の異なる複数の合成用画像を生成し、
さらに、前記合成用画像を合成して、ダイナミックレンジが拡張された合成画像を作成すると共に、
前記合成用画像の全てを、撮像期間に共通の重複部分を有するように生成し、
前記共通の重複部分は、撮像順が中央に位置する単位画像を含む
ことを特徴とする撮像方法。 An imaging method for correcting image quality of an image obtained by imaging a subject,
Continuously capture multiple times within a given time, generate multiple unit images that are sequentially captured,
Adding the unit images to generate a plurality of compositing images having overlapping imaging periods and different exposure times from each other;
Furthermore, the composite image is combined to create a composite image with an expanded dynamic range,
All of the images for synthesis are generated so as to have a common overlapping part in the imaging period,
The common overlapping portion includes a unit image whose imaging order is located in the center. 前記合成用画像を３枚以上生成する
ことを特徴とする請求項１１記載の撮像方法。 The imaging method according to claim 11, wherein three or more images for synthesis are generated. 前記単位画像を全て同一の所定露光時間で撮像する
ことを特徴とする請求項１１記載の撮像方法。 The imaging method according to claim 11, wherein all the unit images are captured with the same predetermined exposure time. 前記合成用画像の各々の露光時間を、前記所定露光時間のｎ^k 倍（ｎは固定値であり２以上の整数，ｋは変数であり０以上の整数）とする
ことを特徴とする請求項１３記載の撮像方法。 The exposure time of each of the images for synthesis is ^nk times the predetermined exposure time (n is a fixed value and an integer of 2 or more, k is a variable and an integer of 0 or more). 14. The imaging method according to 13. 前記合成用画像の各々の露光時間を、前記所定露光時間の２^k 倍（ｋは変数であり０以上の整数）とする
ことを特徴とする請求項１４記載の撮像方法。 The imaging method according to claim 14, wherein an exposure time of each of the images for synthesis is 2 ^k times the predetermined exposure time (k is a variable and is an integer of 0 or more). 前記合成用画像の各々から、設定上限値より小さく、露光時間が最も長い画像に属する信号を画素ごとに抽出し、合成に用いる
ことを特徴とする請求項１１記載の撮像方法。 The imaging method according to claim 11, wherein a signal belonging to an image that is smaller than a set upper limit value and has the longest exposure time is extracted for each pixel from each of the images for synthesis, and is used for synthesis. 前記合成用画像のうち露光時間がｍ番目に長いもの（ｍは２以上の整数）の信号値を、同じ画像における信号下限値からの自身の変位に、前記合成用画像のうちの露光時間が１番長いものからｍ−１番目に長いものまでの各々における信号の下限値から設定上限値までの変位を全て積算した値に変換して、合成に用いる
ことを特徴とする請求項１６記載の撮像方法。 The signal value of the m-th image with the longest exposure time (m is an integer of 2 or more) among the images for synthesis is changed to its own displacement from the signal lower limit value in the same image, and the exposure time of the image for synthesis is The conversion from the first to the longest to the (m-1) -longest signal from the lower limit value of the signal to the set upper limit value is converted into an integrated value and used for synthesis. Imaging method. 前記画像信号の設定上限値を、入射光量に対する飽和点での信号値とする
ことを特徴とする請求項１６記載の撮像方法。 The imaging method according to claim 16, wherein the set upper limit value of the image signal is a signal value at a saturation point with respect to an incident light amount. 前記合成用画像を合成する前に、前記合成画像のダイナミックレンジが正規化されたものとなるように前記合成用画像の各々の画像信号を縮小する
ことを特徴とする請求項１６記載の撮像方法。 The imaging method according to claim 16, wherein before synthesizing the synthesis image, each image signal of the synthesis image is reduced so that a dynamic range of the synthesis image is normalized. .

Images