JP2007036352A - Image pickup device, signal processing method, and program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To reduce smears without using a mechanical shutter. <P>SOLUTION: A CCD image sensor 12 includes a plurality of main photosensitive sections, and a plurality of sub-photosensitive sections having a light-receiving area smaller than that of each of the main photosensitive sections; and outputs signal charges accumulated in the main and sub-photosensitive sections based on a subject light as electrical main and sub-signals. A noise reducing circuit 22 generates a noise signal on the basis of a sub-signal, and reduces a noise of a main signal by subtracting the noise signal from the main signal. Further, if the number of the sub-photosensitive sections is smaller than the number of the main photosensitive sections or if the sub-signals are thinned and read, an interpolation processing circuit for changing the number of sub-signals by interpolation processing is provided on a pre-stage of the noise reducing circuit 22. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、複数の主感光部と副感光部とを有する固体撮像素子を備えた撮像装置、並びに、該固体撮像素子から出力される撮像信号の信号処理方法およびプログラムに関する。   The present invention relates to an imaging apparatus including a solid-state imaging device having a plurality of main photosensitive portions and sub-photosensitive portions, and a signal processing method and program for an imaging signal output from the solid-state imaging device.

デジタルカメラに搭載されるＣＣＤイメージセンサは、スミアと呼ばれるノイズを発生する。スミアは、被写体光のなかに高い輝度をもつスポット状の光が含まれるときに生じやすく、撮影画像において輝度の高い部分の上下に筋状にノイズとして現れる。これは、輝度の高い部分の受光素子に発生する電荷が分離領域を通り抜けて垂直転送路（ＶＣＣＤ）に混入したり、光がＶＣＣＤを覆う遮光膜を透過したり縁から回折してＶＣＣＤに入り込み、フォトダイオードだけでなくＶＣＣＤでも光電変換されることが原因となる。
もスミアの原因となる。 A CCD image sensor mounted on a digital camera generates noise called smear. Smear is likely to occur when spot-like light having high luminance is included in the subject light, and appears as noise streaks above and below the high-luminance portion in the captured image. This is because the charge generated in the light receiving element in the high brightness portion passes through the separation region and enters the vertical transfer path (VCCD), or the light passes through the light shielding film covering the VCCD or is diffracted from the edge and enters the VCCD. This is because photoelectric conversion is performed not only by the photodiode but also by the VCCD.
Also causes smear.

また、スミアの一種として、白浮きと呼ばれるものがある。白浮きは、ＶＣＣＤ中に不要電荷が生じることが原因であり、多くのＶＣＣＤにおいて発生し、撮影画像全体が白っぽく浮いたようになる。この不要電荷は、転送速度の高速化や、ＶＣＣＤでの熱による湧き出しなどによって生じる。   One type of smear is called whitening. White floating is caused by generation of unnecessary charges in the VCCD, which occurs in many VCCDs, and the entire photographed image appears to be whitish. This unnecessary charge is generated due to an increase in transfer speed, a springing out of the VCCD, or the like.

このようなスミアを防止するために、ＣＣＤイメージセンサを搭載したデジタルカメラでは、電子シャッタに加えて、メカニカルシャッタを補助的に用い、電荷の転送中にＶＣＣＤが光にさらされないようにするとともに、受光素子に蓄積された信号電荷をＶＣＣＤに転送する前に、メカニカルシャッタを閉じ、不要電荷をＶＣＣＤから掃き出すようにしたものが知られている（例えば、特許文献１参照）。
特開平８−８８８０３号公報 In order to prevent such smear, in a digital camera equipped with a CCD image sensor, a mechanical shutter is used in addition to an electronic shutter to prevent the VCCD from being exposed to light during charge transfer. Before transferring the signal charge accumulated in the light receiving element to the VCCD, it is known that the mechanical shutter is closed and unnecessary charges are swept out of the VCCD (see, for example, Patent Document 1).
JP-A-8-88803

しかしながら、メカニカルシャッタを設けることができない簡易型のデジタルカメラの場合にはもちろんのこと、メカニカルシャッタを備えるデジタルカメラであっても、メカニカルシャッタを開いたまま行う動画撮影の場合には、上記問題を解決することはできない。   However, in the case of a simple digital camera that cannot be provided with a mechanical shutter, the above problem is not solved in the case of moving image shooting that is performed with the mechanical shutter open even if the digital camera has a mechanical shutter. It cannot be solved.

ところで、ＣＣＤイメージセンサの中には、主感光部と、この主感光部よりも受光面積が小さい副感光部とからなる受光素子を有するものがある。このようなＣＣＤイメージセンサは、副感光部からの画像信号を用いて主感光部からの画像信号に補間処理を施すことによって高画質（高解像、高ダイナミックレンジ）な撮影画像を得ることを目的としている。   Incidentally, some CCD image sensors have a light receiving element including a main photosensitive portion and a sub-photosensitive portion having a light receiving area smaller than that of the main photosensitive portion. Such a CCD image sensor obtains a high-quality (high resolution, high dynamic range) photographed image by interpolating the image signal from the main photosensitive portion using the image signal from the sub-photosensitive portion. It is aimed.

本発明は、複数の主感光部と副感光部とを有する固体撮像素子を用い、メカニカルシャッタを用いずにスミアを低減することを可能とする撮像装置、並びに、該固体撮像素子から出力される撮像信号からスミアを低減する信号処理方法およびプログラムを提供することを目的とする。   The present invention uses a solid-state image pickup device having a plurality of main photosensitive portions and sub-photosensitive portions, enables an image pickup apparatus capable of reducing smear without using a mechanical shutter, and outputs from the solid-state image pickup device. It is an object of the present invention to provide a signal processing method and program for reducing smear from an imaging signal.

本発明の撮像装置は、主感光部と、該主感光部より小さい受光面積を有する副感光部とを複数個備え、被写体光によって前記主感光部および前記副感光部に蓄積された信号電荷を、それぞれ電気的な主信号および副信号として出力する撮像素子を備えた撮像装置において、前記副信号に基づいてノイズ信号を生成し、該ノイズ信号を前記主信号から減ずることによって前記主信号のノイズを低減するノイズ低減手段を設けたことを特徴とする。   The image pickup apparatus of the present invention includes a plurality of main photosensitive portions and sub-photosensitive portions having a light receiving area smaller than the main photosensitive portion, and the signal charges accumulated in the main photosensitive portion and the sub-photosensitive portions by subject light. In the imaging device including an imaging device that outputs an electrical main signal and a sub signal, respectively, a noise signal is generated based on the sub signal, and the noise signal is subtracted from the main signal to reduce the noise of the main signal The present invention is characterized in that noise reduction means for reducing the noise is provided.

なお、前記ノイズ低減手段の前段に、前記副信号の信号数を補間処理によって変更する補間処理手段を設けたことが好ましい。   It is preferable that an interpolation processing unit for changing the number of sub-signals by an interpolation process is provided before the noise reduction unit.

本発明の信号処理方法は、主感光部と、該主感光部より小さい受光面積を有する副感光部とを複数個備え、被写体光によって前記主感光部および前記副感光部に蓄積された信号電荷を、それぞれ電気的な主信号および副信号として出力する撮像素子の信号処理方法において、前記副信号に基づいてノイズ信号を生成し、該ノイズ信号を主信号から減ずることによって前記主信号のノイズを低減することを特徴とする。   The signal processing method of the present invention comprises a plurality of main photosensitive sections and sub photosensitive sections having a light receiving area smaller than the main photosensitive section, and signal charges accumulated in the main photosensitive section and the sub photosensitive section by subject light. In the signal processing method of the image sensor that outputs the main signal and the sub signal, respectively, by generating a noise signal based on the sub signal and subtracting the noise signal from the main signal to reduce the noise of the main signal. It is characterized by reducing.

なお、前記ノイズを生成する前に、前記副信号の信号数を補間処理によって変更することが好ましい。   Note that it is preferable to change the number of sub-signals by interpolation before generating the noise.

本発明の信号処理プログラムは、主感光部と、該主感光部より小さい受光面積を有する副感光部とを複数個備え、被写体光によって前記主感光部および前記副感光部に蓄積された信号電荷を、それぞれ電気的な主信号および副信号として出力する撮像素子の信号処理をコンピュータに実行させる信号処理プログラムであって、
前記副信号を変換してノイズ信号を生成し、該ノイズ信号を主信号から減ずることによって前記主信号のノイズを低減する処理を前記コンピュータに実行させることを特徴とする。 The signal processing program of the present invention includes a plurality of main photosensitive portions and sub-photosensitive portions having a light receiving area smaller than the main photosensitive portion, and signal charges accumulated in the main photosensitive portion and the sub-photosensitive portion by subject light. Is a signal processing program for causing a computer to perform signal processing of an image sensor that outputs an electrical main signal and a sub-signal, respectively,
The sub-signal is converted to generate a noise signal, and the computer is caused to execute a process of reducing the noise of the main signal by subtracting the noise signal from the main signal.

なお、前記ノイズを生成する前に、前記副信号の信号数を補間処理によって変更することが好ましい。   Note that it is preferable to change the number of sub-signals by interpolation before generating the noise.

本発明は、主感光部より小さい受光面積を有する副感光部から出力された副信号に基づいてノイズ信号を生成し、このノイズ信号を主信号から減ずることによって主信号のノイズを低減するので、メカニカルシャッタを用いた不要電荷の掃き出しなどを行うことなく、スミアを低減させることができる。   Since the present invention generates a noise signal based on a sub-signal output from the sub-photosensitive unit having a light receiving area smaller than the main photosensitive unit, and reduces the noise of the main signal by subtracting this noise signal from the main signal, Smear can be reduced without sweeping out unnecessary charges using a mechanical shutter.

また、本発明は、ノイズを生成する前に、副信号の信号数を補間処理によって変更するので、副感光部の数が主感光部の数より少ない場合や、副信号を間引いて読み出す場合にもメカニカルシャッタを用いた不要電荷の掃き出しなどを行うことなく、スミアを低減させることができる。   Further, according to the present invention, the number of sub-signals is changed by interpolation processing before generating noise. Therefore, when the number of sub-photosensitive parts is smaller than the number of main photosensitive parts or when sub-signals are thinned out and read out. In addition, smear can be reduced without sweeping out unnecessary charges using a mechanical shutter.

図１において、デジタルカメラ１０には、撮像レンズ１１、ＣＣＤイメージセンサ（固体撮像素子）１２、システムコントローラ１３、ＲＯＭ１４、ＲＡＭ１５、操作部１６、液晶表示器（ＬＣＤ）１７などが設けられている。システムコントローラ１３は、操作部１６から入力される操作信号に基づいて、各部の動作制御を行う。ＲＯＭ１４は、制御プログラムや各種設定データを記憶するための不揮発性メモリであり、ＲＡＭ１５は、作業用メモリである。   In FIG. 1, a digital camera 10 is provided with an imaging lens 11, a CCD image sensor (solid-state imaging device) 12, a system controller 13, a ROM 14, a RAM 15, an operation unit 16, a liquid crystal display (LCD) 17, and the like. The system controller 13 controls the operation of each unit based on the operation signal input from the operation unit 16. The ROM 14 is a non-volatile memory for storing control programs and various setting data, and the RAM 15 is a working memory.

ＣＣＤイメージセンサ１２は、撮像レンズ１１の後方に配置され、撮像レンズ１１を介して取り込まれた被写体光を撮像（光電変換）する。ＣＣＤイメージセンサ１２には、ＣＣＤドライバ１８が接続されている。ＣＣＤドライバ１８は、タイミングジェネレータ（ＴＧ）１９から入力されるクロックパルスに応じてＣＣＤイメージセンサ１２を駆動制御する。なお、後述するアナログ信号処理回路２０およびＡ／Ｄコンバータ２１にもＴＧ１９からクロックパルスが入力されており、ＣＣＤイメージセンサ１２、アナログ信号処理回路２０、およびＡ／Ｄコンバータ２１の動作は、同期がとられている。   The CCD image sensor 12 is disposed behind the imaging lens 11 and images (photoelectric conversion) the subject light captured through the imaging lens 11. A CCD driver 18 is connected to the CCD image sensor 12. The CCD driver 18 drives and controls the CCD image sensor 12 according to the clock pulse input from the timing generator (TG) 19. A clock pulse is also input from the TG 19 to an analog signal processing circuit 20 and an A / D converter 21, which will be described later, and operations of the CCD image sensor 12, the analog signal processing circuit 20, and the A / D converter 21 are synchronized. It has been taken.

図２において、ＣＣＤイメージセンサ１２には、正八角形の受光素子３０が所定のピッチでハニカム状に複数配列されている。受光素子３０は、主感光部３０ａと、この主感光部３０ａよりも受光面積が小さく低感度の副感光部３０ｂとからなる。各受光素子３０には、転送電極３１ａ，３１ｂが接続されている。転送電極３１ａ，３１ｂは、垂直方向に延在する垂直転送路（ＶＣＣＤ）３２（図３参照）上を横切るように水平方向に延在している。ＶＣＣＤ３２は、チャネルストップ３３ａによって水平方向に分離され、垂直方向端において不図示の水平転送路（ＨＣＣＤ）に接続されている。   In FIG. 2, the CCD image sensor 12 includes a plurality of regular octagonal light receiving elements 30 arranged in a honeycomb shape at a predetermined pitch. The light receiving element 30 includes a main photosensitive portion 30a and a sub-sensitive portion 30b having a light receiving area smaller than that of the main photosensitive portion 30a and low sensitivity. Transfer electrodes 31 a and 31 b are connected to each light receiving element 30. The transfer electrodes 31a and 31b extend in the horizontal direction so as to cross the vertical transfer path (VCCD) 32 (see FIG. 3) extending in the vertical direction. The VCCD 32 is separated in the horizontal direction by a channel stop 33a and is connected to a horizontal transfer path (HCCD) (not shown) at the vertical end.

図２のＡ−Ａ線に沿う縦断面図を示す図３において、ＣＣＤイメージセンサ１２は、ｎ型半導体基板３４上に形成されている。ｎ型半導体基板３４上には、ｐ型ウェル層３５が形成されており、ｐ型ウェル層３５の表層には、ｎ型層からなる主副感光部３０ａ，３０ｂおよびＶＣＣＤ３２が形成されている。主感光部３０ａと副感光部３０ｂとの間は、ｐ⁺層からなるチャネルストップ３３ｂによって電気的に分離されている。 In FIG. 3 showing a longitudinal sectional view taken along line AA of FIG. 2, the CCD image sensor 12 is formed on an n-type semiconductor substrate 34. A p-type well layer 35 is formed on the n-type semiconductor substrate 34. On the surface layer of the p-type well layer 35, main / sub-photosensitive portions 30a and 30b made of an n-type layer and a VCCD 32 are formed. The main photosensitive portion 30a and the sub photosensitive portion 30b are electrically separated by a channel stop 33b made of a p ⁺ layer.

主感光部３０ａとＶＣＣＤ３２との間は、チャネルストップ３３ａ或いはｐ型ウェル層３５によって電気的に分離されている。このｐ型ウェル層３５によって分離された領域上には、転送電極３１ａが延在しており、該領域は、転送電極３１ａの電位に応じて信号電荷を主感光部３０ａからＶＣＣＤ３２へ転送する転送ゲートとして機能する。また、副感光部３０ｂとＶＣＣＤ３２との間は、ｐ型ウェル層３５によって電気的に分離されており、この領域上に転送電極３１ｂが延在している。該領域は、転送電極３１ｂの電位に応じて信号電荷を副感光部３０ｂからＶＣＣＤ３２へ転送する転送ゲートとして機能する。なお、転送電極３１ａ，３１ｂは、転送ゲートを制御するとともに、ＶＣＣＤ３２内における垂直方向への信号電荷の転送を制御する。   The main photosensitive portion 30a and the VCCD 32 are electrically separated by a channel stop 33a or a p-type well layer 35. A transfer electrode 31a extends on a region separated by the p-type well layer 35, and the region transfers a signal charge from the main photosensitive portion 30a to the VCCD 32 in accordance with the potential of the transfer electrode 31a. Acts as a gate. The sub-photosensitive portion 30b and the VCCD 32 are electrically separated by the p-type well layer 35, and the transfer electrode 31b extends over this region. This region functions as a transfer gate that transfers signal charges from the sub-photosensitive portion 30b to the VCCD 32 in accordance with the potential of the transfer electrode 31b. The transfer electrodes 31a and 31b control the transfer gate and the transfer of signal charges in the vertical direction in the VCCD 32.

また、転送電極３１ａ，３１ｂの上には、遮光膜３６が形成されている。遮光膜３６は、ＶＣＣＤ３２を遮光し、ＶＣＣＤ３２内で光電変換が行われないようしている。主副感光部３０ａ，３０ｂの上には、平坦化層３７を挟んで、Ｒ（赤），Ｇ（緑），Ｂ（青）のいずれかのカラーフィルタ３８と、マイクロレンズ３９とが順に設けられている。なお、カラーフィルタ３８の配列は、いわゆるベイヤー配列となっている。   A light shielding film 36 is formed on the transfer electrodes 31a and 31b. The light shielding film 36 shields the VCCD 32 and prevents photoelectric conversion in the VCCD 32. On the main / sub-photosensitive portions 30a and 30b, a color filter 38 of any one of R (red), G (green), and B (blue) and a microlens 39 are sequentially provided with a planarizing layer 37 interposed therebetween. It has been. The arrangement of the color filters 38 is a so-called Bayer arrangement.

以上のように構成されたＣＣＤイメージセンサ１２では、主感光部３０ａに蓄積された信号電荷、或いは副感光部３０ｂに蓄積された信号電荷が一斉にＶＣＣＤ３２に転送された後、水平方向の１行分の信号電荷が順次にＨＣＣＤに転送される。１行分の信号電荷は、ＨＣＣＤによって水平方向に順次に転送されるとともに、不図示の出力回路によって電圧信号に変換され、撮像信号として外部出力される。この撮像信号は、主感光部３０ａの信号電荷に基づく主信号Ｍ（ｘ，ｙ）と、副感光部３０ｂの信号電荷に基づく副信号Ｓ（ｘ，ｙ）とからなる。なお、ｘ，ｙはそれぞれ、受光素子３０の水平方向、垂直方向に関する座標位置を表す。   In the CCD image sensor 12 configured as described above, the signal charges accumulated in the main photosensitive portion 30a or the signal charges accumulated in the sub-photosensitive portion 30b are transferred to the VCCD 32 all at once, and then one row in the horizontal direction. Minute signal charges are sequentially transferred to the HCCD. The signal charge for one row is sequentially transferred in the horizontal direction by the HCCD, converted into a voltage signal by an output circuit (not shown), and output externally as an imaging signal. This imaging signal includes a main signal M (x, y) based on the signal charge of the main photosensitive portion 30a and a sub signal S (x, y) based on the signal charge of the sub photosensitive portion 30b. X and y represent coordinate positions of the light receiving element 30 in the horizontal direction and the vertical direction, respectively.

図１に戻り、ＣＣＤイメージセンサ１２から出力された撮像信号は、アナログ信号処理回路２０に入力される。アナログ信号処理回路２０は、入力された撮像信号に対して、相関二重サンプリング処理やゲイン調整などの所定のアナログ信号処理を施し、Ａ／Ｄコンバータ２１に入力する。Ａ／Ｄコンバータ２１は、入力された撮像信号をデジタル変換し、これをノイズ低減回路２２に入力する。   Returning to FIG. 1, the imaging signal output from the CCD image sensor 12 is input to the analog signal processing circuit 20. The analog signal processing circuit 20 performs predetermined analog signal processing such as correlated double sampling processing and gain adjustment on the input imaging signal, and inputs the analog signal processing circuit 20 to the A / D converter 21. The A / D converter 21 converts the input image pickup signal into a digital signal and inputs it to the noise reduction circuit 22.

ノイズ低減回路２２は、デジタル化された撮像信号に含まれる副信号Ｓ（ｘ，ｙ）を、ＲＯＭ１４に記憶されたルックアップテーブル（ＬＵＴ）に基づいて変換し、これを主信号Ｍ（ｘ，ｙ）から減ずることでノイズ（スミア）の除去を行う回路である。主信号Ｍ（ｘ，ｙ）と副信号Ｓ（ｘ，ｙ）には、ほぼ同一のノイズ信号が含まれ、副信号Ｓ（ｘ，ｙ）はそのノイズ信号の割合が大きい。   The noise reduction circuit 22 converts the sub-signal S (x, y) included in the digitized imaging signal based on a look-up table (LUT) stored in the ROM 14, and converts this into the main signal M (x, y). This circuit removes noise (smear) by subtracting from y). The main signal M (x, y) and the sub signal S (x, y) include substantially the same noise signal, and the sub signal S (x, y) has a large ratio of the noise signal.

図４は、ＬＵＴを規定する変換関数Ｆｌｕｔ（Ｘ）である。変換関数Ｆｌｕｔ（Ｘ）は、副信号Ｓ（ｘ，ｙ）をノイズ信号に変換する関数であり、所定レベルＬ以下では無変換であり、所定レベルＬ以上では副信号Ｓ（ｘ，ｙ）に含まれる実信号に相当するレベルを減算する。これは、副信号Ｓ（ｘ，ｙ）の所定レベルＬ以下には、ＶＣＣＤ３２に起因したノイズ成分（白浮き状のスミア）が含まれているとみなし、副信号Ｓ（ｘ，ｙ）の所定レベルＬ以上に、そのレベルの上昇に応じて大きくなる受光素子３０に起因したノイズ成分（縦筋状のスミア）が含まれているとみなしている。なお、この変換関数Ｆｌｕｔ（Ｘ）は、ＣＣＤイメージセンサ１２のプロセスルールなどに基づいて調整される。副信号Ｓ（ｘ，ｙ）を変換関数Ｆｌｕｔ（Ｘ）によって変換することによって得られるノイズ信号Ｆｌｕｔ（Ｓ（ｘ，ｙ））を、次式のように、主信号Ｍ（ｘ，ｙ）から減算することによって、スミアが低減された撮像信号Ｆ（ｘ，ｙ）が得られる。
Ｆ（ｘ，ｙ）＝Ｍ（ｘ，ｙ）−Ｆｌｕｔ（Ｓ（ｘ，ｙ）） FIG. 4 shows a conversion function Flut (X) that defines the LUT. The conversion function Flut (X) is a function for converting the sub-signal S (x, y) into a noise signal. The conversion function Flut (X) is not converted at a predetermined level L or lower, and is converted to the sub-signal S (x, y) at a predetermined level L or higher. The level corresponding to the actual signal included is subtracted. This is considered that a noise component (white smear) caused by the VCCD 32 is included below the predetermined level L of the sub signal S (x, y), and the sub signal S (x, y) is predetermined. It is considered that a noise component (vertical streak smear) caused by the light receiving element 30 that increases as the level increases is included above the level L. The conversion function Flut (X) is adjusted based on the process rule of the CCD image sensor 12 and the like. A noise signal Flut (S (x, y)) obtained by converting the sub-signal S (x, y) by the conversion function Flut (X) is obtained from the main signal M (x, y) as shown in the following equation. By subtracting, an imaging signal F (x, y) with reduced smear is obtained.
F (x, y) = M (x, y) −Flut (S (x, y))

図５（Ａ）〜（Ｄ）は、ノイズ低減回路２２による変換前後の撮像信号の具体例を示す。図５（Ａ），（Ｂ）はそれぞれ、ＣＣＤイメージセンサ１２のある一水平ラインに基づく主副信号Ｍ（ｘ，ｙ），Ｓ（ｘ，ｙ）を示しており、斜線のハッチング領域は白浮き状のスミア、ドットのハッチング領域は縦筋状のスミアによるノイズ成分を示している。図５（Ｃ）は、ＬＵＴによって生成されたノイズ信号Ｆｌｕｔ（Ｓ（ｘ，ｙ））を示している。図５（Ｄ）は、スミアが低減された撮像信号Ｆ（ｘ，ｙ）を示している。   5A to 5D show specific examples of imaging signals before and after conversion by the noise reduction circuit 22. FIGS. 5A and 5B show main and sub signals M (x, y) and S (x, y) based on one horizontal line of the CCD image sensor 12, respectively, and hatched hatched areas are white. Floating smears and dot hatching areas indicate noise components due to vertical streak smears. FIG. 5C shows the noise signal Flut (S (x, y)) generated by the LUT. FIG. 5D shows the imaging signal F (x, y) with reduced smear.

図１に戻り、ノイズ低減回路２２から出力された撮像信号Ｆ（ｘ，ｙ）は、デジタル信号処理回路２３に入力される。デジタル信号処理回路２３は、撮像信号Ｆ（ｘ，ｙ）に対して、輝度・色差信号変換処理、ガンマ補正、シャープネス補正、コントラスト補正、ホワイトバランス補正などの所定の画像処理を施し、画像処理済みの撮像信号（画像データ）をフレームメモリ２４に一時的に記録する。   Returning to FIG. 1, the imaging signal F (x, y) output from the noise reduction circuit 22 is input to the digital signal processing circuit 23. The digital signal processing circuit 23 performs predetermined image processing such as luminance / color difference signal conversion processing, gamma correction, sharpness correction, contrast correction, white balance correction, and the like on the image pickup signal F (x, y). Are temporarily recorded in the frame memory 24.

フレームメモリ２４に記録された画像データは、操作部１６に含まれるレリーズボタンが押圧操作される前のモニタリング時には、ＬＣＤ１７にスルー画として表示される。ユーザによってレリーズボタンが押圧操作された際には、フレームメモリ２４に記録された画像データは、圧縮伸張回路２５に送られる。   The image data recorded in the frame memory 24 is displayed as a through image on the LCD 17 during monitoring before the release button included in the operation unit 16 is pressed. When the release button is pressed by the user, the image data recorded in the frame memory 24 is sent to the compression / decompression circuit 25.

圧縮伸張回路２５は、入力された画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）に従って圧縮処理を施し、圧縮済みの画像データをメディアコントローラ２６に入力する。メディアコントローラ２６は、この画像データをメモリカード２７に書き込む制御を行う。なお、再生モードにおいては、メディアコントローラ２６は、メモリカード２７から画像データを読み出し、これを圧縮伸張回路２５に入力する。圧縮伸張回路２５に入力された画像データは伸張処理が施され、ＬＣＤ１７に再生表示される。   The compression / decompression circuit 25 performs compression processing on the input image data according to a predetermined compression format (for example, JPEG format), and inputs the compressed image data to the media controller 26. The media controller 26 performs control to write this image data into the memory card 27. In the playback mode, the media controller 26 reads image data from the memory card 27 and inputs it to the compression / decompression circuit 25. The image data input to the compression / decompression circuit 25 is subjected to decompression processing and reproduced and displayed on the LCD 17.

上記構成のデジタルカメラ１０の作用を、図６に示すフローチャートに基づいて説明する。デジタルカメラ１０が撮影モードに設定されると、ＬＣＤ１７にスルー画が表示される（ステップＳ１００）。このとき、ＣＣＤイメージセンサ１２からは、垂直画素数を間引いた撮像信号の出力が行われる。ユーザは、ＬＣＤ１７のスルー画をモニタリングしながらレリーズ操作を行う。   The operation of the digital camera 10 having the above configuration will be described with reference to the flowchart shown in FIG. When the digital camera 10 is set to the shooting mode, a through image is displayed on the LCD 17 (step S100). At this time, the CCD image sensor 12 outputs an imaging signal obtained by thinning out the number of vertical pixels. The user performs a release operation while monitoring the through image on the LCD 17.

ユーザによってレリーズ操作が行われると（ステップＳ１０１のＹｅｓ）、ＣＣＤイメージセンサ１２によって、所定の露出条件で露光（電荷蓄積）が行われる（ステップＳ１０２）。ＣＣＤイメージセンサ１２からの撮像信号の読み出しは、インターライン・トランスファ方式（フレーム読み出し）で行われ、まず、主感光部３０ａから主信号Ｍ（ｘ，ｙ）が読み出され（ステップＳ１０３）、その後、副感光部３０ｂから副信号Ｓ（ｘ，ｙ）が読み出される（ステップＳ１０４）。   When a release operation is performed by the user (Yes in step S101), exposure (charge accumulation) is performed by the CCD image sensor 12 under a predetermined exposure condition (step S102). Reading of the imaging signal from the CCD image sensor 12 is performed by an interline transfer method (frame reading). First, the main signal M (x, y) is read from the main photosensitive portion 30a (step S103), and thereafter. Then, the sub signal S (x, y) is read from the sub photosensitive portion 30b (step S104).

主信号Ｍ（ｘ，ｙ）および副信号Ｓ（ｘ，ｙ）は、アナログ信号処理回路２０によって所定のアナログ信号処理が施され（ステップＳ１０５）、Ａ／Ｄコンバータ２１によってデジタル化される（ステップＳ１０６）。次いで、ノイズ低減回路２２によって、副信号Ｓ（ｘ，ｙ）がノイズ信号Ｆｌｕｔ（Ｓ（ｘ，ｙ））に変換され（ステップＳ１０７）、これが主信号Ｍ（ｘ，ｙ）から減算されることにより、スミアが低減された撮像信号Ｆ（ｘ，ｙ）が生成される（ステップＳ１０８）。   The main signal M (x, y) and the sub signal S (x, y) are subjected to predetermined analog signal processing by the analog signal processing circuit 20 (step S105) and digitized by the A / D converter 21 (step S105). S106). Next, the sub-signal S (x, y) is converted into the noise signal Flut (S (x, y)) by the noise reduction circuit 22 (step S107), and this is subtracted from the main signal M (x, y). Thus, the imaging signal F (x, y) with reduced smear is generated (step S108).

この後、撮像信号Ｆ（ｘ，ｙ）は、デジタル信号処理回路２３によって所定のデジタル信号処理が施され（ステップＳ１０９）、１フレーム分の画像データとしてフレームメモリ２４に記録される（ステップＳ１１０）。そして、フレームメモリ２４に記録された画像データは、圧縮伸張回路２５によって所定の圧縮処理が施され（ステップＳ１１１）、メディアコントローラ２６によってメモリカード２７に記録される（ステップＳ１１２）。   Thereafter, the image signal F (x, y) is subjected to predetermined digital signal processing by the digital signal processing circuit 23 (step S109), and is recorded in the frame memory 24 as image data for one frame (step S110). . The image data recorded in the frame memory 24 is subjected to predetermined compression processing by the compression / decompression circuit 25 (step S111), and is recorded on the memory card 27 by the media controller 26 (step S112).

上記実施形態によれば、メカニカルシャッタを用いた不要電荷の掃き出しなどを行うことなく、スミアを低減させることができる。また、レリーズ操作後に電荷の掃き出しを行わなくて済むので、レリーズ操作から画像記録までの撮影時間を短縮することができる。   According to the above-described embodiment, it is possible to reduce smear without sweeping out unnecessary charges using a mechanical shutter. In addition, since it is not necessary to sweep out charges after the release operation, it is possible to shorten the photographing time from the release operation to image recording.

なお、上記実施形態では、主感光部３０ａに隣接するように低感度の副感光部３０ｂを設けているが、本発明はこれに限定されず、副感光部を主感光部から離間された別の位置に設けるようにしてもよい。この例を、図７および図８に示す。   In the above embodiment, the low-sensitivity sub-photosensitive part 30b is provided adjacent to the main photosensitive part 30a. However, the present invention is not limited to this, and the sub-photosensitive part is separated from the main photosensitive part. You may make it provide in the position. Examples of this are shown in FIGS.

図７は、ハニカム型で別の構造のＣＣＤイメージセンサ４０を示す。高感度の主感光部４１および低感度の副感光部４２は、それぞれ正八角形の受光素子を構成しており、それぞれハニカム状に配列されている。つまり、主感光部４１と副感光部４２とは、水平方向および垂直方向に交互に配列されている。ＣＣＤイメージセンサ４０は、上記実施形態のＣＣＤイメージセンサ１２とは異なり、副感光部を設けることによって主感光部の受光面積が犠牲にされることはなく、受光効率が高い。   FIG. 7 shows a CCD image sensor 40 of a honeycomb type and another structure. The high-sensitivity main photosensitive portion 41 and the low-sensitivity sub-photosensitive portion 42 constitute a regular octagonal light receiving element, and are arranged in a honeycomb shape. That is, the main photosensitive portion 41 and the secondary photosensitive portion 42 are alternately arranged in the horizontal direction and the vertical direction. Unlike the CCD image sensor 12 of the above embodiment, the CCD image sensor 40 has a high light receiving efficiency without sacrificing the light receiving area of the main photosensitive portion by providing the sub-photosensitive portion.

図８は、ＷＨＡと称される構造のＣＣＤイメージセンサ５０を示す。高感度の主感光部５１は、図７と同様な正八角形の受光素子を構成している。一方の低感度の副感光部５２は、転送電極３１ａ，３１ｂおよびその上方の遮光膜３６（図３参照）に正八角形の開口を形成することにより、外部に露呈したＶＣＣＤ３２の一部分により構成されている（この構成は、穴あき転送路と称される）。つまり、ＶＣＣＤ３２の一部分が受光部を兼ねている。この場合も、主感光部の受光面積が犠牲にされることはなく、受光効率が高い。   FIG. 8 shows a CCD image sensor 50 having a structure called WHA. The high-sensitivity main photosensitive portion 51 constitutes a regular octagonal light receiving element similar to that shown in FIG. One low-sensitivity sub-photosensitive part 52 is constituted by a part of the VCCD 32 exposed to the outside by forming a regular octagonal opening in the transfer electrodes 31a and 31b and the light shielding film 36 (see FIG. 3) thereabove. (This configuration is referred to as a perforated transfer path). That is, a part of the VCCD 32 also serves as a light receiving unit. Also in this case, the light receiving area of the main photosensitive portion is not sacrificed and the light receiving efficiency is high.

また、受光部の形状は八角形でなくてもよく、例えば正方形であってもよい。また、受光部の配列は、ハニカム状の配列でなくてもよく、例えば正方配列であってもよい。   Further, the shape of the light receiving portion may not be an octagon, and may be, for example, a square. Further, the arrangement of the light receiving portions may not be a honeycomb-like arrangement, and may be a square arrangement, for example.

また、上記実施形態では、１つの主感光部に対して１つの副感光部を設けるようにしているが、本発明は、副感光部の数が主感光部の数より少ない場合にも適用することが可能である。ノイズ低減回路２２では、主信号Ｍ（ｘ，ｙ）と副信号Ｓ（ｘ，ｙ）との信号数（画素数）が同一であることが要されるので、副感光部の数が主感光部の数より少ない場合には、図９に示すように、ノイズ低減回路２２の前段に、副信号Ｓ（ｘ，ｙ）の信号数を補間処理によって変更する補間処理回路６０を設ければよい。補間処理回路６０は、線形補間や重み付け補間によって、副信号Ｓ（ｘ，ｙ）の信号数を増やし、主信号Ｍ（ｘ，ｙ）の信号数に一致させる。なお、主感光部と副感光部とが同数であって、副感光部を間引いて読み出しを行う場合にも、補間処理回路６０を用いることで、主信号Ｍ（ｘ，ｙ）と副信号Ｓ（ｘ，ｙ）の信号数を一致させることができる。   In the above embodiment, one sub-photosensitive unit is provided for one main photo-sensitive unit. However, the present invention is also applied to the case where the number of sub-photosensitive units is smaller than the number of main photo-sensitive units. It is possible. In the noise reduction circuit 22, it is necessary that the number of signals (number of pixels) of the main signal M (x, y) and the sub signal S (x, y) be the same. If the number is less than the number of units, an interpolation processing circuit 60 that changes the number of signals of the sub-signal S (x, y) by interpolation processing may be provided in the previous stage of the noise reduction circuit 22 as shown in FIG. . The interpolation processing circuit 60 increases the number of sub-signals S (x, y) by linear interpolation or weighted interpolation, and matches the number of signals with the main signal M (x, y). Even when the number of the main photosensitive portions and the number of the secondary photosensitive portions is the same, and the reading is performed by thinning out the secondary photosensitive portions, the main signal M (x, y) and the secondary signal S are used by using the interpolation processing circuit 60. The number of signals (x, y) can be matched.

また、上記実施形態では、静止画撮影の場合を例に挙げて説明しているが、本発明はこれに限定されず、動画撮影の場合にも適用することが可能である。動画撮影の場合には、ＣＣＤイメージセンサから出力される連続した複数フレームの画像データが圧縮伸張回路２５によってモーションＪＰＥＧなどの形式の動画ファイルに圧縮される。従って、動画撮影の場合には、ＣＣＤイメージセンサが不要電荷の掃き出しを行わずに連続して露光と電荷転送とを繰り返さなければならないため、スミアの発生が顕著である。このため、本発明は、動画撮影の場合には特に有効である。   In the above embodiment, the case of still image shooting has been described as an example. However, the present invention is not limited to this and can be applied to the case of moving image shooting. In the case of moving image shooting, image data of a plurality of continuous frames output from the CCD image sensor is compressed by a compression / expansion circuit 25 into a moving image file in a format such as motion JPEG. Therefore, in the case of moving image shooting, since the CCD image sensor must continuously repeat exposure and charge transfer without sweeping out unnecessary charges, the occurrence of smear is significant. For this reason, the present invention is particularly effective in the case of moving image shooting.

また、本発明は、Ａ／Ｄコンバータ２１から出力された直後の主信号Ｍ（ｘ，ｙ）および副信号Ｓ（ｘ，ｙ）からなるＲＡＷデータを、パーソナルコンピュータ（ＰＣ）上で現像処理する際に使用される現像ソフトに適用することも可能である。図１０において、ＰＣ７０には、ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、操作部７４、ＬＣＤ７５、ハードディスクドライブ（ＨＤＤ）７６、およびメディアコントローラ７７が設けられている。メディアコントローラ７７には、着脱式のメモリカード２７が接続される。前述のＲＡＷデータは、メモリカード２７を介してデジタルカメラ１０からＰＣ７０に取り込まれる。   Further, according to the present invention, RAW data composed of the main signal M (x, y) and the sub signal S (x, y) immediately after being output from the A / D converter 21 is developed on a personal computer (PC). It is also possible to apply to developing software used at the time. In FIG. 10, the PC 70 is provided with a CPU 71, ROM 72, RAM 73, operation unit 74, LCD 75, hard disk drive (HDD) 76, and media controller 77. A removable memory card 27 is connected to the media controller 77. The aforementioned RAW data is taken into the PC 70 from the digital camera 10 via the memory card 27.

ＨＤＤ７６には、現像ソフト７８が格納されている。現像ソフト７８は、ＲＡＷデータに対して所定の現像処理をＣＰＵ７１に実行させる信号処理プログラムである。この現像処理とは、データ形式がＣＣＤイメージセンサの構成（受光素子やカラーフィルタ配列など）に依存するＲＡＷデータを、ＪＰＥＧやＴＩＦＦなどの標準形式のデータに変換する処理であって、デジタルカメラ１０内のデジタル信号処理回路２３および圧縮伸張回路２５と同等の処理を行う。ただし、ユーザは、この現像処理に際して、操作部７４によってシャープネス補正、コントラスト補正、ホワイトバランス補正などパラメータをマニュアル設定することができる。   Development software 78 is stored in the HDD 76. The development software 78 is a signal processing program that causes the CPU 71 to execute predetermined development processing on the RAW data. This development processing is processing for converting RAW data whose data format depends on the configuration of the CCD image sensor (light receiving element, color filter array, etc.) into data in a standard format such as JPEG or TIFF. The same processing as that of the digital signal processing circuit 23 and the compression / decompression circuit 25 is performed. However, the user can manually set parameters such as sharpness correction, contrast correction, and white balance correction by the operation unit 74 during the development processing.

ＰＣ７０は、現像ソフト７８に基づいて図１１のフローチャートに示す動作を行う。ユーザの操作によって、現像ソフト７８が起動されると（ステップＳ２００）、ＰＣ７０は、メモリカード２７に記録されたＲＡＷデータをＨＤＤ７６に取り込み（ステップＳ２０１）、ＲＡＷデータに含まれる副信号Ｓ（ｘ，ｙ）をノイズ信号Ｆｌｕｔ（Ｓ（ｘ，ｙ））に変換する（ステップＳ２０２）。なお、現像ソフト７８には前述のＬＵＴが含まれている。   The PC 70 performs the operation shown in the flowchart of FIG. 11 based on the development software 78. When the development software 78 is activated by the user's operation (step S200), the PC 70 loads the RAW data recorded on the memory card 27 into the HDD 76 (step S201), and the sub-signal S (x, x included in the RAW data). y) is converted into a noise signal Flut (S (x, y)) (step S202). The development software 78 includes the aforementioned LUT.

次いで、ＲＡＷデータに含まれる主信号Ｍ（ｘ，ｙ）からノイズ信号Ｆｌｕｔ（Ｓ（ｘ，ｙ））を減算して、スミアが低減された撮像信号Ｆ（ｘ，ｙ）を生成する（ステップＳ２０３）。そして、撮像信号Ｆ（ｘ，ｙ）に対して所定の現像処理を行い、デジタルカメラ１０の機種に依存しないデータ形式の画像データ（例えば、ＪＰＥＧデータ）を生成する（ステップＳ２０４）。   Next, the noise signal Flut (S (x, y)) is subtracted from the main signal M (x, y) included in the RAW data to generate an imaging signal F (x, y) with reduced smear (step). S203). Then, predetermined development processing is performed on the imaging signal F (x, y) to generate image data (for example, JPEG data) in a data format independent of the model of the digital camera 10 (step S204).

なお、ＲＡＷデータの副信号Ｓ（ｘ，ｙ）の信号数が主信号Ｍ（ｘ，ｙ）の信号数より少ない場合には、図１２に示すように、上記ステップＳ２０１とステップＳ２０２の間に、副信号Ｓ（ｘ，ｙ）の信号数を増やし、主信号Ｍ（ｘ，ｙ）の信号数に一致させる補間処理（ステップＳ３００）を追加すればよい。   When the number of sub-signals S (x, y) of RAW data is smaller than the number of signals of the main signal M (x, y), as shown in FIG. 12, between the above steps S201 and S202. Then, an interpolation process (step S300) for increasing the number of sub-signals S (x, y) and making them coincide with the number of main signals M (x, y) may be added.

本発明を適用したデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera to which this invention is applied. ＣＣＤイメージセンサの構成を示す概略平面図である。It is a schematic plan view which shows the structure of a CCD image sensor. ＣＣＤイメージセンサの構成を示す概略縦断面図である。It is a schematic longitudinal cross-sectional view which shows the structure of a CCD image sensor. ルックアップテーブルを規定する変換関数を示すグラフである。It is a graph which shows the conversion function which prescribes | regulates a lookup table. ノイズ低減回路による変換前後の一水平ライン分の撮像信号を示すグラフであり、（Ａ）は主信号、（Ｂ）は副信号、（Ｃ）はノイズ信号、（Ｄ）はスミアが低減された撮像信号を示す。It is a graph which shows the imaging signal for one horizontal line before and behind the conversion by a noise reduction circuit, (A) is a main signal, (B) is a subsignal, (C) is a noise signal, (D) is smear reduced. An imaging signal is shown. デジタルカメラの動作を説明するフローチャートである。It is a flowchart explaining operation | movement of a digital camera. ハニカムプラス構造のＣＣＤイメージセンサを示す概略平面図である。It is a schematic plan view showing a CCD image sensor having a honeycomb plus structure. ＷＨＡ構造のＣＣＤイメージセンサを示す概略平面図である。It is a schematic plan view showing a CCD image sensor having a WHA structure. 副信号の補間処理回路を追加した例を示すブロック図である。It is a block diagram which shows the example which added the interpolation processing circuit of the sub signal. 本発明を適用したパーソナルコンピュータの構成を示すブロック図である。It is a block diagram which shows the structure of the personal computer to which this invention is applied. 現像ソフトに基づくパーソナルコンピュータの動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the personal computer based on developing software. 副信号の補間処理を追加した例を示すフローチャートである。It is a flowchart which shows the example which added the interpolation process of the subsignal.

符号の説明Explanation of symbols

１０ デジタルカメラ
１１ 撮像レンズ
１２ ＣＣＤイメージセンサ
１３ システムコントローラ
２１ Ａ／Ｄコンバータ
２２ ノイズ低減回路
２３ デジタル信号処理回路
２５ 圧縮伸張回路
２７ メモリカード
３０ 受光素子
３０ａ 主感光部
３０ｂ 副感光部
３１ａ，３１ｂ 転送電極
３２ 垂直転送路
４０ イメージセンサ
４１ 主感光部
４２ 副感光部
５０ イメージセンサ
５１ 主感光部
５２ 副感光部
６０ 補間処理回路
７０ パーソナルコンピュータ
７１ ＣＰＵ
７８ 現像ソフト
DESCRIPTION OF SYMBOLS 10 Digital camera 11 Imaging lens 12 CCD image sensor 13 System controller 21 A / D converter 22 Noise reduction circuit 23 Digital signal processing circuit 25 Compression / decompression circuit 27 Memory card 30 Light receiving element 30a Main photosensitive part 30b Sub photosensitive part 31a, 31b Transfer electrode 32 Vertical transfer path 40 Image sensor 41 Main photosensitive portion 42 Sub photosensitive portion 50 Image sensor 51 Main photosensitive portion 52 Sub photosensitive portion 60 Interpolation processing circuit 70 Personal computer 71 CPU
78 Development software

Claims (6)

主感光部と、該主感光部より小さい受光面積を有する副感光部とを複数個備え、被写体光によって前記主感光部および前記副感光部に蓄積された信号電荷を、それぞれ電気的な主信号および副信号として出力する撮像素子を備えた撮像装置において、
前記副信号に基づいてノイズ信号を生成し、該ノイズ信号を前記主信号から減ずることによって前記主信号のノイズを低減するノイズ低減手段を設けたことを特徴とする撮像装置。 A plurality of main photosensitive sections and sub photosensitive sections having a light receiving area smaller than the main photosensitive section are provided, and signal charges accumulated in the main photosensitive section and the sub photosensitive section by subject light are respectively converted into electrical main signals. In an imaging device including an imaging device that outputs as a sub-signal,
An image pickup apparatus comprising: a noise reduction unit that generates a noise signal based on the sub-signal and reduces the noise of the main signal by subtracting the noise signal from the main signal. 前記ノイズ低減手段の前段に、前記副信号の信号数を補間処理によって変更する補間処理手段を設けたことを特徴とする請求項１記載の撮像装置。   The imaging apparatus according to claim 1, further comprising an interpolation processing unit that changes the number of sub-signals by an interpolation process before the noise reduction unit. 主感光部と、該主感光部より小さい受光面積を有する副感光部とを複数個備え、被写体光によって前記主感光部および前記副感光部に蓄積された信号電荷を、それぞれ電気的な主信号および副信号として出力する撮像素子の信号処理方法において、
前記副信号に基づいてノイズ信号を生成し、該ノイズ信号を主信号から減ずることによって前記主信号のノイズを低減することを特徴とする信号処理方法。 A plurality of main photosensitive sections and sub photosensitive sections having a light receiving area smaller than the main photosensitive section are provided, and signal charges accumulated in the main photosensitive section and the sub photosensitive section by subject light are respectively converted into electrical main signals. In the signal processing method of the image sensor that outputs as a sub signal,
A signal processing method comprising: generating a noise signal based on the sub-signal, and reducing the noise of the main signal by subtracting the noise signal from the main signal. 前記ノイズを生成する前に、前記副信号の信号数を補間処理によって変更することを特徴とする請求項３記載の信号処理方法。   4. The signal processing method according to claim 3, wherein the number of sub-signals is changed by interpolation processing before generating the noise. 主感光部と、該主感光部より小さい受光面積を有する副感光部とを複数個備え、被写体光によって前記主感光部および前記副感光部に蓄積された信号電荷を、それぞれ電気的な主信号および副信号として出力する撮像素子の信号処理をコンピュータに実行させる信号処理プログラムであって、
前記副信号を変換してノイズ信号を生成し、該ノイズ信号を主信号から減ずることによって前記主信号のノイズを低減する処理を前記コンピュータに実行させることを特徴とする信号処理プログラム。 A plurality of main photosensitive sections and sub photosensitive sections having a light receiving area smaller than the main photosensitive section are provided, and signal charges accumulated in the main photosensitive section and the sub photosensitive section by subject light are respectively converted into electrical main signals. And a signal processing program for causing a computer to execute signal processing of an image sensor that outputs as a sub-signal,
A signal processing program for generating a noise signal by converting the sub-signal and causing the computer to execute a process of reducing noise of the main signal by subtracting the noise signal from the main signal. 前記ノイズを生成する前に、前記副信号の信号数を補間処理によって変更することを特徴とする請求項５記載の信号処理プログラム。
6. The signal processing program according to claim 5, wherein the number of sub-signals is changed by interpolation processing before generating the noise.

Images