JP2006033302A - Imaging apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of attaining correction of defective pixels and a dark current of an imaged image after imaging by using a PC or the like through the use of a complicated processing algorithm and a high speed processing apparatus or executing the processing for a plurality of optional numbers of times, re-executing the processing (retrial), and attaining manual correction. <P>SOLUTION: The imaging apparatus outputs an imaging signal and information of each of configuration pixels of an imaging element. The imaging apparatus outputs the imaging signal, each output signal of each of configuration pixels of the imaging element (dark current) in the absence of incident light and information denoting whether or not pixels are defective pixels at the same time. The imaging apparatus can select an output of only the imaging signal or an output of the imaging signal and a signal including the information of each of configuration pixels of the imaging element. The imaging apparatus outputs the imaging signal subjected to defective pixel correction and dark current correction and the signal including the information of each of configuration pixels of the imaging element and can optionally revise a degree of the defective pixel correction and dark current correction in the imaging signal. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、撮像画像の圧縮記録を行う撮像装置に関するものである。   The present invention relates to an imaging apparatus that compresses and records captured images.

図１０は従来の一般的な撮像装置（ディジタルスチルカメラ）のブロック図であって、被写体からの光１はレンズ２、絞り３を通って撮像素子４に入り、電気信号に変換される。撮像素子４からの撮像素子出力信号２４は欠陥画素補正１６にて欠陥画素の補正を、欠陥画素検出６からのデータ１５により行い、次に暗電流補正２１で、暗電流の補正をメモリ２７からの予めストアされた暗電流データ１９により行う。   FIG. 10 is a block diagram of a conventional general image pickup apparatus (digital still camera). Light 1 from a subject passes through a lens 2 and a diaphragm 3 and enters an image pickup device 4 to be converted into an electric signal. The image sensor output signal 24 from the image sensor 4 corrects the defective pixel by the defective pixel correction 16 using the data 15 from the defective pixel detection 6, and then corrects the dark current from the memory 27 by the dark current correction 21. The dark current data 19 stored in advance is used.

次の信号処理５では、撮像信号に基本的な、ガンマ、ホワイトバランス、ホワイトクリップ等の信号処理を施し、画像情報圧縮７において撮像信号のファイルサイズを圧縮し、記録装置等へ画像信号出力８として出力する。   In the next signal processing 5, the image signal is subjected to basic signal processing such as gamma, white balance, and white clip, the image information compression 7 compresses the file size of the image signal, and the image signal output 8 is output to a recording device or the like. Output as.

マイクロプロセッサ９は撮影者がシャッターボタン１０を押すと、順次上述の処理を遂行すべく各ブロックの制御を行う。   When the photographer presses the shutter button 10, the microprocessor 9 controls each block so as to sequentially perform the above-described processing.

図１１は従来例のマイクロプロセッサ９の動作フローチャートの一例であって、ａにて撮影者によりシャッターボタンがＯＮ（押される）と、ｂにてＡＥ（自動露出）制御が行われ、撮像素子４への入射光量は絞り３をマイクロプロセッサ９からの絞り制御信号１１により制御し、最適に調整される。このブロックはサブルーチンとなっていて、本発明の実施例と共通であるため、詳細は実施例にて後述する。   FIG. 11 is an example of an operational flowchart of the microprocessor 9 of the prior art. When the shutter button is turned on (pressed) by the photographer at “a”, AE (automatic exposure) control is performed at “b”. The amount of incident light is adjusted optimally by controlling the diaphragm 3 with a diaphragm control signal 11 from the microprocessor 9. Since this block is a subroutine and is common to the embodiment of the present invention, details will be described later in the embodiment.

次のｃで画像を撮像し、ｄにおいてその画像の欠陥画素補正を行い、ｅで暗電流補正を行う。そして、ｏで撮影画像が図１０のブロック図上の流れで画像信号出力８として出力される。   An image is picked up at the next c, defective pixel correction of the image is performed at d, and dark current correction is performed at e. Then, the photographed image is output as an image signal output 8 in the flow on the block diagram of FIG.

次のｌで絞りをクローズし再度ｃ撮像を行い、ｆでメモリ２７に格納するが、このデータは次回撮像時のｅ暗電流補正で使用する。   The aperture is closed at the next l and c imaging is performed again, and the image is stored in the memory 27 at f. This data is used for e dark current correction at the next imaging.

ｎはスタンバイ（待機状態）で、次回撮像でのシャッターボタンＯＮまでここで待機する。   n is a standby (standby state), and waits until the shutter button is turned on in the next imaging.

尚、ｐで装置の電源ＯＮしてからの初期動作はｌの絞りをクローズから始まり、暗電流補正用の黒画像をメモリに格納し、スタンバイ状態に入り、シャーターボタンＯＮを待つ。   The initial operation after turning on the power of the apparatus at p starts from closing the aperture of l, stores the dark current correction black image in the memory, enters the standby state, and waits for the shutter button to be turned on.

特開平１０−１５５１００号公報JP-A-10-155100

従来の撮像装置において、撮像素子には、光が入力しても電気信号を出力しない欠陥画素が存在し、その画素の情報は画像信号から欠落するため、点として出力信号に混在し、不自然な絵となるのを防止するため、周辺の画素の情報より、その欠陥画素で本来出力されるであろう情報を予測して作り出す（画素補間）ことが行われている。   In a conventional imaging device, a defective pixel that does not output an electrical signal even when light is input exists in the imaging device, and information on the pixel is missing from the image signal. In order to prevent an image from becoming a correct picture, information that is supposed to be output from the defective pixel is predicted and generated from information on surrounding pixels (pixel interpolation).

図３はその説明図であって、図中の格子の１つ１つが撮像素子の画素を示し、これらの画素に中には、全く信号出力を出さない黒点、或る一定のレベルを常に出力している白点等と呼ばれる欠陥画素が存在する。   FIG. 3 is an explanatory diagram of each of the grids in the figure, each showing a pixel of the image sensor, and in these pixels, a black dot that does not output any signal and a certain level are always output. There are defective pixels called white spots.

ここで、黒点１０１に注目すると、この画素は欠陥画素であって、光が入射してもそれに対応した電気信号の出力が無いため、周囲の画素１１０〜１１７よりこの画素１０１の情報を合成する必要がある。   Here, paying attention to the black dot 101, since this pixel is a defective pixel and there is no output of an electrical signal corresponding to the incident light, information on this pixel 101 is synthesized from surrounding pixels 110-117. There is a need.

以下にその一例を示す。その情報をＩ１０１とし、周囲画素ｎ個の情報をＩ１１０〜Ｉｎとすれば、
Ｉ１０１＝（Ｉ１１０＋Ｉ１１１＋Ｉ１１２＋…＋Ｉｎ）／ｎ …（式１）
上式１において明らかなように、欠陥画素の情報は周囲の画素の情報より作り出すので、その画素の周囲の画素の分解能、即ち解像度は低下し、画質が悪化する。 An example is shown below. If the information is I101 and the information of n surrounding pixels is I110-In,
I101 = (I110 + I111 + I112 +... + In) / n (Formula 1)
As apparent from the above equation 1, the information on the defective pixel is generated from the information on the surrounding pixels, so the resolution of the surrounding pixels, that is, the resolution is lowered, and the image quality is deteriorated.

しかし、次式での補正方法を用いることにより、解像度の低下は画面の横方向だけで済む。   However, the resolution can be reduced only in the horizontal direction of the screen by using the correction method of the following equation.

Ｉ１０１＝（Ｉ１１４＋Ｉ１１３）／２ …（式２）
同様に次式では解像度の低下は画面の縦方向だけで済む。 I101 = (I114 + I113) / 2 (Formula 2)
Similarly, in the following equation, the resolution is reduced only in the vertical direction of the screen.

Ｉ１０１＝（Ｉ１１１＋Ｉ１１６）／２ …（式３）
これらの画素補間の方法を比較すると、式１は縦横斜めあらゆる方向にコントラストを持つ被写体画像に対して補間を行うことができるが、解像度は全ての方向に対し低下する。 I101 = (I111 + I116) / 2 (Formula 3)
Comparing these pixel interpolation methods, Equation 1 can perform interpolation on a subject image having contrast in all directions, but the resolution decreases in all directions.

しかし、式２或は式３は、特定の方向即ち補間に使用する画素と９０度異なる方向にコントラストがあった場合に対して全く補間が不可能である、という問題点がある。   However, Formula 2 or Formula 3 has a problem that interpolation cannot be performed at all in a case where there is a contrast in a specific direction, that is, a direction different by 90 degrees from a pixel used for interpolation.

このように画素補間の方法は撮像した被写体画像により最適な方法を切り替えることが最上の結果を得ることができるが、これを一般的なディジタルカメラに内蔵するためには、大規模な回路と、非常に複雑なプログラムが必要である。   As described above, in the pixel interpolation method, it is possible to obtain the best result by switching the optimum method depending on the captured subject image, but in order to incorporate this in a general digital camera, a large-scale circuit, A very complex program is required.

一方で、撮像素子の他の課題として、暗電流が存在する。   On the other hand, dark current exists as another problem of the image sensor.

暗電流は、図５に示すような、画素に光が入力されないときでも、出力される一定の信号で、これらは画素個々ごとに異なる値を取るので、入射光量の少ない（暗い）被写体の撮像時に、この画素ごとの暗電流のばらつきが目立ち、非常に見苦しい画となってしまう場合がある。   The dark current is a constant signal that is output even when no light is input to the pixel, as shown in FIG. 5, and these take different values for each pixel. Sometimes, the variation in dark current from pixel to pixel is conspicuous, resulting in a very unsightly image.

この画素ごとの暗電流のばらつき（暗電流ムラ）を軽減するために、従来より、下式の処理が一般的に行われている。   In order to reduce the dark current variation (dark current unevenness) for each pixel, conventionally, the following processing is generally performed.

被写体の撮像画像をＤ１、絞りを閉じて撮像した暗電流ムラのみの画像をＤ２とすれば、処理後の画像Ｄは、
Ｄ＝Ｄ１−Ｄ２ …（式４）
これにより暗電流ムラは軽減できるが、以下の課題が依然として存在している。 If the captured image of the subject is D1, and the image of only the dark current unevenness captured with the aperture closed is D2, then the processed image D is
D = D1-D2 (Formula 4)
Although dark current unevenness can be reduced by this, the following problems still exist.

１）ランダムノイズについては引き算してもゼロにはならず逆に増加するため、画質が低下する。   1) Random noise does not become zero even when subtracted and increases conversely, so the image quality deteriorates.

２）上式のＤ１，Ｄ２は時間的に全く同時に撮像したものではないので、温度の微妙な変化により大幅に値が変化する暗電流ムラに対し、完全な補正を行うことは難がある。   2) Since the above equations D1 and D2 are not taken at the same time in time, it is difficult to completely correct dark current unevenness whose value changes greatly due to a subtle change in temperature.

これらの課題に対しても、複雑な処理或は画像に応じ手動での補正を行うことにより、最上の結果を得ることができるが、やはりディジタルカメラに内蔵できる機能としては限定される。特に、１）のランダムノイズについては、一度引き算をやってしまうと増加したノイズは元に戻すことは不可能である。   Even for these problems, the best results can be obtained by performing complex processing or manual correction according to the image, but the functions that can be built into the digital camera are also limited. In particular, with regard to the random noise of 1), once the subtraction is performed, the increased noise cannot be restored.

本発明は上述の問題点に鑑みなされたもので、撮像装置の出力信号として、従来の撮像信号の他に、欠陥画素及び暗電流に関する情報を含ませることにより、撮像後に、撮像画像に対する欠陥画素及び暗電流補正をＰＣ等を使用して複雑な処理アルゴリズム、高速の処理装置を使用して行うこと、或はその処理の任意複数回の実施、更に、再度の実行（やり直し）、手動による補正も可能とする撮像装置を提供することを目的とする。   The present invention has been made in view of the above-described problems. By including information related to a defective pixel and dark current in addition to a conventional imaging signal as an output signal of an imaging apparatus, a defective pixel corresponding to a captured image after imaging. And dark current correction using a complicated processing algorithm using a PC or the like, using a high-speed processing device, or performing the processing any number of times, further executing (redoing), manual correction It is another object of the present invention to provide an imaging device that can also be used.

上記目的を達成するため、請求項１記載の発明は、撮像信号と、撮像素子の構成画素個々の情報を出力することを特徴とする。   In order to achieve the above object, the invention described in claim 1 is characterized in that it outputs an image signal and information on each pixel constituting the image sensor.

請求項２記載の発明は、請求項１記載の発明において、撮像信号と、入射光の無い時の撮像素子の構成画素個々の出力信号（暗電流）を出力することを特徴とする。   The invention described in claim 2 is characterized in that, in the invention described in claim 1, the imaging signal and the output signal (dark current) of each pixel constituting the imaging device when there is no incident light are output.

請求項３記載の発明は、請求項１記載の発明において、撮像信号と、撮像素子の構成画素個々につき欠陥画素であるか否かの情報を出力することを特徴とする。   According to a third aspect of the present invention, in the first aspect of the present invention, the imaging signal and information indicating whether each pixel constituting the imaging element is a defective pixel are output.

請求項４記載の発明は、撮像信号と、入射光の無い時の撮像素子構成画素個々の出力信号（暗電流）と、その画素が欠陥画素であるか否かの情報を同時に出力することを特徴とする。   The invention according to claim 4 outputs simultaneously an imaging signal, an output signal (dark current) of each pixel constituting the imaging element when there is no incident light, and information on whether or not the pixel is a defective pixel. Features.

請求項５記載の発明は、撮像信号のみと、撮像信号に加えその撮像素子の構成画素個々の情報を含む信号を、出力として切り換えが可能であることを特徴とする。   The invention described in claim 5 is characterized in that it is possible to switch only the imaging signal and a signal including information on each pixel constituting the imaging element in addition to the imaging signal as an output.

請求項６記載の発明は、請求項１記載の発明において、欠陥画素補正及び暗電流補正を行った撮像信号と、撮像素子の構成画素個々の情報を含む信号を出力し、その撮像信号中の欠陥画素補正及び暗電流補正の補正の度合いを任意に変更可能であることを特徴とする。   According to a sixth aspect of the present invention, in the first aspect of the present invention, an image pickup signal subjected to defective pixel correction and dark current correction and a signal including information on each pixel constituting the image pickup element are output, The degree of correction of defective pixel correction and dark current correction can be arbitrarily changed.

請求項７記載の発明は、請求項１〜５の何れかに記載の発明において、信号圧縮方式としてＪＰＥＧ２０００又はＭＪＰＥＧ２０００を使用し、撮像信号の他に、その撮像素子の構成画素個々の情報を別コンポーネントとして構成し、同一ファイルとして出力することを特徴とする。   The invention according to claim 7 is the invention according to any one of claims 1 to 5, wherein JPEG2000 or MJPEG2000 is used as the signal compression method, and in addition to the image pickup signal, information on each pixel constituting the image pickup device is separated. It is configured as a component and is output as the same file.

本発明によれば、撮影画像の出力に、欠陥画素と暗電流の情報を含ませることにより、撮像後に、撮像画像に対する欠陥画素及び暗電流補正を、複雑な処理アルゴリズムを使用し、ＰＣ等高速の処理装置を使用して行うこと、或は何度でも行ったり、やり直しも可能、更に手動による補正も可能となり、その結果として求め得る最高の撮像画像を得ることができる。   According to the present invention, by including the information of defective pixels and dark current in the output of the captured image, the defective pixels and dark current correction for the captured image is performed using a complicated processing algorithm after image capturing, such as a high-speed PC or the like. This processing apparatus can be used, or can be performed over and over again, and can be corrected manually. As a result, the best captured image can be obtained.

又、従来の撮像装置に内蔵した欠陥画素及び暗電流補正機能の使用と、本発明の欠陥画素と暗電流の情報を撮影画像出力に含ませることを切換可能とし、使用用途に応じて選択できるようにしたことにより、例えば、撮影者が、通常は内蔵の欠陥画素と暗電流補正の機能を使用し、特別に選択した画像のみに欠陥画素と暗電流の情報を撮像画像に含ませるようにする等、多様な用途への対応が可能となる。   In addition, it is possible to switch between using the defective pixel and dark current correction function built in the conventional image pickup device and including the information of the defective pixel and dark current of the present invention in the photographed image output, and can select according to the intended use. By doing so, for example, a photographer normally uses a built-in defective pixel and dark current correction function, and includes information on defective pixels and dark current in a captured image only in a specially selected image. For example, it can be used for various purposes.

以下に本発明の実施の形態を添付図面に基づいて説明する。   Embodiments of the present invention will be described below with reference to the accompanying drawings.

＜実施の形態１＞
以下、図面に従い本発明の実施例を説明する。 <Embodiment 1>
Embodiments of the present invention will be described below with reference to the drawings.

図１は本発明の実施の形態１に係る撮像装置の構成を示すブロック図であり、図示の撮像装置においては、被写体からの光１はレンズ２に入り、絞り３を経て撮像素子４に導かれ電気信号に変換され、撮像素子出力信号２４となるが、この撮像画像は絞りをクローズして撮像した第１画像と、通常の被写体を撮像した第２画像との２つを順次撮像するものとして以下を説明する。   FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention. In the illustrated imaging apparatus, light 1 from a subject enters a lens 2 and is guided to an imaging element 4 through a diaphragm 3. It is converted into an electrical signal and becomes an image sensor output signal 24. This captured image sequentially captures two images, a first image captured with the aperture closed and a second image captured of a normal subject. The following will be described.

第１画像の場合は、欠陥画素検出６で、欠陥画素を通常に機能している画素から選別する。   In the case of the first image, the defective pixel detection 6 selects the defective pixels from the normally functioning pixels.

欠陥画素の検出は多くの方法が考案されているが、その一例を以下に示す。   Many methods have been devised for detecting defective pixels, and an example is shown below.

１）撮像画像の信号の連続性を画素単位で両隣と比較し、大きな変化がある場合を欠陥画素とする（白欠陥）
２）信号の全くない（暗電流も出力しない）画素を欠陥画素とする（黒欠陥）
以上の方法で検出した欠陥画素の情報１５は欠陥画素マーキング１４に入力される。 1) Compare the continuity of the signal of the picked-up image with both neighbors in units of pixels, and if there is a large change, the pixel is defective (white defect)
2) A pixel having no signal at all (no dark current is output) is defined as a defective pixel (black defect).
The defective pixel information 15 detected by the above method is input to the defective pixel marking 14.

図４は欠陥画素マーキングの説明図であって、欠陥画素としてマーキングを行う一例を示し、欠陥画素情報１５により、欠陥画素として検出した画素を全て白レベルとしている。これを前述の第１画像に対して行い、その出力信号はメモリ２７に格納される。   FIG. 4 is an explanatory diagram of defective pixel marking, showing an example in which marking is performed as a defective pixel. All pixels detected as defective pixels based on the defective pixel information 15 are set to a white level. This is performed on the first image, and the output signal is stored in the memory 27.

次に、第２画像の場合は欠陥画素検出６と、欠陥画素マーキング１４は機能を停止し、撮像信号はそのまま通過し、メモリ２７に格納される。   Next, in the case of the second image, the defective pixel detection 6 and the defective pixel marking 14 stop functioning, and the imaging signal passes as it is and is stored in the memory 27.

この時点で、メモリ２７には、第１、第２の２枚の画像が格納されていて、これを順次読み出し、信号処理５に入り、この中では色分離、ホワイトバランス、γ処理等の処理が行われ、画像情報圧縮７に入力される。   At this point, the memory 27 stores the first and second images, which are read out sequentially and enter the signal processing 5, where processing such as color separation, white balance, γ processing, etc. Is input to the image information compression unit 7.

メモリは第１、第２の２枚の画像を信号処理５に入力するに当たり、信号のタイミングを揃えるためのもので、マイクロプロセッサ９からのメモリ制御信号２６により信号の書き込み、読み出しを制御する。   The memory is used to align the timing of the signals when the first and second images are input to the signal processing 5, and signal writing and reading are controlled by a memory control signal 26 from the microprocessor 9.

そして、最終的に圧縮された圧縮出力信号８が出力されるが、この実施の形態では、動画像情報の圧縮アルゴリズムとしてＪＰＥＧ２０００の可逆変換（ロスレス）モードを使用している。   Then, the compressed output signal 8 finally compressed is output. In this embodiment, the JPEG2000 reversible conversion (lossless) mode is used as a moving image information compression algorithm.

図７は画像情報圧縮７に含まれるＪＰＥＧ２０００符号化器（可逆変換モード）の全体構成を図示したものである。   FIG. 7 illustrates the overall configuration of a JPEG2000 encoder (reversible conversion mode) included in the image information compression 7.

信号処理５から、本符号化器に入力される画像信号データをコンポーネント変換部２０１で色空間変換を施し、変換された各色成分の信号データを各別コンポーネントとして出力する。   From the signal processing 5, the image signal data input to the encoder is subjected to color space conversion by the component conversion unit 201, and the converted signal data of each color component is output as a separate component.

又、ここで更なる別コンポーネントとして別の画像データを含ませることができ、本実施の形態では上述の第２画像に加え、第１画像を別コンポーネントとして処理を行う。   Further, another image data can be included as another component here, and in this embodiment, the first image is processed as another component in addition to the second image described above.

尚、コンポーネント構成制御信号２８は本実施の形態では使用しない。   The component configuration control signal 28 is not used in the present embodiment.

以下の説明は上述の方法にて得られた各画像コンポーネント毎に行われる処理を説明するものである。   The following description explains the processing performed for each image component obtained by the above method.

タイル分割部２０２は、入力した画像信号データを複数個の所定の大きさの矩形タイル領域に分割し出力する。このタイルの大きさは最大で各色成分の信号データ全体の大きさまで設定とすることができ、この場合は実質的にタイル分割は行われないことになる。尚、後述の説明は上述の方法にて得られた各色成分のタイル毎に行われる処理を説明するものである。   The tile dividing unit 202 divides the input image signal data into a plurality of rectangular tile areas having a predetermined size and outputs the divided image signal data. The size of the tile can be set up to the maximum size of the entire signal data of each color component. In this case, the tile division is not substantially performed. The following description will explain the processing performed for each tile of each color component obtained by the above method.

離散ウェーブレット変換部２０３は入力した各タイルの画像信号データに対して２次元の離散ウェーブレット変換を施して周波数成分に分解し、所定複数の周波数帯域のそれぞれに属する複数の変換係数群（サブバンド）を出力する。   The discrete wavelet transform unit 203 performs two-dimensional discrete wavelet transform on the input image signal data of each tile to decompose it into frequency components, and a plurality of transform coefficient groups (subbands) belonging to each of a plurality of predetermined frequency bands. Is output.

尚、離散ウェーブレット変換部２０３では符号化を行う。可逆符号化を行う場合にはウェーブレット変換後の係数が整数になる整数型のフィルタが用いられる。   The discrete wavelet transform unit 203 performs encoding. When performing lossless encoding, an integer type filter in which the coefficient after wavelet transform is an integer is used.

エントロピ符号化部２０５は、入力したサブバンドを更に複数の矩形領域ブロック（以降、「コードブロック」と呼ぶ）に分割（サブバンドと矩形ブロックが同サイズの時は分割しない）し、このコードブロックを単位として独立にエントロピ符号化を行い、符号化データを生成し、圧縮信号として出力する。   The entropy encoding unit 205 further divides the input subband into a plurality of rectangular area blocks (hereinafter referred to as “code blocks”) (not divided when the subband and the rectangular block have the same size), and this code block Entropy encoding is performed independently with the unit as a unit to generate encoded data and output as a compressed signal.

ここで、図１に戻ると、マイクロプロセッサ９は、シャッターボタン１０よりの撮影者からの撮像の指示を受け、以後、所定の手順で絞り制御信号１１、撮像制御信号１２、欠陥画素マーキング信号１３、メモリ制御信号２６を介して本撮像装置の制御を行う。   Returning to FIG. 1, the microprocessor 9 receives an imaging instruction from the photographer from the shutter button 10, and thereafter, the aperture control signal 11, the imaging control signal 12, and the defective pixel marking signal 13 in a predetermined procedure. Then, the imaging apparatus is controlled via the memory control signal 26.

図２は本実施の形態におけるマイクロプロセッサ９の動作フローチャートであって、ｐで撮像装置の電源がＯＮになると、ｌにて絞りをクローズし、ｃ撮像を行って第１画像を得る。   FIG. 2 is an operation flowchart of the microprocessor 9 in the present embodiment. When the power of the imaging apparatus is turned on at p, the aperture is closed at l and c imaging is performed to obtain a first image.

次に、ｍ欠陥画素をマーキングし、ｆメモリに格納し、ｎスタンバイ（待機）状態に入る。   Next, m defective pixels are marked, stored in the f memory, and an n standby (standby) state is entered.

そして、ａで撮影者よりのシャッターボタンＯＮ（撮像）の指示を受けると、ｂでＡＥ（自動露出制御）を行う。これはサブルーチンになっていて、そのフローを図６に示す。   When a shutter button ON (imaging) instruction is received from the photographer at a, AE (automatic exposure control) is performed at b. This is a subroutine, and its flow is shown in FIG.

図６において、マイクロプロセッサには撮像素子からの撮像素子出力信号２４が入力されていて予めそのレベルを読み込んでいる。   In FIG. 6, the image sensor output signal 24 from the image sensor is input to the microprocessor, and the level is read in advance.

次に、基準レベルデータＢからＡＥというサーボ動作を行うための基準レベルの読み込みＡを行う。   Next, the reference level reading A for performing the servo operation AE from the reference level data B is performed.

次に、Ｃにて信号のレベルと基準レベルを比較し、同様即ちＡＥ制御が最適であればこのサブルーチンは収束し次に進む。   Next, the signal level is compared with the reference level at C. If the AE control is the same, that is, this subroutine converges and proceeds to the next.

同様でない場合として、信号レベルの小さい場合はＥにて絞り値を減少（開ける）制御を、絞り制御信号１１により行い、Ｃに戻る。   If the signal level is small, the aperture value is reduced (opened) at E when the signal level is small, and the aperture control signal 11 is used to return to C.

信号レベルの大きい場合は、絞り値を増加（絞る）制御を同様に行いＣに戻る。   If the signal level is high, the control for increasing (squeezing) the aperture value is performed in the same manner, and the process returns to C.

以上の動作により、撮像素子出力信号２４のレベルは被写体の変化がある場合にも一定に保たれる。   With the above operation, the level of the image sensor output signal 24 is kept constant even when the subject changes.

図２に戻ると、ＡＥ制御が最適になった状態でｃ撮像を行い、ｆでメモリに格納する。   Returning to FIG. 2, c imaging is performed in a state where the AE control is optimized, and the image is stored in the memory by f.

以上のように、メモリに格納された２枚の画像、第１画像として暗電流画像に加えて、欠陥画素にマーキングを施した信号、第２画像については、被写体の撮像画像そのもの、の各々画像をｏメモリからを出力し、５信号処理を介して、７画像情報圧縮においてＪＰＥＧ２０００の別コンポーネントとして圧縮し、１つのファイルとして出力する。   As described above, in addition to the two images stored in the memory, the dark current image as the first image, the signal in which the defective pixel is marked, and the second image, the captured image of the subject itself, respectively. Is output from the o memory, compressed as a separate component of JPEG2000 in 7 image information compression via 5 signal processing, and output as one file.

＜実施の形態２＞
図８は本発明の実施の形態２に係る撮像装置の構成を示すブロック図であって、上述の実施の形態１と基本的には同様で、更に、機能を追加した例である。従って、以下に、この実施の形態に付け加えられた機能のみを説明する。 <Embodiment 2>
FIG. 8 is a block diagram showing the configuration of the image pickup apparatus according to Embodiment 2 of the present invention, which is basically the same as Embodiment 1 described above, and is an example in which functions are further added. Therefore, only the functions added to this embodiment will be described below.

１６は欠陥画素補正で、欠陥画素検出６から出力された欠陥画素情報１５により、第２画像に対して欠陥画素補正を行う。   Reference numeral 16 denotes defective pixel correction, which performs defective pixel correction on the second image based on the defective pixel information 15 output from the defective pixel detection 6.

その方法については上述したが、２２は欠陥画素の補正度合いの調整ノブであって、具体的な動作としては、一例として、前記式１〜式３各式何れかの分母の数字を可変することにより実現可能である。   Although the method has been described above, reference numeral 22 denotes an adjustment knob for the degree of correction of defective pixels. As a specific operation, for example, the denominator of any one of the expressions 1 to 3 can be changed. Can be realized.

１７は欠陥画素補正を入り／切りするための制御信号で欠陥画素補正を第２画像のみに行うよう、マイクロプロセッサ９により制御される。   Reference numeral 17 denotes a control signal for turning on / off defective pixel correction, which is controlled by the microprocessor 9 so that defective pixel correction is performed only on the second image.

２１は暗電流補正で、メモリ２７に格納されている第１画像を使用し、上述の式４により第２画像に対し暗電流補正を行う。又、２３は暗電流補正度合い調整ノブであって、具体的な動作例として、式４におけるＤ２のレベルを減少させることにより実現可能である。   Reference numeral 21 denotes dark current correction, which uses the first image stored in the memory 27 and performs dark current correction on the second image by the above-described equation 4. Reference numeral 23 denotes a dark current correction degree adjustment knob, which can be realized by reducing the level of D2 in Equation 4 as a specific operation example.

２０は暗電流補正を入り／切りするための制御信号で暗電流補正を第２画像のみに行うよう、マイクロプロセッサ９により制御される。   Reference numeral 20 denotes a control signal for turning on / off dark current correction, which is controlled by the microprocessor 9 so that dark current correction is performed only on the second image.

又、２４は動作モードの切換スイッチで、画像信号出力として、以下の１）、２）を切換可能としたものである。   Reference numeral 24 denotes an operation mode changeover switch which can switch the following 1) and 2) as an image signal output.

１）第２画像の信号のみでコンポーネントを構成し、出力
２）第２画像と、第１画像でコンポーネントを構成し出力
上記何れの場合も第２画像への欠陥画素、暗電流各補正は可能であり、その補正の度合いは２２及び２３のノブで調整可能。 1) The component is composed only of the signal of the second image, and the output 2) The component is composed of the second image and the first image and output. In any of the above cases, it is possible to correct each defective pixel and dark current in the second image. The degree of correction can be adjusted with the 22 and 23 knobs.

このスイッチにより、出力信号として通常の欠陥画素、暗電流補正を撮像装置内で行った画像信号のみ、と、その信号に加え暗電流情報と欠陥画素情報を含む画像を切換えることが可能となり、更に各補正の調整により、全く補正をしない第２画像の出力も可能である。   With this switch, it is possible to switch between normal defective pixels as output signals, only image signals that have undergone dark current correction within the imaging device, and images that include dark current information and defective pixel information in addition to those signals. By adjusting each correction, it is possible to output the second image without any correction.

図９は本発明の実施の形態２におけるマイクロプロセッサの動作フローチャートで、図２の実施の形態１のマイクロプロセッサの動作フローチャートをベースとし、以下を追加している。   FIG. 9 is an operation flowchart of the microprocessor according to the second embodiment of the present invention. The following is added based on the operation flowchart of the microprocessor according to the first embodiment of FIG.

ｄ欠陥画素補正は第２画像に対し欠陥画素補正を行う。   In d defective pixel correction, defective pixel correction is performed on the second image.

ｅ暗電流補正は第２画像に対し、メモリに格納された第１画像を使用し、暗電流補正を行う。   e Dark current correction is performed on the second image using the first image stored in the memory.

ｇモード切替スィッチの状態をｈで読み込みを行い、
ｉの出力画像の選択においてｊ第１画像と第２画像を出力、或はｋ第２画像のみを出力する。 Read the status of the g mode switch with h,
In selecting the output image of i, the j first image and the second image are output, or only the k second image is output.

本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on Embodiment 1 of this invention. 本発明の実施の形態１におけるマイクロプロセッサの動作フローチャートである。3 is an operation flowchart of the microprocessor according to the first embodiment of the present invention. 欠陥画素の説明図である。It is explanatory drawing of a defective pixel. 欠陥画素マーキングの説明図である。It is explanatory drawing of a defective pixel marking. 暗電流の説明図である。It is explanatory drawing of a dark current. ＡＥ制御サブルーチン（ｂ）におけるマイクロプロセッサの動作フローチャートである。It is an operation | movement flowchart of the microprocessor in AE control subroutine (b). ＪＰＥＧ２０００符号化器（可逆圧縮モード）の構成である。This is a configuration of a JPEG2000 encoder (lossless compression mode). 本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device which concerns on Embodiment 2 of this invention. 本発明の実施の形態２におけるマイクロプロセッサの動作フローチャートである。It is an operation | movement flowchart of the microprocessor in Embodiment 2 of this invention. 従来例のブロック図である。It is a block diagram of a prior art example. 従来例のマイクロプロセッサの動作フローチャートである。It is an operation | movement flowchart of the microprocessor of a prior art example.

符号の説明Explanation of symbols

１ 被写体からの光
２ レンズ
３ 絞り（アイリス）
４ 撮像素子
５ 信号処理
６ 欠陥画素検出
７ 画像情報圧縮
８ 画像信号出力（記録装置の入力へ）
９ マイクロプロセッサ
１０ シャッターボタン
１１ 絞り制御信号
１２ 撮像制御信号
１３ 欠陥画素マーキング制御信号
１４ 欠陥画素マーキング
１５ 欠陥画素情報
１６ 欠陥画素補正
１７ 欠陥画素補正制御信号
１８ 暗電流補正制御信号
１９ 暗電流情報
２０ モード切り替えスィッチ
２１ 暗電流補正
２２ 欠陥画素補正度合い調整
２３ 暗電流補正度合い調整
２４ 撮像素子出力信号
２６ メモリ制御信号
２７ メモリ
２８ コンポーネント構成制御信号
１０１ 欠陥画素（黒欠陥）
１０２ 欠陥画素（白欠陥）
１０３ 撮像素子上の画素
１０６ マーキングされた欠陥画素
１１０〜１１７ 欠陥画素の隣接画素
２０１ コンポーネント変換部
２０２ タイル分割部
２０３ 離散ウェーブレット変換部
２０５ エントロピ符号化部
２０６ 符号列形成部
ａ シャッタースィッチＯＮ
ｂ ＡＥ制御（サブルーチン）
ｃ 撮像
ｄ 欠陥画素補正
ｅ 暗電流補正
ｆ メモリに格納
ｇ モード切替スィッチの状態
ｈ モード切替スィッチの状態の読み込み
ｉ 出力画像の選択
ｊ 第１画像と第２画像を出力
ｋ 第１画像のみを出力
ｌ 絞りをクローズ
ｍ 欠陥画素をマーキング
ｎ スタンバイ
ｏ 画像信号を出力
ｐ 電源ＯＮ
ｑ メモリより読み出し
Ａ 基準レベルの読み込み
Ｂ 基準レベルデータ
Ｃ 信号レベルと基準レベルの比較
Ｄ 絞り値増加（絞る）
Ｅ 絞り値減少（開ける） 1 Light from subject 2 Lens 3 Aperture (iris)
4 Image sensor 5 Signal processing 6 Detect defective pixels 7 Image information compression 8 Image signal output (to input of recording device)
9 Microprocessor 10 Shutter Button 11 Aperture Control Signal 12 Imaging Control Signal 13 Defective Pixel Marking Control Signal 14 Defective Pixel Marking 15 Defective Pixel Information 16 Defective Pixel Correction 17 Defective Pixel Correction Control Signal 18 Dark Current Correction Control Signal 19 Dark Current Information 20 Mode Switching switch 21 Dark current correction 22 Defect pixel correction degree adjustment 23 Dark current correction degree adjustment 24 Image sensor output signal 26 Memory control signal 27 Memory 28 Component configuration control signal 101 Defective pixel (black defect)
102 defective pixel (white defect)
DESCRIPTION OF SYMBOLS 103 Pixel on image pick-up element 106 Marked defective pixel 110-117 Adjacent pixel of defective pixel 201 Component conversion part 202 Tile division part 203 Discrete wavelet conversion part 205 Entropy encoding part 206 Code sequence formation part a Shutter switch ON
b AE control (subroutine)
c Image capture d Defective pixel correction e Dark current correction f Store in memory g Mode switch switch status h Mode switch switch status read i Output image selection j Output first and second images k Output first image only l Close aperture m Mark defective pixels n Standby o Output image signal p Power ON
q Read from memory A Read reference level B Reference level data C Compare signal level and reference level D Increase aperture value
E Aperture value decrease (open)

Claims (7)

撮像信号と、撮像素子の構成画素個々の情報を出力することを特徴とする撮像装置。   An image pickup apparatus that outputs an image pickup signal and information on each pixel constituting the image pickup element. 撮像信号と、入射光の無い時の撮像素子の構成画素個々の出力信号（暗電流）を出力することを特徴とする請求項１記載の撮像装置。   The imaging apparatus according to claim 1, wherein the imaging apparatus outputs an imaging signal and an output signal (dark current) of each pixel constituting the imaging element when there is no incident light. 撮像信号と、撮像素子の構成画素個々につき欠陥画素であるか否かの情報を出力することを特徴とする請求項１記載の撮像装置。   2. The image pickup apparatus according to claim 1, wherein the image pickup signal and information indicating whether each pixel constituting the image pickup device is a defective pixel are output. 撮像信号と、入射光の無い時の撮像素子構成画素個々の出力信号（暗電流）と、その画素が欠陥画素であるか否かの情報を同時に出力することを特徴とする撮像装置。   An image pickup apparatus that simultaneously outputs an image pickup signal, an output signal (dark current) of each pixel constituting the image pickup element when there is no incident light, and information on whether or not the pixel is a defective pixel. 撮像信号のみと、撮像信号に加えその撮像素子の構成画素個々の情報を含む信号を、出力として切り換えが可能であることを特徴とする撮像装置。   An imaging apparatus capable of switching only an imaging signal and a signal including information on each pixel constituting the imaging element in addition to the imaging signal as an output. 欠陥画素補正及び暗電流補正を行った撮像信号と、撮像素子の構成画素個々の情報を含む信号を出力し、その撮像信号中の欠陥画素補正及び暗電流補正の補正の度合いを任意に変更可能であることを特徴とする撮像装置。   Outputs an image signal that has been subjected to defective pixel correction and dark current correction, and a signal that contains information on each pixel constituting the image sensor, and the degree of correction of defective pixel correction and dark current correction in the image signal can be changed arbitrarily. An imaging device characterized by being: 信号圧縮方式としてＪＰＥＧ２０００又はＭＪＰＥＧ２０００を使用し、撮像信号の他に、その撮像素子の構成画素個々の情報を別コンポーネントとして構成し、同一ファイルとして出力することを特徴とする請求項１〜５の何れかに記載の撮像装置。   6. JPEG2000 or MJPEG2000 is used as a signal compression method, and in addition to an image pickup signal, information of individual pixels constituting the image pickup device is formed as a separate component and output as the same file. An imaging apparatus according to claim 1.

Images