JP2014004103A

JP2014004103A - Endoscope apparatus

Info

Publication number: JP2014004103A
Application number: JP2012141223A
Authority: JP
Inventors: Tetsushi Kobayashi; 徹至小林
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2012-06-22
Filing date: 2012-06-22
Publication date: 2014-01-16

Abstract

PROBLEM TO BE SOLVED: To surely remove noise components generated in observation images, in an endoscope apparatus which performs imaging by using a CMOS image sensor or the like.SOLUTION: In the endoscope apparatus including the CMOS image sensor, exposure and light shielding are alternately repeated at the interval of 1/60 second by a rotary shutter. Pixel signals of a subject image generated during an exposure period are read in a line order. Along with that, during a light shielding period, reset signals are outputted prescribed time J after the end of reading the pixel signals on each line. Further, after the reset signals are outputted, the pixel signals obtained by the exposure area read during the light shielding period, and the noise components are computed. Then, noise removing processing is performed.

Description

本発明は、器官内壁などの被写体を撮像する内視鏡装置に関し、特に、電子シャッタによる露光制御に関する。 The present invention relates to an endoscope apparatus that images a subject such as an inner wall of an organ, and more particularly to exposure control using an electronic shutter.

電子内視鏡装置では、ビデオスコープの先端部にイメージセンサ（撮像素子）を備えている。ＣＭＯＳイメージセンサの場合、グローバルシャッタ（ライン露光）に従い、行（水平ライン）ごとに順次画素信号を読み出し、リセット信号をライン毎に出力する（例えば、特許文献１参照）。 In an electronic endoscope apparatus, an image sensor (imaging device) is provided at the distal end portion of a video scope. In the case of a CMOS image sensor, pixel signals are sequentially read for each row (horizontal line) according to a global shutter (line exposure), and a reset signal is output for each line (see, for example, Patent Document 1).

この場合、各ラインの露光期間が順次ずれるため、動く被写体を撮像すると、画像にいわゆる歪みが生じる。これを解消するため、ＣＭＯＳイメージセンサにグローバルシャッタ機能を持たせる構成が知られている。グローバルシャッタの場合、全行同時に蓄積電荷を吐き出すことにより画素配列全体に対して同時リセットを行ない、露光開始時間をライン間で一致させる。 In this case, since the exposure periods of the respective lines are sequentially shifted, so-called distortion occurs in the image when a moving subject is imaged. In order to solve this problem, a configuration in which a CMOS image sensor has a global shutter function is known. In the case of the global shutter, all the rows are discharged simultaneously, thereby simultaneously resetting the entire pixel array and matching the exposure start times between the lines.

しかしながら、グローバルシャッタでは、画素に光が漏れこむことによってノイズが生じる。これを防ぐ方法として、ロータリーシャッタなどメカニカルシャッタを用いて露光期間と遮光期間を交互に作り出し、遮光期間中にグローバルシャッタを働かせる方法が知られている（特許文献２参照）。 However, in the global shutter, noise occurs due to light leaking into the pixels. As a method for preventing this, there is known a method in which an exposure period and a light shielding period are alternately generated using a mechanical shutter such as a rotary shutter, and a global shutter is operated during the light shielding period (see Patent Document 2).

特開２００９−２５４７３６号公報JP 2009-254736 A 特開２００６−１９１２３６号公報JP 2006-191236 A

グローバルシャッタを働かせた場合、露光開始時間を一致させることができても、１フレーム分の画素信号を同時に読み出すことはできず、ラインごとに順次読み出される。そのため、画素信号の読み出し開始されるまでの時間が、ラインごとに異なる。 When the global shutter is activated, even if the exposure start times can be matched, the pixel signals for one frame cannot be read out simultaneously, but are read out sequentially for each line. Therefore, the time until the pixel signal readout starts is different for each line.

ＣＭＯＳイメージセンサ等の場合、センサ傍に回路が実装されているため、熱の発生および回路動作などに起因して、ノイズが画素信号に乗りやすい。特に、回路近傍の画素ではノイズ量が相対的に大きくなり、画像全体で見るとノイズにバラツキがある。そのため、ＯＢ（黒）レベルに基いて画像全体に対し一律的なノイズ除去処理を行っても、十分にノイズを除去することができない。 In the case of a CMOS image sensor or the like, since a circuit is mounted beside the sensor, noise is likely to ride on the pixel signal due to heat generation and circuit operation. In particular, the amount of noise is relatively large in pixels in the vicinity of the circuit, and the noise varies when viewed in the entire image. Therefore, even if uniform noise removal processing is performed on the entire image based on the OB (black) level, noise cannot be removed sufficiently.

したがって、メカニカルシャッタを利用する露光制御において、ラインごとに不均一に生じるノイズを確実に除去することが求められる。 Therefore, in exposure control using a mechanical shutter, it is required to surely remove noise that occurs unevenly for each line.

本発明の内視鏡装置は、Ｘ−Ｙ独立型の撮像素子と、光源からの光を遮光する遮光部材と、露光期間と遮光期間が交互に繰り返されるように、遮光部材を駆動する光量調整部と、遮光期間中、その前の露光期間において撮像素子に生成された１フレーム分の画素信号を１ラインずつ順に読み出す撮像素子駆動部と、読み出された１フレーム分の画素信号からノイズ成分を除去するノイズ除去処理部とを備える。 The endoscope apparatus according to the present invention includes an XY independent imaging device, a light shielding member that shields light from the light source, and a light amount adjustment that drives the light shielding member so that the exposure period and the light shielding period are alternately repeated. An image sensor driving unit that sequentially reads out one frame of pixel signals generated by the image sensor in the previous exposure period during the light shielding period, and a noise component from the read pixel signals of one frame A noise removal processing unit for removing the noise.

例えば、撮像素子駆動部は、プログレッシブ出力に従い、１フィールド期間で１フレーム分の画素信号を読み出すことができる。また、遮光部材として、ロータリーシャッタを適用することが可能である。 For example, the image sensor driving unit can read out pixel signals for one frame in one field period according to progressive output. A rotary shutter can be applied as the light shielding member.

本発明の撮像素子駆動部は、遮光期間中、各ラインに対するリセット信号を、そのラインの画素信号読み出し終了に応じて出力し、さらに、その遮光期間中、リセット信号出力後に各ラインで生成される画素信号（ここでは、遮光画素信号という）を読み出し、ノイズ除去処理部が、遮光画素信号からノイズ成分をラインごとに求める。 The image sensor driving unit of the present invention outputs a reset signal for each line during the light shielding period in response to the completion of pixel signal readout of the line, and is generated for each line after the reset signal is output during the light shielding period. A pixel signal (here, referred to as a light-shielded pixel signal) is read, and a noise removal processing unit obtains a noise component from the light-shielded pixel signal for each line.

例えば、ノイズ除去処理部は、画素信号の露光期間と、遮光画素信号の露光期間に基いて、遮光画素信号からノイズ値をライン毎に演算することが可能である。 For example, the noise removal processing unit can calculate a noise value for each line from the light-shielded pixel signal based on the exposure period of the pixel signal and the exposure period of the light-shielded pixel signal.

撮像素子駆動部が、各ライン全体に渡って遮光画素信号全体を読み出すことが可能である。あるいは、遮光画素信号の読み出しを早くするため、撮像素子駆動部が、各ラインの一部遮光画素信号を読み出すことも可能である。 The image sensor driving unit can read out the entire light-shielded pixel signal over the entire line. Alternatively, in order to speed up reading of the light-shielded pixel signal, the image sensor driving unit can also read a part of the light-shielded pixel signal of each line.

画素信号読み出し終了からリセット信号出力までの期間は非常に短いため、トータルの電荷蓄積時間にはさほど影響しない。しかしながら、各ラインのトータル電荷蓄積時間を完全に等しくするため、撮像素子駆動部は、画素信号読み出し終了からリセット信号出力までの期間が各ラインで等しくなるように、リセット信号を出力してもよい。 Since the period from the end of reading the pixel signal to the output of the reset signal is very short, the total charge accumulation time is not significantly affected. However, in order to make the total charge accumulation time of each line completely equal, the image sensor driving unit may output the reset signal so that the period from the end of reading the pixel signal to the output of the reset signal is equal for each line. .

撮像素子駆動部が、各ラインの遮光画素信号読み出し終了に応じて、遮光期間中に後段リセット信号を出力することが可能である。例えば撮像素子駆動部は、遮光画素信号読み出し終了から後段リセット信号出力までの期間が各ラインで等しくなるように、後段リセット信号を出力することが可能である。 The image sensor driving unit can output a post-stage reset signal during the light shielding period in response to the completion of reading the light shielding pixel signal of each line. For example, the image sensor driving unit can output the rear stage reset signal so that the period from the end of reading out the light-shielded pixel signal to the output of the rear stage reset signal is equal for each line.

ＣＭＯＳイメージセンサなどを使用して撮像する内視鏡装置において、観察画像に生じるノイズ成分を確実に除去することができる。 In an endoscope apparatus that captures an image using a CMOS image sensor or the like, a noise component generated in an observation image can be reliably removed.

第１の実施形態である電子内視鏡装置のブロック図である。It is a block diagram of the electronic endoscope apparatus which is 1st Embodiment. 光量調整部材を示した図である。It is the figure which showed the light quantity adjustment member. 画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。It is the figure which showed the timing chart of pixel signal read-out and electronic shutter operation | movement. 第２の実施形態における画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。It is the figure which showed the timing chart of pixel signal read-out and electronic shutter operation | movement in 2nd Embodiment. 第３の実施形態における画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。It is the figure which showed the timing chart of pixel signal read-out and electronic shutter operation | movement in 3rd Embodiment.

以下では、図面を参照して本実施形態である電子内視鏡装置について説明する。 Hereinafter, the electronic endoscope apparatus according to the present embodiment will be described with reference to the drawings.

図１は、第１の実施形態である電子内視鏡装置のブロック図である。 FIG. 1 is a block diagram of an electronic endoscope apparatus according to the first embodiment.

電子内視鏡装置は、その挿入部分が体内へ挿入されるビデオスコープ１０と、プロセッサ３０とを備え、ビデオスコープ１０はプロセッサ３０に着脱自在に接続される。プロセッサ３０には、モニタ１１２が接続されている。 The electronic endoscope apparatus includes a video scope 10 whose insertion portion is inserted into the body, and a processor 30, and the video scope 10 is detachably connected to the processor 30. A monitor 112 is connected to the processor 30.

プロセッサ３０は、白色光を放射するランプ３２を備え、ランプ３２から放射された光は、光量調整部材５０を介して、ビデオスコープ１０内に設けられたライトガイド１２に入射する。ライトガイド１２に入射した光は、配光レンズ（図示せず）を介してスコープ先端部１０Ｔから射出し、被写体（観察部位）に照射される。 The processor 30 includes a lamp 32 that emits white light, and the light emitted from the lamp 32 is incident on the light guide 12 provided in the video scope 10 via the light amount adjusting member 50. The light incident on the light guide 12 exits from the scope distal end 10T via a light distribution lens (not shown) and is irradiated onto the subject (observation site).

スコープ先端部１０Ｔには、イメージセンサ１４を備えた撮像モジュール１３が実装されている。被写体で反射した光は、スコープ先端部１０Ｔに配置された対物レンズ（図示せず）によって結像し、イメージセンサ１４の受光面に被写体像が形成される。 An imaging module 13 including an image sensor 14 is mounted on the scope distal end portion 10T. The light reflected by the subject is imaged by an objective lens (not shown) disposed at the scope tip 10T, and a subject image is formed on the light receiving surface of the image sensor 14.

ライトガイド１２とランプ３２との間に設けられた光量調整部材５０は、ロータリーシャッタおよび絞り（ここでは図示せず）を備える。ロータリーシャッタが回転することにより、露光期間と遮光期間が交互に現れることになり、被写体に対して照明光が間欠的に照射される。また、絞りの開閉によって光量調整が行われる。 The light amount adjusting member 50 provided between the light guide 12 and the lamp 32 includes a rotary shutter and a diaphragm (not shown here). By rotating the rotary shutter, the exposure period and the light shielding period appear alternately, and illumination light is intermittently applied to the subject. Further, the light amount is adjusted by opening and closing the diaphragm.

イメージセンサ１４は、画素ごとに画素信号を読み出し可能なＸ−Ｙ独立型イメージセンサであり、ここではＣＭＯＳイメージセンサが適用されている。イメージセンサ１４の受光面上には、Ｃｙ、Ｙｅ、Ｇ、Ｍｇ、あるいはＲ、Ｇ、Ｂから成る色フィルタ要素をモザイク状に配列させた色フィルタ（図示せず）が配設されている。 The image sensor 14 is an XY independent image sensor that can read out a pixel signal for each pixel, and a CMOS image sensor is applied here. On the light receiving surface of the image sensor 14, a color filter (not shown) is arranged in which color filter elements made of Cy, Ye, G, Mg, or R, G, B are arranged in a mosaic pattern.

内視鏡観察中、１フレーム分の画素信号が所定の時間間隔でイメージセンサ１４から順次読み出される。駆動回路１８は、ローリングシャッタ動作に従って画素信号を読み出すために、駆動信号およびリセット信号を出力する。 During endoscopic observation, pixel signals for one frame are sequentially read from the image sensor 14 at predetermined time intervals. The drive circuit 18 outputs a drive signal and a reset signal in order to read out the pixel signal according to the rolling shutter operation.

間欠的な照明に基いたプログレッシブ出力を行う、すなわち１フレーム期間に渡って露光、画素信号読み出しを順次行うため、露光期間、遮光期間はそれぞれ１フィールド期間に定められている。ここでは、ＮＴＳＣ方式に従い、１／６０秒に定められている（ＰＡＬ方式の場合１／５０秒）。 In order to perform progressive output based on intermittent illumination, that is, to sequentially perform exposure and pixel signal readout over one frame period, the exposure period and the light shielding period are each set to one field period. Here, it is set to 1/60 seconds according to the NTSC system (in the case of the PAL system, 1/50 seconds).

読み出されたアナログ画素信号は、ビデオスコープ１０のプロセッサ側に設けられた初期信号処理回路２４へ送られる。初期信号処理回路２４では、増幅処理などの初期処理がアナログ画素信号に対し施され、デジタル化される。デジタル化された１フレーム分の画素信号はプロセッサ３０へ順次送られる。 The read analog pixel signal is sent to an initial signal processing circuit 24 provided on the processor side of the video scope 10. In the initial signal processing circuit 24, initial processing such as amplification processing is performed on the analog pixel signal and digitized. The digitized pixel signals for one frame are sequentially sent to the processor 30.

画像処理回路３６は、デジタル画素信号に対し、ガンマ処理、ホワイトバランス処理、色変換処理、ノイズリダクション等などを施す。これにより、Ｒ、Ｇ、Ｂ画像信号が生成される。生成されたＲ、Ｇ、Ｂ画像信号は、画像メモリ４２に一時的に格納された後、インターレース回路４１およびプログレッシブ出力回路４３へ送られる。 The image processing circuit 36 performs gamma processing, white balance processing, color conversion processing, noise reduction, and the like on the digital pixel signal. Thereby, R, G, and B image signals are generated. The generated R, G, B image signals are temporarily stored in the image memory 42 and then sent to the interlace circuit 41 and the progressive output circuit 43.

プログレッシブ出力回路４３は、１フレーム分のＲ、Ｇ、Ｂ画像信号をそのまま外部周辺機器（ここでは記録装置１１３）に出力する。一方、インターレース回路４１は、フレームメモリ（図示せず）を備えており、Ｒ、Ｇ、Ｂ画像信号をＯＤＤ、ＥＶＥＮの画像信号に分け、インターレース方式で画像信号をモニタ１１２へ出力する。 The progressive output circuit 43 outputs R, G, and B image signals for one frame as they are to an external peripheral device (here, the recording device 113). On the other hand, the interlace circuit 41 includes a frame memory (not shown), divides the R, G, and B image signals into ODD and EVEN image signals, and outputs the image signals to the monitor 112 by the interlace method.

システムコントロール回路４０は、光量調整部材５０、タイミングジェネレータ４４等へ制御信号を出力し、プロセッサ全体の動作を制御する。タイミングジェネレータ４４は、各回路へクロックパルス信号を出力し、信号入出力タイミング、画素信号読み出しタイミング等を調整する。 The system control circuit 40 outputs a control signal to the light quantity adjusting member 50, the timing generator 44, etc., and controls the operation of the entire processor. The timing generator 44 outputs a clock pulse signal to each circuit, and adjusts signal input / output timing, pixel signal readout timing, and the like.

一方、ビデオスコープ１０に設けられたスコープコントローラ２０は、タイミングジェネレータ２２などへ制御信号を出力し、ビデオスコープ１０全体の動作を制御する。スコープコントローラ２０は、システムコントロール回路４０との間でデータを相互通信可能である。 On the other hand, the scope controller 20 provided in the video scope 10 outputs a control signal to the timing generator 22 and the like, and controls the operation of the entire video scope 10. The scope controller 20 can communicate data with the system control circuit 40.

図２は、光量調整部材５０を示した図である。 FIG. 2 is a view showing the light amount adjusting member 50.

光量調整部材５０は、ロータリーシャッタ７０と絞り８０とを備え、ロータリーシャッタ７０は軸Ｃ周りに一定速度で回転する。絞り８０は、軸Ｇを中心としてピボット回転可能である。 The light amount adjusting member 50 includes a rotary shutter 70 and a diaphragm 80, and the rotary shutter 70 rotates around the axis C at a constant speed. The aperture 80 is pivotable about the axis G.

ロータリーシャッタ７０は、その周縁部に弧状の開口部７２を有し、略半周分に渡って形成されている。開口部７２以外の部分７４は遮光部として構成される。ランプ３２から照射される照明光の光束ＬＳは、ロータリーシャッタ７０の周縁付近と交差する。 The rotary shutter 70 has an arcuate opening 72 at the peripheral edge thereof, and is formed over a substantially half circumference. The portion 74 other than the opening 72 is configured as a light shielding portion. The luminous flux LS of illumination light emitted from the lamp 32 intersects with the vicinity of the periphery of the rotary shutter 70.

そのため、ロータリーシャッタ７０が回転している間、照明光の透過、遮光が交互に繰り返される。絞り８０は、テーパー状の開口部８２を有する。絞り８０が軸回転するのに伴い、開口部８２の形状に従って通過する光量が変化する。これにより、観察画像の明るさが調整される。 For this reason, while the rotary shutter 70 is rotating, transmission and shading of illumination light are repeated alternately. The diaphragm 80 has a tapered opening 82. As the diaphragm 80 rotates, the amount of light passing therethrough changes according to the shape of the opening 82. Thereby, the brightness of the observation image is adjusted.

図３は、画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。図３を用いて、露光動作について説明する。 FIG. 3 is a timing chart of pixel signal readout and electronic shutter operation. The exposure operation will be described with reference to FIG.

ロータリーシャッタ７０は、１／６０秒間隔で露光期間、遮光期間が交互に入れ替わるように、一定速度で回転している。露光期間において蓄積された電荷が、被写体に応じた画素信号となる。 The rotary shutter 70 rotates at a constant speed so that the exposure period and the light shielding period are alternately switched at 1/60 second intervals. The charge accumulated during the exposure period becomes a pixel signal corresponding to the subject.

露光期間から遮光期間に移行すると、駆動回路１８からの駆動信号により、ライン露光が実行される。すなわち、第１ラインから第Ｎラインまで画素信号がライン順に読み出される。ただし、イメージセンサ１４の有効ライン数をここではＮとしている。遮光期間の略全体に渡って、１フレーム分の画素信号が読み出される。 When the exposure period shifts to the light shielding period, line exposure is executed by a drive signal from the drive circuit 18. That is, pixel signals are read out in order of lines from the first line to the Nth line. However, the number of effective lines of the image sensor 14 is N here. A pixel signal for one frame is read over substantially the entire light shielding period.

各ラインでは、ライン上の画素信号すべての読み出しが終了すると、所定時間Ｊをおいてリセット信号が駆動回路１８から出力される。これにより、遮光期間内において電荷が蓄積開始される。リセット信号が、ローリングシャッタに従ってライン毎に順次出力される。各ラインの所定時間Ｊは、いずれも等しい。 In each line, when all pixel signals on the line have been read, a reset signal is output from the drive circuit 18 after a predetermined time J. As a result, charge starts to accumulate within the light shielding period. A reset signal is sequentially output for each line according to the rolling shutter. The predetermined time J for each line is the same.

各ラインのリセット信号出力後から次の露光期間開始までの時間は、ラインによって異なる。読み出し順が遅いラインほどその時間は短い。図２に示すように、第１ラインの露光期間開始までの時間Ｔ１Ａに比べ、読み出し順が最後の第Ｎラインの時間ＴＮＡの方が短い。 The time from the output of the reset signal for each line to the start of the next exposure period varies depending on the line. The slower the reading order, the shorter the time. As shown in FIG. 2, the time TNA of the Nth line with the last reading order is shorter than the time T1A until the start of the exposure period of the first line.

一方、次の遮光期間において画素信号が読み出し開始されるまでの時間は、読み出しライン順が早いほど短い。図２に示すように、遮光期間に移行してから画素信号読み出しが行われるまでの時間について、第１ラインの時間Ｔ１Ｂは、第Ｎラインの時間ＴＮＢに比べて短い。 On the other hand, the time until the pixel signal starts to be read in the next light shielding period is shorter as the read line order is earlier. As shown in FIG. 2, the time T1B for the first line is shorter than the time TNB for the N-th line with respect to the time from the shift to the light shielding period until the pixel signal is read.

上述したように画素信号読み出し終了からリセット信号出力までの期間Ｊはどのラインも等しく、また、ロータリーシャッタ７０の回転によって露光期間はいずれのラインも等しい。したがって、各ラインの遮光期間、露光期間、次の遮光期間に渡るトータル電荷蓄積時間は、いずれも等しい。例えば、第１ラインのトータル電荷蓄積時間「Ｔ１Ａ＋Ｔ０＋Ｔ１Ｂ」は、第Ｎラインのトータル電荷時間「ＴＮＡ＋Ｔ０＋ＴＮＢ」と等しい。 As described above, the period J from the end of reading the pixel signal to the output of the reset signal is the same for all lines, and the exposure period is the same for all lines due to the rotation of the rotary shutter 70. Therefore, the total charge accumulation time over the light shielding period, the exposure period, and the next light shielding period of each line is the same. For example, the total charge accumulation time “T1A + T0 + T1B” of the first line is equal to the total charge time “TNA + T0 + TNB” of the Nth line.

一般的に、駆動回路１８等はＣＭＯＳイメージセンサ１４傍に実装される。そのため、回路動作中、ノイズが画素信号に乗りやすい。イメージセンサ１４は、ノイズの影響が画素配列全体に対して均一に及ぶ特性をもつ。 In general, the drive circuit 18 and the like are mounted beside the CMOS image sensor 14. Therefore, noise is likely to ride on the pixel signal during circuit operation. The image sensor 14 has a characteristic in which the influence of noise extends uniformly over the entire pixel array.

上述したように、露光期間および露光期間を挟んで隣り合う遮光期間中のトータル電荷蓄積合計時間は、各ラインとも等しい。そのため、各ラインとも同じノイズ量が画素信号に重畳される。その結果、画像全体に対してノイズが均一に生じる。ＯＢ（optical black）画素を使ったノイズリダクション等を行うことによって、画像全体からノイズ成分が除去される。 As described above, the total charge accumulation time during the exposure period and the adjacent light shielding period across the exposure period is the same for each line. Therefore, the same amount of noise is superimposed on the pixel signal for each line. As a result, noise occurs uniformly over the entire image. By performing noise reduction using OB (optical black) pixels, noise components are removed from the entire image.

このように本実施形態によれば、ロータリーシャッタ７０によって１／６０秒間隔で露光、遮光を交互に繰り返す。露光期間中に生成された被写体像の画素信号は、遮光期間においてライン順に読み出される。それとともに、遮光期間中、各ラインでは画素信号読み出し終了後に所定時間Ｊをおいてリセット信号が出力される。 As described above, according to the present embodiment, exposure and light shielding are alternately repeated at 1/60 second intervals by the rotary shutter 70. The pixel signal of the subject image generated during the exposure period is read in line order during the light shielding period. At the same time, during the light shielding period, a reset signal is output at a predetermined time J after the pixel signal reading is completed in each line.

ノイズが画像全体に対して均一であるため、平滑化処理など、観察画像に対して画像処理を施しても、画質低下を招かない。また、ＯＰ画素を使ったノイズリダクション処理によっても、画像全体から確実にノイズ成分を取り除くことができる。 Since noise is uniform over the entire image, even if image processing is performed on the observed image, such as smoothing processing, image quality is not degraded. Also, noise components can be surely removed from the entire image by noise reduction processing using OP pixels.

さらに、グローバルシャッタ機能を用いないため、突発的なノイズが生じることもなく、また、イメージセンサの構造を複雑化しなくてすむ。 Furthermore, since the global shutter function is not used, sudden noise does not occur, and the structure of the image sensor does not have to be complicated.

次に、図４を用いて第２の実施形態について説明する。第２の実施形態では、ノイズの値をライン毎に生じる演算をし、ノイズを除去する。それ以外の構成については、第１の実施形態と実質的に同じである。 Next, a second embodiment will be described with reference to FIG. In the second embodiment, an operation that generates a noise value for each line is performed to remove the noise. About another structure, it is substantially the same as 1st Embodiment.

図４は、第２の実施形態における画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。 FIG. 4 is a timing chart of pixel signal readout and electronic shutter operation in the second embodiment.

第２の実施形態では、遮光期間中、画素信号読み出しおよびリセット信号が出力された後、さらに、画素信号（以下、遮光画素信号という）の読み出しおよびリセット信号（以下、後段リセット信号という）出力が行われる。 In the second embodiment, after the pixel signal readout and reset signal are output during the light shielding period, the pixel signal (hereinafter referred to as the light shielding pixel signal) is further read out and the reset signal (hereinafter referred to as the subsequent stage reset signal) is output. Done.

まず、リセット信号出力から所定期間Ｔ４が経過すると、遮光画素信号読み出しが、第１〜第Ｎラインに渡って順次行われる。そして、各ラインでは、遮光画素信号読み出し終了から所定時間Ｊ経過すると後段リセット信号が出力される。 First, when a predetermined period T4 elapses from the reset signal output, the light-shielded pixel signal is sequentially read over the first to Nth lines. Then, in each line, a post-stage reset signal is output when a predetermined time J has elapsed since the reading of the light-shielded pixel signal.

遮光期間（１／６０秒間）中に遮光画素信号の読み出しを行うことにより、露光期間において画素信号に重畳するノイズの値を推定演算することができる。すなわち、所定期間Ｔ４の間に蓄積された電荷量を露光期間に合わせて換算すれば、露光期間中のノイズ量をラインごとに推定することができる。 By reading the light-shielded pixel signal during the light-shielding period (1/60 second), it is possible to estimate and calculate the value of noise superimposed on the pixel signal during the exposure period. That is, if the amount of charge accumulated during the predetermined period T4 is converted according to the exposure period, the amount of noise during the exposure period can be estimated for each line.

露光時間をＴ３、遮光期間をＴ２とすると、トータル電荷蓄積時間は、第１の実施形態で説明したように、Ｔ３＋Ｔ５＋Ｔ６となる。ただし、Ｔ５は、後段リセット信号出力から露光期間開始までの期間を示し、Ｔ６は、露光期間終了から画素信号読み出し開始までの期間を示す。Ｔ２−Ｔ４＝Ｔ５＋Ｔ６であることから、所定期間Ｔ４の遮光画素信号値に（Ｔ３＋（Ｔ２−Ｔ４）／Ｔ４）を乗じることによって、ノイズ量が算出される。 Assuming that the exposure time is T3 and the light shielding period is T2, the total charge accumulation time is T3 + T5 + T6 as described in the first embodiment. However, T5 indicates a period from the output of the subsequent stage reset signal to the start of the exposure period, and T6 indicates a period from the end of the exposure period to the start of pixel signal readout. Since T2−T4 = T5 + T6, the noise amount is calculated by multiplying the shading pixel signal value of the predetermined period T4 by (T3 + (T2−T4) / T4).

第２の実施形態では、イメージセンサ１４は、駆動回路１８などの回路近傍にあるラインのノイズ量が他のラインのノイズと比べて大きい特性をもつ。画像処理回路３６は、この演算処理によって各ラインのノイズ量を算出し、画像メモリ４２に一時的に格納された１フレーム分の画像信号からノイズ成分を除去する。このとき、ラインごとに画素値からノイズ値を減算する。 In the second embodiment, the image sensor 14 has a characteristic that the amount of noise in a line near the circuit such as the drive circuit 18 is larger than the noise in other lines. The image processing circuit 36 calculates the noise amount of each line by this arithmetic processing, and removes the noise component from the image signal for one frame temporarily stored in the image memory 42. At this time, the noise value is subtracted from the pixel value for each line.

このように第２の実施形態によれば、遮光期間中に被写体像の画素信号と、遮光画素信号とを続けて読み出す。これによって、各ラインのノイズ量を個別に演算することが可能となり、画像に対して不均一なノイズ分布が生じた場合においても、ＯＰ画素を用いることなく、確実にノイズ除去を行うことができる。 As described above, according to the second embodiment, the pixel signal of the subject image and the light-shielded pixel signal are continuously read during the light-shielding period. As a result, the noise amount of each line can be calculated individually, and noise can be reliably removed without using OP pixels even when a non-uniform noise distribution occurs in the image. .

なお、第１の実施形態のようにノイズが画像に対して均一に分布する特性をもつイメージセンサであっても、確実にノイズ値を検出することができる。したがって、第１の実施形態にも適用可能である。 Note that the noise value can be reliably detected even in an image sensor having a characteristic that noise is uniformly distributed with respect to an image as in the first embodiment. Therefore, the present invention can also be applied to the first embodiment.

次に、図５を用いて第３の実施形態について説明する。第３の実施形態では、各ラインにおいて部分的に遮光画素信号を読み出す。それ以外の構成については、第２の実施形態と実質的に同じである。 Next, a third embodiment will be described with reference to FIG. In the third embodiment, the light-shielded pixel signal is partially read out in each line. About another structure, it is substantially the same as 2nd Embodiment.

図５は、第３の実施形態における画素信号読み出しおよび電子シャッタ動作のタイミングチャートを示した図である。 FIG. 5 is a timing chart of pixel signal readout and electronic shutter operation in the third embodiment.

第３の実施形態では、遮光画素信号を読み出すとき、第２の実施形態のように各ラインすべての画素信号を読み出すのではなく、一部の遮光画素信号を抽出して読み出す。ここでは、ライン中央位置にある画素のみから遮光画素信号を読み出す。したがって、遮光画素信号を読み出すときの周波数Ｍ２の方が、１フレーム分の画素信号を読み出すときの周波数Ｍ１よりも大きくなる。 In the third embodiment, when reading out the light-shielded pixel signal, a part of the light-shielded pixel signals is extracted and read out instead of reading out the pixel signals of all the lines as in the second embodiment. Here, the light-shielded pixel signal is read out only from the pixel at the center position of the line. Therefore, the frequency M2 when reading the light-shielded pixel signal is higher than the frequency M1 when reading the pixel signal for one frame.

これによって、遮光画素信号読み出しにかかる時間が非常に短くなり、各ラインとも後段リセット信号をすぐに出力することが出来る。そのため、画素信号読み出しスピードが比較的遅いイメージセンサであっても、ノイズ値を検出することができる。 As a result, the time required for reading out the light-shielded pixel signal is very short, and the subsequent stage reset signal can be immediately output to each line. Therefore, the noise value can be detected even with an image sensor with a relatively slow pixel signal readout speed.

なお、ＣＭＯＳイメージセンサ以外のＸ−Ｙ独立型イメージセンサを適用することも可能である。また、ロータリーシャッタ以外の機構を用いて、間欠的に照明する構成にしてもよい。 An XY independent image sensor other than the CMOS image sensor can also be applied. Moreover, you may make it the structure illuminated intermittently using mechanisms other than a rotary shutter.

１０ビデオスコープ
１４イメージセンサ（撮像素子）
１８駆動回路（撮像素子駆動部）
３０プロセッサ
３６画像処理回路（ノイズ除去処理部）
５０光量調整部材
７０ロータリーシャッタ（遮光部材）

10 Videoscope 14 Image sensor (imaging device)
18 Drive circuit (image sensor drive unit)
30 processor 36 image processing circuit (noise removal processing unit)
50 Light intensity adjusting member 70 Rotary shutter (light-shielding member)

Claims

Ｘ−Ｙ独立型の撮像素子と、
光源からの光を遮光する遮光部材と、
露光期間と遮光期間が交互に繰り返されるように、前記遮光部材を駆動する光量調整部と、
遮光期間中、その前の露光期間において前記撮像素子に生成された１フレーム分の画素信号を１ラインずつ順に読み出す撮像素子駆動部と、
読み出された１フレーム分の画素信号からノイズ成分を除去するノイズ除去処理部とを備え、
前記撮像素子駆動部が、遮光期間中、各ラインに対するリセット信号を、そのラインの画素信号読み出し終了に応じて出力し、さらに、その遮光期間中、リセット信号出力後に各ラインで生成される遮光画素信号を読み出し、
前記ノイズ除去処理部が、遮光画素信号からノイズ成分をラインごとに求めることを特徴とする内視鏡装置。 An XY stand-alone image sensor;
A light shielding member for shielding light from the light source;
A light amount adjustment unit that drives the light shielding member so that the exposure period and the light shielding period are alternately repeated;
An image sensor driving unit that sequentially reads out one frame of pixel signals for each frame generated in the image sensor in the previous exposure period during the light shielding period;
A noise removal processing unit that removes a noise component from the read pixel signal for one frame;
The image sensor driving unit outputs a reset signal for each line in response to the end of pixel signal reading of the line during the light shielding period, and further, a light shielding pixel generated in each line after the reset signal is output during the light shielding period. Read the signal,
The endoscope apparatus, wherein the noise removal processing unit obtains a noise component for each line from a light-shielded pixel signal.

前記ノイズ除去処理部が、画素信号の露光期間と、遮光画素信号の露光期間に基いて、遮光画素信号からノイズ値をライン毎に演算することを特徴とする請求項１に記載の内視鏡装置。 The endoscope according to claim 1, wherein the noise removal processing unit calculates a noise value for each line from the light-shielded pixel signal based on an exposure period of the pixel signal and an exposure period of the light-shielded pixel signal. apparatus.

前記撮像素子駆動部が、各ライン全体に渡って遮光画素信号全体を読み出すことを特徴とする請求項１乃至２のいずれかに記載の内視鏡装置。 The endoscope apparatus according to claim 1, wherein the imaging element driving unit reads the entire light-shielded pixel signal over the entire line.

前記撮像素子駆動部が、各ラインの一部遮光画素信号を読み出すことを特徴とする請求項１乃至２のいずれかに記載の内視鏡装置。 The endoscope apparatus according to any one of claims 1 to 2, wherein the imaging element driving unit reads a partially light-shielded pixel signal of each line.

前記撮像素子駆動部が、画素信号読み出し終了からリセット信号出力までの期間が各ラインで等しくなるように、リセット信号を出力することを特徴とする請求項１に記載の内視鏡装置。 The endoscope apparatus according to claim 1, wherein the imaging element driving unit outputs a reset signal so that a period from a pixel signal readout end to a reset signal output is equal in each line.

前記撮像素子駆動部が、各ラインの遮光画素信号読み出し終了に応じて、遮光期間中に後段リセット信号を出力することを特徴とする請求項１乃至５のいずれかに記載の内視鏡装置。 The endoscope apparatus according to claim 1, wherein the imaging element driving unit outputs a rear stage reset signal during a light shielding period in response to the completion of reading of the light shielding pixel signal of each line.

前記撮像素子駆動部が、遮光画素信号読み出し終了から後段リセット信号出力までの期間が各ラインで等しくなるように、後段リセット信号を出力することを特徴とする請求項６に記載の内視鏡装置。 The endoscope apparatus according to claim 6, wherein the imaging device driving unit outputs a post-stage reset signal so that a period from the end of reading out the light-shielded pixel signal to the output of the post-stage reset signal is equal for each line. .

前記撮像素子駆動部が、１フィールド期間で１フレーム分の画素信号を読み出すことを特徴とする請求項１乃至７のいずれかに記載の内視鏡装置。 The endoscope apparatus according to claim 1, wherein the image sensor driving unit reads out a pixel signal for one frame in one field period.

前記遮光部材が、ロータリーシャッタを有することを特徴とする請求項１乃至８のいずれかに記載の内視鏡装置。

The endoscope apparatus according to claim 1, wherein the light shielding member includes a rotary shutter.