WO2013154105A1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- WO2013154105A1 WO2013154105A1 PCT/JP2013/060726 JP2013060726W WO2013154105A1 WO 2013154105 A1 WO2013154105 A1 WO 2013154105A1 JP 2013060726 W JP2013060726 W JP 2013060726W WO 2013154105 A1 WO2013154105 A1 WO 2013154105A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- white
- correction
- signal
- pixels
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 45
- 238000012937 correction Methods 0.000 claims abstract description 236
- 230000007547 defect Effects 0.000 claims abstract description 117
- 238000012545 processing Methods 0.000 claims description 22
- 230000002950 deficient Effects 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000012546 transfer Methods 0.000 claims description 11
- 230000002159 abnormal effect Effects 0.000 description 30
- 238000000034 method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 229920006395 saturated elastomer Polymers 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 5
- 230000008054 signal transmission Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 239000004020 conductor Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
Definitions
- the present invention relates to an imaging device that performs image processing on an imaging device that images a subject.
- the defective pixel correction unit has a defect position recording ROM for recording the position information of defective pixels obtained by prior inspection. Then, a direction having high correlation is obtained from surrounding pixels of the defective pixel that can be specified from the defect position recording ROM, and a correction value of the defective pixel is calculated using the surrounding pixels belonging to the direction.
- paragraph [0016] of Japanese Patent Laid-Open No. 10-42201 as a second conventional example states that “mainly using the video information on the front line and the video information on the back line, The image information on the same line is used for interpolation except for the data of the defective pixel and the pixels before and after it.Only the defective pixel is corrected because the video information on the previous line and the video information on the rear line are used for correction. In addition, interpolation is possible for the signals before and after that. "
- the waveform of the pixel signal is dulled by the cable, and when the correction for the pixel signal due to the defective pixel is performed as in the first conventional example, it is sufficient. Cannot be corrected.
- An imaging device includes a plurality of pixels arranged in a two-dimensional array for imaging a subject, an image sensor that outputs pixel signals captured by the plurality of pixels, and the image sensor
- a white-scratch position information storage unit that stores position information of white-scratch pixels as defective pixels existing in the image sensor, and a transfer signal is applied to the image sensor, so that a predetermined number of pixels are included in the image sensor.
- An image sensor driving unit that outputs the pixel signal along the direction of the image, and output from the image sensor by applying the transfer signal based on the position information of the white defect pixel read from the white defect position information storage unit
- the pixel signal is determined to be a white scratched pixel
- it is determined to be the white scratched pixel from the surrounding eight pixel signals surrounding the pixel determined to be the white scratched pixel that is output from the image sensor.
- Was White spot correction is performed on the pixel signal of the pixel determined to be the white spot pixel based on the white spot correction value calculated by the seven pixels excluding the pixel signal of the adjacent pixel output one pixel after the prime pixel.
- a white flaw correction unit to perform.
- FIG. 1 is a diagram showing an overall configuration of an endoscope apparatus according to a first embodiment of the present invention.
- FIG. 2 is a block diagram showing a configuration of an imaging system portion in FIG.
- FIG. 3 is a block diagram showing a configuration of a white defect correction circuit.
- FIG. 4 is a diagram showing white scratched pixels and surrounding pixels.
- FIG. 5 is a block diagram showing a configuration of an imaging system portion in the second embodiment of the present invention.
- FIG. 6 is an explanatory diagram for performing ringing correction in the second embodiment.
- FIG. 7 is a block diagram illustrating a configuration of a ringing correction circuit.
- FIG. 8 is a diagram illustrating pixels when a plurality of white scratched pixels are close to the image sensor.
- FIG. 9 is a block diagram showing a configuration of an adjacent pixel correction unit in the third embodiment of the present invention.
- FIG. 10 is an explanatory diagram for illustrating an interpolation method for saturated texture in the third embodiment of the present
- an endoscope apparatus 1 As shown in FIG. 1, an endoscope apparatus 1 according to a first embodiment constituting an imaging apparatus of the present invention is an electronic endoscope (hereinafter simply referred to as an endoscope) 2 for performing an endoscopic examination.
- a light source device 3 that supplies illumination light to the endoscope 2, and a processor 4 as a signal processing device (image processing device) that performs signal processing (image processing) on an imaging element or the like of the endoscope 2;
- a monitor 5 as a display device for displaying the video signal generated by the processor 4.
- the endoscope 2 includes an insertion portion 6 to be inserted into a body cavity of a patient, an operation portion 7 provided at a proximal end (rear end) of the insertion portion 6, and a cable extending from the operation portion 7. Part 8.
- the light source connector 9b at the end of the cable portion 8 is detachably connected to the light source device 3, and the signal connector 9a is detachably connected to the processor 4.
- the configuration is not limited to the configuration in which the end portion of the cable portion 8 is branched.
- the signal connector at the end portion is detachably connected to the processor 4 from the light source connector via the connection cable. May be.
- the light source device 3 and the processor 4 may be integrated.
- an endoscope having a cable length or the like different from that of the endoscope 2 shown in FIG. 1 can be connected to the processor 4 of FIG.
- a light guide 11 for transmitting illumination light is inserted into the insertion portion 6, the operation portion 7, and the cable portion 8 in the endoscope 2, and the base end thereof reaches the light source connector 9b.
- the user condenses the illumination light generated by the light source lamp 12 in the light source device 3 by the condenser lens 13 and enters the base end of the light guide 11.
- the illumination light is transmitted by the light guide 11 and emitted from the illumination window at the distal end portion 14 of the insertion portion 6 to illuminate a subject such as an affected part in the body cavity.
- the illuminated subject forms an optical image of the subject at its imaging position by an objective lens 15 attached to an observation window provided adjacent to the illumination window.
- a light receiving surface of a charge-coupled device (abbreviated as CCD) 16 is arranged as a solid-state image pickup device (image pickup device) at the imaging position, and the light receiving surface is formed by a photodiode having a two-dimensionally arranged photoelectric conversion function. Pixels are formed.
- a CCD 16, a timing generator (TG) that drives a CCD (not shown), and a CDS circuit 17 that extracts a signal component for the CCD 16 are incorporated in a single package in the distal end portion 14 (SIP and SIP). (Abbreviation) 18 is arranged.
- an analog front end (AFE) 19 including an A / D conversion circuit 19a as an analog / digital conversion means is disposed in a signal connector 9a.
- an image is picked up by the CCD 16 and an image pickup element drive means for generating a CCD drive signal (also referred to as a transfer signal that is simply transferred as a drive signal) for driving the CCD 16, and the CCD drive section 21 as an image pickup element drive section.
- White flaw correction means for performing correction (referred to as white flaw correction) on white flaws (or white flaw pixels) as defective pixels with respect to the pixel signals after passing through the CDS circuit 17 and AFE 19 in the pixel signal output from the CCD 16
- an image processing unit 24 as an image processing unit having a white defect correction circuit 22 as a white defect correction unit and an image processing circuit 23 for performing image processing is provided.
- a white defect or white defect pixel as a defective pixel does not have a normal photoelectric conversion function, and outputs a pixel signal (white signal) close to white having a high signal level with respect to application of a transfer signal.
- the CCD drive unit 21 applies the generated CCD drive signal to the CCD 16 via the cable 25 in the endoscope 2, and the pixels of the light receiving unit forming the CCD 16 output the photoelectrically converted signal charges as pixel signals.
- this pixel signal includes a part of the CCD drive signal (reset signal) as noise
- the CDS circuit 17 extracts a signal component in the pixel signal and outputs a pixel signal from which noise has been removed.
- the CDS circuit 17 generates a sampling signal for extracting a signal component from the CCD drive signal, and generates a pixel signal from which noise has been removed using the sampling signal.
- the CDS circuit 17 When the CDS circuit 17 is provided at a position away from the CCD 16, it is easily affected by a signal delay due to a signal transmission cable until the output signal of the CCD 16 is input to the CDS circuit 17. Since this CDS circuit 17 is arranged in the vicinity of the CCD 16, it is not affected by the signal delay due to the cable, so that the signal component of the CCD 16 can be extracted with high accuracy.
- the baseband analog pixel signal from which noise has been removed by the CDS circuit 17 is input to the AFE 19 via the insertion unit 6, the operation unit 7, and a cable 25 forming a signal transmission path or signal transmission line in the cable unit 8.
- the pixel signal is amplified by an amplifier in the AFE 19, and then converted from an analog pixel signal to a digital pixel signal by an A / D conversion circuit 19a as an analog / digital conversion means or an analog / digital conversion unit. Is done.
- the CCD drive waveform is rounded by the cable 25 in the endoscope 2 when transmitted to the distal end portion 14 of the insertion unit 6. The waveform is corrected and the CCD 16 is driven.
- the digital pixel signal that has passed through the A / D conversion circuit 19a in the AFE 19 is input to the white flaw correction circuit 22 in the image processing unit 24.
- the white flaw correction circuit 22 is a pixel that has been determined to be a white flaw, that is, a white flaw. Image processing for correcting pixels is performed.
- the pixel signal that has been subjected to white defect correction by the white defect correction circuit 22 is converted into a standard video signal by the image processing circuit 23 and output to the monitor 5. On the display surface of the monitor 5, an image of the subject imaged by the CCD 16 is displayed as an endoscopic image.
- the endoscope 2 has white defect position information storage means for storing two-dimensional position (simply abbreviated as position) information of white defect pixels examined in advance in the CCD 16 mounted on the endoscope 2.
- a memory 27 is incorporated as a position information storage unit.
- the memory 27 is provided in the signal connector 9a.
- the memory 27 also stores information on the number of horizontal and vertical pixels of the CCD 16.
- the memory 27 is electrically connected to the white defect correction circuit 22 when the signal connector 9 a is connected to the processor 4.
- the white defect correction circuit 22 reads the two-dimensional position information of the white defect pixel from the memory 27 and stores it as, for example, a white defect pixel address in a memory 41 (see FIG. 3) provided in the white defect correction circuit 22. Accordingly, the memory 41 can also be regarded as constituting white scratch position information storage means for storing the two-dimensional position of the white scratch pixels existing in the CCD 16.
- the white defect correction circuit 22 uses the white defect pixel address stored in the memory 41 and matches the white defect pixel address from the address of the pixel signal input to the white defect correction circuit 22. Is determined as a white scratched pixel, and if it does not match, it is determined as a normal pixel that is not a white scratched pixel.
- the timing of the pixel signal input to the white defect correction circuit 22 is shifted according to the timing of the CCD drive signal and the length of the cable 25 (delayed from the timing of the CCD drive signal). Information on timing deviation due to length is also stored. For example, at the timing when the CCD drive signal drives the i-th pixel in the horizontal direction and the j-th pixel P (i, j) in the vertical direction, the white line is damaged via the AFE 19 due to the delay amount due to the length of the cable 25.
- the pixel signal actually input to the correction circuit 22 is delayed by the number n of pixels (in units of pixels arranged in the horizontal direction), information delayed by the number n of pixels is stored in the memory 27 in advance. Yes.
- the pixel signal of the pixel P (i, j) is actually sent to the white defect correction circuit 22 because of the delay amount due to the length of the cable 25.
- the timing input to is shifted to P (i + n, j).
- the white defect correction circuit 22 determines the timing of the pixel signal actually input from each pixel to the white defect correction circuit 22 and the two-dimensional position (address) on the imaging surface of the actually input pixel. It is possible to grasp. As shown in FIG. 1, when the white defect correction circuit 22 and the CCD drive unit 21 are arranged in the processor 4, the CCD drive signal (transfer signal) output to the CCD drive unit 21 is applied to the CCD 16. The delay amount until the output signal of the CCD 16 is input to the white defect correction circuit 22 can be approximated to be the same.
- FIG. 2 shows a schematic configuration of the image processing system in FIG.
- the SIP 18 including the CCD 16 is connected to the AFE 19 via a very thin cable (actually a coaxial cable) 25 in the endoscope 2.
- a very thin cable actually a coaxial cable
- the length of the low-pass filter for suppressing the horizontal transfer efficiency of the CCD itself, noise suppression, or the cable 25 as a coaxial cable is reduced.
- the capacitance increases (capacitance load increases between the inner conductor and the outer conductor)
- the pixel signal of the white scratch pixel also becomes dull.
- the pixel signal of a predetermined pixel that is output after the pixel signal of the defective pixel (read out by application of the CCD drive signal) is affected.
- the white defect correction circuit 22 performs the pixel signal of the white defect pixel one pixel after the pixel signal of the white defect pixel with respect to the pixel signal of the white defect pixel. Correction is performed except for the output pixel signal of one pixel (referred to as an adjacent pixel).
- the signal level of the OB portion of the pixel signal corrected by the white defect correction circuit 22 is clamped by the OB clamp circuit 31 constituting the image processing circuit 23.
- OB is an abbreviation for optical black, and the OB unit optically shields the pixels on the imaging surface of the CCD 16 as the imaging device, and shields the level of the pixel signal output from the shielded pixels.
- the pixel signal output from the OB clamp circuit 31 is input to the white balance circuit 33, and white balance adjustment is performed. That is, the gain of the amplifier in the white balance circuit 33 is adjusted so that the level of the R, G, and B pixel signals when a white subject is imaged is 1: 1: 1.
- FIG. 3 shows the configuration of the white defect correction circuit 22 shown in FIGS.
- the memory 41 in the white defect correction circuit 22 includes white defect pixel address data as position information of white defect pixels read from the memory 27 and an analog pixel signal output via the CCD 16 and the CDS circuit 17. Information is stored with data of a delay amount (delay time) which is transmitted by the cable 25 and subjected to A / D conversion and then delayed until it is actually input to the white defect correction circuit 22.
- the memory 41 may be provided outside the white defect correction circuit 22. Further, the information required by the white defect correction circuit 22 may be read from the memory 27 without providing the memory 41.
- the pixel signal imaged by the CCD 16 and subjected to CDS processing is transmitted by the cable 25, converted into a digital pixel signal by the A / D conversion circuit 19 a in the AFE 19, and input to the white defect pixel correction circuit 42 in the white defect correction circuit 22. And input to one input terminal sa of the selector 43.
- the white defect pixel correction circuit 42 outputs a pixel signal obtained by correcting the white defect pixel to the other input terminal sb of the selector 43.
- the white line address of the memory 41 selects (selects) the selector 43 so that one of the two pixel signals input to the two input terminals sa and sb of the selector 43 is selected and output from the selector 43. Used to control. Specifically, when a white scratch pixel is input into the white scratch correction circuit 22, the white scratch address is selected and output from the pixel signal Pcor that has been white scratch corrected by the white scratch pixel correction circuit 42. The selector 43 is switched (selected), and when the normal pixel Pn is input instead of the white scratch pixel, the selector 43 is switched (selected) so as to select and output the normal pixel Pn.
- FIG. 4 shows white scratched pixels Pw in the CCD 16 and the surrounding eight pixels. These pixels are sequentially read out line by line from the left side to the right side along the horizontal direction as a predetermined direction.
- the white defect pixel correction circuit 42 provided in the white defect correction circuit 22 is one pixel read out next to the white defect pixel Pw (in FIG. 4, the white defect pixel Pw
- the pixel signal of the white defect pixel Pw is corrected using the white defect correction value Pav calculated from the pixel signal of the seven pixels surrounding the white defect excluding the adjacent pixel Pwr.
- the normal pixel Pn input to the white defect correction circuit 22 is output to the next-stage image processing circuit 23 via the selector 43 and also input to the white defect pixel correction circuit 42, and white pixels in the eight pixels surrounding the white defect are detected.
- the pixel signal of 7 pixels around the white scratch excluding the adjacent pixel (pixel output after one pixel of the white scratch pixel signal) Pwr adjacent to the right side of the scratch pixel Pw is corrected for the pixel signal of the white scratch pixel Pw. Used to do.
- the white defect surrounding 7 pixel circuit 44 provided in the white defect pixel correction circuit 42 calculates an average value Pav of the pixel signals of the white defect surrounding 7 pixels as a white defect correction value for correcting the white defect pixel Pw.
- the average value Pav is output to the selector 43 as a pixel signal Pcor for correcting the white scratch pixel Pw.
- the selector 43 selects (switches) one of the two pixel signals Pn and Pcor input to the two input ends sa and sb as described above, and outputs the selected signal from one output end. That is, the selector 43 selects and outputs the image signal of the normal pixel Pn when the normal pixel Pn is input, and outputs the pixel signal of 7 pixels around the white scratch when the white scratch pixel Pw is input.
- the average value Pav is output as a pixel signal Pcor for correcting the white scratch pixel Pw.
- the endoscope apparatus 1 including the imaging device of the present invention has a plurality of pixels arranged in a two-dimensional manner for imaging a subject, and outputs a pixel signal imaged by the plurality of pixels.
- the CCD 16 as an image sensor
- a memory 27 as a white defect position information storage unit for storing position information of white defect pixels as defective pixels existing in the image sensor
- the image sensor By applying a signal, the CCD drive unit 21 as an image sensor drive unit that outputs the pixel signal along a predetermined direction from the plurality of pixels constituting the image sensor, and the white spot position information storage unit Based on the read position information of the white scratched pixel, when it is determined that the pixel signal output from the image sensor by applying the transfer signal is a white scratch pixel, the pixel signal is output from the image sensor.
- a white flaw correction circuit 22 serving as a white flaw correction unit that performs white flaw correction on a pixel signal of a pixel determined to be the white flaw pixel based on the calculated white flaw correction value; .
- the white defect correction circuit 22 in the present embodiment has the operation as described with reference to FIG. Therefore, according to the endoscope apparatus 1 of the present embodiment, even when the waveform of the analog pixel signal is reduced by the cable 25, the pixel signal caused by the white scratch pixel as the defective pixel can be corrected appropriately. Even when the endoscopes 2 having different lengths or the like of the CCD 16 or the cable 25 as the mounted image pickup device are used, the memory 27 as the endoscope information storage means mounted on each endoscope 2 is used. Since the position information and the like of the white scratched pixel Pw existing in the mounted CCD 16 is stored, the pixel signal caused by the white scratched pixel can be appropriately corrected.
- the processor side performs line clamping with a digital circuit.
- line clamping In order to accurately perform this line clamping, it is necessary to effectively remove noise including white flaw pixels with respect to the data of the horizontal OB portion including the white flaw pixels as a basis. Specifically, out of about 10 pixels in the center of one line, several pixels having the maximum pixel value and several pixels having the minimum pixel value are removed using a ranking filter, and line clamping is performed with the remaining OB pixels. Thus, it becomes possible to perform line clamping accurately.
- the ringing in this specification is a phenomenon in which when a white scratched pixel is generated in a waveform that is convex upward in a stepped manner, a waveform that protrudes downward, that is, a valley appears after the white scratched pixel as described below. This is different from ringing in which a vibration waveform is generated at the rising and falling portions of a normal pulse.
- a phenomenon abnormal pixel caused by white scratched pixels
- FIG. 5 shows a configuration of an imaging system portion in the endoscope apparatus of the present embodiment.
- the configuration shown in FIG. 5 is a configuration in which a ringing correction circuit 61 as an addition correction means for correcting abnormal pixels due to ringing is provided in the preceding stage of the white defect correction circuit 22 in the configuration of FIG. Since the configuration and operation of the white defect correction circuit 22 are the same as those described in the first embodiment, description thereof is omitted.
- the white defect correction circuit 22 may include a ringing correction circuit 61 therein. That is, the white defect correction unit may include a ringing correction circuit 61 as a ringing correction unit that corrects abnormal pixels due to ringing.
- an abnormality called a black scratch (counted) from the white scratch pixel Pw in advance.
- Information on the position (number of pixels position) of the pixel where the pixel is generated, and the signal value ratio (level ratio) or ratio that decreases as the pixel signal value (level) of the abnormal pixel with respect to the pixel signal value (level) of the white scratch pixel Pw are stored as correction parameters.
- the memory 27 stores N information in advance.
- m is the maximum number of abnormal pixels Pa.
- a correction value obtained by multiplying the pixel signal value Vai of the abnormal pixel Pai by (Vw ⁇ Vai) ⁇ ki is added to correct the pixel signal value Vai of the abnormal pixel Pai (in the abnormal pixel Pai or the like). If i is removed, the correction is made for one abnormal pixel Pa).
- FIG. 5 shows a schematic waveform example in which an abnormal pixel Pa or Pai is generated by the pixel signal of the white scratch pixel Pw and the pixel signal of the white scratch pixel Pw.
- (A) and (B) in FIG. 6 have shown the case where cable length differs, for example. In addition to the cable length, the type of cable and the end of the cable affect the occurrence of ringing.
- FIG. 6 shows a CDS output waveform.
- the horizontal axis indicates time, and the vertical axis indicates pixel signal value (level).
- the horizontal axis indicates the position of the subsequent pixel in pixel units with the pixel position of the white scratch pixel Pw as a reference.
- the output signal of the CDS circuit 17 is transmitted by the cable 25. Due to ringing, the pixel signal of the white pixel Pw is a pulse waveform having a stepped shape as shown in the waveform after cable transmission in FIG.
- the pixel signal having such a waveform is A / D converted by the AFE 19 to be converted into a digital pixel signal, and has a stepped waveform as shown by the waveform after AFE in FIG.
- the pixel signal having the waveform after the AFE is input to a ringing correction circuit 61 as addition correction means for correcting ringing due to white scratches through a short cable in the processor 4. That is, the AFE output waveform is almost the input waveform to the ringing correction circuit 61. Note that the time delay is usually negligible due to the short cable in the processor 4.
- an abnormal pixel Pa that has a valley-like depression occurs in the second pixel from the white scratch pixel Pw.
- abnormal pixels Pa1 and Pa2 that are concave in a valley shape are generated in the second pixel and the third pixel from the white scratch pixel Pw.
- the ringing correction circuit 61 constituting the addition correction means performs an abnormal pixel Pai (note that an abnormal pixel Pai is added to the input digital pixel signal. , Pa is omitted, but Pai includes the case of Pa).
- the pixel signal corrected by the ringing correction circuit 61 is input to the white defect correction circuit 22, and the white defect pixel Pw is corrected as described above and output to the image processing circuit 23.
- FIG. 7 shows a detailed configuration of the ringing correction circuit 61 as addition correction means.
- the ringing correction circuit 61 uses the positional information of the white scratch pixel Pw in the memory 41 to input the pixel signal value Vw of the white scratch pixel Pw from the input pixel signal.
- a multiplication circuit 65 that multiplies the value Vw and the correction coefficient ki, and a correction value holding circuit 66 that holds (stores) the multiplied correction value Vw ⁇ ki.
- the multiplication circuit 65 and the correction value holding circuit 66 constitute a correction value calculation holding circuit 67 for calculating and holding a correction value for correcting the pixel signal value Vai of the abnormal pixel Pai based on the pixel signal value Vw of the white scratch pixel Pw. To do.
- the ringing correction circuit 61 performs correction by adding the pixel signal value Vai and the correction value held by the correction value holding circuit 66 to the abnormal pixel Pai input after the white scratch pixel Pw. And an addition correction circuit 68 for outputting to the white defect correction circuit 22 via the selector 69.
- the selector 69 selects the pixel signal value Vw of the white scratch pixel Pw when the ringing correction is turned on by the switch 70 for turning on / off the ringing correction, and sets the correction value by the addition correction circuit 68 when the switch 69 is turned on.
- the added pixel signal is selected and output to the white defect correction circuit 22.
- the pixel signal having the AFE output waveform described in FIG. 6 is input to the ringing correction circuit 61.
- the multiplication circuit 65 in the ringing correction circuit 61 multiplies the pixel signal value Vw and the correction coefficient ki at the timing when the white scratch pixel Pw is input as shown in the lowermost stage of FIG. 6 to obtain a correction value Vw ⁇ ki.
- the correction value holding circuit 66 holds the correction value Vw ⁇ ki.
- the addition correction circuit 68 as the addition correction means receives the pixel signal value Va of the abnormal pixel Pa input after the white scratch pixel Pw, and sets the pixel signal value Va to the pixel signal value Va.
- the correction value Vw ⁇ ki held by the correction value holding circuit 66 is added and output. That is, when the pixel signal value Va of the abnormal pixel Pa is input, the addition correction circuit 68 corrects the corrected pixel signal value Va + Vw ⁇ ki and outputs it to the white defect correction circuit 22.
- correction coefficients k1 and k2 are used for the abnormal pixels Pa1 and Pa2, and the same correction as described above.
- the average of the pixel signals of the seven pixels surrounding the white defect is used as the white defect correction value except for the pixel signal of the adjacent pixel (horizontal adjacent pixel) that is output one pixel after one white defect pixel.
- the value Pav is calculated, since the CCD has relevance in the horizontal direction due to the principle of the transfer method, one pixel output one pixel before the pixel signal of the white scratch pixel is also white. You may make it consider the influence with respect to a wound pixel. For example, calculating an average value of pixel signals of 6 pixels around the white scratch excluding two adjacent pixels adjacent to the white scratch pixel in the horizontal direction (front and back). Furthermore, it is also possible to prepare a correction coefficient for each and correct two adjacent pixels.
- the white defect correction circuit 22 performs the white defect correction after the ringing correction circuit 61 performs the ringing correction.
- the ringing correction circuit 61 may perform the ringing correction. In this case, even when white defect correction is performed by the white defect correction circuit 22, the pixel signal value Vw of the white defect pixel Pw before white defect correction is held, and ringing is performed using the pixel signal value Vw.
- the correction circuit 61 performs ringing correction.
- the white scratch pixel Pw is rarely generated with respect to the normal pixel Pn, the effect of performing the ringing correction before and after the white scratch correction circuit 22 is almost the same.
- FIG. 8 shows a portion where a plurality of white scratch pixels Pw1 and Pw2 in the CCD 16 are close to each other.
- the pixel signal value of the white scratch pixel Pw necessary for correcting the influence due to ringing is corrected.
- the processing method for correcting the influence becomes complicated and simple. It becomes difficult to correct.
- the influence of ringing is removed (or reduced) by the ringing correction circuit 61 first, the rest is mostly caused by the white defect pixel Pw and the dullness of cable transmission. For this reason, the remaining white pixel Pw and the dull cable transmission may be corrected so as to remove it as in the first embodiment. Can be corrected.
- FIG. 9 shows the configuration of the adjacent pixel correction circuit 71 in the third embodiment.
- an adjacent pixel correction circuit 71 is provided as an adjacent pixel correction unit that performs correction on the adjacent pixel Pwr adjacent to the white scratch pixel Pw.
- the pixel signals output from the AFE 19 are input to, for example, a three-line memory 72 that constitutes the adjacent pixel correction circuit 71, and pixel signals for three horizontal lines that maintain the relationship in which the three pixels are adjacent in the vertical direction are sequentially generated.
- the pixel signal read from the output end of the center line is input to the comparator 73 that forms the determination means, and is output to the input end c through one input end a of the switching circuit 74 and the ringing circuit 61. .
- the comparator 73 compares the image signal with the threshold set by the threshold setting circuit 75, and controls the signal switching of the switching circuit 74 according to the comparison result. In other words, the comparator 73 forms determination means for determining whether or not the image signal is within a range to be corrected, using the threshold value.
- the threshold setting circuit 75 is configured to be able to select and use a threshold to be actually used from a plurality of thresholds according to the usage situation.
- a plurality of threshold values for example, a first threshold value generation circuit 76a, a second threshold value generation circuit 76b, and a third threshold value generation circuit 76c that respectively generate a first threshold value, a second threshold value, and a third threshold value are provided.
- the threshold connected to the comparator 73 can be selected via the selection switch 78.
- the first threshold value is set as a threshold value for determining a dark current (or black level) level
- the second threshold value is set as a threshold value for determining a level closer to 0 that is lower than the dark current level.
- the third threshold value is set as a threshold value for determining whether or not the average value described below has decreased to a predetermined ratio or more.
- the first threshold value or the second threshold value determines whether or not the adjacent pixel Pwr has been reduced to near the lower limit of the dark current level or the conversion range (range) of the A / D conversion circuit 19a by ringing.
- the third threshold value is a usage environment in which the white pixel Pw has a larger waveform dull due to the capacitive load during transmission by the cable 25 than the influence of ringing, and the dullness extends to the adjacent pixel Pwr. It is for judging the case of.
- the comparator 73 averages the influence of the vertical adjacent pixel influence on the signal value of the image signal of the adjacent pixel Pwr adjacent to the vertical direction (vertical direction) of the adjacent pixel Pwr (not affected by cable transmission by the white scratch pixel Pw). By comparing with a third threshold value obtained by multiplying the value Vav by a predetermined coefficient C, it is determined whether or not it is influenced by cable transmission by the white scratch pixel Pw.
- the comparator 73 outputs, for example, one pixel after the white spot pixel Pw from the position information of the white spot pixel Pw stored in the memory 27 or 41 and the information delayed by the cable 25. Control is performed so that the comparison operation is performed at the timing when the adjacent pixel Pwr is actually input to the comparator 73.
- a circuit for controlling the comparator 73 may be provided so as to perform this comparison operation.
- the adjacent pixel correction circuit 71 has an average value calculation circuit 79 that calculates an average value of the pixel signal one line before the center line and the pixel signal after the one line from the three-line memory 72.
- the average value calculation circuit 79 calculates the average value Vav of the pixel signals of two pixels adjacent in the vertical direction one line before and after the adjacent pixel Pwr, and outputs the average value Vav to the other input terminal b of the switching circuit 74. At the same time, it is output to the third threshold value generation circuit 76c.
- the comparator 73 switches to select the input terminal b when the signal value of the pixel signal of the adjacent pixel Pwr is equal to or less than the threshold value, and switches to select the input end b, instead of the image signal of the adjacent pixel Pwr.
- the image signal of the average value Vav of the average value calculation circuit 79 is output to the white defect correction circuit 22 via the switching circuit 74. Note that switching may be performed so as to select c instead of the input terminal b depending on a threshold connected to the comparator 73.
- the comparator 73 switches to select the input terminal a when the signal value of the pixel signal of the adjacent pixel Pwr exceeds the threshold value, and the pixel signal of the adjacent pixel Pwr passes through the switching circuit 74.
- the adjacent pixel Pwr is shifted from the original signal value due to blunting due to ringing or cable transmission due to the white scratch pixel Pw.
- the correction is performed by replacing with the average value of adjacent pixels adjacent in the vertical direction, so that it is possible to correct the image quality.
- the threshold value is not limited to the case where it is determined whether the influence of ringing is equal to or less than the lower limit value of the conversion range by the A / D conversion circuit 19a. It is also possible to perform correction on the adjacent pixel Pwr by determining whether or not.
- Embodiments configured by partially combining the above-described embodiments and the like also belong to the present invention.
- FIG. 1 shows an example in which the AFE 19 is provided in the signal connector 9a.
- the AFE 19 may be arranged in another place, for example, in the operation unit 7 of the endoscope 2.
- the AFE 19 and the A / D conversion circuit 19a may be arranged in the processor 4.
- the phenomenon depends on the type of CCD 16 (difference in the number of pixels and difference in operating frequency), not individual differences in the CCD 16. In addition, the phenomenon may vary depending on the type of the CCD 16, and there are some cases where there is a feature that the saturation roughness is continuous in the vertical direction.
- the memory 27 may store the position of a pixel that causes saturation roughness (simply abbreviated as “unsaturated pixel”) in the CCD 16 and performs interpolation (correction) based on the position information. For the interpolation (correction) method, as described above, an average value using surrounding pixels may be applied. The method will be described with reference to FIG. FIG.
- FIG. 10 shows an unsaturated pixel (indicated by diagonal lines) to be interpolated (corrected) and peripheral 8 pixels (A to H) adjacent to the unsaturated pixel.
- an average value that simply uses all the surrounding pixels can be adopted.
- (A + B + C + D + E + F + G + H) ⁇ 8 is obtained.
- the following average value is used. In this case, it is obtained by (A + C + 2D + 2E + F + H) ⁇ 8.
- Interpolation will depend primarily on the characteristics of the unsaturated pixels produced by the CCD 16. Therefore, the method for calculating the average value may be changed depending on the type of the CCD 16. Although the position information is used in the interpolation method of the unsaturated pixels, it is desirable to interpolate effectively because the storage capacity is limited. Specifically, the interpolation using the position information and the interpolation not using the position information are combined.
- the position information is stored in the memory 27.
- the interpolation threshold for example, 90 IRE
- the high luminance determination threshold 96 IRE
- the position information is stored in the memory 27.
- One IRE corresponds to a level of 7.14 mV.
- interpolation is performed to improve the saturation roughness. By doing so, the image signal that should be saturated can be changed as sufficient saturation.
- the determination is further performed using the threshold value for determination of unsaturation (98IRE). In this determination, interpolation is not performed if 98 to 100 IRE, but interpolation is performed if 96 to 98 IRE.
- the memory 27 stores the position of the white-scratched pixel and the position of the unsaturated pixel, a flag that can be identified is provided in the MSB (the most significant bit of 16-bit data) or the storage area is divided. Good. Also, until now, it was a combination of a method that uses pixel position information and a method that does not use pixel information. However, if there is an endoscope that does not have pixel position information, the above-described method that does not use pixel position information is used. What is necessary is just to interpolate. For example, an interpolation method that replaces the average value of the surrounding 8 pixels when the threshold value of the high luminance determination is below the threshold value can be mentioned.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
撮像装置は、被写体を撮像するために2次元状に配列された複数の画素により撮像した画素信号を出力する撮像素子と、撮像素子に存在する白傷画素の位置情報を記憶するメモリ41と、撮像素子から画素信号を出力させる撮像素子駆動部と、メモリ41から読み出した白傷画素の位置情報に基づき、撮像素子から出力される画素信号が白傷画素のものと判定された時、白傷画素と判定された画素を囲む周囲8画素の画素信号のうちの、白傷画素と判定された画素の1画素後に出力される隣接画素の画素信号を除いた7個の画素により算出された白傷補正値に基づき、白傷画素と判定された画素の画素信号に対して補正を行う白傷補正回路42と、を備える。
Description
本発明は、被写体を撮像する撮像素子に対する画像処理を行う撮像装置に関する。
近年、被写体を撮像する撮像素子は、内視鏡装置等の撮像装置に広く用いられるようになっている。
また、撮像素子は、最近、ますます高画素化、微細化されており、撮像素子に欠陥を持つ画素或いはノイズを発生する画素を皆無に製造することは不可能に近い。
このため、画像処理によって、撮像素子の通常画素とは異なるが画素信号を発生する欠陥画素や固定パターンのノイズを補正する技術が多数提案されている。
例えば、第1の従来例としての日本国特開2003-116060号公報には、欠陥画素補正部は、その内部に事前の検査により入手した欠陥画素の位置情報を記録する欠陥位置記録ROMを有し、該欠陥位置記録ROMから特定できる欠陥画素の周囲画素から相関性が高い方向を求め、その方向に属する周囲画素を用いて欠陥画素の補正値を算出する。
また、撮像素子は、最近、ますます高画素化、微細化されており、撮像素子に欠陥を持つ画素或いはノイズを発生する画素を皆無に製造することは不可能に近い。
このため、画像処理によって、撮像素子の通常画素とは異なるが画素信号を発生する欠陥画素や固定パターンのノイズを補正する技術が多数提案されている。
例えば、第1の従来例としての日本国特開2003-116060号公報には、欠陥画素補正部は、その内部に事前の検査により入手した欠陥画素の位置情報を記録する欠陥位置記録ROMを有し、該欠陥位置記録ROMから特定できる欠陥画素の周囲画素から相関性が高い方向を求め、その方向に属する周囲画素を用いて欠陥画素の補正値を算出する。
また、第2の従来例としての日本国特開平10-42201号公報の段落[0016]には、「主に前ライン上の映像情報及び後ライン上の映像情報を利用して、欠陥画素と同一ライン上の画像情報については、欠陥画素及びその前後の画素のデータを除いて補間に利用する。前ライン上の映像情報及び後ライン上の映像情報を用いて補正を行うため、欠陥画素だけでなく、その前後の信号についても補間が可能である。」と記載されている。
しかしながらアナログの画素信号を伝送するケーブルを有する撮像装置の場合には、ケーブルにより画素信号の波形が鈍り、第1の従来例のように欠陥画素による画素信号に対する補正を行った場合には、十分に補正できない。
一方、第2の従来例のように欠陥画素と共に、欠陥画素の前後の画素による画素信号に対する補正を行った場合には、補間が必要でない欠陥画素の前の画素に対しても補間を行うため、本来の画像信号の値を変更させてしまう過補正を行う欠点がある。
このため、ケーブルによりアナログの画素信号の波形がなまるような場合にも、欠陥画素としての白傷画素に起因する画素信号を適切に補正できる撮像装置が望まれる。
本発明は上述した点に鑑みてなされたもので、撮像素子における白傷画素の後に読み出される画素に対する白傷画素による影響を適切に補正できる撮像装置を提供することを目的とする。
このため、ケーブルによりアナログの画素信号の波形がなまるような場合にも、欠陥画素としての白傷画素に起因する画素信号を適切に補正できる撮像装置が望まれる。
本発明は上述した点に鑑みてなされたもので、撮像素子における白傷画素の後に読み出される画素に対する白傷画素による影響を適切に補正できる撮像装置を提供することを目的とする。
本発明の一態様に係る撮像装置は、被写体を撮像するために2次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子と、前記撮像素子に存在する欠陥画素としての白傷画素の位置情報を記憶する白傷位置情報記憶部と、前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部と、前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲8画素の画素信号のうちの、前記白傷画素と判定された画素の1画素後に出力される隣接画素の画素信号を除いた7個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部と、を備える。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の撮像装置を構成する第1の実施形態の内視鏡装置1は、内視鏡検査を行うための電子内視鏡(以下、単に内視鏡と略記)2と、この内視鏡2に対して照明光を供給する光源装置3と、内視鏡2の撮像素子等に対する信号処理(画像処理)を行う信号処理装置(画像処理装置)としてのプロセッサ4と、プロセッサ4により生成された映像信号を表示する表示装置としてのモニタ5とを有する。
内視鏡2は、患者の体腔内等に挿入される挿入部6と、この挿入部6の基端(後端)に設けられた操作部7と、この操作部7から延出されたケーブル部8とを有する。このケーブル部8の端部の光源コネクタ9bは、光源装置3に着脱自在に接続され、また信号コネクタ9aは、プロセッサ4に着脱自在に接続される。
(第1の実施形態)
図1に示すように本発明の撮像装置を構成する第1の実施形態の内視鏡装置1は、内視鏡検査を行うための電子内視鏡(以下、単に内視鏡と略記)2と、この内視鏡2に対して照明光を供給する光源装置3と、内視鏡2の撮像素子等に対する信号処理(画像処理)を行う信号処理装置(画像処理装置)としてのプロセッサ4と、プロセッサ4により生成された映像信号を表示する表示装置としてのモニタ5とを有する。
内視鏡2は、患者の体腔内等に挿入される挿入部6と、この挿入部6の基端(後端)に設けられた操作部7と、この操作部7から延出されたケーブル部8とを有する。このケーブル部8の端部の光源コネクタ9bは、光源装置3に着脱自在に接続され、また信号コネクタ9aは、プロセッサ4に着脱自在に接続される。
なお、図1に示すようにケーブル部8の端部側が分岐した構成のものに限らず、例えば光源コネクタから接続ケーブルを介してその端部の信号コネクタをプロセッサ4に着脱自在に接続する構成にしても良い。また、光源装置3とプロセッサ4とが一体化した構成にしても良い。
また、図1のプロセッサ4には、図1に示す内視鏡2とはケーブル長等が異なる内視鏡を接続して使用することもできる。
上記内視鏡2における挿入部6、操作部7,ケーブル部8内には照明光を伝送するライトガイド11が挿通され、その基端は光源コネクタ9bに至る。ユーザは、この光源コネクタ9bを光源装置3に接続することにより、光源装置3内の光源ランプ12により発生した照明光がコンデンサレンズ13により集光されてライトガイド11の基端に入射される。
また、図1のプロセッサ4には、図1に示す内視鏡2とはケーブル長等が異なる内視鏡を接続して使用することもできる。
上記内視鏡2における挿入部6、操作部7,ケーブル部8内には照明光を伝送するライトガイド11が挿通され、その基端は光源コネクタ9bに至る。ユーザは、この光源コネクタ9bを光源装置3に接続することにより、光源装置3内の光源ランプ12により発生した照明光がコンデンサレンズ13により集光されてライトガイド11の基端に入射される。
この照明光は、ライトガイド11により伝送され、挿入部6の先端部14の照明窓から出射され、体腔内の患部等の被写体を照明する。照明された被写体は、照明窓に隣接して設けられた観察窓に取り付けられた対物レンズ15により、その結像位置に被写体の光学像を結ぶ。結像位置には固体撮像素子(撮像素子)として電荷結合素子(CCDと略記)16の受光面が配置され、受光面には2次元的に配列された光電変換する機能を備えたフォトダイオードによる画素が形成されている。
また、先端部14内にはCCD16と、図示しないCCDを駆動するタイミングジェネレータ(TG)と、該CCD16に対する信号成分の抽出を行うCDS回路17とを一つのパッケージ組み込んだシステムインチップ部(SIPと略記)18が配置してある。また、本実施形態に係る内視鏡2においては、例えば信号コネクタ9a内にアナログ・デジタル変換手段としてのA/D変換回路19aを内蔵したアナログフロントエンド(AFE)19が配置されている。
また、先端部14内にはCCD16と、図示しないCCDを駆動するタイミングジェネレータ(TG)と、該CCD16に対する信号成分の抽出を行うCDS回路17とを一つのパッケージ組み込んだシステムインチップ部(SIPと略記)18が配置してある。また、本実施形態に係る内視鏡2においては、例えば信号コネクタ9a内にアナログ・デジタル変換手段としてのA/D変換回路19aを内蔵したアナログフロントエンド(AFE)19が配置されている。
プロセッサ4内には、CCD16を駆動するCCD駆動信号(単に駆動信号とも転送する転送信号とも言う)を生成する撮像素子駆動手段又は撮像素子駆動部としてのCCD駆動部21と、CCD16により撮像され、CCD16から出力される画素信号におけるCDS回路17、AFE19を経た後の画素信号に対して、欠陥画素としての白傷(又は白傷画素)に対する補正(白傷補正と言う)を行う白傷補正手段又は白傷補正部としての白傷補正回路22及び画像処理を行う画像処理回路23を有する画像処理手段としての画像処理部24とが設けてある。
欠陥画素としての白傷又は白傷画素は、正常な光電変換機能を有せず、転送信号の印加に対して信号レベルが高い白に近い画素信号(白信号)を出力する。
欠陥画素としての白傷又は白傷画素は、正常な光電変換機能を有せず、転送信号の印加に対して信号レベルが高い白に近い画素信号(白信号)を出力する。
CCD駆動部21は、生成したCCD駆動信号を、内視鏡2内のケーブル25を介して、CCD16に印加し、CCD16を形成する受光部の画素は、光電変換した信号電荷を画素信号として出力する。
この画素信号は、CCD駆動信号における一部の信号(リセット信号)をノイズとして含むため、CDS回路17は、画素信号中の信号成分を抽出して、ノイズを除去した画素信号を出力する。なお、CDS回路17は、CCD駆動信号から信号成分を抽出するためのサンプリング信号を生成し、該サンプリング信号を用いてノイズを除去した画素信号を生成する。
この画素信号は、CCD駆動信号における一部の信号(リセット信号)をノイズとして含むため、CDS回路17は、画素信号中の信号成分を抽出して、ノイズを除去した画素信号を出力する。なお、CDS回路17は、CCD駆動信号から信号成分を抽出するためのサンプリング信号を生成し、該サンプリング信号を用いてノイズを除去した画素信号を生成する。
CDS回路17をCCD16から離した位置に設けた場合には、CCD16の出力信号をCDS回路17に入力するまでの信号伝送するケーブルによる信号遅延の影響を受け易くなるが、本実施形態においては、このCDS回路17をCCD16の近傍に配置しているため、ケーブルによる信号遅延の影響を受けないため、高精度でCCD16の信号成分を抽出することが可能となる。
CDS回路17によってノイズが除去されたベースバンドのアナログの画素信号は、挿入部6、操作部7,ケーブル部8内の信号伝送路又は信号伝送線を形成するケーブル25を介してAFE19に入力される。このAFE19において、画素信号は、AFE19内のアンプで増幅された後、アナログ・デジタル変換手段又はアナログ・デジタル変換部としてのA/D変換回路19aによって、アナログの画素信号からデジタルの画素信号に変換される。
CDS回路17によってノイズが除去されたベースバンドのアナログの画素信号は、挿入部6、操作部7,ケーブル部8内の信号伝送路又は信号伝送線を形成するケーブル25を介してAFE19に入力される。このAFE19において、画素信号は、AFE19内のアンプで増幅された後、アナログ・デジタル変換手段又はアナログ・デジタル変換部としてのA/D変換回路19aによって、アナログの画素信号からデジタルの画素信号に変換される。
なお、CCD駆動部21は、プロセッサ4内部に設けてあるので、CCD駆動波形は、挿入部6の先端部14まで伝送する際に、内視鏡2内のケーブル25によってなまるが、SIP18内においてその波形補正して、CCD16を駆動する。
AFE19内のA/D変換回路19aを経たデジタルの画素信号は、画像処理部24内の白傷補正回路22に入力され、白傷補正回路22は、白傷と判定された画素、つまり白傷画素に対する補正の画像処理を行う。
白傷補正回路22により白傷画素の補正が行われた画素信号は、画像処理回路23により標準的な映像信号に変換され、モニタ5に出力される。モニタ5の表示面には、CCD16により撮像された被写体の画像が内視鏡画像として表示される。
また、内視鏡2は、該内視鏡2に搭載されているCCD16において予め調べられた白傷画素の2次元位置(単に位置と略記)情報を格納した白傷位置情報記憶手段又は白傷位置情報記憶部としてのメモリ27を内蔵している。例えば図1の例では信号コネクタ9a内にメモリ27が設けられている。このメモリ27には、CCD16の水平及び垂直の画素数の情報も格納している。
白傷補正回路22により白傷画素の補正が行われた画素信号は、画像処理回路23により標準的な映像信号に変換され、モニタ5に出力される。モニタ5の表示面には、CCD16により撮像された被写体の画像が内視鏡画像として表示される。
また、内視鏡2は、該内視鏡2に搭載されているCCD16において予め調べられた白傷画素の2次元位置(単に位置と略記)情報を格納した白傷位置情報記憶手段又は白傷位置情報記憶部としてのメモリ27を内蔵している。例えば図1の例では信号コネクタ9a内にメモリ27が設けられている。このメモリ27には、CCD16の水平及び垂直の画素数の情報も格納している。
このメモリ27は、信号コネクタ9aがプロセッサ4に接続された場合、白傷補正回路22と電気的に接続される。白傷補正回路22は、メモリ27から白傷画素の2次元の位置情報を読み出し、例えば白傷補正回路22内に設けたメモリ41(図3参照)に白傷画素アドレスとして格納する。従って、メモリ41もCCD16に存在する白傷画素の2次元位置を記憶する白傷位置情報記憶手段を構成すると見なすこともできる。
後述するように、白傷補正回路22は、メモリ41内に格納された白傷画素アドレスを用いて、この白傷補正回路22に入力される画素信号のアドレスから白傷画素アドレスに一致する場合には白傷画素と判定し、一致しない場合には白傷画素でない通常画素と判定する。
後述するように、白傷補正回路22は、メモリ41内に格納された白傷画素アドレスを用いて、この白傷補正回路22に入力される画素信号のアドレスから白傷画素アドレスに一致する場合には白傷画素と判定し、一致しない場合には白傷画素でない通常画素と判定する。
白傷補正回路22に入力される画素信号のタイミングは、CCD駆動信号のタイミングとケーブル25の長さに応じてずれる(CCD駆動信号のタイミングから遅れる)ため、メモリ27には、このケーブル25の長さによるタイミングずれの情報も格納されている。
例えば、CCD駆動信号がCCD16の水平方向のi番目及び垂直方向にj番目の画素P(i,j)を駆動するタイミングの時、ケーブル25の長さによる遅延量のため、AFE19を経て白傷補正回路22に実際に入力される画素信号が(水平方向に配置された画素を単位として)画素数n分だけ遅れる場合には、その画素数n分だけ遅れる情報がメモリ27に予め格納されている。つまり、CCD駆動信号が画素P(i,j)を駆動するタイミングの時、ケーブル25の長さによる遅延量のため、前記画素P(i,j)の画素信号が白傷補正回路22に実際に入力されるタイミングは、P(i+n,j)にずれる。
例えば、CCD駆動信号がCCD16の水平方向のi番目及び垂直方向にj番目の画素P(i,j)を駆動するタイミングの時、ケーブル25の長さによる遅延量のため、AFE19を経て白傷補正回路22に実際に入力される画素信号が(水平方向に配置された画素を単位として)画素数n分だけ遅れる場合には、その画素数n分だけ遅れる情報がメモリ27に予め格納されている。つまり、CCD駆動信号が画素P(i,j)を駆動するタイミングの時、ケーブル25の長さによる遅延量のため、前記画素P(i,j)の画素信号が白傷補正回路22に実際に入力されるタイミングは、P(i+n,j)にずれる。
換言すると、白傷補正回路22は、各画素からこの白傷補正回路22に実際に入力される画素信号のタイミングや、実際に入力された画素の撮像面上での2次元位置(アドレス)を把握できるようになっている。なお、図1に示すようにプロセッサ4内に白傷補正回路22とCCD駆動部21とを配置した場合、CCD駆動部21に出力されたCCD駆動信号(転送信号)がCCD16に印加されるまでの遅延量と、CCD16の出力信号が白傷補正回路22に入力されるまでの遅延量とは同じであると近似できる。
図2は、図1における画像処理系の概略の構成を示す。図2に示すようにCCD16を含むSIP18は、内視鏡2内の極細のケーブル(実際には同軸ケーブル)25を介してAFE19と接続されている。
このため、SIP18から出力されるアナログの画素信号をケーブル25により伝送した場合、CCD自身の水平転送効率劣化や、ノイズ抑制のためのローパスフィルタや、ケーブル25を同軸ケーブルにした場合の長さの増大と共に、(内側導体と外側導体間の)容量が増大して容量性負荷が増大する等のために、白傷画素の画素信号もその波形が鈍り、白傷画素の画素信号と共に、この白傷画素の画素信号の後に(CCD駆動信号の印加により読み出されて)出力される所定の画素の画素信号がその影響を受ける。
このため、SIP18から出力されるアナログの画素信号をケーブル25により伝送した場合、CCD自身の水平転送効率劣化や、ノイズ抑制のためのローパスフィルタや、ケーブル25を同軸ケーブルにした場合の長さの増大と共に、(内側導体と外側導体間の)容量が増大して容量性負荷が増大する等のために、白傷画素の画素信号もその波形が鈍り、白傷画素の画素信号と共に、この白傷画素の画素信号の後に(CCD駆動信号の印加により読み出されて)出力される所定の画素の画素信号がその影響を受ける。
従って、本実施形態においては、以下に説明するように白傷補正回路22は、白傷画素の画素信号に対して、白傷画素の周囲画素における該白傷画素の画素信号の1画素分後に出力される1画素(隣接画素という)の画素信号を除いて補正を行うようにする。
この白傷補正回路22により補正された画素信号は、画像処理回路23を構成するOBクランプ回路31により、OB部の信号レベルがクランプされる。なお、OBはオプティカルブラックの略であり、OB部は、撮像素子としてのCCD16の撮像面の画素を光学的に遮光して、遮光された画素から出力される画素信号のレベルを、遮光されていない画素の画素信号の黒レベルとして用いる。このOBクランプ回路31から出力される画素信号は、ホワイトバランス回路33に入力され、ホワイトバランスの調整が行われる。つまり、白い被写体を撮像した場合のR,G,Bの画素信号のレベルが1:1:1となるようにホワイトバランス回路33内のアンプのゲインが調整される。
この白傷補正回路22により補正された画素信号は、画像処理回路23を構成するOBクランプ回路31により、OB部の信号レベルがクランプされる。なお、OBはオプティカルブラックの略であり、OB部は、撮像素子としてのCCD16の撮像面の画素を光学的に遮光して、遮光された画素から出力される画素信号のレベルを、遮光されていない画素の画素信号の黒レベルとして用いる。このOBクランプ回路31から出力される画素信号は、ホワイトバランス回路33に入力され、ホワイトバランスの調整が行われる。つまり、白い被写体を撮像した場合のR,G,Bの画素信号のレベルが1:1:1となるようにホワイトバランス回路33内のアンプのゲインが調整される。
このホワイトバランス回路33から出力される画素信号は、水平輪郭、垂直輪郭の強調や、ガンマ補正等の各種の画像処理を行う各種画像回路34を経て標準的な映像信号に変換され、モニタ5に出力される。
図3は図1及び図2の白傷補正回路22の構成を示す。
白傷補正回路22内のメモリ41は、メモリ27から読み出された白傷画素の位置情報としての白傷画素アドレスのデータと、CCD16及びCDS回路17を経て出力されたアナログの画素信号が、ケーブル25により伝送され、A/D変換された後、白傷補正回路22に実際に入力されるまでの時間遅延する遅延量(遅延時間)のデータとの情報を格納している。
図3は図1及び図2の白傷補正回路22の構成を示す。
白傷補正回路22内のメモリ41は、メモリ27から読み出された白傷画素の位置情報としての白傷画素アドレスのデータと、CCD16及びCDS回路17を経て出力されたアナログの画素信号が、ケーブル25により伝送され、A/D変換された後、白傷補正回路22に実際に入力されるまでの時間遅延する遅延量(遅延時間)のデータとの情報を格納している。
なお、メモリ41を白傷補正回路22の外部に設けるようにしても良い。また、メモリ41を設けることなく、メモリ27から白傷補正回路22が必要とする情報を読み出すようにしても良い。
CCD16により撮像され、CDS処理された画素信号はケーブル25により伝送され、AFE19内のA/D変換回路19aによりデジタルの画素信号となり、白傷補正回路22内の白傷画素補正回路42に入力されると共に、セレクタ43の一方の入力端saに入力される。白傷画素補正回路42は、白傷画素を補正した画素信号をセレクタ43の他方の入力端sbに出力する。また、メモリ41の白傷アドレスは、セレクタ43の2つの入力端sa,sbに入力される2つの画素信号の一方を選択して、セレクタ43から出力させるようにセレクタ43の切替(選択)を制御するのに用いられる。
具体的には、白傷補正回路22内に白傷画素が入力された場合には、白傷アドレスは白傷画素補正回路42により白傷補正がされた画素信号Pcorを選択して出力するようにセレクタ43の切替(選択)を制御し、白傷画素ではなく通常画素Pnが入力された場合にはこの通常画素Pnを選択して出力するようにセレクタ43の切替(選択)を制御する。
CCD16により撮像され、CDS処理された画素信号はケーブル25により伝送され、AFE19内のA/D変換回路19aによりデジタルの画素信号となり、白傷補正回路22内の白傷画素補正回路42に入力されると共に、セレクタ43の一方の入力端saに入力される。白傷画素補正回路42は、白傷画素を補正した画素信号をセレクタ43の他方の入力端sbに出力する。また、メモリ41の白傷アドレスは、セレクタ43の2つの入力端sa,sbに入力される2つの画素信号の一方を選択して、セレクタ43から出力させるようにセレクタ43の切替(選択)を制御するのに用いられる。
具体的には、白傷補正回路22内に白傷画素が入力された場合には、白傷アドレスは白傷画素補正回路42により白傷補正がされた画素信号Pcorを選択して出力するようにセレクタ43の切替(選択)を制御し、白傷画素ではなく通常画素Pnが入力された場合にはこの通常画素Pnを選択して出力するようにセレクタ43の切替(選択)を制御する。
図4はCCD16における白傷画素Pwとその周囲8画素を示し、これらの画素は所定方向としての水平方向に沿って左側から右側に沿って1ライン毎に順次読み出される。本実施形態においては、以下に説明するように白傷補正回路22に設けた白傷画素補正回路42は、白傷画素Pwの次に読み出される1画素(図4中では、白傷画素Pwの右横となる隣接画素)Pwrを除く白傷周囲7画素の画素信号により算出される白傷補正値Pavを用いて白傷画素Pwの画素信号を補正する。
白傷補正回路22に入力された通常画素Pnは、セレクタ43を介して、次段の画像処理回路23に出力されると共に、白傷画素補正回路42に入力され、白傷周囲8画素における白傷画素Pwの右横に隣接する隣接画素(白傷の画素信号の1画素分後に出力される画素)Pwrを除外した白傷周囲7画素の画素信号は、白傷画素Pwの画素信号を補正するために用いられる。そして、白傷画素補正回路42内に設けた白傷周囲7画素回路44は、白傷画素Pwを補正する白傷補正値として上記白傷周囲7画素の画素信号の平均値Pavを算出して、平均値Pavを白傷画素Pwを補正する画素信号Pcorとしてセレクタ43に出力する。
白傷補正回路22に入力された通常画素Pnは、セレクタ43を介して、次段の画像処理回路23に出力されると共に、白傷画素補正回路42に入力され、白傷周囲8画素における白傷画素Pwの右横に隣接する隣接画素(白傷の画素信号の1画素分後に出力される画素)Pwrを除外した白傷周囲7画素の画素信号は、白傷画素Pwの画素信号を補正するために用いられる。そして、白傷画素補正回路42内に設けた白傷周囲7画素回路44は、白傷画素Pwを補正する白傷補正値として上記白傷周囲7画素の画素信号の平均値Pavを算出して、平均値Pavを白傷画素Pwを補正する画素信号Pcorとしてセレクタ43に出力する。
なお、セレクタ43は、上記のように2つの入力端sa,sbに入力される2つの画素信号Pn,Pcorの1つをセレクト(切替)して1つの出力端から出力する。つまり、セレクタ43は、通常画素Pnが入力される場合には通常画素Pnの画像信号を選択して出力し、白傷画素Pwが入力される場合には、白傷周囲7画素の画素信号の平均値Pavを白傷画素Pwを補正する画素信号Pcorとして出力する。このように本発明の撮像装置を備えた内視鏡装置1は、被写体を撮像するために2次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子としてのCCD16と、前記撮像素子に存在する欠陥画素としての白傷画素の(2次元の)位置情報を記憶する白傷位置情報記憶部としてのメモリ27と、前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部としてのCCD駆動部21と、前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲8画素の画素信号のうちの、前記白傷画素と判定された画素の1画素後に出力される隣接画素の画素信号を除いた7個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部としての白傷補正回路22と、を備えることを特徴とする。
そして、本実施形態における白傷補正回路22は、図3にて説明したような作用を有する。
従って、本実施形態の内視鏡装置1によれば、ケーブル25によりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できる。
また、搭載された撮像素子としてのCCD16やケーブル25の長さ等が異なる内視鏡2を用いた場合にも、各内視鏡2に搭載された内視鏡情報記憶手段としてのメモリ27には、搭載されたCCD16に存在する白傷画素Pwの位置情報等が格納されているので、白傷画素に起因する画素信号を適切に補正できる。
従って、本実施形態の内視鏡装置1によれば、ケーブル25によりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できる。
また、搭載された撮像素子としてのCCD16やケーブル25の長さ等が異なる内視鏡2を用いた場合にも、各内視鏡2に搭載された内視鏡情報記憶手段としてのメモリ27には、搭載されたCCD16に存在する白傷画素Pwの位置情報等が格納されているので、白傷画素に起因する画素信号を適切に補正できる。
(OB部白傷補正)尚、図示しない30画素程度の水平OB部に対して、プロセッサ側(図1の24)では、デジタル回路にてラインクランプを行っている。このラインクランプを正確に行うためには、その基となる白傷画素を含む水平OB部のデータに対して、効果的に白傷画素を含むノイズ除去を行う必要がある。具体的には、1ライン中央10画素程度のうち、ランキングフィルタを用いて、最大画素値を持つ数画素、最小画素値を持つ数画素を除去して、残りのOB画素でラインクランプを行うことで、正確にラインクランプを行うことが可能になる。
(第2の実施形態)
次に本発明の第2の実施形態を説明する。第1の実施形態においては、主に白傷画素の画素信号がケーブル25によって鈍ることを考慮して、鈍った場合の白傷画素の画素信号に対する補正を行うようにしていた。
白傷画素による画素信号のようにステップ状に変化した場合、信号伝送路を形成するケーブル25のケーブル長等に依存して、ケーブル25により伝送される画素信号が減衰振動的に変化するリンギングが発生する場合がある。本明細書におけるリンギングは、白傷画素がステップ状に上に凸となる波形で発生した場合、以下に記載のようにその白傷画素の後に下に凸、つまり谷となる波形が現れる現象を指し、通常のパルスの立ち上がり部分と立ち下がり部分とでそれぞれ振動波形が発生するリンギングとは異なる。
次に本発明の第2の実施形態を説明する。第1の実施形態においては、主に白傷画素の画素信号がケーブル25によって鈍ることを考慮して、鈍った場合の白傷画素の画素信号に対する補正を行うようにしていた。
白傷画素による画素信号のようにステップ状に変化した場合、信号伝送路を形成するケーブル25のケーブル長等に依存して、ケーブル25により伝送される画素信号が減衰振動的に変化するリンギングが発生する場合がある。本明細書におけるリンギングは、白傷画素がステップ状に上に凸となる波形で発生した場合、以下に記載のようにその白傷画素の後に下に凸、つまり谷となる波形が現れる現象を指し、通常のパルスの立ち上がり部分と立ち下がり部分とでそれぞれ振動波形が発生するリンギングとは異なる。
白傷画素によるリンギング(白傷画素のリンギングと略記)が発生すると、白傷画素から所定の画素数(例えば数画素数)程度だけ後に出力される(補正することが望まれる)所定の画素又は補正対象の画素の画素信号に対して、(白傷画素の画素信号が)その画素の画素信号の本来の信号レベル値(画素信号値)から谷状に出力レベルを低下させ、その為に黒点のように表示又は視認されるようにする現象(白傷画素起因の異常画素)が発生する。
このため、本実施形態においては、第1の実施形態において、さらに白傷画素のリンギングによる異常画素を補正するリンギング補正手段、換言すると谷状に下がる異常画素の画素値を加算により補正する加算補正手段を設けるようにしている。図5は本実施形態の内視鏡装置における撮像系部分の構成を示す。
図5に示す構成は、図2の構成において、白傷補正回路22の前段にリンギングによる異常画素を補正する加算補正手段としてのリンギング補正回路61を設けた構成である。白傷補正回路22の構成及び作用は、第1の実施形態において説明した内容と同じであるため、その説明を省略する。なお、白傷補正回路22が、その内部にリンギング補正回路61を備えた構成にしても良い。つまり、白傷補正手段がリンギングによる異常画素を補正するリンギング補正手段としてのリンギング補正回路61を備えた構成でも良い。
このため、本実施形態においては、第1の実施形態において、さらに白傷画素のリンギングによる異常画素を補正するリンギング補正手段、換言すると谷状に下がる異常画素の画素値を加算により補正する加算補正手段を設けるようにしている。図5は本実施形態の内視鏡装置における撮像系部分の構成を示す。
図5に示す構成は、図2の構成において、白傷補正回路22の前段にリンギングによる異常画素を補正する加算補正手段としてのリンギング補正回路61を設けた構成である。白傷補正回路22の構成及び作用は、第1の実施形態において説明した内容と同じであるため、その説明を省略する。なお、白傷補正回路22が、その内部にリンギング補正回路61を備えた構成にしても良い。つまり、白傷補正手段がリンギングによる異常画素を補正するリンギング補正手段としてのリンギング補正回路61を備えた構成でも良い。
(リンギング補正)
また、本実施形態においては、各内視鏡2に設けたメモリ27内に、上述した白傷画素Pwの位置情報等の他に、予め白傷画素Pwから(数えて)黒傷と呼ばれる異常画素が発生する画素の位置(画素数位置)の情報と、白傷画素Pwの画素信号値(レベル)に対する異常画素の画素信号値(レベル)として低下する信号値比(レベル比)又は割合等の情報とを補正パラメータとして格納する。
例えば、白傷画素PwからN番目の画素が異常画素又は補正対象の画素である場合には、メモリ27は、Nの情報を予め記憶している。
また、白傷画素Pwの画素信号値をVwとし、異常画素Paの谷状に低下する低下画素信号値がVaとなる場合には、メモリ27は、Va/(Vw-Va)=kとなる補正係数kの情報を予め記憶している。
また、本実施形態においては、各内視鏡2に設けたメモリ27内に、上述した白傷画素Pwの位置情報等の他に、予め白傷画素Pwから(数えて)黒傷と呼ばれる異常画素が発生する画素の位置(画素数位置)の情報と、白傷画素Pwの画素信号値(レベル)に対する異常画素の画素信号値(レベル)として低下する信号値比(レベル比)又は割合等の情報とを補正パラメータとして格納する。
例えば、白傷画素PwからN番目の画素が異常画素又は補正対象の画素である場合には、メモリ27は、Nの情報を予め記憶している。
また、白傷画素Pwの画素信号値をVwとし、異常画素Paの谷状に低下する低下画素信号値がVaとなる場合には、メモリ27は、Va/(Vw-Va)=kとなる補正係数kの情報を予め記憶している。
なお、異常画素Paが複数発生する場合には、その異常画素をPai、谷状に低下する低下画素信号値をVaiとした場合、補正情報記憶手段を構成するメモリ27は、Vai/(Vw-Vai)=kiとなる補正係数kiの情報を予め記憶している。なお、iは、i=1,2,3,…,mとなり、mは異常画素Paの最大数である。
そして、異常画素Paiの画素信号値Vaiに対して、(Vw-Vai)×kiを乗算した補正値を加算して、異常画素Paiの画素信号値Vaiを補正する(なお、異常画素Paiなどにおけるiを除去すると、1つの異常画素Paに対する補正となる)。
そして、異常画素Paiの画素信号値Vaiに対して、(Vw-Vai)×kiを乗算した補正値を加算して、異常画素Paiの画素信号値Vaiを補正する(なお、異常画素Paiなどにおけるiを除去すると、1つの異常画素Paに対する補正となる)。
図5に示す構成例では、メモリ41を白傷補正回路22の外部に設けた例を示しているが、上述した構成例のように白傷補正回路22の内部に設けても良い。このメモリ41は、メモリ27の情報を読み込みメモリ41内部に格納する。リンギング補正回路61は、リンギング補正を行う場合、その補正に必要な補正パラメータなどをメモリ41から取得する。なお、メモリ41を設けないで、メモリ27から補正等に必要な情報を取得する構成にしても良い。
図6は、白傷画素Pwの画素信号とその白傷画素Pwの画素信号により異常画素Pa又はPaiが発生する概略の波形例を示している。なお、図6における(A)と(B)は、例えばケーブル長が異なる場合を示している。ケーブル長の他に、ケーブルの種類や、ケーブルの端部等もリンギングの発生に影響する。
図6は、白傷画素Pwの画素信号とその白傷画素Pwの画素信号により異常画素Pa又はPaiが発生する概略の波形例を示している。なお、図6における(A)と(B)は、例えばケーブル長が異なる場合を示している。ケーブル長の他に、ケーブルの種類や、ケーブルの端部等もリンギングの発生に影響する。
CCD16において発生した白傷画素Pwの画素信号は、CDS回路17を経てパルス状に出力される。図6ではCDS出力波形を示している。なお、図6における横軸は時間、縦軸は画素信号値(レベル)を示す。但し、AFE出力波形では、横軸を白傷画素Pwの画素位置を基準として後続する画素の位置を画素単位で示している。
上記CDS回路17の出力信号は、ケーブル25によって伝送されるが、リンギングにより白傷画素Pwの画素信号は、図6のケーブル伝送後の波形で示すようにその画素信号自体が段差状のパルス波形から山状に(鈍った)凸部の波形に変形すると共に、その白傷画素Pwの後に出力される画素部分側において谷状に凹部となる波形に変形する。つまり、白傷画素Pwにより、その白傷画素Pwに後続する画素の画素信号値は谷状に小さくなってしまう。
上記CDS回路17の出力信号は、ケーブル25によって伝送されるが、リンギングにより白傷画素Pwの画素信号は、図6のケーブル伝送後の波形で示すようにその画素信号自体が段差状のパルス波形から山状に(鈍った)凸部の波形に変形すると共に、その白傷画素Pwの後に出力される画素部分側において谷状に凹部となる波形に変形する。つまり、白傷画素Pwにより、その白傷画素Pwに後続する画素の画素信号値は谷状に小さくなってしまう。
このような波形の画素信号は、AFE19においてA/D変換されてデジタルの画素信号に変換され、図6のAFE後の波形で示すように段差状の波形となる。このAFE後の波形の画素信号が、プロセッサ4内の短いケーブルを経て白傷によるリンギングを補正する加算補正手段としてのリンギング補正回路61に入力される。つまり、AFE出力波形は、殆どリンギング補正回路61への入力波形となる。なお、プロセッサ4内での短いケーブルにより時間遅延は、通常無視できる。
図6(A)のAFE後の波形においては、白傷画素Pwから2画素目に谷状に凹部となる異常画素Paが発生している。
一方、図6(B)のAFE後の波形においては、白傷画素Pwから2画素目と3画素目に谷状に凹部となる異常画素Pa1,Pa2が発生している。
図6(A)のAFE後の波形においては、白傷画素Pwから2画素目に谷状に凹部となる異常画素Paが発生している。
一方、図6(B)のAFE後の波形においては、白傷画素Pwから2画素目と3画素目に谷状に凹部となる異常画素Pa1,Pa2が発生している。
(リンギング補正)
このような異常画素Pa(Pa1、Pa2等)を補正するため、本実施形態においては、加算補正手段を構成するリンギング補正回路61は、入力されるデジタルの画素信号に対して異常画素Pai(なお、Paの並列表記を省略するが、Paiは、Paの場合も含むとする)に対する補正を行う。このリンギング補正回路61により補正がされた画素信号は、白傷補正回路22に入力され、上述したように、白傷画素Pwに対する補正がされて、画像処理回路23に出力される。
図7は、加算補正手段としてのリンギング補正回路61の詳細な構成を示す。このリンギング補正回路61は、入力される画素信号から、メモリ41の白傷画素Pwの位置情報を用いて白傷画素Pwの画素信号値Vwが入力されるタイミングにおいて、白傷画素Pwの画素信号値Vwと、補正係数kiとを乗算する乗算回路65と、乗算した補正値Vw×kiを保持(記憶)する補正値保持回路66を有する。この乗算回路65と、補正値保持回路66とにより白傷画素Pwの画素信号値Vwによる異常画素Paiの画素信号値Vaiを補正する補正値を算出して保持する補正値算出保持回路67を構成する。
このような異常画素Pa(Pa1、Pa2等)を補正するため、本実施形態においては、加算補正手段を構成するリンギング補正回路61は、入力されるデジタルの画素信号に対して異常画素Pai(なお、Paの並列表記を省略するが、Paiは、Paの場合も含むとする)に対する補正を行う。このリンギング補正回路61により補正がされた画素信号は、白傷補正回路22に入力され、上述したように、白傷画素Pwに対する補正がされて、画像処理回路23に出力される。
図7は、加算補正手段としてのリンギング補正回路61の詳細な構成を示す。このリンギング補正回路61は、入力される画素信号から、メモリ41の白傷画素Pwの位置情報を用いて白傷画素Pwの画素信号値Vwが入力されるタイミングにおいて、白傷画素Pwの画素信号値Vwと、補正係数kiとを乗算する乗算回路65と、乗算した補正値Vw×kiを保持(記憶)する補正値保持回路66を有する。この乗算回路65と、補正値保持回路66とにより白傷画素Pwの画素信号値Vwによる異常画素Paiの画素信号値Vaiを補正する補正値を算出して保持する補正値算出保持回路67を構成する。
(リンギング補正)
また、このリンギング補正回路61は、白傷画素Pwの後に入力される異常画素Paiに対してその画素信号値Vaiと、上記補正値保持回路66により保持された補正値とを加算した補正を行い、セレクタ69を介して白傷補正回路22に出力する加算補正回路68を有する。なお、セレクタ69は、リンギング補正のON/OFFを行うスイッチ70により、OFFの場合には白傷画素Pwの画素信号値Vwを選択し、ONの場合には加算補正回路68により、補正値を加算した画素信号を選択して、白傷補正回路22に出力する。
この様な構成による本実施形態におけるリンギング補正回路61の動作を説明する。
上述したように、リンギング補正回路61には、図6で説明したAFE出力波形の画素信号が入力される。
リンギング補正回路61内の乗算回路65は、図6の最下段に示すように白傷画素Pwが入力されたタイミングでその画素信号値Vwと補正係数kiとを乗算して補正値Vw×kiを算出し、補正値保持回路66はその補正値Vw×kiを保持する。
また、このリンギング補正回路61は、白傷画素Pwの後に入力される異常画素Paiに対してその画素信号値Vaiと、上記補正値保持回路66により保持された補正値とを加算した補正を行い、セレクタ69を介して白傷補正回路22に出力する加算補正回路68を有する。なお、セレクタ69は、リンギング補正のON/OFFを行うスイッチ70により、OFFの場合には白傷画素Pwの画素信号値Vwを選択し、ONの場合には加算補正回路68により、補正値を加算した画素信号を選択して、白傷補正回路22に出力する。
この様な構成による本実施形態におけるリンギング補正回路61の動作を説明する。
上述したように、リンギング補正回路61には、図6で説明したAFE出力波形の画素信号が入力される。
リンギング補正回路61内の乗算回路65は、図6の最下段に示すように白傷画素Pwが入力されたタイミングでその画素信号値Vwと補正係数kiとを乗算して補正値Vw×kiを算出し、補正値保持回路66はその補正値Vw×kiを保持する。
(リンギング補正)
なお、この白傷画素Pwの画素信号は、リンギング補正回路61を経由して、白傷補正回路22に入力される。
また、加算補正手段としての加算補正回路68は、図6(A)に示すように白傷画素Pw後に入力される異常画素Paの画素信号値Vaが入力されると、その画素信号値Vaに、補正値保持回路66により保持された補正値Vw×kiを加算して、出力する。つまり、加算補正回路68は、異常画素Paの画素信号値Vaが入力されると、補正された画素信号値Va+Vw×kiに補正して、白傷補正回路22に出力する。
また、図6(B)に示すように複数の異常画素Pa1,Pa2が発生する場合には、各異常画素Pa1,Pa2に対して、補正係数k1,k2を用いて、上記の補正と同様の補正を行う。
前述したように、白傷画素1つに対して1画素分後に出力される隣接画素(水平隣接画素)の画素信号を除いて、白傷補正値として上記白傷周囲7画素の画素信号の平均値Pavを算出することを説明したが、CCDにおいては転送方式の原理から、水平方向に関連性を持つため、該白傷画素の画素信号の1画素分前に出力される1画素についても白傷画素に対する影響を考慮するようにしても良い。
例えば、白傷画素の水平方向に(前後に)隣接する隣接画素2つを除いた白傷周囲6画素の画素信号の平均値を算出することが挙げられる。更に、補正係数をそれぞれに準備し、隣接画素2つを補正することも挙げられる。
なお、この白傷画素Pwの画素信号は、リンギング補正回路61を経由して、白傷補正回路22に入力される。
また、加算補正手段としての加算補正回路68は、図6(A)に示すように白傷画素Pw後に入力される異常画素Paの画素信号値Vaが入力されると、その画素信号値Vaに、補正値保持回路66により保持された補正値Vw×kiを加算して、出力する。つまり、加算補正回路68は、異常画素Paの画素信号値Vaが入力されると、補正された画素信号値Va+Vw×kiに補正して、白傷補正回路22に出力する。
また、図6(B)に示すように複数の異常画素Pa1,Pa2が発生する場合には、各異常画素Pa1,Pa2に対して、補正係数k1,k2を用いて、上記の補正と同様の補正を行う。
前述したように、白傷画素1つに対して1画素分後に出力される隣接画素(水平隣接画素)の画素信号を除いて、白傷補正値として上記白傷周囲7画素の画素信号の平均値Pavを算出することを説明したが、CCDにおいては転送方式の原理から、水平方向に関連性を持つため、該白傷画素の画素信号の1画素分前に出力される1画素についても白傷画素に対する影響を考慮するようにしても良い。
例えば、白傷画素の水平方向に(前後に)隣接する隣接画素2つを除いた白傷周囲6画素の画素信号の平均値を算出することが挙げられる。更に、補正係数をそれぞれに準備し、隣接画素2つを補正することも挙げられる。
(リンギング補正)
このようにして、リンギング補正回路61から図6の最下段に示すように異常画素Pa、Pai(i=1,2)の画素信号値Vaiが補正された画素信号が白傷補正回路22側に出力され、白傷補正回路22は、上述したように白傷画素Pwに対する補正を行う。
このような構成及び作用を有する本実施形態によれば、第1の実施形態のようにケーブルによりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できると共に、白傷によるリンギングによってその周囲に谷状に画素信号値を低下させる異常画素Paが発生した場合にも、その異常画素Paの画素信号値を適正な画素信号値に補正することができる。従って、本実施形態によれば、リンギングにより黒点状に画質が劣化する現象が発生した場合にも、その画質の劣化を軽減ないしは解消することができる。
このようにして、リンギング補正回路61から図6の最下段に示すように異常画素Pa、Pai(i=1,2)の画素信号値Vaiが補正された画素信号が白傷補正回路22側に出力され、白傷補正回路22は、上述したように白傷画素Pwに対する補正を行う。
このような構成及び作用を有する本実施形態によれば、第1の実施形態のようにケーブルによりアナログの画素信号の波形がなまる場合にも欠陥画素としての白傷画素に起因する画素信号を適切に補正できると共に、白傷によるリンギングによってその周囲に谷状に画素信号値を低下させる異常画素Paが発生した場合にも、その異常画素Paの画素信号値を適正な画素信号値に補正することができる。従って、本実施形態によれば、リンギングにより黒点状に画質が劣化する現象が発生した場合にも、その画質の劣化を軽減ないしは解消することができる。
なお、上述した第2の実施形態においては、リンギング補正回路61により、リンギング補正を行った後に、白傷補正回路22により白傷補正を行う構成を説明したが、白傷補正回路22により白傷補正を行った後にリンギング補正回路61により、リンギング補正を行うようにしても良い。
この場合には、白傷補正回路22により白傷補正を行った場合にも、白傷補正を行う前の白傷画素Pwの画素信号値Vwを保持し、その画素信号値Vwを用いてリンギング補正回路61はリンギング補正を行うようにする。
白傷画素Pwが通常画素Pnに対して、まれに発生するような場合には、リンギング補正を白傷補正回路22の前に行う場合と後に行う場合との作用効果は殆ど同じである。
この場合には、白傷補正回路22により白傷補正を行った場合にも、白傷補正を行う前の白傷画素Pwの画素信号値Vwを保持し、その画素信号値Vwを用いてリンギング補正回路61はリンギング補正を行うようにする。
白傷画素Pwが通常画素Pnに対して、まれに発生するような場合には、リンギング補正を白傷補正回路22の前に行う場合と後に行う場合との作用効果は殆ど同じである。
(白傷補正とリンギング補正の回路構成)
しかし、以下に説明するように、白傷画素Pwが近接(接近)して発生するような場合があり得る。このような場合を考慮すると、以下に説明するようにリンギング補正を行った後、白傷補正を行う方が、複雑化しない処理方法で簡単に補正することができる。
図8は、CCD16における複数の白傷画素Pw1,Pw2が接近して存在している部分を示す。図8のように複数の白傷画素Pw1,Pw2が水平方向に接近して存在する場合には、リンギングによる影響とケーブル25の鈍りによる影響が混在した状態となるため、例えば先に白傷補正回路22により白傷補正を行った場合には、リンギングによる影響を補正する際必要となる白傷画素Pwの画素信号値が補正されてしまう等、その影響を補正する処理方法が複雑化し簡単に補正し難くなる。
これに対して、上述したように先にリンギング補正回路61によってリンギングによる影響を除去(又は軽減)すると、残りは殆ど白傷画素Pwとケーブル伝送の鈍りに起因するものとなる。このため、残りの白傷画素Pwとケーブル伝送の鈍りによるものに対して、第1の実施形態のようにそれを除去するように補正を行えば良く、処理が複雑化することなく、簡単に補正ができる。
しかし、以下に説明するように、白傷画素Pwが近接(接近)して発生するような場合があり得る。このような場合を考慮すると、以下に説明するようにリンギング補正を行った後、白傷補正を行う方が、複雑化しない処理方法で簡単に補正することができる。
図8は、CCD16における複数の白傷画素Pw1,Pw2が接近して存在している部分を示す。図8のように複数の白傷画素Pw1,Pw2が水平方向に接近して存在する場合には、リンギングによる影響とケーブル25の鈍りによる影響が混在した状態となるため、例えば先に白傷補正回路22により白傷補正を行った場合には、リンギングによる影響を補正する際必要となる白傷画素Pwの画素信号値が補正されてしまう等、その影響を補正する処理方法が複雑化し簡単に補正し難くなる。
これに対して、上述したように先にリンギング補正回路61によってリンギングによる影響を除去(又は軽減)すると、残りは殆ど白傷画素Pwとケーブル伝送の鈍りに起因するものとなる。このため、残りの白傷画素Pwとケーブル伝送の鈍りによるものに対して、第1の実施形態のようにそれを除去するように補正を行えば良く、処理が複雑化することなく、簡単に補正ができる。
(リンギング補正)
(第3の実施形態)
図9は、第3の実施形態における隣接画素補正回路71の構成を示す。本実施形態は、例えば第2の実施形態において、さらに白傷画素Pwに隣接する隣接画素Pwrに対する補正を行う隣接画素補正手段としての隣接画素補正回路71を設けたものである。
AFE19から出力される画素信号は、隣接画素補正回路71を構成する例えば3ラインメモリ72に入力され、垂直方向に3つの画素が隣接する関係を保つようにした3水平ライン分の画素信号が順次記憶される。そして、中央ラインの出力端から読み出される画素信号は、判定手段を形成する比較器73に入力されると共に、切り換え回路74の一方の入力端a及びリンギング回路61を経て入力端cに出力される。
比較器73は、上記画像信号と、閾値設定回路75により設定される閾値と比較し、比較結果により、上記切り換え回路74の信号切り換えを制御する。換言すると、比較器73は、閾値を用いて、上記画像信号が補正すべき範囲内は否かを判定する判定手段を形成する。
(第3の実施形態)
図9は、第3の実施形態における隣接画素補正回路71の構成を示す。本実施形態は、例えば第2の実施形態において、さらに白傷画素Pwに隣接する隣接画素Pwrに対する補正を行う隣接画素補正手段としての隣接画素補正回路71を設けたものである。
AFE19から出力される画素信号は、隣接画素補正回路71を構成する例えば3ラインメモリ72に入力され、垂直方向に3つの画素が隣接する関係を保つようにした3水平ライン分の画素信号が順次記憶される。そして、中央ラインの出力端から読み出される画素信号は、判定手段を形成する比較器73に入力されると共に、切り換え回路74の一方の入力端a及びリンギング回路61を経て入力端cに出力される。
比較器73は、上記画像信号と、閾値設定回路75により設定される閾値と比較し、比較結果により、上記切り換え回路74の信号切り換えを制御する。換言すると、比較器73は、閾値を用いて、上記画像信号が補正すべき範囲内は否かを判定する判定手段を形成する。
本実施形態においては、閾値設定回路75は、使用状況に応じて、複数の閾値から実際に使用する閾値を選択して使用できる構成にしている。複数の閾値として、例えば第1閾値、第2閾値、第3閾値をそれぞれ発生する第1閾値発生回路76a、第2閾値発生回路76b、第3閾値発生回路76cを有し、閾値選択部77により、選択スイッチ78を介して比較器73に接続する閾値を選択することができるようにしている。
例えば第1の閾値は、暗電流(又は黒レベル)のレベルを判定する閾値に設定されており、第2の閾値は暗電流のレベルよりもさらに低い0に近いレベルを判定する閾値に設定されており、第3の閾値は以下に説明する平均値から所定割合以上に低下しているか否かを判定する閾値に設定されている。
例えば第1の閾値は、暗電流(又は黒レベル)のレベルを判定する閾値に設定されており、第2の閾値は暗電流のレベルよりもさらに低い0に近いレベルを判定する閾値に設定されており、第3の閾値は以下に説明する平均値から所定割合以上に低下しているか否かを判定する閾値に設定されている。
第1の閾値又は第2の閾値は、隣接画素Pwrがリンギングにより、暗電流レベル、又はA/D変換回路19aの変換範囲(レンジ)の下限付近まで低減されたか否かを判定する。
一方、第3の閾値は、リンギングの影響よりも、白傷画素Pwがケーブル25による伝送の際の容量性負荷のために波形の鈍りが大きく、その鈍りが隣接画素Pwrまで及ぶような使用環境の場合を判定するためのものである。
そして、比較器73は、隣接画素Pwrの画像信号の信号値を、該隣接画素Pwrの垂直方向(上下方向)に隣接する(白傷画素Pwによるケーブル伝送に影響されない)垂直隣接画素影響の平均値Vavに所定の係数Cを乗じた第3の閾値とを比較することにより、白傷画素Pwによるケーブル伝送により影響されているか否かを判定する。
一方、第3の閾値は、リンギングの影響よりも、白傷画素Pwがケーブル25による伝送の際の容量性負荷のために波形の鈍りが大きく、その鈍りが隣接画素Pwrまで及ぶような使用環境の場合を判定するためのものである。
そして、比較器73は、隣接画素Pwrの画像信号の信号値を、該隣接画素Pwrの垂直方向(上下方向)に隣接する(白傷画素Pwによるケーブル伝送に影響されない)垂直隣接画素影響の平均値Vavに所定の係数Cを乗じた第3の閾値とを比較することにより、白傷画素Pwによるケーブル伝送により影響されているか否かを判定する。
(リンギング補正)上記比較器73は、例えば上述したメモリ27又は41に格納された白傷画素Pwの位置情報とケーブル25により時間遅延される情報とから、白傷画素Pwから1画素分後に出力される隣接画素Pwrがこの比較器73に実際に入力されるタイミングにおいて、比較動作を行うように制御される。この比較動作を行うように比較器73を制御する回路を設けるようにしても良い。
また、隣接画素補正回路71は、3ラインメモリ72から上記中央ラインの1ライン前の画素信号と、1ライン後の画素信号との平均値を算出する平均値算出回路79を有する。この平均値算出回路79は、隣接画素Pwrの1ライン前と後との垂直方向に隣接する2画素の画素信号の平均値Vavを算出して、切り換え回路74の他方の入力端bに出力すると共に、第3の閾値発生回路76cに出力する。
第3の閾値発生回路76cは、平均値Vavに所定割合の係数C(例えばC=0.7-0.8程度)を乗算して、第3の閾値を発生する。
また、隣接画素補正回路71は、3ラインメモリ72から上記中央ラインの1ライン前の画素信号と、1ライン後の画素信号との平均値を算出する平均値算出回路79を有する。この平均値算出回路79は、隣接画素Pwrの1ライン前と後との垂直方向に隣接する2画素の画素信号の平均値Vavを算出して、切り換え回路74の他方の入力端bに出力すると共に、第3の閾値発生回路76cに出力する。
第3の閾値発生回路76cは、平均値Vavに所定割合の係数C(例えばC=0.7-0.8程度)を乗算して、第3の閾値を発生する。
比較器73は、上記隣接画素Pwrの画素信号の信号値が閾値以下となる比較結果の判定情報となる場合には、入力端bを選択するように切り換え、隣接画素Pwrの画像信号の代わりに平均値算出回路79の平均値Vavの画像信号が切り換え回路74を経て白傷補正回路22に出力される。なお、比較器73に接続される閾値により、入力端bの代わりにcを選択するように切り換えても良い。
一方、比較器73は、上記隣接画素Pwrの画素信号の信号値が閾値を超える比較結果の場合には、入力端aを選択するように切り換え、隣接画素Pwrの画素信号が切り換え回路74を経て白傷補正回路22に出力される。
このような構成及び動作をする本実施形態によれば、第2の実施形態の作用効果の他に、さらに隣接画素Pwrが白傷画素Pwによりリンギングやケーブル伝送による鈍りで本来の信号値からずれた値となるような場合においては、その垂直方向に隣接する隣接画素の平均値で置換する補正を行うため、良好な画質に補正できる。
一方、比較器73は、上記隣接画素Pwrの画素信号の信号値が閾値を超える比較結果の場合には、入力端aを選択するように切り換え、隣接画素Pwrの画素信号が切り換え回路74を経て白傷補正回路22に出力される。
このような構成及び動作をする本実施形態によれば、第2の実施形態の作用効果の他に、さらに隣接画素Pwrが白傷画素Pwによりリンギングやケーブル伝送による鈍りで本来の信号値からずれた値となるような場合においては、その垂直方向に隣接する隣接画素の平均値で置換する補正を行うため、良好な画質に補正できる。
なお、閾値を用いてリンギングによる影響がA/D変換回路19aによる変換範囲の下限側の値以下になるか否かを判定する場合に限らず、上限側にも閾値を設定してその閾値以上になるか否かの判定により、隣接画素Pwrに対する補正を行うようにしても良い。
上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。また、図1においては、AFE19を信号コネクタ9a内に設けた例を示しているが、例えば内視鏡2の操作部7内等、他の場所に配置しても良い。また、AFE19やA/D変換回路19aをプロセッサ4内に配置しても良い。
上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。また、図1においては、AFE19を信号コネクタ9a内に設けた例を示しているが、例えば内視鏡2の操作部7内等、他の場所に配置しても良い。また、AFE19やA/D変換回路19aをプロセッサ4内に配置しても良い。
また、画像信号が比較的高い場合に限られた課題もある。画像信号はCCD16により得られることは言うまでもないが、画像信号の最大値はCCD16の画素毎に異なる場合がある。
一般的には飽和ザラと呼ばれる現象である。飽和ザラはモニタ5に見えないような構成になっていれば問題は無い。例えば、CCD16の画像信号の最大値が、十分に得られる場合、ダイナミックレンジが広いと考えられ、飽和ザラが出ない範囲でモニタ5に映るようにすればよい。通常は、飽和クリップという手段で、飽和ザラが出ない画像信号レベルで制限を掛ける。飽和クリップの閾値以上の画像信号を飽和クリップの閾値に置き換える。
一般的には飽和ザラと呼ばれる現象である。飽和ザラはモニタ5に見えないような構成になっていれば問題は無い。例えば、CCD16の画像信号の最大値が、十分に得られる場合、ダイナミックレンジが広いと考えられ、飽和ザラが出ない範囲でモニタ5に映るようにすればよい。通常は、飽和クリップという手段で、飽和ザラが出ない画像信号レベルで制限を掛ける。飽和クリップの閾値以上の画像信号を飽和クリップの閾値に置き換える。
CCD16の全ての画素で飽和クリップの閾値以上の画像信号を得ることができるなら問題は無い。
なお、画像信号の最大値が十分であるか否かを判定する場合、CCD16の画像信号が線形である範囲で考えるべきである。線形であれば、受光した光量に比例して画像信号が得られ、適正な画像を作ることができる。
なお、画像信号の最大値が十分であるか否かを判定する場合、CCD16の画像信号が線形である範囲で考えるべきである。線形であれば、受光した光量に比例して画像信号が得られ、適正な画像を作ることができる。
一般的に、線形な範囲での画像信号の最大値よりも高い信号レベルに注目すると、画素毎に光量に対する信号が非線形で得られることとなり、飽和ザラになると考える。
こうしたことから、CCD16の画像信号の最大値が十分でないことで、いくつかの画素では飽和クリップの閾値を下回る場合、飽和ザラがモニタ5に見えてしまう。
また、そのようなときには、モニタ5に表示するまでの画像処理におけるゲイン調整(ホワイトバランス調整を含む)やガンマ補正が影響して、飽和ザラが目立ってしまうこともある。
なお、こうした現象はCCD16の性能に強く依存する為、CCD16の特徴に応じて対応することが望ましい。その現象はCCD16の個体差ではなく、CCD16の種類(画素数の違いや、動作周波数の違い)に依存する。また、その現象がCCD16の種類によって変わることもあり、飽和ザラが縦方向に連続する特徴があるものと無いものがある。
このような課題に対して、メモリ27に、CCD16において飽和ザラを起こす(単に未飽和画素と略記)ような画素の位置を記憶させ、その位置情報を元に補間(補正)をすると良い。補間(補正)方法はこれまで述べてきたように、周囲の画素を用いた平均値を適用すればよい。その方法を図10により説明する。図10は補間(補正)対象となる(斜線で示す)未飽和画素及び未飽和画素に隣接する周辺の8画素(A~H)を示す。なお、以下においては、画素I(I=A~H)の画素値も簡略的にIにより示す。
こうしたことから、CCD16の画像信号の最大値が十分でないことで、いくつかの画素では飽和クリップの閾値を下回る場合、飽和ザラがモニタ5に見えてしまう。
また、そのようなときには、モニタ5に表示するまでの画像処理におけるゲイン調整(ホワイトバランス調整を含む)やガンマ補正が影響して、飽和ザラが目立ってしまうこともある。
なお、こうした現象はCCD16の性能に強く依存する為、CCD16の特徴に応じて対応することが望ましい。その現象はCCD16の個体差ではなく、CCD16の種類(画素数の違いや、動作周波数の違い)に依存する。また、その現象がCCD16の種類によって変わることもあり、飽和ザラが縦方向に連続する特徴があるものと無いものがある。
このような課題に対して、メモリ27に、CCD16において飽和ザラを起こす(単に未飽和画素と略記)ような画素の位置を記憶させ、その位置情報を元に補間(補正)をすると良い。補間(補正)方法はこれまで述べてきたように、周囲の画素を用いた平均値を適用すればよい。その方法を図10により説明する。図10は補間(補正)対象となる(斜線で示す)未飽和画素及び未飽和画素に隣接する周辺の8画素(A~H)を示す。なお、以下においては、画素I(I=A~H)の画素値も簡略的にIにより示す。
未飽和画素を簡単に補間する1つの方法として、単純に周囲の画素を全て用いる平均値を採用することができ、この場合には、(A+B+C+D+E+F+G+H)÷8によって求まる。また、未飽和画素が上下方向に連続する特徴があった場合には、以下の平均値とする。
この場合には、(A+C+2D+2E+F+H)÷8によって求まる。画素BとGの代わりに、画素DとEを用いることで、平均値が小さくならず、十分高い信号レベルで補間することができる。同様に、周囲の画素の中で平均値を求めるのに不適切な画素があれば、その代わりに適切な画素と置き換えることで、適切な補間が可能となる。
補間は、主に、CCD16により生じる未飽和画素の特徴に依存することとなる。従って、CCD16の種類によって、平均値の算出方法を変えればよい。
未飽和画素の補間方法では前記位置情報を用いたが、記憶容量は有限の為、効果的に補間することが望ましい。具体的には位置情報を用いた補間と位置情報を用いない補間を組み合わせることである。
この場合には、(A+C+2D+2E+F+H)÷8によって求まる。画素BとGの代わりに、画素DとEを用いることで、平均値が小さくならず、十分高い信号レベルで補間することができる。同様に、周囲の画素の中で平均値を求めるのに不適切な画素があれば、その代わりに適切な画素と置き換えることで、適切な補間が可能となる。
補間は、主に、CCD16により生じる未飽和画素の特徴に依存することとなる。従って、CCD16の種類によって、平均値の算出方法を変えればよい。
未飽和画素の補間方法では前記位置情報を用いたが、記憶容量は有限の為、効果的に補間することが望ましい。具体的には位置情報を用いた補間と位置情報を用いない補間を組み合わせることである。
まず、前記画像位置を準備するには、対象画素について、画像信号が補間用閾値(例えば90IRE)を超えて、高輝度判定の閾値(96IRE)を下回る場合に、その位置情報をメモリ27に記憶させる。なお、1IREは7.14mVのレベルに相当する。
具体的には、CCD16を製造して出荷する際の検査で対応することが望ましい。なぜなら、画像信号を正確に測定したり、CCD16へ適正な光を与えたりする必要があるから。
前記位置情報に基づく画素の位置では、画像信号が補間用閾値を超えた時に補間を実行して飽和ザラを改善する。そうすることで、飽和するはずの画像信号を十分な飽和として変えることができる。画像信号が補間用閾値よりも小さいときには、飽和しなくてよいので、補間をしないようにする。
次に、前記位置情報に基づかない画素の位置では、対象画素に対して、高輝度判定の閾値を超えた時、更に未飽和判定の閾値(98IRE)を用いて判定を行う。この判定では、98~100IREであれば補間をしないが、96~98IREであれば補間をするようになる。
具体的には、CCD16を製造して出荷する際の検査で対応することが望ましい。なぜなら、画像信号を正確に測定したり、CCD16へ適正な光を与えたりする必要があるから。
前記位置情報に基づく画素の位置では、画像信号が補間用閾値を超えた時に補間を実行して飽和ザラを改善する。そうすることで、飽和するはずの画像信号を十分な飽和として変えることができる。画像信号が補間用閾値よりも小さいときには、飽和しなくてよいので、補間をしないようにする。
次に、前記位置情報に基づかない画素の位置では、対象画素に対して、高輝度判定の閾値を超えた時、更に未飽和判定の閾値(98IRE)を用いて判定を行う。この判定では、98~100IREであれば補間をしないが、96~98IREであれば補間をするようになる。
98~100IREの時は補間をしないのは、ほとんど飽和しているので飽和ザラが目立たないからである。そうすることで必要な場合にのみ効果的に補間を行える。
なお、メモリ27に、白傷画素の位置と未飽和画素の位置を記憶する場合、いづれかが分かるようなフラグをMSB(16bitデータの最上位bit)に設けたり、記憶領域を分けることとすればよい。
また、これまでは画素の位置情報を用いる方法と用いない方法の組合せであったが、もし画素の位置情報が無い内視鏡があれば、前記に説明した画素の位置情報を用いない方法で補間をすればよい。
例えば、高輝度判定の閾値を下回った場合、周辺8画素の平均値で置き換える補間方法が挙げられる。
なお、メモリ27に、白傷画素の位置と未飽和画素の位置を記憶する場合、いづれかが分かるようなフラグをMSB(16bitデータの最上位bit)に設けたり、記憶領域を分けることとすればよい。
また、これまでは画素の位置情報を用いる方法と用いない方法の組合せであったが、もし画素の位置情報が無い内視鏡があれば、前記に説明した画素の位置情報を用いない方法で補間をすればよい。
例えば、高輝度判定の閾値を下回った場合、周辺8画素の平均値で置き換える補間方法が挙げられる。
本出願は、2012年4月10日に日本国に出願された特願2012-89437号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
Claims (15)
- 被写体を撮像するために2次元状に配列された複数の画素を有し、該複数の画素により撮像した画素信号を出力する撮像素子と、
前記撮像素子に存在する欠陥画素としての白傷画素の位置情報を記憶する白傷位置情報記憶部と、
前記撮像素子に対して転送信号を印加することにより、前記撮像素子を構成する前記複数の画素から所定の方向に沿って前記画素信号を出力させる撮像素子駆動部と、
前記白傷位置情報記憶部から読み出した前記白傷画素の位置情報に基づき、前記転送信号の印加により前記撮像素子から出力される前記画素信号が白傷画素のものと判定された時、前記撮像素子から出力される、前記白傷画素と判定された画素を囲む周囲8画素の画素信号のうちの、前記白傷画素と判定された画素の1画素後に出力される隣接画素の画素信号を除いた7個の画素により算出された白傷補正値に基づき、前記白傷画素と判定された画素の画素信号に対して白傷補正を行う白傷補正部と、
を備えることを特徴とする撮像装置。 - 前記白傷補正部は、前記白傷画素と判定された画素に対して、前記7個の画素の画素信号の平均値を前記白傷補正値として算出する白傷補正回路と、
前記白傷位置情報記憶部の前記白傷画素の位置情報に基づく切替信号により、前記白傷画素と判定されない通常画素が入力された場合には、該通常画素の画素信号を選択して出力し、前記白傷画素と判定された画素の画素信号が入力された場合には、前記白傷補正回路により算出された前記白傷補正値の画素信号を選択して出力するセレクタと、
を有することを特徴とする請求項1に記載の撮像装置。 - 前記撮像素子を構成する各画素のアナログの画素信号を伝送するケーブルと、前記ケーブルにより伝送された前記アナログの画素信号をデジタルの画素信号に変換して前記白傷補正部に出力するアナログ・デジタル変換部とを有し、
更に、前記白傷画素と判定された画素から1画素数以上となる所定の画素数だけ後に出力される所定の画素の画素信号に対して、前記白傷画素と判定された画素の画素信号値の所定の割合を加算する補正を行う加算補正部を有することを特徴とする請求項1に記載の撮像装置。 - 前記撮像素子を構成する各画素のアナログの画素信号を伝送するケーブルと、前記ケーブルにより伝送された前記アナログの画素信号をデジタルの画素信号に変換して前記白傷補正手段に出力するアナログ・デジタル変換部とを有し、
更に、前記白傷画素と判定された画素から1画素数以上となる所定の画素数だけ後に出力される所定の画素の画素信号に対して、前記白傷画素と判定された画素の画素信号値の所定の割合を加算する補正を行う加算補正部を有することを特徴とする請求項2に記載の撮像装置。 - 前記白傷画素と判定された画素から前記所定の画素数だけ後に出力される前記所定の画素の位置と、前記所定の割合との補正情報を、予め記憶する補正情報記憶部を有し、
前記加算補正部は、前記補正情報記憶部の前記位置の情報を用いて前記所定の画素の画素信号が該加算補正部に入力されるタイミングにおいて、当該画素信号に対して前記白傷画素と判定された画素の画素信号値の所定の割合を加算する加算補正を行うことを特徴とする請求項3に記載の撮像装置。 - 前記白傷画素と判定された画素から前記所定の画素数だけ後に出力される前記所定の画素の位置と、前記所定の割合との補正情報を、予め記憶する補正情報記憶部を有し、
前記加算補正部は、前記補正情報記憶部の前記位置の情報を用いて前記所定の画素の画素信号が該加算補正部に入力されるタイミングにおいて、当該画素信号に対して前記白傷画素と判定された画素の画素信号値の所定の割合を加算する加算補正を行うことを特徴とする請求項4に記載の撮像装置。 - 更に、前記白傷画素と判定された画素の1画素後に出力される前記隣接画素の画素信号の信号値を、閾値を用いて補正すべき範囲内か否かを判定する判定部と、
前記判定部が補正すべきと判定した場合に、前記隣接画素の画素信号を、該隣接画素を前記所定の方向と直交する方向に隣接する2画素の画素信号の平均値で置換する補正を行う隣接画素補正部を有することを特徴とする請求項5に記載の撮像装置。 - 更に、前記白傷画素と判定された画素の1画素後に出力される前記隣接画素の画素信号の信号値を、閾値を用いて補正すべき範囲内か否かを判定する判定部と、
前記判定部が補正すべきと判定した場合に、前記隣接画素の画素信号を、該隣接画素を前記所定の方向と直交する方向に隣接する2画素の画素信号の平均値で置換する補正を行う隣接画素補正部を有することを特徴とする請求項6に記載の撮像装置。 - 前記加算補正部は前記白傷補正部の前段側に設けられ、前記白傷補正部は、前記加算補正部による加算補正された後の画素信号に対して前記白傷補正を行うことを特徴とする請求項5に記載の撮像装置。
- 前記加算補正部は前記白傷補正部の前段側に設けられ、前記白傷補正部は、前記加算補正部による加算補正された後の画素信号に対して前記白傷補正を行うことを特徴とする請求項7に記載の撮像装置。
- 前記判定部は、前記隣接画素の画素信号の信号値と、前記閾値としての前記隣接画素に隣接する前記2画素の画素信号の平均値に所定係数を乗算した値とを比較することにより、前記判定を行うことを特徴とする請求項8に記載の撮像装置。
- 前記補正情報記憶部は、前記白傷画素と判定された1つの画素に対して、前記所定の画素の位置として第1の位置及び第2の位置とを含む複数の位置と、前記第1の位置及び前記第2の位置に対応して、前記所定の割合を表す第1の係数と第2の係数とを前記補正情報として予め記憶しており、
前記加算補正部は、前記第1の位置及び第2の位置の前記所定の画素それぞれに対して、前記第1の係数と前記第2の係数を前記白傷画素と判定された画素の画素信号値にそれぞれ乗算した値を用いて前記加算補正を行うことを特徴とする請求項5に記載の撮像装置。 - 前記補正情報記憶部は、前記白傷画素と判定された1つの画素に対して、前記所定の画素の位置として第1の位置及び第2の位置とを含む複数の位置と、前記第1の位置及び前記第2の位置に対応して、前記所定の割合を表す第1の係数と第2の係数とを前記補正情報として予め記憶しており、
前記加算補正部は、前記第1の位置及び第2の位置の前記所定の画素それぞれに対して、前記第1の係数と前記第2の係数を前記白傷画素と判定された画素の画素信号値にそれぞれ乗算した値を用いて前記加算補正を行うことを特徴とする請求項6に記載の撮像装置。 - 前記撮像素子と前記白傷位置情報記憶部とを備え、一端が前記撮像素子に接続された前記ケーブルが挿通された内視鏡と、前記ケーブルの他端が着脱自在に接続され、前記撮像素子駆動部と前記白傷補正部と、を備えた信号処理装置とを備えることを特徴とする請求項3に記載の記載の撮像装置。
- 前記撮像素子と前記白傷位置情報記憶部と前記補正情報記憶部とを備え、一端が前記撮像素子に接続された前記ケーブルが挿通された内視鏡と、前記ケーブルの他端が着脱自在に接続され、前記撮像素子駆動部と前記白傷補正部とを備えた信号処理装置と、を備えることを特徴とする請求項6に記載の記載の撮像装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13775185.5A EP2750373B1 (en) | 2012-04-10 | 2013-04-09 | Imaging device |
CN201380003425.1A CN103858422B (zh) | 2012-04-10 | 2013-04-09 | 摄像装置 |
JP2013544603A JP5458223B1 (ja) | 2012-04-10 | 2013-04-09 | 撮像装置 |
US14/212,244 US8866940B2 (en) | 2012-04-10 | 2014-03-14 | Image pickup apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-089437 | 2012-04-10 | ||
JP2012089437 | 2012-04-10 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/212,244 Continuation US8866940B2 (en) | 2012-04-10 | 2014-03-14 | Image pickup apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013154105A1 true WO2013154105A1 (ja) | 2013-10-17 |
Family
ID=49327667
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/060726 WO2013154105A1 (ja) | 2012-04-10 | 2013-04-09 | 撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8866940B2 (ja) |
EP (1) | EP2750373B1 (ja) |
JP (1) | JP5458223B1 (ja) |
CN (1) | CN103858422B (ja) |
WO (1) | WO2013154105A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015126333A (ja) * | 2013-12-26 | 2015-07-06 | セイコーエプソン株式会社 | カメラ、及び画像処理方法 |
WO2018020685A1 (ja) * | 2016-07-29 | 2018-02-01 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2018020687A1 (ja) * | 2016-07-29 | 2018-02-01 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5893813B1 (ja) * | 2014-09-03 | 2016-03-23 | オリンパス株式会社 | 内視鏡装置 |
CN104363391B (zh) * | 2014-11-28 | 2018-11-27 | 广东欧珀移动通信有限公司 | 图像坏点补偿方法、***及拍照设备 |
CN107613229A (zh) * | 2017-09-30 | 2018-01-19 | 杭州雄迈集成电路技术有限公司 | 一种图像传感器坏点检测校正装置及方法 |
KR20200129388A (ko) * | 2019-05-08 | 2020-11-18 | 엘지이노텍 주식회사 | 카메라 모듈 |
US11509845B2 (en) * | 2021-03-05 | 2022-11-22 | Black Sesame Technologies Inc. | Multiple frame defect pixel detection and correction |
US20230096874A1 (en) * | 2021-09-29 | 2023-03-30 | Ati Technologies Ulc | Content adaptive filtering via ringing estimation and suppression |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1042201A (ja) | 1996-07-26 | 1998-02-13 | Hitachi Denshi Ltd | 画像欠陥補正回路 |
JPH1051693A (ja) * | 1996-07-30 | 1998-02-20 | Toshiba Medical Eng Co Ltd | 撮像素子の欠陥画素補正処理装置 |
JP2003116060A (ja) | 2001-10-03 | 2003-04-18 | Olympus Optical Co Ltd | 欠陥画素補正装置 |
JP2004241600A (ja) * | 2003-02-06 | 2004-08-26 | Sony Corp | 欠陥検出回路及び欠陥検出方法 |
JP2006109067A (ja) * | 2004-10-05 | 2006-04-20 | Ikegami Tsushinki Co Ltd | 欠陥画素処理装置及び方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5521639A (en) * | 1992-04-30 | 1996-05-28 | Sony Corporation | Solid-state imaging apparatus including a reference pixel in the optically-black region |
JP2003078821A (ja) * | 2001-08-31 | 2003-03-14 | Hitachi Kokusai Electric Inc | 撮像装置 |
JP3941698B2 (ja) * | 2003-01-23 | 2007-07-04 | ソニー株式会社 | 画素補正回路及び画素補正方法 |
JP4305777B2 (ja) * | 2006-11-20 | 2009-07-29 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
EP2015562A1 (en) * | 2007-07-10 | 2009-01-14 | Thomson Licensing S.A. | Processing device for correcting defect pixel values of an image sensor unit, image sensor unit with the processing device and method |
US20090091642A1 (en) * | 2007-10-03 | 2009-04-09 | Winbond Electronics Corp. | Image defect correction system using directional detection |
JP5060535B2 (ja) * | 2009-09-24 | 2012-10-31 | 株式会社東芝 | 画像処理装置 |
JP5269841B2 (ja) * | 2010-07-22 | 2013-08-21 | 株式会社東芝 | 画像処理装置 |
JP5306298B2 (ja) * | 2010-09-01 | 2013-10-02 | 株式会社東芝 | 画像処理装置 |
KR101243363B1 (ko) * | 2010-11-12 | 2013-03-13 | 에스케이하이닉스 주식회사 | 불량픽셀 제거 장치 및 방법 |
-
2013
- 2013-04-09 CN CN201380003425.1A patent/CN103858422B/zh active Active
- 2013-04-09 EP EP13775185.5A patent/EP2750373B1/en not_active Not-in-force
- 2013-04-09 WO PCT/JP2013/060726 patent/WO2013154105A1/ja active Application Filing
- 2013-04-09 JP JP2013544603A patent/JP5458223B1/ja active Active
-
2014
- 2014-03-14 US US14/212,244 patent/US8866940B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1042201A (ja) | 1996-07-26 | 1998-02-13 | Hitachi Denshi Ltd | 画像欠陥補正回路 |
JPH1051693A (ja) * | 1996-07-30 | 1998-02-20 | Toshiba Medical Eng Co Ltd | 撮像素子の欠陥画素補正処理装置 |
JP2003116060A (ja) | 2001-10-03 | 2003-04-18 | Olympus Optical Co Ltd | 欠陥画素補正装置 |
JP2004241600A (ja) * | 2003-02-06 | 2004-08-26 | Sony Corp | 欠陥検出回路及び欠陥検出方法 |
JP2006109067A (ja) * | 2004-10-05 | 2006-04-20 | Ikegami Tsushinki Co Ltd | 欠陥画素処理装置及び方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2750373A4 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015126333A (ja) * | 2013-12-26 | 2015-07-06 | セイコーエプソン株式会社 | カメラ、及び画像処理方法 |
WO2018020685A1 (ja) * | 2016-07-29 | 2018-02-01 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2018020687A1 (ja) * | 2016-07-29 | 2018-02-01 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN109479100A (zh) * | 2016-07-29 | 2019-03-15 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法和程序 |
JPWO2018020685A1 (ja) * | 2016-07-29 | 2019-05-09 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10791289B2 (en) | 2016-07-29 | 2020-09-29 | Olympus Corporation | Image processing apparatus, image processing method, and non-transitory computer readable recording medium |
US10791290B2 (en) | 2016-07-29 | 2020-09-29 | Olympus Corporation | Image processing apparatus, image processing method, and non-transitory computer readable recording medium |
CN109479100B (zh) * | 2016-07-29 | 2021-02-09 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法和程序 |
Also Published As
Publication number | Publication date |
---|---|
US20140211049A1 (en) | 2014-07-31 |
EP2750373A1 (en) | 2014-07-02 |
US8866940B2 (en) | 2014-10-21 |
JP5458223B1 (ja) | 2014-04-02 |
EP2750373B1 (en) | 2017-10-25 |
CN103858422B (zh) | 2016-11-23 |
CN103858422A (zh) | 2014-06-11 |
JPWO2013154105A1 (ja) | 2015-12-17 |
EP2750373A4 (en) | 2015-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5458223B1 (ja) | 撮像装置 | |
US9769394B2 (en) | Image pickup apparatus, image processing apparatus, and computer-readable storage device | |
US20130041220A1 (en) | Endoscope system | |
JP4895834B2 (ja) | 画像処理装置 | |
US8243172B2 (en) | Image pickup system | |
JPWO2012020709A1 (ja) | インピーダンスマッチング装置及びこれを備えた内視鏡 | |
JP6013647B1 (ja) | 内視鏡 | |
JP5847017B2 (ja) | 電子内視鏡装置及びその作動方法 | |
JP5244164B2 (ja) | 内視鏡装置 | |
EP2589329B1 (en) | Endoscope and endoscopic system | |
JP2008109639A (ja) | 撮像装置および撮像方法 | |
JP5959331B2 (ja) | 内視鏡装置 | |
WO2018079397A1 (ja) | 内視鏡装置 | |
JP6192671B2 (ja) | 内視鏡システム、内視鏡システムの作動方法 | |
JP2000342533A (ja) | 内視鏡装置 | |
JP2012213211A (ja) | 撮像装置および撮像方法 | |
US10484626B2 (en) | Gain adjustment unit, recording medium holding gain adjustment program, endoscope and endoscope apparatus | |
JP5322633B2 (ja) | 撮像装置 | |
JP6150969B1 (ja) | ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置 | |
JP5827868B2 (ja) | 電子内視鏡及び固定パターンノイズ除去方法 | |
JPH11164195A (ja) | 撮像装置 | |
JP2013141474A (ja) | 色調調整装置および電子内視鏡装置 | |
US9888836B2 (en) | Endoscope | |
JP2009095525A (ja) | 内視鏡装置の電子内視鏡 | |
JP2006340173A (ja) | 画像入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2013544603 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13775185 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2013775185 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |