WO2015083683A1 - 撮像装置、撮像装置の作動方法 - Google Patents

撮像装置、撮像装置の作動方法 Download PDF

Info

Publication number
WO2015083683A1
WO2015083683A1 PCT/JP2014/081831 JP2014081831W WO2015083683A1 WO 2015083683 A1 WO2015083683 A1 WO 2015083683A1 JP 2014081831 W JP2014081831 W JP 2014081831W WO 2015083683 A1 WO2015083683 A1 WO 2015083683A1
Authority
WO
WIPO (PCT)
Prior art keywords
binning
unit
image
pixel
brightness
Prior art date
Application number
PCT/JP2014/081831
Other languages
English (en)
French (fr)
Inventor
祐二 久津間
和真 金子
智樹 岩崎
橋本　進
聡一郎 小鹿
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2015530807A priority Critical patent/JP5901854B2/ja
Priority to CN201480064094.7A priority patent/CN105765962B/zh
Priority to EP14867993.9A priority patent/EP3059939A4/en
Publication of WO2015083683A1 publication Critical patent/WO2015083683A1/ja
Priority to US15/162,969 priority patent/US9769394B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Definitions

  • the present invention relates to an imaging apparatus that performs a binning process for adding a pixel signal to obtain a binning pixel signal, and an operation method of the imaging apparatus.
  • an image sensor has been increased in the number of pixels and has been increased in density, and in particular, an image sensor employed in an electronic endoscope system has been reduced in size, so that the area of one pixel has been reduced. In some cases, it is difficult to ensure sufficient image brightness.
  • Japanese Patent Application Laid-Open No. 2008-72501 adds peripheral pixels of the same color to a target pixel (simple addition or a ratio of 1 or less to the peripheral pixels) to a video signal output from an image sensor and converted to digital.
  • a technique of adding a ratio by multiplying by a) is described.
  • the publication further describes a technique for changing the number of added pixels, which is the number of target pixels and peripheral pixels to be added, according to the luminance distribution.
  • the image is divided into a plurality of areas, and the brightness of the target pixel in each area is detected. Based on the brightness detection result, the number of added pixels in the binning process is determined. At this time, if the luminance of the area is equal to or higher than a predetermined threshold, the pixel addition process is not performed (that is, attention is paid) Only pixels).
  • the overexposure or blackout of the screen can be reduced, but the number of added pixels is a natural number (1 (only the target pixel without adding), 2 (Addition of one peripheral pixel to the target pixel), 3 (add two peripheral pixels to the target pixel),...
  • the number of added pixels is a natural number (1 (only the target pixel without adding), 2 (Addition of one peripheral pixel to the target pixel), 3 (add two peripheral pixels to the target pixel),...
  • a resolution step is generated in the image at the boundary of the area, and the image is observed as an unnatural image.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus capable of obtaining a natural image even when pixel signals are added for each region, and an operation method of the imaging apparatus.
  • An imaging apparatus divides an image composed of a plurality of pixel signals into a plurality of regions so that one region includes the plurality of pixel signals, and the plurality of pixels belonging to the region
  • a binning processing unit that adds a signal to obtain a binning pixel signal
  • a binning brightness detection unit that detects the brightness of the region, and sets a weight in the region based on the brightness.
  • a combining unit that generates a combined image by combining the pixel signal and the binning pixel signal in the region.
  • the binning processing unit divides an image composed of a plurality of pixel signals into a plurality of regions so that one region includes the plurality of pixel signals, A step of adding a plurality of pixel signals belonging to the region to obtain a binning pixel signal, a step of detecting a brightness of the region by a binning brightness detection unit, and a combining unit based on the brightness Setting a weight in the region, and generating a composite image by combining the pixel signal and the binning pixel signal in the region based on the weight.
  • FIG. 1 is a block diagram showing a configuration of an endoscope system to which an imaging apparatus according to Embodiment 1 of the present invention is applied.
  • FIG. 3 is a block diagram illustrating a configuration example of a second image processing unit in the first embodiment.
  • the block diagram which shows in more detail the example of a structure of the binning process part and the blend process part vicinity.
  • the chart which shows the example which makes weight (alpha) differ according to the brightness of a pixel in the said Embodiment 1.
  • FIG. In the said Embodiment 1, the diagram which shows the example of the weight (alpha) determined according to the brightness of a pixel.
  • FIG. 3 is a diagram illustrating an array of photoelectric conversion pixels in the first embodiment.
  • FIG. 3 is a diagram illustrating an arrangement of binning pixels after image sensor binning in the first embodiment.
  • part is a lung.
  • part is a stomach.
  • 6 is a chart showing an example of proper use of image sensor binning and image processing binning according to the application site in the first embodiment.
  • FIGS. 1 to 17 show Embodiment 1 of the present invention
  • FIG. 1 is a block diagram showing the configuration of an endoscope system to which an imaging apparatus is applied.
  • the endoscope system 1 is arranged together with an endoscope 2 that inserts an insertion portion into a subject and captures an image, and a light guide 11 described later in a universal cable that extends from the endoscope 2 to the hand side.
  • Image processing for connecting the installed cable 3 and the proximal end side of the cable 3 and performing image processing on an image acquired by the endoscope 2 and overall control of the entire operation of the endoscope system 1 A device 4, a light source device 6 that is a light source unit that generates illumination light emitted from the distal end of the endoscope 2, and a display device 7 that displays an image processed by the image processing device 4 are provided.
  • the endoscope 2 includes a light guide 11, an illumination optical system 12, an optical system 13, and an imaging unit 14.
  • the light guide 11 receives light generated from the light source device 6 on the proximal end side and transmits the light to the distal end portion of the insertion portion of the endoscope 2, and is configured by, for example, an optical fiber bundle.
  • the illumination optical system 12 is disposed at the tip of the light guide 11 and emits illumination light transmitted by the light guide 11 toward the subject.
  • the optical system 13 is an objective optical system that receives light from the subject and forms an optical image of the subject on an imaging element 15 (to be described later) of the imaging unit 14.
  • the imaging unit 14 photoelectrically converts the optical image of the subject imaged by the optical system 13 and outputs it as an image signal.
  • the imaging unit 14 includes an imaging element 15, an analog front end unit 16, a P / S conversion unit 21, a timing generator 22, and an imaging control unit 24.
  • the image sensor 15 includes a light receiving unit 17 and a reading unit 18 and is configured as, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the light receiving unit 17 is provided with a plurality of two-dimensional photoelectric conversion pixels (hereinafter referred to as “pixels” as appropriate) that photoelectrically convert light to generate photoelectric conversion pixel signals.
  • the photoelectric conversion pixel includes a photodiode that accumulates charges according to the amount of light, and an amplifier that amplifies the charges accumulated by the photodiodes.
  • the light receiving unit 17 is provided with, for example, a Bayer array RGB color filter or a complementary color filter so that a color image can be acquired.
  • the light receiving unit 17 may be a surface sequential method in which a color image is acquired by synthesizing RGB images captured with RGB illumination light sequentially emitted in time series without providing a color filter. .
  • the reading unit 18 reads a photoelectric conversion pixel signal from a plurality of pixels arranged in the light receiving unit 17. Since one pixel generates one photoelectric conversion pixel signal in one imaging (for example, one frame imaging), the image signal read by the reading unit 18 is composed of a plurality of photoelectric conversion pixel signals.
  • the reading unit 18 further has a function as a binning processing unit 18a (imaging element binning processing unit) that performs a binning process on the photoelectric conversion pixel signal in the imaging unit 14 as necessary based on the control of the imaging control unit 24. It has come to fulfill.
  • the reading unit 18 divides an image configured by a plurality of pixel signals read from the light receiving unit 17 into a plurality of regions so that one region includes a plurality of pixel signals, and a plurality of pixels belonging to the region. It can function as a binning processing unit 18a that performs a binning process of adding signals to obtain a binning pixel signal.
  • the analog front end unit 16 includes a noise reduction unit 19 and an A / D conversion unit 20.
  • the noise reduction unit 19 reduces noise from the photoelectric conversion pixel signal by performing correlated double sampling (Correlated Double Sampling), for example.
  • the A / D conversion unit 20 A / D converts the analog photoelectric conversion pixel signal whose noise is reduced by the noise reduction unit 19 and outputs a digital signal.
  • the P / S conversion unit 21 performs parallel / serial conversion on the parallel digital signal output from the analog front end unit 16 and outputs it as a serial signal.
  • the timing generator 22 is based on the timing signal received from the image processing device 4, and a driving timing pulse for driving the image sensor 15 and various signal processing pulses in the analog front end unit 16 and the P / S conversion unit 21. And generate.
  • the imaging control unit 24 communicates with a later-described control unit 48 of the image processing apparatus 4 and controls various operations of the endoscope 2 according to setting data received from the control unit 48.
  • the imaging control unit 24 further includes a memory 23 that stores the scope individual information in a nonvolatile manner.
  • the scope individual information stored in the memory 23 includes information indicating the model name of the endoscope 2, a manufacturing individual number, the number of photoelectric conversion pixels provided in the imaging unit 14, and the number of photoelectric conversion pixels.
  • Pixel position information (defective pixel address) of defective pixels having defects, dark current noise information (fixed pattern noise information) of the image sensor 15, and information for identifying whether the image sensor 15 is a CMOS image sensor or a CCD image sensor And information on color filters provided in the light receiving unit 17 of the image sensor 15 (whether an RGB filter, a complementary color filter, or a color filter is not provided), and the like.
  • the collective cable 3 is a cable in which a plurality of signal lines for transmitting and receiving electrical signals between the endoscope 2 and the image processing device 4 are bundled. For a plurality of signal lines, a signal line for transmitting the image signal output from the imaging unit 14 to the image processing device 4 and a timing signal output from a drive signal generation unit 42 (to be described later) of the image processing device 4 are used as the timing of the endoscope 2. A signal line for transmitting to the generator 22, a signal line for transmitting setting data output from the control unit 48 of the image processing device 4 to the imaging control unit 24, and the like are included.
  • the collective cable 3 is integrally configured as a universal cable, for example, together with the light guide 11 described above.
  • the image processing apparatus 4 includes an S / P conversion unit 31, a first image processing unit 32, a second image processing unit 33, a read address setting unit 41, a drive signal generation unit 42, and a brightness detection unit 43. , A light control unit 44, a reference clock generation unit 45, an input unit 46, a storage unit 47, and a control unit 48.
  • the S / P conversion unit 31 performs serial / parallel conversion on the digital image signal received from the endoscope 2 through serial communication to generate a parallel signal, and outputs the parallel signal to the first image processing unit 32.
  • the first image processing unit 32 includes a pixel defect correction unit 34, a binning processing unit 35, a blend processing unit 36, and a binning brightness detection unit 37.
  • the pixel defect correcting unit 34 performs a process of interpolating the pixel signal from the defective pixel in the image signal based on the pixel signal of the normal pixel in the vicinity of the defective pixel.
  • the control unit 48 acquires the defective pixel address of the image sensor 15 stored in the memory 23 and controls the pixel defect correction unit 34 so as to correct the pixel signal of the acquired defective pixel. ing.
  • the pixel defect correction unit 34 is arranged before the binning processing unit 35 so that the pixel defect is already corrected when the binning process is performed.
  • the binning brightness detection unit 37 determines the brightness of the image after pixel defect correction for each region (a region formed by a target pixel set to be added to 1 pixel after processing by the binning processing in the binning processing unit 35). It is to detect. Specifically, when the region is 2 ⁇ 2 pixels as in the example described below, the binning brightness detection unit 37 determines the brightness of the region by using a plurality of pixel signals (2 ⁇ Based on a pixel signal of 2 pixels), for example, an average value or a median value is calculated. The brightness detected by the binning brightness detection unit 37 is output to the blend processing unit 36 and the control unit 48.
  • the binning processing unit 35 is an image processing binning processing unit that performs binning processing on a plurality of pixel signals output from the endoscope 2 as part of image processing. That is, the binning processing unit 35 divides an image after pixel defect correction constituted by a plurality of pixel signals into a plurality of regions so that one region includes a plurality of pixel signals, and a plurality of pixels belonging to the region A binning process is performed to obtain a binning pixel signal by adding the signals.
  • the binning processing unit 35 may be, for example, a 2 ⁇ 2 pixel region (or a 3 ⁇ 3 pixel region, a 4 ⁇ 4 pixel region, or the like, or may not be a square region, A binning process is performed by adding a pixel signal every time the area size may be adaptively changed according to the brightness of the image.
  • the pixel signal is determined for each pixel of the same color in consideration of the arrangement of the color filters. Is added.
  • the blend processing unit 36 sets a weight ⁇ in the region, and based on the weight ⁇ , the pixel signal (pixel signal after pixel defect correction) and the binning in the region are set. It is a synthesis unit that generates a synthesized image by performing a process of synthesizing the pixel signal with respect to a region for one image.
  • the weight ⁇ is an amount indicating a ratio of signals when the pixel signal and the binning pixel signal are combined, and is a local amount that is different for each region.
  • FIG. 3 is a block diagram showing in more detail a configuration example in the vicinity of the binning processing unit 35 and the blend processing unit 36
  • FIG. 4 is a chart showing an example in which the weight ⁇ is varied according to the brightness of the pixel
  • FIG. It is a diagram which shows the example of the weight (alpha) determined according to length.
  • the blend processing unit 36 includes an image from the pixel defect correction unit 34 (this image may be an original image having the number of pixels output from the image sensor 15, but is subjected to binning processing by the binning processing unit 18 a to obtain the number of pixels. And the binning image from the binning processing unit 35 are input.
  • the image from the pixel defect correction unit 34 is converted into the same number of pixels by the pixel number conversion unit 38 and the binning image from the binning processing unit 35 is converted into the same number of pixels by the pixel number conversion unit 39, respectively. It has become so.
  • the number of pixels after conversion by the pixel number conversion units 38 and 39 may match the number of pixels of the original image, the number of pixels of the binning image, or the number of pixels of the display device 7. However, it may be adjusted to any other number of pixels.
  • the pixel number conversion process may be automatically executed so as to return to the size of the original image.
  • the number of pixels changed by the binning processing unit 18a can be returned to the number of pixels of the original image by the pixel number conversion unit 38, and the number of pixels changed by the binning processing unit 18a and the binning processing unit 35 is changed to the number of pixels conversion unit.
  • the number of pixels of the original image can be restored by the number 39, but not limited to the arrangement shown in FIG. 3, a pixel number conversion unit may be provided in the binning processing unit 18a and the binning processing unit 35, respectively.
  • the number of pixels to be processed is reduced, so that the load of subsequent image processing is reduced.
  • the blend processing unit 36 sets the weight ⁇ in the region based on the brightness of the region detected by the binning brightness detection unit 37. As shown in FIG. 4, the weight ⁇ is determined so that the brightness of the region takes a larger value as the brightness becomes brighter and takes a smaller value as the darkness becomes darker.
  • the blend processing unit 36 has a weight ⁇ of 0 when the brightness of the region is less than a predetermined lower threshold Thd, and is equal to or greater than the lower threshold Thd and less than the predetermined upper threshold Thb. Is set so that the weight ⁇ monotonously increases in accordance with the brightness of the region, and the weight ⁇ is 1 when the upper limit threshold Thb is exceeded.
  • the blend processing unit 36 multiplies the pixel signal from the pixel number conversion unit 38 by the weight ⁇ by the multiplication unit 36a, and multiplies the binning pixel signal from the pixel number conversion unit 39 by the weight (1 ⁇ ) by the multiplication unit 36b. Then, a composite image is generated and output by adding each corresponding region by the adding unit 36c. Accordingly, if the pixel signal from the pixel number conversion unit 38 is A and the binning pixel signal from the pixel number conversion unit 39 is B, the pixel signal output from the blend processing unit 36 is ⁇ ⁇ A + (1 ⁇ ) ⁇ B. It becomes.
  • the ratio between the pixel signal and the binning pixel signal is 0: 1 (that is, only the binning image) when the brightness is less than the lower limit threshold Thd, and the brightness is greater than or equal to the lower limit threshold Thd.
  • ⁇ (1 ⁇ ) (that is, a blended image of a binning image and an original image, for example)
  • the brightness is greater than or equal to the upper limit threshold Thb, 1: 0 (that is, for example, only the original image)
  • the weight ⁇ set by the blend processing unit 36 is set so that the ratio of the binning pixel signal to the pixel signal monotonously increases as the brightness of the region becomes darker.
  • the binning processing unit 35 obtains the pixel value of the binning pixel by simply adding the pixel values of all the pixels included in the 2 ⁇ 2 pixel area, for example. Specifically, when the pixel values of 2 ⁇ 2 pixels are a, b, c, and d, respectively, it is assumed that the pixel value obtained by the binning process is (a + b + c + d). However, instead of this, for example, weighted addition may be performed.
  • FIG. 6 is a diagram showing an example of binning processing by weighted addition.
  • the pixel value at the coordinates (2n + 1, 2m + 1) is a
  • the weight is x
  • the pixel value at the coordinates (2n + 1, 2m + 2) is b
  • the weight is y
  • the binning processing unit 35 is (a ⁇ x + b ⁇ y + c ⁇ z + d ⁇ t). ) May be a pixel value obtained by binning processing.
  • FIG. 7 is a diagram illustrating an example in which the addition weights x, y, z, and t at the time of binning processing are set according to the brightness of the pixel.
  • FIG. 7 shows an example of setting the weight to be smaller when the brightness of the pixel is bright or dark than when the brightness is medium.
  • the second image processing unit 33 generates an image to be displayed by the display device 7 from the image signal output from the first image processing unit 32.
  • FIG. 2 is a block diagram illustrating a configuration example of the second image processing unit 33.
  • the second image processing unit 33 includes, for example, a white balance adjustment unit 51, a noise reduction unit 52, a gain adjustment unit 53, an enhancement unit 54, a monitor pixel number conversion unit 55, a still image memory 56, A ⁇ (gamma) correction unit 57, a D / A conversion unit 58, and a format change unit 59 are provided.
  • the white balance adjustment unit 51 adjusts the white balance by adjusting the gains of the RGB color components constituting the image signal.
  • control unit 48 forcibly turns off the image sensor binning by the binning processing unit 18a and the image processing binning by the binning processing unit 35.
  • the white balance adjustment is not necessarily performed on the entire image, and may be performed on a specific area in the image. Therefore, by forcibly turning off the binning process, the pixel position of the specific area is determined. There is also an advantage that it is possible to prevent the address indicating the deviation from occurring.
  • the noise reduction unit 52 reduces the dark current noise component from the image signal.
  • the imaging element 15 is provided with an OB (Optical Black) region in which light is optically blocked, in addition to the region irradiated with the subject light from the optical system 13. Since the dark current noise component is acquired from the signal read from the OB region, the image sensor binning by the binning processing unit 18a and the image processing binning by the binning processing unit 35 are controlled for the read signal from the OB region.
  • the part 48 is forcibly turned off.
  • the dark current noise information acquired from the OB area in a state where both the image sensor binning and the image processing binning are turned off is the image
  • the processing device 4 is configured to store the scope individual information in the memory 23 of the endoscope 2.
  • the dark current noise information is acquired when the image processing apparatus 4 and the endoscope 2 are combined for the first time (that is, every time a new combination is generated).
  • the dark current noise information stored in is read out and the process of removing the dark current noise is performed.
  • the noise reduction part 52 showed the example provided in the 2nd image process part 33 here, it is not limited to this arrangement
  • the gain adjustment unit 53 amplifies the image signal based on the gain adjustment value received from the control unit 48.
  • the enhancement unit 54 performs enhancement processing such as image edge enhancement.
  • the monitor pixel number conversion unit 55 converts the number of pixels of the image into the number of pixels for display in the display device 7.
  • the still image memory 56 stores an image signal for displaying a still image.
  • the endoscope 2 is provided with a freeze button or the like, and when the freeze button is operated, a still image display image signal stored in the still image memory 56 is displayed on the display device 7. ing. On the other hand, when the freeze button is not operated, the image processing device 4 generates a moving image, and the moving image is displayed on the display device 7.
  • the ⁇ correction unit 57 performs gradation correction ( ⁇ correction) on the image signal in accordance with the display characteristics of the display device 7.
  • the D / A conversion unit 58 converts the image signal whose gradation has been corrected by the ⁇ correction unit 57 into an analog signal.
  • the format changing unit 59 changes the image signal converted into the analog signal into a signal format corresponding to the display device 7 and outputs the signal format.
  • the read address setting unit 41 sets the read address of the pixel read from the image sensor 15 in accordance with a predetermined read order.
  • the readout address set here is output to the drive signal generation unit 42 and also output to the first image processing unit 32 in order to perform signal processing according to the readout order.
  • the drive signal generation unit 42 generates a timing signal for driving the imaging unit 14 based on the read address received from the read address setting unit 41 and the reference clock signal received from the reference clock generation unit 45, It transmits to the timing generator 22 of the endoscope 2.
  • the brightness detection unit 43 detects the brightness of the image output from the first image processing unit 32 for dimming.
  • the image detected by the brightness detection unit 43 is an image after the binning process (and after the synthesis).
  • the brightness detection unit 43 calculates a gain adjustment value and a light irradiation amount based on the detected brightness, outputs the gain adjustment value to the gain adjustment unit 53 via the control unit 48, and calculates the light irradiation amount. Output to the dimmer 44.
  • the light control unit 44 sets the type of light generated by the light source device 6, the basic light amount, the light emission timing, and the like under the control of the control unit 48 according to the observation mode, and further receives the light received from the brightness detection unit 43.
  • the basic light amount is adjusted based on the irradiation amount, the adjusted light amount is set, and a light source synchronization signal including these set conditions is transmitted to the light source device 6.
  • the reference clock generation unit 45 generates a reference clock signal that serves as a reference for the operation timing of the endoscope system 1 and supplies the reference clock signal to each unit.
  • the input unit 46 includes various operation switches, a touch panel, and the like, and receives an operation input for instructing the operation of the endoscope system 1.
  • the storage unit 47 is configured using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory), for example, and various processing programs for operating the endoscope system 1 and the endoscope system 1 Data including various parameters necessary for operation is stored.
  • a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory), for example, and various processing programs for operating the endoscope system 1 and the endoscope system 1 Data including various parameters necessary for operation is stored.
  • the control unit 48 is configured by using a CPU (Central Processing Unit) or the like, and integrally controls each unit of the endoscope system 1 including the image processing device 4. For example, the control unit 48 transmits setting data for imaging control to the imaging control unit 24 of the endoscope 2.
  • the control unit 48 controls the first image processing unit 32, and only when the number of photoelectric conversion pixels read from the memory 23 is equal to or larger than a predetermined threshold, the binning processing unit 35 (or further binning processing). Section 18a), the binning brightness detection section 37, and the blend processing section 36 are permitted to operate.
  • the light source device 6 includes a white light source 61, a special light source 62, a light source controller 63, and an LED (Light Emitting Diode) driver 64.
  • a filter that sequentially transmits R, G, and B light from the illumination light emitted from the white light source 61 may be provided. Further, even if white light is obtained by simultaneously emitting R, G, B single color LEDs, plane sequential illumination is obtained by sequentially emitting R, G, B single color LEDs. May be.
  • the white light source 61 includes, for example, an LED as a light source, and emits white illumination light.
  • the special light source 62 also includes, for example, an LED as a light source, and emits special light having a wavelength band different from that of the white irradiation light.
  • the special light generated by the special light source 62 includes excitation light (390 to 470 nm) for observing autofluorescence from a fluorescent substance such as collagen and a wavelength (540 to 560 nm) absorbed by hemoglobin in blood.
  • AFI fluorescence observation: auto-fluorescence-imaging illumination light
  • NBI narrow-band light observation: narrow band light observation: narrow band light observation: narrow band light and green light that are easily absorbed by hemoglobin in blood
  • IRI infrared light observation
  • ICG indocyanine green
  • Illuminating light is some examples.
  • AFI has a high necessity to be combined with a technique for increasing the brightness of an image because light obtained as autofluorescence is extremely weak light.
  • the light source control unit 63 controls the amount of current supplied from the LED driver 64 to the white light source 61 or the special light source 62 in accordance with the light source synchronization signal transmitted from the dimming unit 44.
  • the LED driver 64 supplies light to the white light source 61 or the special light source 62 based on the control of the light source control unit 63 to generate light.
  • the light generated by the white light source 61 or the special light source 62 is transmitted through the light guide 11 and irradiated from the distal end of the insertion portion of the endoscope 2 toward the subject.
  • the display device 7 displays the image output from the image processing device 4.
  • FIG. 8 is a diagram showing a control example of noise reduction processing and enhancement processing that accompanies binning processing on / off.
  • the image output from the blend processing unit 36 is only the image from the pixel defect correction unit 34 (for example, the original image), so the binning process is automatically performed.
  • a process substantially equivalent to turning off is performed, and conversely, when the brightness is less than the upper limit threshold Thb, a process substantially equivalent to automatically turning on the binning process was performed. .
  • the binning process is automatically switched on / off automatically to reduce the processing load and reduce the power consumption. Also good.
  • the noise reduction process by the noise reduction unit 52 and the enhancement process by the enhancement unit 54 are controlled as shown in FIG. Good.
  • the noise reduction processing and enhancement processing that are performed when the binning processing is off are normal processing
  • the noise reduction process is weakened so that the smoothing is not excessively performed
  • the enhancement process is strengthened so that details are not blurred.
  • the image processing device 4 performs binning processing and blending processing, and only the binning processing is performed in the imaging unit 14, but the blending processing is also performed in the imaging unit 14. You may comprise.
  • blending processing is performed in the imaging unit 14, the brightness of each region (for example, 2 ⁇ 2 pixels) of the image used for determining the weight ⁇ is obtained for the image one frame before. It is sufficient to use it (that is, to perform feedback processing).
  • FIG. 1 there are two types, that is, an image sensor binning by the binning processing unit 18 a of the image sensor 15 and an image processing binning by the binning processing unit 35 of the image processing device 4.
  • the processing units 18a and 35 can individually be turned on / off, for example.
  • the state of pixel addition when the binning processing by the binning processing units 18a and 35 is performed is as shown in FIGS. 9 is a diagram showing an array of photoelectric conversion pixels
  • FIG. 10 is a diagram showing pixels obtained by adding four photoelectric conversion pixels by image sensor binning
  • FIG. 11 is an array of binning pixels after image sensor binning.
  • FIG. 12 is a diagram showing pixels obtained by adding four binning pixels after image sensor binning by image processing binning.
  • a pixel P1 shown in A of FIG. 10 is obtained. Further, it is assumed that the pixel P1 of FIGS. 11A to 11D is obtained by performing the image sensor binning in the same manner for the pixels in the vicinity of the pixel P1 of FIG. At this time, when the pixels P1 of A to D in FIG. 11 are added by image processing binning, a pixel P2 indicated by ⁇ in FIG. 11 is obtained. In addition, when a color filter is provided in the light receiving unit 17, four pixels are added between the same color pixels.
  • the sensitivity of the image pickup device is 4 times as high as that of the image processing binning and the sensitivity of the image processing is 4 times as high as that of the image processing binning, both binning processes are performed. In this case, the sensitivity is 16 times.
  • FIG. 13 is a diagram showing an example of an image when the application site is the lung
  • FIG. 14 is a diagram showing an example of an image when the application site is the stomach
  • FIG. 15 is an image sensor binning and image processing binning according to the application site. It is a chart which shows the example of proper use of.
  • An example of the image 81 obtained when the application site is the lung is an example in which a dark portion where the illumination light does not reach the central portion in a narrow lumen is shown in FIG. 13 except for the central portion. A relatively sufficient amount of light is obtained.
  • image processing binning is not necessary, for example, it is turned off, and only image sensor binning is used as appropriate.
  • an example of an image 82 obtained when the application site is the stomach is in a state where the stomach is inflated by performing air supply, etc.
  • This is an example in which the light reaches the inner wall of the stomach with a weak illuminance, and a dark part appears in a relatively large area, and the amount of light is generally insufficient.
  • the memory 23 of the endoscope 2 stores information indicating the model name of the endoscope 2 as scope individual information. Therefore, according to the model name of the endoscope 2, it is determined whether the application site is the lung, the stomach, or other site, and the image sensor binning and the image processing binning are performed based on the determination result. Can be set to automatically use properly.
  • control unit 48 controls on / off of the binning processing unit 18a and on / off of the binning processing unit 35 in accordance with the scope individual information. Then, by appropriately using the binning process according to the application site, it is possible to appropriately suppress a decrease in image resolution as in the case of always performing both the image sensor binning and the image processing binning.
  • the image sensor binning is used preferentially over the image processing binning.
  • the present invention is not limited to this, and the image processing binning is used preferentially over the image sensor binning. It doesn't matter.
  • pixel addition can be performed by analog addition. Therefore, when the number of added pixels is N, the size of random noise is increased to 1 / ⁇ N times, for example. There are advantages that can be reduced. In addition, since the number of readout pixels from the image sensor 15 is reduced, high-speed readout is possible. Furthermore, since the number of pixels is small, there is also an advantage that the processing load in the subsequent stage, that is, the processing in the analog front end unit 16 and the image processing apparatus 4 is light.
  • the brightness detection unit 43 that detects the brightness of an image for performing dimming does not always detect the average brightness of the entire image. For example, brightness that emphasizes the brightness of the central portion of the image. Brightness detection or brightness detection emphasizing the brightness of a specific part of an image. As described above, the brightness detection unit 43 detects the brightness of the image output from the first image processing unit 32, that is, the brightness of the image after the binning process (and after the blending process). is there.
  • the central part or specific part at this time is performed by specifying an address in the pixel arrangement of the image.
  • the address before binning should be used as it is. I can't. Therefore, the brightness detection unit 43 adjusts the size and address of the area for detecting brightness according to the presence or absence of the binning process.
  • FIG. 16 is a chart showing how the brightness detection area size is changed in accordance with the presence or absence of image sensor binning and image processing binning.
  • the change of the address and size of the detection area by the brightness detection unit 43 is always performed when at least one of the image sensor binning and the image processing binning is performed.
  • the detection area start address is (x, y)
  • the detection area size is (a, b)
  • the image sensor binning is 2 ⁇ 2 pixel addition
  • the image processing binning is 2
  • the start address is (x / 2, y / 2)
  • the detection area size is (a / 2, b / 2).
  • the start address is (x / 4, y / 4) and the detection area size is (a / 4, b / 4).
  • start address and area size of such a detection area are not limited to calculation and obtained for each implementation, but are stored in advance as parameters in the memory 23 or the storage unit 47, for example, according to the set binning type. Accordingly, the control unit 48 may read out appropriate parameters from the memory 23 or the storage unit 47 and set them in the light control unit 44.
  • the brightness determination threshold in the brightness detection unit 43 or the gain adjustment unit 53 may be used as a dimming parameter that should be changed to other than the region size of the brightness detection unit 43. For example, gain.
  • FIG. 17 is a block diagram illustrating a configuration example in which the pixel defect correction unit 34 is arranged at the subsequent stage of the binning processing unit 35.
  • the pixel defect correction unit 34 is arranged in front of the binning processing unit 35 so that the influence of the defective pixel does not reach the binning pixel, and an example of the configuration is shown in FIG. However, there may be a case where the pixel defect correction unit 34 is arranged at the subsequent stage of the binning processing unit 35 as shown in FIG.
  • control unit 48 is provided with the function of the defective pixel address conversion unit 48a, and when the binning process is on, the defective pixel address read from the memory 23 is converted into an appropriate address after the binning process.
  • the pixel defect correction unit 34 may be made to perform pixel defect correction processing based on the converted address.
  • the control unit 48 similarly stores the memory 23. After the defective pixel address read from is converted into an address after binning processing, the pixel defect correction unit 34 is controlled.
  • the binning process When the binning process is switched on / off according to the brightness of the image, first, the image signal of the subject irradiated with the emitted light amount adjusted by the light control unit 44 is acquired with the binning process turned off. When the brightness of the acquired image signal is bright, the binning process is set to off, and when it is dark, the binning process is set to on.
  • the image (for example, the original image) and the binning image are synthesized (blend processing) for each area according to the brightness of the area. Reduction in resolution can be suppressed. Then, since the composition ratio of the image (for example, the original image) and the binning image is changed according to the brightness of the region, for example, the non-binning region and the 2 ⁇ 2 pixel binning region are stepwise (discontinuously). Since the boundary areas are smoothly connected without switching, unnaturalness of the image can be reduced and a more natural image can be obtained.
  • the resolution can be maintained.
  • the pixel defect correction unit 34 when the pixel defect correction unit 34 is arranged in front of the binning processing unit 35, the influence of the defective pixel on the pixel after binning can be reduced in advance. It is possible to obtain an appropriate image in which the deterioration of the image is suppressed.
  • the binning processing units 18a and 35 can be appropriately controlled according to the scope individual information. Specifically, by allowing the binning process only when the number of pixels of the imaging unit 14 is equal to or greater than a predetermined threshold, a significant decrease in image resolution can be suppressed.
  • the binning processing unit 18a and the binning processing unit 35 can be appropriately used according to the model name of the endoscope 2.
  • the imaging apparatus may be operated, or a processing program for causing a computer to execute the imaging apparatus operating method, which can be read by a computer that records the processing program. It may be a recording medium that is not temporary.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various aspects of the invention can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components from all the components shown by embodiment.
  • the constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

　１つの領域が複数の画素信号を含むように画像を複数の領域に分割して、領域毎に画素信号を加算しビニング画素信号を得るビニング処理部（３５）と、領域の明るさを検出するビニング用明るさ検出部（３７）と、明るさに基づいて領域における重みを設定し、画素信号とビニング画素信号とを重み付け合成して合成画像を生成するブレンド処理部（３６）と、を備える撮像装置。

Description

撮像装置、撮像装置の作動方法
　本発明は、画素信号を加算してビニング画素信号を得るビニング処理を行う撮像装置、撮像装置の作動方法に関する。
　近年の撮像素子は高画素化、高密度化が図られていて、特に電子内視鏡システムに採用される撮像素子は小型化も図られているために、１つの画素の面積が小さくなってきており、画像の明るさを十分に確保することが難しい場合がある。
　これに対して、画像の明るさを増加させる技術として、隣接する複数の画素から得られた画素値を加算することにより１ピクセル分の画素値を得るビニングと呼ばれる技術が提案されている。
　例えば日本国特開２００８－７２５０１号公報には、撮像素子から出力されデジタルに変換された映像信号に対して、注目画素に同色の周辺画素を加算（単純加算、または周辺画素に１以下の比率を掛けて足す比率加算）する技術が記載されている。該公報にはさらに、加算対象となる注目画素および周辺画素の数である加算画素数を、輝度分布に応じて変更する技術が記載されている。
　具体的に、該公報に記載の画素加算方式は、画面の白とびまたは黒潰れを軽減するために、画像を複数の領域に分割して各領域毎の注目画素の明るさを検出し、この明るさの検出結果に基づいてビニング処理における加算画素数を決定するものとなっており、このときに、領域の輝度が所定の閾値以上である場合には画素加算処理を行わない（すなわち、注目画素のみとする）ようにしている。
　しかしながら、上記日本国特開２００８－７２５０１号公報に記載の技術では、画面の白とびまたは黒潰れを軽減することはできるものの、加算画素数が自然数（１（加算せず注目画素のみ），２（周辺１画素を注目画素に加算），３（周辺２画素を注目画素に加算），…）的に変化するものであるために、例えば加算画素数１の領域に隣接して加算画素数２の領域が配置される場合、領域の境界において画像に解像度的な段差が生じ、不自然な画像として観察されていた。
　本発明は上記事情に鑑みてなされたものであり、画素信号を領域毎に加算した場合にも自然な画像を得ることができる撮像装置、撮像装置の作動方法を提供することを目的としている。
　本発明のある態様による撮像装置は、複数の画素信号により構成される画像を、１つの領域が複数の前記画素信号を含むように複数の領域に分割して、該領域に属する複数の前記画素信号を加算してビニング画素信号を得るビニング処理部と、前記領域の明るさを検出するビニング用明るさ検出部と、前記明るさに基づいて前記領域における重みを設定し、該重みに基づき前記領域における前記画素信号と前記ビニング画素信号とを合成することにより合成画像を生成する合成部と、を具備している。
　本発明のある態様による撮像装置の作動方法は、ビニング処理部が、複数の画素信号により構成される画像を、１つの領域が複数の前記画素信号を含むように複数の領域に分割して、該領域に属する複数の前記画素信号を加算してビニング画素信号を得るステップと、ビニング用明るさ検出部が、前記領域の明るさを検出するステップと、合成部が、前記明るさに基づいて前記領域における重みを設定し、該重みに基づき前記領域における前記画素信号と前記ビニング画素信号とを合成することにより合成画像を生成するステップと、を有している。
本発明の実施形態１における撮像装置が適用された内視鏡システムの構成を示すブロック図。 上記実施形態１における第２画像処理部の構成例を示すブロック図。 上記実施形態１において、ビニング処理部およびブレンド処理部近傍の構成例をより詳細に示すブロック図。 上記実施形態１において、画素の明るさに応じて重みαを異ならせる例を示す図表。 上記実施形態１において、画素の明るさに応じて決定される重みαの例を示す線図。 上記実施形態１において、重み付け加算によるビニング処理の一例を示す図。 上記実施形態１において、ビニング処理時の加算重みｘ，ｙ，ｚ，ｔを画素の明るさに応じて設定する例を示す線図。 上記実施形態１において、ビニング処理のオン／オフに伴うノイズ低減処理およびエンハンス処理の制御例を示す図。 上記実施形態１における光電変換画素の配列を示す図。 上記実施形態１において、４つの光電変換画素を撮像素子ビニングにより加算して得られる画素を示す図。 上記実施形態１において、撮像素子ビニング後のビニング画素の配列を示す図。 上記実施形態１において、撮像素子ビニング後の４つのビニング画素を画像処理ビニングにより加算して得られる画素を示す図。 上記実施形態１において、適用部位が肺であるときの画像例を示す図。 上記実施形態１において、適用部位が胃であるときの画像例を示す図。 上記実施形態１において、適用部位に応じた撮像素子ビニングと画像処理ビニングとの使い分けの例を示す図表。 上記実施形態１において、撮像素子ビニングと画像処理ビニングの有無に応じた明るさ検出領域サイズの変更の様子を示す図表。 上記実施形態１において、ビニング処理部の後段に画素欠陥補正部を配置する構成例を示すブロック図。
　以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］
　図１から図１７は本発明の実施形態１を示したものであり、図１は撮像装置が適用された内視鏡システムの構成を示すブロック図である。
　この内視鏡システム１は、被検体に挿入部を挿入して画像を撮像する内視鏡２と、内視鏡２から手元側に延設されるユニバーサルケーブル内に後述するライトガイド１１と共に配設されている集合ケーブル３と、集合ケーブル３の基端側が接続され、内視鏡２により取得された画像に画像処理を施すとともに内視鏡システム１全体の動作を統括的に制御する画像処理装置４と、内視鏡２の先端から出射する照明光を発生する光源部である光源装置６と、画像処理装置４が処理した画像を表示する表示装置７と、を備えている。
　内視鏡２は、ライトガイド１１と、照明光学系１２と、光学系１３と、撮像部１４と、を備えている。
　ライトガイド１１は、光源装置６から発生された光を基端側において入射し、内視鏡２の挿入部の先端部へ伝送するものであり、例えば光学ファイババンドル等により構成されている。
　照明光学系１２は、ライトガイド１１の先端に配設されていて、ライトガイド１１により伝送された照明光を被検体へ向けて射出するものである。
　光学系１３は、被検体からの光を受けて、被検体の光学像を撮像部１４の後述する撮像素子１５に結像する対物光学系である。
　撮像部１４は、光学系１３により結像された被検体の光学像を光電変換して画像信号として出力するものである。
　この撮像部１４は、撮像素子１５と、アナログフロントエンド部１６と、Ｐ／Ｓ変換部２１と、タイミングジェネレータ２２と、撮像制御部２４と、を備えている。
　撮像素子１５は、受光部１７と、読出部１８と、を有し、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサとして構成されている。
　受光部１７は、光を光電変換して光電変換画素信号を生成する光電変換画素（以下、適宜「画素」と略称する）が二次元状に複数設けられている。光電変換画素は、具体的には、光量に応じた電荷を蓄積するフォトダイオードと、フォトダイオードが蓄積した電荷を増幅する増幅器と、を備えて構成されている。さらに、受光部１７には、例えばベイヤー配列のＲＧＢカラーフィルタ、または補色系のカラーフィルタが設けられていて、カラー画像を取得することができるようになっている。なお、受光部１７にはカラーフィルタを設けずに、時系列的に順次出射されたＲＧＢの照明光で撮像されるＲＧＢ画像を合成することによってカラー画像を取得する面順次方式であってもよい。
　読出部１８は、受光部１７に配列された複数の画素から光電変換画素信号を読み出すものである。１回の撮像（例えば１フレームの撮像）において１つの画素が１つの光電変換画素信号を生成するために、読出部１８により読み出される画像信号は複数の光電変換画素信号により構成される。この読出部１８は、さらに、撮像制御部２４の制御に基づいて、必要に応じて光電変換画素信号を撮像部１４内においてビニング処理するビニング処理部１８ａ（撮像素子ビニング処理部）としての機能も果たすようになっている。すなわち、読出部１８は、受光部１７から読み出した複数の画素信号により構成される画像を、１つの領域が複数の画素信号を含むように複数の領域に分割して、領域に属する複数の画素信号を加算してビニング画素信号を得るビニング処理を行うビニング処理部１８ａとして機能し得る。
　アナログフロントエンド部１６は、ノイズ低減部１９と、Ａ／Ｄ変換部２０と、を有している。
　ノイズ低減部１９は、例えば相関二重サンプリング（Correlated Double Sampling）を行うことにより、光電変換画素信号からノイズを低減する。
　Ａ／Ｄ変換部２０は、ノイズ低減部１９によりノイズが低減されたアナログの光電変換画素信号をＡ／Ｄ変換してデジタル信号を出力する。
　Ｐ／Ｓ変換部２１は、アナログフロントエンド部１６から出力されるパラレルのデジタル信号をパラレル／シリアル変換して、シリアル信号として出力する。
　タイミングジェネレータ２２は、画像処理装置４から受信したタイミング信号に基づいて、撮像素子１５を駆動するための駆動タイミングパルスと、アナログフロントエンド部１６およびＰ／Ｓ変換部２１における各種信号処理用のパルスと、を発生する。
　撮像制御部２４は、画像処理装置４の後述する制御部４８と通信を行い、制御部４８から受信した設定データに従って、内視鏡２の各種動作を制御する。撮像制御部２４は、さらに、スコープ個体情報を不揮発に記憶するメモリ２３を備えている。このメモリ２３が記憶するスコープ個体情報には、内視鏡２の機種名を示す情報や製造個体番号、撮像部１４に設けられた光電変換画素の数である画素数、光電変換画素の内の欠陥がある欠陥画素の画素位置情報（欠陥画素アドレス）、撮像素子１５の暗電流ノイズ情報（固定パターンノイズ情報）、撮像素子１５がＣＭＯＳイメージセンサであるかＣＣＤイメージセンサであるかを識別する情報、及び撮像素子１５の受光部１７に設けられたカラーフィルタの情報（ＲＧＢフィルタか、補色系フィルタか、またはカラーフィルタが設けられていないか）などが含まれている。
　集合ケーブル３は、内視鏡２と画像処理装置４との間で電気信号の送受信を行う複数の信号線が束ねられたケーブルである。複数の信号線には、撮像部１４が出力した画像信号を画像処理装置４へ伝送する信号線、画像処理装置４の後述する駆動信号生成部４２が出力したタイミング信号を内視鏡２のタイミングジェネレータ２２へ伝送する信号線、画像処理装置４の制御部４８が出力する設定データを撮像制御部２４へ伝送する信号線などが含まれている。この集合ケーブル３は、上述したライトガイド１１と共に、例えばユニバーサルケーブルとして一体的に構成されている。
　画像処理装置４は、Ｓ／Ｐ変換部３１と、第１画像処理部３２と、第２画像処理部３３と、読出アドレス設定部４１と、駆動信号生成部４２と、明るさ検出部４３と、調光部４４と、基準クロック生成部４５と、入力部４６と、記憶部４７と、制御部４８とを備えている。
　Ｓ／Ｐ変換部３１は、内視鏡２からシリアル通信により受信したデジタルの画像信号をシリアル／パラレル変換してパラレル信号にし、第１画像処理部３２へ出力する。
　第１画像処理部３２は、画素欠陥補正部３４と、ビニング処理部３５と、ブレンド処理部３６と、ビニング用明るさ検出部３７と、を備えている。
　画素欠陥補正部３４は、画像信号中の欠陥画素からの画素信号を、欠陥画素の近傍の通常画素の画素信号に基づいて補間する処理を行う。ここに、制御部４８は、メモリ２３に記憶されている撮像素子１５の欠陥画素アドレスを取得して、取得した欠陥画素の画素信号を補正するように画素欠陥補正部３４を制御するようになっている。
　欠陥画素が存在する場合に、欠陥画素から得られた画素信号を用いてそのままビニング処理を行うと、生成されるビニング画素信号は欠陥画素の影響を引き継いで不適切なレベルの信号となってしまい、画質劣化の原因となる。そこで、この図１に示すように、画素欠陥補正部３４をビニング処理部３５よりも前段に配置して、ビニング処理を行う際には画素欠陥が既に補正された状態となるようにしている。
　ビニング用明るさ検出部３７は、画素欠陥補正後の画像の明るさを領域（ビニング処理部３５におけるビニング処理によって、処理後に１ピクセルとなるように加算する対象の画素集合でなる領域）毎に検出するものである。具体的に、ビニング用明るさ検出部３７は、領域が下記に説明する例のように２×２画素である場合には、領域の明るさを、その領域に属する複数の画素信号（２×２画素の画素信号）に基づいて、例えば平均値や中央値などにより算出するようになっている。このビニング用明るさ検出部３７が検出した明るさは、ブレンド処理部３６と制御部４８とへ出力される。
　ビニング処理部３５は、内視鏡２から出力される複数の画素信号を、画像処理の一部としてビニング処理する画像処理ビニング処理部である。すなわち、ビニング処理部３５は、複数の画素信号により構成される画素欠陥補正後の画像を、１つの領域が複数の画素信号を含むように複数の領域に分割して、領域に属する複数の画素信号を加算してビニング画素信号を得るビニング処理を行う。より具体的に、ビニング処理部３５は、例えば２×２画素の領域（あるいは３×３画素の領域、４×４画素の領域等であっても構わないし、正方領域でなくても良いし、画像の明るさに応じて領域の大きさを適応的に変更しても良い）毎に画素信号を加算して、ビニング処理を行う。ここで、メモリ２３に記憶された固体情報に基づいて、受光部１７にカラーフィルタが設けられていることが識別された場合には、カラーフィルタの配列を考慮し、同色の画素ごとに画素信号を加算する。
　ブレンド処理部３６は、ビニング用明るさ検出部３７により検出された明るさに基づいて、領域における重みαを設定し、重みαに基づき領域における画素信号（画素欠陥補正後の画素信号）とビニング画素信号とを合成する処理を、一画像分の領域について行うことにより合成画像を生成する合成部である。ここに、重みαは、画素信号とビニング画素信号とを合成する際の信号の比率を示す量であり、領域毎に異なるローカルな量となっている。
　ここで図３～図５を参照して、ビニング処理部３５およびブレンド処理部３６の処理について説明する。図３はビニング処理部３５およびブレンド処理部３６近傍の構成例をより詳細に示すブロック図、図４は画素の明るさに応じて重みαを異ならせる例を示す図表、図５は画素の明るさに応じて決定される重みαの例を示す線図である。
　ブレンド処理部３６には、画素欠陥補正部３４からの画像（この画像は、撮像素子１５から出力された画素数の原画像である場合もあるが、ビニング処理部１８ａによりビニング処理されて画素数が減少した画像である場合もある）と、ビニング処理部３５からのビニング画像と、が入力されるようになっている。
　このとき、画素欠陥補正部３４からの画像は画素数変換部３８により、ビニング処理部３５からのビニング画像は画素数変換部３９により、それぞれ画素数変換が行われ、同一の画素数に変換されるようになっている。画素数変換部３８，３９による変換後の画素数は、原画像の画素数に合わせても良いし、ビニング画像の画素数に合わせても良いし、表示装置７の画素数に合わせても良いし、その他の任意の画素数に合わせるようにしても構わない。
　例えば、画素数変換部３８，３９による変換後の画素数を原画像に合わせた場合には、後段の画像処理を画素数に応じて変更する必要がなく、処理を複雑にすることなく原画像に対する処理と同一の処理を適用可能となり、画素数を切り替えることによる処理の遅延も防止することができる利点がある。従って、ビニング処理が行われたときには原画像のサイズに戻るように、画素数変換処理を自動的に実行するようにしても構わない。なお、ビニング処理部１８ａにより変更された画素数は画素数変換部３８により原画像の画素数に戻すことができ、ビニング処理部１８ａおよびビニング処理部３５により変更された画素数は画素数変換部３９により原画像の画素数に戻すことができるが、図３に示した配置に限らず、画素数変換部をビニング処理部１８ａ内およびビニング処理部３５内にそれぞれ設けるようにしても構わない。
　また、変換後の画素数をビニング画像に合わせる場合には、処理対象の画素数が少なくなるために、その後の画像処理の負荷が軽減される。
　さらに、変換後の画素数を表示装置７の画素数に合わせる場合には、その後の表示装置７へ至る処理経路上において再度の画素数変換が不要になる利点がある。
　ブレンド処理部３６は、ビニング用明るさ検出部３７により検出された領域の明るさに基づいて、その領域における重みαを設定する。この重みαは、図４に示すように、領域の明るさが、明るいほど大きな値をとり、暗いほど小さな値をとるように決定される。
　より具体的にブレンド処理部３６は、例えば図５に示すように、領域の明るさが、所定の下限閾値Ｔｈｄ未満であるときには重みαが０となり、下限閾値Ｔｈｄ以上で所定の上限閾値Ｔｈｂ未満であるときには重みαが領域の明るさに従って単調増加し、上限閾値Ｔｈｂ以上であるときには重みαが１となるように設定する。
　そしてブレンド処理部３６は、乗算部３６ａにより画素数変換部３８からの画素信号に重みαを乗算し、乗算部３６ｂにより画素数変換部３９からのビニング画素信号に重み（１－α）を乗算して、加算部３６ｃにより対応する領域毎に加算することで合成画像を生成し出力する。従って、画素数変換部３８からの画素信号をＡ、画素数変換部３９からのビニング画素信号をＢとすると、ブレンド処理部３６から出力される画素信号はα×Ａ＋（１－α）×Ｂとなる。
　このような処理を行うことにより、画素信号とビニング画素信号との比率は、明るさが下限閾値Ｔｈｄ未満であるときには０：１（つまり、ビニング画像のみ）となり、明るさが下限閾値Ｔｈｄ以上で上限閾値Ｔｈｂ未満であるときにはα：（１－α）（つまり、ビニング画像と例えば原画像とのブレンド画像）となり、明るさが上限閾値Ｔｈｂ以上であるときには１：０（つまり、例えば原画像のみ）となる。
　こうしてブレンド処理部３６により設定される重みαは、領域の明るさが暗くなるに従って、画素信号に対するビニング画素信号の比率が単調増加して大きくなるように設定されている。
　なお、ビニング処理部３５は、上述では、例えば２×２画素の領域に含まれる全画素の画素値を単純加算して、ビニング画素の画素値を得ることを想定していた。具体的に、２×２画素の画素値がそれぞれａ，ｂ，ｃ，ｄである場合には、ビニング処理によって得られる画素値が（ａ＋ｂ＋ｃ＋ｄ）となる場合を想定していた。しかしこれに代えて、例えば重み付け加算を行うようにしても構わない。
　図６は、重み付け加算によるビニング処理の一例を示す図である。
　ｍおよびｎを整数としたときに、２×２画素の領域において、座標（２ｎ＋１，２ｍ＋１）における画素値をａ、重みをｘ、座標（２ｎ＋１，２ｍ＋２）における画素値をｂ、重みをｙ、座標（２ｎ＋２，２ｍ＋１）における画素値をｃ、重みをｚ、座標（２ｎ＋２，２ｍ＋２）における画素値をｄ、重みをｔとすると、ビニング処理部３５は、（ａ×ｘ＋ｂ×ｙ＋ｃ×ｚ＋ｄ×ｔ）をビニング処理によって得られる画素値とするようにしても良い。
　ここに、ビニング処理時の加算重みｘ，ｙ，ｚ，ｔは、所望の固定値を用いても良いが、適応的に変更しても構わない。図７は、ビニング処理時の加算重みｘ，ｙ，ｚ，ｔを画素の明るさに応じて設定する例を示す線図である。
　図７は、画素の明るさが明るい場合や暗い場合には、明るさが中庸である場合に比して重みを小さくする設定例となっている。
　このようにビニング処理時の加算重みｘ，ｙ，ｚ，ｔを設定すると、２×２画素の領域に含まれる画素の内の、他の画素よりも特段に明るい画素、あるいは他の画素よりも特段に暗い画素は、ビニング加算における寄与が小さくなる。従って、ビニング処理により得られる結果から、白飛び画素や黒つぶれ画素の影響を軽減することが可能となる。
　図１の説明に戻って、第２画像処理部３３は、第１画像処理部３２から出力された画像信号から、表示装置７が表示する画像を生成する。
　図２は第２画像処理部３３の構成例を示すブロック図である。
　第２画像処理部３３は、例えば、ホワイトバランス調整部５１と、ノイズ低減部５２と、ゲイン調整部５３と、エンハンス部５４と、モニタ用画素数変換部５５と、静止画像用メモリ５６と、γ（ガンマ）補正部５７と、Ｄ／Ａ変換部５８と、フォーマット変更部５９と、を備えている。
　ホワイトバランス調整部５１は、画像信号を構成するＲＧＢ各色成分のゲインを調整することにより、ホワイトバランスを調整する。ここにホワイトバランス調整部５１によるホワイトバランス調整には２種類あり、１つは内視鏡２と画像処理装置４とが初めて組み合わされたとき（もしくは内視鏡システム１が起動される毎）に行われる基本ホワイトバランス調整処理、他の１つは動画撮像中にホワイトバランス調整を自動的に随時行うオートホワイトバランス調整処理である。
　基本ホワイトバランス調整処理を行う場合には、撮像素子１５の異なる読出チャンネルから読み出される、暗電流ノイズレベルが異なる画素値同士が加算されることは望ましくないために、ビニング処理を経ていない信号値を取得するべく、ビニング処理部１８ａによる撮像素子ビニングおよびビニング処理部３５による画像処理ビニングを制御部４８が強制的にオフにする。
　また、オートホワイトバランス調整処理を行う場合にも、撮像素子ビニングおよび画像処理ビニングの両方を強制的にオフにすることが望ましい。なお、ホワイトバランス調整は、画像全体に対して行うとは限らず、画像内の特定領域に対して行うことが考えられるために、ビニング処理を強制的にオフすることにより、特定領域の画素位置を示すアドレスがずれてしまうのを未然に防ぐことができる利点もある。
　ノイズ低減部５２は、画像信号から暗電流ノイズ成分を低減する。ここに、撮像素子１５には、光学系１３からの被写体光が照射される領域以外に、光学的に光を遮断されたＯＢ（Optical Black）領域が設けられている。そして、このＯＢ領域から読み出された信号から暗電流ノイズ成分が取得されるために、ＯＢ領域からの読み出し信号についてはビニング処理部１８ａによる撮像素子ビニングおよびビニング処理部３５による画像処理ビニングを制御部４８が強制的にオフにするようにしている。
　こうして、内視鏡２と画像処理装置４とが初めての組み合わせで接続されたときに、撮像素子ビニングおよび画像処理ビニングの両方をオフした状態でＯＢ領域から取得された暗電流ノイズ情報は、画像処理装置４が内視鏡２のメモリ２３にスコープ個体情報として記憶させるようになっている。こうして暗電流ノイズ情報は、画像処理装置４と内視鏡２とが初めて組み合わされたときに（つまり、新しい組み合わせが生じる毎に）取得処理が実行され、一旦取得されると、その後はメモリ２３に記憶されている暗電流ノイズ情報を読み出して暗電流ノイズを除去する処理を行うようになっている。
　なお、ノイズ低減部５２は、ここでは第２画像処理部３３内に設けられた例を示したが、この配置に限定されるものではなく、Ｓ／Ｐ変換部３１以降であれば、表示装置７へ出力する画像信号の伝送系路上のどこに配置されていても構わない（ただし、ノイズ低減をデジタル処理により行う場合には、Ｄ／Ａ変換部５８以前に配置する必要がある）。
　ゲイン調整部５３は、制御部４８から受信したゲイン調整値に基づいて、画像信号の増幅を行う。
　エンハンス部５４は、画像のエッジ強調などのエンハンス処理を行う。
　モニタ用画素数変換部５５は、画像の画素数を、表示装置７における表示用の画素数に変換する。
　静止画像用メモリ５６は、静止画像表示用の画像信号を記憶する。内視鏡２にはフリーズボタン等が設けられており、このフリーズボタンが操作されたときには静止画像用メモリ５６に記憶されている静止画像表示用の画像信号を表示装置７に表示するようになっている。一方、フリーズボタンが操作されていないときには、画像処理装置４は動画像を生成し、表示装置７には動画像が表示される。
　γ補正部５７は、表示装置７の表示特性に対応して画像信号を階調補正（γ補正）する。
　Ｄ／Ａ変換部５８は、γ補正部５７により階調補正された画像信号をアナログ信号に変換する。
　フォーマット変更部５９は、アナログ信号に変換された画像信号を表示装置７に対応する信号形式に変更して出力する。
　図１の説明に戻って、読出アドレス設定部４１は、所定の読み出し順序に従って、撮像素子１５から読み出す画素の読出アドレスを設定する。ここで設定された読出アドレスは、駆動信号生成部４２へ出力されると共に、読み出し順序に応じた信号処理を行うために第１画像処理部３２へ出力される。
　駆動信号生成部４２は、読出アドレス設定部４１から受信した読出アドレスと、基準クロック生成部４５から受信した基準クロック信号と、に基づいて、撮像部１４を駆動するためのタイミング信号を生成し、内視鏡２のタイミングジェネレータ２２へ送信する。
　明るさ検出部４３は、調光のために、第１画像処理部３２から出力される画像の明るさを検出するものである。ここに、ビニング処理が行われると画像の明るさが変化するために、明るさ検出部４３が検出する画像はビニング処理後（さらには合成後）の画像となっている。明るさ検出部４３は、検出した明るさに基づいて、ゲイン調整値と光照射量とを算出し、ゲイン調整値を制御部４８を介してゲイン調整部５３へ出力すると共に、光照射量を調光部４４へ出力する。
　調光部４４は、観察モードに応じた制御部４８の制御の下に光源装置６が発生する光の種別、基本光量、発光タイミング等を設定し、さらに、明るさ検出部４３から受信した光照射量に基づいて基本光量を調整して調整後の光量を設定し、設定したこれらの条件を含む光源同期信号を光源装置６へ送信する。
　基準クロック生成部４５は、この内視鏡システム１の動作タイミングの基準となる基準クロック信号を生成して各部へ供給する。
　入力部４６は、各種の操作スイッチやタッチパネル等を有して構成されており、内視鏡システム１の動作を指示する操作入力を受けるものである。
　記憶部４７は、例えばフラッシュメモリやＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリを用いて構成されており、内視鏡システム１を動作させるための各種の処理プログラム、および内視鏡システム１の動作に必要な各種のパラメータを含むデータなどを記憶する。
　制御部４８は、ＣＰＵ（Central Processing Unit）等を用いて構成されており、画像処理装置４を含む内視鏡システム１の各部を統合的に制御するものである。例えば、制御部４８は、撮像制御のための設定データを内視鏡２の撮像制御部２４へ送信する。また、制御部４８は、第１画像処理部３２を制御するものであり、メモリ２３から読み出した光電変換画素の画素数が所定の閾値以上の場合にのみ、ビニング処理部３５（あるいはさらにビニング処理部１８ａ）、ビニング用明るさ検出部３７、およびブレンド処理部３６の動作を許可するようになっている。
　次に、光源装置６は、白色光源６１と、特殊光光源６２と、光源制御部６３と、ＬＥＤ（Light Emitting Diode）ドライバ６４と、を備えている。なお、上記面順次方式の場合には、白色光源６１から出射される照明光からＲ，Ｇ，Ｂの光を順次透過するフィルタを設けてもよい。また、Ｒ，Ｇ，Ｂの単色ＬＥＤを同時に発光させることにより白色光を得るものであっても、Ｒ，Ｇ，Ｂの単色ＬＥＤを順次発光させることにより面順次方式の照明を得るものであってもよい。
　白色光源６１は、例えばＬＥＤを光源として含み、白色照明光を発光する。
　特殊光光源６２も例えばＬＥＤを光源として含み、白色照射光とは波長帯域が異なる特殊光を発光する。ここに、特殊光光源６２が発生する特殊光としては、コラーゲンなどの蛍光物質からの自家蛍光を観察するための励起光（３９０～４７０ｎｍ）と血液中のヘモグロビンに吸収される波長（５４０～５６０ｎｍ）の光とを含むＡＦＩ（蛍光観察：Auto Fluorescence Imaging）照明光、血液中のヘモグロビンに吸収され易いように狭帯域化された青色光および緑色光を含むＮＢＩ（狭帯域光観察：Narrow Band Imaging）照明光、赤外光が吸収されやすいＩＣＧ（インドシアニングリーン）を注入した被検体に対して照射される２つの赤外光（７９０～８２０ｎｍ／９０５～９７０ｎｍ）を含むＩＲＩ（赤外光観察：Infra Red Imaging）照明光などが幾つかの例として挙げられる。これらの内のＡＦＩは、自家蛍光として得られる光が極めて微弱な光であるために、画像の明るさを増大させる技術と組み合わせる必要度が高い。
　光源制御部６３は、調光部４４から送信された光源同期信号に従って、ＬＥＤドライバ６４から白色光源６１または特殊光光源６２に供給する電流量を制御する。
　ＬＥＤドライバ６４は、光源制御部６３の制御に基づいて、白色光源６１または特殊光光源６２に電流を供給して光を発生させる。こうして白色光源６１または特殊光光源６２により発生された光は、ライトガイド１１を介して伝送され、内視鏡２の挿入部の先端から被検体へ向けて照射される。
　表示装置７は、画像処理装置４から出力された画像を表示する。
　次に、図８はビニング処理のオン／オフに伴うノイズ低減処理およびエンハンス処理の制御例を示す図である。
　上述した処理においては、明るさが上限閾値Ｔｈｂ以上であるときにはブレンド処理部３６から出力される画像は画素欠陥補正部３４からの画像（例えば原画像）のみとなるためにビニング処理が自動的にオフになるのと実質的に同等の処理が行われ、逆に、明るさが上限閾値Ｔｈｂ未満であるときにはビニング処理が自動的にオンになるのと実質的に同等の処理が行われていた。
　そこで、明るさが上限閾値Ｔｈｂ未満であるか以上であるかに応じて、ビニング処理のオン／オフを自動的に実際に切り替えるようにして、処理負荷を軽減し消費電力を低減するようにしても良い。
　ビニング処理を実質的にオン／オフする場合、あるいは実際にオン／オフする場合の何れにおいても、ノイズ低減部５２によるノイズ低減処理とエンハンス部５４によるエンハンス処理とを、図８に示すように制御すると良い。
　すなわち、ビニング処理がオフであるときに行っているノイズ低減処理およびエンハンス処理を通常処理であるとすると、ビニング処理がオンであるときにはノイズ低減処理を弱めると共にエンハンス処理を強めると良い。すなわち、ビニング処理を行うと画像が平滑化されることになるために、平滑化が過度に行われないようにノイズ低減処理を弱めると共に、細部がぼけないようにエンハンス処理を強めている。これにより、ビニング処理を行った場合であっても、被検体の構造をより明瞭に観察することが可能となる。
　なお、図１に示した構成例では、画像処理装置４ではビニング処理およびブレンド処理を行い、撮像部１４内ではビニング処理のみを行っているが、撮像部１４内においてさらにブレンド処理も行うように構成しても構わない。撮像部１４内におけるブレンド処理を行う場合には、重みαを決定するために利用する画像の各領域（例えば２×２画素）の明るさは、１フレーム前の画像に対して取得したものを使用すれば（つまり、フィードバック処理するようにすれば）良い。
　また、図１に示した構成においては、撮像素子１５のビニング処理部１８ａによる撮像素子ビニングと、画像処理装置４のビニング処理部３５による画像処理ビニングと、の２種類が存在し、これらのビニング処理部１８ａ，３５は、例えば個別にオン／オフを制御可能となっている。そして、ビニング処理部１８ａ，３５によるビニング処理を行ったときの画素加算の様子は図９～図１２に示すようになる。ここに、図９は光電変換画素の配列を示す図、図１０は４つの光電変換画素を撮像素子ビニングにより加算して得られる画素を示す図、図１１は撮像素子ビニング後のビニング画素の配列を示す図、図１２は撮像素子ビニング後の４つのビニング画素を画像処理ビニングにより加算して得られる画素を示す図である。
　まず、受光部１７により光電変換して得られる光電変換画素Ｐ０の配列において、図９の１～４に示す画素Ｐ０を撮像素子ビニングにより加算すると、図１０のＡに示す画素Ｐ１が得られる。さらに、図１０のＡの画素Ｐ１の近傍の画素についても同様に撮像素子ビニングを行って図１１のＡ～Ｄの画素Ｐ１が得られているものとする。このときに、図１１のＡ～Ｄの画素Ｐ１を画像処理ビニングにより加算すると、図１１のαに示す画素Ｐ２が得られる。なお、受光部１７にカラーフィルタが設けられている場合、同色画素同士で４画素の加算を行うものとする。
　これら図９～図１２に示した例においては、撮像素子ビニングにより４倍の感度が得られ、画像処理ビニングにより同様に４倍の感度が得られることになるために、両方のビニング処理を行った場合には１６倍の感度が得られることになる。
　しかし、実使用時において常に１６倍の感度が求められるわけではないために、ここでは撮像素子ビニングと画像処理ビニングとの使い分けの例について説明する。図１３は適用部位が肺であるときの画像例を示す図、図１４は適用部位が胃であるときの画像例を示す図、図１５は適用部位に応じた撮像素子ビニングと画像処理ビニングとの使い分けの例を示す図表である。
　適用部位が肺であるときに得られる画像８１の一例は、図１３に示すように、狭い管腔において中央部に照明光があまり届かない暗い部分が写る例であり、中央部を除いては比較的十分な光量が得られている。
　この図１３の場合には、図１５の中段に示すように、画像処理ビニングを不要として例えばオフにし、撮像素子ビニングのみを適宜用いることが考えられる。
　一方、適用部位が胃であるときに得られる画像８２の一例は、図１４に示すように、送気等を行って胃を膨らませた状態となっているために胃の内部空間が広く、照明光が弱い照度で胃の内壁に到達して暗い部分が比較的広い面積で写る例であり、全体的に光量が不足している。
　この図１４の場合には、図１５の下段に示すように、撮像素子ビニングを必須として利用すると共に、さらに画像処理ビニングを適宜必要とすることが考えられる。
　上述したように、内視鏡２のメモリ２３にはスコープ個体情報として内視鏡２の機種名を示す情報が記憶されている。そこで、内視鏡２の機種名に応じて、適用部位が肺であるか胃であるかあるいはその他の部位等であるかを判定し、判定結果に基づいて撮像素子ビニングと画像処理ビニングとを自動的に使い分けるように設定することができる。
　こうして、制御部４８は、スコープ個体情報に応じて、ビニング処理部１８ａのオン／オフと、ビニング処理部３５のオン／オフと、を制御するようになっている。そして、適用部位に応じてビニング処理を適切に使い分けることにより、常に撮像素子ビニングと画像処理ビニングとの両方を行う場合のような画像解像度の低下を、適切に抑制することができる。
　なお、図１５に示す例においては撮像素子ビニングを画像処理ビニングよりも優先的に利用しているが、これに限るものではなく、画像処理ビニングを撮像素子ビニングよりも優先的に利用するようにしても構わない。
　ここに、撮像素子ビニングを優先して用いる場合には、画素加算をアナログ加算により行うことができるために、加算画素数をＮとしたときにランダムノイズの大きさを例えば１／√Ｎ倍に低減することができる利点がある。また、撮像素子１５からの読み出し画素数が少なくなるために、高速読み出しが可能となる。さらに、画素数が少ないために、後段の処理、つまりアナログフロントエンド部１６や画像処理装置４における処理の負荷が軽い利点もある。
　一方、画像処理ビニングを優先して用いる場合には、ビニング処理の加算画素数（２×２画素、３×３画素、４×４画素、…）を可変にすることができるなどの、処理の自由度が高い利点がある。
　ところで、調光を行うために画像の明るさを検出する明るさ検出部４３は、画像全体の平均的な明るさを検出するとは限らず、例えば、画像の中央部分の明るさを重視した明るさ検出、あるいは画像の特定部分の明るさを重視した明るさ検出を行う。そして明るさ検出部４３は、上述したように、第１画像処理部３２から出力される画像の明るさ、つまり、ビニング処理後（さらにはブレンド処理後）の画像の明るさを検出するものである。
　このときの中央部分、あるいは特定部分等は、画像の画素配列におけるアドレスを指定することにより行われるが、ビニング処理を行うと画素数が変化するために、ビニング処理前のアドレスをそのまま利用することはできない。そこで、ビニング処理の有無に応じて、明るさ検出部４３は、明るさを検出する領域のサイズやアドレスを調整するようになっている。
　図１６は撮像素子ビニングと画像処理ビニングの有無に応じた明るさ検出領域サイズの変更の様子を示す図表である。
　図示のように、明るさ検出部４３による検出領域のアドレスやサイズの変更は、撮像素子ビニングと画像処理ビニングとの少なくとも一方が実施される場合には、必ず行われるようになっている。
　具体的に、ビニング処理を行わないときの検出領域の開始アドレスが（ｘ，ｙ）、検出領域サイズが（ａ，ｂ）であり、撮像素子ビニングが２×２画素加算、画像処理ビニングも２×２画素加算である場合を考える。このときには、撮像素子ビニングと画像処理ビニングとの一方のみが行われるときには開始アドレスが（ｘ／２，ｙ／２）で検出領域サイズが（ａ／２，ｂ／２）となる。また、撮像素子ビニングと画像処理ビニングとの両方が行われるときには開始アドレスが（ｘ／４，ｙ／４）で検出領域サイズが（ａ／４，ｂ／４）となる。
　このような処理を行うことにより、ビニング処理を実行した場合であっても例えば処置具の細かいハレーションを検出する際の精度低下を防ぐことができ、ビニング処理を実行しない場合と同様の精度で調光制御を行うことが可能となる。
　なお、こうした検出領域の開始アドレスや領域サイズは、実施毎に計算して求めるに限るものではなく、例えばメモリ２３や記憶部４７に予めパラメータとして記憶しておき、設定されているビニングの種類に応じて適切なパラメータを制御部４８がメモリ２３や記憶部４７から読み出して調光部４４に設定するようにしても良い。
　また、ビニング処理を行うと画像が明るくなるために、明るさ検出部４３の領域サイズ以外に変更すると良い調光パラメータとして、明るさ検出部４３における明るさ判定の閾値や、ゲイン調整部５３のゲインなどが挙げられる。
　図１７はビニング処理部３５の後段に画素欠陥補正部３４を配置する構成例を示すブロック図である。
　上述したように、欠陥画素の影響がビニング画素に及ばないように、画素欠陥補正部３４はビニング処理部３５の前段に配置することが好ましく、図１にその構成例を示した。しかし、構成上の何らかの理由により、図１７に示すように、ビニング処理部３５の後段に画素欠陥補正部３４を配置することになる場合も考えられる。
　この場合には、制御部４８に欠陥画素アドレス変換部４８ａの機能を備えさせて、ビニング処理がオンの際には、メモリ２３から読み出した欠陥画素アドレスをビニング処理後に該当するアドレスに変換して、変換後のアドレスにより画素欠陥補正部３４に画素欠陥補正処理を行わせるようにすれば良い。
　また、読出部１８がビニング処理部１８ａとして機能した場合、つまり画素欠陥補正部３４が受信する画素信号が既にビニング処理されたビニング画素信号である場合にも同様に、制御部４８は、メモリ２３から読み出した欠陥画素アドレスを、ビニング処理後アドレスに変換してから画素欠陥補正部３４を制御することになる。
　なお、画像の明るさに応じてビニング処理のオン／オフを切り替える場合には、まずビニング処理をオフにした状態で調光部４４により調整された出射光量で照射された被写体の画像信号を取得し、取得した画像信号の明るさが明るい場合にはビニング処理をオフ、暗い場合にはビニング処理をオンに設定することになる。
　このような実施形態１によれば、画像（例えば原画像）とビニング画像とを、領域の明るさに応じて領域毎に合成（ブレンド処理）するようにしたために、ビニング画像のみの場合よりも解像度の低下を抑制することができる。そして、画像（例えば原画像）とビニング画像との合成比率が領域の明るさに応じて変更されるために、例えばビニングなし領域と２×２画素ビニング領域とが段階的（不連続的）に切り替わることはなく、境界領域が滑らかに接続されるために、画像の不自然さを軽減してより自然な画像を得ることができる。
　また、明るい領域については原画像等を利用しているために、解像度を保持することができる。
　そして、図１に示したように画素欠陥補正部３４をビニング処理部３５の前段に配置した場合には、欠陥画素の影響がビニング後の画素に及ぼす影響を未然に低減することができ、画質の劣化が抑制された適切な画像を得ることができる。
　加えて、スコープ個体情報に応じて、ビニング処理部１８ａ，３５を適切に制御することが可能となる。具体的に、撮像部１４の画素数が所定の閾値以上の場合にのみビニング処理を許可することにより、画像解像度の大幅な低下を抑制することができる。また、内視鏡２の機種名に応じて、ビニング処理部１８ａとビニング処理部３５とを適切に使い分けることができる。
　なお、上述では主として撮像装置について説明したが、撮像装置の作動方法であっても良いし、コンピュータに撮像装置の作動方法を実行させるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
　また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
　本出願は、２０１３年１２月５日に日本国に出願された特願２０１３－２５２１４３号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (7)

  1. 　複数の画素信号により構成される画像を、１つの領域が複数の前記画素信号を含むように複数の領域に分割して、該領域に属する複数の前記画素信号を加算してビニング画素信号を得るビニング処理部と、
    　前記領域の明るさを検出するビニング用明るさ検出部と、
    　前記明るさに基づいて前記領域における重みを設定し、該重みに基づき前記領域における前記画素信号と前記ビニング画素信号とを合成することにより合成画像を生成する合成部と、
    　を具備することを特徴とする撮像装置。
  2. 　前記合成部は、前記明るさが暗くなるに従って、前記画素信号に対する前記ビニング画素信号の比率が単調増加して大きくなるように、前記重みを設定することを特徴とする請求項１に記載の撮像装置。
  3. 　前記合成部は、さらに、前記画素信号と前記ビニング画素信号との比率が、前記明るさが所定の下限閾値未満であるときには０：１となり、前記明るさが所定の上限閾値以上であるときには１：０となるように、前記重みを設定することを特徴とする請求項２に記載の撮像装置。
  4. 　光を光電変換して光電変換画素信号を生成する光電変換画素が二次元状に複数設けられた撮像部と、スコープ個体情報を記憶するメモリと、を有する内視鏡と、
    　前記スコープ個体情報に応じて前記ビニング処理部を制御する制御部と、
    　をさらに具備することを特徴とする請求項１に記載の撮像装置。
  5. 　前記スコープ個体情報は、前記撮像部に設けられた前記光電変換画素の数である画素数を含み、
    　前記制御部は、さらに、前記ビニング用明るさ検出部および前記合成部を制御するものであり、前記画素数が所定の閾値以上の場合にのみ、前記ビニング処理部、前記ビニング用明るさ検出部、および前記合成部の動作を許可することを特徴とする請求項４に記載の撮像装置。
  6. 　前記ビニング処理部は、前記光電変換画素信号を前記撮像部内においてビニング処理する撮像素子ビニング処理部と、前記内視鏡から出力される複数の前記画素信号を、画像処理の一部としてビニング処理する画像処理ビニング処理部とを含み、
    　前記制御部は、前記スコープ個体情報に応じて、前記撮像素子ビニング処理部のオン／オフと、前記画像処理ビニング処理部のオン／オフと、を制御することを特徴とする請求項４に記載の撮像装置。
  7. 　ビニング処理部が、複数の画素信号により構成される画像を、１つの領域が複数の前記画素信号を含むように複数の領域に分割して、該領域に属する複数の前記画素信号を加算してビニング画素信号を得るステップと、
    　ビニング用明るさ検出部が、前記領域の明るさを検出するステップと、
    　合成部が、前記明るさに基づいて前記領域における重みを設定し、該重みに基づき前記領域における前記画素信号と前記ビニング画素信号とを合成することにより合成画像を生成するステップと、
    　を有することを特徴とする撮像装置の作動方法。
PCT/JP2014/081831 2013-12-05 2014-12-02 撮像装置、撮像装置の作動方法 WO2015083683A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015530807A JP5901854B2 (ja) 2013-12-05 2014-12-02 撮像装置
CN201480064094.7A CN105765962B (zh) 2013-12-05 2014-12-02 摄像装置
EP14867993.9A EP3059939A4 (en) 2013-12-05 2014-12-02 Imaging device, and operation method for imaging device
US15/162,969 US9769394B2 (en) 2013-12-05 2016-05-24 Image pickup apparatus, image processing apparatus, and computer-readable storage device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-252143 2013-12-05
JP2013252143 2013-12-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/162,969 Continuation US9769394B2 (en) 2013-12-05 2016-05-24 Image pickup apparatus, image processing apparatus, and computer-readable storage device

Publications (1)

Publication Number Publication Date
WO2015083683A1 true WO2015083683A1 (ja) 2015-06-11

Family

ID=53273445

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/081831 WO2015083683A1 (ja) 2013-12-05 2014-12-02 撮像装置、撮像装置の作動方法

Country Status (5)

Country Link
US (1) US9769394B2 (ja)
EP (1) EP3059939A4 (ja)
JP (1) JP5901854B2 (ja)
CN (1) CN105765962B (ja)
WO (1) WO2015083683A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105310638A (zh) * 2015-06-30 2016-02-10 广东实联医疗器械有限公司 一种医用内窥镜的视频采集、处理及增强装置
CN105578067A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像生成方法、装置及终端设备
CN105611185A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像生成方法、装置及终端设备
CN105611122A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105899123B (zh) * 2014-07-29 2018-03-13 奥林巴斯株式会社 用于内窥镜的视频处理器和具有该视频处理器的内窥镜***
DE112017003263T5 (de) * 2016-06-29 2019-03-14 Olympus Corporation Endoskop
CN106504218B (zh) * 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106791477B (zh) * 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、成像装置及制造方法
WO2018150627A1 (ja) * 2017-02-16 2018-08-23 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US11160443B2 (en) * 2017-03-30 2021-11-02 Hoya Corporation Electronic endoscope device for changing observation image brightness
US10594958B2 (en) * 2017-10-20 2020-03-17 GM Global Technology Operations LLC Camera imager binning technique
CN108269243B (zh) * 2018-01-18 2021-08-31 福州鑫图光电有限公司 一种图像信噪比的增强方法及终端
CN108419022A (zh) * 2018-03-06 2018-08-17 广东欧珀移动通信有限公司 控制方法、控制装置、计算机可读存储介质和计算机设备
CN111246128B (zh) * 2018-11-29 2022-09-13 北京图森智途科技有限公司 一种像素合并方法、成像设备、图像传感器及汽车
WO2020111369A1 (ko) * 2018-11-30 2020-06-04 엘지전자 주식회사 이미지 센서 및 그 제어 방법
US10872261B2 (en) * 2018-12-03 2020-12-22 Qualcomm Incorporated Dynamic binning of sensor pixels
JP7257829B2 (ja) * 2019-03-15 2023-04-14 ソニー・オリンパスメディカルソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
US20220417412A1 (en) * 2019-12-16 2022-12-29 Sony Group Corporation Imaging system, control method, and program
CN112437237B (zh) * 2020-12-16 2023-02-03 维沃移动通信有限公司 拍摄方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072501A (ja) 2006-09-14 2008-03-27 Ricoh Co Ltd 撮像装置、撮像方法、プログラムおよび記録媒体
JP2009118338A (ja) * 2007-11-08 2009-05-28 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP2010193098A (ja) * 2009-02-17 2010-09-02 Canon Inc 撮像装置及び画像処理方法
JP2013056001A (ja) * 2011-09-07 2013-03-28 Olympus Corp 蛍光観察装置
JP2013119011A (ja) * 2011-12-08 2013-06-17 Hoya Corp 内視鏡用中間モジュール

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201021541A (en) * 2008-11-19 2010-06-01 Altek Corp Image compensation method and digital image acquisition device using the same
EP2656774B1 (en) * 2011-01-31 2016-05-11 Olympus Corporation Fluorescence observation apparatus
EP2679137B1 (en) * 2011-06-07 2016-03-23 Olympus Corporation Endoscope apparatus for controlling light quantity of fluorescence imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008072501A (ja) 2006-09-14 2008-03-27 Ricoh Co Ltd 撮像装置、撮像方法、プログラムおよび記録媒体
JP2009118338A (ja) * 2007-11-08 2009-05-28 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP2010193098A (ja) * 2009-02-17 2010-09-02 Canon Inc 撮像装置及び画像処理方法
JP2013056001A (ja) * 2011-09-07 2013-03-28 Olympus Corp 蛍光観察装置
JP2013119011A (ja) * 2011-12-08 2013-06-17 Hoya Corp 内視鏡用中間モジュール

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3059939A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105310638A (zh) * 2015-06-30 2016-02-10 广东实联医疗器械有限公司 一种医用内窥镜的视频采集、处理及增强装置
CN105578067A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 图像生成方法、装置及终端设备
CN105611185A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像生成方法、装置及终端设备
CN105611122A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
TWI612811B (zh) * 2015-12-18 2018-01-21 廣東歐珀移動通信有限公司 圖像傳感器及輸出方法、相位對焦方法、成像裝置和行動終端
CN105611122B (zh) * 2015-12-18 2019-03-01 Oppo广东移动通信有限公司 图像传感器及输出方法、相位对焦方法、成像装置和终端
US10764522B2 (en) 2015-12-18 2020-09-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, output method, phase focusing method, imaging device, and terminal
US10880501B2 (en) 2015-12-18 2020-12-29 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, output method, phase focusing method, imaging device, and terminal

Also Published As

Publication number Publication date
JP5901854B2 (ja) 2016-04-13
JPWO2015083683A1 (ja) 2017-03-16
EP3059939A4 (en) 2017-08-02
EP3059939A1 (en) 2016-08-24
CN105765962B (zh) 2019-03-01
US9769394B2 (en) 2017-09-19
CN105765962A (zh) 2016-07-13
US20160269611A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
JP5901854B2 (ja) 撮像装置
JP5570373B2 (ja) 内視鏡システム
US8785833B2 (en) Image pickup system and image pickup method
JP5355846B2 (ja) 内視鏡用画像処理装置
JP6076568B1 (ja) 観察システム
US8545399B2 (en) Medical instrument
CN102970914A (zh) 内窥镜***
CN111466859B (zh) 内窥镜***
JP6355527B2 (ja) 内視鏡システム及びその作動方法
JP5244164B2 (ja) 内視鏡装置
JP2020151403A (ja) 医療用画像処理装置及び医療用観察システム
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP6461742B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6355531B2 (ja) 内視鏡用光源装置、内視鏡システム及びその作動方法
CN111712178A (zh) 内窥镜***及其工作方法
US11789283B2 (en) Imaging apparatus
WO2016059906A1 (ja) 内視鏡装置
JP5856943B2 (ja) 撮像システム
JP6277138B2 (ja) 内視鏡システム及びその作動方法
JP6120758B2 (ja) 医用システム
CN113454514B (zh) 内窥镜***
JP6312254B2 (ja) 内視鏡システム及びその作動方法
JP6386889B2 (ja) 内視鏡用光源装置、内視鏡システム及びその作動方法
JP2022082298A (ja) 医療用制御装置及び医療用観察システム
JP2019202077A (ja) 内視鏡システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015530807

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14867993

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014867993

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014867993

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE