WO2015016137A1 - 内視鏡システム - Google Patents
内視鏡システム Download PDFInfo
- Publication number
- WO2015016137A1 WO2015016137A1 PCT/JP2014/069604 JP2014069604W WO2015016137A1 WO 2015016137 A1 WO2015016137 A1 WO 2015016137A1 JP 2014069604 W JP2014069604 W JP 2014069604W WO 2015016137 A1 WO2015016137 A1 WO 2015016137A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- unit
- endoscope system
- reset
- reset pulse
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
- G02B23/2484—Arrangements in relation to a camera or imaging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
Definitions
- the present invention relates to an endoscope system including an image sensor that can output an electrical signal after photoelectric conversion as pixel information from a pixel arbitrarily designated as a readout target among a plurality of pixels for imaging.
- an endoscope system is used when observing an organ of a subject such as a patient.
- An endoscope system includes an insertion unit that is inserted into a body cavity of a subject, an imaging unit that is provided at a distal end of the insertion unit and captures an in-vivo image, and a display unit that can display the in-vivo image captured by the imaging unit.
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge Coupled Device
- FIG. 12 is a diagram schematically showing an outline of an image acquisition method performed by a conventional endoscope system using a CMOS image sensor.
- periods P 1 , P 2 , and P 3 indicate an exposure period for each horizontal line, an image signal transfer period after exposure, and a reset period in which a reset signal is generated.
- the frame period Tf is equal to the reset period Tr.
- the conventional endoscope system described above when detecting autofluorescence or drug fluorescence to detect a lesion, a specific tissue, a defect, or the like, they may be at a far point in the visual field or buried under the tissue. If the fluorescence intensity is reduced, the contrast of the fluorescent image is lowered or the size is reduced, and the observer may overlook the fluorescent image. On the other hand, in a conventional endoscope system, an image is saturated in a bright image such as a near point of the field of view, which is not suitable for observation of a fluorescent image.
- the present invention has been made in view of the above, and an object of the present invention is to provide an endoscope system that can acquire an image with a wide dynamic range and excellent visibility without changing the frame rate. To do.
- an endoscope system includes an illumination unit capable of emitting illumination light that generates return light from a specific substance to a visual field region, and A plurality of pixels that generate electric signals by receiving the return light from the visual field region and performing photoelectric conversion are arranged on a two-dimensional surface, and the electric signals generated by the plurality of pixels can be sequentially read out as image information.
- a reset pulse control unit that adjusts the generation timing of the reset pulse so that at least a part of each frame is included.
- the endoscope system further includes a brightness detection unit that detects brightness of an image included in the image information read by the sensor unit in the above invention, and the reset pulse control unit includes the reset pulse control unit, The generation timing of the reset pulse is adjusted according to the brightness of the image detected by the brightness detection unit.
- the endoscope system further includes a motion detection unit that detects a motion amount of a subject between a plurality of frames in the above invention, and the reset pulse control unit includes the brightness and the motion of the image. The generation timing of the reset pulse is adjusted according to the amount of movement of the subject detected by the detection unit.
- the illumination unit changes the emission intensity and / or emission time of one frame of the illumination light for each frame constituting the plurality of frames. It is characterized by.
- the endoscope system according to the present invention may further include an amplification factor adjustment unit that changes the amplification factor of the image included in the image information for each frame constituting the plurality of frames.
- the present invention in order to adjust the generation timing of the reset pulse so that a plurality of frames of the image are included at least partly in a period between generation of two reset pulses whose generation order is continuous, An image having a wide dynamic range and excellent visibility can be acquired without changing the rate.
- FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to Embodiment 1 of the present invention.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to Embodiment 1 of the present invention.
- FIG. 3 is a diagram schematically showing an overview of an image acquisition method performed by the endoscope system according to Embodiment 1 of the present invention.
- FIG. 4 is a schematic diagram illustrating an example of a time change of an image captured by the endoscope system according to Embodiment 1 of the present invention.
- FIG. 5 is a diagram schematically illustrating features of processing performed by the endoscope system according to Embodiment 2 of the present invention.
- FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to Embodiment 1 of the present invention.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system according to Embodiment 1 of the present invention.
- FIG. 6 is a diagram showing in more detail the relationship between the reset timing and the exposure time in the long-time accumulation mode.
- FIG. 7 is a diagram showing in more detail the relationship between the reset timing and the exposure time in the electronic shutter mode.
- FIG. 8 is a block diagram illustrating a functional configuration of a main part of the endoscope system according to the first modification of the second embodiment of the present invention.
- FIG. 9 is a diagram illustrating an example of a relationship between brightness (pixel value) and the number of pixels for each brightness in an image acquired by the endoscope system according to the second modification of the second embodiment of the present invention.
- FIG. 10 is a diagram schematically illustrating an outline of an image acquisition method performed by the endoscope system that is the endoscope system according to the third embodiment of the present invention.
- FIG. 11 is a diagram schematically illustrating an overview of an image acquisition method performed by an endoscope system according to a modification of the third embodiment of the present invention.
- FIG. 12 is a diagram schematically illustrating an outline of an image acquisition method performed by a conventional endoscope system.
- FIG. 1 is a diagram showing a schematic configuration of an endoscope system according to Embodiment 1 of the present invention.
- the endoscope system 1 shown in FIG. 1 includes an insertion portion 2, a light source device 3, a camera head portion 4, a control device 5, a display device 6, a light guide 7, a collective cable 8, a connector 9, and the like. Is provided.
- the endoscope system 1 is a rigid endoscope that is inserted into the abdominal cavity of a subject and used in laparoscopic surgery (under endoscopic surgery) or the like.
- the insertion portion 2 is hard and has an elongated shape, and is inserted into a body cavity, a duct or the like, and has an optical system for condensing a subject image.
- the light source device 3 supplies irradiation light to the insertion portion 2 through the light guide 7.
- the camera head unit 4 is detachably attached to an eyepiece unit 21 provided at the proximal end of the insertion unit 2.
- the camera head unit 4 includes an image sensor 41 that forms a subject image condensed by the insertion unit 2, photoelectrically converts it into an electrical signal, and outputs it.
- the control device 5 has a function of performing image processing on an image acquired by the camera head unit 4 and a function of comprehensively controlling the operation of the entire endoscope system 1.
- the display device 6 displays an image that has been subjected to image processing by the control device 5.
- the collective cable 8 is formed by bundling a plurality of signal lines, and one end is connected to the camera head unit 4 and the other end is provided with a connector 9.
- the plurality of signal lines included in the collective cable 8 include a signal line for transmitting the image signal output from the image pickup device 41 to the control device 5, a signal line for transmitting the control signal output from the control device 5 to the image pickup device 41, and the like. included.
- the connector 9 is detachably connected to the control device 5.
- FIG. 2 is a block diagram showing a functional configuration of a main part of the endoscope system 1. First, the structure of the insertion part 2 is demonstrated.
- the insertion unit 2 includes a condensing optical system 22 and an illumination lens 23 provided at the tip of the light guide 7.
- the light source device 3 has a function as an illuminating unit capable of emitting illumination light that generates return light from a specific substance to the visual field region.
- the light source device 3 includes a white light source 31, a special light source 32, a light source control unit 33, and an LED (Light Emitting Diode) driver 34.
- the white light source 31 includes a white LED and generates white illumination light.
- the special light source 32 generates excitation light for generating fluorescence having a predetermined wavelength, for example.
- the special light generated by the special light source 32 may be any light as long as it generates return light from a specific substance. An example of such light is infrared light.
- the light source control unit 33 supplies current to the white light source 31 or the special light source 32 according to the light source synchronization signal transmitted from the light control unit 54 (described later) of the control device 5 and the control signal from the control unit 59 (described later). Control the amount.
- the LED driver 34 supplies light to the white light source 31 or special light source 32 by supplying current to the white light source 31 or special light source 32 under the control of the light source control unit 33.
- Light generated by the white light source 31 or the special light source 32 is irradiated to the outside from the distal end of the insertion portion 2 via the light guide 7.
- the image sensor 41 photoelectrically converts light from the optical system 22 of the insertion unit 2 and outputs an electrical signal, and performs noise removal and A / D conversion on the electrical signal output by the sensor unit 41a.
- a timing generator 41d that generates pulses for various signal processing in the / S conversion unit 41c, an imaging storage unit 41e that stores information such as setting data of the imaging device 41, and an imaging control unit 41f that controls the operation of the imaging device 41 And having.
- the image sensor 41 is a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
- the sensor unit 41a includes a light receiving unit 41g in which a plurality of pixels each having a photodiode that accumulates electric charge according to the amount of light and an amplifier that amplifies the electric charge accumulated by the photodiode are arranged in a matrix on a two-dimensional surface; A readout unit 41h that reads out, as image information, an electrical signal generated by a pixel arbitrarily set as a readout target among the plurality of pixels of the light receiving unit 41g.
- the white light source 31 When the white light source 31 generates white light, the light receiving unit 41g is provided with RGB color filters for each pixel, thereby enabling acquisition of a color image.
- the light receiving unit 41g is provided with a filter that cuts the excitation light and transmits only the fluorescence.
- the filter provided in the light receiving unit 41g differs depending on the type of the light source used among the white light source 31 and the special light source 32. Normally, the camera head unit 4 is replaced according to the type of light source, but a configuration may be adopted in which the filter in the light receiving unit 41g is replaced.
- the analog front end unit 41b includes a noise reduction unit 41i that reduces a noise component included in the signal, and an A / D conversion unit 41j that performs A / D conversion on the signal with reduced noise.
- the noise reduction unit 41i performs noise reduction using, for example, a correlated double sampling method.
- An AGC (Auto Gain Control) circuit that automatically adjusts the signal gain and always maintains a constant output level may be provided between the noise reduction unit 41i and the A / D conversion unit 41j.
- the timing generator 41d has a function as a reset pulse generation unit that sequentially generates reset pulses for releasing charges accumulated in a plurality of pixels of the light receiving unit 41g.
- the imaging storage unit 41e is a register that stores various setting data and control parameters transmitted from the control unit 59 of the control device 5.
- the imaging control unit 41 f controls the operation of the imaging element 41 according to the setting data received from the control device 5.
- the imaging control unit 41f is configured using a CPU (Central Processing Unit) or the like.
- the imaging control unit 41f timings a signal for adjusting the generation timing of the reset pulse so that a plurality of frames of the image are included at least partly in a period between the generation of two reset pulses whose generation order is continuous. Transmit to generator 41d. In this sense, in the present embodiment, the imaging control unit 41f has at least a part of the function of the reset pulse control unit.
- the control device 5 includes an S / P conversion unit 51, an image processing unit 52, a brightness detection unit 53, a dimming unit 54, a read address setting unit 55, a drive signal generation unit 56, an input unit 57, a storage unit 58, and a control unit. 59 and a reference clock generator 5a.
- the S / P conversion unit 51 performs serial / parallel conversion on the image signal (digital signal) received from the camera head unit 4.
- the image processing unit 52 generates an in-vivo image displayed on the display device 6 based on the parallel image signal output from the S / P conversion unit 51.
- the image processing unit 52 includes a synchronization unit 521, a white balance (WB) adjustment unit 522, a gain adjustment unit 523, a ⁇ correction unit 524, a D / A conversion unit 525, a format change unit 526, a sample memory 527, and a still image A memory 528 is provided.
- WB white balance
- the synchronization unit 521 inputs an image signal input as image information to three memories (not shown) provided for each pixel, and associates the image signal with the pixel address of the light receiving unit 41g read by the reading unit 41h. Then, the values of the respective memories are held while being sequentially updated, and the image signals of these three memories are synchronized as RGB image signals.
- the synchronization unit 521 sequentially outputs the synchronized image signals to the white balance adjustment unit 522 and outputs some image signals to the sample memory 527 for image analysis such as brightness detection.
- the white balance adjustment unit 522 adjusts the white balance of the image signal.
- the gain adjustment unit 523 adjusts the gain of the image signal.
- the gain adjustment unit 523 outputs the image signal subjected to gain adjustment to the ⁇ correction unit 524, and also uses a part of the image signal for still image display, enlarged image display, or emphasized image display as a still image memory 528. Output to.
- the ⁇ correction unit 524 performs gradation correction ( ⁇ correction) of the image signal corresponding to the display device 6.
- the D / A conversion unit 525 converts the tone-corrected image signal output from the ⁇ correction unit 524 into an analog signal.
- the format changing unit 526 changes the image signal converted into the analog signal into a moving image file format, and outputs it to the display device 6. As this file format, an AVI format, an MPEG format, or the like can be applied.
- the brightness detection unit 53 detects the brightness level corresponding to each pixel from the image signal held in the sample memory 527, records the detected brightness level in a memory provided therein, and sends it to the control unit 59. Output. Further, the brightness detection unit 53 calculates the gain adjustment value and the light irradiation amount based on the detected brightness level, and outputs the gain adjustment value to the gain adjustment unit 523, while the light irradiation amount is adjusted to the light control unit 54. Output to.
- the light control unit 54 sets the type of light generated by the light source device 3, the light amount, the light emission timing, and the like based on the light irradiation amount calculated by the brightness detection unit 53.
- a light source synchronization signal including the set conditions is transmitted to the light source device 3.
- the read address setting unit 55 has a function of setting a pixel to be read and a reading order in the light receiving unit of the sensor unit 41a. That is, the read address setting unit 55 has a function of setting the pixel address of the sensor unit 41a read by the analog front end unit 41b. Further, the read address setting unit 55 outputs the set address information of the pixel to be read to the synchronization unit 521.
- the drive signal generation unit 56 generates a driving timing signal for driving the image sensor 41 and transmits the timing signal to the timing generator 41d via a predetermined signal line included in the collective cable 256.
- This timing signal includes address information of a pixel to be read.
- the input unit 57 receives input of various signals such as an operation instruction signal that instructs the operation of the endoscope system 1.
- the storage unit 58 is realized by using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory).
- the storage unit 58 stores various programs for operating the endoscope system 1 and data including various parameters necessary for the operation of the endoscope system 1.
- the control unit 59 is configured using a CPU or the like, and performs drive control of each component including the camera head unit 4 and the light source device 3, and input / output control of information with respect to each component.
- the control unit 59 transmits setting data for imaging control to the imaging element 41 via a predetermined signal line included in the collective cable 256.
- the setting data includes the imaging speed (frame rate) of the image sensor 41, instruction information for instructing the reading speed of pixel information from an arbitrary pixel of the sensor unit 41a, and pixel information read by the analog front end unit 41b. Transmission control information.
- the reference clock generation unit 5a generates a reference clock signal that is a reference for the operation of each component of the endoscope system 1, and supplies the generated reference clock signal to each component of the endoscope system 1.
- the display device 6 has a function of receiving the in-vivo image generated by the control device 5 from the control device 5 and displaying it.
- the display device 6 has a display such as liquid crystal or organic EL (Electro Luminescence).
- FIG. 3 is a diagram schematically showing an outline of an image acquisition method performed by the endoscope system 1 having the above configuration.
- the image sensor 41 is a CMOS image sensor, and when a plurality of frames are continuously imaged, the accumulated charges are sequentially read out for each horizontal line. For this reason, there is a time difference in the read timing between the horizontal line read first by the reading unit 41h (the top of the screen in the case of FIG. 3) and the horizontal line read last (the bottom of the screen in the case of FIG. 3). Will occur.
- the light source device 3 continuously generates the same illumination light (for example, fluorescence excitation light).
- the imaging device 41 After sequentially exposed to each horizontal line during the exposure period P 1, reads the charge readout portion 41h is accumulated in each pixel of the light receiving portion 41g by exposure to transfer to the analog front-end section 41b and (Transfer Period P 2 ).
- the imaging control unit 41f does not reset the charge every time a cycle of exposure and transfer is completed as in the prior art, and the light receiving unit 41g has a reset cycle Tr (> Tf) longer than the frame cycle Tf.
- the accumulated charge is reset.
- the imaging control unit 41f performs a reset process by causing the timing generator 41d to generate a reset pulse.
- FIG. 3 shows a case where the imaging control unit 41f resets the charge accumulated in the light receiving unit 41g once every four frames (reset period P 3 ), but this is merely an example.
- the frame rate can be set to 30 fps
- the reset period Tr can be set to about 0.5 s (reset every about 15 frames).
- FIG. 4 is a schematic diagram illustrating an example of a time change of an image captured by the endoscope system 1.
- FIG. 4 schematically shows changes in the fluorescence image when the insertion unit 2 moves through the body at approximately the same speed.
- the fluorescent image 201 reflected in the fluorescent image 101 is shown in addition to the fluorescent image 202.
- the fluorescent images 201 and 202 reflected in the fluorescent image 102 are shown in addition to the fluorescent image 203.
- the fluorescence image 201 that was previously captured in the fluorescence image 101 is reflected because the reset process is performed between the acquisition timing of the fluorescence image 101 and the acquisition timing of the fluorescence image 102. Because it is not.
- the fluorescence images 201 and 202 that were previously captured in the fluorescence image 102 are reflected between the acquisition timing of the fluorescence image 102 and the acquisition timing of the fluorescence image 103. This is because the reset process is not performed.
- the fluorescence image 104 does not show any fluorescence image because the reset process was performed between the acquisition timing of the fluorescence image 103 and the acquisition timing of the fluorescence image 104.
- an afterimage with a tail is generated with time in the fluorescence image included in the fluorescence image captured during the period when the reset process is not performed.
- the charge accumulated in each pixel of the light receiving unit 41g is accumulated and sensitized without being reset for a predetermined period without changing the imaging frame rate. Even a bright image can be obtained.
- the examiner may miss the weak light emission.
- the reset period Tr is longer than the frame period Tf, an afterimage is generated when the weak light emitting part moves, while when the weak light emitting part is stationary. By making it blink, the visibility of the weak light emitting part can be enhanced.
- the video since the frame rate of the image is not changed, the video does not flicker like an image with a low frame rate, and unnaturalness does not occur. Further, since the frame rate of the image is not changed, the image reading can be continued at the same timing and processing as in normal imaging.
- the reset pulse is generated so that a plurality of frames of the image are included at least partly in a period between the generation of two reset pulses having consecutive generation orders. Since the generation timing is adjusted, an image having a wide dynamic range and excellent visibility can be acquired without changing the frame rate.
- the second embodiment of the present invention is characterized in that the reset pulse generation timing is changed according to the brightness of the image.
- the endoscope system according to the second embodiment has the same configuration as that of the endoscope system 1 described in the first embodiment.
- the control unit 59 of the control device 5 transmits the reset prohibition signal to the image sensor 41, thereby adjusting the reset pulse generation timing by masking the reset pulse generated by the timing generator 41d. To do. Therefore, the charge accumulation period is determined by the number of frames included in the active period of the reset inhibition signal. In this sense, in the second embodiment, the control unit 59 of the control device 5 has at least a part of the function of the reset pulse control unit.
- FIG. 5 is a diagram schematically illustrating features of processing performed by the endoscope system 1 according to the second embodiment.
- the endoscope system 1 generates a reset pulse for each frame while changing the timing in one frame period when the brightness detection value is larger than a predetermined threshold value and sufficient image brightness can be secured. Transition to (electronic shutter mode).
- a mode that is different from the electronic shutter mode and in which the exposure period P 1 of at least one frame is all included in a period between generation of two reset pulses having a continuous generation order is stored for a long time. It is called mode.
- the reset period is gradually shortened as the brightness detection value increases (Tr1, Tr2, Tr3,).
- the long-time accumulation mode shifts to the electronic shutter mode (reset periods are Tr1 ′, Tr2 ′,).
- FIG. 6 is a diagram showing in more detail the relationship between the reset timing and the exposure time in the long-time accumulation mode.
- FIG. 6 illustrates the case where the total number of exposure frames a is 2.
- the endoscope system 1 changes the exposure time in accordance with the brightness detection value of the image signal P read immediately before the total number of exposure frames a has elapsed in a certain accumulation period ( ⁇ t in FIG. 6).
- This change in exposure time is realized by a change in reset timing by the electronic shutter. That is, it is realized by generating the reset signal R so that the time from the reset start to the read start in the exposure start frame becomes t + ⁇ t.
- FIG. 7 is a diagram showing in more detail the relationship between the reset timing and the exposure time in the electronic shutter mode.
- the feedback timing of the reset pulse may be determined according to the total number of exposure frames a in view of the fact that the time constant of feedback changes according to the value of the total number of exposure frames a. Specifically, when the total number of exposure frames a is small, the exposure time may be changed after a predetermined frame has elapsed.
- the reset pulse is generated so that a plurality of frames of the image are included at least partly in a period between the generation of two reset pulses having consecutive generation orders. Since the generation timing is adjusted, an image having a wide dynamic range and excellent visibility can be acquired without changing the frame rate.
- the time from the start of image reading after the occurrence of the reset pulse is made variable according to the brightness information of the image, thereby controlling from long exposure to dimming by the electronic shutter. Is possible. Thereby, for example, in fluorescence observation, observation of a fluorescent image in the visual field and imaging of a high-intensity image after approaching the fluorescent image can be performed continuously only by changing the reset pulse generation timing.
- FIG. 8 is a block diagram illustrating a functional configuration of a main part of the endoscope system according to the first modification of the second embodiment of the present invention.
- the endoscope system 11 shown in the figure is different from the endoscope system 1 described above in the configuration of the image processing unit.
- the image processing unit 12 of the endoscope system 11 further includes a motion detection unit 121 that detects the movement of the subject between a plurality of frames.
- the control unit 59 calculates a correlation between images based on the motion of the subject detected by the motion detection unit 121, and determines the generation timing of the next reset pulse based on the calculation result and the brightness detection value. For example, when the movement of the subject between the fluorescent images is large (when the correlation between the images is small), the control unit 59 delays the generation timing of the reset pulse. Since the brightness detection value also contributes to the determination of the reset pulse generation timing by the control unit 59, the generation timing is not always delayed when the movement of the subject is large.
- the afterimage of the fluorescent image can be further enhanced to enhance the visibility.
- control unit 59 performs control to change the charge accumulation time when there is an image that satisfies a predetermined condition as compared with the average brightness of the entire image. It is characterized by that.
- the endoscope system according to the second modification has a configuration similar to that of the endoscope system 1 described in the second embodiment.
- FIG. 9 is a diagram showing an example of the relationship between the brightness (pixel value) in the image acquired by the endoscope system 1 and the number of pixels for each brightness.
- brightness TH1 and TH2 are upper and lower limits of brightness (brightness that satisfies a predetermined condition) in which a difference from the average value of the brightness of the entire image is within a predetermined range.
- the brightnesses TH1 and TH2 are desirably brightnesses that can eliminate background and noise (stray light component) from an image to be observed (for example, a fluorescent image).
- the control unit 59 performs control to extend the charge accumulation time when there are a predetermined number or more of pixels in the range of brightness TH1 to TH2. Note that the control unit 59 may extend the charge accumulation time when the brightness exceeds a predetermined number of pixels in the range of brightness TH1 to TH2, for example.
- the endoscope system 1 When there is no image that satisfies the above conditions in the read image, the endoscope system 1 performs the processing described in the second embodiment.
- the difference between the average brightness of the entire image is taken, and in the case of a fluorescent image in particular, the influence of the background is eliminated to visually recognize the fluorescent image. Can be improved.
- FIG. 10 is a diagram schematically illustrating an outline of an image acquisition method performed by the endoscope system according to the third embodiment of the present invention.
- the endoscope system according to the third embodiment has the same functional configuration as the endoscope system 1 described in the second embodiment.
- the endoscope system 1 is characterized in that the illumination intensity for each frame is changed so as to emphasize afterimages and pulsation of the image in the acquired image.
- the light source device 3 cooperates with the control device 5 to periodically change the light emission time while keeping the light emission intensity constant during the period in which all the horizontal lines of the light receiving unit 41g are in the exposure state.
- the light source control unit 33 of the light source device 3 performs control to gradually increase the light emission time for each frame while keeping the light emission intensity constant in cooperation with the control unit 59 of the control device 5.
- the maximum value of the light emission time is equal to or less than the length Ta of the period in which all horizontal lines are in the travel state.
- the light source device 3 resets the light emission time for each frame after the charge accumulation in the light receiving unit 41g is reset by the reset pulse, and returns to the initial value (the shortest light emission period).
- FIG. 10 exemplifies a case where four light source emission states A 1 , A 2 , A 3 , and A 4 in which the emission time becomes longer in order are adopted as the light source emission states for each frame.
- the fluorescent images 201, 202, and 203 are used.
- the fluorescent image gradually becomes brighter in the order of. Therefore, the visibility of the fluorescent image can be further improved.
- the light emission time for each frame may be gradually shortened in a plurality of frames included between two successive reset processes.
- the fluorescent image gradually becomes darker in the order of the fluorescent images 201, 202, and 203, and as a result, the visibility can be improved.
- the reset pulse is generated so that a plurality of frames of the image are included at least partly in a period between the generation of two reset pulses having consecutive generation orders. Since the generation timing is adjusted, an image having a wide dynamic range and excellent visibility can be acquired without changing the frame rate.
- the visibility can be further improved by changing the illumination intensity for each frame of the acquired image.
- FIG. 11 is a diagram schematically illustrating an outline of an image acquisition method performed by the endoscope system 1 according to the modification of the third embodiment of the present invention.
- the light source device 3 periodically changes the light emission intensity while keeping the light emission time for each frame constant during the period in which all the horizontal lines of the light receiving unit 41g are in the exposed state. .
- the light source device 3 gradually increases the light emission intensity for each frame while keeping the light emission time for each frame constant.
- the light emission intensity for each frame is also reset to return to the initial value (the smallest light emission intensity).
- four light source emission states B 1 , B 2 , B 3 , and B 4 in which the emission intensity decreases in order are adopted as the light source emission states for each frame.
- the light emission intensity may be gradually reduced while keeping the light emission time for each frame constant.
- the light emission intensity for each frame in a plurality of frames included between two consecutive reset processes it is not always necessary to increase or decrease the light emission intensity for each frame in a plurality of frames included between two consecutive reset processes, and may be increased or decreased in stages. However, the increase or decrease may be mixed and changed as appropriate.
- both the light emission intensity and the light emission time may be changed for each frame.
- control device 5 may adjust the generation timing of the reset pulse by generating a reset prohibition signal.
- the gain adjustment unit of the control device may change the amplification factor for each frame in a plurality of frames included between two consecutive reset processes.
- the gain for each frame may be gradually increased or decreased, or the increase or decrease of the gain may be mixed and changed as appropriate.
- the image sensor can also be constituted by a CCD image sensor.
- the endoscope system according to the present invention can also be realized as a flexible endoscope that is inserted into a subject and observes the inside of an organ.
- the present invention can include various embodiments that are not described herein, and various design changes and the like can be made within the scope of the technical idea described in the claims. It is.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
内視鏡システムは、特定の物質からの戻り光を生じさせる照明光を視野領域に対して出射可能な照明部と、視野領域からの前記戻り光を受光して光電変換することによって電気信号を生成する複数の画素が二次元面上に配置され、該複数の画素が生成した電気信号を画像情報として順次読み出し可能なセンサ部と、複数の画素が蓄積する電荷を開放するためのリセットパルスを生成するリセットパルス生成部と、生成順が連続する二つのリセットパルスがそれぞれ生成される間の期間に画像の複数のフレームが少なくとも一部ずつ含まれるようにリセットパルスの生成タイミングを調整するリセットパルス制御部と、を備える。
Description
本発明は、撮像用の複数の画素のうち読み出し対象として任意に指定された画素から光電変換後の電気信号を画素情報として出力可能である撮像素子を備えた内視鏡システムに関する。
従来、医療分野においては、患者等の被検体の臓器の観察等を行う際に内視鏡システムが用いられている。内視鏡システムは、被検体の体腔内に挿入される挿入部と、挿入部の先端に設けられて体内画像を撮像する撮像部と、撮像部が撮像した体内画像を表示可能な表示部とを有する。内視鏡システムを用いて体内画像を取得する際には、被検体の体腔内に挿入部を挿入した後、この挿入部の先端から所定の照明光を照射し、撮像部が画像を撮像する。
近年では、撮像部としてCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが適用されるようになっている(例えば、特許文献1を参照)。CMOSイメージセンサは、画素に蓄えられた電荷に基づく画素情報の読み出しの仕方を任意に設定することができるため、全画素を同時に読み出すCCD(Charge Coupled Device)イメージセンサよりも多様な撮像を行うことができる。
図12は、CMOSイメージセンサを用いた従来の内視鏡システムが行う画像取得方法の概要を模式的に示す図である。図12において、期間P1、P2、P3は、水平ラインごとの露光期間、露光後の画像信号の転送期間、リセット信号が発生するリセット期間をそれぞれ示している。また、図12において、フレーム周期Tfとリセット周期Trは等しい。
CMOSイメージセンサを適用する場合、画像信号およびリセットパルス群は、それぞれ水平ラインごとに転送または発生するため、最初の水平ラインと最後の水平ラインとでは、信号発生の時間差が生じることとなる(図12のΔT)。
上述した従来の内視鏡システムでは、例えば自家蛍光や薬剤蛍光を検出して病変部、特定組織や欠陥などを検出する場合、それらが視野の遠点にあったり組織下に埋もれてしまったりして蛍光強度が低下していると、蛍光像のコントラストが低くなったりサイズが小さくなったりして、観察者が蛍光像を見落としてしまうおそれがあった。一方で、従来の内視鏡システムでは、視野の近点などの明るい像では画像が飽和してしまい、蛍光像の観察には適さないこともあった。
蛍光強度の低下を回避するために、画像を取得する際の露光時間を長くしてフレームレートを落とすことも考えられる。しかしながら、この場合にはフレームレートの切り換えが必要となる上、動画特性が低下してしまい、操作性の悪化を招く可能性があった。動画特性の低下の問題を解決するには、フレームの補間や動作クロックの変更など、画像処理のプロセスを大きく変更しなければならなかった。このように、フレームレートを落とすことは、様々な問題を誘発するため、蛍光強度の低下を回避する方策として適切であるとは言いがたかった。
本発明は、上記に鑑みてなされたものであって、フレームレートを変更することなく、ダイナミックレンジが広く視認性に優れた画像を取得することができる内視鏡システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、特定の物質からの戻り光を生じさせる照明光を視野領域に対して出射可能な照明部と、前記視野領域からの前記戻り光を受光して光電変換することによって電気信号を生成する複数の画素が二次元面上に配置され、該複数の画素が生成した電気信号を画像情報として順次読み出し可能なセンサ部と、前記複数の画素が蓄積する電荷を開放するためのリセットパルスを生成するリセットパルス生成部と、生成順が連続する二つの前記リセットパルスがそれぞれ生成される間の期間に画像の複数のフレームが少なくとも一部ずつ含まれるように前記リセットパルスの生成タイミングを調整するリセットパルス制御部と、を備えたことを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記センサ部が読み出した画像情報に含まれる画像の明るさを検出する明るさ検出部をさらに備え、前記リセットパルス制御部は、前記明るさ検出部が検出した画像の明るさに応じて前記リセットパルスの生成タイミングを調整することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、複数のフレーム間の被写体の動き量を検出する動き検出部をさらに備え、前記リセットパルス制御部は、前記画像の明るさおよび前記動き検出部が検出した前記被写体の動き量に応じて前記リセットパルスの生成タイミングを調整することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記照明部は、前記照明光の1フレームにおける発光強度および/または発光時間を、前記複数のフレームを構成するフレームごとに変更することを特徴とする。
また、本発明に係る内視鏡システムは、上記発明において、前記画像情報に含まれる画像の増幅率を、前記複数のフレームを構成するフレームごとに変更する増幅率調整部をさらに備えたことを特徴とする。
本発明によれば、生成順が連続する二つのリセットパルスがそれぞれ生成される間の期間に画像の複数のフレームが少なくとも一部ずつ含まれるように前記リセットパルスの生成タイミングを調整するため、フレームレートを変更することなく、ダイナミックレンジが広く視認性に優れた画像を取得することができる。
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。なお、以下の説明で参照する図面は模式的なものであって、同じ物体を異なる図面で示す場合には、寸法や縮尺等が異なる場合もある。
(実施の形態1)
図1は、本発明の実施の形態1に係る内視鏡システムの概略構成を示す図である。同図に示す内視鏡システム1は、挿入部2と、光源装置3と、カメラヘッド部4と、制御装置5と、表示装置6と、ライトガイド7と、集合ケーブル8と、コネクタ9とを備える。内視鏡システム1は、被検体の腹腔に挿入されて腹腔鏡科外科手術(鏡視下手術)等で使用される硬性鏡である。
図1は、本発明の実施の形態1に係る内視鏡システムの概略構成を示す図である。同図に示す内視鏡システム1は、挿入部2と、光源装置3と、カメラヘッド部4と、制御装置5と、表示装置6と、ライトガイド7と、集合ケーブル8と、コネクタ9とを備える。内視鏡システム1は、被検体の腹腔に挿入されて腹腔鏡科外科手術(鏡視下手術)等で使用される硬性鏡である。
挿入部2は、硬質で細長形状をなし、体腔内や管路内等に挿入され、被写体像を集光する光学系を内部に有する。
光源装置3は、ライトガイド7を介して挿入部2へ照射光を供給する。
カメラヘッド部4は、挿入部2の基端に設けられる接眼部21に着脱自在に取り付けられる。カメラヘッド部4は、挿入部2が集光した被写体像を結像し、電気信号に光電変換して出力する撮像素子41を有する。
制御装置5は、カメラヘッド部4が取得した画像に対して画像処理を施す機能を有するとともに内視鏡システム1全体の動作を統括的に制御する機能を有する。
表示装置6は、制御装置5が画像処理を施した画像を表示する。
集合ケーブル8は、複数の信号線を束ねてなり、一端がカメラヘッド部4に接続され、他端にはコネクタ9が設けられる。集合ケーブル8が有する複数の信号線には、撮像素子41が出力した画像信号を制御装置5へ伝送する信号線や、制御装置5が出力する制御信号を撮像素子41へ伝送する信号線などが含まれる。
コネクタ9は、制御装置5に着脱自在に接続される。
光源装置3は、ライトガイド7を介して挿入部2へ照射光を供給する。
カメラヘッド部4は、挿入部2の基端に設けられる接眼部21に着脱自在に取り付けられる。カメラヘッド部4は、挿入部2が集光した被写体像を結像し、電気信号に光電変換して出力する撮像素子41を有する。
制御装置5は、カメラヘッド部4が取得した画像に対して画像処理を施す機能を有するとともに内視鏡システム1全体の動作を統括的に制御する機能を有する。
表示装置6は、制御装置5が画像処理を施した画像を表示する。
集合ケーブル8は、複数の信号線を束ねてなり、一端がカメラヘッド部4に接続され、他端にはコネクタ9が設けられる。集合ケーブル8が有する複数の信号線には、撮像素子41が出力した画像信号を制御装置5へ伝送する信号線や、制御装置5が出力する制御信号を撮像素子41へ伝送する信号線などが含まれる。
コネクタ9は、制御装置5に着脱自在に接続される。
図2は、内視鏡システム1の要部の機能構成を示すブロック図である。まず、挿入部2の構成を説明する。挿入部2は、集光用の光学系22と、ライトガイド7の先端に設けられる照明レンズ23とを有する。
次に、光源装置3の構成を説明する。光源装置3は、特定の物質からの戻り光を生じさせる照明光を視野領域に対して出射可能な照明部としての機能を有する。具体的には、光源装置3は、白色光源31と、特殊光光源32と、光源制御部33と、LED(Light Emitting Diode)ドライバ34とを有する。
白色光源31は、白色LEDからなり、白色照明光を発生する。
特殊光光源32は、例えば所定の波長を有する蛍光を発生させるための励起光を発生する。なお、特殊光光源32が発生する特殊光としては、より一般に、特定の物質からの戻り光を生じさせる光であればどのようなものでもよい。このような光としては、例えば赤外光を挙げることができる。
特殊光光源32は、例えば所定の波長を有する蛍光を発生させるための励起光を発生する。なお、特殊光光源32が発生する特殊光としては、より一般に、特定の物質からの戻り光を生じさせる光であればどのようなものでもよい。このような光としては、例えば赤外光を挙げることができる。
光源制御部33は、制御装置5の調光部54(後述)から送信されてくる光源同期信号および制御部59(後述)からの制御信号にしたがって白色光源31または特殊光光源32に供給する電流量を制御する。
LEDドライバ34は、白色光源31または特殊光光源32に対して光源制御部33の制御のもとで電流を供給することにより、白色光源31または特殊光光源32に光を発生させる。白色光源31または特殊光光源32が発生した光は、ライトガイド7を経由して挿入部2の先端から外部へ照射される。
次に、撮像素子41の構成を説明する。撮像素子41は、挿入部2の光学系22からの光を光電変換して電気信号を出力するセンサ部41aと、センサ部41aが出力した電気信号に対してノイズ除去やA/D変換を行うアナログフロントエンド(AFE)部41bと、アナログフロントエンド部41bが出力したデジタル信号をパラレル/シリアル変換するP/S変換部41cと、センサ部41aの駆動タイミングパルス、ならびにアナログフロントエンド部41bおよびP/S変換部41cにおける各種信号処理用のパルスを発生するタイミングジェネレータ41dと、撮像素子41の設定データ等の情報を記憶する撮像記憶部41eと、撮像素子41の動作を制御する撮像制御部41fと、を有する。撮像素子41は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。
センサ部41aは、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が二次元面上にマトリックス状に配設された受光部41gと、受光部41gの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を画像情報として読み出す読み出し部41hとを有する。白色光源31が白色光を発生する場合、受光部41gには、画素ごとにRGB個別のカラーフィルタが設けられており、カラー画像の取得を可能にしている。これに対して、特殊光光源32が発生する特殊光として蛍光励起光を発生する場合、受光部41gには、励起光をカットして蛍光のみを透過するフィルタが設けられる。このように、白色光源31および特殊光光源32のうち使用する光源の種類によって受光部41gに設けられるフィルタは異なる。通常は、光源の種類に応じてカメラヘッド部4を交換するが、受光部41gにおけるフィルタを交換するような構成としてもよい。
アナログフロントエンド部41bは、信号に含まれるノイズ成分を低減するノイズ低減部41iと、ノイズが低減された信号をA/D変換するA/D変換部41jとを有する。ノイズ低減部41iは、例えば相関二重サンプリング(Correleted Double Sampling)法を用いてノイズの低減を行う。なお、ノイズ低減部41iとA/D変換部41jとの間に、自動的に信号のゲインを調整して常に一定の出力レベルを維持するAGC(Auto Gain Control)回路を設けてもよい。
タイミングジェネレータ41dは、受光部41gの複数の画素が蓄積する電荷を開放するためのリセットパルスを順次生成するリセットパルス生成部としての機能を有する。
撮像記憶部41eは、制御装置5の制御部59から送信されてくる各種設定データや制御用のパラメータを記憶するレジスタである。
撮像制御部41fは、制御装置5から受信した設定データにしたがって、撮像素子41の動作を制御する。撮像制御部41fは、CPU(Central Proccessing Unit)等を用いて構成される。撮像制御部41fは、生成順が連続する二つのリセットパルスがそれぞれ生成される間の期間に画像の複数のフレームが少なくとも一部ずつ含まれるように、リセットパルスの生成タイミングを調整する信号をタイミングジェネレータ41dへ送信する。この意味で、本実施の形態においては、撮像制御部41fがリセットパルス制御部の少なくとも一部の機能を有する。
次に、制御装置5の構成を説明する。制御装置5は、S/P変換部51、画像処理部52、明るさ検出部53、調光部54、読出アドレス設定部55、駆動信号生成部56、入力部57、記憶部58、制御部59および基準クロック生成部5aを有する。
S/P変換部51は、カメラヘッド部4から受信した画像信号(デジタル信号)をシリアル/パラレル変換する。
画像処理部52は、S/P変換部51から出力されたパラレル形態の画像信号をもとに、表示装置6が表示する体内画像を生成する。画像処理部52は、同時化部521、ホワイトバランス(WB)調整部522、ゲイン調整部523、γ補正部524、D/A変換部525、フォーマット変更部526、サンプル用メモリ527および静止画像用メモリ528を備える。
同時化部521は、画像情報として入力された画像信号を、画素ごとに設けられた3つのメモリ(図示せず)に入力し、読み出し部41hが読み出した受光部41gの画素のアドレスに対応させて、各メモリの値を順次更新しながら保持するとともに、これら3つのメモリの画像信号をRGB画像信号として同時化する。同時化部521は、同時化した画像信号をホワイトバランス調整部522へ順次出力するとともに、一部の画像信号を、明るさ検出などの画像解析用としてサンプル用メモリ527へ出力する。
ホワイトバランス調整部522は、画像信号のホワイトバランスを調整する。
ゲイン調整部523は、画像信号のゲイン調整を行う。ゲイン調整部523は、ゲイン調整を行った画像信号をγ補正部524へ出力するとともに、一部の画像信号を、静止画像表示用、拡大画像表示用または強調画像表示用として静止画像用メモリ528へ出力する。
γ補正部524は、表示装置6に対応させて画像信号の階調補正(γ補正)を行う。
D/A変換部525は、γ補正部524が出力した階調補正後の画像信号をアナログ信号に変換する。
フォーマット変更部526は、アナログ信号に変換された画像信号を動画用のファイルフォーマットに変更して表示装置6に出力する。このファイルフォーマットとして、AVI形式、MPEG形式などを適用することができる。
ホワイトバランス調整部522は、画像信号のホワイトバランスを調整する。
ゲイン調整部523は、画像信号のゲイン調整を行う。ゲイン調整部523は、ゲイン調整を行った画像信号をγ補正部524へ出力するとともに、一部の画像信号を、静止画像表示用、拡大画像表示用または強調画像表示用として静止画像用メモリ528へ出力する。
γ補正部524は、表示装置6に対応させて画像信号の階調補正(γ補正)を行う。
D/A変換部525は、γ補正部524が出力した階調補正後の画像信号をアナログ信号に変換する。
フォーマット変更部526は、アナログ信号に変換された画像信号を動画用のファイルフォーマットに変更して表示装置6に出力する。このファイルフォーマットとして、AVI形式、MPEG形式などを適用することができる。
明るさ検出部53は、サンプル用メモリ527が保持する画像信号から、各画素に対応する明るさレベルを検出し、検出した明るさレベルを内部に設けられたメモリに記録するとともに制御部59へ出力する。また、明るさ検出部53は、検出した明るさレベルをもとにゲイン調整値および光照射量を算出し、ゲイン調整値をゲイン調整部523へ出力する一方、光照射量を調光部54へ出力する。
調光部54は、制御部59の制御のもと、明るさ検出部53が算出した光照射量をもとに光源装置3が発生する光の種別、光量、発光タイミング等を設定し、この設定した条件を含む光源同期信号を光源装置3へ送信する。
読出アドレス設定部55は、センサ部41aの受光部における読み出し対象の画素および読み出し順序を設定する機能を有する。すなわち、読出アドレス設定部55は、アナログフロントエンド部41bが読み出すセンサ部41aの画素のアドレスを設定する機能を有する。また、読出アドレス設定部55は、設定した読み出し対象の画素のアドレス情報を同時化部521へ出力する。
駆動信号生成部56は、撮像素子41を駆動するための駆動用のタイミング信号を生成し、集合ケーブル256に含まれる所定の信号線を介してタイミングジェネレータ41dへ送信する。このタイミング信号は、読み出し対象の画素のアドレス情報を含む。
入力部57は、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。
入力部57は、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。
記憶部58は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。記憶部58は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記憶する。
制御部59は、CPU等を用いて構成され、カメラヘッド部4および光源装置3を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部59は、撮像制御のための設定データを、集合ケーブル256に含まれる所定の信号線を介して撮像素子41へ送信する。ここで、設定データは、撮像素子41の撮像速度(フレームレート)、およびセンサ部41aの任意の画素からの画素情報の読み出し速度を指示する指示情報、ならびにアナログフロントエンド部41bが読み出した画素情報の伝送制御情報などを含む。
基準クロック生成部5aは、内視鏡システム1の各構成部の動作の基準となる基準クロック信号を生成し、内視鏡システム1の各構成部に対して生成した基準クロック信号を供給する。
次に、表示装置6の構成を説明する。表示装置6は、制御装置5が生成した体内画像を制御装置5から受信して表示する機能を有する。表示装置6は、液晶、有機EL(Electro Luminescence)等の表示ディスプレイを有する。
図3は、以上の構成を有する内視鏡システム1が行う画像取得方法の概要を模式的に示す図である。上述したように、撮像素子41はCMOSイメージセンサであり、複数のフレームを連続的に撮像する場合、蓄積された電荷の読み出しを1つの水平ラインごとに順次行う。このため、読み出し部41hが最初に読み出す水平ライン(図3の場合は画面最上部)と最後に読み出す水平ライン(図3の場合は画面最下部)との間には、読み出しのタイミングに時間差が生じることとなる。以下の説明において、光源装置3は同じ照明光(例えば蛍光励起光)を連続して発生しているものとする。
撮像素子41では、露光期間P1の間水平ラインごとに順次露光した後、読み出し部41hが露光によって受光部41gの各画素に蓄積された電荷を読み出してアナログフロントエンド部41bへ転送する(転送期間P2)。
撮像制御部41fは、従来のように露光および転送を一組とするサイクルが終了するたびに電荷のリセットを行うことなく、フレーム周期Tfよりも長いリセット周期Tr(>Tf)で受光部41gが蓄積した電荷のリセットを行う。ここで、撮像制御部41fは、タイミングジェネレータ41dにリセットパルスを生成させることによってリセット処理を行う。図3では、撮像制御部41fが、4フレームに1回の割合で受光部41gが蓄積した電荷のリセットを行う(リセット期間P3)場合を示しているが、これはあくまでも一例に過ぎない。例えば、フレームレートを30fpsとし、リセット周期Trを0.5s前後(15フレーム程度ごとにリセット)とすることができる。
図4は、内視鏡システム1が撮像した画像の時間変化例を示す模式図である。各画像に対応する時間ti(i=1~4)は、図3に示す時間tiにそれぞれ対応している。図4では、挿入部2がほぼ同じ速度で体内を移動した場合の蛍光画像の変化を模式的に示している。時間t=t1における蛍光画像101では、蛍光像201が写っている。時間t=t2における蛍光画像102では、蛍光像202に加えて、蛍光画像101で映っていた蛍光像201が写っている。時間t=t3における蛍光画像103では、蛍光像203に加えて、蛍光画像102で映っていた蛍光像201、202が写っている。時間t=t4における蛍光画像104では、それまで写っていた蛍光像が全て消滅している。なお、蛍光画像101~104は、本来蛍光像以外の部分が真っ暗であり、蛍光像の部分のみぼんやりと光って見えるような画像である。
蛍光画像102において、それ以前に取得された蛍光画像101に写っていた蛍光像201が写っているのは、蛍光画像101の取得タイミングと蛍光画像102の取得タイミングとの間でリセット処理が行われていないためである。同様に、蛍光画像103において、それ以前に取得された蛍光画像102に写っていた蛍光像201、202が写っているのは、蛍光画像102の取得タイミングと蛍光画像103の取得タイミングとの間でリセット処理が行われていないためである。これに対して、蛍光画像104で蛍光像が全く写っていないのは、蛍光画像103の取得タイミングと蛍光画像104の取得タイミングとの間でリセット処理が行われたためである。
このように、リセット処理が行われない期間に撮像された蛍光画像に含まれる蛍光像には、時間とともに尾を引くような残像が生じているように見える。
これに対して、蛍光画像を撮影する場合において、ある時点でのリセット処理後に挿入部2がほとんど動かなかったとき、次のリセット処理を行うまでの間、撮像画像に含まれる蛍光像は徐々に明るさを増していくような蛍光画像が順次得られる。
本実施の形態1では、撮像のフレームレートを変更せずに、受光部41gの各画素が蓄積する電荷を所定期間リセットをかけずに蓄積して増感することで、蛍光画像などの低輝度の画像であっても明るい画像を得ることができる。
蛍光などの微弱な発光によって生体内に生じた癌などの腫瘍を探す方法においては、検査者が微弱な発光を見逃す恐れがある。この点、本実施の形態1では、リセット周期Trをフレーム周期Tfよりも長くしているため、微弱発光部位が動く場合には残像を生じさせる一方、微弱発光部位が静止している場合には明滅させることによって微弱発光部位の視認性を高めることができる。
また、本実施の形態1において、画像のフレームレートは変更されないため、低フレームレートの画像のように映像がちらついて不自然さを生じることがない。また、画像のフレームレートが変更されないため、画像の読み出しは、通常の撮像と同様のタイミング、処理を継続することができる。
以上説明した本発明の実施の形態1によれば、生成順が連続する二つのリセットパルスがそれぞれ生成される間の期間に画像の複数のフレームが少なくとも一部ずつ含まれるように前記リセットパルスの生成タイミングを調整するため、フレームレートを変更することなく、ダイナミックレンジが広く視認性に優れた画像を取得することができる。
(実施の形態2)
本発明の実施の形態2は、リセットパルスの生成タイミングを画像の明るさに応じて変更することを特徴とする。本実施の形態2に係る内視鏡システムは、実施の形態1で説明した内視鏡システム1と同様の構成を有する。
本発明の実施の形態2は、リセットパルスの生成タイミングを画像の明るさに応じて変更することを特徴とする。本実施の形態2に係る内視鏡システムは、実施の形態1で説明した内視鏡システム1と同様の構成を有する。
本実施の形態2では、制御装置5の制御部59が撮像素子41に対してリセット禁止信号を送信することにより、タイミングジェネレータ41dが発生するリセットパルスをマスクすることでリセットパルスの生成タイミングを調整する。したがって、電荷の蓄積期間は、リセット禁止信号のアクティブ期間に含まれるフレーム数によって決定されることとなる。この意味で、本実施の形態2においては、制御装置5の制御部59が、リセットパルス制御部の少なくとも一部の機能を有することとなる。
図5は、本実施の形態2に係る内視鏡システム1が行う処理の特徴を模式的に示す図である。内視鏡システム1は、明るさ検波値が所定の閾値より大きくて画像の明るさを十分確保できるような場合には、1フレーム期間におけるタイミングを変化させながらフレームごとにリセットパルスを発生させる方式(電子シャッタモード)へ移行する。以下、電子シャッタモードとは異なるモードであって生成順が連続する二つのリセットパルスがそれぞれ生成される間の期間に少なくとも一つのフレームの露光期間P1が全て含まれるモードのことを長時間蓄積モードという。図5に示す場合、リセット周期は、明るさ検波値の上昇にしたがって徐々に短くなっていく(Tr1、Tr2、Tr3、・・・)。そして、明るさ検波値が閾値THを超えると、長時間蓄積モードから電子シャッタモードへ移行する(リセット周期はTr1’、Tr2’、・・・)。
図6は、長時間蓄積モードにおけるリセットタイミングと露光時間の関係をより詳細に示す図である。長時間蓄積モードにおける電荷の蓄積時間Tcは、フレーム周期Tf内で露光を行い続けるフレームの数(全露光フレーム数)a、および露光開始フレームにおけるリセット開始から読み出し開始までの時間tを用いて、
Tc=a・Tf+t ・・・(1)
と表される。図6は、全露光フレーム数aが2の場合を例示している。
Tc=a・Tf+t ・・・(1)
と表される。図6は、全露光フレーム数aが2の場合を例示している。
内視鏡システム1は、ある蓄積期間において、全露光フレーム数aが経過した後、直前に読み込んだ画像信号Pの明るさ検波値に応じて露光時間を変化させる(図6のΔt)。この露光時間の変化は、電子シャッタによるリセットタイミングの変化によって実現される。すなわち、露光開始フレームにおけるリセット開始から読み出し開始までの時間がt+Δtとなるようにリセット信号Rを発生させることによって実現される。新たな蓄積時間Tc’は、露光時間の変化量を用いて
Tc’=Tc+Δt ・・・(2)
と表される。また、一つ前のリセット信号発生時を基準とするリセット周期Trは、
Tr=Tc+Tf-(t+Δt)=(a+1)Tf-Δt ・・・(3)
となる。
Tc’=Tc+Δt ・・・(2)
と表される。また、一つ前のリセット信号発生時を基準とするリセット周期Trは、
Tr=Tc+Tf-(t+Δt)=(a+1)Tf-Δt ・・・(3)
となる。
図7は、電子シャッタモードにおけるリセットタイミングと露光時間の関係をより詳細に示す図である。電子シャッタモードでは、蓄積時間Tcがフレーム周期Tfよりも短く、全露光フレーム数aがゼロである。したがって、式(1)はTc=tとなる。電子シャッタモードにおいても、式(2)、(3)が成立していることはいうまでもない。
なお、全露光フレーム数aの値に応じてフィードバックの時定数が変化することに鑑み、リセットパルスのフィードバックタイミングは、全露光フレーム数aに応じて決定してもよい。具体的には、全露光フレーム数aが小さい場合には、所定フレーム経過後に露光時間を変化させるようにしてもよい。
以上説明した本発明の実施の形態2によれば、生成順が連続する二つのリセットパルスがそれぞれ生成される間の期間に画像の複数のフレームが少なくとも一部ずつ含まれるように前記リセットパルスの生成タイミングを調整するため、フレームレートを変更することなく、ダイナミックレンジが広く視認性に優れた画像を取得することができる。
また、本実施の形態2によれば、リセットパルス発生後の画像読み出し開始からの時間を、画像の明るさ情報によって可変とすることにより、長時間露光から電子シャッタによる減光までを制御することが可能となる。これにより、例えば蛍光観察の際、視野内の蛍光像の観察と、蛍光像に近づいた後の高輝度画像の撮像を、リセットパルスの生成タイミングの変更のみによって連続的に行うことができる。
(実施の形態2の変形例1)
図8は、本発明の実施の形態2の変形例1に係る内視鏡システムの要部の機能構成を示すブロック図である。同図に示す内視鏡システム11は、画像処理部の構成が、上述した内視鏡システム1と異なる。
図8は、本発明の実施の形態2の変形例1に係る内視鏡システムの要部の機能構成を示すブロック図である。同図に示す内視鏡システム11は、画像処理部の構成が、上述した内視鏡システム1と異なる。
内視鏡システム11の画像処理部12は、内視鏡システム1の画像処理部52の構成に加えて、複数のフレーム間における被写体の動きを検出する動き検出部121をさらに有する。制御部59は、動き検出部121が検出した被写体の動きに基づいて画像間の相関を算出し、この算出結果と明るさ検波値とに基づいて次のリセットパルスの生成タイミングを決定する。例えば、蛍光画像間における被写体の動きが大きい場合(画像間の相関が小さい場合)、制御部59は、リセットパルスの生成タイミングを遅らせる。なお、制御部59によるリセットパルスの生成タイミングの決定には、明るさ検波値も寄与するため、被写体の動きが大きい場合に生成タイミングが常に遅れるとは限らない。
以上説明した本発明の実施の形態2の変形例1によれば、実施の形態2と同様の効果に加えて、蛍光像の残像を一段と強調して視認性を高めることができる。
(実施の形態2の変形例2)
本発明の実施の形態2の変形例2は、画像全体の明るさの平均値と比較して所定の条件をみたす像が存在する場合、制御部59が電荷の蓄積時間を変更する制御を行うことを特徴とする。本変形例2に係る内視鏡システムは、実施の形態2で説明した内視鏡システム1と同様の構成を有する。
本発明の実施の形態2の変形例2は、画像全体の明るさの平均値と比較して所定の条件をみたす像が存在する場合、制御部59が電荷の蓄積時間を変更する制御を行うことを特徴とする。本変形例2に係る内視鏡システムは、実施の形態2で説明した内視鏡システム1と同様の構成を有する。
図9は、内視鏡システム1が取得した画像における明るさ(画素値)と明るさごとの画素数との関係の例を示す図である。図9において、明るさTH1、TH2は、画像全体の明るさの平均値との差が所定の範囲にある明るさ(所定の条件を満たす明るさ)の上限と下限である。この意味で、明るさTH1、TH2は、観察対象となる像(例えば蛍光像)に対してバックグラウンドやノイズ(迷光成分)を排除できるような明るさであることが望ましい。
制御部59は、明るさTH1~TH2の範囲にある画素が所定数以上存在する場合、電荷の蓄積時間を延長する制御を行う。なお、制御部59は、例えば明るさTH1~TH2の範囲で所定の画素数を超える明るさがある場合、電荷の蓄積時間を延長するようにしてもよい。
読み出した画像に上述した条件を満たす像が存在しない場合、内視鏡システム1は、実施の形態2で説明した処理を行う。
以上説明した本発明の実施の形態2の変形例2によれば、画像全体の明るさの平均値に対する差分をとることにより特に蛍光画像の場合、バックグラウンドの影響を排除して蛍光像の視認性を向上させることができる。
(実施の形態3)
図10は、本発明の実施の形態3に係る内視鏡システムが行う画像取得方法の概要を模式的に示す図である。なお、本実施の形態3に係る内視鏡システムは、実施の形態2で説明した内視鏡システム1と同様の機能構成を有する。本実施の形態3において、内視鏡システム1は、取得した画像における残像や像の脈動を強調するように、フレームごとの照明強度を変えることを特徴とする。
図10は、本発明の実施の形態3に係る内視鏡システムが行う画像取得方法の概要を模式的に示す図である。なお、本実施の形態3に係る内視鏡システムは、実施の形態2で説明した内視鏡システム1と同様の機能構成を有する。本実施の形態3において、内視鏡システム1は、取得した画像における残像や像の脈動を強調するように、フレームごとの照明強度を変えることを特徴とする。
図10に示すように、光源装置3は、制御装置5と連携して、受光部41gの全ての水平ラインが露光状態にある期間の中で、発光強度を一定に保ちながら発光時間を周期的に変化させている。具体的には、光源装置3の光源制御部33は、制御装置5の制御部59と連携して、発光強度を一定に保ちながらフレームごとの発光時間を徐々に長くしていく制御を行う。発光時間の最大値は、全ての水平ラインが渡航状態にある期間の長さTa以下である。
光源装置3は、リセットパルスによって受光部41gにおける電荷の蓄積がリセットされた後、フレームごとの発光時間もリセットして初期値(最も短い発光期間)に戻る。図10では、フレームごとの光源発光状態として、順に発光時間が長くなっていく4つの光源発光状態A1、A2、A3、A4を採用した場合を例示している。
このように、二つの連続するリセット処理の間に含まれる複数のフレームにおいて、フレームごとの光源の発光時間を徐々に長くしていくと、例えば図4に示す場合、蛍光像201、202、203の順に徐々に蛍光像が明るくなっていく。したがって、蛍光像の視認性を一段と向上させることができる。
なお、図10に示す場合と逆に、二つの連続するリセット処理の間に含まれる複数のフレームにおいて、フレームごとの発光時間を徐々に短くしていってもよい。この場合には、図4において、蛍光像201、202、203の順に徐々に蛍光像が暗くなっていき、結果的に視認性を向上させることができる。
また、二つの連続するリセット処理の間に含まれる複数のフレームにおいて、フレームごとの光源の発光時間を常に増加または減少させる必要はなく、段階的に増加または減少させるようにしてもよいし、増加または減少を適宜混合して変化させるようにしてもよい。
以上説明した本発明の実施の形態3によれば、生成順が連続する二つのリセットパルスがそれぞれ生成される間の期間に画像の複数のフレームが少なくとも一部ずつ含まれるように前記リセットパルスの生成タイミングを調整するため、フレームレートを変更することなく、ダイナミックレンジが広く視認性に優れた画像を取得することができる。
また、本実施の形態3によれば、取得した画像のフレームごとの照明強度が変化することで、一段と視認性を向上させることができる。
(実施の形態3の変形例)
図11は、本発明の実施の形態3の変形例に係る内視鏡システム1が行う画像取得方法の概要を模式的に示す図である。図11に示すように、光源装置3は、受光部41gの全ての水平ラインが露光状態にある期間の中で、フレームごとの発光時間を一定に保ちながら発光強度を周期的に変化させている。具体的には、光源装置3は、フレームごとの発光時間を一定に保ちながらフレームごとの発光強度を徐々に大きくしていく。そして、リセット信号によって受光部41gにおける電荷の蓄積がリセットされた後、フレームごとの発光強度もリセットして初期値(最も小さい発光強度)に戻る。図11では、フレームごとの光源発光状態として、順に発光強度が小さくなっていく4つの光源発光状態B1、B2、B3、B4を採用している。
図11は、本発明の実施の形態3の変形例に係る内視鏡システム1が行う画像取得方法の概要を模式的に示す図である。図11に示すように、光源装置3は、受光部41gの全ての水平ラインが露光状態にある期間の中で、フレームごとの発光時間を一定に保ちながら発光強度を周期的に変化させている。具体的には、光源装置3は、フレームごとの発光時間を一定に保ちながらフレームごとの発光強度を徐々に大きくしていく。そして、リセット信号によって受光部41gにおける電荷の蓄積がリセットされた後、フレームごとの発光強度もリセットして初期値(最も小さい発光強度)に戻る。図11では、フレームごとの光源発光状態として、順に発光強度が小さくなっていく4つの光源発光状態B1、B2、B3、B4を採用している。
このようにして、二つの連続するリセット処理の間に含まれる複数のフレームにおいて、フレームごとの光源の発光強度を徐々に大きくしていくと、上述した実施の形態3と同様、蛍光像の視認性を一段と向上させることができる。
なお、本変形例において、二つの連続するリセット処理の間に含まれる複数のフレームにおいて、フレームごとの発光時間を一定に保ちながら発光強度を徐々に小さくしていってもよい。
また、本変形例において、二つの連続するリセット処理の間に含まれる複数のフレームにおいて、フレームごとの発光強度を常に増加または減少させる必要はなく、段階的に増加または減少するようにしてもよいし、増加または減少を適宜混合して変化させるようにしてもよい。
また、本変形例を実施の形態3と組み合わせることにより、フレームごとに発光強度と発光時間をともに変化させるようにしてもよい。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は、上述した実施の形態1~3によってのみ限定されるべきものではない。例えば、実施の形態1においても、実施の形態2等と同様に、制御装置5がリセット禁止信号を発生することによってリセットパルスの生成タイミングを調整するようにしてもよい。
ここまで、本発明を実施するための形態を説明してきたが、本発明は、上述した実施の形態1~3によってのみ限定されるべきものではない。例えば、実施の形態1においても、実施の形態2等と同様に、制御装置5がリセット禁止信号を発生することによってリセットパルスの生成タイミングを調整するようにしてもよい。
また、本発明において、制御装置のゲイン調整部が、二つの連続するリセット処理の間に含まれる複数のフレームにおいて、フレームごとの増幅率を変更するようにしてもよい。この場合には、フレームごとの増幅率を徐々に増加または減少させてもよいし、増幅率の増加または減少を適宜混合して変化させるようにしてもよい。
また、本発明において、撮像素子をCCDイメージセンサによって構成することも可能である。
また、本発明に係る内視鏡システムは、被検体内に挿入して臓器内部を観察する軟性鏡として実現することも可能である。
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲に記載した技術的思想の範囲内で種々の設計変更等を行うことが可能である。
1、11 内視鏡システム
2 挿入部
3 光源装置
4 カメラヘッド部
5 制御装置
6 表示装置
7 ライトガイド
8 集合ケーブル
22 光学系
31 白色光源
32 特殊光光源
33 光源制御部
34 LEDドライバ
41a センサ部
41b アナログフロントエンド部
41c P/S変換部
41e 撮像記憶部
41f 撮像制御部
41g 受光部
41h 読み出し部
51 S/P変換部
52 画像処理部
53 明るさ検出部
54 調光部
55 読出アドレス設定部
56 駆動信号生成部
57 入力部
58 記憶部
59 制御部
5a 基準クロック生成部
101、102、103 蛍光画像
121 動き検出部
201、202、203 蛍光像
P1 露光期間
P2 転送期間
P3 リセット期間
2 挿入部
3 光源装置
4 カメラヘッド部
5 制御装置
6 表示装置
7 ライトガイド
8 集合ケーブル
22 光学系
31 白色光源
32 特殊光光源
33 光源制御部
34 LEDドライバ
41a センサ部
41b アナログフロントエンド部
41c P/S変換部
41e 撮像記憶部
41f 撮像制御部
41g 受光部
41h 読み出し部
51 S/P変換部
52 画像処理部
53 明るさ検出部
54 調光部
55 読出アドレス設定部
56 駆動信号生成部
57 入力部
58 記憶部
59 制御部
5a 基準クロック生成部
101、102、103 蛍光画像
121 動き検出部
201、202、203 蛍光像
P1 露光期間
P2 転送期間
P3 リセット期間
Claims (5)
- 特定の物質からの戻り光を生じさせる照明光を視野領域に対して出射可能な照明部と、
前記視野領域からの前記戻り光を受光して光電変換することによって電気信号を生成する複数の画素が二次元面上に配置され、該複数の画素が生成した電気信号を画像情報として順次読み出し可能なセンサ部と、
前記複数の画素が蓄積する電荷を開放するためのリセットパルスを生成するリセットパルス生成部と、
生成順が連続する二つの前記リセットパルスがそれぞれ生成される間の期間に画像の複数のフレームが少なくとも一部ずつ含まれるように前記リセットパルスの生成タイミングを調整するリセットパルス制御部と、
を備えたことを特徴とする内視鏡システム。 - 前記センサ部が読み出した画像情報に含まれる画像の明るさを検出する明るさ検出部をさらに備え、
前記リセットパルス制御部は、
前記明るさ検出部が検出した画像の明るさに応じて前記リセットパルスの生成タイミングを調整することを特徴とする請求項1に記載の内視鏡システム。 - 複数のフレーム間の被写体の動き量を検出する動き検出部をさらに備え、
前記リセットパルス制御部は、
前記画像の明るさおよび前記動き検出部が検出した前記被写体の動き量に応じて前記リセットパルスの生成タイミングを調整することを特徴とする請求項2に記載の内視鏡システム。 - 前記照明部は、
前記照明光の1フレームにおける発光強度および/または発光時間を、前記複数のフレームを構成するフレームごとに変更することを特徴とする請求項1~3のいずれか一項に記載の内視鏡システム。 - 前記画像情報に含まれる画像の増幅率を、前記複数のフレームを構成するフレームごとに変更する増幅率調整部をさらに備えたことを特徴とする請求項1~3のいずれか一項に記載の内視鏡システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015512430A JP5775986B2 (ja) | 2013-08-01 | 2014-07-24 | 内視鏡システム |
EP14832959.2A EP3028625A4 (en) | 2013-08-01 | 2014-07-24 | Endoscopic system |
CN201480035770.8A CN105377111B (zh) | 2013-08-01 | 2014-07-24 | 内窥镜*** |
US14/971,079 US9826885B2 (en) | 2013-08-01 | 2015-12-16 | Endoscope system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013160736 | 2013-08-01 | ||
JP2013-160736 | 2013-08-01 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/971,079 Continuation US9826885B2 (en) | 2013-08-01 | 2015-12-16 | Endoscope system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015016137A1 true WO2015016137A1 (ja) | 2015-02-05 |
Family
ID=52431673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/069604 WO2015016137A1 (ja) | 2013-08-01 | 2014-07-24 | 内視鏡システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9826885B2 (ja) |
EP (1) | EP3028625A4 (ja) |
JP (1) | JP5775986B2 (ja) |
CN (1) | CN105377111B (ja) |
WO (1) | WO2015016137A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6996901B2 (ja) * | 2017-08-17 | 2022-01-17 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡システム |
JP2021508543A (ja) * | 2017-12-27 | 2021-03-11 | エシコン エルエルシーEthicon LLC | 光不足環境におけるハイパースペクトル撮像 |
US10638921B2 (en) * | 2018-07-20 | 2020-05-05 | Arthrex, Inc. | Medical imaging system |
US11288772B2 (en) * | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11276148B2 (en) * | 2019-06-20 | 2022-03-15 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11280737B2 (en) * | 2019-06-20 | 2022-03-22 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed fluorescence imaging system |
US11793399B2 (en) | 2019-06-20 | 2023-10-24 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system |
US11398011B2 (en) | 2019-06-20 | 2022-07-26 | Cilag Gmbh International | Super resolution and color motion artifact correction in a pulsed laser mapping imaging system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010068992A (ja) | 2008-09-18 | 2010-04-02 | Fujifilm Corp | 電子内視鏡システム |
JP2012143319A (ja) * | 2011-01-07 | 2012-08-02 | Fujifilm Corp | 内視鏡システム及びその駆動方法 |
WO2012172908A1 (ja) * | 2011-06-14 | 2012-12-20 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
WO2012176561A1 (ja) * | 2011-06-21 | 2012-12-27 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6448561B1 (en) * | 1996-02-26 | 2002-09-10 | Canon Kabushiki Kaisha | Photoelectric conversion apparatus and driving method of the apparatus |
DE60031349T2 (de) * | 1999-11-18 | 2007-05-24 | Fuji Photo Film Co., Ltd., Minami-Ashigara | Verfahren und Vorrichtung zur Erzeugung von Fluoreszenzbildern |
JP2003000537A (ja) * | 2001-06-27 | 2003-01-07 | Fuji Photo Film Co Ltd | 内視鏡用の撮像方法および装置 |
US7064828B1 (en) * | 2001-12-19 | 2006-06-20 | Nanometrics Incorporated | Pulsed spectroscopy with spatially variable polarization modulation element |
JP2007124288A (ja) * | 2005-10-28 | 2007-05-17 | Olympus Corp | カプセル内視鏡 |
JP4873949B2 (ja) * | 2005-12-26 | 2012-02-08 | Hoya株式会社 | 電子内視鏡装置 |
JP5616664B2 (ja) * | 2010-03-30 | 2014-10-29 | 富士フイルム株式会社 | 内視鏡システム |
JP5544231B2 (ja) | 2010-07-15 | 2014-07-09 | 富士フイルム株式会社 | 内視鏡光源装置及び内視鏡システム |
EP2735262B1 (en) * | 2011-11-07 | 2017-08-23 | Olympus Corporation | Imaging device |
CN103732119B (zh) * | 2011-12-27 | 2016-08-24 | 奥林巴斯株式会社 | 摄像装置 |
EP2856928A4 (en) * | 2012-05-25 | 2016-03-02 | Olympus Corp | IMAGING SYSTEM |
-
2014
- 2014-07-24 CN CN201480035770.8A patent/CN105377111B/zh active Active
- 2014-07-24 EP EP14832959.2A patent/EP3028625A4/en not_active Withdrawn
- 2014-07-24 JP JP2015512430A patent/JP5775986B2/ja active Active
- 2014-07-24 WO PCT/JP2014/069604 patent/WO2015016137A1/ja active Application Filing
-
2015
- 2015-12-16 US US14/971,079 patent/US9826885B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010068992A (ja) | 2008-09-18 | 2010-04-02 | Fujifilm Corp | 電子内視鏡システム |
JP2012143319A (ja) * | 2011-01-07 | 2012-08-02 | Fujifilm Corp | 内視鏡システム及びその駆動方法 |
WO2012172908A1 (ja) * | 2011-06-14 | 2012-12-20 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
WO2012176561A1 (ja) * | 2011-06-21 | 2012-12-27 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3028625A4 |
Also Published As
Publication number | Publication date |
---|---|
JP5775986B2 (ja) | 2015-09-09 |
US9826885B2 (en) | 2017-11-28 |
US20160100741A1 (en) | 2016-04-14 |
EP3028625A1 (en) | 2016-06-08 |
CN105377111A (zh) | 2016-03-02 |
JPWO2015016137A1 (ja) | 2017-03-02 |
EP3028625A4 (en) | 2017-03-22 |
CN105377111B (zh) | 2017-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5775986B2 (ja) | 内視鏡システム | |
US8866893B2 (en) | Imaging apparatus | |
EP2735262B1 (en) | Imaging device | |
EP2664268B1 (en) | Medical instrument | |
US9516245B2 (en) | Endoscope apparatus | |
US9513221B2 (en) | Fluorescence observation apparatus | |
EP3059939A1 (en) | Imaging device, and operation method for imaging device | |
EP2601881B1 (en) | Medical instrument | |
US9414739B2 (en) | Imaging apparatus for controlling fluorescence imaging in divided imaging surface | |
JP5467182B1 (ja) | 撮像システム | |
US10958852B2 (en) | Imaging apparatus and control method having a plurality of synchronized light source devices | |
JP5601970B2 (ja) | 電子内視鏡用プロセッサ及び電子内視鏡装置 | |
CN113271838A (zh) | 内窥镜***及图像处理装置 | |
JP2011024885A (ja) | 内視鏡用光源システム、および内視鏡ユニット | |
CN111629651A (zh) | 摄像*** | |
JP2007306974A (ja) | 内視鏡プロセッサ、内視鏡プログラム、画像処理システム、及び内視鏡画像記録再生装置 | |
US20210290037A1 (en) | Medical image processing apparatus and medical observation system | |
JP2010124921A (ja) | 画像取得方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2015512430 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14832959 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2014832959 Country of ref document: EP |