WO2017110492A1 - 撮像システム及び画像処理装置 - Google Patents

撮像システム及び画像処理装置 Download PDF

Info

Publication number
WO2017110492A1
WO2017110492A1 PCT/JP2016/086514 JP2016086514W WO2017110492A1 WO 2017110492 A1 WO2017110492 A1 WO 2017110492A1 JP 2016086514 W JP2016086514 W JP 2016086514W WO 2017110492 A1 WO2017110492 A1 WO 2017110492A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image signal
light
illumination light
image data
Prior art date
Application number
PCT/JP2016/086514
Other languages
English (en)
French (fr)
Inventor
山崎　隆一
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201680074664.XA priority Critical patent/CN108366711A/zh
Priority to JP2017548315A priority patent/JP6242558B2/ja
Priority to EP16878384.3A priority patent/EP3378374A4/en
Publication of WO2017110492A1 publication Critical patent/WO2017110492A1/ja
Priority to US16/014,030 priority patent/US10575721B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an imaging system and an image processing apparatus, and more particularly to an imaging system and an image processing apparatus for imaging a subject by sequentially irradiating illumination light of a plurality of different wavelength bands.
  • an operation using a device that is minimally invasive to a living body such as an endoscope, has been conventionally performed.
  • Japanese Patent No. 5326065 discloses a filter having a G (green) wavelength band as a transmission band and two filters having a B (blue) wavelength band as a transmission band at equal angles in the circumferential direction.
  • An endoscope apparatus that performs narrow-band light observation using a provided rotary filter and a narrow-band filter that emits light to the rotary filter with a narrow band of light emitted from a light source is disclosed.
  • the endoscope apparatus disclosed in Japanese Patent No. 5326065 takes a subject image by sequentially irradiating illumination light in the G wavelength band and illumination light in the B wavelength band, and images a subject image.
  • the apparatus is configured as a device that performs a frame sequential operation such that a display image for one frame is generated using the images for a plurality of fields obtained in this way.
  • the B image two fields before is added to the updated G image at the time of color image synthesis at the G image update timing. Since they were combined, there was a problem that the color shift increased.
  • an object of the present invention is to provide an imaging system and an image processing apparatus that can reduce the color misregistration of an image displayed in narrow-band light observation of the frame sequential method.
  • the imaging system of one embodiment of the present invention performs illumination with the first illumination light in the first band within a predetermined time, and uses the second illumination light in the second band and the second illumination light.
  • a light source unit that performs illumination with the third illumination light of the second band emitted later in time, and return light from the subject image illuminated by the illumination light emitted from the light source unit for each predetermined period
  • An imaging unit configured to capture an image and output an imaging signal; a first image signal corresponding to a return light of the first illumination light based on an imaging signal output from the imaging unit; The second image signal corresponding to the return light of the second illumination light and the third image signal corresponding to the return light of the third illumination light are generated for each field and sequentially output.
  • An allocating unit configured to selectively allocate a corresponding first color channel, a second color channel corresponding to green, and a third color channel corresponding to blue.
  • a first assignment process for assigning the first to third color channels using the first image signal or the second image signal; Switching is performed between the first to the third color channel and the second assignment process to be assigned using the first image signal or the third image signal.
  • the image processing device of one embodiment of the present invention performs illumination with the first illumination light in the first band within a predetermined time, and the second illumination light in the second band and the second illumination light.
  • the return light from the subject image illuminated by the illumination light emitted from the light source unit that performs illumination with the third illumination light in the second band emitted after the illumination light is captured at predetermined intervals.
  • an image generation unit configured to generate and sequentially output a second image signal corresponding to the light and a third image signal corresponding to the return light of the third illumination light for each field;
  • the image signal sequentially output from the image generation unit is converted into a first color channel corresponding to red.
  • an allocation unit configured to selectively allocate to a second color channel corresponding to green and a third color channel corresponding to blue, and the allocation unit configures one frame In each field period to be performed, a first assignment process for assigning the first to third color channels using the first image signal or the second image signal, and the first to third And a second assignment process assigned to the color channel using the first image signal or the third image signal.
  • FIG. 1 is a diagram illustrating a configuration of an imaging system according to an embodiment of the present invention. It is a figure for demonstrating an example of operation
  • FIG. 1 is a diagram showing a configuration of an imaging system according to an embodiment of the present invention.
  • the imaging system 101 includes an elongated insertion portion that can be inserted into a subject that is a living body, and images a subject such as a living tissue in the subject and outputs an imaging signal.
  • a processor 3 as an image processing device that generates and outputs a corresponding video signal, a display device 4 that displays an image according to the video signal output from the processor 3, and a user's input operation such as an operator And an input device 5 having a switch and / or a button capable of giving instructions to the processor 3.
  • the endoscope 1 is obtained by imaging an illumination optical system 11 that irradiates the subject with light transmitted by the light guide 6 and return light emitted from the subject according to the light emitted from the illumination optical system 11.
  • An imaging unit 12 that outputs an imaging signal is provided at the distal end of the insertion unit.
  • the endoscope 1 includes a scope switch 13 that can give various instructions to the processor 3 in accordance with user operations.
  • the imaging unit 12 is configured to capture the return light from the subject illuminated by the illumination light emitted from the light source device 2 at predetermined intervals and output an imaging signal.
  • the imaging unit 12 includes an objective optical system 12a that forms an image of return light emitted from the subject, and an imaging surface for receiving the return light that is arranged in accordance with the imaging position of the objective optical system 12a. And an image sensor 12b.
  • the image sensor 12b is configured by, for example, a CCD or a CMOS, and is driven according to an image sensor drive signal output from the processor 3 and obtained by imaging return light from the subject imaged on the imaging surface.
  • the image pickup signals are sequentially output.
  • the scope switch 13 is instructed to the processor 3 to set the observation mode of the imaging system 101 to either the white light (normal light) observation mode or the narrowband light observation mode in accordance with a user operation.
  • An observation mode setting switch (not shown) that can be performed is provided.
  • the light source device 2 includes a light source 21 configured by a xenon lamp that emits white light and the like, and a rotary filter 22.
  • the rotary filter 22 includes a white light observation rotary filter and a narrow band light observation rotary filter.
  • the rotation filter 22 is configured such that a rotation filter for white light observation or a rotation filter for narrowband light observation is inserted into the optical path of illumination light from the light source 21 based on a switching signal from the control unit 34. Yes.
  • the configuration of the rotation filter 22 is not limited to the configuration including the rotation filter for white light observation and narrow band light observation, and may be another configuration.
  • the light source 21 is not limited to a xenon lamp or the like, and may be, for example, an LED or a laser diode. Further, the light source 21 does not include a rotating filter, and irradiates an LED, a laser diode, or the like with R (red) light, G (green) light, and B (blue) light in a time-sharing manner by PWM control or the like. It may be a configuration.
  • the rotary filter 22 has a disk shape, and three openings are provided at equal angles in the circumferential direction, and filters are attached to the three openings, respectively.
  • an R (red), G (green), and B (blue) filter is provided in a rotating filter for white light observation so that R light, G light, and B light are emitted sequentially. It is configured.
  • the G (green), B (blue), and B ′ (blue) filters are provided in the rotary filter for narrowband light observation, and G light, B light, and B ′ light are emitted sequentially. It is configured to be.
  • the B light and B ′ light are illumination light having the same wavelength band.
  • the light source 21 and the rotary filter 22 constituting the light source unit perform illumination with the first illumination light (G light) in the first band and the second band in the second band in the narrow-band light observation mode. Illumination is performed with the illumination light (B light) and the third illumination light (B ′) in the second band emitted after the second illumination light in terms of time.
  • a frame sequential imaging system will be described, but the present invention is not limited to this, and the imaging system may be applied to a simultaneous imaging system.
  • the rotation filter 22 has a center attached to a rotation shaft of a rotation motor (not shown), and is configured to be driven to rotate.
  • the rotary filter 22 is configured to rotate at a predetermined speed based on a control signal from the control unit 34.
  • the illumination light emitted from the rotary filter 22 enters the incident end of the light guide 6 and is irradiated toward the subject from the distal end portion of the insertion portion of the endoscope 1.
  • the return light from the subject is imaged by the image sensor 12b and supplied to the processor 3 as an image signal.
  • the processor 3 includes a pre-processing unit 31, a synchronization processing unit 32, an image processing unit 33, and a control unit 34.
  • the preprocessing unit 31 constituting the image generation unit includes, for example, a signal processing circuit such as a noise reduction circuit and an A / D conversion circuit, and performs noise removal and A for the imaging signals sequentially output from the endoscope 1.
  • Image data for one field is generated by performing processing such as / D conversion.
  • the preprocessing unit 31 is configured to sequentially output the generated image data for one field to the synchronization processing unit 32 and the control unit 34.
  • the synchronization processing unit 32 is configured as a synchronization circuit including, for example, a selector that operates in accordance with a synchronization processing control signal described later, and a plurality of memories connected to the subsequent stage of the selector.
  • the synchronization processing unit 32 accumulates image data sequentially output from the preprocessing unit 31 for a plurality of fields based on the synchronization processing control signal output from the control unit 34.
  • the synchronization processing unit 32 constituting the allocating unit outputs the accumulated image data for a plurality of fields to the R channel corresponding to the red color of the display device 4, the G channel corresponding to the green color of the display device 4, and the display device. 4 is selectively assigned to the B channel corresponding to the blue color 4 and output to the image processing unit 33 at the same time.
  • the image processing unit 33 includes, for example, an image processing circuit such as a synthesis circuit.
  • the image processing unit 33 generates image data for one frame by synthesizing each image data output in a state assigned to the R channel, the G channel, and the B channel. Then, the image processing unit 33 generates a video signal by performing predetermined image processing such as gamma correction on the generated image data for one frame, and sequentially outputs the generated video signal to the display device 4. It is configured.
  • the control unit 34 includes, for example, a CPU or a control circuit. Further, the control unit 34 detects the observation mode set by the observation mode setting switch of the scope switch 13, generates an illumination control signal for emitting illumination light according to the detected observation mode, and supplies the illumination control signal to the rotary filter 22. It is configured to output. Further, when the control unit 34 detects that the narrowband light observation mode is set, the luminance value of image data BD (described later) output from the preprocessing unit 31, that is, the evaluation acquired from the image data BD.
  • image data BD described later
  • synchronization processing control signal for setting image data allocation and image data update frequency in the R channel, G channel, and B channel, respectively, and output the generated synchronization processing control signal to the synchronization processing unit 32. ing.
  • the user After connecting each part of the imaging system 101 and turning on the power, the user operates the observation mode setting switch of the scope switch 13 to set the observation mode of the imaging system 101 to the white light observation mode.
  • the control unit 34 When detecting that the white light observation mode is set, the control unit 34 generates a control signal for rotating the white light observation rotary filter at a predetermined speed and outputs the control signal to the rotary filter 22. In addition, the control unit 34 generates an image sensor driving signal for imaging the return light from the subject for each predetermined period, and outputs the image sensor drive signal to the image sensor 12b.
  • the control unit 34 detects that the white light observation mode is set, the synchronization processing control signal for setting the image data allocation and the image data update frequency in the R channel, the G channel, and the B channel, respectively. And output to the synchronization processing unit 32.
  • the white light observation rotary filter is provided with an R filter, a G filter, and a B filter.
  • the white light observation rotary filter rotates at a predetermined speed, it is emitted from the light source device 2 and illumination optics.
  • the illumination light applied to the subject via the system 11 is switched in the order of R light ⁇ G light ⁇ B light ⁇ R light, and every predetermined period.
  • the image sensor 12b Based on the image sensor drive signal output from the control unit 34, the image sensor 12b captures the return light from the subject illuminated by the illumination light emitted from the light source device 2 every predetermined period and outputs the image signal. . That is, according to such an operation of the image pickup device 12b, the return light received during the period when the R light is illuminated, the return light received during the period when the G light is irradiated, and the B light are emitted. The return light received during the current period is imaged once each.
  • the preprocessing unit 31 converts the image data RD corresponding to the return light of R light, the image data GD corresponding to the return light of G light, and the return light of B light based on the imaging signal output from the image sensor 12b.
  • the corresponding image data BD is generated for each field and sequentially output to the synchronization processing unit 32 and the control unit 34.
  • the synchronization processing unit 32 accumulates image data RD, GD, and BD sequentially output from the preprocessing unit 31 for each field based on the synchronization processing control signal output from the control unit 34. Then, the synchronization processing unit 32 assigns the accumulated image data RD for one field to the R channel, assigns the accumulated image data GD for one field to the G channel, and assigns the accumulated image data BD for one field to the B channel. Assigned to channels and simultaneously output to the image processing unit 33. The synchronization processing unit 32 updates the image data RD assigned to the R channel once and updates the image data GD assigned to the G channel once based on the synchronization processing control signal output from the control unit 34. And an operation of updating the image data BD assigned to the B channel once.
  • the image processing unit 33 synthesizes the image data RD assigned to the R channel, the image data GD assigned to the G channel, and the image data BD assigned to the B channel so as to synthesize RGB color for one frame. Generate image data. Then, the image processing unit 33 generates a video signal by performing predetermined image processing such as gamma correction on the generated RGB color image data for one frame, and sequentially outputs the generated video signal to the display device 4. To do.
  • the user inserts the insertion portion of the endoscope 1 into the subject while confirming the image displayed on the display device 4 in a state where the observation mode of the imaging system 101 is set to the white light observation mode.
  • the distal end of the insertion portion is arranged in the vicinity of the desired subject.
  • the user operates the observation mode setting switch of the scope switch 13 in a state where the distal end portion of the insertion portion of the endoscope 1 is disposed in the vicinity of a desired subject, thereby changing the observation mode of the imaging system 101 to a narrow band.
  • FIG. 2 is a diagram for explaining an example of the operation in the narrow-band light observation mode.
  • the control unit 34 When detecting that the narrowband light observation mode is set, the control unit 34 generates a control signal for rotating the narrowband light observation rotary filter at a predetermined speed and outputs the control signal to the rotary filter 22. In addition, the control unit 34 generates an image sensor drive signal for imaging the return light from the subject for each predetermined period FP1, and outputs the image sensor drive signal to the image sensor 12b.
  • the control unit 34 detects that the narrow-band light observation mode has been set, it performs synchronization processing control for setting image data allocation and image data update frequency in the R channel, G channel, and B channel, respectively. A signal is generated and output to the synchronization processing unit 32.
  • the rotation filter for narrowband light observation is provided with a G filter, a B filter, and a B ′ filter, and is emitted from the light source device 2 by rotating the rotation filter for narrowband light observation at a predetermined speed.
  • the illumination light applied to the subject via the illumination optical system 11 is switched in the order of G0 light ⁇ B0 light ⁇ B0 ′ light ⁇ G1 light and every predetermined period FP1.
  • the image sensor 12b Based on the image sensor drive signal output from the control unit 34, the image sensor 12b captures the return light from the subject illuminated by the illumination light emitted from the light source device 2 for each predetermined period FP1 and outputs the image signal. To do. That is, according to such an operation of the image sensor 12b, the return light received during the period of irradiation with the G light, the return light received during the period of irradiation of the B light, and the B ′ light are The return light received during the irradiation period is imaged once each.
  • the pre-processing unit 31 is based on the imaging signal output from the imaging device 12b, image data (first image signal) GD corresponding to the return light of G light, and image data (first image signal corresponding to the return light of B light). 2 image signals) BD and image data (third image signal) BD ′ corresponding to the return light of B ′ light are generated for each field and sequentially output to the synchronization processing unit 32 and the control unit 34. To do.
  • the synchronization processing unit 32 stores the image data GD, BD, and BD ′ sequentially output from the preprocessing unit 31 for each field based on the synchronization processing control signal output from the control unit 34. Then, the synchronization processing unit 32 switches the following formula (1) or formula (2) at a predetermined timing, and performs processing for assigning the accumulated image data for a plurality of fields to each color channel.
  • the synchronization processing unit 32 is the timing at which the image data GD is assigned to the R channel (first channel) (the timing at which the image data GD is updated: the timing of the predetermined period FP1a and FP1b in FIG. 2).
  • assignment processing (second assignment processing) using Expression (2) is performed, and image data BD ′ is assigned to the G channel (second channel) and the B channel (third channel). .
  • the synchronization processing unit 32 performs an allocation process (first allocation process) using Expression (1) in a field period other than the first field period, which is the timing at which the image data GD is allocated to the R channel.
  • the image data BD is assigned to the G channel and the B channel.
  • the synchronization processing unit 32 assigns the accumulated image data GD for one field to the R channel, and assigns the accumulated image data BD 'for one field to the G channel and the B channel.
  • the synchronization processing unit 32 assigns the accumulated image data GD for one field to the R channel, and assigns the accumulated image data BD for one field to the G channel and the B channel. Assign to.
  • the synchronization processing unit 32 assigns the image data to each color channel in this way and outputs them simultaneously to the image processing unit 33.
  • W is a variable that is changed according to the luminance value of the image data BD + the image data BD ′, and 0 ⁇ W ⁇ 1.
  • W 0, single exposure is performed to synchronize (synthesize) one field of image data GD and one field of image data BD or BD ′.
  • 0 ⁇ W ⁇ 1 in addition to the image data used in the single exposure, the double exposure in which the image data BD or BD ′ not used in the single exposure is synchronized at a predetermined ratio.
  • W (0 ⁇ W ⁇ 1) is determined so that BD + BD ′ * W becomes a predetermined threshold.
  • BD and BD ' are reversed according to the frame according to the embodiment.
  • the user may be configured to switch between single exposure and double exposure.
  • the image processing unit 33 synthesizes the image data GD assigned to the R channel and the image data BD ′ assigned to the G channel and the B channel to narrow the bandwidth for one frame. Light image data is generated.
  • the image processing unit 33 combines the image data GD assigned to the R channel and the image data BD assigned to the G channel and the B channel to 1 Narrow-band optical image data for a frame is generated. Then, the image processing unit 33 generates a video signal by performing predetermined image processing such as gamma correction on the generated narrowband optical image data for one frame, and sequentially outputs the generated video signal to the display device 4. Output.
  • FIG. 3 is a diagram for explaining an example of image data synchronized in the narrow-band light observation mode.
  • FIG. 3A shows a state in which image data GD0, BD0, and BD0 'sequentially captured are stored in the memory.
  • the allocation process is performed using Expression (1), and the image data GD0 and the image data BD0 are synchronized.
  • FIG. 3B further shows a state in which the image data GD1 is stored in the memory. That is, FIG. 3B shows the update timing of the image data GD1.
  • the allocation process is performed using the formula (1) even at the update timing of the image data GD1. Therefore, as shown in FIG. 3B, conventionally, the image data GD1 and the image data BD0 two fields before are synchronized.
  • the formula (1) is switched to the formula (2), and the allocation process is performed using the switched formula (2). Therefore, as shown in FIG. 3B, in this embodiment, the image data GD1 and the image data BD0 'of the previous field are synchronized.
  • FIG. 3C further shows a state in which the image data BD1 is stored in the memory.
  • the allocation process is performed using Expression (1), and the image data GD1 and the image data BD1 are simultaneously used.
  • the image data to be synchronized is changed from the image data BD0 to the image data BD1.
  • the B image data to be synchronized moves at a stroke, and the image data appears to be unstable at the time of moving image observation.
  • the allocation process is switched from Expression (1) to Expression (2), so that the updated image data GD1 and the image data BD0 one field before are updated. 'Is used to synchronize. More specifically, the imaging system 101 performs the second assignment process using Expression (2) in the first field period, which is the timing for assigning the image data GD to the R channel, in the narrowband light observation mode. In the period other than the first field period, the first allocation process using the formula (1) is performed.
  • the imaging system 101 of the present embodiment is not synchronized using the image data BD two fields before in the single exposure in the narrow-band light observation mode, so that color misregistration is reduced and moving image observation is performed. At times, the looseness will be eliminated.
  • the control unit 34 determines whether the luminance value of the image data (fourth image signal) obtained by adding the image data BD and the image data BD ′ is less than a predetermined threshold value.
  • a synchronization process for assigning image data obtained by adding image data BD and image data BD ′ to the G channel and the B channel when the luminance value of the image data obtained by the addition is less than a predetermined threshold value A control signal is generated and output to the synchronization processing unit 32.
  • the luminance value of the image data obtained by the addition is equal to or greater than a predetermined threshold value, the above-described single exposure control is performed.
  • the synchronization processing unit 32 performs an allocation process using the above-described equation (2) in the first field period, which is the timing at which the image data GD is allocated to the R channel, and a predetermined ratio is assigned to the G channel and the B channel. Image data obtained by adding the image data BD and the image data BD ′ for one field is assigned. The predetermined ratio is changed according to the luminance value of the image data obtained by adding the image data BD and the image data BD ′.
  • the synchronization processing unit 32 performs the allocation process using the above-described equation (1) in the field period other than the first field period, which is the timing at which the image data GD is allocated to the R channel, and the G channel and the B channel.
  • Image data obtained by adding one field of image data BD and a predetermined ratio of image data BD ′ to a channel is assigned.
  • FIG. 4 is a diagram for explaining another example of image data synchronized in the narrow-band light observation mode.
  • FIG. 4 is an example of image data that is synchronized when W in Expression (1) and Expression (2) is double exposure in which 0 ⁇ W ⁇ 1.
  • FIG. 4A shows a state in which image data GD0, BD0, and BD0 'sequentially captured are stored in the memory.
  • the allocation process is performed using Expression (1), and the image data GD0, the image data BD0, and the image data BD0 ′ having a predetermined ratio (for example, greater than 0 and less than or equal to 1) , Will be synchronized.
  • FIG. 4B further shows a state in which the image data GD1 is stored in the memory. That is, FIG. 4B shows the update timing of the image data GD1.
  • the allocation process is performed using the formula (1) even at the update timing of the image data GD1. Therefore, as shown in FIG. 4B, conventionally, the image data GD1, the image data BD0 two fields before, and the image data BD0 'of a predetermined ratio one field before are synchronized.
  • the formula (1) is switched to the formula (2), and the allocation process is performed using the switched formula (2). Therefore, as shown in FIG. 4B, in this embodiment, the image data GD1, the image data BD0 ′ one field before, and the image data BD0 of a predetermined ratio two fields before are synchronized. .
  • FIG. 4C further shows a state in which the image data BD1 is stored in the memory.
  • the allocation process is performed using Expression (1), and the image data GD1, the image data BD1 after one field, and the image data BD0 ′ of a predetermined ratio before one field, Will be done at the same time.
  • the updated image data GD1 the updated image data GD1
  • the image data BD0 two fields before the image data BD0 two fields before
  • the image data BD0 ′ of a predetermined ratio one field before are simultaneously used. It was converted. That is, since the image data GD1 and the image data BD0 two fields before are main, and the image data BD0 'of a predetermined ratio one field before is used for synchronization, the color shift is slightly increased.
  • the allocation process is switched from Expression (1) to Expression (2), so that the updated image data GD1 and the image data BD0 one field before are updated.
  • 'Is used as the main, and the image data BD0 of a predetermined ratio two fields before is further used for synchronization.
  • the imaging system 101 of this embodiment does not synchronize the image data BD two fields before as the main in double exposure in the narrow-band light observation mode, thereby reducing color misregistration. become.
  • the imaging system of the present embodiment it is possible to reduce the color shift of the image displayed in the frame sequential type narrow-band light observation.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

撮像システム１０１は、Ｇ照明光、Ｂ照明光及びＢ'照明光による照明を行う光源部と、被写体像からの戻り光を所定の期間毎に撮像して撮像信号を出力する撮像部１２と、第１の画像信号と、第２の画像信号と、第３の画像信号を１フィールド分ずつ生成して順次出力する前処理部３１と、順次出力される画像信号を、第１の色チャンネル、第２の色チャンネル、及び、第３の色チャンネルに選択的に割り当てる同時化処理部３２とを有する。同時化処理部３２は、第１から第３の色チャンネルに対して第１の画像信号または第２の画像信号を用いて割り当てる第１の割り当て処理と、第１から第３の色チャンネルに対して第１の画像信号または第３の画像信号を用いて割り当てる第２の割り当て処理と、を切り替える。

Description

撮像システム及び画像処理装置
　本発明は、撮像システム及び画像処理装置に関し、特に、相互に異なる複数の波長帯域の照明光を順次照射して被写体を撮像する撮像システム及び画像処理装置に関するものである。
　医療分野においては、例えば、内視鏡等のような、生体に対して低侵襲な装置を用いた手術が従来行われている。
　内視鏡を用いた観察方法としては、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）の各色の光を生体内の被写体に照射することにより、肉眼による観察と略同様の色合いの画像を得る通常光観察、及び、通常光観察の照明光に比べて狭い帯域の光を生体内の被写体に照射することにより、生体の粘膜表層に存在する血管等が強調された画像を得る狭帯域光観察等の観察方法が従来知られている。
　そして、例えば、日本国特許第５３２６０６５号公報には、Ｇ（緑）の波長帯域を透過帯域としたフィルタ及びＢ（青）の波長帯域を透過帯域とした２つのフィルタを周方向に等しい角度で設けた回転フィルタと、光源から発光される光の帯域を狭帯域にして回転フィルタに出射する狭帯域フィルタとを用いて狭帯域光観察を行う内視鏡装置が開示されている。
　この日本国特許第５３２６０６５号公報に開示された内視鏡装置は、Ｇの波長帯域の照明光と、Ｂの波長帯域の照明光とを順次照射して被写体を撮像し、被写体像を撮像して得られた複数フィールド分の画像を用いて１フレーム分の表示用画像を生成するような、面順次方式の動作を行う装置として構成されている。
　具体的には、日本国特許第５３２６０６５号公報には、例えば、Ｇ照明光による撮像と、Ｂ１及びＢ２照明光による撮像とを行い、Ｇ照明光の戻り光に基づくＧ撮像画像と、Ｂ１及びＢ２照明光の戻り光に基づくＢ１及びＢ２撮像画像と取得して、これらの撮像画像を所定の演算により合成信号を求め、狭帯域光観察用の撮像画像をモニタに表示するための構成が開示されている。
　ところで、面順次方式の狭帯域光観察においては、例えば、狭帯域光観察の１重露光において、Ｇ画像の更新のタイミングのカラー画像合成時に、更新されたＧ画像に２フィールド前のＢ画像を合成していたため、色ずれが大きくなるという問題点があった。
　そこで、本発明は、面順次方式の狭帯域光観察において表示される映像の色ずれを小さくすることができる撮像システム及び画像処理装置を提供することを目的とする。
　本発明の一態様の撮像システムは、所定の時間内に、第１の帯域の第１の照明光による照明を行うと共に、第２の帯域の第２の照明光及び前記第２の照明光より時間的に後に出射される前記第２の帯域の第３の照明光による照明を行う光源部と、前記光源部から出射される照明光により照明された被写体像からの戻り光を所定の期間毎に撮像して撮像信号を出力するように構成された撮像部と、前記撮像部から出力される撮像信号に基づき、前記第１の照明光の戻り光に応じた第１の画像信号と、前記第２の照明光の戻り光に応じた第２の画像信号と、前記第３の照明光の戻り光に応じた第３の画像信号とを１フィールド分ずつ生成して順次出力するように構成された画像生成部と、前記画像生成部から順次出力される画像信号を、赤色に対応する第１の色チャンネル、緑色に対応する第２の色チャンネル、及び、青色に対応する第３の色チャンネルに選択的に割り当てるように構成された割り当て部と、を有し、前記割り当て部は、１フレームを構成する各フィールド期間において、前記第１から前記第３の色チャンネルに対して前記第１の画像信号または前記第２の画像信号を用いて割り当てる第１の割り当て処理と、前記第１から前記第３の色チャンネルに対して前記第１の画像信号または前記第３の画像信号を用いて割り当てる第２の割り当て処理と、を切り替える。
　また、本発明の一態様の画像処理装置は、所定の時間内に、第１の帯域の第１の照明光による照明を行うと共に、第２の帯域の第２の照明光及び前記第２の照明光より時間的に後に出射される前記第２の帯域の第３の照明光による照明を行う光源部から出射される照明光により照明された被写体像からの戻り光を所定の期間毎に撮像して撮像信号を出力するように構成された撮像部から出力される撮像信号に基づき、前記第１の照明光の戻り光に応じた第１の画像信号と、前記第２の照明光の戻り光に応じた第２の画像信号と、前記第３の照明光の戻り光に応じた第３の画像信号とを１フィールド分ずつ生成して順次出力するように構成された画像生成部と、前記画像生成部から順次出力される画像信号を、赤色に対応する第１の色チャンネル、緑色に対応する第２の色チャンネル、及び、青色に対応する第３の色チャンネルに選択的に割り当てるように構成された割り当て部と、を有し、前記割り当て部は、１フレームを構成する各フィールド期間において、前記第１から前記第３の色チャンネルに対して前記第１の画像信号または前記第２の画像信号を用いて割り当てる第１の割り当て処理と、前記第１から前記第３の色チャンネルに対して前記第１の画像信号または前記第３の画像信号を用いて割り当てる第２の割り当て処理と、を切り替える。
本発明の一実施形態に係る撮像システムの構成を示す図である。 狭帯域光観察モード時の動作の一例を説明するための図である。 狭帯域光観察モード時に同時化される画像データの一例を説明するための図である。 狭帯域光観察モード時に同時化される画像データの一例を説明するための図である。 狭帯域光観察モード時に同時化される画像データの一例を説明するための図である。 狭帯域光観察モード時に同時化される画像データの他の例を説明するための図である。 狭帯域光観察モード時に同時化される画像データの他の例を説明するための図である。 狭帯域光観察モード時に同時化される画像データの他の例を説明するための図である。
　以下、図面を参照して本発明の実施形態を説明する。
　図１は、本発明の一実施形態に係る撮像システムの構成を示す図である。
　撮像システム１０１は、図１に示すように、生体である被検体内に挿入可能な細長形状の挿入部を具備するとともに、被検体内の生体組織等の被写体を撮像して撮像信号を出力する内視鏡１と、内視鏡１の内部に挿通配置されたライトガイド６を介して被写体の観察に用いられる照明光を供給する光源装置２と、内視鏡１から出力される撮像信号に応じた映像信号を生成して出力する画像処理装置としてのプロセッサ３と、プロセッサ３から出力される映像信号に応じた画像等を表示する表示装置４と、術者等のユーザの入力操作に応じた指示等をプロセッサ３に対して行うことが可能なスイッチ及び／またはボタン等を備えた入力装置５、とを有して構成されている。
　内視鏡１は、ライトガイド６により伝送された光を被写体へ照射する照明光学系１１と、照明光学系１１から照射された光に応じて被写体から発せられる戻り光を撮像して得られた撮像信号を出力する撮像部１２と、を挿入部の先端部に設けて構成されている。また、内視鏡１は、ユーザの操作に応じた種々の指示をプロセッサ３に対して行うことができるスコープスイッチ１３を有して構成されている。
　撮像部１２は、光源装置２から出射される照明光により照明された被写体からの戻り光を所定の期間毎に撮像して撮像信号を出力するように構成されている。具体的には、撮像部１２は、被写体から発せられる戻り光を結像する対物光学系１２ａと、戻り光を受光するための撮像面が対物光学系１２ａの結像位置に合わせて配置された撮像素子１２ｂと、を有して構成されている。
　撮像素子１２ｂは、例えば、ＣＣＤまたはＣＭＯＳ等により構成され、プロセッサ３から出力される撮像素子駆動信号に応じて駆動するとともに、撮像面に結像された被写体からの戻り光を撮像して得られた撮像信号を順次出力するように構成されている。
　スコープスイッチ１３には、例えば、ユーザの操作に応じ、撮像システム１０１の観察モードを白色光（通常光）観察モードまたは狭帯域光観察モードのいずれかに設定するための指示をプロセッサ３に対して行うことが可能な観察モード設定スイッチ（不図示）が設けられている。
　光源装置２は、白色光を発光するキセノンランプ等により構成される光源２１と、回転フィルタ２２とを有して構成されている。この回転フィルタ２２は、白色光観察用の回転フィルタ及び狭帯域光観察用の回転フィルタを備えて構成されている。回転フィルタ２２は、制御部３４からの切替信号に基づいて、白色光観察用の回転フィルタまたは狭帯域光観察用の回転フィルタが光源２１からの照明光の光路に挿入されるように構成されている。
　なお、回転フィルタ２２の構成は、白色光観察用及び狭帯域光観察用の回転フィルタを備えた構成に限定されることなく、他の構成であってもよい。また、光源２１は、キセノンランプ等に限定されることなく、例えば、ＬＥＤやレーザーダイオード等であってもよい。また、光源２１は、回転フィルタを備えずにLEDやレーザーダイオード等を例えばPWM制御等によりＲ（赤）光、Ｇ（緑）光、及び、Ｂ（青）光を時分割に照射するような構成であってもよい。
　回転フィルタ２２は、円板形状で、周方向には、３つの開口が等しい角度で設けられており、３つの開口には、それぞれフィルタが取り付けられている。例えば、白色光観察用の回転フィルタには、Ｒ（赤）、Ｇ（緑）、及び、Ｂ（青）のフィルタが設けられ、Ｒ光、Ｇ光、及び、Ｂ光が順次出射されるように構成されている。また、狭帯域光観察用の回転フィルタには、Ｇ（緑）、Ｂ（青）、及び、Ｂ’（青）のフィルタが設けられ、Ｇ光、Ｂ光、及び、Ｂ’光が順次出射されるように構成されている。なお、Ｂ光及びＢ’光は、同じ波長帯域の照明光である。
　すなわち、光源部を構成する光源２１及び回転フィルタ２２は、狭帯域光観察モード時には、第１の帯域の第１の照明光（Ｇ光）による照明を行うと共に、第２の帯域の第２の照明光（Ｂ光）及び第２の照明光より時間的に後に出射される第２の帯域の第３の照明光（Ｂ’）による照明を行う。なお、本実施形態では、面順次方式の撮像システムについて説明するが、これに限定されることなく、同時方式の撮像システムに適用してもよい。
　回転フィルタ２２は、中心が図示しない回転用モータの回転軸に取り付けられており、回転駆動されるように構成されている。そして、回転フィルタ２２は、制御部３４からの制御信号に基づいて、所定の速度で回転するように構成されている。
　回転フィルタ２２から出射された照明光は、ライトガイド６の入射端に入射され、内視鏡１の挿入部の先端部から被写体に向けて照射される。被写体からの戻り光は、上述したように、撮像素子１２ｂにより撮像され、撮像信号としてプロセッサ３に供給される。
　プロセッサ３は、前処理部３１と、同時化処理部３２と、画像処理部３３と、制御部３４と、を有して構成されている。
　画像生成部を構成する前処理部３１は、例えば、ノイズ低減回路及びＡ／Ｄ変換回路等の信号処理回路を具備し、内視鏡１から順次出力される撮像信号に対してノイズ除去及びＡ／Ｄ変換等の処理を施すことにより１フィールド分の画像データを生成する。そして、前処理部３１は、生成した１フィールド分の画像データを同時化処理部３２及び制御部３４へ順次出力するように構成されている。
　同時化処理部３２は、例えば、後述の同時化処理制御信号に応じて動作するセレクタと、そのセレクタの後段に接続された複数のメモリと、を具備する同時化回路として構成されている。また、同時化処理部３２は、制御部３４から出力される同時化処理制御信号に基づき、前処理部３１から順次出力される画像データを複数フィールド分蓄積する。
　そして、割り当て部を構成する同時化処理部３２は、蓄積した複数フィールド分の画像データを、表示装置４の赤色に対応するＲチャンネル、表示装置４の緑色に対応するＧチャンネル、及び、表示装置４の青色に対応するＢチャンネルに選択的に割り当てて画像処理部３３に同時に出力するように構成されている。
　画像処理部３３は、例えば、合成回路等の画像処理回路を具備して構成されている。また、画像処理部３３は、Ｒチャンネル、Ｇチャンネル及びＢチャンネルに割り当てられた状態で出力される各画像データを合成することにより１フレーム分の画像データを生成する。そして、画像処理部３３は、生成した１フレーム分の画像データに対してガンマ補正等の所定の画像処理を施すことにより映像信号を生成し、生成した映像信号を表示装置４へ順次出力するように構成されている。
　制御部３４は、例えば、ＣＰＵまたは制御回路等を具備して構成されている。また、制御部３４は、スコープスイッチ１３の観察モード設定スイッチにおいて設定された観察モードを検出し、検出した観察モードに応じた照明光を出射させるための照明制御信号を生成して回転フィルタ２２へ出力するように構成されている。また、制御部３４は、狭帯域光観察モードに設定されたことを検出した際に、前処理部３１から出力される画像データＢＤ（後述）の輝度値、すなわち、画像データＢＤから取得した評価値に基づき、Ｒチャンネル、Ｇチャンネル及びＢチャンネルにおける画像データの割り当て及び画像データの更新頻度をそれぞれ設定するための同時化処理制御信号を生成して同時化処理部３２へ出力するように構成されている。
　次に、このように構成された撮像システムの動作について説明する。
　まず、ユーザは、撮像システム１０１の各部を接続して電源を投入した後、スコープスイッチ１３の観察モード設定スイッチを操作することにより、撮像システム１０１の観察モードを白色光観察モードに設定する。
　制御部３４は、白色光観察モードに設定されたことを検出すると、白色光観察用の回転フィルタを所定の速度で回転させるための制御信号を生成して回転フィルタ２２に出力する。また、制御部３４は、被写体からの戻り光を所定期間毎に撮像させるための撮像素子駆動信号を生成して撮像素子１２ｂに出力する。また、制御部３４は、白色光観察モードに設定されたことを検出すると、Ｒチャンネル、Ｇチャンネル及びＢチャンネルにおける画像データの割り当て及び画像データの更新頻度をそれぞれ設定するための同時化処理制御信号を生成して同時化処理部３２に出力する。
　白色光観察用の回転フィルタは、Ｒフィルタ、Ｇフィルタ、Ｂフィルタが設けられており、白色光観察用の回転フィルタが所定の速度で回転することにより、光源装置２から出射されるとともに照明光学系１１を経て被写体に照射される照明光が、Ｒ光→Ｇ光→Ｂ光→Ｒ光…の順にかつ所定期間毎に切り替わる。
　撮像素子１２ｂは、制御部３４から出力される撮像素子駆動信号に基づき、光源装置２から出射される照明光により照明された被写体からの戻り光を所定期間毎に撮像して撮像信号を出力する。すなわち、このような撮像素子１２ｂの動作によれば、Ｒ光が照明されている期間中に受光した戻り光、Ｇ光が照射されている期間中に受光した戻り光、及び、Ｂ光が照射されている期間中に受光した戻り光がそれぞれ１回ずつ撮像される。
　前処理部３１は、撮像素子１２ｂから出力される撮像信号に基づき、Ｒ光の戻り光に応じた画像データＲＤと、Ｇ光の戻り光に応じた画像データＧＤと、Ｂ光の戻り光に応じた画像データＢＤと、を１フィールド分ずつ生成して同時化処理部３２及び制御部３４へ順次出力する。
　同時化処理部３２は、制御部３４から出力される同時化処理制御信号に基づき、前処理部３１から順次出力される画像データＲＤ、ＧＤ及びＢＤを１フィールド分ずつ蓄積する。そして、同時化処理部３２は、蓄積した１フィールド分の画像データＲＤをＲチャンネルに割り当て、蓄積した１フィールド分の画像データＧＤをＧチャンネルに割り当て、蓄積した１フィールド分の画像データＢＤをＢチャンネルに割り当てて、画像処理部３３に同時に出力する。また、同時化処理部３２は、制御部３４から出力される同時化処理制御信号に基づき、Ｒチャンネルに割り当てる画像データＲＤを１回更新する動作と、Ｇチャンネルに割り当てる画像データＧＤを１回更新する動作と、Ｂチャンネルに割り当てる画像データＢＤを１回更新する動作と、を順次行う。
　画像処理部３３は、Ｒチャンネルに割り当てられた画像データＲＤと、Ｇチャンネルに割り当てられた画像データＧＤと、Ｂチャンネルに割り当てられた画像データＢＤと、を合成することにより１フレーム分のＲＧＢカラー画像データを生成する。そして、画像処理部３３は、生成した１フレーム分のＲＧＢカラー画像データに対してガンマ補正等の所定の画像処理を施すことにより映像信号を生成し、生成した映像信号を表示装置４に順次出力する。
　一方、ユーザは、撮像システム１０１の観察モードを白色光観察モードに設定した状態において、表示装置４に表示される画像を確認しながら内視鏡１の挿入部を被検体の内部に挿入してゆくことにより、挿入部の先端部を所望の被写体の近傍に配置する。その後、ユーザは、内視鏡１の挿入部の先端部を所望の被写体の近傍に配置した状態において、スコープスイッチ１３の観察モード設定スイッチを操作することにより、撮像システム１０１の観察モードを狭帯域光観察モードに設定する。
　図２は、狭帯域光観察モード時の動作の一例を説明するための図である。制御部３４は、狭帯域光観察モードに設定されたことを検出すると、狭帯域光観察用の回転フィルタを所定の速度で回転させるための制御信号を生成して回転フィルタ２２に出力する。また、制御部３４は、被写体からの戻り光を所定期間ＦＰ１毎に撮像させるための撮像素子駆動信号を生成して撮像素子１２ｂに出力する。また、制御部３４は、狭帯域光観察モードに設定されたことを検出すると、Ｒチャンネル、Ｇチャンネル及びＢチャンネルにおける画像データの割り当て及び画像データの更新頻度をそれぞれ設定するための同時化処理制御信号を生成して同時化処理部３２に出力する。
　狭帯域光観察用の回転フィルタは、Ｇフィルタ、Ｂフィルタ、Ｂ’フィルタが設けられており、狭帯域光観察用の回転フィルタが所定の速度で回転することにより、光源装置２から出射されるとともに照明光学系１１を経て被写体に照射される照明光が、図２に示すように、Ｇ０光→Ｂ０光→Ｂ０’光→Ｇ１光…の順にかつ所定期間ＦＰ１毎に切り替わる。
　撮像素子１２ｂは、制御部３４から出力される撮像素子駆動信号に基づき、光源装置２から出射される照明光により照明された被写体からの戻り光を所定期間ＦＰ１毎に撮像して撮像信号を出力する。すなわち、このような撮像素子１２ｂの動作によれば、Ｇ光が照射されている期間中に受光した戻り光、Ｂ光が照射されている期間中に受光した戻り光、及び、Ｂ’光が照射されている期間中に受光した戻り光がそれぞれ１回ずつ撮像される。
　前処理部３１は、撮像素子１２ｂから出力される撮像信号に基づき、Ｇ光の戻り光に応じた画像データ（第１の画像信号）ＧＤと、Ｂ光の戻り光に応じた画像データ（第２の画像信号）ＢＤと、Ｂ’光の戻り光に応じた画像データ（第３の画像信号）ＢＤ’と、を１フィールド分ずつ生成して同時化処理部３２及び制御部３４へ順次出力する。
　同時化処理部３２は、制御部３４から出力される同時化処理制御信号に基づき、前処理部３１から順次出力される画像データＧＤ、ＢＤ及びＢＤ’を１フィールド分ずつ蓄積する。そして、同時化処理部３２は、所定のタイミングで下記の式（１）または式（２）を切り替えて、蓄積した複数フィールド分の画像データを各色チャンネルに割り当てる処理を行う。
式１
Figure JPOXMLDOC01-appb-I000001
式２
Figure JPOXMLDOC01-appb-I000002
　具体的には、同時化処理部３２は、Ｒチャンネル（第１のチャンネル）に画像データＧＤを割り当てたタイミング（画像データＧＤを更新するタイミング：図２の所定期間ＦＰ１ａ及びＦＰ１ｂのタイミング）である第１のフィールド期間において、式（２）を用いた割り当て処理（第２の割り当て処理）を行い、Ｇチャンネル（第２のチャンネル）及びＢチャンネル（第３のチャンネル）に画像データＢＤ’を割り当てる。
　一方、同時化処理部３２は、Ｒチャンネルに画像データＧＤを割り当てたタイミングである第１のフィールド期間以外のフィールド期間において、式（１）を用いた割り当て処理（第１の割り当て処理）を行い、Ｇチャンネル及びＢチャンネルに画像データＢＤを割り当てる。
　すなわち、同時化処理部３２は、第１のフィールド期間では、蓄積した１フィールド分の画像データＧＤをＲチャンネルに割り当て、蓄積した１フィールド分の画像データＢＤ’をＧチャンネル及びＢチャンネルに割り当てる。一方、同時化処理部３２は、第１のフィールド期間以外のフィールド期間では、蓄積した１フィールド分の画像データＧＤをＲチャンネルに割り当て、蓄積した１フィールド分の画像データＢＤをＧチャンネル及びＢチャンネルに割り当てる。同時化処理部３２は、このように画像データを各色チャンネルに割り当てて、画像処理部３３に同時に出力する。
　なお、上記式（１）及び式（２）において、Ｗは、画像データＢＤ＋画像データＢＤ’の輝度値に応じて変更される変数であり、０≦Ｗ≦１である。Ｗ＝０の場合、１フィールド分の画像データＧＤと、１フィールド分の画像データＢＤまたはＢＤ’とを同時化（合成）する一重露光となる。一方、０＜Ｗ≦１の場合、一重露光で使用している画像データに加え、一重露光で使用していない画像データＢＤまたはＢＤ’を所定の割合で同時化する二重露光となる。
　具体的には、画像データＢＤの輝度値が所定の閾値未満の場合、ＢＤ＋ＢＤ’＊Ｗが所定の閾値となるようにＷ（０＜Ｗ≦１）を決定する。
　また、画像データＢＤの輝度値が所定の閾値以上の場合、Ｗ＝０となり、一重露光となる。
　本説明は、実施例に従いフレームに応じてＢＤとＢＤ’が逆転する。また、ユーザによって一重露光と二重露光とを切り替えるように構成してもよい。
　画像処理部３３は、第１のフィールド期間では、Ｒチャンネルに割り当てられた画像データＧＤと、Ｇチャンネル及びＢチャンネルに割り当てられた画像データＢＤ’と、を合成することにより１フレーム分の狭帯域光画像データを生成する。一方、画像処理部３３は、第１のフィールド期間以外のフィールド期間では、Ｒチャンネルに割り当てられた画像データＧＤと、Ｇチャンネル及びＢチャンネルに割り当てられた画像データＢＤと、を合成することにより１フレーム分の狭帯域光画像データを生成する。そして、画像処理部３３は、生成した１フレーム分の狭帯域光画像データに対してガンマ補正等の所定の画像処理を施すことにより映像信号を生成し、生成した映像信号を表示装置４に順次出力する。
　図３は、狭帯域光観察モード時に同時化される画像データの一例を説明するための図である。なお、図３は、式（１）及び式（２）のＷがＷ＝０の一重露光の場合に同時化される画像データの一例である。
　図３Ａは、順次撮像された画像データＧＤ０、ＢＤ０、ＢＤ０’がメモリに格納された状態を示している。この場合、従来及び本実施形態では、式（１）を用いて割り当て処理を行い、画像データＧＤ０と、画像データＢＤ０とが同時化されることになる。
　図３Ｂは、さらに、画像データＧＤ１がメモリに格納された状態を示している。すなわち、図３Ｂは、画像データＧＤ１の更新のタイミングを示している。従来では、画像データＧＤ１の更新のタイミングでも、式（１）を用いて割り当て処理を行っていた。そのため、図３Ｂに示すように、従来では、画像データＧＤ１と、２フィールド前の画像データＢＤ０とが同時化されていた。
　これに対し、本実施形態では、画像データＧＤ１の更新のタイミングにおいて、式（１）から式（２）に切り替えて、切り替えた式（２）を用いて割り当て処理を行っている。そのため、図３Ｂに示すように、本実施形態では、画像データＧＤ１と、１フィールド前の画像データＢＤ０’とが同時化されることになる。
　図３Ｃは、さらに、画像データＢＤ１がメモリに格納された状態を示している。この場合、従来及び本実施形態では、式（１）を用いて割り当て処理を行い、画像データＧＤ１と、画像データＢＤ１とが同時されることになる。従来では、図３Ｂから図３Ｃに変更した際、同時化する画像データが、画像データＢＤ０から画像データＢＤ１に変更される。そのため、同時化されるＢの画像データが一気に移動することになり、動画観察時にガタついて見える。
　このように、従来では、画像データＧＤ１を更新するタイミングで、更新された画像データＧＤ１と２フィールド前の画像データＢＤ０とを用いて同時化していたため、色ずれが大きく、動画観察時にガタついて見えていた。
　これに対し、本実施形態では、画像データＧＤを更新するタイミングにおいて、割り当て処理を式（１）から式（２）に切り替えることで、更新された画像データＧＤ１と、１フィールド前の画像データＢＤ０’とを用いて同時化するようにしている。より具体的には、撮像システム１０１は、狭帯域光観察モードにおいて、Ｒチャンネルに画像データＧＤを割り当てるタイミングである第１のフィールド期間に、式（２）を用いた第２の割り当て処理を行い、第１のフィールド期間以外の期間に、式（１）を用いた第１の割り当て処理を行うようにしている。
　この結果、本実施形態の撮像システム１０１は、狭帯域光観察モード時の一重露光において、２フィールド前の画像データＢＤを用いて同時化されることがないため、色ずれが軽減され、動画観察時にガタつきが解消されることになる。
　次に、二重露光について説明する。制御部３４は、画像データＢＤと画像データＢＤ’とを加算して得られる画像データ（第４の画像信号）の輝度値が所定の閾値未満か否かを判定する。加算して得られた画像データの輝度値が所定の閾値未満である場合、画像データＢＤと画像データＢＤ’とを加算して得られる画像データをＧチャンネル及びＢチャンネルに割り当てるための同時化処理制御信号を生成して同時化処理部３２に出力する。なお、加算して得られた画像データの輝度値が所定の閾値以上の場合、上述した一重露光の制御が行われる。
　同時化処理部３２は、Ｒチャンネルに画像データＧＤを割り当てたタイミングである第１のフィールド期間において、上述した式（２）を用いた割り当て処理を行い、Ｇチャンネル及びＢチャンネルに所定の割合の画像データＢＤと１フィールド分の画像データＢＤ’とを加算した画像データを割り当てる。なお、所定の割合は、画像データＢＤと画像データＢＤ’とを加算して得られる画像データの輝度値に応じて変更されるものである。
　一方、同時化処理部３２は、Ｒチャンネルに画像データＧＤを割り当てたタイミングである第１のフィールド期間以外のフィールド期間において、上述した式（１）を用いた割り当て処理を行い、Ｇチャンネル及びＢチャンネルに１フィールド分の画像データＢＤと所定の割合の画像データＢＤ’とを加算した画像データを割り当てる。
　図４は、狭帯域光観察モード時に同時化される画像データの他の例を説明するための図である。なお、図４は、式（１）及び式（２）のＷが０＜Ｗ≦１の二重露光の場合に同時化される画像データの一例である。
　図４Ａは、順次撮像された画像データＧＤ０、ＢＤ０、ＢＤ０’がメモリに格納された状態を示している。この場合、従来及び本実施形態では、式（１）を用いて割り当て処理を行い、画像データＧＤ０と、画像データＢＤ０と、所定の割合（例えば、０より大きく１以下）の画像データＢＤ０’と、が同時化されることになる。
　図４Ｂは、さらに、画像データＧＤ１がメモリに格納された状態を示している。すなわち、図４Ｂは、画像データＧＤ１の更新のタイミングを示している。従来では、画像データＧＤ１の更新のタイミングでも、式（１）を用いて割り当て処理を行っていた。そのため、図４Ｂに示すように、従来では、画像データＧＤ１と、２フィールド前の画像データＢＤ０と、１フィールド前の所定の割合の画像データＢＤ０’と、が同時化されていた。
　これに対し、本実施形態では、画像データＧＤ１の更新のタイミングにおいて、式（１）から式（２）に切り替えて、切り替えた式（２）を用いて割り当て処理を行っている。そのため、図４Ｂに示すように、本実施形態では、画像データＧＤ１と、１フィールド前の画像データＢＤ０’と、２フィールド前の所定の割合の画像データＢＤ０と、が同時化されることになる。
　図４Ｃは、さらに、画像データＢＤ１がメモリに格納された状態を示している。この場合、従来及び本実施形態では、式（１）を用いて割り当て処理を行い、画像データＧＤ１と、１フィール後の画像データＢＤ１と、１フィールド前の所定の割合の画像データＢＤ０’と、が同時されることになる。
　このように、従来では、画像データＧＤ１を更新するタイミングで、更新された画像データＧＤ１と、２フィールド前の画像データＢＤ０と、１フィールド前の所定の割合の画像データＢＤ０’とを用いて同時化していた。すなわち、画像データＧＤ１と２フィールド前の画像データＢＤ０とをメインにし、さらに１フィールド前の所定の割合の画像データＢＤ０’を用いて同時化していたため、色ずれが若干大きくなっていた。
　これに対し、本実施形態では、画像データＧＤを更新するタイミングにおいて、割り当て処理を式（１）から式（２）に切り替えることで、更新された画像データＧＤ１と、１フィールド前の画像データＢＤ０’とをメインにし、さらに２フィールド前の所定の割合の画像データＢＤ０を用いて同時化するようにしている。
　この結果、本実施形態の撮像システム１０１は、狭帯域光観察モード時の二重露光において、２フィールド前の画像データＢＤをメインとして同時化されることがないため、色ずれが軽減されることになる。
　よって、本実施形態の撮像システムによれば、面順次方式の狭帯域光観察において表示される映像の色ずれを小さくすることができる。
　本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本出願は、２０１５年１２月２４日に日本国に出願された特願２０１５－２５２０２８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (8)

  1. 　所定の時間内に、第１の帯域の第１の照明光による照明を行うと共に、第２の帯域の第２の照明光及び前記第２の照明光より時間的に後に出射される前記第２の帯域の第３の照明光による照明を行う光源部と、
    　前記光源部から出射される照明光により照明された被写体像からの戻り光を所定の期間毎に撮像して撮像信号を出力するように構成された撮像部と、
    　前記撮像部から出力される撮像信号に基づき、前記第１の照明光の戻り光に応じた第１の画像信号と、前記第２の照明光の戻り光に応じた第２の画像信号と、前記第３の照明光の戻り光に応じた第３の画像信号とを１フィールド分ずつ生成して順次出力するように構成された画像生成部と、
    　前記画像生成部から順次出力される画像信号を、赤色に対応する第１の色チャンネル、緑色に対応する第２の色チャンネル、及び、青色に対応する第３の色チャンネルに選択的に割り当てるように構成された割り当て部と、を有し、
    　前記割り当て部は、１フレームを構成する各フィールド期間において、前記第１から前記第３の色チャンネルに対して前記第１の画像信号または前記第２の画像信号を用いて割り当てる第１の割り当て処理と、前記第１から前記第３の色チャンネルに対して前記第１の画像信号または前記第３の画像信号を用いて割り当てる第２の割り当て処理と、を切り替えることを特徴とする撮像システム。
  2. 　前記割り当て部は、前記第２の割り当て処理として、前記第１のチャンネルに前記第１の画像信号を割り当てたタイミングである第１のフィールド期間において、前記第２及び前記第３のチャンネルに前記第３の画像信号を割り当てることを特徴とする請求項１に記載の撮像システム。
  3. 　前記割り当て部は、前記第１の割り当て処理として、前記所定の時間内に設定される前記第１のフィールド期間以外のフィールド期間において、前記第２及び前記第３のチャンネルに前記第２の画像信号を割り当てることを特徴とする請求項２に記載の撮像システム。
  4. 　前記第２の画像信号と前記第３の画像信号の輝度値を加算して得られる第４の画像信号生成する画像合成部をさらに備え、
    　前記割り当て部は、前記画像生成部により生成される画像信号の輝度値が所定の閾値未満である場合、前記第２及び前記第３のチャンネルに前記第４の画像信号を割り当てることを特徴とする請求項１に記載の撮像システム。
  5. 　所定の時間内に、第１の帯域の第１の照明光による照明を行うと共に、第２の帯域の第２の照明光及び前記第２の照明光より時間的に後に出射される前記第２の帯域の第３の照明光による照明を行う光源部から出射される照明光により照明された被写体像からの戻り光を所定の期間毎に撮像して撮像信号を出力するように構成された撮像部から出力される撮像信号に基づき、前記第１の照明光の戻り光に応じた第１の画像信号と、前記第２の照明光の戻り光に応じた第２の画像信号と、前記第３の照明光の戻り光に応じた第３の画像信号とを１フィールド分ずつ生成して順次出力するように構成された画像生成部と、
    　前記画像生成部から順次出力される画像信号を、赤色に対応する第１の色チャンネル、緑色に対応する第２の色チャンネル、及び、青色に対応する第３の色チャンネルに選択的に割り当てるように構成された割り当て部と、を有し、
    　前記割り当て部は、１フレームを構成する各フィールド期間において、前記第１から前記第３の色チャンネルに対して前記第１の画像信号または前記第２の画像信号を用いて割り当てる第１の割り当て処理と、前記第１から前記第３の色チャンネルに対して前記第１の画像信号または前記第３の画像信号を用いて割り当てる第２の割り当て処理と、を切り替えることを特徴とする画像処理装置。
  6. 　前記割り当て部は、前記第２の割り当て処理として、前記第１のチャンネルに前記第１の画像信号を割り当てたタイミングである第１のフィールド期間において、前記第２及び前記第３のチャンネルに前記第３の画像信号を割り当てることを特徴とする請求項５に記載の画像処理装置。
  7. 　前記割り当て部は、前記第１の割り当て処理として、前記所定の時間内に設定される前記第１のフィールド期間以外のフィールド期間において、前記第２及び前記第３のチャンネルに前記第２の画像信号を割り当てることを特徴とする請求項６に記載の画像処理装置。
  8. 　前記第２の画像信号と前記第３の画像信号の輝度値を加算して得られる第４の画像信号生成する画像合成部をさらに備え、
    　前記割り当て部は、前記画像生成部により生成される画像信号の輝度値が所定の閾値未満である場合、前記第２及び前記第３のチャンネルに前記第４の画像信号を割り当てることを特徴とする請求項５に記載の画像処理装置。
PCT/JP2016/086514 2015-12-24 2016-12-08 撮像システム及び画像処理装置 WO2017110492A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680074664.XA CN108366711A (zh) 2015-12-24 2016-12-08 摄像***和图像处理装置
JP2017548315A JP6242558B2 (ja) 2015-12-24 2016-12-08 撮像システム及び画像処理装置
EP16878384.3A EP3378374A4 (en) 2015-12-24 2016-12-08 IMAGING SYSTEM AND IMAGE PROCESSING DEVICE
US16/014,030 US10575721B2 (en) 2015-12-24 2018-06-21 Image pickup system and image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015252028 2015-12-24
JP2015-252028 2015-12-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/014,030 Continuation US10575721B2 (en) 2015-12-24 2018-06-21 Image pickup system and image processing apparatus

Publications (1)

Publication Number Publication Date
WO2017110492A1 true WO2017110492A1 (ja) 2017-06-29

Family

ID=59090169

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086514 WO2017110492A1 (ja) 2015-12-24 2016-12-08 撮像システム及び画像処理装置

Country Status (5)

Country Link
US (1) US10575721B2 (ja)
EP (1) EP3378374A4 (ja)
JP (1) JP6242558B2 (ja)
CN (1) CN108366711A (ja)
WO (1) WO2017110492A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5326065B2 (ja) 2011-08-26 2013-10-30 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2013248319A (ja) * 2012-06-04 2013-12-12 Olympus Corp 蛍光内視鏡装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7179222B2 (en) * 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
JP4632645B2 (ja) * 2002-12-12 2011-02-16 オリンパス株式会社 イメージング装置およびプロセッサ装置
JP4709606B2 (ja) * 2005-07-28 2011-06-22 オリンパスメディカルシステムズ株式会社 生体観測装置
TW201037679A (en) * 2009-04-10 2010-10-16 Faraday Tech Corp Field color sequential imaging method and related technology
CN103153158B (zh) * 2010-12-17 2015-09-23 奥林巴斯医疗株式会社 内窥镜装置
JP5554253B2 (ja) * 2011-01-27 2014-07-23 富士フイルム株式会社 電子内視鏡システム
JP5690788B2 (ja) * 2012-09-07 2015-03-25 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、及びカプセル内視鏡システム
US9098887B2 (en) * 2012-10-12 2015-08-04 Mediatek Inc. Image compression method and apparatus for encoding pixel data of frame into interleaved bit-stream, and related image decompression method and apparatus
JP6460631B2 (ja) * 2014-02-19 2019-01-30 オリンパス株式会社 撮像装置、内視鏡装置及び顕微鏡装置
CN106714657B (zh) 2014-11-07 2018-10-09 奥林巴斯株式会社 摄像***
CN107405056B (zh) * 2015-03-17 2020-06-30 奥林巴斯株式会社 活体观察***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5326065B2 (ja) 2011-08-26 2013-10-30 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP2013248319A (ja) * 2012-06-04 2013-12-12 Olympus Corp 蛍光内視鏡装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3378374A4

Also Published As

Publication number Publication date
CN108366711A (zh) 2018-08-03
JP6242558B2 (ja) 2017-12-06
JPWO2017110492A1 (ja) 2018-01-11
US20180296078A1 (en) 2018-10-18
EP3378374A4 (en) 2019-07-24
EP3378374A1 (en) 2018-09-26
US10575721B2 (en) 2020-03-03

Similar Documents

Publication Publication Date Title
JP6956805B2 (ja) 内視鏡システム、内視鏡システムの制御方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP5496075B2 (ja) 内視鏡診断装置
JP5308815B2 (ja) 生体観測システム
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
JP5981056B2 (ja) 内視鏡装置
JP5747362B2 (ja) 内視鏡装置
JP4744279B2 (ja) 電子内視鏡装置
JP5041936B2 (ja) 生体観測装置
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
JP2012125462A (ja) 画像処理装置
JP6137892B2 (ja) 撮像システム
JP6043025B2 (ja) 撮像システム及び画像処理装置
JP6242558B2 (ja) 撮像システム及び画像処理装置
JP5764472B2 (ja) 内視鏡診断装置
JP7123135B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP6261446B2 (ja) 内視鏡装置
US20210244261A1 (en) Medical image processing apparatus and medical observation system
JP2023018543A (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16878384

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017548315

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016878384

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016878384

Country of ref document: EP

Effective date: 20180622