WO2016147822A1 - 重畳画像生成装置及び重畳画像生成方法 - Google Patents

重畳画像生成装置及び重畳画像生成方法 Download PDF

Info

Publication number
WO2016147822A1
WO2016147822A1 PCT/JP2016/055426 JP2016055426W WO2016147822A1 WO 2016147822 A1 WO2016147822 A1 WO 2016147822A1 JP 2016055426 W JP2016055426 W JP 2016055426W WO 2016147822 A1 WO2016147822 A1 WO 2016147822A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
fluorescent
pixel
superimposed
Prior art date
Application number
PCT/JP2016/055426
Other languages
English (en)
French (fr)
Inventor
太加之 佐藤
光春 三輪
和勝 平譯
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to EP16764652.0A priority Critical patent/EP3272265B1/en
Priority to US15/557,873 priority patent/US10223779B2/en
Publication of WO2016147822A1 publication Critical patent/WO2016147822A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present invention relates to a superimposed image generating apparatus and a superimposed image generating method for generating an image in which a background image is superimposed on a fluorescent image to be measured.
  • Patent Document 1 describes a configuration in which the balance between a fluorescent image and a reflected image is adjusted by superimposing binned fluorescent image data and reflected image data.
  • Patent Document 2 an image of a fluorescent image is generated by assigning data including an estimated fluorescence yield and the like to a pixel value, and an observation image is output by superimposing the image on a reflected image.
  • the present invention has been made in view of such problems, and provides a superimposed image generation apparatus and a superimposed image generation method that make it easier to recognize a fluorescent image in a superimposed image in which a fluorescent image and a background image are superimposed. For the purpose.
  • a superimposed image generation apparatus generates a fluorescent image by capturing fluorescence emitted from an object, and superimposes a background image on the fluorescent image to generate a superimposed image.
  • a light irradiating unit that outputs excitation light to an object in a first period and stops output of excitation light in a second period different from the first period;
  • An imaging unit having a plurality of pixels arranged and outputting first image data and second image data by imaging a target object in each of a first period and a second period;
  • a coefficient setting unit for setting a coefficient for adjusting the luminance value of the background image, and fluorescent image data including the fluorescent image and background image data including the background image based on the first image data and the second image data.
  • An image processing unit to be created comprising: a specific unit that identifies, from the plurality of pixels, a fluorescent pixel that is a pixel constituting a fluorescent image and a non-fluorescent pixel that is a pixel excluding the fluorescent pixel, using the optical image data.
  • the unit adds a value obtained by adding the pixel value of the fluorescent pixel of the fluorescent image data and the pixel value of the fluorescent pixel of the background image data in a one-to-one ratio.
  • a value obtained by multiplying at least the pixel value of the non-fluorescent pixel of the background image data by a coefficient is calculated as the pixel value of the non-fluorescent pixel of the superimposed image.
  • the superimposed image generation method is a method of generating a fluorescent image by capturing fluorescence emitted from an object and generating a superimposed image by superimposing a background image on the fluorescent image.
  • a step of outputting the first image data and the second image data by imaging the object in each of the first period and the second period using the imaging element having a plurality of pixels A step of setting a coefficient for adjusting the luminance value of the background image in the superimposed image (setting step), and fluorescence image data including a fluorescence image based on the first image data and the second image data
  • the first image data is acquired by capturing the target object in the first period in which the target object is irradiated with the excitation light, and the target object is acquired.
  • the second image data is acquired by imaging the object in the second period during which no excitation light is irradiated, and the fluorescence image in which the fluorescence image is reflected based on the first and second image data Data and background image data reflecting the background image are created.
  • a fluorescent pixel constituting the fluorescent image and a non-fluorescent pixel excluding the fluorescent pixel are specified from the plurality of pixels of the fluorescent image data, and the pixel value of the fluorescent pixel of the fluorescent image data and the pixel of the fluorescent pixel of the background image data
  • a value obtained by adding a value to a ratio of 1: 1 is used as the pixel value of the fluorescent pixel, and at least a value obtained by multiplying the pixel value of the non-fluorescent pixel of the background image data by a coefficient is used as the pixel value of the non-fluorescent pixel.
  • a superimposed image is created.
  • the luminance of the background image can be adjusted relative to the luminance of the fluorescent image, and the luminance of the fluorescent image can be maintained conspicuously with respect to the background image.
  • the fluorescent image can be recognized more easily in the superimposed image.
  • FIG. 1 is a block diagram showing a schematic configuration of a fluorescence image acquisition system 1 according to a preferred embodiment of the present invention. It is a timing chart which shows the timing of the various operations controlled by the camera controller 15 of FIG. It is a graph which shows the one-dimensional distribution of the pixel value of the fluorescence image data of the process target of the specific
  • FIG. 1 is a block diagram showing a schematic configuration of a fluorescence image acquisition system 1 according to a preferred embodiment of the present invention.
  • the fluorescence image acquisition system 1 shown in FIG. 1 is configured so that a user can observe the observation object P as a moving image by acquiring an observation image of the observation object P in time series at a predetermined frame rate.
  • the observation object P is, for example, a living tissue, and a fluorescent dye such as indocyanine green is introduced in advance.
  • a fluorescent dye such as indocyanine green
  • a fluorescence image acquisition system 1 which is one form of a superimposed image generation device, is electrically connected to a camera unit 7 including an imaging device (imaging unit) 3 and a light irradiation device (light irradiation unit) 5, and the camera unit 7.
  • a camera controller 15 having a control unit 9 for controlling the camera unit 7, a specifying unit 11 for processing image data output from the camera unit 7, and an image processing unit 13, and a display electrically connected to the camera controller
  • a device 17, an input device 19, and a storage device 21 are provided.
  • the light irradiation device 5 turns on / off the output of the excitation light L 1 of the light source 5 a and the light source 5 a that outputs the excitation light L 1 for exciting the fluorescent dye for the fluorescence observation with respect to the observation object P.
  • a light source controller 5b to be controlled is incorporated.
  • the light source 5a is a light emitting element such as an LED (light emitting diode), LD (laser diode), or SLD (super luminescent diode), and outputs light having a wavelength that excites the fluorescent dye.
  • the light source controller 5b is a control circuit that switches ON (output state) and OFF (output stop state) of the excitation light output of the light source 5a under the control of the camera controller 15 electrically connected to the camera unit 7. is there.
  • the wavelength of the light output from the light source 5a does not include the wavelength of fluorescence.
  • the light irradiation device 5 includes an optical filter (not shown) that blocks light having the same wavelength as the fluorescence wavelength among the light output from the light source 5a. You may prepare.
  • the imaging device 3 is a device that captures a light image from the observation object P under the control of the camera controller 15.
  • the imaging device 3 transmits light having a wavelength of the fluorescence L 2 emitted by the fluorescent dye, an optical filter 3a for blocking light of a wavelength of the excitation light L 1, the fluorescence L 2 and the observation object is transmitted through the optical filter 3a
  • the image sensor 3b that receives background light, which is light from the background of the fluorescent image of P, and outputs image data by photoelectrically converting the light, and the exposure timing and exposure of the image sensor 3b under the control of the camera controller 15
  • an imaging control unit 3c that adjusts the time.
  • the imaging element 3b is an area image sensor such as a CCD image sensor or a CMOS image sensor, and has a plurality of pixels (photoelectric conversion elements) arranged two-dimensionally.
  • the optical filter 3a in addition to light of the wavelength of the fluorescence L 2, and is configured to transmit also light of the wavelength of the reflected light generated in the observed object P by the illumination light emitted from an external lighting device. Therefore, the image sensor 3b receives reflected light from the observation object P as background light.
  • the imaging element 3b receives fluorescence and background light from the observation object P during the ON period of the excitation light output of the light source 5a (hereinafter simply referred to as “on period”) ( On the other hand, during the period when the excitation light output of the light source 5a is OFF (hereinafter simply referred to as “off period”), the image sensor 3b is an observation target. Background light from the object P is received (imaged), and off-image data is output as image data accordingly.
  • the imaging control unit 3c controls the exposure time to be, for example, 30 msec, and changes the setting of the camera unit 7
  • the exposure time is controlled to be variable in the range of 60 msec to 1 msec.
  • the camera controller 15 is a data processing device that includes an arithmetic processing circuit such as an FPGA (field-programmable gate array) or a CPU (Central Processing Unit), a memory, and the like.
  • the image processing unit 13 is functionally mounted.
  • the control unit 9, the specifying unit 11, and the image processing unit 13 are not limited to being configured in the same device, and may be configured to be distributed among a plurality of devices.
  • the control unit 9 of the camera controller 15 controls the operations of the imaging device 3 and the light irradiation device 5. That is, the control unit 9 controls the excitation light output ON / OFF by the light irradiation device 5 and the exposure timing of the image sensor 3b to be synchronized with each other (details will be described later).
  • the image processing unit 13 of the camera controller 15 performs image processing on the on-image data and the off-image data output from the image sensor 3b, and thereby the fluorescence image in which the fluorescence distribution of the light image from the observation target P is reflected. And background image data including a background image reflecting the background distribution of the light image from the observation object P is created.
  • the image processing unit 13 calculates a difference (“on image data” ⁇ “off image data”) at the same pixel position of each image data between the on image data and the off image data.
  • fluorescent image data is created.
  • the image processing unit 13 creates background image data using the off-image data as it is.
  • the image processing unit 13 uses the fluorescent image data and the background image data to superimpose image data in which an image in which the background image from the observation target P and the fluorescent image from the observation target P are superimposed is reflected. And the created superimposed image data is sent as output image data to the display device 17 and the storage device 21 (details of the method for creating a superimposed image will be described later).
  • the specifying unit 11 of the camera controller 15 uses the fluorescent image data created by the image processing unit 13, and uses a plurality of pixels included in the image data to form a fluorescent pixel that is a pixel constituting a fluorescent image, and the fluorescent pixel A background pixel (non-fluorescent pixel) that is a pixel excluding the pixel is specified (details of the pixel specifying method will be described later). Then, the specifying unit 11 passes information on the specified pixel to the image processing unit 13.
  • the display device 17 is an image output device such as a display device connected to the camera controller 15 and displays display image data sent from the image processing unit 13.
  • the input device 19 is a data input device such as a keyboard, a mouse, or a touch panel display connected to the camera controller 15, parameters for designating imaging conditions in the camera unit 7, and image processing in the image processing unit 13. Enter the parameters that indicate the conditions for Further, the camera unit 7 or the camera controller 15 may be provided with a button or the like, so that the camera unit 7 or the camera controller 15 may be provided with the function of the input device 19.
  • the input device 19 inputs the setting of the coefficient m indicating the exposure time of the imaging device 3, the irradiation intensity of the light irradiation device 5, and the adjustment ratio of the pixel value of the background image at the time of creating the superimposed image in the image processing unit 13. Accept. Further, the input device 19 sets these received parameters in the camera controller 15. That is, the input device 19 functions as a coefficient setting unit that sets the coefficient m.
  • the storage device 21 is a data storage device connected to the camera controller 15, and stores display image data, various image data processed by the camera controller 15, and various parameters set by the input device 19. .
  • FIG. 2A and 2B are timing charts showing timings of various operations controlled by the camera controller 15.
  • FIG. 2A is an ON / OFF timing of the excitation light output of the light source 5a
  • FIG. 2B is an exposure timing of the image sensor 3b
  • (c) shows the image data storage timing of the image processing unit 13
  • (d) shows the fluorescent image data creation timing of the image processing unit 13, respectively.
  • the control unit 9 excites the excitation light of the light source 5a so that the on period and the off period are alternately repeated in synchronization with the exposure period of one frame of the image sensor 3b.
  • ON / OFF timing is controlled. That is, the length of the on period, the length of the off period, and the length of the exposure period are substantially the same, and the off period is set to be a period different from the on period.
  • the image processing unit 13 acquires, as the on-image data A, the image data output based on the charges accumulated according to the exposure of the image sensor 3b during the on-period.
  • the image processing unit 13 acquires, as off-image data B, image data output based on the charge accumulated according to the exposure of the image sensor 3b in the subsequent off-period.
  • the first on-image data A is stored in the memory in the image processing unit 13 at the time of acquisition, and the off-image data B acquired thereafter is input to the difference circuit in the image processing unit 13 and also stored in the memory. Saved.
  • the on-image data A in the memory is also input to the difference circuit at the timing when the off-image data B is input to the difference circuit, whereby the difference between the two image data is calculated and the fluorescence image data AB is created. .
  • the subsequent on-image data A ' is input to the difference circuit and stored in the memory.
  • the image processing unit 13 can acquire time-series fluorescence image data for each exposure period (frame) of the image sensor 3b.
  • FIG. 3 is a graph showing a one-dimensional distribution of pixel values of the fluorescent image data to be processed by the specifying unit 11, and FIGS. 4 and 5 show histograms of luminance values of the image data calculated by the specifying unit 11. It is a graph.
  • the specifying unit 11 compares each pixel value of each pixel of the fluorescent image data with a preset threshold Th, It is determined whether the pixel is a fluorescent pixel or a background pixel. Specifically, a pixel having a pixel value larger than the threshold Th is specified as a fluorescent pixel, and a pixel having a pixel value equal to or lower than the threshold is specified as a background pixel.
  • This threshold value Th is set in advance for each fluorescent image data by the following processing so that the luminance value is larger than the background noise level of the fluorescent image data.
  • the specifying unit 11 calculates a histogram of pixel values of the on-image data used for creating the fluorescent image data to be processed (FIG. 4). Then, the specifying unit 11 specifies the peak P 1 of the luminance value distribution due to background light and the peak P 2 of the luminance value distribution due to fluorescence so that the luminance value is intermediate between those peaks P 1 and P 2.
  • a threshold Th is set.
  • the specifying unit 11 may set the threshold Th by the following process. That is, the specifying unit 11 calculates a histogram of pixel values of the fluorescent image data to be processed (FIG. 5). Then, the specifying unit 11 may specify a valley (bottom) of the luminance value distribution in the histogram, and set the threshold Th so that the luminance value is in the valley.
  • the image processing unit 13 creates superimposed image data using a coefficient m indicating the ratio of adjustment of the pixel value of the background image input from the input device 19.
  • the coefficient m is 0 when the pixel value of the fluorescent image in the fluorescent image data is higher than the pixel value of the background image in the background image data, that is, when the luminance of the fluorescent image is higher than the luminance of the background image.
  • ⁇ m ⁇ 1 is set.
  • the pixel value of the fluorescent pixel of the superimposed image data is a value obtained by adding the pixel value of the fluorescent pixel of the fluorescent image data and the pixel value of the fluorescent pixel of the background image data at a ratio of 1: 1. Is done. Thereby, in the superimposed image data, the luminance of the background light can be lowered according to the coefficient m in the background portion of the fluorescent image, and the luminance of the fluorescence and the luminance of the background light are 1: 1 in the fluorescent image portion. Can be superimposed at a rate.
  • the background image data I b whose ratio (1-m) is adjusted so as to increase in accordance with the pixel value I f (x, y) of each pixel of the fluorescence image data and the luminance decrease rate indicated by the coefficient m.
  • the original fluorescence image data is created.
  • the amount of decrease in the pixel value of the superimposition source background image data in the fluorescent pixel can be compensated by the pixel value of the superimposition source fluorescent image data.
  • I f (x, y) in the background pixel is a noise level and can be ignored.
  • FIG. 6 is a flowchart showing the procedure of the superimposed image data generation process by the fluorescence image acquisition system 1.
  • the fluorescence image acquisition system 1 is configured to acquire a superimposed image of the observation object P in time series by repeating the process shown in FIG.
  • the light source 5a starts to synchronize with the exposure period of the image sensor 3b (on period) for the observation object P into which the fluorescent dye is introduced.
  • Excitation light is irradiated (step S01: irradiation step).
  • on-image data is acquired from the imaging device 3 by the image processing unit 13 (step S02: output step).
  • the excitation light irradiation from the light source 5a is stopped at a timing (off period) synchronized with the next exposure period of the image sensor 3b (step S03: irradiation step).
  • step S04 output step
  • the image processing unit 13 calculates the difference between the on-image data and the off-image data (“on-image data” ⁇ “off-image data”), thereby creating fluorescent image data (step S05).
  • Figure 7 is a diagram illustrating on image data generated by the fluorescence image acquisition system 1, OFF image data, and each image G ON fluorescence image data, G OFF, the G F.
  • the on-image G ON comprising a fluorescence image IM F and the background image IM B
  • the difference between the off image G OFF including background images IM B is taken, fluorescence image fluorescence image IM F is reflected Data can be obtained.
  • the specifying unit 11 specifies the fluorescent pixel and the background pixel from the pixels in the image data by using the fluorescent image data (step S06: specifying step). Further, the coefficient m for generating the superimposed image data is set by being read from the memory by the image processing unit 13 (step S07: setting step). Subsequently, the image processing unit 13 creates background image data to be superimposed based on the background image data and the coefficient m (step S08: calculation step). In addition, the image processing unit 13 creates the original fluorescence image data based on the background image data, the fluorescence image data, and the coefficient m (step S09: calculation step). Finally, superimposed image data is created by superimposing the superimposition source background image data and the superimposition source fluorescence image data by the image processing unit 13 (step S10: calculation step). This superimposed image data is displayed on the display device 17.
  • on-image data is acquired by imaging the observation object P in the on period in which fluorescence is excited from the observation object P, and excitation light for the observation object P is obtained.
  • the off-image data is acquired by imaging the observation object P in the off period in which the irradiation is stopped. Then, based on the on-image data and the off-image data, fluorescence image data reflecting the fluorescence image and background image data reflecting the background image are created. Furthermore, a fluorescent pixel constituting a fluorescent image and a background pixel excluding the fluorescent pixel are specified from the plurality of pixels of the fluorescent image data.
  • a value obtained by adding the pixel value of the fluorescent pixel of the fluorescent image data and the pixel value of the fluorescent pixel of the background image data at a ratio of 1: 1 is used as the pixel value of the fluorescent pixel, and the pixel of the background pixel of the fluorescent image data
  • a superimposed image is created in which a value obtained by adding a value obtained by multiplying the value by the coefficient m to the pixel value of the background pixel of the background image data is used as the pixel value of the background pixel.
  • the luminance of the background image can be adjusted relative to the luminance of the fluorescent image according to the coefficient m, and the luminance of the fluorescent image is maintained. can do.
  • an appropriate fluorescent image can be evaluated while making the fluorescent image visible with respect to the background image, and the fluorescent image can be more easily recognized in the superimposed image.
  • the pixel value of the fluorescent image data pixel is reflected on the background pixel in the superimposed image. Thereby, the density of the image in the vicinity of the boundary of the fluorescent image can be improved.
  • the coefficient m is set to 0 ⁇ m ⁇ 1
  • the fluorescent image is made to stand out from the background image when image data having a higher pixel value (luminance) than the background image is used. Meanwhile, the brightness of the fluorescent image can be maintained.
  • FIG. 8 when the coefficient m is set to various values, the image of the superimposed image data generated for the same observation object P under the same imaging condition by the fluorescence image acquisition system 1 and the superimposed image data A one-dimensional luminance distribution is shown.
  • the ratio of the intensity of the background light in the superimposed image to the coefficient m can easily recognize a fluorescent image IM F.
  • the brightness of the fluorescence image IM F so is constant regardless of the setting values of the coefficients m, it is possible to appropriately evaluate the fluorescence image IM F.
  • the specifying unit 11 compares the pixel values of the plurality of pixels of the fluorescence image data with the threshold value, thereby specifying the fluorescent pixel and the non-fluorescent pixel. According to such a configuration, the pixels included in the fluorescent image range can be easily and accurately specified using the fluorescent image data.
  • the image processing unit 13 creates superimposed image data by superimposing the superimposition source background image data and the superimposition source fluorescence image data.
  • the background image and the fluorescence image are superimposed at a luminance ratio of 1: 1.
  • I SI (x, y) I b (x, y) ⁇ m + I f (x, y) ⁇ I b (x, y) ⁇ m
  • the coefficient m is set as 0 ⁇ m ⁇ 1, but is not limited to this value range. That is, when the pixel value of the fluorescence image in the fluorescence image data is lower than the pixel value of the background image in the background image data, for example, image data obtained by inverting the luminance value of the image data obtained from the image sensor 3b is processed. In this case, 1 ⁇ m may be set.
  • the fluorescence image data I F (x, y) as the superimposition source is converted into the pixel value I f (x, y) of each pixel and the luminance indicated by the coefficient m.
  • the fluorescence image acquisition system 1 is not restricted to the form in which the camera unit 7 is equipped with the imaging device 3 and the light irradiation apparatus 5,
  • the imaging device 3 and the light irradiation apparatus 5 are good also as a different body.
  • the switching of the output of ON / OFF of the excitation light L 1 by the light irradiation device 5 is not limited to switching the light source 5a, a shutter for receiving an excitation light L 1 to the light irradiation device 5 is output from the light source 5a (not comprising shown), it may be switched ON / OFF of the irradiation of the excitation light L 1 with respect to the observation object P by the shutter.
  • the image processing unit and the calculation step are values obtained by multiplying the pixel value of the non-fluorescent pixel of the fluorescence image data and the pixel value of the non-fluorescent pixel of the background image data by a coefficient. It is preferable to calculate a value obtained by adding the above as the pixel value of the non-fluorescent pixel of the superimposed image. With such a configuration, the fluorescence image data is reflected on the non-fluorescence pixels in the superimposed image, so that it is possible to improve the density of the image near the boundary of the fluorescence image.
  • the image processing unit and the creation step calculate the difference between the first image data and the second image data in order to create the fluorescence image data, and create the background image data using the second image data. It is also suitable. If such an image processing unit is provided, a fluorescence image can be extracted from the fluorescence image data, and background image data including only the background image can be created.
  • the image processing unit and the calculation step multiply the pixel value of the pixel including the fluorescent pixel and the non-fluorescent pixel of the background image data by a coefficient in order to create the background image data of the superimposition source, In order to create a superimposed image by adding the fluorescence image data and the pixel value of the fluorescence pixel of the background image data adjusted to increase according to the decrease rate indicated by the coefficient. It is also preferable to superimpose the background image data and the original fluorescence image data.
  • the pixel value of the fluorescence pixel of the fluorescence image data and the pixel value of the fluorescence pixel of the background image data are added in a one-to-one ratio by superimposing the background image data of the superimposition source and the fluorescence image data of the superimposition source.
  • the value obtained by adding the value obtained by multiplying the pixel value of the non-fluorescent pixel of the background image data by the coefficient to the pixel value of the non-fluorescent pixel of the fluorescent image data is set as the pixel value of the fluorescent pixel. It is possible to create a superimposed image with a pixel value of.
  • the image processing unit and the calculating step multiply the pixel value of the non-fluorescent pixel of the background image data by a coefficient in order to create the superimposition source background image data, It is also preferable to superimpose image data and fluorescence image data.
  • the pixel value of the fluorescence pixel of the fluorescence image data and the pixel value of the fluorescence pixel of the background image data are added at a ratio of 1: 1 by superimposing the background image data and the fluorescence image data of the superimposition source.
  • the value obtained by adding the value obtained by multiplying the pixel value of the non-fluorescent pixel of the background image data by the coefficient to the pixel value of the non-fluorescent pixel of the fluorescent image data is set as the pixel value of the fluorescent pixel.
  • a superimposed image can be created.
  • the pixel value of the fluorescent image in the fluorescent image data is higher than the pixel value of the background image in the background image data, and the coefficient setting unit and the setting step set the coefficient to a value between 0 and 1. is there. According to this configuration, when image data having a higher pixel value than the background image is used for the fluorescent image, the luminance of the fluorescent image can be maintained conspicuously with respect to the background image.
  • the pixel value of the fluorescent image in the fluorescent image data is lower than the pixel value of the background image in the background image data, and the coefficient setting unit and the setting step set the coefficient to a value of 1 or more.
  • the luminance of the fluorescent image can be maintained conspicuously with respect to the background image.
  • the specifying unit and the specifying step compare pixel values of a plurality of pixels of the fluorescence image data with threshold values in order to specify the fluorescent pixel and the non-fluorescent pixel. In this way, the pixels included in the range of the fluorescence image can be easily and accurately specified using the fluorescence image data.
  • One aspect of the present invention uses a superimposed image generation apparatus and a superimposed image generation method for generating an image in which a background image is superimposed on a fluorescent image to be measured.
  • the superimposed image in which a fluorescent image and a background image are superimposed Recognition can be made easier.
  • SYMBOLS 1 Fluorescence image acquisition system, 3 ... Imaging device (imaging part), 5 ... Light irradiation apparatus (light irradiation part), 11 ... Identification part, 13 ... Image processing part, 19 ... Input apparatus (coefficient setting part), P ... Observation object.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)

Abstract

　蛍光画像取得システム１は、オン期間に励起光を出力し、オフ期間に励起光の出力を停止する光照射装置５と、オン期間及びオフ期間のそれぞれにオン画像データ及びオフ画像データを出力する撮像装置３と、係数を設定する入力装置１９と、オン画像データ及びオフ画像データに基づいて、蛍光画像データと背景画像データを作成する画像処理部１３と、蛍光画素と非蛍光画素とを特定する特定部１１と、を備え、画像処理部１３は、重畳画像を作成するために、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を、蛍光画素の画素値として算出し、少なくとも背景画像データの非蛍光画素の画素値に係数を乗じた値を、非蛍光画素の画素値として算出する。

Description

重畳画像生成装置及び重畳画像生成方法
　本発明は、測定対象の蛍光像に背景像を重畳した画像を生成する重畳画像生成装置及び重畳画像生成方法に関する。
　従来から、生体等から励起光の照射に応じて生じる蛍光像を観察する観察装置が用いられている。このような観察装置では、照明光によって生じた反射像を撮像することにより得られた画像と、励起光によって生じた蛍光像を撮像することにより得られた画像を重畳することが行われる。例えば、下記特許文献１には、ビニングされた蛍光像の画像データと反射像の画像データを重畳することで、蛍光像と反射像とのバランスを調整する構成が記載されている。また、下記特許文献２には、蛍光像の画像を推定蛍光収率等を加味したデータを画素値に割り当てることにより生成し、その画像を反射像と重畳することによって観察画像を出力することが記載されている。
特許第５３５５７９９号公報 特開２００９－２７９１７２号公報
　しかしながら、上記特許文献１及び上記特許文献２に記載の装置では、蛍光像を撮像した画像と背景像を撮像した画像とのバランスを全体的に調整して重畳している。そのため、蛍光像の輝度が低い場合に重畳画像において蛍光像自体が認識しにくい場合がある。
　そこで、本発明は、かかる課題に鑑みて為されたものであり、蛍光像と背景像を重畳した重畳画像において蛍光像の認識をより容易にする重畳画像生成装置及び重畳画像生成方法を提供することを目的とする。
　上記課題を解決するため、本発明の一形態に係る重畳画像生成装置は、対象物から発せられた蛍光を撮像することによって蛍光像を生成し、蛍光像に背景像を重畳して重畳画像を生成する装置であって、第１の期間において対象物に対して励起光を出力し、第１の期間と異なる第２の期間において励起光の出力を停止する光照射部と、２次元的に配列された複数の画素を有し、第１の期間及び第２の期間のそれぞれにおいて対象物を撮像することによって第１の画像データ及び第２の画像データを出力する撮像部と、重畳画像における背景像の輝度値を調整するための係数を設定する係数設定部と、第１の画像データ及び第２の画像データに基づいて、蛍光像を含む蛍光画像データと背景像を含む背景画像データを作成する画像処理部と、蛍光画像データを用いて、複数の画素のうちから、蛍光像を構成する画素である蛍光画素と、蛍光画素を除いた画素である非蛍光画素とを特定する特定部と、を備え、画像処理部は、重畳画像を作成するために、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を、重畳画像の蛍光画素の画素値として算出し、少なくとも背景画像データの非蛍光画素の画素値に係数を乗じた値を、重畳画像の非蛍光画素の画素値として算出する。
　或いは、本発明の他の形態に係る重畳画像生成方法は、対象物から発せられた蛍光を撮像することによって蛍光像を生成し、蛍光像に背景像を重畳して重畳画像を生成する方法であって、第１の期間において対象物に対して励起光を出力し、第１の期間と異なる第２の期間において励起光の出力を停止するステップ（照射ステップ）と、２次元的に配列された複数の画素を有する撮像素子を用いて、第１の期間及び第２の期間のそれぞれにおいて対象物を撮像することによって第１の画像データ及び第２の画像データを出力するステップ（出力ステップ）と、重畳画像における背景像の輝度値を調整するための係数を設定するステップ（設定ステップ）と、第１の画像データ及び第２の画像データに基づいて、蛍光像を含む蛍光画像データと背景像を含む背景画像データを作成するステップ（作成ステップ）と、蛍光画像データを用いて、複数の画素のうちから、蛍光像を構成する画素である蛍光画素と、蛍光画素を除いた画素である非蛍光画素とを特定するステップ（特定ステップ）と、重畳画像を作成するために、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を、重畳画像の蛍光画素の画素値として算出し、少なくとも背景画像データの非蛍光画素の画素値に係数を乗じた値を、重畳画像の非蛍光画素の画素値として算出するステップ（算出ステップ）と、を備える。
　上記形態の重畳画像生成装置或いは重畳画像生成方法によれば、対象物に対して励起光を照射する第１の期間において対象物が撮像されることにより第１の画像データが取得され、対象物に対して励起光が照射されない第２の期間において対象物が撮像されることにより第２の画像データが取得され、第１及び第２の画像データを基に、蛍光像が反映された蛍光画像データ、及び背景像が反映された背景画像データが作成される。さらに、蛍光画像データの複数の画素のうちから蛍光像を構成する蛍光画素とそれを除いた非蛍光画素とが特定され、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を蛍光画素の画素値とし、かつ、少なくとも背景画像データの非蛍光画素の画素値に係数を乗じた値を非蛍光画素の画素値とするような重畳画像が作成される。このような構成により、重畳画像において、背景像の輝度を蛍光像の輝度に対して相対的に調整することができるとともに、蛍光像の輝度を背景像に対して目立つように維持することができ、重畳画像において蛍光像をより容易に認識することができる。
　本発明の一形態によれば、蛍光像と背景像を重畳した重畳画像において蛍光像の認識をより容易にすることができる。
本発明の好適な一実施形態に係る蛍光画像取得システム１の概略構成を示すブロック図である。 図１のカメラコントローラ１５によって制御される各種動作のタイミングを示すタイミングチャートである。 図１の特定部１１の処理対象の蛍光画像データの画素値の一次元分布を示すグラフである。 図１の特定部１１によって計算されたオン画像データの輝度値のヒストグラムを示すグラフである。 図１の特定部１１によって計算された蛍光画像データの輝度値のヒストグラムを示すグラフである。 図１の蛍光画像取得システム１による重畳画像データの生成処理の手順を示すフローチャートである。 図１の蛍光画像取得システム１によって生成されたオン画像データ、オフ画像データ、及び蛍光画像データのそれぞれのイメージを示す図である。 係数ｍを様々な値に設定した場合に蛍光画像取得システム１によって生成される重畳画像データのイメージ、及びその重畳画像データの一次元輝度分布を示す図である。
　以下、図面を参照しつつ本発明に係る重畳画像生成装置及び重畳画像生成方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
　図１は、本発明の好適な一実施形態に係る蛍光画像取得システム１の概略構成を示すブロック図である。図１に示す蛍光画像取得システム１は、所定のフレームレートで時系列に観察対象物Ｐについての観察画像を取得することで、ユーザが観察対象物Ｐを動画で観察できるように構成されている。観察対象物Ｐは、例えば生体組織であり、予めインドシアニングリーンなどの蛍光色素が導入されている。蛍光画像取得システム１を用いれば、蛍光色素が生体の血管やリンパ管などを流れる様子や生体内の臓器やリンパ節などに蛍光色素が蓄積される様子を観察することができる。重畳画像生成装置の一形態である蛍光画像取得システム１は、撮像装置（撮像部）３と光照射装置（光照射部）５とを内蔵するカメラユニット７と、カメラユニット７に電気的に接続されカメラユニット７を制御する制御部９とカメラユニット７から出力された画像データを処理する特定部１１及び画像処理部１３とを有するカメラコントローラ１５と、カメラコントローラに電気的に接続された、表示装置１７、入力装置１９、及び記憶装置２１とを備えている。
　光照射装置５は、観察対象物Ｐに対して蛍光観察のために蛍光色素を励起するための励起光Ｌ１を出力する光源５ａと、光源５ａの励起光Ｌ１の出力をＯＮ／ＯＦＦを制御する光源制御部５ｂとを内蔵する。光源５ａは、ＬＥＤ（発光ダイオード）、ＬＤ（レーザダイオード）、あるいはＳＬＤ（スーパールミネッセントダイオード）等の発光素子などであり、蛍光色素を励起する波長の光を出力する。光源制御部５ｂは、カメラユニット７と電気的に接続されたカメラコントローラ１５による制御により、光源５ａの励起光出力のＯＮ（出力の状態）とＯＦＦ（出力停止の状態）とを切り換える制御回路である。なお、光源５ａから出力される光の波長は蛍光の波長を含まないことが好ましい。光源５ａから出力される光の波長が蛍光の波長を含む場合、光照射装置５は、光源５ａから出力される光のうち蛍光の波長と同じ波長の光を遮光する光学フィルタ（不図示）を備えてもよい。
　撮像装置３は、カメラコントローラ１５の制御によって観察対象物Ｐからの光像を撮像する装置である。この撮像装置３は、蛍光色素が発する蛍光Ｌ２の波長の光を透過させ、励起光Ｌ１の波長の光を遮断する光学フィルタ３ａと、光学フィルタ３ａを透過した蛍光Ｌ２および観察対象物Ｐの蛍光像の背景からの光である背景光を受光し、それらの光を光電変換することにより画像データを出力する撮像素子３ｂと、カメラコントローラ１５の制御により撮像素子３ｂの露光タイミングおよび露光時間を調整する撮像制御部３ｃとを含んで構成される。撮像素子３ｂは、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ等のエリアイメージセンサであり、２次元的に配列された複数の画素（光電変換素子）を有する。なお、光学フィルタ３ａは、蛍光Ｌ２の波長の光のほか、外部の照明装置から出力される照明光によって観察対象物Ｐにおいて生じる反射光の波長の光も透過するように構成されている。そのため、撮像素子３ｂは観察対象物Ｐからの反射光を背景光として受光する。
　上記構成のカメラユニット７により、光源５ａの励起光出力のＯＮの期間（以下、単に「オン期間」と言う。）においては、撮像素子３ｂは観察対象物Ｐからの蛍光および背景光を受光（撮像）し、それに応じて画像データとしてオン画像データを出力する、一方、光源５ａの励起光出力のＯＦＦの期間（以下、単に「オフ期間」と言う。）においては、撮像素子３ｂは観察対象物Ｐからの背景光を受光（撮像）し、それに応じて画像データとしてオフ画像データを出力する。撮像制御部３ｃは、カメラユニット７の出力する画像データのフレームレートが例えば３０フレーム／ｓｅｃに設定されている場合には、露光時間が例えば３０ｍｓｅｃになるように制御し、カメラユニット７の設定変更によりフレームレートが１５フレーム／ｓｅｃ～１０００フレーム／ｓｅｃの範囲で調整された場合には、それに応じて露光時間が６０ｍｓｅｃ～１ｍｓｅｃの範囲で可変となるように制御する。
　カメラコントローラ１５は、ＦＰＧＡ（field-programmable gate array）あるいはＣＰＵ（Central Processing Unit）等の演算処理回路、メモリ等を含むデータ処理装置であり、このデータ処理装置内に制御部９、特定部１１、及び画像処理部１３が機能的に実装されている。ただし、制御部９、特定部１１、及び画像処理部１３は、同一装置内に構成される場合には限定されず、複数の装置に分散されて構成されていてもよい。
　カメラコントローラ１５の制御部９は、撮像装置３及び光照射装置５の動作を制御する。すなわち、制御部９は、光照射装置５による励起光出力のＯＮ／ＯＦＦと、撮像素子３ｂの露光タイミングとを互いに同期するように制御する（詳細は後述する）。カメラコントローラ１５の画像処理部１３は、撮像素子３ｂから出力されたオン画像データとオフ画像データを画像処理することにより、観察対象物Ｐからの光像のうちの蛍光分布が反映された蛍光像を含む蛍光画像データと観察対象物Ｐからの光像のうちの背景分布が反映された背景像を含む背景画像データとを作成する。具体的には、画像処理部１３は、オン画像データとオフ画像データとの間で各画像データの同一の画素位置での差分（“オン画像データ”－“オフ画像データ”）を算出することにより、蛍光画像データを作成する。また、画像処理部１３は、オフ画像データをそのまま用いて背景画像データを作成する。さらに、画像処理部１３は、蛍光画像データと背景画像データとを用いて、観察対象物Ｐからの背景像と観察対象物Ｐからの蛍光像とが重畳された像が反映された重畳画像データを作成し、作成した重畳画像データを出力用の画像データとして表示装置１７および記憶装置２１に送出する（重畳画像の作成方法の詳細は後述する。）。カメラコントローラ１５の特定部１１は、画像処理部１３によって作成された蛍光画像データを用いて、その画像データに含まれる複数の画素から、蛍光像を構成する画素である蛍光画素と、その蛍光画素を除いた画素である背景画素（非蛍光画素）とを特定する（画素の特定方法の詳細は後述する。）。そして、特定部１１は、特定した画素に関する情報を画像処理部１３に引き渡す。
　表示装置１７は、カメラコントローラ１５に接続されたディスプレイ装置等の画像出力装置であり、画像処理部１３から送出された表示用の画像データを表示する。また、入力装置１９は、カメラコントローラ１５に接続されたキーボート、マウス、あるいはタッチパネルディスプレイ等のデータ入力装置であり、カメラユニット７における撮像条件を指定するためのパラメータ、及び画像処理部１３における画像処理の条件を示すパラメータを入力する。また、カメラユニット７もしくはカメラコントローラ１５にボタン等を設けることで、カメラユニット７もしくはカメラコントローラ１５に入力装置１９の機能を設けてもよい。例えば、入力装置１９は、撮像装置３の露光時間、光照射装置５の照射強度、及び画像処理部１３における重畳画像の作成時における背景像の画素値の調整の割合を示す係数ｍの設定入力を受け付ける。さらに、入力装置１９は、受け付けたこれらのパラメータをカメラコントローラ１５に設定する。すなわち、入力装置１９は、この係数ｍを設定する係数設定部として機能する。また、記憶装置２１は、カメラコントローラ１５に接続されたデータ記憶装置であり、表示用の画像データ、カメラコントローラ１５で処理される各種画像データ、及び入力装置１９によって設定される各種パラメータを記憶する。
　ここで、光源５ａの励起光出力のＯＮ／ＯＦＦタイミングと、撮像素子３ｂの露光タイミングと、画像処理部１３による蛍光画像データの作成タイミングとの時間的関係について、図２を参照しながら説明する。図２は、カメラコントローラ１５によって制御される各種動作のタイミングを示すタイミングチャートであり、（ａ）は光源５ａの励起光出力のＯＮ／ＯＦＦタイミング、（ｂ）は撮像素子３ｂの露光タイミング、（ｃ）は画像処理部１３の画像データの保存タイミング、（ｄ）は画像処理部１３の蛍光画像データの作成タイミングをそれぞれ示している。
　図２（ａ），（ｂ）に示すように、制御部９は、撮像素子３ｂの１フレームの露光期間に同期して交互にオン期間およびオフ期間が繰り返されるように、光源５ａの励起光のＯＮ／ＯＦＦタイミングを制御する。つまり、オン期間の長さ及びオフ期間の長さと露光期間の長さはほぼ同一とされ、オン期間と異なる期間となるようにオフ期間が設定される。そして、画像処理部１３は、オン期間において撮像素子３ｂの露光に応じて蓄積された電荷に基づいて出力された画像データをオン画像データＡとして取得する。その後、画像処理部１３は、後続するオフ期間において撮像素子３ｂの露光に応じて蓄積された電荷に基づいて出力された画像データをオフ画像データＢとして取得する。このとき、最初のオン画像データＡは取得された時点で画像処理部１３内のメモリに記憶され、その後取得されるオフ画像データＢは画像処理部１３内の差分回路に入力されるとともにメモリに保存される。オフ画像データＢが差分回路に入力されるタイミングでメモリ内のオン画像データＡも差分回路に入力されることにより、２つの画像データの差分が算出されて蛍光画像データＡ－Ｂが作成される。続いて、後続して得られたオン画像データＡ’が差分回路に入力されるとともにメモリに保存さる。オン画像データＡ’が差分回路に入力されるタイミングでメモリ内のオフ画像データＢも差分回路に入力されることにより、２つの画像データの差分が算出されて蛍光画像データＡ’－Ｂが作成される。このような処理が繰り返されることで、画像処理部１３において撮像素子３ｂの露光期間（フレーム）毎に時系列の蛍光画像データを取得することができる。
　続いて、カメラコントローラ１５の特定部１１による画素特定処理の詳細について説明する。図３は、特定部１１の処理対象の蛍光画像データの画素値の一次元分布を示すグラフであり、図４及び図５は、特定部１１によって計算された画像データの輝度値のヒストグラムを示すグラフである。
　図３に示すような画素値の一次元分布を有する蛍光画像データを対象にして、特定部１１は、蛍光画像データの各画素の画素値と予め設定した閾値Ｔｈとを比較することにより、各画素が蛍光画素であるか背景画素であるかを判別する。具体的には、閾値Ｔｈより大きい画素値を有する画素を蛍光画素と特定し、閾値以下の画素値を有する画素を背景画素と特定する。この閾値Ｔｈは、蛍光画像データの背景ノイズレベルよりも大きい輝度値となるように、予め次のような処理によって蛍光画像データ毎に設定される。
　すなわち、特定部１１は、処理対象の蛍光画像データの作成に用いられたオン画像データの画素値のヒストグラムを計算する（図４）。そして、特定部１１は、背景光による輝度値分布のピークＰ１と、蛍光による輝度値分布のピークＰ２とを特定し、それらのピークＰ１，Ｐ２の中間の輝度値になるように閾値Ｔｈを設定する。
　また、特定部１１は、次のような処理によって閾値Ｔｈを設定してもよい。すなわち、特定部１１は、処理対象の蛍光画像データの画素値のヒストグラムを計算する（図５）。そして、特定部１１は、ヒストグラムにおける輝度値分布の谷間（ボトム）を特定し、その谷間における輝度値になるように閾値Ｔｈを設定してもよい。
　次に、画像処理部１３による重畳画像データの作成方法の詳細について説明する。
　画像処理部１３は、入力装置１９から入力された背景像の画素値の調整の割合を示す係数ｍを用いて重畳画像データを作成する。この係数ｍは、蛍光画像データにおける蛍光像の画素値が背景画像データにおける背景像の画素値よりも高い場合には、すなわち、蛍光像の輝度が背景像の輝度よりも高い場合には、０≦ｍ≦１で設定されている。このような係数ｍを用いることにより、重畳画像データの背景画素の画素値が、蛍光画像データの背景画素の画素値と背景画像データの背景画素の画素値に係数ｍを乗じた値とを加算した値とされる一方で、重畳画像データの蛍光画素の画素値が、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値とされる。これにより、重畳画像データにおいて、蛍光像の背景部分においては背景光の輝度を係数ｍに応じて下げることができ、蛍光像の部分においては蛍光の輝度と背景光の輝度とを１対１の割合で重畳させることができる。
　より詳細には、画像処理部１３は、背景画像データＩｂ（ｘ，ｙ）（ｘ及びｙは画像データ上の画素の２次元座標、Ｉｂは各画素における画素値を示す）、及び係数ｍを基に、下記式；
ＩＢ（ｘ，ｙ）=Ｉｂ（ｘ，ｙ）×ｍ
を計算することにより、重畳元の背景画像データの各画素値ＩＢ（ｘ，ｙ）を算出する。すなわち、背景画像データの蛍光画素と背景画素とを含むすべての画素の画素値Ｉｂ（ｘ，ｙ）に係数ｍを乗ずることにより、重畳元の背景画像データを作成する。
　続いて、画像処理部１３は、蛍光画像データＩｆ（ｘ，ｙ）、背景画像データＩｂ（ｘ，ｙ）、及び係数ｍを基に、下記式；
ＩＦ（ｘ，ｙ）＝Ｉｆ（ｘ，ｙ）＋ｎ×（Ｉｂ（ｘ，ｙ）×（１－ｍ））
を計算することにより、重畳元の蛍光画像データの各画素値ＩＦ（ｘ，ｙ）を計算する。ここで、上記式におけるパラメータｎは、蛍光画素においてはｎ＝１が付与され、背景画素においてはｎ＝０が付与され、特定部１１による画素特定処理の結果を基に設定される。すなわち、蛍光画像データの各画素の画素値Ｉｆ（ｘ，ｙ）と、係数ｍの示す輝度の減少率に応じて増加するように比率（１－ｍ）が調整された背景画像データＩｂ（ｘ，ｙ）の蛍光画素の画素値とを加算することにより、重畳元の蛍光画像データを作成する。これにより、蛍光画素において重畳元の背景画像データの画素値が減少した分を、重畳元の蛍光画像データの画素値で補うことができる。
　さらに、画像処理部１３は、重畳元の背景画像データと重畳元の蛍光画像データを重畳することにより重畳画像データを作成する。具体的には、重畳元の背景画像データの各画素の画素値ＩＢ（ｘ，ｙ）と重畳元の蛍光画像データの各画素値ＩＦ（ｘ，ｙ）とを加算する。これにより、蛍光画素における重畳画像データの画素値ＩＳＩ（ｘ，ｙ）は下記式；
ＩＳＩ（ｘ，ｙ）=Ｉｂ（ｘ，ｙ）＋Ｉｆ（ｘ，ｙ）
で計算される値に設定され、背景像と蛍光像とが１対１の輝度比率で重畳されることになる。その一方で、背景画素における重畳画像データの画素値ＩＳＩ（ｘ，ｙ）は下記式；
ＩＳＩ（ｘ，ｙ）=Ｉｂ（ｘ，ｙ）×ｍ＋Ｉｆ（ｘ，ｙ）≒Ｉｂ（ｘ，ｙ）×ｍ
で計算される値に設定され、背景像が係数ｍに対応して輝度が下げられることになる。ここで、背景画素における輝度値Ｉｆ（ｘ，ｙ）はノイズレベルであり無視できる値となる。
　以下、上述した蛍光画像取得システム１による重畳画像データの生成処理の手順を説明するとともに、本実施形態の重畳画像生成方法について詳述する。図６は、蛍光画像取得システム１による重畳画像データの生成処理の手順を示すフローチャートである。蛍光画像取得システム１では、図６に示す処理が繰り返されることで、時系列に観察対象物Ｐの重畳画像が取得できるように構成されている。
　まず、ユーザの指示入力により重畳画像の取得処理が開始されると、蛍光色素が導入された観察対象物Ｐに対して、撮像素子３ｂの露光期間に同期したタイミング（オン期間）において光源５ａから励起光が照射される（ステップＳ０１：照射ステップ）。これに同期して、画像処理部１３により撮像装置３からオン画像データが取得される（ステップＳ０２：出力ステップ）。続いて、撮像素子３ｂの次の露光期間に同期したタイミング（オフ期間）において光源５ａからの励起光照射が停止される（ステップＳ０３：照射ステップ）。これに同期して、画像処理部１３により撮像装置３からオフ画像データが取得される（ステップＳ０４：出力ステップ）。その後、画像処理部１３により、オン画像データとオフ画像データとの差分（“オン画像データ”－“オフ画像データ”）が計算されることにより、蛍光画像データが作成される（ステップＳ０５）。図７は、蛍光画像取得システム１によって生成されたオン画像データ、オフ画像データ、及び蛍光画像データのそれぞれのイメージＧＯＮ，ＧＯＦＦ，ＧＦを示す図である。このように、蛍光像ＩＭＦと背景像ＩＭＢとを含むオン画像ＧＯＮと、背景像ＩＭＢを含むオフ画像ＧＯＦＦの差分が取られることにより、蛍光像ＩＭＦが反映された蛍光画像データを得ることができる。
　次に、特定部１１により、蛍光画像データを用いることにより画像データ中の画素のうちから蛍光画素と背景画素とが特定される（ステップＳ０６：特定ステップ）。また、画像処理部１３によりメモリから読み出されることにより重畳画像データの生成のための係数ｍが設定される（ステップＳ０７：設定ステップ）。続いて、画像処理部１３により、背景画像データと係数ｍを基に重畳元の背景画像データが作成される（ステップＳ０８：算出ステップ）。加えて、画像処理部１３により、背景画像データと蛍光画像データと係数ｍを基に重畳元の蛍光画像データが作成される（ステップＳ０９：算出ステップ）。最後に、画像処理部１３により、重畳元の背景画像データと重畳元の蛍光画像データとが重畳されることにより、重畳画像データが作成される（ステップＳ１０：算出ステップ）。この重畳画像データは表示装置１７に表示される。
　以上説明した蛍光画像取得システム１によれば、観察対象物Ｐから蛍光が励起されたオン期間において観察対象物Ｐが撮像されることによりオン画像データが取得され、観察対象物Ｐに対する励起光の照射が停止されたオフ期間において観察対象物Ｐが撮像されることによりオフ画像データが取得される。そして、オン画像データ及びオフ画像データを基に、蛍光像が反映された蛍光画像データ、及び背景像が反映された背景画像データが作成される。さらに、蛍光画像データの複数の画素のうちから蛍光像を構成する蛍光画素とそれを除いた背景画素とが特定される。その後、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を蛍光画素の画素値とし、かつ、蛍光画像データの背景画素の画素値に対して背景画像データの背景画素の画素値に係数ｍを乗じた値を加算した値を背景画素の画素値とするような重畳画像が作成される。一般的に、背景像に対して蛍光像を目立たせる手法として、蛍光像の輝度を増加させる手法がある。しかし、この手法では、蛍光色素の分布を適切に把握できない恐れがある。一方、蛍光画像取得システム１の構成によれば、重畳画像において、背景像の輝度を蛍光像の輝度に対して係数ｍに応じて相対的に調整することができるとともに、蛍光像の輝度を維持することができる。その結果、背景像に対して蛍光像を目出させながら、適切な蛍光像の評価を行うことができ、重畳画像において蛍光像をより容易に認識することができる。また、重畳画像において背景画素に蛍光画像データの画素の画素値が反映される。これにより、蛍光像の境界付近における像の緻密さを向上させることができる。
　また、係数ｍが０≦ｍ≦１に設定されているので、蛍光像が背景像に対して画素値（輝度）が高い画像データを用いた場合に、蛍光像を背景像に対して目立たせつつ、蛍光像の輝度を維持することができる。図８には、係数ｍを様々な値に設定した場合に、蛍光画像取得システム１によって同一の撮像条件で同一観察対象物Ｐを対象に生成される重畳画像データのイメージ及びその重畳画像データの一次元輝度分布を示している。図８（ａ）には、係数ｍ＝１に設定した場合に生成される重畳画像データのイメージと、その重畳画像データにおける点線方向に沿った画素の一次元方向の輝度分布を示し、図８（ｂ）には、係数ｍ＝１／２に設定した場合に生成される重畳画像データのイメージとその重畳画像データの点線方向に沿った一次元方向の輝度分布を示し、図８（ｃ）には、係数ｍ＝１／４に設定した場合に生成される重畳画像データのイメージとその重畳画像データの点線方向に沿った一次元方向の輝度分布を示している。このように、重畳画像における背景光の輝度の比率を係数ｍに応じて調整することができるので、蛍光像ＩＭＦを認識しやすくなる。一方、蛍光像ＩＭＦの輝度は係数ｍの設定値に関わらず一定とされるので、蛍光像ＩＭＦの評価を適切に行うことができる。
　さらに、特定部１１により蛍光画像データの複数の画素の画素値と閾値とを比較することにより、蛍光画素と非蛍光画素とが特定される。このような構成によれば、蛍光画像データを用いて蛍光像の範囲に含まれる画素を簡易かつ正確に特定できる。
　なお、本発明は、前述した実施形態に限定されるものではない。
　例えば、画像処理部１３による重畳画像データの作成方法については、他の様々な方法を採用することができる。すなわち、本発明の変形例では、画像処理部１３は、係数ｍの比率をかける画素データを背景画素のみとしてもよい。具体的には、画像処理部１３は、背景画像データＩｂ（ｘ，ｙ）、係数ｍ、パラメータｎを基に、下記式；
ＩＢ（ｘ，ｙ）=Ｉｂ（ｘ，ｙ）×ｍ×（１－ｎ）＋Ｉｂ（ｘ，ｙ）×ｎ
を計算することにより、重畳元の背景画像データの各画素値ＩＢ（ｘ，ｙ）を算出する。すなわち、背景画像データの背景画素の画素値Ｉｂ（ｘ，ｙ）に係数ｍを乗ずることにより調整して、重畳元の背景画像データを作成する。
　続いて、画像処理部１３は、蛍光画像データＩｆ（ｘ，ｙ）そのものを用いて、下記式；
ＩＦ（ｘ，ｙ）＝Ｉｆ（ｘ，ｙ）
を計算することにより、重畳元の蛍光画像データの各画素値ＩＦ（ｘ，ｙ）を設定する。
　さらに、画像処理部１３は、重畳元の背景画像データと重畳元の蛍光画像データを重畳することにより重畳画像データを作成する。これにより、蛍光画素における重畳画像データの画素値ＩＳＩ（ｘ，ｙ）は下記式；
ＩＳＩ（ｘ，ｙ）=Ｉｂ（ｘ，ｙ）＋Ｉｆ（ｘ，ｙ）
で計算される値に設定され、背景像と蛍光像とが１対１の輝度比率で重畳されることになる。その一方で、背景画素における重畳画像データの画素値ＩＳＩ（ｘ，ｙ）は下記式；
ＩＳＩ（ｘ，ｙ）=Ｉｂ（ｘ，ｙ）×ｍ＋Ｉｆ（ｘ，ｙ）≒Ｉｂ（ｘ，ｙ）×ｍ
で計算される値に設定され、背景像が係数ｍに対応して輝度が下げられることになる。
　また、前述した実施形態では、係数ｍが０≦ｍ≦１で設定されているが、この値の範囲には限定されない。すなわち、蛍光画像データにおける蛍光像の画素値が背景画像データにおける背景像の画素値よりも低い場合、例えば、撮像素子３ｂから得られた画像データの輝度値を反転した画像データを処理対象とする場合には、１≦ｍで設定されてもよい。前述した実施形態において、このような係数ｍを用いることにより、重畳元の蛍光画像データＩＦ（ｘ，ｙ）が、各画素の画素値Ｉｆ（ｘ，ｙ）と、係数ｍの示す輝度の増加率に応じて減少するように比率（１－ｍ）が調整された背景画像データＩｂ（ｘ，ｙ）の蛍光画素の画素値とを加算することにより作成される。これにより、蛍光画素において重畳元の背景画像データの画素値が増加した分を、重畳元の蛍光画像データの画素値で補償することができる。
　また、蛍光画像取得システム１は、カメラユニット７が撮像装置３及び光照射装置５を備える形態に限らず、撮像装置３と光照射装置５は別体としてもよい。また、光照射装置５による励起光Ｌ１の出力のＯＮ／ＯＦＦの切替は、光源５ａによって切り換えることに限らず、光照射装置５が光源５ａから出力される励起光Ｌ１を受けるシャッタ（不図示）を備え、シャッタによって観察対象物Ｐに対する励起光Ｌ１の照射のＯＮ／ＯＦＦを切り替えてもよい。
　ここで、重畳画像生成装置及び重畳画像生成方法においては、画像処理部及び算出ステップは、蛍光画像データの非蛍光画素の画素値と背景画像データの非蛍光画素の画素値に係数を乗じた値とを加算した値を、重畳画像の非蛍光画素の画素値として算出する、ことが好適である。かかる構成を備えれば、重畳画像において非蛍光画素に蛍光画像データが反映されるので、蛍光像の境界付近における像の緻密さを向上させることができる。
　また、画像処理部及び作成ステップは、蛍光画像データを作成するために、第１の画像データと第２の画像データとの差分を算出し、第２の画像データを用いて背景画像データを作成する、ことも好適である。かかる画像処理部を備えれば、蛍光画像データにおいて蛍光像を抽出することができるとともに、背景像のみを含む背景画像データを作成することができる。
　さらに、画像処理部及び算出ステップは、重畳元の背景画像データを作成するために、背景画像データの蛍光画素と非蛍光画素とを含む画素の画素値に係数を乗じ、重畳元の蛍光画像データを作成するために、蛍光画像データと係数の示す減少率に応じて増加するように調整された背景画像データの蛍光画素の画素値とを加算し、重畳画像を作成するために、重畳元の背景画像データと重畳元の蛍光画像データとを重畳する、ことも好適である。この場合、重畳元の背景画像データと重畳元の蛍光画像データを重畳することにより、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を蛍光画素の画素値とし、かつ、蛍光画像データの非蛍光画素の画素値に対して、背景画像データの非蛍光画素の画素値に係数を乗じた値を加算した値を非蛍光画素の画素値とするような重畳画像が作成できる。
　またさらに、画像処理部及び算出ステップは、重畳元の背景画像データを作成するために、背景画像データの非蛍光画素の画素値に係数を乗じ、重畳画像を作成するために、重畳元の背景画像データと蛍光画像データとを重畳する、ことも好適である。かかる構成によれば、重畳元の背景画像データと蛍光画像データを重畳することにより、蛍光画像データの蛍光画素の画素値と背景画像データの蛍光画素の画素値とを１対１の比率で加算した値を蛍光画素の画素値とし、かつ、蛍光画像データの非蛍光画素の画素値に対して、背景画像データの非蛍光画素の画素値に係数を乗じた値を加算した値を非蛍光画素の画素値として、重畳画像を作成できる。
　さらにまた、蛍光画像データにおける蛍光像の画素値が背景画像データにおける背景像の画素値よりも高く、係数設定部及び設定ステップは、係数を０以上１以下の値に設定する、ことも好適である。かかる構成によれば、蛍光像が背景像に対して画素値が高い画像データを用いた場合に、蛍光像の輝度を背景像に対して目立つように維持することができる。
　また、蛍光画像データにおける蛍光像の画素値が背景画像データにおける背景像の画素値よりも低く、係数設定部及び設定ステップは、係数を１以上の値に設定する、ことも好適である。この場合、蛍光像が背景像に対して画素値が低い画像データを用いた場合に、蛍光像の輝度を背景像に対して目立つように維持することができる。
　さらに、特定部及び特定ステップは、蛍光画素と非蛍光画素とを特定するために、蛍光画像データの複数の画素の画素値と閾値とを比較する、ことも好適である。こうすれば、蛍光画像データを用いて蛍光像の範囲に含まれる画素を簡易かつ正確に特定できる。
　本発明の一形態は、測定対象の蛍光像に背景像を重畳した画像を生成する重畳画像生成装置及び重畳画像生成方法を使用用途とし、蛍光像と背景像を重畳した重畳画像において蛍光像の認識をより容易にすることを可能とするものである。
　１…蛍光画像取得システム、３…撮像装置（撮像部）、５…光照射装置（光照射部）、１１…特定部、１３…画像処理部、１９…入力装置（係数設定部）、Ｐ…観察対象物。

Claims (9)

  1. 　対象物から発せられた蛍光を撮像することによって蛍光像を生成し、前記蛍光像に背景像を重畳して重畳画像を生成する重畳画像生成装置であって、
    　第１の期間において対象物に対して励起光を出力し、前記第１の期間と異なる第２の期間において前記励起光の出力を停止する光照射部と、
    　２次元的に配列された複数の画素を有し、前記第１の期間及び前記第２の期間のそれぞれにおいて前記対象物を撮像することによって第１の画像データ及び第２の画像データを出力する撮像部と、
    　前記重畳画像における前記背景像の輝度値を調整するための係数を設定する係数設定部と、
    　前記第１の画像データ及び前記第２の画像データに基づいて、前記蛍光像を含む蛍光画像データと前記背景像を含む背景画像データを作成する画像処理部と、
    　前記蛍光画像データを用いて、前記複数の画素のうちから、前記蛍光像を構成する画素である蛍光画素と、前記蛍光画素を除いた画素である非蛍光画素とを特定する特定部と、
    を備え、
    　前記画像処理部は、前記重畳画像を作成するために、前記蛍光画像データの前記蛍光画素の画素値と前記背景画像データの前記蛍光画素の画素値とを１対１の比率で加算した値を、前記重畳画像の前記蛍光画素の画素値として算出し、少なくとも前記背景画像データの前記非蛍光画素の画素値に前記係数を乗じた値を、前記重畳画像の前記非蛍光画素の画素値として算出する、
    重畳画像生成装置。
  2. 　前記画像処理部は、前記蛍光画像データの前記非蛍光画素の画素値と前記背景画像データの前記非蛍光画素の画素値に前記係数を乗じた値とを加算した値を、前記重畳画像の前記非蛍光画素の画素値として算出する、
    請求項１記載の重畳画像生成装置。
  3. 　前記画像処理部は、前記蛍光画像データを作成するために、前記第１の画像データと前記第２の画像データとの差分を算出し、前記第２の画像データを用いて前記背景画像データを作成する、
    請求項１又は２記載の重畳画像生成装置。
  4. 　前記画像処理部は、重畳元の背景画像データを作成するために、前記背景画像データの前記蛍光画素と前記非蛍光画素とを含む前記画素の画素値に前記係数を乗じ、重畳元の蛍光画像データを作成するために、前記蛍光画像データと前記係数の示す減少率に応じて増加するように調整された前記背景画像データの前記蛍光画素の画素値とを加算し、前記重畳画像を作成するために、前記重畳元の背景画像データと前記重畳元の蛍光画像データとを重畳する、
    請求項２又は３記載の重畳画像生成装置。
  5. 　前記画像処理部は、重畳元の背景画像データを作成するために、前記背景画像データの前記非蛍光画素の画素値に前記係数を乗じ、前記重畳画像を作成するために、前記重畳元の背景画像データと前記蛍光画像データとを重畳する、
    請求項２又は３記載の重畳画像生成装置。
  6. 　前記蛍光画像データにおける前記蛍光像の画素値が前記背景画像データにおける前記背景像の画素値よりも高く、前記係数設定部は、前記係数を０以上１以下の値に設定する、
    請求項１～５のいずれか１項に記載の重畳画像生成装置。
  7. 　前記蛍光画像データにおける前記蛍光像の画素値が前記背景画像データにおける前記背景像の画素値よりも低く、前記係数設定部は、前記係数を１以上の値に設定する、
    請求項１～５のいずれか１項に記載の重畳画像生成装置。
  8. 　前記特定部は、前記蛍光画素と前記非蛍光画素とを特定するために、前記蛍光画像データの前記複数の画素の画素値と閾値とを比較する、
    請求項１～７のいずれか１項に記載の重畳画像生成装置。
  9. 　対象物から発せられた蛍光を撮像することによって蛍光像を生成し、前記蛍光像に背景像を重畳して重畳画像を生成する重畳画像生成方法であって、
    　第１の期間において対象物に対して励起光を出力し、前記第１の期間と異なる第２の期間において前記励起光の出力を停止するステップと、
    　２次元的に配列された複数の画素を有する撮像素子を用いて、前記第１の期間及び前記第２の期間のそれぞれにおいて前記対象物を撮像することによって第１の画像データ及び第２の画像データを出力するステップと、
    　前記重畳画像における前記背景像の輝度値を調整するための係数を設定するステップと、
    　前記第１の画像データ及び前記第２の画像データに基づいて、前記蛍光像を含む蛍光画像データと前記背景像を含む背景画像データを作成するステップと、
    　前記蛍光画像データを用いて、前記複数の画素のうちから、前記蛍光像を構成する画素である蛍光画素と、前記蛍光画素を除いた画素である非蛍光画素とを特定するステップと、
    　前記重畳画像を作成するために、前記蛍光画像データの前記蛍光画素の画素値と前記背景画像データの前記蛍光画素の画素値とを１対１の比率で加算した値を、前記重畳画像の前記蛍光画素の画素値として算出し、少なくとも前記背景画像データの前記非蛍光画素の画素値に前記係数を乗じた値を、前記重畳画像の前記非蛍光画素の画素値として算出するステップと、
    を備える重畳画像生成方法。
PCT/JP2016/055426 2015-03-17 2016-02-24 重畳画像生成装置及び重畳画像生成方法 WO2016147822A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16764652.0A EP3272265B1 (en) 2015-03-17 2016-02-24 Superimposed image creation apparatus and superimposed image creation method
US15/557,873 US10223779B2 (en) 2015-03-17 2016-02-24 Superimposed image creation apparatus and superimposed image creation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-052945 2015-03-17
JP2015052945A JP6110887B2 (ja) 2015-03-17 2015-03-17 重畳画像生成装置及び重畳画像生成装置の作動方法

Publications (1)

Publication Number Publication Date
WO2016147822A1 true WO2016147822A1 (ja) 2016-09-22

Family

ID=56918827

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/055426 WO2016147822A1 (ja) 2015-03-17 2016-02-24 重畳画像生成装置及び重畳画像生成方法

Country Status (4)

Country Link
US (1) US10223779B2 (ja)
EP (1) EP3272265B1 (ja)
JP (1) JP6110887B2 (ja)
WO (1) WO2016147822A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6774603B2 (ja) * 2017-03-06 2020-10-28 株式会社Ｊｖｃケンウッド レーザ光照射検出装置、レーザ光照射検出方法、レーザ光照射検出システム
WO2019093089A1 (ja) * 2017-11-13 2019-05-16 ソニー株式会社 情報処理装置、情報処理方法及び蛍光画像撮像システム
JP2021126153A (ja) 2020-02-10 2021-09-02 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
JP2021148897A (ja) * 2020-03-18 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置および医療用観察システム
JP2021149558A (ja) * 2020-03-19 2021-09-27 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察システムおよび画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012249804A (ja) * 2011-06-02 2012-12-20 Olympus Corp 蛍光観察装置
WO2013015120A1 (ja) * 2011-07-22 2013-01-31 オリンパス株式会社 蛍光内視鏡装置
JP2013039275A (ja) * 2011-08-18 2013-02-28 Olympus Corp 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6468204B2 (en) * 2000-05-25 2002-10-22 Fuji Photo Film Co., Ltd. Fluorescent endoscope apparatus
JP4321697B2 (ja) * 2000-08-02 2009-08-26 富士フイルム株式会社 蛍光画像表示方法および装置
JP4251317B2 (ja) * 2003-06-23 2009-04-08 株式会社ニコン 撮像装置および画像処理プログラム
US7577284B2 (en) * 2006-04-21 2009-08-18 Carestream Health, Inc. Optical detection of dental caries
WO2008028298A1 (en) * 2006-09-06 2008-03-13 University Health Network Fluorescence quantification and image acquisition in highly turbid media
US8731844B2 (en) * 2008-05-16 2014-05-20 Leonore A. Herzenberg System and method for selecting a multiparameter reagent combination and for automated fluorescence compensation
JP5229723B2 (ja) 2008-05-22 2013-07-03 富士フイルム株式会社 蛍光画像取得装置
JP4851580B2 (ja) * 2009-11-20 2012-01-11 シャープ株式会社 画像読取装置、及びそれを備えた画像データ出力処理装置、並びに画像読取方法
US8469519B2 (en) * 2010-06-16 2013-06-25 Eastman Kodak Company Projection apparatus providing reduced speckle artifacts
CN103491847B (zh) 2011-06-07 2016-01-20 奥林巴斯株式会社 内窥镜装置和荧光观察的光量控制方法
JP6005918B2 (ja) * 2011-09-08 2016-10-12 オリンパス株式会社 蛍光観察装置
WO2015025640A1 (ja) 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012249804A (ja) * 2011-06-02 2012-12-20 Olympus Corp 蛍光観察装置
WO2013015120A1 (ja) * 2011-07-22 2013-01-31 オリンパス株式会社 蛍光内視鏡装置
JP2013039275A (ja) * 2011-08-18 2013-02-28 Olympus Corp 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3272265A4 *

Also Published As

Publication number Publication date
US20180082411A1 (en) 2018-03-22
US10223779B2 (en) 2019-03-05
JP2016173282A (ja) 2016-09-29
JP6110887B2 (ja) 2017-04-05
EP3272265B1 (en) 2022-01-26
EP3272265A1 (en) 2018-01-24
EP3272265A4 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
WO2016147822A1 (ja) 重畳画像生成装置及び重畳画像生成方法
JP6450832B2 (ja) 蛍光画像生成装置及び蛍光画像生成方法
US10194789B2 (en) Rolling shutter imaging device and endoscope apparatus including the same
US10048206B2 (en) Fluorescence viewing device and fluorescence viewing method
WO2018025457A1 (ja) 制御装置、制御システム、および制御方法
US9279973B2 (en) Image processing apparatus, fluorescence microscope apparatus, and image processing program
JP5292379B2 (ja) 内視鏡装置
JP5669828B2 (ja) 画像処理装置および蛍光観察装置
US10958852B2 (en) Imaging apparatus and control method having a plurality of synchronized light source devices
JP2015196004A5 (ja)
JP6203452B1 (ja) 撮像システム
JP6383370B2 (ja) 蛍光観察装置
WO2017022324A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム
WO2016158376A1 (ja) 画像処理装置
JP6180612B2 (ja) 内視鏡装置
JP7116580B2 (ja) 撮像装置、撮像装置を制御するための方法及びプログラム
JP5622529B2 (ja) 内視鏡装置
JP2011067486A (ja) 画像取得方法および装置
JP2010026858A (ja) 認証用画像撮像装置
JP2002102147A (ja) 蛍光画像取得装置
JP7140113B2 (ja) 内視鏡
JP6535701B2 (ja) 撮像装置
JP6046854B2 (ja) 内視鏡装置
JP2019168423A (ja) 画像取得装置及び画像取得方法
WO2017022323A1 (ja) 画像信号処理方法、画像信号処理装置および画像信号処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16764652

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15557873

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE