WO2012046530A1 - 診断システム - Google Patents

診断システム Download PDF

Info

Publication number
WO2012046530A1
WO2012046530A1 PCT/JP2011/070216 JP2011070216W WO2012046530A1 WO 2012046530 A1 WO2012046530 A1 WO 2012046530A1 JP 2011070216 W JP2011070216 W JP 2011070216W WO 2012046530 A1 WO2012046530 A1 WO 2012046530A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
spectral
image data
index
value
Prior art date
Application number
PCT/JP2011/070216
Other languages
English (en)
French (fr)
Inventor
千葉　亨
佳巳 小原
誠 橋爪
主之 松本
晃造 小西
盛雅 富川
村田　正治
Original Assignee
Hoya株式会社
国立大学法人九州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社, 国立大学法人九州大学 filed Critical Hoya株式会社
Priority to DE112011103387.7T priority Critical patent/DE112011103387B4/de
Priority to CN201180048357.1A priority patent/CN103167822B/zh
Priority to US13/877,979 priority patent/US9468381B2/en
Priority to GB1308158.3A priority patent/GB2498491B/en
Publication of WO2012046530A1 publication Critical patent/WO2012046530A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4238—Evaluating particular parts, e.g. particular organs stomach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261—Evaluating exocrine secretion production
    • A61B5/4283—Evaluating exocrine secretion production gastrointestinal secretions, e.g. bile production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to a diagnostic system that generates an index value that indicates an area likely to be a lesion in living tissue.
  • an electronic endoscope having a function as a spectrometer has been proposed, such as that described in, for example, Japanese Patent Application Publication No. JP2007-135989A.
  • an electronic endoscope it is possible to obtain spectral characteristics (distribution at each frequency of light absorptivity) of biological tissue such as the mucous membrane of a digestive organ such as the stomach or rectum.
  • the spectral characteristics of substances are known to reflect information on the type and concentration of substances contained in the vicinity of the surface layer of the living tissue to be measured, and have been established as a discipline belonging to the analytical chemistry system .
  • the spectral characteristic of the substance composed of the composite component is information obtained by superposing the spectral characteristic of the component substance constituting the composite substance.
  • the living tissue of the healthy area may often contain a substance having a chemical structure which is hardly contained. Therefore, the spectral characteristics of the living tissue including the lesion area are different from the spectral characteristics of the living tissue of only the healthy region. As described above, since the spectral characteristics change between the healthy part and the lesioned part, it is possible to compare the spectral characteristics of the two and judge whether any lesioned part in the living tissue is included.
  • an object of the present invention is to provide a diagnostic system that generates an index value that is useful in determining the area of a lesion of a living tissue.
  • the diagnostic system of the present invention comprises spectral image capturing means for capturing spectral images of a predetermined target wavelength region in a body cavity to obtain spectral image data, and obtaining spectral image data to obtain the spectral images.
  • An image processing unit that calculates an index value indicating an area likely to be a lesion from image data, and a monitor on which the index value is displayed, the image processing unit is configured to calculate each coordinate of the spectral image.
  • the ratio of the cumulative value of the luminance values of all the spectral images of the target wavelength region to the luminance value of the spectral image of the specific wavelength band is calculated as an index value.
  • the spectral characteristics of the lesioned part of the living tissue change in luminance value of a specific wavelength band compared to that of the healthy part.
  • the spectrum obtained from the spectral image data has its total light amount level changed depending on the irradiation angle of the illumination light to the sample. Therefore, in the present invention, first, the cumulative value of the luminance values of the pixels of the spectral image is obtained, and the luminance value of the pixels is standardized based on the value.
  • the ratio between the spectral intensity of the wavelength band of interest of the specific pixel and the accumulated luminance value of the luminance value of the specific pixel is determined, and the variation of the luminance value due to the illumination angle of the illumination light and the sample is corrected.
  • the index value obtained by this method indicates the ratio of the spectral characteristics of a specific wavelength to the entire wavelength region. For example, a region where this ratio is large indicates that the luminance component of the wavelength region of interest is large, that is, the spectral characteristic change is more characteristic than other regions.
  • the spectral change characteristic of the lesion is known, it is indicated that the region is a region to be noted as the lesion.
  • the image processing means be configured to cause the monitor to display an index graph in which the index values are graphed.
  • the image processing means combines color image data in the blue, green and red wavelength bands among the spectral image data to generate color image data, and the color image data and the index graph are displayed side by side on the monitor It is also possible to have a configuration that
  • the particular wavelength band to be noted here is preferably a wavelength band whose maximum value is smaller than 550 nm to 590 nm which is the absorption wavelength band of hemoglobin.
  • the specific wavelength band is, for example, 480 to 520 nm.
  • FIG. 1 is a block diagram of a diagnostic system according to the embodiment of this invention.
  • FIG. 2 is a graph showing spectra of a plurality of pixels in an image of gastric mucosa.
  • FIG. 2 (a) is a graph showing an example of a spectrum of a healthy part of gastric mucosa
  • FIG. 2 (b) is a graph showing an example of a spectrum of a lesion of gastric mucosa.
  • FIG. 3 is a graph showing an example of the spectrum after performing the scaling process on the spectrum of FIG.
  • FIG. 4 is a flowchart of a routine for displaying an index graph, which is executed by the spectral image processing unit of the diagnostic system according to the embodiment of this invention.
  • FIG. 5 is an example of the index graph in the embodiment.
  • FIG. 1 is a block diagram of a diagnosis system 1 of the present embodiment.
  • the diagnostic system 1 of the present embodiment generates an index image to be referred to by a doctor when diagnosing a digestive disorder such as the stomach or intestine.
  • the diagnostic system 1 includes an electronic endoscope 100, an electronic endoscope processor 200, and an image display device 300. Further, the electronic endoscope processor 200 incorporates a light source unit 400 and an image processing unit 500.
  • the electronic endoscope 100 has an insertion tube 110 inserted into a body cavity, and an objective optical system 121 is provided at a distal end portion (insertion tube distal end portion) 111 of the insertion tube 110.
  • An image of the living tissue T around the insertion tube distal end portion 111 by the objective optical system 121 forms an image on the light receiving surface of the imaging element 141 built in the insertion tube distal end portion 111.
  • the imaging device 141 periodically (for example, every 1/30 seconds) outputs a video signal corresponding to the image formed on the light receiving surface.
  • the video signal output from the imaging element 141 is sent to the image processing unit 500 of the electronic endoscope processor 200 via the cable 142.
  • the image processing unit 500 includes an A / D conversion circuit 510, a temporary storage memory 520, a controller 530, a video memory 540, and a signal processing circuit 550.
  • the A / D conversion circuit 510 A / D converts a video signal input from the imaging element 141 of the electronic endoscope 100 via the cable 142 and outputs digital image data.
  • the digital image data output from the A / D conversion circuit 510 is sent to and stored in the temporary storage memory 520.
  • the controller 530 processes any one or more image data stored in the temporary storage memory 520 to generate one display image data and sends it to the video memory 540.
  • the controller 530 may be an image obtained by image computation of display image data generated from a single image data, display image data in which images of a plurality of image data are displayed side by side, or a plurality of image data.
  • display image data or the like in which a graph obtained as a result of image calculation is displayed is generated and stored in the video memory 540.
  • the signal processing circuit 550 converts the display image data stored in the video memory 540 into a video signal of a predetermined format (for example, NTSC format) and outputs it.
  • the video signal output from the signal processing circuit 550 is input to the image display device 300.
  • an endoscope image or the like captured by the electronic endoscope 100 is displayed on the image display device 300.
  • the electronic endoscope 100 is provided with a light guide 131.
  • the distal end 131a of the light guide 131 is disposed in the vicinity of the insertion tube distal end 111, while the proximal end 131b of the light guide 131 is connected to the electronic endoscope processor 200.
  • the electronic endoscope processor 200 incorporates a light source unit 400 (described later) having a light source 430 or the like that generates white light with a large light quantity such as a xenon lamp, and the light generated by the light source unit 400 is a light The light is incident on the proximal end portion 131 b of the guide 131.
  • the light incident on the proximal end 131 b of the light guide 131 is guided to the distal end 131 a through the light guide 131 and emitted from the distal end 131 a.
  • a lens 132 is provided in the vicinity of the tip 131a of the light guide 131 of the insertion tube tip 111 of the electronic endoscope 100, and the light emitted from the tip 131a of the light guide 131 It penetrates and illuminates the living tissue T in the vicinity of the insertion tube tip 111.
  • the electronic endoscope processor 200 has a function as a video processor for processing a video signal output from the image pickup device 141 of the electronic endoscope 100 and an electronic endoscope 100 in the vicinity of the insertion tip 111 of the electronic endoscope 100. It also has a function as a light source device for supplying illumination light for illuminating the living tissue T to the light guide 131 of the electronic endoscope 100.
  • the light source unit 400 of the electronic endoscope processor 200 includes a light source 430, a collimator lens 440, a spectral filter 410, a filter control unit 420, and a condenser lens 450.
  • the white light emitted from the light source 430 is collimated by the collimator lens 440, passes through the spectral filter 410, and then enters the proximal end 131 b of the light guide 131 by the condenser lens 450.
  • the spectral filter 410 is a disk-type filter that splits white light incident from the light source 430 into light of a predetermined wavelength (that is, wavelength selection), and 400, 405, 410,.
  • the rotation angle of the spectral filter 410 is controlled by the filter control unit 420 connected to the controller 530, and the controller 530 controls the rotation angle of the spectral filter 410 via the filter control unit 420 to obtain a predetermined wavelength.
  • Light enters the proximal end 131 b of the light guide 131 and illuminates the living tissue T in the vicinity of the insertion tube distal end 111. Then, the light reflected by the living tissue T forms an image on the light receiving surface of the imaging element 141 as described above, and a video signal is sent to the image processing unit 500 via the cable 142.
  • the image processing unit 500 is a device that obtains a plurality of spectral images in 5 nm wavelength increments from the image of the living tissue T obtained through the cable 142. Specifically, when the spectral filter 410 selects and outputs narrow band light (having a bandwidth of about 5 nm) of central wavelengths 400, 405, 410,. Obtain a spectral image.
  • the image processing unit 500 has a function of processing a plurality of spectral images generated by the spectral filter 410 and generating an image such as a color image or an index graph indicating the position of a lesion as described later. Then, the image processing unit 500 causes the image display device 300 to display the processed spectral image.
  • spectral filter 410 for example, a Fabry-Perot filter or a filter using a transmission diffraction grating can be used.
  • the image processing unit 500 has a function of generating an index graph indicating the position of a region likely to be a lesion, using a plurality of spectral images of different wavelengths.
  • the index graph generation function will be described below.
  • FIG. 2 is a graph showing spectra of a plurality of pixels in an image of gastric mucosa.
  • FIG. 2 (a) shows the spectrum of the pixel corresponding to the healthy part of the gastric mucosa
  • FIG. 2 (b) shows the spectrum of the pixel corresponding to the lesion of the gastric mucosa. is there.
  • the spectrum of the gastric mucosa image has a large peak (first peak) at a wavelength of 600 to 700 nm and a wavelength of 500 nm regardless of whether it is a healthy part or a lesion part. With a small peak (second peak).
  • the spectrum of each pixel of the healthy part and the lesion part is confirmed to have almost similar characteristics, but when measurement is performed at a plurality of points distributed in two dimensions
  • the amount of light effective for measurement differs from point to point due to the difference between the angle of the illumination light and the subject and the distance from the insertion tube tip 111 (FIG. 1) of the electronic endoscope 100.
  • the respective spectra shown in FIG. 2 are replaced with the information of relative intensity for each wavelength regardless of the luminance value, and a standardization process is performed to compare and consider.
  • the standardization process is performed according to the following procedure. Note that the scaling process described below is to obtain a coefficient when scaling other pixels with reference to a pixel having the largest maximum brightness among a plurality of pixels serving as a sample.
  • n is a sample number, and here indicates the two-dimensional spectral intensity of each point.
  • Each of the pixels is a mixture of pixels of a healthy part and pixels of a lesion.
  • the maximum value of O n (lambda) is find the most larger specimens N.
  • Kn satisfying Equation 1 below is determined.
  • K indicates a coefficient group which is optimized by calculating the light amount difference at each point.
  • calculation in normal reflection intensity is also applicable.
  • FIG. 3 A spectrum obtained by scaling the spectrum shown in FIG. 2 by the above procedure is shown in FIG.
  • the solid line in FIG. 3 shows the normalized spectrum of the pixel corresponding to the healthy region of the gastric mucosa
  • the dotted line shows the normalized spectrum of the pixel corresponding to the lesion of the gastric mucosa.
  • the level of the valley (in the vicinity of a wavelength of 550 nm) between the first peak and the second peak is slightly higher in the pixels of the healthy area than in the pixels of the lesion area. That is, in the band of wavelengths 480 to 590 nm, the pixels of the healthy part are larger than the pixels of the lesioned part, and the two-dimensional extraction of the spectral level difference of the band centered on 480 to 590 nm I understand that it is.
  • the band of wavelengths 550 to 590 nm is known to be the absorption wavelength band of hemoglobin.
  • a band whose maximum wavelength is smaller than the absorption wavelength band of hemoglobin described above for example, a band near the wavelength 500 nm (480 to 520 nm, etc.) is used as a new marker indicating a lesion.
  • the diagnostic system 1 of the present embodiment uses the level of the wavelength band centered on 480 to 520 nm as a marker for indicating a lesion, and generates an index graph indicating the position of a region likely to be a lesion. doing. And thereby, in spectral characteristic information in which characteristic changes of all disease parts are included, diagnosis support information can be provided based on the information.
  • the scaling process is simplified to obtain the index value in a very short time.
  • the contribution of the average value of the luminance value of each pixel of the endoscopic image is dominated by the component around the first peak, and the contribution rate of the component around the second peak is low . Therefore, the data obtained by calculating the ratio of the luminance value around the second peak to the cumulative value of the luminance value of each pixel of the endoscopic image obtained from the spectral image for each pixel is the above-mentioned (each Like the luminance value near the wavelength 500 nm of the spectrum for which the luminance value of the pixel is multiplied by Kn), it functions as an index indicating the position of a region likely to be a lesion.
  • data obtained by dividing the cumulative value of the luminance values of each pixel by the luminance value around the second peak is used as an index indicating the position of the area having a high possibility of being a lesion. That is, based on the spectral image, the luminance value O I (x, y, ⁇ ) of the pixel at the coordinate (x, y) is calculated based on Equation 2, and the index value O O at the coordinate (x, y) Find (x, y).
  • ma and mb are natural numbers such that ma ⁇ mb, and are appropriately selected such that the wavelength bands ⁇ ma to ⁇ mb are included in the wavelength band around the second peak.
  • M is defined O O (x, y) so that falls within an appropriate range (e.g., between 0 and 1) (i.e., O O (x, y) so that the maximum value is appropriately sized) appropriate It is a coefficient.
  • O O (x, y) obtained by Equation 2 is a value obtained by dividing the cumulative value of the luminance of each pixel of the endoscopic image by the luminance value around the second peak.
  • the obtained coordinates (x, y) having a large O O (x, y) are estimated to be regions that are likely to be a lesion.
  • FIG. 4 is a flowchart of a routine for generating an index graph and displaying the image on the image display device 300, which is executed by the image processing unit 500 of the present embodiment. This routine is executed when the image processing unit 500 is powered on.
  • step S1 the image processing unit 500 displays a message prompting the user to input the lower limit ⁇ ma and the upper limit ⁇ mb of the wavelength band to be compared with the cumulative value of luminance values (the numerator of the right side of equation 2) when creating the index graph. While displaying on the device 300, the input of ⁇ ma and ⁇ mb is accepted. When ⁇ ma and ⁇ mb are input by an input unit (keyboard or the like) (not shown) of the image processing unit 500, the process proceeds to step S2.
  • step S2 the image processing unit 500 sends a control signal for causing the filter control unit 400 to acquire a spectral image.
  • the filter control unit 400 controls the rotation angle of the spectral filter 410 to sequentially select the narrow band light of 400 nm, 405, 410, ..., 800 nm (bandwidth about 5 nm).
  • the image processing unit 500 captures a spectral image obtained at each wavelength and records the spectral image in the temporary storage memory 520.
  • step S3 the process proceeds to step S3.
  • step S3 three images with center wavelengths of 435 nm, 545 nm, and 700 nm are taken out of the spectral images acquired in step S2, and an image with a center wavelength of 435 nm is a blue plane and an image with a center wavelength of 545 nm.
  • an image with a center wavelength of 435 nm is a blue plane and an image with a center wavelength of 545 nm.
  • This color image data is obtained from the spectral image of 435 nm, which is the blue wavelength, the spectral image of 545 nm, which is the green wavelength, and the spectral image of 700 nm, which is the red wavelength, as described above. It becomes a color image equivalent to the endoscopic image.
  • the image processing unit 500 sends the generated color image data to the video memory 540 and displays it on the left side of the screen of the image display device 300. Then, it progresses to step S4.
  • step S4 while step S2 or S3 is being performed, the input means of the image processing unit 500 is operated to confirm whether or not a trigger input instructing generation of an index graph has occurred. If a trigger input has not occurred (S4: NO), the process proceeds to step S2, and acquisition of a spectral image is performed again. That is, as long as there is no trigger input, the color image obtained from the spectral image is successively updated and continuously displayed on the image display device 300. On the other hand, if a trigger input is generated while steps S2 to S3 are being executed (S4: YES), the process proceeds to step S5.
  • step S5 an index value is created using Eq. 2 from ⁇ ma and ⁇ mb inputted in step S1 and the spectral image acquired in step S2. Then, it progresses to step S6.
  • step S6 an index graph obtained by graphing the index value created in step S5 is displayed on the right side of the screen of the image display device 300.
  • the color image of the endoscopic image and the index graph are arranged side by side on the screen of the image display device 300, and the user of the diagnostic system 1 compares the color image with the index graph. It is possible to determine which region in the color image is a lesion. Then, it progresses to step S7.
  • step S7 the image processing unit 500 causes the image display device 300 to display a message inquiring as to whether or not to create the index graph again, and receives an input from the input unit.
  • the process returns to step S1.
  • the re-creation of the index graph is not instructed for a predetermined time (for example, several seconds) (S7: NO)
  • the process proceeds to step S8.
  • step S8 the image processing unit 500 causes the image display apparatus 300 to display a message inquiring as to whether or not the display of the index graph is to be ended, and accepts an input from the input unit.
  • the user of the diagnostic system 1 operates the input means and selects to end the display of the index graph (S8: YES)
  • this routine is ended.
  • display of the index graph is not instructed for a predetermined time (for example, several seconds) (S8: NO)
  • the process proceeds to step S7.
  • the index graph referred to when estimating the position of the lesion area is displayed together with the color image of the endoscopic image. It is displayed on the device 300.
  • the user of the diagnostic system 1 manually inputs the wavelength range ( ⁇ ma , ⁇ mb ) that functions as a marker of a lesion.
  • a wavelength range functioning as a marker of a lesion site may be a fixed value (for example, 480 nm to 520 nm or 500 nm).
  • the cumulative value of the luminance value of each pixel and the luminance value around the second peak are obtained from spectral images of different wavelengths, and used as an index indicating the position of a region likely to be a lesion.
  • the numerator (number of cumulative values of luminance values of each pixel) part of the number 2 does not require spectral image data of a specific wavelength, and calculation is possible if there is luminance information for a fixed monochrome image. is there. Therefore, instead of the process of obtaining the total value of the luminance value of each pixel, for example, after the spectral filter 140 is retracted, the luminance value of each pixel by white light may be determined.
  • R (red) is used in place of the usual R (red) -G (green) -G (green) -B (blue) Bayer arrangement filter. Even if a color filter of Bayer arrangement of -GY (Gray)-G (Green)-B (Blue) is arranged and the spectral filter 140 is retracted, the luminance information obtained by the GY (Gray) filter is used. Good. With such a configuration, it is not necessary to obtain the total value of the luminance values of the respective pixels from spectral images of different wavelengths, and it becomes possible to easily and quickly carry out the arithmetic processing of Equation 2.
  • FIG. 5 is an index graph in which an index value O o (x, y) obtained by processing a spectral image of an endoscopic image by the diagnostic system 1 of the present embodiment is mapped. Note that hit the obtain an index value O O (x, y), ⁇ ma and lambda mb in Formula 2 is set to 500 nm.
  • the index graph is shown as a contour map, and the region where the index value O o (x, y) is high (that is, likely to be a lesion) is , Light in density (ie, close to white) and high on the contour map. Therefore, the position of the lesion can be estimated from the index graph.
  • the present invention is not limited to the above configuration.
  • the position of the lesion is indicated simply by shading (that is, a diagram in which the brightness of coordinates (x, y) is proportional to O 0 (x, y) is used as an index graph) or an index graph is displayed
  • the present invention also includes a configuration in which a mark such as a frame is superimposed on an area where the value of O o (x, y) exceeds a predetermined threshold in a color image displayed on the image display device 300 without being displayed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Optics & Photonics (AREA)
  • Endocrinology (AREA)
  • Physiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

　診断システムが、体腔内の所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、分光画像データを取得して該分光画像データから病変部である可能性が高い領域を示す指標値を演算する画像処理手段と、指標値が表示されるモニタとを有し、画像処理手段は、分光画像の各座標について、前記所定波長領域の全ての分光画像の輝度値の累計値と特定の波長帯域の分光画像の輝度値の比率を、指標値として演算する。

Description

診断システム
　本発明は、生体組織中の病変部である可能性が高い領域を示す指標値を生成する診断システムに関する。
　近年、例えば日本特許出願公開公報ＪＰ２００７－１３５９８９Ａに記載されているもののような、分光計としての機能を備えた電子内視鏡が提案されている。このような電子内視鏡によれば、胃や直腸等の消化器の粘膜等の生体組織の分光特性（光の吸収率の周波数ごとの分布）を得ることができる。物質の分光特性は、測定対象となる生体組織の表層近傍に含まれる物質の種類や濃度の情報を反映していることが知られており、分析化学の体系に属する学問分野として確立されている。その中で、複合成分よりなる物質の分光特性は、その複合物質を構成する要素物質の分光特性を重畳した情報であることも知られている。
　病変部の生体組織においては、健常部の生体組織には殆ど含まれていない化学構造の物質が多く含まれる場合がある。そのため、病変部を含む生体組織の分光特性は、健常部のみの生体組織の分光特性とは異なったものとなる。このように、健常部と病変部とでは分光特性が変化するため、両者の分光特性を比較して、生体組織における何らかの病変部が含まれるかどうかを判断することができる。
　上記のように、生体内の分光情報を入手することにより、その分光特性から、生体組織における病変部の存在を判定することが可能である。しかしながら、生体組織中のどの領域に病変部に起因する分光変化が存在するかを判断し、位置や範囲を特定する方法は提案されていない。
　本発明は上記の問題を解決するためになされたものである。すなわち、本発明は、生体組織の病変部の領域を判断する際に有用な指標値を生成する診断システムを提供することを目的とする。
　上記の目的を達成するため、本発明の診断システムは、体腔内の所定の対象波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、分光画像データを取得して該分光画像データから病変部である可能性が高い領域を示す指標値を演算する画像処理手段と、指標値が表示されるモニタとを有し、該画像処理手段は、分光画像の各座標について、該対象波長領域の全ての分光画像の輝度値の累計値と特定の波長帯域の分光画像の輝度値の比率を、指標値として演算する。
　上記のように、生体組織の病変部の分光特性は、特定の波長帯域の輝度値が健常部のものと比べて変化することが知られている。しかしながら、生体試料の反射角度を一定にすることは困難であり、分光画像データから得られるスペクトルは、照明光の試料への照射角度により、その全体的な光量レベルが変化することになる。そのため、本発明においては、まず、分光画像の画素の輝度値の累計値を求め、その値をもとに画素の輝度値を基準化する。特定画素の注目する波長帯域の分光強度と、該特定画素の輝度値の累積輝度値との比率を求め、照明光と試料の照射角度による輝度値のバラツキを補正する。この方法により得られた指標値は、特定波長の分光特性が波長領域全体に対して占める割合を示す。たとえば、この比率の大きい領域は、注目する波長領域の輝度成分が、大きい、すなわち、分光特性変化が他の領域より特徴的であることが示される。また、病変部に特徴的な分光変化が既知である場合は、病変部として注目すべき領域であることが示される。２次元領域の分光情報が利用可能な場合は、上記の処理を画素ごとに施し、範囲診断としての疾患情報を得ることが可能となる。
　また、画像処理手段は、指標値をグラフ化した指標グラフをモニタに表示させる構成とすることが好ましい。
　このような構成とすると、どの領域が病変部である可能性が高いといえるかを、指標グラフを参照することによって容易に判断できる。
　また、画像処理手段は、分光画像データのうち、青色、緑色、赤色の波長帯域のものを合成してカラー画像データを生成し、モニタには、カラー画像データと指標グラフとが並べられて表示される構成とすることも可能である。
　このような構成とすると、分光画像撮影手段によって撮影された生体組織のカラー画像と指標グラフとの比較により、どの領域が病変部である可能性が高いといえるかをより容易に判断可能となる。
ここで注目する、特定の波長帯域は、ヘモグロビンの吸収波長帯域である５５０ｎｍ～５９０ｎｍよりも最大値が小さい波長帯域である構成とすることが好ましい。特定の波長帯域は、例えば、４８０～５２０ｎｍである。
　以上のように、本発明によれば、生体組織中の病変の存在領域を判断する際に有用な指標値を得ることが可能となる。
図１は、本発明の実施の形態の診断システムのブロック図である。 図２は、胃粘膜の画像中の複数の画素のスペクトルを示すグラフである。図２（ａ）は、胃粘膜の健常部のスペクトルの例を示したグラフであり、図２（ｂ）は、胃粘膜の病変部のスペクトルの例を示したグラフである。 図３は、図２のスペクトルに対して基準化処理を行った後のスペクトルの例を示したグラフである。 図４は、本発明の実施の形態の診断システムの分光画像処理ユニットによって実行される、指標グラフの表示を行うためのルーチンのフローチャートである。 図５は、実施例における指標グラフの一例である。
　以下、本発明の実施の形態について、図面を用いて詳細に説明する。
　図１は、本実施形態の診断システム１のブロック図である。本実施形態の診断システム１は、胃や腸等の消化器の疾患を診断する際に医師によって参照される指標画像を生成するものである。診断システム１は、電子内視鏡１００と、電子内視鏡用プロセッサ２００と、画像表示装置３００と、を有する。また、電子内視鏡用プロセッサ２００には、光源部４００と、画像処理部５００が内蔵されている。
　電子内視鏡１００は、体腔内に挿入される挿入管１１０を有し、挿入管１１０の先端部（挿入管先端部）１１１に、対物光学系１２１が設けられている。挿入管先端部１１１の周囲の生体組織Ｔの対物光学系１２１による像は、挿入管先端部１１１に内蔵されている撮像素子１４１の受光面に結像するようになっている。
　撮像素子１４１は、受光面に結像した像に対応する映像信号を、周期的に（例えば１／３０秒おきに）出力している。撮像素子１４１から出力された映像信号は、ケーブル１４２を介して電子内視鏡用プロセッサ２００の画像処理部５００に送られる。
　画像処理部５００は、Ａ／Ｄ変換回路５１０、一時記憶メモリ５２０、コントローラ５３０、ビデオメモリ５４０及び信号処理回路５５０を有する。Ａ／Ｄ変換回路５１０は、電子内視鏡１００の撮像素子１４１からケーブル１４２を介して入力される映像信号をＡ／Ｄ変換してデジタル画像データを出力する。Ａ／Ｄ変換回路５１０から出力されるデジタル画像データは、一時記憶メモリ５２０に送られ記憶される。コントローラ５３０は、一時記憶メモリ５２０に記憶された任意の単数又は複数の画像データを処理して一枚の表示用画像データを生成し、これをビデオメモリ５４０に送る。例えば、コントローラ５３０は、単一の画像データから生成された表示用画像データ、複数の画像データの画像が並べて表示される表示用画像データ、或いは複数の画像データを画像演算して得られた画像や、画像演算の結果得られるグラフが表示されている表示用画像データ等を生成して、これをビデオメモリ５４０に記憶させる。信号処理回路５５０は、ビデオメモリ５４０に記憶されている表示用画像データを所定の形式（例えばＮＴＳＣ形式）のビデオ信号に変換し、出力する。信号処理回路５５０から出力されたビデオ信号は、画像表示装置３００に入力される。この結果、電子内視鏡１００によって撮像された内視鏡画像等が、画像表示装置３００に表示される。
　また、電子内視鏡１００にはライトガイド１３１が設けられている。ライトガイド１３１の先端部１３１ａは挿入管先端部１１１の近傍に配置されており、一方ライトガイド１３１の基端部１３１ｂは電子内視鏡用プロセッサ２００に接続されている。電子内視鏡用プロセッサ２００は、キセノンランプ等の光量の大きい白色光を生成する光源４３０等を有する光源部４００（後述）を内蔵しており、この光源部４００によって生成された光は、ライトガイド１３１の基端部１３１ｂに入射するようになっている。ライトガイド１３１の基端部１３１ｂに入射した光は、ライトガイド１３１を通ってその先端部１３１ａに導かれ、先端部１３１ａから放射される。電子内視鏡１００の挿入管先端部１１１の、ライトガイド１３１の先端部１３１ａの近傍には、レンズ１３２が設けられており、ライトガイド１３１の先端部１３１ａから放射される光は、レンズ１３２を透過して、挿入管先端部１１１の近傍の生体組織Ｔを照明する。
　このように、電子内視鏡用プロセッサ２００は、電子内視鏡１００の撮像素子１４１から出力される映像信号を処理するビデオプロセッサとしての機能と、電子内視鏡１００の挿入先端部１１１近傍の生体組織Ｔを照明するための照明光を電子内視鏡１００のライトガイド１３１に供給する光源装置としての機能を兼ね備えるものである。
　本実施形態においては、電子内視鏡用プロセッサ２００の光源部４００は、光源４３０と、コリメータレンズ４４０と、分光フィルタ４１０と、フィルタ制御部４２０と、集光レンズ４５０とを有している。光源４３０から出射される白色光は、コリメータレンズ４４０によって平行光となり、分光フィルタ４１０を通過した後、集光レンズ４５０によってライトガイド１３１の基端部１３１ｂに入射する。分光フィルタ４１０は、光源４３０から入射される白色光を所定の波長の光に分光する（すなわち、波長選択する）円盤型のフィルタであり、回転角度に応じて４００、４０５、４１０、・・・、８００ｎｍの狭帯域（帯域幅約５ｎｍ）の光を波長選択して出力する。分光フィルタ４１０の回転角度は、コントローラ５３０に接続されたフィルタ制御部４２０によって制御されており、コントローラ５３０がフィルタ制御部４２０を介して分光フィルタ４１０の回転角度を制御することにより、所定の波長の光がライトガイド１３１の基端部１３１ｂに入射し、挿入管先端部１１１の近傍の生体組織Ｔを照明する。そして、生体組織Ｔによって反射された光が、上述のように撮像素子１４１の受光面に結像し、映像信号がケーブル１４２を介して画像処理部５００に送られる。
　画像処理部５００は、ケーブル１４２を介して得られた生体組織Ｔの像から、波長５ｎｍ刻みの複数の分光画像を得る装置である。具体的には、分光フィルタ４１０が、中心波長４００、４０５、４１０、・・・、８００ｎｍの狭帯域（帯域幅約５ｎｍ）の光をそれぞれ波長選択して出力している場合に、各波長の分光画像を得る。
　画像処理部５００は、分光フィルタ４１０によって生成される複数の分光画像を処理して、後述するようにカラー画像又は病変部の位置を示す指標グラフ等の画像を生成する機能を有する。そして、画像処理部５００は、処理された分光画像を画像表示装置３００に表示させる。
　なお、分光フィルタ４１０には、例えば、ファブリ＝ペロー型のフィルタや、透過型回折格子を使用したフィルタを利用可能である。
　前述のように、本実施形態の画像処理部５００は、波長の異なる複数枚の分光画像を用いて、病変部である可能性が高い領域の位置を示す指標グラフを生成する機能を有する。この指標グラフ生成機能について、以下に説明する。
　まず、本実施形態の画像処理部５００によって生成される指標グラフの元となる指標値について説明する。図２は、胃粘膜の画像中の複数の画素のスペクトルを示すグラフである。なお、図２（ａ）は、胃粘膜の健常部に対応する画素のスペクトルを示したものであり、図２（ｂ）は、胃粘膜の病変部に対応する画素のスペクトルを示したものである。図２に示されるように、胃粘膜画像のスペクトルは、健常部であるか病変部であるかに拘わらず、波長６００～７００ｎｍに大きなピーク（第１のピーク）を有し、且つ、波長５００ｎｍを中心に小さなピーク（第２のピーク）を有するものとなっている。
　図２に示されるように、健常部分及び病変部の各画素のスペクトルは、大凡似たような特性であることが確認されているが、２次元に分布する複数の地点で計測を実施した場合には、照明光と被写体の角度や、電子内視鏡１００の挿入管先端部１１１（図１）からの距離の違いにより、計測に有効な光量は地点ごとに異なる。この光量差の影響を補正するため、図２に示される各スペクトルを輝度値に関わらず、波長ごとの相対強度の情報に置き換え、比較検討するために基準化処理を行っている。なお、この基準化処理は、下記の手順により行われる。なお、以下に説明する基準化処理は、標本となる複数の画素のうち、最大輝度が最も大きくなるような画素を基準として、他の画素を基準化する際の係数を求めるものである。
　まず、胃の粘膜の画像中の各画素のスペクトルをＯｎ（λｉ）とする。ここで、ｎは標本番号であり、ここでは、２次元的各地点の分光強度を示す。なお、上記各画素は、健常部の画素と病変部の画素とが混在したものである。また、λｉは、スペクトルにおける中心波長であり、λ１＝４００ｎｍ、λ２＝４０５ｎｍ、・・・、λ８１＝８００ｎｍのいずれかの値をとる。まず、Ｏｎ（λ）の最大値が最も大きくなる標本Ｎを探す。次いで、ｎ≠ＮのＯｎ（λ）に対して、下記の数１を満たす定数Ｋｎを求める。
Figure JPOXMLDOC01-appb-M000001
  
ここでＫは、各地点の光量差を計算して最適化される係数群を示す。なお、ここでの計算は、物質の化学的濃度を反映するために、対数表示としたが、通常の反射強度での計算も適応可能である。
　以上の手順で、図２に示されるスペクトルを基準化して得られるスペクトルを図３に示す。図３の実線は、胃粘膜の健常部に対応する画素のスペクトルを基準化して示したものであり、点線は、胃粘膜の病変部に対応する画素のスペクトルを基準化して示したものである。図３に示されるように、基準化後は、第１のピークについては画素ごとの差が殆ど無くなる一方、第２のピークについては、健常部の画素の方が、病変部の画素よりも、レベルが明らかに高いことが分かる。また、第１のピークと第２のピークとの間の谷間（波長５５０ｎｍ近傍）のレベルもまた、健常部の画素の方が病変部の画素よりもわずかに高いことが分かる。すなわち、波長４８０～５９０ｎｍの帯域において、健常部の画素の方が病変部の画素よりも大きくなっており、４８０～５９０ｎｍを中心とする帯域の分光学的レベル差を、２次元的に抽出しうることが分かる。
　ここで、波長５５０～５９０ｎｍの帯域は、ヘモグロビンの吸収波長帯域であることが知られている。換言すれば、波長５５０～５９０ｎｍの帯域においてレベルが低い場合は、単に血管の密度が大きい部位である可能性が高く、血液由来の情報を追跡している可能性が高い。そこで、本実施形態においては、上記のヘモグロビンの吸収波長帯域よりも波長の最大値が小さい帯域、例えば波長５００ｎｍ近傍（４８０～５２０ｎｍ等）の帯域を、病変部を示す新たなマーカとして利用している。すなわち、波長４８０～５２０ｎｍの帯域とヘモグロビンの吸収波長帯域のそれぞれ独立する２つの情報を用い、より詳細で確度の高い診断支援情報を提供しているといえる。
　すなわち、本実施形態の診断システム１は、４８０～５２０ｎｍを中心とする波長帯域のレベルを、病変部を示すマーカとして利用し、病変部である可能性が高い領域の位置を示す指標グラフを生成している。そして、これによって、あらゆる疾患部分の特徴変化が含まれる分光特性情報において、その情報に基づいた診断支援情報の提供ができることとなる。
　しかしながら、上記の基準化処理は、演算処理が重く、内視鏡観察を行いながら基準化処理を行って、実時間の動画として指標値を表示することは難しかった。そのため、本実施形態においては、基準化処理を簡略化して、極めて短い時間で指標値を得る構成としている。
　図２に示されるように、内視鏡画像の各画素の輝度値の平均値に関する寄与は、第１のピーク周辺の成分が支配的であり、第２のピーク周辺の成分の寄与率は低い。そのため、分光画像から得られる内視鏡画像の各画素の輝度値の累計値に対する第２のピーク周辺の輝度値の比を各画素に対して演算することによって得られるデータは、上記の（各画素の輝度値をＫｎ乗する）基準化処理を行ったスペクトルの波長５００ｎｍ近傍の輝度値と同様、病変部である可能性が高い領域の位置を示す指標として機能する。本実施形態においては、各画素の輝度値の累計値を第２のピーク周辺の輝度値で割ったデータを病変部である可能性が高い領域の位置を示す指標として使用する。すなわち、分光画像に基づいて、座標（ｘ，ｙ）の画素の輝度値ＯＩ（ｘ，ｙ，λ）から、数２に基づく演算を行って、座標（ｘ，ｙ）の指標値ＯＯ（ｘ，ｙ）を求める。
Figure JPOXMLDOC01-appb-M000002
  
　なお、上記数２において、λｉは、数１と同様、スペクトルにおける中心波長であり、λ１＝４００ｎｍ、λ２＝４０５ｎｍ、・・・、λ８１＝８００ｎｍのいずれかの値をとる。ｍａ及びｍｂは、ｍａ≦ｍｂとなる自然数であり、波長帯域λｍａ～λｍｂが第２のピーク周辺の波長帯域に含まれるよう、適宜選択される。また、ＭはＯＯ（ｘ，ｙ）が適切な範囲（例えば０から１の間）に収まるよう（すなわち、ＯＯ（ｘ，ｙ）の最大値が適切な大きさとなるよう）適宜定められる係数である。上記のように、数２で得られるＯＯ（ｘ，ｙ）は内視鏡画像の各画素の輝度の累計値を第２のピーク周辺の輝度値で割った値であるため、数２によって得られたＯＯ（ｘ，ｙ）が大きい座標（ｘ，ｙ）は、病変部である可能性が高い領域であると推定される。
　本実施形態の診断システム１による、指標グラフ生成のための手順について説明する。図４は、本実施形態の画像処理部５００によって実行される、指標グラフの生成及び画像表示装置３００への表示を行うためのルーチンのフローチャートである。本ルーチンは、画像処理部５００の電源投入時に実行される。
　本ルーチンが開始すると、ステップＳ１が実行される。ステップＳ１では、画像処理部５００は、指標グラフを作成する際に輝度値の累計値（数２右辺の分子）と比較する波長帯域の下限λｍａと上限λｍｂの入力を促すメッセージを画像表示装置３００に表示させると共に、λｍａ及びλｍｂの入力を受け付ける。画像処理部５００の不図示の入力手段（キーボード等）によって、λｍａ及びλｍｂが入力されると、ステップＳ２に進む。
　ステップＳ２では、画像処理部５００は、フィルタ制御部４００に分光画像を取得させるための制御信号を送る。フィルタ制御部４００は、この制御信号を受信すると、分光フィルタ４１０の回転角度を制御し、４００、４０５、４１０、・・・、８００ｎｍの狭帯域（帯域幅約５ｎｍ）の光を順次波長選択し、画像処理部５００は、各波長で得られる分光画像を撮影して一時記憶メモリ５２０に記録する。次いでステップＳ３に進む。
　ステップＳ３では、ステップＳ２にて取得した分光画像のうち、中心波長が４３５ｎｍ、５４５ｎｍ、及び７００ｎｍとなる３枚の画像を取り出し、中心波長が４３５ｎｍの画像を青色プレーンに、中心波長が５４５ｎｍの画像を緑色プレーンに、中心波長が７００ｎｍの画像を赤色プレーンに記憶させた一枚のカラー画像データを生成する。このカラー画像データは、上記のように青色の波長である４３５ｎｍの分光画像、緑色の波長である５４５ｎｍの分光画像及び赤色の波長である７００ｎｍの分光画像から得られるものであり、通常観察の内視鏡画像と同等のカラー画像となる。そして、画像処理部５００は、生成されたカラー画像データをビデオメモリ５４０に送り画像表示装置３００のスクリーンの左側に表示させる。次いで、ステップＳ４に進む。
　ステップＳ４では、ステップＳ２又はＳ３が実行されている間に、画像処理部５００の入力手段が操作されて、指標グラフの生成を指示するトリガ入力が発生したかどうかの確認が行われる。トリガ入力が発生していないのであれば（Ｓ４：ＮＯ）、ステップＳ２に進み、再度分光画像の取得が行われる。すなわち、トリガ入力が無い限り、分光画像から得られるカラー画像は、逐次更新されて画像表示装置３００に表示され続ける。一方、ステップＳ２からＳ３が実行されている間にトリガ入力が発生していた場合は（Ｓ４：ＹＥＳ）、ステップＳ５に進む。
　ステップＳ５では、ステップＳ１で入力されたλｍａ及びλｍｂ、及びステップＳ２で取得した分光画像から、数２を用いて指標値を作成する。次いで、ステップＳ６に進む。
　ステップＳ６では、ステップＳ５で作成された指標値をグラフ化した指標グラフを、画像表示装置３００のスクリーンの右側に表示させる。この結果、画像表示装置３００のスクリーンには内視鏡画像のカラー画像と指標グラフとが並べて配置されることになり、診断システム１の使用者は、カラー画像と指標グラフとを比較することにより、カラー画像中のどの領域が病変部であるのかを判断することができる。次いで、ステップＳ７に進む。
　ステップＳ７では、画像処理部５００は、再度指標グラフを作成するかどうかを問い合わせるメッセージを画像表示装置３００に表示させると共に、入力手段からの入力を受け付ける。診断システム１の使用者が入力手段を操作して、指標グラフを再度作成することを選択した場合は（Ｓ７：ＹＥＳ）、ステップＳ１に戻る。一方、一定時間（例えば数秒）の間、指標グラフの再度の作成が指示されなかった場合は（Ｓ７：ＮＯ）、ステップＳ８に進む。
　ステップＳ８では、画像処理部５００は、指標グラフの表示を終了させるかどうかを問い合わせるメッセージを画像表示装置３００に表示させると共に、入力手段からの入力を受け付ける。診断システム１の使用者が入力手段を操作して、指標グラフの表示を終了することを選択した場合は（Ｓ８：ＹＥＳ）、本ルーチンを終了する。一方、一定時間（例えば数秒）の間、指標グラフの表示が指示されなかった場合は（Ｓ８：ＮＯ）、ステップＳ７に進む。
　以上のように、図４のフローチャートで示されるルーチンを画像処理部５００が実行することにより、病変部の位置を推定する際に参照される指標グラフが、内視鏡画像のカラー画像と共に画像表示装置３００に表示される。
　上記のように、本実施形態においては、病変部のマーカとして機能する波長域（λｍａ、λｍｂ）を、診断システム１の使用者が手動で入力するようになっている。しかしながら、本発明は上記の構成に限定されるものではなく、病変部のマーカとして機能する波長域を固定値（例えば４８０ｎｍ～５２０ｎｍ、或いは５００ｎｍ）とする構成としてもよい。
　また、本実施形態においては、異なる波長の分光画像から各画素の輝度値の累計値と第２のピーク周辺の輝度値とを求め、病変部である可能性が高い領域の位置を示す指標として使用する構成としたが、本発明はこの構成に限定されるものではない。数２の分子（すなわち、各画素の輝度値の累計値）部分は、特定の波長の分光画像のデータを必要とするものではなく、一定のモノクロ画像用の輝度情報があれば演算が可能である。従って、各画素の輝度値の累計値を得る処理に代えて、例えば、分光フィルタ１４０を退避した上で、白色光による各画素の輝度値を求める構成としても良い。また、撮像素子１４１がその前面にカラーフィルタを有する場合には、通常のＲ（レッド）－Ｇ（グリーン）－Ｇ（グリーン）－Ｂ（ブルー）ベイヤー配列のフィルタに代えて、Ｒ（レッド）－ＧＹ（グレイ）－Ｇ（グリーン）－Ｂ（ブルー）のベイヤー配列されたカラーフィルタを配置し、分光フィルタ１４０を退避した上で、ＧＹ（グレイ）のフィルタで得られる輝度情報を用いてもよい。このような構成とすることにより、異なる波長の分光画像から各画素の輝度値の累計値を求める必要が無くなるため、数２の演算処理を容易且つ高速に行うことが可能となる。
　本実施形態の診断システム１を用いた胃粘膜の診断の一例を以下に示す。図５は、内視鏡画像の分光画像を本実施形態の診断システム１にて処理することによって得られた指標値ＯＯ（ｘ，ｙ）をマッピングした指標グラフである。なお、指標値ＯＯ（ｘ，ｙ）を得るに当って、上記数２のλｍａ及びλｍｂは、５００ｎｍに設定されている。
　図５に示されるように、本実施例においては、指標グラフは等高線図として示されており、指標値ＯＯ（ｘ，ｙ）の高い（すなわち、病変部である可能性が高い）領域は、濃度が薄く（すなわち、白色に近い）且つ等高線図上高く位置している。このため、指標グラフから病変部の位置を推定可能である。
　なお、本実施例では、指標グラフを等高線図として示したが、本発明は上記の構成に限定されるものではない。例えば、単に濃淡のみで病変部の位置を示す（すなわち、座標（ｘ，ｙ）の輝度がＯＯ（ｘ，ｙ）に比例するような図を指標グラフとする）、或いは、指標グラフを表示せず、画像表示装置３００に表示されるカラー画像において、ＯＯ（ｘ，ｙ）の値が所定の閾値を超える領域に、枠等のマークを重畳する構成も又、本発明に含まれる。

Claims (5)

  1. 　体腔内の所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、
    　前記分光画像データを取得し、該分光画像データから、病変部である可能性が高い領域を示す指標値を演算する画像処理手段と、
    　前記指標値が表示されるモニタと、
    を有し、
    　前記画像処理手段は、前記分光画像の各座標について、前記所定波長領域の全ての分光画像の輝度値の累計値と特定の波長帯域の分光画像の輝度値の比率を、前記指標値として演算することを特徴とする診断システム。
  2. 　前記画像処理手段は、前記指標値をグラフ化した指標グラフを前記モニタに表示させることを特徴とする請求項１に記載の診断システム。
  3. 　前記画像処理手段は、前記分光画像データのうち、青色、緑色、赤色の波長帯域のものを合成してカラー画像データを生成し、
    　前記モニタには、前記カラー画像データと前記指標グラフとが並べられて表示される
    ことを特徴とする請求項２に記載の診断システム。
  4. 　前記特定の波長帯域は、ヘモグロビンの吸収波長帯域である５５０ｎｍ～５９０ｎｍよりも最大値が小さい波長帯域であることを特徴とする請求項１から請求項３のいずれか一項に記載の診断システム。
  5. 　前記特定の波長帯域は、４８０～５２０ｎｍであることを特徴とする請求項４に記載の診断システム。
     
PCT/JP2011/070216 2010-10-07 2011-09-06 診断システム WO2012046530A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112011103387.7T DE112011103387B4 (de) 2010-10-07 2011-09-06 Diagnosesystem
CN201180048357.1A CN103167822B (zh) 2010-10-07 2011-09-06 诊断***
US13/877,979 US9468381B2 (en) 2010-10-07 2011-09-06 Diagnostic system
GB1308158.3A GB2498491B (en) 2010-10-07 2011-09-06 Diagnostic system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-227295 2010-10-07
JP2010227295A JP5737899B2 (ja) 2010-10-07 2010-10-07 診断システム

Publications (1)

Publication Number Publication Date
WO2012046530A1 true WO2012046530A1 (ja) 2012-04-12

Family

ID=45927527

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/070216 WO2012046530A1 (ja) 2010-10-07 2011-09-06 診断システム

Country Status (6)

Country Link
US (1) US9468381B2 (ja)
JP (1) JP5737899B2 (ja)
CN (1) CN103167822B (ja)
DE (1) DE112011103387B4 (ja)
GB (1) GB2498491B (ja)
WO (1) WO2012046530A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013047054A1 (ja) 2011-09-29 2013-04-04 Hoya株式会社 診断システム
JP6257926B2 (ja) * 2013-05-31 2018-01-10 Hoya株式会社 波長可変光バンドパスフィルタモジュール、波長可変光源装置及び分光内視鏡装置
JP6707533B2 (ja) 2015-05-21 2020-06-10 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP3533382A4 (en) 2016-10-27 2019-12-04 Fujifilm Corporation ENDOSCOPIC SYSTEM
JP6968357B2 (ja) * 2017-03-24 2021-11-17 株式会社Ｓｃｒｅｅｎホールディングス 画像取得方法および画像取得装置
JP6960773B2 (ja) * 2017-05-26 2021-11-05 池上通信機株式会社 撮像画像処理システム
KR102393661B1 (ko) * 2017-12-22 2022-05-02 한국전기연구원 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258820A (ja) * 2000-01-13 2001-09-25 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2003036436A (ja) * 2001-04-27 2003-02-07 Fuji Photo Film Co Ltd 規格化画像生成方法および装置
JP2005065976A (ja) * 2003-08-22 2005-03-17 Olympus Corp 内視鏡装置
JP2009039280A (ja) * 2007-08-08 2009-02-26 Arata Satori 内視鏡システム及び内視鏡システムを用いた被写体の検出方法
JP2009300131A (ja) * 2008-06-11 2009-12-24 Tokyo Institute Of Technology 生体組織識別装置および方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5042494A (en) * 1985-11-13 1991-08-27 Alfano Robert R Method and apparatus for detecting cancerous tissue using luminescence excitation spectra
US5078150A (en) * 1988-05-02 1992-01-07 Olympus Optical Co., Ltd. Spectral diagnosing apparatus with endoscope
US5467767A (en) * 1991-11-25 1995-11-21 Alfano; Robert R. Method for determining if tissue is malignant as opposed to non-malignant using time-resolved fluorescence spectroscopy
CN1289239A (zh) * 1998-01-26 2001-03-28 麻省理工学院 荧光成象内窥镜
JP2001070229A (ja) * 1999-07-02 2001-03-21 Asahi Optical Co Ltd 内視鏡装置
JP3881142B2 (ja) * 1999-11-02 2007-02-14 富士フイルムホールディングス株式会社 蛍光表示方法および装置
DE60045146D1 (de) 1999-11-02 2010-12-09 Fujifilm Corp Gerät zur Darstellung von Fluoreszenz
US20020138008A1 (en) 2000-01-13 2002-09-26 Kazuhiro Tsujita Method and apparatus for displaying fluorescence images and method and apparatus for acquiring endoscope images
US7123756B2 (en) 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
JP2003000528A (ja) * 2001-06-27 2003-01-07 Fuji Photo Film Co Ltd 蛍光診断画像生成方法および装置
JP4311607B2 (ja) * 2002-05-27 2009-08-12 富士フイルム株式会社 蛍光診断情報生成方法および装置
JP4199510B2 (ja) 2002-09-30 2008-12-17 Ｈｏｙａ株式会社 診断補助用装置
US20040064053A1 (en) * 2002-09-30 2004-04-01 Chang Sung K. Diagnostic fluorescence and reflectance
JP4373726B2 (ja) * 2003-07-23 2009-11-25 Ｈｏｙａ株式会社 自家蛍光観察装置
DE102004016435B4 (de) * 2004-03-31 2009-05-28 Imedos Gmbh Verfahren zur spektralphotometrischen Ermittlung der Sauerstoffsättigung des Blutes in optisch zugänglichen Blutgefäßen
CN101188965B (zh) 2005-06-08 2012-08-08 奥林巴斯医疗株式会社 内窥镜装置
JP4744279B2 (ja) * 2005-11-24 2011-08-10 オリンパスメディカルシステムズ株式会社 電子内視鏡装置
JP4727374B2 (ja) * 2005-09-30 2011-07-20 富士フイルム株式会社 電子内視鏡装置
JP2007135989A (ja) 2005-11-21 2007-06-07 Olympus Corp 分光内視鏡
ATE555711T1 (de) 2007-12-19 2012-05-15 Kantonsspital Aarau Ag Verfahren zur analyse und bearbeitung von fluoreszenzbildern
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
DE112010004184B4 (de) 2009-10-29 2017-10-12 Hoya Corp. Hilfsdiagnoseeinrichtung und Hilfsdiagnoseverfahren

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001258820A (ja) * 2000-01-13 2001-09-25 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2003036436A (ja) * 2001-04-27 2003-02-07 Fuji Photo Film Co Ltd 規格化画像生成方法および装置
JP2005065976A (ja) * 2003-08-22 2005-03-17 Olympus Corp 内視鏡装置
JP2009039280A (ja) * 2007-08-08 2009-02-26 Arata Satori 内視鏡システム及び内視鏡システムを用いた被写体の検出方法
JP2009300131A (ja) * 2008-06-11 2009-12-24 Tokyo Institute Of Technology 生体組織識別装置および方法

Also Published As

Publication number Publication date
CN103167822B (zh) 2016-09-07
GB2498491A (en) 2013-07-17
US20130197371A1 (en) 2013-08-01
JP5737899B2 (ja) 2015-06-17
GB201308158D0 (en) 2013-06-12
DE112011103387B4 (de) 2017-03-09
US9468381B2 (en) 2016-10-18
DE112011103387T5 (de) 2013-10-24
GB2498491B (en) 2016-08-24
JP2012080939A (ja) 2012-04-26
CN103167822A (zh) 2013-06-19

Similar Documents

Publication Publication Date Title
JP6204314B2 (ja) 電子内視鏡システム
JP5923099B2 (ja) 診断システム
JP6581730B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
CN110325100B (zh) 内窥镜***及其操作方法
US10231658B2 (en) Endoscope system, processor device for endoscope system, operation method for endoscope system, and operation method for processor device
WO2012046530A1 (ja) 診断システム
US6821245B2 (en) Compact fluorescence endoscopy video system
US9417188B2 (en) Fluorescence observation device
WO2012132571A1 (ja) 診断システム
JP7068487B2 (ja) 電子内視鏡システム
US20160324405A1 (en) Electronic endoscope device
CN112351723B (zh) 电子内窥镜***与数据处理装置
US20180206738A1 (en) Endoscope system and method of operating endoscope system
JP2014230647A (ja) 表示装置、表示方法および表示プログラム
US12011142B2 (en) Electronic endoscope system
CN115190775A (zh) 内窥镜用处理器以及内窥镜***
JP7455716B2 (ja) 内視鏡用プロセッサ及び内視鏡システム
US11950762B2 (en) Electronic endoscope system and data processing device
WO2018070474A1 (ja) 内視鏡システム
JP2013048646A (ja) 診断システム
JP2018027401A (ja) 表示装置、表示方法および表示プログラム
JP2010022464A (ja) 画像取得方法および装置
JP2017000836A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11830463

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 13877979

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112011103387

Country of ref document: DE

Ref document number: 1120111033877

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 1308158

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20110906

WWE Wipo information: entry into national phase

Ref document number: 1308158.3

Country of ref document: GB

122 Ep: pct application non-entry in european phase

Ref document number: 11830463

Country of ref document: EP

Kind code of ref document: A1