WO2012132571A1 - 診断システム - Google Patents

診断システム Download PDF

Info

Publication number
WO2012132571A1
WO2012132571A1 PCT/JP2012/053093 JP2012053093W WO2012132571A1 WO 2012132571 A1 WO2012132571 A1 WO 2012132571A1 JP 2012053093 W JP2012053093 W JP 2012053093W WO 2012132571 A1 WO2012132571 A1 WO 2012132571A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
spectral
lesion
image data
spectral image
Prior art date
Application number
PCT/JP2012/053093
Other languages
English (en)
French (fr)
Inventor
千葉 亨
誠 橋爪
主之 松本
晃造 小西
盛雅 富川
村田 正治
朋比古 赤星
Original Assignee
Hoya株式会社
国立大学法人九州大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社, 国立大学法人九州大学 filed Critical Hoya株式会社
Priority to EP12764519.0A priority Critical patent/EP2692275A4/en
Priority to JP2013507237A priority patent/JPWO2012132571A1/ja
Priority to CN2012800159534A priority patent/CN103476320A/zh
Priority to US14/006,775 priority patent/US20140010424A1/en
Publication of WO2012132571A1 publication Critical patent/WO2012132571A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222Evaluating particular parts, e.g. particular organs
    • A61B5/4238Evaluating particular parts, e.g. particular organs stomach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric

Definitions

  • the present invention relates to a diagnostic system capable of displaying, with an image, a region that is likely to be a lesion in a living tissue.
  • an electronic endoscope having a function as a spectrometer such as that described in Japanese Patent Application Publication JP2004-321792A. According to such an electronic endoscope, it is possible to obtain spectral characteristics (distribution of light absorption rate for each frequency) of a living tissue such as a mucous membrane of a digestive organ such as the stomach or rectum. It is known that the spectral characteristics of substances reflect information on the types and concentrations of substances contained in the vicinity of the surface layer of the biological tissue to be measured. . Among them, it is also known that the spectral characteristics of a substance composed of a composite component is information that superimposes the spectral characteristics of elemental substances constituting the composite substance.
  • the spectral characteristics of the biological tissue including the lesioned part are different from the spectral characteristics of the biological tissue including only the healthy part. As described above, since the spectral characteristics change between the healthy part and the lesioned part, it is possible to determine whether or not any lesioned part in the living tissue is included by comparing the spectral characteristics of both.
  • an object of the present invention is to provide a diagnostic system capable of displaying an area that is highly likely to be a lesion by an image.
  • the diagnostic system of the present invention includes a spectral image capturing means for capturing spectral image data by capturing a spectral image in a predetermined wavelength region within a body cavity, acquiring the spectral image data, and acquiring the spectral image data.
  • An image processing means for obtaining an index value indicating a region having a high possibility of being a lesion, generating and outputting a lesion extracted image based on the index value, and a monitor on which the lesion extracted image is displayed.
  • the image processing means performs a multiple regression analysis for each pixel of the spectral image using spectral image data as an objective variable, oxygen absorption characteristics of oxygenated hemoglobin and light absorption characteristics of reduced hemoglobin as explanatory variables, An index value is obtained based on the concentrations of conjugated hemoglobin and reduced hemoglobin.
  • the inventor of the present invention conducted a multiple regression analysis using spectral image data as an objective variable, light absorption characteristics of oxygenated hemoglobin and light absorption characteristics of reduced hemoglobin as an explanatory variable, and as a result, spectral image data was obtained from oxygenated hemoglobin. It can be explained by using the light absorption property and the light absorption property of reduced hemoglobin and the influence of light scattering, and it has been found that the concentration of oxygenated hemoglobin is higher in the lesioned part than in the healthy part. The present invention utilizes this property. First, for each pixel of a spectral image, spectral image data is used as an objective variable, and oxygen absorption characteristics of oxygenated hemoglobin and light absorption characteristics of reduced hemoglobin are used as explanatory variables.
  • an index value is obtained based on the concentrations of oxygenated hemoglobin and reduced hemoglobin, and a lesion extraction image based on the obtained index value is output to a monitor. Therefore, according to such a configuration, it becomes possible to perform disease detection and diagnosis support by displaying, on the monitor, a region where the oxygenated hemoglobin concentration is different from that in the peripheral portion, as a lesion extracted image.
  • the image processing means may be configured to obtain a ratio between the oxygenated hemoglobin concentration and the reduced hemoglobin concentration as an index value. With such a configuration, it is possible to accurately determine which region is highly likely to be a lesion.
  • the image processing means may be configured to generate a lesion extracted image by assigning a predetermined color based on the index value to each pixel of the spectral image.
  • the image processing means includes a comparison means for comparing the index value with a predetermined threshold value, and a binary image generation means for generating a binary image based on the comparison result of the comparison means. It is also possible to have a configuration generated based on a binary image. With such a configuration, it becomes easy to identify a lesioned part and a healthy part.
  • the image processing means combines the spectral image data in the blue, green, and red wavelength bands and outputs a color image, and the monitor displays the color image and the lesion extracted image side by side. It is also possible to adopt a configuration. With such a configuration, it is possible to more easily determine which region is likely to be a lesion by comparing the color image of the biological tissue captured by the spectral image capturing unit with the lesion extracted image. .
  • the image processing means may be configured to obtain the index value from the spectral image data having a wavelength band of 500 nm to 590 nm which is an absorption wavelength band of oxygenated hemoglobin and reduced hemoglobin. With such a configuration, it is possible to calculate multiple regression coefficients at higher speed and higher accuracy.
  • the predetermined wavelength region is 400 to 800 nm
  • the spectral image is preferably a plurality of images taken for each predetermined wavelength defined in the range of 1 to 10 nm.
  • the diagnostic system of the present invention since a region that is likely to be a lesion is displayed as an image, the diagnostic time is shortened and a necessary range such as excision by surgery can be easily achieved. Confirmation and identification are possible.
  • FIG. 1 is a block diagram of a diagnostic system 1 according to an embodiment of the present invention.
  • FIG. 2 is a graph showing spectral image data of the gastric mucosa acquired by the diagnostic system 1 according to the embodiment of the present invention.
  • FIG. 2A is a graph showing a spectrum of pixels corresponding to a lesioned part of the gastric mucosa
  • FIG. 2B is a graph showing a spectrum of pixels corresponding to a healthy part of the gastric mucosa.
  • FIG. 3 is a graph showing the absorption characteristics of hemoglobin.
  • FIG. 4 is a graph showing the result of performing multiple regression analysis on the spectral image data of the gastric mucosa shown in FIG.
  • FIG. 4 is a graph showing the result of performing multiple regression analysis on the spectral image data of the gastric mucosa shown in FIG. FIG.
  • FIG. 4A is a graph showing the results of multiple regression analysis for the spectrum of pixels corresponding to the gastric mucosa lesion shown in FIG. 2A
  • FIG. 4B corresponds to the healthy part of the gastric mucosa shown in FIG. 2B. It is a graph which shows the result of having performed the multiple regression analysis about the spectrum of the pixel to perform.
  • FIG. 5 is a graph showing an example of multiple regression coefficients P1 and P2 obtained by performing multiple regression analysis on the spectral image data of the gastric mucosa shown in FIG.
  • FIG. 6 is a graph showing an example of multiple regression coefficients P1 and P2 obtained by performing multiple regression analysis on the spectral image data of the gastric mucosa shown in FIG.
  • FIG. 7 is a flowchart showing image generation processing executed by the image processing unit 500 of this embodiment.
  • FIG. 8 is a diagram schematically illustrating a color image and a lesion extraction image displayed on the image display device 300 by the image generation processing of FIG.
  • FIG. 1 is a block diagram of a diagnostic system 1 according to an embodiment of the present invention.
  • the diagnosis system 1 of this embodiment generates an index image that is referred to by a doctor when diagnosing digestive organ diseases such as the stomach and intestines.
  • the diagnostic system 1 includes an electronic endoscope 100, an electronic endoscope processor 200, and an image display device 300.
  • the electronic endoscope processor 200 includes a light source unit 400 and an image processing unit 500.
  • the electronic endoscope 100 has an insertion tube 110 to be inserted into a body cavity, and an objective optical system 121 is provided at a distal end portion (insertion tube distal end portion) 111 of the insertion tube 110.
  • An image of the living tissue T around the insertion tube tip 111 by the objective optical system 121 is formed on the light receiving surface of the image sensor 141 built in the insertion tube tip 111.
  • the image sensor 141 periodically outputs a video signal corresponding to the image formed on the light receiving surface (for example, every 1/30 seconds).
  • the video signal output from the image sensor 141 is sent to the image processing unit 500 of the electronic endoscope processor 200 via the cable 142.
  • the image processing unit 500 includes an A / D conversion circuit 510, a temporary storage memory 520, a controller 530, a video memory 540, and a signal processing circuit 550.
  • the A / D conversion circuit 510 performs A / D conversion on a video signal input from the imaging element 141 of the electronic endoscope 100 via the cable 142 and outputs digital image data.
  • Digital image data output from the A / D conversion circuit 510 is sent to and stored in the temporary storage memory 520.
  • the controller 530 processes one or a plurality of image data stored in the temporary storage memory 520 to generate one piece of display image data, and sends this to the video memory 540.
  • the controller 530 displays image data for display generated from a single image data, image data for display in which images of a plurality of image data are displayed side by side, or an image obtained by performing image operations on a plurality of image data.
  • display image data or the like on which a graph obtained as a result of image calculation is displayed is generated and stored in the video memory 540.
  • the signal processing circuit 550 converts display image data stored in the video memory 540 into a video signal in a predetermined format (for example, NTSC format) and outputs the video signal.
  • the video signal output from the signal processing circuit 550 is input to the image display device 300.
  • an endoscope image or the like captured by the electronic endoscope 100 is displayed on the image display device 300.
  • the electronic endoscope 100 is provided with a light guide 131.
  • the distal end portion 131 a of the light guide 131 is disposed in the vicinity of the insertion tube distal end portion 111, while the proximal end portion 131 b of the light guide 131 is connected to the electronic endoscope processor 200.
  • the electronic endoscope processor 200 includes a light source unit 400 (described later) having a light source 430 that generates white light with a large amount of light, such as a xenon lamp, and the light generated by the light source unit 400 is light. The light is incident on the base end portion 131 b of the guide 131.
  • the light incident on the base end portion 131b of the light guide 131 is guided to the tip end portion 131a through the light guide 131 and is emitted from the tip end portion 131a.
  • a lens 132 is provided in the vicinity of the distal end portion 131a of the light guide 131 at the distal end portion 111 of the insertion tube of the electronic endoscope 100.
  • Light emitted from the distal end portion 131a of the light guide 131 passes through the lens 132.
  • the light passes through and illuminates the living tissue T in the vicinity of the distal end portion 111 of the insertion tube.
  • the electronic endoscope processor 200 functions as a video processor that processes the video signal output from the imaging device 141 of the electronic endoscope 100 and the vicinity of the insertion tube distal end portion 111 of the electronic endoscope 100. It also has a function as a light source device that supplies illumination light for illuminating the living tissue T to the light guide 131 of the electronic endoscope 100.
  • the light source unit 400 of the electronic endoscope processor 200 includes a light source 430, a collimator lens 440, a spectral filter 410, a filter control unit 420, and a condenser lens 450.
  • the white light emitted from the light source 430 becomes parallel light by the collimator lens 440, passes through the spectral filter 410, and then enters the base end portion 131 b of the light guide 131 by the condenser lens 450.
  • the spectral filter 410 is a disk-type filter that spectrally separates white light incident from the light source 430 into light having a predetermined wavelength (that is, selects a wavelength), and 400, 405, 410,...
  • Wavelength of light of a narrow band of 800 nm (bandwidth of about 5 nm) is output.
  • the rotation angle of the spectral filter 410 is controlled by a filter control unit 420 connected to the controller 530, and the controller 530 controls the rotation angle of the spectral filter 410 via the filter control unit 420, thereby allowing a predetermined wavelength.
  • Light enters the proximal end portion 131 b of the light guide 131 and illuminates the living tissue T in the vicinity of the insertion tube distal end portion 111. Then, the light reflected by the living tissue T forms an image on the light receiving surface of the image sensor 141 as described above, and a video signal is sent to the image processing unit 500 via the cable 142.
  • the image processing unit 500 is a device that obtains a plurality of spectral images with a wavelength of 5 nm from an image of the living tissue T obtained via the cable 142. Specifically, when the spectral filter 410 selects and outputs light of a narrow band (bandwidth of about 5 nm) having a center wavelength of 400, 405, 410,. A spectral image is obtained.
  • the image processing unit 500 has a function of processing a plurality of spectral images generated by the spectral filter 410 to generate a color image or a lesion extracted image as will be described later. Then, the image processing unit 500 causes the image display device 300 to display the processed spectral image and lesioned part extracted image.
  • the image processing unit 500 has a function of generating a lesion extraction image by extracting a region that is highly likely to be a lesion using a plurality of spectral images having different wavelengths. .
  • the function for generating the lesion extracted image will be described below.
  • FIG. 2 shows spectral image data of the gastric mucosa acquired by the diagnostic system 1 of the embodiment of the present invention, and each waveform is a spectrum of a specific pixel in the spectral image (that is, a luminance value at each wavelength). Is shown.
  • FIG. 2A shows the spectrum of pixels corresponding to the lesioned part of the gastric mucosa
  • FIG. 2B shows the spectrum of pixels corresponding to the healthy part of the gastric mucosa.
  • each pixel of the image sensor 141 emits a different amount of light depending on the angle between the illumination light and the subject (living tissue T) and the distance from the insertion tube tip 111 (FIG. 1) to the living tissue T. Since the light is received, the influence of this light amount difference is corrected and shown.
  • the spectrum of the gastric mucosa image shows a substantially M-shaped characteristic having a trough at a wavelength of 500 to 590 nm regardless of whether it is a healthy part or a lesioned part.
  • the spectrum of the pixel corresponding to the lesioned part is larger in dispersion (variation) than the spectrum of the pixel corresponding to the healthy part, and has two valleys with wavelengths of about 540 nm and 570 nm. Different from the spectrum of the pixel corresponding to the healthy part. Therefore, it can be seen that the healthy part and the lesioned part can be identified by analyzing the spectrum of each pixel of the spectral image.
  • the inventors of the present invention have found a configuration in which a multiple regression analysis is performed on spectral image data, and a healthy part and an abnormal part are quantitatively determined based on a multiple regression coefficient.
  • FIG. 3 is a graph showing the absorption characteristics of hemoglobin.
  • the solid line indicates the light absorption characteristics of oxygenated hemoglobin
  • the dotted line indicates the light absorption characteristics of reduced hemoglobin.
  • oxygenated hemoglobin and reduced hemoglobin are common in that they absorb light having a wavelength of 500 to 590 nm (that is, the absorption characteristics increase in the wavelength range of 500 to 590 nm). Is different from that of oxygenated hemoglobin in that it has two peaks at wavelengths of about 540 nm and 570 nm.
  • the inventor of the present invention pays attention to the difference in the characteristics, and uses the spectral image data of the gastric mucosa shown in FIG.
  • the spectral image data of the gastric mucosa can be explained by using the light absorption characteristics of oxygenated hemoglobin and the light absorption characteristics of reduced hemoglobin, and the lesioned part of oxygenated hemoglobin is compared with the healthy part. It has been found that when the concentration is high, the healthy part and the abnormal part can be identified quantitatively based on the multiple regression coefficient of oxygenated hemoglobin.
  • the present embodiment by using the two-dimensional spectral information, not only the absolute evaluation of the spectral characteristics at one point (pixel) but also the change with the peripheral region is relatively compared. As a result, even when absolute evaluation is difficult due to the tissue, structure, individual difference, and disease state of a living body, it is possible to detect a lesion with high accuracy.
  • a measurement model of spectral image data acquired in the present embodiment is represented by the following formula 1 based on Lambert-Beer's law (Beer-LambertawLaw).
  • A is the absorption coefficient of the medium (living tissue T)
  • I O is the radiation intensity of light before entering the medium
  • I is the intensity of light when moving through the medium by the distance d
  • is the molar extinction coefficient
  • C is the molar concentration
  • is the wavelength of light.
  • the absorption coefficient A in the case of having n kinds of light-absorbing substances is expressed as the sum of the absorption characteristics of each light-absorbing substance. Therefore, as shown in Equation 3 below, multiple regression analysis is performed using the spectral image data of the gastric mucosa shown in FIG. 2 as the objective variable, the light absorption characteristic of oxygenated hemoglobin, and the light absorption characteristic of reduced hemoglobin as explanatory variables. went.
  • X is the data for one pixel of the spectral image of the gastric mucosa, and is the luminance value data of the spectral image obtained by irradiating light of each wavelength in 5 nm increments from the central wavelength of 400 to 800 nm.
  • a is the light absorption characteristic of oxygenated hemoglobin in increments of 5 nm from a wavelength of 400 to 800 nm
  • b is the light absorption characteristic of reduced hemoglobin in increments of 5 nm from a wavelength of 400 to 800 nm.
  • FIG. 4 is a graph showing the results of a multiple regression analysis of the spectral image data of the gastric mucosa shown in FIG.
  • FIG. 4A is a graph showing the result of multiple regression analysis of the spectrum of the pixel corresponding to the lesion of the gastric mucosa shown in FIG. It is a graph which shows the result of having performed the multiple regression analysis, after converting a vertical axis
  • the solid line is the data series of the spectral image data of the gastric mucosa
  • the dotted line is the data series showing the results of the multiple regression analysis
  • the alternate long and short dash line is the residual after the multiple regression analysis It is a data series showing (that is, the difference between the result of the multiple regression analysis and the spectral image data).
  • the individual waveforms in FIG. 2 that is, the spectrum of a specific pixel in the spectroscopic image
  • FIG. 5 is a graph showing a first example of multiple regression coefficients P1 and P2 obtained by performing multiple regression analysis on the spectral image data of the gastric mucosa shown in FIG.
  • FIG. 6 is a graph showing a second example of multiple regression coefficients P1 and P2 obtained by performing multiple regression analysis on the spectral image data of the gastric mucosa shown in FIG. 5 and 6, the range of the frame T shows the multiple regression coefficients P1 and P2 of the pixels corresponding to the lesioned part, and the range of the frame N shows the multiple regression coefficients P1 and P2 of the pixels corresponding to the healthy part. Show.
  • FIG. 5 is a graph showing a first example of multiple regression coefficients P1 and P2 obtained by performing multiple regression analysis on the spectral image data of the gastric mucosa shown in FIG.
  • FIG. 6 is a graph showing a second example of multiple regression coefficients P1 and P2 obtained by performing multiple regression analysis on the spectral image data of the gastric mucosa shown
  • the multiple regression coefficients P1 and P2 of the pixels corresponding to the lesioned part have larger variations than the multiple regression coefficients P1 and P2 of the pixels corresponding to the healthy part, and the pixels corresponding to the lesioned part The multiple regression coefficients P1 and P2 were observed to be larger than the multiple regression coefficients P1 and P2 of the pixels corresponding to the healthy part.
  • the multiple regression coefficient P1 represents the amount (ie, concentration) of oxygenated hemoglobin
  • the multiple regression coefficient P2 is a parameter representing the amount of reduced hemoglobin
  • the multiple regression coefficients P1 and P2 of the pixels corresponding to the lesioned part have larger variations than the multiple regression coefficients P1 and P2 of the pixels corresponding to the healthy part, and correspond to the lesioned part.
  • the multiple regression coefficient P1 of the pixel was observed to be larger than the multiple regression coefficient P1 of the pixel corresponding to the healthy part.
  • the image processing unit 500 of the present embodiment generates a lesion extracted image based on the index value.
  • FIG. 7 is a flowchart showing image generation processing executed by the image processing unit 500 of this embodiment.
  • FIG. 8 schematically shows a color image and a lesion extracted image displayed on the image display device 300 by the image generation processing of FIG.
  • the image generation process is a routine for generating a color image and a lesion extracted image and displaying them on the image display device 300. This routine is executed when the diagnostic system 1 is turned on.
  • step S1 the image processing unit 500 sends a control signal for causing the filter control unit 400 to acquire a spectral image.
  • the filter control unit 400 controls the rotation angle of the spectral filter 410 and sequentially selects wavelengths of 400, 405, 410,..., 800 nm narrow band (bandwidth of about 5 nm).
  • the image processing unit 500 takes a spectral image obtained at each wavelength and records it in the temporary storage memory 520.
  • step S2 the process proceeds to step S2.
  • step S2 three images having the center wavelengths of 435 nm, 545 nm, and 700 nm are extracted from the spectral image acquired in step S1, and the image having the center wavelength of 435 nm is taken as a blue plane and the image having the center wavelength of 545 nm.
  • One color image data is generated in which an image having a center wavelength of 700 nm is stored in a red plane. This color image data is obtained from the spectral image of 435 nm which is the blue wavelength, the spectral image of 545 nm which is the green wavelength and the spectral image of 700 nm which is the red wavelength as described above.
  • a color image equivalent to the endoscopic image is obtained.
  • the image processing unit 500 sends the generated color image data to the video memory 540 for display on the left side of the screen of the image display device 300 (FIG. 8).
  • the process proceeds to step S3.
  • step S3 whether or not a trigger input for instructing generation of a lesion extraction image has occurred by operating an operation unit (not shown) of the electronic endoscope processor 200 while step S1 or S2 is being executed. Confirmation is made. If no trigger input has occurred (S3: NO), the process proceeds to step S1, and a spectral image is acquired again. That is, as long as there is no trigger input, the color image obtained from the spectral image is sequentially updated and continuously displayed on the image display device 300. On the other hand, if a trigger input has occurred while steps S1 to S2 are being executed (S3: YES), the process proceeds to step S4.
  • step S4 multiple regression analysis is performed on the spectral image acquired in step S1. Specifically, multiple regression coefficients P1 and P2 are obtained using Equation 3 for all pixels of the spectral image acquired in step S1. Next, the process proceeds to step S5.
  • step S5 an index value (ratio R) is obtained using Equation 4 for the multiple regression coefficients P1 and P2 of each pixel obtained in step S4.
  • step S6 the process proceeds to step S6.
  • step S6 a lesion extraction image is generated based on the index value of each pixel obtained in step S5. Specifically, a predetermined color is assigned to each pixel according to the index value of each pixel, and a lesion extraction image is generated.
  • a portion having an index value (ratio R) of 0.6 or less is determined as a healthy part and blue is assigned, and a portion greater than 0.6 and 1.0 or less is a boundary between the healthy part and a lesioned part.
  • a green part is assigned as a part, and a part larger than 1.0 is judged as a lesion part, and a lesion part extracted image assigned with a yellow color is generated and displayed on the right side of the screen of the image display device 300 (FIG. 8).
  • the process proceeds to step S7.
  • step S7 the image processing unit 500 causes the image display device 300 to display a message for inquiring whether or not to generate a lesion extracted image again, and input from the operation unit (not shown) of the electronic endoscope processor 200. Accept.
  • the process returns to step S1.
  • the regeneration of the lesion extracted image is not instructed for a certain time (for example, several seconds) (S7: NO)
  • the process proceeds to step S8.
  • step S8 the image processing unit 500 causes the image display device 300 to display a message for inquiring whether or not to end the display of the lesion extracted image, and from an operation unit (not shown) of the electronic endoscope processor 200. Accept input.
  • the user of the diagnostic system 1 operates the operation unit and selects to end the display of the lesion extracted image (S8: YES)
  • this routine ends.
  • the display of the lesion extracted image is not instructed for a certain time (for example, several seconds) (S8: NO)
  • the process proceeds to step S7.
  • a lesion extracted image effective for estimating the position of the lesion is displayed on the image display device 300.
  • the doctor can make a diagnosis while identifying the position and range of the lesion part and comparing with the surrounding tissue. It becomes possible.
  • an index value is obtained by using Equation 4 for the multiple regression coefficients P1 and P2 of each pixel, and an area having a high possibility of a lesion (based on the index value) ( Pixel).
  • the present invention is not limited to the above configuration, and for example, a region (pixel) having a high possibility of a lesion may be specified using the magnitude of the multiple regression coefficient P1 as an index value.
  • the image processing unit 500 is configured to perform multiple regression analysis using all spectral image data acquired in 5 nm increments in the wavelength range of 400 to 800 nm.
  • the present invention is limited to this configuration. It is not something.
  • a narrower range including a wavelength band of 500 nm to 590 nm, which is an absorption wavelength band of oxygenated hemoglobin and deoxyhemoglobin, and a reference value necessary for standardization for each pixel can be used.
  • a configuration may be used in which multiple regression analysis is performed using only spectral image data in the wavelength band of 500 nm to 590 nm, which is the absorption wavelength band of oxygenated hemoglobin and reduced hemoglobin.
  • the configuration of acquiring the spectral image data in increments of 5 nm is not necessarily required.
  • the wavelength interval for acquiring the spectral image data can be selected from a range of 1 to 10 nm, for example.
  • the image processing unit 500 generates a lesion extracted image by allocating a predetermined color based on the index value for each pixel of the spectral image. It is not limited to.
  • the index value is compared with a predetermined threshold, and when the index value is larger than the predetermined threshold (that is, when a large amount of oxygenated hemoglobin is detected), it is determined that the possibility of a lesion is high, and the pixel It is good also as a structure which extracts a lesion part extraction image and produces

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

 診断システムが、体腔内において所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、分光画像データを取得し、該分光画像データから病変部である可能性が高い領域を示す指標値を求め、該指標値に基づいた病変部抽出画像を生成して出力する画像処理手段と、病変部抽出画像が表示されるモニタとを有し、画像処理手段は、分光画像の各画素について、分光画像データを目的変数とし、酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性を説明変数として重回帰分析を行い、酸素化ヘモグロビン及び還元ヘモグロビンの濃度に基づいて指標値を求める。

Description

診断システム
 本発明は、生体組織中の病変部である可能性が高い領域を画像によって表示することが可能な診断システムに関する。
 近年、日本特許出願公開公報JP2004-321792Aに記載されているもののような、分光計としての機能を備えた電子内視鏡が提案されている。このような電子内視鏡によれば、胃や直腸等の消化器の粘膜等の生体組織の分光特性(光の吸収率の周波数ごとの分布)を得ることができる。物質の分光特性は、測定対象となる生体組織の表層近傍に含まれる物質の種類や濃度の情報を反映していることが知られており、分析化学の体系に属する学問分野として確立されている。その中で、複合成分よりなる物質の分光特性は、その複合物質を構成する要素物質の分光特性を重畳した情報であることも知られている。
 病変部の生体組織においては、健常部の生体組織には殆ど含まれていない化学構造の物質が多く含まれる場合がある。そのため、病変部を含む生体組織の分光特性は、健常部のみの生体組織の分光特性とは異なったものとなる。このように、健常部と病変部とでは分光特性が変化するため、両者の分光特性を比較して、生体組織における何らかの病変部が含まれるかどうかを判断することができる。
 上記のように、生体内の分光情報を入手して、その分光特性の差異から、生体組織における病変部の存在を判定することが研究されてきた。しかしながら、従来の研究では、生体組織中のどの領域に病変部に起因する分光変化が存在するかを画像に展開して判断し、病変部の位置や範囲を特定しながら、また周辺組織と比較しながら診断する実用的な方法については何ら提案されていない。
 本発明は上記の問題を解決するためになされたものである。すなわち、本発明は、病変部である可能性が高い領域を画像によって表示することが可能な診断システムを提供することを目的とする。
 上記の目的を達成するため、本発明の診断システムは、体腔内において所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、分光画像データを取得し、該分光画像データから、病変部である可能性が高い領域を示す指標値を求め、該指標値に基づいた病変部抽出画像を生成して出力する画像処理手段と、病変部抽出画像が表示されるモニタとを有し、画像処理手段は、分光画像の各画素について、分光画像データを目的変数とし、酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性を説明変数として重回帰分析を行い、酸素化ヘモグロビン及び還元ヘモグロビンの濃度に基づいて指標値を求める。
 本発明の発明者は、分光画像データを目的変数、酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性を説明変数として重回帰分析を行った結果、分光画像データは酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性と光散乱による影響を用いて説明することができ、病変部の方が健常部に比較して酸素化ヘモグロビンの濃度が高いことを発見した。本発明はこの性質を利用するものであり、まず、分光画像の各画素について、分光画像データを目的変数とし、酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性を説明変数として重回帰分析を行い、酸素化ヘモグロビン及び還元ヘモグロビンの濃度に基づいて指標値を求め、求められた指標値に基づいた病変部抽出画像をモニタに出力する構成としている。従って、このような構成によれば、酸素化ヘモグロビンの濃度が周辺部に比較して異なる領域を病変部抽出画像としてモニタに表示することによって疾患の検出、診断支援を行うことが可能となる。
 画像処理手段は、酸素化ヘモグロビンの濃度と還元ヘモグロビンの濃度の比率を指標値として求める構成とすることも可能である。このような構成とすると、どの領域が病変部である可能性が高いかを、正確に判断できる。
 また、画像処理手段は、分光画像の各画素について、指標値に基づいた所定の色を割り当てることによって病変部抽出画像を生成する構成とすることも可能である。また、画像処理手段は、指標値を所定の閾値と比較する比較手段と、比較手段の比較結果に基づいて2値画像を生成する2値画像生成手段とを有し、病変部抽出画像は、2値画像に基づいて生成される構成とすることも可能である。このような構成とすると、病変部と健常部の識別が容易になる。
 また、画像処理手段は、分光画像データのうち、青色、緑色、赤色の波長帯域のものを合成してカラー画像を出力し、モニタには、カラー画像と病変部抽出画像とが並べられて表示される構成とすることも可能である。このような構成とすると、分光画像撮影手段によって撮影された生体組織のカラー画像と病変部抽出画像との比較により、どの領域が病変部である可能性が高いかをより容易に判断可能となる。
 また、画像処理手段は、分光画像データのうち、酸素化ヘモグロビンと還元ヘモグロビンの吸収波長帯域である500nm~590nmの波長帯域のものから指標値を求める構成とすることも可能である。このような構成とすると、より高速かつ高精度に重回帰係数を算出することが可能となる。
 また、所定波長領域は、400~800nmであり、分光画像は、1~10nmの範囲で定められる所定の波長毎に撮影された複数の画像であることが好ましい。
 以上のように、本発明の診断システムによれば、病変部である可能性の高い領域が画像によって表示されるため、診断時間が短縮されると共に、手術による切除等の必要な範囲を容易に確認、特定することが可能となる。
図1は、本発明の実施形態の診断システム1のブロック図である。 図2は、本発明の実施形態の診断システム1で取得した胃粘膜の分光画像データを示すグラフである。図2Aは、胃粘膜の病変部に対応する画素のスペクトルを示したグラフであり、図2Bは、胃粘膜の健常部に対応する画素のスペクトルを示したグラフである。 図3は、ヘモグロビンの吸収特性を示すグラフである。 図4は、図2に示す胃粘膜の分光画像データについて重回帰分析を行った結果を示すグラフである。図4Aは、図2Aに示される胃粘膜の病変部に対応する画素のスペクトルについて重回帰分析を行った結果を示すグラフであり、図4Bは、図2Bに示される胃粘膜の健常部に対応する画素のスペクトルについて重回帰分析を行った結果を示すグラフである。 図5は、図2に示す胃粘膜の分光画像データについて重回帰分析を行って得られた重回帰係数P1及びP2の一例を示すグラフである。 図6は、図2に示す胃粘膜の分光画像データについて重回帰分析を行って得られた重回帰係数P1及びP2の一例を示すグラフである。 図7は、本実施形態の画像処理部500によって実行される画像生成処理を示すフローチャートである。 図8は、図7の画像生成処理によって画像表示装置300に表示されるカラー画像及び病変部抽出画像を模式的に示した図である。
 以下、本発明の実施の形態について、図面を用いて詳細に説明する。図1は、本発明の実施形態の診断システム1のブロック図である。本実施形態の診断システム1は、胃や腸等の消化器の疾患を診断する際に医師によって参照される指標画像を生成するものである。診断システム1は、電子内視鏡100と、電子内視鏡用プロセッサ200と、画像表示装置300と、を有する。また、電子内視鏡用プロセッサ200には、光源部400と、画像処理部500が内蔵されている。
 電子内視鏡100は、体腔内に挿入される挿入管110を有し、挿入管110の先端部(挿入管先端部)111に、対物光学系121が設けられている。挿入管先端部111の周囲の生体組織Tの対物光学系121による像は、挿入管先端部111に内蔵されている撮像素子141の受光面に結像するようになっている。
 撮像素子141は、受光面に結像した像に対応する映像信号を、周期的に(例えば1/30秒おきに)出力している。撮像素子141から出力された映像信号は、ケーブル142を介して電子内視鏡用プロセッサ200の画像処理部500に送られる。
 画像処理部500は、A/D変換回路510、一時記憶メモリ520、コントローラ530、ビデオメモリ540及び信号処理回路550を有する。A/D変換回路510は、電子内視鏡100の撮像素子141からケーブル142を介して入力される映像信号をA/D変換してデジタル画像データを出力する。A/D変換回路510から出力されるデジタル画像データは、一時記憶メモリ520に送られ記憶される。コントローラ530は、一時記憶メモリ520に記憶された任意の単数又は複数の画像データを処理して一枚の表示用画像データを生成し、これをビデオメモリ540に送る。例えば、コントローラ530は、単一の画像データから生成された表示用画像データ、複数の画像データの画像が並べて表示される表示用画像データ、或いは複数の画像データを画像演算して得られた画像や、画像演算の結果得られるグラフが表示されている表示用画像データ等を生成して、これをビデオメモリ540に記憶させる。信号処理回路550は、ビデオメモリ540に記憶されている表示用画像データを所定の形式(例えばNTSC形式)のビデオ信号に変換し、出力する。信号処理回路550から出力されたビデオ信号は、画像表示装置300に入力される。この結果、電子内視鏡100によって撮像された内視鏡画像等が、画像表示装置300に表示される。
 また、電子内視鏡100にはライトガイド131が設けられている。ライトガイド131の先端部131aは挿入管先端部111の近傍に配置されており、一方ライトガイド131の基端部131bは電子内視鏡用プロセッサ200に接続されている。電子内視鏡用プロセッサ200は、キセノンランプ等の光量の大きい白色光を生成する光源430等を有する光源部400(後述)を内蔵しており、この光源部400によって生成された光は、ライトガイド131の基端部131bに入射するようになっている。ライトガイド131の基端部131bに入射した光は、ライトガイド131を通ってその先端部131aに導かれ、先端部131aから放射される。電子内視鏡100の挿入管先端部111の、ライトガイド131の先端部131aの近傍には、レンズ132が設けられており、ライトガイド131の先端部131aから放射される光は、レンズ132を透過して、挿入管先端部111の近傍の生体組織Tを照明する。
 このように、電子内視鏡用プロセッサ200は、電子内視鏡100の撮像素子141から出力される映像信号を処理するビデオプロセッサとしての機能と、電子内視鏡100の挿入管先端部111近傍の生体組織Tを照明するための照明光を電子内視鏡100のライトガイド131に供給する光源装置としての機能を兼ね備えるものである。
 本実施形態においては、電子内視鏡用プロセッサ200の光源部400は、光源430と、コリメータレンズ440と、分光フィルタ410と、フィルタ制御部420と、集光レンズ450とを有している。光源430から出射される白色光は、コリメータレンズ440によって平行光となり、分光フィルタ410を通過した後、集光レンズ450によってライトガイド131の基端部131bに入射する。分光フィルタ410は、光源430から入射される白色光を所定の波長の光に分光する(すなわち、波長選択する)円盤型のフィルタであり、回転角度に応じて400、405、410、・・・、800nmの狭帯域(帯域幅約5nm)の光を波長選択して出力する。分光フィルタ410の回転角度は、コントローラ530に接続されたフィルタ制御部420によって制御されており、コントローラ530がフィルタ制御部420を介して分光フィルタ410の回転角度を制御することにより、所定の波長の光がライトガイド131の基端部131bに入射し、挿入管先端部111の近傍の生体組織Tを照明する。そして、生体組織Tによって反射された光が、上述のように撮像素子141の受光面に結像し、映像信号がケーブル142を介して画像処理部500に送られる。
 画像処理部500は、ケーブル142を介して得られた生体組織Tの像から、波長5nm刻みの複数の分光画像を得る装置である。具体的には、分光フィルタ410が、中心波長400、405、410、・・・、800nmの狭帯域(帯域幅約5nm)の光をそれぞれ波長選択して出力している場合に、各波長の分光画像を得る。
 画像処理部500は、分光フィルタ410によって生成される複数の分光画像を処理して、後述するようにカラー画像又は病変部抽出画像を生成する機能を有する。そして、画像処理部500は、処理された分光画像及び病変部抽出画像を画像表示装置300に表示させる。
 なお、分光フィルタ410には、分光フィルタ(ファブリ=ペロー型のフィルタ等)や、透過型回折格子を使用して分光した光を得る、既知の分光画像撮影方法を採用したものが利用可能である。
 前述のように、本実施形態の画像処理部500は、波長の異なる複数枚の分光画像を用いて、病変部である可能性が高い領域を抽出して病変部抽出画像を生成する機能を有する。この病変部抽出画像の生成機能について、以下に説明する。
 まず、病変部である可能性が高い領域を抽出する原理と、本実施形態の画像処理部500によって生成される病変部抽出画像の元となる指標値について説明する。図2は、本発明の実施形態の診断システム1で取得した胃粘膜の分光画像データを示しており、個々の波形は、分光画像中の特定の画素のスペクトル(すなわち、各波長における輝度値)を示している。図2Aは、胃粘膜の病変部に対応する画素のスペクトルを示したものであり、図2Bは、胃粘膜の健常部に対応する画素のスペクトルを示したものである。なお、説明の便宜のため、図2に示される健常部及び病変部の各画素のスペクトルには、基準化処理を施している。具体的には、照明光と被写体(生体組織T)の角度や、挿入管先端部111(図1)から生体組織Tまでの距離の違いにより、撮像素子141の各画素は異なる光量の光を受光することになるため、この光量差の影響を補正して示している。
 図2に示されるように、胃粘膜画像のスペクトルは、健常部であるか病変部であるかに拘わらず、波長500~590nmにかけて谷部を有した略M字状の特性を示すものとなる点で共通するが、病変部に対応する画素のスペクトルは、健常部に対応する画素のスペクトルに比較して分散(バラツキ)が大きく、また波長約540nmと570nmの2つの谷部を有する点において健常部に対応する画素のスペクトルと異なる。従って、分光画像の各画素のスペクトルを解析することにより、健常部と病変部とを識別することが可能であることが分かる。しかしながら、通常、健常部と病変部とは連続しているため、このようなスペクトルの形状による判断では、健常部と病変部との境界を明確に区別することは困難である。そこで、後述するように、本発明の発明者は、分光画像データについて重回帰分析を行い、重回帰係数に基づいて健常部と異常部とを定量的に判断する構成を見出した。
 図3は、ヘモグロビンの吸収特性を示すグラフであり、実線が酸素化ヘモグロビンの光の吸収特性を示し、点線が還元ヘモグロビンの光の吸収特性を示している。図3に示されるように、酸素化ヘモグロビンと還元ヘモグロビンとは、波長500~590nmの光を吸収する(すなわち、吸収特性が波長500~590nmの範囲で上昇する)点で共通するが、還元ヘモグロビンの特性が波長約560nmに1つのピークを有するのに対し、酸素化ヘモグロビンの特性は波長約540nmと570nmに2つのピークを有する点で異なる。本発明の発明者は、この特性の違いに着目し、図2に示される胃粘膜の分光画像データを目的変数、酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性を説明変数として重回帰分析を行った。その結果、胃粘膜の分光画像データは酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性を用いて説明することができ、病変部の方が健常部に比較して酸素化ヘモグロビンの濃度が高い場合、酸素化ヘモグロビンの重回帰係数に基づいて健常部と異常部とを定量的に識別できることを見出した。そして、更に本実施形態においては、2次元的な分光情報を用いることにより、1地点(画素)の分光特性の絶対評価だけではなく、周辺領域との変化を相対的に比較する構成としている。これによって、生体の組織、構造、個体差、疾患の状態により、絶対評価が困難な場合でも、高い精度での病変部検出を可能にしている。
 一般に、本実施形態で取得される分光画像データの計測モデルは、ランベルト・ベールの法則(Beer-Lambert Law)に基づき、下記の数1のように示される。
Figure JPOXMLDOC01-appb-M000001
 ここで、Aは媒質(生体組織T)の吸収係数、IOは媒質に入射する前の光の放射強度、Iは媒質中を距離dだけ移動した時の光の強度、εはモル吸光係数、Cはモル濃度、λは光の波長である。そして、媒質がn種類の吸光物質を有する場合には、下記の数2のように示される。
Figure JPOXMLDOC01-appb-M000002
 すなわち、n種類の吸光物質を有する場合の吸収係数Aは、各吸光物質の吸収特性の総和として表わされることとなる。そこで、下記の数3に示すように、図2に示される胃粘膜の分光画像データを目的変数、酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性を説明変数として重回帰分析を行った。
Figure JPOXMLDOC01-appb-M000003
 ここで、Xは胃粘膜の分光画像の1画素分のデータであり、中心波長400から800nmまでの5nm刻みの各波長の光を照射して得られる分光画像の輝度値のデータである。また、aは波長400から800nmまでの5nm刻みの酸素化ヘモグロビンの光の吸収特性であり、bは波長400から800nmまでの5nm刻みの還元ヘモグロビンの光の吸収特性である。そして、数3を重回帰係数P1及びP2について解くことにより、重回帰分析を行った。
 図4は、図2に示す胃粘膜の分光画像データについて重回帰分析を行った結果を示すグラフである。図4Aは、図2Aに示される胃粘膜の病変部に対応する画素のスペクトルについて、縦軸を吸収率に変換した上で重回帰分析を行った結果を示すグラフであり、図4Bは、図2Bに示される胃粘膜の健常部に対応する画素のスペクトルについて、縦軸を吸収率に変換した上で重回帰分析を行った結果を示すグラフである。図4A及び図4Bにおいて、実線は、胃粘膜の分光画像データのデータ系列であり、点線は、重回帰分析を行った結果を示すデータ系列であり、一点鎖線は、重回帰分析後の残差(すなわち、重回帰分析を行った結果と分光画像データとの差)を示すデータ系列である。図4に示すように、図2の個々の波形(すなわち、分光画像中の特定の画素のスペクトル)は、健常部であるか病変部であるかに拘わらず、酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性の組み合わせによってほぼ表現できることが分かった。なお、本実施形態で取得される分光画像データの計測モデルとしては、光が生体組織Tに入射した時の散乱光を考慮しているが、数3において散乱光の加算を省略している。上記重回帰分析を行った結果、分光画像中の所定の画素のスペクトルが、酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性の組み合わせによって、ほぼ残差なく説明できることが分かった。
 図5は、図2に示す胃粘膜の分光画像データについて重回帰分析を行って得られた重回帰係数P1及びP2の第1の例を示すグラフである。また、図6は、図2に示す胃粘膜の分光画像データについて重回帰分析を行って得られた重回帰係数P1及びP2の第2の例を示すグラフである。図5及び6の、枠Tの範囲は、病変部に相当する画素の重回帰係数P1及びP2を示しており、枠Nの範囲は、健常部に相当する画素の重回帰係数P1及びP2を示している。図5に示す例では、病変部に相当する画素の重回帰係数P1及びP2は、健常部に相当する画素の重回帰係数P1及びP2よりもバラツキが大きく、また、病変部に相当する画素の重回帰係数P1及びP2は、健常部に相当する画素の重回帰係数P1及びP2よりも大きく観察された。ここで、数3より、重回帰係数P1は、酸素化ヘモグロビンの量(すなわち、濃度)を表わし、重回帰係数P2は、還元ヘモグロビンの量を表すパラメータであることから、図5に示す例の病変部においては、健常部に比較し、酸素化ヘモグロビンも還元ヘモグロビンも多く検出されたことになる。また、図6に示す例では、病変部に相当する画素の重回帰係数P1及びP2は、健常部に相当する画素の重回帰係数P1及びP2よりもバラツキが大きく、また、病変部に相当する画素の重回帰係数P1は、健常部に相当する画素の重回帰係数P1よりも大きく観察された。このように、本発明の発明者による実験においては、図5及び6に示す2つの傾向が観察されたが、多くの先行研究より、癌などの病変部においては、健常部に比較して酸素化ヘモグロビンの量と還元ヘモグロビンの量の和(血液の総検出量に相当)が大きくかつ酸素化ヘモグロビンに対する還元ヘモグロビンの比率が高いことが知られている。従って、一般に、図5に示すように、病変部において、重回帰係数P1と重回帰係数P2の和が大きくなり、かつ重回帰係数P1に対する重回帰係数P2の比率が大きくなる例が支配的となる。そこで、本実施形態においては、重回帰係数P1とP2との比率Rを下記の数4によって求め、当該比率を病変部と健常部とを識別するための指標値として使用する。そして、本実施形態の画像処理部500は、この指標値に基づいて、病変部抽出画像を生成する。
Figure JPOXMLDOC01-appb-M000004
 次に、本実施形態の画像処理部500によって実行される画像生成処理について説明する。図7は、本実施形態の画像処理部500によって実行される画像生成処理を示すフローチャートである。また、図8は、図7の画像生成処理によって画像表示装置300に表示されるカラー画像及び病変部抽出画像を模式的に示している。画像生成処理は、カラー画像及び病変部抽出画像を生成し、画像表示装置300に表示を行うためのルーチンである。本ルーチンは、診断システム1の電源投入によって実行される。
 本ルーチンが開始すると、ステップS1が実行される。ステップS1では、画像処理部500は、フィルタ制御部400に分光画像を取得させるための制御信号を送る。フィルタ制御部400は、この制御信号を受信すると、分光フィルタ410の回転角度を制御し、400、405、410、・・・、800nmの狭帯域(帯域幅約5nm)の光を順次波長選択し、画像処理部500は、各波長で得られる分光画像を撮影して一時記憶メモリ520に記録する。次いでステップS2に進む。
 ステップS2では、ステップS1にて取得した分光画像のうち、中心波長が435nm、545nm、及び700nmとなる3枚の画像を取り出し、中心波長が435nmの画像を青色プレーンに、中心波長が545nmの画像を緑色プレーンに、中心波長が700nmの画像を赤色プレーンに記憶させた一枚のカラー画像データを生成する。このカラー画像データは、上記のように青色の波長である435nmの分光画像、緑色の波長である545nmの分光画像及び赤色の波長である700nmの分光画像から得られるものであり、通常観察の内視鏡画像と同等のカラー画像となる。そして、画像処理部500は、生成されたカラー画像データをビデオメモリ540に送り画像表示装置300のスクリーンの左側に表示させる(図8)。次いで、ステップS3に進む。
 ステップS3では、ステップS1又はS2が実行されている間に、電子内視鏡用プロセッサ200の操作部(不図示)が操作されて、病変部抽出画像の生成を指示するトリガ入力が発生したかどうかの確認が行われる。トリガ入力が発生していないのであれば(S3:NO)、ステップS1に進み、再度分光画像の取得が行われる。すなわち、トリガ入力が無い限り、分光画像から得られるカラー画像は、逐次更新されて画像表示装置300に表示され続ける。一方、ステップS1からS2が実行されている間にトリガ入力が発生していた場合は(S3:YES)、ステップS4に進む。
 ステップS4では、ステップS1で取得した分光画像について重回帰分析が行われる。具体的には、ステップS1で取得した分光画像の全ての画素について数3を用いて重回帰係数P1及びP2を求める。次いで、ステップS5に進む。
 ステップS5では、ステップS4で求めた各画素の重回帰係数P1及びP2について数4を用いて指標値(比率R)を求める。次いで、ステップS6に進む。
 ステップS6では、ステップS5で求められた各画素の指標値に基づいて病変部抽出画像を生成する。具体的には、各画素の指標値に応じて各画素に所定の色を割り当て、病変部抽出画像を生成する。本実施形態においては、指標値(比率R)が0.6以下の部分を健常部と判断して青色を割り当て、0.6より大きく1.0以下の部分を健常部と病変部との境界部分と判断して緑色を割り当て、1.0より大きい部分を病変部と判断して黄色を割り当てた病変部抽出画像を生成し、画像表示装置300のスクリーンの右側に表示させる(図8)。このように、指標値に応じて色分けされた病変部抽出画像と、内視鏡画像のカラー画像とを画像表示装置300のスクリーン上に並べて配置することで、診断システム1の使用者は、カラー画像と病変部抽出画像とを比較することにより、カラー画像中のどの領域が病変部であるのかを判断することができる。次いで、ステップS7に進む。
 ステップS7では、画像処理部500は、再度病変部抽出画像を生成するかどうかを問い合わせるメッセージを画像表示装置300に表示させると共に、電子内視鏡用プロセッサ200の操作部(不図示)からの入力を受け付ける。診断システム1の使用者が操作部を操作して、病変部抽出画像の再生成を選択した場合は(S7:YES)、ステップS1に戻る。一方、一定時間(例えば数秒)の間、病変部抽出画像の再生成が指示されなかった場合は(S7:NO)、ステップS8に進む。
 ステップS8では、画像処理部500は、病変部抽出画像の表示を終了させるかどうかを問い合わせるメッセージを画像表示装置300に表示させると共に、電子内視鏡用プロセッサ200の操作部(不図示)からの入力を受け付ける。診断システム1の使用者が操作部を操作して、病変部抽出画像の表示を終了することを選択した場合は(S8:YES)、本ルーチンを終了する。一方、一定時間(例えば数秒)の間、病変部抽出画像の表示が指示されなかった場合は(S8:NO)、ステップS7に進む。
 以上のように、図7のフローチャートで示されるルーチンを画像処理部500が実行することにより、病変部の位置を推定するのに有効な病変部抽出画像が、画像表示装置300に表示される。このように、病変部である可能性の高い領域が病変部抽出画像として表示されることにより、医師は、病変部の位置や範囲を特定しながら、また周辺組織と比較しながら診断することが可能となる。
 上記のように、本実施形態においては、各画素の重回帰係数P1及びP2について数4を用いて指標値(比率R)を求め、当該指標値に基づいて病変部の可能性が高い領域(画素)を特定している。しかしながら、本発明は上記の構成に限定されるものではなく、例えば、重回帰係数P1の大きさを指標値として病変部の可能性が高い領域(画素)を特定してもよい。
 また、本実施形態においては、画像処理部500は、波長400~800nmの範囲について5nm刻みで取得した分光画像データを全て用いて重回帰分析する構成としたが、本発明はこの構成に限定されるものではない。例えば、酸素化ヘモグロビンと還元ヘモグロビンの吸収波長帯域である500nm~590nmの波長帯域と画素ごとの規格化に必要な基準値を含む、より狭い範囲とすることも可能である。また、酸素化ヘモグロビンと還元ヘモグロビンの吸収波長帯域である500nm~590nmの波長帯域の分光画像データだけを用いて重回帰分析する構成としてもよい。また、病変部に対応する画素のスペクトルと健常部に対応する画素のスペクトルとを識別できれば、必ずしも5nm刻みで分光画像データを取得する構成でなくてもよい。分光画像データを取得する波長の間隔は、例えば、1~10nmの範囲で選択可能な構成とすることができる。
 また、本実施形態においては、画像処理部500が、分光画像の各画素について、指標値に基づいた所定の色を割り当てることによって病変部抽出画像を生成する構成としたが、本発明はこの構成に限定されるものではない。例えば、指標値を所定の閾値と比較し、指標値が所定の閾値よりも大きい場合に(すなわち、酸素化ヘモグロビンが多く検出される場合に)病変部の可能性が高いと判断し、当該画素を抽出して病変部抽出画像を生成する構成としてもよい。より具体的には、各画素の指標値と所定の閾値とを比較し、指標値が所定の閾値よりも大きい場合、その画素を「1」とし、指標値が所定の閾値よりも小さい場合、その画素を「0」とし、2次元の2値データを作成する。

Claims (7)

  1.  体腔内において所定波長領域の分光画像を撮影して分光画像データを得る分光画像撮影手段と、
     前記分光画像データを取得し、該分光画像データから、病変部である可能性が高い領域を示す指標値を求め、該指標値に基づいた病変部抽出画像を生成して出力する画像処理手段と、
     前記病変部抽出画像が表示されるモニタと、
    を有し、
     前記画像処理手段は、前記分光画像の各画素について、前記分光画像データを目的変数とし、酸素化ヘモグロビンの光の吸収特性及び還元ヘモグロビンの光の吸収特性を説明変数として重回帰分析を行い、酸素化ヘモグロビン及び還元ヘモグロビンの濃度に基づいて前記指標値を求めることを特徴とする診断システム。
  2.  前記画像処理手段は、前記酸素化ヘモグロビンの濃度と前記還元ヘモグロビンの濃度の比率を前記指標値として求めることを特徴とする請求項1に記載の診断システム。
  3.  前記画像処理手段は、前記分光画像の各画素について、前記指標値に基づいた所定の色を割り当てることによって前記病変部抽出画像を生成することを特徴とする請求項1又は請求項2に記載の診断システム。
  4. 前記画像処理手段は、前記指標値を所定の閾値と比較する比較手段と、前記比較手段の比較結果に基づいて2値画像を生成する2値画像生成手段と、を有し、
     前記病変部抽出画像は、前記2値画像に基づいて生成されることを特徴とする請求項1又は請求項2に記載の診断システム。
  5.  前記画像処理手段は、前記分光画像データのうち、青色、緑色、赤色の波長帯域のものを合成してカラー画像を出力し、
     前記モニタには、前記カラー画像と前記病変部抽出画像とが並べられて表示される
    ことを特徴とする請求項1から請求項4のいずれか一項に記載の診断システム。
  6.  前記画像処理手段は、前記分光画像データのうち、前記酸素化ヘモグロビンと前記還元ヘモグロビンの吸収波長帯域である500nm~590nmの波長帯域のものから前記指標値を求めることを特徴とする請求項1から請求項5のいずれか一項に記載の診断システム。
  7.  前記所定波長領域は、400~800nmであり、前記分光画像は、1~10nmの範囲で定められる所定の波長毎に撮影された複数の画像であることを特徴とする請求項1から請求項6のいずれか一項に記載の診断システム。
PCT/JP2012/053093 2011-03-29 2012-02-10 診断システム WO2012132571A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP12764519.0A EP2692275A4 (en) 2011-03-29 2012-02-10 DIAGNOSTIC SYSTEM
JP2013507237A JPWO2012132571A1 (ja) 2011-03-29 2012-02-10 診断システム
CN2012800159534A CN103476320A (zh) 2011-03-29 2012-02-10 诊断***
US14/006,775 US20140010424A1 (en) 2011-03-29 2012-02-10 Diagnostic system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-072216 2011-03-29
JP2011072216 2011-03-29

Publications (1)

Publication Number Publication Date
WO2012132571A1 true WO2012132571A1 (ja) 2012-10-04

Family

ID=46930335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/053093 WO2012132571A1 (ja) 2011-03-29 2012-02-10 診断システム

Country Status (5)

Country Link
US (1) US20140010424A1 (ja)
EP (1) EP2692275A4 (ja)
JP (1) JPWO2012132571A1 (ja)
CN (1) CN103476320A (ja)
WO (1) WO2012132571A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013172156A1 (ja) * 2012-05-18 2013-11-21 Hoya株式会社 電子内視鏡装置
JP2014230647A (ja) * 2013-05-29 2014-12-11 Hoya株式会社 表示装置、表示方法および表示プログラム
JP2017000836A (ja) * 2016-09-27 2017-01-05 Hoya株式会社 電子内視鏡装置
WO2018070474A1 (ja) * 2016-10-14 2018-04-19 Hoya株式会社 内視鏡システム
JP2018163248A (ja) * 2017-03-24 2018-10-18 株式会社Screenホールディングス 画像取得方法および画像取得装置
JP2018198703A (ja) * 2017-05-26 2018-12-20 池上通信機株式会社 撮像画像処理システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013047054A1 (ja) 2011-09-29 2013-04-04 Hoya株式会社 診断システム
CN108463760A (zh) * 2016-01-19 2018-08-28 索尼奥林巴斯医疗解决方案公司 医疗用光源装置和医疗用观察***
CN112717282B (zh) * 2021-01-14 2023-01-10 重庆翰恒医疗科技有限公司 一种光诊疗装置及全自动光诊疗***
CN113554578B (zh) * 2021-07-23 2024-05-31 奥比中光科技集团股份有限公司 一种光谱图像的确定方法、装置、终端和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003508735A (ja) * 1999-08-31 2003-03-04 ネイダーランゼ、オルガニザティー、ボー、トゥーゲパストナトゥールウェテンシャッペルーク、オンダーツォーク、ティーエヌオー 濃度比率決定用撮像装置
JP2004321792A (ja) 2003-04-14 2004-11-18 Optiscan Pty Ltd 深度制御またはz軸駆動の方法とその装置
JP2009068940A (ja) * 2007-09-12 2009-04-02 Canon Inc 測定装置
JP2009066301A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置および内視鏡システム
JP2009131617A (ja) * 2007-11-09 2009-06-18 Fujifilm Corp 撮像システム、撮像方法、およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001556A (en) * 1987-09-30 1991-03-19 Olympus Optical Co., Ltd. Endoscope apparatus for processing a picture image of an object based on a selected wavelength range
US7603166B2 (en) * 1996-09-20 2009-10-13 Board Of Regents University Of Texas System Method and apparatus for detection of vulnerable atherosclerotic plaque
JP2793989B2 (ja) * 1996-09-30 1998-09-03 オリンパス光学工業株式会社 内視鏡用光源装置の回転フィルタ
WO2001037717A2 (en) * 1999-11-26 2001-05-31 Applied Spectral Imaging Ltd. System and method for functional brain mapping
JP4663083B2 (ja) * 2000-09-11 2011-03-30 オリンパス株式会社 内視鏡装置
JP2002345733A (ja) * 2001-05-29 2002-12-03 Fuji Photo Film Co Ltd 撮像装置
CA3031088A1 (en) * 2004-11-29 2006-06-01 Hypermed Imaging, Inc. Medical hyperspectral imaging for evaluation of tissue and tumor
US20080009748A1 (en) * 2006-05-16 2008-01-10 The Regents Of The University Of California method and apparatus for the determination of intrinsic spectroscopic tumor markers by broadband-frequency domain technology
US8406859B2 (en) * 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003508735A (ja) * 1999-08-31 2003-03-04 ネイダーランゼ、オルガニザティー、ボー、トゥーゲパストナトゥールウェテンシャッペルーク、オンダーツォーク、ティーエヌオー 濃度比率決定用撮像装置
JP2004321792A (ja) 2003-04-14 2004-11-18 Optiscan Pty Ltd 深度制御またはz軸駆動の方法とその装置
JP2009068940A (ja) * 2007-09-12 2009-04-02 Canon Inc 測定装置
JP2009066301A (ja) * 2007-09-14 2009-04-02 Fujifilm Corp 画像処理装置および内視鏡システム
JP2009131617A (ja) * 2007-11-09 2009-06-18 Fujifilm Corp 撮像システム、撮像方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2692275A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013172156A1 (ja) * 2012-05-18 2013-11-21 Hoya株式会社 電子内視鏡装置
JP2013240401A (ja) * 2012-05-18 2013-12-05 Hoya Corp 電子内視鏡装置
CN104486983A (zh) * 2012-05-18 2015-04-01 Hoya株式会社 电子内窥镜设备
JP2014230647A (ja) * 2013-05-29 2014-12-11 Hoya株式会社 表示装置、表示方法および表示プログラム
JP2017000836A (ja) * 2016-09-27 2017-01-05 Hoya株式会社 電子内視鏡装置
WO2018070474A1 (ja) * 2016-10-14 2018-04-19 Hoya株式会社 内視鏡システム
JPWO2018070474A1 (ja) * 2016-10-14 2019-06-24 Hoya株式会社 内視鏡システム
US10905318B2 (en) 2016-10-14 2021-02-02 Hoya Corporation Endoscope system
JP2018163248A (ja) * 2017-03-24 2018-10-18 株式会社Screenホールディングス 画像取得方法および画像取得装置
JP2018198703A (ja) * 2017-05-26 2018-12-20 池上通信機株式会社 撮像画像処理システム

Also Published As

Publication number Publication date
EP2692275A4 (en) 2014-09-17
US20140010424A1 (en) 2014-01-09
JPWO2012132571A1 (ja) 2014-07-24
CN103476320A (zh) 2013-12-25
EP2692275A1 (en) 2014-02-05

Similar Documents

Publication Publication Date Title
WO2012132571A1 (ja) 診断システム
US11224335B2 (en) Image capturing system and electronic endoscope system
JP5923099B2 (ja) 診断システム
AU2015284810B2 (en) Raman spectroscopy system, apparatus, and method for analyzing, characterizing, and/or diagnosing a type or nature of a sample or a tissue such as an abnormal growth
US10244972B2 (en) Fluorescence observation device, endoscopic system, processor device, and operation method
WO2013172156A1 (ja) 電子内視鏡装置
US9113787B2 (en) Electronic endoscope system
EP2583617A2 (en) Systems for generating fluorescent light images
JP2014230647A (ja) 表示装置、表示方法および表示プログラム
JP5737899B2 (ja) 診断システム
JP2009300131A (ja) 生体組織識別装置および方法
WO2018070474A1 (ja) 内視鏡システム
JP2013048646A (ja) 診断システム
JP6650919B2 (ja) 診断システム及び情報処理装置
JP4109132B2 (ja) 蛍光判定装置
JP2017000836A (ja) 電子内視鏡装置
Yoon et al. Tissue classification in microscope imaging based on a discrete-band spectroscopy

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12764519

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 14006775

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2013507237

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012764519

Country of ref document: EP