WO2018230130A1 - 内視鏡装置及び表示画像生成方法 - Google Patents

内視鏡装置及び表示画像生成方法 Download PDF

Info

Publication number
WO2018230130A1
WO2018230130A1 PCT/JP2018/015542 JP2018015542W WO2018230130A1 WO 2018230130 A1 WO2018230130 A1 WO 2018230130A1 JP 2018015542 W JP2018015542 W JP 2018015542W WO 2018230130 A1 WO2018230130 A1 WO 2018230130A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
endoscope apparatus
subject
image
unit
Prior art date
Application number
PCT/JP2018/015542
Other languages
English (en)
French (fr)
Inventor
大記 有吉
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2019513088A priority Critical patent/JP6543013B2/ja
Priority to CN201880038951.4A priority patent/CN110740678B/zh
Publication of WO2018230130A1 publication Critical patent/WO2018230130A1/ja
Priority to US16/709,193 priority patent/US11457796B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present invention relates to an endoscope apparatus and a display image generation method.
  • the imaging apparatus performs imaging correlated with changes in scattering characteristics so that features that have been difficult to observe in the past, such as intraepithelial structure irregularities, can be visually recognized.
  • an object of the present invention is to provide an endoscope apparatus and a display image generation method that can quantitatively indicate the degree of abnormality such as inflammation of a subject.
  • the endoscope apparatus calculates an index indicating the degree of abnormality of the subject according to the color included in the subject image acquired by imaging the subject with the imaging unit, and is independent of the subject image.
  • a display control unit that generates a display image in which the index is identified and displayed according to the predetermined threshold value set in the above.
  • a subject is captured by an imaging unit to acquire a subject image, and an index indicating the degree of abnormality of the subject is calculated according to a color included in the subject image by a calculation unit. Then, a display image in which the index is identified and displayed is generated according to a predetermined threshold set independently of the subject image by the image processing unit.
  • FIG. 1 is a block diagram illustrating a configuration example of an endoscope apparatus 1 according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining the light absorption characteristics W of plasma according to the embodiment of the present invention.
  • the X axis indicates the wavelength and the Y axis indicates the extinction coefficient.
  • FIG. 2 also shows the normal band red light Br, the normal band green light Bg, the normal band blue light Bb, the narrow band blue light Nb, the plasma absorption characteristics W, and the peak wavelength Wp of the plasma absorption coefficient. It is.
  • the endoscope apparatus 1 includes a light source device 11, an endoscope 21, a video processor 31, and a display unit 41.
  • the light source device 11 is connected to each of the endoscope 21 and the video processor 31.
  • the endoscope 21 is connected to the video processor 31.
  • the video processor 31 is connected to the display unit 41.
  • the light source device 11 outputs the illumination light L to the illumination unit 23 provided at the distal end portion of the insertion unit 22 of the endoscope 21.
  • the light source device 11 includes a light source control unit 12, a light source 13, and a multiplexer 14.
  • the light source control unit 12 is a circuit that is connected to the light source 13 and controls the light source 13 in accordance with a control signal input from the display control unit 33. For example, when a control signal instructing driving of the light source device 11 is input, the light source control unit 12 instructs the light source 13 to emit light and drives the light source device 11. When the display control unit 33 inputs a control signal for instructing normal light emission, the light source control unit 12 instructs the light source 13 to output normal light. When the display control unit 33 inputs a control signal for instructing emission of special light, the light source control unit 12 instructs the light source 13 to output special light.
  • the light source 13 includes a light emitting element such as an LED.
  • the light source 13 includes a red light emitting unit 13r that emits red light, a green light emitting unit 13g that emits green light, and a blue light emitting unit 13b that emits blue light.
  • the blue light Bb in the normal band is output to the multiplexer 14 (FIG. 2).
  • the blue light emitting unit 13b narrows the blue light by, for example, a narrow band optical filter in accordance with the control signal input from the light source control unit 12, and converts the blue light Nb in the narrow band. Output.
  • the light absorption characteristic W of plasma decreases near the wavelength of 415 nm, peaks around the wavelength of 465 nm, and approaches zero near the wavelength of 550 nm.
  • the blue light is preferably narrowed so that the center wavelength is the same as the peak wavelength Wp of the extinction coefficient of plasma.
  • blue light is narrowed so that the center wavelength is around 465 nm.
  • Blue light may be narrowed to have a center wavelength of 460 nm to 470 nm.
  • the blue light may be narrowed so that the center wavelength is 415 nm to 495 nm.
  • the multiplexer 14 is a device that multiplexes input light of each color.
  • the multiplexer 14 is connected to the illumination unit 23, multiplexes the light of each color input from the light source 13, and outputs the combined light to the illumination unit 23.
  • the endoscope 21 is configured so as to be able to image the inside of the subject.
  • the endoscope 21 includes an insertion unit 22, an illumination unit 23, an imaging unit 24, and an operation unit X.
  • the insertion portion 22 is formed in an elongated shape so that it can be inserted into the subject.
  • the insertion section 22 is inserted with various pipelines and various signal lines (not shown). Further, the insertion portion 22 has a bending portion (not shown) and can be bent in response to an input instruction from the operation portion X.
  • the illumination unit 23 is provided at the distal end of the insertion unit 22 and irradiates the subject with illumination light L input from the light source device 11.
  • the endoscope apparatus 1 includes a light source device 11 and an illumination unit 23, and the light source device 11 includes a normal band red light Br, a normal band green light Bg, and a narrow band blue light Nb.
  • the illumination unit 23 irradiates the subject with the special light.
  • the imaging unit 24 is provided at the distal end of the insertion unit 22, captures an image of the subject's return light R, acquires a subject image, and outputs an imaging signal to the video processor 31.
  • the imaging unit 24 includes an imaging element such as a CCD.
  • the operation unit X includes an instruction input device such as a button or a joystick.
  • the operation unit X may include an instruction input device such as a touch panel, a keyboard, and a foot switch.
  • the operation unit X is provided in the endoscope 21 and the video processor 31 and can input various instructions to the endoscope apparatus 1.
  • the operation unit X can input instructions for the type of illumination light L for illuminating the subject and the type of the observation site of the subject, as well as instructions for bending the bending unit and driving the light source device 11.
  • the video processor 31 controls the endoscope 21, generates an endoscope image A based on an imaging signal input from the endoscope 21, and displays a display image B based on the endoscope image A. Generate.
  • the video processor 31 includes an image processing unit 32 and a display control unit 33.
  • the image processing unit 32 is a circuit that performs image processing based on the imaging signal input from the imaging unit 24 and generates an endoscopic image A.
  • the image processing unit 32 generates an endoscopic image A by performing image processing such as gain adjustment, white balance adjustment, gamma correction, contour emphasis correction, and enlargement / reduction adjustment based on the imaging signal.
  • the image A is output to the display control unit 33.
  • the display control unit 33 is a circuit that controls each unit in the endoscope apparatus 1.
  • the display control unit 33 is configured by, for example, an FPGA.
  • the display control unit 33 is connected to the display unit 41, generates a display image B based on the endoscopic image A, and outputs the display image B to the display unit 41.
  • the endoscopic image A may be either a moving image or a still image.
  • the display control unit 33 outputs a control signal to the light source device 11 and instructs the subject to irradiate the illumination light L according to the instruction input. More specifically, when a normal light instruction is input from the user via the operation unit X, the light source control unit 12 is instructed to output normal light. Further, when a special light instruction is input from the user via the operation unit X, the light source control unit 12 is instructed to output special light.
  • the display control unit 33 may adjust the light emission amount of the illumination unit 23 according to the brightness of the endoscope image A.
  • the display control unit 33 includes a storage unit 33a, a calculation unit 33b, and an image generation unit 33c.
  • the storage unit 33a is configured by a storage device such as a rewritable ROM, and stores a predetermined index calculation formula P1, a predetermined threshold value P2, and identification display information P3.
  • the predetermined index calculation formula P1 is set in advance independently of the subject image and stored in the storage unit 33a.
  • a plurality of predetermined index calculation formulas P1 may be set according to the type of observation mode and the type of observation site, and stored in the storage unit 33a.
  • the predetermined index calculation formula P1 is, for example, information on an arithmetic expression for calculating an index.
  • the predetermined threshold value P2 is set so as to classify the index calculated by the predetermined index calculation formula P1 in a stepwise manner, and is stored in the storage unit 33a.
  • a plurality of predetermined threshold values P2 may be set according to the type of observation mode and the type of observation site, and stored in the storage unit 33a.
  • identification display information P3 for example, information such as color, brightness, or pattern associated with the range divided by the predetermined threshold P2 for identifying and displaying the index is set and stored in the storage unit 33a. .
  • the calculating unit 33b calculates an index based on the endoscope image A.
  • the computing unit 33b reads a predetermined index calculation formula P1 from the storage unit 33a in accordance with the type of illumination light L and the type of observation site input via the operation unit X, and the read predetermined index calculation formula P1 The index is calculated by and the index is output to the image generation unit 33c.
  • the image generation unit 33c is a circuit that generates the display image B.
  • the image generation unit 33c reads the predetermined threshold value P2 associated with the predetermined index calculation formula P1 and the identification display information P3 associated with the predetermined threshold value P2 from the storage unit 33a and inputs them from the calculation unit 33b. Based on the displayed index, identification display information P3 corresponding to the index is determined, and based on the identification display information P3, a display image B identifying and displaying the index is generated and output to the display unit 41.
  • the display control unit 33 calculates an index indicating the degree of abnormality of the subject according to the color included in the subject image acquired by imaging the subject by the imaging unit 24, and is a predetermined value set independently of the subject image.
  • the display image B in which the index is identified and displayed is generated according to the threshold value P2.
  • the display unit 41 is configured by, for example, a monitor capable of displaying a color image, and displays the display image B input from the image generation unit 33c.
  • 3 to 6 are diagrams for explaining a predetermined index calculation formula P1 of the endoscope apparatus 1 according to the embodiment of the present invention.
  • the index and the predetermined index calculation formula P1 are set so as to indicate the degree of abnormality of the subject.
  • the red pixel value Vr that is the luminance value of the red pixel
  • the green pixel value Vg that is the luminance value of the green pixel
  • Each of the blue pixel values Vb which are luminance values, is normalized by the red pixel value Vr.
  • each of Vb / Vr, Vg / Vr, and Vr / Vr on the X axis indicates the index calculation formula
  • the Y axis indicates the index
  • the solid line indicates the normal mucosa N
  • the one-dot chain line indicates the edema M.
  • a two-dot chain line indicates a polyp S.
  • abnormal mucosa when both or one of edema M and polyp S is shown, it is called abnormal mucosa.
  • the symptoms become heavier in the order of normal mucosa N, edema M, polyp S.
  • the color difference between the normal mucous membrane N and the return light R of the polyp S is shorter than the index difference Cd1 in the longer wavelength Vg / Vr normalized by the red pixel value Vr.
  • the difference Cd2 in the index of Vb / Vr is large.
  • the mucous membrane in the body has a characteristic that the color difference between the normal mucous membrane N and the abnormal mucous membrane appears more greatly on the short wavelength side than on the long wavelength side.
  • the amount of the return light R increases as the mucosal epithelium becomes thicker.
  • FIG. 4 shows the difference in the calculation result of the index by the index calculation formula among normal mucosa N, edema M and polyp S.
  • each of Vg / Vb, Vr / Vb, Vr / Vg, and (Vr + Vg) / Vb on the X axis indicates an index calculation formula
  • the Y axis indicates an index.
  • FIG. 5 shows the difference between the indices of edema M and polyp S, in which edema M and polyp S in FIG.
  • the X axis indicates the index calculation formula
  • the Y axis indicates the index.
  • the index difference Cd3 calculated by the index calculation formula (Vr + Vg) / Vb is larger than the index difference calculated by other index calculation formulas. .
  • the index calculated by the index calculation formula (Vr + Vg) / Vb greatly represents the color difference between the normal mucosa N and the abnormal mucosa.
  • FIG. 6 schematically shows the cut surface of the mucous membrane.
  • normal mucosa N, edema M, polyp S, blood vessel Bv, and illumination light L are shown.
  • Illumination light L is short wavelength light such as blue light for the sake of explanation here, and long wavelength light such as red light and green light is omitted.
  • the progress of the illumination light L is high, and the return light R is caused by the intramucosal pigment having a higher extinction coefficient on the short wavelength side than on the long wavelength side. It appears to appear pale yellow.
  • the progress of the illumination light L decreases. More specifically, in edema M, the illumination light L is scattered more on the short wavelength side than on the long wavelength side by the thickened epithelium, and returns to the imaging unit 24 without being absorbed by the intramucosal pigment. Therefore, the return light R appears whiter than the normal mucous membrane N.
  • the intramucosal pigment is considered to be plasma.
  • the index is calculated by a predetermined index calculation formula P1 corresponding to the type of the illumination light L and the type of the observation site according to the color included in the subject image.
  • the predetermined index calculation formula P1 includes an index calculation formula (Vr + Vg) / Vb in which the sum of the red pixel value Vr and the green pixel value Vg is normalized by the blue pixel value Vb.
  • the index calculation formula (Vr + Vg) / Vb is preferably used in the mucous membrane of the nasal sinuses.
  • the index calculation formula (Vr + Vg) / Vb may be used by the illumination light L of normal light or special light, but is desirably used by special light.
  • the predetermined index calculation formula P1 includes an index calculation formula Vr / Vg in which the red pixel value Vr is normalized by the green pixel value Vg.
  • the index calculation formula Vr / Vg is desirably used in the mucous membrane of the digestive tract.
  • the predetermined index calculation formula P1 includes an index calculation formula Vr / Vb in which the red pixel value Vr is normalized by the blue pixel value Vb.
  • the predetermined index calculation formula P1 includes an index calculation formula Vg / Vb obtained by normalizing the green pixel value Vg with the blue pixel value Vb.
  • the predetermined index calculation formula P1 is an expression in which the denominator and numerator of each of the index calculation formula (Vr + Vg) / Vb, the index calculation formula Vr / Vg, the index calculation formula Vr / Vb, and the index calculation formula Vg / Vb are reversed. Any of these may be included. That is, the predetermined index calculation formula P1 is an expression normalized by the sum of the red pixel value Vr of the blue pixel value Vb and the green pixel value Vg, an expression normalized by the red pixel value Vr of the green pixel value Vg, or red Any of the expressions normalized by the blue pixel value Vb of the pixel value Vr or the green pixel value Vg may be included.
  • FIG. 7 is a diagram for explaining an example of an endoscope image A of the endoscope apparatus 1 according to the embodiment of the present invention.
  • FIG. 8 is a diagram for explaining an example of the identification display information P3 corresponding to the index of the endoscope apparatus 1 according to the embodiment of the present invention.
  • FIG. 9 is a diagram for explaining an example of the display image B of the endoscope apparatus 1 according to the embodiment of the present invention.
  • the user inputs, for example, the observation site and the type of the illumination light L via the operation unit X.
  • the user inputs an instruction that the type of the observation site is the mucous membrane of the nasal sinuses and the type of the illumination light L is special light.
  • the calculation unit 33b reads a predetermined index calculation formula P1 from the storage unit 33a in response to an instruction input.
  • the image generation unit 33c reads the predetermined threshold value P2 associated with the predetermined index calculation formula P1 and the identification display information P3 associated with the predetermined threshold value P2 from the storage unit 33a.
  • the display control unit 33 When the user inserts the insertion unit 22 into the subject and inputs an instruction for irradiating the subject with the illumination light L via the operation unit X, the display control unit 33 outputs special light to the light source control unit 12. Output a control signal.
  • the light source control unit 12 causes the red light emitting unit 13r and the green light emitting unit 13g to output the normal band red light Br and the normal band green light Bg, and causes the blue light emitting unit 13b to output the narrow band blue light Nb.
  • the multiplexer 14 combines the red light, the green light, and the blue light, and guides the illumination light L to the illumination unit 23.
  • the illumination unit 23 irradiates the subject with the illumination light L guided from the multiplexer 14.
  • the imaging unit 24 converts the return light R of the subject into an imaging signal and outputs it to the image processing unit 32.
  • the image processing unit 32 generates an endoscopic image A based on the imaging signal and outputs it to the calculation unit 33b.
  • FIG. 7 is an example of an endoscopic image A.
  • the region A1 is white
  • the region A2 is light red
  • the region A3 is dark red
  • the region A4 is substantially black.
  • the regions A1 to A4 are simplified, complex colors and patterns appear in the actual endoscopic image A.
  • the calculation unit 33b calculates an index based on the endoscope image A by a predetermined index calculation formula P1 read from the storage unit 33a.
  • (Vr + Vg) / Vb is used as the predetermined index calculation formula P1.
  • the calculation unit 33b decomposes the endoscope image A into RGB components, calculates (Vr + Vg) / Vb for each calculation target pixel on the endoscope image A, and calculates an index.
  • the calculated index is output to the image generation unit 33c.
  • the image generation unit 33c determines the identification display information P3 based on the index input from 33b and a predetermined threshold value P2.
  • the index is set in the range of 0 to 69, and the predetermined threshold P2 is set to 10, 20, 30, 40, 50, 60.
  • the indicators 0 to 9 are white, the indicators 10 to 19 are red, the indicators 20 to 29 are orange, the indicators 30 to 39 are yellow, the indicators 40 to 49 are green, the indicators 50 to 59 are blue, the indicators 60 to 69 are set to black.
  • a plurality of colors having different hues are set in the identification display information P3.
  • a plurality of patterns having different patterns may be set.
  • the image generation unit 33c determines the identification display information P3 to be red.
  • the image generation unit 33c arranges the determined identification display information P3 at a position on the display image B corresponding to the position of the calculation target pixel, generates the display image B, and outputs the display image B to the display unit 41.
  • the display unit 41 displays the display image B input from the image generation unit 33 c on the display unit 41.
  • the display image B generated by the image generation unit 33c is color-coded according to the color indicated by the identification display information P3 determined by the index.
  • the region B1 is blue
  • the region B2 is green
  • the region B3 is yellow
  • the region B4 is orange
  • the region B5 is red
  • the region B6 is orange
  • the region B7 Is red
  • the region B8 is white
  • the region B9 is red.
  • the subject is imaged by the imaging unit 24 to obtain a subject image
  • the index indicating the degree of abnormality of the subject is calculated according to the color included in the subject image by the calculation unit 33b
  • the image processing unit The display image B in which the index is identified and displayed is generated according to a predetermined threshold value P2 set independently of the subject image by 32.
  • FIG. 8 shows a predetermined example as a diagnostic index that indexes 0 to 49 are normal mucosa N and indexes 50 to 69 are abnormal mucosa among indexes 0 to 69. According to this example, the user can quantitatively grasp that the region B1 is an abnormal mucosa and the regions B2 to B9 are normal mucous membranes N.
  • the subject is an organ to be observed, and the index indicates the degree of abnormality of the organ according to the color of the organ, is set independently from the subject image, and is set according to the type of the illumination light L and the type of the organ
  • the display image B is set so that a difference between the normal mucous membrane N that is the normal region of the organ and the abnormal mucous membrane that is the abnormal region is generated, and the color difference between the normal region and the abnormal region is different from the color difference in the subject image. Generated to be larger.
  • the user can grasp the quantitative abnormality degree of the subject from the display image B displayed on the display unit 41.
  • the endoscope apparatus 1 can quantitatively indicate the degree of abnormality such as inflammation of the subject.
  • the image generation unit 33c generates the display image B by arranging the identification display information P3 at a position on the display image B corresponding to the position of the calculation target pixel.
  • a display image B obtained by correcting the image A may be generated.
  • the description of this modification the description of the same configuration as that of the embodiment will be omitted.
  • the storage unit 33a stores a predetermined threshold value P2a (two-dot chain line in FIG. 1).
  • the predetermined threshold value P2a is set in advance independently of the subject image as a threshold value for distinguishing between the normal mucous membrane N and the abnormal mucous membrane, and is stored in the storage unit 33a.
  • the image generation unit 33c generates a display image B based on the index and endoscope image A input from the calculation unit 33b and the predetermined threshold value P2a read from the storage unit 33a.
  • the image generation unit 33c reads a predetermined threshold value P2a from the storage unit 33a.
  • the image generation unit 33c emphasizes the color of the pixel corresponding to the index.
  • the enhancement of the pixel color may be performed by multiplying the pixel value by a predetermined coefficient k, or may be performed by adding a predetermined value. Further, it may be performed by increasing the brightness of the pixel, or may be performed by increasing the saturation of the pixel.
  • the image generation unit 33c may be configured to deemphasize pixels corresponding to the index.
  • the abnormal mucous membrane of the endoscopic image A is emphasized by the index indicating the degree of abnormality of the subject, and the degree of abnormality of the subject is quantitatively indicated.
  • the index is calculated and displayed for the calculation target pixel in the endoscope image A, but in addition to this, the pixel value of the entire endoscope image A is calculated.
  • An overall index based on the average value may also be calculated and identified and displayed. Specifically, the average value of the pixel values of the entire endoscope image A may be calculated and the overall index may be calculated from the average value, or the index of the calculation target pixel may be calculated and the average value of the index may be calculated.
  • the overall index may be calculated by taking it.
  • the calculated overall index may be identified and displayed at a predetermined position adjacent to the display image B in accordance with the predetermined threshold value P2a set for the entire endoscope image A.
  • the endoscope apparatus 1 can quantitatively show the overall degree of inflammation in the endoscopic image A.
  • the identification display of the overall index may be displayed in a plurality of colors having different hues, a plurality of hatching having different intervals, or the like, similar to the identification display of the index calculated in each calculation target pixel.
  • a numerical value representing the relationship between the predetermined threshold value P2a or a numerical value representing the overall index may be displayed in a plurality of colors having different hues, a plurality of hatching having different intervals, or the like.
  • the degree of abnormality such as inflammation of the subject is divided into seven levels, but is not limited to seven levels. For example, it may be divided into 2 to 6 stages, or may be divided into 8 or more stages.
  • the example of the special light observation mode has been described.
  • the subject may be observed in the normal light observation mode.
  • the observation site is an example of the nasal sinuses, but is not limited to the nasal sinuses.
  • the observation site may be another organ such as the digestive tract.
  • predetermined index calculation formula P1 described in the embodiment and the modification is an example, and is not limited thereto, and may include other index calculation formulas.
  • the function of the display control unit 33 is realized by an FPGA, but all or part of the function of the display control unit 33 is realized by a CPU (not shown) and a program executed by the CPU. It doesn't matter.
  • each part in this specification does not necessarily correspond to a specific hardware or software routine on a one-to-one basis. Further, each procedure in the present embodiment may be executed in a different order for each execution by changing the execution order and executing a plurality of procedures at the same time as long as the procedure does not contradict its nature. Furthermore, all or part of each procedure in the present embodiment may be realized by software executed by a computer.
  • an endoscope apparatus and a display image generation method that can quantitatively indicate the degree of abnormality such as inflammation of a subject.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Otolaryngology (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

内視鏡装置１は、撮像部２４によって被写体を撮像して取得した被写体像に含まれる色に応じ、被写体の異常度合いを示す指標を算出し、被写体像とは独立して設定された所定の閾値Ｐ２に応じ、前記指標を識別表示した表示画像Ｂを生成する、表示制御部３３を有する。

Description

内視鏡装置及び表示画像生成方法
　本発明は、内視鏡装置及び表示画像生成方法に関する。
　従来、被写体の炎症等の異常を発見できるように、被写体像に画像処理を施して表示する技術がある。例えば、日本国特許第４６３２６４５号明細書では、生体組織を組織表層と組織表層以外の内部層の２層でモデル化した場合において、１ないし複数の画像値、またはこれら画像値に基づく観測値を、内部層の光学特性の変化によって生じる観測値の変化からの影響を最小化する条件で、組織表層の散乱特徴変化を最大化する散乱特徴空間への写像を適用することで生体組織に係る散乱特徴の量を求め、散乱特徴を画像情報として有する生体画像を生成する、イメージング装置が開示される。
　イメージング装置では、上皮内構造異形等など従来は観察が困難であった特徴を視認できるように、散乱特性変化に相関したイメージングが行われる。
　しかし、従来のイメージング装置では、散乱特性変化に相関したイメージングが行われるものの、イメージングによって生成された画像は、被写体の炎症等の異常度合いを定量的に示すものではない。したがって、ユーザは、被写体の異常度合いを定量的に把握することができない。
　そこで、本発明は、被写体の炎症等の異常度合いを定量的に示すことができる内視鏡装置及び表示画像生成方法を提供することを目的とする。
　本発明の一態様の内視鏡装置は、撮像部によって被写体を撮像して取得した被写体像に含まれる色に応じ、前記被写体の異常度合いを示す指標を算出し、前記被写体像とは独立して設定された所定の閾値に応じ、前記指標を識別表示した表示画像を生成する、表示制御部を有する。
　本発明の一態様の表示画像生成方法は、撮像部によって被写体を撮像して被写体像を取得し、演算部によって前記被写体像に含まれる色に応じ、前記被写体の異常度合いを示す指標を算出し、画像処理部によって前記被写体像とは独立して設定された所定の閾値に応じ、前記指標を識別表示した表示画像を生成する。
本発明の実施形態に係わる、内視鏡装置の構成例を示すブロック図である。 本発明の実施形態に係わる、血漿の吸光特性を説明するための図である。 本発明の実施形態に係わる、内視鏡装置の所定の指標算出式を説明するための図である。 本発明の実施形態に係わる、内視鏡装置の所定の指標算出式を説明するための図である。 本発明の実施形態に係わる、内視鏡装置の所定の指標算出式を説明するための図である。 本発明の実施形態に係わる、内視鏡装置の所定の指標算出式を説明するための図である。 本発明の実施形態に係わる、内視鏡装置の内視鏡画像の一例を説明するための図である。 本発明の実施形態に係わる、内視鏡装置の指標に対応する識別表示情報の一例を説明するための図である。 本発明の実施形態に係わる、内視鏡装置の表示画像の一例を説明するための図である。
　以下、図面を参照しながら、本発明の実施形態を説明する。
　（構成）
　図１は、本発明の実施形態に係わる、内視鏡装置１の構成例を示すブロック図である。図２は、本発明の実施形態に係わる、血漿の吸光特性Ｗを説明するための図である。図２では、Ｘ軸が波長を示し、Ｙ軸が吸光係数を示す。また、図２では、通常帯域の赤色光Ｂｒ、通常帯域の緑色光Ｂｇ、通常帯域の青色光Ｂｂ、狭帯域の青色光Ｎｂ、血漿の吸光特性Ｗ及び血漿の吸光係数のピーク波長Ｗｐが示される。
　内視鏡装置１は、光源装置１１と、内視鏡２１と、ビデオプロセッサ３１と、表示部４１と、を有する。光源装置１１は、内視鏡２１及びビデオプロセッサ３１の各々と接続される。内視鏡２１は、ビデオプロセッサ３１と接続される。ビデオプロセッサ３１は、表示部４１と接続される。
　光源装置１１は、内視鏡２１の挿入部２２の先端部に設けられた照明部２３に照明光Ｌを出力する。光源装置１１は、光源制御部１２と、光源１３と、合波器１４を有する。
　光源制御部１２は、光源１３と接続され、表示制御部３３から入力された制御信号に応じ、光源１３の制御を行う回路である。例えば、光源装置１１の駆動を指示する制御信号が入力されると、光源制御部１２は、光源１３に発光を指示し、光源装置１１を駆動させる。また、表示制御部３３によって通常光の発光を指示する制御信号が入力されると、光源制御部１２は、光源１３に通常光の出力を指示する。また、表示制御部３３によって特殊光の発光を指示する制御信号が入力されると、光源制御部１２は、光源１３に特殊光の出力を指示する。
　光源１３は、例えば、ＬＥＤ等の発光素子を有する。光源１３は、赤色光を発光する赤色発光部１３ｒ、緑色光を発光する緑色発光部１３ｇ及び青色光を発光する青色発光部１３ｂを有し、通常帯域の赤色光Ｂｒ、通常帯域の緑色光Ｂｇ及び通常帯域の青色光Ｂｂを合波器１４に出力する（図２）。
　青色発光部１３ｂは、通常帯域の青色光Ｂｂの他にも、光源制御部１２から入力された制御信号に応じ、例えば狭帯域光フィルタによって青色光を狭帯域化し、狭帯域の青色光Ｎｂを出力する。
　図２に示すように、血漿の吸光特性Ｗは、波長４１５ｎｍ付近において低くなり、波長４６５ｎｍ付近においてピークになり、波長５５０ｎｍ付近では０に近くなる。
　したがって、青色光は、好ましくは、中心波長が血漿の吸光係数のピーク波長Ｗｐと同じ波長になるように狭帯域化される。例えば、青色光は、中心波長が波長４６５ｎｍ付近になるように狭帯域化される。青色光は、中心波長が４６０ｎｍ～４７０ｎｍになるように狭帯域化されても構わない。さらに、青色光は、中心波長が４１５ｎｍ～４９５ｎｍになるように狭帯域化されても構わない。
　通常帯域の赤色光Ｂｒ及び通常帯域の緑色光Ｂｇと、狭帯域の青色光Ｎｂとを含む特殊光が照射されると、血漿は、赤色光及び緑色光に対して青色光をより多く吸収し、通常光が照射されたときよりも黄色味が強く表れる。
　合波器１４は、入力された各色の光を合波する装置である。合波器１４は、照明部２３と接続され、光源１３から入力された各色の光を合波して照明部２３に出力する。
　内視鏡２１は、被写体内を撮像できるように構成される。内視鏡２１は、挿入部２２と、照明部２３と、撮像部２４と、操作部Ｘと、を有する。
　挿入部２２は、被写体内に挿入できるように、細長状に形成される。挿入部２２は、図示しない各種管路及び各種信号線が内挿される。また、挿入部２２は図示しない湾曲部を有し、操作部Ｘによる入力指示に応じて湾曲可能である。
　照明部２３は、挿入部２２の先端部に設けられ、光源装置１１から入力された照明光Ｌを被写体に照射する。
　すなわち、内視鏡装置１は、光源装置１１と照明部２３を有し、光源装置１１は、通常帯域の赤色光Ｂｒと、通常帯域の緑色光Ｂｇと、狭帯域の青色光Ｎｂとによって構成される特殊光を発生し、照明部２３は、特殊光を被写体に照射する。
　撮像部２４は、挿入部２２の先端部に設けられ、被写体の戻り光Ｒに撮像して被写体像を取得し、撮像信号をビデオプロセッサ３１に出力する。撮像部２４は、ＣＣＤ等の撮像素子を有する。
　操作部Ｘは、例えば、ボタン、ジョイステック等の指示入力装置を有する。操作部Ｘは、タッチパネル、キーボード及びフットスイッチ等の指示入力装置を有しても構わない。操作部Ｘは、内視鏡２１及びビデオプロセッサ３１に設けられ、内視鏡装置１に対し、各種の指示入力が可能である。例えば、操作部Ｘは、湾曲部の湾曲指示及び光源装置１１の駆動指示の他、被写体を照明する照明光Ｌの種類と、被写体の観察部位の種類と、を指示入力可能である。
　ビデオプロセッサ３１は、内視鏡２１の制御を行い、内視鏡２１から入力された撮像信号に基づいて、内視鏡画像Ａを生成し、内視鏡画像Ａに基づいて、表示画像Ｂを生成する。ビデオプロセッサ３１は、操作部Ｘの他、画像処理部３２と表示制御部３３を有する。
　画像処理部３２は、撮像部２４から入力した撮像信号に基づいて、画像処理を行い、内視鏡画像Ａを生成する回路である。画像処理部３２は、撮像信号に基づいて、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Ａを生成し、内視鏡画像Ａを表示制御部３３に出力する。
　表示制御部３３は、内視鏡装置１内の各部の制御を行う回路である。表示制御部３３は、例えば、ＦＰＧＡによって構成される。表示制御部３３は、表示部４１と接続され、内視鏡画像Ａに基づいて表示画像Ｂを生成し、表示画像Ｂを表示部４１に出力する。内視鏡画像Ａは、動画像又は静止画像のいずれであっても構わない。
　また、表示制御部３３は、光源装置１１に制御信号を出力し、指示入力に応じた照明光Ｌを被写体に照射するように指示する。より具体的には、操作部Ｘを介してユーザから通常光の指示入力があったときには、通常光の出力を光源制御部１２に指示する。また、操作部Ｘを介してユーザから特殊光の指示入力があったときには、特殊光の出力を光源制御部１２に指示する。
　表示制御部３３は、内視鏡画像Ａの明るさに応じ、照明部２３の発光量を調整しても構わない。
　表示制御部３３は、記憶部３３ａ、演算部３３ｂ及び画像生成部３３ｃを有する。
　記憶部３３ａは、書換え可能なＲＯＭ等の記憶装置によって構成され、所定の指標算出式Ｐ１、所定の閾値Ｐ２及び識別表示情報Ｐ３を記憶する。
　所定の指標算出式Ｐ１は、予め被写体像とは独立して設定され、記憶部３３ａに記憶される。所定の指標算出式Ｐ１は、観察モードの種類及び観察部位の種類に応じて複数設定され、記憶部３３ａに記憶されても構わない。所定の指標算出式Ｐ１は、例えば、指標を算出する演算式の情報である。
　所定の閾値Ｐ２は、所定の指標算出式Ｐ１によって算出された指標を段階的に区分するように設定され、記憶部３３ａに記憶される。所定の閾値Ｐ２は、観察モードの種類及び観察部位の種類に応じて複数設定され、記憶部３３ａに記憶されても構わない。
　識別表示情報Ｐ３は、指標を識別表示するための、所定の閾値Ｐ２によって区分された範囲に対応付けられた、例えば、色、明度又は模様等の情報が設定され、記憶部３３ａに記憶される。
　演算部３３ｂは、内視鏡画像Ａに基づいて、指標を算出する。演算部３３ｂは、操作部Ｘを介して入力された照明光Ｌの種類及び観察部位の種類に応じて記憶部３３ａから所定の指標算出式Ｐ１を読み出し、読み出された所定の指標算出式Ｐ１によって指標を算出し、指標を画像生成部３３ｃに出力する。
　画像生成部３３ｃは、表示画像Ｂを生成する回路である。画像生成部３３ｃは、所定の指標算出式Ｐ１に対応付けられた所定の閾値Ｐ２と、所定の閾値Ｐ２に対応付けられた識別表示情報Ｐ３と、を記憶部３３ａから読み出し、演算部３３ｂから入力された指標に基づいて、指標に対応した識別表示情報Ｐ３を決定し、識別表示情報Ｐ３に基づいて、指標を識別表示した表示画像Ｂを生成して表示部４１に出力する。
　すなわち、表示制御部３３は、撮像部２４によって被写体を撮像して取得した被写体像に含まれる色に応じ、被写体の異常度合いを示す指標を算出し、被写体像とは独立して設定された所定の閾値Ｐ２に応じ、指標を識別表示した表示画像Ｂを生成する。
　表示部４１は、例えば、カラー画像の表示をすることができるモニタによって構成され、画像生成部３３ｃから入力された表示画像Ｂを表示する。
　（指標及び所定の指標算出式Ｐ１について）
　続いて、指標及び所定の指標算出式Ｐ１について、説明をする。
　図３から図６は、本発明の実施形態に係わる、内視鏡装置１の所定の指標算出式Ｐ１を説明するための図である。
　指標及び所定の指標算出式Ｐ１は、被写体の異常度合いを示すことができるように、設定される。
　図３では、鼻副鼻腔を撮像して取得された内視鏡画像Ａに含まれる、赤色画素の輝度値である赤色画素値Ｖｒ、緑色画素の輝度値である緑色画素値Ｖｇ及び青色画素の輝度値である青色画素値Ｖｂの各々が、赤色画素値Ｖｒによって規格化されている。図３では、Ｘ軸のＶｂ／Ｖｒ、Ｖｇ／Ｖｒ、Ｖｒ／Ｖｒの各々が指標算出式を示し、Ｙ軸が指標を示し、実線が正常粘膜Ｎを示し、１点鎖線が浮腫Ｍを示し、２点鎖線がポリープＳを示す。以下、浮腫Ｍ及びポリープＳの両方、又は、いずれか一方を示すとき、異常粘膜という。
　体内の粘膜、特に鼻副鼻腔の粘膜では、正常粘膜Ｎ、浮腫Ｍ、ポリープＳの順に、症状が重くなる。正常粘膜Ｎと異常粘膜の間では、色に違いがあり、症状が重くなるに従い、粘膜上皮が厚くなり、外観上の白味も強くなる。
　図３に示すように、正常粘膜ＮとポリープＳの戻り光Ｒの色の差は、赤色画素値Ｖｒによって規格化された長波長側のＶｇ／Ｖｒにおける指標の差Ｃｄ１よりも、短波長側のＶｂ／Ｖｒの指標の差Ｃｄ２が大きい。
　すなわち、体内の粘膜では、長波長側よりも短波長側において、正常粘膜Ｎと異常粘膜の色の違いが大きく表れる特性を有する。また、体内の粘膜では、粘膜上皮が厚くなるに従い、戻り光Ｒの光量は、増加する特性を有する。
　図４は、正常粘膜Ｎ、浮腫Ｍ及びポリープＳ間において、指標算出式による指標の算出結果の違いを表している。図４では、Ｘ軸のＶｇ／Ｖｂ、Ｖｒ／Ｖｂ、Ｖｒ／Ｖｇ、（Ｖｒ＋Ｖｇ）／Ｖｂの各々が指標算出式を示し、Ｙ軸が指標を示す。
　図５は、図４の浮腫ＭとポリープＳを、正常粘膜Ｎによって規格化した、浮腫ＭとポリープＳの指標の差を表している。図５では、Ｘ軸が指標算出式示し、Ｙ軸が指標を示す。
　図４及び図５に示すように、正常粘膜ＮとポリープＳでは、指標算出式（Ｖｒ＋Ｖｇ）／Ｖｂによって算出された指標の差Ｃｄ３が他の指標算出式によって算出された指標の差よりも大きい。
　すなわち、鼻副鼻腔の粘膜では、指標算出式（Ｖｒ＋Ｖｇ）／Ｖｂによって算出された指標が、正常粘膜Ｎと異常粘膜の色の差を大きく表している。
　図６は、粘膜の切断面を模式的に表している。図６では、正常粘膜Ｎ、浮腫Ｍ、ポリープＳ、血管Ｂｖ及び照明光Ｌが示される。照明光Ｌは、ここでは説明のため、青色光等の短波長の光であり、赤色光及び緑色光等の長波長の光は省略される。
　図６の光進達領域Ｌ１に示すように、正常粘膜Ｎでは、照明光Ｌの進達度が高く、長波長側よりも短波長側に、高い吸光係数を有する粘膜内色素により、戻り光Ｒは、淡黄色に見えると考えられる。
　図６の光進達領域Ｌ２に示すように、浮腫Ｍでは、照明光Ｌの進達度が低下すると考えられる。より具体的には、浮腫Ｍでは、照明光Ｌが、肥厚した上皮によって長波長側よりも短波長側においてより多く散乱し、粘膜内色素に吸収されずに撮像部２４に戻る。したがって、戻り光Ｒは、正常粘膜Ｎよりも白味が強く見える。
　６の光進達領域Ｌ３に示すように、ポリープＳでは、浮腫Ｍよりも光の進達度がさらに低下し、浮腫Ｍよりもさらに白味が強く見えると考えられる。
　粘膜内色素は、血漿であると考えられる。
　すなわち、指標は、被写体像に含まれる色に応じ、照明光Ｌの種類及び観察部位の種類に応じた所定の指標算出式Ｐ１によって算出される。
　所定の指標算出式Ｐ１は、赤色画素値Ｖｒと緑色画素値Ｖｇの和を青色画素値Ｖｂによって規格化した、指標算出式（Ｖｒ＋Ｖｇ）／Ｖｂを含む。指標算出式（Ｖｒ＋Ｖｇ）／Ｖｂは、鼻副鼻腔の粘膜において、使用されることが望ましい。また、指標算出式（Ｖｒ＋Ｖｇ）／Ｖｂは、通常光又は特殊光のいずれの照明光Ｌによって使用されても構わないが、特殊光によって使用されることが望ましい。
　また、所定の指標算出式Ｐ１は、赤色画素値Ｖｒを緑色画素値Ｖｇによって規格化した、指標算出式Ｖｒ／Ｖｇを含む。指標算出式Ｖｒ／Ｖｇは、消化管の粘膜において、使用されることが望ましい。
　また、所定の指標算出式Ｐ１は、赤色画素値Ｖｒを青色画素値Ｖｂによって規格化した、指標算出式Ｖｒ／Ｖｂを含む。
　また、所定の指標算出式Ｐ１は、緑色画素値Ｖｇを青色画素値Ｖｂによって規格化した、指標算出式Ｖｇ／Ｖｂを含む。
　なお、所定の指標算出式Ｐ１は、指標算出式（Ｖｒ＋Ｖｇ）／Ｖｂ、指標算出式Ｖｒ／Ｖｇ、指標算出式Ｖｒ／Ｖｂ及び指標算出式Ｖｇ／Ｖｂの各々の分母と分子を逆にした式のいずれかを含んでも構わない。すなわち、所定の指標算出式Ｐ１は、青色画素値Ｖｂの赤色画素値Ｖｒと緑色画素値Ｖｇの和による規格化した式、緑色画素値Ｖｇの赤色画素値Ｖｒによる規格化した式、又は、赤色画素値Ｖｒ若しくは緑色画素値Ｖｇの青色画素値Ｖｂによる規格化した式のいずれかを含んでも構わない。
　（動作）
　実施形態の内視鏡装置１の動作について、説明をする。
　図７は、本発明の実施形態に係わる、内視鏡装置１の内視鏡画像Ａの一例を説明するための図である。図８は、本発明の実施形態に係わる、内視鏡装置１の指標に対応する識別表示情報Ｐ３の一例を説明するための図である。図９は、本発明の実施形態に係わる、内視鏡装置１の表示画像Ｂの一例を説明するための図である。
　ユーザは、操作部Ｘを介し、例えば、観察部位及び照明光Ｌの種類を指示入力する。例えば、ユーザは、観察部位の種類が鼻副鼻腔の粘膜であり、照明光Ｌの種類が特殊光であることを指示入力する。
　演算部３３ｂは、指示入力に応じ、所定の指標算出式Ｐ１を記憶部３３ａから読み込む。
　画像生成部３３ｃは、所定の指標算出式Ｐ１に対応付けられた所定の閾値Ｐ２と、所定の閾値Ｐ２に対応付けられた識別表示情報Ｐ３と、を記憶部３３ａから読み込む。
　ユーザが挿入部２２を被写体に挿入し、操作部Ｘを介して被写体に照明光Ｌを照射するための指示入力をすると、表示制御部３３は、光源制御部１２に特殊光を出力するための制御信号を出力する。光源制御部１２は、赤色発光部１３ｒ及び緑色発光部１３ｇに、通常帯域の赤色光Ｂｒ及び通常帯域の緑色光Ｂｇを出力させ、また、青色発光部１３ｂに狭帯域の青色光Ｎｂを出力させる。合波器１４は、赤色光、緑色光及び青色光を合波し、照明部２３に照明光Ｌを導光する。照明部２３は、合波器１４から導光された照明光Ｌを被写体に照射する。
　撮像部２４は、被写体の戻り光Ｒを撮像信号に変換し、画像処理部３２に出力する。画像処理部３２は、撮像信号に基づいて、内視鏡画像Ａを生成し、演算部３３ｂに出力する。
　図７は、内視鏡画像Ａの例である。図７の例では、領域Ａ１が白色であり、領域Ａ２が薄赤色であり、領域Ａ３が濃赤色であり、領域Ａ４が略黒色である。図７では、領域Ａ１～Ａ４に簡略化されているが、実際の内視鏡画像Ａには、複雑な色及び模様が表れる。
　演算部３３ｂは、内視鏡画像Ａに基づいて、記憶部３３ａから読み出された所定の指標算出式Ｐ１によって指標を算出する。ここでは、所定の指標算出式Ｐ１として、（Ｖｒ＋Ｖｇ）／Ｖｂが用いられる。演算部３３ｂは、内視鏡画像ＡをＲＧＢ成分に分解し、内視鏡画像Ａ上の各算出対象画素について（Ｖｒ＋Ｖｇ）／Ｖｂの演算を行い、指標を算出する。算出された指標は、画像生成部３３ｃに出力される。
　画像生成部３３ｃは、３３ｂから入力された指標と所定の閾値Ｐ２に基づいて、識別表示情報Ｐ３を決定する。
　図８の例では、指標が０～６９の範囲に設定され、所定の閾値Ｐ２が１０、２０、３０、４０、５０、６０に設定される。識別表示情報Ｐ３には、指標０～９が白色、指標１０～１９が赤色、指標２０～２９が橙色、指標３０～３９が黄色、指標４０～４９が緑色、指標５０～５９が青色、指標６０～６９が黒色に設定される。
　なお、図８の例では、識別表示情報Ｐ３には、色相の異なる複数の色が設定されるが、鮮やかさの異なる複数の彩度、明るさの異なる複数の明度、間隔の異なる複数のハッチング、又は、パターンの異なる複数の模様等が設定されても構わない。
　例えば、指標の値が１５であるとき、画像生成部３３ｃは、識別表示情報Ｐ３を赤色に決定する。
　画像生成部３３ｃは、決定した識別表示情報Ｐ３を算出対象画素の位置に対応する表示画像Ｂ上の位置に配置し、表示画像Ｂを生成し、表示部４１に出力する。表示部４１は、画像生成部３３ｃから入力された表示画像Ｂを表示部４１に表示する。
　画像生成部３３ｃによって生成された表示画像Ｂは、指標によって決定された識別表示情報Ｐ３が示す色に応じて色分けされている。図９の例では、領域Ｂ１が青色であり、領域Ｂ２が緑色であり、領域Ｂ３が黄色であり、領域Ｂ４が橙色であり、領域Ｂ５が赤色であり、領域Ｂ６が橙色であり、領域Ｂ７が赤色であり、領域Ｂ８が白色であり、領域Ｂ９が赤色である。
　すなわち、表示画像生成方法は、撮像部２４によって被写体を撮像して被写体像を取得し、演算部３３ｂによって被写体像に含まれる色に応じ、被写体の異常度合いを示す指標を算出し、画像処理部３２によって被写体像とは独立して設定された所定の閾値Ｐ２に応じ、指標を識別表示した表示画像Ｂを生成する。
　図８には、指標０～６９のうち、指標０～４９が正常粘膜Ｎ、指標５０～６９が異常粘膜であることが、診断指標として、予め定められた例が示される。ユーザは、この例に従い、領域Ｂ１が異常粘膜であり、領域Ｂ２～Ｂ９が正常粘膜Ｎであると定量的に把握することができる。
　すなわち、被写体は、観察対象の臓器であり、指標は、臓器の色に応じて臓器の異常度合いを示し、被写体像から独立して設定され、照明光Ｌの種類及び臓器の種類に応じて設定され、臓器の正常領域である正常粘膜Ｎと異常領域である異常粘膜間で差が出るように設定され、表示画像Ｂは、正常領域と異常領域の色の差が、被写体像における色の差より大きくなるように生成される。
　これにより、ユーザは、表示部４１に表示された表示画像Ｂにより、被写体の定量的な異常度合いを把握可能である。
　上述の実施形態によれば、内視鏡装置１は、被写体の炎症等の異常度合いを定量的に示すことができる。
　（実施形態の変形例）
　上述の実施形態では、画像生成部３３ｃは、識別表示情報Ｐ３を算出対象画素の位置に対応する表示画像Ｂ上の位置に配置して表示画像Ｂを生成したが、指標に応じて内視鏡画像Ａを補正した表示画像Ｂを生成しても構わない。本変形例の説明では、実施形態の説明と同じ構成については説明を省略する。
　記憶部３３ａは、所定の閾値Ｐ２ａを記憶する（図１の２点鎖線）。所定の閾値Ｐ２ａは、正常粘膜Ｎと異常粘膜を区分する閾値として、予め被写体像とは独立して設定され、記憶部３３ａに記憶される。
　画像生成部３３ｃは、演算部３３ｂから入力された指標及び内視鏡画像Ａと、記憶部３３ａから読み出された所定の閾値Ｐ２ａと、に基づいて、表示画像Ｂを生成する。
　より具体的には、画像生成部３３ｃは、記憶部３３ａから所定の閾値Ｐ２ａを読み込む。
　演算部３３ｂから入力された指標が所定の閾値Ｐ２ａ以上であるとき、画像生成部３３ｃは、指標に対応する画素の色を強調する。画素の色の強調は、画素値に、所定の係数ｋを乗算することによって行われても構わないし、所定値を加算することによって行われても構わない。また、画素の明度を高めることによって行われても構わないし、画素の彩度を高めることによって行われても構わない。
　指標が所定の閾値Ｐ２ａ未満であるとき、画像生成部３３ｃは、指標に対応する画素を非強調にするように構成しても構わない。
　これにより、内視鏡装置１では、被写体の異常度合いを示す指標によって内視鏡画像Ａの異常粘膜が強調され、被写体の異常度合いが定量的に示される。
　なお、実施形態及び変形例では、内視鏡画像Ａ内の算出対象画素に対して指標を算出して識別表示をしているが、これに加えて、内視鏡画像Ａ全体の画素値の平均値に基づいた全体指標も算出され、識別表示されるようにしてもよい。具体的には、内視鏡画像Ａ全体の画素値の平均値を算出してその平均値から全体指標を算出してもよいし、算出対象画素の指標を算出してその指標の平均値をとることで全体指標を算出してもよい。内視鏡画像Ａ全体用に設定された所定の閾値Ｐ２ａに応じ、算出した全体指標を表示画像Ｂに隣接する所定位置に識別表示しても構わない。これにより、内視鏡装置１は、内視鏡画像Ａ内の全体的な炎症度合いを定量的に示すことができる。ここで、全体指標の識別表示は、各算出対象画素で算出される指標の識別表示と同様に、色相の異なる複数の色や間隔の異なる複数のハッチング等で表示されてもよいし、全体指標と所定の閾値Ｐ２ａの関係を表す数値そのもの、または全体指標を表す数値そのもので表示されてもよい。
　なお、実施形態では、被写体の炎症等の異常度合いが７段階に区分して示されるが、７段階に限定されない。例えば、２～６段階に区分して示されても構わないし、８段階以上に区分して示されても構わない。
　なお、実施形態及び変形例では、特殊光の観察モードの例を説明したが、通常光の観察モードによって被写体の観察が行われても構わない。
　なお、実施形態及び変形例では、観察部位が鼻副鼻腔の例を説明したが、鼻副鼻腔に限定されない。例えば、観察部位は、消化管等の他の臓器であっても構わない。
　なお、実施形態及び変形例で説明した所定の指標算出式Ｐ１は、例示であり、これに限定されず、他の指標算出式を含んでも構わない。
　なお、実施形態及び変形例では、表示制御部３３の機能は、ＦＰＧＡによって実現されるが、表示制御部３３の全て又は一部の機能は、図示しないＣＰＵ及びＣＰＵに実行されるプログラムによって実現されても構わない。
　本明細書における各「部」は、必ずしも特定のハードウェアやソフトウェア・ルーチンに１対１には対応しない。また、本実施形態における各手順は、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の全てあるいは一部をコンピュータが実行するソフトウェアによって実現しても構わない。
　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
　本発明によれば、被写体の炎症等の異常度合いを定量的に示すことができる内視鏡装置及び表示画像生成方法を提供することができる。
　本出願は、２０１７年６月１３日に日本国に出願された特願２０１７－１１６２３４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (19)

  1. 　撮像部によって被写体を撮像して取得した被写体像に含まれる色に応じ、前記被写体の異常度合いを示す指標を算出し、前記被写体像とは独立して設定された所定の閾値に応じ、前記指標を識別表示した表示画像を生成する、表示制御部を有する、ことを特徴とする内視鏡装置。
  2. 　前記被写体は、臓器であり、
    　前記指標は、前記臓器の色に応じて前記臓器の異常度合いを示し、前記被写体像から独立して設定され、照明光の種類及び前記臓器の種類に応じて設定され、前記臓器の正常領域と異常領域間で差が出るように設定され、
    　前記表示画像は、前記正常領域と前記異常領域の色の差が、前記被写体像における色の差より大きくなるように生成される、
    　ことを特徴とする請求項１に記載の内視鏡装置。
  3. 　前記指標は、前記被写体像の色、照明光の種類及び観察部位の種類に応じた所定の指標算出式によって算出される、ことを特徴とする請求項１に記載の内視鏡装置。
  4. 　前記指標は、赤色画素値を緑色画素値によって規格化して算出される、ことを特徴とする請求項１に記載の内視鏡装置。
  5. 　前記指標は、赤色画素値又は緑色画素値を青色画素値によって規格化して算出される、ことを特徴とする請求項１に記載の内視鏡装置。
  6. 　前記指標は、赤色画素値と緑色画素値の和を青色画素値によって規格化して算出される、ことを特徴とする請求項１に記載の内視鏡装置。
  7. 　前記指標は、青色画素値の赤色画素値と緑色画素値の和による規格化、前記緑色画素値の前記赤色画素値による規格化、又は、前記赤色画素値若しくは前記緑色画素値の前記青色画素値による規格化のいずれかによって算出される、ことを特徴とする請求項１に記載の内視鏡装置。
  8. 　前記所定の閾値は、前記指標を段階的に区分するように設定される、ことを特徴とする請求項１に記載の内視鏡装置。
  9. 　前記指標は、観察モードの種類及び観察部位の種類に応じて複数設定されている、ことを特徴とする請求項１に記載の内視鏡装置。
  10. 　前記所定の閾値は、観察モードの種類及び観察部位の種類に応じて複数設定されている、ことを特徴とする請求項１に記載の内視鏡装置。
  11. 　操作部を有し、
    　前記操作部は、前記被写体を照明する照明光の種類と、前記被写体の観察部位の種類と、を指示入力可能である、
    　ことを特徴とする請求項１に記載の内視鏡装置。
  12. 　光源装置と照明部を有し、
    　前記光源装置は、通常帯域の赤色光と、通常帯域の緑色光と、狭帯域の青色光とによって構成される特殊光を発生し、
    　前記照明部は、前記特殊光を前記被写体に照射する、
    　ことを特徴とする請求項１に記載の内視鏡装置。
  13. 　前記青色光は、中心波長が血漿の吸光係数のピーク波長と同じ波長になるように狭帯域化される、ことを特徴とする請求項１２に記載の内視鏡装置。
  14. 　前記青色光は、中心波長が４１５ｎｍ～４９５ｎｍになるように狭帯域化される、ことを特徴とする請求項１２に記載の内視鏡装置。
  15. 　前記青色光は、中心波長が４６０～４７０ｎｍになるように狭帯域化される、ことを特徴とする請求項１２に記載の内視鏡装置。
  16. 　前記観察部位は、鼻副鼻腔の粘膜である、ことを特徴とする請求項１１に記載の内視鏡装置。
  17. 　前記表示制御部は、記憶部、演算部及び画像生成部を有し、
    　前記記憶部は、所定の指標算出式、前記所定の閾値及び識別表示情報を記憶し、
    　前記演算部は、前記所定の指標算出式を前記記憶部から読み出し、読み出された前記所定の指標算出式によって前記指標を算出し、
    　前記画像生成部は、前記所定の指標算出式に対応付けられた前記所定の閾値と、前記所定の閾値に対応付けられた前記識別表示情報と、を前記記憶部から読み出し、前記指標に基づいて、前記指標に対応した前記識別表示情報を決定し、前記識別表示情報に基づいて、前記指標を識別表示した前記表示画像を生成する、
    　ことを特徴とする請求項１に記載の内視鏡装置。
  18. 　前記指標は、内視鏡画像全体の画素値の平均値に基づいたものであることを特徴とする請求項１に記載の内視鏡装置。
  19. 　撮像部によって被写体を撮像して被写体像を取得し、
    　演算部によって前記被写体像に含まれる色に応じ、前記被写体の異常度合いを示す指標を算出し、
    　画像処理部によって前記被写体像とは独立して設定された所定の閾値に応じ、前記指標を識別表示した表示画像を生成する、
    　表示画像生成方法。
PCT/JP2018/015542 2017-06-13 2018-04-13 内視鏡装置及び表示画像生成方法 WO2018230130A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019513088A JP6543013B2 (ja) 2017-06-13 2018-04-13 内視鏡装置
CN201880038951.4A CN110740678B (zh) 2017-06-13 2018-04-13 内窥镜***及被摄体的评价方法
US16/709,193 US11457796B2 (en) 2017-06-13 2019-12-10 Endoscope system and object evaluation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-116234 2017-06-13
JP2017116234 2017-06-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/709,193 Continuation US11457796B2 (en) 2017-06-13 2019-12-10 Endoscope system and object evaluation method

Publications (1)

Publication Number Publication Date
WO2018230130A1 true WO2018230130A1 (ja) 2018-12-20

Family

ID=64659835

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015542 WO2018230130A1 (ja) 2017-06-13 2018-04-13 内視鏡装置及び表示画像生成方法

Country Status (4)

Country Link
US (1) US11457796B2 (ja)
JP (1) JP6543013B2 (ja)
CN (1) CN110740678B (ja)
WO (1) WO2018230130A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218029A1 (ja) * 2019-04-26 2020-10-29 Hoya株式会社 電子内視鏡システム及びデータ処理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014050594A (ja) * 2012-09-07 2014-03-20 Fujifilm Corp 内視鏡システム及び内視鏡画像の取得方法
JP2014094088A (ja) * 2012-11-08 2014-05-22 Fujifilm Corp 内視鏡システム
WO2017051779A1 (ja) * 2015-09-24 2017-03-30 Hoya株式会社 分析装置
WO2017078085A1 (ja) * 2015-11-02 2017-05-11 Hoya株式会社 内視鏡システム及び分析装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS53131597A (en) 1977-04-21 1978-11-16 Daijietsuto Kougiyou Kk Method of and device for grinding end of eded tool of grinding tool
CA2236268A1 (en) * 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
JP2000102506A (ja) * 1998-09-28 2000-04-11 Toshiba Corp 内視鏡装置
JP4632645B2 (ja) 2002-12-12 2011-02-16 オリンパス株式会社 イメージング装置およびプロセッサ装置
WO2005050563A2 (en) * 2003-11-17 2005-06-02 Aureon Biosciences Corporation Pathological tissue mapping
JP4611674B2 (ja) * 2004-06-29 2011-01-12 Ｈｏｙａ株式会社 電子内視鏡システム
US8913807B1 (en) * 2010-12-30 2014-12-16 Given Imaging Ltd. System and method for detecting anomalies in a tissue imaged in-vivo
JP5872916B2 (ja) * 2012-01-25 2016-03-01 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP6381875B2 (ja) * 2012-08-16 2018-08-29 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置及び血圧モニタ
JP5670399B2 (ja) * 2012-09-26 2015-02-18 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP6371544B2 (ja) 2014-03-14 2018-08-08 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015169436A1 (en) * 2014-05-05 2015-11-12 Helen Of Troy Limited Otoscope and otoscopic method based on spectral analysis
JP6405138B2 (ja) * 2014-07-15 2018-10-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014050594A (ja) * 2012-09-07 2014-03-20 Fujifilm Corp 内視鏡システム及び内視鏡画像の取得方法
JP2014094088A (ja) * 2012-11-08 2014-05-22 Fujifilm Corp 内視鏡システム
WO2017051779A1 (ja) * 2015-09-24 2017-03-30 Hoya株式会社 分析装置
WO2017078085A1 (ja) * 2015-11-02 2017-05-11 Hoya株式会社 内視鏡システム及び分析装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020218029A1 (ja) * 2019-04-26 2020-10-29 Hoya株式会社 電子内視鏡システム及びデータ処理装置
JPWO2020218029A1 (ja) * 2019-04-26 2021-06-10 Hoya株式会社 電子内視鏡システム及びデータ処理装置
US11950762B2 (en) 2019-04-26 2024-04-09 Hoya Corporation Electronic endoscope system and data processing device

Also Published As

Publication number Publication date
US11457796B2 (en) 2022-10-04
CN110740678A (zh) 2020-01-31
CN110740678B (zh) 2023-01-13
JP6543013B2 (ja) 2019-07-10
US20200107699A1 (en) 2020-04-09
JPWO2018230130A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6749473B2 (ja) 内視鏡システム及びその作動方法
WO2018230130A1 (ja) 内視鏡装置及び表示画像生成方法
WO2018159363A1 (ja) 内視鏡システム及びその作動方法
JP7411772B2 (ja) 内視鏡システム
WO2017154292A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2021145265A1 (ja) 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
JP7387859B2 (ja) 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム
WO2017077772A1 (ja) プロセッサ装置、内視鏡システム、及び画像処理方法
JP6203088B2 (ja) 生体観察システム
JP6839773B2 (ja) 内視鏡システム、内視鏡システムの作動方法及びプロセッサ
JP2020065685A (ja) 内視鏡システム
WO2018159082A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6210923B2 (ja) 生体観察システム
US20230237659A1 (en) Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium
WO2021199910A1 (ja) 医用画像処理システム、医用画像処理システムの作動方法
JP7105300B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
US20220192470A1 (en) Endoscope system
JP6850358B2 (ja) 医療画像処理システム、内視鏡システム、診断支援装置、及び医療業務支援装置
WO2019171703A1 (ja) 内視鏡システム
WO2023281607A1 (ja) 内視鏡プロセッサ、内視鏡装置、および診断用画像生成方法
US20230074314A1 (en) Image processing device, image processing method, and program
WO2020121868A1 (ja) 内視鏡システム
WO2019202982A1 (ja) 内視鏡装置、内視鏡操作方法、及びプログラム
WO2019244406A1 (ja) 内視鏡システム及び内視鏡システムの作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18817197

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019513088

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18817197

Country of ref document: EP

Kind code of ref document: A1