WO2018198251A1 - 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム - Google Patents

画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム Download PDF

Info

Publication number
WO2018198251A1
WO2018198251A1 PCT/JP2017/016628 JP2017016628W WO2018198251A1 WO 2018198251 A1 WO2018198251 A1 WO 2018198251A1 JP 2017016628 W JP2017016628 W JP 2017016628W WO 2018198251 A1 WO2018198251 A1 WO 2018198251A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
overlap
absorption information
images
Prior art date
Application number
PCT/JP2017/016628
Other languages
English (en)
French (fr)
Inventor
順平 高橋
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/016628 priority Critical patent/WO2018198251A1/ja
Publication of WO2018198251A1 publication Critical patent/WO2018198251A1/ja
Priority to US16/662,179 priority patent/US11341666B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Definitions

  • the present invention relates to, for example, an image processing apparatus that performs image processing on an image captured by an endoscope, an operation method of the image processing apparatus, and an operation program of the image processing apparatus.
  • a medical endoscope apparatus inserts into a subject such as a patient a flexible insertion portion having an elongated shape with an imaging element having a plurality of pixels provided at the tip, thereby providing a subject. Since an in-vivo image in a subject can be acquired without incising the sample, the burden on the subject is small, and the spread is progressing.
  • a blood vessel of a specific depth is observed from the mucosal surface according to the purpose of diagnosis.
  • many cancers of the digestive tract grow from the surface layer to the deep layer of the mucosa.
  • a deep blood vessel (artery) image of the mucosa is observed in order to suppress bleeding at the time of excision.
  • Patent Document 1 in an endoscopic image using three bands of red (R), green (G), and blue (B), a blood vessel having a specific depth is extracted based on the correlation between wavelengths of each color.
  • R red
  • G green
  • B blue
  • a blood vessel having a specific depth is extracted based on the correlation between wavelengths of each color.
  • blue light having a short wavelength is reflected by the surface layer of the mucosa
  • green light having a longer wavelength than blue light is reflected deeper than blue light
  • blood vessels in the middle layer of the mucous membrane are depicted in the image based on the green light. Based on such light reflection characteristics, a blood vessel having a specific depth can be drawn by using the correlation between the images of the respective colors.
  • the present invention has been made in view of the above, and an image processing apparatus capable of rendering a blood vessel having a specific depth even when blood vessels having different depths exist at the same position in the image.
  • An object is to provide an operation method of an image processing apparatus and an operation program of the image processing apparatus.
  • an image processing apparatus uses a plurality of images having different wavelength bands of illumination light and having the same angle of view to absorb light from a light absorber.
  • the image processing apparatus for extracting information, based on an image acquisition unit that acquires the plurality of images, a first image among the plurality of images, and a second image different from the first image, It is determined whether or not the first absorber shown in the first image and the second absorber shown in the second image are overlapped along the depth direction in the living body of the image.
  • An absorption information extraction unit that extracts the absorption information generated by the absorption of the first absorber using the overlap determination unit, the first and second images, and the determination result of the overlap determination unit; It is characterized by providing.
  • an operation method of an image processing apparatus uses a plurality of images having different wavelength bands of illumination light and having the same angle of view to each other.
  • the image acquisition unit acquires the plurality of images
  • the overlap determination unit includes the first image of the plurality of images, and Based on the second image different from the first image, the first absorber shown in the first image and the second image shown in the second image along the depth direction in the living body of the image.
  • an operation program for an image processing apparatus uses a plurality of images having mutually different wavelength bands of illumination light and the same angle of view to absorb light.
  • the image acquisition unit acquires the plurality of images
  • the overlap determination unit includes the first image of the plurality of images, and Based on the second image different from the first image, the first absorber shown in the first image and the second image shown in the second image along the depth direction in the living body of the image.
  • the overlap determination step for determining whether or not the two light absorbers overlap each other, and the light absorption information extraction unit, using the first and second images and the determination result of the overlap determination step, For absorption of the first absorber Characterized in that to execute the absorbance information extracting step of extracting the absorbance information generated I, to the computer.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating image processing performed by the image processing apparatus according to the embodiment of the present invention.
  • FIG. 3A is a diagram illustrating an image acquired in image processing performed by the image processing apparatus according to the embodiment of the present invention.
  • FIG. 3B is a diagram illustrating an image acquired in the image processing performed by the image processing apparatus according to the embodiment of the present invention.
  • FIG. 3C is a diagram illustrating an image acquired in the image processing performed by the image processing apparatus according to the embodiment of the present invention.
  • FIG. 4 is a flowchart showing an overlap determination process of absorber information in one embodiment of the present invention.
  • FIG. 5 is a flowchart showing the light absorption information extraction process according to the embodiment of the present invention.
  • FIG. 6 is a flowchart showing extraction processing of light absorption information on the surface layer in the embodiment of the present invention.
  • FIG. 7 is a diagram for explaining the process of extracting the absorption information of the surface layer in the embodiment of the present invention.
  • FIG. 8 is a flowchart showing extraction processing of light absorption information in the deep layer according to the embodiment of the present invention.
  • FIG. 9 is a diagram for explaining the extraction process of the absorption information of the deep layer in the embodiment of the present invention.
  • FIG. 10 is a flowchart showing an extraction process of light absorption information according to a modification of the embodiment of the present invention.
  • FIG. 11 is a diagram for explaining another example of the extraction process of the absorption information of the deep layer in the embodiment of the present invention.
  • FIG. 12 is a diagram for explaining another example of the process of extracting deep absorption information according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of an image processing apparatus according to an embodiment of the present invention.
  • the image processing apparatus 1 according to the present embodiment extracts an absorption change that does not easily appear in a white image based on a plurality of images acquired by an endoscope, and the extracted absorption change is converted into one or more images.
  • This is an apparatus that combines and creates an image for display.
  • a change in absorption due to absorption of a blood vessel as a light absorber is extracted as light absorption information.
  • an endoscope including a plurality of images having different central wavelengths acquired by imaging a living body, for example, a lumen of a living body, with a general endoscope called a videoscope or a capsule endoscope.
  • a scope image is a processing target.
  • an image with a center wavelength of 415 nm is a ⁇ 415 image
  • an image with a center wavelength of 460 nm is a ⁇ 460 image
  • an image with a center wavelength of 540 nm is a ⁇ 540 image
  • an image with a center wavelength of 600 nm is a ⁇ 600 image, a center wavelength but the image of 630nm and ⁇ 630 image.
  • the ⁇ 460 image, the ⁇ 540 image, and the ⁇ 630 image are images for creating a white image corresponding to the RGB wavelength band.
  • the ⁇ 415 image and the ⁇ 600 image are images for synthesis.
  • the ⁇ 415 image, the ⁇ 460 image, the ⁇ 540 image, the ⁇ 600 image, and the ⁇ 630 image are images having the same angle of view.
  • light in the vicinity of 415 nm is easily absorbed by hemoglobin and is easily scattered by the mucous membrane in the lumen.
  • light in the vicinity of 630 nm is difficult to be absorbed by hemoglobin and is not easily scattered by the mucous membrane.
  • a change in signal value corresponding to a regional change in light absorption caused by microvessels in the mucosal surface layer or an artery in the deep mucosa is extracted from the image as light absorption information. be able to.
  • These images are acquired by an endoscope, for example, by sequentially emitting LEDs (Light Emitting Diodes) that emit light in a wavelength band centered on each central wavelength and illuminating the inside of the subject.
  • the illumination light is not limited to the LED.
  • an image of each central wavelength may be acquired using a white light source and a filter that transmits a specific wavelength band, or a laser light source that emits light in a wavelength band centered on each central wavelength. Also good.
  • the image processing apparatus 1 includes a control unit 10 that controls the operation of the entire image processing apparatus 1, an image acquisition unit 20 that acquires image data of an endoscopic image, and an external operation.
  • An input unit 30 that generates an input signal, a display unit 40 that performs various displays, a storage unit 50 that stores image data and various programs acquired by the image acquisition unit 20, and predetermined image processing for the image data
  • an arithmetic unit 100 that executes
  • the control unit 10 includes a general-purpose processor such as a CPU (Central Processing Unit) and a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • a general-purpose processor such as a CPU (Central Processing Unit) and a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC (Application Specific Integrated Circuit).
  • the various operations stored in the storage unit 50 are read to give instructions to each unit constituting the image processing apparatus 1 and data transfer, thereby supervising the overall operation of the image processing apparatus 1. And control.
  • the control unit 10 is a dedicated processor, the processor may execute various processes independently, or the processor and the storage unit 50 cooperate with each other by using various data stored in the storage unit 50 or the like. Various processes may be executed by combining them.
  • the image acquisition unit 20 is appropriately configured according to the mode of the system including the endoscope.
  • the image acquisition unit 20 when the video scope is connected to the image processing apparatus 1 of a general endoscope system that is inserted into the body, the image acquisition unit 20 is configured by an interface that captures image data generated in the endoscope system.
  • the image acquisition unit 20 when installing a server that stores image data generated in the endoscope system, the image acquisition unit 20 includes a communication device connected to the server, and performs image communication with the server to perform image communication. Get the data.
  • image data may be exchanged with the capsule endoscope using a portable storage medium.
  • the image acquisition unit 20 is configured by a reader device that detachably mounts a portable storage medium and reads out image data of the stored image.
  • the input unit 30 includes input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs input signals generated in response to external operations on these input devices to the control unit 10.
  • input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs input signals generated in response to external operations on these input devices to the control unit 10.
  • the display unit 40 is configured by a display device such as an LCD (Liquid Crystal Display) or an EL (ElectroLuminescence) display, and displays various screens including an endoscopic image under the control of the control unit 10.
  • a display device such as an LCD (Liquid Crystal Display) or an EL (ElectroLuminescence) display, and displays various screens including an endoscopic image under the control of the control unit 10.
  • the storage unit 50 includes various IC memories such as ROM and RAM such as flash memory that can be updated and recorded, an information storage device such as a built-in hard disk or a CD-ROM connected via a data communication terminal, and information writing to the information storage device It is constituted by a reading device or the like.
  • the storage unit 50 operates the image processing device 1 and causes the image processing device 1 to execute various functions. Stores data used during execution.
  • the storage unit 50 creates an enhanced image by emphasizing one or a plurality of narrowband images based on a plurality of narrowband images acquired by an endoscope and having different wavelength component distributions.
  • a program storage unit 51 that stores an operation program of the image processing apparatus 1 that causes the image processing apparatus 1 to execute processing.
  • the calculation unit 100 is configured using a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC.
  • a general-purpose processor such as a CPU or a dedicated processor such as various arithmetic circuits that execute specific functions such as an ASIC.
  • image processing is executed by reading an image processing program stored in the program storage unit 51.
  • the processor may execute various processes independently, or the processor and the storage unit 50 cooperate with each other by using various data stored in the storage unit 50 or the like. Image processing may be executed by combining them.
  • the calculation unit 100 includes an overlap determination unit 110 that determines whether or not an object to be drawn from the endoscopic image acquired by the image acquisition unit 20 exists, and identification from the mucous membrane.
  • the apparatus includes a light absorption information extraction unit 120 that extracts depth light absorption information, an acquired endoscopic image, and a display image creation unit 130 that creates a display image based on the extracted light absorption information.
  • the overlapping determination unit 110 determines the edge direction for each pixel of each image, and the in vivo depth of the ⁇ 415 image and the ⁇ 540 image based on the determination result of the edge direction determination unit 111. Whether there are overlapping objects (equivalent to blood vessels in this case), and in-vivo depth direction objects (equivalent to blood vessels here) in ⁇ 540 and ⁇ 600 images And a determination unit 112 that determines whether or not Note that the depth direction in the living body in the image here refers to a direction corresponding to a direction orthogonal to the imaging surface.
  • the light absorption information extraction unit 120 includes a surface layer light absorption information extraction unit 121 that extracts surface light absorption information, and a deep layer light absorption information extraction unit 122 that extracts deep light absorption information.
  • Deep absorption information extraction unit 122 the average intensity of the image and the average intensity correction unit 1221 that corrects in accordance with the average intensity of lambda 540 image, lambda 600 images and absorbance deep with each intensity between lambda 540 images And an extraction unit 1222 for extracting information.
  • the display image creation unit 130 includes a white image creation unit 131 that creates a white image from a plurality of images having different center wavelengths, and a synthesis unit that synthesizes an image corresponding to the absorbance information extracted by the absorbance information extraction unit 120 into a white image. 132.
  • FIG. 2 is a flowchart illustrating image processing performed by the image processing apparatus 1.
  • the image acquisition unit 20 acquires a plurality of images having different center wavelengths.
  • the image acquisition unit 20 includes five images, ⁇ 415 images, ⁇ 460 images, ⁇ , which are five images picked up by light in five wavelength bands having 415 nm, 460 nm, 540 nm, 600 nm, and 630 nm as central wavelengths.
  • 540 images, ⁇ 600 images, and ⁇ 630 images are acquired sequentially.
  • An example of an image acquisition method using an endoscope at this time is a method of illuminating with an LED.
  • five LEDs that emit light in five wavelength bands each having a central wavelength of 415 nm, 460 nm, 540 nm, 600 nm, and 630 nm are provided, and these LEDs are sequentially emitted to irradiate the inside of the living body.
  • the reflected light is acquired for each narrow band light by the color image sensor.
  • five images having 415 nm, 460 nm, 540 nm, 600 nm, and 630 nm as central wavelengths can be obtained.
  • the actual center wavelength of light when acquiring these images may be a value in the vicinity of the above-described values of 415 nm, 460 nm, 540 nm, 600 nm, and 630 nm.
  • FIGS. 3A to 3C are diagrams illustrating images acquired in the image processing performed by the image processing apparatus according to the embodiment of the present invention.
  • FIG. 3A shows a ⁇ 415 image.
  • FIG. 3B shows a ⁇ 540 image.
  • FIG. 3C shows a ⁇ 600 image.
  • the light in the vicinity of 415 nm is easily absorbed by hemoglobin and easily scattered by the mucous membrane in the lumen.
  • the superficial blood vessel V S is clearly be visualized
  • middle vessel V M also is unclear have been depicted (see FIG. 3A).
  • the light of 630nm near, hardly absorbed by hemoglobin, since it is difficult also scattered to the mucosa, due to the characteristics of easily reach all the way into the lumen the lambda 600 image W 3 based on the light
  • the deep blood vessel V D is clearly depicted
  • the middle blood vessel V M is also depicted although it is unclear (see FIG. 3C).
  • the lambda 540 image W 2 based on the light of 540nm between 415nm and 600 nm
  • the middle vessel V M is visualized clearly, some but is depicted also superficial vascular V S and deep vascular V D obscure (See FIG. 3B).
  • the deep blood vessel V D is not drawn in the ⁇ 415 image W 1
  • the surface blood vessel V S is not drawn in the ⁇ 600 image W 3 .
  • the overlap determining unit 110 overlaps the absorption information, specifically, the overlap of blood vessels in the depth direction in the ⁇ 415 image and the ⁇ 540 image, and the depth in the ⁇ 540 image and the ⁇ 600 image. Determine the overlap of blood vessels in the vertical direction.
  • FIG. 4 is a flowchart showing an overlap determination process of absorber information in one embodiment of the present invention.
  • the edge direction determination unit 111 determines the edge direction for each pixel of the ⁇ 415 image, the ⁇ 540 image, and the ⁇ 600 image. For example, the edge direction determination unit 111 displays the edge determination result of each pixel in the horizontal direction (Hor), the vertical direction (Ver), the upper left diagonal direction (Hv1), the upper right diagonal direction (Hv2), and flat (no edge). It is classified into five.
  • the edge direction determination unit 111 first calculates an edge amount Tmp in each direction by the following equation (1).
  • Tmp_ Hor
  • Tmp_ Ver
  • Tmp_ Hv1
  • Tmp_ Hv2
  • the horizontal coordinate of the image is X (rightward is positive) and the vertical coordinate is Y (downward is positive).
  • the edge direction determination unit 11 determines the edge direction at the coordinates (x, y) based on the above-described maximum values of the four types of edge amounts, and the edge corresponding to the edge direction determined according to the following conditions A judgment value (Ori 415 (x, y)) is assigned.
  • Edge judgment value (Ori 415 (x, y)) Tmp_ Hor 0 (edge direction: horizontal direction) Tmp_ Ver 1 (edge direction: vertical direction) Tmp_ Hv1 2 (Edge direction: Left diagonally upward) Tmp_ Hv2 3 (Edge direction: diagonally right upward)
  • the edge direction determination unit 111 determines that there is no edge (flat portion), and sets the edge determination value Ori 415 (x, y) to 4.
  • the edge direction determination unit 111 similarly determines the edge direction for the ⁇ 540 image and the ⁇ 600 image, and assigns the edge determination values Ori 540 (x, y) and Ori 600 (x, y).
  • the determination unit 112 uses the edge determination values Ori 415 (x, y) and Ori 540 (x, y) to use blood vessels in the depth direction in the ⁇ 415 image and the ⁇ 540 image (in this case, the surface layer). It is determined whether or not a blood vessel and a middle-layer blood vessel) overlap each other. Specifically, the determination unit 112 determines the overlapping of blood vessels based on the edge determination value as follows.
  • the determination unit 112 refers to the determination values Ori 415 (x, y) and Ori 540 (x, y), and determines whether the edge determination values are the same or at least one of the edges If the value is 4, it is determined that the surface blood vessel and the middle blood vessel do not overlap at the coordinates. ⁇ There is an overlap between the surface blood vessel and the middle blood vessel. If the edge determination value is 0 to 3 and the edge determination values are different from each other, the surface blood vessel and the middle blood vessel are overlapped at the coordinates. It is determined that
  • the determination unit 112 determines that the surface blood vessel and the middle blood vessel do not overlap in the ⁇ 415 image and the ⁇ 540 image, the determination unit 112 sets the overlap determination value Flag 415 (x, y) to 0, and the middle blood vessel and the deep blood vessel overlap. If it is determined that the data exists, the overlap determination value Flag 415 (x, y) is set to 1.
  • the determination unit 112 uses the edge determination values Ori 540 (x, y) and Ori 600 (x, y) to determine the depth direction blood vessels (in this case, the middle layer) in the ⁇ 540 image and the ⁇ 600 image. Determine the overlap of blood vessels and deep blood vessels). Specifically, the determination unit 112 determines the overlapping of blood vessels based on the edge determination value as follows. -No overlap between middle-layer blood vessels and deep-layer blood vessels The determination unit 112 refers to the determination values Ori 540 (x, y) and Ori 600 (x, y), and determines whether the edge determination values are the same or at least one of the edges If the value is 4, it is determined that blood vessels do not overlap at the coordinates. No overlap between middle-layer blood vessel and deep-layer blood vessel If the edge determination value is 0 to 3 and the edge determination values are different from each other, it is determined that the ⁇ 540 image and the ⁇ 600 image overlap at the coordinates.
  • Determination unit 112 when judging that the blood vessel does not overlap, the overlap determination value Flag 600 a (x, y) to 0, when it is determined that there are overlapping vessels, overlap determination value Flag 600 (x, Let y) be 1.
  • step S30 the light absorption information extraction unit 120 extracts the light absorption information of the surface layer and the deep layer of the mucous membrane.
  • FIG. 5 is a flowchart showing the light absorption information extraction process according to the embodiment of the present invention.
  • step S31 the light absorption information extraction unit 120 calculates the average intensity of the ⁇ 415 image, the average intensity of the ⁇ 540 image, and the average intensity of the ⁇ 600 image.
  • the light absorption information extraction unit 120 may calculate the average intensity from the entire image, or may calculate the average intensity from a preset region.
  • the average intensity correction unit 1211 corrects the intensity of the ⁇ 415 image according to the average intensity of the ⁇ 540 image.
  • Mean intensity correction unit 1211 based on the ratio of the average intensity of lambda 415 image to the average intensity of lambda 540 image, corrects the intensity of the lambda 415 images. Thereby, the brightness of the ⁇ 415 image is corrected.
  • the average intensity correction unit 1221 corrects the intensity of the ⁇ 600 image according to the average intensity of the ⁇ 540 image.
  • Mean intensity correction unit 1221 based on the ratio of the average intensity of lambda 600 image to the average intensity of lambda 540 image, corrects the intensity of the lambda 600 images. Thereby, the brightness of the ⁇ 600 image is corrected.
  • the brightness is a pixel value in each pixel.
  • FIG. 6 is a flowchart showing extraction processing of light absorption information on the surface layer in the embodiment of the present invention.
  • step S332 the extraction unit 1212 sets the coefficient ⁇ for extracting light absorption information to ⁇ 1 .
  • step S333 the extraction unit 1212 sets the alpha factor for extracting extinction information on alpha 2.
  • ⁇ 2 is preset and ⁇ 2 > 1. Note that ⁇ 2 only needs to be larger than ⁇ 1 .
  • ⁇ 2 may be calculated from the pixel value of the pixel of the ⁇ 540 image to be set and the surrounding pixel values.
  • a ratio between a pixel value of a setting target pixel and a pixel value (for example, an average value) of surroundings is obtained, Is set to the coefficient ⁇ 2 in the pixel to be set, or the ratio between the pixel value of the pixel to be set and the pixel value of the surrounding pixels determined to have no overlap is set to the coefficient ⁇ 2 .
  • the extraction unit 1212 calculates light absorption information (step S334).
  • the extraction unit 1212 subtracts the pixel value of the ⁇ 540 image multiplied by ⁇ ( ⁇ 1 or ⁇ 2 ) from the pixel value of the ⁇ 415 image based on the ⁇ 415 image and the ⁇ 540 image after intensity correction, Pixels whose subtraction result has a negative value are extracted. Thereby, the light absorption information of the surface layer is extracted.
  • FIG. 7 is a diagram for explaining the process of extracting the absorption information of the surface layer in the embodiment of the present invention.
  • Figure 7 a diagram illustrating an example of a relationship between a certain line pixel positions on (dashed Q 1 shown in FIG. 3A in this case), the pixel value at the pixel position.
  • a curve L 415 indicates the pixel value of the ⁇ 415 image
  • a curve L 540 indicates the pixel value of the ⁇ 540 image before being multiplied by the coefficient ⁇
  • a curve L 540 ′ indicates the coefficient ⁇ ( ⁇ 1 Or the pixel value of the ⁇ 540 image after multiplication by ⁇ 2 ).
  • the coefficient ⁇ 2 multiplied by the curve L 540 ′ is a value (for example, the above-described ratio) that is adaptively set according to the pixel value at the pixel position.
  • the pixel value of the ⁇ 540 image (curve L 540 ′) multiplied by the coefficient ⁇ ( ⁇ 1 or ⁇ 2 ) is subtracted from the pixel value of the ⁇ 415 image (curve L 415 )
  • the light absorption information extraction curve L of the ⁇ 415 image 415 ′ is obtained (see FIG. 7B).
  • the extraction unit 1212 extracts a pixel having a negative value from the light absorption information extraction curve L 415 ′.
  • a threshold value may be provided in advance, and pixels below this threshold value may be extracted.
  • absorption information extraction curve L 415 'shown in (b) of FIG. 7 the pixel P A to the pixel P B is extracted, the extraction unit 1212, the extracted pixel positions, the values at the pixel position (negative values) Is generated.
  • from the extracted pixels P A to the pixel P B are extracted as the overlapping portion and the superficial-layer blood vessel, an intermediate vessel.
  • the pixel value of the ⁇ 540 image (for example, the curve L 540 ) is uniformly subtracted from the pixel value of the ⁇ 415 image without multiplying the pixel value of the overlapping portion of the ⁇ 540 image by a coefficient (> 1).
  • the overlapping portion is not extracted as a negative value, and the absorption information is missing the overlapping portion.
  • FIG. 8 is a flowchart showing extraction processing of light absorption information in the deep layer according to the embodiment of the present invention.
  • step S341 the extraction unit 1222 refers to the determination result (overlap determination value Flag 600 (x, y)) by the determination unit 112, and determines whether there is an overlap at the coordinates (x, y).
  • the extraction unit 1222 proceeds to step S342.
  • the extraction unit 1222 proceeds to step S343.
  • step S342 the extraction unit 1222 sets a coefficient ⁇ for extracting light absorption information to ⁇ 3 .
  • step S343 the extraction unit 1222 sets the alpha factor for extracting extinction information to alpha 4.
  • ⁇ 4 is preset and ⁇ 4 > 1. Note that ⁇ 4 only needs to be larger than ⁇ 3 . Further, ⁇ 4 may be calculated from the pixel value of the pixel to be set and the surrounding pixel values, similarly to ⁇ 2 .
  • the extraction unit 1212 calculates light absorption information (step S344).
  • the extraction unit 1222 subtracts the pixel value of the ⁇ 540 image multiplied by ⁇ ( ⁇ 3 or ⁇ 4 ) from the pixel value of the ⁇ 600 image based on the ⁇ 540 image and the ⁇ 600 image after intensity correction, Extract a pixel having a negative value. Thereby, the absorption information of the deep layer is extracted.
  • the extraction unit 1222 generates light absorption information that associates the extracted pixel position with a value (negative value) at the pixel position.
  • FIG. 9 is a diagram for explaining the process of extracting the absorption information of the surface layer according to the embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an example of a relationship between a pixel position on a certain line (here, a broken line Q 2 illustrated in FIG. 3C) and a pixel value at the pixel position.
  • the curve L 600 indicates the pixel value of the ⁇ 600 image
  • the curve L 540 indicates the pixel value of the ⁇ 540 image
  • the curve L 540 ′ multiplies the coefficient ⁇ ( ⁇ 3 or ⁇ 4 ).
  • the pixel value of the ⁇ 540 image after is shown.
  • the coefficient ⁇ 4 multiplied by the curve L 540 ′ is a value adaptively set according to the pixel value at the pixel position.
  • 'Subtracting absorbance information extraction curve L 600 of lambda 600 image coefficient alpha (alpha 3 or alpha 4) obtained by multiplying the lambda 540 image pixel values (curve L 540)' is obtained (See FIG. 9B).
  • ⁇ 540 image multiplied by the coefficient ⁇ ( ⁇ 3 or ⁇ 4 ) it is determined that there is an overlap in step S331 described above, and the pixel value whose coefficient is set to ⁇ 4 is larger than the pixel value of the ⁇ 600 image. .
  • the extraction unit 1222 extracts a pixel having a negative value from the light absorption information extraction curve L 600 ′.
  • a threshold value may be provided in advance, and pixels below this threshold value may be extracted.
  • the pixels P C to P D are extracted, and the extraction unit 1212 extracts the extracted pixel position and the value (negative value) at the pixel position. Is generated.
  • the extracted pixels P C to the pixel P D comprises an overlap between the intermediate vessel and the deep blood vessel is extracted as the portion corresponding to the deep blood vessel. Specifically, the convex portion having a small subtraction value corresponds to the overlapping portion.
  • step S34 may be performed first, or step S33 and step S34 may be performed simultaneously.
  • step S40 the display image creation unit 130 creates a display image in which the white light image is combined with the light absorption information. Specifically, first, the white image creation unit 131 creates a white image using the ⁇ 460 image, the ⁇ 540 image, and the ⁇ 630 image corresponding to the RGB wavelength bands acquired in step S10. The white image creating unit 131 determines the pixel value of each pixel in the white image by using the ⁇ 460 image as the B component, the ⁇ 540 image as the G component, and the ⁇ 630 image as the R component.
  • the combining unit 132 combines the white light image with the light absorption information of the ⁇ 415 image as the B component and the light absorption information of the ⁇ 600 image with the R component of the light absorption information acquired in step S30.
  • the B component at that position decreases, the color changes from blue to yellow, and the blood vessels on the surface layer change. It is drawn.
  • the absorption information of the deep layer is combined with the R component, the R component at that position decreases, the color changes from red to cyan, and the deep blood vessel is rendered. Is done.
  • the method for synthesizing the absorption information is not limited to this.
  • any of the absorption information may be synthesized as a G component, or may be synthesized at a ratio set in advance to the R component, the G component, and the B component. Also good.
  • the synthesizer 132 directly synthesizes the light absorption information with the white image.
  • the blood vessel overlap in the ⁇ 415 image and the ⁇ 540 image, and the blood vessel overlap in the ⁇ 540 image and the ⁇ 600 image are determined, and the coefficient ⁇ used for extraction is determined based on the determination result. And a subtraction process is performed using the determined ⁇ . According to the present embodiment, even when blood vessels having different depths exist on the image, blood vessels having a specific depth can be depicted without omission.
  • the process is uniformly performed regardless of whether or not the light absorption information is overlapped.
  • coordinates where the result of subtracting the ⁇ 540 image from the ⁇ 415 image becomes a negative value (minus) are extracted as the light absorption information of the surface layer. Therefore, in the conventional image, between the surface blood vessels V S, an intermediate vessel V M and overlap regions, for example from the pixel P A shown in FIG. 7 (a) to the pixel P B, surface blood vessels not result negative value A part of V S is lost.
  • the wavelength band, irradiation order, and imaging means of the light to be irradiated are not limited to the above-described first embodiment, and an image that is not used for enhancement may be captured.
  • simultaneous emission of light in each wavelength band centered on 415 nm, 540 nm, and 630 nm and simultaneous emission of light in each wavelength band centered on 460 nm, 540 nm, and 600 nm are alternately repeated, and a Bayer sensor or a three-plate sensor You may acquire the image imaged by the above.
  • the light source used is not limited, and an LED, a xenon light source, a laser light source, or the like can be used.
  • a filter is arranged in front of a white light source such as a xenon lamp, and a living body is sequentially irradiated with light whose wavelength band is limited by the filter.
  • a white light source such as a xenon lamp
  • an image may be acquired by irradiating the inside of a living body with white light and causing reflected light from the living body to enter an imaging element through a filter.
  • FIG. 10 is a flowchart showing an extraction process of light absorption information performed by the image processing apparatus 1 according to the modification of the embodiment of the present invention.
  • step S24 the determination unit 112 extracts a specific frequency component from the ⁇ 415 image, the ⁇ 540 image, and the ⁇ 600 image using a bandpass filter.
  • a bandpass filter since an image includes a noise component, there is a risk that an edge direction is erroneously detected. If a bandpass filter is used, components (noise) other than the frequency band corresponding to the blood vessel can be removed, so that the detection accuracy in the edge direction can be improved.
  • the frequency band of the bandpass filter is different for each image. For example, since many surface blood vessels depicted in a ⁇ 415 image are thin (fine), setting the bandpass band to a high frequency region makes it easier to extract the characteristics of the surface blood vessels.
  • a bandpass filter having a common bandpass band may be used only for the purpose of noise removal.
  • step S25 the edge direction determination unit 111 determines the edge direction for each pixel of the ⁇ 415 image, the ⁇ 540 image, and the ⁇ 600 image, and determines the edge determination values Ori 415 (x, y), Ori. 540 (x, y) and Ori 600 (x, y) are assigned.
  • the determination unit 112 determines the overlapping of blood vessels in the depth direction between the ⁇ 415 image and the ⁇ 540 image using the edge determination values Ori 415 (x, y) and Ori 540 (x, y).
  • the overlap determination value Flag 415 (x, y) is assigned.
  • the determination unit 112 determines the overlap of blood vessels in the depth direction between the ⁇ 540 image and the ⁇ 600 image using the edge determination values Ori 540 (x, y) and Ori 600 (x, y).
  • the overlap determination value Flag 600 (x, y) is assigned.
  • the band direction filter (BPF) is used as the preprocessing in the determination of the overlap of the light absorption information, so that the edge direction can be detected more accurately.
  • the present invention should not be limited only by the embodiment described above.
  • images acquired by light in five wavelength bands having 415 nm, 460 nm, 540 nm, 600 nm, and 630 nm as central wavelengths are used.
  • images acquired by different types of light are used. If so, it is applicable.
  • it may be an image acquired by light having different wavelength component distributions, for example, center wavelengths.
  • the present invention may include various embodiments not described herein.
  • the overlap determination is performed for each pixel.
  • a determination region including a plurality of pixels may be set, and the overlap determination may be performed for each determination region.
  • the ⁇ 415 image, the ⁇ 460 image, the ⁇ 540 image, the ⁇ 600 image, and the ⁇ 630 image are light in five wavelength bands whose center wavelengths are 415 nm, 460 nm, 540 nm, 600 nm, and 630 nm.
  • an image may be acquired using a Bayer-type imaging device including an RGB color filter.
  • a series of images can be acquired by irradiating light having central wavelengths of 415 nm, 540 nm, and 600 nm at the first timing, and irradiating light having central wavelengths of 460 nm and 630 nm at the subsequent second timing.
  • a color filter is not limited to this, For example, you may use an image pick-up element provided with five types of color filters corresponding to a light source wavelength. In this case, images of all bands can be acquired simultaneously.
  • the overlapping of blood vessels is determined based on the coincidence / disagreement of the edge direction.
  • SAD difference absolute Value sum: Sum of Absolute Difference
  • the determination unit 112 determines that there is no overlap when the SAD is low, and determines that there is an overlap when the SAD is high.
  • SSD Sum of Squared Difference
  • NCC normalized cross correlation
  • ZNCC zero average normalized cross correlation
  • an eigenvector for each local region may be calculated as shape information for each wavelength using a Hessian matrix, and overlap determination may be performed using these vector differences. In this case, if the difference is small, it is determined that there is no overlap, and if the difference is large, it is determined that there is an overlap.
  • FIG. 11 is a diagram for explaining another example of the extraction process of the absorption information of the deep layer in the embodiment of the present invention.
  • a curve L 540 shown in (a) of FIG. 11 corresponds to the curve L 540 shown in (a) of FIG.
  • a curve L 540 ′ is obtained in which the pixel value at the position where the middle blood vessel and the surface blood vessel overlap in the ⁇ 540 image is replaced by the pixel value when there is no overlap.
  • the alternate long and short dash line indicates the curve 540 shown in FIG.
  • the absorption information (negative value) of the surface blood vessel can be extracted.
  • FIG. 12 is a diagram for explaining another example of the process of extracting deep absorption information according to the embodiment of the present invention.
  • a curve L 415A shown in FIG. 12 is obtained by subtracting a curve L 540 not multiplied by a coefficient from the curve L 415 shown in FIG.
  • light absorption information is once extracted by a conventional method.
  • the portion to be extracted (between pixel P A and pixel P B in FIG.
  • the edge direction determination unit 111 determines the edge direction as described above, and the light absorption information extraction unit 120 determines the direction in which the blood vessel extends from the determination result of the edge direction, and ⁇ 415 Interpolation processing is performed using pixel values of pixels along the direction in which the blood vessel extends in the image, thereby generating interpolated light absorption information. For example, if the blood vessel extends along the horizontal line direction of the image, interpolation processing is performed using pixels along the horizontal line.
  • light absorption information of an arbitrary depth is extracted by subtraction processing between images.
  • the present invention is not limited to this, and for example, light absorption information is extracted using a ratio between images. May be.
  • the coefficient to be multiplied by the ⁇ 540 image is set based on the overlap determination result.
  • the ⁇ 415 image and the ⁇ 600 image may be multiplied by the coefficient.
  • the coefficient is set to 1, and if there is overlap, the coefficient is set to a value smaller than 1.
  • the contribution ratio of the ⁇ 540 image (second image) when there is an overlap is set to be larger than the contribution ratio of the ⁇ 415 image and the ⁇ 600 image (first image). That's fine.
  • the absorption information of the surface layer and the deep layer is extracted and the blood vessels of each layer are drawn.
  • the blood vessels of either one of the layers are drawn according to the input from the user.
  • the light absorption information of the middle layer may be extracted.
  • absorption information is extracted by subtracting the ⁇ 415 image and the ⁇ 600 image from the ⁇ 540 image.
  • the image processing apparatus, the operation method of the image processing apparatus, and the operation program of the image processing apparatus according to the present invention have a specific depth even when blood vessels with different depths exist in the same position of the image. This is useful for rendering the blood vessels.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

本発明にかかる画像処理装置は、互いに照明光の波長帯域が異なり、かつ互いに画角が同じである複数の画像を用いて吸光体の吸光情報を抽出する画像処理装置において、複数の画像を取得する画像取得部と、複数の画像のうちの第1の画像、及び該第1の画像とは異なる第2の画像に基づいて、画像における生体内の深さ方向に沿って、第1の画像に写る第1の吸光体と、第2の画像に写る第2の吸光体とが重なって存在しているか否かを判定する重なり判定部と、第1及び第2の画像と、重なり判定部の判定結果とを用いて、第1の吸光体の吸収によって生じた吸光情報を抽出する吸光情報抽出部と、を備える。

Description

画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
 本発明は、例えば、内視鏡により撮像された画像に対する画像処理を行う画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。
 従来、医療分野及び工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても被検体内の体内画像を取得できるため、被検体への負担が少なく、普及が進んでいる。
 医療用の内視鏡装置を用いた診断では、診断の目的に応じて、粘膜表面から特定の深さの血管を観察する。例えば、消化管の癌は、粘膜の表層から深層に向けて発育するものが多い。このため、早期癌のスクリーニングでは、粘膜の表層の血管像を観察することが重要である。これに対し、病変を切除する際には、切除時の出血を抑えるため、粘膜の深層の太い血管(動脈)像を観察する。
 特許文献1では、赤色(R)、緑色(G)及び青色(B)の三バンドを用いた内視鏡画像において、各色の波長間の相関に基づいて特定の深さの血管を抽出する方法が開示されている。例えば、短波長の青色の光は、粘膜の表層で反射するため、この青色の光に基づく画像には、粘膜の表層の血管が描出される。これに対し、青色よりも長波長側の緑色の光は、青色の光よりも深層で反射するため、この緑色の光に基づく画像には、粘膜の中層の血管が描出される。このような光の反射の特徴に基づき、各色の画像の相関を用いることによって特定の深さの血管を描出することができる。
特許第5393525号公報
 ところで、生体内には、様々な深さに血管が存在している。特許文献1が開示する技術では、内視鏡画像において同一の位置に異なる深さの血管が存在すると、画像上で重複する部分において、例えば粘膜の表層の血管の一部が描出されない場合があった。
 本発明は、上記に鑑みて為されたものであって、画像の同一位置に異なる深さの血管が存在する場合であっても、特定の深さの血管を描出することができる画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムの提供を目的とする。
 上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに照明光の波長帯域が異なり、かつ互いに画角が同じである複数の画像を用いて吸光体の吸光情報を抽出する画像処理装置において、前記複数の画像を取得する画像取得部と、前記複数の画像のうちの第1の画像、及び該第1の画像とは異なる第2の画像に基づいて、画像における生体内の深さ方向に沿って、前記第1の画像に写る第1の吸光体と、前記第2の画像に写る第2の吸光体とが重なって存在しているか否かを判定する重なり判定部と、前記第1及び第2の画像と、前記重なり判定部の判定結果とを用いて、前記第1の吸光体の吸収によって生じた吸光情報を抽出する吸光情報抽出部と、を備えることを特徴とする。
 上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、互いに照明光の波長帯域が異なり、かつ互いに画角が同じである複数の画像を用いて吸光体の吸光情報を抽出する画像処理装置の作動方法において、画像取得部が、前記複数の画像を取得する画像取得ステップと、重なり判定部が、前記複数の画像のうちの第1の画像、及び該第1の画像とは異なる第2の画像に基づいて、画像における生体内の深さ方向に沿って、前記第1の画像に写る第1の吸光体と、前記第2の画像に写る第2の吸光体とが重なって存在しているか否かを判定する重なり判定ステップと、吸光情報抽出部が、前記第1及び第2の画像と、前記重なり判定ステップの判定結果とを用いて、前記第1の吸光体の吸収によって生じた吸光情報を抽出する吸光情報抽出ステップと、を含むことを特徴とする。
 上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、互いに照明光の波長帯域が異なり、かつ互いに画角が同じである複数の画像を用いて吸光体の吸光情報を抽出する画像処理装置の作動プログラムにおいて、画像取得部が、前記複数の画像を取得する画像取得ステップと、重なり判定部が、前記複数の画像のうちの第1の画像、及び該第1の画像とは異なる第2の画像に基づいて、画像における生体内の深さ方向に沿って、前記第1の画像に写る第1の吸光体と、前記第2の画像に写る第2の吸光体とが重なって存在しているか否かを判定する重なり判定ステップと、吸光情報抽出部が、前記第1及び第2の画像と、前記重なり判定ステップの判定結果とを用いて、前記第1の吸光体の吸収によって生じた吸光情報を抽出する吸光情報抽出ステップと、をコンピュータに実行させることを特徴とする。
 本発明によれば、画像の同一位置に異なる深さの血管が存在する場合であっても、特定の深さの血管を描出することができるという効果を奏する。
図1は、本発明の一実施の形態に係る画像処理装置の機能構成を示すブロック図である。 図2は、本発明の一実施の形態に係る画像処理装置が行う画像処理を説明するフローチャートである。 図3Aは、本発明の一実施の形態に係る画像処理装置が行う画像処理において取得される画像を説明する図である。 図3Bは、本発明の一実施の形態に係る画像処理装置が行う画像処理において取得される画像を説明する図である。 図3Cは、本発明の一実施の形態に係る画像処理装置が行う画像処理において取得される画像を説明する図である。 図4は、本発明の一実施の形態における吸光体情報の重なり判定処理を示すフローチャートである。 図5は、本発明の一実施の形態における吸光情報の抽出処理を示すフローチャートである。 図6は、本発明の一実施の形態における表層の吸光情報の抽出処理を示すフローチャートである。 図7は、本発明の一実施の形態における表層の吸光情報の抽出処理を説明するための図である。 図8は、本発明の一実施の形態における深層の吸光情報の抽出処理を示すフローチャートである。 図9は、本発明の一実施の形態における深層の吸光情報の抽出処理を説明するための図である。 図10は、本発明の実施の形態の変形例に係る吸光情報の抽出処理を示すフローチャートである。 図11は、本発明の一実施の形態における深層の吸光情報の抽出処理の他の例を説明するための図である。 図12は、本発明の一実施の形態における深層の吸光情報の抽出処理の他の例を説明するための図である。
 以下、本発明の実施の形態に係る画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラムについて、図面を参照しながら説明する。なお、これら実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態)
 図1は、本発明の一実施の形態に係る画像処理装置の機能構成を示すブロック図である。本実施の形態に係る画像処理装置1は、内視鏡により取得された複数の画像を基に、白色画像には表れ難い吸光変化を抽出し、抽出した吸光変化を1つ又は複数の画像と合成して表示用の画像を作成する装置である。本実施の形態では、吸光体である血管の吸収による吸光変化を吸光情報として抽出する。
 以下の説明においては、ビデオスコープと呼ばれる一般的な内視鏡又はカプセル型内視鏡によって生体内、例えば生体の管腔内を撮像することにより取得された中心波長の異なる複数の画像を含む内視鏡画像を処理対象とする。以下においては、一例として、中心波長が互いに異なる複数の波長帯域の画像を取得した場合の処理を説明する。
 本実施の形態では、415nm、460nm、540nm、600nm及び630nmを中心波長とする五つの波長帯域の光を順次照射して内視鏡画像が取得されるものとして説明する。本明細書では、異なる中心波長の狭帯域光により得られた、狭帯域光の種類が異なる複数の画像が取得されるものとして説明する。以下、Xnmを中心波長とする波長帯域の光により撮像された画像をλX画像と記載する。具体的に、中心波長が415nmの画像をλ415画像、中心波長が460nmの画像をλ460画像、中心波長が540nmの画像をλ540画像、中心波長が600nmの画像をλ600画像、中心波長が630nmの画像をλ630画像とする。λ460画像、λ540画像及びλ630画像は、RGBの波長帯域に相当する白色画像作成用の画像である。λ415画像及びλ600画像は、合成用の画像である。λ415画像、λ460画像、λ540画像、λ600画像及びλ630画像は、画角が同じ画像である。ここで、415nm近傍の光は、ヘモグロビンに吸収され易く、かつ管腔内の粘膜に散乱され易いという特性がある。また、630nm近傍の光は、ヘモグロビンに吸収され難く、粘膜にも散乱され難いため、管腔内の奥まで到達し易いという特性がある。このように、特定の帯域の光の特性の違いに基づき、粘膜表層の微細血管や、粘膜深層の動脈によって生じる領域的な吸光変化等に応じた信号値の変化を吸光情報として画像から抽出することができる。これらの画像は、例えば、各中心波長を中心とする波長帯域の光を発光するLED(Light Emitting Diode)を順次発光させて、被検体内を照明することによって内視鏡により取得される。なお、照明光はLEDに限らない。例えば、白色光源と、特定の波長帯域を透過するフィルタとを用いて各中心波長の画像を取得してもよいし、各中心波長を中心とする波長帯域の光を出射するレーザ光源を用いてもよい。
 図1に示すように、画像処理装置1は、該画像処理装置1全体の動作を制御する制御部10と、内視鏡画像の画像データを取得する画像取得部20と、外部からの操作により入力信号を発生させる入力部30と、各種表示を行う表示部40と、画像取得部20によって取得された画像データや種々のプログラムを格納する記憶部50と、画像データに対して所定の画像処理を実行する演算部100とを備える。
 制御部10は、CPU(Central Processing Unit)等の汎用プロセッサやASIC(Application Specific Integrated Circuit)等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。制御部10が汎用プロセッサである場合、記憶部50が記憶する各種プログラムを読み込むことによって画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括して制御する。また、制御部10が専用プロセッサである場合、プロセッサが単独で種々の処理を実行しても良いし、記憶部50が記憶する各種データ等を用いることで、プロセッサと記憶部50が協働又は結合して種々の処理を実行してもよい。
 画像取得部20は、内視鏡を含むシステムの態様に応じて適宜構成される。例えば、ビデオスコープを体内に挿入する一般的な内視鏡システムの画像処理装置1に接続する場合、画像取得部20は、内視鏡システムにおいて生成された画像データを取り込むインタフェースによって構成される。また、内視鏡システムにおいて生成された画像データを保存するサーバを設置する場合、画像取得部20は、サーバと接続される通信装置等で構成され、サーバとの間でデータ通信を行って画像データを取得する。或いは、生体内を移動しながら撮像を行うカプセル型内視鏡を用いる場合には、カプセル型内視鏡との間で可搬型の記憶媒体を用いて画像データを受け渡ししてもよく、この場合、画像取得部20は、可搬型の記憶媒体を着脱自在に装着し、記憶された画像の画像データを読み出すリーダ装置によって構成される。
 入力部30は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって構成され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部10に出力する。
 表示部40は、LCD(Liquid Crystal Display)やEL(ElectroLuminescence)ディスプレイ等の表示装置によって構成され、制御部10の制御の下で、内視鏡画像を含む各種画面を表示する。
 記憶部50は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク又はCD-ROM等の情報記憶装置及び該情報記憶装置に対する情報の書込読取装置等によって構成される。記憶部50は、画像取得部20によって取得された内視鏡画像の画像データの他、画像処理装置1を動作させると共に、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的に、記憶部50は、内視鏡によって取得された、波長成分の分布が互いに異なる複数の狭帯域画像に基づき、1つ又は複数の狭帯域画像を強調して強調画像を作成する画像処理を当該画像処理装置1に実行させる画像処理装置1の作動プログラムを記憶するプログラム記憶部51を有する。
 演算部100は、CPU等の汎用プロセッサやASIC等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成される。演算部100が汎用プロセッサである場合、プログラム記憶部51が記憶する画像処理プログラムを読み込むことにより画像処理を実行する。また、演算部100が専用プロセッサである場合、プロセッサが単独で種々の処理を実行してもよいし、記憶部50が記憶する各種データ等を用いることで、プロセッサと記憶部50が協働又は結合して画像処理を実行してもよい。
 次に、演算部100の構成について説明する。図1に示すように、演算部100は、画像取得部20が取得した内視鏡画像から描出される対象が重なって存在しているか否かを判定する重なり判定部110と、粘膜からの特定深度の吸光情報を抽出する吸光情報抽出部120と、取得した内視鏡画像と、抽出された吸光情報に基づいて表示画像を作成する表示画像作成部130とを備える。
 重なり判定部110は、各画像の画素ごとにエッジ方向を判別するエッジ方向判定部111と、エッジ方向判定部111の判定結果に基づいて、λ415画像とλ540画像とにおける生体内の深さ方向の対象(ここでは血管に相当)が重なって存在しているか否か、及び、λ540画像とλ600画像とにおける生体内の深さ方向の対象(ここでは血管に相当)が重なって存在しているか否かを判定する判定部112とを備える。なお、ここでいう画像における生体内の深さ方向とは、撮像面と直交する方向に相当する方向をさす。
 吸光情報抽出部120は、表層の吸光情報を抽出する表層吸光情報抽出部121と、深層の吸光情報を抽出する深層吸光情報抽出部122とを備える。
 表層吸光情報抽出部121は、λ415画像の平均強度をλ540画像の平均強度に応じて補正する平均強度補正部1211と、λ415画像とλ540画像との各強度を用いて表層の吸光情報を抽出する抽出部1212とを備える。
 深層吸光情報抽出部122は、λ600画像の平均強度をλ540画像の平均強度に応じて補正する平均強度補正部1221と、λ600画像とλ540画像との各強度を用いて深層の吸光情報を抽出する抽出部1222とを備える。
 表示画像作成部130は、中心波長が互いに異なる複数の画像から白色画像を作成する白色画像作成部131と、吸光情報抽出部120が抽出した吸光情報に対応する画像を白色画像に合成する合成部132とを備える。
 次に、画像処理装置1の動作について説明する。図2は、画像処理装置1が行う画像処理を説明するフローチャートである。まず、ステップS10において、画像取得部20は、中心波長が互いに異なる複数の画像を取得する。具体的には、画像取得部20は、415nm、460nm、540nm、600nm及び630nmを中心波長とする五つの波長帯域の光によりそれぞれ撮像された五つの画像であるλ415画像、λ460画像、λ540画像、λ600画像及びλ630画像を順次取得する。
 この際の内視鏡による画像の取得方法の一例として、LEDを用いて照明する方法が挙げられる。例えば、415nm、460nm、540nm、600nm及び630nmを中心波長とする五つの波長帯域の光をそれぞれ出射する五つのLEDを設け、これらのLEDを順次発光させて生体内を照射し、生体内からの反射光をカラーの撮像素子により、狭帯域光ごとに取得する。それにより、415nm、460nm、540nm、600nm及び630nmをそれぞれ中心波長とする五つの画像を得ることができる。なお、これらの画像を取得する際の光の実際の中心波長は、上述した415nm、460nm、540nm、600nm、630nmの各値の近傍の値であってもよい。
 ここで、λ415画像、λ540画像及びλ600画像に描出される血管像について、図3A~3Cを参照して説明する。図3A~図3Cは、本発明の一実施の形態に係る画像処理装置が行う画像処理において取得される画像を説明する図である。図3Aは、λ415画像を示す。図3Bは、λ540画像を示す。図3Cは、λ600画像を示す。415nm近傍の光は、上述したように、ヘモグロビンに吸収され易く、かつ管腔内の粘膜に散乱され易いという特性があるために、この光に基づくλ415画像W1には、表層血管VSが明瞭に描出され、中層血管VMも不明瞭ではあるが描出されている(図3A参照)。これに対し、630nm近傍の光は、ヘモグロビンに吸収され難く、粘膜にも散乱され難いため、管腔内の奥まで到達し易いという特性があるために、この光に基づくλ600画像W3には、深層血管VDが明瞭に描出され、中層血管VMも不明瞭ではあるが描出されている(図3C参照)。また、415nmと600nmとの間の540nmの光に基づくλ540画像W2には、中層血管VMが明瞭に描出され、表層血管VS及び深層血管VDも不明瞭ではあるが描出されている(図3B参照)。なお、λ415画像W1には深層血管VDが描出されておらず、λ600画像W3には表層血管VSが描出されていない。
 続くステップS20において、重なり判定部110は、吸光情報の重なり、具体的には、λ415画像とλ540画像とにおける深さ方向の血管の重なり、及び、λ540画像とλ600画像とにおける深さ方向の血管の重なりを判定する。図4は、本発明の一実施の形態における吸光体情報の重なり判定処理を示すフローチャートである。
 ステップS21において、エッジ方向判定部111は、λ415画像、λ540画像及びλ600画像の画素ごとのエッジ方向を判定する。エッジ方向判定部111は、例えば、各画素のエッジ判定結果を、水平方向(Hor)、垂直方向(Ver)、左斜め上方向(Hv1)、右斜め上方向(Hv2)、平坦(エッジなし)の五つに分類する。エッジ方向判定部111は、まず、下式(1)で各方向のエッジ量Tmpを算出する。以下、
  Tmp_Hor=|I415(x,y)-I415(x-1,y)|
             +|I415(x,y)-I415(x+1,y)|
  Tmp_Ver=|I415(x,y)-I415(x,y-1)|
             +|I415(x,y)-I415(x,y+1)|
  Tmp_Hv1=|I415(x,y)-I415(x-1,y+1)|
             +|I415(x,y)-I415(x+1,y-1)|
  Tmp_Hv2=|I415(x,y)-I415(x-1,y-1)|
             +|I415(x,y)-I415(x+1,y+1)|
                            ・・・(1)
 ここで、画像の水平座標をX(右向きを正)、垂直座標をY(下向きを正)とする。
 |a|:aの絶対値
 I415(x,y):λ415画像の座標(x,y)の信号値
 なお、エッジ方向判定部111は、λ540画像、λ600画像についても同様に、エッジ量の算出を行う。
 その後、エッジ方向判定部11は、上述した四種類のエッジ量の最大値に基づいて、座標(x,y)におけるエッジ方向を判定し、以下に示す条件にしたがって判定したエッジ方向に対応するエッジ判定値(Ori415(x,y))を付与する。
   最大エッジ量   エッジ判定値(Ori415(x,y))
    Tmp_Hor       0(エッジ方向:水平方向)
    Tmp_Ver       1(エッジ方向:垂直方向)
    Tmp_Hv1       2(エッジ方向:左斜め上方向)
    Tmp_Hv2       3(エッジ方向:右斜め上方向)
 但し、エッジ量の最大値が閾値を下回る場合、エッジ方向判定部111は、エッジ無し(平坦部)と判定し、エッジ判定値Ori415(x,y)を4とする。
 なお、エッジ方向判定部111は、λ540画像、λ600画像についても同様に、エッジ方向を判定して、エッジ判定値Ori540(x,y)、Ori600(x,y)を付与する。
 続くステップS22において、判定部112が、エッジ判定値Ori415(x,y)、Ori540(x,y)を用いてλ415画像とλ540画像とにおける深さ方向の血管(この場合は表層血管及び中層血管)が重なって存在しているか否かを判定する。具体的に、判定部112は、エッジ判定値に基づいて、以下のように血管の重なりを判定する。
・表層血管と中層血管との重なりなし
 判定部112は、判定値Ori415(x,y)、Ori540(x,y)を参照し、エッジ判定値が同じであるか、少なくとも一方のエッジ判定値が4であれば、その座標において表層血管と中層血管とは重なっていないと判定する。
・表層血管と中層血管との重なりあり
 判定部112は、エッジ判定値が0~3であって、互いに異なるエッジ判定値であれば、その座標において表層血管と中層血管とが重なって存在していると判定する。
 判定部112は、λ415画像及びλ540画像において、表層血管及び中層血管が重なっていないと判定した場合、重なり判定値Flag415(x,y)を0とし、中層血管と深層血管とが重なって存在していると判定した場合、重なり判定値Flag415(x,y)を1とする。
 続くステップS23において、判定部112が、エッジ判定値Ori540(x,y)、Ori600(x,y)を用いてλ540画像とλ600画像とにおける深さ方向の血管(この場合は中層血管及び深層血管)の重なりを判定する。具体的に、判定部112は、エッジ判定値に基づいて、以下のように血管の重なりを判定する。
・中層血管と深層血管との重なりなし
 判定部112は、判定値Ori540(x,y)、Ori600(x,y)を参照し、エッジ判定値が同じであるか、少なくとも一方のエッジ判定値が4であれば、その座標において血管は重なっていないと判定する。
・中層血管と深層血管との重なりなし
 エッジ判定値が0~3であって、互いに異なるエッジ判定値であれば、その座標においてλ540画像とλ600画像とが重なっていると判定する。
 判定部112は、血管が重なっていないと判定した場合、重なり判定値Flag600(x,y)を0とし、血管が重なって存在していると判定した場合、重なり判定値Flag600(x,y)を1とする。
 図2に戻り、ステップS30において、吸光情報抽出部120は、粘膜の表層及び深層の吸光情報を抽出する。図5は、本発明の一実施の形態における吸光情報の抽出処理を示すフローチャートである。
 ステップS31において、吸光情報抽出部120は、λ415画像の平均強度、λ540画像の平均強度、及びλ600画像の平均強度を算出する。なお、吸光情報抽出部120は、画像全体から平均強度を算出してもよいし、予め設定された領域から平均強度を算出してもよい。
 続くステップS32において、平均強度補正部1211は、λ415画像の強度をλ540画像の平均強度に応じて補正する。平均強度補正部1211は、λ540画像の平均強度に対するλ415画像の平均強度の比率に基づいて、λ415画像の強度を補正する。これにより、λ415画像の明るさが補正される。また、ステップS32では、平均強度補正部1221が、λ600画像の強度をλ540画像の平均強度に応じて補正する。平均強度補正部1221は、λ540画像の平均強度に対するλ600画像の平均強度の比率に基づいて、λ600画像の強度を補正する。これにより、λ600画像の明るさが補正される。本実施の形態では、明るさを各画素における画素値とする。
 続くステップS33において、抽出部1212が、表層の吸光情報を抽出する。図6は、本発明の一実施の形態における表層の吸光情報の抽出処理を示すフローチャートである。
 ステップS331において、抽出部1212は、判定部112による判定結果(重なり判定値Flag415(x,y))を参照し、座標(x,y)において重なりがあるか否かを判断する。抽出部1212は、表層血管と中層血管とが重なっていない、すなわち重なり判定値Flag415(x,y)=0である場合(ステップS331:Yes)、ステップS332に移行する。一方、抽出部1212は、重なりがある、すなわち重なり判定値Flag415(x,y)=1である場合(ステップS331:No)、ステップS333に移行する。
 ステップS332において、抽出部1212は、吸光情報を抽出するための係数αをα1に設定する。本実施の形態では、α1は予め設定されており、α1=1とする。
 ステップS333において、抽出部1212は、吸光情報を抽出するための係数αをα2に設定する。本実施の形態では、α2は予め設定されており、α2>1とする。なお、α2は、α1より大きければよい。また、α2は、設定対象のλ540画像の画素の画素値と、その周辺の画素値とから算出するようにしてもよい。例えば、λ540画像における、設定対象の画素の画素値と、周辺(例えば、設定対象の画素を中心とする5×5の画素)の画素値(例えば平均値)との比を求め、その比を設定対象の画素における係数α2に設定したり、設定対象の画素の画素値と、重なりなしと判定された周辺の画素の画素値と、の比を係数α2に設定したりする。
 上述した処理を各画素位置(座標(x,y))について行うことによって、各画素位置に係数α(α1又はα2)が付与される。
 ステップS332又はステップS333において係数αが設定されると、抽出部1212は、吸光情報を算出する(ステップS334)。抽出部1212は、強度補正後のλ415画像及びλ540画像をもとに、λ415画像の画素値から、α(α1又はα2)を乗じたλ540画像の画素値を減算し、減算結果が負の値を有する画素を抽出する。これにより表層の吸光情報が抽出される。
 図7は、本発明の一実施の形態における表層の吸光情報の抽出処理を説明するための図である。図7では、あるライン(ここでは図3Aに示す破線Q1)上の画素位置と、その画素位置における画素値との関係の一例を示す図である。図7の(a)では、曲線L415はλ415画像の画素値を示し、曲線L540は係数αを乗じる前のλ540画像の画素値を示し、曲線L540´は係数α(α1又はα2)を乗じた後のλ540画像の画素値を示している。曲線L540´に乗じた係数α2は、その画素位置の画素値に応じて適応的に設定された値(例えば上述した比)とした。λ415画像の画素値(曲線L415)から、係数α(α1又はα2)を乗じたλ540画像の画素値(曲線L540´)を減算すると、λ415画像の吸光情報抽出曲線L415´が得られる(図7の(b)参照)。係数α(α1又はα2)を乗じたλ540画像では、上述したステップS331において重なりがあると判定され、係数がα2に設定された画素値が、λ415画像の画素値より大きくなる。抽出部1212は、この吸光情報抽出曲線L415´から、負の値を有する画素を抽出する。この際、予め閾値を設け、この閾値以下の画素を抽出するようにしてもよい。図7の(b)に示す吸光情報抽出曲線L415´では、画素PAから画素PBまでが抽出され、抽出部1212は、抽出された画素位置と、その画素位置における値(負値)とを対応付けた吸光情報を生成する。図7の(b)では、抽出された画素PAから画素PBまでが、表層血管と中層血管とが重なっている部分として抽出される。
 一方、従来では、λ540画像の重なり部分の画素値に係数(>1)を乗じず、λ415画像の画素値からλ540画像の画素値(例えば曲線L540)を一律に減算するため、重なり部分が負の値として抽出されずに、重なり部分が欠落した吸光情報となる場合がある。
 続くステップS34において、抽出部1222が、深層の吸光情報を抽出する。図8は、本発明の一実施の形態における深層の吸光情報の抽出処理を示すフローチャートである。
 ステップS341において、抽出部1222は、判定部112による判定結果(重なり判定値Flag600(x,y))を参照し、座標(x,y)において重なりがあるか否かを判断する。抽出部1222は、中層血管と深層血管とが重なっていない、すなわち重なり判定値Flag600(x,y)=0である場合(ステップS341:Yes)、ステップS342に移行する。一方、抽出部1222は、重なりがある、すなわち重なり判定値Flag600(x,y)=1である場合(ステップS341:No)、ステップS343に移行する。
 ステップS342において、抽出部1222は、吸光情報を抽出するための係数αをα3に設定する。本実施の形態では、α3は予め設定されており、α3=1とする。
 ステップS343において、抽出部1222は、吸光情報を抽出するための係数αをα4に設定する。本実施の形態では、α4は予め設定されており、α4>1とする。なお、α4は、α3より大きければよい。また、α4は、α2と同様に、設定対象の画素の画素値と、周辺の画素値とから算出するようにしてもよい。
 上述した処理を各画素位置(座標(x,y))について行うことによって、各画素位置に係数α(α3又はα4)が付与される。
 ステップS342又はステップS343において係数αが設定されると、抽出部1212は、吸光情報を算出する(ステップS344)。抽出部1222は、強度補正後のλ540画像及びλ600画像をもとに、λ600画像の画素値から、α(α3又はα4)を乗じたλ540画像の画素値を減算し、負の値を有する画素を抽出する。これにより深層の吸光情報が抽出される。抽出部1222は、抽出部1212と同様にして、抽出された画素位置と、その画素位置における値(負値)とを対応付けた吸光情報を生成する。
 図9は、本発明の一実施の形態における表層の吸光情報の抽出処理を説明するための図である。図9では、あるライン(ここでは図3Cに示す破線Q2)上の画素位置と、その画素位置における画素値との関係の一例を示す図である。図9の(a)では、曲線L600はλ600画像の画素値を示し、曲線L540はλ540画像の画素値を示し、曲線L540´は係数α(α3又はα4)を乗じた後のλ540画像の画素値を示している。曲線L540´に乗じた係数α4は、その画素位置の画素値に応じて適応的に設定された値とした。λ600画像の画素値から、係数α(α3又はα4)を乗じたλ540画像の画素値(曲線L540´)を減算すると、λ600画像の吸光情報抽出曲線L600´が得られる(図9の(b)参照)。係数α(α3又はα4)を乗じたλ540画像では、上述したステップS331において重なりがあると判定され、係数がα4に設定された画素値は、λ600画像の画素値より大きくなる。抽出部1222は、この吸光情報抽出曲線L600´から、負の値を有する画素を抽出する。この際、予め閾値を設け、この閾値以下の画素を抽出するようにしてもよい。図9の(b)に示す吸光情報抽出曲線L600´では、画素PCから画素PDまでが抽出され、抽出部1212は、抽出された画素位置と、その画素位置における値(負値)とを対応付けた吸光情報を生成する。図9の(b)では、抽出された画素PCから画素PDまでが、中層血管と深層血管との重なりを含み、深層血管に対応する部分として抽出される。具体的には、減算値が小さい凸部分が、重なり部分に対応する。
 なお、上述したステップS33及びステップS34は、ステップS34を先に行ってもよいし、ステップS33及びステップS34を同時に行ってもよい。
 ステップS30に続くステップS40において、表示画像作成部130は、白色画像に吸光情報を合成した表示画像を作成する。詳細には、まず、白色画像作成部131が、ステップS10において取得したRGBそれぞれの波長帯域に相当するλ460画像、λ540画像及びλ630画像を用いて白色画像を作成する。白色画像作成部131は、λ460画像をB成分、λ540画像をG成分、λ630画像をR成分とすることにより、白色画像内の各画素の画素値を決定する。そして、合成部132は、この白色画像に、ステップS30において取得した吸光情報のうち、λ415画像の吸光情報をB成分として合成し、λ600画像の吸光情報をR成分として合成する。この際、例えば表層の吸光情報(λ415画像の吸光情報)をB成分に合成すると、当該位置のB成分が減少して、青色から黄色に近づくように色が変化して、表層の血管が描出される。一方、深層の吸光情報(λ600画像の吸光情報)をR成分に合成すると、当該位置のR成分が減少して、赤色からシアン色に近づくように色が変化して、深層の血管が描出される。なお、吸光情報の合成方法はこれに限定されず、例えば、吸光情報のいずれかをG成分として合成しても良いし、R成分、G成分及びB成分に予め設定された割合で合成しても良い。また、ステップS10において白色画像そのものを取得した場合、合成部132は、この白色画像に吸光情報を直接合成する。
 以上説明した本実施の形態では、λ415画像とλ540画像とにおける血管の重なり、及びλ540画像とλ600画像とにおける血管の重なりを判定し、この判定結果に基づいて抽出に用いる係数αを決定し、この決定されたαを用いて減算処理を行うようにした。本実施の形態によれば、画像上で異なる深さの血管が存在する場合であっても、特定の深さの血管を欠落なく描出することができる。
 一方、従来処理では吸光情報の重なりの有無に関係なく、一律に処理を施していた。具体的には、例えば、表層の吸光情報を抽出する際には、λ415画像からλ540画像を減算した結果が負値(マイナス)になる座標を表層の吸光情報として抽出する。そのため、従来画像では、表層血管VSと中層血管VMとが重なる領域、例えば図7の(a)に示す画素PAから画素PBまでの間において、結果が負値とならず表層血管VSの一部が欠落してしまう。
 なお、照射する光の波長帯域や照射順序、撮像手段は、上述した実施の形態1に限定されるものではなく、強調に利用されない画像を撮像しても構わない。例えば、415nm、540nm、630nmを中心波長とする各波長帯域の光の同時発光と、460nm、540nm、600nmを中心波長とする各波長帯域の光の同時発光とを交互に繰り返し、ベイヤセンサや三板センサ等で撮像された画像を取得してもよい。また、使用される光源も限定されるものでなく、LEDやキセノン光源、レーザ光源などを用いることができる。
 また、狭帯域画像の取得方法の別の例として、キセノンランプ等の白色光源の前方にフィルタを配置し、該フィルタにより波長帯域が制限された光で生体内を順次照射する方法や、中心波長が互いに異なる光をそれぞれ発光する複数のレーザーダイオードを順次駆動する方法も挙げられる。さらには、生体内を白色光により照射し、生体からの反射光を、フィルタを介して撮像素子に入射させることにより画像を取得してもよい。
(実施の形態の変形例)
 次に、本発明の実施の形態の変形例について説明する。本変形例では、上述した吸光情報の重なり判定において、前処理としてバンドパスフィルタ(BPF)を用いる。図10は、本発明の実施の形態の変形例に係る画像処理装置1が行う吸光情報の抽出処理を示すフローチャートである。
 ステップS24において、判定部112は、バンドパスフィルタを用いて、λ415画像、λ540画像及びλ600画像から特定周波数成分を抽出する。一般に、画像にはノイズ成分が含まれるためエッジ方向を誤検出するリスクがある。バンドパスフィルタを用いれば、血管に対応する周波数帯域以外の成分(ノイズ)を除去できるため、エッジ方向の検出精度向上が期待できる。本変形例では、バンドパスフィルタの周波数帯域が、画像毎に異なる。例えば、λ415画像で描出される表層血管は細い(細かい)ものが多いため、バンドパスの帯域を高周波域に設定することで、表層血管の特徴をより抽出しやすくなる。一方、λ600画像で抽出される深層血管は太いものが多いため、バンドパスの帯域も低周波域に設定することで、深層血管の特徴をより抽出しやすくなる。なお、ノイズの除去のみを目的として、共通のバンドパスの帯域を有するバンドパスフィルタを用いてもよい。
 続くステップS25以降の処理は、上述したステップS21~S23の処理と同じである。具体的には、ステップS25において、エッジ方向判定部111は、λ415画像、λ540画像及びλ600画像の画素ごとのエッジ方向を判定して、エッジ判定値Ori415(x,y)、Ori540(x,y)及びOri600(x,y)を付与する。
 続くステップS26において、判定部112が、エッジ判定値Ori415(x,y)、Ori540(x,y)を用いてλ415画像とλ540画像とにおける深さ方向の血管の重なりを判定し、重なり判定値Flag415(x,y)を付与する。
 続くステップS27において、判定部112が、エッジ判定値Ori540(x,y)、Ori600(x,y)を用いてλ540画像とλ600画像とにおける深さ方向の血管の重なりを判定し、重なり判定値Flag600(x,y)を付与する。
 以上説明した本変形例によれば、吸光情報の重なり判定において、前処理としてバンドパスフィルタ(BPF)を用いるようにしたので、エッジ方向を一層正確に検出することが可能となる。
 ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。例えば、実施の形態では、415nm、460nm、540nm、600nm及び630nmを中心波長とする五つの波長帯域の光により取得される画像を用いるものとして説明したが、種類が互いに異なる光により取得される画像であれば適用可能である。具体的には、波長成分の分布、例えば中心波長が互いに異なる光により取得される画像であればよい。本発明はここでは記載していない様々な実施の形態等を含み得るものである。
 また、上述した実施の形態では、画素ごとに重なり判定を行うものとして説明したが、複数画素からなる判定領域を設定し、判定領域ごとに重なり判定を行うようにしてもよい。
 また、上述した実施の形態では、λ415画像、λ460画像、λ540画像、λ600画像及びλ630画像が、415nm、460nm、540nm、600nm及び630nmを中心波長とする五つの波長帯域の光によりそれぞれ順次撮像されるものとして説明したが、これらの画像のうちの少なくとも二つの画像を同時に撮像するものであってもよい。例えば、RGBの色フィルタを備えたベイヤー型の撮像素子を用いて画像を取得してもよい。この場合、第1のタイミングで415nm、540nm及び600nmを中心波長とする光を照射し、続く第2のタイミングで460nm及び630nmを中心波長とする光を照射することで一連の画像を取得できる。色フィルタはこれに限定されず、例えば、光源波長に対応する5種類の色フィルタを備える撮像素子を用いても良い。この場合、全帯域の画像を同時取得できる。
 また、上述した実施の形態では、エッジ方向の一致/不一致により血管の重なりを判定するものとして説明したが、例えば、各波長の画像間の差分をもとに、局所領域毎にSAD(差分絶対値和:Sum of Abusolute Difference)値を、各画像に写る被写体の形状情報として求め、その相関の有無に応じて重なりの有無を判定できる。具体的には、判定部112は、SADが低いと重なりなしと判定し、SADが高いと重なりがあると判定する。他にも、SSD(差の二乗和:Sum of Squared Difference)や正規化相互相関(NCC)、ゼロ平均正規化相互相関(ZNCC)などを用いてもよい。他にも、ヘッセ行列を用いて、波長毎に局所領域毎の固有ベクトルを形状情報として算出し、これらのベクトル差分を用いて重なり判定をしてもよい。この場合、差分が小さければ重なりなしと判定し、差分が大きければ重なりがあると判定する。
 上述した吸光情報の抽出処理のほか、上述した実施の形態にかかる吸光情報の抽出処理において、重なりありと判定されたλ540画像の値を近傍の重なり無し画素から補間した後、吸光情報を抽出してもよい。図11は、本発明の一実施の形態における深層の吸光情報の抽出処理の他の例を説明するための図である。図11の(a)に示す曲線L540は、図7の(a)に示す曲線L540と対応している。例えば、図11の(a)に示す曲線L540の場合、重なりありと判定された画素PAから画素PBにおいて、λ540画像の注目画素(ここでは画素PAから画素PBのまでの補間対象の画素)周囲の5×5の画素の領域を参照し、領域内の重なりなしと判定された画素の平均値を補間値として用いればよい。例えば、λ415画像の吸光情報を抽出する場合、補間によりλ540画像において中層血管と表層血管とが重なる位置の画素値が、重なっていない場合の画素値に置き換わった曲線L540´が得られる(図11の(b)参照)。図11の(b)において、一点鎖線は、図11の(a)に示す曲線540を示している。この曲線L540´では中層血管の情報の一部が消えているため、λ415画像からλ540画像を減算した際に、表層血管の吸光情報(負値)を抽出することができる。
 また、その他、従来の方法を用いて吸光情報を抽出した後、吸光情報の抽出結果に対し、重なりありと判定された部分の吸光情報の補間処理を行ってもよい。図12は、本発明の一実施の形態における深層の吸光情報の抽出処理の他の例を説明するための図である。図12に示す曲線L415Aは、図7の(a)に示す曲線L415から、係数を乗じていない曲線L540を減算して得られたものである。本抽出処理では、まず、従来の方法により一旦吸光情報を抽出する。従来の抽出処理の場合、抽出すべき部分(図12では画素PAと画素PBとの間)がゼロ又は正の値となり、血管が重なっている部分において表層血管の像が抜けた状態となる。その後、異なる層の血管が重なって存在すると判定された画素に対して、近傍の重なりなしと判定された画素の抽出結果を補間することにより、表層血管の吸光情報(負値)を抽出することができる。この際、演算部100では、エッジ方向判定部111が、上述したようにエッジ方向を判定し、吸光情報抽出部120が、このエッジ方向の判定結果から血管が延びる方向を判定して、λ415画像における、この血管が延びる方向に沿った画素の画素値を用いて補間処理を行うことによって、補間した吸光情報を生成する。例えば、画像の水平ライン方向に沿って延びる血管であれば、水平ラインに沿った画素を用いて補間処理を行う。
 また、上述した実施の形態では、画像間の減算処理により任意の深さの吸光情報を抽出するものとして説明したが、これに限らず、例えば、画像間の比率を用いて吸光情報を抽出してもよい。例えば、表層の吸光情報を抽出する際、λ415画像/(α×λ540画像)の値が1よりも小さくなる画素を抽出することで表層の吸光情報を抽出可能である。
 また、上述した実施の形態では、λ540画像に乗じる係数を、重なり判定結果に基づいて設定するものとして説明したが、λ415画像及びλ600画像に係数を乗じるようにしてもよい。この際、重なりなしの場合は係数を1に設定し、重なりありの場合は係数を1より小さい値に設定する。このように、本発明では、重なりありの場合のλ540画像(第2の画像)の寄与率が、λ415画像及びλ600画像(第1の画像)の寄与率よりも大きくなるようにすればよい。
 また、上述した実施の形態では、表層及び深層の吸光情報を抽出して、各層の血管を描出するものとして説明したが、ユーザからの入力に応じて、いずれか一方の層の血管を描出するようにしてもよいし、中層の吸光情報を抽出するようにしてもよい。中層の血管を抽出する場合、例えば、λ540画像から、λ415画像及びλ600画像を減算する等して吸光情報を抽出する。
 以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムは、画像の同一位置に異なる深さの血管が存在する場合であっても、特定の深さの血管を描出するのに有用である。
 1 画像処理装置
 10 制御部
 20 画像取得部
 30 入力部
 40 表示部
 50 記憶部
 51 プログラム記憶部
 100 演算部
 110 重なり判定部
 111 エッジ方向判定部
 112 判定部
 120 吸光情報抽出部
 121 表層吸光情報抽出部
 122 深層吸光情報抽出部
 130 表示画像作成部
 131 白色画像作成部
 132 合成部
 1211、1221 平均強度補正部
 1212、1222 抽出部

Claims (16)

  1.  互いに照明光の波長帯域が異なり、かつ互いに画角が同じである複数の画像を用いて吸光体の吸光情報を抽出する画像処理装置において、
     前記複数の画像を取得する画像取得部と、
     前記複数の画像のうちの第1の画像、及び該第1の画像とは異なる第2の画像に基づいて、画像における生体内の深さ方向に沿って、前記第1の画像に写る第1の吸光体と、前記第2の画像に写る第2の吸光体とが重なって存在しているか否かを判定する重なり判定部と、
     前記第1及び第2の画像と、前記重なり判定部の判定結果とを用いて、前記第1の吸光体の吸収によって生じた吸光情報を抽出する吸光情報抽出部と、
     を備えることを特徴とする画像処理装置。
  2.  前記吸光情報抽出部は、前記重なり判定部が、前記第1及び第2の吸光体が重なって存在していると判定した場合に、前記吸光情報を抽出する前記第2の画像の寄与率を、第1の画像の寄与率に対して相対的に大きくすることによって前記前記吸光情報を抽出する
     ことを特徴とする請求項1に記載の画像処理装置。
  3.  前記吸光情報抽出部は、前記第1の画像の画素値から、前記係数を乗じた前記第2の画像の画素値を減算することによって前記吸光情報を抽出する
     ことを特徴とする請求項2に記載の画像処理装置。
  4.  前記吸光情報抽出部は、前記第1の画像の画素値から、前記係数を乗じた前記第2の画像の画素値を除算することによって前記吸光情報を抽出する
     ことを特徴とする請求項2に記載の画像処理装置。
  5.  前記吸光情報抽出部は、前記重なり判定部が、前記第1及び第2の吸光体が重なって存在していると判定した場合に、補間処理により前記第1の吸光体の吸光情報を抽出する
     ことを特徴とする請求項1に記載の画像処理装置。
  6.  前記吸光情報抽出部は、前記重なり判定部が、前記第1及び第2の吸光体が重なって存在していると判定した場合に、前記第2の画像の画素の画素値を、この画素の周囲の画素のうちの重なっていないと判定された画素の画素値を用いて補間し、前記第1の画像の画素値と、補間後の前記第2の画像の画素値とを用いて、前記第1の吸光体の吸光情報を抽出する
     ことを特徴とする請求項5に記載の画像処理装置。
  7.  前記吸光情報抽出部は、前記第1及び第2の画像を用いて、前記第1の吸光体の吸収によって生じた吸光情報を抽出し、この抽出結果と、前記重なり判定部の判定結果とに基づいて、重なっていると判定された画素に対応する吸光情報を、この画素の周囲の画素であって、重なっていないと判定された画素の画素値を用いて補間することによって、前記第1の吸光体の吸光情報を抽出する
     ことを特徴とする請求項5に記載の画像処理装置。
  8.  前記吸光情報抽出部は、前記重なっていると判定された画素に対応する吸光情報を、前記第1の吸光体が延びる方向に沿った画素であって、前記重なっていないと判定された画素の画素値を用いて補間することによって、前記第1の吸光体の吸光情報を抽出する
     ことを特徴とする請求項7に記載の画像処理装置。
  9.  前記重なり判定部は、前記第1の画像と第2の画像との間の形状の相関に基づいて、前記第1及び第2の吸光体が重なって存在しているか否かを判定する
     ことを特徴とする請求項1に記載の画像処理装置。
  10.  前記重なり判定部は、前記第1及び第2の画像に写る被写体の形状情報を生成し、この形状情報に基づいて、前記第1及び第2の吸光体が重なって存在しているか否かを判定する
     ことを特徴とする請求項9に記載の画像処理装置。
  11.  前記重なり判定部は、前記第1及び第2の画像のエッジ方向を判定し、この判定結果に基づいて、前記第1及び第2の吸光体が重なって存在しているか否かを判定する
     ことを特徴とする請求項9に記載の画像処理装置。
  12.  前記重なり判定部は、バンドパスフィルタを用いて予め設定した周波数成分を抽出し、周波数成分抽出後の前記第1及び第2の画像のエッジ方向を判定し、この判定結果に基づいて、前記第1及び第2の吸光体が重なって存在しているか否かを判定する
     ことを特徴とする請求項11に記載の画像処理装置。
  13.  前記重なり判定部は、前記第1の画像と第2の画像との差分に基づいて、前記第1及び第2の吸光体が重なって存在しているか否かを判定する
     ことを特徴とする請求項9に記載の画像処理装置。
  14.  前記複数の画像のうち少なくとも一つの画像と、前記吸光情報とを用いて表示画像を作成する表示画像作成部、
     をさらに備えることを特徴とする請求項1に記載の画像処理装置。
  15.  互いに照明光の波長帯域が異なり、かつ互いに画角が同じである複数の画像を用いて吸光体の吸光情報を抽出する画像処理装置の作動方法において、
     画像取得部が、前記複数の画像を取得する画像取得ステップと、
     重なり判定部が、前記複数の画像のうちの第1の画像、及び該第1の画像とは異なる第2の画像に基づいて、画像における生体内の深さ方向に沿って、前記第1の画像に写る第1の吸光体と、前記第2の画像に写る第2の吸光体とが重なって存在しているか否かを判定する重なり判定ステップと、
     吸光情報抽出部が、前記第1及び第2の画像と、前記重なり判定ステップの判定結果とを用いて、前記第1の吸光体の吸収によって生じた吸光情報を抽出する吸光情報抽出ステップと、
     を含むことを特徴とする画像処理装置の作動方法。
  16.  互いに照明光の波長帯域が異なり、かつ互いに画角が同じである複数の画像を用いて吸光体の吸光情報を抽出する画像処理装置の作動プログラムにおいて、
     画像取得部が、前記複数の画像を取得する画像取得ステップと、
     重なり判定部が、前記複数の画像のうちの第1の画像、及び該第1の画像とは異なる第2の画像に基づいて、画像における生体内の深さ方向に沿って、前記第1の画像に写る第1の吸光体と、前記第2の画像に写る第2の吸光体とが重なって存在しているか否かを判定する重なり判定ステップと、
     吸光情報抽出部が、前記第1及び第2の画像と、前記重なり判定ステップの判定結果とを用いて、前記第1の吸光体の吸収によって生じた吸光情報を抽出する吸光情報抽出ステップと、
     をコンピュータに実行させることを特徴とする画像処理装置の作動プログラム。
PCT/JP2017/016628 2017-04-26 2017-04-26 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム WO2018198251A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/016628 WO2018198251A1 (ja) 2017-04-26 2017-04-26 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
US16/662,179 US11341666B2 (en) 2017-04-26 2019-10-24 Image processing device, endoscope system, operation method of image processing device, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016628 WO2018198251A1 (ja) 2017-04-26 2017-04-26 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/662,179 Continuation US11341666B2 (en) 2017-04-26 2019-10-24 Image processing device, endoscope system, operation method of image processing device, and computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2018198251A1 true WO2018198251A1 (ja) 2018-11-01

Family

ID=63920341

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/016628 WO2018198251A1 (ja) 2017-04-26 2017-04-26 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Country Status (2)

Country Link
US (1) US11341666B2 (ja)
WO (1) WO2018198251A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209102A1 (ja) * 2019-04-10 2020-10-15 富士フイルム株式会社 内視鏡システム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7142772B2 (ja) * 2019-05-16 2022-09-27 三菱電機株式会社 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011167349A (ja) * 2010-02-18 2011-09-01 Olympus Medical Systems Corp 画像処理装置及び画像処理方法
JP2016093210A (ja) * 2014-11-12 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP2016144626A (ja) * 2015-01-29 2016-08-12 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011229603A (ja) * 2010-04-26 2011-11-17 Fujifilm Corp 内視鏡装置
JP6128888B2 (ja) * 2013-02-27 2017-05-17 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6488249B2 (ja) * 2016-03-08 2019-03-20 富士フイルム株式会社 血管情報取得装置、内視鏡システム及び血管情報取得方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011167349A (ja) * 2010-02-18 2011-09-01 Olympus Medical Systems Corp 画像処理装置及び画像処理方法
JP2016093210A (ja) * 2014-11-12 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP2016144626A (ja) * 2015-01-29 2016-08-12 富士フイルム株式会社 画像処理装置及び画像処理方法、並びに内視鏡システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209102A1 (ja) * 2019-04-10 2020-10-15 富士フイルム株式会社 内視鏡システム
JPWO2020209102A1 (ja) * 2019-04-10 2020-10-15
CN113660895A (zh) * 2019-04-10 2021-11-16 富士胶片株式会社 内窥镜***
EP3954267A4 (en) * 2019-04-10 2022-06-08 FUJIFILM Corporation ENDOSCOPE SYSTEM
JP7116251B2 (ja) 2019-04-10 2022-08-09 富士フイルム株式会社 内視鏡システム

Also Published As

Publication number Publication date
US20200058131A1 (en) 2020-02-20
US11341666B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
US11766167B2 (en) Image processing apparatus, image processing method, and program
WO2017002184A1 (ja) 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
JP6210962B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6273640B2 (ja) 撮影画像表示装置
CN107072644B (zh) 成像装置
EP3922163A1 (en) Medical image processing device, endoscope system, and medical image processing method
US10052015B2 (en) Endoscope system, processor device, and method for operating endoscope system
US10891743B2 (en) Image processing device, operation method performed by image processing device and computer readable recording medium for performing different enhancement processings based on context of update determined from latest image acquired
US10356378B2 (en) Image processing device, image processing method, and computer-readable recording medium
JP6203088B2 (ja) 生体観察システム
US11341666B2 (en) Image processing device, endoscope system, operation method of image processing device, and computer-readable recording medium
EP3982813A1 (en) Methods and apparatus to detect bleeding vessels
CN110769738B (zh) 图像处理装置、内窥镜装置、图像处理装置的工作方法及计算机可读存储介质
WO2018235179A1 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JPWO2020059445A1 (ja) 画像処理装置及び画像処理方法
JP7163386B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び内視鏡装置の作動プログラム
JP2015198735A (ja) 生体観察システム
WO2019167623A1 (ja) 画像処理装置、内視鏡システム、及び画像処理方法
WO2021059889A1 (ja) 内視鏡システム
JP6184928B2 (ja) 内視鏡システム、プロセッサ装置
JP6949134B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
CN116234487A (zh) 医疗图像处理装置、医疗图像处理方法、内窥镜***及医疗图像处理程序
US11039077B2 (en) Image processing device, endoscope system, image processing method, and computer-readable recording medium
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
EP3868281A1 (en) Medical image processing system and learning method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17906798

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17906798

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP