WO2019142243A1 - 画像診断支援システムおよび画像診断支援方法 - Google Patents

画像診断支援システムおよび画像診断支援方法 Download PDF

Info

Publication number
WO2019142243A1
WO2019142243A1 PCT/JP2018/001053 JP2018001053W WO2019142243A1 WO 2019142243 A1 WO2019142243 A1 WO 2019142243A1 JP 2018001053 W JP2018001053 W JP 2018001053W WO 2019142243 A1 WO2019142243 A1 WO 2019142243A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
interest
image
specular reflection
support system
Prior art date
Application number
PCT/JP2018/001053
Other languages
English (en)
French (fr)
Inventor
文行 白谷
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2018/001053 priority Critical patent/WO2019142243A1/ja
Publication of WO2019142243A1 publication Critical patent/WO2019142243A1/ja
Priority to US16/928,416 priority patent/US20200342598A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6861—Capsules, e.g. for swallowing or implanting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present invention relates to an image diagnosis support system and an image diagnosis support method.
  • the region of interest to be diagnosed may not be blurred or blurring. In this case, at least the region of interest should be diagnosed.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an image diagnosis support technique capable of suitably determining an object to be diagnosed.
  • an image diagnosis support system includes an input unit that receives an input of an image, and a specifying unit that specifies a specular reflection region and a non-specular reflection region in a region of interest in the image. And a determination unit that determines whether or not the region of interest is a disqualified region that is not eligible for diagnosis based on the image processing result for at least one of the specularly reflected region and the non-specularly reflected region.
  • the region of interest is a disqualified region that is not eligible for diagnosis based on the step of receiving an image input and the result of image processing on at least one of a specular region and a non-specular region in a region of interest in the image. And determining whether it is or not.
  • any combination of the above-described constituent elements, one obtained by converting the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program and the like is also effective as an aspect of the present invention.
  • an image diagnosis support technique capable of suitably determining an object to be diagnosed.
  • FIG. 1 is a block diagram showing the function and configuration of an image diagnosis support system according to a first embodiment. It is a figure which shows the schematic block diagram of Faster R-CNN. It is a figure which shows the learning procedure of Faster R-CNN. It is a figure which shows the schematic processing structure of CNN. It is a flow chart which shows an example of a series of processings in a diagnostic imaging support system concerning a 1st embodiment. It is a block diagram which shows the function and structure of the image diagnosis assistance system which concern on 2nd Embodiment. It is a flow chart which shows an example of a series of processings in a diagnostic imaging support system concerning a 2nd embodiment.
  • FIG. 1 is a block diagram showing the function and configuration of an image diagnosis support system 100 according to the first embodiment.
  • Each block shown here can be realized by hardware as an element such as a CPU (central processing unit) of a computer or a mechanical device, and as software as a computer program or the like. It depicts the functional blocks realized by the collaboration of Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by a combination of hardware and software. The same applies to FIGS. 6 and 8 described later.
  • the diagnostic imaging support system 100 supports the diagnosis of a lesion using an endoscopic image.
  • the endoscopic image is taken by, for example, a conventional endoscope or a capsule endoscope which inserts a scope into the body.
  • the image diagnosis support system 100 includes an image input unit 110, a region of interest detection unit 112, a specification unit 114, a blur amount calculation unit 116, a determination unit 118, a classification unit 120, and an output unit 122.
  • the image input unit 110 receives an input of an endoscopic image from a user or another device.
  • the region-of-interest detection unit 112 performs detection processing for detecting a region of interest, which is a lesion candidate region, on the endoscopic image received by the image input unit 110. Depending on the endoscopic image, the region of interest may not be detected, or one or more regions of interest may be detected.
  • the region of interest detection unit 112 executes a process of detecting a region of interest by means of a convolutional neural network (CNN). This will be described later.
  • CNN convolutional neural network
  • the identifying unit 114 identifies the specular reflection region and the non-specular reflection region in the region of interest.
  • the specifying unit 114 specifies, as a specular reflection area, a pixel having a pixel value representing brightness or a collection of pixels having a predetermined threshold value or more in the region of interest as a specular reflection region, and does not Identify as a specular reflection area.
  • the identifying unit 114 may perform expansion and contraction processing as necessary.
  • the blur amount calculation unit 116 calculates the blur amount of the non-specular reflection area. When there are a plurality of regions of interest, the blur amount calculation unit 116 calculates the amount of blur of the non-specular reflection region for each region of interest.
  • the blur amount calculation unit 116 extracts an edge (that is, a change point of luminance) from the non-specular reflection area.
  • an edge that is, a change point of luminance
  • a known technique such as Canny Edge Detector may be used to extract the edge.
  • the blur amount calculation unit 116 calculates the blur amount of each pixel of the extracted edge.
  • a publicly known method can be used to calculate the blur amount.
  • the blur amount calculation unit 116 according to the present embodiment calculates the blur amount using the method described in Non-Patent Document 1. That is, the blur amount calculation unit 116 calculates the blur amount ( ⁇ ) by the following equation (1).
  • ⁇ 0 is the standard deviation of Gaussian kernel representing a small amount of blurring added by applying a Gaussian filter R: the maximum value of the ratio of the gradient of the edge before and after adding a small amount of blurring.
  • the blur amount calculation unit 116 further calculates an average value of the calculated blur amounts of the respective pixels, and sets the average value as the blur amount of the non-specular reflection area.
  • determination unit 118 is a diagnostic ineligible area with a blur in the region of interest based on the image processing result on the non-specular region of the region of interest, ie, based on the amount of blur in the non-specular region. It is determined whether or not. If there are a plurality of regions of interest, the determination unit 118 determines whether or not there is a diagnosis ineligible region with blurring for each region of interest.
  • the determination unit 118 determines whether the blur amount calculated by the blur amount calculation unit 116 is larger than the threshold Th1. The determination unit 118 determines that the region of interest is blurred when the amount of blur is larger than the threshold Th1, that is, the region of interest is determined to be a diagnosis unqualified region, and the region of interest is not blurred when the amount of blur is equal to or less than the threshold Th1. That is, it is determined that the region of interest is not a diagnosis unqualified region.
  • the classification unit 120 executes classification processing to classify (differentiate) whether the lesion indicated by the region of interest in the endoscopic image is benign or malignant.
  • the classification unit 120 according to the present embodiment executes classification processing when the determination unit 118 determines that the region of interest is not a diagnosis ineligible region, and the determination unit 118 determines that the region of interest is a diagnosis ineligible region If it does, the classification process is not performed.
  • the classification unit 120 executes classification processing by a convolutional neural network. This will be described later.
  • the output unit 122 outputs the processing result of the classification unit 120 to, for example, a display. If the region of interest is not a diagnosis ineligible region and classification processing of the region of interest is performed by the classification unit 120, the output unit 122 determines that the processing result of the classification processing, that is, the lesion indicated by the region of interest is benign or malignant. Output the classification (discrimination) result indicating whether there is any. In addition, when the region of interest is a diagnosis unqualified region and the classification process by the classification unit 120 is not performed, the output unit 122 outputs that the region of interest is a diagnosis unqualified region.
  • the classification unit 120 performs classification processing regardless of the determination result by the determination unit 118, that is, regardless of whether the region of interest is a diagnosis ineligible region or not, and the output unit 122 outputs the region of interest in the diagnosis ineligible region. If not, the classification result may be output.
  • the above is the basic configuration of the diagnostic imaging support system 100. Subsequently, a process of detecting a region of interest by the CNN will be described. Here, the case where the lesion is a polyp will be described.
  • the CNN for detection is learned in advance using a polyp image and a normal image. After learning, when an image is input to the detection CNN, polyp candidate regions are detected. If no part of the image is detected, the image is identified as a normal image.
  • Faster R-CNN is composed of two CNNs, Region Proposal Network (RPN) that detects candidate frames (rectangles) from an image, and Fast R-CNN (FRCNN), which checks whether candidate frames are detection targets. Both share the feature amount extraction CNN to realize high-speed detection processing.
  • RPN Region Proposal Network
  • FRCNN Fast R-CNN
  • FIG. 2 shows a schematic block diagram of Faster R-CNN.
  • an image is input to the CNN for feature quantity extraction shown in (a) of FIG.
  • a feature map is output after multiple convolution and pooling operations have been performed.
  • CNN for feature value extraction any network structure such as AlexNet, VGG-16, GoogLeNet, Network in Network can be used.
  • the size of the input image is set to width W, height H, and 3 channels (Red, Green, Blue).
  • the size of the feature map to be output depends on the network structure used. For example, in the case of VGG-16, the width is W / 16, the width is H / 16, and the number of channels is 512. The following description will be made assuming that VGG-16 is used unless otherwise noted. Note that VGG-16 used here is configured up to the front of the entire bonding layer as described later with reference to FIG. The VGG-16 including the entire bonding layer will be described later in the classification CNN.
  • the candidate frame detection CNN is a three-layer CNN shown in (b) of FIG. 2 and has a convolution layer for RPN frame variation map output and a convolution layer for RPN score map output.
  • the RPN frame variation map and the RPN score map have a width W / 16, a vertical width H / 16, and a number of channels of 4 ⁇ A and 2 ⁇ A, respectively.
  • A is the number of anchors, and the anchors represent the shape (aspect ratio, scale) of the candidate frame.
  • the position of the frame variation map and the score map in the spatial direction corresponds to the position of the original input image, and the frame variation of each anchor in the channel direction (frame center movement amount in each of x and y directions, frame width enlargement amount ) And scores (polyp score and background score). From the frame variation map and the score map, the coordinate value of the candidate frame and the RPN score representing the polyp likeness are calculated.
  • the feature map and the coordinate values of the calculated candidate frame are input to the ROI Pooling layer shown in (c) of FIG. 2, and the feature map cutout for each candidate frame and Max Pooling (2 ⁇ 2 output of the previous layer) Perform resizing by subsampling to select the maximum value in.
  • the feature map for each candidate frame to be output has a size of 7 in width, 7 in height, and 512 channels.
  • the candidate frame classification FC layer is a four-layer FC layer shown in (d) of FIG. 2 and has an FRCNN frame variation map output FC layer and an FRCNN score map output FC layer.
  • the FRCNN frame variation map and the FRCNN score map have width 1 and height 1 and the number M of cut-out maps, and the number of channels is 4 (frame center movement amount in each of x and y directions, frame width expansion amount) x A, It has a size of 2 (polyp score and background score) ⁇ A.
  • the final detection frame coordinate values and the FRCNN score representing polyp-likeness are calculated in the same manner as the candidate frame detection CNN.
  • FIG. 3 shows the learning procedure of Faster R-CNN. After learning RPN and FRCNN one time each, fixing CNN for feature amount extraction and learning RPN and FRCNN one more time respectively, a network sharing CNN for feature amount extraction is constructed. First, in step S501, a learning image and a correct mask image of a polyp to be detected (polyp area, an image obtained by dividing a background area separately) are input.
  • a correct answer label map and a correct answer frame variation map for RPN learning are created from the correct answer mask image.
  • the correct answer frame variation map and the correct answer label map have a width W / 16 and a height H / 16, and the number of channels is 4 (frame center movement amount in each of x and y directions, frame width expansion amount) x A, 1 (label ) ⁇ A size.
  • label 0 (polyp) when the overlap between the coordinate value of the candidate frame to which each point in the map corresponds and the correct mask image is 50% or more; label 0 (polyp); ) Is stored in the correct answer label map.
  • the label is 0 (polyp)
  • the amount of fluctuation from the candidate frame to the rectangle circumscribing the polyp region of the correct answer mask image is stored in the answer frame fluctuation amount map.
  • first learning of RPN is performed based on the learning image, the correct answer label map created in S503, and the correct answer frame variation map.
  • the optimization target is both CNN for feature quantity extraction and CNN for candidate frame detection.
  • the softmax intersection entropy of the correct answer label map and the RPN score map, and Smooth L1 Loss of the correct answer frame fluctuation amount map and the frame fluctuation amount map are weighted and added as a loss function.
  • Stochastic gradient descent (SGD) is used for optimization.
  • step S504 the constructed RPN is applied to the learning image to calculate an RPN score representing polyp candidate frame and polyp likeness.
  • a correct answer label map and a correct answer frame fluctuation amount map for FRCNN learning are created from the detected candidate frames and the correct answer frame mask image.
  • the correct frame variation map and the correct label map have width W / 16, vertical width H / 16, number M of output candidate frames, and number of channels 4 (frame center movement amount in each of x and y directions, frame width enlargement amount) It has a size of ⁇ A, 1 (label) ⁇ A.
  • label 0 (polyp)
  • label 0 (polyp)
  • the variation from the candidate frame to the rectangle circumscribing the polyp area of the correct answer mask image is stored in the correct answer frame variation map.
  • step S506 the first learning of the FRCNN is performed based on the learning image, the created correct label map, and the correct frame variation map.
  • the optimization target is both CNN for feature extraction and FC layer for candidate frame classification.
  • the loss function and optimization method are the same as RPN.
  • the second learning of the RPN is performed in S507.
  • the feature amount extraction CNN is fixed at the first learning result of the FRCNN, and only the candidate frame detection CNN is the optimization target.
  • step S508 the learned RPN is applied to the learning image to calculate an RPN score indicating polyp candidate frame and polyp likeness. Then, in S 509, the correct answer label map and the correct answer frame fluctuation amount map for FRCNN learning are created from the detected candidate frames and the correct answer frame data as in the first time.
  • the second learning of the FRCNN is performed based on the learning image, the created correct label map, and the correct frame variation map.
  • the feature amount extraction CNN is fixed by the first learning result of the FRCNN, and only the candidate frame classification FC layer is the optimization target.
  • the polyp detection process has been described above using Faster R-CNN as an example.
  • classification (differentiation) processing by CNN will be described.
  • the classification CNN is trained using benign polyps and malignant polyps.
  • the region is input to the classification CNN and is identified as a benign polyp or a malignant polyp.
  • the two classifications are not limited to benign and malignant. For example, in NICE classification in colon polyps, they are divided into Type 1, Type 2 and Type 3 in order of benign to malignant.
  • FIG. 4 shows a schematic processing configuration of CNN.
  • 605 is a CNN
  • 605-C is a convolution layer
  • 605-P is a pooling layer
  • 605-FC is a total coupling layer
  • 605-D is an endoscopic image database (DB).
  • FIG. 4 shows an example in which the convolution layer 605-C and the pooling layer 605-P are repeated three times, the number of repetitions is not particularly limited. Further, although an example is shown in which the total bonding layer 605-FC is two layers, the number of layers is not particularly limited.
  • the convolution layer includes a process of applying a non-linear function (ReLU) after the convolution process.
  • ReLU non-linear function
  • VGG-16 a 3 ⁇ 3 size convolution filter is used to apply the convolution result with the input image to the non-linear function ReLU.
  • MaxPooling is used.
  • VGG-16 13 layers of convolution layers and 5 times of MaxPooling are used, and finally, all layers are connected to 3 layers.
  • an image is labeled with Type 1, Type 2, Type 3 etc. of the NICE classification, and a set of the image and a label is called a learning data set.
  • the image an NBI image or an image of normal light is used.
  • this training data set contains tens of thousands of sheets, you may directly train the VGG-16 network, but if it is less, it is pre-trained VGG using a large-scale image DB such as ImageNet.
  • the ⁇ 16 network may be fine-tuned (a type of transfer learning) using a digestive tract endoscopic image data set.
  • a signal propagates through CNN, and the image is classified based on the signal value output from the output layer. For example, in the NICE classification of polyps, the label at which the largest value among the output signals of Type 1, Type 2 and Type 3 is output is taken as the estimation result.
  • the Faster R-CNN may have 1 detection and classification (differentiation). It has been proposed as a possible configuration in one network, and such configuration may be used. In this case, prior to determining whether the region of interest is a diagnosis non-compliance region, classification processing is performed to classify whether the lesion indicated by the region of interest is benign or malignant.
  • FIG. 5 is a flowchart showing an example of a series of processing in the image diagnosis support system 100.
  • the image input unit 110 receives an input of an endoscopic image (S110).
  • the region of interest detection unit 112 executes a detection process of detecting a region of interest on the endoscopic image (S112).
  • S112 When the region of interest is detected, that is, when the region of interest is present in the endoscopic image (Y in S114), the specular reflection region and the non-specular reflection region in the region of interest are specified (S116).
  • the blur amount calculation unit 116 calculates the blur amount of the non-specular reflection area (S118).
  • the determination unit 118 determines whether the amount of blur is larger than the threshold Th1, that is, whether the region of interest is a diagnosis unqualified region with blur (S120). If the blur amount is larger than the threshold Th1, that is, the region of interest is a diagnosis ineligible region with blur (Y in S120), the classification process is not performed, and the output unit 122 is a diagnosis ineligible region with a blur in the region of interest The effect is output (S122). If the blur amount is equal to or less than the threshold Th1, that is, the region of interest is not a diagnosis ineligible region (N in S120), the classification unit 120 performs classification processing on the lesion indicated by the region of interest (S124). The output unit 122 outputs the result of the classification process (S126). When the region of interest is not detected (N in S114), S116 to S126 are skipped and the process is ended.
  • the diagnostic imaging support system 100 when the non-specular reflection region of the region of interest is blurred, it is determined that the region of interest is a disqualified region not suitable for diagnosis. Ru. Thereby, even if it is an endoscopic image in which blurring etc. exist in the area
  • FIG. 6 is a block diagram showing the function and configuration of an image diagnosis support system 200 according to the second embodiment.
  • FIG. 6 corresponds to FIG. 1 of the first embodiment.
  • the main difference from the first embodiment is that it determines whether the region of interest does not blur but has blurring, and determines that the region of interest is a diagnostic ineligible region if blurring is involved.
  • differences from the image diagnosis support system 100 according to the first embodiment will be mainly described.
  • the image diagnosis support system 200 includes an image input unit 110, a region of interest detection unit 112, a specification unit 114, a circularity calculation unit 216, a determination unit 118, a classification unit 120, and an output unit 122.
  • the circularity calculation unit 216 performs connection processing on the specular reflection area of the area of interest.
  • the connection processing is performed by treating a continuous specular reflection area as a lump of lumps and performing a labeling process.
  • the circularity calculation unit 216 calculates the circularity (C) of each connection area by the following equation (2).
  • S area of specular reflection area
  • L perimeter of specular reflection area.
  • the circularity calculation unit 216 further determines the maximum circularity of the circularity of each connection area as the circularity of the specular reflection area.
  • the determination unit 118 determines whether or not the region of interest is a diagnostic ineligible region with blurring based on the result of the image processing on the specular reflection region of the region of interest, that is, based on the circularity of the specular reflection region.
  • the specular reflection area is generally close to a circular shape when not blurred, and therefore the circularity is close to 1 when it is blurred, the shape is close to an ellipse or a line segment, and therefore circularity is It becomes a value smaller than one. Therefore, a value less than 1 is set to the threshold value Th2 for determining whether or not the image is blurred.
  • the determination unit 118 determines that the area of interest is blurred, that is, the area of interest is a diagnosis unqualified area and the degree of circularity is equal to or greater than the threshold Th2. It is determined that the region of interest is not blurred, that is, the region of interest is not a diagnostic ineligible region.
  • FIG. 7 is a flowchart showing an example of a series of processes in the image diagnosis support system 200. The differences from FIG. 5 will be mainly described.
  • the circularity calculation unit 216 calculates the circularity of the specular reflection area (S218).
  • the determination unit 118 determines whether or not the degree of circularity is less than the threshold Th2, that is, whether the region of interest is a diagnosis ineligible region with blurring (S220).
  • the classification unit 120 performs classification processing on the lesion indicated by the region of interest (S124).
  • the output unit 122 outputs the result of the classification process (S126).
  • the diagnostic imaging support system 200 when the specular reflection region of the region of interest is blurred, it is determined that the region of interest is a disqualified region not suitable for diagnosis. Thereby, even if it is an endoscopic image in which blurring etc. exist in the area
  • FIG. 8 is a block diagram showing the function and configuration of an image diagnosis support system 300 according to the third embodiment.
  • FIG. 8 corresponds to FIG. 1 of the first embodiment.
  • the main difference from the first embodiment is that it determines whether the region of interest does not blur but has blurring, and determines that the region of interest is a diagnostic ineligible region if blurring is involved.
  • differences from the image diagnosis support system 100 according to the first embodiment will be mainly described.
  • the image diagnosis support system 300 includes an image input unit 110, a region of interest detection unit 112, a specification unit 114, a direction frequency analysis unit 316, a determination unit 318, a classification unit 120, and an output unit 122.
  • the direction frequency analysis unit 316 first extracts an edge from each of the specular reflection region and the non-specular reflection region of the region of interest. Subsequently, the direction frequency analysis unit 316 extracts a line segment from the extracted edge. For extraction of line segments, known techniques such as Hough transform may be used. The Line Segment Detector may be used to extract an edge and extract a line segment.
  • the direction frequency analysis unit 316 analyzes the extracted direction line segment based on the direction. Specifically, for each of the specular reflection area and the non-specular reflection area, the direction frequency analysis unit 316 divides each of the extracted direction line segments by 180 degrees by M equally divided by ⁇ degrees (for example, 180 degrees at 15 degrees intervals). Classify into 12 equally divided angle ranges, integrate the length of the direction segment for each angle range, and create a histogram (frequency distribution) of the direction segments. The direction frequency analysis unit 316 sets, for each of the specular reflection area and the non-specular reflection area, the angle range with the largest integrated value as the main direction of the direction line segment.
  • the determination unit 318 determines that the region of interest is blurred, that is, If it does not match, it is determined that the region of interest is not blurred, that is, the region of interest is not a diagnostic ineligible region. In addition, in consideration of the error, the determination unit 318 may also consider the case where the angle range that is the main direction of the directional line segment of the specular reflection area is adjacent to the angular range that is the main direction of the directional line segment of the non-specular reflection area. The main directions may be the same.
  • FIG. 9 is a flowchart showing an example of a series of processes in the image diagnosis support system 300. The differences from FIG. 5 will be mainly described.
  • the direction frequency analysis unit 316 extracts edges from each of the specular reflection region and the non-specular reflection region of the region of interest, and identifies the main directions of the edges of the specular reflection region and the non-specular reflection region (S318).
  • the determination unit 118 determines whether or not the main direction of the specular reflection area matches the main direction of the non-specular reflection area, that is, whether the region of interest is a diagnosis ineligible area with blurring (S320).
  • the classification unit 120 performs classification processing on the lesion indicated by the region of interest (S124).
  • the output unit 122 outputs the result of the classification process (S126).
  • the diagnostic imaging support system 100 when the specular reflection region of the region of interest is blurred, it is determined that the region of interest is a disqualified region not suitable for diagnosis. . Thereby, even if it is an endoscopic image in which blurring etc. exist in the area
  • the diagnostic imaging support system 100 supports the diagnosis of a lesion using an endoscopic image captured by a medical endoscope
  • the present invention is not limited to this.
  • the image diagnosis support system 100 can also be applied, for example, in the case of supporting a flaw inspection or the like of a metal surface using an endoscope image captured by an industrial endoscope. For example, when determining the degree of damage of a wound, a region of interest which is a wound candidate region is detected from an endoscopic image, specular reflection regions and non-specular reflection regions of the region of interest are identified, and edges are extracted from the non-specular reflection region.
  • Extract calculate the amount of blurring of the edge, determine whether the region of interest is a diagnosis ineligible area with blurring based on the amount of blurring, and if not a diagnosis ineligible area, classify the damage degree of the wound
  • a classification process may be performed to output the classification result, and if the area is a diagnosis non-qualified area, the region of interest may be output that the area is a diagnosis non-eligibility area without performing the classification process.
  • the methods of the first to third embodiments may be arbitrarily combined with each other to determine whether the region of interest is a diagnostic non-qualified region.
  • any two of the methods of the first to third embodiments may be combined.
  • the region of interest may be determined to be a diagnosis ineligible region, or two methods cause the region of interest to be diagnostic ineligible. If determined to be present, the region of interest may be determined as a diagnostic non-qualified region.
  • the region of interest may be determined as a diagnosis non-compliance region by at least one technique, or two or more techniques cause the region of interest to be nondiagnostic.
  • the region of interest may be determined as a diagnostic non-eligible region when it is determined to be a qualified region, or the region of interest is diagnosed when it is determined by three methods that a region of interest is a diagnostic non-eligible region. It may be determined as an ineligible area.
  • a system of learning and identification may be used by using a support vector machine (SVM) with the above-described feature quantity as a component of a vector.
  • SVM support vector machine
  • the present invention is not limited to this, and a configuration without the classification unit 120 may be considered.
  • the reader determines whether the lesion indicated by the region of interest is benign or malignant. If the region of interest is a diagnosis ineligible region, the output unit 122 may display that effect on the image reader.
  • the present invention relates to an image diagnosis support system and an image diagnosis support method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

画像診断支援システム１００は、画像の入力を受け付ける画像入力部１１０と、画像中の関心領域における鏡面反射領域と非鏡面反射領域とを特定する特定部１１４と、鏡面反射領域および非鏡面反射領域の少なくとも一方に対する画像処理結果に基づいて、関心領域が診断に不適格な不適格領域であるか否かを判定する判定部１１８と、を備える。

Description

画像診断支援システムおよび画像診断支援方法
　本発明は、画像診断支援システムおよび画像診断支援方法に関する。
　内視鏡画像の診断を支援する装置が知られている。従来では、内視鏡画像がボケを伴う場合に、その内視鏡画像を処理対象から除外する技術が提案されている（例えば特許文献１）。
特開２００６－１２２５０２号公報
S. Zhou、T. Sim、「Defocus Map Estimation From a Single Image」、Pattern Recognition、Vol.44、No.9、pp.1852-1858、(2011)
　しかしながら、内視鏡では局所的にボケやブレが発生しうるため、内視鏡画像としてはボケやブレを伴っていても、診断すべき関心領域はボケやブレを伴っていない場合もある。この場合、少なくともその関心領域は診断対象とすべきである。
　本発明はこうした状況に鑑みなされたものであり、その目的は、診断対象を好適に判定できる画像診断支援技術を提供することにある。
　上記課題を解決するために、本発明のある態様の画像診断支援システムは、画像の入力を受け付ける入力部と、画像中の関心領域における鏡面反射領域と非鏡面反射領域とを特定する特定部と、鏡面反射領域および非鏡面反射領域の少なくとも一方に対する画像処理結果に基づいて、関心領域が診断に不適格な不適格領域であるか否かを判定する判定部と、を備える。
　本発明の別の態様は、画像診断支援方法である。この方法は、画像の入力を受け付けるステップと、画像中の関心領域における鏡面反射領域および非鏡面反射領域の少なくとも一方に対する画像処理結果に基づいて、関心領域が診断に不適格な不適格領域であるか否かを判定するステップと、を含む。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、診断対象を好適に判定できる画像診断支援技術を提供できる。
第１の実施の形態に係る画像診断支援システムの機能および構成を示すブロック図である。 Ｆａｓｔｅｒ　Ｒ－ＣＮＮの概略構成図を示す図である。 Ｆａｓｔｅｒ　Ｒ－ＣＮＮの学習手順を示す図である。 ＣＮＮの概略処理構成を示す図である。 第１の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。 第２の実施の形態に係る画像診断支援システムの機能および構成を示すブロック図である。 第２の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。 第３の実施の形態に係る画像診断支援システムの機能および構成を示すブロック図である。 第３の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。
（第１の実施の形態）
　図１は、第１の実施の形態に係る画像診断支援システム１００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵ（central processing unit）をはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。後述の図６、８についても同様である。
　画像診断支援システム１００は、内視鏡画像を用いた病変の診断を支援する。なお、内視鏡画像は例えば、スコープを体内に挿入する従来型の内視鏡やカプセル内視鏡により撮影される。
　画像診断支援システム１００は、画像入力部１１０と、関心領域検出部１１２と、特定部１１４と、ボケ量算出部１１６と、判定部１１８と、分類部１２０と、出力部１２２と、を備える。
　画像入力部１１０は、ユーザまたは他の装置から、内視鏡画像の入力を受け付ける。関心領域検出部１１２は、画像入力部１１０が受け付けた内視鏡画像に対して、病変候補領域である関心領域を検出する検出処理を実行する。内視鏡画像によっては、関心領域が検出されない場合もあれば、１つまたは複数の関心領域が検出される場合もある。なお、関心領域検出部１１２は、コンボリューショナルニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）により、関心領域の検出処理を実行する。これについては後述する。
　特定部１１４は、関心領域検出部１１２により内視鏡画像中に関心領域が検出された場合、その関心領域における鏡面反射領域と非鏡面反射領域とを特定する。なお、内視鏡は、通常、光源、被写体、および受光素子の位置が近接しているため、鏡面反射の発生頻度が比較的高いという特殊性がある。具体的には特定部１１４は、関心領域のうち、明るさを表す画素値が所定のしきい値以上の画素またはその集まりを鏡面反射領域として特定し、所定値未満の画素またはその集まりを非鏡面反射領域として特定する。この際、特定部１１４は、必要に応じて膨張、収縮処理を実施してもよい。
　ボケ量算出部１１６は、非鏡面反射領域のボケ量を算出する。ボケ量算出部１１６は、、関心領域が複数ある場合は、関心領域ごとに非鏡面反射領域のボケ量を算出する。
　ボケ量算出部１１６は、まず、非鏡面反射領域からエッジ（すなわち輝度の変化点）を抽出する。なお、エッジの抽出には、たとえばＣａｎｎｙ　Ｅｄｇｅ　Ｄｅｔｅｃｔｏｒなどの公知の技術を使用すればよい。
　続いてボケ量算出部１１６は、抽出したエッジの各画素のボケ量を算出する。ボケ量の算出には、公知の手法を用いることができる。本実施の形態のボケ量算出部１１６は、非特許文献１に記載の手法を用いてボケ量を算出する。すなわち、ボケ量算出部１１６は、ボケ量（σ）を以下の式（１）で算出する。
Figure JPOXMLDOC01-appb-M000001
 　ここで
　σ０：ガウシアンフィルターを作用させることにより付加される少量のボケを表すガウシアンカーネルの標準偏差
　Ｒ：少量のボケを付加する前と後のエッジの勾配の比の最大値
　である。
　この手法は、エッジの勾配が比較的急すなわち比較的ボケていない場合、少量のボケを付加したときのエッジの勾配のなまり方は大きく、したがってボケを付加する前と後のエッジの勾配の比の最大値が大きいのに対し、エッジの勾配が比較的緩やかすなわち比較的ボケている場合、少量のボケを付加したときのエッジの勾配のなまり方は小さく、したがってボケを付加する前と後のエッジの勾配の比の最大値が小さい、という違いを利用した方法と解釈できる。
　ボケ量算出部１１６はさらに、算出された各画素のボケ量の平均値を算出し、その平均値をその非鏡面反射領域のボケ量とする。
　判定部１１８は、本実施の形態では、関心領域の非鏡面反射領域に対する画像処理結果に基づいて、すなわち非鏡面反射領域のボケ量に基づいて、関心領域がボケを伴う診断不適格領域であるか否かを判定する。判定部１１８は、関心領域が複数ある場合は、関心領域ごとにボケを伴う診断不適格領域であるか否かを判定する。
　具体的には判定部１１８は、ボケ量算出部１１６によって算出されたボケ量が閾値Ｔｈ１より大きいか否かを判定する。判定部１１８は、ボケ量が閾値Ｔｈ１より大きい場合、関心領域がボケているすなわち関心領域が診断不適格領域であると判定し、ボケ量が閾値Ｔｈ１以下である場合、関心領域がボケていないすなわち関心領域が診断不適格領域ではないと判定する。
　分類部１２０は、内視鏡画像中の関心領域が示す病変が良性であるか悪性であるかを分類（鑑別）する分類処理を実行する。本実施の形態の分類部１２０は、判定部１１８により関心領域が診断不適格領域ではないと判定された場合に分類処理を実行し、判定部１１８により関心領域が診断不適格領域であると判定された場合は分類処理を実行しない。なお、分類部１２０は、コンボリューショナルニューラルネットワークによる分類処理を実行する。これについては後述する。
　出力部１２２は、分類部１２０による処理結果を、例えばディスプレイに出力する。関心領域が診断不適格領域ではなく、分類部１２０によりその関心領域の分類処理が実行された場合、出力部１２２は、分類処理の処理結果、すなわち関心領域が示す病変が良性であるか悪性であるかを示す分類（鑑別）結果を出力する。また、関心領域が診断不適格領域であり、分類部１２０による分類処理が実行されなかった場合、出力部１２２は、関心領域が診断不適格領域であることを出力する。
　なお分類部１２０は、判定部１１８による判定結果にかかわらずすなわち関心領域が診断不適格領域であるか否かにかかわらず分類処理を実行し、出力部１２２は、関心領域が診断不適格領域ではない場合に分類結果を出力してもよい。
　以上が、画像診断支援システム１００の基本的な構成である。
　続いて、ＣＮＮによる関心領域の検出処理について説明する。ここでは、病変がポリープである場合について説明する。ポリープ画像と正常画像を用いて検出用ＣＮＮを予め学習させておく。学習後、検出用ＣＮＮに画像を入力すると、ポリープ候補領域が検出される。画像中から１箇所も検出されない場合には、その画像は正常画像と識別されたことになる。
　以下、検出用ＣＮＮとして、Ｆａｓｔｅｒ　Ｒ－ＣＮＮを用いる場合について説明する。Ｆａｓｔｅｒ　Ｒ－ＣＮＮは画像から候補枠（矩形）を検出するＲｅｇｉｏｎ　Ｐｒｏｐｏｓａｌ　Ｎｅｔｗｏｒｋ（ＲＰＮ）と候補枠が検出対象であるかを精査するＦａｓｔ　Ｒ－ＣＮＮ（ＦＲＣＮＮ）の２つのＣＮＮで構成されている。両者が特徴量抽出用ＣＮＮを共有することで高速な検出処理を実現している。
　図２は、Ｆａｓｔｅｒ　Ｒ－ＣＮＮの概略構成図を示す。まず、図２の（ａ）においてで示される特徴量抽出用ＣＮＮに画像を入力する。複数回の畳み込み演算、プーリング演算が行われた後に、特徴マップが出力される。特徴量抽出用ＣＮＮにはＡｌｅｘＮｅｔ、ＶＧＧ－１６、ＧｏｏｇＬｅＮｅｔ、Ｎｅｔｗｏｒｋ　ｉｎ　Ｎｅｔｗｏｒｋなどの任意のネットワーク構造を使用できる。入力画像のサイズは横幅Ｗ、縦幅Ｈ、チャンネル数３（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）とする。出力される特徴マップのサイズは用いたネットワーク構造に依存し、例えばＶＧＧ－１６の場合は横幅Ｗ／１６、縦幅Ｈ／１６、チャンネル数５１２となる。以下、特に断りがない場合はＶＧＧ－１６を用いたものとして説明する。なお、ここで用いるＶＧＧ－１６は、図４で後述するように全結合層の手前までで構成されている。全結合層も含めたＶＧＧ－１６については、後述の分類用ＣＮＮで説明する。
　次に、特徴マップを候補枠検出用ＣＮＮに入力する。候補枠検出用ＣＮＮは、図２の（ｂ）において示される３層のＣＮＮであり、ＲＰＮ枠変動量マップ出力用畳み込み層とＲＰＮスコアマップ出力用畳み込み層をもつ。ＲＰＮ枠変動量マップとＲＰＮスコアマップは、横幅Ｗ／１６、縦幅Ｈ／１６、チャンネル数はそれぞれ４×Ａ、２×Ａの大きさをもつ。Aはアンカー数であり、アンカーは候補枠の形状（縦横比、スケール）を表す。
　枠変動量マップとスコアマップの空間方向における位置が元の入力画像の位置に対応しており、チャンネル方向に各アンカーの枠変動量（ｘ，ｙ方向それぞれの枠中心移動量、枠幅拡大量）およびスコア（ポリープスコアと背景スコア）をもつ。枠変動量マップおよびスコアマップから候補枠の座標値とポリープらしさを表すＲＰＮスコアが算出される。
　次に、特徴マップと算出した候補枠の座標値を図２の（ｃ）において示されるＲＯＩ　Ｐｏｏｌｉｎｇ層に入力し、候補枠ごとの特徴マップの切り出しとＭａｘ　Ｐｏｏｌｉｎｇ（前層の２×２の出力の中の最大値を選択するサブサンプリング）によるリサイズを行う。出力される候補枠ごとの特徴マップは、横幅７、縦幅７、チャンネル数５１２のサイズとなる。
　次に、切り出された特徴マップを候補枠分類用Ｆｕｌｌ　Ｃｏｎｎｅｃｔ（ＦＣ）層に入力する。候補枠分類用ＦＣ層は、図２の（ｄ）において示される４層のＦＣ層であり、ＦＲＣＮＮ枠変動量マップ出力用ＦＣ層とＦＲＣＮＮスコアマップ出力用ＦＣ層をもつ。ＦＲＣＮＮ枠変動量マップとＦＲＣＮＮスコアマップは、横幅１、縦幅１、切り出されたマップ数Ｍ、チャンネル数はそれぞれ４（ｘ，ｙ方向それぞれの枠中心移動量、枠幅拡大量）×Ａ、２（ポリープスコアと背景スコア）×Ａの大きさをもつ。最終的な検出枠の座標値とポリープらしさを表すＦＲＣＮＮスコアは候補枠検出用ＣＮＮと同様にして算出される。
　図３は、Ｆａｓｔｅｒ　Ｒ－ＣＮＮの学習手順を示す。ＲＰＮとＦＲＣＮＮを１回ずつ学習した後に、特徴量抽出用ＣＮＮを固定してもう１回ずつＲＰＮとＦＲＣＮＮを学習することで、特徴量抽出用ＣＮＮを共有したネットワークを構築する。まず、Ｓ５０１で学習画像と検出対象となるポリープの正解マスク画像（ポリープ領域、背景領域を塗り分けた画像）を入力する。
　次に、Ｓ５０２で正解マスク画像からＲＰＮ学習用の正解ラベルマップと正解枠変動量マップを作成する。正解枠変動量マップと正解ラベルマップは、横幅Ｗ／１６、縦幅Ｈ／１６、チャンネル数はそれぞれ4（ｘ，ｙ方向それぞれの枠中心移動量、枠幅拡大量）×Ａ、１（ラベル）×Ａの大きさをもつ。マップの各点が対応する候補枠の座標値と正解マスク画像との重複度が例えば、５０％以上の場合はラベル＝０（ポリープ）、０％以上５０％未満の場合はラベル＝１（背景）を正解ラベルマップに格納する。ラベル＝０（ポリープ）の場合は、候補枠から正解マスク画像のポリープ領域に外接する矩形への変動量を正解枠変動量マップに格納する。
　次に、Ｓ５０３で学習画像と作成された正解ラベルマップ、正解枠変動量マップを基に１回目のＲＰＮの学習を行う。最適化対象は特徴量抽出用ＣＮＮと候補枠検出用ＣＮＮの両方とする。正解ラベルマップとＲＰＮスコアマップのＳｏｆｔｍａｘ交差エントロピーと、正解枠変動量マップと枠変動量マップのＳｍｏｏｔｈ　Ｌ１　Ｌｏｓｓを重み付けして加えたものをｌｏｓｓ関数とする。最適化には確率的勾配降下法（ＳＧＤ：Ｓｔｏｃｈａｓｔｉｃ　Ｇｒａｄｉｅｎｔ　Ｄｅｓｃｅｎｔ）を用いる。
　次に、Ｓ５０４で、構築されたＲＰＮを学習画像に適用し、ポリープ候補枠とポリープらしさを表すＲＰＮスコアを算出する。そして、Ｓ５０５で、検出された候補枠と正解枠マスク画像からＦＲＣＮＮ学習用の正解ラベルマップと正解枠変動量マップを作成する。正解枠変動量マップと正解ラベルマップは、横幅Ｗ／１６、縦幅Ｈ／１６、出力候補枠数M、チャンネル数はそれぞれ４（ｘ，ｙ方向それぞれの枠中心移動量、枠幅拡大量）×Ａ、１（ラベル）×Ａの大きさをもつ。検出された候補枠の座標値と正解マスク画像との重複度が例えば、５０％以上の場合は、ラベル＝０（ポリープ）、０％より大きく５０％未満の場合はラベル＝１（背景）とする。ラベル＝０（ポリープ）の場合は候補枠から正解マスク画像のポリープ領域に外接する矩形への変動量を正解枠変動量マップに格納する。
　次に、Ｓ５０６で、学習画像と作成された正解ラベルマップ、正解枠変動量マップを基に１回目のＦＲＣＮＮの学習を行う。最適化対象は特徴量抽出用ＣＮＮと候補枠分類用ＦＣ層の両方とする。ｌｏｓｓ関数、最適化手法はＲＰＮと同じものを用いる。
　次に、１回目のＲＰＮの学習に用いたものと同様の正解ラベルマップ、正解枠変動量マップを基にＳ５０７で２回目のＲＰＮの学習を行う。特徴量抽出用ＣＮＮは１回目のＦＲＣＮＮの学習結果で固定し、候補枠検出用ＣＮＮだけを最適化対象とする。
　次に、Ｓ５０８で、学習されたＲＰＮを学習画像に適用し、ポリープ候補枠とポリープらしさを表すＲＰＮスコアを算出する。そして、Ｓ５０９で、検出された候補枠と正解枠データから１回目と同様にＦＲＣＮＮ学習用の正解ラベルマップと正解枠変動量マップを作成する。
　最後に、Ｓ５１０で、学習画像と作成された正解ラベルマップ、正解枠変動量マップを基に2回目のＦＲＣＮＮの学習を行う。特徴量抽出用ＣＮＮは１回目のＦＲＣＮＮの学習結果で固定し、候補枠分類用ＦＣ層だけを最適化対象とする。
　以上、Ｆａｓｔｅｒ　Ｒ－ＣＮＮを例にポリープの検出処理を説明した。
　続いて、ＣＮＮによる分類（鑑別）処理について説明する。まず、良性のポリープと悪性のポリープを用いて分類用ＣＮＮを学習させておく。次に、ポリープ領域が検出された場合には、分類用ＣＮＮに領域が入力され、良性のポリープか悪性のポリープに識別される。なお、良性と悪性の２分類とは限らない。例えば、大腸ポリープにおけるＮＩＣＥ分類では、良性から悪性の順にＴｙｐｅ１、Ｔｙｐｅ２、Ｔｙｐｅ３に分かれている。
　以下、ポリープの悪性度鑑別を行うための分類用ＣＮＮについて説明する。
　図４は、ＣＮＮの概略処理構成を示す。６０５はＣＮＮ、６０５－Ｃはコンボリューション層、６０５－Ｐはプーリング層、６０５－ＦＣは全結合層、６０５－Ｄは内視鏡画像データベース（ＤＢ）である。なお、図４では、コンボリューション層６０５－Ｃとプーリング層６０５－Ｐを３回繰り返す例を示しているが、繰り返し回数は特に限定されない。また、全結合層６０５－ＦＣが２層である例を示しているが、層の数が特に限定されない。また、コンボリューション層の中には、コンボリューション処理後に非線形関数（ＲｅＬＵ）を施す処理が入っている。
　ＣＮＮとしてここでは、ＶＧＧ－１６を用いて説明する。
ＶＧＧ－１６では、３×３のサイズのコンボリューションフィルターが用いられ、入力画像とのコンボリューション結果を非線形関数ReLUに適用する。コンボリューション層を２層または３層続けた後、ＭａｘＰｏｏｌｉｎｇが用いられている。ＶＧＧ－１６では、コンボリューション層を13層、ＭａｘＰｏｏｌｉｎｇを５回用いて、最後は、３層の全結合層へと繋がっている。
　次に、ＣＮＮの学習方法について説明する。まず、消化器内視鏡の学習データを準備する。例えば、ＮＩＣＥ分類のＴｙｐｅ１、Ｔｙｐｅ２、Ｔｙｐｅ３等を画像にラベル付けし、画像とラベルのセットを学習データセットと呼ぶことにする。ここで、画像としては、NBI画像または通常光の画像を用いる。
　この学習データセットが、数万枚程度あれば、ＶＧＧ－１６ネットワークを直接、学習させても良いが、それより少ない場合には、ＩｍａｇｅＮｅｔのような大規模画像ＤＢを用いてプレトレーニング済みのＶＧＧ－１６ネットワークに対して、消化器内視鏡画像データセットを用いてファインチューニング（転移学習の一種）させても良い。
　画像が入力されてコンボリューションとプーリングの結果が信号として伝播していき、出力層の信号と入力画像に対応するラベルに基づいた教師信号との差が算出され、この誤差が逆方向に伝播していき、誤差が小さくなるように各層の重みが、上述したＳＧＤ（確率的最急降下法）等を用いて更新される。学習が完了すると、各層の重みが固定される。
　テスト時に未知の画像が入力されると、ＣＮＮを信号が伝播していき、出力層で出力される信号値を基に、画像が分類される。例えば、ポリープのＮＩＣＥ分類では、Ｔｙｐｅ１、Ｔｙｐｅ２、Ｔｙｐｅ３の出力信号の内の最大の値が出力されるラベルを推定結果とする。
　以上、分類用ＣＮＮの処理を説明した。
　なお、検出用ＣＮＮと分類用ＣＮＮを２つ別々に用意する例を説明したが、検出と分類を同時に行う構成であっても良く、Ｆａｓｔｅｒ　Ｒ－ＣＮＮには、検出及び分類（鑑別）が１つのネットワークで可能な構成として提案されているので、そのような構成にして用いても良い。この場合、関心領域が診断不適格領域であるか否か判定する前に、関心領域が示す病変が良性であるか悪性であるかを分類する分類処理が実行されることになる。
　続いて、以上のように構成された画像診断支援システム１００の動作を説明する。
　図５は、画像診断支援システム１００における一連の処理の一例を示すフローチャートである。画像入力部１１０は、内視鏡画像の入力を受け付ける（Ｓ１１０）。関心領域検出部１１２は、内視鏡画像に対して、関心領域を検出する検出処理を実行する（Ｓ１１２）。関心領域が検出された場合、すなわち内視鏡画像中に関心領域が存在する場合（Ｓ１１４のＹ）、関心領域における鏡面反射領域と非鏡面反射領域とを特定する（Ｓ１１６）。ボケ量算出部１１６は、非鏡面反射領域のボケ量を算出する（Ｓ１１８）。判定部１１８は、ボケ量が閾値Ｔｈ１より大きいか否か、すなわち、関心領域がボケを伴う診断不適格領域であるか否かを判定する（Ｓ１２０）。ボケ量が閾値Ｔｈ１より大きいすなわち関心領域がボケを伴う診断不適格領域である場合（Ｓ１２０のＹ）、分類処理は実行されず、出力部１２２は関心領域がボケを伴う診断不適格領域である旨を出力する（Ｓ１２２）。ボケ量が閾値Ｔｈ１以下すなわち関心領域が診断不適格領域ではない場合（Ｓ１２０のＮ）、分類部１２０はその関心領域が示す病変について分類処理を実行する（Ｓ１２４）。出力部１２２は、分類処理の結果を出力する（Ｓ１２６）。関心領域が検出されなかった場合（Ｓ１１４のＮ）、Ｓ１１６～Ｓ１２６をスキップして処理を終了する。
　以上説明した第１の実施の形態に係る画像診断支援システム１００によると、関心領域の非鏡面反射領域がボケている場合に、その関心領域が診断に不適格な不適格領域であると判定される。これにより、関心領域とは無関係の領域にボケ等が存在する内視鏡画像であっても、その内視鏡画像が診断対象とされる。
（第２の実施の形態）
　図６は、第２の実施の形態に係る画像診断支援システム２００の機能および構成を示すブロック図である。図６は、第１の実施の形態の図１に対応する。第１の実施の形態との主な違いは、関心領域がボケではなくブレを伴うか否かを判定し、ブレを伴う場合に関心領域が診断不適格領域であると判定する点である。以下、第１の実施の形態に係る画像診断支援システム１００との相違点を中心に説明する。
　画像診断支援システム２００は、画像入力部１１０と、関心領域検出部１１２と、特定部１１４と、円形度算出部２１６と、判定部１１８と、分類部１２０と、出力部１２２と、を備える。
　円形度算出部２１６は、まず、関心領域の鏡面反射領域に対して連結処理を施す。連結処理は、連続した鏡面反射領域をひとまとまりの塊とみなしてラベリング処理を行うことで或る。
　続いて円形度算出部２１６は、各連結領域の円形度（Ｃ）を以下の式（２）で算出する。
Figure JPOXMLDOC01-appb-M000002
 　ここで
　Ｓ：鏡面反射領域の面積
　Ｌ：鏡面反射領域の周囲長
　である。
　円形度算出部２１６はさらに、各連結領域の円形度のうちの最大の円形度を、鏡面反射領域の円形度とする。
　本実施の形態の判定部１１８は、関心領域の鏡面反射領域に対する画像処理結果に基づいて、すなわち鏡面反射領域の円形度に基づいて、関心領域がブレを伴う診断不適格領域であるか否かを判定する。ここで、鏡面反射領域は通常、ブレていない場合はその形状は円形に近く、したがって円形度は１に近い値となり、ブレている場合はその形状は楕円や線分に近く、したがって円形度は１よりも小さい値となる。そこでブレているか否かを判定するための閾値Ｔｈ２に１未満の値を設定する。判定部１１８は、鏡面反射領域の円形度がこの閾値Ｔｈ２未満である場合、関心領域がブレている、すなわち関心領域が診断不適格領域であると判定し、円形度が閾値Ｔｈ２以上の場合、関心領域がブレていない、すなわち関心領域が診断不適格領域ではないと判定する。
　第２の実施の形態に係る画像診断支援システム２００の動作を説明する。
　図７は、画像診断支援システム２００における一連の処理の一例を示すフローチャートである。図５との相違点を中心に説明する。円形度算出部２１６は、鏡面反射領域の円形度を算出する（Ｓ２１８）。判定部１１８は、円形度が閾値Ｔｈ２未満であるか否か、すなわち、関心領域がブレを伴う診断不適格領域であるか否かを判定する（Ｓ２２０）。円形度が閾値Ｔｈ２未満すなわち関心領域がブレを伴う診断不適格領域である場合（Ｓ２２０のＹ）、分類処理は実行されず、出力部１２２は関心領域がブレを伴う診断不適格領域である旨を出力する（Ｓ２２２）。円形度が閾値Ｔｈ２以上すなわち関心領域が診断不適格領域ではない場合（Ｓ２２０のＮ）、分類部１２０はその関心領域が示す病変について分類処理を実行する（Ｓ１２４）。出力部１２２は、分類処理の結果を出力する（Ｓ１２６）。
　以上説明した第２実施の形態に係る画像診断支援システム２００によると、関心領域の鏡面反射領域がブレている場合に、その関心領域が診断に不適格な不適格領域であると判定される。これにより、関心領域とは無関係の領域にブレ等が存在する内視鏡画像であっても、その内視鏡画像が診断対象とされる。
（第３の実施の形態）
　図８は、第３の実施の形態に係る画像診断支援システム３００の機能および構成を示すブロック図である。図８は、第１の実施の形態の図１に対応する。第１の実施の形態との主な違いは、関心領域がボケではなくブレを伴うか否かを判定し、ブレを伴う場合に関心領域が診断不適格領域であると判定する点である。以下、第１の実施の形態に係る画像診断支援システム１００との相違点を中心に説明する。
　画像診断支援システム３００は、画像入力部１１０と、関心領域検出部１１２と、特定部１１４と、方向頻度解析部３１６と、判定部３１８と、分類部１２０と、出力部１２２と、を備える。
　方向頻度解析部３１６は、まず、関心領域の鏡面反射領域および非鏡面反射領域のそれぞれからエッジを抽出する。続いて方向頻度解析部３１６は、抽出されたエッジから線分を抽出する。線分の抽出には、たとえばＨｏｕｇｈ変換などの公知の技術が使用すればよい。なお、Ｌｉｎｅ　Ｓｅｇｍｅｎｔ　Ｄｅｔｅｃｔｏｒを使用して、エッジの抽出および線分の抽出をしてもよい。
　方向頻度解析部３１６は、抽出された方向線分を方向に基づいて解析する。具体的には方向頻度解析部３１６は、鏡面反射領域および非鏡面反射領域のそれぞれについて、抽出された各方向線分を１８０度をθ度間隔でＭ等分（例えば１８０度を１５度間隔で１２等分）した角度範囲に分類し、角度範囲ごとに方向線分の長さを積算し、方向線分のヒストグラム（頻度分布）を作成する。方向頻度解析部３１６は、鏡面反射領域および非鏡面反射領域のそれぞれについて、積算値が最も大きい角度範囲を方向線分の主方向とする。
　判定部３１８は、鏡面反射領域の方向線分の主方向と、非鏡面反射領域の方向線分の主方向とが一致する場合、関心領域がブレている、すなわち関心領域が診断不適格領域であると判定し、一致しない場合、関心領域がブレていない、すなわち関心領域が診断不適格領域ではないと判定する。なお、判定部３１８は、誤差を考慮して、鏡面反射領域の方向線分の主方向である角度範囲と、非鏡面反射領域の方向線分の主方向である角度範囲とが隣接する場合も、主方向が一致しているとしてもよい。
　第３の実施の形態に係る画像診断支援システム３００の動作を説明する。図９は、画像診断支援システム３００における一連の処理の一例を示すフローチャートである。図５との相違点を中心に説明する。方向頻度解析部３１６は、関心領域の鏡面反射領域および非鏡面反射領域のそれぞれからエッジを抽出して、鏡面反射領域および非鏡面反射領域のそれぞれのエッジの主方向を特定する（Ｓ３１８）。判定部１１８は、鏡面反射領域の主方向と非鏡面反射領域の主方向が一致するか否か、すなわち関心領域がブレを伴う診断不適格領域であるか否かを判定する（Ｓ３２０）。主方向が一致するすなわち関心領域がブレを伴う診断不適格領域である場合（Ｓ３２０のＹ）、分類処理は実行されず、出力部１２２は関心領域がブレを伴う診断不適格領域である旨を出力する（Ｓ２２２）。主方向が一致しないすなわち関心領域が診断不適格領域ではない場合（Ｓ３２０のＮ）、分類部１２０はその関心領域が示す病変について分類処理を実行する（Ｓ１２４）。出力部１２２は、分類処理の結果を出力する（Ｓ１２６）。
　以上説明した第３の実施の形態に係る画像診断支援システム１００によると、関心領域の鏡面反射領域がブレている場合に、その関心領域が診断に不適格な不適格領域であると判定される。これにより、関心領域とは無関係な領域にブレ等が存在する内視鏡画像であっても、その内視鏡画像が診断対象とされる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
（第１の変形例）
　実施の形態では、画像診断支援システム１００が医療用の内視鏡により撮影された内視鏡画像を用いた病変の診断を支援する場合について説明したが、これに限られない。画像診断支援システム１００は、例えば、工業用の内視鏡により撮影された内視鏡画像を用いた金属表面の傷検査等を支援する場合にも適用できる。例えば、傷の損傷度合いを見極める場合に、内視鏡画像から傷候補領域である関心領域を検出し、関心領域の鏡面反射領域と非鏡面反射領域とを特定し、非鏡面反射領域からエッジを抽出し、エッジのボケ量を算出し、関心領域がボケを伴う診断不適格領域であるか否かをボケ量に基づいて判定し、診断不適格領域ではない場合は傷の損傷度合いを分類する分類処理を実行してその分類結果を出力し、診断不適格領域である場合は分類処理を実行せずに、その関心領域が診断不適格領域であることを出力してもよい。
（第２の変形例）
　関心領域が診断不適格領域であるか否かの判定について、第１～第３の実施の形態の手法を任意に組み合わせてもよい。
　例えば、第１～第３の実施の形態の手法のうちの任意の２つの手法を組み合わせてもよい。この場合、少なくとも１つの手法により関心領域が診断不適格領域であると判定された場合にその関心領域を診断不適格領域と決定してもよいし、２つの手法により関心領域が診断不適格であると判定された場合にその関心領域を診断不適格領域と決定してもよい。
　また例えば、第１～第３の実施の形態の手法をすべて組み合わせてもよい。この場合、少なくとも１つの手法により関心領域が診断不適格領域であると判定された場合にその関心領域を診断不適格領域と決定してもよいし、２つ以上の手法により関心領域が診断不適格領域であると判定された場合にその関心領域を診断不適格領域と決定してもよいし、３つの手法により関心領域が診断不適格領域であると判定された場合にその関心領域を診断不適格領域と決定してもよい。
（第３の変形例）
　関心領域のボケ量とブレ量を特徴量として算出し、それらを組み合わせて評価することにより、関心領域が診断不適格領域であるか否かを判定してもよい。ブレ量としては、例えば、第２の実施の形態の円形度、第３の実施の形態のヒストグラムから算出される分散、第３の実施の形態の方向線分の主方向から算出される主方向の一致度、が挙げられる。
　また、上述した特徴量をベクトルの成分として、サポートベクトルマシン（ＳＶＭ）を用いて、学習、識別する系を用いてもよい。
（第４の変形例）
　実施の形態では、画像診断支援システム１００が分類部１２０を備える場合について説明したが、これに限られず、分類部１２０を備えない構成も考えられる。この場合、関心領域が示す病変が良性か悪性かを読影者が判定する。関心領域が診断不適格領域である場合、出力部１２２は、その旨を読影者に表示してもよい。
　１００　画像診断支援システム、　１１０　画像入力部、　１１４　特定部、　１１６　ボケ量算出部、　１１８　判定部。
　本発明は、画像診断支援システムおよび画像診断支援方法に関する。

Claims (13)

  1. 　画像の入力を受け付ける入力部と、
    　前記画像中の関心領域における鏡面反射領域と非鏡面反射領域とを特定する特定部と、
    　鏡面反射領域および非鏡面反射領域の少なくとも一方に対する画像処理結果に基づいて、前記関心領域が診断に不適格な不適格領域であるか否かを判定する判定部と、を備えることを特徴とする画像診断支援システム。
  2. 　前記判定部は、前記非鏡面反射領域に対する画像処理結果に基づいて、前記関心領域がボケを伴う不適格領域であるか否かを判定することを特徴とする請求項１に記載の画像診断支援システム。
  3. 　前記非鏡面反射領域のボケ量を算出するボケ量算出部をさらに備え、
    　前記判定部は、前記ボケ量算出部により算出されたボケ量に基づいて、前記関心領域がボケを伴う不適格領域であるか否かを判定することを特徴とする請求項２に記載の画像診断支援システム。
  4. 　前記ボケ量算出部は、ガウシアンフィルターを適用前の前記画像とガウシアンフィルターを適用後の前記画像とを用いて前記ボケ量を算出することを特徴とする請求項３に記載の画像診断支援システム。
  5. 　前記判定部は、前記鏡面反射領域に対する画像処理結果に基づいて、前記関心領域がブレを伴う不適格領域であるか否かを判定することを特徴とする請求項１に記載の画像診断支援システム。
  6. 　前記鏡面反射領域の前記鏡面反射領域の円形度を算出する円形度算出部をさらに備え、
    　前記判定部は、前記円形度算出部により算出された円形度に基づいて前記関心領域がブレを伴う不適格領域であるか否かを判定することを特徴とする請求項５に記載の画像診断支援システム。
  7. 　前記判定部は、前記鏡面反射領域に対する画像処理により検出されるエッジに基づいて特定される第１の方向と、前記非鏡面反射領域に対する画像処理により検出されるエッジに基づいて特定される第２の方向とが一致する場合、前記関心領域がブレを伴う不適格領域であると判定することを特徴とする請求項１に記載の画像診断支援システム。
  8. 　前記判定部により前記関心領域が不適格領域ではないと判定された場合に当該関心領域をその特徴量に基づいて分類する分類部と、
    　前記分類部による前記関心領域の分類結果を出力する出力部と、をさらに備えることを特徴とする請求項１から７のいずれかに記載の画像診断支援システム。
  9. 　前記関心領域をその特徴量に基づいて分類する分類部と、
    　前記判定部により前記関心領域が診断不適格領域ではないと判定された場合に前記分類部による前記関心領域の分類結果を出力する出力部と、をさらに備えることを特徴とする請求項１から７のいずれかに記載の画像診断支援システム。
  10. 　前記関心領域は、前記画像中の病変候補領域であり、
    　前記分類部は、前記病変候補領域の悪性度を分類することを特徴とする請求項８または９に記載の画像診断支援システム。
  11. 　前記分類部は、コンボリューショナルニューラルネットワークによる分類処理を実行することを特徴とする請求項８から１０のいずれかに記載の画像診断支援システム。
  12. 　画像の入力を受け付けるステップと、
    　前記画像中の関心領域における鏡面反射領域および非鏡面反射領域の少なくとも一方に対する画像処理結果に基づいて、前記関心領域が診断に不適格な不適格領域であるか否かを判定するステップと、を含むことを特徴とする画像診断支援方法。
  13. 　画像の入力を受け付ける機能と、
    　前記画像中の関心領域における鏡面反射領域および非鏡面反射領域の少なくとも一方に対する画像処理結果に基づいて、前記関心領域が診断に不適格な不適格領域であるか否かを判定する機能と、をコンピュータに実現させることを特徴とするプログラム。
PCT/JP2018/001053 2018-01-16 2018-01-16 画像診断支援システムおよび画像診断支援方法 WO2019142243A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2018/001053 WO2019142243A1 (ja) 2018-01-16 2018-01-16 画像診断支援システムおよび画像診断支援方法
US16/928,416 US20200342598A1 (en) 2018-01-16 2020-07-14 Image diagnosis support system and image diagnosis support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/001053 WO2019142243A1 (ja) 2018-01-16 2018-01-16 画像診断支援システムおよび画像診断支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/928,416 Continuation US20200342598A1 (en) 2018-01-16 2020-07-14 Image diagnosis support system and image diagnosis support method

Publications (1)

Publication Number Publication Date
WO2019142243A1 true WO2019142243A1 (ja) 2019-07-25

Family

ID=67300959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001053 WO2019142243A1 (ja) 2018-01-16 2018-01-16 画像診断支援システムおよび画像診断支援方法

Country Status (2)

Country Link
US (1) US20200342598A1 (ja)
WO (1) WO2019142243A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089710A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP2021058464A (ja) * 2019-10-08 2021-04-15 公立大学法人会津大学 大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラム
JP2021167991A (ja) * 2020-04-08 2021-10-21 Ａｒｉｔｈｍｅｒ株式会社 車両損傷推定装置、その推定プログラムおよびその推定方法
WO2022014017A1 (ja) * 2020-07-16 2022-01-20 オリンパス株式会社 医療システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020026349A1 (ja) 2018-07-31 2020-02-06 オリンパス株式会社 画像診断支援システムおよび画像診断支援装置
EP4316348A4 (en) * 2021-03-29 2024-05-01 Nec Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013120954A (ja) * 2011-12-06 2013-06-17 Canon Inc 寝顔認識装置
WO2013140667A1 (ja) * 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008391B1 (en) * 2013-10-22 2015-04-14 Eyenuk, Inc. Systems and methods for processing retinal images for screening of diseases or abnormalities
WO2017090166A1 (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013120954A (ja) * 2011-12-06 2013-06-17 Canon Inc 寝顔認識装置
WO2013140667A1 (ja) * 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2017199635A1 (ja) * 2016-05-18 2017-11-23 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020089710A (ja) * 2018-12-04 2020-06-11 Hoya株式会社 情報処理装置、内視鏡用プロセッサ、情報処理方法およびプログラム
JP2021058464A (ja) * 2019-10-08 2021-04-15 公立大学法人会津大学 大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラム
JP7315809B2 (ja) 2019-10-08 2023-07-27 公立大学法人会津大学 大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラム
JP2021167991A (ja) * 2020-04-08 2021-10-21 Ａｒｉｔｈｍｅｒ株式会社 車両損傷推定装置、その推定プログラムおよびその推定方法
JP6991519B2 (ja) 2020-04-08 2022-01-12 Ａｒｉｔｈｍｅｒ株式会社 車両損傷推定装置、その推定プログラムおよびその推定方法
WO2022014017A1 (ja) * 2020-07-16 2022-01-20 オリンパス株式会社 医療システム
JP7483008B2 (ja) 2020-07-16 2024-05-14 オリンパス株式会社 管理装置、検査画像評価方法、医療システム

Also Published As

Publication number Publication date
US20200342598A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
WO2019142243A1 (ja) 画像診断支援システムおよび画像診断支援方法
TWI823897B (zh) 用於診斷腸胃腫瘤的系統和方法
Rodrigues et al. Segmentation of optic disc and blood vessels in retinal images using wavelets, mathematical morphology and Hessian-based multi-scale filtering
Wang et al. Polyp-alert: Near real-time feedback during colonoscopy
US10963676B2 (en) Image processing method and apparatus
Billah et al. An automatic gastrointestinal polyp detection system in video endoscopy using fusion of color wavelet and convolutional neural network features
Choi et al. Boosting proximal dental caries detection via combination of variational methods and convolutional neural network
CN111325739B (zh) 肺部病灶检测的方法及装置，和图像检测模型的训练方法
Bernal et al. Towards automatic polyp detection with a polyp appearance model
JP5683888B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Li et al. Texture analysis for ulcer detection in capsule endoscopy images
US10062161B2 (en) Endoscopic image diagnosis support system for computing average values of identification probabilities of pathological types
Ding et al. A novel deep learning pipeline for retinal vessel detection in fluorescein angiography
CN111445478B (zh) 一种用于cta图像的颅内动脉瘤区域自动检测***和检测方法
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
Häfner et al. Delaunay triangulation-based pit density estimation for the classification of polyps in high-magnification chromo-colonoscopy
US20150063641A1 (en) Image processing apparatus, image processing method, and computer-readable recording device
US9773185B2 (en) Image processing apparatus, image processing method, and computer readable recording device
CN102243762A (zh) 图像处理装置以及图像处理方法
WO2020026349A1 (ja) 画像診断支援システムおよび画像診断支援装置
WO2022247486A1 (zh) 基于无锚框的大肠内窥镜息肉检测与病理分类方法
WO2022257314A1 (zh) 图像检测方法和相关训练方法及相关装置、设备及介质
David et al. Automatic colon polyp detection in endoscopic capsule images
Yin et al. Dual-branch U-Net architecture for retinal lesions segmentation on fundus image
de Araújo et al. Automated detection of segmental glomerulosclerosis in kidney histopathology

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18900617

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18900617

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP