WO2020026349A1 - 画像診断支援システムおよび画像診断支援装置 - Google Patents

画像診断支援システムおよび画像診断支援装置 Download PDF

Info

Publication number
WO2020026349A1
WO2020026349A1 PCT/JP2018/028689 JP2018028689W WO2020026349A1 WO 2020026349 A1 WO2020026349 A1 WO 2020026349A1 JP 2018028689 W JP2018028689 W JP 2018028689W WO 2020026349 A1 WO2020026349 A1 WO 2020026349A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
region
classification
image
classification result
Prior art date
Application number
PCT/JP2018/028689
Other languages
English (en)
French (fr)
Inventor
文行 白谷
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2020533945A priority Critical patent/JP6937438B2/ja
Priority to PCT/JP2018/028689 priority patent/WO2020026349A1/ja
Priority to CN201880095782.8A priority patent/CN112437948A/zh
Publication of WO2020026349A1 publication Critical patent/WO2020026349A1/ja
Priority to US17/138,385 priority patent/US11488311B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an image diagnosis support system and an image diagnosis support device.
  • Patent Document 1 proposes a technique for detecting a lesion of interest from an endoscopic image by a combination of an existing method and supervised learning.
  • Patent Literature 1 describes that a region of interest including a detected object of interest is classified (discriminated) by supervised learning, but does not disclose a problem or device for classifying the region of interest with high accuracy. .
  • the present inventor has searched for a technique that can classify a region of interest with higher accuracy, and has arrived at the present invention.
  • the present invention has been made in view of such a situation, and an object of the present invention is to provide a technique capable of classifying a region of interest with higher accuracy.
  • an image diagnosis support system detects an input unit that receives an input of an image, a region of interest including a target of interest from an image, and classifies the detected region of interest.
  • a first processing unit that outputs a first classification result
  • a second processing unit that performs semantic segmentation on the region of interest, classifies the region of interest based on the result, and outputs a second classification result, If the predetermined condition is satisfied, the first classification result is adopted as the classification of the region of interest, and if not, the second classification result is adopted as the classification of the region of interest.
  • the apparatus includes: an input unit that receives an input of an image; a first processing unit that detects a region of interest including a target of interest from the image, classifies the detected region of interest, and outputs a first classification result; A second processing unit that performs semantic segmentation on the region, classifies the region of interest based on the result, and outputs a second classification result, and when a predetermined condition is satisfied with respect to the region of interest, the first classification result indicates the region of interest. If the classification is not satisfied, the second classification result is adopted as the classification of the region of interest.
  • the image diagnosis support system includes an input unit that receives an input of an image, a first processing unit that detects a region of interest including a target of interest from an image obtained by reducing the resolution of the image, and a higher resolution than the image obtained by reducing the resolution.
  • a second processing unit that performs semantic segmentation on a region corresponding to the region of interest in the image, and classifies the region of interest based on the result.
  • FIG. 1 is a block diagram illustrating functions and configurations of an image diagnosis support system according to a first embodiment.
  • FIG. 2 is a diagram for explaining processing by a determination unit in FIG. 1.
  • 5 is a flowchart illustrating an example of a series of processes in the image diagnosis support system according to the first embodiment. It is a flow chart which shows an example of a series of processings in an image diagnosis support system concerning a 2nd embodiment. It is a block diagram showing the function and composition of the diagnostic imaging support system concerning a 4th embodiment.
  • FIG. 1 is a block diagram illustrating functions and configurations of an image diagnosis support system 100 according to the first embodiment.
  • Each block shown here can be realized by hardware or other elements or mechanical devices such as a central processing unit (CPU) of the computer, and can be realized by a computer program or the like in software.
  • the image diagnosis support system 100 supports diagnosis of a lesion using an endoscope image.
  • the endoscope image is captured by, for example, a conventional endoscope in which a scope is inserted into a body, a capsule endoscope, or an NBI (Narrow Band Imaging) endoscope.
  • NBI Near Band Imaging
  • the image diagnosis support system 100 includes an image input unit 110, a first processing unit 112, a second processing unit 114, a determination unit 116, and an output unit 118.
  • the image input unit 110 receives an input of an endoscope image from a user terminal or another device.
  • the first processing unit 112 performs a detection process for detecting a lesion candidate region (region of interest) on the endoscopic image received by the image input unit 110.
  • the lesion candidate area is a rectangular area including a lesion (target of interest). Then, the first processing unit 112 executes a first classification process of classifying (differentiating) the degree of malignancy of the detected lesion candidate region (that is, the lesion), and outputs a first classification result that is a result of the classification.
  • the first processing unit 112 inputs the endoscope image to a learned learning model for detection, which has been learned to detect a lesion candidate region including a lesion from the endoscope image, as a detection process.
  • the learning model for detection is preferably constructed as a neural network, and more preferably, as a convolutional neural network such as, for example, Region ⁇ Proposal ⁇ Network (RPN). That is, the first processing unit 112 preferably performs a process using a neural network, more preferably a convolutional neural network, as the detection process.
  • the detection process may not detect a lesion candidate region, or may detect one or more lesion candidate regions.
  • the first processing unit 112 inputs information on the detected lesion candidate region to the learned first classification learning model that has been learned to classify the lesion candidate region.
  • the learning model for the first classification is preferably constructed as a neural network, and more preferably as a convolutional neural network such as Fast @ R-CNN (FRCNN). That is, the first processing unit 112 preferably performs a process using a neural network, more preferably a convolutional neural network, as the first classification process.
  • FRCNN Fast @ R-CNN
  • the second processing unit 114 performs semantic segmentation for classifying the malignancy of each pixel of the lesion candidate region detected by the detection process, that is, for classifying the lesion candidate region in pixel units, and further executes the semantic segmentation execution result, that is, for each pixel.
  • a second classification process for classifying the malignancy of the lesion candidate area based on the classification result of the above is performed, and a second classification result as the classification result is output.
  • the second processing unit 114 inputs information on the detected lesion candidate region to the learned learning model for semantic segmentation.
  • the learning model for semantic segmentation has been learned so as to classify each pixel of the lesion candidate region into benign, slightly malignant, malignant, or normal.
  • the learning model for semantic segmentation is preferably constructed as a neural network, and more preferably, as a convolutional neural network such as DeepLab. That is, the second processing unit 114 executes a process using a neural network, more preferably a convolutional neural network, as the second classification process.
  • the second processing unit 114 determines, for example, a classification having the highest ratio among pixels classified as lesions (that is, pixels classified as benign, slightly malignant, or malignant), as a lesion candidate area ( That is, the classification result as the lesion), that is, the second classification result.
  • the determination unit 116 determines which of the first classification result and the second classification result is to be adopted as the classification of the lesion candidate region.
  • the determination unit 116 determines that the first classification result obtained by the first classification process is adopted as the classification of the lesion candidate region when the occupied area of the lesion in the lesion candidate region is large, and the second classification is performed by the second classification process when the occupation area of the lesion candidate region is small. It is determined that the result is adopted as the classification of the lesion candidate region.
  • FIGS. 2A and 2B are diagrams for explaining the processing by the determination unit 116.
  • FIG. FIG. 2A shows an execution result of the semantic segmentation.
  • FIG. 2B shows an ellipse obtained by approximating the lesion area of FIG. 2A with an ellipse based on a known method.
  • the determining unit 116 first approximates the lesion area A1 in the execution result of the semantic segmentation, that is, the lesion area A1 that is a group of pixels classified as lesions (that is, benign, slightly malignant, or malignant) by the semantic segmentation.
  • determination section 116 identifies the orientation of the major axis D L, minor axis D M and the long axis Ax of lesion area A2 obtained by elliptic approximation. Then, when the following condition is satisfied, the determination unit 116 estimates that the lesion is not elongated or is not elongated in the oblique direction even if it is elongated, and determines that the first classification result is adopted as the classification of the lesion candidate region. On the other hand, when the following condition is not satisfied, the determination unit 116 estimates that the lesion is elongated to a certain extent in the oblique direction, and determines to adopt the second classification result as the classification result of the lesion candidate region.
  • the output unit 118 outputs, to the display, the classification determined to be adopted as the classification of the lesion candidate region by the determination unit 116, for example.
  • FIG. 3 is a flowchart illustrating an example of a series of processes in the image diagnosis support system 100.
  • the image input unit 110 receives an input of an endoscope image (S110).
  • the first processing unit 112 performs a detection process for detecting a lesion candidate region on the endoscope image (S112). If a lesion candidate area is detected, that is, if a lesion candidate area exists in the endoscope image (Y in S114), the first processing unit 112 executes a first classification process on the detected lesion candidate area. Then, the first classification result is output (S116).
  • the second processing unit 114 performs semantic segmentation on the detected lesion candidate region (S118), and executes a second classification process of outputting a second classification result based on the result (S120).
  • the determining unit 116 determines which classification result of the first classification result or the second classification result is to be adopted as the classification of the lesion candidate region, based on the shape of the lesion region indicated by the execution result of the semantic segmentation (S122). .
  • the output unit 118 outputs the classification determined to be adopted (S124). If no lesion candidate area is detected (N in S114), S116 to S124 are skipped, and the process ends.
  • the first classification processing in S116 may be skipped and the process may proceed to the execution of semantic segmentation in S118.
  • the second classification process in S120 may be skipped and the process may proceed to the process of determining the classification result to be adopted in S122.
  • the first classification process of S116 may be executed, and when it is determined to employ the second classification result, the second classification process of S120 may be executed.
  • the above operation is based on the assumption that the endoscope image is a still image. However, in the case of a moving image, the classification result is continuously output according to the reading of the endoscope image.
  • the processing may be terminated at the time when the processing becomes.
  • the image diagnosis support system 100 when the lesion in the lesion candidate region is slender in the oblique direction, if so, the first classification result in which the classification accuracy tends to be low is Instead, the second classification result is adopted. Thereby, classification accuracy can be improved.
  • any one of the first classification result and the second classification result is adopted as the classification of the lesion candidate region based on the shape of the lesion indicated by the result of the semantic segmentation performed by the second processing unit.
  • the case of determining is described.
  • a case will be described in which which of the first classification result and the second classification result is adopted as the classification of the lesion candidate region based on the shape of the lesion candidate region. The following description focuses on the differences from the first embodiment.
  • the determination unit 116 determines that the first classification result obtained by the first classification process is used as the classification of the lesion candidate region, and the lesion candidate region is elongated to a certain extent or more. If it is rectangular, it is determined that the second classification result by the second classification process is adopted as the classification of the lesion candidate area.
  • FIG. 4 is a flowchart illustrating an example of a series of processes in the image diagnosis support system according to the second embodiment. The description will focus on the differences from FIG.
  • the determination unit 116 determines which classification result of the first classification result or the second classification result is to be adopted as the classification of the lesion candidate region based on the shape of the lesion candidate region. (S118).
  • the execution of the semantic segmentation in S120 and the second classification process in S122 are skipped, and the first classification result determined to be adopted is output (S124).
  • S120, S122 execution of semantic segmentation and second classification processing are performed (S120, S122), and the second classification result is output as a classification result (S124).
  • the processing by the determination unit 116 in S118 may be executed immediately after the processing in S114.
  • the first classification process may be executed only when it is determined that the first classification result is to be adopted, and the second classification process may be executed only when it is decided to adopt the second classification result.
  • the lesion candidate region is a square or a rectangle close to a square
  • the lesion may be slender in the oblique direction. Therefore, by further combining the techniques of the first embodiment, when the lesion candidate region is a square or a rectangle close to a square, it is further determined whether to adopt the first classification result or the second classification result. Is also good.
  • the lesion candidate region has a rectangular shape elongated to a certain extent or more
  • the first candidate is not the first classification result in which the classification accuracy tends to be low.
  • the second classification result is adopted. Thereby, classification accuracy can be improved.
  • the inventor considers that there is a correlation between the likelihood of classification and the accuracy of classification when the output subjected to the SoftMax function is set as the likelihood during learning and the output without the SoftMax function is set as the likelihood during recognition. I checked. Therefore, in the third embodiment, based on the likelihood of the first classification result and the likelihood of the second classification result, either classification result of the first classification result or the second classification result is adopted as the classification of the lesion candidate region. The case in which the decision is made will be described. The following description focuses on the differences from the first embodiment.
  • the first processing unit 112 executes a detection process and a first classification process.
  • Th3 a predetermined threshold
  • the determination unit 116 determines to adopt the first classification result as the classification of the lesion candidate region.
  • the second processing unit 114 executes the semantic segmentation and executes the second classification processing.
  • the output unit 118 outputs the first classification result, the second classification result, or the classification failure.
  • FIG. 5 is a block diagram illustrating functions and configurations of an image diagnosis support system 200 according to the fourth embodiment. The following description focuses on the differences from the first embodiment.
  • the image diagnosis support system 200 does not include a determination unit.
  • the first processing unit 112 performs a detection process on the endoscope image received by the image input unit 110 or an image obtained by reducing the resolution of the endoscope image. Note that the first processing unit 112 according to the present embodiment does not execute the first classification processing.
  • the second processing unit 114 performs a second process on an area corresponding to the lesion candidate area detected by the detection processing, the area corresponding to the lesion candidate area in an image having a higher resolution than the image used in the detection processing. Execute the two-classification process.
  • the output unit 118 outputs the second classification result obtained by the second classification process as the classification of the lesion candidate region.
  • the image diagnosis support system 100 supports the diagnosis of a lesion using an endoscope image captured by a medical endoscope, but the present invention is not limited to this.
  • the image diagnosis support system 100 is also applicable to, for example, a case where a metal surface is inspected for scratches using an endoscope image captured by an industrial endoscope. For example, when determining the degree of damage to a wound, a region of interest that is a wound candidate region is detected from the endoscope image, a specular reflection region and a non-specular reflection region of the region of interest are specified, and an edge is determined from the non-specular reflection region.
  • Extract calculate the amount of blur of the edge, determine whether or not the region of interest is a non-diagnostic area with blur based on the amount of blur, and classify the degree of damage to the wound if it is not a non-diagnostic area
  • the classification process may be executed to output the result of the classification. If the region is a diagnosis ineligible region, the fact that the region of interest is a diagnosis ineligible region may be output without executing the classification process.
  • the learning model for detection and the learning model for first classification are constructed as separate learning models.
  • these are more preferably implemented as one learning model, preferably as one neural network.
  • the methods of the first to fourth embodiments may be arbitrarily combined within a range not inconsistent.
  • the image diagnosis support system may include a processor and a storage such as a memory.
  • the function of each unit may be realized by individual hardware, or the function of each unit may be realized by integrated hardware.
  • a processor includes hardware, and the hardware can include at least one of a circuit that processes digital signals and a circuit that processes analog signals.
  • the processor can be configured with one or a plurality of circuit devices (for example, an IC, etc.) mounted on a circuit board, and one or a plurality of circuit elements (for example, a resistor, a capacitor, or the like).
  • the processor may be, for example, a CPU (Central Processing Unit).
  • the processor is not limited to the CPU, and various processors such as a GPU (Graphics Processing Unit) or a DSP (Digital Signal Processor) can be used.
  • the processor may be a hardware circuit based on ASIC (Application Specific Integrated Circuit) or FPGA (Field-programmable Gate Array).
  • the processor may include an amplifier circuit and a filter circuit for processing an analog signal.
  • the memory may be a semiconductor memory such as an SRAM or a DRAM, may be a register, may be a magnetic storage device such as a hard disk device, or may be an optical storage device such as an optical disk device. You may.
  • the memory stores computer-readable instructions, and the instructions are executed by the processor to realize the functions of each unit of the image diagnosis support system.
  • the instruction here may be an instruction of an instruction set constituting a program or an instruction for instructing a hardware circuit of a processor to operate.
  • the processing units of the image diagnosis support system may be connected by any type or medium of digital data communication such as a communication network.
  • Examples of communication networks include, for example, a LAN, a WAN, and the computers and networks forming the Internet.
  • ⁇ 100 ⁇ image diagnosis support system ⁇ 110 ⁇ image input unit, ⁇ 112 ⁇ first processing unit, ⁇ 114 ⁇ second processing unit, ⁇ 116 ⁇ determination unit.
  • the present invention relates to an image diagnosis support system and an image diagnosis support device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

画像診断支援システム１００は、画像の入力を受け付ける画像入力部１１０と、関心対象を含む関心領域を画像から検出し、検出された関心領域を分類して第１分類結果を出力する第１処理部１１２と、関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて関心領域を分類して第２分類結果を出力する第２処理部１１４と、を備える。関心領域に関して所定の条件が成立する場合、第１分類結果が関心領域の分類として採用され、成立しない場合、第２分類結果が関心領域の分類として採用される。

Description

画像診断支援システムおよび画像診断支援装置
　本発明は、画像診断支援システムおよび画像診断支援装置に関する。
　近年、ディープラーニングに代表される教師付き学習を内視鏡画像の診断に応用する試みが開始されている。従来では、既存手法と教師付き学習の組合せによって、内視鏡画像から関心対象である病変を検出する技術が提案されている（特許文献１）。
ＷＯ２０１７／０４２８１２号公報
　特許文献１には、検出した関心対象を含む関心領域を、教師付き学習によって分類（鑑別）する記載も見られるが、関心領域を高精度に分類するための課題や工夫については開示されていない。本発明者は、より高精度に関心領域を分類できる技術を模索し、本発明に想到した。
　本発明はこうした状況に鑑みなされたものであり、その目的は、より高精度に関心領域を分類できる技術を提供することにある。
　上記課題を解決するために、本発明のある態様の画像診断支援システムは、画像の入力を受け付ける入力部と、関心対象を含む関心領域を画像から検出し、検出された関心領域を分類して第１分類結果を出力する第１処理部と、関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて関心領域を分類して第２分類結果を出力する第２処理部と、関心領域に関して所定の条件が成立する場合、第１分類結果が関心領域の分類として採用され、成立しない場合、第２分類結果が関心領域の分類として採用される。
　本発明の別の態様は、画像診断支援装置である。この装置は、画像の入力を受け付ける入力部と、関心対象を含む関心領域を画像から検出し、検出された関心領域を分類して第１分類結果を出力する第１処理部と、関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて関心領域を分類して第２分類結果を出力する第２処理部と、関心領域に関して所定の条件が成立する場合、第１分類結果が関心領域の分類として採用され、満たさない場合、第２分類結果が関心領域の分類として採用される。
　本発明のさらに別の態様は、画像診断支援システムである。この画像診断支援システムは、画像の入力を受け付ける入力部と、関心対象を含む関心領域を、画像を低解像度化した画像から検出する第１処理部と、低解像度化した画像よりも高解像度な画像における、関心領域に対応する領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて関心領域を分類する第２処理部と、を備える。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、より高精度に関心領域を分類できる技術を提供できる。
第１の実施の形態に係る画像診断支援システムの機能および構成を示すブロック図である。 図１の決定部による処理を説明するための図である。 第１の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。 第２の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。 第４の実施の形態に係る画像診断支援システムの機能および構成を示すブロック図である。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。
（第１の実施の形態）
　図１は、第１の実施の形態に係る画像診断支援システム１００の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのＣＰＵ（central processing unit）をはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。後述の図４についても同様である。
　画像診断支援システム１００は、内視鏡画像を用いた病変の診断を支援する。なお、内視鏡画像は、例えばスコープを体内に挿入する従来型の内視鏡、カプセル内視鏡またはＮＢＩ（Narrow Band Imaging）内視鏡により撮影される。
　画像診断支援システム１００は、画像入力部１１０と、第１処理部１１２と、第２処理部１１４と、決定部１１６と、出力部１１８と、を備える。
　画像入力部１１０は、ユーザ端末または他の装置から、内視鏡画像の入力を受け付ける。第１処理部１１２は、画像入力部１１０が受け付けた内視鏡画像に対して、病変候補領域（関心領域）を検出する検出処理を実行する。病変候補領域は、病変（関心対象）を含む矩形状の領域である。そして第１処理部１１２は、検出された病変候補領域（すなわち病変）の悪性度を分類（鑑別）する第１分類処理を実行し、その分類結果である第１分類結果を出力する。
　具体的には第１処理部１１２は、検出処理として、内視鏡画像から病変を含む病変候補領域を検出するよう学習された学習済みの検出用の学習モデルに内視鏡画像を入力する。なお、検出用の学習モデルは、好ましくはニューラルネットワークとして、さらに好ましくは、例えばRegion Proposal Network（RPN）などの畳み込みニューラルネットワークとして構築される。つまり、第１処理部１１２は、検出処理として、好ましくはニューラルネットワーク、さらに好ましくは畳み込みニューラルネットワークによる処理を実行する。内視鏡画像によっては、検出処理で病変候補領域が検出されない場合もあれば、１つまたは複数の病変候補領域が検出される場合もある。
　また、第１処理部１１２は、第１分類処理として、病変候補領域を分類するよう学習された学習済みの第１分類用の学習モデルに、検出された病変候補領域に関する情報を入力する。ここでは、第１分類用の学習モデルは、病変候補領域を良性、やや悪性、悪性のいずれかに分類するよう学習されているものとする。なお、第１分類用の学習モデルは、好ましくはニューラルネットワークとして、さらに好ましくは、例えばFast R-CNN（FRCNN）などの畳み込みニューラルネットワークとして構築される。つまり、第１処理部１１２は、第１分類処理として、好ましくはニューラルネットワーク、さらに好ましくは畳み込みニューラルネットワークによる処理を実行する。
　第２処理部１１４は、検出処理により検出された病変候補領域の各画素の悪性度を分類するすなわち病変候補領域を画素単位で分類するセマンティックセグメンテーションを実行し、さらにセマンティックセグメンテーションの実行結果すなわち各画素の分類結果に基づいて病変候補領域の悪性度を分類する第２分類処理を実行し、その分類結果である第２分類結果を出力する。
　具体的には第２処理部１１４は、学習済みのセマンティックセグメンテーション用の学習モデルに、検出された病変候補領域に関する情報を入力する。ここでは、セマンティックセグメンテーション用の学習モデルは、病変候補領域の各画素を良性、やや悪性、悪性または正常のいずれかに分類するよう学習されているものとする。なお、セマンティックセグメンテーション用の学習モデルは、好ましくはニューラルネットワークとして、さらに好ましくは、例えばDeepLabなどの畳み込みニューラルネットワークとして構築される。つまり、第２処理部１１４は、第２分類処理として、好ましくはニューラルネットワーク、さらに好ましくは畳み込みニューラルネットワークによる処理を実行する。
　また、第２処理部１１４は、第２分類処理では、例えば、病変に分類された画素（すなわち良性、やや悪性または悪性に分類された画素）において割合が一番多い分類を、病変候補領域（すなわち病変）としての分類結果すなわち第２分類結果とする。
　決定部１１６は、第１分類結果と第２分類結果のどちらの分類結果を病変候補領域の分類として採用するかを決定する。ここで、第１分類処理では、病変候補領域を全体としてひとつのカテゴリに分類するため、病変候補領域における病変の専有面積が狭い場合、具体的には病変が斜め方向に細長い場合、分類精度が低くなる傾向にある。そこで決定部１１６は、病変候補領域における病変の専有面積が広い場合は第１分類処理による第１分類結果を病変候補領域の分類として採用すると決定し、狭い場合は第２分類処理による第２分類結果を病変候補領域の分類として採用すると決定する。
　図２（ａ）、（ｂ）は、決定部１１６による処理を説明するための図である。図２（ａ）は、セマンティックセグメンテーションの実行結果を示す。図２（ｂ）は、図２（ａ）の病変領域を公知の手法に基づいて楕円近似して得られた楕円を示す。図２（ａ）、（ｂ）を参照して、決定部１１６による処理をより具体的に説明する。決定部１１６は、まず、セマンティックセグメンテーションの実行結果における病変領域Ａ１を、すなわちセマンティックセグメンテーションにより病変（すなわち良性、やや悪性または悪性）に分類された画素の集まりである病変領域Ａ１を、楕円近似する。続いて決定部１１６は、楕円近似して得られた病変領域Ａ２の長径ＤＬ、短径ＤＭおよび長軸Ａｘの向きを特定する。そして決定部１１６は、下記の条件が成立する場合、病変がそこまで細長くない又は細長いとしても斜め方向に細長くはないと推定し、第１分類結果を病変候補領域の分類として採用すると決定する。一方、決定部１１６は、下記の条件が成立しない場合、病変が斜め方向にある程度以上細長いと推定して、第２分類結果を病変候補領域の分類結果として採用すると決定する。
（条件）
　　短径ＤＭ／長径ＤＬ　≧　閾値Ｔｈ１（例えばＴｈ１＝０．３）
　　または
　　画像の縦方向と長軸Ａｘとがなす鋭角αが所定の角度範囲（例えば０°～３０°）
　出力部１１８は、決定部１１６によって病変候補領域の分類として採用が決定された分類を、例えばディスプレイに出力する。
　以上が画像診断支援システム１００の構成である。続いて画像診断支援システム１００の動作を説明する。
　図３は、画像診断支援システム１００における一連の処理の一例を示すフローチャートである。画像入力部１１０は、内視鏡画像の入力を受け付ける（Ｓ１１０）。第１処理部１１２は、内視鏡画像に対して、病変候補領域を検出する検出処理を実行する（Ｓ１１２）。病変候補領域が検出された場合、すなわち内視鏡画像中に病変候補領域が存在する場合（Ｓ１１４のＹ）、第１処理部１１２は検出された病変候補領域に対して第１分類処理を実行して第１分類結果を出力する（Ｓ１１６）。第２処理部１１４は、検出された病変候補領域に対してセマンティックセグメンテーションを実行し（Ｓ１１８）、その結果に基づいて第２分類結果を出力する第２分類処理を実行する（Ｓ１２０）。決定部１１６は、セマンティックセグメンテーションの実行結果が示す病変領域の形状に基づいて、第１分類結果と第２分類結果のどちらの分類結果を病変候補領域の分類として採用するかを決定する（Ｓ１２２）。出力部１１８は、採用が決定された分類を出力する（Ｓ１２４）。病変候補領域が検出されなかった場合（Ｓ１１４のＮ）、Ｓ１１６～Ｓ１２４をスキップして処理を終了する。
　なお、Ｓ１１２の検出処理において病変候補領域が検出された場合に、Ｓ１１６の第１分類処理をスキップしてＳ１１８のセマンティックセグメンテーションの実行に進んでもよい。そして、セマンティックセグメンテーションを実行した後に、Ｓ１２０の第２分類処理をスキップしてＳ１２２の採用する分類結果を決定する処理に進んでもよい。そして、第１分類結果を採用すると決定された場合に、Ｓ１１６の第１分類処理を実行し、第２分類結果を採用すると決定された場合にＳ１２０の第２分類処理を実行してもよい。
　なお、以上の動作は、内視鏡画像が静止画である場合を想定したものであるが、動画の場合は、内視鏡画像の読み込みに応じて分類結果を出力し続け、例えば動画の最後になった時点で処理が終了させてもよい。
　以上説明した第１の実施の形態に係る画像診断支援システム１００によると、病変候補領域中の病変が斜め方向に細長い場合、そうである場合に分類精度が低くなる傾向にある第１分類結果ではなく、第２分類結果が採用される。これにより、分類精度を向上させることができる。
（第２の実施の形態）
　第１の実施の形態では、第２処理部によるセマンティックセグメンテーションの実行結果が示す病変の形状に基づいて、第１分類結果と第２分類結果のいずれの分類結果を病変候補領域の分類として採用するか決定する場合について説明した。第２の実施の形態では、病変候補領域の形状に基づいて、第１分類結果と第２分類結果のいずれの分類結果を病変候補領域の分類として採用するか決定する場合について説明する。第１の実施の形態との相違点を中心に説明する。
　ここで、第１処理部１１２による検出処理により検出される病変候補領域が細長い形状である場合、そこに含まれる病変の形状は細長い形状であると推定される。一方、病変は側方から見ると細長く見えることが多く、第１処理部１１２による分類では、側方から撮影された病変の分類精度が低くなる傾向にある。そこで決定部１１６は、病変候補領域が正方形またはそこまで細長くない矩形状である場合は第１分類処理による第１分類結果を病変候補領域の分類として採用すると決定し、病変候補領域がある程度以上細長い矩形状である場合は第２分類処理による第２分類結果を病変候補領域の分類として採用すると決定する。
　具体的には決定部１１６は、下記の条件が成立する場合、第１分類結果を病変候補領域の分類として採用すると決定し、下記の条件が成立しない場合、第２分類結果を病変候補領域の分類結果として採用すると決定する。
（条件）
　病変候補領域の短辺の長さ／病変候補領域の長辺の長さ　≧　閾値Ｔｈ２（例えばＴｈ２＝０．２）
　続いて、画像診断支援システムの動作を説明する。
　図４は、第２の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。図３との相違点を中心に説明する。第１分類結果が出力されると、決定部１１６は、病変候補領域の形状に基づいて、第１分類結果と第２分類結果のどちらの分類結果を病変候補領域の分類として採用するかを決定する（Ｓ１１８）。第１分類結果を採用すると決定した場合（Ｓ１１８のＹ）、Ｓ１２０のセマンティックセグメンテーションの実行およびＳ１２２の第２分類処理をスキップして、採用が決定された第１分類結果を出力する（Ｓ１２４）。第２分類結果を採用すると決定した場合（Ｓ１１８のＮ）、セマンティックセグメンテーションの実行および第２分類処理を実行し（Ｓ１２０，Ｓ１２２）、第２分類結果を分類結果として出力する（Ｓ１２４）。
　なお、Ｓ１１８の決定部１１６による処理は、Ｓ１１４の処理のすぐ後に実行してもよい。この場合、第１分類結果を採用すると決定した場合にのみ第１分類処理を実行し、第２分類結果を採用すると決定した場合にのみ第２分類処理を実行してもよい。
　また、病変候補領域が正方形または正方形に近い矩形の場合、病変が斜め方向に細長い場合があり得る。したがって、第１の実施の形態の技術をさらに組み合わせて、病変候補領域が正方形または正方形に近い矩形の場合に、第１分類結果を採用するか第２分類結果を採用するかをさらに判定してもよい。
　以上説明した第２実施の形態に係る画像診断支援システムによると、病変候補領域がある程度以上細長い矩形状である場合、そうである場合に分類精度が低くなる傾向にある第１分類結果ではなく、第２分類結果が採用される。これにより、分類精度を向上させることができる。
（第３の実施の形態）
　本発明者は、学習時にはSoftMax関数を施した出力を尤度とし、認識時にはSoftMax関数を施さない出力を尤度とした場合、分類の尤度と分類の精度との間に相関があることを確認してした。そこで第３の実施の形態では、第１分類結果の尤度と第２分類結果の尤度に基づいて、第１分類結果と第２分類結果のどちらの分類結果を病変候補領域の分類として採用するか決定する場合について説明する。第１の実施の形態との相違点を中心に説明する。
　第１処理部１１２は、検出処理および第１分類処理を実行する。決定部１１６は、第１分類処理による第１分類結果の尤度が所定の閾値Ｔｈ３（例えばＴｈ３＝０．６）以上であるか否かを判定する。第１分類結果の尤度が閾値Ｔｈ３以上である場合、決定部１１６は第１分類結果を病変候補領域の分類として採用すると決定する。第１分類結果の尤度が閾値Ｔｈ３未満である場合、決定部１１６は第１分類結果を病変候補領域の分類として採用しないと決定する。この場合、第２処理部１１４は、セマンティックセグメンテーションの実行および第２分類処理を実行する。決定部１１６は、第２分類処理による第２分類結果の尤度が所定の閾値Ｔｈ４（例えばＴｈ４＝０．６）以上であるか否かを判定する。第２分類結果の尤度が閾値Ｔｈ４以上である場合、決定部１１６は第２分類結果を病変候補領域の分類として採用すると決定する。第２分類結果の尤度が閾値Ｔｈ４未満である場合、決定部１１６は第２分類結果を病変候補領域の分類として採用しないと決定する。この場合、決定部１１６は病変候補領域を分類不可とする。出力部１１８は、第１分類結果、第２分類結果または分類不可を出力する。
　以上説明した第３の実施の形態に係る画像診断支援システムによると、分類の尤度が低い分類結果を採用しないため、分類精度を向上させることができる。
（第４の実施の形態）
　図５は、第４の実施の形態に係る画像診断支援システム２００の機能および構成を示すブロック図である。第１の実施の形態との相違点を中心に説明する。
　画像診断支援システム２００は決定部を備えない。第１処理部１１２は、画像入力部１１０が受け付けた内視鏡画像またはそれを低解像度化した画像に対して、検出処理を実行する。なお、本実施の形態の第１処理部１１２は、第１分類処理は実行しない。第２処理部１１４は、検出処理により検出された病変候補領域に対応する領域であって、検出処理に用いられた画像よりも高解像度な画像における当該病変候補領域に対応する領域に対して第２分類処理を実行する。出力部１１８は、第２分類処理による第２分類結果を病変候補領域の分類として出力する。
　以上説明した第４の実施の形態に係る画像診断支援システム２００によると、
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　実施の形態では、画像診断支援システム１００が医療用の内視鏡により撮影された内視鏡画像を用いた病変の診断を支援する場合について説明したが、これに限られない。画像診断支援システム１００は、例えば、工業用の内視鏡により撮影された内視鏡画像を用いた金属表面の傷検査等を支援する場合にも適用できる。例えば、傷の損傷度合いを見極める場合に、内視鏡画像から傷候補領域である関心領域を検出し、関心領域の鏡面反射領域と非鏡面反射領域とを特定し、非鏡面反射領域からエッジを抽出し、エッジのボケ量を算出し、関心領域がボケを伴う診断不適格領域であるか否かをボケ量に基づいて判定し、診断不適格領域ではない場合は傷の損傷度合いを分類する分類処理を実行してその分類結果を出力し、診断不適格領域である場合は分類処理を実行せずに、その関心領域が診断不適格領域であることを出力してもよい。
　実施の形態では、検出用の学習モデルと第１分類用の学習モデルを別々の学習モデルとして構築する場合について説明したが、これらは１つの学習モデルとして、好ましくは１つのニューラルネットワークとして、さらに好ましくは、例えばＦａｓｔｅｒ　Ｒ－ＣＮＮなどの１つの畳み込みニューラルネットワークとして構築されてもよい。
　第１～第４の実施の形態の手法は、矛盾しない範囲において、任意に組み合わせてもよい。
　実施の形態および変形例において、画像診断支援システムは、プロセッサーと、メモリー等のストレージを含んでもよい。ここでのプロセッサーは、例えば各部の機能が個別のハードウェアで実現されてもよいし、あるいは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサーはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路およびアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサーは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することができる。プロセッサーは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサーはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、あるいはＤＳＰ（Digital Signal Processor）等、各種のプロセッサーを用いることが可能である。またプロセッサーはＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-programmable Gate Array）によるハードウェア回路でもよい。またプロセッサーは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリーは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリーであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサーにより実行されることで、画像診断支援システムの各部の機能が実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して動作を指示する命令であってもよい。
　また、実施の形態および変形例において、画像診断支援システムの各処理部は、例えば通信ネットワークのようなデジタルデータ通信の任意の型式または媒体によって接続されてもよい。通信ネットワークの例は、例えば、ＬＡＮと、ＷＡＮと、インターネットを形成するコンピュータおよびネットワークとを含む。
　１００　画像診断支援システム、　１１０　画像入力部、　１１２　第１処理部、　１１４　第２処理部、　１１６　決定部。
　本発明は、画像診断支援システムおよび画像診断支援装置に関する。

Claims (8)

  1. 　画像の入力を受け付ける入力部と、
    　関心対象を含む関心領域を前記画像から検出し、検出された前記関心領域を分類して第１分類結果を出力する第１処理部と、
    　前記関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類して第２分類結果を出力する第２処理部と、を備え、
    　前記関心領域に関して所定の条件が成立する場合、前記第１分類結果が前記関心領域の分類として採用され、成立しない場合、前記第２分類結果が前記関心領域の分類として採用されることを特徴とする画像診断支援システム。
  2. 　セマンティックセグメンテーションにより前記関心対象に分類された画素に基づいて特定される前記関心対象の形状について所定の条件が成立する場合、前記第１分類結果が前記関心領域の分類として採用され、成立しない場合、前記第２分類結果が前記関心領域の分類として採用されることを特徴とする請求項１に記載の画像診断支援システム。
  3. 　前記条件は、セマンティックセグメンテーションにより前記関心対象に分類された画素の集まりを楕円近似して得られた楕円の長径に対する短径の比が所定の閾値以上で、かつ、当該楕円の長軸と前記画像の縦方向がなす鋭角が所定の角度範囲であることを特徴とする請求項２に記載の画像診断支援システム。
  4. 　前記関心領域の形状について所定の条件が成立する場合、前記第１分類結果が前記関心領域の分類として採用され、成立しない場合、前記第２分類結果が前記関心領域の分類として採用されることを特徴とする請求項１に記載の画像診断支援システム。
  5. 　前記第１分類結果の尤度が所定の閾値以上である場合、前記第１分類結果が前記関心領域の分類として採用され、閾値未満である場合、前記第２分類結果が前記関心領域の分類として採用される又は前記関心領域は分類不可とされることを特徴とする請求項１に記載の画像診断支援システム。
  6. 　前記第１処理部、前記第２処理部はそれぞれ、畳み込みニューラルネットワークによる処理を実行することを特徴とする請求項１から５のいずれかに記載の画像診断支援システム。
  7. 　画像の入力を受け付ける入力部と、
    　関心対象を含む関心領域を前記画像から検出し、検出された前記関心領域を分類して第１分類結果を出力する第１処理部と、
    　前記関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類して第２分類結果を出力する第２処理部と、を備え、
    　前記関心領域に関して所定の条件が成立する場合、前記第１分類結果が前記関心領域の分類として採用され、満たさない場合、前記第２分類結果が前記関心領域の分類として採用されることを特徴とする画像診断支援装置。
  8. 　画像の入力を受け付ける入力部と、
    　関心対象を含む関心領域を、前記画像を低解像度化した画像から検出する第１処理部と、
    　前記低解像度化した画像よりも高解像度な画像における、前記関心領域に対応する領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類する第２処理部と、を備えることを特徴とする画像診断支援システム。
PCT/JP2018/028689 2018-07-31 2018-07-31 画像診断支援システムおよび画像診断支援装置 WO2020026349A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020533945A JP6937438B2 (ja) 2018-07-31 2018-07-31 画像診断支援システムおよび画像診断支援方法
PCT/JP2018/028689 WO2020026349A1 (ja) 2018-07-31 2018-07-31 画像診断支援システムおよび画像診断支援装置
CN201880095782.8A CN112437948A (zh) 2018-07-31 2018-07-31 图像诊断支援***及图像诊断支援装置
US17/138,385 US11488311B2 (en) 2018-07-31 2020-12-30 Diagnostic imaging support system and diagnostic imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/028689 WO2020026349A1 (ja) 2018-07-31 2018-07-31 画像診断支援システムおよび画像診断支援装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/138,385 Continuation US11488311B2 (en) 2018-07-31 2020-12-30 Diagnostic imaging support system and diagnostic imaging apparatus

Publications (1)

Publication Number Publication Date
WO2020026349A1 true WO2020026349A1 (ja) 2020-02-06

Family

ID=69232480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028689 WO2020026349A1 (ja) 2018-07-31 2018-07-31 画像診断支援システムおよび画像診断支援装置

Country Status (4)

Country Link
US (1) US11488311B2 (ja)
JP (1) JP6937438B2 (ja)
CN (1) CN112437948A (ja)
WO (1) WO2020026349A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185369A1 (ja) * 2021-03-01 2022-09-09 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
KR20220164097A (ko) * 2021-06-03 2022-12-13 주식회사 크레스콤 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
JP2023086503A (ja) * 2021-12-10 2023-06-22 広州智睿医療科技有限公司 病理診断支援方法
JP7400035B1 (ja) 2022-07-27 2023-12-18 日本農薬株式会社 害虫の検査のためのプログラム及び害虫検査装置
WO2024084578A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113762419A (zh) * 2021-10-19 2021-12-07 重庆金山医疗技术研究院有限公司 一种胶囊内镜图像的病灶识别装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012254042A (ja) * 2011-06-09 2012-12-27 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2018515197A (ja) * 2015-04-29 2018-06-14 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 腹腔鏡および内視鏡による２ｄ／２．５ｄ画像データにおけるセマンティックセグメンテーションのための方法およびシステム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US7225551B2 (en) * 2004-04-07 2007-06-05 Siemens Vdo Automotive Corporation Electronic compass and method for tracking vehicle rotation
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
US7680307B2 (en) * 2005-04-05 2010-03-16 Scimed Life Systems, Inc. Systems and methods for image segmentation with a multi-stage classifier
CA2747337C (en) * 2008-12-17 2017-09-26 Thomas D. Winkler Multiple object speed tracking system
JP2011123587A (ja) * 2009-12-09 2011-06-23 Seiko Epson Corp 画像処理装置、画像表示装置および画像処理方法
CN102722735A (zh) * 2012-05-24 2012-10-10 西南交通大学 一种融合全局和局部特征的内镜图像病变检测方法
CN104334086B (zh) * 2012-06-07 2017-03-08 株式会社日立制作所 关心区域设定方法及超声波诊断装置
KR102043133B1 (ko) * 2012-11-16 2019-11-12 삼성전자주식회사 컴퓨터 보조 진단 지원 장치 및 방법
JP6339872B2 (ja) 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法
CN104933711B (zh) * 2015-06-10 2017-09-29 南通大学 一种肿瘤病理图像自动快速分割方法
US10510144B2 (en) 2015-09-10 2019-12-17 Magentiq Eye Ltd. System and method for detection of suspicious tissue regions in an endoscopic procedure
CN105640577A (zh) * 2015-12-16 2016-06-08 深圳市智影医疗科技有限公司 一种自动检测放射影像中局部性病变的方法和***
WO2017175282A1 (ja) 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム
WO2018105062A1 (ja) 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置及び画像処理方法
US10311312B2 (en) * 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
CN107330883A (zh) * 2017-07-04 2017-11-07 南京信息工程大学 一种医学图像病变区域定位和分类方法
CN107680678B (zh) * 2017-10-18 2020-12-01 北京航空航天大学 基于多尺度卷积神经网络甲状腺超声图像结节诊断***
WO2019142243A1 (ja) 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012254042A (ja) * 2011-06-09 2012-12-27 Fuji Xerox Co Ltd 画像処理装置、プログラム及び画像処理システム
JP2018515197A (ja) * 2015-04-29 2018-06-14 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 腹腔鏡および内視鏡による２ｄ／２．５ｄ画像データにおけるセマンティックセグメンテーションのための方法およびシステム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAI, JIFENG: "Instance-aware Semantic Segmentation via Multi-task Network Cascades", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 27 June 2016 (2016-06-27), pages 3150 - 3158, XP055536388, DOI: 10.1109/CVPR.2016.343 *
TERUI SHOTA: "An Examination of Semantic Segmentation by using characteristics Information of Categories", IEEE TECHNICAL REPORTS, vol. 114, no. 455, 12 February 2015 (2015-02-12), pages 119 - 124 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185369A1 (ja) * 2021-03-01 2022-09-09 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
KR20220164097A (ko) * 2021-06-03 2022-12-13 주식회사 크레스콤 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
KR102600401B1 (ko) * 2021-06-03 2023-11-10 주식회사 크레스콤 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램
JP2023086503A (ja) * 2021-12-10 2023-06-22 広州智睿医療科技有限公司 病理診断支援方法
JP7366111B2 (ja) 2021-12-10 2023-10-20 広州智睿医療科技有限公司 病理診断支援方法
JP7400035B1 (ja) 2022-07-27 2023-12-18 日本農薬株式会社 害虫の検査のためのプログラム及び害虫検査装置
WO2024084578A1 (ja) * 2022-10-18 2024-04-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体

Also Published As

Publication number Publication date
JPWO2020026349A1 (ja) 2021-04-08
US20210118145A1 (en) 2021-04-22
JP6937438B2 (ja) 2021-09-22
US11488311B2 (en) 2022-11-01
CN112437948A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
WO2020026349A1 (ja) 画像診断支援システムおよび画像診断支援装置
EP3333768A1 (en) Method and apparatus for detecting target
US10216979B2 (en) Image processing apparatus, image processing method, and storage medium to detect parts of an object
US9294665B2 (en) Feature extraction apparatus, feature extraction program, and image processing apparatus
Lu et al. Robust and efficient saliency modeling from image co-occurrence histograms
CN108230292B (zh) 物体检测方法和神经网络的训练方法、装置及电子设备
US8385649B2 (en) Information processing apparatus and method for detecting object in image data
US7460689B1 (en) System and method of detecting, recognizing, and tracking moving targets
US11113576B2 (en) Information processing apparatus for training neural network for recognition task and method thereof
CN111860414B (zh) 一种基于多特征融合检测Deepfake视频方法
WO2022105521A1 (zh) 弯曲文本图像的文字识别方法、装置及计算机设备
JP4724638B2 (ja) オブジェクト検出方法
US9911204B2 (en) Image processing method, image processing apparatus, and recording medium
WO2020029874A1 (zh) 对象跟踪方法及装置、电子设备及存储介质
JP2007156655A (ja) 変動領域検出装置及びその方法
CN111753775B (zh) 鱼的生长评估方法、装置、设备及存储介质
CN112883940A (zh) 静默活体检测方法、装置、计算机设备及存储介质
CN116452966A (zh) 一种水下图像的目标检测方法、装置、设备及存储介质
JP2019220014A (ja) 画像解析装置、画像解析方法及びプログラム
Hegenbart et al. Systematic assessment of performance prediction techniques in medical image classification a case study on celiac disease
JP2016224821A (ja) 学習装置、学習装置の制御方法及びプログラム
CN116977895A (zh) 用于通用相机镜头的污渍检测方法、装置及计算机设备
US20220122341A1 (en) Target detection method and apparatus, electronic device, and computer storage medium
JP2024513750A (ja) 画像及びビデオから反射特徴（ｒｅｆｌｅｃｔｉｖｅ ｆｅａｔｕｒｅｓ）を除去するためのリアルタイム機械学習ベースのプライバシーフィルタ
KR20230139257A (ko) 기계 학습 모델 기반의 ct 영상을 분류 및 분할하기 위한 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18928185

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020533945

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18928185

Country of ref document: EP

Kind code of ref document: A1