JP6937438B2 - 画像診断支援システムおよび画像診断支援方法 - Google Patents
画像診断支援システムおよび画像診断支援方法 Download PDFInfo
- Publication number
- JP6937438B2 JP6937438B2 JP2020533945A JP2020533945A JP6937438B2 JP 6937438 B2 JP6937438 B2 JP 6937438B2 JP 2020533945 A JP2020533945 A JP 2020533945A JP 2020533945 A JP2020533945 A JP 2020533945A JP 6937438 B2 JP6937438 B2 JP 6937438B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- classification
- region
- result
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Data Mining & Analysis (AREA)
- Surgery (AREA)
- Quality & Reliability (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Description
図1は、第1の実施の形態に係る画像診断支援システム100の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウェア的には、コンピュータのCPU(central processing unit)をはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。後述の図4についても同様である。
(条件)
短径DM/長径DL ≧ 閾値Th1(例えばTh1=0.3)
または
画像の縦方向と長軸Axとがなす鋭角αが所定の角度範囲(例えば0°〜30°)
図3は、画像診断支援システム100における一連の処理の一例を示すフローチャートである。画像入力部110は、内視鏡画像の入力を受け付ける(S110)。第1処理部112は、内視鏡画像に対して、病変候補領域を検出する検出処理を実行する(S112)。病変候補領域が検出された場合、すなわち内視鏡画像中に病変候補領域が存在する場合(S114のY)、第1処理部112は検出された病変候補領域に対して第1分類処理を実行して第1分類結果を出力する(S116)。第2処理部114は、検出された病変候補領域に対してセマンティックセグメンテーションを実行し(S118)、その結果に基づいて第2分類結果を出力する第2分類処理を実行する(S120)。決定部116は、セマンティックセグメンテーションの実行結果が示す病変領域の形状に基づいて、第1分類結果と第2分類結果のどちらの分類結果を病変候補領域の分類として採用するかを決定する(S122)。出力部118は、採用が決定された分類を出力する(S124)。病変候補領域が検出されなかった場合(S114のN)、S116〜S124をスキップして処理を終了する。
第1の実施の形態では、第2処理部によるセマンティックセグメンテーションの実行結果が示す病変の形状に基づいて、第1分類結果と第2分類結果のいずれの分類結果を病変候補領域の分類として採用するか決定する場合について説明した。第2の実施の形態では、病変候補領域の形状に基づいて、第1分類結果と第2分類結果のいずれの分類結果を病変候補領域の分類として採用するか決定する場合について説明する。第1の実施の形態との相違点を中心に説明する。
(条件)
病変候補領域の短辺の長さ/病変候補領域の長辺の長さ ≧ 閾値Th2(例えばTh2=0.2)
図4は、第2の実施の形態に係る画像診断支援システムにおける一連の処理の一例を示すフローチャートである。図3との相違点を中心に説明する。第1分類結果が出力されると、決定部116は、病変候補領域の形状に基づいて、第1分類結果と第2分類結果のどちらの分類結果を病変候補領域の分類として採用するかを決定する(S118)。第1分類結果を採用すると決定した場合(S118のY)、S120のセマンティックセグメンテーションの実行およびS122の第2分類処理をスキップして、採用が決定された第1分類結果を出力する(S124)。第2分類結果を採用すると決定した場合(S118のN)、セマンティックセグメンテーションの実行および第2分類処理を実行し(S120,S122)、第2分類結果を分類結果として出力する(S124)。
本発明者は、学習時にはSoftMax関数を施した出力を尤度とし、認識時にはSoftMax関数を施さない出力を尤度とした場合、分類の尤度と分類の精度との間に相関があることを確認してした。そこで第3の実施の形態では、第1分類結果の尤度と第2分類結果の尤度に基づいて、第1分類結果と第2分類結果のどちらの分類結果を病変候補領域の分類として採用するか決定する場合について説明する。第1の実施の形態との相違点を中心に説明する。
図5は、第4の実施の形態に係る画像診断支援システム200の機能および構成を示すブロック図である。第1の実施の形態との相違点を中心に説明する。
Claims (9)
- 画像の入力を受け付ける入力部と、
関心対象を含む関心領域を前記画像から検出し、検出された前記関心領域を分類して第1分類結果を出力する第1処理部と、
前記関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類して第2分類結果を出力する第2処理部と、を備え、
前記関心領域に関して所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とする画像診断支援システム。 - セマンティックセグメンテーションにより前記関心対象に分類された画素に基づいて特定される前記関心対象の形状について所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とする請求項1に記載の画像診断支援システム。
- 前記条件は、セマンティックセグメンテーションにより前記関心対象に分類された画素の集まりを楕円近似して得られた楕円の長径に対する短径の比が所定の閾値以上で、かつ、当該楕円の長軸と前記画像の縦方向がなす鋭角が所定の角度範囲であることを特徴とする請求項2に記載の画像診断支援システム。
- 前記関心領域の形状について所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とする請求項1に記載の画像診断支援システム。
- 前記第1分類結果の尤度が所定の閾値以上である場合、前記第1分類結果が前記関心領域の分類として採用され、閾値未満である場合、前記第2分類結果が前記関心領域の分類として採用される又は前記関心領域は分類不可とされることを特徴とする請求項1に記載の画像診断支援システム。
- 前記第1処理部、前記第2処理部はそれぞれ、畳み込みニューラルネットワークによる処理を実行することを特徴とする請求項1から5のいずれかに記載の画像診断支援システム。
- 画像の入力を受け付ける機能と、
関心対象を含む関心領域を前記画像から検出し、検出された前記関心領域を分類して第1分類結果を出力する機能と、
前記関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類して第2分類結果を出力する機能と、
をコンピュータに実行させ、
前記関心領域に関して所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とするコンピュータプログラム。 - 画像の入力を受け付ける入力部と、
関心対象を含む関心領域を、前記画像を低解像度化した画像から検出する第1処理部と、
前記低解像度化した画像よりも高解像度な画像における、前記関心領域に対応する領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類する第2処理部と、を備えることを特徴とする画像診断支援システム。 - 画像の入力を受け付けるステップと、
関心対象を含む関心領域を前記画像から検出し、検出された前記関心領域を分類して第1分類結果を出力するステップと、
前記関心領域に対してセマンティックセグメンテーションを実行し、その結果に基づいて前記関心領域を分類して第2分類結果を出力するステップと、を備え、
前記関心領域に関して所定の条件が成立する場合、前記第1分類結果が前記関心領域の分類として採用され、成立しない場合、前記第2分類結果が前記関心領域の分類として採用されることを特徴とする画像診断支援方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/028689 WO2020026349A1 (ja) | 2018-07-31 | 2018-07-31 | 画像診断支援システムおよび画像診断支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020026349A1 JPWO2020026349A1 (ja) | 2021-04-08 |
JP6937438B2 true JP6937438B2 (ja) | 2021-09-22 |
Family
ID=69232480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020533945A Active JP6937438B2 (ja) | 2018-07-31 | 2018-07-31 | 画像診断支援システムおよび画像診断支援方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11488311B2 (ja) |
JP (1) | JP6937438B2 (ja) |
CN (1) | CN112437948A (ja) |
WO (1) | WO2020026349A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022185369A1 (ja) * | 2021-03-01 | 2022-09-09 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
KR102600401B1 (ko) * | 2021-06-03 | 2023-11-10 | 주식회사 크레스콤 | 분류 및 분할을 이용한 의료 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
CN113762419A (zh) * | 2021-10-19 | 2021-12-07 | 重庆金山医疗技术研究院有限公司 | 一种胶囊内镜图像的病灶识别装置 |
JP7366111B2 (ja) * | 2021-12-10 | 2023-10-20 | 広州智睿医療科技有限公司 | 病理診断支援方法 |
JP7400035B1 (ja) | 2022-07-27 | 2023-12-18 | 日本農薬株式会社 | 害虫の検査のためのプログラム及び害虫検査装置 |
WO2024084578A1 (ja) * | 2022-10-18 | 2024-04-25 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4532915B2 (ja) * | 2004-01-29 | 2010-08-25 | キヤノン株式会社 | パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体 |
US7225551B2 (en) * | 2004-04-07 | 2007-06-05 | Siemens Vdo Automotive Corporation | Electronic compass and method for tracking vehicle rotation |
US7736313B2 (en) * | 2004-11-22 | 2010-06-15 | Carestream Health, Inc. | Detecting and classifying lesions in ultrasound images |
US7680307B2 (en) * | 2005-04-05 | 2010-03-16 | Scimed Life Systems, Inc. | Systems and methods for image segmentation with a multi-stage classifier |
CA2747337C (en) * | 2008-12-17 | 2017-09-26 | Thomas D. Winkler | Multiple object speed tracking system |
JP2011123587A (ja) * | 2009-12-09 | 2011-06-23 | Seiko Epson Corp | 画像処理装置、画像表示装置および画像処理方法 |
JP5413408B2 (ja) * | 2011-06-09 | 2014-02-12 | 富士ゼロックス株式会社 | 画像処理装置、プログラム及び画像処理システム |
CN102722735A (zh) * | 2012-05-24 | 2012-10-10 | 西南交通大学 | 一种融合全局和局部特征的内镜图像病变检测方法 |
WO2013183432A1 (ja) * | 2012-06-07 | 2013-12-12 | 日立アロカメディカル株式会社 | 関心領域設定方法及び超音波診断装置 |
KR102043133B1 (ko) * | 2012-11-16 | 2019-11-12 | 삼성전자주식회사 | 컴퓨터 보조 진단 지원 장치 및 방법 |
JP6339872B2 (ja) | 2014-06-24 | 2018-06-06 | オリンパス株式会社 | 画像処理装置、内視鏡システム及び画像処理方法 |
CN105232081A (zh) * | 2014-07-09 | 2016-01-13 | 无锡祥生医学影像有限责任公司 | 医学超声辅助自动诊断装置及方法 |
EP3289562A1 (en) | 2015-04-29 | 2018-03-07 | Siemens Aktiengesellschaft | Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data |
CN104933711B (zh) * | 2015-06-10 | 2017-09-29 | 南通大学 | 一种肿瘤病理图像自动快速分割方法 |
WO2017042812A2 (en) | 2015-09-10 | 2017-03-16 | Magentiq Eye Ltd. | A system and method for detection of suspicious tissue regions in an endoscopic procedure |
CN105640577A (zh) * | 2015-12-16 | 2016-06-08 | 深圳市智影医疗科技有限公司 | 一种自动检测放射影像中局部性病变的方法和*** |
WO2017175282A1 (ja) | 2016-04-04 | 2017-10-12 | オリンパス株式会社 | 学習方法、画像認識装置およびプログラム |
JP6751773B2 (ja) | 2016-12-07 | 2020-09-09 | オリンパス株式会社 | 画像処理装置及び画像処理装置の作動方法 |
US10311312B2 (en) * | 2017-08-31 | 2019-06-04 | TuSimple | System and method for vehicle occlusion detection |
CN107330883A (zh) * | 2017-07-04 | 2017-11-07 | 南京信息工程大学 | 一种医学图像病变区域定位和分类方法 |
CN107680678B (zh) * | 2017-10-18 | 2020-12-01 | 北京航空航天大学 | 基于多尺度卷积神经网络甲状腺超声图像结节诊断*** |
WO2019142243A1 (ja) | 2018-01-16 | 2019-07-25 | オリンパス株式会社 | 画像診断支援システムおよび画像診断支援方法 |
-
2018
- 2018-07-31 JP JP2020533945A patent/JP6937438B2/ja active Active
- 2018-07-31 CN CN201880095782.8A patent/CN112437948A/zh active Pending
- 2018-07-31 WO PCT/JP2018/028689 patent/WO2020026349A1/ja active Application Filing
-
2020
- 2020-12-30 US US17/138,385 patent/US11488311B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2020026349A1 (ja) | 2021-04-08 |
US11488311B2 (en) | 2022-11-01 |
US20210118145A1 (en) | 2021-04-22 |
WO2020026349A1 (ja) | 2020-02-06 |
CN112437948A (zh) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6937438B2 (ja) | 画像診断支援システムおよび画像診断支援方法 | |
EP3620979B1 (en) | Learning method, learning device for detecting object using edge image and testing method, testing device using the same | |
US10360465B2 (en) | Liveness testing methods and apparatuses and image processing methods and apparatuses | |
US9552536B2 (en) | Image processing device, information storage device, and image processing method | |
EP3333768A1 (en) | Method and apparatus for detecting target | |
CN111860414B (zh) | 一种基于多特征融合检测Deepfake视频方法 | |
US8385649B2 (en) | Information processing apparatus and method for detecting object in image data | |
US9990710B2 (en) | Apparatus and method for supporting computer aided diagnosis | |
US8254690B2 (en) | Information processing apparatus, information processing method, and program | |
WO2020029874A1 (zh) | 对象跟踪方法及装置、电子设备及存储介质 | |
JP2007156655A (ja) | 変動領域検出装置及びその方法 | |
KR100601453B1 (ko) | 지문 인식 방법 | |
WO2014074959A1 (en) | Real-time face detection using pixel pairs | |
Salem | A Survey on Various Image Inpainting Techniques. | |
US8442348B2 (en) | Image noise reduction for digital images using Gaussian blurring | |
CN113449538A (zh) | 视觉模型的训练方法、装置、设备及存储介质 | |
WO2024022301A1 (zh) | 视角路径获取方法、装置、电子设备及介质 | |
CN116977895A (zh) | 用于通用相机镜头的污渍检测方法、装置及计算机设备 | |
US20220122341A1 (en) | Target detection method and apparatus, electronic device, and computer storage medium | |
JP4771887B2 (ja) | 受動式及びインタラクティブ式の即時影像認識方法 | |
JP5419925B2 (ja) | 通過物体数計測方法、通過物体数計測装置、及びプログラム | |
US11636577B2 (en) | Method and apparatus with blur estimation | |
JP2012230671A (ja) | シーンにおけるオブジェクトを分類する方法 | |
JP7107440B2 (ja) | 学習データ生成装置、学習データ生成方法、プログラム | |
WO2023111674A1 (en) | Target detection method and apparatus, electronic device, and computer storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200928 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210830 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6937438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |