TW202236297A - 用於指出杭納氏病變之程式、已學習之模型及其生成方法 - Google Patents

用於指出杭納氏病變之程式、已學習之模型及其生成方法 Download PDF

Info

Publication number
TW202236297A
TW202236297A TW110140382A TW110140382A TW202236297A TW 202236297 A TW202236297 A TW 202236297A TW 110140382 A TW110140382 A TW 110140382A TW 110140382 A TW110140382 A TW 110140382A TW 202236297 A TW202236297 A TW 202236297A
Authority
TW
Taiwan
Prior art keywords
bladder
data
endoscopic image
lesion
image data
Prior art date
Application number
TW110140382A
Other languages
English (en)
Inventor
上田朋宏
安德烈 古魯西尼可夫
Original Assignee
日商朋股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商朋股份有限公司 filed Critical 日商朋股份有限公司
Publication of TW202236297A publication Critical patent/TW202236297A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Urology & Nephrology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本發明提供一種無論醫生之知識或熟練程度如何，均能夠準確且快速地掌握患者之杭納氏（Hunner）病變之通用技術。提供一種於間質性膀胱炎之準確診斷、對間質性膀胱炎患者之救助、國際共識之形成之任一方面均找到顯著進展之技術。 本發明包含一種學習模型生成方法、已學習之模型、及程式，上述學習模型生成方法係取得膀胱中之杭納氏病變之內視鏡影像資料作為指導資料，使用上述指導資料生成學習模型，該學習模型將膀胱內視鏡影像作為輸入並將該膀胱內視鏡影像中之杭納氏病變之位置指出作為輸出。

Description

用於指出杭納氏病變之程式、已學習之模型及其生成方法
本發明係關於一種對指出杭納氏（Hunner）病變有用之程式。更詳細而言，本發明係關於一種在膀胱異常、尤其是間質性膀胱炎相關領域中有用的指出目標杭納氏病變之程式、已學習之模型及其生成方法。
間質性膀胱炎係一種慢性疾病，表現為頻尿或尿意迫切感、膀胱充盈時膀胱疼痛或不適等症狀。於重症之情形時，有時1天排尿多達60次，造成使日常生活變得困難之顯著影響。女性較男性更容易發病，據瞭解，在美國約130萬間質性膀胱炎患者中，有100萬人以上為女性。然而，雖有許多疾病調查報告，但原因尚未明確。進而，「間質性膀胱炎」之定義、診斷標準、進而表述因國家或地區不同而有所差異。因此，本案中之「間質性膀胱炎」之記載為亦包含膀胱疼痛症候群及膀胱過動疼痛症候群之概念的表述。
作為反映美國日常執行之關於間質性膀胱炎之標準者，有美國之病例收集研究（Interstitial Cystitis Data Base; ICDB)18）標準，但該標準中不以膀胱鏡所見作為必要條件。又，有經常被引用之NIDDK（National Institute of Diabates and Digestive and Kidney Diseases）標準，但該標準係於研究時嚴格篩選病例之情形時之標準，因需要膀胱鏡所見，故而更為嚴格。亦有報告顯示，根據ICDB標準被診斷為間質性膀胱炎之患者中，滿足NIDDK標準之患者甚至未達到一半。
又，作為間質性膀胱炎之特點，間質性膀胱炎之病型大致分為具有杭納氏病變之杭納氏型、及不具有杭納氏病變之非杭納氏型。所謂杭納氏病變係指一種特殊之發紅黏膜，其缺少正常之毛細血管結構，於病理學上，上皮經常剝離（糜爛），於黏膜下組織可觀察到新生血管之增生及炎症細胞之聚集。杭納氏型為一種特殊之發紅黏膜，其無論於內視鏡或病理學上均有明確之異常所見，並缺少正常之毛細血管結構。再者，如上所述，由於國際標準尚未確定，因此亦存在於某些地區杭納氏病變被稱為杭納氏潰瘍或被簡稱為潰瘍之情況。
杭納氏型在症狀上更為重症，因此需要於更早期進行準確之診斷及處置。然而，如上所述，於某些地區，杭納氏病變之有無並非診斷間質性膀胱炎之必要條件。進而，由於世界標準之定義或診斷標準尚未確立，因此能夠對間質性膀胱炎及杭納氏病變做出準確認識及診斷之醫生原本就極少。因此，儘管存在作為本發明者之一之上田朋宏針對間質性膀胱炎之診斷所揭示之美國專利第8080185號，但仍然會出現潛在患者被忽略，包含誤診在內之未能進行充分診斷或治療之問題。
[發明所欲解決之課題]
作為造成上述問題困難之原因，可列舉：由於在某些地區，膀胱鏡所見並不一定為診斷間質性膀胱炎之必要條件，因此往往不進行膀胱鏡觀察。於此情形時，難以準確地確認杭納氏病變，如上所述，可能會忽略潛在患者。另一方面，即使進行了膀胱鏡觀察，由於醫生缺乏足夠知識而被忽略之情形亦多。又，膀胱鏡觀察大部分係針對感到膀胱異常之患者進行。因此，不僅觀察正常膀胱（無疾病之健康人之膀胱）之機會及正常膀胱之膀胱鏡影像之積累非常少，而且一些醫生尚不具備區分正常膀胱與雖不存在杭納氏病變但並非正常之膀胱之知識。並且，該等狀況造成了世界標準之定義或診斷標準變得更加困難這一惡性循環。
然而，若提供一種無論醫生之知識或熟練程度如何，均能夠準確且快速地掌握患者之杭納氏病變之通用技術，進而，若提供一種能夠恰當識別正常膀胱之技術，則將會於間質性膀胱炎之準確診斷、對間質性膀胱炎患者之救助、國際共識之形成之任一方面均找到顯著進展。 [解決課題之技術手段]
為了解決上述課題，本發明包含一種學習模型生成方法，其係取得膀胱中之杭納氏病變之內視鏡影像資料作為指導資料，使用上述指導資料生成學習模型，該學習模型將膀胱內視鏡影像作為輸入並將該膀胱內視鏡影像中之杭納氏病變之位置指出作為輸出。
又，本發明包含一種程式，其係使電腦執行如下處理：取得膀胱中之杭納氏病變之內視鏡影像資料，向學習模型中輸入目標膀胱內視鏡影像，而輸出杭納氏病變之位置指出，該學習模型將膀胱內視鏡影像作為輸入並將內視鏡影像中之杭納氏病變之位置指出資料作為輸出。
又，本發明包含一種已學習之模型，其使用了利用膀胱內視鏡系統所取得之膀胱內視鏡影像，且具備：輸入層，其被輸入膀胱內視鏡影像；輸出層，其將內視鏡影像中之杭納氏病變之位置指出資料作為輸出；及中間層，其使用指導資料學習了參數，該指導資料將膀胱中之杭納氏病變之內視鏡影像資料作為輸入並將膀胱影像中之杭納氏病變之位置指出資料作為輸出；且該模型用於使電腦以如下方式發揮功能：將目標膀胱內視鏡影像輸入至上述輸入層，於上述中間層進行運算，並輸出影像中之杭納氏病變之位置指出資料。
進而，較佳為上述學習模型生成方法、程式、已學習之模型包含膀胱內存在之空氣之內視鏡影像資料、正常膀胱之內視鏡影像資料、雖不存在杭納氏病變但並非正常膀胱之內視鏡影像資料中之至少任一者作為指導資料。
又，較佳為上述影像資料包含窄頻帶光觀察影像與白色光觀察影像兩者。
又，較佳為，能夠進行對膀胱是否為正常膀胱進行判斷並輸出之處理，且程式或已學習之模型搭載於膀胱內視鏡之控制裝置。
本發明之程式及已學習之模型可藉由採用具備CPU、GPU、ROM、RAM、通訊介面等之控制裝置或伺服器等公知之構成而實施。又，亦可構成為雲端之系統。進而，本發明較佳為於顯示器等顯示手段具備以框或著色等能夠於視覺上識別之手段來指出並顯示所推定之杭納氏病變之位置的手段。進而，本發明亦可用作獨立於內視鏡來使用之系統，藉由搭載於膀胱內視鏡系統之控制裝置而與膀胱內觀察同時即時使用。
又，本發明中使用深度學習模型，但典型的是使用一種利用神經網路之深度學習，較佳為使用卷積神經網路。當輸入影像時，卷積神經網路作為推定杭納氏病變之位置之推定手段發揮功能。但是，本發明並不限於上述內容，只要能夠發揮本發明之效果即可。
深度學習模型具有大量之內部參數。對於輸入資料，調整內部參數以獲得儘可能接近指導資料之輸出結果。通常，該調整處理被稱為「學習」。為了生成高性能模型，除了模型結構或學習方法較為重要以外，用於學習之指導資料（輸入資料及指導資料集）之數量及品質亦較為重要。
使用膀胱中之杭納氏病變之內視鏡影像作為本發明中之指導資料。藉由指出該杭納氏病變並學習而生成能夠指出杭納氏病變之模型。並且，經研究，判明如下：存在膀胱中存在之空氣（氣泡）被識別為杭納氏病變之情況，以及存在對於正常膀胱指出杭納氏病變之情況（推測為受到正常膀胱之皺褶之陰影或高低差之影響）。因此，為了避免將該等要素判斷為杭納氏病變，使模型學習將空氣（氣泡）視為空氣（氣泡），又，由於正常膀胱之表皮狀況無論有無杭納氏病變均與間質性膀胱炎之膀胱狀態不同，因此不僅使模型學習正常膀胱影像，亦學習雖不存在杭納氏病變但並非正常膀胱之影像。
於本發明中，藉由使模型學習正常膀胱而有效地避免正常膀胱之偽陽性判斷率。又，藉由使模型學習雖不存在杭納氏病變但並非正常膀胱之影像，而有效地避免不存在杭納氏病變之非正常膀胱之偽陽性判斷。進而，若生成針對正常膀胱輸出為正常膀胱之模型，則亦能夠實現將既非正常膀胱亦非具有杭納氏病變之膀胱之情形判斷為異常膀胱並指出之構成。
又，為了獲得精度較高之演算法，需要使模型學習較多杭納氏病變之態樣，但世界上間質性膀胱炎患者之膀胱內視鏡影像之積累非常少。然而，本發明者上田朋宏積累了世界上最多之間質性膀胱炎患者之膀胱內視鏡影像（以及正常膀胱影像及雖不存在杭納氏病變但並非正常膀胱之影像），藉此積累了各種各樣之杭納氏病變影像，可學習足夠多種類及品質之影像來建立模型。進而，於本發明中，使模型學習窄頻帶光觀察（Narrow Band Imaging，NBI）與白色光觀察（White Light Imaging，WLI）兩種影像，從而使得模型能夠用於任一影像。於窄頻帶光觀察中，照射經窄頻帶化之藍色（390～445 nm之波長）與綠色（530～550 nm之波長）兩種波長之光，使微細血管影像之對比度增強而被輸出。藍光表示黏膜表面有無新生血管，綠光表示黏膜深處有無血管。白色光觀察係自內視鏡之前端使用由藍、綠、紅三原色合成之照明光進行觀察。再者，於醫生實際診斷時，窄頻帶光觀察更容易辨識出病變，但估計在包含發展中國家在內之世界上，白色光觀察之利用率仍然較高。白色光觀察由於病變及背景於視覺上均為紅色，因此亦為使診斷變得困難之原因之一，但由於本發明亦能夠應用於白色光觀察影像，故通用性較高，對於發現間質性膀胱炎患者及形成國際共識均有用。
資料集 基於藉由膀胱內視鏡拍攝之動態影像，按照以下順序對該動態影像賦予正確資訊（註解（annotation））。 1.自所有圖框中於每10圖框擷取候選影像，從而選定杭納氏病變候選影像 2.對選定之影像賦予正確資訊 3.對賦予了正確資訊之影像前後之圖框中之相似影像賦予正確資訊
將賦予了正確資訊之資料分為NBI與WLI，並創建靜止影像之資料庫。對於所擷取之影像，藉由修整而消除內視鏡影像外之黑色區域。藉由該處理，影像尺寸變成約1000×900像素。又，杭納氏病變位置之註解係藉由名為Label me之軟體來進行。
動態影像數量 [表1]
資料集 動態影像數量
2016年 1940
2017年 1952
2018年 2005
2019年 2259
2020年 64
靜止影像資料庫構成 [表2]
   NBI WLI
   靜止影像數量 靜止影像數量
正常影像 672 726
有杭納氏病變 2758 1591
氣泡 573 17
*正常影像中包含正常膀胱及雖無杭納氏病變但並非正常膀胱之影像，但不包含有杭納氏病變之影像。 氣泡包含正常膀胱及有杭納氏病變這兩種情形。
影像例
   正常 氣泡 杭納氏病變
WLI
Figure 02_image001
Figure 02_image003
Figure 02_image005
NBI
Figure 02_image007
Figure 02_image009
Figure 02_image011
*上述氣泡之影像例為雖無杭納氏病但並非正常膀胱之影像例。 *原影像均為彩色影像
模型 使用檢測模型及分段（segmentation）模型進行實驗。所謂檢測模型係指推定包含杭納氏病變區域之矩形區域的模型，並輸出矩形區域之位置、尺寸、該矩形之病變置信度。所謂分段模型係指輸出每個像素之病變置信度之模型，推定包含形狀在內之杭納氏病變區域。
實驗中使用以下模型，該等模型對一般影像之資料集（COCO、CITYSCAPES）顯示出較高之性能。 檢測模型：Cascade R-CNN 分段模型：Cascade Mask R-CNN 分段模型：OCNet 使上述3個模型分別利用NBI及WLI之資料進行學習，而創建共計6個模型。
實驗設定及結果 於實驗中，將資料集隨機分割5次，分割為85%之學習資料與15%之測試資料，並進行5次學習、評價。再者，資料分割係以病例為單位來進行。於表3、表4中示出了NBI、WLI資料集各自之影像數量及病例數量。
NB1資料集之影像數量及病例數量 [表3]
分割資料集編號 學習資料 測試資料
影像數量 病例數量 影像數量 病例數量
1 3478 122 514 20
2 3478 122 514 20
3 3365 122 627 20
4 3361 122 631 20
5 3439 122 553 20
WLI資料集之影像數量及病例數量 [表4]
分割資料集編號 學習資料 測試資料
影像數量 病例數量 影像數量 病例數量
1 1909 95 329 15
2 1969 95 269 15
3 1952 95 286 15
4 1773 95 465 15
5 1875 95 363 15
對於各影像類型，又，對於各分割資料集，學習了3個模型（Cascade R-CNN、Cascade Mask R-CNN、OCNET），藉由杭納氏病變區域單位之感度及陽性預測值對模型之性能進行評價。於設有真陽性區域數量（Number of True Positive，#TP）、偽陰性區域數量（Number of False Negative，#FN）、偽陽性區域數量（Number of False Positive，#FP）之情形時，感度（Sensitivity）及陽性預測值（Positive Prediction Value，PPV）為： Sensitivity＝#TP/（#TP＋#FN） PPV＝#TP/（#TP＋#FP）。
繼而，針對杭納氏病變區域單位之真陽性（TP）、偽陰性（FN）、偽陽性（FP）之決定方法進行說明。首先，藉由IoU（Intersection over Union）計算預測區域與正確區域之重疊程度。IoU為預測區域與正確區域之重疊像素數量相對於預測區域與正確區域之聯集區域像素數量之比率，於2個區域完全不重疊之情形時，IoU為0，於完全一致之情形時，IoU為1。將矩形區域之情形時之IoU之得分例示於以下。
IoU之得分例（顏色較淺之線為正確區域，顏色較深之線為預測區域）
Figure 02_image013
於本實施例中，TP、FN及FP之定義如下。又，將概念圖示於圖3。 TP≡與1個像素以上重疊之整個預測區域之IoU超過0.3之正確區域 FN≡與1個像素以上重疊之整個預測區域之IoU為0.3以下之正確區域 FP≡與正確區域之IoU為0.1以下之預測區域
再者，檢測模型Cascade R-CNN如上所述般於矩形區域中進行評價，分段模型Cascade Mask R-CNN及OCNET如下所述般亦考慮區域形狀而進行評價。將正確區域以較淺之顏色顯示，將預測區域以較深之顏色顯示。由於最上部之正確區域與預測區域各自重疊較少，因此為FN、FP。下部之正確區域與複數個預測區域充分重疊，而為TP。
TP、FP、FN之概念圖
Figure 02_image015
將各模型之評價結果示於表5～表8。又，將各模型之NBI影像預測結果例示於表9～11。表11為檢測模型及分段模型中之NBI正常膀胱影像之檢測結果例。 表5：藉由NBI影像評價之檢測模型（Cascade R-CNN）之性能 表6：藉由NBI影像評價之分段模型之性能 表7：藉由WLI影像評價之檢測模型（Cascade R-CNN）之性能 表8：藉由WLI影像評價之分段模型之性能
藉由NBI影像評價之檢測模型（Cascade R-CNN）之性能 [表5]
分割資料集編號 於整個預測區域進行評價 於置信度為50%以上之預測區域進行評價
TP FP FN PPV 感度 TP FP FN PPV 感度
1 359 350 145 0.51 0.71 324 136 180 0.70 0.64
2 308 608 208 0.34 0.60 256 228 260 0.53 0.5
3 524 689 327 0.43 0.61 424 271 427 0.61 0.5
4 464 598 205 0.44 0.69 405 250 264 0.62 0.6
5 486 844 157 0.36 0.76 432 432 211 0.5 0.67
平均值          0.41±0.068 0.67±0.068          0.59±0.079 0.58±0.078
藉由NBI影像評價之分段模型之性能 [表6]
分割資料集編號 Cascade Mask R-CNN OCNET
PPV 感度 PPV 感度
1 0.67 0.71 0.84 0.57
2 0.49 0.64 0.62 0.38
3 0.63 0.68 0.59 0.40
4 0.5 0.65 0.81 0.66
5 0.38 0.66 0.55 0.44
平均值 0.53±0.116 0.67±0.027 0.68±0.133 0.49±0.120
*用模型有反應之全部預測像素（置信度不為0%之像素）進行評價
藉由WLI影像評價之檢測模型（Cascade R-CNN）之性能 [表7]
分割資料集編號 於整個預測區域進行評價 於置信度為50%以上之預測區域進行評價
TP FP FN PPV 感度 TP FP FN PPV 感度
1 190 133 36 0.59 0.84 179 59 47 0.75 0.79
2 241 150 26 0.62 0.90 225 74 42 0.75 0.84
3 251 195 90 0.56 0.74 218 109 123 0.66 0.63
4 470 245 61 0.66 0.88 418 83 113 0.83 0.79
5 337 241 100 0.58 0.77 312 130 125 0.71 0.71
平均值          0.60±0.039 0.83±0.069          074±0.062 0.75±0.083
藉由WLI影像評價之分段模型之性能 [表8]
分割資料集編號 Cascade Mask R-CNN OCNET
PPV 感度 PPV 感度
1 0.45 0.91 0.76 0.54
2 0.56 0.98 0.87 0.64
3 0.45 0.90 0.76 0.47
4 0.56 0.94 0.80 0.79
5 0.50 0.91 0.63 0.38
平均值 0.50±0.055 0.93±0.032 0.76±0.087 0.56±0.158
*用模型有反應之全部預測像素（置信度不為0%之像素）進行評價
檢測模型（Cascade R-CNN)之NBI影像預測結果例 [表9]
Figure 02_image017
*顯示置信度不為0%之全部預測區域 顏色較淺之線（原影像為綠色）為正確區域，顏色較深之線（原影像為紅色）為預測區域。
檢測模型及分段模型之NBI影像預測結果例 [表10]
Figure 02_image019
*顏色較淺之線（原影像為綠色）為正確區域，顏色較深之線（原影像為紅色）為預測區域。 矩形輸出與置信度一起顯示。 於本例中，設為將氣泡輸出並顯示為氣泡之態樣。
檢測模型及分段模型之WLI影像預測結果例 [表11]
Figure 02_image021
*塗滿部分（原影像為黃色）為正確區域，白線（原影像為紅色）為預測區域。 矩形輸出與置信度一起顯示。
檢測模型及分段模型中之NBI正常膀胱影像之檢測結果例 [表12]
Figure 02_image023
如上所述，能夠形成一種既能應用於窄頻帶光觀察亦能應用於白色光觀察影像之已學習之模型。進而，亦能夠指出氣泡。根據本發明，能夠提供一種無論醫生之知識或熟練程度如何，又，無論為窄頻帶光觀察或者白色光觀察影像，均能夠準確且快速地掌握杭納氏病變之機會。進而，即使於正常膀胱中因高低差、陰影等而出現紅色相位，亦可避免偽陽性判斷。其結果，有助於推進準確診斷間質性膀胱炎、救助間質性膀胱炎患者、及形成國際共識。
無
無

Claims (17)

  1. 一種學習模型生成方法，其係取得膀胱中之杭納氏（Hunner）病變之內視鏡影像資料作為指導資料， 使用上述指導資料， 生成學習模型，該學習模型將膀胱內視鏡影像作為輸入並將該膀胱內視鏡影像中之杭納氏病變之位置指出作為輸出。
  2. 如請求項1之學習模型生成方法，其進而包含膀胱內存在之空氣之內視鏡影像資料作為指導資料。
  3. 如請求項1或2之學習模型生成方法，其進而包含正常膀胱之內視鏡影像資料及雖不存在杭納氏病變但並非正常膀胱之內視鏡影像資料作為指導資料。
  4. 如請求項1或2之學習模型生成方法，其中，上述指導資料中之上述內視鏡影像資料包含窄頻帶光觀察影像與白色光觀察影像兩者。
  5. 如請求項4之學習模型生成方法，其進而包含所輸入之膀胱內視鏡之膀胱是否為正常膀胱之判定作為輸出。
  6. 一種程式，其係使電腦執行如下處理：  取得膀胱中之杭納氏病變之內視鏡影像資料， 向學習模型中輸入目標膀胱內視鏡影像，而輸出杭納氏病變之位置指出，該學習模型將膀胱內視鏡影像作為輸入並將內視鏡影像中之杭納氏病變之位置指出資料作為輸出。
  7. 如請求項6之程式，其中，上述指導資料中之上述內視鏡影像資料包含窄頻帶光觀察影像與白色光觀察影像兩者。
  8. 如請求項6或7之程式，其中，上述學習模型進而包含不存在杭納氏病變之正常膀胱之內視鏡影像資料、及 雖非正常膀胱但不存在杭納氏病變之內視鏡影像資料作為指導資料。
  9. 如請求項6或7之程式，其進而包含膀胱內存在之空氣之內視鏡影像資料作為指導資料。
  10. 如請求項7之程式，其進而包含對是否為正常膀胱進行判斷並輸出之處理。
  11. 一種已學習之模型，其係使用了利用膀胱內視鏡系統所取得之膀胱內視鏡影像者，其具備： 輸入層，其被輸入膀胱內視鏡影像； 輸出層，其將內視鏡影像中之杭納氏病變之位置指出資料作為輸出；及 中間層，其使用指導資料學習了參數，該指導資料將膀胱中之杭納氏病變之內視鏡影像資料作為輸入，將膀胱影像中之杭納氏病變之位置指出資料作為輸出；且 該模型用於使電腦以如下方式發揮功能：將目標膀胱內視鏡影像輸入至上述輸入層，於上述中間層進行運算，並輸出影像中之杭納氏病變之位置指出資料。
  12. 如請求項11之已學習之模型，其進而包含膀胱內存在之空氣之內視鏡影像資料作為指導資料。
  13. 如請求項11或12之已學習之模型，其進而包含正常膀胱之內視鏡影像資料、及 雖不存在杭納氏病變但並非正常膀胱之內視鏡影像資料作為指導資料。
  14. 如請求項11或12之已學習之模型，其中，上述指導資料中之上述內視鏡影像資料包含窄頻帶光觀察影像與白色光觀察影像兩者。
  15. 如請求項13之已學習之模型，其進而包含正常膀胱或異常膀胱之判定作為輸出。
  16. 一種膀胱內視鏡之控制裝置，其記錄有請求項6至10中任一項之程式。
  17. 一種膀胱內視鏡之控制裝置，其記錄有請求項11至15中任一項之已學習之模型。
TW110140382A 2020-11-25 2021-10-29 用於指出杭納氏病變之程式、已學習之模型及其生成方法 TW202236297A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020195447A JP7124041B2 (ja) 2020-11-25 2020-11-25 ハンナ病変の指摘のためのプログラム
JPJP2020-195447 2020-11-25

Publications (1)

Publication Number Publication Date
TW202236297A true TW202236297A (zh) 2022-09-16

Family

ID=81754358

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110140382A TW202236297A (zh) 2020-11-25 2021-10-29 用於指出杭納氏病變之程式、已學習之模型及其生成方法

Country Status (7)

Country Link
US (1) US20220392063A1 (zh)
EP (1) EP4252614A1 (zh)
JP (2) JP7124041B2 (zh)
KR (1) KR20230110246A (zh)
CN (1) CN116261418A (zh)
TW (1) TW202236297A (zh)
WO (1) WO2022114088A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024008323A (ja) * 2022-07-08 2024-01-19 国立研究開発法人産業技術総合研究所 学習用画像データ作成方法及びシステム
CN115670347A (zh) * 2022-09-22 2023-02-03 中国科学院苏州生物医学工程技术研究所 移动式食管内镜图像采集与质控***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194117B2 (en) 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US7807074B2 (en) 2006-12-12 2010-10-05 Honeywell International Inc. Gaseous dielectrics with low global warming potentials
JP2009066090A (ja) * 2007-09-12 2009-04-02 Npo Comfortable Urology Network 下部尿路障害を診断する方法
JP2017534322A (ja) * 2014-09-17 2017-11-24 タリス バイオメディカル エルエルシー 膀胱の診断的マッピング方法及びシステム
US20180012359A1 (en) 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation
SG11202003973VA (en) 2017-10-30 2020-05-28 Japanese Found For Cancer Res Image diagnosis assistance apparatus, data collection method, image diagnosis assistance method, and image diagnosis assistance program
JP6644043B2 (ja) 2017-11-08 2020-02-12 矢崎総業株式会社 半導体リレー制御装置
WO2020137172A1 (ja) 2018-12-27 2020-07-02 公立大学法人奈良県立医科大学 間質性膀胱炎の診断方法

Also Published As

Publication number Publication date
JP2022083867A (ja) 2022-06-06
JP7124041B2 (ja) 2022-08-23
JP2022111195A (ja) 2022-07-29
WO2022114088A1 (ja) 2022-06-02
CN116261418A (zh) 2023-06-13
EP4252614A1 (en) 2023-10-04
JP7522154B2 (ja) 2024-07-24
KR20230110246A (ko) 2023-07-21
US20220392063A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗***
JP7476800B2 (ja) 医療支援システム、医療支援装置及び医療支援方法
JP7522154B2 (ja) ハンナ病変の指摘のためのプログラム
US20200279373A1 (en) Ai systems for detecting and sizing lesions
Muramatsu et al. Automated detection and classification of major retinal vessels for determination of diameter ratio of arteries and veins
EP2386999A2 (en) Image processing apparatus, image processing method, and image processing program
WO2020215810A1 (zh) 一种基于图像识别的结肠镜手术中窄带成像检测方法
CN110477846A (zh) 一种消化内镜异常特征实时标记方法及***
Dmitry et al. Review of features and metafeatures allowing recognition of abnormalities in the images of GIT
Obukhova et al. Automated image analysis in multispectral system for cervical cancer diagnostic
Sirazitdinova et al. Validation of computerized quantification of ocular redness
CN112509075A (zh) 基于智慧医疗的颅内血管病灶标记与三维显示方法
Sangeethaa Presumptive discerning of the severity level of glaucoma through clinical fundus images using hybrid PolyNet
CN113989236A (zh) 一种胃镜图像智能目标检测***及方法
Deshmukh et al. Automatic segmentation of corneal deposits from corneal stromal dystrophy images via deep learning
Li et al. Computer-aided Diagnosis (CAD) for cervical cancer screening and diagnosis: a new system design in medical image processing
Wang et al. A Fully Automatic Estimation of Tear Meniscus Height Using Artificial Intelligence
Cao et al. Transformer for computer-aided diagnosis of laryngeal carcinoma in pcle images
Xu et al. Accurate C/D ratio estimation with elliptical fitting for OCT image based on joint segmentation and detection network
Mahmoudinezhad et al. Deep Learning Estimation of 10-2 Visual Field Map Based on Macular Optical Coherence Tomography Angiography Measurements
WO2023058503A1 (ja) 内視鏡システム、医療画像処理装置及びその作動方法
Lin et al. Automatic identifying laryngopharyngeal reflux using artificial neural network
CN106951839A (zh) 一种***清洁度自动划分的方法
HEMELINGS DEEP LEARNING IN GLAUCOMA