TWI702615B - 視網膜病變評估模型建立方法及系統 - Google Patents
視網膜病變評估模型建立方法及系統 Download PDFInfo
- Publication number
- TWI702615B TWI702615B TW108126612A TW108126612A TWI702615B TW I702615 B TWI702615 B TW I702615B TW 108126612 A TW108126612 A TW 108126612A TW 108126612 A TW108126612 A TW 108126612A TW I702615 B TWI702615 B TW I702615B
- Authority
- TW
- Taiwan
- Prior art keywords
- model
- training
- image
- subset
- retinopathy
- Prior art date
Links
- 208000017442 Retinal disease Diseases 0.000 title claims abstract description 68
- 206010038923 Retinopathy Diseases 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 73
- 230000004256 retinal image Effects 0.000 claims abstract description 36
- 230000003902 lesion Effects 0.000 claims abstract description 35
- 238000003702 image correction Methods 0.000 claims abstract description 20
- 238000012795 verification Methods 0.000 claims abstract description 18
- 238000013210 evaluation model Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 201000010099 disease Diseases 0.000 claims abstract description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 10
- 238000013519 translation Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims 3
- 238000012937 correction Methods 0.000 claims 2
- 206010047571 Visual impairment Diseases 0.000 claims 1
- 238000004364 calculation method Methods 0.000 claims 1
- NOESYZHRGYRDHS-UHFFFAOYSA-N insulin Chemical compound N1C(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(NC(=O)CN)C(C)CC)CSSCC(C(NC(CO)C(=O)NC(CC(C)C)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CCC(N)=O)C(=O)NC(CC(C)C)C(=O)NC(CCC(O)=O)C(=O)NC(CC(N)=O)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CSSCC(NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2C=CC(O)=CC=2)NC(=O)C(CC(C)C)NC(=O)C(C)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2NC=NC=2)NC(=O)C(CO)NC(=O)CNC2=O)C(=O)NCC(=O)NC(CCC(O)=O)C(=O)NC(CCCNC(N)=N)C(=O)NCC(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC(O)=CC=3)C(=O)NC(C(C)O)C(=O)N3C(CCC3)C(=O)NC(CCCCN)C(=O)NC(C)C(O)=O)C(=O)NC(CC(N)=O)C(O)=O)=O)NC(=O)C(C(C)CC)NC(=O)C(CO)NC(=O)C(C(C)O)NC(=O)C1CSSCC2NC(=O)C(CC(C)C)NC(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(NC(=O)C(N)CC=1C=CC=CC=1)C(C)C)CC1=CN=CN1 NOESYZHRGYRDHS-UHFFFAOYSA-N 0.000 description 8
- 206010012689 Diabetic retinopathy Diseases 0.000 description 6
- 102000004877 Insulin Human genes 0.000 description 4
- 108090001061 Insulin Proteins 0.000 description 4
- 229940125396 insulin Drugs 0.000 description 4
- 208000032843 Hemorrhage Diseases 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 206010012601 diabetes mellitus Diseases 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 206010029113 Neovascularisation Diseases 0.000 description 2
- 206010067584 Type 1 diabetes mellitus Diseases 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 210000004088 microvessel Anatomy 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 206010021143 Hypoxia Diseases 0.000 description 1
- 208000037111 Retinal Hemorrhage Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 239000002870 angiogenesis inducing agent Substances 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000007954 hypoxia Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002747 omentum Anatomy 0.000 description 1
- 201000007914 proliferative diabetic retinopathy Diseases 0.000 description 1
- 230000035752 proliferative phase Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 208000010110 spontaneous platelet aggregation Diseases 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 208000001072 type 2 diabetes mellitus Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一種視網膜病變評估模型建立方法,一視網膜病變評估模型建立系統將所儲存的多張視網膜影像進行影像校正,以獲得多張校正後影像,其中,每一視網膜影像對應一病變嚴重程度等級,並將該等校正後影像分群成一訓練子集、一驗證子集,及一測試子集,再根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級,與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級,建立一視網膜病變評估模型,最後根據該測試子集檢測該視網膜病變評估模型的準確率。此外,本發明還提供一種視網膜病變評估模型建立系統。
Description
本發明是有關於一種評估模型建立方法,特別是指一種視網膜病變評估模型建立方法及系統。
糖尿病是一種因胰島素缺乏或拮抗胰島素功能的因子出現導致血糖上升的疾病,而長期血糖上升會引起眼部視網膜微細血管病變,稱之為糖尿病視網膜病變(Diabetic retinopathy)。
大部分的第一型(胰島素依賴型IDDM)糖尿病患在患病的15至20年後都會發生視網膜病變,其中有20%至30%的病患會導致失明;而第二型(非胰島素依賴型NIDDM)糖尿病患則會有超過60%的機率發生視網膜病變。
糖尿病視網膜病變真正的致病機轉(mechanism),至今仍未十分明瞭,但基本上可知長期血糖升高,會導致血小板凝集力上升,微細血管受損,進而引起微細血管局部膨大,滲漏、出血、阻塞等現象,而微細血管阻塞會造成視網膜缺氧進而導致網膜新生血管,過程中血管增生(angiogenic factors) 的同時也會伴隨著纖維性增生,最後造成增殖期糖尿病視網膜病變的變化。
一般而言,糖尿病視網膜病變是藉眼底鏡(Ophthalmoscope)醫療影像,依據血管、出血及斑點的程度判斷進行評估分級,臨床上,糖尿病視網膜病變嚴重程度的類目可分為7級,從無明顯病變,到出現微細血管瘤甚至是嚴重的視網膜出血、靜脈念珠狀變化、網膜內微細血管異常、出現新生血管、出現玻璃體,或網膜前出血,更甚者達”增殖期”。
然而,在醫師根據眼底鏡醫療影像進行評估分級時,係根據醫師的經驗進行評估分級,不同的醫師間評估的等級也可能有些許的差異,例如,某地區醫院之醫師判斷某患者視網膜病變為4級程度,另一地區醫院之醫師可能判斷為5級程度,因此現有糖尿病視網膜病變的評估分級並沒有一套精確的標準,且醫師對於視網膜病變的評估不夠客觀,不同醫師評估的落差對患者恐會造成負向的影響。
因此,本發明的目的,即在提供一種能夠建立起一套診斷標準的視網膜病變評估模型之視網膜病變評估模型建立方法。
於是,本發明視網膜病變評估模型建立方法,由一視網膜病變評估模型建立系統執行,該視網膜病變評估模型建立系統儲存多張分別相關於多個訓練者的視網膜影像,每一視網膜影像對應一病變嚴重程度等級,該視網膜病變評估模型建立方法包含一步驟(A)、一步驟(B)、一步驟(C),及一步驟(D)。
在該步驟(A)中,該視網膜病變評估模型建立系統將該等視網膜影像進行影像校正,以獲得多張校正後影像。
在該步驟(B)中,該視網膜病變評估模型建立系統將該等校正後影像分群成一訓練子集、一驗證子集,及一測試子集。
在該步驟(C)中,該視網膜病變評估模型建立系統根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級,與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級,建立一視網膜病變評估模型。
在該步驟(D)中,該視網膜病變評估模型建立系統根據該測試子集檢測該視網膜病變評估模型的準確率。
本發明的另一目的,即在提供一種能夠建立起一套診斷標準,並提供客觀評估的視網膜病變評估模型之視網膜病變評估模型建立系統,該系統包含一儲存單元、一電連接該儲存單元的影像校正單元,及一電連接該影像校正單元的模型建立單元。
該儲存單元儲存多張分別相關於多個訓練者的視網膜影像,每一視網膜影像對應一病變嚴重程度等級。
該影像校正單元將該等視網膜影像進行影像校正,以獲得多張校正後影像。
該模型建立單元將該等校正後影像分群成一訓練子集、一驗證子集,及一測試子集,並根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級,與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級,建立一視網膜病變評估模型,最後根據該測試子集檢測該視網膜病變評估模型的準確率。
本發明之功效在於:藉由該模型建立單元根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級,與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級建立能提供客觀的視網膜病變評估的該視網膜病變評估模型。
在本發明被詳細描述前,應當注意在以下的說明內容中,類似的元件是以相同的編號來表示。
參閱圖1,本發明視網膜病變評估模型建立系統1的一實施例,包含一儲存單元11、一影像校正單元12,及一模型建立單元13。
該儲存單元11儲存多張分別相關於多個訓練者的視網膜影像,每一視網膜影像對應一病變嚴重程度等級,且包括一感興趣區域。在本實施例中,該病變嚴重程度等級包括一指示出正常的第0等級、一指示出輕微症狀的視網膜病變的第1等級、一指示出視網膜病變的第2等級,及一指示出嚴重程度的視網膜病變的第3等級,但不以此為限。
該影像校正單元12電連接該儲存單元11,該模型建立單元13電連接該影像校正單元12。
參閱圖1及圖2,說明了本發明視網膜病變評估模型建立系統1如何執行本發明視網膜病變評估模型建立方法之該實施例,該實施例包含以下步驟。
在步驟21中,該影像校正單元12將該儲存單元11儲存的該等視網膜影像進行影像校正,以獲得多張校正後影像。搭配參閱圖3,步驟21包括子步驟211、212,以下說明步驟211、212。
在步驟211中,對於每一視網膜影像,該影像校正單元12調整該視網膜影像的亮度值、灰階值及色階之其中至少一者,以去除該視網膜影像的雜訊。
在步驟212中,對於每一調整後的視網膜影像,該影像校正單元12將調整後的該視網膜影像進行邊界調整、裁切、翻轉、平移及縮放之其中至少一者,以獲得一校正後影像,該等校正後影像包括的該等感興趣區域具有相同大小、角度,及位置,藉此處理不同影像機器拍攝的視網膜影像的邊界、角度,以及資料大小,以避免影像資料的遺失資訊、極端資訊與雜訊影響。
在步驟22中,該模型建立單元13將該等校正後影像分群成一訓練子集、一驗證子集,及一測試子集。
在步驟23中,該模型建立單元13根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級,與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級,建立一視網膜病變評估模型。搭配參閱圖4,步驟23包括子步驟231~234,以下說明步驟231~234。
在步驟231中,對於該訓練子集的每一校正後影像,該模型建立單元13進行卷積(convolution)運算(亦即,進行特徵選取與特徵保留),以獲得一特徵圖(feature map)組。
在步驟232中,對於每一特徵圖組,該模型建立單元13進行池化(pooling)運算(亦即,進行整合性的特徵保留),以獲得一降低維度的特徵圖組。
在步驟233中,對於每一降低維度的特徵圖組及其對應的病變嚴重程度等級,該模型建立單元13利用歸一化指數(Softmax
)函數方法進行全連接(fully connected)運算,以建立一訓練模型。值得注意的是,該歸一化指數函數能將一個含任意實數的
N維向量
z作為輸入,並將其歸一化為由N個機率組成的機率分佈,使得每一個機率的範圍都在(0,1)之間,並且所有機率的和為1,該歸一化指數函數以下式表示:
,
j=1,…,
N。
其中,
表示向量
z的第
j個元素。在本實施例中,
N=4,即表示該訓練模型會輸出4個分別對應該第0等級、該第1等級、該第2等級,及該第3等級的機率
、
、
,及
。
在步驟234中,該模型建立單元13根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級、該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級,及該訓練模型,建立該視網膜病變評估模型。
搭配參閱圖5,步驟234包括子步驟2341~2343,以下說明步驟2341~2343。
在步驟2341中,該模型建立單元13根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級判定該訓練模型是否過擬合(overfitting)或欠擬合(underfitting)。值得注意的是,該模型建立單元13對於該驗證子集中的每一校正後影像及該訓練子集中的每一校正後影像進行預測,若利用該訓練模型對該訓練子集中之校正後影像進行預測而獲得之預測結果的準確率高於一第一預設閥值,但利用該訓練模型對該驗證子集中之校正後影像進行預測而獲得之預測結果的準確率低於一第二預設閥值,則該模型建立單元13判定該訓練模型為過擬合;若利用該訓練模型對該訓練子集中之校正後影像進行預測,而獲得之預測結果的準確率低於該第一預設閥值,則該模型建立單元13判定為欠擬合。值得注意的是,在本實施例中,該第一預設閥值介於75%~95%之間,該第二預設閥值介於75%~90%之間,但不以此為限。
在步驟2342中,當該模型建立單元13判定出該訓練模型過擬合或欠擬合時,該模型建立單元13調整該訓練模型,並重複步驟2341。
值得注意的是,在本實施例中,該模型建立單元13係調整一相關於該訓練模型的超參數組(Hyperparamters),以調整該訓練模型,在其他實施方式中,該模型建立單元13亦可將該訓練子集中之每一校正後影像進行資料增強(Data Augmentation)以獲得所對應之增強後影像,接著,再次進行步驟231~233以重新建立該訓練模型,其中,再次進行的步驟231係以每一增強後影像來進行卷積運算,以調整該訓練模型,或是該模型建立單元13同時進行調整該超參數組及根據該訓練子集中之每一校正後影像進行資料增強後進行步驟231~233重新建立該訓練模型,以調整該訓練模型,其中,對於該訓練子集的每一校正後影像,該模型建立單元13所進行的資料增強例如為,該模型建立單元13將該校正後影像進行隨機灰階值調整以獲得多張不同灰階值的灰階影像、該模型建立單元13將該校正後影像進行隨機平移以獲得多張對應有不同感興趣區域位置的平移影像、該模型建立單元13將該校正後影像進行隨機翻轉以獲得多張具有不同翻轉角度的翻轉影像,及該模型建立單元13將該校正後影像進行隨機縮放以獲得多張具有不同大小且影像大小在224*224 ~299*299之間的縮放影像之其中至少一種影像處理,以獲得更多的資料,但不以此為限。
在步驟2343中,當該模型建立單元13判定出該訓練模型未有過擬合且欠擬合時,該訓練模型即為該視網膜病變評估模型,該模型建立單元13將該訓練模型作為該視網膜病變評估模型。
在步驟24中,該模型建立單元13根據該測試子集檢測該視網膜病變評估模型的準確率。對於每一測試子集的校正後影像,該模型建立單元13根據該視網膜病變評估模型輸出一包括該第0等級、該第1等級、該第2等級,及該第3等級之其中機率最高者的預測結果(如圖6),該模型建立單元13根據該預測結果與該校正後影像對應的該病變嚴重程度等級,判斷該預測結果是否正確,舉例來說,圖6之該預測結果為機率最高的該第0等級,其機率為0.932,而該校正後影像對應的該病變嚴重程度等級為第0級,故該預測結果為正確。該模型建立單元13再根據所有預測結果獲得準確率,評估該視網膜病變評估模型的性能和分類能力,以作為參考。
綜上所述,本發明視網膜病變評估模型建立方法及系統,該影像校正單元12將該等視網膜影像進行影像校正,以提升該模型建立單元13建立的該視網膜病變評估模型之效能,並藉由該模型建立單元13根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級,與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級建立能提供客觀的視網膜病變評估的該視網膜病變評估模型,該視網膜病變評估模型輸出之預測結果可供醫療人員作為參考依據,以輔助醫療人員之診斷,故確實能達成本發明的目的。
惟以上所述者,僅為本發明的實施例而已,當不能以此限定本發明實施的範圍,凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾,皆仍屬本發明專利涵蓋的範圍內。
1:視網膜病變評估模型建立系統
11:儲存單元
12:影像校正單元
13:模型建立單元
21~24:步驟
211、212:步驟
231~234:步驟
2341~2343:步驟
本發明的其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:
圖1是一方塊圖,說明本發明視網膜病變評估模型建立系統的一實施例;
圖2是一流程圖,說明本發明視網膜病變評估模型建立方法的一實施例;
圖3是一流程圖,輔助說明圖2的步驟21的子步驟211、212;
圖4是一流程圖,輔助說明圖2的步驟23的子步驟231~234;
圖5是一流程圖,輔助說明圖4的步驟234的子步驟2341~2343;及
圖6是一示意圖,說明該視網膜病變評估模型輸出的一預測結果。
21~24:步驟
Claims (8)
- 一種視網膜病變評估模型建立方法,由一視網膜病變評估模型建立系統執行,該視網膜病變評估模型建立系統儲存多張分別相關於多個訓練者的視網膜影像,每一視網膜影像對應一病變嚴重程度等級,且每一視網膜影像包括一感興趣區域,該視網膜病變評估模型建立方法包含以下步驟:(A)將該等視網膜影像進行影像校正,以獲得多張校正後影像,步驟(A)包括以下子步驟(A-1)對於每一視網膜影像,調整該視網膜影像的亮度值、灰階值及色階之其中至少一者,以去除該視網膜影像的雜訊,及(A-2)對於每一調整後的視網膜影像,將調整後的該視網膜影像進行邊界調整、裁切、翻轉、平移及縮放之其中至少一者,以獲得一校正後影像,該等校正後影像包括的該等感興趣區域具有相同大小、角度,及位置;(B)將該等校正後影像分群成一訓練子集、一驗證子集,及一測試子集;(C)根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級,與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級,建立一視網膜病變評估模型;及(D)根據該測試子集檢測該視網膜病變評估模型的準 確率。
- 如請求項1所述的視網膜病變評估模型建立方法,其中,步驟(C)包括以下子步驟:(C-1)對於該訓練子集的每一校正後影像,進行卷積運算,以獲得一特徵圖組;(C-2)對於每一特徵圖組,進行池化運算,以獲得一降低維度的特徵圖組;及(C-3)對於每一降低維度的特徵圖組及其對應的病變嚴重程度等級,利用歸一化指數函數方法進行全連接運算,以建立一訓練模型;(C-4)根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級、該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級,及該訓練模型,建立該視網膜病變評估模型。
- 如請求項2所述的視網膜病變評估模型建立方法,其中,步驟(C-4)包括以下子步驟:(C-4-1)根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級判定該訓練模型是否過擬合或欠擬合;(C-4-2)當判定出該訓練模型過擬合或欠擬合時,調整該訓練模型,並重複步驟(C-4-1);(C-4-3)當判定出該訓練模型未有過擬合且欠擬合時,該訓練模型即為該視網膜病變評估模型。
- 如請求項3所述的視網膜病變評估模型建立方法,其中,在步驟(C-4-2)中,進行調整一相關於該訓練模型的超參數組,以及將該訓練子集中之每一校正後影像進行隨機灰階值調整以獲得多張不同灰階值的灰階影像、進行隨機平移以獲得多張對應有不同感興趣區域位置的平移影像、進行隨機翻轉以獲得多張具有不同翻轉角度的翻轉影像,及進行隨機縮放以獲得多張具有不同大小且影像大小在224*224~299*299之間的縮放影像之其中至少一者後,進行步驟(C-1)~(C-3)重新建立該訓練模型之其中至少一者,以調整該訓練模型。
- 一種視網膜病變評估模型建立系統,包含一儲存單元,儲存多張分別相關於多個訓練者的視網膜影像,每一視網膜影像對應一病變嚴重程度等級,且每一視網膜影像包括一感興趣區域;一影像校正單元,電連接該儲存單元,將該等視網膜影像進行影像校正,以獲得多張校正後影像,對於每一視網膜影像,調整該視網膜影像的亮度值、灰階值及色階之其中至少一者,以去除該視網膜影像的雜訊,對於每一調整後的視網膜影像,將調整後的該視網膜影像進行邊界調整、裁切、翻轉、平移及縮放之其中至少一者,以獲得一校正後影像,該等校正後影像包括的該等感興趣區域具有相同大小、角度,及位置;及一模型建立單元,電連接該影像校正單元,將該等校正後影像分群成一訓練子集、一驗證子集,及一測試子 集,並根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級,與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級,建立一視網膜病變評估模型,且根據該測試子集檢測該視網膜病變評估模型的準確率。
- 如請求項5所述的視網膜病變評估模型建立系統,其中,該模型建立單元對於該訓練子集的每一校正後影像,進行卷積運算,以獲得一特徵圖組,並對於每一特徵圖組,進行池化運算,以獲得一降低維度的特徵圖組,且對於每一降低維度的特徵圖組及其對應的病變嚴重程度等級,利用歸一化指數函數方法進行全連接運算,以建立一訓練模型,再根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級、該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級,及該訓練模型,建立該視網膜病變評估模型。
- 如請求項6所述的視網膜病變評估模型建立系統,其中,該模型建立單元根據該訓練子集中的每一校正後影像及其對應的病變嚴重程度等級與該驗證子集中的每一校正後影像及其對應的病變嚴重程度等級判定該訓練模型是否過擬合或欠擬合,並在判定出該訓練模型過擬合或欠擬合時,調整該訓練模型,並再判定該訓練模型是否過擬合或欠擬合,直到判定出該訓練模型未有過擬合且欠擬合,而在判定出該訓練模型未有過擬合且欠擬合時,將該訓練模型作為該視網膜病變評估模型。
- 如請求項7所述的視網膜病變評估模型建立系統,其中, 該模型建立單元進行調整一相關於該訓練模型的超參數組,以及將該訓練子集中之每一校正後影像進行隨機灰階值調整以獲得多張不同灰階值的灰階影像、進行隨機平移以獲得多張對應有不同感興趣區域位置的平移影像、進行隨機翻轉以獲得多張具有不同翻轉角度的翻轉影像,及進行隨機縮放以獲得多張具有不同大小且影像大小在224*224~299*299之間的縮放影像之其中至少一者後,重新建立該訓練模型之其中至少一者,以調整該訓練模型。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108126612A TWI702615B (zh) | 2019-07-26 | 2019-07-26 | 視網膜病變評估模型建立方法及系統 |
CN201910885097.1A CN112365535A (zh) | 2019-07-26 | 2019-09-19 | 视网膜病变评估模型建立方法及*** |
JP2019184518A JP2021022350A (ja) | 2019-07-26 | 2019-10-07 | 網膜症診断用モデルの構築方法、及び該方法を実行する網膜症診断用モデルの構築システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108126612A TWI702615B (zh) | 2019-07-26 | 2019-07-26 | 視網膜病變評估模型建立方法及系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI702615B true TWI702615B (zh) | 2020-08-21 |
TW202105410A TW202105410A (zh) | 2021-02-01 |
Family
ID=73003298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108126612A TWI702615B (zh) | 2019-07-26 | 2019-07-26 | 視網膜病變評估模型建立方法及系統 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2021022350A (zh) |
CN (1) | CN112365535A (zh) |
TW (1) | TWI702615B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI768951B (zh) * | 2021-06-03 | 2022-06-21 | 宏碁股份有限公司 | 訓練老年性黃斑部退化的分類模型的電子裝置和方法 |
KR20230111522A (ko) * | 2022-01-18 | 2023-07-25 | 가톨릭대학교 산학협력단 | 병적 근시 진단 장치 및 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8090164B2 (en) * | 2003-08-25 | 2012-01-03 | The University Of North Carolina At Chapel Hill | Systems, methods, and computer program products for analysis of vessel attributes for diagnosis, disease staging, and surgical planning |
US8309519B2 (en) * | 2006-12-11 | 2012-11-13 | University Of Utah Research Foundation | Compositions and methods for inhibiting vascular permeability |
TW201546640A (zh) * | 2013-09-16 | 2015-12-16 | Biodesix Inc | 使用微分類器及規則化之組合的分類器產生方法與其用途 |
TW201842478A (zh) * | 2017-04-28 | 2018-12-01 | 美商英特爾股份有限公司 | 用於低精度機器學習操作之計算最佳化 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015060897A1 (en) * | 2013-10-22 | 2015-04-30 | Eyenuk, Inc. | Systems and methods for automated analysis of retinal images |
US10282663B2 (en) * | 2015-08-15 | 2019-05-07 | Salesforce.Com, Inc. | Three-dimensional (3D) convolution with 3D batch normalization |
JP6745496B2 (ja) * | 2016-08-19 | 2020-08-26 | 学校法人自治医科大学 | 糖尿病網膜症の病期判定支援システムおよび糖尿病網膜症の病期の判定を支援する方法 |
CN111095261A (zh) * | 2017-04-27 | 2020-05-01 | 视网膜病答案有限公司 | 眼底图像自动分析***和方法 |
CN107203778A (zh) * | 2017-05-05 | 2017-09-26 | 平安科技(深圳)有限公司 | 视网膜病变程度等级检测***及方法 |
CN107729929B (zh) * | 2017-09-30 | 2021-03-19 | 百度在线网络技术(北京)有限公司 | 用于获取信息的方法及装置 |
CN108021916B (zh) * | 2017-12-31 | 2018-11-06 | 南京航空航天大学 | 基于注意力机制的深度学习糖尿病视网膜病变分类方法 |
CN108876775B (zh) * | 2018-06-12 | 2022-10-18 | 湖南大学 | 糖尿病性视网膜病变的快速检测方法 |
CN108960257A (zh) * | 2018-07-06 | 2018-12-07 | 东北大学 | 一种基于深度学习的糖尿病视网膜病变等级分级方法 |
CN109635862B (zh) * | 2018-12-05 | 2021-08-24 | 合肥奥比斯科技有限公司 | 早产儿视网膜病plus病变分类方法 |
CN109691979A (zh) * | 2019-01-07 | 2019-04-30 | 哈尔滨理工大学 | 一种基于深度学习的糖尿病视网膜图像病变分类方法 |
-
2019
- 2019-07-26 TW TW108126612A patent/TWI702615B/zh not_active IP Right Cessation
- 2019-09-19 CN CN201910885097.1A patent/CN112365535A/zh active Pending
- 2019-10-07 JP JP2019184518A patent/JP2021022350A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8090164B2 (en) * | 2003-08-25 | 2012-01-03 | The University Of North Carolina At Chapel Hill | Systems, methods, and computer program products for analysis of vessel attributes for diagnosis, disease staging, and surgical planning |
US8309519B2 (en) * | 2006-12-11 | 2012-11-13 | University Of Utah Research Foundation | Compositions and methods for inhibiting vascular permeability |
TW201546640A (zh) * | 2013-09-16 | 2015-12-16 | Biodesix Inc | 使用微分類器及規則化之組合的分類器產生方法與其用途 |
TW201842478A (zh) * | 2017-04-28 | 2018-12-01 | 美商英特爾股份有限公司 | 用於低精度機器學習操作之計算最佳化 |
Also Published As
Publication number | Publication date |
---|---|
JP2021022350A (ja) | 2021-02-18 |
TW202105410A (zh) | 2021-02-01 |
CN112365535A (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10722180B2 (en) | Deep learning-based diagnosis and referral of ophthalmic diseases and disorders | |
Vujosevic et al. | Screening for diabetic retinopathy: new perspectives and challenges | |
Varadarajan et al. | Deep learning for predicting refractive error from retinal fundus images | |
WO2020200087A1 (en) | Image-based detection of ophthalmic and systemic diseases | |
CN110197493B (zh) | 眼底图像血管分割方法 | |
Armstrong et al. | A (eye): a review of current applications of artificial intelligence and machine learning in ophthalmology | |
CN109635862B (zh) | 早产儿视网膜病plus病变分类方法 | |
Patton et al. | Retinal image analysis: concepts, applications and potential | |
JP2018121886A (ja) | 画像処理装置、および画像処理プログラム | |
TWI702615B (zh) | 視網膜病變評估模型建立方法及系統 | |
JP2018121885A (ja) | 画像処理装置、画像処理システム、および画像処理プログラム | |
CN110163844A (zh) | 眼底病灶检测方法、装置、计算机设备及存储介质 | |
US11730364B2 (en) | Apparatus and methods for supporting reading of fundus image | |
CN116703915B (zh) | 基于多种图像融合的糖尿病视网膜病变会诊方法及*** | |
JP2020036835A (ja) | 眼科診断支援装置、眼科診断支援方法、及び眼科診断支援プログラム | |
CN112869697A (zh) | 同时识别糖尿病视网膜病变的分期和病变特征的判断方法 | |
CN117876402B (zh) | 一种用于颞下颌关节紊乱病影像的智能分割方法 | |
TWI789199B (zh) | 眼底鏡影像預測糖尿病性腎病變期程之方法及其系統 | |
TWI784688B (zh) | 眼睛狀態評估方法及電子裝置 | |
Tang et al. | Applications of deep learning for detecting ophthalmic diseases with ultrawide-field fundus images | |
Wen et al. | On the deep learning-based age prediction of color fundus images and correlation with ophthalmic diseases | |
Xie et al. | Deep learning for detecting visually impaired cataracts using fundus images | |
Ghebrechristos et al. | RetiNet—feature extractor for learning patterns of diabetic retinopathy and age-related macular degeneration from publicly available datasets | |
Karnowski et al. | Practical considerations for optic nerve location in telemedicine | |
TWI779731B (zh) | 應用人工智慧之視網膜病變報告檢查方法及視網膜病變影像整合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |