JP7454679B2 - マルチモーダルデータに基づく両眼円錐角膜の評価システム - Google Patents
マルチモーダルデータに基づく両眼円錐角膜の評価システム Download PDFInfo
- Publication number
- JP7454679B2 JP7454679B2 JP2022541624A JP2022541624A JP7454679B2 JP 7454679 B2 JP7454679 B2 JP 7454679B2 JP 2022541624 A JP2022541624 A JP 2022541624A JP 2022541624 A JP2022541624 A JP 2022541624A JP 7454679 B2 JP7454679 B2 JP 7454679B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- corneal
- unit
- height
- posterior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000002287 Keratoconus Diseases 0.000 title claims description 68
- 238000011156 evaluation Methods 0.000 title claims 10
- 238000000034 method Methods 0.000 claims description 72
- 210000004087 cornea Anatomy 0.000 claims description 60
- 238000012549 training Methods 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000035945 sensitivity Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 20
- 238000012876 topography Methods 0.000 claims description 19
- 238000010200 validation analysis Methods 0.000 claims description 15
- 230000003321 amplification Effects 0.000 claims description 14
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 238000013145 classification model Methods 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 230000003902 lesion Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Radiology & Medical Imaging (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Description
両眼マルチモーダルデータを収集するステップであって、データは、両眼角膜の4屈折マップ及び角膜絶対高さデータを含み、角膜の4屈折マップは、角膜前面の軸方向曲率、角膜前面の相対高さトポグラフィー、角膜後面の相対高さトポグラフィー及び角膜厚さトポグラフィーを含み、角膜絶対高さデータは、角膜前後面の絶対高さデータを含むステップ1)と、
分類された症例に基づいて、両眼マルチモーダルデータを分類された種類と関連付け、要求に応じてデータ分類を行うステップ2)と、
ステップ2)の4屈折マップにおける各トポグラフィーデータ及び角膜前後面の高さデータを同じサイズのデータマトリックスに統一するステップ3)と、
以上のデータに基づいて4つの分岐方法でそれぞれ両眼早期円錐角膜を判断するステップであって、4つの分岐方法は、それぞれ分岐方法A、分岐方法B、分岐方法C及び分岐方法Dであり、
分岐方法Aは、全ての4屈折マップデータマトリックスをデータ処理した後に深度畳み込みネットワークの分類ネットワークに送信して円錐角膜の感受性及び特異性を識別し、ある症例を取得し、当該ある症例に対して分類結果P(A)を出力し、
分岐方法Bは、全ての4屈折マップデータマトリックスにおける各マップデータマトリックスに対して固有値計算を行い、固有値データをSVMサポートベクターマシン二分類方法に送信し、円錐角膜の感受性及び特異性を識別し、ある症例を取得し、当該ある症例に対して分類結果P(B)を出力し、
分岐方法Cは、角膜前後面の絶対高さデータを最適フィッティング球面データと比較し、円錐角膜症例と正常症例の臨界閾値を取得することにより、ある症例を判定し、当該ある症例に対して分類結果P(C)を出力し、
分岐方法Dは、左右眼の4屈折マップデータマトリックスの平均値、最大値、標準偏差を特徴量とし、臨界閾値を利用するか、又はSVM分類方法を用いて、最適な感受性及び特異性、及びある症例の両眼に円錐角膜が発生する確率P(D)を取得するステップ4)と、
分岐方法A、B、C、Dにおける最後の結果を重み付け加算することにより、ある症例の両眼に円錐角膜が発生する最終的な確率を取得するステップ5)と、を含む。
データをスケーリングするステップであって、ステップ3)で処理された全ての4屈折マップデータマトリックスを線形補間の方法で224×224のサイズにスケーリングするステップA-1と、
データを正規化するステップであって、ステップA-1のデータを7:3の比率に応じてトレーニングセットと検証セットに分け、次にトレーニングセットでそれぞれ4屈折マップデータマトリックスの平均値と標準偏差を計算し、それに応じて4つの平均値と4つの標準偏差を取得して、全ての症例の4屈折マップデータマトリックスを平均値と標準偏差で正規化するステップA-2と、
深度畳み込みネットワークの分類ネットワーク設計に基づいて、Resnet50分類ネットワークを用いて4屈折マップデータマトリックスに二分類を行うことにより、単眼の正常角膜及び円錐角膜を識別するステップA-3と、
分類モデルをトレーニングするステップであって、4屈折マップデータマトリックスをチャネルに応じて接続して、4チャネルの入力を取得し、データ増幅は、回転、平行移動、ランダムファジー前処理を採用し、損失関数は、二分類の交差エントロピー関数を採用し、MobileNetV3のIMAGENETデータセットでのトレーニング重み値を初期重み値とし、次に微調整トレーニングを行い、最終的にトレーニングセットと検証セットのloss値の差が最小のトレーニング重み値をトレーニング結果として選択するステップA-4と、
モデル指標を評価するステップであって、検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐方法Aで円錐角膜の感受性及び特異性を識別し、取得するステップA-5と、
結果を出力するステップであって、ステップA-5でのトレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐方法Aで取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれp(Al)及びp(Ar)として記録し、分類結果P(A)=p(Al)(p(Al)>p(Ar))、p(Ar)(p(Al)<p(Ar))を出力するステップA-6と、を実現する。
角膜前面の軸方向曲率の固有値を計算するステップであって、角膜前面の軸方向曲率データマトリックスにおいて曲率の最大最小値点及び位置座標を計算し、直径6mm位置における上下屈折力差IS値を計算し、直径が4.5mmの範囲内の表面不規則性SRI値、表面非対称性SAI値を計算するステップB-1と、
角膜前面の相対高さの固有値を計算するステップであって、角膜前面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算するステップB-2と、
角膜後面の相対高さの固有値を計算するステップであって、角膜後面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算するステップB-3と、
角膜厚さの固有値を計算するステップであって、角膜厚さデータマトリックスにおいて厚さの最小値及び位置座標を計算し、角膜頂点での厚さを計算するステップB-4と、
距離の固有値を計算するステップであって、ステップB-2における角膜前面の高さの最大値位置とステップB-3における角膜後面の高さの最大値位置との間の距離を計算し、ステップB-2における角膜前面の高さの最大値位置とステップB-4における角膜厚さの最小値位置との間の距離を計算し、ステップB-3における角膜後面の高さの最大値位置とステップB-4における角膜厚さの最小値位置との間の距離を計算するステップB-5と、
角膜体積の固有値を計算するステップであって、角膜厚さデータマトリックスを半径が4.5mmの範囲内で体積積分して角膜体積を取得するステップB-6と、
ステップB-1からステップB-6までの全ての固有値に正規化処理を行い、かつ全ての正規化された症例データの固有値を7:3の比率に応じてトレーニングセットと検証セットに分けるステップB-7と、
SVMサポートベクターマシン二分類方法を用いてステップB-7で正規化されたトレーニングセットの特徴データに特徴トレーニングを行い、特徴トレーニング中にRBF kernelを選択し、cross-validation及びgrid-searchを用いて最適なc及びgを取得してデータをトレーニングするステップB-8と、
モデル指標を評価するステップであって、検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐方法で円錐角膜の感受性及び特異性を識別するステップB-9と、
結果を出力するステップであって、ステップB-9でのトレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐方法Bで取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれp(Bl)及びp(Br)として記録し、分類結果P(B)=p(Bl)(p(Bl)>p(Br))、p(Br)(p(Bl)<p(Br))を出力するステップB-10と、を実現する。
角膜前面の標準的相対高さデータを取得するステップであって、角膜前後面の絶対高さデータに対して、角膜前面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS値を取得して、角膜前面データと取得された最適フィッティング球面との間の高さ差を角膜前面の標準的相対高さデータとするステップC-1と、
角膜前面の特徴的高さデータを取得するステップであって、角膜前後面の絶対高さデータに対して、角膜前面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得して、現在のBFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得して、角膜前面データと取得された異なるBFS最適フィッティング球面との間の高さ差を角膜前面の特徴的相対高さデータとするステップC-2と、
角膜前面の増幅高さデータを取得するステップであって、ステップC-2で取得された標準的相対高さデータとステップC-3で取得された11組の特徴的相対高さデータを差分して、11組の角膜前面増幅データを取得するステップC-3と、
角膜後面の標準的相対高さデータを取得するステップであって、角膜前後面の絶対高さデータに対して、角膜後面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS値を取得して、角膜後面データと取得された最適フィッティング球面との間の高さ差を角膜後面の標準的相対高さデータとするステップC-4と、
角膜後面の特徴的高さデータを取得するステップであって、角膜前後面の絶対高さデータに対して、角膜後面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得し、現在のBFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得し、角膜後面データと取得された異なるBFS最適フィッティング球面との間の高さ差を角膜後面の特徴的相対高さデータとするステップC-5と、
角膜後面の増幅高さデータを取得するステップであって、ステップC-4で取得された角膜後面の標準的相対高さデータとステップC-5で取得された11組の特徴的相対高さデータを差分して、11組の角膜後面増幅データを取得するステップC-6と、
ステップC-3及びC-6で合計して取得された22組の角膜前後面の増幅データマトリックスを特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計するステップC-7と、
本分岐方法Cで取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれp(Cl)とp(Cr)として記録するステップであって、p(Cl)とp(Cr)は、いずれも現在の症例に基づいて計算された各組の増幅データとステップC-7で取得された臨界閾値との間の差分値を重み比率として加算して取得され、分類結果P(C)=p(Cl)(p(Cl)>p(Cr))、p(Cr)(p(Cl)<p(Cr))を出力するステップC-8と、を実現する。
データ方位を統一するステップであって、右眼の4屈折マップデータマトリックスを縦列方向に沿って鏡像し、左右眼の4屈折マップデータマトリクスの鼻側及び側頭側の方位を統一するステップD-1と、
4屈折マップdiffグラフマトリックスを取得するステップであって、それぞれ左右眼の4屈折マップデータマトリックスに対してポイントツーポイント差分を行った後に絶対値を取得し、4屈折マップdiffグラフデータマトリックスを取得するステップD-2と、
diffデータ特徴を計算するステップであって、直径が6mmのデータ範囲内の4屈折マップdiffグラフデータマトリックスにおける全てのデータの平均値、最大値、標準偏差をそれぞれ計算して特徴量とするステップD-3と、
ステップD-3で取得された12組の左右眼角膜の4屈折マップdiffグラフの平均値、最大値、標準偏差を特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計するか、又はSVM分類方法を採用し、全てのタイプのdiffデータの特徴に正規化トレーニングとテストを行い、最適な感受性及び特異性を与えるステップD-4と、
本分岐方法で取得されたある症例の両眼に円錐角膜が発生する確率をそれぞれP(D)として記録するステップであって、P(D)は、現在の症例に基づいて計算された各組のdiffデータ固有値とステップD-4で取得された臨界閾値との間の差分値を重み比率として加算して取得されるステップD-5と、を実現する。
Claims (5)
- 両眼マルチモーダルデータを収集するデータ収集ユニットであって、前記データは、両眼角膜の4屈折マップ及び角膜絶対高さデータを含み、前記角膜の4屈折マップは、角膜前面の軸方向曲率、角膜前面の相対高さトポグラフィー、角膜後面の相対高さトポグラフィー及び角膜厚さトポグラフィーを含み、前記角膜絶対高さデータは、角膜前後面の絶対高さデータを含むデータ収集ユニットと、
分類された症例に基づいて、前記両眼マルチモーダルデータを分類された種類と関連付け、要求に応じてデータ分類を行うデータ分類ユニットと、
前記データ分類ユニットの前記4屈折マップにおける各トポグラフィーデータ及び前記角膜前後面の高さデータを同じサイズのデータマトリックスに統一する統一ユニットと、
以上のデータに基づいて4つの分岐ユニットでそれぞれ両眼早期円錐角膜を判断する判断ユニットであって、4つの前記分岐ユニットは、それぞれ分岐ユニットA、分岐ユニットB、分岐ユニットC及び分岐ユニットDであり、
分岐ユニットAは、全ての前記4屈折マップデータマトリックスをデータ処理した後に深度畳み込みネットワークの分類ネットワークに送信して円錐角膜の感受性及び特異性を識別し、ある症例を取得し、当該ある症例に対して分類結果P(A)を出力し、
分岐ユニットBは、全ての前記4屈折マップデータマトリックスにおける各マップデータマトリックスに対して固有値計算を行い、固有値データをSVMサポートベクターマシン二分類方法に送信し、円錐角膜の感受性及び特異性を識別し、ある症例を取得し、当該ある症例に対して分類結果P(B)を出力し、
分岐ユニットCは、前記角膜前後面の絶対高さデータを最適フィッティング球面データと比較し、円錐角膜症例と正常症例の臨界閾値を取得することにより、ある症例を判定し、当該ある症例に対して分類結果P(C)を出力し、
分岐ユニットDは、左右眼の4屈折マップデータマトリックスの平均値、最大値、標準偏差を特徴量とし、臨界閾値を利用するか、又はSVM分類方法を用いて、最適な感受性及び特異性、及びある症例の両眼に円錐角膜が発生する確率P(D)を取得する、判断ユニットと、
前記分岐ユニットA、B、C、Dにおける最後の結果を重み付け加算することにより、前記ある症例の両眼に円錐角膜が発生する最終的な確率を取得する取得ユニットと、を含むことを特徴とする、
マルチモーダルデータに基づく両眼円錐角膜の評価システム。 - 前記分岐ユニットAは、具体的には、
データをスケーリングするスケーリング部であって、前記統一ユニットで処理された全ての前記4屈折マップデータマトリックスを線形補間の方法で224×224のサイズにスケーリングするスケーリング部と、
データを正規化する正規化部Aであって、前記データを7:3の比率に応じてトレーニングセットと検証セットに分け、次に前記トレーニングセットでそれぞれ前記4屈折マップデータマトリックスの平均値と標準偏差を計算し、それに応じて4つの平均値と4つの標準偏差を取得して、全ての症例の4屈折マップデータマトリックスを前記平均値と前記標準偏差で正規化する正規化部Aと、
深度畳み込みネットワークの分類ネットワーク設計に基づいて、Resnet50分類ネットワークを用いて前記4屈折マップデータマトリックスに二分類を行うことにより、単眼の正常角膜及び円錐角膜を識別する識別部と、
分類モデルをトレーニングするトレーニング部Aであって、前記4屈折マップデータマトリックスをチャネルに応じて接続して、4チャネルの入力を取得し、データ増幅は、回転、平行移動、ランダムファジー前処理を採用し、損失関数は、二分類の交差エントロピー関数を採用し、MobileNetV3のIMAGENETデータセットでのトレーニング重み値を初期重み値とし、次に微調整トレーニングを行い、最終的に前記トレーニングセットと前記検証セットのloss値の差が最小のトレーニング重み値をトレーニング結果として選択するトレーニング部Aと、
モデル指標を評価する評価部Aであって、前記検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐ユニットAで円錐角膜の感受性及び特異性を識別し、取得する評価部Aと、
結果を出力する出力部Aであって、評価部Aでの前記トレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐ユニットAで取得された前記ある症例の両眼に円錐角膜が発生する確率をそれぞれp(Al)及びp(Ar)として記録し、分類結果P(A)=p(Al)(p(Al)>p(Ar))、p(Ar)(p(Al)<p(Ar))を出力する出力部Aと、を含むことを特徴とする、
請求項1に記載のマルチモーダルデータに基づく両眼円錐角膜の評価システム。 - 前記分岐ユニットBは、具体的には、
角膜前面の軸方向曲率の固有値を計算する角膜前面軸方向曲率計算部であって、角膜前面の軸方向曲率データマトリックスにおいて曲率の最大最小値点及び位置座標を計算し、直径6mm位置における上下屈折力差IS値を計算し、直径が4.5mmの範囲内の表面不規則性SRI値、表面非対称性SAI値を計算する角膜前面軸方向曲率計算部と、
角膜前面の相対高さの固有値を計算する角膜前面相対高さ計算部であって、角膜前面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算する角膜前面相対高さ計算部と、
角膜後面の相対高さの固有値を計算する角膜後面相対高さ計算部であって、角膜後面の相対高さデータマトリックスにおいて高さの最大値及び位置座標を計算する角膜後面相対高さ計算部と、
角膜厚さの固有値を計算する角膜厚さ計算部であって、角膜厚さデータマトリックスにおいて厚さの最小値及び位置座標を計算し、角膜頂点での厚さを計算する角膜厚さ計算部と、
距離の固有値を計算する距離計算部であって、前記角膜前面相対高さ計算部によって計算される角膜前面の高さの最大値位置と前記角膜後面相対高さ計算部によって計算される角膜後面の高さの最大値位置との間の距離を計算し、前記角膜前面の高さの最大値位置と前記角膜厚さ計算部によって計算される角膜厚さの最小値位置との間の距離を計算し、前記角膜後面の高さの最大値位置と前記角膜厚さの最小値位置との間の距離を計算する距離計算部と、
角膜体積の固有値を計算する角膜体積計算部であって、前記角膜厚さデータマトリックスを半径が4.5mmの範囲内で体積積分して前記角膜体積を取得する角膜体積計算部と、
全ての前記固有値に正規化処理を行い、かつ全ての正規化された症例データの固有値を7:3の比率に応じてトレーニングセットと検証セットに分ける正規化部Bと、
SVMサポートベクターマシン二分類方法を用いて前記正規化部Bで正規化された前記トレーニングセットの特徴データに特徴トレーニングを行い、前記特徴トレーニング中にRBF kernelを選択し、cross-validation及びgrid-searchを用いて最適なc及びgを取得してデータをトレーニングするトレーニング部Bと、
モデル指標を評価する評価部Bであって、前記検証セットで予測を行い、次に真値と比較評価して、最後に当該分岐ユニットで円錐角膜の感受性及び特異性を識別する評価部Bと、
結果を出力する出力部Bであって、前記トレーニングセットに対するテストの感受性及び特異性が要求に達すると、本分岐ユニットBで取得された前記ある症例の両眼に円錐角膜が発生する確率をそれぞれp(Bl)及びp(Br)として記録し、分類結果P(B)=p(Bl)(p(Bl)>p(Br))、p(Br)(p(Bl)<p(Br))を出力する出力部Bと、を含むことを特徴とする、
請求項1に記載のマルチモーダルデータに基づく両眼円錐角膜の評価システム。 - 前記分岐ユニットCは、具体的には、
前記角膜前面の標準的相対高さデータを取得する角膜前面標準的相対高さ取得部であって、前記角膜前後面の絶対高さデータに対して、前記角膜前面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS値を取得して、前記角膜前面データと取得された最適フィッティング球面との間の高さ差を前記角膜前面の標準的相対高さデータとする角膜前面標準的相対高さ取得部と、
前記角膜前面の特徴的高さデータを取得する角膜前面特徴的高さ取得部であって、前記角膜前後面の絶対高さデータに対して、前記角膜前面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得し、現在の前記BFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得して、前記角膜前面データと前記取得された異なるBFS最適フィッティング球面との間の高さ差を前記角膜前面の特徴的相対高さデータとする角膜前面特徴的高さ取得部と、
前記角膜前面の増幅高さデータを取得する角膜前面増幅高さ取得部であって、前記標準的相対高さデータと前記11組の特徴的相対高さデータを差分して、11組の角膜前面増幅データを取得する角膜前面増幅高さ取得部と、
前記角膜後面の標準的相対高さデータを取得する角膜後面標準的相対高さ取得部であって、前記角膜前後面の絶対高さデータに対して、前記角膜後面の直径が8mmの範囲内の絶対高さデータで球面フィッティングを行い、BFS値を取得して、前記角膜後面データと取得された最適フィッティング球面との間の高さ差を前記角膜後面の標準的相対高さデータとする角膜後面標準的相対高さ取得部と、
前記角膜後面の特徴的高さデータを取得する角膜後面特徴的高さ取得部であって、前記角膜前後面の絶対高さデータに対して、前記角膜後面の直径が8mmの範囲内の絶対高さデータを基準とし、最薄点位置の半径2mm範囲内のデータを除去して球面フィッティングを行い、BFS値を取得し、現在の前記BFSを基準とし、0.2mmをステップサイズとし、上下へそれぞれ5組オフセットして11組の異なるBFS値を取得し、前記角膜後面データと取得された異なる前記BFS最適フィッティング球面との間の高さ差を前記角膜後面の特徴的相対高さデータとする角膜後面特徴的高さ取得部と、
前記角膜後面の増幅高さデータを取得する角膜後面増幅高さ取得部であって、前記角膜後面の標準的相対高さデータと前記11組の特徴的相対高さデータを差分して、11組の角膜後面増幅データを取得する角膜後面増幅高さ取得部と、
前記角膜前面増幅高さ取得部及び前記角膜後面増幅高さ取得部により取得した高さデータを合計して取得された22組の前記角膜前後面の増幅データマトリックスを特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計する統計部と、
分岐ユニットCで取得された前記ある症例の両眼に円錐角膜が発生する確率をそれぞれp(Cl)とp(Cr)として記録する記録部Cであって、p(Cl)とp(Cr)は、いずれも現在の症例に基づいて計算された各組の増幅データと統計部により取得された前記臨界閾値との間の差分値を重み比率として加算して取得され、分類結果P(C)=p(Cl)(p(Cl)>p(Cr))、p(Cr)(p(Cl)<p(Cr))を出力する記録部Cと、を含むことを特徴とする、
請求項1に記載のマルチモーダルデータに基づく両眼円錐角膜の評価システム。 - 前記分岐ユニットDは、具体的には、
データ方位を統一する統一部であって、右眼の4屈折マップデータマトリックスを縦列方向に沿って鏡像し、前記左右眼の4屈折マップデータマトリックスの鼻側及び側頭側の方位を統一する統一部と、
4屈折マップdiffグラフマトリックスを取得する4屈折マップdiffグラフマトリックス取得部であって、それぞれ前記左右眼の4屈折マップデータマトリックスに対してポイントツーポイント差分を行った後に絶対値を取得し、4屈折マップdiffグラフデータマトリックスを取得する4屈折マップdiffグラフマトリックス取得部と、
diffデータ特徴を計算するdiffデータ特徴計算部であって、直径が6mmのデータ範囲内の前記4屈折マップdiffグラフデータマトリックスにおける全てのデータの平均値、最大値、標準偏差をそれぞれ計算して特徴量とするdiffデータ特徴計算部と、
diffデータ特徴計算部により取得された12組の前記左右眼角膜の4屈折マップdiffグラフの平均値、最大値、標準偏差を特徴とし、全てのサンプルデータを組み合わせて各組のデータの円錐角膜症例と正常症例の臨界閾値を統計するか、又はSVM分類方法を採用し、全てのタイプのdiffデータの特徴に正規化トレーニングとテストを行い、最適な感受性及び特異性を与える賦与部と、
分岐ユニットDで取得された前記ある症例の両眼に円錐角膜が発生する確率をそれぞれP(D)として記録する記録部Dであって、前記P(D)は、現在の症例に基づいて計算された各組のdiffデータ固有値と前記賦与部により取得された前記臨界閾値との間の差分値を重み比率として加算して取得される記録部Dと、を含むことを特徴とする、
請求項1に記載のマルチモーダルデータに基づく両眼円錐角膜の評価システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110717940.2A CN113284140B (zh) | 2021-06-28 | 2021-06-28 | 一种基于多模态数据的双眼圆锥角膜诊断方法 |
CN202110717940.2 | 2021-06-28 | ||
PCT/CN2021/110812 WO2023272876A1 (zh) | 2021-06-28 | 2021-08-05 | 一种基于多模态数据的双眼圆锥角膜诊断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023540651A JP2023540651A (ja) | 2023-09-26 |
JP7454679B2 true JP7454679B2 (ja) | 2024-03-22 |
Family
ID=77285790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022541624A Active JP7454679B2 (ja) | 2021-06-28 | 2021-08-05 | マルチモーダルデータに基づく両眼円錐角膜の評価システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11717151B2 (ja) |
EP (1) | EP4365829A1 (ja) |
JP (1) | JP7454679B2 (ja) |
KR (1) | KR20230005108A (ja) |
CN (1) | CN113284140B (ja) |
WO (1) | WO2023272876A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115880283B (zh) * | 2023-01-19 | 2023-05-30 | 北京鹰瞳科技发展股份有限公司 | 用于检测角膜类型的装置、方法和计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170357879A1 (en) | 2017-08-01 | 2017-12-14 | Retina-Ai Llc | Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images |
CN109256207A (zh) | 2018-08-29 | 2019-01-22 | 王雁 | 一种基于XGBoost+SVM混合机器学习诊断圆锥角膜病例的方法 |
CN110517219A (zh) | 2019-04-01 | 2019-11-29 | 刘泉 | 一种基于深度学习的角膜地形图判别方法及*** |
CN110717884A (zh) | 2019-08-30 | 2020-01-21 | 温州医科大学 | 一种基于眼前节断层成像技术的变化一致性参数用于表达角膜不规则性结构改变的方法 |
CN111160431A (zh) | 2019-12-19 | 2020-05-15 | 浙江大学 | 一种基于多维特征融合的圆锥角膜识别方法及装置 |
JP2020124460A (ja) | 2019-02-06 | 2020-08-20 | 学校法人自治医科大学 | 教師なし機械学習を使用して角膜重症度の同定を支援する方法 |
JP2021531098A (ja) | 2018-07-27 | 2021-11-18 | ユニバーシティー オブ マイアミUniversity Of Miami | Aiを利用した眼の状態判定のためのシステムおよび方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200146812A1 (en) * | 2018-07-02 | 2020-05-14 | Gebauer-Klopotek Patent Verwaltungs-Ug | Stabilization of collagen scaffolds |
CN111340776B (zh) * | 2020-02-25 | 2022-05-03 | 浙江大学 | 一种基于多维特征自适应融合的圆锥角膜识别方法和*** |
CN112036448B (zh) * | 2020-08-11 | 2021-08-20 | 上海鹰瞳医疗科技有限公司 | 圆锥角膜识别方法及设备 |
-
2021
- 2021-06-28 CN CN202110717940.2A patent/CN113284140B/zh active Active
- 2021-08-05 US US17/797,114 patent/US11717151B2/en active Active
- 2021-08-05 KR KR1020227022946A patent/KR20230005108A/ko not_active Application Discontinuation
- 2021-08-05 JP JP2022541624A patent/JP7454679B2/ja active Active
- 2021-08-05 WO PCT/CN2021/110812 patent/WO2023272876A1/zh active Application Filing
- 2021-08-05 EP EP21925096.6A patent/EP4365829A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170357879A1 (en) | 2017-08-01 | 2017-12-14 | Retina-Ai Llc | Systems and methods using weighted-ensemble supervised-learning for automatic detection of ophthalmic disease from images |
JP2021531098A (ja) | 2018-07-27 | 2021-11-18 | ユニバーシティー オブ マイアミUniversity Of Miami | Aiを利用した眼の状態判定のためのシステムおよび方法 |
CN109256207A (zh) | 2018-08-29 | 2019-01-22 | 王雁 | 一种基于XGBoost+SVM混合机器学习诊断圆锥角膜病例的方法 |
JP2020124460A (ja) | 2019-02-06 | 2020-08-20 | 学校法人自治医科大学 | 教師なし機械学習を使用して角膜重症度の同定を支援する方法 |
CN110517219A (zh) | 2019-04-01 | 2019-11-29 | 刘泉 | 一种基于深度学习的角膜地形图判别方法及*** |
CN110717884A (zh) | 2019-08-30 | 2020-01-21 | 温州医科大学 | 一种基于眼前节断层成像技术的变化一致性参数用于表达角膜不规则性结构改变的方法 |
CN111160431A (zh) | 2019-12-19 | 2020-05-15 | 浙江大学 | 一种基于多维特征融合的圆锥角膜识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2023272876A1 (zh) | 2023-01-05 |
JP2023540651A (ja) | 2023-09-26 |
US20230190089A1 (en) | 2023-06-22 |
CN113284140B (zh) | 2022-10-14 |
CN113284140A (zh) | 2021-08-20 |
KR20230005108A (ko) | 2023-01-09 |
US11717151B2 (en) | 2023-08-08 |
EP4365829A1 (en) | 2024-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hossain et al. | Automatic detection of eye cataract using deep convolution neural networks (DCNNs) | |
CN109726743B (zh) | 一种基于三维卷积神经网络的视网膜oct图像分类方法 | |
CN110517219B (zh) | 一种基于深度学习的角膜地形图判别方法及*** | |
AU2008356237A1 (en) | Automatic cup-to-disc ratio measurement system | |
CN114821189B (zh) | 一种基于眼底图像的病灶图像分类与识别方法 | |
KR102313143B1 (ko) | 딥러닝에 기반한 당뇨망막병증 검출 및 증증도 분류장치 및 그 방법 | |
CN113243887B (zh) | 一种老年黄斑变性智能诊疗仪 | |
CN110781953B (zh) | 基于多尺度金字塔卷积神经网络的肺癌病理切片分类方法 | |
CN116092680B (zh) | 基于随机森林算法的腹主动脉瘤早期预测方法及*** | |
CN112700858B (zh) | 一种儿童青少年近视预警方法及设备 | |
Hernandez et al. | Retracted: Early detection of Alzheimer's using digital image processing through iridology, an alternative method | |
TWI759899B (zh) | 利用高光譜影像診斷疾病及/或預測該疾病嚴重程度之方法及系統 | |
JP7454679B2 (ja) | マルチモーダルデータに基づく両眼円錐角膜の評価システム | |
CN112712122A (zh) | 基于神经网络模型的角膜溃疡的分类检测方法及*** | |
Zhang et al. | Artificial intelligence-assisted diagnosis of ocular surface diseases | |
Agustin et al. | Implementation of data augmentation to improve performance CNN method for detecting diabetic retinopathy | |
CN114334124A (zh) | 一种基于深度神经网络的病理性近视检测*** | |
Joshua et al. | Assessment of the cup-to-disc ratio method for glaucoma detection | |
CN113012148A (zh) | 一种基于眼底影像的糖尿病肾病-非糖尿病肾病鉴别诊断装置 | |
CN116763250A (zh) | 眼前节图像的眼压信息提取方法、终端和存储介质 | |
Thanh et al. | A real-time classification of glaucoma from retinal fundus images using AI technology | |
CN113273959B (zh) | 一种便携式糖尿病视网膜病变诊疗仪 | |
CN114998300A (zh) | 一种基于多尺度信息融合网络的角膜溃疡分类方法 | |
CN115954099B (zh) | 一种基于多模态步态参数的脑卒中关联量化评估方法 | |
CN111374632A (zh) | 视网膜病变检测方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220704 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7454679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |