JP7479387B2 - デプロイされた機械学習モデルの信頼尺度 - Google Patents
デプロイされた機械学習モデルの信頼尺度 Download PDFInfo
- Publication number
- JP7479387B2 JP7479387B2 JP2021544257A JP2021544257A JP7479387B2 JP 7479387 B2 JP7479387 B2 JP 7479387B2 JP 2021544257 A JP2021544257 A JP 2021544257A JP 2021544257 A JP2021544257 A JP 2021544257A JP 7479387 B2 JP7479387 B2 JP 7479387B2
- Authority
- JP
- Japan
- Prior art keywords
- input data
- machine learning
- model
- measure
- modified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 146
- 238000012545 processing Methods 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 33
- 230000009466 transformation Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 20
- 238000012986 modification Methods 0.000 claims description 15
- 230000004048 modification Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 9
- 238000007405 data analysis Methods 0.000 description 9
- 230000003416 augmentation Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000002059 diagnostic imaging Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Description
(i)新しいケースC0がMLモデルに入力され、特定の一次結果R0が得られる。ボクセル単位のラベリングによるセマンティックセグメンテーションの場合、C0は入力画像ボリュームに対応し、R0は各ボクセルにラベル情報(例えばC0内の対応する画像ボクセルにクラスを指定する単一の整数値)が含まれる等サイズのボリュームに対応する。あるいは、R0には、C0からの各ボクセルに対して、関連するクラス確率に対応するエントリを有する確率ベクトルが含まれ得る。例えば、n個の異なるクラスを選択できるMLモデルでは、特定の画像ボクセルに関連付けられたベクトルは、単位元になるn個のエントリで構成される。
(ii)ケースC0は、例えば、他の患者への空間的な位置合わせ、任意の局所変形(ワープ)、ノイズなどの追加、又はこれらの方法の組み合わせなどによって、複数の方法で修正(「拡張」)される。セマンティックセグメンテーションでは、空間変換を適用すると、ワープされた画像内の各ボクセルに対して、元の画像内の座標が保存される。
(iii)C0の拡張バージョンである各CiもMLモデルに渡され、1つの対応する結果Riが得られる。セマンティックセグメンテーションでは、一般的に使用されるMLモデルは、U-Netアーキテクチャである。
(iv)一次結果R0はユーザに提供され、一次結果R0に関連する信頼レベルを示すセット{Ri}の多様性が補足される(信頼レベルはセット{Ri}の多様性に反比例する)。セマンティックセグメンテーションでは、各ボクセルの信頼レベルは個別に計算される。
C0の各ボクセルについて、各Ciの対応する場所を検索し、RiからMLアルゴリズムの出力を収集する。検討下のボクセルに関連するすべての出力は、ヒストグラム(クラス周波数の概要)を使用してまとめられる。ヒストグラムの解析及び関連する経験分布に基づき、シャノンエントロピー(すなわち、
Claims (9)
- 機械学習モデルの信頼尺度を取得するためのコンピュータ実施の方法であって、前記方法は、
前記機械学習モデルを用いて入力データを処理して、一次結果を生成するステップと、
前記入力データの複数の修正インスタンスを生成するステップと、
前記機械学習モデルを用いて前記入力データの前記複数の修正インスタンスを処理して、対応する複数の二次結果を生成するステップと、
前記二次結果に基づいて、前記一次結果に関連する信頼尺度を決定するステップと、
を含み、前記信頼尺度を決定するステップは、
前記二次結果の分布又は分散の尺度を決定するステップと、
前記分布又は分散の決定された前記尺度に基づいて前記信頼尺度を決定するステップと、
を含み、前記二次結果の分布又は分散の前記尺度を決定するステップは、
前記二次結果の逆分散、
前記二次結果のシャノンエントロピー、
前記二次結果のジニ係数、
前記二次結果のカルバック-ライブラー発散、及び
前記二次結果の集中尺度、
のうちの少なくとも1つを決定するステップを含み、前記入力データの複数の修正インスタンスを生成するステップは、
前記入力データに、剛体変換又はアフィン変換である第1の空間ワーピング変換を適用して、前記入力データの第1の修正インスタンスを生成するステップと、
前記入力データの前記第1の修正インスタンスに対して生成された前記二次結果に、前記第1の空間ワーピング変換に対応する逆変換である第1の逆空間ワーピング変換を適用するステップとを含む、方法。 - 前記入力データの複数の修正インスタンスを生成するステップは、
前記入力データにノイズを追加して、前記入力データの第2の修正インスタンスを生成するステップを含む、請求項1に記載の方法。 - 前記入力データの複数の修正インスタンスを生成するステップは、
前記入力データに局所変形変換を適用して、前記入力データの第3の修正インスタンスを生成するステップを含む、請求項1又は2に記載の方法。 - 前記入力データの前記第3の修正インスタンスに対して生成された前記二次結果に、第1の逆局所変形変換を適用するステップをさらに含む、請求項3に記載の方法。
- 前記機械学習モデルは、
人工ニューラルネットワーク、
敵対的生成ネットワーク、及び
ベイズネットワーク、
のうちの少なくとも1つを含む、請求項1から4のいずれか一項に記載の方法。 - 決定された前記信頼尺度を前記一次結果と関連付けるステップをさらに含む、請求項1から5のいずれか一項に記載の方法。
- 機械学習モデルの信頼尺度を取得するためのコンピュータ可読プログラムコードが具現化されているコンピュータ可読ストレージ媒体であって、前記コンピュータ可読プログラムコードは、少なくとも1つのプロセッサで実行されると、請求項1から6のいずれか一項に記載のステップの全てを行う、コンピュータプログラム可読ストレージ媒体。
- 少なくとも1つのプロセッサと、
請求項7に記載のコンピュータプログラム可読ストレージ媒体と、
を含む、システム。 - 機械学習モデルの信頼尺度を取得するためのシステムであって、
入力データを取得する入力インターフェースと、
前記入力データの複数の修正インスタンスを生成するデータ修正構成要素と、
前記入力データ及び前記入力データの前記複数の修正インスタンスを機械学習モデルに通信し、さらに、前記機械学習モデルが前記入力データを処理することによって生成される一次結果を受信し、前記機械学習モデルが前記入力データの対応する前記複数の修正インスタンスを処理することによって生成される複数の二次結果を受信する機械学習モデルインターフェースと、
前記二次結果に基づいて、前記一次結果に関連する信頼尺度を決定する分析構成要素と、
を含み、前記データ修正構成要素は、前記入力データに、剛体変換又はアフィン変換である第1の空間ワーピング変換を適用して、前記入力データの第1の修正インスタンスを生成し、前記分析構成要素は、前記二次結果の分布又は分散の尺度を決定し、前記分布又は分散の決定された前記尺度に基づいて前記信頼尺度を決定し、前記前記二次結果の分布又は分散の尺度を決定することは、
前記二次結果の逆分散、
前記二次結果のシャノンエントロピー、
前記二次結果のジニ係数、
前記二次結果のカルバック-ライブラー発散、及び
前記二次結果の集中尺度、
のうちの少なくとも1つを決定することを含み、前記データ修正構成要素はさらに、前記入力データの前記第1の修正インスタンスに対して生成された前記二次結果に、前記第1の空間ワーピング変換に対応する逆変換である第1の逆空間ワーピング変換を適用する、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19154992.2A EP3690739A1 (en) | 2019-02-01 | 2019-02-01 | Confidence measure for a deployed machine learning model |
EP19154992.2 | 2019-02-01 | ||
PCT/EP2020/051317 WO2020156864A1 (en) | 2019-02-01 | 2020-01-21 | Confidence measure for a deployed machine learning model |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022520731A JP2022520731A (ja) | 2022-04-01 |
JPWO2020156864A5 JPWO2020156864A5 (ja) | 2023-07-06 |
JP7479387B2 true JP7479387B2 (ja) | 2024-05-08 |
Family
ID=65408873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021544257A Active JP7479387B2 (ja) | 2019-02-01 | 2020-01-21 | デプロイされた機械学習モデルの信頼尺度 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11880432B2 (ja) |
EP (2) | EP3690739A1 (ja) |
JP (1) | JP7479387B2 (ja) |
CN (1) | CN113661498A (ja) |
WO (1) | WO2020156864A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210264283A1 (en) * | 2020-02-24 | 2021-08-26 | International Business Machines Corporation | Dataset creation for deep-learning model |
US11775764B2 (en) * | 2020-04-20 | 2023-10-03 | International Business Machines Corporation | Estimating output confidence for black-box API |
US20220335315A1 (en) * | 2021-04-20 | 2022-10-20 | Red Hat, Inc. | Application of local interpretable model-agnostic explanations on decision systems without training data |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005001740A3 (en) | 2003-06-25 | 2005-06-09 | Siemens Medical Solutions | Systems and methods for automated diagnosis and decision support for breast imaging |
JP2010250161A (ja) | 2009-04-17 | 2010-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 相違度利用型識別的学習装置とその方法、そのプログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11319A (ja) * | 1997-06-13 | 1999-01-06 | Nec Corp | 生体内部活動部位推定装置 |
US10417575B2 (en) * | 2012-12-14 | 2019-09-17 | Microsoft Technology Licensing, Llc | Resource allocation for machine learning |
US9373087B2 (en) * | 2012-10-25 | 2016-06-21 | Microsoft Technology Licensing, Llc | Decision tree training in machine learning |
WO2016161115A1 (en) * | 2015-03-31 | 2016-10-06 | Mayo Foundation For Medical Education And Research | System and methods for automatic polyp detection using convolutional neural networks |
CN107810519B (zh) * | 2015-06-30 | 2022-01-25 | 皇家飞利浦有限公司 | 用于配准图像的配准装置和方法 |
US10510144B2 (en) | 2015-09-10 | 2019-12-17 | Magentiq Eye Ltd. | System and method for detection of suspicious tissue regions in an endoscopic procedure |
WO2020082029A1 (en) * | 2018-10-18 | 2020-04-23 | The Regents Of The University Of California | Serodiagnostic testing device and system for early-stage lyme disease using a multiplexed immunoassay |
US11829896B2 (en) * | 2019-07-11 | 2023-11-28 | Ghost Autonomy Inc. | Uncertainty-based data filtering in a vehicle |
US20210209509A1 (en) * | 2020-01-07 | 2021-07-08 | Alegion, Inc. | System and method for guided synthesis of training data |
-
2019
- 2019-02-01 EP EP19154992.2A patent/EP3690739A1/en not_active Withdrawn
-
2020
- 2020-01-21 JP JP2021544257A patent/JP7479387B2/ja active Active
- 2020-01-21 EP EP20701050.5A patent/EP3918521B1/en active Active
- 2020-01-21 WO PCT/EP2020/051317 patent/WO2020156864A1/en unknown
- 2020-01-21 CN CN202080027009.5A patent/CN113661498A/zh active Pending
- 2020-01-21 US US17/426,759 patent/US11880432B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005001740A3 (en) | 2003-06-25 | 2005-06-09 | Siemens Medical Solutions | Systems and methods for automated diagnosis and decision support for breast imaging |
JP2010250161A (ja) | 2009-04-17 | 2010-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 相違度利用型識別的学習装置とその方法、そのプログラム |
Also Published As
Publication number | Publication date |
---|---|
EP3918521A1 (en) | 2021-12-08 |
EP3918521B1 (en) | 2023-10-04 |
US20220101626A1 (en) | 2022-03-31 |
JP2022520731A (ja) | 2022-04-01 |
CN113661498A (zh) | 2021-11-16 |
EP3690739A1 (en) | 2020-08-05 |
WO2020156864A1 (en) | 2020-08-06 |
US11880432B2 (en) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10885383B2 (en) | Unsupervised cross-domain distance metric adaptation with feature transfer network | |
US11645833B2 (en) | Generative adversarial network medical image generation for training of a classifier | |
US11244435B2 (en) | Method and apparatus for generating vehicle damage information | |
US10937540B2 (en) | Medical image classification based on a generative adversarial network trained discriminator | |
US10540578B2 (en) | Adapting a generative adversarial network to new data sources for image classification | |
US11392792B2 (en) | Method and apparatus for generating vehicle damage information | |
JP7479387B2 (ja) | デプロイされた機械学習モデルの信頼尺度 | |
US20190272438A1 (en) | Method and apparatus for detecting text | |
US20190220977A1 (en) | Cross-Domain Image Analysis and Cross-Domain Image Synthesis Using Deep Image-to-Image Networks and Adversarial Networks | |
US11314989B2 (en) | Training a generative model and a discriminative model | |
US20160210749A1 (en) | Method and system for cross-domain synthesis of medical images using contextual deep network | |
CN108229485B (zh) | 用于测试用户界面的方法和装置 | |
US11301995B2 (en) | Feature identification in medical imaging | |
CN112400187A (zh) | 用于检测生物医学图像中的异常的敲除自动编码器 | |
US20220092407A1 (en) | Transfer learning with machine learning systems | |
CN111445457A (zh) | 网络模型的训练方法及装置、识别方法及装置、电子设备 | |
Nakanishi | Approximate inverse model explanations (AIME): unveiling local and global insights in machine learning models | |
US11501451B2 (en) | Detecting subject motion in medical imaging | |
KR102528405B1 (ko) | 이미지를 분류하도록 훈련된 신경망을 이용하는 이미지 분류 장치 및 방법 | |
CN116453049A (zh) | 餐盘形状识别方法、装置、设备和计算机可读介质 | |
CN116797859A (zh) | 图像处理方法、装置、计算机设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230628 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7479387 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |