JP7479387B2 - デプロイされた機械学習モデルの信頼尺度 - Google Patents

Description

本発明は、概して機械学習に関し、特にデプロイされた機械学習モデルの信頼尺度を取得することに関する。

最近の技術的進歩により、（例えば医学的特徴を特定するため、及び／又は臨床決定を行うために）データ分析を支援する機械学習（ＭＬ）モデルが使用されている。典型的なデータ分析アプリケーションには、認識、描画（例えばセマンティックセグメンテーション、ボクセルラベリング）及び分類（例えばカテゴリー化）が含まれる。

ＭＬモデルは、典型的には、サイズ及び／又は多様性が限られたトレーニングデータセットを使用してトレーニングされる。例えば、医療分野では、大規模なデータベースがないため、トレーニングデータの多様性は限られている。したがって、いわゆる「拡張」方法が一般的に採用されて、トレーニングデータセットのサイズ及び／又は多様性を高めて、ＭＬモデルのパフォーマンス、信頼性、及び／又は堅牢性が向上されている。

トレーニング及びデプロイメント後、最終決定された（固定された）ＭＬモデルがクライアントによって使用されて、入力データ（例えば新しい医療ケース）が評価される。

クライアントにとって（つまりクライアント側では）、ＭＬコンポーネント／システムは、典型的には、入力データを受信し、入力データに基づいて結果又は決定を生成／出力する閉じた／固定された「ブラックボックス」である。したがって、典型的な使用例では、ＭＬコンポーネント／システムは「封印」（又は固定）されており、ＭＬモデルをクライアント側で再トレーニングすることはできない。ＭＬコンポーネント／システムのこのような封印（又は固定）は、計算リソースの制限、ライセンスの問題、オンサイトラベル修正の実現不可能性、又はＦＤＡの制限など、多くの異なる理由によるものである。

本発明は、独立請求項に規定されるシステム及び方法を提供する。従属請求項は、有利な実施形態を提供する。

機械学習（ＭＬ）モデルの信頼尺度を取得するための方法が提供されている。この方法は、ＭＬモデルを用いて入力データを処理して一次結果を生成するステップと、入力データの複数の修正インスタンスを生成するステップと、ＭＬモデルを用いて入力データの複数の修正インスタンスを処理して対応する複数の二次結果を生成するステップと、二次結果に基づいて、一次結果に関連する信頼尺度を決定するステップとを含む。

デプロイされたＭＬモデルに関連する信頼の尺度（つまり、信頼尺度）を決定するための概念が提案されている。特に、信頼尺度は、入力データを修正（又は拡張）し、修正（又は拡張）された入力データについてＭＬモデルによって提供される結果を分析することによって決定され得ることが提案されている。このような提案は、許容可能なＭＬモデルは「うまく挙動する」べきである、例えば、入力データへの小さな摂動が、モデル出力に小さな、対応する影響を与えるべきであるという概念に依存している。

例えば、入力データには、自動的にいくつかの修正（又は拡張）が加えられ、その後、ＭＬモデルによって処理される。修正（又は拡張）されたデータに関連する結果に基づいて、結果の変動が分析されて、結果の堅牢性又は多様性が評価される。これにより、ＭＬモデルの信頼尺度が決定される。例えば、特定の入力データに固有の信頼尺度が決定され、これは、ＭＬモデルが特定の入力データの修正（又は拡張）されたバージョンを処理することによって提供される結果の分散に基づいる。

提案される実施形態は、例えば（例えば特定の入力データを処理することで提供される）クライアント側のＭＬモデルの結果が信頼できるかどうかを特定するのに有用である。

さらに、実施形態により、ＭＬモデルの出力又は結果に関連する不確実性に関する追加情報の提供が容易になる。

したがって、提案される実施形態は、デプロイされた（例えばクライアント側の）ＭＬモデルの出力の認識される精度又は信頼性を示すことが望ましい用途において特に有利である。 一例として、これは、医師がＭＬモデルの結果を理解して評価する（そして、それに応じてＭＬモデルの決定を受け入れるか又は適応させる）必要がある医療分野では、特に重要になる。

（例えばモデル提供者によるグローバル／一般的な信頼レベルの指示と共に提供される）従来のＭＬモデルとは異なり、提案される実施形態は、入力データ（例えば単一の医療ケース）に固有の信頼尺度を提供できる。

したがって、一般的又はグローバルな信頼レベルを単に強調する従来のアプローチを超えた概念を提供できる。例えば、提案される実施形態では、ＭＬモデルへの特定の入力データについてのＭＬモデル結果／出力に信頼尺度を関連付けることができる。これにより、補足情報（画像オーバーレイや関連するテキスト説明など）を結果と共に提供でき、これにより、専門家（例えば臨床専門家、技術者、データアナリスト、エンジニア、医師、放射線技師など）が、信頼尺度の高い結果／出力に注目することによって、モデルの結果を素早く評価できる。

実施形態で使用されるＭＬモデルは、従来の機械学習及び／又は画像処理技術を使用して構築することができ、これにより、履歴データ及び／又は確立された知識を活用して、提案される実施形態によって提供される決定／結果の精度を向上できる。

一実施形態では、特定の入力データ（例えば画像の特徴又は領域）に関連する結果についての信頼の推定値（例えば不確実性の尺度）を提供できる。このようにして、実施形態は、ＭＬモデルの不確実性が高い入力データ及び／又は出力結果を特定するのに役立ち得る。

したがって、提案される実施形態では、ＭＬモデル出力に重要な入力データ（例えば医用画像領域）を特定し、また、その入力データに、ユーザ（例えば医師など）に有用な視覚的特徴（例えば関連するテキスト説明を有する画像オーバーレイ）を関連付けることができる。これにより、ユーザは、モデルの結果を迅速かつ簡単に検証し、モデルが正しい又は信頼できる決定を行わないケースを特定できる。さらに、実施形態により、各入力データ（例えば各医療ケース）に関連する不確実性（すなわち、信頼尺度）を特定できる。これにより、ユーザ（医師など）は、例えば、最も不確実な（すなわち、信頼尺度が最も低い）出力からモデル出力をレビューできる。

したがって、提案される実施形態によって、データ分析及びケース診断の向上（例えばより正確及び／又は容易）が促進される。実施形態はまた、臨床意思決定支援（ＣＤＳ）システムの効率性及び／又は有効性を向上させるためにも使用できる。これにより、提案される実施形態によって、ＣＤＳの概念が向上される。

したがって、提案される実施形態は、医用データ分析及び医用画像分析に特に適切である。例えば、ＭＬモデルの入力／出力データ（例えば医療ケース又は医用画像特徴）を特定し、入力データについてのＭＬモデル出力に関連する不確実性（すなわち、信頼尺度）を特定するのに役立つ。したがって、提案される概念はまた、医学分析を使用して被験者の健康状態を正確に評価又は診断することを促進する。したがって、入力データには、例えば、医用データ、医用画像、又は医用の特徴が含まれる。また、ＭＬモデルを用いて入力データを処理することで生成される結果には、推論、医学的決定、診断、判断、又は推奨事項が含まれ得る。

いくつかの提案される実施形態では、信頼尺度を決定するステップは、二次結果の分布又は分散の尺度を決定するステップと、分布又は分散の決定された尺度に基づいて信頼尺度を決定するステップとを含み得る。例えば、二次結果の分布又は分散の尺度を決定するステップは、二次結果の逆分散、二次結果のシャノンエントロピー、二次結果のジニ係数、二次結果のカルバック－ライブラー発散、及び二次結果の集中尺度のうち少なくとも１つを決定するステップを含み得る。したがって、機械学習モデルの信頼尺度を決定するために、単純な数学的方法又は公式を使用できる。したがって、ＭＬモデルを使用した正確なデータ分析及び／又は情報に基づくデータ分析を容易にする、単純かつ複雑さが低減された実装が実現できる。

様々なアプローチ、方法、又は機能を使用して、二次結果に基づいて信頼尺度が提供されることが理解されるべきである。例えば、いくつかの実施形態では、二次結果の逆分散が使用され、他の実施形態では、シャノンエントロピー、ジニ係数、カルバック－ライブラー（Ｋｕｌｌｂａｃｋ－Ｌｉｅｂｌｅｒ：ＫＬ）発散などのカテゴリデータのヒストグラムを測定するための方法が使用される。あるいは又はさらに、経験分布の集中尺度を使用してもよい。

いくつかの実施形態では、入力データの複数の修正ンスタンスを生成するステップは、入力データに第１の空間ワーピング変換を適用して、入力データの第１の修正インスタンスを生成するステップを含み得る。したがって、単純な修正／拡張方法を使用して、入力データの修正インスタンスを生成できる。これはまた、加えられた修正を制御することを可能にする。したがって、入力データの修正インスタンスを生成するための単純かつ複雑さが低減された実装が実現できる。

また、実施形態はさらに、入力データの第１の修正インスタンスに対して生成された二次結果に、第１の逆空間ワーピング変換を適用するステップを含み得る。このようにして、結果は、未修正入力データについての結果との比較のために変換して戻されるため、容易及び／又は正確な評価が可能になる。

いくつかの実施形態では、入力データの複数の修正ンスタンスを生成するステップは、入力データにノイズを追加して、入力データの第２の修正インスタンスを生成するステップを含み得る。ノイズを追加すると、ランダム修正の単純な追加を可能にし、これにより、小さなランダムな摂動が行われることが確実にされる。したがって、入力データの小さな又は小規模な修正を容易にする簡単かつ複雑さが低減された実装が、提案される実施形態によって実現できる。

また、入力データの複数の修正ンスタンスを生成するステップは、入力データに局所変形変換（例えばワーピング関数）を適用して、入力データの第３の修正インスタンスを生成するステップを含み得る。さらに、このような実施形態はまた、入力データの第３の修正インスタンスに対して生成された二次結果に、第１の逆局所変形変換を適用するステップを含み得る。

一例として、機械学習モデルは、人工ニューラルネットワーク、敵対的生成ネットワーク（ＧＡＮ）、ベイジアンネットワーク、又はこの組み合わせを含む。

実施形態はさらに、決定された信頼尺度を一次結果に関連付けるステップも含み得る。

実施形態はさらに、決定された信頼度測定に基づいて出力信号を生成するステップを含み得る。このような出力信号を、被験者、医師、医用イメージング装置オペレータ、及び放射線技師のうちの少なくとも１つに提供するように実施形態を適応してもよい。したがって、計算された結果／決定及びその関連する信頼尺度を示すために、出力信号をユーザ又は医療機器に提供してもよい。

いくつかの実施形態はさらに、決定された信頼尺度に基づいてグラフィック要素を制御するための制御信号を生成するステップを含み得る。その後、グラフィック要素は、制御信号に従って表示され得る。このようにして、ユーザ（放射線技師など）は、機械学習モデルによって提供される結果に関する情報を受信及び表示できる適切に構成された表示システムを有することができる。したがって、実施形態により、ユーザは、デプロイされた（例えばクライアント側の）機械学習モデルからの結果（例えば出力、決定、推論など）をリモートで分析できる。

本発明のさらに別の態様によれば、機械学習モデルの信頼尺度を取得するためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、コンピュータ可読プログラムコードが具現化されているコンピュータ可読ストレージ媒体を含み、コンピュータ可読プログラムコードは、少なくとも１つのプロセッサで実行されると、一実施形態のステップの全てを行う。

一実施形態によるコンピュータプログラム製品と、そのコンピュータプログラム製品のコンピュータ可読プログラムコードの実行により、一実施形態による方法を行う１つ以上のプロセッサとを含むコンピュータシステムが提供され得る。

さらなる態様では、本発明は、処理デバイスによって実行されると、一実施形態による被験者の医用イメージングにおける特徴特定のための方法のステップを実行する命令を含むコンピュータ可読非一時的ストレージ媒体に関連する。

本発明の別の態様によれば、機械学習モデルの信頼尺度を取得するためのシステムが提供されている。このシステムは、入力データを取得する入力インターフェースと、入力データの複数の修正インスタンスを生成するデータ修正構成要素と、入力データ及び入力データの複数の修正インスタンスを機械学習モデルに通信し、さらに、機械学習モデルが入力データを処理することによって生成される一次結果を受信し、機械学習モデルが入力データの対応する複数の修正インスタンスを処理することによって生成される複数の二次的結果を受信する機械学習モデルインターフェースと、二次結果に基づいて一次結果に関連する信頼尺度を決定する分析構成要素とを含む。

提案されるシステムのすべて又は一部が、１つ以上のデータプロセッサを含み得ることが理解されるであろう。例えば、システムは、デプロイされた機械学習モデルの信頼尺度を決定するために、データ処理を行う単一のプロセッサを使用して実装できる。

機械学習モデルの信頼尺度を取得するためのシステムは、機械学習モデルから離れた場所にあってもよく、通信リンクを介して機械学習モデルとシステムユニットとの間でデータが通信され得る。

システムは、入力インターフェース、データ修正構成要素、及び機械学習モデルインターフェースを含むサーバデバイスと、分析構成要素を含むクライアントデバイスとを含んでいてもよい。したがって、信頼尺度を決定するために専用のデータ処理手段を使用できるため、システムの他の構成要素又はデバイスの処理要件又は能力を低減できる。

システムは、入力インターフェース、データ修正構成要素、クライアント側機械学習モデル、及び分析構成要素を含むクライアントデバイスを含む。つまり、ユーザ（医療従事者など）は、受信した入力データ（例えば医療データなど）を処理して一次結果及び関連する信頼尺度を生成する、適切に構成されたクライアントデバイス（ラップトップ、タブレットコンピュータ、携帯電話機、ＰＤＡなど）を持つことができる。

したがって、入力データが生成及び／又は処理される場所とは異なる場所で処理を行うことができる。例えば、コンピューティング効率の理由から、特定の場所で処理の一部のみを実行することで、関連するコスト、処理能力、伝送要件などを低減することが有利な場合がある。

したがって、処理能力は、所定の制約及び／又は処理リソースの可用性に応じて、システム全体に様々に分散され得ることを理解されたい。

実施形態により、処理負荷の一部をシステム全体に分散することもできる。例えば、データ収集システム（例えば医用イメージング／センシングシステムなど）で前処理が実行される。あるいは又はさらに、通信ゲートウェイで処理が実行されてもよい。いくつかの実施形態では、リモートゲートウェイ又はサーバで処理が行われるため、エンドユーザ又は出力デバイスから処理要件が放棄される。このような処理及び／又はハードウェアの分散によって、（例えば複雑な又は高価なハードウェアを好ましい場所に集中させることによって）メンテナンス能力を向上できる。また、利用可能な処理能力に応じて、計算負荷及び／又はトラフィックをネットワークシステム内で設計又は位置させることもできる。好ましいアプローチは、初期／ソースデータをローカルで処理し、抽出したデータをリモートサーバでの完全な処理のために送信することである。

実施形態は、既存の、予めインストールされた、又は別の方法で別個に提供された機械学習モデルと組み合わせて実装できる。他の実施形態は、機械学習モデルを含む新しい装置が提供（例えば統合）されていてもよい。

本発明のこれらの及び他の態様は、以下に説明される実施形態から明らかになり、また、当該実施形態を参照して説明される。

本発明の態様による例について、添付の図面を参照して詳細に説明する。

図１は、一実施形態による機械学習モデルの信頼尺度を取得するためのシステムの簡略ブロック図である。 図２は、一実施形態による機械学習モデルの信頼尺度を取得するための方法のフロー図である。 図３は、別の実施形態による機械学習モデルの信頼尺度を取得するためのシステムの簡略ブロック図である。

機械学習モデルの信頼尺度を取得するための概念が提案されている。さらに、信頼尺度は、機械学習モデルに提供される特定の入力データに関連付けられる。したがって、実施形態は、モデル出力の評価に有用である情報を提供できる。

特に、信頼尺度は、入力データを修正（又は拡張）し、修正（又は拡張）された入力データについてＭＬモデルによって提供される結果を分析することよって決定される。例えば、入力データには、自動的にいくつかの異なる修正（又は拡張）が加えられ、その後、ＭＬモデルによって処理される。その後、修正（又は拡張）されたデータについてのＭＬモデル出力（すなわち結果）を分析して、結果の堅牢性又は多様性が評価される。これにより、ＭＬモデルの信頼尺度が決定される。

例えば、ＭＬモデルの入力データに関連付けられた信頼尺度が決定され、これは、修正（又は拡張）された入力データについてのＭＬモデル出力（すなわち結果）の分散に基づき得る。

このような信頼尺度とＭＬモデルの入力データとの関連付けにより、入力データについてのＭＬモデル出力に指示（例えば関連する信頼尺度のテキストによる説明を有するグラフィックオーバーレイ）が関連付けられることが可能になる。これにより、（例えばモデルの信頼が低い出力を特定することによって）ＭＬモデルの結果を簡単かつ迅速に評価できる。

実施形態は、ＭＬモデル出力に関する不確実性の推定を提供する。したがって、提案される実施形態は、例えば、（例えば特定の入力データを処理することで提供される）クライアント側のＭＬモデルの出力が信頼できるかどうかを特定するのに有用である。

実施形態は、例えば、被験者の医用データ分析の向上に有用である。したがって、例示的な実施形態は、病院、病棟、研究施設など、様々な種類の医学的評価装置及び／医学的評価施設において活用できる。

一例として、ＭＬモデルの出力信頼評価は、ＭＬモデルによってなされた決定を理解及び／又は評価するのに有用である。提案される実施形態を使用して、ユーザは、例えば、信頼性の低い又は高いモデル出力／結果を特定できる。

さらに、実施形態をデータ分析システム又はＭＬ決定システムに統合して、結果に関する情報をユーザ（例えば技術者、データアナリストなど）にリアルタイムで提供することもできる。このような情報を使用して、技術者はモデルの出力及び／又は決定を確認し、必要に応じて出力及び／又は決定を適応又は修正できる。

提案される実施形態は、ＭＬモデルからの不確実な決定又は出力を特定し得る。次に、このような決定／出力に焦点を当てるか、及び／又は改善する（例えばさらなる情報源からの学習を通じて）。

例示的な実施形態の要素及び機能の説明のコンテキストを示すために、例示的な実施形態の態様の実装方法の例として、図を以下に示す。したがって、図は単なる例であり、本発明の態様又は実施形態が実施され得る環境、システム、又は方法に関する限定を表明又は暗示することを意図したものではないことを理解すべきである。

本発明の実施形態は、ＭＬモデルの結果が潜在的に分類されることを可能にすることを対象としている。これは、例えば、不確実な決定又は結果を特定することによって、デプロイされた（例えばクライアント側の）ＭＬモデルを評価するのに有用である。これは、誤った又は不正確な決定による影響を軽減するのに役立ち、したがって、データ分析が向上される。したがって、実施形態は、例えば、医用画像分析モデルが特定の被験者及び／又は医用スキャンプロセスに適しているかどうかを評価するために、リアルタイムのデータ評価目的に有用である。

図１は、一実施形態によるＭＬモデル１０５の信頼尺度を取得するためのシステム１００の一実施形態を示している。ここでは、ＭＬモデル１０５はクライアントにデプロイされているため、すでにトレーニングされて、最終決定されている。したがって、クライアント側でのＭＬモデル１０５の再トレーニングは実行できない又は不可能である。

システム１００は、入力データ１０を取得するインターフェース構成要素１１０を含む。ここでは、インターフェース構成要素１１０は、医用イメージング装置１１５（ＭＲＩデバイスなど）から医用画像１０の形式の入力データ１０を受信する。

医用画像１０は、有線又は無線接続を介してインターフェース構成要素１１０に通信される。一例として、無線接続は、短中距離通信リンクを含む。誤解を避けるために、短中距離通信リンクは、最大約１００メートルの距離を有する短距離又は中距離通信リンクを意味するものとして解釈され得る。非常に短い通信距離用に設計された短距離通信リンクでは、信号は典型的には数センチから数メートルまで伝わるが、短中通信距離用に設計された中距離通信リンクでは、信号は典型的には最大１００メートルまで伝わる。短距離無線通信リンクの例としては、ＡＮＴ＋、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ、ＩＥＥＥ ８０２．１５．４、ＩＳＡ１００ａ、赤外線（ＩｒＤＡ）、近距離無線通信（ＮＦＣ）、ＲＦＩＤ、６ＬｏＷＰＡＮ、ＵＷＢ、ワイヤレスＨＡＲＴ、ワイヤレスＨＤ、ワイヤレスＵＳＢ、ＺｉｇＢｅｅ（登録商標）が挙げられる。中距離通信リンクの例としては、Ｗｉ－Ｆｉ（登録商標）、ＩＳＭバンド、Ｚ－Ｗａｖｅが挙げられる。ここでは、出力信号は、有線又は無線接続を介して安全に通信するために暗号化されていない。しかしながら、他の実施形態では、信号／データの通信のために１つ以上の暗号化技術及び／又は１つ以上の安全な通信リンクがシステムにおいて採用され得ることは理解されるであろう。

システム１００はまた、入力データの複数の修正インスタンスを生成するデータ修正構成要素１２０を含む。特に、この実施形態のデータ修正構成要素１２０は、医用画像１０に複数の異なる空間ワーピング変換を適用して、医用画像１０の対応する複数の修正インスタンスを生成する。このようにして、データ修正構成要素１２０は、医用画像１０に小さな／小規模な修正を行い、医用画像の複数の修正（又は拡張）バージョンを生成する。

システム１００はさらに、医用画像１０と医用画像の複数の修正インスタンスをＭＬモデル１０５に通信するＭＬモデルインターフェース１２２を含む。この目的のために、システム１００の機械学習モデルインターフェース１２２は、インターネット又は「クラウド」５０を介して機械学習モデル１０５と通信する。

医用画像１０及び医用画像の複数の修正インスタンスの受信に応答して、ＭＬモデルは、受信したデータを処理してそれぞれの結果を生成する。より具体的には、医用画像１０がＭＬモデル１０５によって処理されて一次結果が生成され、入力データの修正インスタンスがＭＬモデル１０５によって処理されて対応する複数の二次結果が生成される。

ＭＬモデル１０５によって生成されたこれらの結果は、次に、システム１００に戻される。したがって、機械学習モデルインターフェース１２２はさらに、（ＭＬモデル１０５が医用画像１０を処理することによって生成された）一次結果を受信し、また、（ＭＬモデル１０５が医用画像１０の対応する複数の修正インスタンスを処理することによって生成された）対応する複数の二次結果を受信する。

この実施形態では、データ修正構成要素１２０が医用画像１０に複数の異なる空間ワーピング変換を適用して（医用画像１０の対応する複数の修正インスタンスを生成して）いるため、データ修正構成要素１２０はさらに、受信した複数の二次結果に対応する逆空間ワーピング変換を適用する。このようにして、二次結果は、一次結果に対する参照のために戻される、すなわち、正規化される。

ここでは、変換及び／又は逆変換を適用するために、データ修正構成要素１２０は、インターネット又は「クラウド」５０において利用可能な１つ以上のデータ処理リソースと通信し得ることに留意されたい。このようなデータ処理リソースは、変換の実装に必要な処理の一部又はすべてを実施し得る。したがって、この実施形態が分散処理原理を採用し得ることが理解されるであろう。

システム１００はさらに、二次結果に基づいて信頼尺度を決定する分析構成要素１２４を含む。ここでは、分析構成要素１２４は、二次結果の逆分散に基づいて信頼尺度を決定する。したがって、二次結果の分散が低いときに、信頼尺度の値が高くなる。逆に、二次結果の分散が高いときに、信頼尺度の値は低くなる。次に、信頼尺度は、入力された医用画像１０と、ＭＬモデル１０５によって処理されることによってもたらされるその一次結果とに関連付けられる。

ここでも、二次結果に基づいて信頼尺度を決定するために、分析構成要素１２４は、インターネット又は「クラウド」５０において利用可能な１つ以上のデータ処理リソースと通信し得ることに留意されたい。このようなデータ処理リソースは、信頼尺度の決定に必要な処理の一部又はすべてを実施し得る。したがって、この実施形態が分散処理原理を採用し得ることが理解されるであろう。

分析構成要素１２４はさらに、一次結果及び決定された信頼尺度を表す出力信号１３０を生成する。つまり、一次結果の信頼性レベルを決定した後、一次結果の信頼性レベルを表す出力信号１３０が生成される。

システムはさらに、１人以上のユーザに情報を提供するためのグラフィカルユーザインターフェース（ＧＵＩ）１６０を含む。出力信号１３０は、有線又は無線接続を介してＧＵＩ１６０に通信される。一例として、無線接続は、短中距離通信リンクを含む。図１に示されるように、出力信号１３０は、データ処理ユニット１１０からＧＵＩ１６０に提供される。しかしながら、システムがインターネット又はクラウド５０を介してデータ処理リソースを使用している場合は、出力信号は、インターネット又はクラウド５０を介してＧＵＩ１６０で使用できるようにされてもよい。

ＧＵＩ１６０は、出力信号１３０に基づいて、ＧＵＩ１６０の表示領域に１つ以上のグラフィック要素を表示することで情報を伝える。このようにして、システムは、ＭＬモデル１０５を用いた医用画像１０の処理結果に関する情報を伝えることができる。これは、処理結果に関連する確実性又は信頼のレベルを示すのに有用である。例えば、ＧＵＩ１６０を使用して、グラフィック要素を医師、データアナリスト、エンジニア、医用イメージング装置のオペレータ、技術者などに表示できる。

上記の図１の例示的な実施形態は、医用イメージングに関連して説明されているが、提案される概念は、医療症例記録、エンジニアリング画像などの他の形式の入力データにも拡張され得ることが理解されるであろう。

また、上記の説明から、ＭＬモデルが任意の適切な形式であってもよいことが理解されるであろう。例えば、ＭＬモデルは、人工ニューラルネットワーク、敵対的生成ネットワーク（ＧＡＮ）、ベイジアンネットワーク、又はこの組み合わせを含む。

上記の図１の説明から、実施形態がＭＬモデルから返された結果の信頼の推定値を提供し得ることが理解されるであろう。信頼性の推定値は、入力データの拡張／修正によって導出され、クライアント側にデプロイされたＭＬモデルに対して取得される。

実施形態は、正確な、又は、信頼性の高い／信頼できるＭＬモデルが「うまく挙動する」べきである、すなわち、入力データへの小さな摂動が、出力データに小さな、対応する影響を与えるべきであるという提案を前提としている。ＭＬモデルを分析するために、処理されるべき入力データ（例えば新しいケース）、新しいケースは、複数の拡張／修正を受け、これらはすべて次にＭＬモデルによって処理される。次に、拡張／修正された入力を処理することによってもたらされる分散を使用して、信頼尺度（これは、ＭＬモデルの精度、堅牢性、又は信頼性を表す）が決定される。このようにして、実施形態は、入力に固有の（例えばケースに固有の）信頼尺度を提供することができ、これはＭＬモデルの提供者が行った要求又は提案とは無関係であり得る。

したがって、提案される実施形態は、ＭＬモデルの汎化能力を連続性特性として解釈するという提案に基づいているものとしてまとめることができる。つまり、ＭＬモデル（ニューラルネットワークなど）が初見の入力データ（例えばケースＣ_０）に対して適切に一般化される場合、入力データ（Ｃ_０）に対する小さな摂動は、ＭＬモデル出力に小さな対応する影響しか有さないべきである。

実施形態を、深層学習モジュールのクライアント側のデプロイメントフェーズ（トレーニングフェーズではない）に適用できる。

さらなる例として、一実施形態によるＭＬモデルの信頼尺度を取得するための方法を次のとおりにまとめる。
（ｉ）新しいケースＣ_０がＭＬモデルに入力され、特定の一次結果Ｒ_０が得られる。ボクセル単位のラベリングによるセマンティックセグメンテーションの場合、Ｃ_０は入力画像ボリュームに対応し、Ｒ_０は各ボクセルにラベル情報（例えばＣ_０内の対応する画像ボクセルにクラスを指定する単一の整数値）が含まれる等サイズのボリュームに対応する。あるいは、Ｒ_０には、Ｃ_０からの各ボクセルに対して、関連するクラス確率に対応するエントリを有する確率ベクトルが含まれ得る。例えば、ｎ個の異なるクラスを選択できるＭＬモデルでは、特定の画像ボクセルに関連付けられたベクトルは、単位元になるｎ個のエントリで構成される。
（ｉｉ）ケースＣ_０は、例えば、他の患者への空間的な位置合わせ、任意の局所変形（ワープ）、ノイズなどの追加、又はこれらの方法の組み合わせなどによって、複数の方法で修正（「拡張」）される。セマンティックセグメンテーションでは、空間変換を適用すると、ワープされた画像内の各ボクセルに対して、元の画像内の座標が保存される。
（ｉｉｉ）Ｃ_０の拡張バージョンである各Ｃ_ｉもＭＬモデルに渡され、１つの対応する結果Ｒ_ｉが得られる。セマンティックセグメンテーションでは、一般的に使用されるＭＬモデルは、Ｕ－Ｎｅｔアーキテクチャである。
（ｉｖ）一次結果Ｒ_０はユーザに提供され、一次結果Ｒ_０に関連する信頼レベルを示すセット｛Ｒ_ｉ｝の多様性が補足される（信頼レベルはセット｛Ｒ_ｉ｝の多様性に反比例する）。セマンティックセグメンテーションでは、各ボクセルの信頼レベルは個別に計算される。
Ｃ_０の各ボクセルについて、各Ｃ_ｉの対応する場所を検索し、Ｒ_ｉからＭＬアルゴリズムの出力を収集する。検討下のボクセルに関連するすべての出力は、ヒストグラム（クラス周波数の概要）を使用してまとめられる。ヒストグラムの解析及び関連する経験分布に基づき、シャノンエントロピー（すなわち、

、ここで、ｐｉは、所与の記号の確率である）又はジニ係数（完全な均等線の下の領域（定義では０．５）からローレンツ曲線の下の領域を引いた値を、完全な均等線の下の領域で除算した値である。つまり、ローレンツ曲線と完全な均等線との間の面積を２倍にする）などの様々な確実性尺度を計算できる。

ボクセル単位のラベリング（例えばセマンティックセグメンテーション）及び位置特定タスクでは、微分同相写像（ｄｉｆｆｅｏｍｏｒｐｈｉｃ）拡散空間変換（例えば剛体、アフィン、微分同相写像ワープ）による拡張を使用することで、実施形態が、生成されたラベル画像又は位置特定座標を元のボクセルグリッドに（逆変換を適用することにより）一意に変換して戻ることができる。したがって、ラベリングタスクでは、元のボクセルグリッドの各ボクセルに対して、ラベルの全母集団が生成される。上記のシャノンエントロピー又はジニ係数に加えて、このラベル母集団のサンプル分散を使用して、定量的なボクセル単位の信頼尺度を導出できる。より正確に言えば、信頼はサンプル分散又はシャノンエントロピーに逆相関している。

視覚化のために、クラスラベルの色相を使用して、信頼をディスプレイにおいて色の彩度又は不透明度としてコード化できる。位置特定タスクでは、点の場所のセット全体が生成され、その分布も同様に、個別の点として、又は、正規分布を使用するなど、適合した点密度関数を介してオーバーレイできる。

分類タスクでは、（ネットワークによってＣ_０に割り当てられた）Ｒ_０から逸脱しているクラス割り当て｛Ｒ_ｉ｝の比率が、拡張に使用される変換に対する堅牢性の尺度（すなわち、信頼尺度）を提供する。

図２を参照すると、ＭＬモデルの信頼尺度を取得するための方法２００のフロー図が示されている。この例では、ＭＬモデルは、人工ニューラルネットワーク、敵対的生成ネットワーク（ＧＡＮ）、及びベイズネットワークのうちの少なくとも１つを含む。

図２では、ステップ２１０は、ＭＬモデルを用いて入力データｄ_０を処理して、一次結果Ｒ_０を生成することを含む。

ステップ２２０は、入力データｄ_０の複数の修正インスタンス（ｄ_ｉ、ｄ_ｉｉ、ｄ_ｉｉｉ）を生成することを含む。さらに具体的には、入力データの複数の修正インスタンスを生成するステップ２２０は、複数のステップ、すなわち、ステップ２２２、２２４、２２６を含む。ステップ２２２は、入力データｄ_０に第１の空間ワーピング変換（例えば剛体変換又はアフィン変換）を適用して、入力データの第１の修正インスタンスｄ_ｉを生成することを含む。ステップ２２４は、入力データｄ_０にノイズを追加して、入力データの第２の修正インスタンスｄ_ｉｉを生成することを含む。ステップ２２６は、入力データｄ_０に局所変形変換を適用して、入力データの第３の修正インスタンスｄ_ｉｉｉを生成することを含む。

ステップ２３０は、ＭＬモデルを用いて入力データの複数の修正インスタンス（ｄ_ｉ、ｄ_ｉｉ、ｄ_ｉｉｉ）を処理して、対応する複数の二次結果（Ｒ_ｉ、Ｒ_ｉｉ、Ｒ_ｉｉｉ）を生成することを含む。ここでは、必要に応じて、二次結果を、対応する逆変換を使用して変換（正規化）して、一次結果Ｒ_０と比較できるようにしてもよいことに留意されたい。例えば、入力データの第１の修正インスタンスｄ_ｉに対して生成された二次結果Ｒ_ｉには、逆空間ワーピング変換が適用される。また、入力データの第３の修正インスタンスｄ_ｉｉｉに対して生成された二次結果Ｒ_ｉｉｉには、逆局所変形変換が適用される。

ステップ２４０は、（正規化された）二次結果（Ｒ_ｉ、Ｒ_ｉｉ、Ｒ_ｉｉｉ）に基づいて、ＭＬモデルに関連する信頼尺度を決定することを含む。ここでは、信頼尺度を決定することは、（正規化された）二次結果（Ｒ_ｉ、Ｒ_ｉｉ、Ｒ_ｉｉｉ）の逆分散に基づいて信頼尺度を決定することを含む。前述のように、他の実施形態では、信頼尺度を決定することは、シャノンエントロピー又はジニ係数を決定することを含み得る。

また、図２の模範的な実施形態には、決定された信頼尺度を一次結果Ｒ_０に関連付けるステップ２５０も含まれている。このようにして、一次結果Ｒ_０の信頼性の単純な表現を生成し、一次結果Ｒ_０に関連付けることができる。これにより、ＭＬモデルの入力データｄ_０に対する決定又は出力の分析に関して、一次結果Ｒ_０の重要性及び／又は関連性を迅速かつ簡単に特定及び評価できる。

図３を参照すると、適合されたＭＬモデル４１０を含む、本発明によるシステムの別の実施形態が示されている。ここでは、ＭＬモデル４１０は、例えば、医療／臨床判断サービスでの使用に利用可能である、従来のニューラルネットワーク４１０を含む。

ニューラルネットワーク４１０は、入力データを処理したことによる結果又は決定を表す出力信号を、（例えば有線又は無線接続を使用して）インターネット４２０を介して、遠隔にあるデータ処理システム４３０（サーバなど）に通信して、ＭＬモデルの信頼尺度を取得する。

データ処理システム４３０は、提案される実施形態による方法に従って入力データを取得して処理して、ＭＬモデル４１０の信頼尺度を特定する。

より具体的には、データ処理システム４３０は、入力データを取得し、入力データの複数の修正インスタンスを生成する。次に、データ処理システム４３０は、入力データと、入力データの複数の修正インスタンスとをＭＬモデル４１０に通信する。ＭＬモデル４１０は、データ処理システム４３０から受信したデータを処理して、対応する結果を生成する。より具体的には、入力データがＭＬモデル４１０によって処理されて一次結果が生成され、入力データの修正インスタンスがＭＬモデル４１０によって処理されて対応する複数の二次結果が生成される。次に、データ処理システム４３０は、ＭＬモデル４１０から、一次結果と、複数の二次結果とを取得する。データ処理システム４３０は、二次結果の多様性に基づいて、ＭＬモデル４１０によって作成された一次結果の信頼尺度を決定する。

データ処理システム４３０はさらに、信頼尺度を表す出力信号を生成する。したがって、データ処理システム４３０は、入力データを受信し、１つ以上のアルゴリズムを実行して、入力データについてＭＬモデル４１０によって出力された一次結果（例えば決定）の信頼性を特定及び分類できる、中央からアクセス可能な処理リソースを提供する。取得した信頼尺度に関する情報は、データ処理システムによって（例えばデータベース内に）保存され、システムの他の構成要素に提供できる。ＭＬモデル及び一次結果に関するこのような情報の提供は、（例えばインターネット４２０を介する）要求の受信に応答して行われてもよいし、及び／又は、要求なし（例えば「プッシュ」）で行われてもよい。

ＭＬモデル又は一次結果の信頼性に関する情報を受信し、したがって、モデル／データの分析又は評価を可能にするために、システムはさらに、第１のモバイルコンピューティングデバイス４４０と第２のモバイルコンピューティングデバイス４５０とを含む。

ここでは、第１のモバイルコンピューティングデバイス４４０は、信頼尺度を表すグラフィック要素を表示するためのディスプレイを備えた携帯電話デバイス（スマートフォンなど）である。第２のモバイルコンピューティングデバイス４５０は、ＭＬモデルの結果及び関連する信頼尺度を表すグラフィック要素を表示するためのディスプレイを備えたラップトップコンピュータやタブレットコンピュータなどのモバイルコンピュータである。

データ処理システム４３０は、（例えば有線又は無線接続を使用する）インターネット４２０を介して第１のモバイルコンピューティングデバイス４４０及び第２のモバイルコンピューティングデバイス４５０に出力信号を通信する。前述のように、これは、第１のモバイルコンピューティングデバイス４４０及び第２のモバイルコンピューティングデバイス４５０からの要求の受信に応答して行われ得る。

第１のモバイルコンピューティングデバイス４４０及び第２のモバイルコンピューティングデバイス４５０は、受信した出力信号に基づいて、それぞれのディスプレイで提供される表示エリアに１つ以上のグラフィック要素を表示する。このために、第１のモバイルコンピューティングデバイス４４０及び第２のモバイルコンピューティングデバイス４５０は、各々、受信した出力信号を処理、復号化、及び／又は解釈してグラフィック要素を表示する方法を決定するためのソフトウェアアプリケーションを含む。したがって、第１のモバイルコンピューティングデバイス４４０及び第２のモバイルコンピューティングデバイス４５０は、各々、信頼尺度を表す１つ以上の値を決定し、信頼尺度に基づいてグラフィック要素のサイズ、形状、位置、方向、脈動、又は色のうちの少なくとも１つを修正するための表示制御信号を生成する処理配置を含む。

したがって、システムは、ＭＬモデルの結果内の特徴に関する情報を、第１のモバイルコンピューティングデバイス４４０及び第２のモバイルコンピューティングデバイス４５０のユーザに通信できる。例えば、第１のモバイルコンピューティングデバイス４４０及び第２のモバイルコンピューティングデバイス４５０の各々を使用して、医師、データアナリスト、又は技術者にグラフィック要素を表示できる。

図３のシステムの実装は、（ｉ）データ処理システム４３０が、例えば、従来の画像又はウェブページ表示（ウェブベースのブラウザなどであり得る）を使用してモバイルコンピューティングデバイスのユーザに単純に表示されるグラフィック要素（例えばＪＰＥＧ又は他の画像形式にある）を含む表示データを含む表示の準備が整ったデータを通信する状況から、（ｉｉ）データ処理システム４３０が生データ情報を通信して、この生データ情報を、受信側のモバイルコンピューティングデバイスが（例えばモバイルコンピューティングデバイスで実行されるローカルソフトウェアを使用して）処理して一次結果及び関連する信頼尺度を生成する状況と様々であり得る。当然ながら、他の実装では、処理は、データ処理システム４３０と受信側モバイルコンピューティングデバイスとの間で共有されて、データ処理システム４３０で生成されたデータの一部が、モバイルコンピューティングデバイスのローカル専用ソフトウェアによってさらに処理されるように、モバイルコンピューティングデバイスに送信され得る。したがって、実施形態は、サーバ側の処理、クライアント側の処理、又はその組み合わせを採用できる。

さらに、データ処理システム４３０が情報（例えば出力信号）を「プッシュ」せず、むしろ、要求の受信に応答して情報を通信する場合、そのような要求を行うデバイスのユーザは、情報を通信するために、ＩＤ及び／又はセキュリティ認証情報を確認又は認証する必要がある。

本発明は、機械学習モデルの信頼尺度を取得するためのシステム、方法、及び／又はコンピュータプログラム製品である。コンピュータプログラム製品には、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有しているコンピュータ可読ストレージ媒体（又は複数可）が含まれ得る。

コンピュータ可読ストレージ媒体は、命令実行デバイスが使用する命令を保持及び保存できる有形デバイスである。コンピュータ可読ストレージ媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光学ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、又は上記の任意の適切な組み合わせを含み得るがこれらに限定されない。コンピュータ可読ストレージ媒体のより具体的な例の非包括的なリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、パンチカードや命令が記録されている溝内の***した構造などの機械的にエンコードされたデバイス、及び上記の任意の適切な組み合わせが含まれる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波や他の自由に伝搬する電磁波、導波管や他の伝送媒体を伝搬する電磁波（例えば光ファイバケーブルを通過する光パルス）、又はワイヤを介して送信される電気信号など、それ自体が一時的である信号とは解釈されない。

本明細書に説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から、対応するコンピューティング／処理デバイスに、又は、外部コンピュータ若しくは外部ストレージデバイスに、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又は無線ネットワークであるネットワークを介してダウンロードできる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含み得る。各コンピューティング／処理デバイスのネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体への保存のために転送する。

コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアロンのソフトウェアとして、ユーザのコンピュータ上で部分的にかつリモートコンピュータ上で部分的に、又は、リモートコンピュータ若しくはサーバ上で完全に実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され得る。又は、（例えばインターネットサービスプロバイダを使用してインターネット経由で）外部コンピュータへの接続を確立することもできる。いくつかの実施形態では、例えば、プログラム可能論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行して電子回路をカスタマイズして、本発明の態様を実行できる。

本発明の態様は、本明細書では、本発明の実施形態による、方法、装置（システム）及びコンピュータプログラム製品のフローチャート図及び／又はブロック図を参照して説明されている。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることを理解されたい。

このようなコンピュータ可読プログラム命令は、汎用コンピュータ、特殊目的コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供されて、命令が、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行され、フローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／行為を実装するための手段を作成するようなマシンを生成する。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、及び／又は他のデバイスが特定のやり方で機能するように命令できるコンピュータ可読ストレージ媒体に保存され、これにより、命令を保存したコンピュータ可読ストレージ媒体は、フローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／行為の態様を実装する命令を含む製造品を含む。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、又は他のデバイスにロードされて、当該コンピュータ、他のプログラム可能な装置、又は他のデバイスで一連の動作ステップを実行させて、コンピュータ実施プロセスを生成でき、これにより、当該コンピュータ、他のプログラム可能装置、又は他のデバイス上で実行される命令は、フローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／行為を実装する。

図のフローチャート及びブロック図は、本発明の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び動作を示している。この点で、フローチャート又はブロック図の各ブロックは、指定された論理関数（複数可）を実装するための１つ以上の実行可能命令を含むモジュール、セグメント、又は命令の一部を表すことができる。いくつかの代替の実装では、ブロックに示されている機能は、図に示されている順序とは異なる順序で生じてもよい。例えば、連続して示されている２つのブロックは、実際には実質的に同時に実行される場合もあれば、関与する機能に応じて逆の順序で実行される場合もある。また、ブロック図及び／又はフローチャート図の各ブロック、及び、ブロック図及び／又はフローチャート図のブロックの組み合わせは、指定された機能又は行為を行うか、又は、特殊目的ハードウェアとコンピュータ命令との組み合わせを実行する、特殊目的ハードウェアベースのシステムによって実装できることも留意されたい。

したがって、上記の説明から、実施形態は、ＭＬモデルの提供者の要求に関係なく信頼尺度を決定する際に有用であることが理解されるであろう。この信頼尺度は、入力データに固有（例えば入力ケースに固有）であり得る。したがって、実施形態は、分類及び検出タスクの堅牢性尺度として使用できる情報を提供できる。また、データの修正／拡張も、特定の使用ケースに関して特別に設計できる。

したがって、提案された実施形態は、医療データ分析や臨床意思決定支援用途を含む、幅広いデータ分析概念／分野に適用可能である。例えば、被験者の医用画像を使用して被験者を調査又は評価する医用画像スクリーニングに、実施形態が有用である。このような場合、分類の不確実性に関するピクセルレベルの情報（例えば決定の信頼）が提供され、この情報は、医療従事者（例えば放射線技師）にＭＬモデル出力を説明又は補足できる。

説明は、例示及び説明のために提示されており、網羅的であるか又は開示された形式の発明に限定されることを意図するものではない。多くの修正及び変形が当業者には明らかであろう。実施形態は、提案された実施形態の原理、実践的応用を最もよく説明し、様々な修正を含む多様な実施形態が企図されていることを当業者が理解できるようにするために選択され、記述されている。

Claims (9)

1. 機械学習モデルの信頼尺度を取得するためのコンピュータ実施の方法であって、前記方法は、
   前記機械学習モデルを用いて入力データを処理して、一次結果を生成するステップと、
   前記入力データの複数の修正インスタンスを生成するステップと、
   前記機械学習モデルを用いて前記入力データの前記複数の修正インスタンスを処理して、対応する複数の二次結果を生成するステップと、
   前記二次結果に基づいて、前記一次結果に関連する信頼尺度を決定するステップと、
   を含み、前記信頼尺度を決定するステップは、
   前記二次結果の分布又は分散の尺度を決定するステップと、
   前記分布又は分散の決定された前記尺度に基づいて前記信頼尺度を決定するステップと、
   を含み、前記二次結果の分布又は分散の前記尺度を決定するステップは、
   前記二次結果の逆分散、
   前記二次結果のシャノンエントロピー、
   前記二次結果のジニ係数、
   前記二次結果のカルバック－ライブラー発散、及び
   前記二次結果の集中尺度、
   のうちの少なくとも１つを決定するステップを含み、前記入力データの複数の修正インスタンスを生成するステップは、
   前記入力データに、剛体変換又はアフィン変換である第１の空間ワーピング変換を適用して、前記入力データの第１の修正インスタンスを生成するステップと、
   前記入力データの前記第１の修正インスタンスに対して生成された前記二次結果に、前記第１の空間ワーピング変換に対応する逆変換である第１の逆空間ワーピング変換を適用するステップとを含む、方法。
2. 前記入力データの複数の修正インスタンスを生成するステップは、
   前記入力データにノイズを追加して、前記入力データの第２の修正インスタンスを生成するステップを含む、請求項１に記載の方法。
3. 前記入力データの複数の修正インスタンスを生成するステップは、
   前記入力データに局所変形変換を適用して、前記入力データの第３の修正インスタンスを生成するステップを含む、請求項１又は２に記載の方法。
4. 前記入力データの前記第３の修正インスタンスに対して生成された前記二次結果に、第１の逆局所変形変換を適用するステップをさらに含む、請求項３に記載の方法。
5. 前記機械学習モデルは、
   人工ニューラルネットワーク、
   敵対的生成ネットワーク、及び
   ベイズネットワーク、
   のうちの少なくとも１つを含む、請求項１から４のいずれか一項に記載の方法。
6. 決定された前記信頼尺度を前記一次結果と関連付けるステップをさらに含む、請求項１から５のいずれか一項に記載の方法。
7. 機械学習モデルの信頼尺度を取得するためのコンピュータ可読プログラムコードが具現化されているコンピュータ可読ストレージ媒体であって、前記コンピュータ可読プログラムコードは、少なくとも１つのプロセッサで実行されると、請求項１から６のいずれか一項に記載のステップの全てを行う、コンピュータプログラム可読ストレージ媒体。
8. 少なくとも１つのプロセッサと、
   請求項７に記載のコンピュータプログラム可読ストレージ媒体と、
   を含む、システム。
9. 機械学習モデルの信頼尺度を取得するためのシステムであって、
   入力データを取得する入力インターフェースと、
   前記入力データの複数の修正インスタンスを生成するデータ修正構成要素と、
   前記入力データ及び前記入力データの前記複数の修正インスタンスを機械学習モデルに通信し、さらに、前記機械学習モデルが前記入力データを処理することによって生成される一次結果を受信し、前記機械学習モデルが前記入力データの対応する前記複数の修正インスタンスを処理することによって生成される複数の二次結果を受信する機械学習モデルインターフェースと、
   前記二次結果に基づいて、前記一次結果に関連する信頼尺度を決定する分析構成要素と、
   を含み、前記データ修正構成要素は、前記入力データに、剛体変換又はアフィン変換である第１の空間ワーピング変換を適用して、前記入力データの第１の修正インスタンスを生成し、前記分析構成要素は、前記二次結果の分布又は分散の尺度を決定し、前記分布又は分散の決定された前記尺度に基づいて前記信頼尺度を決定し、前記前記二次結果の分布又は分散の尺度を決定することは、
   前記二次結果の逆分散、
   前記二次結果のシャノンエントロピー、
   前記二次結果のジニ係数、
   前記二次結果のカルバック－ライブラー発散、及び
   前記二次結果の集中尺度、
   のうちの少なくとも１つを決定することを含み、前記データ修正構成要素はさらに、前記入力データの前記第１の修正インスタンスに対して生成された前記二次結果に、前記第１の空間ワーピング変換に対応する逆変換である第１の逆空間ワーピング変換を適用する、システム。

Images