JP2023515367A - モデルへの入力インスタンスの分布外検出 - Google Patents

Abstract

本発明は、メインモデルへの入力インスタンスの分布外（ＯＯＤ）検出のためのシステム２００に関する。メインモデルは、入力インスタンスから出力画像を生成する。分布外検出は、メインモデルと同じ訓練データセット上で訓練された複数の二次モデルを使用する。入力インスタンスの分布外検出を実行するために、入力インスタンスに対する個々の二次モデルの出力画像のピクセルごとの分布外スコアが算出される。ピクセルのピクセル分布外スコアは、各二次モデル出力画像におけるピクセルの各値のばらつきとして決定される。このばらつきは一般に、ＯＯＤ（分布外）インスタンスよりも分布内ＩＤ（分布内）インスタンスの方が低く、従って、入力インスタンスが分布外であるか否かの尺度を提供する。決定されたピクセル分布外スコアは組み合わされて、訓練データセットに関して当該入力インスタンスが分布外であるかどうかを示す全体分布外スコアが生成される。

Description

本発明は、モデルへの入力インスタンスの分布外検出のためのシステム及び対応するコンピュータ実現方法に関する。本発明は更に、分布外検出を可能にするシステム及び対応するコンピュータ実現方法に関する。本発明は、コンピュータ可読媒体にも関する。

ＭＲスキャナ及びＣＴスキャナなどの医用撮像装置から到来するデータの処理パイプラインは、様々な複雑な画像処理演算を伴う。例えば、スキャナから到来する生のデータは、臨床医によって検査されるべき画像に変換されることができ、これは、画像再構成として知られるタスクである。別の例として、特定の対象は、医用撮像装置によって生成された画像において認識され、強調表示されることができ、これはセマンティックセグメンテーションとして知られるタスクである。画像解析は例えば、病変部を特定するために使用されることもできる。一般に、そのような画像処理モデルは、入力インスタンス、例えば、入力画像、又はいわゆるｋ空間表現（ＭＲスキャナの場合）もしくはサイノグラム（ＣＴスキャナの場合）で表される生スキャナデータから、出力画像を生成する。

関与する様々な画像処理演算の複雑さを考慮すると、医用画像処理のために機械学習可能モデルを使用することがますます魅力的になってきている。そのような機械学習可能モデルは様々なタスクを実行し、手動で設計されたアルゴリズムよりも良好な結果を提供する見込みを保持するために、訓練データセット上で自動的に訓練されることができる。例えば、NPezzotti他による"Adaptive-CS-Net: FastMRI with Adaptive Intelligence"(https://arxiv.org/abs/1912.12259において入手可能であり、本明細書において参照により盛り込まれる）では、アンダーサンプリングされたｋ空間データからＭＲ画像を再構成するための機械学習可能なモデルが提案されており、これは従来の方法よりも良好に機能することが示されている。別の用途は、低線量ＣＴスキャンのノイズ除去である。更に、様々な他のアプリケーション領域、例えば、自律運転及び視覚監視において、セグメンテーションモデルなどの出力画像を提供する画像処理モデルは、品質が絶えず改善されており、現実にますます展開されている。

このような機械学習可能な画像処理モデルを実際の生活において、特に医用画像解析又は自律運転などの重要なアプリケーション領域において適用する場合、画像処理モデルによって提供される出力画像に頼ることができることが重要である。しかしながら、機械学習可能な画像処理モデルが訓練中に使用されるデータとはあまりに非類似の入力インスタンスに適用されるとき、それらは、一般に、正確な結果を提供することを保証されない。あまりに非類似の入力インスタンスは、一般に、「分布外（out-of-distribution）」（ＯＯＤ、アウトオブディストリビューション）と呼ばれる。更に、何かが間違っていることが、モデルの出力画像から直接観察できないことがある。例えば、医用撮像では、ディープラーニングに基づくいくつかの画像処理モデルが、真の解剖学的構造とは異なる現実的で解剖学的に尤もらしい画像を生成し得ることが観察されている。アーチファクトは真の解剖学的構造のように見えるので、放射線科医はアーチファクトとしてそれらを識別することができない場合がある。これは、診断に影響を及ぼす誤った解釈、製品の価値／品質に対する信頼性の低下、及び／又は放射線科医の更なる負担につながる可能性がある。

残念ながら、様々な既知の分布外検出技術は、（例えば、分類ではなく）出力として画像を有する画像処理モデルには適用できない。従って、画像処理モデルへの入力インスタンスの分布外検出を行うことができることが望ましい。

様々な実施形態は、出力画像を生成するモデル、例えばディープニューラルネットワーク、によって処理される入力インスタンスが、トレーニングに使用されたデータセットに含まれたかどうか、従って、モデルが信頼できる結果を生成することが期待されることができるかどうかを推定することに関する。

本発明の第１の態様によれば、メインモデルへの入力インスタンスの分布外（ＯＯＤ）検出のためのシステムが提案される。本発明の更なる態様によれば、メインモデルへの入力インスタンスの分布外検出のコンピュータ実現方法が提案される。メインモデルは、入力インスタンスから出力画像を生成するように構成されることができる。メインモデルは、訓練データセット上で訓練された、又は訓練されている機械学習可能モデルでありうる。分布外検出を実行するために、複数の二次モデルが使用されることができる。二次モデルは、メインモデルが訓練される同じ訓練データセット上で訓練されることができる。入力インスタンスが与えられると、個々の二次モデルがその入力インスタンスに適用されて、個々の二次モデル出力画像が取得されることができる。ピクセルごとに、ピクセル分布外スコアは、それぞれの二次モデル出力画像におけるピクセルのそれぞれの値の間のバリエーションとして決定されることができる。ピクセル分布外スコアを組み合わせて、訓練データセットに対して入力インスタンスが分布外であるかどうかを示す全体分布外スコアを生成することも可能である。全体分布外スコアに基づいて、入力インスタンスが分布外であるかどうかを示す出力信号が生成されることができる。

分布外検出を提供するために、様々な態様は、メインモデルと同じ訓練データセット上で訓練された複数の二次モデルを使用する。複数の二次モデルは総じて二次モデルの「アンサンブル」と呼ぶことができる。訓練データセットは、一般に、複数の訓練入力インスタンスと、対応する訓練出力画像とを含む。メインモデルは、訓練入力インスタンスが与えられると、対応する訓練出力画像を生成するように訓練されることができる。二次モデルは、同じ訓練入力インスタンスを与えられる場合に同じ訓練出力画像を生成するように、又は、例えば、ダウンスケーリング、チャネル低減、もしくは別の画像処理演算によって、出力及び入力が元の訓練出力及び入力に関連する状況でかかる入力から出力を生成するように、訓練されることができるという意味で、同じ訓練データセット上で訓練されることができる。二次モデルは、メインモデルと同じモデルアーキテクチャを使用することができ（任意にはメインモデルは二次モデルのうちの１つでありうる）、又はその変形、例えば、より少ない訓練可能なパラメータを有する単純化を使用することができる。例えば、それぞれの二次モデルは、そのパラメータの組のそれぞれのランダム初期化に基づいて同じ訓練可能モデルをトレーニングすることによって、訓練されることができる。

メインモデルと類似のデータで訓練されることにより及び／又はメインモデルと類似のアーキテクチャを使用することにより、二次モデルは、訓練データと類似の入力インスタンスに適用されたとき、メインモデルとほぼ同じ振る舞いを示すことが期待されうる。従って、少なくとも、訓練データに類似する入力インスタンスが二次モデルに入力される場合、又は言い換えれば、入力インスタンスが分布内（in distribution、ＩＤ）にある場合、それぞれの二次モデルは、概して、同様の結果を生成することができる。従って、それぞれの二次モデルの出力画像のピクセルごとの分散は、一般に低くなり得る。しかしながら、入力インスタンスが分布外（ＯＯＤ）である場合、それぞれの二次モデルは、その入力インスタンスに対して同様の出力を提供するようには訓練されておらず、それらは別々に訓練されているので、一般に、それらの出力画像のピクセルごとのより高い分散を有し得る。従って、出力画像のピクセルのそれぞれの別個のピクセル分布外スコアは、入力インスタンスがＯＯＤか否かの計測値とみなすことができ、従って、入力インスタンスが分布外であるという総合評価は、１つ又は複数のピクセルのピクセル分布外スコアを組み合わせて総合分布外スコアを生成することによって、取得されることができる。

これにより、画像生成モデルに対する分布外検出を効率的かつ高精度に行うことができる。正確な総合分布外スコアを得るためには、比較的限られた数の二次モデルで十分であり、例えば、多くても２０個、あるいは多くても１０個、あるいは多くても５個で十分である。本発明者らは、既に５つの二次モデルで良好な結果を得ることができた。事実、ピクセル分布外スコアの各々は、それ自体が入力インスタンスが分布外であるかどうかの測定値とみなされるため、限られた数の二次モデルでも、入力インスタンスのＯＯＤ性を決定するのに十分なデータが利用可能でありうる。更に、より少ない訓練可能なパラメータ及び／又はより少ない入力及び／又はより少ない出力をもつ二次モデルを使用することによって、メインモデルを適用することに関する分布外スコアを計算するオーバーヘッドが制限されることができる。提供されるＯＯＤ技術の別の利点は、それらが大きくモデルにとらわれないこと、例えば、メインモデル及び／又は二次モデルの特定のモデルアーキテクチャに依存しないことである。

本発明の別の態様によれば、メインモデルへの入力の分布外（ＯＯＤ）検出を可能にする装置が提案される。本発明の更なる態様によれば、対応するコンピュータ実現方法が提案される。システム及び方法では、複数の二次モデルが、メインモデルが訓練された同じ訓練データセット上で訓練されることができる。次いで、二次モデルは、分布外検出を可能にするためにメインモデルと関連付けられることができる。本発明の更なる態様によれば、本明細書に記載のコンピュータ実現方法を実行するための１又は複数の命令、又は本明細書に記載の分布外検出を可能にするためにメインモデルに関連付けられた二次モデルを表す一時的又は非一時的データを含むコンピュータ可読媒体が提案される。

様々な実施形態において、本明細書に記載される分布外検出技術は、医用画像処理に適用されることができる。医用画像処理のための様々なモデルはそれ自体当技術分野で知られており、提示された技法と組み合わせることができる。医用画像処理において、メインモデルの出力画像は、医用撮像装置、例えばＣＴスキャナ又はＭＲスキャナの入力データから決定されることもできる。興味深いことに、ＭＲスキャナからのデータを使用する際に、入力インスタンスがメインモデルを適用するための既知の訓練例と十分に類似していない場合には、出力画像が分布外としてフラグ付けされることができるので、本明細書に記載されているように分布外検出ができることは、アンダーサンプルｋ空間データ（例えば、加速スキャニングによって得られる）を安全に使用することを可能にしうる。スキャナで取得する必要があるデータが少なくなるので、信頼性の高い結果を得ながら検査時間を短縮することができる。同様に、ＣＴスキャナからのデータを使用する場合、分布外検出技術を使用することで、信頼性の高い結果で安全に低い線量を適用でき、結果として患者の被曝量を低減することができる。

一般に、医用撮像装置からの入力データを使用する場合、この入力データは、医用撮像装置によって生成された信号でありうる。例えば、ＭＲスキャナの場合、信号は、ｋ空間表現に逆フーリエ変換を適用することによって、ｋ空間において、又は画像空間において表現されることができる。同様に、ＣＴスキャナの場合、信号は、サイノグラム表現に逆ラドン変換を適用することによって、サイノグラムとして、又は画像空間において表現されることができる。このように生の信号が使用される場合、メインモデルは例えば、信号から入力画像を再構成するように構成された医用画像再構成モデルでありうる。そのような再構成モデルはまた、ノイズ除去モデルと呼ばれるか、又はノイズ除去モデルを含むことができる。例えば、ＣＴ画像はＣＴ信号から再構成され、ＭＲ画像はＭＲ信号から再構成されることができるが、例えば、ＭＲ信号からＣＴ画像を、又はＣＴ信号からＭＲ画像を再構成するようにモデルを学習することも可能である。信号を入力として使用する代わりに、医用画像プロセッサモデルは、そのような信号から再構成された入力画像に対して動作することもできる。

メインモデルは、医用画像処理又は他のアプリケーションドメインで使用するためのセマンティックセグメンテーションモデルなどのセグメンテーションモデルでありうる。セグメンテーションモデルは特定の特性、例えば、画像内に位置することができる対象又は他のタイプのものを表す入力インスタンスの一部を示すように構成されることができる。例えば、特性は、入力インスタンス中の特定の位置に存在し得る任意の特定のタイプの対象（例えば、嚢胞、腫瘍、細胞核、リンパ球、壊死組織など）、又は入力インスタンス中に存在する対象が有し得る特定の特性（例えば、暗い、ノイズの多い、尖っているなど）であり得る。例えば、メインモデルは、画像ピクセルごとに、そのピクセルが特性に属するかどうかの標示を提供することができる。メインモデルはまた、入力インスタンスのそれぞれのピクセルについて、そのピクセル位置における特性（例えば、細胞又は核密度、組織内の潅流など）の存在のそれぞれの量又は程度を示すように構成されることができる。

メインモデルは、入力画像中の病変を特定する出力画像を決定するように構成された医用画像解析モデルでもよい。このようなモデルは、必要に応じて、再構成画像又は医用撮像装置の信号に対して動作することができる。例えば、メインモデルは、前立腺腫瘍もしくは卵巣腫瘍の腫瘍検出モデル、又は入力画像において同定された腫瘍の部分に異常値を割り当てるように構成された腫瘍グレーディングモデルでありうる。

当業者が理解するように、本明細書で提供される技法は、医用画像処理に限定されず、自律運転又はビデオ監視などの画像処理のための様々な他のアプリケーションドメインで使用されることもできる。

様々な態様において、入力インスタンスが分布外であるかどうかを示す出力信号が、全体分布外スコアに基づいて生成されることができる。そのような出力信号は様々な方法で、例えば、ユーザによって、又は更に自動化された処理の中で使用されることができる。

任意には、全体分布外スコアを使用して、メインモデルを入力インスタンスに適用するかどうかを判定することができる。このような場合、入力インスタンスが分布外であることを示さない場合にのみ、メインモデルを入力インスタンスに適用してメインモデル出力画像を得ることができ、かかるメインモデル出力画像は、例えば、感覚的に知覚できる方法でユーザに、又は更なる自動処理のためにデジタルで出力されることができる。しかし、分布外であると示された入力インスタンスに対してもメインモデルを適用することも可能であり、例えば、そのような場合、出力画像は、入力インスタンスが分布外であると判定されたという警告又はエラーと共に示されることもできる。

任意には、出力信号は更に、入力インスタンスが分布外であることに寄与する出力画像の１つ又は複数のピクセル、例えば、最も高いピクセル分布外スコアを有するピクセルのサブセットを示すことができる。例えば、示されるピクセルは、分布外スコアが閾値を超えるピクセルとすることができ、あるいは、最高の分布外スコアを有するピクセルの一定の割合又は数であってもよい。寄与するピクセルを示すことにより、入力インスタンスが分布外である判定された理由を理解し、それに応じて、例えば、寄与すると示された点で入力インスタンスに類似する追加の訓練データを訓練データセットに含めることによって、これをどのように改善することができるかを理解するのに役立つフィードバックを提供することができる。

一般に、入力インスタンスが分布外であることには様々な要因があり得、従って、分布外検出時に様々な救済が適用されることができる。ここで、別々に、又は組み合わせて使用することができるいくつかの原因及び対応策を考察する。

入力インスタンスが分布外である原因として、入力インスタンスが低品質であることが考えられる。例えば、入力インスタンスが訓練例と非常に類似している場合、その入力インスタンスは、メインモデルがなお信頼性をもってモデル出力を提供することができる「いつものケース（routine case）」を表している可能性がある。そのような場合、一般に、二次モデルも一貫して同様の出力画像を提供することができる。しかしながら、入力インスタンスが訓練データセットとあまり類似していない場合、二次モデルは発散する可能性があり、従って、メインモデル出力における信頼性が低くなる。従って、入力インスタンスは分布外であると決定されることができる。例えば、入力インスタンスは、スキャンされる特定の被検体の出力画像を信頼性をもって生成するには低すぎる線量で動作するＣＴスキャナ、又は高すぎる加速度で動作するＭＲスキャナからのデータであってよい従って、いくつかの実施形態において、入力インスタンスが分布外であると決定すると、より高い品質（例えば、より高い線量又はより低い加速度）での入力インスタンスの新しい測定（例えば、新しいＣＴ又はＭＲスキャン）を得ることができ、それに対して再び総合分布外スコアが決定されることができる。新しい入力インスタンスが分布外でない場合、この入力インスタンスは、例えば、ユーザに提示されるか、又は自動的に処理されるなど、更に使用されるこいとができる。任意には、このプロセスは、複数の品質設定に対して繰り返されることもできる。

入力インスタンスが分布外である別の考えられる要因は、入力インスタンスにおける測定アーチファクトであり得る。例えば、医用撮像装置内でスキャンされている被検体の動きに起因する動きアーチファクト、又は金属アーチファクトなどが存在し得る。従って、より高い品質で新しい測定を実行する代わりに、又はそれに加えて、同じ品質で新しい測定を実行されることもできる。新しい入力インスタンスが分布外でない場合、それは更に使用されることができ、前の入力インスタンスはアーチファクトとして無視される。

入力インスタンスが分布外である別の考えられる要因は、入力インスタンスによって測定されている被検体が分布外であることである。例えば、スキャンされている被検体は、データセットにおいて十分に表現されていない病変を有している可能性がある。この原因は、同じ被検体を表す複数の入力インスタンスが分布外であるが、他の被検体の入力インスタンスは分布外でないと決定することによって認識されることができる。被検体が分布外であると判定された場合、例えば、その被検体は更なる分析のために、ユーザ、例えば臨床医に報告されることができる。任意に、被検体が分布外であることを検出すると、入力インスタンスに対する別の出力画像がフォールバックモデルを使用して決定されることができ、メインモデルの出力画像の代わりに別の出力画像が使用されることもできる。フォールバックモデルは例えば、トレーニング不可能なモデルであり得る。例えば、ＭＲスキャンの場合、被検体が分布外であれば、それ自体知られているＳＥＮＳＥに基づく再構成がフォールバックとして使用されることができる。

入力インスタンスが分布外である別の可能な原因は、持続的な測定問題、例えば、測定装置の欠陥又は測定のための誤った環境条件でありうる。この要因は、複数の被検体を表す入力インスタンスが分布外であると決定することによって認識されることができる。そのような場合、永続的な測定問題が、修正のために報告されることができる。

上述の実施形態、実施、及び／又は任意の態様のうちの２つ以上が有益であると考えられる任意の方法で組み合わされることができることが、当業者によって理解される。

対応するシステムの記載された修正例及び変形例に対応する任意のコンピュータ実現方法及び／又は任意のコンピュータ可読媒体の修正例及び変形例（逆の場合も同様）は、本明細書に基づいて当業者によって実行されることができる。

本発明のこれら及び他の態様は以下の説明及び添付の図面を参照して例として説明される実施形態から明らかになり、それを参照して更に説明される。

メインモデルへの入力の分布外（ＯＯＤ）検出を可能にするシステムを示す図。 メインモデルへの入力インスタンスの分布外（ＯＯＤ）検出のためのシステムを示す図。 本明細書に記載の技術と共に使用されるモデルを示し、本実施形態においてＵ－Ｎｅｔ型モデルの詳細な例を示す図。 入力インスタンスの全体分布外スコアを決定する全体の詳細な例を示す図。 メインモデルへの入力インスタンスの分布外（ＯＯＤ）検出のコンピュータ実現方法を示す図。 メインモデルへの入力の分布外（ＯＯＤ）検出を可能にするコンピュータ実現方法を示す図。 データを含むコンピュータ可読媒体を示す図。

図面は概略的なものにすぎず、縮尺通りに描かれていないことに留意されたい。図面において、既に説明された構成要素に対応する構成要素は、同じ参照番号を有しうる。

図１は、メインモデルへの入力の分布外（out-of-distribution、ＯＯＤ）検出を可能にする装置１００を示す。メインモデルは、入力インスタンスから出力画像を生成するように構成されることができる。メインモデルは、訓練データセット上で訓練されることができる。システム１００は、データインタフェース１２０と、データ通信１２１を介して内部で通信することができるプロセッササブシステム１４０とを有することができる。データインタフェース１２０は、メインモデルが訓練される訓練データセットを表すデータ０３０にアクセスするためのものであってもよい。データインタフェース１２０はまた、以下でより詳細に論じられるように、メインモデル及び／又は複数の二次モデル０４０にアクセスするためのものであり得る。二次モデル０４０は例えば、図２のシステム２００によって、本明細書に記載される方法による分布外検出のために使用されることができる。分布外検出の実現及び分布外検出自体は単一のシステム又は方法に組み合わされてもよく、例えば、システム１００及び２００は、単一のシステムに組み合わされることもできる。システム、例えば、そのプロセッササブシステムは、訓練データセット０３０上でメインモデルを訓練するように更に構成されることができる。

プロセッササブシステム１４０はシステム１００の動作中に、データインタフェース１２０を使用して、データ０３０、０４０にアクセスするように構成されることができる。例えば、図１に示すように、データインタフェース１２０は、前記データ０３０、０４０を含むことができる外部データストレージ０２１へのアクセス１２２を提供することができる。あるいはデータ０３０、０４０はシステム１００の一部である内部データストレージからアクセスされることもできる。代替的に、データ０３０、０４１は、別のエンティティからネットワークを介して受信されることができる。一般に、データインタフェース１２０はローカル又はワイドエリアネットワーク、例えば、インターネットへのネットワークインタフェース、内部又は外部データストレージへのストレージインタフェースなど、様々な形態をとることができる。データ記憶０２１は、任意の既知の適切な形態をとることができる。

プロセッササブシステム１４０はシステム１００の動作中に、データインタフェース１２０を使用して、複数の二次モデル０４０を訓練するように構成されることができる。二次モデル０４０は、メインモデルが訓練される訓練データセット０３０上で訓練されることができる。二次モデル０４０は、分布外検出において使用される入力に対する二次モデル出力画像を算出するものでありうる。

プロセッササブシステム１４０は、分布外検出を可能にするために、複数の二次モデル０４０をメインモデルと関連付けるように更に構成されることができる。二次モデルは例えば、ファイルヘッダ、ＸＭＬ要素などとして、モデルデータ自体に二次モデルを含めることによって、又は二次モデルを別個のファイルとして、もしくは任意の他の方法で提供することによって、任意の適切な方法で、メインモデルに、又はより具体的にはメインモデルを表すデータに関連付けられ得る。例えば、二次モデル０４０はメインモデルと同じデータコンテナに、例えば同じファイルに格納されることができるが、メインモデルに関連する別個の二次モデルとして提供されることもできる。例えば、いくつかの実施形態において、メインモデルは例えば、二次モデル０４０がアクセス可能なＵＲＬを含むことによって、二次モデルにリンクすることができ、又は二次モデル０４０は、メインモデルにリンクされることもできる。様々な他の関連手段が等しく考えられ、当業者の範囲内である。

任意のコンポーネントとして、システム１００は、センサからのセンサデータ、例えば、ＣＴスキャナ又はＭＲスキャナなどの医用撮像装置によって生成された信号、を取得するための入力インタフェース（図示せず）を有することができる。訓練データセットの１つ又は複数の訓練入力インスタンスは、そのようなセンサデータに基づくことができる。入力インタフェースを介して入力インスタンスを取得することは図２に関してより詳細に論じられ、そこに記載されるオプションはシステム１００にも同様に適用されることができる。例えばＣＴスキャナ又はＭＲスキャナのようなセンサデータを測定するよう構成されたセンサ自体が、システム１００の一部であってもよい。

システム１００の動作の様々な詳細及び態様は、その任意の態様を含む、図３及び図４を参照して更に説明される。

一般に、システム１００は、例えばラップトップもしくはデスクトップベースのワークステーション又はサーバなどの単一のデバイス又は装置として、又はその中で具体化されることができる。デバイス又は装置は、適切なソフトウェアを実行する１つ又は複数のマイクロプロセッサを有することができる。例えば、プロセッササブシステムは、単一の中央処理ユニット（ＣＰＵ）によって具体化されることができるが、そのようなＣＰＵ及び／又は他のタイプの処理ユニットの組み合わせ又はシステムによっても具体化されることができる。ソフトウェアは、対応するメモリ、例えば、ＲＡＭなどの揮発性メモリ、又はフラッシュなどの不揮発性メモリにダウンロード及び／又は記憶されていてもよい。代替として、例えばデータインタフェース及びプロセッササブシステムのようなシステムの機能ユニットは、プログラマブルロジックの形で、例えば、フィールドプログラマブルゲートアレイ（Field-Programmable Gate Array）及び／又はＧＰＵ（グラフィック処理ユニット）として、デバイス又は装置において実現されることができる。一般に、システムの各機能ユニットは、回路の形で実現されることができる。システム１００は更に、例えば、クラウドコンピューティングの形の分散サーバなどの複数の異なるデバイス又は装置を含む、分散形式で実現されることができることに留意されたい。

図２は、メインモデルへの入力インスタンスの分布外（ＯＯＤ）検知のためのシステム２００を示す。メインモデルは、入力インスタンスから出力画像を生成するように構成されることができる。メインモデルは、訓練データセット上で訓練されたものでありうる。システム２００は、データインタフェース２２０と、データ通信２２１を介して内部で通信することができるプロセッササブシステム２４０と、を有することができる。データインタフェース２２０は、分布外検出に使用するための複数の二次モデルを表すデータ０４０にアクセスするためのものでありうる。二次モデルは、メインモデルが訓練されるのと同じ訓練データセット上で訓練されることができる。データインタフェース２２０は更に、メインモデルにアクセスするためのものでありうる。二次モデルデータは、例えば図１のシステム１００のような分布外検出を可能にするシステムから取得されることができ、又は本明細書に記載の分布外検出を可能にするためのメソッドを実行することによって取得されることもできる。

プロセッササブシステム２４０は、システム２００の動作中に、データインタフェース２２０を使用して、データ０４０にアクセスするように構成されることができる。例えば、図２に示すように、データインタフェース２２０は、前記データ０４０を含みうる外部データストレージ０２２へのアクセス２２２を提供することができる。代替として、データ０４０は、システム２００の一部である内部データストレージからアクセスされることができる。代替として、データ０４０は、ネットワークを介して別のエンティティから受信されることができる。一般に、データインタフェース２２０は、ローカル又はワイドエリアネットワーク、例えば、インターネットへのネットワークインタフェース、内部又は外部データストレージへのストレージインタフェースなど、様々な形態をとることができる。データストレージ０２２は、任意の既知の適切な形態をとることができる。

プロセッササブシステム２４０は、システム２００の動作中に、データインタフェース２２０を使用して、入力インスタンスを取得するように構成されることができる。プロセッササブシステム２４０は更に、それぞれの複数の二次モデルを適用して、それぞれの二次モデル出力画像を取得するように構成されることができる。プロセッササブシステム２４０は更に、それぞれの二次モデル出力画像のピクセルのピクセル分布外スコアを決定するように構成されることができる。ピクセルのピクセル分布外スコアは、各二次モデル出力画像におけるピクセルの各値のばらつき(variability)として算出されることができる。プロセッササブシステム２４０は更に、算出されたピクセル分布外スコアを組み合わせて全体分布外スコアを生成することができる。全体分布外スコアは、訓練データセットに対して入力インスタンスが分布外であるかどうかを示すことができる。

プロセッササブシステム２４０は更に、全体分布外スコアに基づいて出力信号２２５を生成することができ、出力信号２２５は、入力インスタンスが分布外であるかどうかを示す。例えば、出力信号は、全体分布外スコア自体でありえ、又は入力インスタンスが分布外である場合に生成される警告でありうる。出力信号は更に、入力インスタンスに寄与する出力画像の１つ又は複数のピクセルが分布外であることを示し、入力インスタンスが分布外である理由の説明を提供することができ、かかる出力信号は、更なる自動化処理のために、レンダリング装置又は別のソフトウェアコンポーネントに出力されることができる。

任意には、少なくとも、分布外スコアが、当該入力インスタンスが分布外であることを示さない場合、プロセッササブシステム２４０は、メインモデルを入力インスタンスに適用して、メインモデル出力画像を取得するとともに、メインモデル出力画像を、例えば、以下で説明する出力インタフェースを介してユーザに、又は更なる自動的処理のための別のソフトウェアコンポーネントに、出力することができる。例えば、算出された分布外スコアがＯＯＤ性を示すか否かを判定するために、分布外スコアは、例えば固定のスコア又は二次モデルに関連するスコアのような閾値分布外（ＯＯＤ）スコアと比較されることができる。入力インスタンスが分散している場合であっても、入力インスタンスにメインモデルを適用する必要はなく、例えば、いくつかの実施形態において、データセットの複数の入力インスタンスに対する分布外スコアを決定することにより、これらの入力インスタンスにメインモデルを必ずしも適用することなく、データセットと訓練データセットとの間の類似性を計算することが可能である。

任意のコンポーネントとして、システム２００は、センサから、例えば、ＣＴスキャナ又はＭＲスキャナなどの医用撮像装置によって生成された信号２２４から、センサデータ２２３を取得するための入力インタフェース２６０を有することができる。図２には、ＭＲスキャナ０７２が示されている。例えば、信号は例えば、ｋ空間（ＭＲスキャナの場合）において又はサイノグラム（ＣＴスキャナの場合）として表される、医用撮像装置からの生信号でありえ、すなわち、例えば逆フーリエ変換又は逆ラドン変換によって画像空間に変換されることができる。

例えば、ＭＲスキャナは例えば、少なくとも２、少なくとも４、又は少なくとも６の加速係数で加速スキャンを実行するように構成されることができる。このような場合、適切な訓練済みモデルを用いて、ＭＲデータの再構成又は分析を成功させることは可能であるが、訓練データセットにおいて十分に表現されていない入力については誤った結果が生じる危険性が高く、このことは分布外検出を特に重要なものにする。同様の考察が、低線量、例えば、最大で全線量の半分又は最大で全線量の４分の１で動作するＣＴスキャナの場合に当てはまる。

しかしながら、様々な他の種類のセンサ及び対応する信号２２４が可能であり、例えば、センサは、画像を生成するカメラ、ビデオを生成するビデオカメラなどであり得る。概して、入力インタフェース２６０は、様々なタイプのセンサ信号、例えば、ビデオ信号、レーダ／ＬｉＤＡＲ信号、超音波信号などに関して構成されることができる。分布外検出が実行される入力インスタンスはセンサデータ２２３に基づくことができ、例えば、入力インスタンスは、センサデータ２２３に等しいものでありえ、又は任意の前処理工程が、センサデータに対して実行されることができる。例えばＣＴスキャナ又はＭＲスキャナ０７２のような信号２２４を測定するセンサ自体を、システム２００の一部とすることもできる。

任意のコンポーネントとして、システム２００は、表示出力インタフェース２８０、又は出力信号２２５をディスプレイ２９０などのレンダリング装置に出力するための任意の他のタイプの出力インタフェースを有することができる。例えば、表示出力インタフェース２８０は、ディスプレイ２９０のための表示データ２８２を生成することができ、それにより、ディスプレイ２９０に、例えば、オンスクリーン視覚化２９２として、感覚的に知覚可能な方法で出力信号をレンダリングさせる。例えば、入力インスタンスが分布外である場合、例えば、メインモデルのモデル出力と共に、エラーメッセージ又は警告メッセージが示されることもできる。入力インスタンスが分布外である場合、分布外である入力インスタンスに寄与する二次モデル出力画像の特定のピクセルが、例えばメインモデルの出力画像上で強調表示されるように、レンダリングされることができる。

システム２００の動作の様々な詳細及び態様は、その任意の態様を含む、図３及び図４を参照して更に説明される。

一般に、システム２００は、例えばラップトップもしくはデスクトップベースのワークステーション、又はサーバなどの単一のデバイス又は装置として、又はその中で具体化されることができる。デバイス又は装置は、適切なソフトウェアを実行する１つ又は複数のマイクロプロセッサを有することができる。例えば、プロセッササブシステムは、単一の中央処理ユニット（ＣＰＵ）によって具体化されることができるが、そのようなＣＰＵ及び／又は他のタイプの処理ユニットの組み合わせ又はシステムによっても具体化されることができる。ソフトウェアは対応するメモリ、例えば、ＲＡＭなどの揮発性メモリ、又はフラッシュなどの不揮発性メモリにダウンロード及び／又は記憶されていてもよい。代替として、例えばデータインタフェース及びプロセッササブシステムのようなシステムの機能ユニットは、プログラマブルロジックの形で、例えばフィールドプログラマブルゲートアレイ（Field-Programmable Gate Array）及び／又はＧＰＵ（グラフィック処理ユニット）として、デバイス又は装置に実現されることができる。一般に、システムの各機能ユニットは、回路の形で実現されることができる。システム２００は更に、例えば、クラウドコンピューティングの形態の分散サーバなどの異なるデバイス又は装置を含む、分散方式で実現されることができることに留意されたい。

図３は、本明細書に記載の技術で使用するためのモデルの非限定的な詳細例を示す。例えば、本明細書で説明する技法で使用するためのメインモデル及び／又は１つ又は複数の二次モデルは、この図で説明するモデルアーキテクチャに従って構築されることができる。この図に示される特定の例は、完全畳み込みニューラルネットワーク、より具体的にはＵ－Ｎｅｔ型モデルである。このようなモデルは例えば、医用撮像装置からの画像の再構成を含む、画像から画像への様々な変換のために使用されることができる。

ここに示されるモデルは、入力インスタンスＩＩＮ３３０に対する出力画像ＯＩＭ３５０を算出する。この例では入力インスタンスＩＩＮが、例えばＭ×Ｎ×ｃサイズの行列として表現される画像であり、チャネルの数ｃは、グレースケール画像の場合はｃ＝１であり、ＲＧＢ画像の場合はｃ＝３とすることができる。チャネルの数は、異なる色に対応する必要はないが、その意味で、入力インスタンスＩＩＮは、より一般的には入力ボリュームと呼ばれることもある。この例における出力画像ＯＩＭは、例えば同じ幅及び高さを有する、入力インスタンスＩＩＮと同じ空間次元の画像である。出力画像ＯＩＭは、入力画像と同じチャンネル数を有することができるが、チャネルの数は異なるものでもよい。

ここでのモデルは、畳み込みニューラルネットワークとも呼ばれる畳み込みネットワークの例である。概して、畳み込みネットワークという用語は、少なくとも１つの畳み込み層を有する任意のニューラルネットワークを指すために使用されることができる。当技術分野で知られているように、畳み込み層は、畳み込み又はスライディングドット積演算を実行することによって動作する層である。従って、畳み込み層では、各入力ボリュームを畳み込むｃ'フィルタを使用して、ｍ×ｎ×ｃサイズの入力ボリュームをｍ'×ｎ'×ｃ'サイズの出力ボリュームに変換することができる。例えば、層におけるフィルタの数は、最大で又は少なくとも８、最大で又は少なくとも３２、又は最大で又は少なくとも１２８とすることができる。層の出力の空間次元ｍ'×ｎ'は、その入力の空間次元ｍ×ｎとは異なってもよいが、一般には入力ＩＩＮとの空間対応が維持される。例えば、層の出力の空間次元は、その入力の空間次元よりも小さくすることができ、例えば、畳み込み層がダウンサンプリングを実行することができる。層の出力の空間次元は、入力の空間次元よりも大きくてもよく、例えば、層は、入力特徴マップのアップサンプリング、次いで畳み込みの適用によって実現される、いわゆる「アップコンボリューション」層であってもよい。畳み込みニューラルネットワークは、畳み込み層に加えて、様々な他のタイプの層、例えば、１つ又は複数のＲｅＬＵ層及び／又は１つ又は複数のプーリング層を有することができる。畳み込みネットワーク内の畳み込み層の数は例えば、少なくとも５、又は少なくとも１０とすることができる。

より具体的には、この図に示されるモデルは、いわゆる完全畳み込みネットワークである。そのようなモデルは、入力インスタンスとの空間対応をそれぞれ維持する畳み込み層、プーリング層、ＲｅＬＵ層などの層の連続において、入力インスタンスＩＩＮを出力画像ＯＩＭに変換する。

この図のモデルは、エンコーダ－デコーダ（encoder-decoder）モデルである。一般に、そのようなモデルは、縮小部分ＣＰ（contracting part）３１０（「エンコーダ経路」としても知られる）と、拡張部分ＥＰ（expansive part）３２０（「デコーダ経路」としても知られる）とを有する。収縮部分ＣＰは、入力インスタンスＩＩＮのための後続の活性化ボリュームを生成する１つ又は複数の層を有することができる。図には、活性化ボリュームＡＶ１，３４１、ＡＶ２，３４２からＡＶｋ－１，３４３及びＡＶｋ，３４４まで示されている。活性化ボリュームは、３６１、３６２から３６３及び３６４までの矢印によって示されるように、モデルの１つ又は複数の層によって直前の活性化ボリュームから決定されることができ、一般には、最大プーリングの後に、関連するＲｅＬＵ処理を伴う１つ又は複数の畳み込み層が続く。図に示されるように、活性化ボリュームの空間次元は、一般には収縮部分ＣＰ全体にわたってサイズが減少し、例えば、活性化ボリュームＡＶ２は、活性化ボリュームＡＶ１よりも小さい空間次元を有することができ（チャネルの数は実際に増加し得るが）、図示される他の活性化ボリュームについても同様である。次いで、Ｕ－ｎｅｔモデルの収縮部分ＣＰから生じる活性化ボリュームＡＶｋは、拡張部分ＥＰにおいて処理されることができる。また、拡張部分は、後続の活性化ボリューム、例えば、ＡＶｋ＋１，３４５からＡＶ２ｋ－２，３４６までの活性化ボリュームを生成し及び最終的に画像ＯＩＭを出力する１又は複数の層を有することができる。上記のように、活性化ボリュームは、矢印３６５から３６６及び３６７によって示されるように、モデルの１つ又は複数の層によって前の活性化ボリュームから決定されることができる。この場合、典型的な例では、アップコンボリューション（例えば、アップサンプリング及びそれに続くコンボリューション）が使用されることができ、その後、関連するＲｅＬＵ処理を伴う１つ又は複数の畳み込み層が続く。図に示されるように、拡張部分ＥＰでは、活性化ボリュームの空間次元が、一般にはサイズが増大され、例えば、活性化ボリュームＡＶｋ－１は、活性化ボリュームＡＶｋよりも大きい空間次元を有することができ（チャネルの数は減少し得るが）、図示される他の活性化ボリュームについても同様に増大されることができる。

興味深いことに、拡張部分ＥＰは、収縮部分ＣＰの活性化ボリュームＡＶｉが拡張部分ＥＰの活性化ボリュームと連結されることができる、いわゆるスキップ接続を任意に有することができる。１つ又は複数のスキップ接続を有するエンコーダ－デコーダモデルは、Ｕ－Ｎｅｔ型モデルと呼ばれることがある。例えば、アップコンボリューションの結果は、収縮部分ＣＰの対応する活性化ボリュームと連結され得、その後、１つ又は複数のコンボリューションが適用されることができる。縮小部分の特徴マップは、境界ピクセルを考慮するためにクロッピングされることができる。例えば、矢印３６５'によって図に示されるように、活性化ボリュームＡＶｋ－１は、活性化ボリュームＡＶｋのアップコンボリューションと連結されることができ、その結果から、活性化ボリュームＡＶｋ＋１が決定されることができる。同様に、活性化ボリュームＡＶ２ｋ－２の決定は、活性化ボリュームＡＶ２へのスキップ接続３６６'を使用することができ、活性化ボリュームＯＩＭの決定は、活性化ボリュームＡＶ１へのスキップ接続３６７'を使用することができる、などである。

Ｕ－ｎｅｔモデルの実例は、Ronneberger他による"U-Net: Convolutional Networks for Biomedical Image Segmentation"(https://arxiv.org/abs/1505.04597にて入手可能であり、本明細書に参考によって盛り込まれる）に提示されている。別の知られている例は、いわゆるＲｅｓＮｅｔ、すなわち残差ネットワーク（Residual Network）である。反復プロシージャにおいてＵ－ｎｅｔ型アーキテクチャを使用し、本明細書で適用することができるＭＲデータ再構成のためのモデルの詳細な例は、NPezzotti他による"Adaptive-CS-Net: FastMRI with Adaptive Intelligence"に示されている。

図４は、メインモデルへの入力インスタンスの全体（overall）分布外（ＯＯＤ）スコアを決定し、それによって入力インスタンスの分布外検出を実行する方法の詳細な非限定的な例を示す。

図において、分布外検出は、全体分布外スコアＯＯＤＳ４８５の計算の形で実行されることができる（４８５）。一実施形態において、入力ＩＩＮが、いくつかの二次モデルＳＭｉ４４１－４４２に与えられることができる。次いで、出力ＳＯｉ４５１－４５２を使用して、いわゆる分布外画像ＯＯＤＩ４７５を作成することができる。また、分布外画像ＯＯＤＩのピクセル値は、モデルＳＭｉの出力画像ＳＯｉ内の対応するピクセルのばらつきを表すことができる。分布外の値ＯＯＤＳは、分布外画像ＯＯＤＩを低減することによって、例えば分布外画像を平均化することによって又は最大値若しくは最小値を取得することによって、取得されることができる。一旦取得されると、分布外スコアＯＯＤＳは、モデルＭＭへの入力ＩＩＮが訓練分布内にあるか、又は訓練分布外にあるかを評価するために使用されることができる。そのような評価は、アンサンブル及び／又はメインモデルＭＭにおけるモデルの結果として生じる品質の良好な指標であり得る。入力はまた、メインモデルＭＭ４４０によって処理されることができ、メインモデルＭＭ４４０は、メイン出力画像ＯＩ４５０（例えば、再構成されたＭＲ画像、ノイズ除去されたＣＴ画像など）を生成することができる。以下でより詳しく説明するように、いくつかの実施形態において、メインモデルＭＭは、例えばパラメータの個数に関して、二次モデルＳＭｉよりも大きくてもよく、従って、分布外スコア計算ＯＯＤＳを制御下に保ちながら、より高品質のメイン出力ＯＩを可能にする。

具体的には、分布外検出が実行される入力インスタンスＩＩＮ４３０が図示されている。図３に関しても説明したように、入力インスタンスＩＩＮは例えば、１つ、３つ、又は別の数のチャンネルを有する入力画像であり得る。画像はカメラによってキャプチャされることができるが、画像として表される、他のタイプのセンサデータ、例えば、オーディオデータ又は複数のセンサ測定値の時系列データを使用することも可能である。また、入力インスタンスＩＩＮが画像である必要もない。例えば、入力インスタンスＩＩＮは、メインモデルが特徴ベクトルから出力画像を生成する該特徴ベクトル、例えば、ＧＡＮ（Generative Adversarial Network）のジェネレータ部分の隠れている表現、又はオートエンコーダ、例えば、ＶＡＥ（Variational Autoencoder）のデコーダ部分であってもよい。後者の部分では、入力インスタンスＩＩＮは、合成出力画像が生成される合成データを表すことができるが、入力インスタンスＩＩＮは例えば、オートエンコーダのエンコーダ部分の出力として又はそれに基づいて決定されることによって、現実世界の入力を表すこともできる。

別の例として、入力インスタンスＩＩＮは例えば、医用画像再構成又は医用画像分析タスクにおいて使用するための、医用撮像装置によって生成される信号を表すことができる。例えば、ＭＲスキャナの場合、入力インスタンスは、いわゆるｋ空間又はｋ空間データに逆フーリエ変換を適用することから生じる画像空間におけるスキャナ信号を表すことができる。同様に、ＣＴスキャナの場合、入力インスタンスは、サイノグラムとして又は逆ラドン変換を適用することによる画像空間においてスキャナ信号を表すことができる。

いずれの場合も、様々な実施形態において、入力インスタンスＩＩＮは、センサ／画像データに加えて、追加の情報、例えば、より正確な出力を決定するのに役立つことができるログデータ又は患者固有の情報などのメタデータを含むことができる。

図には、メインモデルＭＭ４４０も示されている。メインモデルは、画像処理モデルでありうる。一般に、ここでは、画像、例えば、幅、深さ、チャンネル数（１でも３でも他の数でもよい）をもつボリュームを出力とするモデル（ただし、画像を入力とする必要はない）を「画像処理モデル」と呼ぶことにする。メインモデルＭＭの出力画像は、ＯＩ４５０として図に示されている。出力画像ＯＩＭは、様々なセグメンテーションモデル、ＭＲ又はＣＴ再構成モデルなどの場合のように単一チャネルを有することができ、あるいは、様々な生成モデル、画像間変換モデルなどの場合のように３チャネルを有することができ、あるいは、関心のあるアプリケーションに適した任意の他の数のチャネルを有することができる。出力画像は、例えば、マスクの場合のように離散的であっても、例えば、二値的であっても、あるいは、例えば、生成モデルの場合のように連続的であってもよい。入力インスタンスが画像である場合、出力画像は、多くの場合、入力と同じ空間次元を有し、場合によっては境界効果までを有する。

メインモデルＭＭは、訓練データセット（図示せず）上で訓練されたものであり、典型的には、複数の訓練入力インスタンス及び対応する所望の訓練出力画像（例えば、少なくとも１０００乃至少なくとも１００００００の訓練インスタンス）からなるラベル付きデータセット上で訓練されたものである。従って、メインモデルは、訓練可能なモデル（機械学習可能モデル又は機械学習モデルとしても知られる）である。そのような訓練可能なモデルは、一般に、訓練可能なパラメータの組に関する値を学習することによって訓練される。例えば、メインモデルのパラメータの数は、少なくとも１０００、少なくとも１０００００、又は少なくとも１０００万でありうる。勾配に基づく最適化が可能なモデル、例えばパラメータが連続又は微分可能なモデルを用いることが訓練効率の観点から有益である。

メインモデルＭＭとしては、各種のモデルを用いることができる。例えば、メインモデルは、Ｕネット型モデルであってもよく、より一般的には、図３に関して述べたように、任意のタイプのエンコーダデコーダモデル、完全畳み込みニューラルネットワーク、畳み込みニューラルネットワーク、又は他のタイプのニューラルネットワークであってもよい。このようなニューラルネットワークは、例えばN. Pezzotti他による"Adaptive-CS-Net: FastMRI with Adaptive Intelligence"において行われるような反復モデルの１又は複数の反復において、より大きなモデルの一部として使用されることもできる。上述のように、メインモデルは、生成モデル、例えば、ＧＡＮの生成部分又はＶＡＥのデコーダ部分であり得る。一般に、ニューラルネットワークは、人工ニューラルネットワークとしても知られている。ニューラルネットワークを使用するとき、パラメータの組は、ニューラルネットワークのノードの重みを含むことができる。例えば、モデルの層の数は少なくとも５又は少なくとも１０であってもよく、ノード及び／又は重みの数は少なくとも１０００又は少なくとも１００００であってもよい。特定の用途に応じて、ニューラルネットワーク及び他のタイプの機械学習可能モデルのための様々な既知のアーキテクチャが使用されることができる。

メインモデルＭＭへの入力インスタンスＩＩＮの分布外検出を行うために、複数の二次モデルＳＭｉが使用されることができる。図には、二次モデルＳＭ１，４４１からＳＭｍ，４４２が示されている。例えば、多くとも又はすくなとも５、あるいは多くとも又は少なくとも１０の二次モデルが用いられることができる。それぞれの二次モデルＳＭｉを適用することにより、図に二次モデル出力画像ＳＯ１，４５１からＳＯｍ，４５２で例示するように、それぞれの二次モデル出力画像Ｓｍｉが取得可能である。

一般に、二次モデルＳＭｉは、メインモデルＭＭと同じ訓練データセット上で訓練されるモデルであり得る。従って、二次モデルＳＭｉは、訓練データセットからの入力インスタンスＩＩＮ、又は訓練データセットからのインスタンスに類似する入力インスタンスＩＩＮに適用される場合、メインモデルと同様の挙動を示し、互いに同様であることが期待されることができる。従って、二次モデルの出力間の比較的低いピクセルごとのばらつきが予想されることができる。しかしながら、訓練データセットからの入力インスタンスＩＩＮでは、そのような保証はなく、従って、より高いピクセルごとの変動が予想されることができる。

上記の挙動を達成するために、二次モデルＳＭｉがメインモデルＭＭと（又は互いに）正確に同じモデルアーキテクチャを使用することも、二次モデルが正確に同じ訓練入力及び出力上で訓練されることも必要とされないことに留意されたい。この観測は、訓練及び／又は使用するのにより効率的な二次モデルＳＭｉを使用することによって、効率を改善するために活用することができる。例えば、２次モデルのうちの１つ、いくつか、又は全てが、ダウンスケーリングされた訓練入力インスタンス上で訓練されることができる。使用時に、そのような二次モデルは、入力インスタンスを最初にダウンスケーリングすることによって、入力インスタンスＩＩＮに適用されることができる。１つ、いくつか、又は全ての二次モデルが、代替的に又は付加的に、ダウンスケーリングされた訓練出力画像上で訓練されることができ、従って、使用中に、必要に応じて後にアップスケーリングされることができる、より小さい出力画像を生成する。例えば、入力及び／又は出力は、少なくとも係数２、又は少なくとも係数４だけダウンスケーリングされることができる。

一般に、より小さい入力及び／又は出力の使用は、より小さい二次モデルを使用することを可能にし、例えば、メインモデルよりも少ない訓練可能なパラメータを有することができ、これは、記憶及び計算要件の低減につながる。他の方法で、例えば、より少ない層を有するニューラルネットワークを使用することによって、あるいは、より少ない反復を有する反復モデルなどを使用すること等によって、訓練可能なパラメータの数を低減するように、二次モデルを単純化することも可能である。例えば、二次モデルは、メインモデルの訓練可能なパラメータの数の最大で１／２、最大で２５％、又は最大で１０％を有することができる。例えば、メインモデルが反復モデルである場合、二次モデルはまた、単一の反復において使用されるいくつかのパラメータを低減する代わりに、又は低減することに加えて、メインモデルの反復回数の最大で半分、最大で２５％、又は最大で１０％を有する反復モデルとすることができる。例えば、本発明者らは、３回の反復を伴う二次モデルを使用することによって、１５回の反復を伴うメインモデルについて良好な結果を得た。

いくつかの実施形態において、二次モデルＳＭｉが一般的なモデルアーキテクチャを有し、例えば、それらは一般的なモデルのパラメータのセットを初期化し、初期化に基づいてパラメータのセットを最適化するが、異なるランダム初期化を使用することによって、それぞれ訓練されることができる。この共通アーキテクチャは、メインモデルＭＭのアーキテクチャと同じであっても異なっていてもよい。この技法は一般的に適用可能であり、訓練及び二次モデルの使用の両方において、並列化に適しているという利点を有する。

メインモデルＭＭは、この図では二次モデルＳＭｉとは別個に示されているが、メインモデルは例えば、メインモデル出力を決定するため、及び二次モデル出力を決定するための両方のために、二次モデルのうちの１つとして使用されることができる。メインモデルＭＭはまた、いくつか又は全ての二次モデルから構成されることができ、例えば、メインモデル出力は例えば、平均化又は別のタイプの組み合わせ演算によって、二次モデルＳＭｉのうちの１つ又は複数の出力に基づいて決定されることができる。

処理ＰＸＳ４７０において、二次モデル出力画像ＳＯｉを使用して、それぞれの二次モデル出力画像ＳＯｉのピクセルのピクセル分布外スコアを算出することができる。例えば、それぞれの画像の座標を有する左上ピクセルのピクセル分布外スコアが算出されることができ、他のピクセルについても同様である。いくつかの実施形態において、ピクセル分布外スコアは、各ピクセルについて算出されることができる。しかしながら、全てのピクセルについてピクセル分布外スコアを算出する必要はなく、代替的に、例えば、有効性の理由から、ピクセルのサンプルを得ることができる。ピクセルのいくつか又は全てについてのピクセル分布外スコアは、それ自体、入力インスタンスＩＩＮに対する「分布外画像」と称されることができる画像を形成するとみなされることができる。図には、分布外画像ＯＯＤＩ４７５が示されている。

任意には、処理ＰＸＳは、二次モデル出力画像ＳＯｉを、それらのサイズに対応させる（例えば、画像をグレースケールに変換する）ために、サイズ変更（例えば、画像を最小サイズにダウンスケーリングする）及び／又はチャネル低減を含むことができる。

ピクセルのピクセル分布外スコアは、各二次モデル出力画像におけるピクセルの各値のばらつきとして算出されることもできる。例えば、ばらつきは、二次出力画像ＳＯｉについてのピクセル値、例えば、０と１との間のグレースケールピクセル値、離散化ピクセル値などを含むベクトルのばらつきの尺度として算出されることができる。任意の適切なばらつきの尺度、例えば、分散又は標準偏差、シャノンエントロピー等を採用することができる。マルチチャネル二次出力画像の場合、出力画像は、例えばグレースケールに変換するなど、単一チャネル画像に変換されることができる。チャネルごとのピクセル分布外スコアを算出することも可能であり、その場合、ピクセル分布外スコアは、チャネルごとのスコアを（例えば、最高、最低、又は平均として）組み合わせることによって、又はチャネルごとのスコアのベクトルをピクセル分布外スコアとみなすことによって、得られることができる。

二次モデル出力画像ＳＯｉのピクセルのピクセル分布外スコアＯＯＤＩを算出した後、組み合わせ処理ＣＭＢ４８０において、これらのスコアを組み合わせて、全体分布外スコアＯＯＤＳ４８５を生成することができる。全体分布外スコアＯＯＤＳは、入力インスタンスが訓練データセットに対して分布外であるかどうかを示すことができる。

全体分布外スコアＯＯＤＳの利用の様々な方法が考えられる。例えば、最大値、最小値、又は平均値が使用されることができ、又はより高いピクセル分布外スコアＯＯＤＩについてのより高いスコアを一般に提供する任意の他の計算、例えば、ピクセル分布外スコアの各々の非減少又は増加の機能が使用されることもできる。異なるスコアタイプは、異なる状況において役立つ可能性があるＯＯＤ性の異なる指標を提供する。最大値は、二次モデルが発散する出力画像の部分が存在しないことを保証し、従って、メインモデルの出力画像の各部分が信頼できることを保証するための高い保証オプションとして使用されることができる。平均及び最小値は、メインモデル出力の信頼性のよりグローバルな尺度を得るために使用されることができる。異なる尺度は、入力インスタンスＩＩＮのＯＯＤ性についての異なる種類の情報を提供するので、また、複数分布外スコア値が出力されることができ、例えば、全体分布外スコアは、それぞれの構成要素分布外スコア値、例えば、最高点及び平均点を含むことができる。

全体分布外スコアＯＯＤＳに基づいて、入力インスタンスが分布外か否かを判定するために、閾値分布外スコアが適用されることができる。いくつかの実施形態において、二次モデルを訓練することの一部として、閾値スコアは、メインモデルに対する多重入力インスタンスについて計算された分布外スコアに基づいて、自動的に算出されることもできる。例えば、閾値スコアは、分布内入力インスタンスの分布外スコアの統計的分布に属する全体分布外スコアの統計的検定の閾値として決定されることもできる。閾値スコアは例えば、訓練セット（分布内サンプルを含む）及びホールドアウトセット（分布外サンプルを含む）の最適閾値スコアとして計算されることができる。

当技術分野でそれ自体知られているように、様々な既知の手法を使用して、二次モデルを訓練することができる。任意には、メインモデルは、二次モデルと同じシステムによって訓練されるが、事前訓練されたメインモデルを取得し、二次モデルを訓練して、それに対する分布外検出を可能にすることもできる。典型的には、訓練は、確率的勾配降下法のような確率的手法を用いて、例えばKingma and Ba, "Adam: A Method for Stochastic Optimization" (https://arxiv.org/abs/1412.6980において入手可能であり、参照によって本願明細書に盛り込まれるものとする）に開示されるようなアダムオプティマイザを用いて、実行される。知られているように、そのような最適化方法は、発見的であり得、及び／又は局所最適に到達し得る。訓練はインスタンスごとに、又はバッチで、例えば、多くとも、又は少なくとも６４、又は多くとも、又は少なくとも２５６のインスタンス上で、実行されることができる。

図５は、メインモデルへの入力インスタンスの分布外（ＯＯＤ）検出のコンピュータ実現方法５００のブロック図を示す。メインモデルは、入力インスタンスから出力画像を生成するように構成されることができる。メインモデルは、訓練データセット上で訓練されることもできる。方法５００は、図２のシステム２００の処理に対応し得る。しかしながら、これは限定ではなく、方法５００は、別のシステム、装置、又はデバイスを使用して実行されることもできる。

方法５００は、「二次モデルにアクセスする」と題する処理において、分布外検出に使用するための複数の二次モデルを表すデータにアクセスすること５１０を含むことができる。二次モデルは、メインモデルが訓練される同じ訓練データセット上で訓練されることができる。

方法５００は、「入力インスタンスを取得する」と題する処理において、入力インスタンスを取得すること５２０を含むことができる。

方法５００は、「二次モデルを適用する」と題する処理において、それぞれの複数の二次モデルを適用して、それぞれの二次モデル出力画像を取得すること５３０を含むことができる。

方法５００は、「ピクセルの分布外スコアを決定する」と題する処理において、それぞれの二次モデル出力画像のピクセルのピクセル分布外スコアを算出すること５４０を含むことができる。ピクセルのピクセル分布外スコアは、各二次モデル出力画像におけるピクセルの各値のばらつきとして決定されることもできる。

方法５００は、「組み合わせて全体分布外スコアを生成する」と題する処理において、算出されたピクセル分布外スコアを組み合わせて全体分布外スコアを生成すること５５０を含むことができる。全体分布外スコアは、訓練データセットに関して入力インスタンスが分布外であるかどうかを示すことができる。

方法５００は、「出力信号を生成する」と題する処理において、全体分布外スコアに基づいて出力信号を生成すること５６０を含むことができ、出力信号は、入力インスタンスが分布外であるかどうかを示す。

図６は、メインモデルへの入力の分布外（ＯＯＤ）検出を可能にするコンピュータ実現方法６００のブロック図を示す。メインモデルは、入力インスタンスから出力画像を生成するように構成されることができる。メインモデルは、訓練データセット上で訓練されることもできる。方法６００は、図１のシステム１００の動作に対応し得る。しかしながら、これは限定ではなく、方法６００は、別のシステム、装置、又はデバイスを使用して実行されることもできる。

方法６００は、「訓練データセットにアクセスする」と題する処理において、メインモデルは、訓練された訓練データセットを表すデータにアクセスすること６１０を含むことができる。

方法６００は、「二次モデルを訓練する」と題する処理において、複数の二次モデルをトレーニングすること６２０を含むことができる。二次モデルは、メインモデルが訓練される訓練データセット上で訓練されることができる。二次モデルは例えば、方法５００に従って、分布外検出に使用するための入力の二次モデル出力画像を決定するためのものであってもよい。

方法６００は、「モデルをメインモデルに関連付ける」と題する処理において、複数の二次モデルをメインモデルに関連付けて（６３０）、分布外検出を可能にすることを含むことができる。

図５の方法５００及び図６の方法６００の処理は、任意の適切な順序で、例えば、適用可能な場合、特定の順序が必要とされることを条件として、例えば、入力／出力関係によって、連続的に、同時に、又はそれらの組み合わせで実行されることができることが理解されよう。方法のいくつか又は全てを組み合わせることもでき、例えば、分布外検出を可能にする方法６００を連続的に使用して、方法５００を使用して分布外検出を実行することができる。

本方法は、コンピュータ上で、コンピュータ実現方法として、専用ハードウェアとして、又は両方の組み合わせとして実現されることができる。また、図７に示されるように、コンピュータのための命令、例えば、実行可能コードはコンピュータ可読媒体７００上に、例えば、一連の機械可読物理的マーク７１０の形で、及び／又は異なる電気的、例えば、磁気的、もしくは光学的特性もしくは値を有する一連の要素として、記憶されることができる。実行可能コードは、一時的又は非一時的に記憶されることができる。コンピュータ可読媒体の例は、メモリ装置、光記憶装置、集積回路、サーバ、オンラインソフトウェアなどを含む。図７は、光ディスク７００を示す。代替的に、コンピュータ可読媒体７００は、複数の二次モデルを表す一時的又は非一時的データ７１０を有することができる。二次モデルは分布外検出を可能にするために、メインモデルに関連付けられることができる。メインモデルは、入力インスタンスから出力画像を生成するように構成されることができる。メインモデルは、訓練データセット上で訓練されることができる。二次モデルは、メインモデルが訓練される訓練データセット上で訓練されることができる。二次モデルは、分布外検出に使用するための入力のための二次モデル出力画像を決定するよう構成されることができる。二次モデルは、コンピュータ実現６００に従って取得されることができる。二次モデルは、コンピュータ実現方法５００において使用されるよう構成されることができる。

例、実施形態、又は任意選択の特徴は、非限定的であるか否かにかかわらず、請求項に記載の本発明を限定するものとして理解されるべきではない。

上述の実施形態は本発明を限定するのではなく例示するものであり、当業者は、添付の特許請求の範囲から逸脱することなく、多くの代替の実施形態を設計することができることに留意されたい。請求項において、括弧の間に置かれる如何なる参照記号もその請求項を限定すると解釈されるべきではない。動詞「有する、含む（comprise）」及びその活用形の使用は、請求項に記載されたもの以外の構成要素又はステップの存在を排除するものではない。構成要素に先行する冠詞「a」又は「an」は、複数のそのような構成要素の存在を除外しない。構成要素のリスト又はグループに先行する「のうちの少なくとも１つ」などの表現は、リスト又はグループからの構成要素の全て又は任意のサブセットの選択を表す。例えば、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という表現はＡのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、又はＡ、Ｂ、及びＣの全てを含むものとして理解されるべきである。本発明は、いくつかの別個の構成要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されることができる。いくつかの手段を列挙する装置の請求項において、これらの手段のいくつかは、ハードウェアの１つの同じアイテムによって具体化されることもできる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

Claims (15)

1. メインモデルへの入力インスタンスの分布外検出のためのシステムであって、前記メインモデルは訓練データセット上で訓練され、前記メインモデルは前記入力インスタンスから出力画像を生成するよう構成され、分布外は、入力インスタンスと訓練データセットとの間の非類似性を表し、前記非類似性は、予め規定されたた閾値スコアよりも高い全体的なピクセル分布外スコアによって表され、前記システムは、
   前記メインモデルの分布外検出に使用される複数の二次モデルを表すデータにアクセスするためのデータインタフェースであって、前記二次モデルは、前記メインモデルと同じ訓練データセット上で訓練される、データインタフェースと、
   プロセッササブシステムと、
   を有し、前記プロセッササブシステムが、
   前記メインモデルの入力インスタンスを取得するステップと、
   それぞれの前記複数の二次モデルを前記メインモデルの入力インスタンスに適用して、それぞれの二次モデル出力画像を得るステップと、
   それぞれの前記二次モデル出力画像のピクセルのピクセル分布外スコアを決定するステップであって、ピクセルのピクセル分布外スコアは、それぞれの前記二次モデル出力画像内のピクセルのそれぞれの数値間のばらつきとして算出される、ステップと、
   算出されたピクセル分布外スコアを組み合わせて全体分布外スコアを生成するステップであって、前記全体分布外スコアは、前記入力インスタンスが前記訓練データセットに対して分布外であるかどうかを示す、ステップと、
   前記全体分布外スコアに基づく出力信号を生成するステップであって、前記出力信号は、前記入力インスタンスが分布外であるかどうかを示す、ステップと、
   を実行するよう構成される、システム。
2. 前記メインモデルは、医用撮像装置の入力データから、前記出力画像を決定するよう構成される、請求項１に記載のシステム。
3. 前記メインモデルが、前記医用撮像装置によって生成された信号から前記出力画像を再構成するように構成される医用画像再構成モデルである、請求項２に記載のシステム。
4. 前記メインモデルは、入力画像内の病変を位置特定する出力画像を決定するように構成される医用画像分析モデルである、請求項２に記載のシステム。
5. 二次モデルが、前記訓練データセットのダウンスケーリングされた訓練入力インスタンス及び／又はダウンスケーリングされた訓練出力画像上で訓練される、請求項１乃至４のいずれか１項に記載のシステム。
6. 二次モデルが、前記メインモデルよりも少ない訓練済みパラメータを有する、請求項１乃至５のいずれか１項に記載のシステム。
7. 前記プロセッササブシステムは更に、少なくとも前記入力インスタンスが分布外であることを前記分布外スコアが示していない場合に、前記メインモデルを前記入力インスタンスに適用してメインモデル出力画像を取得し、前記メインモデル出力画像を出力するよう構成される、請求項１乃至６のいずれか１項に記載のシステム。
8. 前記出力信号は更に、前入力インスタンスに寄与する前記二次モデル出力画像の１つ又は複数のピクセルが分布外であることを示す、請求項１乃至７のいずれか１項に記載のシステム。
9. 前記出力信号をユーザに知覚可能な態様でレンダリングするレンダリング装置に、前記出力信号を出力する出力インタフェースを更に有する、請求項１乃至８のいずれか１項に記載のシステム。
10. メインモデルへの入力インスタンスの分布外検出を可能にするシステムであって、前記メインモデルは、訓練データセット上で訓練され、前記メインモデルは、前記入力インスタンスから出力画像を生成するように構成され、分布外は、前記入力インスタンスと、前記訓練データセットとの間の非類似性を表し、前記非類似性は、予め定義された閾値スコアよりも高い総合ピクセル分布外スコアによって表され、前記システムは、
    前記メインモデルが訓練される訓練データセットを表すデータにアクセスするためのデータインタフェースと、
    プロセッササブシステムと、
    を有し、前記プロセッササブシステムが、
    複数の二次モデルを訓練するステップであって、二次モデルは、前記メインモデルと同じ訓練データセット上で訓練され、二次モデルは、前記分布外検出において使用される、入力インスタンスに対する二次モデル出力画像を決定するよう構成される、ステップと、
    前記分布外検出を可能にするよう前記複数の２次モデルを前記メインモデルと関連付けるステップと、
    を実行するよう構成される、システム。
11. 前記システムは更に、前記分布外検出に関する閾値分布外スコアを決定し及び前記閾値分布外スコアを前記メインモデルに関連付けるように構成され、前記閾値分布外スコアは、前記メインモデルに対する複数の入力インスタンスの分布外スコアに基づいて決定され、前記入力インスタンスの分布外スコアが、
    それぞれの前記複数の二次モデルを適用してそれぞれの二次モデル出力画像を得るステップと、
    各二次モデル出力画像のピクセルのピクセル分布外スコアを算出するステップであって、ピクセルのピクセル分布外スコアは、各二次モデル出力画像内のピクセルの各値の間のばらつきとして算出される、ステップと、
    前記算出されたピクセル分布外スコアを組み合わせて全体分布外スコアを生成するステップであって、前記全体分布外スコアは、前記入力インスタンスが前記訓練データセットに対して分布外であるかどうかを示す、ステップと、
    を実行することによって決定される、請求項１０に記載のシステム。
12. 二次モデルが、訓練可能なモデルのパラメータの組を初期化すること及び前記初期化に基づいて前記パラメータの組を最適化することによって訓練され、それぞれの前記二次モデルが、それぞれのランダム初期化に基づいて同じ訓練可能なモデルを訓練することによって訓練される、請求項１０又は１１に記載のシステム。
13. メインモデルへの入力インスタンスの分布外検出のコンピュータ実現方法であって、前記メインモデルは訓練データセット上で訓練され、前記メインモデルは前記入力インスタンスから出力画像を生成するように構成され、分布外は、前記入力インスタンスと前記訓練データセットとの間の非類似性を表し、前記非類似性は、予め定義された閾値スコアよりも高い全体的なピクセル分布外スコアによって表され、前記方法が、
    前記メインモデルの分布外検出に使用される複数の二次モデルを表すデータにアクセスするステップであって、二次モデルは、前記メインモデルと同じ訓練データセット上で訓練される、ステップと、
    前記メインモデルの入力インスタンスを取得するステップと、
    それぞれの前記複数の二次モデルを前記メインモデルの前記入力インスタンスに適用して、それぞれの二次モデル出力画像を取得するステップと、
    それぞれの前記二次モデル出力画像のピクセルのピクセル分布外スコアを算出するステップであって、ピクセルのピクセル分布外スコアは、それぞれの前記二次モデル出力画像内のピクセルのそれぞれの数値間のばらつきとして算出される、ステップと、
    前記算出されたピクセル分布外スコアを組み合わせて全体分布外スコアを生成するステップであって、前記全体分布外スコアは、前記入力インスタンスが前記訓練データセットに対して分布外であるかどうかを示す、ステップと、
    前記全体分布外スコアに基づいて出力信号を生成するステップであって、前記出力信号は前記入力インスタンスが分布外であるかどうかを示す、ステップと、
    を有する方法。
14. メインモデルへの入力の分布外検出を可能にするコンピュータ実現方法であって、前記メインモデルは訓練データセット上で訓練され、前記メインモデルは、入力インスタンスから出力画像を生成するように構成され、分布外は、前記入力インスタンスと前記訓練データセットとの間の非類似性を表し、前記方法が、
    前記メインモデルが訓練される訓練データセットを表すデータにアクセスするステップと、
    複数の二次モデルを訓練するステップであって、二次モデルは、前記メインモデルが訓練される前記訓練データセット上で訓練され、二次モデルは、分布外検出に使用される入力インスタンスに対する二次モデル出力画像を決定するよう構成される、ステップと、
    前記分布外検出を可能にするよう前記複数の二次モデルを前記メインモデルと関連付けるステップと、
    を有する方法。
15. プロセッサシステムによって実行される場合に、前記プロセッサシステムに、請求項１３又は請求項１４に記載のコンピュータ実現方法を実行させる命令と、
    複数の二次モデルと、
    のうち１つ又は複数を表す一時的又は非一時的データを有するコンピュータ可読媒体であって、前記二次モデルは、分布外検出を可能にするように前記メインモデルに関連付けられ、前記メインモデルは、訓練データセット上で訓練され、前記メインモデルは、入力インスタンスから出力画像を生成するよう構成され、前記二次モデルは、前記メインモデルが訓練される訓練データセット上で訓練され、前記二次モデルは、分布外検出において使用される入力インスタンスに対する二次モデル出力画像を決定するよう構成される、コンピュータ可読媒体。

Images