JP2022061191A - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

Abstract

【課題】 本発明は、学習済みモデルが更新等により変更された場合に、変更前の学習済みモデルで推論を行ったユーザに対して適切に通知を行うことができる情報処理システムを提供することを目的とする。【解決手段】 本発明に係る情報処理装置は、学習済みモデルを記憶するモデル情報記憶部を有し、該モデル情報記憶部に記憶された学習済みモデルを用いて医用画像データに対して推論を行う情報処理装置であって、第一の学習済みモデルを用いて第一の推論を行った推論対象を記憶する推論情報記憶部と、前記第一の学習済みモデルが第二の学習済みモデルに変更された場合に、前記推論対象に対して、前記第二の学習済みモデルを用いて第二の推論を行う推論部と、前記第一の推論による第一の推論結果と前記第二の推論による第二の推論結果とを比較する比較部と、前記比較部による比較結果に基づいてユーザに対して通知を行う通知部と、を有する。【選択図】 図２

Description

本発明は、学習済みモデルの変更に伴って通知を行う情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。

医用撮像装置において取得された医用データを解析し、医師に診断支援情報を提示するコンピュータ支援診断（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）システムが知られている。ＣＡＤシステムは、医用データの内、例えば医用画像データに対して機械学習技術を適用し、診断支援情報を出力する。

特許文献１には、機械学習に基づく解析の信頼性を高めるため、異なる撮影方法および異なる信号処理の少なくとも一方の実行により、被検者に関する複数の加工医用信号を取得する。そして取得された複数の加工医用信号のそれぞれに対して複数の学習済みモデルを用いて推論を行うことが開示されている。

特開２０２０－４２８１０号公報

特許文献１では、学習済みモデルが更新等により変更された場合に、変更前の学習済みモデルで推論を行ったユーザに対して通知することについて開示されていない。

そこで、本発明は、学習済みモデルが更新等により変更された場合に、変更前の学習済みモデルで推論を行ったユーザに対して適切に通知を行うことができる情報処理装置を提供することを目的とする。

本発明の目的を達成するために、本発明に係る情報処理装置は、学習済みモデルを記憶するモデル情報記憶部を有し、該モデル情報記憶部に記憶された学習済みモデルを用いて医用画像データに対して推論を行う情報処理装置であって、第一の学習済みモデルを用いて第一の推論を行った推論対象を記憶する推論情報記憶部と、第一の学習済みモデルが第二の学習済みモデルに変更された場合に、推論対象に対して第二の学習済みモデルを用いて第二の推論を行う推論部と、第一の推論による第一の推論結果と第二の推論による第二の推論結果とを比較する比較部と、比較部による比較結果に基づいて、ユーザに対して通知を行う通知部と、を備える。

本発明によれば、学習済みモデルが更新等により変更された場合に、変更前の学習済みモデルで推論を行ったユーザに対して適切に通知を行うことができる。

本発明の情報処理システムの構成を示す図。 本発明の実施形態１に係る情報処理装置の構成を示す図。 本発明の情報処理装置における記憶部の構成を示す図。 本発明の情報処理装置における記憶部のモデル情報記憶部の構成を示す図。 本発明の情報処理装置における記憶部の推論情報記憶部の構成を示す図。 本発明の実施形態１に係る情報処理装置の処理手順を説明するフロー図。 本発明の実施形態２に係る記憶部の推論情報記憶部の構成を示す図。 本発明の実施形態２に係る情報処理装置の処理手順を説明するフロー図。 本発明の実施形態３に係る情報処理装置の構成を示す図。 本発明の実施形態４に係る情報処理装置の構成を示す図。

以下、添付図面を参照して本発明の好適な実施形態について説明する。

〔第一の実施形態〕
図１は、本発明の情報処理システムの構成を示す。

本発明の情報処理システムは、被検者に関する医用データを取得する医用撮像装置１００と、情報端末１１０と、ネットワーク１２０と、情報処理装置１３０とからなる。情報端末１１０は、一つの情報端末でもよく、複数の情報端末でもよい。

情報端末１１０には、操作部１１２と表示部１１４が接続されている。操作部１１２は、操作者からの各種指示を受け付け、情報端末１１０及び医用撮像装置１００に対して、各種指示を伝達する。操作部１１２は、例えば、マウス、キーボード、ボタン、パネルスイッチ、フットスイッチ、トラックボール、ジョイスティックなどからなる。表示部１１４は、操作部１１２における各種指示を入力するためのＧＵＩを表示したり、医用撮像装置１００において取得された医用データに基づく画像データを表示したりする。情報端末１１０は、ネットワークを介して情報処理装置１３０と通信可能となっている。

図１では、情報端末１１０に対して、操作部１１２と表示部１１４が別体として設けられているが、情報端末１１０は、操作部１１２と表示部１１４の機能を内部に有していてもよい。

医用撮像装置１００は、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、超音波診断装置などの被検者の医用データを取得する装置である。

Ｘ線ＣＴ装置は、Ｘ線源とＸ線検出器を備えている。Ｘ線源とＸ線検出器とを被検者の周りで回転させながら、Ｘ線源からＸ線を被検者に照射してＸ線検出器で検出したデータを投影することによってＣＴデータを生成する。

ＭＲＩ装置は、静磁場内に載置された被検者に対して所定の磁場を発生させ、取得されたデータに対してフーリエ変換することによってＭＲＩデータを生成する。

超音波診断装置は、被検者に対して超音波を送信し、被検者からの反射波である超音波を受信して超音波データを生成する。

医用撮像装置１００によって生成される医用データ（ＣＴデータ、ＭＲＩデータ、超音波データなど）は、三次元データ（ボリュームデータ）、二次元データである。医用データは、例えば、被検者に関する画像データである。画像データには、生データも含まれる。医用画像データは、複数のフレームデータからなる動画像データであってもよい。また、医用データには、医用画像データを用いて各種計測を行った計測データも含まれる。

医用撮像装置１００は、情報端末１１０に接続されている。情報端末１１０は、ＰＣ端末、スマートフォンなどの携帯電話、ノート端末、タブレット端末などである。情報端末１１０は、被検者情報を設定することもでき、医用撮像装置１００から取得される医用データと被検者情報を関連付けることができる。情報端末１１０は、医用撮像装置１００から取得される医用データ、計測データの各種データを表示することもできる。

情報端末１１０及び情報処理装置１３０は、ネットワーク１２０に接続されている。ネットワーク１２０は、病院外の通信ネットワーク、例えば、無線通信（Ｗｉ－Ｆｉ）、インターネット、無線基地局、プロバイダ、通信回線などを含む。また、ネットワーク１２０は、病院内の通信ネットワークであるイントラネットなどを含んでいてもよい。情報端末１１０は、ネットワーク１２０により、情報処理装置１３０と通信可能となる。情報端末１１０は、医用データ（医用画像データを含む）を情報処理装置１３０に伝達することができる。情報処理装置１３０は、医用データ（医用画像データを含む）を用いて推論を行った推論結果を情報端末１１０に伝達することができる。

図２は、本発明の情報処理装置１３０の構成を示す。情報処理装置１３０は、医用画像データを用いて教師データを生成する教師データ生成部２００と、教師データ生成部２００において生成された教師データを用いて、医用画像データに関する学習を行う学習部２０２を有する。さらに情報処理装置１３０は学習部２０２において生成された学習済みモデルから構成されるモデル情報と、推論対象とを記憶する記憶部２０４と、学習済みモデルを用いて推論を行う推論部２０６とを有する。また情報処理装置１３０は、学習済みモデルが更新等によって変更された場合に、更新前の学習済みモデルで推論された推論対象に対する推論結果と、更新済みの学習済みモデルで推論された推論対象に対する推論結果とを比較する比較部２０８と、比較部２０８による比較結果に基づいて、ユーザに対して通知を行う通知部２１０を備えている。

教師データ生成部２００は、ネットワーク１２０に接続されており、医用画像データ、計測データなどを含む医用データを取得することができる。教師データ生成部２００は、医用画像データを用いて教師データを生成する。教師データ生成部２００によって生成される教師データは、ニューラルネットワークに基づくモデルが行う推論のタスクや分類の対象に応じて決定される。

ニューラルネットワークが行う推論のタスクとしては、医用画像データのクラスを分類する分類タスクや、医用画像データのどの位置に何が写り込んでいるかを検出する検出タスクがある。さらに医用画像データから対象の領域を抽出するセグメンテーションタスク等が挙げられる。

分類タスクを行うニューラルネットワークに基づくモデルを学習する際には、教師データ生成部２００は、医用画像データと、医用画像データに写り込んでいる対象を示すラベルである正解ラベルとを対にした教師データを生成する。

一方、ニューラルネットワークに基づくモデルによって検出のタスクを行う場合について説明する。教師データ生成部２００は、医用画像データと、医用画像データに対して、医用画像データに写り込んでいる対象の位置を示すＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と対象を示すラベルである正解ラベルを付与した正解画像とを対にした教師データを生成する。

ニューラルネットワークに基づくモデルによって行うタスクがセグメンテーションの場合について説明する。教師データ生成部２００は、医用画像データと、医用画像データに対して、医用画像データに写り込んでいる対象の画素の位置情報と、対象を示すラベルである正解ラベルを付与した正解画像とを対にした教師データを生成する。

病変領域をセグメンテーション（抽出）するタスクを行うニューラルネットワークに基づくモデルを学習させる場合について説明する。教師データ生成部２００は、病変領域を有する医用画像データと、医用画像データに対して病変の種類を示す正解ラベルの情報と該病変の画素の位置情報と付与した正解画像とを対にした教師データを生成する。

また、教師データ生成部２００は、学習部２０２で学習を行うニューラルネットワークに基づくモデルに応じて、医用データの前処理を行ってもよい。例えば、ニューラルネットワークに基づくモデルによる推論の対象が医用画像データである場合には、取得した医用画像データに対して、ノイズ除去や、フィルタ処理、画像の切り出し、解像度の変更等の処理を行う。推論の対象が文章等の自然言語であった場合には、形態素解析を行い、ベクトル変換技術を適用する等、ニューラルネットワークに基づくモデルにおける推論の対象と、タスクに応じて、教師データ生成部２００は処理対象のデータの前処理を行う。

なお、図２では、情報処理装置１３０の内部に教師データ生成部２００の機能を有している形態を示したが、情報端末１１０や、他の情報処理装置が教師データ生成部２００の機能を内部に有していてもよい。例えば、上述したような教師データを情報端末１１０や外部の情報処理装置で生成した後に、ネットワーク１２０を介して、情報処理装置１３０の学習部２０２によってモデルの学習を行ってもよい。

学習部２０２は、教師データ生成部２００と接続されている。学習部２０２は、ニューラルネットワークに基づくモデルに対して、医用画像データを教師データと対応づけて学習させることにより学習済みモデルを生成する。ここで、学習済みモデルは、学習処理を所定基準まで実施することにより決定されたパラメータと該パラメータに対応するモデルの情報とを示す。なお、学習済みモデルは、転移学習やファインチューニングによる他のモデルの学習に用いられても、該学習済みモデルに対してさらに学習処理（追加学習）が実行されてもよい。なお、学習部２０２による学習処理を、情報処理装置１３０外の情報処理装置や情報端末１１０で行ってもよい。例えば外部の情報処理装置や情報端末１１０が、教師データ生成部２００と、学習部２０２を機能として有し、ニューラルネットワークに基づくモデルに対して学習処理を実施し、生成された学習済みモデルを情報処理装置１３０の記憶部２０４に記憶してもよい。

ニューラルネットワークに基づくモデルには、複数の層が含まれる。ニューラルネットワークの中でも、特にディープラーニング技術の一種であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）において、図示はしないが、入力層と出力層との間に複数の中間層を有している。複数の中間層は、畳み込み層、プーリング層、アップサンプリング層、合成層がある。畳み込み層は、入力値群に対して畳み込み処理を行う層である。畳み込み層では、入力された医用画像データの畳み込みを行い、医用画像データの特徴を抽出する。

プーリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。合成層は、ある層の出力値群や医用画像データを構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。中間層の数は、学習内容に応じて、随時変更することができる。

記憶部２０４は、学習部２０２に接続されている。記憶部２０４には、例えば医用画像データにおける病変の種類及び領域を抽出するように学習された学習済みモデルが記憶される。学習済みモデルは、例えば、ニューラルネットワーク技術の中のディープラーニング技術の一つであるＣＮＮやＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のモデルを記憶していてもよい。またＣＮＮやＲＮＮを派生させたモデル以外にも、サポートベクターマシンやロジスティック回帰、ランダムフォレスト等の他の機械学習技術によるモデルを記憶していてもよいし、ルールベースに基づく方法を記憶していてもよい。また記憶部２０４はさらに、記憶部２０４に記憶された学習済みモデルを用いて推論を行った推論対象等の推論情報を記憶する。記憶部２０４は、学習済みモデルと推論対象の情報とを対応付けて推論情報として記憶する。さらに記憶部２０４は、アカウント情報を推論情報と対応付けて記憶し、ユーザが例えばネットワーク１２０を介して、情報処理装置１３０に接続をすると、該ユーザのアカウント情報に対応づけられた過去の推論情報を参照することができる。また、記憶部２０４におけるアカウント情報は複数のユーザによるグループアカウントとして記憶されていてもよい。

推論部２０６は、ネットワーク１２０に接続されており、医用画像データ、計測データなどを含む医用データを取得することができる。推論部２０６は、記憶部２０４に接続されており、記憶部２０４に記憶された学習済みモデルを用いて推論を行うことができる。

推論部２０６は、例えば医用画像データにおける病変の種類及び領域を抽出するように学習された学習済みモデルを用いて、推論対象の医用画像データに対して推論を行う。推論対象の医用画像データに病変がある場合、推論部２０６は、病変の種類及び領域を出力することができる。

比較部２０８は、記憶部２０４において、記憶されている学習済みモデルが更新等の変更がされた場合に、変更前の学習済みモデルが推論対象に対して推論をした第一の推論結果と、該推論対象に対して変更後の学習済みモデルを用いた推論部２０６による第二の推論結果とを比較する。比較部２０８は、第一の推論結果と、第二の推論結果との差分が所定値以上である場合に、通知部２１０によってユーザもしくはモデルの管理者の少なくとも一方に推論結果の通知をする。また比較部２０８は、第一の推論結果と第二の推論結果との差分が所定未満である場合には、通知を行わない。なお、比較部２０８による推論結果の比較については以下で詳述する。

通知部２１０は、比較部２０８による比較結果に応じて決定された通知先に対して、通知を行う。ここで、通知部２１０は比較結果をユーザに通知する場合には、記憶部２０４に記憶されているユーザのアカウント情報を参照し、該ユーザに対して、通知を行う。また比較部２０８による比較の結果が所定値未満である場合にはユーザへの通知を行わない。本構成により、ユーザは学習済みモデルが変更される度に通知を受けることによる手間を削減し、過去の推論結果と更新後のモデルによる推論結果との差分が大きい場合に、ユーザに通知をすることができる。アカウントがグループアカウントであった場合には、通知部２１０はグループアカウントを構成する複数のユーザを通知先として決定する。もしくは、グループアカウントを構成する複数のユーザのうち、特定のユーザに対して通知してもよい。なお通知部２１０における通知は、ユーザが通知を把握できればよく、例えば情報処理装置１３０に備えついている表示部（不図示）や、情報処理装置１３０に対して情報端末１１０等を介してユーザがアクセスすることで確認がされてもよい。もしくは情報処理装置１３０からネットワーク１２０を介して情報端末１１０に通知を行ってもよい。

本発明の情報処理装置１３０の構成によって、学習済みモデルが変更された場合に、更新前の学習済みモデルで推論を行ったユーザに対して適切に通知を行うことができる。

図３は、本発明の記憶部２０４の構成を示す。記憶部２０４は、学習部２０２において学習された学習済みモデルと付帯情報を記憶するモデル情報記憶部３００と、推論対象やアカウント情報等の推論に関する情報を記憶する推論情報記憶部３０２とを有する。なお、記憶部２０４におけるそれぞれの記憶部は単一の記憶部２０４として機能してもよい。

図４を用いて、モデル情報記憶部３００について説明する。モデル情報記憶部３００は、推論対象やタスクごとに学習済みモデルを記憶している。例えば、モデル情報記憶部３００は、肺野領域から異常陰影を検出する学習済みモデル、肺癌鑑別診断を行う学習済みモデル等の複数の学習済みモデルを記憶している。ネットワーク１２０を介して、ユーザによって選択されたモデルを用いて推論部２０６が推論処理を行う。

肺野領域から異常陰影抽出を行うモデルとして、学習部２０２において学習された異常陰影を抽出する第一の学習済みモデル４００に対してモデル情報記憶部３００が第一の付帯情報４１０を付与し、第一の学習済みモデル４００を記憶する。また、モデル情報記憶部３００はさらに肺野領域から異常陰影抽出を行うモデルとして、第二の学習済みモデル４０２と、第二の学習済みモデルに対して第二の付帯情報を付与して記憶している。さらに肺癌鑑別を行うモデルとして、第一の学習済みモデル４２０と、第一の学習済みモデルに対して第一の付帯情報を付与して記憶している。付帯情報は、該モデルを識別するための情報である。付帯情報には、モデルのバージョン情報や、更新情報、推論対象や、分類対象の情報の少なくともいずれかが含まれる。付帯情報によって、学習済みモデルを特定することができる。

ここで、モデル情報記憶部３００に記憶されている学習済みモデルは、モデルの管理者によって適宜更新や変更がなされ、番号が大きいほど時系列的に後に記憶された学習済みモデルを指す。また推論部２０６が推論を行う際に利用する学習済みモデルは、より新しい学習済みモデルである。

例えば、ユーザによって肺野領域から異常陰影を抽出するモデルが選択された場合には、モデル情報記憶部３００における肺野領域から異常陰影を抽出されるモデルのうち、最新のモデルである第二の学習済みモデルが選択される。そして選択されたモデルを用いて推論部２０６が推論処理を実施する。

また、肺野領域の異常陰影の抽出等の同一のタスクを行う複数の学習済みモデルのそれぞれは、推論するタスク、分類対象を示すクラス、モデル構造、教師データのいずれかの少なくとも一部が共通する。例えば、肺野領域の異常陰影抽出を行う第二の学習済みモデルは、第一の学習済みモデルを転移学習やファインチューニングすることによって生成されてもよい。また第二の学習済みモデルは第一の学習済みモデルに対してさらに追加の学習処理（追加学習）が実行されたりして生成されたモデルでもよい。即ち第二の学習済みモデルは、第一の学習済みモデルに基づいて生成された学習済みモデルである。

モデル情報記憶部３００から選択されたモデル情報、推論対象、該選択されたモデルによって推論された推論結果が、ユーザのアカウント情報と共に推論情報記憶部３０２に記憶される。なお、図４では、３つの学習済みモデルを付帯情報とともに記憶部２０４に記憶する形態を示したが、モデル情報記憶部３００は、４つ以上の学習済みモデルを付帯情報とともに記憶することもできる。

図５を用いて推論情報記憶部３０２について説明をする。推論情報記憶部３０２は、第一のユーザの第一のアカウント情報５００と、推論情報５１０とを対応づけて記憶している。第一のアカウント情報５００に対応づいた推論情報５１０は、第一の推論情報として、推論対象と、該推論対象に対して推論を行った推論に用いたモデル情報と、推論結果とを記憶している。また推論情報５１０は第二の推論情報として、推論対象と、モデル情報、推論結果とを記憶している。また推論情報記憶部３０２は、第二のアカウント情報５０２と、推論情報５１２とを対応づけて記憶している。推論情報記憶部３０２が記憶する推論情報はアカウントごとに管理されており、また各アカウントの推論情報は、推論対象や、推論に用いたモデル情報ごとに異なる推論情報として記憶されている。なお、ユーザの情報端末１１０に、該推論情報記憶部３０２の記憶する情報の全体もしくは一部を記憶させてもよいし、該記憶する情報の容量や、情報端末１１０と情報処理装置１３０をつなぐネットワーク１２０の回線に依存して記憶する媒体が決定されてもよい。ユーザは情報端末１１０を操作することによって、情報処理装置１３０に対して、推論するモデルの指定や、推論処理、推論結果を参照することができる。さらにユーザが推論情報記憶部３０２に記憶されている情報にアクセスすることで、推論対象に対する過去の推論結果を参照することができる。また、アカウント情報は複数のユーザによるグループのアカウントとして記憶されていてもよい。

以下、図６を用いて、本実施形態における情報処理装置１３０の学習済みモデルが変更された際に通知を行うまでの処理フローについて説明をする。

ステップＳ６００において、比較部２０８は、推論を行う学習済みモデルが変更されたか否かを判定する。推論を行う学習済みモデルが更新されていない場合には本処理を終了し、更新されている場合には、ステップＳ６０２へと進む。

ステップＳ６０２において、比較部２０８は、記憶部２０４における推論情報記憶部３０２に対して、該推論対象に対する更新前の第一の学習済みモデルによる推論結果が記憶されているかを判定する。推論情報記憶部３０２は、アカウント情報に対応づけて推論情報を記憶しており、推論情報として例えば、推論対象、推論に用いたモデル情報、推論結果を記憶している。しかしながら、推論結果のデータ保存容量が大きい場合には、推論情報の一部をユーザの情報端末１１０や、外部の情報処理装置に記憶しておくことがある。故に、推論情報記憶部３０２が記憶する推論情報に第一の学習済みモデルによる第一の推論結果が記憶されていない場合には、ステップＳ６０４へと進む。第一の学習済みモデルによる第一の推論結果が記憶されている場合には、ステップＳ６０６へと進む。

ステップＳ６０４において、比較部２０８は、推論情報記憶部３０２から推論対象と、推論に用いたモデル情報を取得し、モデル情報記憶部３００から該推論に用いたモデルを取得し、モデルおよび推論対象の情報を推論部２０６に送信する。推論部２０６は、比較部２０８より送信されたモデル（第一の学習済みモデル）を用いて、比較部２０８より送信された推論対象に対して第一の推論結果を取得する。比較部２０８は第一の推論結果を取得すると、ステップＳ６０６へと進む。

ステップＳ６０６において、変更された学習済みモデルである第二の学習済みモデルを用いて、推論部２０６は推論対象に対して第二の推論を行い、第二の推論結果を取得する。比較部２０８は、第二の推論結果を取得するとステップＳ６０８へと進む。

ステップＳ６０８において、比較部２０８は、取得した第一の学習済みモデルによる第一の推論結果と、第二の学習済みモデルによる第二の推論結果とを比較する。比較部２０８は、第一の推論結果と、第二の推論結果との差分が所定の値以上か否かを判定し、所定の値未満である場合には処理を終了する。第一の推論結果と、第二の推論結果との差分が所定の値以上である場合には、ステップＳ６１０に進む。ここで、両推論結果の比較の方法は、モデルの出力に応じて異なる。例えば、推論を行う学習済みモデルが分類結果を出力する学習済みモデルである場合には、比較部２０８は、クラスの分類結果と、分類に対する尤度とを比較して差分を算出する。具体的には、推論を行った学習済みモデルが、クラスＡと、クラスＢ、クラスＣの３つに分類をするモデルであった場合には、それぞれのクラスに割り振られた尤度の差分を算出する。第一の学習済みモデルによる第一の推論結果が（０．８、０．１、０．１）で、第二の学習済みモデルによる第二の推論結果が（０．５、０．３、０．２）であった場合には、両推論結果の差分は｜０．８－０．５｜＋｜０．１－０．３｜＋｜０．１－０．２｜＝０．６である。例えば所定の値として、０．５が設定されている場合には、比較部２０８によって差分が所定値以上であると判定されステップＳ６１０へ進む。

推論を行う学習済みモデルが、抽出結果を出力する学習済みモデルである場合には、比較部２０８は、クラスの分類結果と、該当する画素とを比較して差分を算出する。例えば、比較部２０８は同じ画素位置に対する推論結果の尤度の差分を上述のように算出し、差分の総和が所定の値以上である場合にはステップＳ６１０へ進む。

ここで所定の値は、例えばユーザや過去の統計等によって導かれる値を基に設定された閾値である。

ステップＳ６１０において、通知部２１０は、比較部２０８より送信された比較結果に基づいて通知先を決定し、決定された通知先に対して通知を行う。通知先として、ユーザが決定された場合には、通知部２１０は、推論情報記憶部３０２におけるアカウント情報を参照し、推論結果等の通知を行う。ここで、通知部２１０は、例えばクラス分類結果における尤度が最も高いクラスが異なる場合には、ユーザと、モデルの管理者を通知先として決定する。クラス分類結果における尤度が最も高いクラスが同一で、尤度の差分による通知はユーザを対象として行う。即ち通知部２０１は、比較部２０８による比較結果に応じて通知先を異ならせる。通知部２１０による通知が行われると処理を終了する。

即ち、情報処理装置１３０は、学習済みモデルを記憶するモデル情報記憶部３００を有し、該モデル情報記憶部に記憶された学習済みモデルを用いて医用画像データに対して推論を行う情報処理装置１３０である。さらに情報処理装置１３０は第一の学習済みモデルを用いて第一の推論を行った推論対象を記憶する推論情報記憶部３０２と、を有する。さらに第一の学習済みモデルが第二の学習済みモデルに変更された場合に、推論対象に対して、第二の学習済みモデルを用いて第二の推論を行う推論部２０６と、第一の推論による第一の推論結果と、第二の推論による第二の推論結果とを比較する比較部２０８と、比較部２０８による比較結果に基づいて、ユーザに対して通知を行う通知部２１０と、を有することを特徴とする。

上述の実施形態において、比較部２０８は更新前の第一の学習済みモデルによる第一の推論結果と、更新後の第二の学習済みモデルを比較部２０８が比較をすることによって、通知部２１０は第一の学習済みモデルの出力と、第二の学習済みモデルの出力が大きく異なる場合には、ユーザに通知をする。一方で出力が大きく異ならない場合には通知部２１０はユーザに通知をしないことで、変更の度にユーザに通知がされることで、ユーザが確認する手間を削減することができる。即ち、情報処理装置１３０における通知部２１０は、比較部２０８による比較の結果に応じて、ユーザへの通知の有無を決定することを特徴とする。

よって本発明の情報処理装置１３０の構成とフローによって、学習済みモデルが変更された場合に、更新前の学習済みモデルで推論を行ったユーザに対して適切に通知を行うことができる。

〔第二の実施形態〕
上述の実施形態において、推論対象に対する第一の学習済みモデルの第一の推論結果と、第二の学習済みモデルの第二の推論結果とを比較することで、通知の有無と通知先を決定した。

本実施形態では、第一の学習済みモデルによる第一の推論結果を受けて、医師等が決定した診断情報を、推論情報記憶部７０２がさらに記憶する。そして、比較部２０８が、第一の学習済みモデルの第一の推論結果と、第二の学習済みモデルによる第二の推論結果とを診断情報と比較することによって、通知部２１０は通知の有無と通知先を決定する。以下では、上述までの実施形態との差分について説明をし、重複部分については適宜省略して説明をする。

図７には、本実施形態における推論情報記憶部７０２が記憶している情報について示している。推論情報記憶部７０２は、アカウント情報と推論情報を対応付けて記憶している。また推論情報記憶部７０２は、第一のアカウント情報と対応づいている推論情報７１０のうち、第一の推論情報には、推論結果を受けて、医師等が決定した診断情報をさらに記憶している。また、第二のアカウント情報５０２に対応づいている推論情報７１２のうち、第一の診断情報には、推論結果を受けて、医師等が決定した診断情報を記憶している。診断情報は、推論を行った学習済みモデルの推論結果によらず、医師が入力や記載することができ、本実施形態では、比較部２０８が診断情報と学習済みモデルの推論結果との比較を行うことによって、通知部２１０は、通知の有無と通知先を決定する。診断情報とは、医師等が推論結果を受けて決定した情報であり、例えば病名や、病名の位置を示す情報である。

本実施形態では、推論を行う学習済みモデルが変更された場合に、変更前の学習済みモデルである第一の学習済みモデルによる第一の推論結果と、変更後の学習済みモデルである第二の学習済みモデルによる第二の推論結果と、診断情報とを比較部２０８が比較する。具体的に、比較部２０８は、診断情報と第一の学習済みモデルによる第一の推論結果との第一の差分と、診断情報と第二の学習済みモデルによる第二の推論結果との第二の差分とを比較し、第一の差分が大きい場合には、通知部２１０による推論結果等の通知先をユーザを含む通知先に設定する。第二の差分が大きい場合には、通知部２１０による推論結果等の通知先をモデルの管理者を含む通知先に設定をする。

比較部２０８における比較の方法として、医師の診断情報が病名であった場合には、病名に対応するクラスの値を１として、第一の推論結果および第二の推論結果のそれぞれとの差分を算出する。

推論を行った学習済みモデルが、クラスＡと、クラスＢ、クラスＣの３つに分類をするモデルであった場合で且つ医師によってクラスＡに対応する病名が入力された場合には、クラスＡに対する値を１として（１．０、０．０、０．０）として、第一の推論結果および第二の推論結果との差分を算出する。実施形態１と同様に第一の学習済みモデルによる第一の推論結果が（０．５、０．３、０．２）で、第二の学習済みモデルによる第二の推論結果が（０．８、０．１、０．１）であった場合について説明する。この場合には、比較部２０８によって算出される診断情報と第一の推論結果との第一の差分は、｜１．０－０．５｜＋｜０．０－０．３｜＋｜０．０－０．２｜＝１．０である。また比較部２０８によって算出される診断情報と第二の推論結果との第二の差分は、｜１．０－０．８｜＋｜０．０－０．１｜＋｜０．０－０．１｜＝０．４である。比較部２０８による比較の結果、第一の差分が第二の差分よりも大きいので、通知部２１０は、推論結果等の通知先をユーザを含む通知先に決定する。

比較部２０８における比較の方法として、医師の診断情報が病名と該病名の位置であった場合には、病名の位置に対応する画素の該病名に対応するクラスの値を１として、第一の推論結果および第二の推論結果のそれぞれとの差分を算出する。

第一の差分が大きい場合には、第二の学習済みモデルへの変更によって、推論部２０２における推論対象への推論精度が向上したことを意味し、第二の差分が大きい場合には、第二の学習済みモデルへの変更によって、推論部２０２における推論対象への推論精度が低下したことを意味する。推論精度が向上した場合には管理者が、該推論結果を把握しなくともよいが、推論精度が低下した場合には、該推論結果をモデルの管理者に把握させることが必要となる場合がある。モデルの管理者は、推論対象と、両学習済みモデルによる推論結果等を把握することにより、第二の学習済みモデルを更新、停止、続行するかを判断することができる。

以下、図８を用いて本実施形態におけるフローを説明する。図８のステップＳ８００において、比較部２０８は記憶部２０４における推論情報記憶部７０２の変更前の学習済みモデルである第一の学習済みモデルの推論結果に対する診断情報があるか否かを判定する。診断情報がない場合には、上述の実施形態のステップＳ６０８へと進む。診断情報がある場合には、ステップＳ８０２へと進む。

ステップＳ８０２では、比較部２０８は、各推論結果と、診断情報との差分が所定値以上であるか否かを判定する。具体的には、第一の学習済みモデルによる推論結果と、診断情報との第一の差分と、第二の学習済みモデルによる推論結果と、診断情報との第二の差分の少なくとも一方が所定の値以上であるかを判定し、所定の値以上である場合には、ステップＳ８０４へと進み、所定の値未満である場合には、処理を終了する。

ステップＳ８０４において、通知部２１０は、第一の差分が大きい場合には、通知先にユーザを含む通知先を設定する。一方で、第二の差分が大きい場合には、通知先にモデルの管理者を含む通知先を設定する。なお、通知先は、任意に変更や設定が可能である。本実施形態によって、推論部２０２における推論精度が所定値以上向上した場合には、ユーザに通知し、推論部２０２における推論精度が所定値以上低下した場合には、モデルの管理者へ通知することで、学習済みモデルが更新された場合に、更新前の学習済みモデルで推論を行ったユーザと、モデルの管理者に対して適切に通知を行うことができる。

（変形例１）
第一の学習済みモデルによる第一の推論結果と診断情報との第一の差分と、第二の学習済みモデルによる第二の差分とを比較部２０８が比較をし、第二の差分が大きくなっている場合に、通知部２１０により通知を受けたモデルの管理者もしくは、情報処理装置１３０は、第二の学習済みモデルの利用を停止することができる。

通知部２１０は、利用が停止された該第二の学習済みモデルもしくは、第一の学習済みモデルまたは第二の学習済みモデルを更新した第三の学習済みモデルが利用可能となった場合に、通知部２１０はユーザに対して、該モデルの利用が再開された旨を通知する。

〔第三の実施形態〕
本実施形態において、情報処理装置１３０はさらに医師等によって決定した診断情報と推論対象とを教師データに追加・更新する更新部９００を有する。図９を用いて更新部９００について説明をする。更新部９００は、推論情報記憶部７０２に対して、診断情報が記憶された場合に、記憶部２０４から、推論対象と、診断情報を取得し、教師データ生成部２００に送信する。教師データ生成部２００は、プールされている教師データに対して、送信された推論対象と診断情報とを対にした教師データを追加し、学習部２０２によって、ニューラルネットワークに基づくモデルの学習を行う。なお、学習部２０２におけるニューラルネットワークに基づくモデルの学習の際には、該診断情報から生成された教師データに対する損失関数の計算のペナルティを小さくする。もしくはパラメータの更新率を小さくしたりするなどの処理によって、予め保有している教師データよりも、モデルに与える影響を小さくしてもよい。更新部９００によって教師データが増加することにより、生成される学習済みモデルの精度が向上し、通知部２１０による通知の精度が向上する。

〔第四の実施形態〕
上述までの実施形態においては、推論部２０６がユーザによって選択された学習済みモデルを用いて推論をし、記憶部２０４における推論情報記憶部３０２が、推論対象や推論に用いたモデル情報、推論結果等を記憶していた。本実施形態において、情報処理装置１３０は推論を行った学習済みモデルが推論対象に対して推論を行うモデルとして適切であるかを判定する判定部１０１０をさらに有する。また通知部２１０は、判定部１０１０によってより適切であると判定される学習済みモデルがあった場合には、該学習済みモデルの選択を推奨する通知をユーザに行う。本実施形態によって、第一の学習済みモデルを変更した第二の学習済みモデルよりも、ユーザによる推論時よりも後に追加された異なる学習済みモデルの方が推論に適する場合（即ち、推論対象を推論するモデルとして適切でないと判定された場合）に、ユーザに異なる学習済みモデルによる推論の推奨を通知できる。

図１０を用いて本実施形態における情報処理装置１３０について説明をする。

判定部１０１０は、記憶部２０４の推論情報記憶部３０２における推論対象と、推論に用いたモデル情報を取得する。また判定部１０１０は取得したモデル情報に基づいてさらに、それぞれのモデルを学習する際に用いた教師データを取得し、該教師データに対して、モデルをクラスとした判定モデルを学習する。判定部１０１０は学習された判定モデルを用いて、記憶部２０４の推論情報記憶３０２から取得した推論対象に対して、推論を行う。判定部１０１０は、該推論の結果と該取得したモデル情報が示すモデルと合致している場合には処理を終了し、該推論の結果と該取得したモデル情報が示すモデルが異なる場合には、該推論結果を通知部２１０に送信する。通知部２１０は、判定部１０１０から送信された推論結果が示すモデルをユーザに推奨する通知を行う。なお、判定部１０１０は、新たに推論を行う推論対象が推論部２０６に送信された場合に、記憶部２０４のモデル情報記憶部３００に記憶されているモデルのうち、推論に適した学習済みモデル判定し、推奨するモデルを通知部２１０が通知してもよい。

本実施形態により、ユーザによる推論時よりも後に追加された異なる学習済みモデルの方が推論に適すると、判定部１０１０によって判定された場合に、異なる学習済みモデルによる推論の推奨を通知することができる。

（変形例２）
上述までは実施形態ごとに説明を行ったが、適宜上述の実施形態や変形例が組み合わされて実施されてもよい。

（その他の変形例）
上記実施例の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体（図示しない。）を介してコンピュータに供給し、当該コンピュータプログラムを実行させることができる。上述した情報処理方法をコンピュータに実行させるためのコンピュータプログラムである。つまり、コンピュータプログラムは、コンピュータで情報処理装置の機能を実現するためのプログラムである。記憶媒体は、当該コンピュータプログラムを記憶している。

１３０ 情報処理装置
２００ 教師データ生成部
２０２ 学習部
２０４ 記憶部
２０６ 推論部
２０８ 比較部
２１０ 通知部

Claims (18)

1. 学習済みモデルを記憶するモデル情報記憶部を有し、該モデル情報記憶部に記憶された学習済みモデルを用いて医用画像データに対して推論を行う情報処理装置であって、
   第一の学習済みモデルを用いて第一の推論を行った推論対象を記憶する推論情報記憶部と、
   前記第一の学習済みモデルが第二の学習済みモデルに変更された場合に、前記推論対象に対して、前記第二の学習済みモデルを用いて第二の推論を行う推論部と、
   前記第一の推論による第一の推論結果と前記第二の推論による第二の推論結果とを比較する比較部と、
   前記比較部による比較結果に基づいてユーザに対して通知を行う通知部と、
   を有することを特徴とする情報処理装置。
2. 前記推論情報記憶部は、前記推論対象を、前記第一の推論を指示したユーザのアカウント情報と対応付けて記憶することを特徴とする請求項１に記載の情報処理装置。
3. 前記通知部は、前記推論情報記憶部に記憶された前記アカウント情報に基づいて、前記ユーザに対して通知を行うことを特徴とする請求項２に記載の情報処理装置。
4. 前記通知部は、前記比較部による比較の結果に応じてユーザへの通知の有無を決定することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記第一の学習済みモデルと前記第二の学習済みモデルは、モデル構造、分類をするクラス、モデルのパラメータ、学習に用いた教師データのうち、いずれかの少なくとも一部が共通していることを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
6. 前記第二の学習済みモデルは、前記第一の学習済みモデルに基づいて生成された学習済みモデルであることを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。
7. 前記第二の学習済みモデルは、前記第一の学習済みモデルを転移学習、ファインチューニング、追加学習の少なくとも一つの方法によって生成された学習済みモデルであることを特徴とする請求項６に記載の情報処理装置。
8. 前記モデル情報記憶部は、記憶されたモデルのバージョン情報および更新情報のうち、少なくとも一方をさらに記憶することを特徴とする請求項１乃至７のいずれか一項に記載の情報処理装置。
9. 該推論を行った学習済みモデルが前記推論対象を推論するモデルとして適切であるかを判定する判定部をさらに有することを特徴とする請求項１乃至８のいずれか一項に記載の情報処理装置。
10. 前記判定部によって、前記推論対象を推論するモデルとして適切でないと判定された場合には、前記通知部はユーザに対して推論したモデルと異なるモデルを通知することを特徴とする請求項９に記載の情報処理装置。
11. 前記比較部は、前記第一の推論結果を受けてユーザが決定した診断情報をさらに取得し、
    前記第一の推論結果、前記第二の推論結果のそれぞれを前記診断情報と比較することを特徴とする請求項１乃至１０のいずれか一項に記載の情報処理装置。
12. 前記比較部は、前記診断情報と前記第一の推論結果との第一の差分と、前記診断情報と前記第二の推論結果との第二の差分とを比較し、
    前記通知部は、前記第一の差分が前記第二の差分よりも大きい場合には通知先をユーザとすることを特徴とする請求項１１に記載の情報処理装置。
13. 前記比較部は、前記診断情報と前記第一の推論結果との第一の差分と、前記診断情報と前記第二の推論結果との第二の差分とを比較し、
    前記通知部は、前記第二の差分が前記第一の差分よりも大きい場合には通知先を前記モデルの管理者とすることを特徴とする請求項１１または１２に記載の情報処理装置。
14. 前記比較部は、前記第二の差分が前記第一の差分よりも大きい場合に前記第二の学習済みモデルの利用を停止することを特徴とする請求項１３に記載の情報処理装置。
15. 前記利用できなくなった第二の学習済みモデルもしくは、前記第一の学習済みモデルまたは該第二の学習済みモデルを更新した第三の学習済みモデルが利用可能となった場合に、通知部はユーザに通知を行うことを特徴とする請求項１４に記載の情報処理装置。
16. 記憶された学習済みモデルを用いて医用画像データに対して推論を行う情報処理装置であって、
    推論対象に対して第一の推論を行った第一の学習済みモデルが第二の学習済みモデルに変更された場合に、前記推論対象に対して、前記第二の学習済みモデルを用いて第二の推論を行う推論ステップと、
    前記第一の推論による第一の推論結果と、前記第二の推論による第二の推論結果とを比較する比較ステップと、
    前記比較ステップによる比較結果に基づいて、ユーザに対して通知を行う通知ステップと、を有することを特徴とする情報処理方法。
17. 請求項１６に記載の情報処理方法をコンピュータに実行させるためのプログラム。
18. 学習済みモデルを記憶するモデル情報記憶部を有し、該モデル情報記憶部に記憶された学習済みモデルを用いて医用画像データに対して推論を行う情報処理装置と、該情報処理装置とネットワークを介して通信可能な情報端末とを備える情報処理システムであって、
    前記情報処理装置は、
    第一の学習済みモデルを用いて第一の推論を行った推論対象を記憶する推論情報記憶部と、
    前記第一の学習済みモデルが第二の学習済みモデルに変更された場合に、前記推論対象に対して、前記第二の学習済みモデルを用いて第二の推論を行う推論部と、
    前記第一の推論による第一の推論結果と前記第二の推論による第二の推論結果とを比較する比較部と、
    前記比較部による比較結果に基づいて、前記情報端末に対して通知を行う通知部と、
    を有することを特徴とする情報処理システム。

Images