JP2023019699A - 情報処理システム、情報処理方法、情報端末及びプログラム - Google Patents

Abstract

【課題】 複数の情報処理装置から、少なくとも１つの情報処理装置を選択して、推論を行うことができる情報処理システムを提供する。【解決手段】 医用撮像装置１１０から医用画像データを取得する情報端末１１０と、学習済みモデルを用いて、医用画像データに対して推論を行う推論部を有した複数の情報処理装置１３０、１３２、１３４・・・と、複数の情報処理装置１３０、１３２、１３４・・・から、少なくとも１つの情報処理装置を選択する選択部４０６を備える。情報端末１１０は、選択部４０６で選択された情報処理装置に医用画像データを送信し、選択部４０６で選択された情報処理装置は、送信された医用画像データに対して推論を行ない、推論結果を情報端末１１０に送信する。【選択図】 図１

Description

本発明は、学習済みモデルを用いて推論を行う情報処理システム、情報処理方法、情報端末及びプログラムに関する。

医用撮像装置において取得された医用データを解析し、医師に診断支援情報を提示するコンピュータ支援診断（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）システムが知られている。ＣＡＤシステムは、医用データの内、例えば医用画像データに対して機械学習技術を適用し、診断支援情報を出力する。

特許文献１には、機械学習に基づく解析の信頼性を高めるため、異なる撮影方法および異なる信号処理の少なくとも一方の実行により、被検者に関する複数の加工医用信号を取得し、複数の加工医用信号のそれぞれに対して複数の学習済みモデルを用いて推論を行うことが開示されている。

特開２０２０－４２８１０号公報

特許文献１では、医用画像データに対して推論を行う推論部を有した複数の情報処理装置を備えることを想定していない。そのため、推論を行うために複数の情報処理装置を利用することができない。

そこで、本発明は、複数の情報処理装置から、少なくとも１つの情報処理装置を選択して、推論を行うことができる情報処理システムを提供することを目的とする。

本発明の目的を達成するために、医用撮像装置から医用画像データを取得する情報端末と、前記医用画像データに対して推論を行う推論部を有した複数の情報処理装置と、前記複数の情報処理装置から、少なくとも１つの情報処理装置を選択する選択部を備え、前記情報端末は、前記選択部で選択された情報処理装置に前記医用画像データを送信し、前記選択部で選択された前記情報処理装置は、送信された前記医用画像データに対して推論を行ない、推論結果を前記情報端末に送信する。

本発明によれば、複数の情報処理装置から、少なくとも１つの情報処理装置を選択して、推論を行うことができる。

本発明の情報処理システムの構成を示す図。 本発明の情報処理装置の構成を示す図。 本発明の情報処理装置における記憶部の構成を示す図。 本発明の情報端末の構成を示す図。 本発明の表示部の一表示形態を示す図。 本発明の表示部の一表示形態を示す図。 本発明の複数の情報処理装置の性質を示す図。 本発明の推論フェーズの動作を示す図。

以下、添付図面を参照して本発明の好適な実施形態について説明する。

図１は、本発明の情報処理システムの構成を示す。本発明の情報処理システムは、被検者に関する医用データを取得する医用撮像装置１００と、情報端末１１０と、ネットワーク１２０と、複数の情報処理装置１３０、１３２、１３４とからなる。複数の情報処理装置は、４つ以上の情報処理装置であってもよい。情報端末１１０は、複数の情報処理装置から、少なくとも１つの情報処理装置を選択する機能が含まれている。

情報端末１１０には、操作部１１２と表示部１１４が接続されている。操作部１１２は、操作者からの各種指示を受け付け、情報端末１１０及び医用撮像装置１００に対して、各種指示を伝達する。操作部１１２は、例えば、マウス、キーボード、ボタン、パネルスイッチ、フットスイッチ、トラックボール、ジョイスティックなどからなる。表示部１１４は、操作部１１２における各種指示を入力するためのＧＵＩを表示したり、医用撮像装置１００において取得された医用データに基づく医用画像データを表示したりする。

図１では、情報端末１１０に対して、操作部１１２と表示部１１４が別体として設けられているが、情報端末１１０は、操作部１１２と表示部１１４の機能を内部に有していてもよい。

医用撮像装置１００は、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、超音波診断装置などの被検者の医用データを取得する装置である。

Ｘ線ＣＴ装置は、Ｘ線源とＸ線検出器を備えている。Ｘ線源とＸ線検出器とを被検者の周りで回転させながら、Ｘ線源からＸ線を被検者に照射してＸ線検出器で検出したデータを投影することによってＣＴ画像データを生成する。

ＭＲＩ装置は、静磁場内に載置された被検者に対して所定の磁場を発生させ、取得されたデータに対してフーリエ変換することによってＭＲＩ画像データを生成する。

超音波診断装置は、被検者に対して超音波を送信し、被検者からの反射波である超音波を受信して超音波画像データを生成する。

医用撮像装置１００によって生成される医用データ（ＣＴ画像データ、ＭＲＩ画像データ、超音波画像データなど）は、三次元データ（ボリュームデータ）、二次元データである。医用データは、例えば、被検者に関する医用画像データである。医用画像データには、生データも含まれる。医用画像データは、複数のフレームデータからなる動画像データであってもよい。また、医用データには、医用画像データを用いて各種計測を行った計測データも含まれる。

医用撮像装置１００は、情報端末１１０に接続されている。情報端末１１０は、ＰＣ端末、スマートフォンなどの携帯電話、ノート端末、タブレット端末などである。情報端末１１０は、被検者情報を設定することもでき、医用撮像装置１００から取得される医用データと被検者情報を関連付けることができる。情報端末１１０は、医用撮像装置１００から取得される医用データ、計測データの各種データを表示することもできる。

情報端末１１０及び複数の情報処理装置１３０、１３２、１３４・・・は、ネットワーク１２０に接続されている。ネットワーク１２０は、病院外の通信ネットワーク、例えば、無線通信（Ｗｉ－Ｆｉ）、インターネット、無線基地局、プロバイダ、通信回線などを含む。また、ネットワーク１２０は、病院内の通信ネットワークであるイントラネットなどを含んでいてもよい。情報端末１１０は、ネットワーク１２０を介して、複数の情報処理装置１３０、１３２、１３４・・・に接続され、通信することができる。情報端末１１０は、医用データ（医用画像データを含む）を複数の情報処理装置１３０、１３２、１３４・・・に伝達することができる。複数の情報処理装置１３０、１３２、１３４・・・は、医用データ（医用画像データを含む）を用いて推論を行った推論結果を情報端末１１０に伝達することができる。

ここで、情報端末１１０は、複数の情報処理装置１３０、１３２、１３４・・・から、少なくとも１つの情報処理装置を選択する選択部を備える。ここでは、情報処理装置１３０が選択されたとする。情報端末１１０は、選択部で選択された情報処理装置１３０に医用画像データを送信する。情報処理装置１３０は、送信された医用画像データに対して推論を行ない、推論結果を情報端末１１０に送信する。

図２は、本発明の情報処理装置１３０の構成を示す。他の情報処理装置１３２、１３４・・・は、情報処理装置１３０と同様の構成である。ここでは、情報処理装置１３０について、説明する。

情報処理装置１３０は、医用画像データを用いて教師データを生成する教師データ生成部２００と、教師データ生成部２００において生成された教師データを用いて、医用画像データに関する学習を行う学習部２０２と、学習部２０２において生成された学習済みモデルを記憶する記憶部２０４と、学習済みモデルを用いて推論を行う推論部２０６を備えている。

情報処理装置１３０の構成要素（機能）は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサが、メモリに記憶されたプログラム（ソフトウェア）を実行することにより実現される。

情報処理装置１３０は、プロセッサとメモリを内部に有している。プロセッサは、メモリに記憶されたプログラムに従って、情報処理装置１３０の各処理を実行することができ、教師データ生成部２００、学習部２０２、記憶部２０４、推論部２０６などとして機能させることができる。

教師データ生成部２００は、ネットワーク１２０に接続されており、医用画像データ、計測データなどを含む医用データを取得することができる。教師データ生成部２００は、医用画像データを用いて教師データを生成する。教師データ生成部２００によって生成される教師データは、ニューラルネットワークが行う推論のタスクや分類の対象に応じて決定される。

ニューラルネットワークが行う推論のタスクとしては、医用画像データのクラスを分類する分類タスクや、医用画像データのどの位置に何が写り込んでいるかを検出する検出のタスク、医用画像データから対象の領域を抽出するセグメンテーションのタスク等が挙げられる。

分類のタスクを行うニューラルネットワークを学習する際には、教師データ生成部２００は、医用画像データと、医用画像データに写り込んでいる対象を示すラベルである正解ラベルとを対にした教師データを生成する。

一方、ニューラルネットワークによって検出のタスクを行う場合には、教師データ生成部２００は、医用画像データと、医用画像データに対して、医用画像データに写り込んでいる対象の位置を示すＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と対象を示すラベルである正解ラベルを付与した正解画像とを対にした教師データを生成する。

ニューラルネットワークによって行うタスクがセグメンテーションの場合には、教師データ生成部２００は、医用画像データと、医用画像データに対して、医用画像データに写り込んでいる対象の画素の位置情報と、対象を示すラベルである正解ラベルを付与した正解画像とを対にした教師データを生成する。

例えば、情報端末１１０から取得された医用画像データから、病変の有無、病変の種類及び領域をセグメンテーションするタスクを行うニューラルネットワークに学習させる場合には、教師データ生成部２００は、病変領域を有する医用画像データと、医用画像データに対して病変の種類を示す正解ラベルの情報と該病変の画素の位置情報と付与した正解画像とを対にした教師データを生成する。

また、教師データ生成部２００は、学習部２０２で学習を行うニューラルネットワークに応じて、医用画像データの前処理を行ってもよい。例えば、ニューラルネットワークによる推論の対象が医用画像データである場合には、取得した医用画像データに対して、ノイズ除去や、フィルタ処理、画像の切り出し、解像度の変更等の処理を行う。推論の対象が文章等の自然言語であった場合には、形態素解析を行い、ベクトル変換技術を適用する等、ニューラルネットワークの推論の対象と、タスクに応じて、教師データ生成部２００は処理対象のデータの前処理を行う。

なお、図２では、教師データ生成部２００は、情報処理装置１３０の内部に有している形態を示したが、情報端末１１０は、教師データ生成部２００を内部に有していてもよい。つまり、教師データ生成部２００は、情報端末１１０の構成として保有されていてもよい。例えば、上述したような教師データを情報端末１１０で生成した後に、ネットワーク１２０を介して、情報処理装置１３０の学習部２０２によって推論器の学習を行ってもよい。

学習部２０２は、教師データ生成部２００と接続されている。学習部２０２は、ニューラルネットワークを用いて、医用画像データを教師データと対応づけて学習することにより学習済みモデルを生成する。ここで、学習済みモデルは、学習処理を所定基準まで実施することにより決定されたパラメータと該パラメータに対応するモデルの情報とを示す。なお、学習済みモデルは、転移学習として他のモデルの学習に用いられても、該学習済みモデルに対してさらに学習処理が実行されてもよい。

ニューラルネットワークには、複数の層が含まれる。ニューラルネットワークの中でも、特にディープラーニング技術の一種であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）において、図示はしないが、入力層と出力層との間に複数の中間層を有している。複数の中間層は、畳み込み層、プーリング層、アップサンプリング層、合成層がある。畳み込み層は、入力値群に対して畳み込み処理を行う層である。畳み込み層では、入力された医用画像データの畳み込みを行い、医用画像データの特徴を抽出する。

プーリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。合成層は、ある層の出力値群や医用画像データを構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。中間層の数は、学習内容に応じて、随時変更することができる。

記憶部２０４は、学習部２０２に接続されている。記憶部２０４には、例えば医用画像データにおける病変の種類及び領域を抽出するように学習された学習済みモデルが記憶される。学習済みモデルは、例えば、ニューラルネットワークを用いて生成されたものであるが、ニューラルネットワーク技術の中でもディープラーニング技術の一つであるＣＮＮやＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やＣＮＮやＲＮＮを派生させたモデル以外にも、サポートベクターマシンやロジスティック回帰、ランダムフォレスト等の他の機械学習技術を用いてもよいし、ルールベースに基づく手法を用いてもよい。

推論部２０６は、ネットワーク１２０に接続されており、医用画像データ、計測データなどを含む医用データを取得することができる。推論部２０６は、記憶部２０４に接続されており、記憶部２０４に記憶された学習済みモデルを用いて推論を行うことができる。

推論部２０６は、例えば医用画像データにおける病変の種類及び領域を抽出するように学習された学習済みモデルを用いて、新たに生成された医用画像データに対して推論を行う。新たに生成された医用画像データに病変がある場合、推論部２０６は、病変の種類及び領域を出力することができる。

図３は、本発明の記憶部２０４の構成を示す。記憶部２０４は、学習部２０２において学習された学習済みモデルと付帯情報を記憶する。具体的には、記憶部２０４は、学習部２０２において学習された第一の学習済みモデル３００に対して第一の付帯情報３１０を付与し、第一の学習済みモデル３００を記憶する。記憶部２０４は、学習部２０２において学習された第二の学習済みモデル３０２に対して第二の付帯情報３１２を付与し、第二の学習済みモデル３０２を記憶する。記憶部２０４は、学習部２０２において学習された第三の学習済みモデル３０４に対して第三の付帯情報３１４を付与し、第三の学習済みモデル３０４を記憶する。

なお、図３では、３つの学習済みモデルを付帯情報とともに記憶部２０４に記憶する形態を示したが、記憶部２０４は、４つ以上の学習済みモデルを付帯情報とともに記憶することもできる。また、複数の学習済みモデルのそれぞれは、推論するタスク、分類対象を示すクラス、モデル構造、教師データのいずれか一つが異なっているものする。各学習済みモデルに付与される付帯情報に基づいてそれぞれの学習済みモデルを指定したり、学習済みモデルを特定したりすることができる。推論部２０６は、情報端末１１０からの入力に応じて、付帯情報に基づいて適切な学習済みモデルを選択し、選択された学習済みモデルを用いて、情報端末１１０から取得される推論対象のデータに対して推論処理を実行する。

付帯情報は、学習済みモデルを用いて推論できる部位、医用撮像装置の種類（医用画像データの種類）、診断目的（診断項目）、学習データの種類などの情報が含まれている。付帯情報の詳細は後述する。

図４は、本発明の情報端末１１０の構成を示す。情報端末１１０は、情報処理装置を選択する機能、推論処理の前処理を行う機能、情報を送受信する機能などを有している。情報端末１１０では、推論処理は行わず、情報処理装置１３０、１３２、１３４・・・によって、推論処理が行われる形態を示している。

情報端末１１０は、医用撮像装置１００から医用画像データを取得する画像取得部４００と、医用画像データに対して各種処理を行う処理部４０２と、処理部４０２によって処理された医用画像データを情報処理装置１３０などの外部装置に、ネットワーク１２０を介して、送信する送受信部４０４を備えている。送受信部４０４は、情報処理装置１３０などの外部装置から送信された情報を、ネットワーク１２０を介して、受信する。表示部１１４は、医用画像データに基づく医用画像と、情報処理装置１３０などの外部装置から送信された情報を表示する。処理部４０２は、画像取得部５０２によって取得された医用画像データに対してノイズ除去処理、階調変換処理などを行う。

また、情報端末１１０は、複数の情報処理装置１３０、１３２、１３４・・・から、少なくとも１つの情報処理装置を選択する選択部４０６を備えている。選択部４０６は、情報端末１１０から医用画像データを送信し、推論を行う情報処理装置を選択する。送受信部４０４は、選択部４０６によって選択された情報処理装置から送信された情報を、ネットワーク１２０を介して、受信する。つまり、選択部４０６は、医用画像データに対して推論を行う情報処理装置を選択する。複数の情報処理装置１３０、１３２、１３４・・・が異なるクラウドに存在しており、クラウドの接続形式が異なる場合、送受信部４０４は、クラウドの接続形式（物理接続型、論理接続型など）を変更する。このように、クラウドの接続形式が変更され、送受信部４０４は、選択部４０６によって選択された情報処理装置と接続する。物理接続型は、例えば、送受信部４０４に該当するルーターとパブリッククラウドを専用線で物理的に接続する形式である。論理接続型は、送受信部４０４と、例えば、ＰＤＮ（Ｐａｃｋｅｔ Ｄａｔａ Ｎｅｔｗｏｒｋ）接続を行う形式である。

図５は、本発明の表示部１１４における画面表示形態の一例を示す。表示部１１４は、情報処理装置を選択するための選択画面５０４を表示する。操作者は、選択画面５０４に表示されている複数の情報処理装置から、少なくとも１つの情報処理装置を選択することができる。選択画面５０４は、情報処理装置を選択する選択部４０６となる。

表示部１１４は、診断部位、診断部位に対応する診断目的を選択する選択画面５００、５０２を表示する。ここでは、診断部位として、肺、肝臓、心臓、腎臓が表示されている。これは、ネットワーク１２０に接続されている複数の情報処理装置１３０、１３２、１３４・・・が推論することができる部位である。情報端末１１０は、複数の情報処理装置から、それぞれの情報処理装置が推論できる部位に関する付帯情報を取得する。情報端末１１０は、医用画像データに対して推論を実行（依頼）する際、ネットワーク１２０に接続されている複数の情報処理装置１３０、１３２、１３４・・・に問い合わせる。そして、情報端末１１０は、複数の情報処理装置１３０、１３２、１３４・・・から、複数の情報処理装置１３０、１３２、１３４・・・が推論することができる部位を取得する。なお、情報端末１１０は、それぞれの情報処理装置が推論できる部位に関する付帯情報を予め記憶していてもよい。また、情報端末１１０は、複数の情報処理装置１３０、１３２、１３４・・・から、それぞれの情報処理装置が推論できる医用撮像装置の種類、診断目的（診断項目）、学習データの種類、認識率、推論件数、満足度などに関する付帯情報を取得してもよい。

情報端末１１０は、複数の情報処理装置から、それぞれの情報処理装置が推論できる部位に関する付帯情報を取得し、表示部１１４は、部位情報を表示する。つまり、表示部１１４は、それぞれの情報処理装置における付帯情報に基づいて、それぞれの情報処理装置において推論することができる部位を表示する。そのため、操作者は、肺、肝臓、心臓、腎臓については、推論することができ、膵臓、頭部などの他の部位については、推論することができないことを認識することができる。

表示部１１４において表示される選択画面５００には、診断部位に対応するタグが表示されている。また、選択画面５０２には、診断目的（診断項目）に対応したアイコンが表示されている。操作者は、診断部位に対応するタグを選択画面５００から選択することにより、診断部位を選択することができる。そして、操作者は、診断目的に対応するアイコンを選択画面５０２から選択することにより、診断目的を選択することができる。

表示部１１４において表示される選択画面５０２には、診断目的として、肺炎、肺結節、肺がん、ＡＬＬが表示されている。これは、ネットワーク１２０に接続されている複数の情報処理装置１３０、１３２、１３４・・・が推論することができる診断目的である。情報端末１１０は、複数の情報処理装置から、それぞれの情報処理装置が推論できる診断目的に関する付帯情報を予め取得している。そして、情報端末１１０は、複数の情報処理装置から、それぞれの情報処理装置が推論できる診断目的（病変情報）に関する付帯情報を取得する。また、情報端末１１０は、それぞれの情報処理装置が推論することができる診断目的（病変情報）に関する付帯情報を記憶していてもよい。表示部１１４は、それぞれの情報処理装置における付帯情報に基づいて、推論することができる診断目的を表示することができる。そのため、操作者は、肺炎、肺結節、肺がんについては、推論することができ、気胸などの他の診断目的については、推論するできないことを認識することができる。

操作者は、診断目的に対応するアイコンを選択することにより、肺炎を検出する情報処理装置、肺結節を検出する情報処理装置、肺がんを検出する情報処理装置を抽出することができる。また、操作者は、ＡＬＬアイコンを選択することにより、肺疾患全般に対応することができる情報処理装置を抽出することができる。

ここでは、肺がんに対応するアイコンが選択されている。情報端末１１０は、複数の情報処理装置（記憶部）の付帯情報（診断目的）を参照することにより、肺がんに対応する情報処理装置を抽出することができる。選択画面５０４には、肺がんを推論することができる情報処理装置が表示される。ここでは、情報処理装置１３４、１３６、１３８が表示される。表示部１１４は、肺がんの診断目的に対応する複数の情報処理装置１３４、１３６、１３８を表示することができる。操作者は、複数の情報処理装置１３４、１３６、１３８から、少なくとも１つの情報処理装置を選択する。操作者は、カーソル５０６を用いて情報処理装置を選択することができる。

情報端末１１０の選択部４０６において、情報処理装置１３８が選択された場合、情報端末１１０は、選択部４０６で選択された情報処理装置１３８に医用画像データを送信する。情報処理装置１３８は、送信された医用画像データに対して推論を行ない、推論結果を情報端末１１０に送信する。このとき、情報処理装置１３８は、医用画像データにおける肺がんを抽出するように学習された学習済みモデルを用いて、情報端末１１０から送信された医用画像データに対して推論を行う。情報端末１１０から送信された医用画像データに肺がんの病変がある場合、情報処理装置１３８は、肺がんに関する診断名と領域情報を情報端末１１０に送信する。

表示部１１４は、医用画像データに基づく医用画像５１０を表示する。医用画像５１０は、ＣＴ画像（三次元ボリュームデータ）の複数のスライス画像である。情報処理装置１３８は、情報端末１１０から送信された医用画像データに対して、肺がんに対応する学習済みモデルを用いて推論を行う。図５に示すように、例えば、情報処理装置１３８の推論部が、ＣＴ画像において、肺がんを検出した場合、情報処理装置１３８は、肺がんに関する診断名と領域情報を情報端末１１０に送信する。表示部１１４は、肺がんを検出した検出情報５１４を表示する。また、表示部１１４は、肺がんを検出した領域５１２を表示する。

選択画面５０４には、肺がんを推論することができる複数の情報処理装置１３４、１３６、１３８が表示される。情報端末１１０の選択部４０６は、複数の情報処理装置１３４、１３６、１３８の付帯情報に基づいて、少なくとも１つの情報処理装置を選択してもよい。具体的には、情報端末１１０の選択部４０６は、複数の情報処理装置１３４、１３６、１３８の付帯情報に基づく情報（パラメータ）から、自動的に情報処理装置を選択することもできる。例えば、選択部４０６は、複数の情報処理装置１３４、１３６、１３８の付帯情報における認識率を比較し、最も高い認識率を有する情報処理装置１３６を選択する。選択部４０６は、複数の情報処理装置１３４、１３６、１３８の付帯情報における推論件数を比較し、最も推論件数が多い情報処理装置１３６を選択する。また、付帯情報に基づく情報（例えば、認識率 ｏｒ 推論件数）は、操作者が任意に選択することができる。

なお、複数の情報処理装置を用いて推論を行うこともできる。操作者は、複数の情報処理装置１３４、１３６、１３８から、カーソル５０６を用いて複数の情報処理装置１３６、１３８を選択する。情報端末１１０は、選択部４０６が選択した複数の情報処理装置１３６、１３８に医用画像データを送信する。選択部４０６が選択した複数の情報処理装置１３６、１３８は、学習済みモデルを用いて、送信された医用画像データに対して推論をそれぞれ行なう。複数の情報処理装置１３６、１３８は、医用画像データに対して推論が行われた複数の推論結果を、情報端末１１０にそれぞれ送信する。情報端末１１０は、複数の情報処理装置１３６、１３８から送信された複数の推論結果を統合する。表示部１１４は、医用画像データとともに、統合された推論結果を表示する。

図６は、本発明の表示部１１４における画面表示形態の一例を示す。図５と異なる点は、選択画面５０２において肺炎が選択されている点である。

情報端末１１０は、複数の情報処理装置（記憶部）の付帯情報（診断目的）を参照することにより、肺炎に対応する情報処理装置を抽出することができる。選択画面５０４には、肺炎を推論することができる情報処理装置が表示される。ここでは、情報処理装置１３４、１３８が表示される。表示部１１４は、肺炎の診断目的に対応する複数の情報処理装置１３４、１３８を表示することができる。操作者は、複数の情報処理装置１３４、１３８から、少なくとも１つの情報処理装置を選択する。操作者は、カーソル５０６を用いて情報処理装置を選択することができる。

情報端末１１０の選択部４０６において、情報処理装置１３４が選択された場合、情報端末１１０は、選択部４０６で選択された情報処理装置１３４に医用画像データを送信する。情報処理装置１３４は、送信された医用画像データに対して推論を行ない、推論結果を情報端末１１０に送信する。このとき、情報処理装置１３４は、医用画像データにおける肺炎を抽出するように学習された学習済みモデルを用いて、情報端末１１０から送信された医用画像データに対して推論を行う。情報端末１１０から送信された医用画像データに肺炎の病変がある場合、情報処理装置１３８は、肺炎に関する診断名と領域情報を情報端末１１０に送信する。

表示部１１４は、医用画像データに基づく医用画像６１０を表示する。医用画像６１０は、ＣＴ画像（三次元ボリュームデータ）の複数のスライス画像である。情報処理装置１３４は、情報端末１１０から送信された医用画像データに対して、肺炎に対応する学習済みモデルを用いて推論を行う。図６に示すように、例えば、情報処理装置１３８の推論部が、ＣＴ画像において、肺炎を検出した場合、情報処理装置１３８は、肺炎に関する診断名と領域情報を情報端末１１０に送信する。表示部１１４は、肺炎を検出した検出情報６１４を表示する。また、表示部１１４は、肺炎を検出した領域６１２を表示する。

ここで、図６に示す、選択画面５０４には、肺炎を推論することができる情報処理装置が表示される。ここでは、情報処理装置１３４、１３８と、情報処理装置１３４、１３８の性質に関する情報が表示されている。図６に示す、選択画面５０４には、肺炎を推論することができる情報処理装置が表示される。ここでは、情報処理装置１３４、１３８と、情報処理装置１３４、１３８の性質に関する情報が表示されている。選択画面５０４には、肺炎を推論することができる複数の情報処理装置１３４、１３８が表示される。情報端末１１０の選択部４０６は、複数の情報処理装置１３４、１３８の付帯情報（例えば、認識率）に基づいて、情報処理装置を選択してもよい。

図７は、複数の情報処理装置１３０～１３８の性質を示す図である。複数の情報処理装置１３０～１３８の性質は、部位、診断目的、医用撮像装置、学習データの種類、認識率、推論（実績）件数、操作者の満足度などがある。推論件数、認識率は、それぞれの情報処理装置の推論に関する統計情報である。

情報処理装置１３０の診断部位は、肝臓、心臓であり、診断目的は、肝炎、狭心症、心筋梗塞などの診断の病変情報である。情報処理装置１３０で処理することができる医用撮像装置は、ＣＴ、ＭＲＩの医用画像データである。学習データの種類は、Ａである。肝炎、狭心症、心筋梗塞における病変の認識率は、８２％である。推論件数は、５０００件である。満足度は、☆２つである。

このように、情報端末１１０は、ネットワーク１２０に接続されている複数の情報処理装置１３０～１３８の性質に対応する付帯情報を記憶している。複数の情報処理装置１３０～１３８は、情報端末１１０からの医用画像データに対して、推論に利用することができる情報処理装置である。情報端末１１０は、複数の情報処理装置から、それぞれの情報処理装置が推論できる診断目的に関する付帯情報を予め取得している。

表示部１１４は、複数の情報処理装置１３０～１３８に対応する付帯情報を表示することにより、操作者は、複数の情報処理装置１３０～１３８から、少なくとも１つの情報処理装置を選択することができる。

情報端末１１０は、複数の情報処理装置１３０～１３８において、診断部位および診断目的に対応する付帯情報を記憶しているため、操作者は、図５、６に示すように、診断部位および診断目的に合わせて、情報処理装置を選択することができる。

情報端末１１０は、複数の情報処理装置１３０～１３８において、医用撮像装置に対応する付帯情報を記憶しているため、操作者は、医用撮像装置に合わせて、複数の情報処理装置１３０～１３８から情報処理装置を選択することができる。

例えば、情報端末１１０は、複数の情報処理装置１３０～１３８において、認識率に対応する付帯情報を記憶しているため、操作者は、複数の情報処理装置１３０～１３８から、認識率が高い情報処理装置を選択することができる。

また、情報端末１１０は、複数の情報処理装置１３０～１３８において、推論（実績）件数に対応する付帯情報を記憶しているため、操作者は、複数の情報処理装置１３０～１３８から、推論（実績）件数が高い情報処理装置を選択することができる。

また、情報端末１１０は、複数の情報処理装置１３０～１３８において、操作者の満足度に対応する付帯情報を記憶しているため、操作者は、複数の情報処理装置１３０～１３８から、操作者の満足度が高い情報処理装置を選択することができる。

図８用いて、本発明の推論フェーズの動作を説明する。

Ｓ８００：医用撮像装置１００は、被検者の撮像を行い、医用画像データを取得する。情報端末１１０（画像取得部４００）は、医用撮像装置１００から医用画像データを取得する。

Ｓ８０２：情報端末１１０は、診断部位および診断目的を取得する。操作者は、診断部位として、肺、肝臓、心臓、腎臓などから操作部１１２を介して選択する。診断目的は、診断部位に対応する病名であり、複数の情報処理装置１３０、１３２、１３４・・・が推論することができる診断目的（病名）である。操作者は、診断目的として、肺がん、肺炎などから操作部１１２を介して選択する。情報端末１１０は、操作部１１２から入力された選択情報から、診断部位および診断目的を取得する。

Ｓ８０４：情報端末１１０が、ネットワーク１２０を介して、複数の情報処理装置に接続されているか否かを選択する。情報端末１１０が複数の情報処理装置に接続されていない場合（１つの情報処理装置に接続されている場合）、Ｓ８０６に進む。情報端末１１０が複数の情報処理装置に接続されている場合、Ｓ８０８に進む。

Ｓ８０６：情報端末１１０は、ネットワーク１２０に接続された情報処理装置（１つ）に医用画像データを送信する。情報処理装置は、学習済みモデルを用いて、医用画像データに対して推論を行なう。情報処理装置は、医用画像データに対して推論が行われた推論結果を、情報端末１１０に送信する。表示部１１４は、医用画像データとともに、医用画像データに対して推論を行なわれた推論結果を表示する。

Ｓ８０８：情報端末１１０は、ネットワーク１２０に接続された複数の情報処理装置から、少なくとも１つの情報処理装置を選択する。操作者が操作部１１２を介して、情報処理装置を手動で選択してもよいし、情報端末１１０が情報処理装置の付帯情報に基づく情報（パラメータ）、推論に基づく統計情報に基づいて、情報処理装置を自動で選択してもよい。

Ｓ８１０：情報端末１１０は、ネットワーク１２０に接続され、選択された情報処理装置に医用画像データを送信する。選択された情報処理装置は、学習済みモデルを用いて、医用画像データに対して推論を行なう。選択された情報処理装置は、医用画像データに対して推論が行われた推論結果を、情報端末１１０に送信する。表示部１１４は、医用画像データとともに、医用画像データに対して推論を行なわれた推論結果を表示する。

以上、本発明の情報処理システムは、医用撮像装置１１０から医用画像データを取得する情報端末１１０と、学習済みモデルを用いて、医用画像データに対して推論を行う推論部を有した複数の情報処理装置１３０、１３２、１３４・・・と、複数の情報処理装置１３０、１３２、１３４・・・から、少なくとも１つの情報処理装置を選択する選択部４０６を備える。情報端末１１０は、選択部４０６で選択された情報処理装置に医用画像データを送信し、選択部２０６で選択された情報処理装置は、送信された医用画像データに対して推論を行ない、推論結果を情報端末１１０に送信する。

また、本発明の情報端末１１０は、医用画像データに対して推論を行う推論部を有した複数の情報処理装置１３０、１３２、１３４・・・から、少なくとも１つの情報処理装置を選択する選択部と、選択部４０６で選択された情報処理装置に医用画像データを送信し、情報処理装置によって医用画像データに対して推論を行われた推論結果を受信する送受信部４０４とを備える。

よって、複数の情報処理装置から、少なくとも１つの情報処理装置を選択して、推論を行うことができる。

次に、実施例２について説明する。実施例１と異なる点は、選択部４０６は、複数の情報処理装置が推論した過去の推論情報（推論履歴）に基づいて、複数の情報処理装置から、少なくとも１つの情報処理装置を選択する点である。

具体的には、情報端末１１０は、複数の情報処理装置が推論した過去の推論情報（推論履歴）を記憶する。選択部４０６は、複数の情報処理装置が推論した過去の推論情報（推論履歴）から、複数の情報処理装置が推論した実績情報を取得し、少なくとも１つの情報処理装置を選択する。

例えば、選択部４０６は、複数の情報処理装置が推論した過去の推論件数に基づいて、複数の情報処理装置から、少なくとも１つの情報処理装置を選択する。

具体的には、選択部４０６は、複数の情報処理装置が推論した過去の推論件数を比較して、最も推論件数が多い情報処理装置を選択する。

また、複数の情報処理装置が推論した過去の推論件数を比較して、推論件数が多い順に情報処理装置を選択することもできる。選択部４０６は、推論件数が多い順に３つの情報処理装置を選択してもよい。情報端末１１０は、選択部４０６が選択した複数の情報処理装置に医用画像データを送信する。複数の情報処理装置は、学習済みモデルを用いて、医用画像データに対して推論を行なう。複数の情報処理装置は、医用画像データに対して推論が行われた推論結果を、情報端末１１０にそれぞれ送信する。情報端末１１０は、複数の情報処理装置から送信された推論結果を統合する。表示部１１４は、医用画像データとともに、統合された推論結果を表示する。

また、選択部４０６は、医用撮像装置１００から取得された医用画像データの種類と、複数の情報処理装置が推論した過去の推論情報に基づいて、複数の情報処理装置から、少なくとも１つの情報処理装置を選択することもできる。具体的には、医用画像データの種類がＣＴ画像データである場合、複数の情報処理装置において推論した対象画像にＣＴ画像データが含まれている場合、その情報処理装置を選択する。

選択部４０６は、医用撮像装置１００から取得された医用画像データの種類と、複数の情報処理装置のうち少なくとも１つの情報処理装置が推論した医用画像データの種類とが一致する場合、該一致する少なくとも１つの情報処理装置を選択する。

以上、本実施例によれば、選択部４０６は、複数の情報処理装置が推論した過去の推論情報（推論履歴）に基づいて、複数の情報処理装置から、少なくとも１つの情報処理装置を選択することができる。そのため、操作者は、過去の推論情報（推論履歴）で用いられた情報処理装置を選択して、推論を行うことができる。

上記実施例の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体（図示しない。）を介してコンピュータに供給し、当該コンピュータプログラムを実行させることができる。上述した情報処理方法をコンピュータに実行させるためのコンピュータプログラムである。つまり、コンピュータプログラムは、コンピュータで情報処理装置の機能を実現するためのプログラムである。記憶媒体は、当該コンピュータプログラムを記憶している。

１００ 医用撮像装置
１１０ 情報端末
１１２ 操作部
１１４ 表示部
１２０ ネットワーク
１３０ 情報処理装置
１３２ 情報処理装置
１３４ 情報処理装置
４００ 画像取得部
４０２ 処理部
４０４ 送受信部
４０６ 選択部

Claims (20)

1. 医用撮像装置から医用画像データを取得する情報端末と、
   前記医用画像データに対して推論を行う推論部を有した複数の情報処理装置と、
   前記複数の情報処理装置から、少なくとも１つの情報処理装置を選択する選択部を備え、
   前記情報端末は、前記選択部で選択された情報処理装置に前記医用画像データを送信し、前記選択部で選択された情報処理装置は、送信された前記医用画像データに対して推論を行ない、推論結果を前記情報端末に送信することを特徴とする情報処理システム。
2. 前記情報端末は、前記選択部を有していることを特徴とする請求項１に記載の情報処理システム。
3. 前記情報端末は、ネットワークを介して、前記複数の情報処理装置に接続されていることを特徴とする請求項１に記載の情報処理システム。
4. 前記情報端末は、前記選択部で選択された情報処理装置に前記医用画像データを送信し、前記情報処理装置によって前記医用画像データに対して推論を行われた推論結果を受信する送受信部とを備えることを特徴とする請求項１に記載の情報処理システム。
5. 前記情報端末は、前記複数の情報処理装置から、それぞれの情報処理装置が推論できる部位に関する付帯情報を取得することを特徴とする請求項１に記載の情報処理システム。
6. 前記情報端末は、それぞれの情報処理装置が推論できる部位に関する付帯情報を予め記憶することを特徴とする請求項１に記載の情報処理システム。
7. 前記付帯情報に基づいて、推論できる部位に対応する複数の情報処理装置を表示する表示部を備えることを特徴とする請求項５又は６に記載の情報処理システム。
8. 前記情報端末は、前記複数の情報処理装置から、それぞれの情報処理装置が推論できる診断目的に関する付帯情報を取得することを特徴とする請求項１に記載の情報処理システム。
9. 前記情報端末は、それぞれの情報処理装置が推論できる診断目的に関する付帯情報を予め記憶することを特徴とする請求項１に記載の情報処理システム。
10. 前記付帯情報に基づいて、推論できる診断目的に対応する複数の情報処理装置を表示する表示部を備えることを特徴とする請求項８又は９に記載の情報処理システム。
11. 前記選択部は、前記複数の情報処理装置の付帯情報に基づいて、少なくとも１つの情報処理装置を選択することを特徴とする請求項１に記載の情報処理システム。
12. 前記選択部は、前記複数の情報処理装置の付帯情報における認識率を比較し、最も高い認識率を有する情報処理装置を選択することを特徴とする請求項１１に記載の情報処理システム。
13. 前記選択部は、前記複数の情報処理装置が推論した過去の推論情報に基づいて、前記複数の情報処理装置から、少なくとも１つの情報処理装置を選択することを特徴とする請求項１に記載の情報処理システム。
14. 前記選択部は、前記複数の情報処理装置が推論した過去の推論件数に基づいて、前記複数の情報処理装置から、少なくとも１つの情報処理装置を選択することを特徴とする請求項１に記載の情報処理システム。
15. 前記選択部は、前記医用撮像装置から取得された医用画像データの種類と、前記複数の情報処理装置が推論した過去の推論情報に基づいて、前記複数の情報処理装置から、少なくとも１つの情報処理装置を選択することを特徴とする請求項１に記載の情報処理システム。
16. 前記選択部は、前記医用撮像装置から取得された医用画像データの種類と、前記複数の情報処理装置のうち少なくとも１つの情報処理装置が推論した医用画像データの種類とが一致する場合、該一致する少なくとも１つの情報処理装置を選択することを特徴とする請求項１に記載の情報処理システム。
17. 前記選択部が複数の情報処理装置を選択した場合、
    前記情報端末は、前記選択部で選択された複数の情報処理装置に前記医用画像データを送信し、
    前記選択部で選択された複数の情報処理装置は、送信された前記医用画像データに対して推論をそれぞれ行ない、複数の推論結果を前記情報端末に送信し、
    前記情報端末は、複数の推論結果を統合することを特徴とする請求項１に記載の情報処理システム。
18. 医用撮像装置から医用画像データを取得するステップと、
    前記医用画像データに対して推論を行う推論部を有した複数の情報処理装置から、少なくとも１つの情報処理装置を選択するステップと、
    情報端末は、該選択された情報処理装置に前記医用画像データを送信し、該選択された情報処理装置は、送信された前記医用画像データに対して推論を行ない、推論結果を前記情報端末に送信するステップとを有する情報処理方法。
19. 請求項１８の情報処理方法をコンピュータに実行させるためのプログラム。
20. 医用撮像装置から医用画像データを取得する情報端末であって、
    前記医用画像データに対して推論を行う推論部を有した複数の情報処理装置から、少なくとも１つの情報処理装置を選択する選択部と、
    前記選択部で選択された情報処理装置に前記医用画像データを送信し、前記情報処理装置によって前記医用画像データに対して推論を行われた推論結果を受信する送受信部とを備えることを特徴とする情報端末。

Images