JP7408324B2 - 診断支援装置、診断支援システム、診断支援方法およびプログラム - Google Patents

Description

本発明は、診断支援装置、診断支援システム、診断支援方法およびプログラムに関する。

機械学習により構築される分類モデルは多様化しており、学習データとして入力されるデータも様々である。データの種類によって、学習データとして入力されるデータが取り得る値は連続値、離散値となることがある。そこで、特許文献１に示すように、学習データとして連続値と離散値の両方を含むデータを用いてモデルの学習を行う技術も提案されている。

特許第３８２１２２５号公報

分類モデルを用いてデータを分類する手法の１つに、学習済みである複数の分類モデルを直列に組み合わせることで最終的な分類結果を得る手法がある。この手法では、前段のモデルから出力される変数ごとの尤度を、連続値としてそのまま後段のモデルに入力するか、ワンホット（ｏｎｅ－ｈｏｔ）表現等に加工して離散値として後段のモデルに入力するかで、最終的な分類精度が変わる。

特許文献１に提案される技術を用いることで、データの種類ごとに尤度をそのまま（尤度形式）あるいはワンホット表現等に加工して（バイナリ形式）後段の分類モデルに入力することができる。しかしながら、分類精度は、前段の分類モデルと後段の分類モデルの関係や学習データの種類、分類対象のデータ等の種々の条件によって複雑に変化する。よって、これらの条件が変われば分類精度が低下する可能性がある。この結果、上記の分類モデルを用いて医用画像に対する推論を行っても、医師等の診断に資する精度よい推論結果を得ることはできない可能性がある。

本件開示の技術は、上記に鑑みて、推論精度を向上させることを目的とする。

本件開示の技術に係る診断支援装置は、
医用画像を取得する取得手段と、
医用画像を用いた機械学習により作成された分類モデルを用いて、前記取得された医用画像から所見情報を導出する所見導出手段と、
前記導出された所見情報における所見項目の確からしさを表す値のデータ形式を、第１のデータ形式と第２のデータ形式のいずれかのデータ形式に設定する設定手段と、
前記設定された所見情報に基づいて、前記取得された医用画像に対する推論を行う推論手段と、
を有することを特徴とする。
また、本件開示の技術に係る診断支援システムは、
医用画像を取得する取得手段と、
医用画像を用いた機械学習により作成された分類モデルを用いて、前記取得された医用画像から所見情報を導出する所見導出手段と、
前記導出された所見情報における所見項目の確からしさを表す値のデータ形式を、第１のデータ形式と第２のデータ形式のいずれかのデータ形式に設定する設定手段と、
前記設定された所見情報に基づいて、前記取得された医用画像に対する推論を行う推論手段と、
を有することを特徴とする。
また、本件開示の技術に係るプロセッサにより実行される診断支援方法は、
医用画像を取得するステップと、
医用画像を用いた機械学習により作成された分類モデルを用いて、前記取得された医用画像から所見情報を導出するステップと、
前記導出された所見情報における所見項目の確からしさを表す値のデータ形式を、第１のデータ形式と第２のデータ形式のいずれかのデータ形式に設定するステップと、
前記設定された所見情報に基づいて、前記取得された医用画像に対する推論を行うステップと
を有することを特徴とする。
また、本件開示の技術に係るプログラムは、
コンピュータに上記の診断支援方法を実行させる、ことを特徴とする。

本件開示の技術により、推論精度を向上させることができる。

第１実施形態に係る診断支援装置の機能構成を例示する図 第１実施形態に係る診断支援装置のハードウェア構成を例示する図 第１実施形態に係る診断支援装置による処理のフローチャートを例示する図 第１実施形態に係る診断支援装置が取得する情報を例示する図 第１実施形態に係る診断支援装置によるデータ形式の設定を例示する図 第１実施形態に係る診断支援装置が参照するテーブルを例示する図 第１実施形態に係る診断支援装置が表示する画面を例示する図 第２実施形態に係る診断支援装置の機能構成を例示する図 第２実施形態に係る診断支援装置による処理のフローチャートを例示する図 尤度形式のデータとバイナリ形式のデータを例示する図 画像から診断内容を取得するまでの処理の流れを例示する図

以下に、図面を参照しつつ、本件開示の技術の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置等は、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。特に図示あるいは記述をしない構成や工程には、当該技術分野の周知技術または公知技術を適用することが可能である。また、重複する説明は省略する場合がある。

（第１実施形態）
第１実施形態に係る医用画像診断支援システムについて説明する。医療の分野では、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｒ Ｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置等の撮影装置により得られた医用画像に基づいて診断を行う、画像診断が行われている。ここで、医師等が医用画像を観察して診断を導きだすことを読影という。例えば、主治医からの読影の依頼に応じて、画像診断を専門とする読影医が読影を行う。読影医は医用画像から得られる所見（以下、画像所見と称する。）や各種の測定値から総合的に判断して、医用画像に含まれる被検体である患者の病変や症状を特定する。また、読影医は、画像所見や測定値に基づく診断の経緯等を含む読
影レポートを作成する。このような読影を支援するために、コンピュータが医用情報を解析して得られた結果を提示するシステムが提案されている。

第１実施形態に係る診断支援装置１００は、読影の対象となる医用画像や、電子カルテ等に記載された情報等を取得し、コンピュータが診断の手掛かりとなる情報を提示することにより診断支援を行う。なお、以下の説明では、診断支援装置１００は、医用画像と、当該医用画像に付帯する付帯情報と、患者を特定する患者情報、撮影日や撮影部位等の撮影情報、患者の臨床情報を取得するものとする。本実施形態では、医用画像は患者の肺の異常陰影の読影に用いられる医用画像である。付帯情報は、異常陰影の位置を示す座標情報や等の医用画像に対する補足情報である。患者情報は、患者の氏名、年齢、性別等の患者を識別する情報である。撮影情報は、医用画像の撮影日、撮影装置、撮影部位等の撮影に関する情報である。臨床情報は、患者の病歴や腫瘍マーカーの血液検査値等の情報である。

そして、診断支援装置１００が、取得した情報を基に推論に使用する入力情報を生成し、入力情報から診断の手掛かりとなる情報をユーザ（医師等）に理解可能な形式で生成する場合を例として説明する。なお、本実施形態に係る診断支援装置１００による処理はこれに限定されるものではない。また、以下に説明する診断名や所見情報、臨床情報等は、いずれも診断支援装置１００の処理の工程を説明するための一例に過ぎない。

図１は、第１実施形態に係る診断支援システム１の機能構成の一例を示す図である。診断支援システム１は、診断支援装置１００と症例情報端末２００を有する。診断支援装置１００は、症例情報端末２００と通信可能に接続されている。診断支援装置１００は、入力情報生成部１０１と、所見情報生成部１０２と、推論部１０３と、表示制御部１０４とを有する。また、症例情報端末２００は、読影に用いられる症例に関する情報をサーバ（不図示）から取得する。症例に関する情報とは、例えば、医用画像、医用画像の撮影情報、電子カルテに記載された臨床情報や患者情報である。症例情報端末２００は、例えばＦＤＤ、ＨＤＤ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、ＺＩＰドライブ等の外部記憶装置（不図示）と接続し、外部記憶装置から症例に関する情報を取得するように構成されていてもよい。

図２は、診断支援装置１００のハードウェア構成の一例を示す図である。ＣＰＵ１１１は、主として診断支援装置１００内の各構成要素の動作を制御する。メインメモリ１１２は、ＣＰＵ１１１が実行する制御プログラムを格納したり、ＣＰＵ１１１によるプログラム実行時の作業領域を提供したりする。磁気ディスク１１３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する処理等を行う各種アプリケーションソフトウェアを実現するプログラムを格納する。ＣＰＵ１１１は、メインメモリ１１２、磁気ディスク１１３に格納されているプログラムを実行することにより、図１に示す入力情報生成部１０１、所見情報生成部１０２、推論部１０３、表示制御部１０４として機能する。表示メモリ１１４は、例えばモニタ３００に表示させる表示用データを一時記憶する。

診断支援装置１００は、Ｉ／Ｏインターフェイス１１６を介して、画像やテキスト等の表示を行う表示装置であるモニタ３００やユーザがポインティング入力や文字等の入力を行うために使用する入力装置４００に接続されている。モニタ３００は、例えばＣＲＴ（Ｃａｔｈｏｄ－ｒａｙ Ｔｕｂｅ）モニタや液晶モニタ等である。また、入力装置４００は、例えばマウス及びキーボード等である。

診断支援装置１００内の各構成要素は、共通バス１１６によって互いに通信可能に接続されている。診断支援装置１００は、上記の各部の処理を行う複数のＣＰＵを有していて
もよい。例えば診断支援装置１００は、以下に説明する推論部１０３として実行する処理を専用に行うＧＰＵを有していてもよいし、推論部１０３の機能がプログラムされたＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を有していてもよい。

次に、診断支援装置１００の各部について説明する。入力情報生成部１０１は、症例情報端末２００から受信した情報、例えば医用画像、臨床情報、付帯情報を用いて入力情報を生成する。ここで入力情報とは、推論部１０３に入力され、推論部１０３によって実行される推論に用いられる情報を要素とする、情報の集合である。また、入力情報生成部１０１は、症例情報端末２００から患者情報および撮影情報も受信する。入力情報生成部１０１が、医用画像を取得する取得手段の一例である。

所見情報生成部１０２は、入力情報生成部１０１から出力された医用画像および付帯情報に基づいて所見情報を生成し、生成した所見情報を入力情報生成部１０１に出力する。なお、所見情報生成部１０２は、医用画像上の異常陰影の位置を入力情報生成部１０１から出力された付帯情報に基づいて特定してもよいし、周知の画像処理を用いて特定してもよい。所見情報生成部１０２が、医用画像から所見情報を導出する所見導出手段の一例である。

本実施形態では、入力情報生成部１０１が医用画像と付帯情報を所見情報生成部１０２に出力し、所見情報生成部１０２が医用画像と付帯情報を基に所見情報を生成する。生成された所見情報は、所見情報生成部１０２から入力情報生成部１０１に出力される。そして、入力情報生成部１０１は、取得した所見情報と臨床情報を組み合わせて入力情報を生成し、生成した入力情報を推論部１０３に出力する。

図１１に、本実施形態の診断支援装置１００における、医用画像の推論処理の流れを模式的に示す。所見情報生成部１０２は、所見情報ごとに分類モデル（導出器）を有し、分類モデルから得られる所見情報の尤度を入力情報生成部１０１に出力する。入力情報生成部１０１は、所見情報生成部１０２から出力される尤度形式の所見情報を、そのまま尤度形式として出力するかあるいはバイナリ形式として設定して出力する。バイナリ形式が第１のデータ形式の一例であり、尤度形式が第２のデータ形式の一例である。また、入力情報生成部１０１が、導出された所見情報における所見項目の確からしさを表す値のデータ形式を、第１のデータ形式と第２のデータ形式のいずれかのデータ形式に設定する設定手段の一例である。入力情報生成部１０１は、データ形式を設定した所見情報を推論部１０３に出力する。推論部１０３は、推論器を有し、入力情報生成部１０１から出力される所見情報を基に、医用画像に含まれる部位に関する診断名の推論を行い、推論結果を出力する。

本実施形態では、推論部１０３は、入力情報生成部１０１が生成した入力情報を基に、対象とする症例に関する診断名を推論する。第１実施形態においては、肺の異常陰影に関する診断名の推論を例に説明する。推論部１０３は、医用画像に含まれる肺の異常陰影が、複数の診断名の候補それぞれに該当する確率を推論結果として取得する。そして、推論部１０３は、取得した推論結果を表示制御部１０４に出力する。なお、推論部１０３が、推論手段の一例である。

表示制御部１０４は、診断支援装置１００の各部や症例情報端末２００から取得した情報を表示する。具体的には、表示制御部１０４は、症例情報端末２００から医用画像を取得し、取得した情報をユーザが読影可能な形式でモニタ３００に表示する。そして、表示制御部１０４は、モニタ３００に表示される医用画像上に異常陰影が存在するとユーザが考える領域の座標情報の入力をユーザに要求するＧＵＩをモニタ３００に表示する。この
ＧＵＩを介してユーザが入力した情報は、医用画像の付帯情報として症例情報端末２００に送信される。また、症例情報端末２００は、付帯情報を医用情報とともに診断支援装置１００に送信する。また、表示制御部１０４は、推論部１０３が出力した推論結果をモニタ３００に表示してユーザに提示する。

なお、図１に示す診断支援装置１００の各部の少なくとも一部を独立した装置として構成してもよい。また、診断支援装置１００の各部は、１つ以上のソフトウェアを用いて実現されてもよい。なお、第１実施形態では、図１に示す診断支援装置１００の各部は、それぞれＣＰＵ１１１が実行するソフトウェアによって実現されているものとする。

次に、本実施形態において診断支援装置１００によって実行される処理について説明する。図３は、診断支援装置１００によって実行される処理の一例を示すフローチャートである。第１実施形態では、ＣＰＵ１１１がメインメモリ１１２に格納されている各部の機能を実現するプログラムを実行することにより、図３に示す各処理が実現される。

以下の説明では、各所見情報を所見名Ｆ_ｎ（ｎ＝１～Ｎ）を用いて所見情報Ｆ_ｎと表し、各臨床情報を臨床名Ｃ_ｊ（ｊ＝１～Ｊ）を用いて臨床情報Ｃ_ｊと表す。また、全所見情報の集合をＦ＝∪Ｆ_ｎ、全臨床情報の集合をＣ＝∪Ｃ_ｊで表す。各所見情報Ｆ_ｎは具体的な所見内容を示す所見項目（カテゴリ値）を有する。また、各臨床情報Ｃ_ｊは具体的な数値を示す実数値または具体的な臨床内容を示すカテゴリ値を有する。所見情報Ｆ_ｎと臨床情報Ｃ_Ｊがカテゴリ値を有する場合は、それぞれのカテゴリ値をｆ_ｎｋ、ｃ_ｊｋで表す。この場合、所見情報Ｆ_ｎにおけるカテゴリ値の集合をＦ_ｎ＝∪ｆ_ｎｋ、臨床情報Ｃ_ｊにおけるカテゴリ値の集合をＣ_ｊ＝∪ｃ_ｊｋで表す。なお、ｋの値は所見情報や臨床情報に応じて決まる。また、臨床情報Ｃ_jが実数値を有する場合は、それぞれの実数値をｃ_ｊで表
す。

所見情報および／または臨床情報がカテゴリ値を有する場合、各カテゴリ値の確からしさを尤度で示すデータ形式と各カテゴリ値の確からしさをバイナリ値（０又は１：２値）で示すデータ形式のいずれかのデータ形式が採用される。以下の説明では、各カテゴリ値の確からしさを尤度で示すデータ形式を尤度形式と称し、各カテゴリ値の確からしさをバイナリ値で示すデータ形式をバイナリ形式と称する。また、尤度形式であることをＬ（）を用いて表し、バイナリ形式であることをＢ（）を用いて表す。例えば、所見情報Ｆ_ｎが有するカテゴリ値の確からしさを尤度形式で表す場合は、Ｌ（Ｆ_ｎ）と表され、Ｌ（Ｆ_ｎ）＝｛Ｌ（ｆ_ｎ１），Ｌ（ｆ_ｎ２），…，Ｌ（ｆ_ｎｋ）｝（ｆ_ｎｋは各カテゴリ値）が成り立つ。また、所見情報Ｆ_ｎが有するカテゴリ値の確からしさをバイナリ形式で表す場合は、Ｂ（Ｆ_ｎ）と表され、Ｂ（Ｆ_ｎ）＝｛Ｂ（ｆ_ｎ１），Ｂ（ｆ_ｎ２），…，Ｂ（ｆ_ｎｋ）｝（ｆ_ｎｋは各カテゴリ値）が成り立つ。

図４は、第１実施形態における所見情報と臨床情報におけるカテゴリ値とその確からしさを表す値との対応関係の一例を示す。図４に示すように、所見情報Ｆ_１の「形状」は、ｆ_１１「球形」、ｆ_１２「分葉状」、ｆ_１３「多角形」、ｆ_１４「不整形」の４種類のカテゴリ値を有する。また、所見情報Ｆ_２の「切れ込み」は、ｆ_２１「強い」、ｆ_２２「弱い」、ｆ_２３「なし」の３種類のカテゴリ値を有する。また、臨床情報Ｃ_１の「発熱」は、ｃ_１１「あり」、ｃ_１２「なし」の２種類のカテゴリ値を有する。また、臨床情報Ｃ_Ｊの「ＣＥＡ」（腫瘍マーカーの一種）は、連続値である実数値ｃ_Ｊを有する。

また、以下の説明では入力情報をＥ_ｆで表す。Ｅ_ｆはすべての所見情報および臨床情報で構成され、Ｅ_ｆ＝Ｆ∪Ｃで表される。図４に例示する所見情報と臨床情報とカテゴリ値を用いる場合、Ｅ_ｆ＝｛ｆ_１１，ｆ_１２，ｆ_１３，ｆ_１４，ｆ_２１，…，ｆ_Ｎ１，ｆ_Ｎ２，ｆ_Ｎ３，ｃ_１１，ｃ_１２，ｃ_２１，ｃ_２２，ｃ_３１，…，ｃ_ｊ｝が成り立つ。また、入
力情報の要素ごとに、尤度形式とバイナリ形式のいずれのデータ形式も用いることができる。

さらに、以下の説明では、診断名をＤで表す。第１実施形態では、推論部１０６が肺の異常陰影に関する診断名の推論を行い、推論される診断名は「原発性肺癌」、「癌の肺転移」、「その他」の３つ診断名のいずれかであるとする。以下では、診断名をｄ_ｕ（ｕ＝１，２，３）で表す。また、ｄ_１は「原発性肺癌」、ｄ_２は「癌の肺転移」、ｄ_３は「その他」である。また、入力情報Ｅ_ｆが推論部１０３に入力された場合に診断名ｄ_ｕが推論される確率（以下、推論確率と称する）をＰ（ｄ_ｕ｜Ｅ_ｆ）で表す。

以下に、図３のフローチャートの処理について説明する。まず、ステップＳ３０００において、ＣＰＵ１１１は、症例情報端末２００から医用画像、臨床情報、付帯情報を取得する。本実施形態の例では、付帯情報には異常陰影の座標情報が含まれている。

次に、ステップＳ３０１０において、ＣＰＵ１１１は、ステップＳ３０００で取得した医用画像と付帯情報に基づいて、尤度形式の所見情報Ｌ（Ｆ）＝｛Ｌ（Ｆ_１），Ｌ（Ｆ_２），…，Ｌ（Ｆ_Ｎ）｝を生成する。さらに、ＣＰＵ１１１は、バイナリ形式の所見情報Ｂ（Ｆ）＝｛Ｂ（Ｆ_１），Ｂ（Ｆ_２），…，Ｂ（Ｆ_Ｎ）｝を生成する。

本実施形態において、診断支援装置１００のメインメモリ１１１には、医用画像から所見情報を導出する導出器が格納されている。導出器は、医用画像に所見情報ごとの分類の正解ラベルが付与された、医用画像のデータ群を用いてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）により構築される。ＣＮＮは機械学習の一例である。導出器は、分類モデルの出力データをソフトマックス関数で処理することにより、分類の尤度を合わせて取得することができる。なお、ＣＰＵ１１１は、導出器に入力される医用画像に前処理を施してもよい。例えば、ＣＰＵ１１１は、ステップＳ３０００で取得した付帯情報を基に、医用画像からＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）やＶＯＩ（Ｖｏｌｕｍｅ Ｏｆ Ｉｎｔｅｒｅｓｔ）を切り出した部分画像を生成する前処理を実行してもよい。また、ＣＰＵ１１１は、医用画像の特定の領域をマスク処理する前処理や、コントラスト強調等の画像処理を行う前処理を実行してもよい。

ステップＳ３０１０では、ＣＰＵ１１１は、導出器から出力される尤度形式の所見情報Ｌ（Ｆ）を基に、バイナリ形式の所見情報Ｂ（Ｆ）を生成する。図５は、尤度形式の所見情報Ｌ（Ｆ）を基にしたバイナリ形式の所見情報Ｂ（Ｆ）の生成の一例を模式的に示す。また、図１０は、所見情報Ｆ_ｎにおける尤度形式の所見情報とバイナリ形式の所見情報の関係を示す別の図である。図５、図１０に示すように、１つの所見情報におけるカテゴリ値の中で最も高い尤度を持つカテゴリ値が１となり、それ以外のカテゴリ値が０となる。なお、図５、図１０に示す以外の方法でバイナリ形式の所見情報を生成してもよい。例えば、各カテゴリ値の尤度を閾値以上か否かを基に０か１かを判断し、１つの所見情報において１を値に取るカテゴリ値が複数存在するようにバイナリ形式の所見情報を生成してもよい。

次に、ステップＳ３０２０において、ＣＰＵ１１１は、ステップＳ３０００で取得した臨床情報と、ステップＳ３０１０で取得した所見情報とに基づいて入力情報を生成する。ＣＰＵ１１１は、所見情報ごとにデータ形式（Ｌ（Ｆ_ｎ）またはＢ（Ｆ_ｎ））を切り替えて入力情報を生成する。ＣＰＵ１１１は、図６に示すテーブル６００を参照して、所見情報ごとにデータ形式を決定する。図６に示すテーブル６００は、所見情報生成部ＩＤ、推論部ＩＤ、所見情報Ｆ_ｎを示す所見名称、各カテゴリ値のデータ形式が対応づいた表である。ここで、所見情報生成部ＩＤ（図中「ＸＸＸＸ」は０００１～９９９９）と推論部ＩＤ（図中「ＹＹＹＹ」は０００１～９９９９）は、所見情報生成部１０１と推論部１０３
の機能を実現するモジュールが作成または更新されるたびに発行される識別情報である。所見情報生成部ＩＤと推論部ＩＤは対応するモジュールに参照可能に保存される。例えば、モジュールのバージョン情報としてモジュールに埋め込まれる。なお、本実施形態において、モジュールはメインメモリ１１２に格納される。

図６に示すように、一例として入力情報生成部ＩＤが０００４であり、推論部ＩＤが０００２である場合、入力情報に使用する所見情報Ｆ_ｅはＦ_ｅ＝｛Ｌ（Ｆ_１），Ｂ（Ｆ_２），Ｂ（Ｆ_３），…，Ｌ（Ｆ_Ｎ）｝となる。ここで、図４からわかるように、所見情報Ｆ_１は「形状」、所見情報Ｆ_２は「切れ込み」、所見情報Ｆ_３は「鋸歯状辺縁」、所見情報Ｆ_Ｎは「巻（気管支）」である。また、ステップＳ３０００で取得した臨床情報Ｃ_ｅがＣ_ｅ＝｛Ｂ（ｃ_１２），Ｂ（ｃ_２２），…，ｃ_Ｊ｝であるとすると、入力情報Ｅ_ｆはＥ_ｆ＝Ｆ_ｅ∪Ｃ_ｅで表される。

次に、ステップＳ３０３０において、ＣＰＵ１１１は、ステップＳ３０２０で生成した入力情報を基に、診断対象である肺の異常陰影に関する推論を実行する。そして、ＣＰＵ１１１は、診断名ごとの推論確率Ｐ（ｄ｜Ｅ_ｆ）＝｛Ｐ（ｄ_１｜Ｅ_ｆ），Ｐ（ｄ_２｜Ｅ_ｆ），Ｐ（ｄ_３｜Ｅ_ｆ）｝を取得する。このとき推論を行う手法としては、ベイジアンネットワーク、サポートベクターマシン、ニューラルネットワーク等を用いた手法が挙げられる。第１実施形態では、一例としてベイジアンネットワークを用いて推論を行うものとする。

次に、ステップＳ３０４０において、ＣＰＵ１１１は、ステップＳ３０３０で取得した推論結果をモニタ３００に表示することでユーザに提示する。ここで、ＣＰＵ１１１は、入力情報である所見情報や臨床情報を合わせてモニタ３００に表示してもよい。さらに、ＣＰＵ１１１は、個々の入力情報の推論結果に対する影響度を回帰分析によって算出し、算出した影響度が閾値以上である入力情報を表示するなど、表示する入力情報を制限してもよい。

図７は、ステップＳ３０４０において、モニタ３００に表示される推論結果を含む画面の一例である。表示画面７００には、ステップＳ３０００で取得される医用画像７０００と、ステップＳ３０３０で取得される推論結果７０１０が含まれる。医用画像７０００には、異常陰影の部位７０２０も表示される。また、表示画面７００には、患者情報や撮影情報も含まれる。ユーザは、表示画面７００に表示される推論結果７０１０、患者情報、撮影情報等を参照しながら、医用画像７０００に対する読影を行う。

第１実施形態に係る診断支援装置１００によれば、医用画像の推論に用いられる分類モデルへの入力情報を、所見情報のデータ形式を所見ごとに尤度形式とバイナリ形式とで切り替えて生成することができる。このように生成された入力情報を元に推論を行うことで、すべての所見情報が尤度形式で構成された入力情報やすべての所見情報がバイナリ形式で構成された入力情報を使用する場合に比べて、より好適なデータ形式で所見情報を用いた推論結果が得られる。これにより、より信頼性の高い推論結果をユーザに提示することができる。特に、分類モデルにおいて上記のＩＤの組み合わせが異なるモジュールを選択的に使用する場合や、複数のモジュールを統合して推論結果を出す場合等、推論に用いられるモジュールが複数存在する場合に効果的である。

（第２実施形態）
次に、第２実施形態について説明する。なお、以下の説明において、第１実施形態と同様の構成については、同一の符号を付して詳細な説明は省略する。第２実施形態では、診断支援装置を用いてテーブル６００を作成する。

図８は、第２実施形態に係る診断支援システム２の機能構成の一例を示す図である。診断支援システム２は、診断支援装置８００と症例情報端末２００を有する。診断支援装置８００は、入力情報生成部１０１と、所見情報生成部１０２と、推論部１０３と、表示制御部１０４と、試験データ生成部８０１と、テーブル保存部８０２とを有する。試験データ生成部８０１は、推論部１０３に試験的に入力される入力情報（以下、試験情報と称する）を生成する。テーブル保存部８０２は、推論部１０３が試験データ生成部８０１によって生成された試験情報に基づいて行った推論結果を用いて、テーブル６００を更新する。試験データ生成部８０１が、所見情報の試験データを取得する試験データ取得手段の一例であり、医用画像と診断名の正解ラベルとが対応付けられた正解データを取得する正解データ取得手段の一例である。

図９は、診断支援装置８００のＣＰＵ１１１が実行する、テーブル６００を更新する処理の一例を示すフローチャートである。ＣＰＵ１１１は、メインメモリ１１２、磁気ディスク１１３に格納されているプログラムを実行することにより、入力情報生成部１０１、所見情報生成部１０２、推論部１０３、表示制御部１０４、試験データ生成部８０１、テーブル保存部８０２として機能する。本実施形態では、診断支援装置８００のＣＰＵ１１１は、上記の分類モデルに試験情報を入力し、推論精度が高くなる所見情報ごとのデータ形式の組み合わせを決定してテーブル６００を作成する。

ステップＳ９０００において、ＣＰＵ１１１は、試験用の正解データセットを取得する。ここで、試験用の正解データセットとは、医用画像に所見情報ごとの正解ラベル（正解の所見項目）と診断結果の正解ラベル（正解の診断名）とが付与されているデータ群である。また、試験用の正解データセットは、診断支援装置８００において使用される導出器の分類モデルを構築する際に使用する正解データセットとは異なるデータ群として用意されている。

次に、ステップＳ９０１０において、ＣＰＵ１１１は、ステップＳ９０００で取得した試験用の正解データセットに含まれる各医用画像に基づいて尤度形式の所見情報Ｌ（Ｆ）＝｛Ｌ（Ｆ_１），Ｌ（Ｆ_２），…，Ｌ（Ｆ_Ｎ）｝を生成する。さらに、ＣＰＵ１１１は、Ｌ（Ｆ）に基づいてバイナリ形式の所見情報Ｂ（Ｆ）＝｛Ｂ（Ｆ_１），Ｂ（Ｆ_２），…，Ｂ（Ｆ_Ｎ）｝を生成する。ＣＰＵ１１１は、各画像に対して生成した各形式の所見情報をメインメモリ１１２に保存する。なお、バイナリ形式の所見情報が第１の試験データの一例であり、尤度形式の所見情報が第２の試験データの一例である。

ステップＳ９０２０において、ＣＰＵ１１１は、ステップＳ９０１０で取得した所見情報Ｌ（Ｆ）およびＢ（Ｆ）を用いて試験用の入力情報を生成する。ここで、試験用の入力情報は、所見情報ごとに尤度形式（Ｌ（Ｆ_ｎ））またはバイナリ形式（Ｂ（Ｆ_ｎ））（ｎは１～ｎの自然数）のいずれかを選択し、すべてのデータ形式の組み合わせを網羅するように生成される。すなわち、所見情報の数がＮ個である場合、所見情報ごとにＬ（Ｆ_ｎ）とＢ（Ｆ_ｎ）の組み合わせが異なる２^Ｎ種類の入力情報が、試験用の正解データセットに含まれる各画像について生成される。ＣＰＵ１１１は、各画像に対して生成した入力情報をメインメモリ１１２に保存する。

次に、ステップＳ９０３０において、ＣＰＵ１１１は、ステップＳ９０２０で生成した試験用の入力情報をメインメモリ１１２から読み出し、各入力情報を用いて診断対象である肺の異常陰影に関する推論を実行する。そして、ＣＰＵ１１１は、試験用の各入力情報に対する診断名（ｄ_１、ｄ_２、ｄ_３）ごとの推論確率を算出する。これにより、試験用の正解データセットに含まれる各画像について、各入力情報と各診断名の推論確率との組（２^Ｎ×３組）が得られる。

次に、ステップＳ９０４０において、ＣＰＵ１１１は、各入力情報に対して推論の精度を算出する。ここで、推論の精度とは、入力情報のＬ（Ｆ_ｎ）とＢ（Ｆ_ｎ）の組み合わせを用いて各画像の推論をしたときの診断名ごとの推論確率のうち最も高い確率となる診断名が正解ラベルの診断名と一致する割合である。より具体的には、入力情報をＶ_ｉ（ｉ＝１～２^Ｎ）とする。また、入力情報Ｖ_ｉにおけるＬ（Ｆ_ｎ）とＢ（Ｆ_ｎ）（ｎ＝１～Ｎ）の組み合わせを用いてある画像に対して推論を行ったときの診断名ｄ_１、ｄ_２、ｄ_３の推論確率をＰ（ｄ_１｜Ｖ_ｉ）、Ｐ（ｄ_２｜Ｖ_ｉ）、Ｐ（ｄ_３｜Ｖ_ｉ）とする。そして、試験用の正解データセットに含まれるすべての画像にわたって入力情報Ｖ_ｉを用いて推論を行ったときに、推論確率Ｐ（ｄ_１｜Ｖ_ｉ）、Ｐ（ｄ_２｜Ｖ_ｉ）、Ｐ（ｄ_３｜Ｖ_ｉ）が最も高い推論確率と正解ラベルの診断名とが一致する割合が推論の精度となる。

さらに、ＣＰＵ１１１は、推論の精度が最も高い入力情報を特定する。そして、ＣＰＵ１１１は、特定した入力情報におけるＬ（Ｆ_ｎ）とＢ（Ｆ_ｎ）の組み合わせを、ステップＳ９０１０で使用した所見情報生成部１０４のＩＤおよびステップＳ９０３０で使用した推論部１０６のＩＤと対応付けて、テーブル６００に保存する。上記の処理により、ＣＰＵ１１１は、尤度形式によって構成された試験データとバイナリ形式によって構成された試験データとの間で推論の精度を比較し、推論の精度が高くなるデータ形式を特定することができる。

本実施形態によれば、試験用の正解データセットに含まれる画像を用いて、所見情報生成部１０４と推論部１０６との組み合わせにおいて推論の精度が最も高くなる所見情報ごとのデータ形式（尤度形式かバイナリ形式か）を特定することができる。

以上が本件開示の技術に係る実施形態の説明であるが、各実施形態の説明は本件開示の技術を説明する上での例示であり、本件開示の技術は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。例えば、上記で説明した診断支援装置１００の各手段の少なくとも１つの機能は、症例情報端末２００等の診断支援装置１００の外部の装置が担ってもよい。例えば、症例情報端末２００が、医用画像を取得する取得手段として機能してもよい。また、上記の実施形態において、推論部１０３は、複数の推論器を多段接続して各診断名の推論を行ってもよい。また、以下に上記の実施形態の変形例について説明する。以下の各変形例も適宜組み合わせて実施されてよい。

（第１実施形態の変形例１）
第１実施形態では、ステップＳ３０２０において所見情報生成部ＩＤ、推論部ＩＤ、所見情報に基づいてデータ形式が特定される。これに代えて、所見情報生成部ＩＤ、推論部ＩＤ、所見情報のいずれか１つまたは２つに基づいてデータ形式が特定されてもよい。例えば所見情報生成部ＩＤと推論部ＩＤのいずれか一方と所見情報に基づいてデータ形式が特定されてもよいし、所見情報生成部ＩＤのみに基づいてデータ形式が特定されてもよい。あるいは、入力画像の画像特徴量等の情報によってさらに細分化された項目ごとにデータ形式が特定されてもよい。

（第１実施形態の変形例２）
第１実施形態では、ステップＳ３０２０においてテーブル６００を用いてデータ形式が特定される。これに限らず、テーブル６００を用いずにデータ形式が特定されてもよい。例えば、所見情報ごとに異なる導出器を用いて所見が導出されるように構成し、導出器の所見導出精度に基づいて所見情報ごとにデータ形式が切り替えられてもよい。

（第１実施形態の変形例３）
第１実施形態では、ステップＳ３０１０において尤度形式の所見情報とバイナリ形式の所見情報とが生成され、ステップＳ３０２０において各形式の所見情報が選択的に使用さ
れた。これに限らず、ステップＳ３０１０では尤度形式の所見情報が生成され、ステップＳ３０２０において必要に応じてバイナリ形式の所見情報に変換されてもよい。

（第２実施形態の変形例１）
第２実施形態では、ステップＳ９０２０において、所見情報生成部１０４の出力を基に試験用の入力情報が生成される。これに限らず、試験用の正解データセットに含まれる正解ラベルを基に試験用の入力情報が生成されてもよい。試験用の正解データセットに含まれる正解ラベルを用いる場合、所見情報のデータ形式は必然的にバイナリ形式となるため、尤度形式の入力情報に変換される場合は、人為的に生成された尤度が用いられる。また、試験用の正解データセットに含まれる正解ラベルを用いる場合は、入力情報の一部に人為的に誤りを発生させる。また、誤りの発生がそれぞれ異なるように数千パターンのデータセットが生成され、生成されたデータセットを用いて上記の処理が実行されることで、統計的に推論精度が最も高くなる所見情報ごとのデータ形式が特定されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（たとえば、ＡＳＩＣ）によっても実現可能である。

上記の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上記の処理を実行する形態としてもよく、いずれも本件開示の技術の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上記の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

上記の実施形態には、各実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読み出して実行するという形態を含む。したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本件開示の技術に係る実施形態の１つである。また、コンピュータが読み出したプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても各実施形態の機能が実現され得る。

１００・・・診断支援装置、１０１・・・入力情報生成部、１０２・・・所見情報生成部、１０３・・・推論部、１１１・・・ＣＰＵ

Claims (14)

1. 医用画像を取得する取得手段と、
   医用画像を用いた機械学習により作成された分類モデルを用いて、前記取得された医用画像から所見情報を導出する所見導出手段と、
   前記導出された所見情報における所見項目の確からしさを表す値のデータ形式を、第１のデータ形式と第２のデータ形式のいずれかのデータ形式に設定する設定手段と、
   前記設定された所見情報に基づいて、前記取得された医用画像に対する推論を行う推論手段と、
   を有することを特徴とする診断支援装置。
2. 前記所見導出手段は、前記取得された医用画像から複数の所見情報を導出し、
   前記設定手段は、前記複数の所見情報ごとに、所見項目の確からしさを表す値のデータ形式を、前記第１のデータ形式または前記第２のデータ形式のいずれかのデータ形式に設定する、
   ことを特徴とする請求項１に記載の診断支援装置。
3. 前記所見導出手段は、所見情報ごとに異なる分類モデルを用いて、前記取得された医用画像から前記複数の所見情報を導出する、請求項２に記載の診断支援装置。
4. 前記第１のデータ形式は、前記所見項目の確からしさを表す値をバイナリ値で表すデータ形式であり、前記第２のデータ形式は、前記所見項目の確からしさを表す値を尤度で表すデータ形式である、ことを特徴とする請求項１から３のいずれか一項に記載の診断支援装置。
5. 前記所見導出手段は、前記所見情報における前記所見項目の確からしさを表す値のデータ形式に前記第２のデータ形式を用いて前記所見情報を導出し、
   前記設定手段は、前記導出された所見情報における前記所見項目の確からしさを表す値のデータ形式を前記第１のデータ形式に設定するか、または、前記第２のデータ形式のままとする、
   ことを特徴とする請求項１から４のいずれか一項に記載の診断支援装置。
6. 前記設定手段は、前記所見導出手段を識別する情報と前記推論手段を識別する情報の少なくともいずれか一方に基づいて、前記所見情報における前記所見項目の確からしさを表す値のデータ形式を前記第１のデータ形式または前記第２のデータ形式に設定する、ことを特徴とする請求項１から５のいずれか一項に記載の診断支援装置。
7. 前記推論手段は、前記設定された所見情報に基づいて、前記取得された医用画像に含まれる部位に関する診断名を推論する、ことを特徴とする請求項１から６のいずれか一項に記載の診断支援装置。
8. 前記推論手段は、複数の診断名について診断名ごとに推論される確率を算出し、算出した確率に基づいて、前記取得された医用画像に含まれる部位に関する診断名を推論する、ことを特徴とする請求項７に記載の診断支援装置。
9. 所見情報の所見項目の確からしさを表す値が前記第１のデータ形式によって構成された第１の試験データと、前記所見情報の前記所見項目の確からしさを表す値が前記第２のデータ形式によって構成された第２の試験データと、を取得する試験データ取得手段をさらに有し、
   前記設定手段は、前記推論手段が前記第１の試験データを用いて試験用の医用画像に対して推論を行った場合の推論結果と、前記推論手段が前記第２の試験データを用いて前記試験用の医用画像に対して推論を行った場合の推論結果との比較に基づいて、前記所見情報ごとに前記第１のデータ形式または前記第２のデータ形式を特定する、
   ことを特徴とする請求項１から８のいずれか一項に記載の診断支援装置。
10. 医用画像と診断名の正解ラベルとが対応付けられた正解データを取得する正解データ取得手段をさらに有し、
    前記試験データ取得手段は、前記取得した正解データに基づいて、前記第１の試験データおよび前記第２の試験データを生成する、
    ことを特徴とする請求項９に記載の診断支援装置。
11. 前記試験データ取得手段は、前記取得した正解データに含まれる所見項目の確からしさを表す値に誤りを発生させて、前記第１の試験データおよび前記第２の試験データを生成する、ことを特徴とする請求項１０に記載の診断支援装置。
12. 医用画像を取得する取得手段と、
    医用画像を用いた機械学習により作成された分類モデルを用いて、前記取得された医用画像から所見情報を導出する所見導出手段と、
    前記導出された所見情報における所見項目の確からしさを表す値のデータ形式を、第１のデータ形式と第２のデータ形式のいずれかのデータ形式に設定する設定手段と、
    前記設定された所見情報に基づいて、前記取得された医用画像に対する推論を行う推論手段と、
    を有することを特徴とする診断支援システム。
13. 医用画像を取得するステップと、
    医用画像を用いた機械学習により作成された分類モデルを用いて、前記取得された医用画像から所見情報を導出するステップと、
    前記導出された所見情報における所見項目の確からしさを表す値のデータ形式を、第１のデータ形式と第２のデータ形式のいずれかのデータ形式に設定するステップと、
    前記設定された所見情報に基づいて、前記取得された医用画像に対する推論を行うステ
    ップと
    を有することを特徴とするプロセッサにより実行される診断支援方法。
14. コンピュータに請求項１３に記載の診断支援方法を実行させる、プログラム。
    

Images