以下、図面を参照して、医用情報収集装置の実施形態を説明する。なお、一つの実施形態又は変形例に記載した内容は、他の実施形態又は他の変形例にも同様に適用されてもよい。
図1は、本実施形態に係る医用情報収集システム1の構成の一例を示す図である。医用情報収集システム1は、人工知能(AI:Artificial Intelligence)の学習に使用する学習用データを収集するシステムである。ここで、人工知能とは、入力された医用画像に対して判定や推定等の各種処理を行う技術である。人工知能は、深層学習(ディープラーニング)等の機械学習により生成される。なお、人工知能は、深層学習(ディープラーニング)に限らず、教師有り学習により生成されてもよい。図1に示すように、医用情報収集システム1は、電子カルテシステム10、モダリティ20、PACS(Picture Archiving and Communication System)30、病理システム40、操作端末50、及び医用情報収集装置60を備えている。そして、各システム及び各装置は、ネットワークを介して通信可能に接続されている。また、図1に示す構成はあくまでも一例であり、各システム及び各装置の台数は任意に変更してもよい。また、図1に示されていない装置がネットワークに接続されていてもよい。
電子カルテシステム10は、電子カルテ情報を患者ごとに管理する。例えば、電子カルテシステム10は、サーバやワークステーション等のコンピュータ機器によって実現される。例えば、電子カルテ情報には、患者情報や、所見情報や、オーダ情報等が含まれる。患者情報は、患者に関する各種情報である。例えば、患者情報には、患者ID(IDentifer)、患者名、性別、身長、体重、年齢、及び血液型等が含まれる。所見情報は、患者について医師等の医療従事者が任意に入力した文字列等により構成される情報である。例えば、所見情報は、患者の傷病等に対する所見が含まれる。そして、所見情報は、患者情報と関連付けられている。オーダ情報は、検査の実施を指示する情報である。オーダ情報には、病理検査の実施を指示する検査オーダ情報や、モダリティ20で患者を撮影することを指示する撮影オーダ情報等がある。モダリティ20での撮影を指示する撮影オーダ情報には、撮影を実行するモダリティ20の種別情報と、検査対象となる患者の部位を示す部位情報とが含まれている。そして、オーダ情報は、患者情報と関連付けられている。なお、電子カルテ情報は、電子カルテシステム10の記憶回路等に記憶されていてもよいし、他の装置の記憶回路等に記憶されていてもよい。
モダリティ20は、被検体を撮像して医用画像を生成する。例えば、モダリティ20は、X線CT(Computed Tomography)装置や、MRI(Magnetic Resonance Imaging)装置、X線診断装置、超音波診断装置等の画像診断装置である。モダリティ20は、撮影オーダ情報で指定された患者等の被検者に対して、撮影オーダ情報で指定された部位を撮影して、医用画像を生成する。そして、モダリティ20は、生成した医用画像をPACS30に送信する。なお、モダリティ20は、放射線科情報システム(Radiology Information Systems:RIS)において、放射線科医等が撮影オーダ情報に基づいて入力した設定等で撮影することで医用画像を生成してもよい。
PACS30は、モダリティ20が生成した医用画像を保管する。例えば、PACS30は、サーバやワークステーション等のコンピュータ機器によって実現される。更に詳しくは、PACS30は、モダリティ20から医用画像を受信する。また、PACS30は、患者の医用画像を読影した読影結果等が記載された読影レポートを記憶している。そして、PACS30は、受信した医用画像と、医用画像に対する読影レポートとを、医用画像の被写体である患者の電子カルテ情報に関連付けて自装置の記憶回路等に記憶させる。読影レポートには、読影医等が記入した任意の文字列と、医用画像とを関連付けるハイパーリンクが含まれている。更に詳しくは、読影レポートには、読影医等が記入した任意の文字列に、医用画像を特定可能なハイパーリンク情報が設定されている。また、PACS30は、病変位置及び病変形状を示す病変情報を記憶していてもよい。病変位置は、病変の位置を示す情報である。例えば、病変位置は、PACS30に記憶された医用画像において、病変の位置を示す情報である。医用画像が二次元画像の場合には、病変位置は、二次元において病変がある位置を示す二次元座標等である。また、医用画像が三次元の場合には、病変位置は、病変があるスライスやフレーム等を示す情報、及び病変がある位置を示す二次元座標等から構成される。病変形状は、病変の形状を示す情報である。例えば、病変形状は、PACS30に記憶された医用画像において、病変の形状を示す情報である。
病理システム40は、病理検査の結果である病理情報を保管する。例えば、病理システム40は、サーバやワークステーション等のコンピュータ機器によって実現される。病理情報には、確定診断名、及び病変名等が含まれる。確定診断名は、病理検査によって確定した病気の名称である。病変名は、病理検査によって確定した病変の名称である。そして、病理システム40は、病理情報を自装置の記憶回路等に記憶させる。また、病理情報は、電子カルテシステム10からオーダされた場合には電子カルテ情報と関連付けられている。また、病理検査のオーダは、電子カルテシステム10に限らず、病理システム40のオーダリングシステムから受け付けてもよい。
操作端末50は、各種情報を入力する装置である。操作端末50は、パーソナルコンピュータや、タブレット端末等のコンピュータ機器によって実現される。例えば、操作端末50は、読影レポートに含まれる任意の文字列と、PACS30に記憶された医用画像とをハイパーリンクにより関連付ける。ここで、ハイパーリンクとは、文字列と、医用画像とを関連付ける技術である。例えば、ハイパーリンクでは、読影レポートに含まれる文字列に、医用画像を特定可能なハイパーリンク情報を設定する。ハイパーリンク情報には、医用画像を特定するアドレス情報や、医用画像を特定するために割り付けられた識別情報等が含まれている。この様にして、操作端末50は、読影レポートに含まれる任意の文字列と、医用画像とを関連付ける。そして、操作端末50は、ハイパーリンクに指定された文字列が選択された場合に、関連付けられた医用画像を表示させる。
医用情報収集装置60は、医用画像や、医用画像に対する確定された診療内容を含む医用情報を人工知能の学習に使用される学習用データとして収集する。ここで、確定された診療内容とは、例えば病理検査により病名等の診断内容が確定していることを示している。例えば、医用情報収集装置60は、サーバやワークステーション等のコンピュータ機器によって実現される。医用情報収集装置60は、ハイパーリンクに基づいて、医用情報を収集する。また、医用情報収集装置60は、指定された形式で、医用情報を出力する。
さらに、医用情報収集装置60は、操作端末50と同様の機能を有していてもよい。すなわち、医用情報収集装置60は、読影レポート画面を表示してもよいし、読影レポートに含まれる任意の文字列とPACS30に記憶された医用画像とをハイパーリンクにより関連付ける操作を受け付けてもよい。また、本実施形態では、医用情報収集装置60が一台の装置により構成されている場合を例に説明する。しかし、医用情報収集装置60は、複数台の装置により構成されていてもよい。
次に、本実施形態に係る操作端末50の構成について説明する。
図2は、本実施形態に係る操作端末50の構成の一例を示すブロック図である。図2に示すように、本実施形態に係る操作端末50は、ネットワークインタフェース510と、記憶回路520と、入力インタフェース530と、ディスプレイ540と、処理回路550とを有する。
ネットワークインタフェース510は、処理回路550に接続されており、ネットワークを介して、電子カルテシステム10、モダリティ20、PACS30、病理システム40、及び医用情報収集装置60との間で行われる各種データの伝送及び通信を制御する。更に詳しくは、ネットワークインタフェース510は、各システムから各種の情報を受信し、受信した情報を処理回路550に出力する。例えば、ネットワークインタフェース510は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
記憶回路520は、処理回路550に接続されており、各種データを記憶する。例えば、記憶回路520は、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
入力インタフェース530は、操作者から受け付けた入力操作を電気信号に変換して処理回路550に出力する。例えば、入力インタフェース530は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、音声入力インタフェース等の入力装置によって実現される。なお、入力インタフェース530は、操作端末50とは別体に設けられた操作装置から操作に対応する電子信号を受け付ける接続インタフェース等の制御回路であってもよい。
ディスプレイ540は、処理回路550から出力される各種情報や各種画像を表示する。例えば、ディスプレイ540は、有機EL(Electro Luminescence)モニタや、液晶モニタや、CRT(Cathode Ray Tube)モニタや、タッチパネル等の表示装置によって実現される。例えば、ディスプレイ540は、操作者の指示を受け付けるためのGUI(Graphical User Interface)や、各種の表示用の画像データ、処理回路550による各種の処理結果を表示する。
処理回路550は、操作端末50が有する各構成要素を制御する。例えば、処理回路550は、プロセッサによって実現される。さらに詳しくは、本実施形態に係る処理回路550は、表示制御機能551、操作機能552、及びリンク機能553を有する。
ここで、例えば、図2に示す処理回路550の構成要素である表示制御機能551、操作機能552、及びリンク機能553が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路520に記憶されている。処理回路550は、各プログラムを記憶回路520から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路550は、図2の処理回路550内に示された各機能を有することとなる。
なお、表示制御機能551、操作機能552、及びリンク機能553の全ての処理機能がコンピュータによって実行可能な1つのプログラムの形態で、記憶回路520に記録されていてもよい。例えば、このようなプログラムは、医用情報関連付けプログラムとも称される。この場合、処理回路550は、医用情報関連付けプログラムを記憶回路520から読み出し、読み出した医用情報関連付けプログラムを実行することで操作プログラムに対応する表示制御機能551、操作機能552、及びリンク機能553を実現する。
表示制御機能551は、各種画面を表示させる。例えば、表示制御機能551は、患者の各種情報が示された読影レポート画面を表示させる。また、読影レポート画面は、読影レポートを構成する文字列を入力する入力領域を有している。
操作機能552は、読影レポートを入力する操作を受け付ける。例えば、操作機能552は、読影レポートの文字列と、PACS30に記憶された医用画像とをハイパーリンクにより関連付ける操作を受け付ける。更に詳しくは、操作機能552は、読影レポートを構成する文字列を入力する操作を受け付ける。また、操作機能552は、入力された文字列のうち、ハイパーリンクに指定する文字列を選択させる操作を受け付ける。また、操作機能552は、PACS30に記憶された一又は複数の医用画像のうち、ハイパーリンクにより関連付ける医用画像を選択させる操作を受け付ける。三次元医用画像は、複数の二次元医用画像を有している。この場合には、操作機能552は、三次元医用画像が有する複数の二次元医用画像からハイパーリンクにより関連付ける医用画像を選択させる操作を受け付ける。
リンク機能553は、操作機能552が受け付けた操作に基づいて、読影レポートの文字列と、PACS30に記憶された医用画像とをハイパーリンクにより関連付ける。すなわち、リンク機能553は、読影レポートの文字列に対して、医用画像を特定可能なハイパーリンク情報を設定する。
ここで、読影レポートの文字列と、PACS30に記憶された医用画像とを関連付ける操作手順について説明する。図3は、ハイパーリンクによる関連付ける操作手順を説明する説明図である。表示制御機能551は、読影レポート画面を表示させる。読影レポート画面には、患者情報表示領域や、読影レポート領域等が含まれる。患者情報表示領域は、患者情報を表示する領域である。読影レポート領域は、患者の医用画像を読影した読影医の所見等を入力する領域である。
操作機能552は、表示制御機能551が表示した読影レポート画面の読影レポート領域において、任意の文字列を入力する操作を受け付ける。操作機能552は、ハイパーリンクを設定する文字列を選択させる操作を受け付ける。さらに、操作機能552は、一又は複数の二次元医用画像を有する三次元医用画像から、文字列に関連付ける二次元医用画像の選択させる操作を受け付ける。リンク機能553は、選択された文字列に対して、選択された二次元医用画像を特定することが可能なハイパーリンク情報を設定する。この様にして、操作端末50は、読影レポートの文字列と、医用画像とを関連付ける。表示制御機能551は、ハイパーリンクが設定された文字列が選択された場合に、文字列に関連付けられた医用画像を表示させる。
次に、本実施形態に係る医用情報収集装置60の構成について説明する。
図4は、本実施形態に係る医用情報収集装置60の構成の一例を示すブロック図である。図4に示すように、本実施形態に係る医用情報収集装置60は、ネットワークインタフェース610と、記憶回路620と、入力インタフェース630と、ディスプレイ640と、処理回路650とを有する。
ネットワークインタフェース610は、処理回路650に接続されており、ネットワークを介して、電子カルテシステム10、モダリティ20、PACS30、病理システム40、及び操作端末50との間で行われる各種データの伝送及び通信を制御する。更に詳しくは、ネットワークインタフェース610は、各システムから各種の情報を受信し、受信した情報を処理回路650に出力する。例えば、ネットワークインタフェース610は、ネットワークカードやネットワークアダプタ、NIC等によって実現される。
記憶回路620は、処理回路650に接続されており、各種データを記憶する。例えば、記憶回路620は、RAM、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。例えば、記憶回路620は、学習用データテーブル621を記憶する。
学習用データテーブル621は、記憶部の一例である。学習用データテーブル621は、医用情報収集装置60が収集した医用情報を記憶するデータテーブルである。すなわち、学習用データテーブル621は、人工知能に学習させる学習用データを記憶するデータテーブルである。学習用データテーブル621は、学習用データIDごとに、医用情報を記憶する。学習用データIDは、医用情報を取得した患者ごとに設定される識別情報である。医用情報は、学習用データIDに対応する患者の医療に関する情報である。
例えば、医用情報には、日時情報と、診療情報と、医用画像とが含まれる。日時情報は、医用情報が生成された日時を示す情報である。診療情報は、医用画像に対する確定された診療内容を示す情報である。すなわち、診療情報には、所見情報や、読影レポートや、オーダ情報や、病理情報や、病変情報が含まれる。そして、診療情報には、所見情報と、読影レポートと、オーダ情報と、病理情報と、病変情報との全てに限らず、何れか一部の情報が含まれていればよい。医用画像は、電子カルテ情報に関連付けられた読影レポートに含まれる文字列に設定されたハイパーリンク情報により特定される医用画像である。そして、医用情報には、医用画像と、診療情報との両方に限らず、何れか一方が含まれていればよい。なお、学習用データテーブル621は、医用情報収集装置60に限らず、他の装置が記憶していてもよい。
入力インタフェース630は、操作者から受け付けた入力操作を電気信号に変換して処理回路650に出力する。例えば、入力インタフェース630は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、音声入力インタフェース等の入力装置によって実現される。なお、入力インタフェース630は、医用情報収集装置60とは別体に設けられた操作装置から操作に対応する電子信号を受け付ける接続インタフェース等の制御回路であってもよい。
ディスプレイ640は、処理回路650から出力される各種情報や各種画像を表示する。例えば、ディスプレイ640は、有機ELモニタや、液晶モニタや、CRTモニタや、タッチパネル等の表示装置によって実現される。例えば、ディスプレイ640は、操作者の指示を受け付けるためのGUIや、各種の表示用の画像データ、処理回路650による各種の処理結果を表示する。
処理回路650は、医用情報収集装置60が有する各構成要素を制御する。例えば、処理回路650は、プロセッサによって実現される。さらに詳しくは、本実施形態に係る処理回路650は、経歴指定機能651、取得機能652、収集機能653、記憶制御機能654、特徴指定機能655、画像抽出機能656、形式指定機能657、画像変換機能658、及び出力機能659を有する。
ここで、例えば、図4に示す処理回路650の構成要素である経歴指定機能651、取得機能652、収集機能653、記憶制御機能654、特徴指定機能655、画像抽出機能656、形式指定機能657、画像変換機能658、及び出力機能659が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路620に記憶されている。処理回路650は、各プログラムを記憶回路620から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路650は、図4の処理回路650内に示された各機能を有することとなる。
なお、経歴指定機能651、取得機能652、収集機能653、記憶制御機能654、特徴指定機能655、画像抽出機能656、形式指定機能657、画像変換機能658、及び出力機能659の全ての処理機能がコンピュータによって実行可能な1つのプログラムの形態で、記憶回路620に記録されていてもよい。例えば、このようなプログラムは、医用情報収集プログラムとも称される。この場合、処理回路650は、医用情報収集プログラムを記憶回路620から読み出し、読み出した医用情報収集プログラムを実行することで操作プログラムに対応する経歴指定機能651、取得機能652、収集機能653、記憶制御機能654、特徴指定機能655、画像抽出機能656、形式指定機能657、画像変換機能658、及び出力機能659を実現する。
経歴指定機能651は、第1入力部の一例である。経歴指定機能651は、診療内容の経歴を指定する入力を受け付ける。更に詳しくは、経歴指定機能651は、医用情報収集装置60が医用情報を収集する収集条件として、患者の診療内容の経歴を指定する入力を受け付ける。ここで、診療内容とは、例えばモダリティ20の種別情報、検査対象の部位を示す部位情報、確定診断名、病変名、病変位置、病変形状、所見、読影レポート、又はこれらの組み合わせ等である。
また、経歴指定機能651は、例えばキーワード等により診療内容の経歴の指定を受け付ける。なお、経歴指定機能651は、キーワードに限らず、プログラムにより特徴の指定を受け付けてもよいし、GUIにより特徴の指定を受け付けてもよいし、他の方法により出力条件の指定を受け付けてもよい。
また、経歴指定機能651は、診療内容の属性を指定する入力を受け付けてもよい。ここで、属性とは、例えば所見情報、読影レポート、病理情報、病変情報、又はオーダ情報等の診療内容が含まれている情報の属性である。また、経歴指定機能651は、診療内容が記録された順番を指定する入力を受け付けてもよい。
取得機能652は、取得部の一例である。取得機能652は、診療内容の記録を示す電子カルテ情報を患者ごとに管理するデータベースから、経歴指定機能651が受け付けた経歴に適合する電子カルテ情報を取得する。更に詳しくは、取得機能652は、電子カルテ情報を患者ごとに管理するデータベースの一例である電子カルテシステム10から、経歴指定機能651が受け付けた経歴に適合する電子カルテ情報を取得する。
また、取得機能652は、経歴指定機能651で属性が指定されている場合に、診療内容が指定された属性で記録された電子カルテ情報を取得する。さらに、取得機能652は、経歴指定機能651で診療内容が記録された順番が指定されている場合に、診療内容が指定された順番で記録された電子カルテ情報を取得する。例えば、経歴指定機能651が診療内容「肺がん」、属性「所見情報」、順番「1」とする指定を受け付け、診療内容「器質性肺炎」、属性「病理情報の確定診断名」順番「2」とする指定を受け付けたとする。この場合、取得機能652は、当初肺がんとの所見が所見情報に記録されたが、その後の病理検査で器質性肺炎との確定診断名が病理情報に記録された電子カルテ情報を取得する。
収集機能653は、収集部の一例である。収集機能653は、取得機能652が取得した電子カルテ情報に関連付けられた読影レポートで特定される医用画像を収集する。更に詳しくは、収集機能653は、取得機能652が取得した電子カルテ情報に関連付けられた読影レポートを抽出する。そして、収集機能653は、抽出した読影レポートに含まれる文字列に設定されたハイパーリンク情報により特定される医用画像をPACS30から収集する。すなわち、収集機能653は、電子カルテ情報に関連付けられた読影レポートに含まれる文字列に関連付けられた医用画像を収集する。
ここで、収集機能653は、収集条件が満たされた場合に、医用画像をPACS30から収集する。なお、収集機能653は、収集指示に限らず、所定期間が経過するごとに医用画像をPACS30から収集してもよいし、電子カルテ情報が更新されるごとに医用画像をPACS30から収集してもよい。
また、収集機能653は、収集対象の患者の病理情報や電子カルテ情報に対して確定診断名が入力された場合に、確定診断名でラベリングした医用画像を収集してもよい。例えば、収集機能653は、患者が診察を開始してから確定診断名の病気の治療が終了したと入力されるまでの間に撮影された医用画像を確定診断名でラベリングする。または、収集機能653は、医用画像から病期を判定可能な場合には、確定診断名及び病期とでラベリングしてもよい。例えば、収集機能653は、医用画像に含まれる異常陰影の大きさ等により、病期を判定する。
また、収集した医用画像がどの様な医用画像であるかは、該当の医用画像と読影レポートを介して関連付けられた電子カルテ情報や、電子カルテ情報に関連付けられた読影レポート、オーダ情報、病理情報、及び病変情報に記録されている場合が多い。また、学習用データは、より正確な情報であることが求められる。そこで、収集機能653は、医用画像と、医用画像に対する確定された診療内容が示された診療情報とを収集する。そして、収集機能653は、所見情報や、読影レポートや、オーダ情報や、病理情報や、病変情報を収集することで診療情報を生成する。
記憶制御機能654は、記憶制御部の一例である。記憶制御機能654は、収集機能653が収集した医用画像を学習用データテーブル621に記憶させる。更に詳しくは、記憶制御機能654は、収集機能653が収集した医用画像を、医用画像の患者に対応した学習用データIDに関連付けて学習用データテーブル621に記憶させる。
また、記憶制御機能654は、収集機能653が収集した医用画像を確定診断名でラベリングした場合に、確定診断名ごとに医用画像の学習用データテーブル621に記憶させてもよい。
また、収集機能653が診療情報と、医用画像とを収集した場合には、記憶制御機能654は、収集機能653が収集した診療情報と、医用画像とを学習用データテーブル621に記憶させる。この時、記憶制御機能654は、収集機能653が収集した診療情報及び医用画像に、日時情報を関連付けて医用情報として学習用データテーブル621に記憶させる。
特徴指定機能655は、第2入力部の一例である。特徴指定機能655は、出力機能659に出力させる医用画像の特徴を指定する入力を受け付ける。例えば、特徴指定機能655は、出力機能659に出力させる医用画像の特徴を示すキーワード等を受け付ける。キーワードとは、例えば、モダリティ20の種別情報、検査対象の部位を示す部位情報、確定診断名、病変名、病変位置、病変形状、所見、読影レポート、又はこれらを組み組み合わせた文字列等である。なお、特徴指定機能655は、キーワードに限らず、プログラムにより特徴の指定を受け付けてもよいし、GUIにより特徴の指定を受け付けてもよいし、他の方法により出力条件の指定を受け付けてもよい。
画像抽出機能656は、抽出部の一例である。画像抽出機能656は、特徴指定機能655が受け付けた特徴に適合する医用画像を学習用データテーブル621から抽出する。更に詳しくは、画像抽出機能656は、特徴指定機能655が受け付けた特徴を有する診療情報を抽出する。そして、画像抽出機能656は、抽出した診療情報に関連付けられている医用画像を抽出する。例えば、画像抽出機能656は、特徴指定機能655が受け付けたキーワードを有する診療情報に関連付けられている医用画像を抽出する。
ここで、特徴指定機能655が診療記録と、医用画像の特徴との指定を受け付けた場合に、画像抽出機能656が実行する医用画像の抽出処理について例を挙げて説明する。図5は、肺がんが発生した患者の診療記録の一例を示す説明図である。2018年2月1日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、CT検査の読影結果として微小な異常陰影があることが記録されている。2018年10月1日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、CT検査の読影結果として肺がんの疑いがあることが記録されている。2018年10月8日の医用情報には、診療情報が含まれている。診療情報には、確定診断名が「肺がん」と記録されている。そのため、収集機能653は、図5に示す医用画像を「肺がん」とラベリングする。さらに、収集機能653は、2018年2月1日の医用画像に含まれている異常陰影の大きさ等に基づいて、「肺がん」の病期を「ステージ1期」とラベリングする。2018年10月13日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、手術前のCT検査として医用画像を撮影したことが記録されている。2018年10月19日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、手術後のCT検査として医用画像を撮影したことが記録されている。2018年11月24日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、放射線治療第1クール終了後のCT検査として医用画像を撮影したことが記録されている。
図5に示す場合において、ステージ1期の肺がんの医用画像を抽出する処理について説明する。ステージ1期を見つけるため人工知能を生成する場合、必要な学習用データは、2018年2月1日の医用画像である。この場合、特徴指定機能655は、医用画像の特徴として「肺がんステージ1期」とのキーワードの入力を受け付ける。ここで、2018年2月1日の診療情報には、「肺がん」及び「ステージ1期」とラベリングされている。そのため、画像抽出機能656は、「肺がんステージ1期」とのキーワードを有する2018年2月1日の診療情報に関連付けられている2018年2月1日の医用画像を抽出する。
図5に示す場合において、肺がんの手術後に行われた放射線治療後の医用画像を抽出する処理について説明する。肺がんの手術後に放射線治療を行っている箇所を見つけるための人工知能を生成する場合、必要な学習用データは、2018年11月24日の医用画像である。
経歴指定機能651は、診療内容の経歴として「肺がん」「手術」「放射線治療」とのキーワードの入力を受け付ける。取得機能652は、肺がんの手術後に放射線治療を行っている患者の電子カルテ情報を取得する。収集機能653は、取得機能652が取得した電子カルテ情報に関連付けられた読影レポートで特定される医用画像、及び電子カルテ情報及び電子カルテ情報に関連付けられた情報を収集することで医用画像に対する確定された診療内容を示す診療情報を収集する。そして、記憶制御機能654は、収集機能653が収集した医用画像及び診療情報を学習用データテーブル621に記憶する。これにより、学習用データテーブル621には、肺がんの手術後に放射線治療を行っている患者の医用画像が記憶されている。しかし、必要な医用画像は、肺がんの手術後に放射線治療を行っている時の医用画像である。そのため、特徴指定機能655は、「放射線治療」とのキーワードの入力を受け付ける。そして、画像抽出機能656は、肺がんの手術後に放射線治療を行っている患者の医用画像のうち、「放射線治療」とのキーワードを有する診療情報に関連付けられている医用画像を抽出する。
また、図5には図示していないが、放射線治療を実施したが、肺がんから骨転移があった場合の医用画像を抽出する処理について説明する。経歴指定機能651は、診療内容の経歴として診療記録として「肺がん」「手術」「放射線治療」「骨転移」とのキーワードの入力を受け付ける。取得機能652は、肺がんの手術後に放射線治療を行ったが骨移転が発生した患者の電子カルテ情報を取得する。収集機能653は、取得機能652が取得した電子カルテ情報に関連付けられた読影レポートで特定される医用画像、及び電子カルテ情報及び電子カルテ情報に関連付けられた情報を収集することで医用画像に対する確定された診療内容を示す診療情報を収集する。そして、記憶制御機能654は、収集機能653が収集した医用画像及び診療情報を学習用データテーブル621に記憶する。これにより、学習用データテーブル621には、肺がんの手術後に放射線治療を行ったが骨移転が発生した患者の医用画像が蓄積されている。しかし、必要な医用画像は、骨移転の医用画像である。そのため、特徴指定機能655は、「骨移転」とのキーワードの入力を受け付ける。そして、画像抽出機能656は、学習用データテーブル621から「骨移転」とのキーワードを有する診療情報に関連付けられている医用画像を抽出する。
図6は、肺がんと診断されたが病理検査で器質化肺炎と診断された患者の診療記録の一例を示す説明図である。2018年2月1日の医用情報には、医用画像に診療情報が関連付けられている。診療情報には、CT検査の読影結果として肺がんの疑いありと診断されたことが記録されている。2018年2月1日の医用情報には、診療情報が含まれている。診療情報には、病理検査の結果として確定診断名が「器質性肺炎」と診断されたことが記録されている。そのため、収集機能653は、図6に示す医用画像を「器質性肺炎」とラベリングする。また、収集機能653は、2018年2月1日の医用画像の異常陰影の大きさに基づいて、2018年2月1日の医用画像に対して「ステージ1期」の肺がんとラベリングする。
図6に示す場合において、肺がんとの所見が示されたが、その後の病理検査で器質化肺炎と診断された場合において、肺がんと誤った所見が示された医用画像を抽出する処理について説明する。経歴指定機能651は、診療内容の経歴として診療記録として「肺がん」「器質性肺炎」とのキーワードの入力を受け付ける。この時、経歴指定機能651は、「肺がん」の属性として所見情報が指定され、「肺がん」が記録された順番が「1」と指定される。また、経歴指定機能651は、「器質性肺炎」の属性として病理情報が指定され、「器質性肺炎」が記録された順番が「2」と指定される。これにより、取得機能652は、所見情報に「肺がん」が記録された後に、病理情報に「器質性肺炎」が記録された患者の電子カルテ情報を取得する。そして、記憶制御機能654は、収集機能653が収集した医用画像及び診療情報を学習用データテーブル621に記憶する。特徴指定機能655は、「器質性肺炎」とのキーワードの入力を受け付ける。画像抽出機能656は、2018年10月1日の医用画像は「器質性肺炎」とラベリングされているため、2018年10月1日の医用画像を抽出する。
形式指定機能657は、第3入力部の一例である。形式指定機能657は、出力機能659が出力する医用画像の形式を指定する入力を受け付ける。医用画像を使用してどのように機械学習させるかは人工知能に応じて異なる。そこで、形式指定機能657は、出力機能659が出力する医用画像の形式を指定する入力を受け付ける。例えば、形式指定機能657は、XML(Extensible Markup Language)形式、JSON(Java(登録商標) Script Object Notation)形式、CSV(Comma-Separated Values)形式に変換する指定を受け付ける。または、形式指定機能657は、Groovyや、FieldMap等のカスタマイズ可能な表現に変換する指定を受け付ける。
また、近年の人工知能は、様々なライブラリが使用される。そして、使用するライブラリによって医用画像の使用方法が異なる。例えば、使用方法には、一枚の医用画像の全部を使用する場合や、医用画像から切り取った画像を使用する場合や、病変部分を切り取った医用画像を使用する場合等がある。そこで、形式指定機能657は、医用画像から切り出す対象を指定する入力を受け付ける。
画像変換機能658は、変換部の一例である。画像変換機能658は、形式指定機能657が受け付けた形式に、医用画像を変換する。例えば、画像変換機能658は、XML形式、JSON形式、CSV形式に変換する。または、画像変換機能658は、Groovyや、FieldMap等のカスタマイズ可能な表現に変換する。
また、画像変換機能658は、形式指定機能657が医用画像から切り出す対象を指定する入力を受け付けている場合に、医用画像から指定された対象を切り出す処理を実行する。例えば、形式指定機能657が切り出す対象として病変部位が指定された場合に、画像変換機能658は、医用画像から病変部位を切り出す。
出力機能659は、出力部の一例である。出力機能659は、学習用データテーブル621に記憶された医用画像を出力する。更に詳しくは、出力機能659は、画像抽出機能656が学習用データテーブル621から抽出した医用画像を出力する。また、出力機能659は、画像変換機能658が変換した後の医用画像を出力する。また、画像変換機能658が医用画像から病変部位を切り出した場合には、画像変換機能658は、画像変換機能658が切り出した医用画像を出力する。そして、出力機能659は、医用画像を他の装置に送信する。なお、出力機能659による出力形態は、送信に限らず、他の形態であってもよい。また、出力機能659は、医用画像に限らず、医用画像と関連付けられた診療情報とを出力してもよい。
次に、本実施形態に係る医用情報収集装置60が医用画像を収集する収集処理について説明する。図7は、本実施形態に係る医用情報収集装置60が実行する収集処理の処理手順を示すフローチャートである。
収集機能653は、医用画像を収集する収集条件が満たされたか否かを判定する(ステップS11)。収集条件が満たされていない場合に(ステップS11;No)、収集機能653は、収集条件が満たされるまで待機する。
収集条件が満たされた場合に(ステップS11;Yes)、取得機能652は、経歴指定機能651が受け付けた診療内容の経歴に適合する電子カルテ情報を取得する(ステップS12)。
収集機能653は、取得機能652が取得した電子カルテ情報に関連付けられた読影レポートで特定される医用画像を収集する(ステップS13)。この時、収集機能653は、医用画像と共に、医用画像に対する確定された診療内容を示す診療情報を収集してもよい。
記憶制御機能654は、収集機能653が収集した医用画像を学習用データテーブル621に記憶させる(ステップS14)。記憶制御機能654は、収集機能653が診療情報を収集した場合には、医用画像と、診療情報とを学習用データテーブル621に記憶させる。
以上により、医用情報収集装置60は、収集処理を終了する。
次に、本実施形態に係る医用情報収集装置60が医用画像を出力する出力処理について説明する。図8は、本実施形態に係る医用情報収集装置60が実行する出力処理の処理手順を示すフローチャートである。
特徴指定機能655は、医用画像の特徴を指定する入力を受け付けたか否かを判定する(ステップS21)。
医用画像の特徴を指定する入力を受け付けた場合に(ステップS21;Yes)、画像抽出機能656は、学習用データテーブル621から指定された特徴に適合する医用画像を抽出する(ステップS22)。
医用画像の特徴を指定する入力を受け付けていない場合に(ステップS21;No)、画像抽出機能656は、学習用データテーブル621に記憶された全ての医用情報を抽出する(ステップS23)。
形式指定機能657は、出力する医用画像の形式を指定する入力を受け付けたか否かを判定する(ステップS24)。医用画像の形式を指定する入力を受け付けた場合に(ステップS24;Yes)、画像変換機能658は、指定された形式に医用画像を変換する(ステップS25)。
医用画像の形式を指定する入力を受け付けていない場合に(ステップS24;No)、医用情報収集装置60は、医用画像の形式を変換せずにステップS26に移行する。
出力機能659は、医用画像を出力する(ステップS26)。
以上により、医用情報収集装置60は、収集処理を終了する。
以上のように、本実施形態に係る医用情報収集装置60は、指定された診療内容の経歴を有する電子カルテ情報を取得する。また、医用情報収集装置60は、電子カルテ情報に関連付けられた読影レポートで特定される医用画像を収集する。そして、医用情報収集装置60は、収集した医用画像を出力する。ここで、医師等の医療従事者は、ハイパーリンクにより医用画像を関連付ける場合、一又は複数の医用画像のうち最も特徴的な医用画像を所見情報と関連付けることが一般的であると想定される。医用情報収集装置60は、ハイパーリンクにより関連付けられた医用画像を収集することで、特徴的な部分の無い医用画像ではなく、特徴的な部分を有する医用画像を収集することができる。すなわち、医用情報収集装置60は、人工知能の学習に適した医用画像を収集することができる。以上により、本実施形態に係る医用情報収集装置60は、人工知能に応じた医用画像を学習用データを収集することができる。
また、上述した実施形態では、単一の処理回路550によって各処理機能が実現される場合の例を説明したが、実施形態はこれに限られない。例えば、処理回路550は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路550が有する各処理機能は、単一又は複数の処理回路550に適宜に分散又は統合されて実現されてもよい。
上述した各実施形態の説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。ここで、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行されるプログラムは、ROM(Read Only Memory)や記憶部等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、各機能部を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
また、上述した実施形態で説明した医用情報収集方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上説明した少なくとも一つの実施形態によれば、人工知能に応じた医用画像を学習用データとして収集することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。