JP7388284B2 - 類似症例検索プログラム、類似症例検索方法及び類似症例検索システム - Google Patents

Description

本発明は、類似症例検索プログラム、類似症例検索方法及び類似症例検索システムに関する。

従来、びまん性肺疾患の患者の肺のＣＴ画像を医師に提示し、診察を支援する症例検索システムが知られている。

innnavinet、「富士フイルム、人工知能を用いて画像診断をサポートする類似症例検索システム「SYNAPSE Case Match（シナプス ケース マッチ）」の対象疾患を拡大～画像診断が難しい「びまん性肺疾患」の症例検索機能を搭載」～（https://www.innervision.co.jp/products/release/20170414） 富士フイルム、「富士フイルムと京都大学 AI技術を用いた間質性肺炎の診断支援技術の共同開発に成功」（https://www.fujifilm.co.jp/corporate/news/articleffnr_1417.html）

しかしながら、従来の技術では、類似画像の検索結果にユーザの判断を反映させることが難しい場合があるという問題がある。例えば、従来の技術では、機械学習モデルが類似する画像の検索を行う。一方で、最適な診断を得るための類似画像の判断基準は、診察を行う医師ごとに異なることが考えられる。なお、症例検索システムのユーザは、主に医師である。

１つの側面では、類似画像の検索結果にユーザの判断を反映させることを目的とする。

１つの態様において、類似症例検索プログラムは、患者の肺を撮影した第１の画像に類似する画像を、所定の記憶領域から検索する処理をコンピュータに実行させる。類似症例検索プログラムは、検索によって得られた画像のそれぞれを、各画像に所定のフラグが付与されているか否かを示すマークとともに、第１の画像との類似度が大きい順に並べて表示装置に表示させる処理をコンピュータに実行させる。

１つの側面では、類似画像の検索結果に医師の判断を反映させることができる。

図１は、類似症例検索システムの構成例を示す図である。 図２は、患者ＤＢのデータ構造の例を示す図である。 図３は、症例ＤＢのデータ構造の例を示す図である。 図４は、検索結果を表示する画面の例を示す図である。 図５は、検索処理の流れを示すフローチャートである。 図６は、更新処理の流れを示すフローチャートである。 図７は、ハードウェア構成例を説明する図である。

以下に、本発明に係る類似症例検索プログラム、類似症例検索方法及び類似症例検索システムの実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

類似症例検索システムは、ＤＢに蓄積された患者の画像を検索し、検索により得られた画像を表示することで、医師の診察を支援するシステムである。ここでの画像は、例えばＣＴ画像等の医用画像である。例えば、類似症例検索システム１は、診察中の患者の画像に類似する画像をＤＢから取得し、当該取得した画像に対応付けられた疾患に関する情報を医師に提示することができる。これにより、医師は、提示された画像及び疾患に関する情報を参考にして診察を行うことができる。類似症例検索システムのユーザは、例えば医師である。

図１は、類似症例検索システムの構成例を示す図である。図１に示すように、類似症例検索システム１は、類似症例検索装置１０及び表示装置２０を有する。また、類似症例検索装置１０は、インタフェース部１１、記憶部１２及び制御部１３を有する。

インタフェース部１１は、データの入出力、及び他の装置とのデータ通信を行うためのインタフェースである。また、例えば、インタフェース部１１は、表示装置２０に対し画像データを出力する。このとき、表示装置２０は、インタフェース部１１を介して受け取った画像データを基に画像を表示する。表示装置２０は、例えばディスプレイ及びタッチパネルである。

記憶部１２は、制御部１３が実行するプログラム及びプログラムの実行に必要なデータを記憶する記憶装置の一例である。記憶部１２は、患者ＤＢ１２１、症例ＤＢ１２２及び画像ＤＢ１２３を記憶する。

患者ＤＢ１２１には、患者ごとの情報が格納される。図２は、患者ＤＢのデータ構造の例を示す図である。図２に示すように、患者ＤＢ１２１には、患者ごとの患者ＩＤ、氏名、性別、生年月日が格納される。図２の例では、患者ＩＤが「0000000074」である患者の氏名が「患者 太朗」であり、性別が男であり、生年月日が「1950/1/1」であることが示されている。

症例ＤＢ１２２には、検査結果が格納される。図３は、症例ＤＢのデータ構造の例を示す図である。図３に示すように、症例ＤＢ１２２には、患者を識別する患者ＩＤ、画像を識別するＵＩＤとともに、フラグ、画像パスが格納される。フラグは、ユーザの操作に基づき付与又は削除される。実施例では、フラグの値が「１」である状態をフラグが付与された状態であることとする。逆に、実施例では、フラグの値が「０」である状態をフラグが付与されていない状態であることとする。また、症例ＤＢ１２２には、各画像を検索するための１つ以上の検索条件が格納される。検索条件は、例えば画像から抽出される特徴量である。

図３の例では、患者ＩＤが「0000000074」である患者のＵＩＤが「1.1.1.1」である画像のフラグが「１」であり、検索条件ｆ１が「100」であり、検索条件ｆ２が「300」であることが示されている。

画像ＤＢ１２３には、検査において得られた画像が格納される。画像ＤＢ１２３に格納された画像は、ＵＩＤにより一意に特定される。また、画像ＤＢ１２３に画像を取得するためのパスは、症例ＤＢ１２２に格納されていてもよい。

制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３は、表示制御部１３１、抽出部１３２、検索部１３３及び更新部１３４を有する。

表示制御部１３１は、制御部１３の各処理部による処理の結果を基に生成される画像を表示装置２０に表示させる。例えば、表示制御部１３１は、インタフェース部１１を介して画像データを表示装置２０に出力する。

抽出部１３２は、画像から特徴量を抽出する。抽出部１３２は、画像全体の特徴量を抽出してもよいし、パッチごとの特徴量を抽出してもよい。

ここで、パッチはＣＴ画像を分割して得られる複数の領域である。例えば、パッチは、ＣＴ画像を分割して得られる16×16pixelの画像である。また、パッチごとの特徴と、あらかじめ定められた所定の陰影ごとの特徴との類似度を基に、陰影種類が得られる。例えば、類似症例検索システム１は、パッチから抽出した特徴量と、各陰影種類の特徴量との類似度を計算する機械学習モデルを利用して、各パッチに対応する陰影種類を検出することができる。

検索部１３３は、患者の肺を撮影した第１の画像に類似する画像を、画像ＤＢ１２３から検索する。画像ＤＢ１２３は、所定の記憶領域の一例である。例えば、検索部１３３は、指定された画像の特徴量と画像ＤＢ１２３に格納された画像の特徴量との類似度を比較し、類似度が大きい順に所定数の画像を取得することができる。また、検索部１３３は、類似度が所定値以上、かつ指定されたその他の条件に合致する画像を取得してもよい。ここで、その他の条件には、患者ＩＤ、疾患の種類、検査日等が含まれる。また、その他の条件は、フラグが付与されているか否かであってもよい。

表示制御部１３１は、検索部１３３による検索によって得られた画像のそれぞれを、各画像に所定のフラグが付与されているか否かを示すマークとともに、第１の画像との類似度が大きい順に並べて表示装置２０に表示させる。

図４は、検索結果を表示する画面の例を示す図である。図４に示すように、検索結果表示画面の領域２０１には、検査対象の画像が表示される。領域２０１に表示される検査対象の画像が、第１の画像に相当する。画像上には、パッチが正方形によって表される。また、パッチを表す正方形の枠線の色は、検出された陰影の種類ごとに異なっていてもよい。

また、領域２０１の下部には、患者ＤＢ１２１から取得された患者に関する情報が表示される。また、領域２０１の下部には、表示するパッチの種類を選択するためのチェックボックス群が表示される。

一方、領域２０１ａ、領域２０１ｂ、領域２０１ｃ、領域２０１ｄには、検索により得られた画像が表示される。また、領域２０１ａ、領域２０１ｂ、領域２０１ｃ、領域２０１ｄの順で、表示される画像と検査対象の画像との類似度が大きいものとする。

マーク２１１、マーク２１１ａ、マーク２１１ｂ、マーク２１１ｃ、マーク２１１ｄは、画像ＤＢ１２３において、対応する画像にフラグが付与されているか否かを視覚的に表すことができる。例えば、各マークには、点灯と消灯の２つの状態があるものとする。フラグが付与されている場合、マークの状態は点灯になる。一方、フラグが付与されていない場合、マークの状態は消灯になる。例えば、点灯は、マークが背景と異なる色で塗りつぶされている状態である。また、例えば、消灯は、マークが背景と同じ色で塗りつぶされている状態である。

なお、フラグに対応するマークの表示態様は、上記のものに限られない。例えば、マークは、画像にフラグが付与されている場合は第１の色で塗りつぶされ、画像にフラグが付与されていない場合は第１の色と異なる第２の色で塗りつぶされていてもよい。また、例えば、マークは、画像にフラグが付与されている場合は視認可能に表示され、画像にフラグが付与されていない場合は表示されないものであってもよい。

図４の例では、マーク２１１、マーク２１１ｂ、マーク２１１ｃ、マーク２１１の状態は消灯である。この場合、領域２０１、領域２０１ｂ、領域２０１ｃ、領域２０１ｄに表示されている画像に対応する症例ＤＢ１２２のレコードのフラグは「０」である。一方で、マーク２１１ａの状態は点灯である。この場合、領域２０１ａに表示されている画像に対応する症例ＤＢ１２２のレコードのフラグは「１」である。

更新部１３４は、表示装置２０に表示されている画像に対応するマークに対する所定の操作が行われた場合、当該マークに対応する画像についての、フラグが付与されているか否かを示す情報を更新する。例えば、更新部１３４は、症例ＤＢ１２２のフラグを「０」又は「１」に更新する。

例えば、図４のマーク２１１が押下された場合、更新部１３４は、対応する画像ＤＢのレコードのフラグを「０」から「１」に更新する。一方、図４のマーク２１１ａが押下された場合、更新部１３４は、対応する画像ＤＢのレコードのフラグを「１」から「０」に更新する。

図５は、検索処理の流れを示すフローチャートである。まず、検索部１３３は、診断対象の画像と類似する画像を検索する（ステップＳ１０１）。次に、表示制御部１３１は、検索により得られた画像を類似度が大きい順に並べて表示する（ステップＳ１０２）。そして、表示制御部１３１は、フラグが「１」の画像のマークを点灯表示する（ステップＳ１０３）。

図６は、更新処理の流れを示すフローチャートである。まず、表示制御部１３１は、マークを押下する操作を受け付ける（ステップＳ２０１）。

ここで、操作直前のマークの状態が消灯の場合（ステップＳ２０２、消灯）、更新部１３４は、操作されたマークに対応するフラグを「１」に更新する（ステップＳ２０３）。そして、表示制御部１３１は、操作されたマークを点灯表示する（ステップＳ２０４）。

一方、操作直前のマークの状態が点灯の場合（ステップＳ２０２、点灯）、更新部１３４は、操作されたマークに対応するフラグを「０」に更新する（ステップＳ２０５）。表示制御部１３１は、操作されたマークを消灯表示する（ステップＳ２０６）。

これまで説明してきたように、検索部１３３は、患者の肺を撮影した第１の画像に類似する画像を、所定の記憶領域から検索する。表示制御部１３１は、検索によって得られた画像のそれぞれを、各画像に所定のフラグが付与されているか否かを示すマークとともに、第１の画像との類似度が大きい順に並べて表示装置２０に表示させる。このように、類似症例検索装置１０は、フラグが付与されているか否かに関係なく、類似度が大きい順に検索結果を表示するとともに、フラグが付与されているか否かを表示することができる。フラグは、ユーザが任意に付与することができるものであるため、本実施例によれば、類似画像の検索結果にユーザの判断を反映させることができる。

なお、本実施例ではフラグが付与されているか否かの２種類のみを示したが、フラグに３種類以上の状態を持たせてもよい。例えば、ユーザの感覚に合わせて多段階の情報として付与することも可能である。このようなフラグが多段階の情報を持つ場合に、コンピュータは、フラグ情報が付与されている症例について、それぞれの段階を識別可能にして表示することも可能である。例えば、表示制御部１３１は、フラグが多段階の情報を持つ場合にそれぞれの段階を識別可能にして表示装置２０に表示させる。

更新部１３４は、表示装置２０に表示されている画像に対応するマークに対する所定の操作が行われた場合、当該マークに対応する画像についての、フラグが付与されているか否かを示す情報を更新する。このように、類似症例検索装置１０は、画面に対するユーザの操作に応じてＤＢを更新することができる。その結果、本実施例によれば、類似画像の検索結果にユーザの判断を反映させることができる。

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図７は、ハードウェア構成例を説明する図である。図１１に示すように、類似症例検索装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図７に示した各部は、バス等で相互に接続される。

通信インタフェース１０ａは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図１に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１０ｄは、図１に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図１等で説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、類似症例検索装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、表示制御部１３１、抽出部１３２、検索部１３３及び更新部１３４と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、表示制御部１３１、抽出部１３２、検索部１３３及び更新部１３４等と同様の処理を実行するプロセスを実行する。

このように類似症例検索装置１０は、プログラムを読み出して実行することで学習類方法を実行する情報処理装置として動作する。また、類似症例検索装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、類似症例検索装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

１ 類似症例検索システム
１０ 類似症例検索装置
１１ インタフェース部
１２ 記憶部
１３ 制御部
２０ 表示装置
１２１ 患者ＤＢ
１２２ 症例ＤＢ
１２３ 画像ＤＢ
１３１ 表示制御部
１３２ 抽出部
１３３ 検索部
１３４ 更新部
２０１、２０１ａ、２０１ｂ、２０１ｃ、２０１ｄ 領域
２１１、２１１ａ、２１１ｂ、２１１ｃ、２１１ｄ マーク

Claims (4)

1. 患者の肺を撮影した第１の画像に類似する画像を、所定の記憶領域から検索し、
   検索によって得られた画像のそれぞれを、各画像に所定のフラグが付与されているか否かを示すマークとともに、前記第１の画像との類似度が大きい順に並べて表示装置に表示させ、
   前記表示装置に表示されている画像に対応するマークに対する所定の操作が行われた場合、当該マークに対応する画像についての、前記フラグが付与されているか否かを示す情報を更新する
   処理をコンピュータに実行させることを特徴とする類似症例検索プログラム。
2. 前記フラグが多段階の情報を持つ場合にそれぞれの段階を識別可能にして表示する処理をさらに実行させることを特徴とする請求項１に記載の類似症例検索プログラム。
3. 患者の肺を撮影した第１の画像に類似する画像を、所定の記憶領域から検索し、
   検索によって得られた画像のそれぞれを、各画像に所定のフラグが付与されているか否かを示すマークとともに、前記第１の画像との類似度が大きい順に並べて表示装置に表示させ、
   前記表示装置に表示されている画像に対応するマークに対する所定の操作が行われた場合、当該マークに対応する画像についての、前記フラグが付与されているか否かを示す情報を更新する
   処理をコンピュータが実行することを特徴とする類似症例検索方法。
4. 類似症例検索装置と表示装置とを有する類似症例検索システムであって、
   前記類似症例検索装置は、
   患者の肺を撮影した第１の画像に類似する画像を、所定の記憶領域から検索する検索部と、
   検索によって得られた画像のそれぞれを、各画像に所定のフラグが付与されているか否かを示すマークとともに、前記第１の画像との類似度が大きい順に並べて前記表示装置に表示させる表示制御部と、
   前記表示装置に表示されている画像に対応するマークに対する所定の操作が行われた場合、当該マークに対応する画像についての、前記フラグが付与されているか否かを示す情報を更新する更新部と、
   を有し、
   前記表示装置は、
   前記表示制御部の制御に応じて画面を表示することを特徴とする類似症例検索システム。

Images