まず、本発明の実施形態を説明するにあたって、各実施形態を理解するのに参考となる技術的事項について説明する。
[参考例1]
まず診断支援の詳細について説明する。一般に医療における診断行為は医師の判断により行われている、このことは医師の経験差や主観判断の違いによる診断結果の相違が生じる可能性があることを示している。この問題に対し、診断支援は所見に対する情報の客観的表示、線形判別関数やニューラルネットワーク等の識別分類手法を用いた疾患分類結果表示、診断時における典型症例や類似症例の参照表示等、様々な情報を提供することで
ばらつきのない正確な診断を実現することを目的としている。診断支援コンテンツは診断支援において提供する支援情報の内容や種類であり、例えば以下の(1)〜(5)に示すバリエーションが考えられる。これらの診断支援コンテンツは、画像撮像機器(モダリティ、本願発明においては内視鏡システムを例に説明する)、検査部位、注目する疾患名等に応じて適宜作成される。
(1)画像所見の客観表示及び疾患に関する統計情報表示
医用内視鏡分野においては、例えば重要な画像所見の一つとして色調が挙げられる。色調の違いを客観的に表す数値(特徴量)としては、IHb値が広く用いられている。IHb値はRGB色信号から構成される内視鏡画像の各画素ごとに式
32log2 Ri/Gi
により求められる値で、粘膜下血液量に相関する値として知られ、粘膜の色調が赤い程高い値をとる。ここで、iは画素の番号を示す添え字であり、画像全体または関心領域内の平均値を診断支援情報として用いる。IHb値を用いて胃炎の診断支援を行うための診断支援コンテンツの例を図9に示す。図9は医師に対し提示される表示画面の内容であり、表示領域A1において、診断支援コンテンツ名称A2、グラフ情報領域A3、診断情報領域A4、統計情報領域A5から構成されている。グラフ情報領域A3には正常群及び疾患群(本例では胃炎群)におけるIHb値の生起確率分布をグラフ表示するとともに、診断対象となる症例から得られたIHb値がどこに位置するかを示すポインタA6を重畳している。また、診断情報領域A4については診断対象となる症例のIHb値とグラフ情報領域A3の正常群及び胃炎群を参照した場合の生起確率情報を表示するとともに、「ヘリコバクタピロリ感染による胃炎が疑われます。」といったテキスト情報も出力する。統計情報領域A5においては、正常群及び胃炎群におけるIHb値の平均値±標準偏差、各群の生起確率が等しくなる境界値、IHb値を用いた診断支援情報の感度、特異度等の統計情報が表示される。これらの各診断支援情報を参考に、医師は最終的な診断を行う。したがって、通常は「粘膜表面が赤い」等の主観的な判断に依存していた診断が、本例に示す診断支援コンテンツを参照することにより客観的かつ統計的根拠に基づくものとなる。
また、IHb値に基づき疑似カラー画像を作成し、内視鏡画像と併せて表示してもよい。
このような特徴量及び統計情報を用いた診断支援は内視鏡画像の色調に限らず、X線や超音波画像の他のモダリティ、構造成分や濃淡情報等の各種所見に対し適宜作成できる。また、例えば血液検査による赤血球数等、画像から得られる特徴量以外の数値に対しても同様の診断支援コンテンツを作成可能である。
(2)画像解析手法の適用により得られる特徴量を用いた識別分類結果による疾患種別表示
内視鏡画像から得られる複数種の特徴量及び識別分類手法を用いた胃***性病変(腺腫、早期癌)の診断支援を行うための診断支援コンテンツの例を図10に示す。図10は医師に対し提示される表示画面の内容であり、表示領域A11において、診断支援コンテンツ名称A12、算出特徴量情報領域A13、診断情報領域A14から構成されている。算出特徴量情報領域A13には診断支援に用いる特徴量(本例においてはIHb値、G変動係数、血管面積比の3種)の値について、診断対象からの算出値、診断結果となる正常群、腺腫群及び早期癌群の平均値を表示する。また、診断情報領域A14においては、識別分類手法名(本例では線形判別関数)、識別結果となるクラス名称、識別分類結果を表示する。
また、「生検の実施が必要です。」といったより確実な診断のためのテキスト情報も表示する(生検とは特殊な針で粘膜組織をサンプルし、顕微鏡下で組織像を確認する診断法である)。
(3)典型症例、類似症例画像及び患者・検査情報表示
診断対象となる症例の画像に対し、疑われる診断結果の典型症例及び類似症例画像を比較参照用に表示することで診断支援を行うための診断支援コンテンツの例を図11に示す。図11は医師に対し提示される表示画面の内容であり、マウス等の入力手段を用いてインタラクティブに指示を行うことができるウィンドウとして構成されている。図11の内容としては、表示領域A21において診断支援コンテンツ名称A22、診断対象画像表示領域A23、参照用画像表示領域A24、参照用画像を典型症例または類似症例のいずれとするかを選択するためのボタンA25、複数の参照用画像がある場合に前後の画像を選択表示するための選択ボタンA26、参照用画像の詳細を表示するための詳細表示ボタンA27、参照用画像の診断名表示兼プルダウンメニューA28、診断対象画像及び参照用画像の各種特徴量等の比較情報表示領域A29、各ボタンとメニューをマウス操作及びクリックにより選択するためのカーソルA30からなっている。
参照用画像としては、前述の診断支援コンテンツ(1)及び(2)により得られた診断結果やメニューA28を用いた医師のマニュアル指定による診断名に基づく症例の画像が選択される。本例においてはIIa型早期胃癌のNo.12が付与された参照用画像を表示している。詳細表示ボタンA27がクリックされた場合には、図12に示す参照用画像の詳細表示画面が別のウィンドウとして開き、各種の情報を表示する。また、参照用画像として類似症例画像を選択した場合には、比較情報表示領域A29に示す各種特徴量の値が近い症例画像を検索の上、表示する。
このように、疑われる疾患の典型的症例画像や類似症例画像を表示し、診断時に比較検討することができるため、医師の経験差や知識を補うとともに診断の正確さが向上する。
(4)疾患が疑われる際に注目すべき所見等の情報表示
診断対象となる症例に対し、疑われる疾患の診断において注目すべき所見、鑑別対象となる疾患との違い等の情報を表示することにより診断支援を行うための診断支援コンテンツの例を図13に示す。図13は医師に対し提示される表示画面の内容であり、マウス等の入力手段を用いてインタラクティブに指示を行うことができるウィンドウとして構成されている。図13の内容としては、表示領域A41において診断支援コンテンツ名称A42、診断対象疾患名表示兼プルダウンメニューA43、診断対象疾患情報表示領域A44、鑑別対象疾患情報表示領域A45、他の鑑別対象疾患情報を表示するための表示情報変更ボタンA46、ボタンとメニューをマウス操作及びクリックにより選択するためのカーソルA47からなっている。
診断対象疾患情報表示領域A44には、前述の診断支援コンテンツ(1)及び(2)により得られた診断結果やメニューA43を用いた医師のマニュアル指定による診断名に対する診断上重要となる画像所見についての情報が表示される。また、鑑別が重要となる他の疾患についての同様な情報が鑑別対象疾患情報表示領域A45に表示される。また、鑑別対象疾患は診断名ごとに定められており、本例のIIa型早期胃癌に対しては腺腫、過形成性ポリープ・リンパ腫等の***性病変が対象となり、表示情報変更ボタンA46をクリックすることで順次各々の注目所見情報を表示する。これらの各種情報として常に最新の医療情報に基づく内容を提示することにより、医師は自身の記憶・経験のみでなくこれらの情報を参考にして診断を行うことができる。
(5)疾患に対する検査項目、処置内容等の情報表示
診断対象となる症例に対し、疑われる疾患の診断において実施すべき検査項目や適切な処置の選択に関する情報を表示することにより診断支援を行うための診断支援コンテンツの例を図14に示す。図14は医師に対し提示される表示画面の内容であり、マウス等の入力手段を用いてインタラクティブに指示を行うことができるウィンドウとして構成されている。図14の内容としては、表示領域A51において診断支援コンテンツ名称A52、診断対象疾患名表示兼プルダウンメニューA53、診断対象疾患の検査内容表示領域A54、診断対象疾患の処置内容表示領域A55、メニューをマウス操作及びクリックにより選択するためのカーソルA56からなっている。
診断対象疾患の検査内容情報表示領域A54には、前述の診断支援コンテンツ(1)及び(2)により得られた診断結果やメニューA53を用いた医師のマニュアル指定による診断名に対する診断上重要となる検査項目についての情報が表示される。また、診断確定後の処置内容に関する情報が処置内容表示領域A55に表示される。これらの情報として医療の進歩に応じた最新の知見を導入することで、医師の記憶・経験を有効に補助する診断支援が可能となる。
以上に示した診断支援コンテンツについては、モダリティや診断の目的に応じて使用する特徴量等を適宜変更することが可能である。また、各診断支援コンテンツは同時に実行可能であり、例えばマルチウィンドウ形式や組み合せ表示により複数の診断支援コンテンツを同時に利用することでより多くの情報を提示することができる。
続いて、参考例1について、図面を参照して詳細に説明する。本参考例は検査の目的や種別に応じた診断支援情報を選択的に得られるとともに、最新の診断支援コンテンツを利用可能な診断支援装置に関するものである。
図1は、参考例1に係る診断支援システムの構成を示す。図1において、#1は本参考例1に係る診断支援システム、#2はWAN(Wide Area Network)またはLAN(Local Area Network)により構築されるネットワーク#4を介して診断支援コンテンツを配信するための診断支援コンテンツサーバ、#3は病院・診療所等に設置され、診断支援コンテンツサーバ#2から配信される診断支援コンテンツ及び医用システム#5より得られる診断用情報を用いた診断支援を行うための診断支援実行端末である。
ここで診断支援コンテンツサーバ#2及び診断支援実行端末#3はコンピュータであり、それぞれCRTやLCD等の表示手段とともにキーボード、マウス等の入力手段を有している。また、図1においては便宜上各1台ずつの接続を表しているが、診断支援コンテンツサーバ及び診断支援実行端末が同一ネットワーク上に複数存在することが可能である。
なお、診断支援システムはセキュリティを守るため、診断支援コンテンツサーバ#2及び診断支援実行端末#3は互いにサーバ名、施設名、IDやパスワード等の認証情報を送受信することにより通信を確立できるようになっている。
図2は本参考例1における診断支援コンテンツサーバ#2の構成を示す説明図である。診断支援コンテンツサーバ#2は、診断支援コンテンツ及び診断支援コンテンツ管理情報を記憶する診断支援コンテンツ記憶手段#6と、診断支援コンテンツサーバ#2の動作を制御するための制御手段#9と、制御手段#9において実行するメインプログラムを記憶するためのメインプログラム記憶手段#7と、診断支援コンテンツを配信する配信先を特定し、また認証するための配信先管理ファイル記憶手段#8と、診断支援コンテンツの配信においてネットワーク#4を介する入出力を制御するための入出力制御手段#10から構成されている。診断支援コンテンツ記憶手段#6、メインプログラム記憶手段#7及び配信先管理ファイル記憶手段#8は診断支援コンテンツサーバ#2を実現するコンピュータに接続されたハードディスクを用いる。また、制御手段#9はCPU及びメインメモリを用いたメインプログラムの実行により動作する。
図4は参考例1における診断支援コンテンツサーバ#2の制御手段#9で実行されるメインプログラム#31のブロック図であり、診断支援コンテンツの配信における一連の処理を実行する診断支援コンテンツ配信実行部#32、診断支援コンテンツ記憶手段#6及び配信先管理ファイル記憶手段#8に対する検索、読み出し等にともなう一連のアクセスを制御するための記憶手段管理部#33から構成されている。
診断支援コンテンツは始めに説明したように、医師の診断に対する様々な支援情報を提供するもので、例えば図15に示す診断支援コンテンツオブジェクトA60のように構成される。図15において、診断支援コンテンツオブジェクトA60は必要に応じて各種のデータやプログラムを組み合わせたソフトウェア上の概念であり、診断支援コンテンツを特定するためのID、名称等を含む診断支援コンテンツ特定情報A61、診断支援対象となるN種類の疾患種別(N≧1)に対する統計情報、診断情報、検査・処置情報、複数の症例・画像データから算出した特徴量データリスト等を含む疾患情報A62、各疾患種別に対応する1個以上の参照用画像情報A63、診断支援に使用するためのP種類(P≧1)の特徴量算出手法を実行するための特徴量算出ライブラリA64、K種類(K≧1)の識別分類手法を実行するための識別分類手法ライブラリA65、グラフ作成時に参照されるグラフ作成データA66から構成されている。診断支援コンテンツオブジェクトは診断支援コンテンツを実現するファイルやソフトウェアライブラリであり、診断支援コンテンツの送受信、保存、選択等はこれらのファイルやソフトウェアを用いて実行される。また、診断支援コンテンツの更新・追加は診断支援コンテンツオブジェクトに含まれる各種解析手法、統計データ、画像データ等に対する部分的なバージョンアップ等の変更も含まれ、変更された要素項目のみを送受信することも可能となっている。
なお、診断支援コンテンツオブジェクトは図15に示したすべての要素を必ず備えるのではなく、生成する診断支援情報に必要な要素だけを使用するようになっている。
また、診断支援コンテンツ管理情報は、診断支援コンテンツオブジェクトA60のID、名称等の診断支援コンテンツ特定情報に加え、作成・更新日時等の日付情報、作成者情報、その他の説明情報等をテーブル化し、ファイルとして記憶するものである。
図3は本参考例1における診断支援実行端末#3の構成を示す説明図である。診断支援実行端末#3は、診断支援実行端末#3の動作を制御するとともに診断支援情報を作成するための制御手段#12と、ネットワーク#4を介する通信入出力を制御するための入出力制御手段#11と、制御手段#12において実行するメインプログラムを記憶するためのメインプログラム記憶手段#14と、配信された診断支援コンテンツ及び診断支援コンテンツ管理情報を記憶するための診断支援コンテンツ記憶手段#13と、ネットワークアドレス、ユーザ名、ID等診断支援実行端末#3を特定するための端末認証情報を記憶するための端末認証情報記憶手段#16と、医用システム#5より得られる患者、検査及び画像に関する診断用情報を取得するための入出力を制御する診断情報入出力制御手段#15と、作成された診断支援情報の表示を制御するための表示制御手段#17と、作成された診断支援情報を表示するための表示手段#18と、操作者からの指示等を入力するためのキーボード、マウス等の外部入力手段#23から構成されている。また、図3において、医用システム#5はLAN等による院内ネットワーク#20に接続された電子カルテ#21、画像ファイルシステム#22、本参考例1における画像撮像のためのモダリティである内視鏡システム#19から構成されている。これらの医用システム#5は、近年普及しているDICOM3.0等の共通プロトコル等を用いて互いに情報の授受を行うことができるようになっている。診断支援コンテンツ記憶手段#13、メインプログラム記憶手段#14及び端末認証情報記憶手段#16は診断支援実行端末#3を実現するコンピュータに接続されたハードディスクを用いる。また、制御手段#12はCPU及びメインメモリを用いたメインプログラムの実行により動作する。
次に、診断支援実行端末#3の診断支援情報生成及び表示にともなう動作について説明する。
図7は本参考例1における診断支援実行端末#3の制御手段#12において実行されるメインプログラム#51のブロック図であり、診断支援コンテンツ記憶手段#13に対する記憶、検索、読み出し等にともなう一連のアクセスを制御する記憶手段管理部#53と、診断支援情報入出力手段#15を介して入力される患者、検査及び画像情報からなる診断情報の入出力を行うインターフェースである診断情報入出力I/F#56と、キーボード、マウス等の外部入力手段#23からの入力を行うインターフェースである入力I/F#58と、入力された診断情報及び診断支援コンテンツを用いた診断支援情報を生成するための診断支援情報生成部#57と、診断支援コンテンツサーバ#2に対する端末認証情報の送信を行う端末認証情報送信部#52と、端末認証情報記憶手段#16及び診断支援コンテンツ記憶手段#13に対する記憶、検索、読み出し等にともなう一連のアクセスを制御する記憶手段管理部#53と、診断支援コンテンツの受信にともなう診断支援コンテンツサーバとの一連の通信を行うための診断支援コンテンツ通信部#55と、受信した診断支援コンテンツを記憶手段管理部#53を経由して診断支援コンテンツ記憶手段#13に記憶するとともに診断支援コンテンツ管理情報を更新する診断支援コンテンツ管理部#54とを備えている。
図16及び図31は本参考例1における診断支援実行端末#3の診断支援情報生成及び診断支援コンテンツの更新・追加にともなう一連の動作を説明するためのフローチャートである。なお、検査時の診断支援情報の生成においては、ここでは図3に基づき診断支援実行端末#3に接続された内視鏡システム#19からの画像の入力をトリガとして診断支援情報を生成し、表示手段#18に表示するものとする。
図16において、ステップS21で実行する診断支援コンテンツの設定または診断支援コンテンツの更新・追加を選択する。具体的には、メインプログラム#51は図27に示す診断支援メインメニューウィンドウA200を表示手段#18に表示する。メインメニューウィンドウA200は、検査における診断支援を実行するための診断支援実行ボタンA201、診断支援コンテンツサーバ#2との通信により診断支援コンテンツを更新・追加するための診断支援コンテンツ更新/追加ボタンA202と、診断支援実行端末の動作を終了するための終了ボタンA203を備えており、キーボード、マウス等の外部入力手段#23を用いて各ボタンを選択することで次の動作ステップに進む。メインメニューウィンドウA200において、診断支援実行ボタンA201が選択された場合は図31に示すステップS51に進む。また、診断支援コンテンツ更新/追加ボタンA202が選択された場合は図31におけるステップS54に進む。ここでは診断支援実行ボタンA201が選択されたものとして説明を続ける。
ステップS51においては、実行する診断支援コンテンツの検査条件設定を行う。条件設定の内容は検査の目的や種別に関する項目であり、本参考例1においては検査に使用する機器であるモダリティの種別、検査部位である。条件設定は表示手段#18に表示された図28に示す検査条件設定ウィンドウA210上において行い、プルダウンメニューであるモダリティ選択メニューA211及び検査部位メニューA212を使用する。各メニューには初期値として前回設定された条件が表示され、必要に応じて外部入力手段#23の操作により設定を変更する。条件設定後、OKボタンA213を選択し、ステップS52に進む。
続くステップS52においては、図29に示す、設定されたモダリティ種別及び検査部位に応じた診断支援コンテンツを選択及び設定するための診断支援コンテンツ設定ウィンドウA220が表示される。診断支援コンテンツ設定ウィンドウA220においては、ステップS51において設定した条件に対応し、診断支援実行端末#3において適用可能な診断支援コンテンツを一覧表示する診断支援コンテンツメニューA221と、診断支援コンテンツの選択/非選択状態を示す選択状態表示領域A222を備えている。診断支援コンテンツメニューA221において外部入力手段#23の操作により所望の診断支援コンテンツを選択/非選択(これらはマウス等のクリックに対してトグルになっている)するようになっており、初期値として前回の検査における選択状態が再現されている。診断支援コンテンツを設定後、検査開始ボタンA223を選択し、ステップS53に進む。
ステップS53においては、設定された診断支援コンテンツのロード(準備)を行う。メインプログラム#51は、設定された診断支援コンテンツに対応する診断支援コンテンツオブジェクトを診断支援コンテンツ記憶手段#13より読み出し、必要なデータのロード、使用する特徴量算出手法ライブラリ及び識別分類手法ライブラリ(これらはプラグイン技術により実装される。プラグインについてはインターネットブラウザ等で常用されている公知技術であるため、詳細は省略する)のリンク等を行い診断支援情報生成部#57の動作準備を完了し、図16におけるステップS22に進む。
ステップS22において、設定された診断支援コンテンツが使用する患者・検査情報を内視鏡システム#19もしくは院内ネットワーク#20に接続された電子カルテ#21、画像ファイルシステム#22等から取得する。
ステップS23においては内視鏡システム#19からの画像入力にともない、画像情報を取得する。
続くステップS24においては、ステップS22において取得した患者・検査情報及びステップS23において取得した画像情報に基づき診断支援情報生成部#57による診断支援情報を生成する。診断支援情報生成部#57は診断支援コンテンツに応じた特徴量の算出、識別分類処理の実行、統計情報・グラフの作成等、診断支援コンテンツ例(1)〜(5)に示した各種情報の生成に必要な処理を実行するとともに表示画面を作成する。
ステップS25においては生成された診断支援情報を表示手段#18に表示する。図32に診断支援実行画面表示例を示す。診断支援実行画面A250はマルチウィンドウ表示画面として構成されており、患者・検査情報、内視鏡システム#19から入力される原画像等を表示するための患者・検査・画像情報表示ウィンドウA251、設定された診断支援コンテンツに基づく診断支援情報を表示するための1つ以上の診断支援情報表示ウィンドウA252を備えている。また、患者・検査・画像情報表示ウィンドウA251に表示される原画像上には、画像解析手法の適用により特徴量を算出するための関心領域を示す関心領域情報A253が重畳される。医師は、これらの患者・検査・画像情報及び診断支援情報を参照し、検査を行う。
ステップS26においては、診断支援を終了するのであれば終了し、終了しないのであれば内視鏡システム#19からの次の画像情報入力に対してステップS23以降を繰り返す。終了にあたっては、診断支援実行画面A250における検査終了ボタンA254を選択する。メインプログラム#51は次の検査等に備え、メインメニューウィンドウA200を再度表示する。
次に、ステップS21においてメインメニューウィンドウA200上で診断支援コンテンツ更新・追加ボタンA202が選択された場合の動作について説明する。メインプログラム#51は診断支援コンテンツサーバ#2との通信をともなう一連の動作による診断支援コンテンツの更新・追加を開始する。
始めに、ステップS54において診断支援コンテンツサーバを選択する。診断支援コンテンツサーバの選択は、図33に示す診断支援コンテンツサーバ選択ウィンドウA260上で行う。診断支援コンテンツサーバ選択ウィンドウA260は、診断支援コンテンツの条件となるモダリティ及び検査部位を選択するためのプルダウンメニューであるモダリティメニューA261及び検査部位メニューA262と、診断支援コンテンツサーバを一覧表示する診断支援コンテンツメニューA263と、診断支援コンテンツサーバの選択/非選択状態を示す選択状態表示領域A264を備えており、外部入力手段#23の操作により各メニューを設定後、OKボタンA265を選択することによりステップS55に進む。
続くステップS55においては、選択された診断支援コンテンツサーバに対し、自己の端末認証情報を送信する。ここでは、図30に示す端末認証情報設定ウィンドウA230を用いる。端末認証情報設定ウィンドウA230は、施設名、端末名、ID及びパスワードをそれぞれ入力する施設名入力ボックスA231、端末名入力ボックスA232、ID入力ボックスA233及びパスワード入力ボックスA234を備えており、外部入力手段#23を用いて各種情報を入力するようになっている。また、これらの情報は端末認証情報として端末認証情報記憶手段#16に記憶されており、パスワード以外は入力ボックスに初期値として設定されている。各情報を入力の上OKボタンA235を選択することにより、メインプログラム#51は入出力制御手段#11を経由して診断支援コンテンツサーバ#2に送信し、端末認証結果を取得する。診断支援コンテンツサーバ#2は、配信先管理ファイル記憶手段#8に記憶された端末認証情報と、受信した端末認証情報とを照会することにより通信確立の可否を判定の上結果を送信し、可であれば診断支援実行端末#3との診断支援ンテンツの更新・追加に関する通信を確立する。また、通信確立が不可であれば、その理由を示すメッセージを送信する。
ステップS56において、診断支援コンテンツサーバ#2により診断支援実行端末#3が正常に認証され通信が確立していればステップS57に進む。何らかの理由(通信回線の問題、パスワードの期限切れ等)により通信が確立できなかった場合にはステップS62に進み、受信したメッセージとともにエラー表示を行う。
続くステップS57においては診断支援コンテンツサーバ#2の保持する診断支援コンテンツ管理情報を取得の上、更新・追加の対象となる診断支援コンテンツを特定するための診断支援コンテンツ管理情報参照を行う。メインプログラム#51は診断支援コンテンツ通信部#55を介して、診断支援コンテンツサーバ#2の診断支援コンテンツ記憶手段#6に記憶されている診断支援コンテンツの一覧情報の取得を要求する。一覧情報は、診断支援コンテンツサーバ#2の保持する診断支援コンテンツ管理情報に準じたもので、診断支援コンテンツのID、名称等の診断支援コンテンツ特定情報、作成・更新日時等の日付情報、作成者情報、その他の説明情報等をリスト化したものである。診断支援コンテンツサーバ#2は、診断支援コンテンツ一覧作成部#47において診断支援コンテンツの一覧情報を作成し、診断支援実行端末#3に送信する。診断支援コンテンツ管理部#54は記憶している診断支援コンテンツ管理情報と受信した診断支援コンテンツの一覧情報との比較に基づき、更新、追加等のなされた診断支援コンテンツを選出する。さらに、選出された診断支援コンテンツについて、図17に示す診断支援コンテンツの更新、追加を行うための更新/追加メニューウィンドウA71を作成し、表示手段#18に表示する。図17において、更新/追加メニューウィンドウA71は、更新、追加のなされた診断支援コンテンツの一覧表示及び選択を行うためのメニュー領域A72、キャンセルボタンA74、OK(開始)ボタンA73、メニュー領域A72のすべての診断支援コンテンツを選択状態にするための全選択ボタンA75及びメニューの選択とボタンのクリックを行うためのマウスカーソルA76を備えている。
ステップS58においては、メニュー領域A72の中から所望する診断支援コンテンツを選択するか、全選択ボタンA75を選択して全ての診断支援コンテンツを選択状態にする。
続くステップS59においては、図17のメニュー画面A71上のOKボタンA73を選択することにより、診断支援コンテンツ通信部#55より診断支援コンテンツサーバ#2に対し、選択された診断支援コンテンツのID、名称等の診断支援コンテンツ特定情報を送信するとともに送信を要求する。これを受けて診断支援コンテンツサーバ#2は要求された診断支援コンテンツを送信する。
診断支援コンテンツ受信完了後、ステップS60において診断支援コンテンツ管理部#54は診断支援コンテンツ管理情報を更新し、受信した診断支援コンテンツとともに診断支援コンテンツ記憶手段#13への記憶を行い、処理を終了の上ステップS21に戻る。
以上説明したように、本参考例1で説明した診断支援装置によれば、診断支援実行端末#3は検査の目的や種別に応じた診断支援情報を選択的に得ることが可能となるとともに、最新の診断支援コンテンツを利用することができる。
[参考例1−A]
次に、参考例1−Aにおける診断支援装置について、図面を参照して説明する。本参考例1−Aは、診断支援実行端末#3において常に最新の診断支援コンテンツを利用可能とする診断支援装置に関する。
本参考例1−Aにおける診断支援装置の形態は本参考例1において図1に示した診断支援装置と同様である。また、診断支援コンテンツサーバ#2及び診断支援実行端末#3の構成についても同様であり、各々の動作のためのメインプログラム#31及び#51を変更することにより異なる動作を実現するものである。
本参考例1−Aにおいては、診断支援コンテンツサーバ#2において診断支援コンテンツが更新または追加されたことを検知した際に、あらかじめ設定されている診断支援端末#3に対して更新または追加された診断支援コンテンツを配信する。
図4、図5及び図6を用いて本参考例1−Aにおける診断支援コンテンツサーバ#2の診断支援コンテンツ配信に関する動作について説明する。図5は診断支援コンテンツ配信実行部#32のより詳細なブロック図で、入出力制御手段#10とのインターフェースでありネットワーク#4を介して診断支援実行端末#3との通信を行うための入出力制御手段I/F#41、診断支援コンテンツ配信の指示を行う診断支援コンテンツ指示部#42、診断支援コンテンツ記憶手段#6に記憶された診断支援コンテンツの更新及び追加を検知する診断支援コンテンツ更新・追加検知部#43、診断支援コンテンツ記憶手段#6に記憶された診断支援コンテンツ管理情報を管理するための診断支援コンテンツ管理手段#44、配信先となる診断支援実行端末を特定及び認証するための診断支援実行端末認証部#45、配信する診断支援コンテンツを選択指示するための診断支援コンテンツ選択部#46、配信可能な診断支援コンテンツの一覧情報を作成するための診断支援コンテンツ一覧作成部#47から構成されている。
図6は本参考例1−Aに係る診断支援コンテンツの配信における一連の動作を説明するためのフローチャートである。ステップS1において、診断支援コンテンツ更新・追加検知部#43は診断支援コンテンツ記憶手段#6に記憶された診断支援コンテンツが更新または追加されたことを検知する。この検知は診断支援コンテンツ管理部#44が取得した診断支援コンテンツ管理情報を参照して診断支援コンテンツの日付情報やファイル情報についてその内容の変化を診断支援コンテンツ更新・追加検知部#43が検知することにより実施され、診断支援コンテンツ更新・追加検知部#43は検知結果に基づき診断支援コンテンツ配信指示部#42に配信すべき診断支援コンテンツが発生したことを通知する。
続くステップS2においては、更新・追加された診断支援コンテンツを取得する。ここでは更新・追加された診断支援コンテンツを診断支援コンテンツ選択部#46が選択し、記憶手段管理部#33を経由して診断支援コンテンツ記憶手段#6から取得する。
ステップS3においては配信先となる診断支援実行端末を特定する。ここでは、診断支援実行端末認証部#45が記憶手段管理部#33を経由して配信先管理ファイル記憶手段#8にアクセスし、配信先となる診断支援実行端末のネットワークアドレス、施設名、パスワード等の端末特定情報を取得する。
ステップS4においてはステップS3で得られた配信先端末認証情報を用いた配信先端末の認証を行う。ここでは、配信先端末認証情報を診断支援実行端末認証部#45が入出力制御手段I/F#41及びネットワーク#4を経由して得られる診断支援実行端末#3の端末認証情報と比較する。認証が完了し、配信可と判断された場合はステップS5へ、何らかの原因により端末認証情報が認識できず配信不可と判断された場合はステップS6へ進む。
ステップS5においては、診断支援コンテンツ配信指示部#42の指示により入出力制御手段I/F#41を経由して診断支援コンテンツの配信を実行する。
ステップS6においてはステップS3において特定された配信先となる診断支援実行端末のすべてについて処理が完了したかどうかを診断支援コンテンツ配信指示部#42にて判断し、完了していれば一連の処理を終了し、完了していなければステップS4ないしS6の一連の処理を再度実行する。
続いて、図7及び8を用いて診断支援コンテンツの配信にともなう診断支援実行端末#3の動作について説明する。
図8は本参考例1−Aにおける診断支援実行端末#3の診断支援コンテンツ受信にともなう一連の動作を説明するためのフローチャートである。診断支援コンテンツサーバ#2との動作に関連し、図6を併せて参照する。
図6において示した診断支援コンテンツサーバ#2の診断支援コンテンツ配信にともない、ステップS3の配信先端末特定処理における通信確立により処理が開始される。図8のステップS11において、端末認証情報送信部#52は記憶手段管理部#53に端末認証情報取得を指示することにより端末認証情報記憶手段#16に記憶されている端末認証情報を取得し、入出力制御手段#11を経由して診断支援コンテンツサーバ#2に送信する。
図6のステップS4において配信先端末として認証され、ステップS5に進むことにより診断支援コンテンツの送信が開始される。このときの診断支援実行端末#2の動作は、ステップS12における診断支援コンテンツ受信であり、入出力制御手段#11を経て診断支援コンテンツ通信部#55が動作する。
続くステップS13において、診断支援コンテンツ管理部#54により診断支援コンテンツ管理情報を更新し、ステップS14において診断支援コンテンツ及び診断支援コンテンツ記憶情報を診断支援コンテンツ記憶手段#13に記憶し、一連の処理を終了する。
以上説明したように、本参考例1−Aで説明した診断支援装置によれば、診断支援コンテンツサーバ#2における診断支援コンテンツの更新、追加にともない診断支援実行端末#3への配信を実行することにより、常に最新の診断支援コンテンツを検査において利用することが可能となる。
[参考例1−B]
次に、参考例1−Bにおける診断支援装置について、図面を参照して説明する。本参考例1−Bは、診断支援実行端末#3において簡便に常に最新の診断支援コンテンツを利用可能とする診断支援装置に関する。具体的には、診断支援実行端末#3より診断支援コンテンツサーバが記憶している診断支援コンテンツに更新または追加が発生したか否かを問い合わせ、発生した場合は送信要求を行う。
本参考例1−Bにおける診断支援装置の構成は参考例1−Aにおいて図1に示した診断支援装置と同様である。また、診断支援コンテンツサーバ#2の構成についても同様であり、メインプログラム#31を変更することにより異なる動作を実現するものである。診断支援実行端末#3の構成においてもほぼ同様であるが、図7に示した各構成要素に加え、図36に示すように、診断支援コンテンツサーバ#2への診断支援コンテンツの更新・追加を問い合わせるための条件設定ファイル等を記憶するための更新/追加問い合わせ情報記憶手段#60をさらに備えている。また、メインプログラム#51に対しても変更を加えることにより、所定の動作を実現する。
図37は本参考例1−Bにおける診断支援実行端末#3の診断支援コンテンツの更新・追加に関する動作を説明するためのフローチャートである。診断支援実行端末#3の起動(電源投入、メインプログラム起動)により、以降の各処理がメインプログラム#51により実行される。また、動作の主体は診断支援コンテンツ管理部#54による。
始めにステップS71において、診断支援コンテンツサーバ#2に対する診断支援コンテンツの更新・追加に関する各種の設定情報を記述した更新/追加問い合わせ情報ファイルを、記憶手段管理部#53を介して更新/追加問い合わせ情報記憶手段#60より取得する。更新/追加問い合わせ情報ファイルの内容の例を図38に示す。図38において、更新/追加問い合わせ情報ファイルA290は、診断支援コンテンツサーバ#2への問い合わせをどのようなタイミングで行うかを設定するタイミング設定情報A291と、どの診断支援コンテンツサーバにどの診断支援コンテンツに関する問い合わせを行うかを設定するコンテンツ設定情報A292を備えている。問い合わせのタイミングとしては、起動時、検査終了時のような何らかのイベントの発生時、2時間おき等の定期的な機関設定、15時00分等の具体的な時刻設定を行う。また、コンテンツ設定情報としては、診断支援コンテンツサーバを特定するためのID等の情報及び診断支援コンテンツを特定するためのID等の情報を関連付けて設定し、ALLとなっていればすべての診断支援コンテンツを問い合わせ対象と設定する。他に、診断支援コンテンツの対象とするモダリティ、検査部位等を表す情報を用いることも可能である。また、「検査中の問い合わせは行わない」等の情報をフラグとして設定することもできる。なお、更新/追加問い合わせ情報ファイルは図示しない設定用ウィンドウやテキストエディタにより作成、編集する。
続いて、ステップS72において診断支援コンテンツサーバ#2への問い合わせを開始するかどうかを判定する。例えば起動時に設定されていれば、直ちにステップS73に進む。また、時間設定等により問い合わせを開始するタイミングでない場合はステップS83に進む。
ステップS73においては、ステップS71において読み込んだコンテンツ設定情報に基づき、診断支援コンテンツサーバ#2を選択する。図38に示した例では3機の診断支援コンテンツサーバが設定されているので、各サーバに対して順に問い合わせを実施する。
ステップS74及びS75においては、参考例1における診断支援実行端末#3の動作について説明したステップS55及びS56と各々同様の処理により、目的とする診断支援コンテンツサーバとの通信を確立する。通信確立に失敗した場合はステップS81に、成功した場合はステップS78に進む。
ステップS81においては、診断支援コンテンツサーバより送信された通信確立エラーに関するメッセージ等を含むエラー情報を表示手段#18に表示し、また、必要に応じてエラーログファイルを出力し、ステップS82に進む。
ステップS76においては、参考例1におけるステップS57と同様の処理により更新・追加のあった診断支援コンテンツを確定する。
ステップS77においては、ステップS76の結果更新/追加が認識された診断支援コンテンツと更新/追加問い合わせ情報ファイルをさらに参照し、診断支援コンテンツサーバ#2より配信される診断支援コンテンツを選択する。
続くステップS78,S79及びS80においては、参考例1において説明したステップS59,S60及びS61と各々同様の処理を実行により、診断支援コンテンツを受信し、診断支援コンテンツ管理情報を更新の上診断支援コンテンツ記憶手段#13に記憶する。
ステップS82においては、設定されたすべての診断支援コンテンツサーバ#2への問い合わせが終了したか否かを確認し、終了していなければステップS73に戻り以降の処理を繰り返す。また、終了していればステップS83及びS84に進む。
ステップS83においては、診断支援コンテンツサーバ#2に対する問い合わせに関し、診断支援実行端末#3は待機の状態となる。診断支援コンテンツ管理部#54はシステムクロック、OSからの時刻情報等を用い、例えば定期的にステップS84の終了判定及びステップS72の問い合わせ開始判定を繰り返す。この間、診断支援実行端末#3は、実際には検査における診断支援情報の提供等において稼動しており、メインプログラム#51の終了等が指示された場合はステップS84の判定を経て終了となる。
また、設定された問い合わせタイミングとなった場合はステップS73以降の一連の処理を実行する。
以上に説明したように、本参考例1−Bにおける診断支援装置によれば、設定された情報に基づき診断支援コンテンツサーバに対する診断支援コンテンツの更新・追加を問い合わせることで常に最新の診断支援コンテンツを利用可能となる。
[参考例2]
以下に、参考例2について図面を参照して説明する。本参考例2においては、多くの医療施設・機関が自由に診断支援コンテンツを作成することができ、各施設・機関に蓄積された様々な医療情報や画像データと専門的医学知識を広く診断支援装置上で利用することが可能になるとともに、一度作成された診断支援コンテンツに対しデータの追加等が簡単にできるため、多くの医療施設・機関に分散して存在している症例データを有効に活用し、診断支援装置の能力を向上させることが可能な診断支援装置について説明する。
図18は、本参考例2に係る診断支援システムの構成を示す。図18において、#101は本参考例2に係る診断支援システムであり、#2ないし#5は本参考例1における図1に示した同一符号の構成要素と同じである。本参考例2においては、診断支援コンテンツサーバ#2より配信されるとともに診断支援実行端末#3で利用される診断支援コンテンツを作成するための診断支援コンテンツ作成端末#102及び診断支援コンテンツを作成するための診断支援コンテンツ作成ツールを提供する診断支援コンテンツ作成ツールサーバ#103をさらに備えている。
診断支援コンテンツ作成端末#102及び診断支援コンテンツ作成ツールサーバ#203もまたコンピュータであり、それぞれCRTやLCD等の表示手段とともにキーボード、マウス等の入力手段を有している。また、図18においては説明の便宜上各1台ずつの接続を表しているが、診断支援コンテンツサーバ、診断支援実行端末、診断支援コンテンツ作成端末及び診断支援コンテンツ作成ツールサーバが同一ネットワーク上に複数存在することが可能である。
診断支援コンテンツ作成端末#102は病院・診療所あるいは医療研究施設に設置され、診断支援実行端末#3と同様にLAN接続された医用システム#5より得られる診断用情報を用いて診断支援コンテンツを作成し、診断支援コンテンツサーバ#2に送信する。また、診断支援コンテンツサーバ#2にすでに存在する診断支援コンテンツを受信し、新たなデータや診断対象となる疾患情報を追加する等の更新・改良を行い、診断支援コンテンツサーバ#2に送信する。
また、診断支援コンテンツ作成ツールサーバ#103は診断支援コンテンツ作成端末#102において診断支援コンテンツを作成するために使用するソフトウェアライブラリ化された各種の画像処理・解析・特徴量算出手法、判別関数やニューラルネットワーク等の識別分類手法、t検定等の統計的検定手法、各種多変量解析手法、グラフ作成ツール等を提供する。
図19は本参考例2における診断支援コンテンツ作成端末#102の構成を示す説明図である。診断支援コンテンツ作成端末#102の構成は、診断支援実行端末#3とほぼ同様で、同一符号の付された構成要素については図3に示したものと同様である。診断支援コンテンツ作成端末#102においては、前述の診断支援コンテンツ作成ツールを記憶する診断支援コンテンツ作成ツール記憶手段#111をさらに備えている。診断支援コンテンツ作成ツール記憶手段#111は、診断支援コンテンツ記憶手段#13、メインプログラム記憶手段#14及び端末認証情報記憶手段#16と同様に診断支援コンテンツ作成端末#102を実現するコンピュータに接続されたハードディスクを用いる。
次に、診断支援コンテンツ作成端末#102における診断支援コンテンツの作成動作について説明する。
図20は本参考例2における診断支援コンテンツ作成端末#102の制御手段#12において実行されるメインプログラム#121のブロック図である。図20において、メインプログラム#121は診断支援コンテンツ記憶手段#13、端末認証情報記憶手段#16及び診断支援コンテンツ作成ツール記憶手段#111に記憶された各情報に対する記憶、検索、読み出し等にともなう一連のアクセスを制御する記憶手段管理部#123と、診断支援情報入出力手段#15を介して入力される患者、検査及び画像情報からなる診断情報の入出力を行うインターフェースである診断情報入出力I/F#126と、キーボード、マウス等の外部入力手段#23からの入力を行うインターフェースである入力I/F#128と、入力された診断情報及び診断支援コンテンツ作成ツールを用いた診断支援コンテンツを作成するための診断支援コンテンツ作成部#127と、診断支援コンテンツサーバ#2及び診断支援コンテンツ作成ツール#103に対する端末認証情報の送信を行う端末認証情報送信部#122と、診断支援コンテンツの送受信にともなう診断支援コンテンツサーバ#2及び診断支援コンテンツ作成ツールの受信にともなう診断支援コンテンツ作成ツールサーバ#103との一連の通信を行うための診断支援コンテンツ通信部#125と、受信した診断支援コンテンツ及び診断支援コンテンツ作成ツールを記憶手段管理部#123を経由してそれぞれ診断支援コンテンツ記憶手段#13及び診断支援コンテンツ作成ツール記憶手段#111に記憶するとともにそれぞれの管理情報を更新する診断支援コンテンツ管理部#124とを備えている。
図21は診断支援コンテンツ作成における一連の動作の流れを説明するためのフローチャートである。ステップS41において、データセットを作成する。ここで、データセットとは診断支援コンテンツを作成するための諸データ(患者、検査及び画像情報、診断結果等)及び作成条件(診断支援コンテンツの種類、使用する診断支援コンテンツ作成ツール等)を集積したものである。図9を用いて説明した診断支援コンテンツを作成する場合を例にすると、データは「正常及び胃炎の診断が付与された内視鏡画像データ」であり、例えば医用システム#5に接続された電子カルテ#21及びファイリングシステム#22から取得する。また、作成条件は「IHb値算出、正常群と胃炎群の統計情報及び生起確率分布算出、グラフ作成」となる。
具体的には、まず始めに図34に示す診断支援コンテンツ作成メインウィンドウA270が表示手段#18に表示される。診断支援コンテンツ作成メインウィンドウA270は、診断支援コンテンツを新規に作成する新規作成ボタンA271と、診断支援コンテンツ記憶手段#13に記憶されている診断支援コンテンツを呼び出し、データ及び条件を再利用することで診断支援コンテンツを作成する既存コンテンツ利用ボタンA272と、診断支援コンテンツ作成を終了する終了ボタンA273を備えている。
診断支援コンテンツ作成メインウィンドウA270において新規作成ボタンA271が選択された場合には、図22に示すデータセット作成のためのウィンドウ群が表示手段#18に表示され、キーボード、マウス等の入力手段#23を用いた条件選択、情報入力等を行う。
また、既存コンテンツ利用ボタンA272が選択された場合は、図26に示す呼び出し診断支援コンテンツ選択ウィンドウA140が表示される。呼び出し診断支援コンテンツ選択ウィンドウA140は、診断支援コンテンツ管理情報に基づき診断支援コンテンツ記憶手段#13から呼び出し可能な診断支援コンテンツを一覧表示するとともにメニューとして機能する診断支援コンテンツ名称表示領域A141を備えており、マウスカーソルA142のクリックにより呼び出す診断支援コンテンツを選択するようになっている。続いて、確定ボタンA143がクリックされることにより診断支援コンテンツ作成部#127は選択された診断支援コンテンツを診断支援コンテンツ記憶手段#13から読み出し、その診断支援コンテンツを構成する診断支援コンテンツオブジェクトA60の内容に基づき、作成に用いられた各情報をデータセット作成ウィンドウA101の後述する各設定領域等に設定の上表示する。各設定内容は例えば対象疾患の変更、症例データの追加等適宜変更して再利用することが可能となっている。
図22において、データセットを作成するためのデータセット作成ウィンドウA101は、データセット名(本参考例2においては診断支援コンテンツの名称も兼ねるものとする)を入力するデータセット名入力領域A102と、診断支援の対象とする疾患の種別を設定するための対象診断名設定領域A103と、使用する特徴量算出手法を設定するための使用特徴量算出手法設定領域A104と、使用する識別分類手法を設定するための使用識別分類手法設定領域A105と、算出する統計データを設定するための算出統計データ設定領域A106と、作成するグラフを設定するための作成グラフ設定領域A107と、モダリティや検査部位等の設定を行うための検査条件設定ボタンA108と、診断支援に用いる所見や治療等のテキスト情報を入力するためのテキスト情報入力ボタンA109と、各診断に対応する典型症例及び類似症例データを設定するための参照画像設定ボタンと、既存の診断支援コンテンツを基本にデータの追加や作成条件の変更等を行う場合に診断支援コンテンツを呼び出すための既存コンテンツ呼出ボタンA111(本ボタンを備えることにより、一旦は新規作成を選択した後でも既存コンテンツの再利用に変更することが容易となる)と、データセット作成を確定する確定ボタンA112からなっている。
また、A113ないしA117は、A103ないしA107に示した各設定領域に対して、各種項目を選択するためのウィンドウで、対象診断名選択ウィンドウA113と、特徴量算出手法選択ウィンドウA114と、識別分類手法選択ウィンドウA115と、統計データ選択ウィンドウA116と、グラフ選択ウィンドウA117とからなっている。これらの各選択ウィンドウには、診断支援コンテンツ作成ツール記憶手段#111に記憶されている、診断支援コンテンツ作成部#127において利用可能な各種診断支援コンテンツ作成ツールがメニューとして表示されており、マウスカーソル#A118を用いたダブルクリックもしくは対応する設定領域へのドラッグアンドドロップ操作により、各設定領域A103ないしA107に入力することができる。また、各設定領域A103ないしA107に一旦設定された各種診断支援コンテンツ作成ツールをダブルクリックすることによりキャンセルすることができる。
また、検査条件設定ボタンA108をクリックすると、図23に示す検査条件設定ウィンドウA120が表示され、作成する診断支援コンテンツが対象とするモダリティ、検査部位を設定するようになっている。
テキスト情報入力ボタンA109をクリックすると、図24に示すテキスト情報設定ウィンドウA125が表示され、疾患種別ごとの重要所見、処置・治療指示等の医学的知識をテキスト情報としてキーボード等の入力手段#23より入力するようになっている。
参照画像設定ボタンA110をクリックすると、図25に示す参照画像設定ウィンドウA130が表示される。参照画像設定ウィンドウA130には、例えば医用システム#5に接続された画像ファイルシステム#22から検索の上取得された画像データが画像一覧A131に表示される。画像一覧A131において所望の画像を参照画像として選択する。また、情報確認・追加ボタンA132をクリックすると、画像ファイルシステム#22から画像とともに取得した患者、検査及び画像の各情報を確認するとともに、コメント等の追加情報を付加できるようになっている。
また、データセットの作成において既存コンテンツ呼出ボタンA111がクリックされた場合には、図26に示す呼び出し診断支援コンテンツ選択ウィンドウA140が表示され、既存コンテンツ再利用ボタンA272が選択された場合と同様に一連の設定を行う。
ステップS41のデータセット作成後、続くステップS42において画像解析手法の適用による特徴量を使用するかどうかを判定する。ステップS41において使用特徴量算出手法設定領域A104に特徴量算出手法が設定されている場合はステップS43へ、設定されていない場合はステップS44に進む。
ステップS43においては、使用特徴量算出手法設定領域A104に設定された特徴量を算出する。対象診断名設定領域A103に設定された診断に該当する画像を画像ファイリングシステム#22より検索、取得し、診断支援コンテンツ作成ツール記憶手段#111から取得した特徴量算出手法ライブラリを用いた特徴量算出を行う。
ステップS44においては設定された各項目、取得した診断データ、算出した特徴量を用いて診断支援コンテンツ作成ツール記憶手段#111から取得した各種のライブラリの実行による診断支援コンテンツの作成を行う。診断支援コンテンツは、診断支援端末#3上での実行に必要なライブラリとともに診断支援コンテンツオブジェクトとして完成され、診断支援情報管理情報を更新の上、診断支援コンテンツ記憶手段#13に記憶される。
作成された診断支援コンテンツは、ネットワーク#4を介して診断支援コンテンツサーバ#2に送信される。診断支援コンテンツ作成端末#202及び診断支援コンテンツサーバ#2との間における送信及び受信においては、端末特定情報の認識、診断支援コンテンツの送信及び受信、診断支援コンテンツサーバの診断支援コンテンツ管理情報の更新及び診断支援コンテンツの記憶を行う。
また、診断支援コンテンツ作成端末#202において使用する診断支援コンテンツ作成ツールは、ネットワーク#4を介して診断支援コンテンツ作成ツールサーバ#203から取得できるようになっており、改良、追加等に応じて最新の診断支援コンテンツ作成ツールを利用できるようになっている。なお、本参考例2における診断支援コンテンツ及び診断支援コンテンツ作成ツールの送信及び受信にともなう動作については、第1の実施の形態において説明した診断支援コンテンツの配信及び受信に類似するので、詳細な説明は省略する。
なお、本参考例2においては診断支援コンテンツサーバ#2、診断支援実行端末#3、診断支援コンテンツ作成端末#102及び診断支援コンテンツ作成ツールサーバ#103は独立したコンピュータによる構成として説明したが、各々の機能を重複して1台のコンピュータ上に実現することも可能である。
また、診断支援コンテンツ作成ツール及び診断支援コンテンツはソフトウェアであり、ネットワークを介した送受信のみならずフロッピー(登録商標)ディスク等のメディアを用いての取得も当然可能である。
以上説明したように、本参考例2で説明した診断支援装置によれば、多くの医療施設・機関が自由に診断支援コンテンツを作成することができ、各施設・機関に蓄積された様々な医療情報や画像データと専門的医学知識を広く診断支援装置上で利用することが可能となる。また、一度作成された診断支援コンテンツに対し、データの追加等が簡単にできるため、多くの医療施設・機関に分散して存在している症例データを有効に活用し、診断支援装置の能力を向上させることが可能となる。また、本参考例2における診断支援装置の構成においては、診断支援コンテンツの取得時には例えば図17の替わりに図35に示す診断支援コンテンツ一覧メニューを使用する。図35において、更新/追加メニューウィンドウA280に表示された診断支援コンテンツの一覧表示及び選択を行うためのメニュー領域A281には、診断支援コンテンツを作成した施設・機関名が付加され、これらを実際の臨床検査で利用する各種病院・診療所側では例えば「大腸癌の最先端研究施設によるもの」等と分かり、高い信頼を持って利用することができる。
[本発明の実施形態]
本発明の一実施形態は内視鏡画像における所見の客観化を目的とする特徴量算出手法に特徴があり、画像データから血管透見像(以下、血管像)を抽出し、その血管走行状態に関する特徴量を算出するものである。図39〜図50を用いて、第1の実施形態を説明する。
(構成)
本発明の第1の実施形態における診断支援装置の構成については、参考例2と同一であるため、詳細な説明を省略する。
以下,本実施の形態における特徴量算出手法を診断支援コンテンツ作成端末#102において実行するものとして説明する。
図39は、第1の実施形態の特徴量算出手段008を備えるメインプログラム#121の構成図であり、診断情報入出力制御手段#15を介して入力される内視鏡装置001におけるビデオプロセッサ004からの画像データを記憶する画像記憶手段007と、前記記憶手段の画像データから特徴量を算出する特徴量算出手段008と、前記特徴量算出手段の特徴量に基づき診断支援情報を表示する診断支援情報表示手段009から成る。
図40は、第1の実施形態における特徴量算出手段008の構成を示す構成図であり、画像記憶手段007で記憶した画像データにおける血管像を抽出する血管抽出手段101と、前記抽出手段101の出力に基づき血管走行状態を評価して特徴量を算出する血管特徴量算出手段102からなる。
図41は、前記特徴量算出手段008における血管抽出手段101の構成を示す構成図であり、血管抽出手段101は、前記画像データに対して前処理を行う前処理部111と、前処理部111の出力に基づき血管候補を抽出する血管候補抽出部121と、前処理部121の出力に基づき前記画像データによる濃度勾配情報を算出する濃度勾配算出部131と、前記濃度勾配算出部131の出力に基づき形状エッジを判定する形状エッジ判定部132と、前記血管候補抽出手段121及び前記形状エッジ判定部132の出力に基づき、血管候補の中から形状エッジを分離して除去する分離部141から成る。また前記血管候補抽出部121はエッジ情報検知部122と色調算出部123から成る。
図42は、前記血管抽出手段101における処理を中心に説明するフロー図である。
図43は、前記前処理部111のブロック構成図であり、前記画像データに適用されたガンマ補正処理を解除するための逆ガンマ補正処理部112と、前記画像データにおけるノイズを抑制するためのノイズ抑制処理部113と、前記画像データが複数の色信号から構成される際、各種色信号の撮像タイミングの違いにより生じる色信号間のずれを補正する色ずれ補正処理部114の各ブロックから成る。
図44は、前記エッジ情報検知部122と色調算出部123の出力に基づき血管候補を抽出する血管候補抽出部121の処理を示す概略フロー図である。
図45には、前記エッジ情報検知部122において2次微分処理を行うための空間フィルタの例を示す。
図46は、前記濃度勾配情報算出部131の出力に基づく形状エッジ判定部132の処理を示す概略フロー図である。図47は、前記血管候補抽出部121と前記形状エッジ判定部132の結果に基づき、血管候補から形状エッジを分離、除外する処理を示す概略フロー図である。
図48は、血管と形状エッジの存在する画像の水平ライン上の濃度分布、濃度勾配、2次微分、色調データ及び後述する血管候補データの概念図である。
図49は、血管と形状エッジにおける前記濃度分布、濃度勾配、後述の形状エッジ判定による形状エッジデータの概念図である。図50は、血管と形状エッジにおける、前記血管候補データと形状エッジデータの論理積の概念図である。
(作用)
本実施例では、ビデオプロセッサ004より入力され前記画像記憶手段007に記録される画像データは、面順次方式の内視鏡によるRGBの3つの画像データで構成されているとする。
特徴量算出手段008では、画像記録手段007から前記画像データの所定の領域(設定された関心領域内の画像データ)を読み出し(ステップS101)、図40に示す血管抽出手段101にて血管像の抽出処理を行う(ステップS102)。
血管抽出手段101では、図41に示すように、R,G及びB画像データを前処理部111に入力する。
前処理部111では、図43に示すように、逆ガンマ補正処理部112においてRGBの各画像データ毎に所定の補正テーブル参照による逆ガンマ補正を行い、結果をノイズ抑制処理部113に出力する。ノイズ抑制処理部113はマスクサイズ3×3のメディアンフィルタによるノイズ抑制を行う。ノイズ抑制処理の結果は色ずれ補正処理部114に入力する。色ずれ補正処理部114では、G画像データに対して、R画像データを水平および垂直方向に所定の画素数分ずらしたときのGとRの画像データ間の相関係数を算出し、最大値を与えるずらし量分R画像データをずらして補正処理を終了させる。B画像データに関しても同様にG画像データを基準に前記補正処理を実施する。これにより、面順次方式の内視鏡で生じるRGB間の色ずれを補正する。色ずれ補正処理によりG画像データとのずれを補正した画像データを以後新たにR,GおよびB画像データと呼び、各画素における画像データをR(x,y),G(x,y)およびB(x,y)で示す。なおx,yは画像データにおける水平、垂直方向の座標位置を示す(以上ステップS103)。
前処理部111によるR,G及びB画像データは、血管候補抽出部121と濃度勾配情報算出部131に入力される。
血管候補抽出部121では、図41に示すように前処理部111による前記画像データをエッジ情報検知部122と色調算出部123に入力する。
エッジ情報検知部122では、G画像データに対して2次微分処理を行う(ステップS105)。前記処理は図45に示すような3×3の空間フィルタをG画像データに畳み込み演算することで行う。前記演算による結果を∇2 G(x,y)で記す。
色調算出部123では、R,G及びB画像データから式※1による色調データC(x,y)を算出する(ステップS104)。
R(x,y)/(R(x,y)+G(x,y)+B(x,y)) 式※1
血管候補抽出部121は、図44に示すように、エッジ情報検知部122の出力である∇2 G(x,y)に対し所定の閾値T∇以上を有する画素P∇を図示していないメモリに記憶し(ステップS220)、その画素P∇において、色調算出部123の出力する色調データC(x,y)の最小値Cmin を算出し(ステップS221)、さらに色調データC(x,y)が最小値Cmin 以上の値を有する画素に値1を与え、Cmin 未満の値の画素に0を与える2値化処理を実施する(ステップS222、S108))。得られた2値化データは血管候補データBiC(x,y)として、分離部141へ出力する。血管候補データBiC(x,y)には図48に示すように、血管部と共に形状エッジ部を含むため、後述の分離部141で分離する。
濃度勾配情報算出部131は、前処理部111からのR画像データに対して、勾配を式※2により算出する(ステップS106)。
|R(x+1,y)−R(x,y)|+|R(x,y+1)−R(x,y)| 式※2
ここで||は絶対値を意味する。
さらにGおよびB画像データに対しても同様に勾配を算出し、結果を形状エッジ判定部132に出力する。なお得られた結果は夫々Grad R(x,y),Grad G(x,y),Grad B(x,y)と記すことにする。
形状エッジ判定部132は、図46に示すように、濃度勾配情報算出部131の出力するGrad R(x,y),Grad G(x,y),Grad B(x,y)の線形和Grad C(x,y)を式※3により算出する(ステップS230、S107)。
Grad C(x,y)=α・Grad R(x,y)+β・Grad G(x,y)
+θ・Grad B(x,y) 式※3
重み係数α,β,θは所定の値を用い、本実施形態では全て1とする。
ここで、Grad Cに関する血管部と形状エッジ部との差について説明する。血管像は血管の走行する粘膜内の探さの違いによって、R,GおよびB画像データ毎にコントラストが異なり、即ち、深層の血管は波長の長いR(赤)の照射光の戻り光を画像化したR画像データに、表層血管はB画像データ、その中間的な層の血管はG画像データに画像化され、また濃度勾配は形状エッジ部に比して小さい。これに対し、形状エッジではコントラストの画像データ間の差が比較的少なく、また濃度勾配が比較的大きいため、図49に示すように、形状エッジ部は線形和Grad Cにおいて大きな値を有する。
そこで、次に、線形和Grad C(x,y)に対し、所定の閾値TGrad による閾値処理を行い、Grad C(x,y)がTGrad 以上を有する画素に値1を与え、TGrad 未満の画素を値0とする2値化を行って(ステップS231)、形状エッジデータBiGrad(x,y)を作成し、分離部141に出力する。
分離部141では図47に示すように、血管候補抽出部121の出力する血管候補データBiC(x,y)と、形状エッジ判定部132の出力する形状エッジデータBiGrad (x,y)との論理積L(x,y)を算出する(ステップS240)。この結果から、図50の概念図に示すように、血管候補データにおける形状エッジに基づく部分が得られる。論理積Lには、前記形状エッジに基づく全ての血管候補データが含まれていないため、論理積Lに対して膨張処理を実行し(ステップS241)、得られた結果である膨張データExpを血管候補データBiCから除外することで形状エッジ部を分離する(ステップS242、S109)。即ち、論理積L(x,y)の画素(i,j)あるいは(i,j)8近傍画素の何れかにおける血管候補データBiCが値1である場合には、膨張データExp(i,j)の値を1に設定し、それ以外の場合には値0を与えることで、膨張データExp(x,y)を作成し、血管候補データBiC(x,y)から減算する。
これにより、血管候補データから形状エッジを分離した血管像による画像データ、血管抽出データBv(x,y)を生成することができる。
血管抽出手段101による血管抽出データBv(x,y)は、血管特徴量算出手段102に出力する。
血管特徴量算出手段102では、血管抽出手段101による血管抽出データBv(x,y)において血管像を構成する画素数をカウントし、前記所定領域の画素数との比を算出することで、前記所定領域に占める血管の割合を示す血管面積比を特徴量として算出する(ステップS110)。血管面積比は診断支援情報表示手段009に出力する。
特徴量の算出の終了(ステップS111)後、診断支援情報表示手段009は、血管特徴量算出手段102で算出された血管面積比の数値を、血管像の走行に関する定量的な評価値として表示する(ステップS112)。
(効果)
上記構成によれば、生体内における形状エッジを血管像と分離して抽出することが可能であるため、誤抽出を抑制し、血管に即した定量化が行われる。