JP6849462B2 - 医用情報処理システム及び医用画像処理装置 - Google Patents

Description

本発明の実施形態は、医用情報処理システム及び医用画像処理装置に関する。

従来、乳がん診療において、生検で得られた標本が病理診断に利用される。例えば、放射線科医或いは乳腺外科医によって、超音波ガイド下で行われた生検の標本は、超音波画像や病理検査依頼書とともに病理医のもとに送られる。そして、病理医は、標本、超音波画像及び病理検査依頼書を受け取り、病理診断を行う。例えば、病理医は、被検者の超音波画像から全体像を把握する。また、病理医は、病理画像を用いて病理診断する際に、超音波画像と病理画像との整合性を考慮し、病理画像の所見に超音波画像の所見を加味して診断を行う。

特開２０１５−２７４５０号公報

三菱化学メディエンス 臨床検査事業、「病理・細胞診検査依頼書」改定のお知らせ、Vol.09-17 Ｏ-05、［online］、平成２１年５月、［平成２８年１１月２日検索］、インターネット＜ＵＲＬ：http://www.medience.co.jp/information/pdf/09-17.pdf＞ 細胞検査士のためのカンタン！***超音波読影前編、［online］、［平成２８年１１月２日検索］、インターネット＜ＵＲＬ：http://www.ctjsc.com/ctjsc_cms/wp-content/uploads/lecture2.pdf＞ 乳腺超音波検査をサポートする"エコースキャンガイド"を搭載、［online］、［平成２９年２月１日検索］、インターネット＜ＵＲＬ：http://www.innervision.co.jp/ad/suite/toshiba/technical_notes/160855＞

本発明が解決しようとする課題は、より精度の高い診断を効率的に行うことができる医用情報処理システム及び医用画像処理装置を提供することである。

実施形態の医用情報処理システムは、取得部と、制御部とを備える。取得部は、観察対象から標本を採取する生検時の超音波画像と、当該超音波画像の生検時における超音波プローブの被検体における位置を示す位置情報と、前記生検時以外の時点に前記観察対象を撮像して得られた参考画像とを取得する。制御部は、前記位置情報に基づいて、前記生検時の超音波画像と、前記参考画像とを対応付けた対応情報を生成し、生成した前記対応情報を出力部に出力させる。

図１は、第１の実施形態に係る医用情報処理システムの構成例を示す図である。 図２は、第１の実施形態に係る超音波診断装置の構成例を示す図である。 図３は、第１の実施形態に係る穿刺針を説明するための図である。 図４は、第１の実施形態に係るボディーマークの一例を示す図である。 図５は、第１の実施形態に係る画像処理装置の構成例を示す図である。 図６は、従来技術を説明するための図である。 図７は、第１の実施形態に係る画像処理装置による処理手順を示すフローチャートである。 図８は、第１の実施形態を説明するための図（１）である。 図９は、第１の実施形態を説明するための図（２）である。 図１０は、第１の実施形態を説明するための図（３）である。 図１１は、第１の実施形態を説明するための図（４）である。 図１２Ａは、第１の実施形態の変形例を説明するための図（１）である。 図１２Ｂは、第１の実施形態の変形例を説明するための図（２）である。 図１３は、第２の実施形態に係る画像処理装置による処理手順を示すフローチャートである。 図１４Ａは、第２の実施形態を説明するための図（１）である。 図１４Ｂは、第２の実施形態を説明するための図（２）である。 図１４Ｃは、第２の実施形態を説明するための図（３）である。 図１５は、第２の実施形態を説明するための図（４）である。 図１６は、第３の実施形態に係る画像処理装置による処理手順を示すフローチャートである。 図１７は、第３の実施形態を説明するための図（１）である。 図１８は、第３の実施形態を説明するための図（２）である。 図１９は、第３の実施形態を説明するための図（３）である。 図２０は、第３の実施形態の変形例に係る画像処理装置による処理手順を示すフローチャートである。 図２１は、その他の実施形態を説明するための図（１）である。 図２２は、その他の実施形態を説明するための図（２）である。

以下、図面を参照して、実施形態に係る医用情報処理システム及び医用画像処理装置を説明する。なお、実施形態は、以下の実施形態に限られるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用される。

（第１の実施形態）
図１は、第１の実施形態に係る医用情報処理システム１００の構成例を示す図である。本実施形態に係る医用情報処理システム１００は、例えば、乳がん診療が行われる病院に設置され、超音波画像ガイド下で生検を行う乳腺の病理診断に利用される。図１に示すように、本実施形態に係る医用情報処理システム１００は、例えば、マンモグラフィ装置１０と、超音波診断装置２０と、画像処理装置３０と、病理画像作成装置４０とを有する。各装置は、ネットワーク５０を介して相互に接続され、マンモグラフィ装置１０や超音波診断装置２０によって撮像された画像などを相互に送受信する。例えば、医用情報処理システム１００にＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、医用画像に付帯情報を付与したＤＩＣＯＭ（Digital Imaging and Communications in Medicine）形式の医用画像等を相互に送受信する。ここで、付帯情報には、例えば、患者を識別する患者ＩＤ（Identifier）、検査を識別する検査ＩＤ、各装置を識別する装置ＩＤ、各装置による１回の撮影を識別するシリーズＩＤなどが含まれる。

マンモグラフィ装置１０は、被検体の***にＸ線を照射し、***を透過したＸ線を検出してマンモグラフィ画像を生成する。ここで、マンモグラフィ装置１０は、例えば、ＭＬＯ（Mediolateral-Oblique：内外斜位）方向から***に対する角度を変えずにＸ線を出力して生成されたＸ線投影データに基づいて、マンモグラフィ画像（ＭＬＯ画像）を生成する。また、マンモグラフィ装置１０は、例えば、ＣＣ（Cranio-Caudal：頭尾）方向から***に対する角度を変えずにＸ線を出力して生成されたＸ線投影データに基づいて、マンモグラフィ画像（ＣＣ画像）を生成する。

また、マンモグラフィ装置１０は、被検体に対して複数の角度各々から撮影された画像に基づいて、３次元画像であるトモシンセシス（Tomosynthesis）画像を発生する。ここで、マンモグラフィ装置１０は、例えば、ＭＬＯ方向から***に対する角度を変えてＸ線を出力して生成されたＸ線投影データに基づいて、トモシンセシス画像（ＭＬＯトモシンセシス画像）を生成する。また、マンモグラフィ装置１０は、例えば、ＣＣ方向から***に対する角度を変えてＸ線を出力して生成されたＸ線投影データに基づいて、トモシンセシス画像（ＣＣトモシンセシス画像）を生成する。具体的には、マンモグラフィ装置１０は、被検体に対する複数の角度にそれぞれ対応する複数の画像に基づいて、所定の処理により、トモシンセシス画像を発生する。所定の処理とは、例えば、シフト加算法、フィルタ補正逆投影（Filtered Back Projection：ＦＢＰ）法などである。なお、以下では、マンモグラフィ画像と記載する場合、ＭＬＯ画像及びＣＣ画像に加えて、ＭＬＯトモシンセシス画像及びＣＣトモシンセシス画像も含むものとする。また、トモシンセシス画像と区別するため、ＭＬＯ画像及びＣＣ画像のことを２次元のマンモグラフィ画像と言う。例えば、ＭＬＯ画像のことを２次元ＭＬＯ画像と言い、ＣＣ画像のことを２次元ＣＣ画像と言う。また、トモシンセシス画像の付帯情報には、撮影方向を示す情報が付与される。ここで言う撮影方向を示す情報は、例えば、マンモグラフィ装置１０の装置座標系で表される位置情報であり、マンモグラフィ装置１０によってマンモグラフィ画像が生成された際に付帯情報として各マンモグラフィ画像に付与される。

図１に戻って、超音波診断装置２０は、超音波を送受信する超音波プローブで被検体を走査することで収集された反射波データに基づいて、超音波画像を生成する。

図２は、第１の実施形態に係る超音波診断装置２０の構成例を示す図である。図２に示すように、本実施形態に係る超音波診断装置２０は、超音波プローブ２１と、入力インターフェース２２と、ディスプレイ２３と、装置本体２４とを備える。超音波プローブ２１は、後述する装置本体２４が備える送受信回路２４ａと通信可能に接続される。また、入力インターフェース２２、及びディスプレイ２３は、装置本体２４が備える各種の回路と通信可能に接続される。

超音波プローブ２１は、被検体Ｐの体表面に接触され、超音波の送受信を行う。例えば、超音波プローブ２１は、複数の圧電振動子（振動子とも言う）を有する。これら複数の圧電振動子は、送受信回路２４ａから供給される送信信号に基づいて、超音波を発生させる。発生した超音波は、被検体Ｐの体内組織において反射され、反射波信号として複数の圧電振動子にて受信される。超音波プローブ２１は、複数の圧電振動子にて受信した反射波信号を、送受信回路２４ａへ送る。

なお、第１の実施形態は、超音波プローブ２１が、被検体Ｐ内の２次元領域を走査（２次元走査）する１Ｄアレイプローブであっても、被検体Ｐ内の３次元領域を走査（３次元走査）するメカニカル４Ｄプローブや２Ｄアレイプローブであっても適用可能である。

更に、第１の実施形態に係る超音波プローブ２１には、穿刺アダプタ２１ａが取り付けられる。そして、穿刺アダプタ２１ａには、穿刺針２１ｂが取り付けられている。医師や技師等の操作者は、超音波画像を参照しながら、穿刺アダプタ２１ａに取り付けられた穿刺針２１ｂを被検体Ｐのターゲット部位まで挿入することで、病理診断を目的として検査材料を採取する生検を行う。

図３は、第１の実施形態に係る穿刺針２１ｂを説明するための図である。図３に示すように、穿刺針２１ｂは、外筒２１０と、内針２１１と、試料ノッチ２１２とを有する。ここで、穿刺針２１ｂにおいて、内針２１１側を針先端側とし、穿刺アダプタ２１ａ側を針挿入側とする。

外筒２１０は、操作者による操作に応じて針挿入側から針先端側へ移動する。この外筒２１０が移動することで、外筒２１０及び内針２１１によってターゲット部位から一部の領域が標本２１３として切り取られ、切り取られた標本２１３が試料ノッチ２１２内に採取される。なお、採取された標本２１３は、病理画像の作成に利用される。なお、病理画像の作成については後述する。

図２に戻る。入力インターフェース２２は、例えば、マウス、キーボード、ボタン、パネルスイッチ、タッチコマンドスクリーン、フットスイッチ、トラックボール、ジョイスティック等に対応する。入力インターフェース２２は、超音波診断装置２０の操作者からの各種設定要求を受け付け、受け付けた各種設定要求を装置本体２４の各回路に対して適宜転送する。

ディスプレイ２３は、操作者が入力インターフェース２２を用いて各種設定要求を入力するためのＧＵＩ（Graphical User Interface）を表示したり、装置本体２４において生成された超音波画像を表示したりする。

装置本体２４は、超音波プローブ２１が受信した反射波信号に基づいて、超音波画像を生成する装置である。図２に示すように、装置本体２４は、例えば、送受信回路２４ａと、Ｂモード処理回路２４ｂと、ドプラ処理回路２４ｃと、画像生成回路２４ｄと、画像メモリ２４ｅと、記憶回路２４ｆと、通信制御インターフェース２４ｇと、処理回路２４ｈとを有する。送受信回路２４ａ、Ｂモード処理回路２４ｂ、ドプラ処理回路２４ｃ、画像生成回路２４ｄ、画像メモリ２４ｅ、記憶回路２４ｆ、通信制御インターフェース２４ｇ及び処理回路２４ｈは、互いに通信可能に接続される。

送受信回路２４ａは、超音波プローブ２１による超音波の送受信を制御する。例えば、送受信回路２４ａは、後述する処理回路２４ｈの指示に基づいて、超音波プローブ２１が行う超音波の送受信を制御する。送受信回路２４ａは、送信波形データを作成し、作成した送信波形データから超音波プローブ２１が超音波を送信するための送信信号を生成する。そして、送受信回路２４ａは、超音波プローブ２１に送信信号を印加することで、超音波がビーム状に集束された超音波ビームを送信させる。

また、送受信回路２４ａは、超音波プローブ２１が受信した反射波信号に所定の遅延時間を与えて加算処理を行うことで、反射波信号の受信指向性に応じた方向から反射成分が強調された反射波データを生成し、生成した反射波データをＢモード処理回路２４ｂ及びドプラ処理回路２４ｃに送信する。

例えば、送受信回路２４ａは、アンプ回路（適宜「Ａｍｐ」と記載する）、Ａ／Ｄ（Analog／Digital）変換器（適宜「ＡＤＣ」と記載する）、生成回路、直交検波回路（適宜「ＩＱ」と記載する）等を有する。アンプ回路は、反射波信号をチャネルごとに増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をＡ／Ｄ変換する。

生成回路は、デジタルデータに受信指向性を決定するのに必要な受信遅延時間を与える。そして生成回路は、受信遅延時間が与えられた反射波信号の加算処理を行う。生成回路の加算処理により、反射波信号の受信指向性に応じた方向からの反射成分が強調される。

そして、直交検波回路は、加算器の出力信号をベースバンド帯域の同相信号（Ｉ信号、Ｉ：In-phase）と直交信号（Ｑ信号、Ｑ：Quadrature-phase）とに変換する。そして、直交検波回路は、Ｉ信号及びＱ信号（以下、ＩＱ信号と記載する）を反射波データとして、バッファに格納する。なお、直交検波回路は、加算器の出力信号を、ＲＦ（Radio Frequency）信号に変換した上で、バッファに格納してもよい。ＩＱ信号や、ＲＦ信号は、位相情報が含まれる信号（受信信号）となる。なお、直交検波回路は、生成回路の後段に配置されるものとして説明したが、実施形態はこれに限定されるものではない。例えば、直交検波回路は、生成回路の前段に配置されてもよい。かかる場合、生成回路は、Ｉ信号及びＱ信号の加算処理を行う。

Ｂモード処理回路２４ｂは、送受信回路２４ａが反射波信号から生成した反射波データに対して各種の信号処理を行う。Ｂモード処理回路２４ｂは、送受信回路２４ａから受信した反射波データに対して、対数増幅、包絡線検波処理等を行って、サンプル点（観測点）ごとの信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。Ｂモード処理回路２４ｂは、生成したＢモードデータを画像生成回路２４ｄへ送る。

ドプラ処理回路２４ｃは、送受信回路２４ａから受信した反射波データより、移動体のドプラ効果に基づく運動情報を、走査領域内の各サンプル点で抽出したデータ（ドプラデータ）を生成する。具体的には、ドプラ処理回路２４ｃは、移動体の運動情報として、平均速度、分散値、パワー値等を各サンプル点で抽出したドプラデータを生成する。ここで、移動体とは、例えば、血流や、心壁等の組織、造影剤である。ドプラ処理回路２４ｃは、生成したドプラデータを画像生成回路２４ｄへ送る。

画像生成回路２４ｄは、Ｂモード処理回路２４ｂやドプラ処理回路２４ｃが生成したデータから超音波画像を生成する。例えば、画像生成回路２４ｄは、Ｂモード処理回路２４ｂが生成したＢモードデータから、反射波の強度を輝度で表したＢモード画像を生成する。また、画像生成回路２４ｄは、ドプラ処理回路２４ｃが生成したドプラデータから、移動体情報を表すドプラ画像を生成する。このドプラ画像は、速度画像、分散画像、パワー画像、又は、これらを組み合わせた画像である。

画像メモリ２４ｅは、Ｂモード処理回路２４ｂ、ドプラ処理回路２４ｃ、及び画像生成回路２４ｄにより生成されたデータを記憶するメモリである。例えば診断の後に、操作者が検査中に記録された画像を呼び出すことが可能となっており、静止画的に、あるいは複数枚を使って動画的に再生することが可能である。なお、画像メモリ２４ｅは、送受信回路２４ａを通過後の画像輝度信号、その他の生データ、ネットワーク５０を介して取得した画像などを記憶してもよい。

記憶回路２４ｆは、超音波送受信、画像処理及び表示処理を行うための装置制御プログラムや、診断情報（例えば、患者ＩＤ、医師の所見など）、診断プロトコルや各種設定情報などの各種データなどを記憶する。なお、記憶回路２４ｆは、画像メモリ２４ｅが記憶する画像の保管などに使用されてもよい。また、記憶回路２４ｆに記憶されるデータは、図示しないインターフェースを介して、外部装置へ転送することができる。

また、記憶回路２４ｆは、ボディーマークを記憶する。図４は、第１の実施形態に係るボディーマークの一例を示す図である。図４に示す例は、***を模式的に表したボディーマークの一例として、乳腺領域の模式図を示している。例えば、図４に示すように、乳腺領域の模式図は、左右それぞれの***について、***の領域を表す円形の領域（以下、***領域）と、腋窩部の領域を表す略三角形の領域（以下、腋窩領域）とを有する。

ここで、***領域を表す円形の領域は、上下及び左右に分けられて、例えば、「Ａ」〜「Ｄ」の４つの領域に分割される。例えば、「Ａ」の領域（以下、Ａ領域）は、***の内側上部の領域を示し、「Ｂ」の領域（以下、Ｂ領域）は、***の内側下部の領域を示す。また、例えば、「Ｃ」の領域（以下、Ｃ領域）は、***の外側上部の領域を示し、「Ｄ」の領域（以下、Ｄ領域）は、***の外側下部の領域を示す。また、腋窩領域を表す略三角形の領域「Ｃ’」（以下、Ｃ’領域）は、領域Ｃから斜め上方に伸び、かつ、領域Ｃから離れるにつれて細くなる形状を有する。また、例えば、図４中には図示しない「Ｅ」の領域（以下、Ｅ領域）は、乳輪部分を示す。なお、ここでいう模式図としては、***における位置関係を示すものであれば、各種の図を用いることができる。また、図４では、***の領域を４つの領域に分割する例を示したが、実施形態はこれに限定されるものではなく、４分割以外の方法で***の領域を示してもよい。

図２に戻る。通信制御インターフェース２４ｇは、ネットワーク５０を介して他の装置との間で行われる通信を制御する。例えば、通信制御インターフェース２４ｇは、ネットワーク５０を介して、画像生成回路２４ｄによって生成された超音波画像を他の装置に転送する。ネットワーク５０を介して転送された超音波画像は、転送先の装置において、画像表示又は画像処理などを実施することが可能である。

処理回路２４ｈは、超音波診断装置２０の処理全体を制御する。具体的には、処理回路２４ｈは、入力インターフェース２２を介して操作者から入力された各種設定要求や、記憶回路２４ｆから読み込んだ各種制御プログラム及び各種データに基づいて、送受信回路２４ａ、Ｂモード処理回路２４ｂ、ドプラ処理回路２４ｃ、及び画像生成回路２４ｄ等の処理を制御する。また、処理回路２４ｈは、画像メモリ２４ｅが記憶する超音波画像データをディスプレイ２３に表示させる。

また、処理回路２４ｈは、超音波プローブ２１を用いて被検体Ｐの***を走査した際の超音波プローブ２１の位置を、***の模式図上に対応付けた走査位置情報を生成する。例えば、処理回路２４ｈは、模式図上において、超音波走査時の超音波プローブ２１の位置に、超音波プローブ２１を模式的に示したプローブマークを重畳させた走査位置情報を生成する。すなわち、走査位置情報は、走査部位を示す模式図上において、走査部位に対応する位置に超音波プローブ２１を示す情報を付与したものである。

より具体的には、処理回路２４ｈは、入力インターフェース２２を介して、模式図上へのプローブマークの配置を操作者から受け付ける。ここで、操作者は、超音波走査時の超音波プローブ２１の位置に対応する模式図上の位置にプローブマークを配置する。これにより、処理回路２４ｈは、走査位置情報を生成する。処理回路２４ｈは、生成した走査位置情報を記憶回路２４ｆに格納させる。処理回路２４ｈは、被検体を一意に識別可能な識別情報（患者ＩＤ）を走査位置情報に対応付けて記憶回路２４ｆに格納させる。言い換えると、記憶回路２４ｆは、被検体を一意に識別可能な識別情報を、***の模式図に関心領域の位置を付した走査位置情報に対応付けて記憶する。また、処理回路２４ｈは、走査位置情報を、例えば、ＤＩＣＯＭ形式或いはＪＰＥＧ（Joint Photographic Experts Group）形式で記憶回路２４ｆに格納させる。言い換えると、記憶回路２４ｆは、走査位置情報を、例えば、ＤＩＣＯＭ形式或いはＪＰＥＧ形式で記憶する。なお、処理回路２４ｈは、走査位置情報を、超音波画像の付帯情報として付与して記憶回路２４ｆに記憶させてもよい。なお、走査位置情報は、ＤＩＣＯＭ形式やＪＰＥＧ形式以外の形式で記憶されてもよい。例えば、走査位置情報の形式は、ＧＩＦ（Graphics Interchange Format）、ＰＮＧ（Portable Network Graphics）及びＴＩＦＦ（Tagged Image File Format）等であってもよい。

図１に戻って、病理画像作成装置４０は、例えば、顕微鏡と、顕微鏡カメラと、ＰＣ（Personal Computer）などの情報処理装置とを備える。病理画像作成装置４０は、医師や技師などが、超音波画像ガイド下での生検時に採取された標本２１３を、顕微鏡で観察した際に、顕微鏡カメラで標本２１３を撮影して病理画像を生成する。この病理画像は、例えば、ＤＩＣＯＭ形式或いはＪＰＥＧ形式の画像である。なお、病理画像は、ＤＩＣＯＭ形式やＪＰＥＧ形式以外の画像であってもよい。例えば、病理画像の形式は、ＧＩＦ、ＰＮＧ及びＴＩＦＦ等であってもよい。

画像処理装置３０は、画像保管サーバーやワークステーションなどであり、マンモグラフィ装置１０によって生成されたマンモグラフィ画像や、超音波診断装置２０によって生成された超音波画像、病理画像作成装置４０によって生成された病理画像などを処理する。この、画像処理装置３０は、病理診断を病理医に依頼する際に利用される。

図５は、第１の実施形態に係る画像処理装置３０の構成例を示す図である。図５に示すように、画像処理装置３０は、入力インターフェース３１と、ディスプレイ３２と、通信制御インターフェース３３と、記憶回路３４と、処理回路３５とを有する。

入力インターフェース３１は、操作者から各種操作や各種情報の入力を受け付ける。例えば、入力インターフェース３１は、キーボードやマウス、ボタン、トラックボール、タッチパネルなどである。

ディスプレイ３２は、操作者から各種操作を受け付けるためのＧＵＩや各種画像を表示する。例えば、ディスプレイ３２は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ、タッチパネルなどである。

通信制御インターフェース３３は、ネットワーク５０を介して他の装置との間で行われる通信を制御する。例えば、通信制御インターフェース３３は、ネットワークカードやネットワークアダプタであり、Ｅｔｈｅｒｎｅｔ（登録商標）のＬＡＮを介してネットワーク５０に接続することで、他の装置との間で通信を行う。また、例えば、通信制御インターフェース３３は、無線ＬＡＮを介してネットワーク５０に接続することで、他の装置との間で無線通信を行う。

記憶回路３４は、画像ＤＢ（Data Base）３４ａ、所見情報ＤＢ３４ｂ、及び患者情報ＤＢ３４ｃ、画像処理及び表示処理を行うための制御プログラムＤＢ３４ｄを記憶する記憶装置である。また、記憶回路３４に記憶される各種ＤＢのデータは、図示しないインターフェースを介して、外部装置へ転送することができる。

例えば、画像ＤＢ３４ａは、マンモグラフィ装置１０によって生成された、被検体の***を撮像したマンモグラフィ画像を記憶する。また、例えば、画像ＤＢ３４ａは、超音波診断装置２０によって生成された、穿刺時の超音波画像や走査位置情報を記憶する。また、例えば、画像ＤＢ３４ａは、病理画像作成装置４０によって生成された、穿刺により得られた標本２１３の病理画像を記憶する。

また、所見情報ＤＢ３４ｂは、被検体のマンモグラフィ画像に関する所見情報を記憶する。例えば、所見情報ＤＢ３４ｂは、画像ＤＢ３４ａが記憶するマンモグラフィ画像の読影結果を所見情報として記憶する。より具体的には、所見情報ＤＢ３４ｂは、マンモグラフィ画像の読影結果として、関心領域が設定されたマンモグラフィ画像を記憶する。なお、マンモグラフィ画像における関心領域は、例えば、画像処理装置３０において操作者から関心領域を受け付けることやＣＡＤ（Computer-Aided Diagnosis）などによる検出結果を関心領域とすることで設定される。

また、患者情報ＤＢ３４ｃは、患者ＩＤ（Identifier）、氏名、年齢、受診歴などを記憶する。また、制御プログラムＤＢ３４ｄは、各機能に対応するプログラムを記憶する。この制御プログラムＤＢ３４ｄは、処理回路３５によって読み出される。そして、処理回路３５は、記憶回路３４から読み出した制御プログラムを実行することで各プログラムに対応する機能を実現する。

処理回路３５は、画像処理装置３０の動作を制御する。また、処理回路３５は、マンモグラフィ画像における関心領域の設定を操作者から受け付ける。そして、処理回路３５は、関心領域が設定されたマンモグラフィ画像を、被検体のマンモグラフィ画像に関する所見情報として所見情報ＤＢ３４ｂに記憶させる。

また、処理回路３５は、図５に示すように、取得機能３５ａと、制御機能３５ｂとを実行する。ここで、例えば、図５に示す処理回路３５の構成要素である取得機能３５ａと、制御機能３５ｂとが実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路３４に記録されている。処理回路３５は、各プログラムを記憶回路３４から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３５は、図５の処理回路３５内に示された各機能を有することとなる。なお、取得機能３５ａ及び制御機能３５ｂの詳細については後述する。

このような、医用情報処理システム１００では、例えば、乳がん診療において、生検で得られた標本が病理診断に利用される。例えば、放射線科医或いは乳腺外科医によって、超音波ガイド下で行われた生検の標本は、超音波画像や病理検査依頼書とともに病理医のもとに送られる。通常、病理検査依頼書はテキスト情報で構成されており、場合によっては簡単な***を模した図が添えられる場合がある。病理医は、標本、超音波画像及び病理検査依頼書を受け取り、病理診断を行う。例えば、病理医は、被検者の超音波画像から全体像を把握する。また、病理医は、病理画像を用いて病理診断する際に、超音波画像と病理画像との整合性を考慮し、病理画像の所見に超音波画像の所見を加味することで精度の高い診断を効率的に行うことが可能になる。これにより病理医は、他の臨床医に対して、より信頼度の高いレポートの記載や報告を行うことも可能となる。

ここで、病理医に送られる標本及び超音波画像の一例について、図６を用いて説明する。図６は、従来技術を説明するための図である。図６では、超音波画像と、この超音波画像で発見された病変部位の病理画像とを示す。図６に示す病理画像は、例えば、***を観察対象とする超音波画像で発見された病変部位の全体を手術時に外科的に切除し、この病変部位をスライス状に切断して得られた一部の標本の病理画像である。

図６の左側に示す図は、上段に超音波画像を示し、下段にこの超音波画像で描出された病変部位の病理画像を示す。また、図６の右側に示す図は、図６の左側に示す図と同様に、上段に超音波画像を示し、下段にこの超音波画像で描出された病変部位の病理画像を示す。また、図６に示す各図において、基準線Ｌを図示している。基準線Ｌは、超音波画像と病理画像とにおいて対応する部位を示す。図６に示すように、超音波画像で発見された病変部位の全体を手術時に外科的に切除した場合、超音波画像で描出される病変部位の形状と、病理画像における標本の形状とが類似しているので、病理医は、超音波画像と病理画像とを容易に対応付けることが可能である。

ところで、病理医が病理画像を用いて病理診断する際に、生検時の超音波画像に加えて、生検時以外の時点に観察対象を撮像して得られた医用画像を加味することができれば、より精度の高い診断を効率的に行うことが可能になる。また、医用情報処理システム１００には、生検時以外の時点に観察対象を撮像して得られた画像が記憶されている場合がある。例えば、医用情報処理システム１０には、生検時より前に観察対象を撮像したマンモグラフィ画像や生検時より後に観察対象を撮像したマンモグラフィ画像が記憶されている場合がある。

このようなことから、第１の実施形態に係る画像処理装置３０は、生検時以外の時点に観察対象を撮像して得られた画像を参考画像とし、生検時の超音波画像と、参考画像とを対応付けた対応情報を生成する対応情報生成処理を実行する。そして、画像処理装置３０は、生成した対応情報を病理医に提供することで、病理医による病理診断を支援する。画像処理装置３０が実行する対応情報生成処理は、取得機能３５ａ及び制御機能３５ｂにより実現される。

例えば、取得機能３５ａは、観察対象から標本を採取する生検時の超音波画像と、当該超音波画像の生検時における超音波プローブ２１の被検体における位置を示す位置情報と、生検時以外の時点に観察対象を撮像して得られた参考画像とを取得する。そして、制御機能３５ｂは、位置情報に基づいて、生検時の超音波画像と、参考画像とを対応付けた対応情報を生成し、生成した対応情報をディスプレイ３２に表示させる。以下では、取得機能３５ａ及び制御機能３５ｂの詳細について説明する。

図７は、第１の実施形態に係る画像処理装置３０による処理手順を示すフローチャートであり、図８から図１１は、第１の実施形態を説明するための図である。図７では、画像処理装置３０の処理回路３５が実行する動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。

ステップＳ１０１からステップＳ１０４は、取得機能３５ａに対応するステップである。処理回路３５が記憶回路３４の制御プログラムＤＢ３４ｄから取得機能３５ａに対応する所定のプログラムを呼び出し実行することにより、取得機能３５ａが実現されるステップである。ステップＳ１０１では、取得機能３５ａは、生検時の超音波画像を取得する。

例えば、取得機能３５ａは、操作者から入力インターフェース３１を介して、患者ＩＤと、生検時の検査を示す検査ＩＤと、超音波診断装置２０を示す装置ＩＤとを受け付けた場合、患者ＩＤと検査ＩＤと装置ＩＤとが一致する超音波画像を画像ＤＢ３４ａから取得する。一例をあげると、取得機能３５ａは、図８に示すような超音波画像を画像ＤＢ３４ａから取得する。図８に示すように、超音波画像には穿刺針２１ｂが描出されている。また、生検時における超音波プローブ２１の被検体における位置を示す位置情報である走査位置情報６１が、超音波画像上に重畳表示されている。

ステップＳ１０２では、取得機能３５ａは、超音波プローブ２１の位置情報を取得する。例えば、図８に示す超音波画像上には走査位置情報６１が重畳表示されている。このような場合、取得機能３５ａは、超音波画像から走査位置情報６１を取得し、超音波プローブ２１の位置情報を取得する。なお、超音波画像上に走査位置情報６１が重畳表示されていない場合、取得機能３５ａは、超音波画像の付帯情報から走査位置情報を取得して、超音波プローブ２１の位置情報を取得する。

そして、ステップＳ１０３では、取得機能３５ａは、穿刺により得られた標本の病理画像を取得する。例えば、取得機能３５ａは、操作者から入力インターフェース３１を介して、患者ＩＤと、標本観察時の検査を示す検査ＩＤと、病理画像作成装置４０を示す装置ＩＤとを受け付けた場合、患者ＩＤと検査ＩＤと装置ＩＤとが一致する病理画像を画像ＤＢ３４ａから取得する。一例をあげると、取得機能３５ａは、図９に示すような、穿刺により得られた標本の病理画像を画像ＤＢ３４ａから取得する。なお、第１の実施形態では、取得機能３５ａは、ステップＳ１０３を省略してもよい。

ステップＳ１０４では、取得機能３５ａは、生検時以外の時点に観察対象を撮像して得られた参考画像を取得する。例えば、取得機能３５ａは、操作者から入力インターフェース３１を介して、患者ＩＤと、生検時以外の時点に観察対象を撮像した検査を示す検査ＩＤと、マンモグラフィ装置１０を示す装置ＩＤとを受け付けた場合、患者ＩＤと検査ＩＤと装置ＩＤとが一致する２次元ＭＬＯ画像及び２次元ＣＣ画像を参考画像として画像ＤＢ３４ａから取得する。

ステップＳ１０５からステップＳ１０７は、制御機能３５ｂに対応するステップである。処理回路３５が記憶回路３４の制御プログラムＤＢ３４ｄから制御機能３５ｂに対応する所定のプログラムを呼び出し実行することにより、制御機能３５ｂが実現されるステップである。

ステップＳ１０５では、制御機能３５ｂは、参考画像の関心領域を***の模式図上の位置に変換した変換情報を取得する。制御機能３５ｂは、例えば、マンモグラフィ画像上で登録した所見の位置を超音波のボディーマーク上に変換して表示する、エコースキャンガイド機能を利用して変換情報を取得する。エコースキャンガイド機能では、例えば、ＣＣ画像の関心領域の位置をボディーマーク上で推定した推定線と、ＭＬＯ画像の関心領域の位置をボディーマーク上で推定した推定線との交点をボディーマーク上の関心領域の位置として推定している。

ステップＳ１０６では、制御機能３５ｂは、参考画像を特定して対応情報を生成する。ここで、制御機能３５ｂは、位置情報と変換情報とを用いて、対応情報に対応付ける参考画像を特定する。より具体的には、制御機能３５ｂは、参考画像が複数存在する場合、変換情報における関心領域と、走査位置情報における超音波プローブ２１の位置とが近いものから順に優先度を設定する。

図１０の左図は、生検時の超音波画像を示す。この超音波画像には、走査位置情報６１が重畳されている。この走査位置情報６１は、生検時における超音波プローブ２１の位置が、模式図上のＡ領域とＣ領域との中間に対応することを示す。また、図１０の右図は、ＣＣ画像及びＭＬＯ画像を１つの組み合わせとした３組のマンモグラフィ画像を示す。各マンモグラフィ画像には、丸印で示す関心領域が設定されている。また、図１０の右図には、各組のマンモグラフィ画像について、関心領域を***の模式図上の位置に変換した変換情報７２〜７４を示す。例えば、変換情報７２は、関心領域が模式図上のＢ領域に対応することを示し、変換情報７３は、関心領域が模式図上のＣ領域に対応することを示し、変換情報７４は、関心領域が模式図上のＣ’領域に対応することを示す。

制御機能３５ｂは、変換情報７２〜７４における関心領域と、走査位置情報６１における超音波プローブ２１の位置とが近いものから順に優先度を設定する。一例をあげると、制御機能３５ｂは、走査位置情報６１における超音波プローブ２１の位置が模式図上のＡ領域とＣ領域との中間に対応するので、関心領域が模式図上のＣ領域に対応する変換情報７３を最も優先度が高い「優先度１」に設定する。また、制御機能３５ｂは、関心領域が模式図上のＣ’領域に対応する変換情報７４を２番目に優先度が高い「優先度２」に設定する。そして、制御機能３５ｂは、関心領域が模式図上のＢ領域に対応する変換情報７２を３番目に優先度が高い「優先度３」に設定する。

そして、制御機能３５ｂは、優先度の順で参考画像を対応情報に対応付ける。例えば、制御機能３５ｂは、ステップＳ１０１で取得された、走査位置情報を含んだ生検時の超音波画像と、ステップＳ１０３で取得された、生検時に得られた標本に基づいて生検後に生成された病理画像と、優先度１であるマンモグラフィ画像（ＣＣ画像及びＭＬＯ画像）とを対応付けた対応情報を生成する。より具体的には、制御機能３５ｂは、図１１に示すように、上段左側に走査位置情報を含んだ生検時の超音波画像を配置し、上段右側に病理画像を配置し、下段左側に参考画像として特定したＭＬＯ画像を配置し、下段右側に参考画像として特定したＣＣ画像を配置した対応情報を生成する。なお、制御機能３５ｂは、ステップＳ１０３が省略されて病理画像が取得されていない場合には、病理画像を除いた対応情報を生成する。

ステップＳ１０７では、制御機能３５ｂは、対応情報を出力する。例えば、制御機能３５ｂは、図１１に示す対応情報をディスプレイ３２に表示させる。このように、制御機能３５ｂは、優先度の順で参考画像を対応情報に対応付けてディスプレイ３２に表示させる。

上述したように、第１の実施形態では、画像処理装置３０は、生検時以外の時点に観察対象を撮像して得られた参考画像を取得する。そして、画像処理装置３０は、対応情報として参考画像を対応付けてディスプレイ３２に表示させる。これにより、第１の実施形態によれば、例えば病理医は、病理画像を用いて病理診断する際に、病理画像の所見に超音波画像及び参考画像の所見を加味することでより精度の高い診断を効率的に行うことが可能になる。これにより病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。

なお、第１の実施形態において制御機能３５ｂは、優先度の高いものから順に参考情報を切り替えてディスプレイ３２に表示させてもよい。かかる場合、制御機能３５ｂは、例えば、走査位置情報が重畳された生検時の超音波画像と、生検時に得られた標本の病理画像と、優先度が最も高い参考画像とを対応付けた対応情報を生成して、ディスプレイ３２に表示させる。そして、制御機能３５ｂは、入力インターフェース３１を介して、参考画像を切り替える指示を操作者から受け付けた場合、走査位置情報が重畳された生検時の超音波画像及び生検時に得られた標本の病理画像を変更させずに、参考画像を優先度が２番目に高い画像に変更する。なお、制御機能３５ｂは、参考画像を切り替える指示を操作者から受け付けた際に、優先度が最も低い参考画像を表示している場合、再度優先度が最も高い参考画像に変更し、優先度の高いものから順に参考情報を切り替えてもよいし、優先度が２番目に低い参考画像に変更し、優先度の低いものから順に参考情報を切り替え、優先度が最も高い参考画像まで切り替わると、再度優先度の高いものから順に参考情報を切り替えてもよい。

また、上述した実施形態では、参考画像が２次元のマンモグラフィ画像である場合について説明したが、実施形態はこれに限定されるものではない。例えば、生検時以外の時点に観察対象を撮像して得られた超音波画像を参考画像としてもよい。

（第１の実施形態の変形例）
上述した実施形態では、２次元のマンモグラフィ画像を参考画像として対応情報に対応付ける場合について説明したが、実施形態はこれに限定されるものではない。例えば、トモシンセシス画像を参考画像として対応情報に対応付けてもよい。制御機能３５ｂは、参考画像が３次元画像である場合には、走査位置情報に基づく超音波プローブ２１の位置に応じた断面の画像を対応情報に対応付ける。図１２Ａ及び図１２Ｂは、第１の実施形態の変形例を説明するための図である。

図１２Ａでは、生検時における超音波プローブ２１の被検体における位置を示す走査位置情報を示す。図１２Ａでは、左***の模式図上に直線状のプローブマークを示している。例えば、制御機能３５ｂは、図１２Ａに示す走査位置情報を取得した場合、Ｌ１におけるプローブマークの位置の比として（ａ：ｂ）を求める。

図１２Ｂでは、圧迫板１４とＸ線検出器１６ａとの間に被検体の***を圧迫して固定している場合を示す。この状態でトモシンセシス撮像を行った場合に生成されるトモシンセシス画像の各断面を破線で示している。図１２Ｂに示すように、制御機能３５ｂは、圧迫板１４とＸ線検出器１６ａとを最短距離で結ぶ直線と、トモシンセシス画像の断面との交点の比が（ａ：ｂ）となる断面を決定する。図１２Ｂに示す例では、制御機能３５ｂは、圧迫板１４から２つ目の断面を（ａ：ｂ）となる断面に決定する。そして、制御機能３５ｂは、決定した断面が超音波プローブ２１による走査面であると判定し、この断面のトモシンセシス画像を参考画像として対応情報に対応付ける。

上述したように、第１の実施形態の変形例では、画像処理装置３０は、生検時以外の時点に観察対象を撮像して得られた３次元画像を参考画像として取得する。そして、画像処理装置３０は、対応情報に参考画像を対応付けてディスプレイ３２に表示させる。これにより、第１の実施形態の変形例によれば、例えば病理医は、生検時の超音波画像と、生検時に得られた標本の病理画像との対応関係を容易に把握することができる。更に、病理医は、病理画像を用いて病理診断する際に、病理画像の所見に超音波画像及び３次元画像の所見を加味することでより精度の高い診断を効率的に行うことが可能になる。これにより病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。

なお、第１の実施形態の変形例に係る制御機能３５ｂは、参考画像として、２次元画像と３次元画像とを参考画像として、対応情報に対応付けるようにしてもよい。かかる場合、制御機能３５ｂは、参考画像として対応付ける画像の選択を、入力インターフェース３１を介して操作者から受け付けてもよい。例えば、操作者がマウスをクリックする度に、参考画像として対応情報に対応付けられる画像が、２次元画像、３次元画像、２次元画像及び３次元画像に所定の順で切り替わってもよい。

また、上述した実施形態では、参考画像が３次元画像である場合の一例として、トモシンセシス画像や３次元超音波画像について説明したが、実施形態はこれに限定されるものではない。例えば、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置によって、生検時以外の時点に観察対象を撮像して得られた画像を参考画像としてもよい。

（第２の実施形態）
第１の実施形態では、超音波プローブ２１による走査位置と関心領域が近似する画像を参考画像として対応付ける場合について説明した。第２の実施形態では、生検時の穿刺針の位置に応じた断面の画像を参考画像として対応情報に対応付ける場合について説明する。

なお、第２の実施形態に係る医用情報処理システム１００の全体構成は、画像処理装置３０の有する処理回路３５が実行する制御機能３５ｂにおいて一部の機能が加わる点を除いて、図１に示した医用情報処理システム１００の構成例と同様である。このため、図１に示した医用情報処理システム１００の構成例と同様の機能を有する各部については詳細な説明を省略する。

例えば、第２の実施形態に係る制御機能３５ｂは、生検時の超音波画像から、体表から穿刺位置までの距離を算出し、算出した距離情報に基づいて、３次元画像における対応する断面を特定する。第２の実施形態では、生検時以外の時点に観察対象を撮像して得られた３次元の超音波画像を参考画像として対応情報に対応付ける場合について説明する。

図１３は、第２の実施形態に係る画像処理装置３０による処理手順を示すフローチャートであり、図１４Ａから図１５は、第２の実施形態を説明するための図である。図１３では、画像処理装置３０の処理回路３５が実行する動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。

ステップＳ２０１からステップＳ２０４は、取得機能３５ａに対応するステップである。処理回路３５が記憶回路３４の制御プログラムＤＢ３４ｄから取得機能３５ａに対応する所定のプログラムを呼び出し実行することにより、取得機能３５ａが実現されるステップである。なお、ステップＳ２０１からステップＳ２０３は、図７に示すステップＳ１０１からステップＳ１０３の処理と同様であるので、詳細な説明を省略する。なお、第２の実施形態では、取得機能３５ａは、ステップＳ２０３を省略してもよい。

ステップＳ２０４では、取得機能３５ａは、生検時以外の時点に観察対象を撮像して得られた３次元画像を取得する。例えば、取得機能３５ａは、操作者から入力インターフェース３１を介して、患者ＩＤと、生検時以外の時点に観察対象を撮像した検査を示す検査ＩＤと、３次元の超音波画像を撮像可能な超音波診断装置２０を示す装置ＩＤとを受け付けた場合、患者ＩＤと検査ＩＤと装置ＩＤとが一致する３次元の超音波画像を画像ＤＢ３４ａから取得する。

ステップＳ２０５からステップＳ２０７は、制御機能３５ｂに対応するステップである。処理回路３５が記憶回路３４の制御プログラムＤＢ３４ｄから制御機能３５ｂに対応する所定のプログラムを呼び出し実行することにより、制御機能３５ｂが実現されるステップである。

ステップＳ２０５では、制御機能３５ｂは、生検時の超音波画像から、体表から穿刺位置までの距離を算出する。図１４Ａでは、生検時の超音波画像を示す。この超音波画像には、穿刺針２１ｂが描出されている。制御機能３５ｂは、図１４Ａに示すように、超音波画像から体表から穿刺位置までの距離Ｄ１を算出する。

ステップＳ２０６では、制御機能３５ｂは、断面を特定して対応情報を生成する。例えば、制御機能３５ｂは、ステップＳ２０５で算出した距離情報に基づいて、３次元画像における対応する断面を特定する。ここで、ステップＳ２０１で取得した超音波画像には、図１４Ａに示すように、走査位置情報６１が重畳されている。制御機能３５ｂは、図１２Ａ及び図１２Ｂを用いて説明した処理と同様にして、走査位置情報６１から超音波プローブ２１による走査面に対応する断面を決定する。例えば、制御機能３５ｂは、図１４Ｂに示すように、走査位置情報６１から超音波プローブ２１による走査面に対応する断面８２を決定する。そして、制御機能３５ｂは、決定した断面８２の体表から被検体の背腹方向に置いて算出した距離Ｄ１の位置の断面８３を特定する。一例をあげると、制御機能３５ｂは、断面８３として、３次元の超音波画像から図１４Ｃに示す超音波画像を参考画像として特定する。

そして、制御機能３５ｂは、参考画像を対応情報に対応付ける。例えば、制御機能３５ｂは、ステップＳ２０１で取得された、走査位置情報を含んだ生検時の超音波画像と、ステップＳ２０３で取得された、生検時に得られた標本に基づいて生検後に生成された病理画像と、図１４Ｃに示す断面８３に対応する超音波画像とを対応付けた対応情報を生成する。より具体的には、制御機能３５ｂは、図１５に示すように、走査位置情報を含んだ生検時の超音波画像を左側の上段に配置し、病理画像を左側下段に配置し、断面８３の超音波画像を参考画像として中央に配置する。更に、制御機能３５ｂは、図１５に示すように、断面８３の超音波画像において破線で示す断面の超音波画像を右側上段に配置し、断面８３の超音波画像において実線で示す断面の超音波画像を右側下段に配置する。

ステップＳ２０７では、制御機能３５ｂは、ステップＳ２０６で生成した対応情報を出力する。例えば、制御機能３５ｂは、図１５に示す対応情報をディスプレイ３２に表示させる。

上述したように、第２の実施形態では、画像処理装置３０は、参考画像が３次元画像である場合には、走査位置情報に基づく超音波プローブ２１の位置に応じた断面の画像を対応情報に対応付ける。これにより、第２の実施形態によれば、例えば病理医は、病理画像を用いて病理診断する際に、病理画像の所見に超音波画像及び体表から穿刺位置までの距離に対応する断面の参考画像の所見を加味することでより精度の高い診断を効率的に行うことが可能になる。これにより病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。

（第３の実施形態）
上述した実施形態では、超音波画像と参考画像とを対応付けた対応情報を生成する場合について説明した。ところで、穿刺針２１ｂで採取された標本から得られる病理画像は、病変部位の全体を手術時に外科的に切除した標本から得られる病理画像とは異なり、超音波画像に描出された病変部位の一部である。このため、病理医は、病理診断を行う場合に、超音波画像と病理画像との対応関係を把握することが困難な場合がある。そこで、第３の実施形態では、病理画像を更に対応付けた対応情報を生成する場合について説明する。

なお、第３の実施形態に係る医用情報処理システム１００の全体構成は、画像処理装置３０の有する処理回路３５が実行する制御機能３５ｂにおいて一部の機能が加わる点を除いて、図１に示した医用情報処理システム１００の構成例と同様である。このため、図１に示した医用情報処理システム１００の構成例と同様の機能を有する各部については詳細な説明を省略する。

例えば、第３の実施形態に係る取得機能３５ａは、生検時に得られた標本に基づいて生検後に生成された病理画像を更に取得する。そして、第３の実施形態に係る制御機能３５ｂは、生検時の超音波画像と、参考画像とを対応付けた対応情報に病理画像を更に対応付けてディスプレイ３２に表示させる。

図１６は、第３の実施形態に係る画像処理装置３０による処理手順を示すフローチャートであり、図１７から図１９は、第３の実施形態を説明するための図である。図１６では、画像処理装置３０の処理回路３５が実行する動作を説明するフローチャートを示し、各構成要素がフローチャートのどのステップに対応するかを説明する。なお、図１６では、制御機能３５ｂが、第２の実施形態で説明した対応情報に、病理画像を更に対応付ける場合について説明する。

ステップＳ３０１からステップＳ３０４は、取得機能３５ａに対応するステップである。処理回路３５が記憶回路３４の制御プログラムＤＢ３４ｄから取得機能３５ａに対応する所定のプログラムを呼び出し実行することにより、取得機能３５ａが実現されるステップである。なお、ステップＳ３０１からステップＳ３０４は、図１３に示すステップＳ２０１からステップＳ２０４の処理と同様であるので、詳細な説明を省略する。また、第３の実施形態では、取得機能３５ａは、ステップＳ３０３を省略することなく実行する。

ステップＳ３０５からステップＳ３０９は、制御機能３５ｂに対応するステップである。処理回路３５が記憶回路３４の制御プログラムＤＢ３４ｄから制御機能３５ｂに対応する所定のプログラムを呼び出し実行することにより、制御機能３５ｂが実現されるステップである。なお、ステップＳ３０５及びステップＳ３０６は、図１３に示すステップＳ２０５及びステップＳ２０６の処理と同様であるので、詳細な説明を省略する。

ステップＳ３０７では、制御機能３５ｂは、病理画像を更に対応付ける。例えば、制御機能３５ｂは、図１７に示すように、ステップＳ３０１で取得された超音波画像に、ステップＳ３０３で取得された病理画像を対応付ける。ここで、図１７の上図は、図８に示す超音波画像であり、走査位置情報６１を含む。また、図１７の下図は、図９に示す病理画像である。すなわち、制御機能３５ｂは、図８に示す超音波画像と、図９に示す病理画像とを対応付けた対応情報を生成する。なお、図１７では説明の便宜上、参考画像の図示を省略し、走査位置情報６１を含んだ超音波画像と、病理画像とを図示している。このようにして、制御機能３５ｂは、ステップＳ３０６で生成した対応情報に、ステップＳ３０３で取得した病理画像を更に対応付ける。

ステップＳ３０８では、制御機能３５ｂは、穿刺針２１ｂの挿入方向を示す情報を更に対応付ける。図１７と同様に、図１８の上図は超音波画像であり、図１８の下図は病理画像である。例えば、制御機能３５ｂは、例えば図１８の上図に示す超音波画像において、生検時の穿刺針２１ｂの挿入方向を示す情報を設定する。なお、以下では、生検時の穿刺針２１ｂの挿入方向を示す情報のことを穿刺針情報とも言う。

より具体的には、制御機能３５ｂは、入力インターフェース３１を介して、超音波画像上において生検時の穿刺針２１ｂの挿入方向を示す情報を操作者から受け付ける。ここで、制御機能３５ｂは、超音波画像上において生検時の穿刺針２１ｂの針先端側及び針挿入側の少なくとも一方の設定を操作者から受け付ける。図１８の上図に示す例では、制御機能３５ｂは、針先端側及び針挿入側の設定を受け付けた場合を示す。そして、制御機能３５ｂは、操作者から受け付けた穿刺針情報を、超音波画像上に対応付ける。図１８の上図では、針先端側を丸印で示し、針挿入側を四角で示す。

また、制御機能３５ｂは、入力インターフェース３１を介して、病理画像上において生検時の穿刺針２１ｂの挿入方向を示す情報を操作者から受け付ける。ここで、制御機能３５ｂは、病理画像上において生検時の穿刺針２１ｂの針先端側及び針挿入側の少なくとも一方の設定を操作者から受け付ける。図１８の下図に示す例では、制御機能３５ｂは、針先端側及び針挿入側の設定を受け付けた場合を示す。そして、制御機能３５ｂは、操作者から受け付けた穿刺針情報を、病理画像上に対応付ける。図１８の下図では、針先端側を丸印で示し、針挿入側を四角で示す。

そして、制御機能３５ｂは、超音波画像において設定された穿刺針情報と、病理画像において設定された穿刺針情報との向きが略一致するように、超音波画像及び病理画像の少なくとも一方を回転または平行移動させる。図１８の下図に示す病理画像では、図１７の下図に示す病理画像を回転移動させている。

ステップＳ３０９では、制御機能３５ｂは、対応情報を出力する。例えば、制御機能３５ｂは、ステップＳ３０８で穿刺針情報を更に対応付けた対応情報をディスプレイ３２に表示させる。

例えば、制御機能３５ｂは、図１９に示す対応情報をディスプレイ３２に表示させる。図１９では、制御機能３５ｂは、走査位置情報６１を含んだ生検時の超音波画像を左側の上段に配置し、病理画像を左側下段に配置し、断面８３の超音波画像を参考画像として中央に配置し、断面８３の超音波画像において破線で示す断面を右側上段に配置し、断面８３の超音波画像において実線で示す断面を右側下段に配置する。更に、制御機能３５ｂは、左側の上段に配置した走査位置情報を含んだ生検時の超音波画像及び左側の下段に配置した病理画像に、例えば、穿刺針２１ｂの先端側を示す星印を穿刺針情報として重畳させる。また、制御機能３５ｂは、右側上段の生検時以外の時点に観察対象を撮像して得られた超音波画像に、穿刺針２１ｂを擬似的に表示させるとともに、擬似的な穿刺針の先端側を示す星印を穿刺針情報として重畳させる。このようにして、制御機能３５ｂは、第２の実施形態で説明した対応情報に、病理画像と生検時における穿刺針２１ｂの挿入方向を示す情報とを更に対応付けて、ディスプレイ３２に表示させる。

上述したように、第３の実施形態では、画像処理装置３０は、生検時の超音波画像と参考画像とを対応付けた対応情報に病理画像を更に対応付けてディスプレイ３２に表示させる。これにより、第３の実施形態によれば、例えば病理医は、生検時の超音波画像と、生検時に得られた標本の病理画像との対応関係を容易に把握することができる。この結果、病理医は、病理画像を用いて病理診断する際に、超音波画像と病理画像との整合性を考慮し、病理画像の所見に超音波画像の所見や参考画像の所見を加味することで、より精度の高い診断を効率的に行うことが可能になる。更に、病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。

なお、上述した第３の実施形態では、第２の実施形態で説明した対応情報に、病理画像を更に対応付ける場合について説明したが、実施形態はこれに限定されるものではない。例えば、第１の実施形態で説明した対応情報に、病理画像を更に対応付けてもよい。かかる場合、制御機能３５ｂは、図７に示すステップＳ１０６の終了後に、図１６に示すステップＳ３０７及びステップＳ３０８の処理を実行してから、ステップＳ１０７の処理を実行する。

なお、第３の実施形態では、制御機能３５ｂは、生検時の超音波画像と、参考画像とを対応付けた対応情報に、生検時に得られた標本の病理画像と、穿刺針情報とを更に対応付けてディスプレイ３２に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５ｂは、穿刺針情報の表示をオンにしたりオフにしたりする指示を、入力インターフェース３１を介して操作者から受け付けてもよい。

（第３の実施形態の変形例）
上述した第３の実施形態では、生検時の超音波画像と参考画像とを対応付けた対応情報に病理画像を更に対応付ける場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５ｂは、生検時の超音波画像と、超音波画像の生検時における超音波プローブ２１の被検体における位置を示す走査位置情報と、生検時に得られた標本に基づいて生検後に生成された病理画像とを対応付けた対応情報を生成してもよい。

図２０は、第３の実施形態の変形例に係る画像処理装置３０による処理手順を示すフローチャートである。ステップＳ４０１からステップＳ４０３は、取得機能３５ａに対応するステップである。処理回路３５が記憶回路３４の制御プログラムＤＢ３４ｄから取得機能３５ａに対応する所定のプログラムを呼び出し実行することにより、取得機能３５ａが実現されるステップである。なお、ステップＳ４０１からステップＳ４０３は、図７に示すステップＳ１０１からステップＳ１０３の処理と同様であるので、詳細な説明を省略する。

ステップＳ４０４からステップＳ４０６は、制御機能３５ｂに対応するステップである。処理回路３５が記憶回路３４の制御プログラムＤＢ３４ｄから制御機能３５ｂに対応する所定のプログラムを呼び出し実行することにより、制御機能３５ｂが実現されるステップである。

ステップＳ４０４では、制御機能３５ｂは、ステップＳ４０３で取得された病理画像を対応付けて対応情報を生成する。制御機能３５ｂは、例えば、図１７を用いて説明したように、走査位置情報６１を含んだ超音波画像と、病理画像とを対応付けた対応情報を生成する。ステップＳ４０５では、制御機能３５ｂは、ステップＳ３０８と同様に、穿刺針２１ｂの挿入方向を示す情報を更に対応付ける。制御機能３５ｂは、例えば、図１８を用いて説明したように、走査位置情報６１を含んだ超音波画像と、病理画像とを対応付けた対応情報に穿刺針２１ｂの挿入方向を示す情報を更に対応付ける。そして、ステップＳ４０６では、制御機能３５ｂは、ステップＳ４０５で生成した対応情報を出力する。

なお、第３の実施形態の変形例では、制御機能３５ｂは、走査位置情報が重畳された生検時の超音波画像と、生検時に得られた標本の病理画像と、穿刺針情報とを対応付けてディスプレイ３２に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５ｂは、穿刺針情報の表示をオンにしたりオフにしたりする指示を、入力インターフェース３１を介して操作者から受け付けてもよい。

上述したように、第３の実施形態の変形例では、画像処理装置３０は、生検時の超音波画像と、当該超音波画像の生検時における超音波プローブの被検体における位置を示す位置情報と、生検時に得られた標本に基づいて生検後に生成された病理画像とを取得する。そして、画像処理装置３０は、超音波画像と、病理画像と、位置情報とを対応付けた対応情報を生成し、生成した対応情報をディスプレイ３２に表示させる。これにより、第３の実施形態の変形例によれば、例えば病理医は、生検時の超音波画像と、生検時に得られた標本の病理画像との対応関係を容易に把握することができる。この結果、病理医は、病理画像を用いて病理診断する際に、超音波画像と病理画像との整合性を考慮し、病理画像の所見に超音波画像の所見を加味することで精度の高い診断を効率的に行うことが可能になる。更に、病理医は、他の臨床医に対し、より信頼度の高いレポートの記載や報告を行うことも可能となる。

なお、第３の実施形態の変形例において生成した対応情報に、第１の実施形態、第１の実施形態の変形例、及び第２の実施形態で説明した参考画像を更に対応付けるようにしてもよい。例えば、第３の実施形態の変形例において生成した対応情報に、第１の実施形態や第１の実施形態の変形例で説明した参考画像を更に対応付ける場合、取得機能３５ａは、図７に示すステップＳ１０４の処理を更に実行して、参考画像を取得する。そして、制御機能３５ｂは、例えば、図２０に示すステップＳ４０５の処理の終了後に、図７に示すステップＳ１０５の処理及びステップＳ１０６の処理を実行して、参考画像を更に対応付ける。また、例えば、第３の実施形態の変形例において生成した対応情報に、第２の実施形態で説明した参考画像を更に対応付ける場合、取得機能３５ａは、図１３に示すステップＳ２０４の処理を更に実行して、３次元画像を取得する。そして、制御機能３５ｂは、例えば、図２０に示すステップＳ４０５の処理の終了後に、図１３に示すステップＳ２０５の処理及びステップＳ２０６の処理を実行して、参考画像を更に対応付ける。

（その他の実施形態）
実施形態は、上述した実施形態に限られるものではない。

また、上述した実施形態では、制御機能３５ｂは、操作者から入力インターフェース３１を介して穿刺針情報の設定を受け付けるものとして説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５ｂは、超音波画像から穿刺針２１ｂを抽出してもよい。そして、制御機能３５ｂは、針先端側及び針挿入側の少なくとも一方を設定する。例えば、制御機能３５ｂは、超音波画像において、体の中心部側を針先側に設定し、体表側を針挿入側に設定する。なお、生検時の穿刺針２１ｂの挿入方向を示す情報は、病理画像作成装置４０において設定されてもよい。かかる場合、病理画像作成装置４０は、病理画像上に穿刺針情報を設定してもよく、或いは、病理画像の付帯情報に穿刺針情報を付与してもよい。

また、制御機能３５ｂは、生成した対応情報を記憶回路３４に記憶させる。そして、制御機能３５ｂは、病理医などの指示に応じて、対応情報を記憶回路３４から読み出して、ディスプレイ３２に表示させる。かかる場合、制御機能３５ｂは、複数のディスプレイ３２に、対応情報を表示させてもよい。図２１は、その他の実施形態を説明するための図である。図２１では、画像処理装置３０が３つのディスプレイに接続されている場合を示す。図２１に示す例では、制御機能３５ｂは、右側のディスプレイ３２に図１５に示した対応情報を表示させ、中央のディスプレイ３２に参考画像としてＣＣ画像を表示させ、左側のディスプレイ３２には何も表示させていない場合を示す。ここで、制御機能３５ｂは、操作者の指示に応じて、ディスプレイ３２に表示させる対応情報の組み合わせを切り替えてもよい。例えば、右側のディスプレイ３２に表示させている対応情報のうち、３次元の超音波画像をトモシンセシス画像に切り替えても良いし、ＣＣ画像及びＭＬＯ画像に切り替えても良い。なお、制御機能３５ｂは、画像処理装置３０のディスプレイ３２と、病理医が使用する携帯端末のディスプレイとに同じ対応情報を表示させてもよい。

また、上述した実施形態では、制御機能３５ｂは、対応情報をディスプレイ３２に表示させる場合について説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５ｂは、対応情報を含んだ病理診断依頼書を生成してもよい。図２２は、その他の実施形態を説明するための図である。なお、図２２では、病理診断依頼書の一例として、乳腺病理組織診断依頼書を生成する場合について説明する。

図２２に示す病理診断依頼書の上段には、患者情報として患者氏名、生年月日及び性別を入力する項目が設けられる。また、図２２に示す病理診断依頼書の中央左側には、***の模式図が設けられる。そして、図２２に示す病理診断依頼書の中央右側には、対応情報の入力位置が設けられる。制御機能３５ｂは、例えば、図１１に示した対応情報を対応情報の入力位置に挿入した病理診断依頼書を生成する。そして、制御機能３５ｂは、生成した病理診断依頼書をディスプレイ３２に表示させる。

また、上述した実施形態では、制御機能３５ｂは、対応情報や対応情報を含んだ病理診断依頼書をディスプレイ３２に表示させるものとして説明したが、実施形態はこれに限定されるものではない。例えば、制御機能３５ｂは、対応情報や対応情報を含んだ病理診断依頼書をプリンタに印刷させたり、病理医が使用する情報処理装置などに送信させたりしてもよい。すなわち、制御機能３５ｂは、対応情報や対応情報を含んだ病理診断依頼書を、所定の出力部に出力させる。

上述した実施形態では、乳がん診療において病理診断を行う場合に、生検時の超音波画像と、病理画像と、走査位置情報とを対応付けた対応情報を生成して表示するものとして説明したが、実施形態はこれに限定されるものではない。例えば、上述した実施形態は、頭部、胸部、腹部、下肢部など他の部位における病理診断にも適用可能である。すなわち、観察対象は、***に限定されるものではなく、頭部、胸部、腹部、下肢部など他の部位であってもよい。なお、かかる場合、記憶回路２４ｆは、各部位に対応するボディーマークを記憶し、このボディーマーク上に、被検体Ｐの部位を走査した際の超音波プローブ２１の位置を対応付けた走査位置情報が生成される。

上述した実施形態では、画像ＤＢ３４ａが、超音波画像、マンモグラフィ画像及び病理画像を記憶しており、取得機能３５ａは、画像ＤＢ３４ａから超音波画像、マンモグラフィ画像及び病理画像を取得するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、画像ＤＢ３４ａが、マンモグラフィ画像を記憶していない場合、取得機能３５ａは、通信制御インターフェース３３を介してマンモグラフィ装置１０と通信を行うことで、マンモグラフィ画像を取得し、取得したマンモグラフィ画像を画像ＤＢ３４ａに格納してもよい。また、例えば、画像ＤＢ３４ａが、超音波画像を記憶していない場合、取得機能３５ａは、通信制御インターフェース３３を介して超音波診断装置２０と通信を行うことで、超音波画像を取得し、取得した超音波画像を画像ＤＢ３４ａに格納する。また、例えば、画像ＤＢ３４ａが、病理画像を記憶していない場合、取得機能３５ａは、通信制御インターフェース３３を介して病理画像作成装置４０と通信を行うことで、病理画像を取得し、取得した病理画像を画像ＤＢ３４ａに格納する。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路３４の制御プログラムＤＢ３４ｄに保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路３４の制御プログラムＤＢ３４ｄにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。なお、図５における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

上記の実施形態の説明において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上記の実施形態で説明した制御方法は、予め用意された制御プログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。この制御プログラムは、インターネット等のネットワークを介して配布することができる。また、この制御プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上説明した少なくとも一つの実施形態によれば、より精度の高い診断を効率的に行うことができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

３０ 画像処理装置
３５ 処理回路
３５ａ 取得機能
３５ｂ 制御機能
１００ 医用情報処理システム

Claims (10)

1. 観察対象から標本を採取する生検時の超音波画像と、当該超音波画像の生検時における超音波プローブの被検体における位置を示す位置情報と、前記生検時以外の時点に前記観察対象を含む領域を撮像して得られた参考画像とを取得する取得部と、
   前記位置情報に基づいて、前記生検時の超音波画像と、前記参考画像とを対応付けた対応情報を生成し、生成した前記対応情報を出力部に出力させる制御部と、
   を備え、
   前記位置情報は、走査部位を示す模式図上での超音波プローブの位置を示す情報であり、
   前記制御部は、前記位置情報と、前記参考画像における位置を前記模式図上の位置に変換するための変換情報とに基づいて、前記対応情報に対応付ける参考画像を特定する、医用情報処理システム。
2. 前記位置情報は、前記模式図上において、前記走査部位に対応する位置に前記超音波プローブを示す情報を付与したものであり、
   前記制御部は、前記参考画像の関心領域を前記模式図上の位置に変換した変換情報を取得し、前記位置情報と前記変換情報とを用いて、前記対応情報に対応付ける前記参考画像を特定する、請求項１に記載の医用情報処理システム。
3. 前記制御部は、前記参考画像が複数存在する場合、前記変換情報における関心領域と、前記位置情報における前記超音波プローブの位置とが近いものから順に優先度を設定し、前記優先度の順で前記参考画像を前記対応情報に対応付けて前記出力部に出力させる、請求項２に記載の医用情報処理システム。
4. 前記制御部は、前記参考画像が３次元画像である場合には、前記位置情報に基づく前記超音波プローブの位置に応じた断面の画像を前記対応情報に対応付ける、請求項１〜３のいずれか一つに記載の医用情報処理システム。
5. 前記制御部は、生検時の超音波画像から、体表から穿刺位置までの距離を算出し、算出した距離情報に基づいて、３次元画像における対応する断面を特定する、請求項４に記載の医用情報処理システム。
6. 前記取得部は、前記生検時に得られた標本に基づいて生検後に生成された病理画像を更に取得し、
   前記制御部は、前記対応情報に前記病理画像を更に対応付けて前記出力部に出力させる、請求項１〜５のいずれか一つに記載の医用情報処理システム。
7. 前記制御部は、前記対応情報に前記生検時における穿刺針の挿入方向を示す情報を更に対応付けて、前記出力部に出力させる、請求項６に記載の医用情報処理システム。
8. 前記出力部として複数の表示部に接続され、
   前記制御部は、前記複数の表示部に、前記対応情報を表示させる、請求項１〜７のいずれか一つに記載の医用情報処理システム。
9. 前記制御部は、前記対応情報を含んだ病理診断依頼書を生成して、前記出力部に出力させる、請求項１〜８のいずれか一つに記載の医用情報処理システム。
10. 観察対象から標本を採取する生検時の超音波画像と、当該超音波画像の生検時における超音波プローブの被検体における位置を示す位置情報と、前記生検時以外の時点に前記観察対象を撮像して得られた参考画像とを取得する取得部と、
    前記位置情報に基づいて、前記生検時の超音波画像と、前記参考画像とを対応付けた対応情報を生成し、生成した前記対応情報を出力部に出力させる制御部と、
    を備え、
    前記位置情報は、走査部位を示す模式図上での超音波プローブの位置を示す情報であり、
    前記制御部は、前記位置情報と、前記参考画像における位置を前記模式図上の位置に変換するための変換情報とに基づいて、前記対応情報に対応付ける参考画像を特定する、医用画像処理装置。

Images