JP2018011927A - 制御装置、制御方法、制御システム及びプログラム - Google Patents

Abstract

【課題】 ユーザが被検体を観察するために行うプローブの操作に基づいて、超音波画像と光音響画像とを表示させる制御装置を提供する。【解決手段】 制御装置は、被検体に対する超音波の送受信により超音波信号を出力し、被検体への光照射により発生する光音響波を受信することにより光音響信号を出力するプローブから、超音波信号と光音響信号とを取得し、プローブの変位に関する情報を取得し、プローブの変位に関する情報に基づいて光音響画像を表示部に表示させる。【選択図】 図３

Description

本発明は、制御装置、制御方法、制御システム及びプログラムに関する。

被検体内部の状態を低侵襲に画像化する撮像装置として、超音波撮像装置や光音響撮像装置が利用されている。特許文献１には、プローブに設けられたモード切替スイッチに対する操作により、光音響信号の検出を含む動作モードと、光音響信号の検出を含まない動作モードとを切替可能な光音響計測装置が開示されている。

特開２０１２−１９６４３０号公報

超音波信号と光音響信号とを取得する撮像装置において、超音波信号や光音響信号の検出に関する動作モードを切り替えながら撮像が行われることが想定される。しかしながら、当該動作モードを切り替えるために、プローブに設けられたモード切替スイッチを操作する必要がある場合、ユーザはプローブの操作を中断する場合がある。中断している間に被検体の体動やプローブ位置のずれが生じて、ユーザは所望の画像を観察できないおそれがある。

本明細書が開示する制御装置は、被検体に対する超音波の送受信により超音波信号を出力し、被検体への光照射により発生する光音響波を受信することにより光音響信号を出力するプローブから、前記超音波信号と前記光音響信号とを取得する第１の取得手段と、前記プローブの移動に関する情報を取得する第２の取得手段と、前記移動に関する情報に基づいて、前記光音響信号を用いて生成される光音響画像を表示部に表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、プローブの移動に関する情報に基づいて光音響信号から生成される光音響画像を表示部に表示させることができるので、超音波信号や光音響信号の検出に関する動作モードを切り替えるための操作を行う手間を低減できる。

本発明の実施形態に係る制御装置を含むシステムの構成の一例を示す図である。 本発明の実施形態に係る制御装置のハードウェア構成の一例を示す図である。 本発明の実施形態に係る制御装置の機能構成の一例を示す図である。 本発明の実施形態に係る制御装置により表示部に表示される画像の一例を示す図である。 第１の実施形態に係る制御装置を含む構成の一例を示す図である。 第１の実施形態に係る制御装置による処理の一例を示すフローチャートである。 第１の実施形態に係る制御装置を含む構成の一例を示す図である。 第２の実施形態に係る制御装置を含む構成の一例を示す図である。 第２の実施形態に係る制御装置による処理の一例を示すフローチャートである。 第３の実施形態に係る制御装置による処理の一例を示すフローチャートである。 本発明の実施形態に係る制御装置による処理の一例を示すフローチャートである。 本発明の実施形態に係る制御装置による処理の一例を示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。

［第１の実施形態］
本願明細書では、被検体に光を照射し、被検体内部で生じた膨張によって発生する音響波を光音響波と称する。また、トランスデューサから送信された音響波または当該送信された音響波が被検体内部で反射した反射波（エコー）を超音波と称する。

被検体内部の状態を低侵襲に画像化する方法として、超音波を用いた画像化の方法や光音響波を用いた画像化の手法が利用されている。超音波を用いた画像化の方法は、たとえばトランスデューサから発振された超音波が被検体内部の組織で音響インピーダンスの差に応じて反射され、反射波がトランスデューサに到達するまでの時間や反射波の強度に基づいて画像を生成する方法である。超音波を用いて画像化された画像を以下では超音波画像と称する。ユーザはプローブの角度等を変えながら操作し、様々な断面の超音波画像をリアルタイムに観察することができる。超音波画像には臓器や組織の形状が描出され、腫瘍の発見等に活用されている。また、光音響波を用いた画像化の方法は、たとえば光を照射された被検体内部の組織が断熱膨張することにより発生する超音波（光音響波）に基づいて画像を生成する方法である。光音響波を用いて画像化された画像を以下では光音響画像と称する。光音響画像には各組織の光の吸収の度合いといった光学特性に関連した情報が描出される。光音響画像では、たとえばヘモグロビンの光学特性により血管を描出できることが知られており、腫瘍の悪性度の評価等への活用が検討されている。

診断の精度を高めるために、被検体の同一部位を、異なる原理に基づいて異なる現象を画像化することにより、様々な情報を収集する場合がある。たとえば、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像で得られた形態情報と、ＰＥＴ（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ）画像で得られた代謝に関する機能情報とを組み合わせて、がんに関する診断を行う場合がある。このように、異なる原理に基づいて異なる現象を画像化して得られた情報を用いて診断を行うことは、診断の精度向上に有効であると考えられる。

上述した超音波画像と光音響画像に関しても、それぞれの特性を組み合わせた画像を得るための撮像装置が検討されている。特に、超音波画像も光音響画像も被検体からの超音波を利用して画像化されることから、超音波画像の撮像と光音響画像の撮像とを同じ撮像装置で行うことも可能である。より具体的には、被検体に照射した反射波と光音響波とを同じトランスデューサで受信する構成とすることができる。これにより、超音波信号と光音響信号とを一つのプローブで取得することができ、ハードウェア構成が複雑にならずに、超音波画像の撮像と光音響画像の撮像とを行う撮像装置を実現できる。

超音波画像の撮像と光音響画像の撮像とを行う撮像装置において、ユーザは従来の超音波画像の撮像と同様にプローブの操作を行いたい場合が想定される。すなわちユーザはプローブを被検体の表面に接触させ、当該プローブにより取得された情報に基づいて表示される画像を観察しながらプローブを操作することが考えられる。その際に、信号取得や画像表示に関する動作モードの切り替えを、たとえばプローブに設けられたスイッチや、当該撮像装置の操作卓に設けられた入力デバイスを介して行うと、ユーザは画像を観察しながらのプローブ操作を中断する必要がある。そのため、スイッチや操作卓の入力デバイスへの操作入力の間に被検体の体動が生じたり、プローブ位置がずれたりすることが考えられる。

たとえば、上述の例のように超音波画像と光音響画像とを組み合わせて観察し、腫瘍の悪性度を評価する場合を考える。ユーザは超音波画像を観察しながらプローブを操作したところ、腫瘍の可能性がある部位を発見し、光音響画像を取得して血管の情報を収集したいとする。このとき、光音響画像を表示するための動作モードに切り替えるために上述したスイッチや操作卓の入力デバイスへの操作入力の間に、腫瘍の可能性があると考えた部位を観察できる位置からプローブがずれてしまうおそれがある。第１の実施形態は、ユーザが画像を観察する際の操作性を低下させずに、表示させる画像を切り替えることができる制御装置を提供することを目的とする。

図１は、第１の実施形態に係る制御装置１０１を含むシステムの構成の一例を示す図である。超音波画像と光音響画像とを生成可能な撮像システム１００は、ネットワーク１１０を介して各種の外部装置と接続されている。撮像システム１００に含まれる各構成及び各種の外部装置は、同じ施設内に設置されている必要はなく、通信可能に接続されていればよい。

撮像システム１００は、制御装置１０１、プローブ１０２、検知部１０３、表示部１０４、操作部１０５を含む。制御装置１０１は、プローブ１０２から超音波信号と光音響信号とを取得し、検知部１０３から取得されるプローブ１０２の移動に関する情報に基づいて、超音波画像と光音響画像とを表示部１０４に表示可能な装置である。また、制御装置１０１は、超音波画像ならびに光音響画像の撮像を含む検査に関する情報をオーダリングシステム１１２から取得し、当該検査が行われる際にプローブ１０２や検知部１０３や表示部１０４を制御する。制御装置１０１は、生成された超音波画像、光音響画像、超音波画像に光音響画像を重畳した重畳画像をＰＡＣＳ１１３に出力する。制御装置１０１は、ＨＬ７（Ｈｅａｌｔｈ ｌｅｖｅｌ ７）やＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）といった規格に準じて、オーダリングシステム１１２やＰＡＣＳ１１３といった外部装置との間で情報の送受信を行う。制御装置１０１により行われる処理についての詳細は、後述する。

プローブ１０２は、ユーザにより操作され、超音波信号と光音響信号とを制御装置１０１に送信する。プローブ１０２は、送受信部１０６と照射部１０７とを含む。プローブ１０２は、送受信部１０６から超音波を送信し、反射波を送受信部１０６で受信する。また、プローブ１０２は照射部１０７から被検体に光を照射し、光音響波を送受信部１０６で受信する。プローブ１０２は受信した反射波ならびに光音響波を電気信号に変換し、超音波信号ならびに光音響信号として制御装置１０１に送信する。プローブ１０２は、被検体との接触を示す情報を受信したときに、超音波信号を取得するための超音波の送信ならびに光音響信号を取得するための光照射が実行されるように制御されることが好ましい。プローブ１０２は、超音波信号と光音響信号とを取得し、これらを交互に取得してもよいし、同時に取得してもよいし、予め定められた態様で取得してもよい。

送受信部１０６は、少なくとも１つのトランスデューサ（不図示）と、整合層（不図示）、ダンパー（不図示）、音響レンズ（不図示）を含む。トランスデューサ（不図示）はＰＺＴ（ｌｅａｄ ｚｉｒｃｏｎａｔｅ ｔｉｔａｎａｔｅ）やＰＶＤＦ（ｐｏｌｙｖｉｎｙｌｉｄｅｎｅ ｄｉｆｌｕｏｒｉｄｅ）といった、圧電効果を示す物質からなる。トランスデューサ（不図示）は圧電素子以外のものでもよく、たとえば静電容量型トランスデューサ（ＣＭＵＴ：ｃａｐａｃｉｔｉｖｅ ｍｉｃｒｏ−ｍａｃｈｉｎｅｄ ｕｌｔｒａｓｏｎｉｃ ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサである。典型的には、超音波信号は２〜２０ＭＨｚ、光音響信号は０．１〜１００ＭＨｚの周波数成分からなり、トランスデューサ（不図示）はこれらの周波数を検出できるものが用いられる。トランスデューサ（不図示）により得られる信号は時間分解信号である。受信された信号の振幅は各時刻にトランスデューサで受信される音圧に基づく値を表したものである。送受信部１０６は、電子フォーカスのための回路（不図示）もしくは制御部を含む。トランスデューサ（不図示）の配列形は、たとえばセクタ、リニアアレイ、コンベックス、アニュラアレイ、マトリクスアレイである。

送受信部１０６は、トランスデューサ（不図示）が受信した時系列のアナログ信号を増幅する増幅器（不図示）を備えていてもよい。また、送受信部１０６は、トランスデューサ（不図示）が受信した時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えていてもよい。トランスデューサ（不図示）は、超音波画像の撮像の目的に応じて、送信用と受信用とに分割されてもよい。また、トランスデューサ（不図示）は、超音波画像の撮像用と、光音響画像の撮像用とに分割されてもよい。

照射部１０７は、光音響信号を取得するための光源（不図示）と、光源（不図示）から射出されたパルス光を被検体へ導く光学系（不図示）とを含む。光源（不図示）が射出する光のパルス幅は、たとえば１ｎｓ以上、１００ｎｓ以下のパルス幅である。また、光源（不図示）が射出する光の波長は、たとえば４００ｎｍ以上、１６００ｎｍ以下の波長である。被検体の表面近傍の血管を高解像度でイメージングする場合は、４００ｎｍ以上、７００ｎｍ以下の、血管での吸収が大きい波長が好ましい。また、被検体の深部をイメージングする場合には、７００ｎｍ以上、１１００ｎｍ以下の、水や脂肪といった組織で吸収されにくい波長が好ましい。

光源（不図示）は、たとえばレーザーや発光ダイオードである。照射部１０７は、複数の波長の光を用いて光音響信号を取得するために、波長を変換できる光源を用いてもよい。あるいは、照射部１０７は、互いに異なる波長の光を発生する複数の光源を備え、それぞれの光源から交互に異なる波長の光を照射できる構成であってもよい。レーザーは、たとえば固体レーザー、ガスレーザー、色素レーザー、半導体レーザーである。光源（不図示）として、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーといったパルスレーザーを用いてもよい。また、Ｎｄ：ＹＡＧレーザーの光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（ｏｐｔｉｃａｌ ｐａｒａｍｅｔｒｉｃ ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源（不図示）として用いてもよい。また、光源（不図示）として、マイクロウェーブ源を用いてもよい。

光学系（不図示）には、レンズ、ミラー、光ファイバといった光学素子が用いられる。被検体が***である場合には、パルス光のビーム径を広げて照射することが好ましいため、光学系（不図示）は射出される光を拡散させる拡散板を備えていてもよい。あるいは解像度を上げるために、光学系（不図示）はレンズ等を備え、ビームをフォーカスできる構成であってもよい。

検知部１０３は、プローブ１０２の変位に関する情報を取得する。検知部１０３は、第１の実施形態においては、検知部１０３が図５に示す磁気トランスミッタ５０３と磁気センサ５０２とから構成される場合を例に説明する。検知部１０３は、プローブ１０２の移動に関する情報として、たとえば被検体に対するプローブ１０２の移動の速度を示す情報や、プローブ１０２の回転の速度に関する情報や、被検体に対する押圧の程度を示す情報を取得する。検知部１０３は、取得したプローブ１０２の移動に関する情報を制御装置１０１に送信する。

表示部１０４は、制御装置１０１からの制御に基づいて、撮像システム１００で撮像された画像や、検査に関する情報を表示する。表示部１０４は、制御装置１０１からの制御に基づいて、ユーザの指示を受け付けるためのインタフェースを提供する。表示部１０４は、たとえば液晶ディスプレイである。

操作部１０５は、ユーザの操作入力に関する情報を制御装置１０１に送信する。操作部１０５は、たとえばキーボードやトラックボールや、検査に関する操作入力を行うための各種のボタンである。

なお、表示部１０４と操作部１０５はタッチパネルディスプレイとして統合されていてもよい。また、制御装置１０１と表示部１０４と操作部１０５は別体の装置である必要はなく、図５の操作卓５０１のようにこれらの構成が統合されていてもよい。制御装置１０１は、複数のプローブを有していてもよい。

ＨＩＳ（Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）１１１は、病院の業務を支援するシステムである。ＨＩＳ１１１は、電子カルテシステム、オーダリングシステムや医事会計システムを含む。ＨＩＳ１１１により検査のオーダ発行から会計までを連携して管理することができる。ＨＩＳ１１１のオーダリングシステムは、オーダ情報を部門ごとのオーダリングシステム１１２に送信する。そして後述するオーダリングシステム１１２において当該オーダの実施が管理される。

オーダリングシステム１１２は、検査情報を管理し、撮像装置でのそれぞれの検査の進捗を管理するシステムである。オーダリングシステム１１２は検査を行う部門ごとに構成されていてもよい。オーダリングシステム１１２は、たとえば放射線部門においてはＲＩＳ（Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）である。オーダリングシステム１１２は、制御装置１０１からの問い合わせに応じて、撮像システム１００で行う検査の情報を制御装置１０１に送信する。オーダリングシステム１１２は、制御装置１０１から検査の進捗に関する情報を受信する。そして、オーダリングシステム１１２は、検査が完了したことを示す情報を制御装置１０１から受信すると、当該検査が完了したことを示す情報をＨＩＳ１１１に送信する。オーダリングシステム１１２はＨＩＳ１１１に統合されていてもよい。

ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）１１３は、施設内外の各種の撮像装置で得られた画像を保持するデータベースシステムである。ＰＡＣＳ１１３は、医用画像及びかかる医用画像の撮影条件や、再構成を含む画像処理のパラメータや患者情報といった付帯情報を記憶する記憶部（不図示）と、当該記憶部に記憶される情報を管理するコントローラ（不図示）とを有する。ＰＡＣＳ１１３は、制御装置１０１から出力された超音波画像や光音響画像や重畳画像を記憶する。ＰＡＣＳ１１３と制御装置１０１との通信や、ＰＡＣＳ１１３に記憶される各種の画像はＨＬ７やＤＩＣＯＭといった規格に則していることが好ましい。制御装置１０１から出力される各種の画像には、ＤＩＣＯＭ規格に則って、各種のタグに付帯情報が記憶されている。

Ｖｉｅｗｅｒ１１４は、画像診断用の端末であり、ＰＡＣＳ１１３等に記憶された画像を読み出し、診断のために表示する。医師は、Ｖｉｅｗｅｒ１１４に画像を表示させて観察し、当該観察の結果得られた情報を画像診断レポートとして記録する。Ｖｉｅｗｅｒ１１４を用いて作成された画像診断レポートは、Ｖｉｅｗｅｒ１１４に記憶されていてもよいし、ＰＡＣＳ１１３やレポートサーバ（不図示）に出力され、記憶されてもよい。

Ｐｒｉｎｔｅｒ１１５は、ＰＡＣＳ１１３等に記憶された画像を印刷する。Ｐｒｉｎｔｅｒ１１５はたとえばフィルムプリンタであり、ＰＡＣＳ１１３等に記憶された画像をフィルムに印刷することにより出力する。

図２は、制御装置１０１のハードウェア構成の一例を示す図である。制御装置１０１は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、ＵＳＢ２０５と、通信回路２０６と、ＧＰＵボード２０７と、ＨＤＭＩ（登録商標）２０８とを有する。これらは内部バスにより通信可能に接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は制御装置１０１及びこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムを実行することにより制御を実施する。またＣＰＵ２０１は、表示部１０４を制御するためのソフトウェアであるディスプレイドライバを実行し、表示部１０４に対する表示制御を行う。さらにＣＰＵ２０１は、操作部１０５に対する入出力制御を行う。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２は、ＣＰＵによる制御の手順を記憶させたプログラムやデータを格納する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３は、制御装置１０１を及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶するためのメモリである。ＲＡＭ２０３は、ＣＰＵ２０１が実行する制御プログラムを格納し、ＣＰＵ２０１が各種制御を実行する際の様々なデータを一時的に格納する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）２０４は、超音波画像や光音響画像などの各種のデータを保存する補助記憶装置である。

ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）２０５は操作部１０５と接続する接続部である。

通信回路２０６は撮像システム１００を構成する各部や、ネットワーク１１０に接続されている各種の外部装置との通信を行うための回路である。通信回路２０６は、所望の通信形態にあわせて、複数の構成により実現されていてもよい。

ＧＰＵボード２０７は、ＧＰＵ、及びビデオメモリを含む汎用グラフィックスボードである。ＧＰＵボード２０７は、画像処理部３０３の一部又は全部を構成し、たとえば光音響画像の再構成処理を行う。このような演算装置を使用するにより、専用ハードウェアを必要とせずに高速に再構成処理などの演算を行うことができる。

ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）２０８は、表示部１０４と接続する接続部である。

ＣＰＵ２０１やＧＰＵはプロセッサの一例である。また、ＲＯＭ２０２やＲＡＭ２０３やＨＤＤ２０４はメモリの一例である。制御装置１０１は複数のプロセッサを有していてもよい。第１の実施形態においては、制御装置１０１のプロセッサがメモリに格納されているプログラムを実行することにより、制御装置１０１の各部の機能が実現される。

なお、制御装置１０１は特定の処理を専用に行うＣＰＵやＧＰＵを有していても良い。また、制御装置１０１は特定の処理あるいは全ての処理をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を有していてもよい。さらに、制御装置１０１はメモリとしてＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）を有していてもよい。制御装置１０１はＨＤＤ２０４の代わりにＳＳＤを有していてもよいし、ＨＤＤ２０４とＳＳＤの両方を有していてもよい。

図３は、制御装置１０１の機能構成の一例を示す図である。制御装置１０１は、検査制御部３００、信号取得部３０１、位置取得部３０２、画像処理部３０３、判定部３０４、表示制御部３０５、出力部３０６を含む。

検査制御部３００は、撮像システム１００において行われる検査を制御する。検査制御部３００は、オーダリングシステム１１２から検査オーダの情報を取得する。検査オーダには、検査を受ける患者の情報や、撮影手技に関する情報が含まれる。検査制御部３００は、撮影手技の情報に基づいてプローブ１０２や検知部１０３を制御する。さらに検査制御部３００は、ユーザに検査に関する情報を提示するために表示制御部３０５を介して表示部１０４に当該検査の情報を表示させる。表示部１０４に表示される検査の情報には、検査を受ける患者の情報や、当該検査に含まれる撮影手技の情報や、既に撮像が完了して生成された画像が含まれる。さらに検査制御部３００は、当該検査の進捗に関する情報をオーダリングシステム１１２に送信する。たとえば、ユーザにより当該検査が開始された際には、システム１１２に開始を通知し、当該検査に含まれる全ての撮影手技による撮像が完了した際には、システム１１２に完了を通知する。

さらに検査制御部３００は、撮像に用いられているプローブ１０２に関する情報を取得する。プローブ１０２に関する情報には、プローブの種類、中心周波数、感度、音響フォーカス、電子フォーカス、観察深度といった情報が含まれる。ユーザはプローブ１０２を、たとえば制御装置１０１のプローブコネクタポート（不図示）に接続し、制御装置１０１に操作入力を行ってプローブ１０２を有効化し、撮像条件等を入力する。検査制御部３００は、有効化されたプローブ１０２に関する情報を取得する。検査取得部３００は、プローブ１０２に関する情報を画像処理部３０３、判定部３０４、表示制御部３０５に適宜送信する。は、プローブ１０２の移動に関する情報を取得する第２の取得手段の一例である。

信号取得部３０１は、プローブ１０２から超音波信号と光音響信号とを取得する。具体的には、信号取得部３０１は、検査制御部３００や位置取得部３０２からの情報に基づいて、プローブ１０２から取得した情報から超音波信号と光音響信号とを区別して取得する。たとえば、撮像を行っている撮影手技において、超音波信号の取得と光音響信号の取得のタイミングが規定されている場合には、検査制御部３００から取得した当該取得のタイミングの情報に基づいて、プローブ１０２から取得した情報から超音波信号と光音響信号とを区別して取得する。後述する例のように、プローブ１０２の移動に関する情報に基づいて光音響信号を取得する場合には、位置取得部３０２から取得したプローブ１０２の移動に関する情報に基づいて、プローブ１０２から取得した情報から超音波信号と光音響信号とを区別して取得する。信号取得部３０１は、プローブ１０２から超音波信号と光音響信号とのうち少なくともいずれかを取得する第１の取得手段の一例である。

位置取得部３０２は、検知部１０３からの情報に基づいてプローブ１０２の変位に関する情報を取得する。たとえば位置取得部３０２は、検知部１０３からの情報に基づいてプローブ１０２の位置、姿勢や、被検体に対する移動の速度や、回転の速度の情報や、被検体に対する移動の加速度や、被検体に対する押圧の程度を示す情報の、少なくともいずれかを取得する。すなわち位置取得部３０２は、ユーザがプローブ１０２を被検体に対してどのように操作しているかを示す情報を取得する。位置取得部３０２は検知部１０３からの情報に基づいて、たとえばユーザがプローブ１０２を被検体に対して接触させた状態で静止させているのか、あるいは所定の速度以上で移動させているのかを判定することができる。位置取得部３０２は一定の時間間隔で、好ましくはリアルタイムでプローブ１０２の位置情報を検知部１０３から取得することが好ましい。

位置取得部３０２は、プローブ１０２の変位に関する情報を、検査制御部３００、画像処理部３０３、判定部３０４、表示制御部３０５に適宜送信する。位置取得部３０２は、プローブ１０２の変位に関する情報を取得する第２の取得手段の一例である。

画像処理部３０３は、超音波画像と光音響画像と、超音波画像に対して光音響画像を重畳させた重畳画像とを生成する。画像処理部３０３は、信号取得部３０１により取得された超音波信号から、表示部１０４に表示させるための超音波画像を生成する。画像処理部３０３は、検査制御部３００から取得した撮影手技の情報に基づいて、設定されたモードに適した超音波画像を生成する。たとえば撮影手技としてドプラモードが設定されている場合には、画像処理部３０３は、信号取得部３０１により取得された超音波信号の周波数と送信周波数との差に基づいて、被検体内部の流速を示す画像を生成する。

また、画像処理部３０３は信号取得部３０１により取得された光音響信号に基づいて光音響画像を生成する。画像処理部３０３は、光音響信号に基づいて光が照射された時の音響波の分布（以下、初期音圧分布と称する。）を再構成する。画像処理部３０３は、再構成された初期音圧分布を、被検体に照射された光の被検体の光フルエンス分布で除することにより、被検体内における光の吸収係数分布を取得する。また、被検体に照射する光の波長に応じて、被検体内で光の吸収の度合いが異なることを利用して、複数の波長に対する吸収係数分布から被検体内の物質の濃度分布を取得する。たとえば画像処理部３０３は、オキシヘモグロビンとデオキシヘモグロビンの被検体内における物質の濃度分布を取得する。さらに画像処理部３０３は、オキシヘモグロビン濃度のデオキシヘモグロビン濃度に対する割合として酸素飽和度分布を取得する。画像処理部３０３により生成される光音響画像は、たとえば上述した初期音圧分布、光フルエンス分布、吸収係数分布、物質の濃度分布、酸素飽和度分布といった情報を示す画像である。すなわち画像処理部３０３は、超音波信号に基づいて超音波画像を生成し、光音響信号に基づいて光音響画像を生成する生成手段の一例である。

判定部３０４は、位置取得部３０２により取得された、プローブ１０２の変位に関する情報に基づいて、表示制御部３０５を介して表示部１０４に光音響画像を表示させるか否かを判定する。すなわち判定部３０４は、光音響画像を表示部１０４に表示させるか否かを判定する判定手段の一例である。

たとえば、判定部３０４は、位置取得部３０２によりプローブ１０２が所定の速度以下で移動していることを示す情報が取得された場合や、所定の圧力以上でプローブ１０２が被検体に押圧されていることを示す情報が取得された場合に、光音響画像を表示させると判定する。これにより、ユーザは被検体の特定の領域を観察しようとする操作をしている際に光音響画像が表示部１０４に表示される。ユーザは、物理的構造を有するスイッチを押下するといった、特別な操作入力を行わなくても、超音波画像と光音響画像とを観察することができる。

判定部３０４が表示部１０４に光音響画像を表示させると判定した場合には、たとえば画像処理部３０３は超音波画像に光音響画像を重畳した重畳画像を生成し、表示制御部３０５を介して表示部１０４に重畳画像が表示される。すなわち、超音波画像を表示するモードから、超音波画像と光音響画像とを表示するモードへの切り替えを行う。別の例では、判定部３０４が表示部１０４に光音響画像を表示させると判定した場合には、検査制御部３００は照射部１０７と信号取得部３０１を制御して、光音響信号を取得させる。そして、画像処理部３０３は当該判定に応じて取得された光音響信号に基づいて再構成処理を行うことにより、光音響画像を生成する。表示制御部３０５は、当該生成された光音響画像を表示部１０４に表示させる。この観点で検査制御部３００は、光音響画像を表示部１０４に表示させると判定された場合に、被検体への光照射を行うように照射部１０７を制御する照射制御手段の一例である。

表示制御部３０５は、表示部１０４を制御して、表示部１０４に情報を表示させる。表示制御部３０５は、検査制御部３００や画像処理部３０３や判定部３０４からの入力や、操作部１０５を介したユーザの操作入力に応じて、表示部１０４に情報を表示させる。表示制御部３０５は、表示制御手段の一例である。また、表示制御部３０５は、判定部３０４により光音響画像を表示部１０４に表示させると判定された結果に基づいて、光音響画像を表示部１０４に表示させる表示制御手段の一例である。

出力部３０６は、制御装置１０１からネットワーク１１０を介してＰＡＣＳ１１３といった外部装置に情報を出力する。たとえば、出力部３０６は画像処理部３０３で生成された超音波画像や光音響画像、これらの重畳画像をＰＡＣＳ１１３に出力する。出力部３０６から出力される画像には、検査制御部３００によりＤＩＣＯＭ規格に則った各種のタグとして付帯された付帯情報が含まれる。付帯情報には、たとえば患者情報や、当該画像を撮像した撮像装置を示す情報や、当該画像を一意に識別するための画像ＩＤや、当該画像を撮像した検査を一意に識別するための検査ＩＤが含まれる。また、付帯情報には、一連のプローブ操作の中で撮像された超音波画像と光音響画像とを関連付ける情報が含まれる。超音波画像と光音響画像とを関連付ける情報とは、たとえば超音波画像を構成する複数のフレームのうち、光音響画像を取得したタイミングが最も近いフレームを示す情報である。さらに、付帯情報として、検知部１０３で取得されたプローブ１０２の位置情報を超音波画像及び光音響画像の各フレームに付帯させてもよい。すなわち出力部３０６は、超音波画像を生成するための超音波信号を取得したプローブ１０２の位置を示す情報を、当該超音波画像に付帯させて出力する。また、出力部３０６は、光音響画像を生成するための光音響信号を取得したプローブ１０２の位置を示す情報を、当該光音響画像に付帯させて出力する。出力部３０６は、出力手段の一例である。

図４は、表示制御部３０５により表示部１０４に表示される超音波画像、光音響画像、重畳画像の一例をそれぞれ示す図である。図４（ａ）は超音波画像の一例であり、反射波の振幅を輝度で表した断層画像、すなわちＢモードで生成された画像の一例である。以下では超音波画像としてＢモードの画像を生成する倍を例に説明するが、第１の実施形態において制御装置１０１が取得する超音波画像はＢモードの画像に限らない。取得される超音波画像は、Ａモード、Ｍモード、ドプラモードといった、その他のいずれの方法により生成されるものであってもよいし、ハーモニックイメージや組織弾性イメージであってもよい。撮像システム１００で超音波画像を撮像される被検体内の領域は、たとえば循環器領域、***、肝臓、膵臓といった領域である。また、撮像システム１００では、たとえば微小気泡を利用した超音波造影剤を投与した被検体の超音波画像を撮像してもよい。

図４（ｂ）は光音響画像の一例であり、吸収係数分布とヘモグロビン濃度とに基づいて描出された血管画像の一例である。第１の実施形態において制御装置１０１が取得する光音響画像は、光音響波の発生音圧（初期音圧）、光吸収エネルギー密度、光吸収係数、被検体を構成する物質の濃度に関する情報、及びこれらを組み合わせて生成される画像のいずれであってもよい。また、撮像システム１００で光音響画像を撮像される被検体内の領域は、たとえば循環器領域、***、径部、腹部、手指および足指を含む四肢といった領域である。特に、被検体内の光吸収に関する特性に応じて、新生血管や血管壁のプラークを含む血管領域を、光音響画像の撮像の対象としてもよい。以下では、超音波画像を撮像しながら光音響画像を撮像する場合を例に説明するが、撮像システム１００で光音響画像を撮像される被検体内の領域は必ずしも超音波画像を撮像される領域と一致していなくてもよい。また、撮像システム１００では、たとえばメチレンブルー（ｍｅｔｈｙｌｅｎｅ ｂｌｕｅ）やインドシアニングリーン（ｉｎｄｏｃｙａｎｉｎｅ ｇｒｅｅｎ）といった色素や、金微粒子、それらを集積あるいは化学的に修飾した物質を造影剤として投与した被検体の光音響画像を撮像してもよい。

図４（ｃ）は、図４（ａ）と図４（ｂ）にそれぞれ例示した超音波画像と光音響画像を重畳した重畳画像である。画像処理部３０３は、超音波画像と光音響画像とを位置合わせして重畳画像を生成する。画像処理部３０３は、当該位置合わせの方法として、いかなる方法を用いてもよい。たとえば画像処理部３０３は、超音波画像と光音響画像とのそれぞれに共通して描出されている特徴的な領域に基づいて位置合わせを行う。別の例では、位置取得部３０２により取得されたプローブ１０２の位置の情報に基づいて、被検体の略同一の領域からの信号により描出されたと判定できる超音波画像と光音響画像とを重畳して重畳画像を生成してもよい。

図５は、撮像システム１００の構成の一例を示す図である。撮像システム１００は、操作卓５０１と、プローブ１０２と、磁気センサ５０２と、磁気トランスミッタ５０３と、架台５０４を含む。操作卓５０１は、制御装置１０１と表示部１０４と操作部１０５とが統合されたものである。第１の実施形態にかかる制御装置は、制御装置１０１若しくは操作卓５０１である。磁気センサ５０２と磁気トランスミッタ５０３は、検知部１０３の一例である。架台５０４は被検体を支持する。

磁気センサ５０２及び磁気トランスミッタ５０３は、プローブ１０２の位置情報を取得するための装置である。磁気センサ５０２は、プローブ１０２に取り付けられる磁気センサである。また、磁気トランスミッタ５０３は、任意の位置に配置され、自身を中心として外側に向かって磁場を形成する装置である。第１の実施形態においては、磁気トランスミッタ５０３は、架台５０４の近傍に設置される。

磁気センサ５０２は、磁気トランスミッタ５０３によって形成された３次元の磁場を検出する。そして、磁気センサ５０２は、検出した磁場の情報に基づいて、磁気トランスミッタ５０３を原点とする空間におけるプローブ１０２の複数の点についての位置（座標）を取得する。位置取得部３０２は磁気センサ５０２から取得した位置（座標）の情報に基づいて、プローブ１０２の３次元位置情報を取得する。プローブ１０２の３次元位置情報には、送受信部１０６の座標が含まれる。送受信部１０６の座標に基づいて、被検体との接触面の位置が取得される。また、プローブ１０２の３次元位置情報には、プローブ１０２の被検体に対する傾き（角度）の情報が含まれる。そして位置取得部３０２は、経時的な３次元位置情報の変化に基づいて、プローブ１０２の変位に関する情報を取得する。

図６は、第１の実施形態にかかる制御装置が、ユーザによるプローブ１０２の操作に基づいて表示部１０４に光音響画像を表示させる処理の一例を示すフローチャートである。以下では、ユーザは少なくともプローブ１０２を用いて超音波信号を取得し、超音波画像を表示部１０４に表示させながらプローブ１０２を操作し、さらに光音響画像を表示部１０４に表示させる場合を例に説明する。

ステップＳ６００において、検査制御部３００は、光音響画像の表示に関する事前設定の情報を取得する。ユーザは検査に先だって、光音響画像の表示に関する設定を操作卓５０１に対する操作入力により行う。光音響画像の表示に関する設定とは、光音響信号の取得に関する設定と、取得された光音響信号に基づいて生成される光音響画像の表示に関する設定とが含まれる。光音響信号の取得に関する設定により、超音波信号と光音響信号とを予め定められたタイミングで取得する第１の取得モードと、超音波信号を取得しながらユーザのプローブ操作に応じて光音響信号を取得する第２の取得モードと、超音波信号のみを取得する第３の取得モードとのうち、プローブ１０２を何れのモードで動作させるかが定められる。第１の取得モードには、所定の時間ずつ交互に超音波信号と光音響信号とを取得する場合や、オーダリングシステム１１２から取得したオーダ情報に定められた態様で超音波信号と光音響とを取得する場合が含まれる。光音響画像の表示に関する設定とは、光音響画像を光音響信号から再構成され次第順次表示する第１の表示モードと、光音響信号の再構成が行われても撮影が完了するまで光音響画像を表示しない第２の表示モードとが含まれる。光音響信号の取得に関する設定が第２の取得モードであり、かつ光音響画像の表示に関する設定が第１の表示モードである場合にはステップＳ６０１に進み、それ以外の場合にはステップＳ６０３に進む。

ステップＳ６０１において、判定部３０４はプローブ１０２の移動速度が所定値以下であるか否かを判定する。具体的には、まず位置取得部３０２は、磁気センサ５０２からプローブ１０２の位置を示す情報を取得し、当該位置の経時的な変化に基づいてプローブ１０２の移動の速度を示す情報を取得する。位置取得部３０２は、プローブ１０２の移動の速度を示す情報を判定部３０４に送信する。判定部３０４は、プローブ１０２の移動の速度が所定値以下であるか否かを判定する。判定部３０４は、被検体に対してプローブ１０２を静止させた状態、すなわち移動速度がゼロの場合も、プローブ１０２が所定の速度よりも小さい速度で移動していると判定する。たとえば、位置取得部３０２は磁気センサ５０２が取得したプローブ１０２の位置情報を一定時間記憶する。そして位置取得部３０２は、プローブ１０２の移動に関する速度ベクトルを取得し、判定部３０４に送信する。判定部３０４は、所定の期間、プローブ１０２の速度が所定値以下であれば、プローブ１０２の位置が十分に変化していないと判定する。たとえば判定部３０４は、所定値を５０ｍｍ／秒とし、プローブ１０２が３秒間、所定値以下の速度で移動した場合には、プローブ１０２の移動速度が所定値以下であると判定する。プローブ１０２の移動速度が所定値以下場合には、ステップＳ６０２に進む。プローブ１０２の移動速度が所定値よりも大きい場合には、ステップＳ６０５に進む。

ステップＳ６０２において、判定部３０４はプローブ１０２の回転速度が所定値以下であるか否かを判定する。具体的には、ステップＳ６０１と同様にして、まず位置取得部３０２は、磁気センサ５０２からプローブ１０２の位置を示す情報を取得し、当該位置の経時的な変化に基づいてプローブ１０２の回転の速度を示す情報を取得する。位置取得部３０２は、プローブ１０２の回転の速度を示す情報を判定部３０４に送信する。判定部３０４は、プローブ１０２の回転の速度が所定値以下であるか否かを判定する。判定部３０４は、被検体に対してプローブ１０２を静止させた状態、すなわち回転速度がゼロの場合も、プローブ１０２が所定の速度よりも小さい速度で回転していると判定する。たとえば、位置取得部３０２はステップＳ６０１と同様にしてプローブ１０２の移動に関する速度ベクトルを取得し、判定部３０４に送信する。たとえば判定部３０４は、所定値を１／６πｒａｄ／秒とし、プローブ１０２が３秒間、所定値以下の速度で回転した場合には、プローブ１０２の回転速度が所定値以下であると判定する。プローブ１０２が所定の速度よりも小さい速度で回転している場合には、ステップＳ６０４に進む。プローブ１０２が所定の速度よりも大きい速度で回転している場合には、ステップＳ６０５に進む。

ステップＳ６０３において、検査制御部３００がステップＳ６００で取得した事前設定の情報に基づいて処理が分岐する。光音響信号の取得に関する設定が第１の取得モードであり、かつ光音響画像の表示に関する設定が第１の表示モードである場合には、ステップＳ６０４に進み、それ以外の場合にはステップＳ６０５に進む。

ステップＳ６０４において、表示制御部３０５は、表示部１０４に光音響画像を表示させる。具体的には、プローブ１０２の変位に関する情報に基づいて適宜された光音響信号または、予め定められたタイミングで取得された光音響信号に基づいて、画像処理部３０３は光音響画像を再構成する。そして表示制御部３０５は、光音響画像を表示部１０４に表示させる。第１の実施形態においては、画像処理部３０３は光音響信号が取得されたのと近い時刻に取得された超音波信号に基づいて生成された超音波信号に対して、光音響画像を重畳した重畳画像を生成する。そして、表示制御部３０５は当該重畳画像を表示部１０４に表示させる。すなわち、表示制御部３０５は、プローブ１０２の変位に関する情報に基づいて、光音響信号から生成される光音響画像を表示部１０４に表示させる。

第１の取得モードに設定されている場合には、ユーザは超音波信号をプローブ１０２により取得し、表示部１０４に表示される超音波画像を観察しながらプローブ１０２を操作する。プローブ１０２の移動速度や回転速度が所定の値よりも小さい場合には、ユーザが被検体中の特定の領域をより詳細に観察しようとしている場合が想定される。第１の実施形態においては、このようなユーザのプローブ１０２の操作の変化に基づいて光音響画像が表示部１０４に表示される。これにより、詳細に観察すべき領域を探索するためにユーザが超音波画像を観察するのを妨げずに、適切なタイミングで光音響画像を表示部１０４に表示させることができる。さらに表示制御部３０５は、プローブ１０２の移動の速度が大きいほど重畳画像における光音響画像の透明度を高くして表示させてもよい。そして、プローブ１０２の移動の速度が所定の値よりも大きくなると、光音響画像を表示させないようにしてもよい。すなわち表示制御部３０５は、プローブ１０２の変位の程度に応じて、光音響画像を表示部１０４に表示させる態様を異ならせる。

ステップＳ６０５において、表示制御部３０５は光音響画像を表示部１０４に表示しない。画像処理部３０３はプローブ１０２により取得された超音波信号に基づいて超音波画像を生成し、表示制御部３０５は当該超音波画像を表示部１０４に表示させる。

以上で、図６に示す処理が終了する。なお、図６に示す例では光音響画像をプローブ１０２の操作や事前設定に応じて表示部１０４に表示させる例について説明したが、本発明は光音響画像の表示に限定されるものではない。たとえば、プローブ１０２の操作に応じて光音響画像を表示部１０４に表示するのと同時に、画像処理部３０３により生成された重畳画像若しくは光音響画像を保存してもよい。当該保存は制御装置１０１内のメモリに保存することに限定されず、たとえば出力部３０６を介してＰＡＣＳ１１３といった外部装置に出力することにより、当該外部装置に保存させてもよい。ステップＳ６００からステップＳ６０３の処理により、光音響画像を表示しないと判定される場合は、ユーザがプローブ１０２を操作しながら、詳細に観察すべき領域を探索している場合と想定される。したがって、このような探索中の動画は必ずしも保存が必要とは限らない。したがって、光音響画像を表示すると判定される場合に重畳画像を保存することで、ユーザにとって詳細な観察の対象となる画像を選択的に保存することができ、メモリや外部装置の容量を効率的に利用することができる。

なお、ステップＳ６０１とステップＳ６０２は同時に又は並列して処理されてもよい。すなわち、位置取得部３０２は磁気センサ５０２から取得したプローブ１０２の位置を示す情報に基づいて、判定部３０４にプローブ１０２の移動速度と回転速度の情報を同時に又は並列して送信してもよい。そして判定部３０４は、プローブ１０２の移動速度が所定値以下であり、かつ回転速度が所定値以下であるか否かを判定する。プローブ１０２の移動速度が所定値以下であり、かつ回転速度が所定値以下である場合にはステップＳ６０４に進む。プローブ１０２の移動速度又は回転速度の少なくともいずれかが所定値以上である場合には、ステップＳ６０５に進む。また別の例では、ステップＳ６０１とステップＳ６０２のいずれか一方のみが処理されてもよい。すなわち、判定部３０４は移動速度と回転速度のいずれか一方のみに基づいて光音響画像を表示するか否かについての判定を行っても良い。

［第１の実施形態の変形例］
第１の実施形態においては、さらに、被検体の光音響信号を取得すべき領域にプローブ１０２をガイドするための情報を表示部１０４に表示させてもよい。当該ガイドするための情報とは、たとえばプローブ１０２の位置や被検体に対する傾きを目標とする状態に案内するための情報である。具体的には、まず、第２の取得モードにおいて位置取得部３０２は、検知部１０３からの位置情報に基づいてプローブ１０２の位置情報を取得する。

判定部３０４は、プローブ１０２の操作中に光音響画像を表示部１０４に表示させると判定した際のプローブ１０２の位置情報を記憶する。以下では、前回に光音響画像を表示した際のプローブ１０２の位置を、目標位置と称する。判定部３０４は、たとえばステップＳ６０２やステップＳ６０３の処理の説明において上述したように、位置取得部３０２からプローブ１０２の位置情報を取得している。判定部３０４は、目標位置と、現在のプローブ１０２の位置とに基づいて、目標位置にプローブ１０２をガイドするためのガイド情報を生成する。ガイド情報には、プローブ１０２を目標位置まで移動させるための移動方向、移動量、傾斜角、回転方向、回転量を示す情報が含まれる。この観点で判定部３０４は、プローブ１０２を特定の位置に誘導するためのガイド情報を生成するガイド手段の一例である。

たとえば判定部３０４は、所定の時間以上、目標位置の近傍でプローブ１０２を操作しているが、光音響画像を表示すると判定されないような操作が行われている場合に、ガイド情報を生成する。これにより、観察を行う中でユーザが詳細に観察した領域の光音響画像及び超音波画像を、容易に再現させることができる。

判定部３０４により生成されたガイド情報は、表示制御部３０５により表示部１０４に表示される。具体的には、表示制御部３０５はプローブ１０２を目標位置まで移動させるための移動方向、移動量、傾斜角、回転方向、回転量を示す客観的な指標となるガイド画像を表示部１０４に表示させる。当該ガイド画像はこれらのガイド情報の客観的な指標となるものであればいかなるものでもよい。たとえばガイド画像は、移動や回転の量に対応した大きさで、移動や回転や傾斜の方向に対応した向きを有する矢印の画像である。別の例では、ガイド画像は移動や回転の量に対応した大きさで、移動や回転や傾斜の方向に対応して形状が変形する図形である。ガイド画像は、プローブ１０２を目標位置に移動させた場合に超音波画像若しくは光音響画像に描出される領域（以下では、目標領域と称する。）の観察を妨げない態様で表示部１０４に表示される。たとえばガイド画像は、超音波画像及び光音響画像及び重畳画像を表示していない領域に表示される。別の例では、目標位置にプローブ１０２を移動させるようガイドしている間は、目標領域の近傍の領域に重畳する位置に表示させ、目標領域が描出されると、視認できないような形状に変形するように表示してもよい。

さらに別の例では、判定部３０４により生成されたガイド情報を、プローブ１０２が目標位置に近付くにつれて発音間隔が小さくなるような音を発生させることによりユーザに報知してもよい。

なお、判定部３０４はガイド情報を生成すると判定して、位置取得部３０２にガイド情報を生成するよう通知し、位置取得部３０２でガイド情報を生成してもよい。また、位置取得部３０２や判定部３０４とは異なるモジュールを設けて、ガイド情報を生成してもよい。

上述の例では、観察を行う中でユーザが詳細に観察した領域を描出できるプローブ１０２の位置を、ガイド情報を生成するために記憶しておく例について説明したが、これに限らない。たとえば、プローブ１０２を操作する中で超音波画像や、過去に観察された超音波画像、光音響画像、及びその他の医用画像に基づいて指定された領域を描出可能なプローブ１０２の位置を、ガイド情報を生成させたいプローブ１０２の位置として記憶させてもよい。ガイド情報を生成させたいプローブ１０２の位置は、上述の例では光音響画像を表示させる判定の際に自動的に記憶する例について説明したが、これに限らずユーザが操作卓５０１に対する操作入力により指定してもよい。

また、上述の例では、観察を行う中でユーザが詳細に観察した領域の画像を再現させるためのガイド情報を生成する例について説明したが、これに限らない。たとえば、検査オーダやユーザの操作入力に応じて、特定の領域の３次元光音響画像を取得するような場合について説明する。プローブ１０２をユーザが操作しながら光音響信号を取得する際に、３次元光音響画像を生成するために十分な信号を取得する必要がある。画像処理部３０３は信号取得部３０１から送信される光音響信号と、位置取得部３０２から送信されるプローブ１０２の位置情報とに基づいて、３次元光音響画像を生成するのに不足している信号の情報を生成する。位置取得部３０２は、当該３次元光音響画像を生成するのに不足している信号を取得可能なプローブ１０２の位置にプローブ１０２を導くためのガイド情報を生成し、表示制御部３０５を介して表示部１０４に当該ガイド情報を表示させる。これにより、３次元光音響画像を効率的に生成することができる。

第１の実施形態において検知部１０３の例として磁気センサ５０２と磁気トランスミッタ５０３を用いる例を上述したが、本発明はこれに限らない。

図７は、撮像システム１００の構成の一例を示す図である。撮像システム１００は、操作卓５０１と、プローブ１０２と、架台５０４と、モーションセンサ７００とを含む。モーションセンサ７００は、プローブ１０２の位置情報をトラッキングする検知部１０３の一例である。モーションセンサ７００は、プローブ１０２の送受信部１０６と光源（不図示）とは異なる部分に備えつけられ、若しくは埋め込まれる。モーションセンサ７００は、たとえば微小電気機械システム（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）で構成され、３軸の加速度計と、３軸のジャイロスコープと、３軸の磁気コンパスとを備える９軸モーションセンシングを提供する。モーションセンサ７００が感知したプローブ１０２の変位に関する情報を、位置取得部３０２は取得する。

［第２の実施形態］
第２の実施形態では、プローブ１０２を被検体に押圧する圧力に応じて光音響画像を表示部１０４に表示させる例について説明する。第１の実施形態と異なる部分についてのみ説明することとし、第１の実施形態と共通する部分については上述した説明を援用してここでの説明は省略する。第２の実施形態にかかる制御装置は、制御装置１０１及び操作卓５０１である。

図８は、撮像システム１００の構成の一例を示す図である。撮像システム１００は、操作卓５０１、プローブ１０２、架台５０４、送受信部１０６、圧力センサ８０１を含む。

圧力センサ８０１は、検知部１０３の一例である。圧力センサ８０１は、プローブ１０２の変位の態様に関する情報として、ユーザがプローブ１０２を被検体に押圧する程度を示す情報を取得する。送受信部１０６は、プローブ１０２の内部に半固定のフローティング構造として設けられる。圧力センサ８０１は、送受信部１０６が被検体と接触している面とは反対側に設けられ、送受信部１０６が受ける圧力を計測する。なお、圧力センサ８０１は、プローブ１０２の被検体との接触面に設けられた隔膜型圧力センサでもよい。位置取得部３０２は、圧力センサ８０１により計測された圧力に関する情報を取得する。

図９は、第２の実施形態にかかる制御装置が、ユーザによるプローブ１０２の操作に基づいて表示部１０４に光音響画像を表示させる処理の一例を示すフローチャートである。以下では、ユーザは少なくともプローブ１０２を用いて超音波信号を取得し、超音波画像を表示部１０４に表示させながらプローブ１０２を操作し、さらに光音響画像を表示部１０４に表示させる場合を例に説明する。ステップＳ６００、６０３、６０４、６０５の処理は、図６に基づいて説明した第１の実施形態と同様である。

ステップＳ９００において、判定部３０４はユーザがプローブ１０２を一定の圧力で被検体を押圧しているか否かを判定する。具体的には、位置取得部３０２は圧力センサ８０１から取得した情報を判定部３０４に送信する。判定部３０４は、送受信部１０６が受ける圧力が所定の時間以上、当該圧力が所定の範囲内に含まれている場合に、ユーザがプローブ１０２を一定の圧力で被検体に押圧していると判定する。ユーザがプローブ１０２を一定の圧力で被検体に押圧している場合には、ステップＳ６０４に進む。ユーザがプローブ１０２を一定の圧力で押圧している場合には、被検体の特定の領域を観察していると想定される。これにより、ユーザが被検体の特定の領域を観察したい場合に光音響画像を表示部１０４に表示させることができる。ユーザがプローブ１０２を一定の圧力で押圧していない場合には、ステップＳ６０５に進み、光音響画像は表示されない。

ステップＳ６０４において、画像処理部３０３はたとえば超音波画像に光音響画像を重畳した重畳画像を生成して表示部１０４に表示させる。第２の実施形態においてはさらに、画像処理部３０３は位置取得部３０２から圧力の情報を取得して、当該圧力の情報に基づいて光音響画像を表示部１０４に表示させてもよい。ユーザが、プローブ１０２を一定の圧力で押圧している時間が長いほど、ユーザはそのとき描出されている領域に注目している度合いが高いと想定される。そのため、圧力センサ８０１の圧力値が一定である時間が長いほど、画像処理部３０３は重畳画像における光音響画像の透明度を低く設定する。すなわち表示制御部３０５は、プローブ１０２の変位の程度に応じて、光音響画像を表示部１０４に表示させる態様を異ならせる。これにより、ユーザは注目の度合いに応じて光音響画像を観察することができる。

なお、第２の実施形態においてプローブ１０２が被検体に押圧される圧力に基づいて光音響画像を表示部１０４に表示する例について説明したが、これに限らない。プローブ１０２は磁気センサ５０２やモーションセンサ７００を備えていてもよい。判定部３０４は、プローブ１０２が被検体に押圧される圧力のみならず、プローブ１０２の位置や被検体に対する角度といった情報に基づいて、光音響画像を表示させるか否かを判定してもよい。すなわち表示制御部３０５は、プローブ１０２が被検体に対して所定の速度より低い速度で移動していることを示す情報と、プローブ１０２が被検体に対して一定の圧力で被検体に対して押圧されていることを示す情報とのうち、少なくともいずれかの情報が位置取得部３０２により取得された場合に、光音響画像を表示部１０４に表示させてもよい。

［第３の実施形態］
第３の実施形態では、ユーザが被検体の観察に利用しているプローブ１０２の特性と検査の目的とに応じて光音響画像を表示部１０４に表示させる例について説明する。第１の実施形態と異なる部分についてのみ説明することとし、第１の実施形態と共通する部分については上述した説明を援用してここでの説明は省略する。第３の実施形態にかかる制御装置は、制御装置１０１及び操作卓５０１である。

図１０は、第３の実施形態にかかる制御装置が、プローブ１０２の特性と検査の目的とに応じて光音響画像を表示させる処理の一例を示すフローチャートである。以下では、ユーザは少なくともプローブ１０２を用いて超音波信号を取得し、超音波画像を表示部１０４に表示させながらプローブ１０２を操作し、さらに光音響画像を表示部１０４に表示させる場合を例に説明する。操作卓５０１には複数のプローブが接続されている場合があり、ユーザは被検体を観察する領域といった、検査の目的に応じて利用するプローブを選択する。ステップＳ６０４、６０５の処理は、図６に基づいて説明した第１の実施形態と同様である。

ステップＳ１０００において、判定部３０４は光音響画像で超音波画像を補完できるか否かを判定する。具体的には、検査制御部３００は超音波画像及び光音響画像の撮像条件を取得し、判定部３０４に送信する。位置取得部３０２は、ユーザが観察に利用しているプローブ１０２の情報を取得し、判定部３０４に送信する。プローブ１０２の情報には、プローブ１０２のトランスデューサ（不図示）の配列や、当該プローブを操作卓５０１に接続した際の初期設定や、スキャン方式の情報や、照射部１０７の有無を示す情報が含まれる。光音響画像で超音波画像を補完できると判定部３０４により判定されると、ステップＳ６０４に進む。光音響画像で超音波画像を補完できないと判定部３０４により判定されると、ステップＳ６０５に進む。

トランスデューサの配列やスキャン方式、信号取得に関する設定といった撮像条件に応じて、取得される超音波画像の特徴が異なる。たとえば、コンベックス電子スキャン方式は、被検体の深部で広視野の超音波画像が得られ、主に腹部領域の観察に用いられる。セクタ電子スキャン方式は、狭い接触部から広視野の超音波画像が得られ、主に循環器領域の観察に用いられる。また、高い周波数の超音波を用いて超音波信号を取得すると、分解能の細かい超音波画像が得られるが、超音波信号の透過力が弱いため、超音波画像に描出される被検体の領域は浅くなる。このように、撮像条件に応じて描出される超音波画像の特徴が異なるため、判定部３０４は当該特徴に応じて光音響画像を表示部１０４に表示させるか否かを判定する。たとえば、光音響画像に描出される被検体の深度が、超音波画像に描出される被検体の深度よりも大きい場合には、判定部３０４は光音響画像で超音波画像を補完できると判定する。

あるいは、被検体の深度を優先して中程度の周波数の超音波を用いて超音波信号を取得する場合、描出される超音波画像の分解能が詳細な観察のためには不十分となる可能性が想定される。よって、分解能の不足を補完するために光音響画像を併せて観察することが有効であると想定される。たとえば、判定部３０４は光音響画像の分解能が超音波画像の分解能よりも高い場合には、光音響画像で超音波画像を補完できると判定する。

プローブ１０２が照射部１０７を有さない、超音波信号の取得のみに対応したものである場合には、光音響信号を取得できない。したがって判定部３０４は、光音響画像で超音波画像を補完できないと判定する。

すなわち判定部３０４は、観察に利用されるプローブ１０２の特性に基づいて光音響画像を表示部１０４に表示させるか否かを判定する。描出される超音波画像の特徴も、光音響画像の特徴も、プローブ１０２の特性に依存する。したがって判定部３０４は、超音波画像や光音響画像の特徴に関わる、撮像条件やプローブ１０２の構成といったプローブ１０２の特性に基づいて、当該判定を行う。また、プローブ１０２の特性に関する情報を取得する位置取得部３０２は、プローブ１０２により取得される超音波信号に基づいて描出される超音波画像の特徴に関する情報を取得する第３の取得手段の一例である。

上述の例では、画像に描出される被検体の深度や分解能に応じて光音響画像で超音波画像を補完する例について説明した。光音響画像で超音波画像を補完させるか否かの判定の基準を、深度や分解能といったパラメータを指定することにより、ユーザが適宜設定できるようにしてもよい。

上述の例では、表示部１０４に光音響画像を表示させるか否かを判定する例について説明したが、これに限らない。表示部１０４に表示される被検体の領域の一部にのみ光音響画像を重畳させた重畳画像を表示させてもよい。これにより、超音波画像が詳細に被検体の構造を描出している領域においては光音響画像を重畳させないので、超音波画像の観察を妨げない。超音波画像が詳細に被検体の構造を描出していない領域については光音響画像を重畳させることにより、ユーザが当該領域を観察するのを補助することができる。上述した深度や分解能の程度に応じて、重畳させる光音響画像の透明度を異ならせてもよい。

上述の例では、超音波画像のパラメータに基づいて、光音響画像を表示させるか否かを判定する例について説明した。操作卓５０１に接続される複数のプローブのそれぞれに対して、光音響画像を表示させるか否かを予め設定しておいてもよい。

第３の実施形態にかかるプローブ１０２は、磁気センサ５０２やモーションセンサ７００を備えていてもよい。判定部３０４は、超音波画像のパラメータのみならず、プローブ１０２が被検体に押圧される圧力や、プローブ１０２の位置や被検体に対する角度といった情報に基づいて、光音響画像を表示させるか否かを判定してもよい。

また、オーダリングシステム１１２から取得した検査オーダに適さないプローブ１０２が使用されている場合に、ユーザに使用中のプローブが不適切である旨を報知してもよい。たとえば、不適切である旨を示すメッセージや画像を表示部１０４に表示させることにより報知する。あるいは、光音響信号の取得を無効化し、無効化されていることをユーザに報知してもよい。不適切な場合とは、たとえば検査オーダで光音響画像の取得が要求されているにも関わらず、光音響信号を取得するための照射部１０７を有さないプローブを使用していう場合である。

［第４の実施形態］
第１の実施形態乃至第３の実施形態においては、画像処理部３０３により生成された光音響画像を表示部１０４に表示させる例を説明したが、本発明はこれに限らない。たとえば上述したように、判定部３０４により表示部１０４に表示させると判定された場合に、検査制御部３００が照射部１０７を制御して光音響信号を取得させてもよい。そして、当該判定に応じて取得された光音響信号に基づいて再構成された光音響画像を、表示部１０４に表示させてもよい。

図１１は判定部３０４の判定に基づいて照射部１０７が制御され、光音響画像が取得され、表示部１０４に表示されるまでの処理の一例を示すフローチャートである。

ステップＳ１１００において、判定部３０４は光音響画像を表示部１０４に表示させるか否かを判定する。ステップＳ１１００は、たとえば第１の実施形態におけるステップＳ６００乃至ステップＳ６０３の処理、第２の実施形態におけるステップＳ６００、６０３、９００の処理、第３の実施形態におけるステップＳ１０００に対応する。表示させると判定された場合にはステップＳ１１０１に進み、表示させないと判定された場合にはステップＳ１１０２に進む。

ステップＳ１１０１において、検査制御部３００は照射部１０７を制御して被検体に光を照射させる。信号取得部３０１はプローブ１０２から光音響信号を取得する。画像処理部３０３は光音響信号から光音響画像を再構成する。表示制御部３０５は光音響画像を表示部１０４に表示させる。ステップＳ１１０１は、たとえば第１の実施形態乃至第３の実施形態におけるステップＳ６０４に対応する。

ステップＳ１１０２において、位置取得部３０２はプローブ１０２の状態に関する情報を取得する。光音響信号を取得中であることを示す情報が取得された場合にはステップＳ１１０３に進む。光音響信号を取得中ではないことを示す情報が取得された場合にはステップＳ１１０４に進む。

ステップＳ１１０３において、検査制御部３００は照射部１０７を制御して、被検体への光照射を停止させる。ステップＳ１１０２及びステップＳ１１０３の処理は、たとえば第１の実施形態乃至第３の実施形態におけるステップＳ６０５に対応する。

ステップＳ１１０４において、検査制御部３００は超音波画像ならびに光音響画像を撮像するための検査を終了するか否かを判定する。たとえば、ユーザは操作卓５０１への操作入力より、検査終了を指示することができる。あるいは、検査制御部３００は位置取得部３０２からプローブ１０２の位置情報を取得し、たとえば一定の時間以上、プローブ１０２が被検体と接触していない状態が継続している場合に、検査を終了すると判定してもよい。当該位置情報に基づいて検査を終了すると判定した場合には、表示制御部３０５を介して表示部１０４に、検査を終了するか否かをユーザに確認させるための画面を表示させることが好ましい。検査を終了する指示がない場合にはステップＳ１１００に戻り、検査を終了する指示がある場合には図１１に示す処理を終了する。

これにより、光音響画像を表示させる必要がある場合に被検体に光を照射するように制御することができ、ユーザや被検体の安全性を向上することができる。

なお、照射部１０７はたとえば信号取得部３０１により制御される。信号取得部３０１は呼吸や拍動による体動の影響が小さいとみなせる期間に光照射を行い、光音響信号を取得するように照射部１０７の各構成を制御することが好ましい。たとえば、信号取得部３０１は、ステップＳ１１００で光音響画像を表示すると判定されてから２５０ｍｓ以内に光照射を行うように照射部１０７を制御してもよい。また、当該判定から光照射までの時間は、所定の値でもよいし、ユーザが操作部１０５を介して指定してもよい。

［変形例１］
第１の実施形態乃至第４の実施形態において、判定部３０４が、表示部１０４に光音響画像を表示させるか否かを判定する例を説明した。判定部３０４の判定に基づいて光音響画像を表示部１０４に表示させるための処理は、上述した例に限られない。制御装置１０１は、超音波信号と光音響信号とを継続的に取得し、光音響画像を表示させると判定されたときに光音響画像を生成してもよい。また、制御装置１０１は、光音響画像を表示させると判定されたときに光音響信号を取得してもよい。また、光音響画像を表示部１０４に表示させる態様は、上述した例に限られない。超音波画像を表示部１０４に表示させている場合に、光音響画像の表示に切り替えてもよいし、超音波画像と光音響画像とを並列して表示させてもよいし、超音波画像に対して光音響画像を重畳させた重畳画像を表示させてもよい。

第１の実施形態乃至第４の実施形態において、判定部３０４がプローブ１０２の変位に関する情報、すなわちユーザがプローブ１０２をどのように操作したかを示す情報に基づいて判定を行う例を説明した。判定部３０４の判定はこれに限らない。たとえば、制御装置１０１に集音マイクを備え、ユーザの音声による指示を受け付けてもよい。ユーザの音声による指示を判別するために、制御装置１０１は音声認識プログラムを記憶し、実行してもよい。

第１の実施形態乃至第４の実施形態に加えて、さらにプローブ１０２のパラメータ調整を行った場合に一定時間が経過しているか否かに基づいて、光音響画像を表示するか否かが判定されるようにしてもよい。ユーザは、操作卓５０１やプローブ１０２に対する操作入力により、プローブ１０２の感度やフォーカス、深度といったパラメータを調整する場合が想定される。このとき、判定部３０４は当該パラメータの調整後一定時間が経過するまでは光音響画像を表示部１０４に表示させないように判定する。これにより、ユーザが変更後のパラメータで観察を継続しようとしている場合には光音響画像を表示させ、さらにパラメータを変更する可能性がある場合には光音響画像を表示させないようにすることができる。ユーザは超音波画像を観察しながら容易にパラメータを調整することができ、ワークフローを向上することができる。

また、第１の実施形態乃至第４の実施形態において、プローブ１０２で光照射が行われていることをユーザに報知するようにしてもよい。たとえば、プローブ１０２で光照射が行われていることを報知する報知画像を表示部１０４に表示する。表示部１０４に当該報知画像を表示させる場合には、ユーザが観察している被検体の画像の近傍に表示させることが好ましい。別の例では、プローブ１０２に光の照射中に点灯するＬＥＤライトを備えてもよい。さらに別の例では、光の照射中に制御装置１０１は報知音を発生させてもよい。この観点では、ガイド画像を表示部１０４に表示させる表示制御部３０５や、プローブ１０２に供えられたＬＥＤライトや、報知音を発生させる音発生部は、光音響信号を取得するために光照射を行っていることを報知する報知手段の一例である。これにより、たとえば光音響信号を取得するようにプローブ１０２を制御してから、表示部１０４に光音響画像が表示されるまでに間隔がある場合でも、ユーザはプローブ１０２から光を照射中であることを知ることができ、ユーザ及び被検体の安全性を向上することができる。

［変形例２］
上記の実施形態においては、超音波画像に対して光音響画像が重畳される例について説明した。本変形例では、超音波画像に重畳された光音響画像を非表示とする方法について説明する。

図１２は、超音波画像に重畳された光音響画像の重畳表示を中止させる処理の一例を示すフローチャートである。まず、図１２（ａ）を参照しながら、超音波画像に重畳された光音響画像を非表示とする方法の一例について説明する。

ステップ１２００ は、光音響画像が超音波画像上に表示された後に実行される処理である。すなわち、本実施例は上述の任意の実施例と組み合わせることが可能である。

ステップ１２００において、判定部３０４はプローブ１０２の移動速度が所定値より大きいかを判定する。具体的には、まず位置取得部３０２は、磁気センサ５０２からプローブ１０２の位置を示す情報を取得し、当該位置の経時的な変化に基づいてプローブ１０２の移動の速度を示す情報を取得する。位置取得部３０２は、プローブ１０２の移動の速度を示す情報を判定部３０４に送信する。

判定部３０４は、位置取得部３０２から送信されたプローブ１０２の移動の速度を示す情報を取得し、取得したプローブ１０２の移動の速度を示す情報に基づいて、プローブ１０２の移動速度が所定値より大きいか否かを判定する。ここで、所定値とは、例えば、ステップ６０１で用いられた所定値と同様の値である。判定部３０４により、プローブ１０２の移動速度が所定値より大きいと判定された場合、処理はステップ１２０１へ進む。また、判定部３０４によりプローブ１０２の移動速度が所定値以下と判定された場合、処理は再びステップ１２００に戻る。

なお、判定部３０４は、プローブ１０２の移動速度が所定値より大きい時間が所定期間継続した場合に、プローブ１０２の移動速度が所定値より大きいと判定することとしてもよい。

ステップ１２０１では、表示制御部３０５は、表示部１０４に表示された重畳画像に替えて、光音響画像が重畳されていない超音波画像を表示部１０４に表示させる。すなわち、表示制御部３０５は、光音響画像が重畳されていない超音波画像をリアルタイムに表示部１０４に表示させる。

図１２（ａ）に示す処理の一例によれば、光音響画像が重畳表示されていない超音波画像を詳細に観察したい場合に、ユーザはプローブ１０２に対する簡易な操作で所望の超音波画像を表示部に表示させることが可能となる。

なお、上記の例ではプローブ１０２の移動速度を用いて光音響画像の重畳表示を中止させることとしたが、表示制御部３０５は、他の情報を用いて光音響画像の重畳表示を中止させることとしてもよい。例えば、プローブ１０２の移動速度に替えてプローブ１０２の回転速度を用いることとしてもよい。例えば、プロープ１０２の回転速度が所定値より大きい場合に、表示制御部３０５は光音響画像の重畳表示を中止させることとしてもよい。なお、プローブ１０２の回転速度と比較される所定値は例えばステップ６０２で用いられた所定値と同様の値である。

また、表示制御部３０５は、プローブ１０２の移動速度およびプローブ１０２の回転速度がそれぞれと比較される所定値より大きい場合に、光音響画像の重畳表示を中止させることとしてもよい。

さらに、プローブ１０２の移動速度に替えて、プローブ１０２の加速度を用いることとしてもよい。例えば、プロープ１０２の加速度が所定値より大きい場合に、表示制御部３０５は光音響画像の重畳表示を中止させることとしてもよい。

また、図１２（ｂ）を参照しながら、超音波画像に重畳された光音響画像の表示・非表を切り替える方法の一例について説明する。

ステップ１２１０ は、光音響画像が超音波画像上に表示された後に実行される処理である。すなわち、本実施例は上述の任意の実施例と組み合わせることが可能である。

ステップ１２１０において、判定部３０４はプローブ１０２の移動速度が所定範囲内か否かを判定する。判定部３０４は、位置取得部３０２から送信されたプローブ１０２の移動の速度を示す情報を取得し、取得したプローブ１０２の移動の速度を示す情報に基づいて、プローブ１０２の移動速度が所定範囲内か否かを判定する。ここで、所定範囲とは、例えば、ステップ６０１で用いられた所定値より大きく他の所定値より小さい範囲である。判定部３０４により、プローブ１０２の移動速度が所定範囲内であると判定された場合、処理はステップ１２１１へ進む。また、判定部３０４により、プローブ１０２の移動速度が所定範囲外と判定された場合、処理はステップ１２１２に進む。

なお、判定部３０４は、プローブ１０２の移動速度が所定範囲内となる時間が所定期間継続した場合に、プローブ１０２の移動速度が所定値より大きいと判定することとしてもよい。

ステップ１２１１では、表示制御部３０５が光音響画像の重畳状態を変更する。例えば、
ステップ１２１１以前に超音波画像に光音響画像が重畳されていた場合、表示制御部３０５はステップ１２１１において表示部１０４に表示された重畳画像に替えて、光音響画像が重畳されていない超音波画像を表示部１０４に表示させる。また、ステップ１２１１以前に超音波画像に光音響画像が重畳されていない場合、表示制御部３０５はステップ１２１１において表示部１０４に表示された超音波画像に替えて、光音響画像が重畳された超音波画像を表示部１０４に表示させる。すなわち、ステップ１２１１において、光音響画像の重畳状態の切り替えが実行される。なお、重畳状態が頻繁に変更されないように、判定部３０４は、ステップ１２１１にて重畳状態が変更された後、所定期間内はステップ１２１０の判定を実行しないこととしてもよい。後述する他の例についても同様である。

また、ステップ１２１２では、判定部３０４はプローブ１０２の移動速度が所定範囲の上限である他の所定値（閾値）以上であるか否かを判定する。判定部３０４によりプローブ１０２の移動速度が閾値以上と判定された場合には、処理はステップ１２１３へ進む。判定部３０４によりプローブ１０２の移動速度が閾値より小さい場合（すなわち、ステップ６０１で用いられた所定値以下）の場合、再びステップ１２１０へ戻る。すなわち、図１２（ｂ）に示す処理の一例によれば光音響画像の重畳状態が一度変更されるとプローブが止まっていたとしても、表示状態は維持されることとなる。

ステップ１２１３では、表示制御部３０５は、表示部１０４に表示された重畳画像に替えて、光音響画像が重畳されていない超音波画像を表示部１０４に表示させる。すなわち、表示制御部３０５は、光音響画像が重畳されていない超音波画像をリアルタイムに表示部１０４に表示させる。なお、ステップ１２１３以前に超音波画像に光音響画像が重畳表示されていない場合、表示制御部３０５は、継続して光音響画像が重畳されていない超音波画像を表示部１０４に表示させる。

図１２（ｂ）に示す処理の一例によれば、超音波画像へ光音響画像を重畳させるか否かをプローブ１０２に対する簡易な操作で切り換えることが可能となる。従って、ユーザはプローブ１０２に対する簡易な操作で光音響画像が重畳表示されていない超音波画像を詳細に観察することが可能となる。さらに、ユーザは、プローブ１０２に対する簡易な操作で超音波画像に再度光音響画像を重畳させることが可能となる。

なお、上記の例ではプローブ１０２の移動速度を用いて光音響画像の重畳状態を変更さすることとしたが、表示制御部３０５は、他の情報を用いて光音響画像の重畳状態を変更することとしてもよい。例えば、プローブ１０２の移動速度に替えてプローブ１０２の回転速度を用いることとしてもよい。例えば、プロープ１０２の回転速度が所定範囲内の場合に、表示制御部３０５は光音響画像の重畳状態を変更することとしてもよい。

また、表示制御部３０５は、プローブ１０２の移動速度およびプローブ１０２の回転速度がそれぞれと比較される所定範囲内の場合に、光音響画像の重畳状態を変更することとしてもよい。

さらに、プローブ１０２の移動速度に替えて、プローブ１０２の加速度を用いることとしてもよい。例えば、プロープ１０２の加速度が所定範囲内の場合に、表示制御部３０５は光音響画像の重畳状態を変更することとしてもよい。

また、第１の実施形態では、表示制御部３０５は、プローブ１０２の移動速度に応じて光音響画像を超音波画像に重畳表示することとしていたが、プローブ１０２が被検体に押圧されている圧力を更に用いることとしてもよい。例えば、プローブ１０２の移動速度が所定値以下であり且つプローブ１０２が被検体に押圧されている圧力が所定値以上の場合に表示制御部３０５は表示部１０４に光音響画像を超音波画像に重畳して表示させることとしてもよい。そして、光音響画像が超音波画像に重畳して表示部１０４に表示されている状態で、プローブ１０２の移動速度が所定値より大きく且つプローブ１０２が被検体に押圧されている圧力が所定値以上の場合、表示制御部３０５が光音響画像の重畳状態を変更する。すなわち、事前に超音波画像に光音響画像が重畳されていた場合、表示制御部３０５は表示部１０４に表示された重畳画像に替えて、光音響画像が重畳されていない超音波画像を表示部１０４に表示させる。また、事前に超音波画像に光音響画像が重畳されていない場合、表示制御部３０５は表示部１０４に表示された超音波画像に替えて、光音響画像が重畳された超音波画像を表示部１０４に表示させる。

なお、プローブ１０２が被検体に押圧されている圧力が所定値未満の場合には、表示制御部３０５は、表示部１０４に光音響画像が重畳されていない超音波画像を表示部１０４に表示させる。

上記の処理によっても、超音波画像へ光音響画像を重畳させるか否かをプローブ１０２に対する簡易な操作で切り換えることが可能となる。従って、ユーザはプローブ１０２に対する簡易な操作で光音響画像が重畳表示されていない超音波画像を詳細に観察することが可能となる。さらに、ユーザは、プローブ１０２に対する簡易な操作で超音波画像に再度光音響画像を重畳させることが可能となる。

また、第１の実施形態では、プローブ１０２の移動速度が所定値以下となった場合に表示制御部３０５が超音波画像に重畳された光音響画像を表示部１０４に表示させている。この場合、表示制御部３０５は、ジャイロセンサにより検出されたプローブ１０２の角度を示す情報に基づいて光音響画像の重畳状態変更することとしてもよい。例えば、表示制御部３０５は、プローブ１０２の移動速度が所定値以下であり且つ所定期間におけるプローブ１０２の角度変化が所定値以上である場合には、光音響画像の重畳状態を変更する。すなわち、例えば、ユーザがプローブ１０２の先端の位置を変えずに角度のみを変更しようとする場合に、表示制御部３０５は光音響画像の重畳状態を変更する。従って、事前に超音波画像に光音響画像が重畳されていた場合、表示制御部３０５は表示部１０４に表示された重畳画像に替えて、光音響画像が重畳されていない超音波画像を表示部１０４に表示させる。また、事前に超音波画像に光音響画像が重畳されていない場合、表示制御部３０５は表示部１０４に表示された超音波画像に替えて、光音響画像が重畳された超音波画像を表示部１０４に表示させる。

なお、表示制御部３０５は、プローブ１０２の移動速度が所定値より大きくなると光音響画像が重畳されていない超音波画像を表示部１０４に表示させる。

上記の処理によっても、超音波画像へ光音響画像を重畳させるか否かをプローブ１０２に対する簡易な操作で切り換えることが可能となる。従って、ユーザはプローブ１０２に対する簡易な操作で光音響画像が重畳表示されていない超音波画像を詳細に観察することが可能となる。さらに、ユーザは、プローブ１０２に対する簡易な操作で超音波画像に再度光音響画像を重畳させることが可能となる。

なお、上記の例ではプローブ１０２の移動速度が所定範囲内の場合にステップ１２１１において表示制御部３０５が重畳状態を変更することとしたが、本発明はこれに限定されるものではない。例えば、プローブ１０２の移動速度が所定範囲内となり表示制御部３０５が超音波画像に光音響画像を重畳させないように表示部１０４を制御した後に、再びプローブ１０２の移動速度が所定範囲内となった場合でも表示制御部３０５は超音波画像に光音響画像を重畳しないこととしてもよい。なお、再び光音響画像が重畳された超音波画像を表示部１０４に表示させるためには、例えば以下のようにプローブ１０２を移動させればよい。移動速度が所定範囲の上限を超えるようにプローブ１０２を移動させ、その後にステップ６０１で用いられた所定値以下となるようにプローブ１０２を移動させる。すなわち、判定部３０４によってプローブ１０２の移動速度が所定範囲の上限を超えた後にステップ６０１で用いられた所定値以下となったと判定された場合、表示制御部３０５は、光音響画像が重畳された超音波画像を表示部１０４に表示させる。従って、光音響画像が重畳された超音波画像から光音響画像が重畳されてない超音波画像に切り替えた場合にはプローブ１０２を停止又は微動させた場合でも、光音響画像が重畳されてない超音波画像を表示させたままにすることが可能となる。

すなわち、上記の形態によれば、一度超音波画像に光音響画像を重畳させないように変更された後は、超音波画像に光音響画像を簡単には重畳させないようになっているため、ユーザはプロープ１０２の操作に気を取られ難くなるため超音波画像の観察に集中することが可能となる。

また、プローブ１０２の移動速度が所定値より大きく且つプローブ１０２が被検体に押圧されている圧力が所定値以上の場合、表示制御部３０５が光音響画像の重畳状態を変更することとしたが、本発明はこれに限定されるものではない。例えば、プローブ１０２の移動速度が所定値より大きく且つプローブ１０２が被検体に押圧されている圧力が所定値以上となり表示制御部３０５が超音波画像に光音響画像を重畳させないように表示部１０４を制御した後に、再びプローブ１０２の移動速度が所定値より大きく且つプローブ１０２が被検体に押圧されている圧力が所定値以上となった場合でも表示制御部３０５は超音波画像に光音響画像を重畳しないこととしてもよい。なお、再び光音響画像が重畳された超音波画像を表示部１０４に表示させるためには、例えば以下のようにプローブ１０２を操作すればよい。プローブ１０２が被検体に押圧されている圧力を所定値未満とした後に、プローブ１０２の移動速度が所定値以下であり且つプローブ１０２が被検体に押圧されている圧力が所定値以上となるようにする。この場合に表示制御部３０５は表示部１０４に光音響画像を超音波画像に再度重畳して表示させる。

上記の形態によれば、一度超音波画像に光音響画像を重畳させないように変更された後は、超音波画像に光音響画像を簡単には重畳させないようになっているため、ユーザはプロープ１０２の操作に気を取られ難くなるため超音波画像の観察に集中することが可能となる。

さらに、プローブ１０２の移動速度が所定値以下であり且つ所定期間におけるプローブ１０２の角度変化が所定値以上である場合には、光音響画像の重畳状態を変更することとしたが、本発明はこれに限定されるものではない。例えば、プローブ１０２の移動速度が所定値以下であり且つ所定期間におけるプローブ１０２の角度変化が所定値以上となり表示制御部３０５が超音波画像に光音響画像を重畳させないように表示部１０４を制御した後に、再びプローブ１０２の移動速度が所定値以下であり且つ所定期間におけるプローブ１０２の角度変化が所定値以上となった場合でも表示制御部３０５は超音波画像に光音響画像を重畳しないこととしてもよい。なお、再び光音響画像が重畳された超音波画像を表示部１０４に表示させるためには、例えば以下のようにプローブ１０２を操作すればよい。例えば、プローブ１０２の移動速度を所定値より大きくした後にプローブ１０２の移動速度を所定値以下にする。すなわち、判定部３０４によってプローブ１０２の移動速度が移動速度を所定値より大きくなった後にプローブ１０２の移動速度が所定値以下となったと判定された場合、表示制御部３０５は、光音響画像が重畳された超音波画像を表示部１０４に表示させる。従って、プロープ１０２を移動させずに或いは微動させた状態でプローブ１０２の角度を変更した場合でも、光音響画像が重畳されてない超音波画像を表示させたままにすることが可能となる。

上記の形態によれば、一度超音波画像に光音響画像を重畳させないように変更された後は、超音波画像に光音響画像を簡単には重畳させないようになっているため、ユーザはプロープ１０２の操作に気を取られ難くなるため超音波画像の観察に集中することが可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における制御装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。制御装置および制御システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (25)

1. 被検体に対する超音波の送受信により超音波信号を出力し、被検体への光照射により発生する光音響波を受信することにより光音響信号を出力するプローブから、前記超音波信号と前記光音響信号とを取得する第１の取得手段と、
   前記プローブの変位に関する情報を取得する第２の取得手段と、
   前記変位に関する情報に基づいて、前記光音響信号を用いて生成される光音響画像を表示部に表示させる表示制御手段と、
   を有することを特徴とする制御装置。
2. 前記表示制御手段は、前記超音波信号を用いて生成される超音波画像を前記表示部に表示している場合に、前記変位に関する情報に基づいて、前記光音響画像を前記表示部に表示させることを特徴とする請求項１に記載の制御装置。
3. 前記第２の取得手段は、前記変位に関する情報として、前記プローブの被検体に対する位置と姿勢の情報と、前記被検体に対する移動の速度に関する情報と、前記プローブの回転の速度に関する情報と、前記被検体に対する移動の加速度に関する情報と、前記被検体に対する押圧の程度を示す情報とのうち、少なくともいずれかの情報を取得することを特徴とする請求項１又は請求項２のいずれか一項に記載の制御装置。
4. 前記表示制御手段は、前記プローブが前記被検体に対して所定の速度より低い速度で移動していることを示す情報と、前記プローブが前記被検体に対して一定の圧力で前記被検体に対して押圧されていることを示す情報とのうち、少なくともいずれかの情報が取得された場合に、前記光音響画像を前記表示部に表示させることを特徴とする請求項１乃至請求項３のいずれか一項に記載の制御装置。
5. 前記表示制御手段は、前記変位の程度に応じて前記光音響画像を前記表示部に表示させる態様を異ならせることを特徴とする請求項１乃至請求項４のいずれか一項に記載の制御装置。
6. 前記表示制御手段は、前記被検体に対する移動の速度が大きいほど、前記光音響画像の透明度を大きくして前記表示部に表示させることを特徴とする請求項５に記載の制御装置。
7. 前記プローブの前記変位に関する情報に基づいて、前記光音響画像を前記表示部に表示させるか否かを判定する判定手段をさらに有し、
   前記表示制御手段は、前記判定手段により前記光音響画像を前記表示部に表示させると判定された結果に基づいて、前記光音響画像を表示部に表示させることを特徴とする請求項１乃至請求項６のいずれか一項に記載の制御装置。
8. 前記判定手段は、前記プローブが前記被検体に対して所定の速度より低い速度で移動していることを示す情報と、前記プローブが前記被検体に対して所定の圧力より高い圧力で前記被検体に対して押圧されていることを示す情報とのうち、少なくともいずれかの情報が前記取得手段により取得された場合に、前記光音響画像を前記表示部に表示させると判定することを特徴とする請求項７に記載の制御装置。
9. 前記判定手段により、前記光音響画像を前記表示部に表示させると判定された場合に、前記被検体への光照射を行うように照射部を制御する照射制御手段をさらに有することを特徴とする請求項７又は請求項８のいずれか一項に記載の制御装置。
10. 前記第１の取得手段により取得された前記超音波信号に基づいて超音波画像を生成し、前記光音響信号に基づいて光音響画像を生成する生成手段をさらに有することを特徴とする請求項１乃至請求項９のいずれか一項に記載の制御装置。
11. 前記生成手段により生成された前記超音波画像と前記光音響画像とを関連付けて外部装置に出力する出力手段をさらに有することを特徴とする請求項１０に記載の制御装置。
12. 前記出力手段は、前記超音波画像と前記光音響画像とを互いに関連付ける情報を、それぞれの画像に付帯させて出力することを特徴とする請求項１１に記載の制御装置。
13. 前記生成手段により生成された前記超音波画像に対して、前記光音響画像が重畳された重畳画像を外部装置に出力する出力手段をさらに有することを特徴とする請求項１０に記載の制御装置。
14. 前記出力手段は、前記超音波画像を生成するための前記超音波信号を取得した前記プローブの位置を示す情報を前記超音波画像に付帯させることを特徴とする請求項１１乃至請求項１３のいずれか一項に記載の制御装置。
15. 前記出力手段は、前記光音響画像を生成するための前記光音響信号を取得した前記プローブの位置を示す情報を前記光音響画像に付帯させることを特徴とする請求項１１乃至請求項１４のいずれか一項に記載の制御装置。
16. 前記プローブを特定の位置に誘導するためのガイド情報を生成するガイド手段をさらに有することを特徴とする請求項１乃至請求項１５のいずれか一項に記載の制御装置。
17. 前記プローブが前記光音響信号を取得するために前記光照射を行っていることを報知する報知手段をさらに有することを特徴とする請求項１乃至請求項１６のいずれか一項に記載の制御装置。
18. 前記表示制御手段は、前記超音波信号から生成される超音波画像を前記表示部に表示させ、前記プローブの前記変位に関する情報に基づいて、前記光音響画像を前記超音波画像に重畳して表示させることを特徴とする請求項１乃至請求項１７のいずれか一項に記載の制御装置。
19. 前記第２の取得手段は、磁場での前記プローブの変位に関する情報を、前記プローブに供えられた磁気センサから取得された情報に基づいて取得することを特徴とする請求項１乃至請求項１８のいずれか一項に記載の制御装置。
20. 前記第２の取得手段は、前記プローブに供えられた圧力センサから取得された情報に基づいて、前記プローブの変位に関する情報を取得することを特徴とする請求項１乃至請求項１９のいずれか一項に記載の制御装置。
21. 前記プローブの変位に関する情報は、ユーザが前記プローブを操作する態様に対応することを特徴とする請求項１乃至請求項２０のいずれか一項に記載の制御装置。
22. 被検体に対する超音波の送受信により超音波信号を出力し、被検体への光照射により発生する光音響波を受信することにより光音響信号を出力するプローブから、前記超音波信号と前記光音響信号とのうち少なくともいずれかを取得する第１の取得手段と、
    前記超音波信号に基づいて取得される超音波画像の特徴に関する情報を取得する第３の取得手段と、
    前記取得された前記超音波画像の特徴に関する情報に基づいて、前記光音響信号から生成される光音響画像を表示部に表示させる表示制御手段と、
    を有することを特徴とする制御装置。
23. 前記超音波画像の特徴は、前記プローブの特性と前記超音波信号を取得するための撮像条件により定まることを特徴とする請求項２２に記載の制御装置。
24. 被検体に光を照射するための光源と、
    超音波を送受信するためのトランスデューサと、
    前記トランスデューサにより送信された超音波の反射波を超音波信号として取得し、前記光源から被検体に照射された光により発生する光音響波を光音響信号として取得する第１の取得手段と、
    前記トランスデューサを備えるプローブの変位に関する情報を取得する第２の取得手段と、
    前記変位に関する情報に基づいて、前記光音響信号から生成される光音響画像を表示部に表示させる表示制御手段と、
    を有することを特徴とする撮像システム。
25. 被検体に対する超音波の送受信により超音波信号を出力するプローブから、前記超音波信号を取得する第１の工程と、
    前記プローブの変位に関する情報を取得する第２の工程と、
    前記プローブの変位に関する情報に基づいて、被検体への光照射により発生する光音響波を受信することにより光音響信号を出力する前記プローブから、前記光音響信号を取得する第３の工程と、
    前記光音響信号から生成される光音響画像を表示部に表示させる第３の工程と、
    を有することを特徴とする制御方法。

Images