JP2017209405A - 医用画像表示装置及び医用画像表示方法 - Google Patents

Abstract

【課題】 被検体内に挿入された回転式探触子の回転角を認識し、超音波画像に描画された方向がどの方向を向いているか明確となるように超音波画像を表示することが可能な医用画像表示装置及び医用画像表示方法を提供する。【解決手段】 医用画像表示装置３０は回転式探触子２０１を用いて得られた超音波画像５０及び超音波画像５０の撮像中に得られたＸ線透視像６０を取得する。医用画像表示装置３０はＸ線透視像６０に現れる回転式探触子２０１の回転角毎の特徴部画像をデータベース３０２に保持している。超音波画像５０の更新タイミングにおいて取得したＸ線透視像６０に現れる特徴部の形状とデータベース３０２に記憶された特徴部画像とを照合することにより回転式探触子２０１の回転角を検出し、超音波画像の描画方向を推定し、推定した方向に基づき表示方向を補正した状態で超音波画像５０を表示する。【選択図】図１

Description

本発明は、医用画像表示装置及び医用画像表示方法に係り、詳細には、体内に挿入された回転式探触子の向きを求め、超音波画像の方向が明確となるように表示する技術に関する。

断層画像において、すりガラス状陰影（Ground Glass Opacity）を呈すような内部の細胞密度が小さい腫瘍は、透視画像上で視認することができないことがある。そのため、例えば肺の末梢腫瘍の細胞を採取する気管支内視鏡を用いた生体検査等においては、先端径が２ｍｍ程度の細い回転式探触子を気管支内に挿入し、３６０度方向の超音波画像を取得する。このようにして、内視鏡が入り込めないような細部の病変をモニタリングしながら患部の組織を採取するといった手法がとられている。

上述の回転式探触子は、先端部に設けられた振動子を一定周期で回転させることにより放射状に超音波を送受信し、被検体内の画像を描出するものである。また、描出される超音波画像は素子（振動子）の回転の基準位置（基準回転角）を上にして表示されることが一般的である。

しかし、回転式探触子の先端部は超音波診断装置本体とケーブルを介して接続されており、ケーブルの回転やねじれ等により先端部の方向が不明となることがある。そして超音波画像の描出範囲は狭く臓器の位置関係を描出できないため、被検体内で回転式探触子がどの方向に向いているかを操作者が把握することは困難であった。これに対し、例えば特許文献１には、複数の透視画像の特徴からカテーテルの回転角度を検出する技術が開示されている。具体的には、鉤型に湾曲した先端のカテーテルを対象とし、カテーテルを回転させる動作時に撮影したＸ線透視像や手元の回転操作量等に基づいて画像処理によりカテーテルの先端の回転角度を検出する。

国際公開２０１４／０２４４２２号公報

しかしながら、特許文献１の方法は鉤型のカテーテルを対象とするものであり、回転式探触子の回転角や超音波画像の方向の認識には適用できないものであった。

本発明は、以上の問題点に鑑みてなされたものであり、被検体内に挿入された回転式探触子の回転角を認識し、超音波画像に描画された方向がどの方向を向いているか明確となるように超音波画像を表示することが可能な医用画像表示装置及び医用画像表示方法を提供することを目的とする。

前述した目的を達成するための第１の発明は、スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得する画像取得部と、前記Ｘ線透視像に現れる前記回転式探触子の回転角毎の特徴部画像を記憶するデータベースと、前記超音波画像の更新タイミングにおいて取得したＸ線透視像に現れる前記回転式探触子の特徴部の形状と前記データベースに記憶された特徴部画像とを照合することにより前記超音波画像に描画された方向を推定する推定部と、前記推定部により推定された方向に基づき表示方向を補正した状態で前記超音波画像を表示する表示制御部と、を備えることを特徴とする医用画像表示装置である。

第２の発明は、スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得する画像取得部と、前記Ｘ線透視像に前記回転式探触子の回転角が既知である特定の特徴が現れるタイミングを記録するタイミング記録部と、記録したタイミングの周期と、前記既知の回転角の大きさとに基づいて前記回転式探触子が基準回転角にあるときのＸ線透視像を特定し、特定したＸ線透視像と同じタイミングで取得した超音波画像を基準超音波画像として特定する基準超音波画像特定部と、特定した基準超音波画像を前記既知の回転角に基づき表示方向を補正した状態で表示する表示制御部と、を備えることを特徴とする医用画像表示装置である。

第３の発明は、スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得する画像取得部と、前記Ｘ線透視像に前記回転式探触子の特定の特徴が現れるタイミングを検出し時系列に記録するタイミング記録部と、超音波画像の更新タイミングを取得する更新タイミング取得部と、前記タイミング記録部により記録したタイミングと前記超音波画像の更新タイミングとの差及び周期に基づいて前記超音波画像に描画された方向を推定する推定部と、前記更新タイミングで取得した超音波画像を前記推定部により推定された方向に基づき表示方向を補正した状態で表示する表示制御部と、を備えることを特徴とする医用画像表示装置である。

第４の発明は、コンピュータが、スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得するステップと、前記Ｘ線透視像に現れる前記回転式探触子の回転角毎の特徴部画像をデータベースに記憶するステップと、前記超音波画像の更新タイミングにおいて取得したＸ線透視像に現れる前記回転式探触子の特徴部の形状と前記データベースに記憶された特徴部画像とを照合することにより前記超音波画像に描画された方向を推定するステップと、推定された方向に基づき表示方向を補正した状態で前記超音波画像を表示するステップと、を含むことを特徴とする医用画像表示方法である。

第５の発明は、コンピュータが、スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得するステップと、前記Ｘ線透視像に前記回転式探触子の回転角が既知である特定の特徴が現れるタイミングを記録するステップと、記録したタイミングの周期と、前記既知の回転角の大きさとに基づいて前記回転式探触子が基準回転角にあるときのＸ線透視像を特定し、特定したＸ線透視像と同じタイミングで取得した超音波画像を基準超音波画像として特定するステップと、特定した基準超音波画像を前記既知の回転角に基づき表示方向を補正した状態で表示するステップと、を含むことを特徴とする医用画像表示方法である。

第６の発明は、コンピュータが、スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得するステップと、前記Ｘ線透視像に前記回転式探触子の特定の特徴が現れるタイミングを検出し時系列に記録するステップと、超音波画像の更新タイミングの情報を取得するステップと、前記回転式探触子の特定の特徴が現れるタイミングと前記超音波画像の更新タイミングとの差及び周期に基づいて前記超音波画像に描画された方向を推定するステップと、前記更新タイミングで取得した超音波画像を推定された方向に基づき表示方向を補正した状態で表示するステップと、を含むことを特徴とする医用画像表示方法である。

本発明により、被検体内に挿入された回転式探触子の回転角を認識し、超音波画像に描画された方向がどの方向を向いているか明確となるように超音波画像を表示することが可能な医用画像表示装置及び医用画像表示方法を提供できる。

本発明に係る医用画像表示装置３０、及び医用画像表示装置３０を利用した検査システム１の全体構成図 回転式探触子２０１の主要な構成を示す図 特徴画像データベース３０２に記憶される回転角毎の特徴部画像の例を示す図 第１の実施の形態の画像表示処理の流れを説明するフローチャート 超音波画像５０及びＸ線透視像６０の表示状態を示す図 第２の実施の形態の医用画像表示装置３０Ｂ、及び医用画像表示装置３０Ｂを利用した検査システム１Ｂの全体構成図 第２の実施の形態の画像表示処理の流れを説明するフローチャート 超音波画像５０及びＸ線透視像６０の表示状態、特徴検出タイミンググラフ８１を示す図 第３の実施の形態の医用画像表示装置３０Ｃ、及び医用画像表示装置３０Ｃを利用した検査システム１Ｃの全体構成図 第３の実施の形態の画像表示処理の流れを説明するフローチャート 超音波画像５０及びＸ線透視像６０の表示状態、特徴検出タイミンググラフ８５、８５Ａを示す図

以下図面に基づいて、本発明の実施形態を詳細に説明する。

［第１の実施の形態］
まず、図１を参照して本発明の全体構成について説明する。
図１に示す検査システム１は、本発明に係る医用画像表示装置３０と超音波診断装置２０とＸ線画像診断装置１０とを備えて構成される。

超音波診断装置２０は、被検体１００の体内に挿入して用いられる回転式探触子２０１、送信部２０２、受信部２０４、超音波送受信制御部２０３、整相加算部２０５、断層画像構成部２０６、白黒スキャンコンバータ２０７、及び画像記憶部２０８等を有する。

回転式探触子２０１は、先端部に設けられた素子（振動子）２０１ａ（図２参照）を一定の周期で回転させることでスキャンラインを３６０°方向に回転させながら被検体１００との間で超音波を送受信する超音波探触子である。回転式探触子２０１の内部の主要な構成を図２に示す。

図２に示すように、回転式探触子２０１は内部に超音波信号を送受信する素子２０１ａ、素子２０１ａを支持する支持部２０１ｂを有する。支持部２０１ｂは超音波診断装置１０の本体とケーブル２０１ｃを介して回転可能に接続される。素子２０１ａは支持部２０１ｂに対して回転軸２０１ｄを中心に回転する。回転式探触子２０１は図示しないモータにより素子２０１ａを回転させながら３６０°方向に放射状に超音波の送受信を行う。回転式探触子２０１には回転の基準位置（基準回転角）が予め設定されている。なお、図２は回転式探触子２０１の内部構造を模式的に示した図であり、実際は素子２０１ａの形状は円柱対称ではない。また支持部２０２ｂの形状も、例えば平板で素子２０１ａを貼りつけて支持している構成となっている。

送信部２０２は、回転式探触子２０１を介して被検体１００に所定の時間間隔で超音波を繰り返し送信する。受信部２０４は、被検体１００から発生する反射超音波信号を時系列に受信する。受信部２０４は、後述する医用画像表示装置３０のタイムスタンプ生成部３１０において生成されたタイムスタンプを受信している。超音波送受信制御部２０３は送信部２０２及び受信部２０４の動作を制御する。

整相加算部２０５は、受信部２０４で受信した反射超音波信号を整相加算し、断層画像構成部（超音波画像構成部）２０６に出力する。断層画像構成部２０６は、整相加算部２０５から入力されたＲＦ信号フレームデータに基づいて、被検体１００の体内の断層画像（超音波画像）を構築する。構築された超音波画像には、反射超音波信号受信時に受信部２０４で受信したタイムスタンプが付加される。白黒スキャンコンバータ２０７は、断層画像構成部２０６により構築された白黒（濃淡）の断層画像（超音波画像）を表示装置３１１の表示に合うように変換する。

画像記憶部２０８は断層画像構成部２０６により生成され、白黒スキャンコンバータ２０７により表示用に変換された複数フレームの超音波画像をタイムスタンプ（時間情報）とともに記憶する。

医用画像表示装置３０は、超音波診断装置２０により構成された超音波画像の表示制御を行うコンピュータである。医用画像表示装置３０は、超音波診断装置２０に組み込まれて一体的に構成されてもよいし、別体で構成されてもよい。医用画像表示装置３０は、図1に示すように、画像取得部３０１、特徴画像データベース３０２、特徴検出部３０３、推定部３０４、表示制御部３０５、マーク付与部３０６、断層画像データ記憶部３０７、断層画像表示制御部３０９、及び表示装置３１１を備えて構成される。

画像取得部３０１は、超音波診断装置２０にて生成された超音波画像を順次取得する。超音波画像は回転式探触子２０１により受信した被検体１００からの反射超音波信号に基づいて構成される。また、画像取得部３０１は超音波画像の撮像中に得られ回転式探触子２０１の少なくとも一部が被検体１００とともに描出されたＸ線透視像をＸ線画像診断装置１０から取得する。

特徴画像データベース３０２は、Ｘ線透視像に現れる回転式探触子２０１の回転角毎の特徴部画像を記憶する。図３は、特徴画像データベース３０２に記憶される回転角毎の特徴部画像の例を示している。特徴部画像とは、回転式探触子２０１の先端部の素子２０１ａの形状等を表す画像である。

上述したように、回転式探触子２０１は内部に非対称な形状の素子２０１ａを有する。回転式探触子２０１をＸ線透視すると、そのＸ線透視像には回転式探触子２０１の内部の素子２０１ａ等が描出されるが、描出された素子２０１ａの形状は透視の方向（すなわち回転式探触子２０１の回転角）によって異なる特徴を呈するものとなる。そこで本実施の形態では、回転式探触子２０１の回転角毎のＸ線透視像が異なる形状的特徴を示すことを利用して回転式探触子２０１の回転角を検出する。

特徴検出部３０３は、超音波画像の更新タイミングにおいて取得したＸ線透視像に現れる特徴部を検出する。回転式探触子２０１を用いたスキャンにより生成された超音波画像は、所定の更新タイミング毎に更新される。この更新タイミングは、回転式探触子２０１の回転する先端部（素子２０１ａ）が基準回転角を通過した時とする。

推定部３０４は、超音波画像の更新タイミング（素子２０１ａが基準回転角を通過したタイミング）において特徴検出部３０３により検出した回転式探触子２０１の特徴部の形状と特徴画像データベース３０２に記憶された各回転角の特徴部画像とを照合することにより、超音波画像に描画された方向（どの方向が描画されているか）を推定する。ここで推定する方向は、回転式探触子２０１の回転軸２０１ｄ回りの回転角θに相当する。推定した方向（回転角θ）は表示制御部３０５に通知される。

表示制御部３０５は、推定部３０４により推定した方向に基づき画像更新タイミングで取得した超音波画像（基準超音波画像）の表示方向を補正した状態で表示する。例えば表示制御部３０５は、被検体１００の上方向（鉛直真上の方向：直上）を基準方向として超音波画像の基準位置（基準回転角＝０°）が基準方向（直上）を向くように表示方向を補正して表示装置３１１に表示する。

表示装置３１１は、液晶パネル、ＣＲＴモニタ等のディスプレイ装置である。表示装置３１１は表示制御部３０５または断層画像表示制御部３０９による制御に基づき、超音波画像、Ｘ線透視像、断層画像等の各種の画像を所定の表示形式で表示する。また検査情報、スキャン条件、設定情報等を含む各種情報を表示する。本発明において、表示装置３１１は、複数の表示画面を有するか、或いは１つの表示画面内に複数の表示領域を有することが望ましい。この場合、一方の表示画面（表示領域）に超音波画像を表示し、他方の表示画面（表示領域）にＸ線透視像または断層画像等を表示することが望ましい。

例えば、表示装置３１１は、表示制御部３０５から出力される指示に従い、画像取得部３０１により得られた超音波画像とＸ線透視像とを並べてリアルタイムに表示する。また表示装置３１１は、断層画像表示制御部３０９から出力される指示に従い、超音波画像を表示するとともに、超音波探触子位置に該当する断層画像を並べて表示する。

撮像中の超音波画像は医用画像表示装置３０の画像取得部３０１に取得されてリアルタイムに表示装置３１１に表示される。通常、超音波画像は回転式探触子２０１の基準回転角が画面の上方向となるように表示されるが、本発明では、表示制御部３０５は、推定部３０４により推定された方向（回転角θ）に基づいて被検体１００の上方向（直上）が画面の上方向となるように、表示方向を回転させて表示することが望ましい。被検体１００の上方向が超音波画像のどの方向にあるかは、超音波画像と同じタイミングで得られたＸ線透視像に描出された回転式探触子２０１の特徴部（素子等）の位置及び角度（Ｘ線透視像上の基準方向に対する回転式探触子２０１の特徴部（素子等）の角度）等から求めることが可能である。

また、表示装置３１１に他のモダリティで得られた断層画像（ＣＴ画像、ＭＲＩ画像等）が表示されている場合は、表示制御部３０５は断層画像と超音波画像とで被検体１００内の目的部位の位置関係が整合するように超音波画像を回転させた状態に補正して表示することが望ましい。

マーク付与部３０６は、超音波画像が更新されるタイミングで取得された超音波画像に画像更新マークを付与し、表示する。なお、前提として超音波診断装置２０は回転式探触子２０１の素子２０１ａが基準回転角を通過したタイミングで超音波画像を更新するものとする。画像更新マークの表示は表示装置３１１において次のフレームの画像が表示されるタイミングで消される。これにより、超音波画像の更新タイミングが可視化されることとなる。ユーザは一定の周期で画像更新マークが付与された超音波画像を観察できる。なお、画像更新マークは、画像の付加情報として超音波画像とともに記録してもよい。

断層画像データ記憶部３０７は、Ｘ線ＣＴ装置等、本発明の検査システム１とは別のモダリティにより予め撮影され被検体１００内が描出された断層画像データを取得し記憶する。断層画像データとは、被検体１００の周囲の各方向から得られた投影データをコンピュータ等により再構成することで被検体１００内を描出した断層像群のデータである。

断層画像表示制御部３０９は、例えば磁気センサ等の探触子位置検出器３０８により検出された回転式探触子２０１の位置及び推定部３０４により推定された方向（回転角θ）に基づき、断層画像データ記憶部３０７に記憶された断層画像データから回転式探触子２０１の位置に該当する断面の断層画像を読み出すか或いは生成して、表示装置３１１に表示する。断層画像は、被検体１００の体軸に垂直な断面の断層画像に限定されず、例えば所望の断面で切断した画像であるＭＰＲ（multi planar reconstruction）画像等としてもよい。

医用画像表示装置３０はインターフェース（不図示）を介して超音波診断装置２０及びＸ線画像診断装置１０との間でデータを送受信する。

超音波診断装置２０及び医用画像表示装置３０は、通信ケーブル等のインターフェースを介してＸ線画像診断装置１０と接続される。Ｘ線画像診断装置１０は、被検体１００のＸ線透視像を撮影する装置である。Ｘ線透視像は、回転式探触子２０１の位置及び回転角を照合するための照合用画像として利用される。

Ｘ線画像診断装置１０は、Ｘ線源１０２、Ｘ線絞り１０４、Ｘ線検出器１１０、画像処理部１１２、画像記憶部１１４、表示部１１６、制御部１１８、操作部１２０、高電圧発生部１０８等を有する。被検体１００は寝台１０６に寝載される。

Ｘ線源１０２は、高電圧発生部１０８から電力供給を受けて所定の線量のＸ線を発生させるＸ線管球を有する。高電圧発生部１０８は、制御部１１８からの制御信号に基づきＸ線源１０２に対して電力を供給する。

Ｘ線絞り１０４は複数のＸ線遮蔽板を有し、制御部１１８から通知される開度情報に従って、Ｘ線遮蔽板を所定の位置まで開閉させて所望の形状のＸ線照射領域を形成する。

Ｘ線検出器１１０は、例えばシンチレータとフォトダイオードの組み合わせによって構成されるＸ線検出素子を２次元配列したフラットパネルディテクタ（ＦＰＤ）やＩ．Ｉ．（image intensifier）等であり、被検体１００を介してＸ線源１０２に対向する位置に設けられる。例えば、寝台１０６の天板の下面にＸ線検出器１１０が設置される。

Ｘ線検出器１１０の各検出素子は、Ｘ線源１０２から照射され被検体１００を透過したＸ線である透過Ｘ線を検出し、そのＸ線強度に応じた電気信号に変換する。画像処理部１１２は、Ｘ線検出器１１０から出力された電気信号を処理し、Ｘ線透視像を生成する。生成されたＸ線透視像には、タイムスタンプ生成部３１０で生成したタイムスタンプが付加される。画像処理部１１２における処理は、ガンマ変換、階調変換、画像の拡大、縮小等の処理を含む。画像処理部１１２は画像処理されたＸ線透視像を画像記憶部１１４に出力する。画像記憶部１１４は、画像処理部１１２から出力されたＸ線透視像を記憶する。

表示部１１６は、画像処理部１１２から出力されたＸ線透視像、または画像記憶部１１４に記憶されたＸ線透視像や制御部１１８から入力された表示データ等を表示する。

制御部１１８は、操作部１２０から入力された指令に基づきＸ線源１０２におけるＸ線照射、画像処理部１１２における画像処理、画像記憶部１１４における画像の記憶、表示部１１６における表示、Ｘ線絞り１０４等の動作を制御する。なお、被検体１００に対しＸ線源１０２が直上（鉛直真上）にある位置をＸ線透視の撮像姿勢の基準方向（０°）とするが、回転式探触子２０１の挿入角度によってはＸ線源１０２を被検体１００に対し傾けて撮像してもよい。この場合、制御部１１８は、Ｘ線画像診断装置１０の撮像姿勢に関する情報を医用画像表示装置３０の推定部３０４に送出する。撮像姿勢に関する情報とは、基準方向（直上）からのＸ線源１０２の傾き角度の情報である。

次に、図４のフローチャートを参照して、画像表示処理の流れについて説明する。以下の説明では、回転式探触子２０１を先端部に設けた内視鏡を用いて気管支等の生体検査を行う場合を例として説明する。

操作者は、回転式探触子２０１を被検体１００内（例えば、気管支等）に挿入する。超音波診断装置２０は、回転式探触子２０１の先端の素子（振動子）２０１ａを所定の周期で回転させることにより、スキャンラインを回転させながら被検体１００に対して超音波信号を送信する。回転式探触子２０１は被検体１００からの反射超音波信号を受信する（ステップＳ１０１）。

一方、Ｘ線画像診断装置１０は、超音波診断装置２０における超音波画像５０の撮像開始とともに被検体１００の回転式探触子２０１の少なくとも一部を含む領域の撮像を開始する（ステップＳ１０２）。以下の説明では、Ｘ線源１０２の位置は被検者の直上としてＸ線透視像を撮像する例を示すが、回転式探触子２０１の挿入方向（傾き）によってはＸ線源１０２を被検体１００に対して傾け、撮像姿勢を変更してもよい。

医用画像表示装置３０のタイムスタンプ生成部３１０は、Ｘ線画像診断装置１０と超音波診断装置２０とで共通のタイムスタンプを生成し、Ｘ線画像診断装置１０、超音波診断装置２０の画像化の素信号を受信する各部（画像処理部１１２、受信部２０４）にそれぞれ送信する（ステップＳ１０３）。素信号を受信するタイミングでタイムスタンプを付与することにより、画像処理による時遅れの影響を受けないタイミング管理が可能となる。

超音波診断装置２０の受信部２０４は、被検体１００から反射超音波信号を受信するとともに医用画像表示装置３０から送信されたタイムスタンプを受信する。受信した反射超音波信号及びタイムスタンプは整相加算部２０５に入力される。断層画像構成部２０６は、受信部２０４により受信し、整相加算された被検体１００の時系列の反射超音波信号に基づき回転式探触子２０１の周辺の３６０°の超音波画像５０を構成する。超音波画像５０にはタイムスタンプが付加情報として付加される。超音波診断装置２０は、構成した３６０°の超音波画像５０を医用画像表示装置３０に送信する（ステップＳ１０４）。

Ｘ線画像診断装置１０は、タイムスタンプが付加情報として付与されたＸ線透視像６０を順次生成し、医用画像表示装置３０に送信する（ステップＳ１０５）。

医用画像表示装置３０の画像取得部３０１では、超音波診断装置２０から超音波画像５０を受信するとともに、Ｘ線画像診断装置１０からＸ線透視像６０を取得している（ステップＳ１０６）。医用画像表示装置３０は、超音波診断装置２０から超音波画像５０の更新タイミングの情報も取得する（ステップＳ１０７）。医用画像表示装置３０は、ステップＳ１０６で取得したＸ線透視像及び超音波画像のタイムスタンプを参照し、同一または近隣のタイムスタンプを有するＸ線透視像６０及び超音波画像５０を表示装置３１１に並べて表示する（ステップＳ１０８；図５（ａ）参照）。

超音波診断装置２０では回転式探触子２０１の素子２０１ａが基準回転角を通過したタイミングで超音波画像５０を更新している。医用画像表示装置３０のマーク付与部３０６はステップＳ１０７で取得した画像更新タイミングで超音波画像５０上に画像更新マーク５５を付与し、超音波画像上に表示する（ステップＳ１０９；図５（ｂ）参照）。なお、表示装置３１１側のフレームレート（超音波画像とは別の画像更新タイミング）で順次、画像が更新表示されている。表示装置３１１の次の画像更新タイミング（次フレーム）になると、超音波画像５０上の画像更新マーク５５の表示は消去される。

医用画像表示装置３０の表示制御部３０５は、一定周期で画像更新マーク５５が付与された超音波画像５０を表示メモリ（不図示）に保持する。また画像更新マーク５５が付与された超音波画像５０と同じタイムスタンプを有するＸ線透視像６０を表示メモリに保持する。

図５は、表示装置３１１に並列表示される超音波画像５０とＸ線透視像６０とを示す図である。図５（ａ）はステップＳ１０８における表示状態の例を示している。図５（ａ）においてＸ線透視像６０は表示装置３１１の表示レート（フレームレート）に従って表示が更新されている。一方、超音波画像５０は、回転式探触子２０１の素子２０１ａが１回転（３６０°）する都度更新される。超音波画像５０が更新されるタイミング（画像更新タイミング）には、図５（ｂ）に示すように画像更新マーク５５が超音波画像５０上に表示される。なお、図５（ｂ）のＸ線透視像６０における特徴部６１ａ（回転式探触子２０１の素子２０１ａ）の形状は、図５（ｂ）のＸ線透視像６０における特徴部６１ｂ（回転式探触子２０１の素子２０１ａ）と異なる形状として観察される。これは図５（ａ）のタイミングと図５（ｂ）のタイミングとで回転式探触子２０１の回転角θが変わったことを意味している。被検体１００内における回転式探触子２０１の向きはケーブルの回転等によって変化するため、表示されている超音波画像がどの方向を描画しているかが不明となる。

図４の説明に戻る。医用画像表示装置３０の特徴検出部３０３は、ステップＳ１０６で順次取得しているＸ線透視像６０のうち、超音波画像５０の更新タイミングにおいて取得したＸ線透視像６０から回転式探触子２０１の特徴部を検出する処理を行う。そして推定部３０４は、特徴検出部３０３で検出した特徴部６１ｂの形状と特徴画像データベース３０２に記憶された特徴部画像とを照合（マッチング処理）する（ステップＳ１１０）。これにより医用画像表示装置３０は、超音波画像５０の更新タイミングにおける回転式探触子２０１のＸ線透視像６０上での回転角θを特定し、特定した回転角θを超音波画像５０に描画された方向と推定する（ステップＳ１１１）。

医用画像表示装置３０の表示制御部３０５は、超音波画像５０の表示方向をステップＳ１１１で推定した描画方向（回転角θ）に基づいて補正した状態で表示装置３１１に表示する（ステップＳ１１２）。

例えば、図５（ｃ）に示すように、表示装置３１１の一方の画面（一方の表示領域）に超音波画像５０を表示する。表示制御部３０５は、超音波画像５０をステップＳ１１１で推定した方向（回転角θ）に基づいて回転角θだけ回転させて表示する。これにより回転式探触子２０１の基準回転角の方向が明確となる。また体内における回転式探触子２０１の回転角と同じ表示方向で超音波画像５０を観察できる。更に、基準回転角の位置を示す基準位置マーク５７も超音波画像５０の回転とともに回転させて表示すれば、超音波画像５０の基準回転角がどの方向にあるのかが明確となるため好ましい。

また、表示制御部３０５は、被検体１００の上方向（直上）が画面の上方向となるように超音波画像５０を回転させて表示してもよい。この場合、表示制御部３０５は超音波画像５０上の目的部位５３と回転式探触子２０１との位置関係から被検体１００の上方向（直上）を推定する。更に、基準位置マーク５７の方向が回転式探触子２０１の回転角θに基づいて変更される。超音波画像５０がユーザの視点と一致するため患部（目的部位５３）の位置等が把握しやすくなる。

また、表示装置３１１の他の画面（右側表示領域）に他のモダリティで撮影した断層画像７０等を超音波画像５０と並べて表示することが望ましい。この場合、断層画像表示制御部３０９は、断層画像データ記憶部３０７から予め撮影された断層画像データを読み込む。断層画像表示制御部３０９は探触子位置検出器３０８から入力される回転式探触子２０１の３次元位置情報を取得し、読み込んだ断層画像データのうち回転式探触子２０１の位置と同一の位置または最も近い位置を含む断面の断層画像データを取得し、表示装置３１１に表示する。

図５（ｃ）の例では、右画面に被検体１００のアキシャル断面（体軸に直交する断面）の断層画像７０が表示されている。断層画像７０には超音波画像５０で描出された目的部位５３に対応する目的部位７３が描出される。超音波画像５０と断層画像７０とで同じ基準方向（例えば、直上；被検体の上方向）が上となるように画像を表示すれば、超音波画像５０における目的部位５３の方向と、断層画像７０に描出された目的部位７３とが一致する。なお、他の画面に表示する断層画像は、アキシャル断面の断層画像に限定されず、任意の断面としてよい。

検査中は回転式探触子２０１の位置は移動されるため、図４のステップＳ１０１〜ステップＳ１１２の処理を繰り返し行う。医用画像表示装置３０は、超音波画像５０の各更新タイミングで回転式探触子２０１の回転角θを求め、超音波画像５０の表示方向を補正した状態で表示する。表示制御部３０５は、生成された超音波画像データをリアルタイムに順次取得するとともに、回転式探触子２０１の位置情報や回転角θもリアルタイムに取得する。断層画像表示制御部３０９は、回転式探触子２０１の位置に連動して表示する断面をリアルタイムに更新するとともに、回転式探触子２０１の回転角θに基づいて超音波画像５０を回転させ、表示をリアルタイムに更新する。これにより、例えば断層画像７０上で予め計画した位置から細胞を採取する手技等において、目的部位７３（５３）の方向が超音波画像５０上でも確認しやすく有効である。また上述の処理に加え、細胞を採取した位置を断層画像に記憶（マーク）するといった処理を加えれば、予め計画された細胞の採取漏れを防止できる。

以上説明したように、超音波画像５０を更新するタイミングにおけるＸ線透視像６０に現れる特徴から、被検体１００内に存在する回転式探触子２０１の回転角θが認識され、これにより超音波画像５０に描画されている方向を推定できる。回転式探触子２０１自身が角度をもって気管支内を進むときに表示角度を補正しながら超音波画像５０を表示できる。また、予めＸ線ＣＴ装置等の他のモダリティにより撮影した断層画像７０と超音波画像５０とを、位置だけではなく回転角を合わせて表示することが可能となる。そのため、内視鏡を用いた細胞採取等の手技において、超音波画像５０における患部の位置が把握しやすく、生体内を観察しやすいものとなる。また、画像更新のタイミングで画像更新マーク５５を付与して表示メモリに記憶するため、検査の後、記録した超音波画像５０を断続的に表示するシネ表示等を行う際に、回転角（描画方向）の推定に用いる超音波画像５０を検索しやすくなる。画像更新マーク５５が付与された超音波画像５０とそのタイミングで得たＸ線透視像６０の特定が容易となる。

なお、Ｘ線画像診断装置１０においてＸ線源１０２が被検体１００に対して傾いた位置からＸ線を照射している場合は、推定部３０４はこのＸ線透視像の撮像姿勢（傾き角度）を更に考慮して回転式探触子２０１の回転角を求める。これにより様々な撮像姿勢で得られたＸ線透視像を回転式探触子２０１の回転角を求めるための照合用画像として用いることができる。

［第２の実施の形態］
次に、図６〜図８を参照して本発明の第２の実施の形態を説明する。
第２の実施の形態では、Ｘ線透視像６０に現れる特定の特徴が既知の回転角である場合の超音波画像５０の表示方法について説明する。

図６に示すように、第２の実施の形態の検査システム１Ｂにおいて、医用画像表示装置３０Ｂは、画像取得部３０１、特徴画像データベース３０２、特徴検出タイミング記録部３２１、グラフ描画部３２２、基準超音波画像特定部３２３、表示制御部３０５、断層画像データ記憶部３０７、断層画像表示制御部３０９、タイムスタンプ生成部３１０、及び表示装置３１１を有する。なお、超音波診断装置２０、Ｘ線画像診断装置１０の構成については第１の実施の形態と同様であるため重複する説明を省略し、以下の説明では同一の各部には同一の符号を付して説明する。

画像取得部３０１は、第１の実施の形態の医用画像表示装置３０の画像取得部３０１と同様に、回転式探触子２０１により受信した被検体１００からの反射超音波信号に基づいて構成された超音波画像５０及び超音波画像５０の撮像中に得られ回転式探触子２０１の少なくとも一部が被検体１００とともに描出されたＸ線透視像６０を取得する。

特徴画像データベース３０２は、Ｘ線透視像６０に現れる回転式探触子２０１の所定の回転角の特徴部画像を記憶する。第１の実施の形態と異なる点は、第１の実施の形態の特徴画像データベース３０２は、Ｘ線透視像６０に現れる回転式探触子２０１の各回転角の特徴部画像を全て記憶するものであったが、第２の実施の形態の特徴画像データベース３０２は、少なくとも一つの既知の回転角θの特徴部画像を保持すればよい。

特徴検出タイミング記録部３２１は、Ｘ線透視像６０に回転式探触子２０１の回転角が既知である特定の特徴（特徴部６１ｃ）が現れるタイミング８２を記録する。タイミングの記録は、例えばグラフ描画部３２２によるグラフ化等である。グラフ描画部３２２は、特徴検出タイミング記録部３２１により記録される回転式探触子２０１の特定の回転角の特徴（特徴部６１ｃ）が現れるタイミング８２を示すグラフ８１を描画する。このグラフ８１は表示装置３１１に表示されることが望ましいが、必ずしも表示されなくてもよい。

基準超音波画像特定部３２３は、記録した特徴検出タイミング８２の周期Ｔと、既知の回転角θの大きさとに基づいて回転式探触子２０１が基準回転角にあるときのＸ線透視像６０を特定し、特定したＸ線透視像６０と同じタイミングで取得した超音波画像を基準超音波画像５０として特定する。

表示制御部３０５は、特定した基準超音波画像５０を既知の回転角θに基づき表示方向を補正した状態で表示する。

タイムスタンプ生成部３１０、断層画像データ記憶部３０７、断層画像表示制御部３０９、及び表示装置３１１は、第１の実施の形態と同様である。

第２の実施の形態の医用画像表示装置３０Ｂを用いた画像表示処理について、図７を参照して説明する。

図７に示す画像表示処理のステップＳ２０１〜ステップＳ２０６は、第１の実施の形態の処理のステップＳ１０１〜ステップＳ１０６と同様である。すなわち操作者が回転式探触子２０１を被検体１００内（例えば、気管支等）に挿入すると、超音波診断装置２０は、回転式探触子２０１の先端の素子（振動子）２０１ａを所定の周期で回転させることにより、スキャンラインを回転させながら被検体１００に対して超音波信号を送信する。回転式探触子２０１は被検体１００からの反射超音波信号を受信する（ステップＳ２０１）。

一方、Ｘ線画像診断装置１０は、超音波画像の撮像開始とともに被検体１００の回転式探触子２０１の少なくとも一部を含む領域の撮像を開始する（ステップＳ２０２）。

医用画像表示装置３０Ｂは、Ｘ線画像診断装置１０と超音波診断装置２０とで共通のタイムスタンプを生成し、Ｘ線画像診断装置１０、超音波診断装置２０の画像化の素信号を受信する各部（画像処理部１１２、受信部２０４）に送信する（ステップＳ２０３）。

超音波診断装置２０の受信部２０４は、被検体１００から反射超音波信号を受信するとともに医用画像表示装置３０Ｂから送信されたタイムスタンプを受信する。受信した反射超音波信号及びタイムスタンプは整相加算部２０５に入力される。断層画像構成部２０６は、受信部２０４により受信し、整相加算された被検体１００の時系列の反射超音波信号に基づき回転式探触子２０１の周辺の３６０°の超音波画像を構成する。超音波画像にはタイムスタンプが付加情報として付与される。超音波診断装置２０は、構成した３６０°の超音波画像を医用画像表示装置３０Ｂに送信する（ステップＳ２０４）。

Ｘ線画像診断装置１０は、タイムスタンプが付加情報として付加された時系列のＸ線透視像を生成し、医用画像表示装置３０Ｂに送信する（ステップＳ２０５）。

医用画像表示装置３０Ｂでは、超音波診断装置２０から超音波画像５０を受信するとともに、Ｘ線画像診断装置１０からＸ線透視像６０を取得する（ステップＳ２０６）。医用画像表示装置３０Ｂは、取得した各フレームのＸ線透視像６０について既知の回転角θの特徴（特徴部６１ｃ）の有無を検出する（ステップＳ２０７）。特徴（特徴部６１ｃ）の検出は、例えば特徴画像データベース３０２に記憶された特徴部画像との照合（パターンマッチング処理）等で行うことができる。

例えば、図８（ａ）に示すような形状の特徴部６１ｃが、Ｘ線透視像６０に周期的に現れることが検出される。なお、この特徴部６１ｃは、回転式探触子２０１の素子２０１ａが所定の回転角θ（例えば、６０°）のときに現れることが既知である。

医用画像表示装置３０Ｂの特徴検出タイミング記録部３２１は、ステップＳ２０７で図８（ａ）と同じ形状の特徴部６１ｃを検出したタイミングを記録する。例えば図８（ｂ）に示すように、グラフ描画部３２２によりＸ線透視像６０上に既知回転角θである特徴部６１ｃを検出したタイミング８２を時間軸ｔのグラフ８１に記録する（ステップＳ２０８）。特徴検出タイミングを記録したグラフを特徴検出タイミンググラフ８１と呼ぶ。特徴検出タイミンググラフ８１に基づき特徴検出タイミング８２の周期Ｔが求められる。

医用画像表示装置３０Ｂの基準超音波画像特定部３２３は、特徴検出タイミング８２の出現周期Ｔと、既知の回転角の大きさθとに基づいて、回転式探触子２０１が基準回転角にあるときのＸ線透視像６０を特定し、特定したＸ線透視像６０と同じタイミングで取得した超音波画像を基準超音波画像５０として特定する（ステップＳ２１０）。

図８（ｃ）に示すように、回転角θの特徴部検出タイミング８２がｔ＝ｔ_θとすると、１周期（３６０°）の時間の長さから既知の回転角θから基準回転角の回転に要する時間は、「Ｔ×θ/３６０」として求められる。そこで、超音波画像の更新タイミングｔ_０をグラフ８１から求めることが可能となる。グラフ８１に示すように、「Ｔ×θ/３６０」の時間だけｔ_θからｔ_０にずらしたタイミング８３が、回転式探触子２０１の素子２０１ａが基準回転角を通過するタイミング、すなわち画像更新タイミングである。

表示制御部３０５は、ステップＳ２１０で特定した基準超音波画像５０を表示装置３１１に表示する。このとき、既知の回転角θに基づいて表示方向を補正した状態で基準超音波画像５０を表示する（ステップＳ２１１）。

ステップＳ２０６で取得したＸ線透視像６０と超音波画像５０は、例えば図８（ｄ）に示すように表示装置３１１に並べて表示される。画像の表示はＸ線透視像６０及び超音波画像５０の取得とともにリアルタイムに更新される。図８（ｄ）では、表示装置３１１の左画面（左側表示領域）に超音波画像５０が表示され、右画面（右側表示領域）に既知の回転角θの特徴部６１ｃが現れたＸ線透視像６０が表示されている。特徴検出タイミング８２の周期Ｔから回転角θ分だけ回転するのに要する時間が求められる（１周期の時間長Ｔ×θ/３６０）。回転角θの特徴部６１ｃが現れたＸ線透視像６０の取得タイミングから（１周期の時間長Ｔ×θ/３６０）だけ時間的に移動させた時刻ｔ_０を超音波画像の更新タイミング８３と推定する。表示制御部３０５は、時刻ｔ_０で取得した基準超音波画像５０を既知の回転角θに基づいて補正した状態で表示する。例えば、基準位置マーク５７を回転角θだけ回転させる。

また、例えば図８（ｅ）に示すように、表示装置３１１の左画面（左側表示領域）に超音波画像５０を表示し、右画面（右側表示領域）に被検体１００の断層画像７０等、他のモダリティで予め撮影された断層画像７０を表示してもよい。断層画像７０は被検体１００の上方向を上に表示されるものとする。この場合、第１の実施の形態と同様に表示制御部３０５は、ステップＳ２１０で特定した基準超音波画像５０についても被検体１００の上方向を上に表示する。これにより、超音波画像５０の目的部位５３は、並列表示されている断層画像７０において描出されている目的部位７３と同じ位置関係で観察可能となる。

検査中、図７のステップＳ２０１〜ステップＳ２１１の処理を繰り返し行うことで、医用画像表示装置３０Ｂは、Ｘ線透視像６０に現れる既知の回転角の特徴部６１ｃが現れるタイミング８２の周期Ｔとその既知の回転角θの大きさとから基準超音波画像（画像更新タイミング８３の超音波画像）５０を求め、求めた基準超音波画像５０の表示方向を既知の回転角θに基づいて補正した状態で表示する。特徴部６１ｃを検出するタイミング８２はグラフ化されるため操作者により視認可能となり、基準方向の認識に役立てることができる。

以上説明したように、第２の実施の形態では、回転角が既知である特定の特徴（特徴部６１ｃ）がＸ線透視像６０上で観察可能な場合に、その特徴部６１ｃを検出するタイミングを記録し、タイミングの周期Ｔと既知の回転角θの大きさとに基づいて超音波画像５０の更新タイミングを取得する。これにより、超音波画像５０に描画される方向が明確に表示可能となる。

［第３の実施の形態］
次に、図９〜図１１を参照して本発明の第３の実施の形態を説明する。
第３の実施の形態では、Ｘ線透視像６０に周期的に特定の特徴６１ｄが現れるが、その特徴６１ｄと回転式探触子２０１の回転角θとの関係は未知である場合について説明する。

第３の実施の形態の医用画像表示装置３０Ｃは、画像取得部３０１、特徴検出タイミング記録部３３１、更新タイミング取得部３３２、グラフ描画部３３３、推定部３３４、表示制御部３０５、断層画像データ記憶部３０７、断層画像表示制御部３０９、タイムスタンプ生成部３１０、及び表示装置３１１を有する。なお、超音波診断装置２０、Ｘ線画像診断装置１０の構成については第１の実施の形態と同様であるため、重複する説明を省略し、以下の説明では同一の各部には同一の符号を付して説明する。

画像取得部３０１は、第１の実施の形態の医用画像表示装置３０と同様に、回転式探触子２０１により受信した被検体１００からの反射超音波信号に基づいて構成された超音波画像５０、及び超音波画像５０の撮像中に得られ回転式探触子２０１の少なくとも一部が被検体１００とともに描出されたＸ線透視像６０を取得する。

特徴検出タイミング記録部３３１は、Ｘ線透視像６０に回転式探触子２０１の回転角θが未知の特定の特徴６１ｄが現れるタイミング８２を記録する。タイミング８２の記録は、例えばグラフ描画部３３３によるグラフ化等である。グラフ描画部３３３は、特徴検出タイミング記録部３３１により記録される回転式探触子２０１の特定の回転角θ（角度の大きさは未知）の特徴６１ｄが現れるタイミングをグラフ化して表示する。

更新タイミング取得部３３２は、画像取得部３０１で取得した超音波画像５０の更新タイミングを取得する。グラフ描画部３３３は、更新タイミング取得部３３２により取得した超音波画像５０の更新タイミングを、特徴検出タイミング記録部３３１により記録されたタイミンググラフ８５Ａと同じ時間軸上に記録する。

推定部３３４は、特徴検出タイミング８２と超音波画像の更新タイミング８６との差Δｔ、及び超音波画像の更新タイミング８６の周期Ｔに基づいて回転式探触子２０１の回転軸２０１ｄ回りの回転角（特定の特徴が現れる回転角θ；未知）を推定し、これにより超音波画像の描画方向（どの方向を描画しているか）を推定する。回転角θの大きさが超音波画像の描画方向に相当する。回転角θは以下の式（１）から求められる。

θ＝３６０[deg]／Ｔ×Δｔ ・・・（１）

式（１）において、Ｔは超音波画像更新のタイミング８６の周期であり、ΔｔはＸ線透視像に特定の特徴６１ｄが現れるタイミングと超音波画像の更新タイミングとの時間差である。

表示制御部３０５は、更新タイミングで取得した超音波画像（基準超音波画像）を推定部３３４により推定された回転角θに基づき表示方向を補正した状態で表示する。

タイムスタンプ生成部３１０、断層画像データ記憶部３０７、断層画像表示制御部３０９、及び表示装置３１１は、第１の実施の形態と同様である。

第３の実施の形態の医用画像表示装置３０Ｃを用いた画像表示処理について、図１０を参照して説明する。以下の説明では、第１、第２の実施の形態と同様に回転式探触子２０１を先端部に設けた内視鏡を用いて気管支等の生体検査を行う場合を例として説明する。

図１０に示す画像表示処理のステップＳ３０１〜ステップＳ３０６は、第１の実施の形態の処理のステップＳ１０１〜ステップＳ１０６と同様である。すなわち操作者が回転式探触子２０１を被検体１００内（例えば、気管支等）に挿入すると、超音波診断装置２０は、回転式探触子２０１の先端の素子（振動子）２０１ａを所定の周期で回転させることにより、スキャンラインを回転させながら被検体１００に対して超音波信号を送信する。回転式探触子２０１は被検体１００からの反射超音波信号を受信する（ステップＳ３０１）。

一方、Ｘ線画像診断装置１０は、超音波診断装置２０における超音波画像５０の撮像開始とともに被検体１００の回転式探触子２０１の少なくとも一部を含む領域の撮像を開始する（ステップＳ３０２）。

医用画像表示装置３０Ｃのタイムスタンプ生成部３１０は、Ｘ線画像診断装置１０と超音波診断装置２０とで共通のタイムスタンプを生成し、各装置１０、２０の画像化の素信号を受信する各部（画像処理部１１２、受信部２０４）に送信する（ステップＳ３０３）。

超音波診断装置２０の受信部２０４は、被検体１００から反射超音波信号を受信するとともに医用画像表示装置３０Ｃから送信されたタイムスタンプを受信する。受信した反射超音波信号及びタイムスタンプは整相加算部２０５に入力される。断層画像構成部２０６は、受信部２０４により受信し、整相加算された被検体１００の時系列の反射超音波信号に基づき回転式探触子２０１の周辺の３６０°の超音波画像５０を構成する。超音波画像５０にはタイムスタンプが付加情報として付加される。超音波診断装置２０は、構成した３６０°の超音波画像５０を医用画像表示装置３０Ｃに送信する（ステップＳ３０４）。

Ｘ線画像診断装置１０は、タイムスタンプが付加情報として付加されたＸ線透視像を順次生成し、医用画像表示装置３０Ｃに送信する（ステップＳ３０５）。

医用画像表示装置３０Ｃの画像取得部３０１では、超音波診断装置２０から超音波画像５０を受信するとともに、Ｘ線画像診断装置１０からＸ線透視像６０を取得している（ステップＳ３０６）。また医用画像表示装置３０Ｃは超音波画像５０の更新タイミングを取得する（ステップＳ３０７）。

医用画像表示装置３０Ｃは、ステップＳ３０６で取得したＸ線透視像６０に周期的に現れる特定の特徴６１ｄを検出する（ステップＳ３０８）。この特定の特徴６１ｄは、回転式探触子２０１の素子２０１ａがどの回転角にあるときに得られるものであるかが未知である。

医用画像表示装置３０Ｃの特徴検出タイミング記録部３３１はステップＳ３０６で特定の特徴６１ｄを検出したタイミング８２を記録する。例えば図１１（ａ）に示すように、グラフ描画部３３３によりＸ線透視像上に特定の特徴６１ｄを検出したタイミング８２を時間軸ｔのグラフに記録する（ステップＳ３０９）。特徴検出タイミングを記録したグラフをタイミンググラフ８５と呼ぶ。

医用画像表示装置３０Ｃのグラフ描画部３３３は更にステップＳ３０７で取得した超音波画像の更新タイミングをタイミンググラフ８５に記録する。例えば図１１（ｂ）に示すように、グラフ描画部３３３は画像更新タイミング８６をタイミンググラフ８５（８５Ａ）に追加記録する（ステップＳ３１０）。

推定部３３４は、Ｘ線透視像に特定の特徴６１ｄが現れるタイミングｔ_θと超音波画像の更新タイミングｔ_０との差Δｔと、超音波画像更新タイミング８６の周期ＴからＸ線透視像６０に特定の特徴６１ｄが現れる回転式探触子２０１の回転角θの大きさを推定する（ステップＳ３１１）。図１１（ｃ）に示すように、周期Ｔの時間長に対する更新タイミングの周期との差Δｔの割合を１回転（３６０°）に対する回転角θに換算すると回転式探触子２０１の回転角θの大きさが求められる。

表示制御部３０５は、基準超音波画像５０を表示装置３１１に表示する。このとき、ステップＳ３１１で推定した回転角θに基づいて表示方向を補正した状態で基準超音波画像５０を表示する（ステップＳ３１２）。

ステップＳ３０６で取得したＸ線透視像６０と超音波画像５０は、例えば図１１（ｄ）に示すように表示装置３１１に並べて表示される。画像の表示はＸ線透視像６０及び超音波画像５０の取得とともにリアルタイムに更新される。図１１（ｄ）では、表示装置３１１の左画面（左側表示領域）に超音波画像５０が表示され、右画面（右側表示領域）に未知の回転角θの特徴６１ｄが現れたＸ線透視像６０が表示されている。表示制御部３０５は、推定部３３４で未知の回転角θを推定すると、時刻ｔ_０（超音波画像５０の更新タイミング）で取得した基準超音波画像５０を衰退した回転角θに基づいて補正した状態で表示する。例えば、基準位置マーク５７を回転角θだけ回転させる。

また、例えば図１１（ｅ）に示すように、表示装置３１１の左画面（左側表示領域）に超音波画像５０を表示し、右画面（右側表示領域）に被検体１００の断層画像７０等、他のモダリティで予め撮影された断層画像７０を表示してもよい。断層画像７０は被検体１００の上方向を上に表示されるものとする。この場合、第１の実施の形態と同様に表示制御部３０５は、ステップＳ２１０で特定した基準超音波画像５０についても被検体１００の上方向を上に表示する。これにより、超音波画像５０の目的部位５３は、並列表示されている断層画像７０において描出されている目的部位７３と同じ位置関係で観察可能となる。

検査中、図１０のステップＳ３０１〜ステップＳ３１２の処理を繰り返し行うことで、医用画像表示装置３０Ｃは、回転式探触子２０１の位置情報や回転角θもリアルタイムに反映して基準超音波画像５０の表示方向を推定した回転角θに基づいて補正した状態で表示可能となる。

以上、添付図面を参照しながら、本発明に係る医用画像表示装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１、１Ｂ、１Ｃ・・・・・・・・・検査システム
１０・・・・・・・・Ｘ線画像診断装置
１０２・・・・・・・Ｘ線源
１０４・・・・・・・Ｘ線絞り
１０６・・・・・・・寝台
１０８・・・・・・・高電圧発生部
１１０・・・・・・・Ｘ線検出器
１１２・・・・・・・画像処理部
１１４・・・・・・・画像記憶部
１１６・・・・・・・表示部
１１８・・・・・・・制御部
１２０・・・・・・・操作部
２０・・・・・・・・超音波診断装置
２０１・・・・・・・回転式探触子
２０１ａ・・・・・・素子（振動子）
２０１ｂ・・・・・・支持部
２０１ｃ・・・・・・ケーブル
２０１ｄ・・・・・・回転軸
２０２・・・・・・・送信部
２０３・・・・・・・超音波送受信制御部
２０４・・・・・・・受信部
２０５・・・・・・・整相加算部
２０６・・・・・・・断層画像構成部
２０７・・・・・・・白黒スキャンコンバータ
３０、３０Ｂ，３０Ｃ・・・・医用画像表示装置
３０１・・・・・・・画像取得部
３０２・・・・・・・特徴画像データベース
３０３・・・・・・・特徴検出部
３０４、３３４・・・推定部
３０５・・・・・・・表示制御部
３０６・・・・・・・マーク付与部
３０７・・・・・・・断層画像データ記憶部
３０８・・・・・・・探触子位置検出部
３０９・・・・・・・断層画像表示制御部
３１１・・・・・・・表示装置
３２１、３３１・・・特徴検出タイミング記録部
３２２、３３３・・・グラフ描画部
３２３・・・・・・・基準超音波画像特定部
３３２・・・・・・・更新タイミング取得部
５０・・・・・・・・超音波画像
５１・・・・・・・・超音波画像の中心
５３・・・・・・・・目的部位
５５・・・・・・・・画像更新マーク
５７・・・・・・・・基準位置マーク
６０・・・・・・・・Ｘ線透視像
６１ａ、６１ｂ・・・特徴部
６１ｃ・・・・・・・既知回転角θの特徴（特徴部）
６１ｄ・・・・・・・特定の特徴（回転角θは未知）
７０・・・・・・・・断層画像
７１・・・・・・・・腫瘍
７３・・・・・・・・目的部位
８１・・・・・・・・特徴検出タイミンググラフ
８２・・・・・・・・特徴検出タイミング
８５、８５Ａ・・・・タイミンググラフ
８６・・・・・・・・超音波画像更新タイミング
Ｔ・・・・・・・・・周期

Claims (12)

1. スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得する画像取得部と、
   前記Ｘ線透視像に現れる前記回転式探触子の回転角毎の特徴部画像を記憶するデータベースと、
   前記超音波画像の更新タイミングにおいて取得したＸ線透視像に現れる前記回転式探触子の特徴部の形状と前記データベースに記憶された特徴部画像とを照合することにより前記超音波画像に描画された方向を推定する推定部と、
   前記推定部により推定された方向に基づき表示方向を補正した状態で前記超音波画像を表示する表示制御部と、
   を備えることを特徴とする医用画像表示装置。
2. 前記超音波画像の更新タイミングで取得された前記超音波画像にマークを付与するマーク付与部を更に備えることを特徴とする請求項１に記載の医用画像表示装置。
3. スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得する画像取得部と、
   前記Ｘ線透視像に前記回転式探触子の回転角が既知である特定の特徴が現れるタイミングを記録するタイミング記録部と、
   記録したタイミングの周期と、前記既知の回転角の大きさとに基づいて前記回転式探触子が基準回転角にあるときのＸ線透視像を特定し、特定したＸ線透視像と同じタイミングで取得した超音波画像を基準超音波画像として特定する基準超音波画像特定部と、
   特定した基準超音波画像を前記既知の回転角に基づき表示方向を補正した状態で表示する表示制御部と、
   を備えることを特徴とする医用画像表示装置。
4. 前記タイミング記録部により記録される前記回転式探触子の特定の回転角の特徴が現れるタイミングをグラフ化して表示するグラフ描画部を更に備えることを特徴とする請求項３に記載の医用画像表示装置。
5. スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得する画像取得部と、
   前記Ｘ線透視像に前記回転式探触子の特定の特徴が現れるタイミングを検出し時系列に記録するタイミング記録部と、
   超音波画像の更新タイミングを取得する更新タイミング取得部と、
   前記タイミング記録部により記録したタイミングと前記超音波画像の更新タイミングとの差及び周期に基づいて前記超音波画像に描画された方向を推定する推定部と、
   前記更新タイミングで取得した超音波画像を前記推定部により推定された方向に基づき表示方向を補正した状態で表示する表示制御部と、
   を備えることを特徴とする医用画像表示装置。
6. 前記タイミング記録部により記録される前記回転式探触子の特定の回転角の特徴が現れるタイミングと、前記更新タイミング取得部により取得された超音波画像の更新タイミングとをグラフ化して表示するグラフ描画部を更に備えることを特徴とする請求項５に記載の医用画像表示装置。
7. 前記表示制御部は、被検体の上方向を基準方向として前記超音波画像の表示方向を補正して表示することを特徴とする請求項１、請求項３、及び請求項５のいずれかに記載の医用画像表示装置。
8. 予め撮影され被検体内が描出された断層画像データを取得し記憶する断層画像データ記憶部と、
   前記回転式探触子の位置を検出する探触子位置検出器と、
   前記回転式探触子の位置及び前記推定部により推定された方向に基づき、前記断層画像データから前記回転式探触子の位置に該当する断層画像を生成し表示する断層画像データ表示制御部と、を更に備え、
   前記表示制御部は、前記超音波画像と前記断層画像とで被検体内の観察対象部位の位置関係が整合するように前記超音波画像を回転させて表示することを特徴とする請求項１または請求項５のいずれかに記載の医用画像表示装置。
9. 予め撮影され被検体内が描出された断層画像データを取得し記憶する断層画像データ記憶部と、
   前記回転式探触子の位置を検出する探触子位置検出器と、
   前記回転式探触子の位置に基づき、前記断層画像データから前記回転式探触子の位置に該当する断層画像を生成し表示する断層画像データ表示制御部と、を更に備え、
   前記表示制御部は、前記超音波画像と前記断層画像とで被検体内の観察対象部位の位置関係が整合するように前記超音波画像を回転させて表示することを特徴とする請求項３に記載の医用画像表示装置。
10. コンピュータが、
    スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得するステップと、
    前記Ｘ線透視像に現れる前記回転式探触子の回転角毎の特徴部画像をデータベースに記憶するステップと、
    前記超音波画像の更新タイミングにおいて取得したＸ線透視像に現れる前記回転式探触子の特徴部の形状と前記データベースに記憶された特徴部画像とを照合することにより前記超音波画像に描画された方向を推定するステップと、
    推定された方向に基づき表示方向を補正した状態で前記超音波画像を表示するステップと、
    を含むことを特徴とする医用画像表示方法。
11. コンピュータが、
    スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得するステップと、
    前記Ｘ線透視像に前記回転式探触子の回転角が既知である特定の特徴が現れるタイミングを記録するステップと、
    記録したタイミングの周期と、前記既知の回転角の大きさとに基づいて前記回転式探触子が基準回転角にあるときのＸ線透視像を特定し、特定したＸ線透視像と同じタイミングで取得した超音波画像を基準超音波画像として特定するステップと、
    特定した基準超音波画像を前記既知の回転角に基づき表示方向を補正した状態で表示するステップと、
    を含むことを特徴とする医用画像表示方法。
12. コンピュータが、
    スキャン方向を回転させながら被検体に超音波を送受信する回転式探触子により受信した被検体からの反射超音波信号に基づいて構成された超音波画像、及び前記超音波画像の撮像中に得られ前記回転式探触子の少なくとも一部が前記被検体とともに描出されたＸ線透視像を取得するステップと、
    前記Ｘ線透視像に前記回転式探触子の特定の特徴が現れるタイミングを検出し時系列に記録するステップと、
    超音波画像の更新タイミングの情報を取得するステップと、
    前記回転式探触子の特定の特徴が現れるタイミングと前記超音波画像の更新タイミングとの差及び周期に基づいて前記超音波画像に描画された方向を推定するステップと、
    前記更新タイミングで取得した超音波画像を推定された方向に基づき表示方向を補正した状態で表示するステップと、
    を含むことを特徴とする医用画像表示方法。

Images