WO2022202201A1

WO2022202201A1 - 画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム

Info

Publication number: WO2022202201A1
Application number: PCT/JP2022/009240
Authority: WO
Inventors: 克彦清水; 弘之石原; 泰一坂本; 俊祐吉澤; 和浩里見; 義直矢崎
Original assignee: テルモ株式会社
Priority date: 2021-03-25
Filing date: 2022-03-03
Publication date: 2022-09-29
Also published as: JPWO2022202201A1; CN117062571A; US20240013387A1

Abstract

画像処理装置は、生体組織の内腔を移動するセンサを用いて得られたデータセットである断層データを参照して、前記センサの移動方向に直交する前記生体組織の断面を表す断面画像をディスプレイに表示させる画像処理装置であって、前記断層データに対応する空間内の少なくとも１箇所を指定する指定データを取得し、前記断面画像が表示されているときに、前記断面画像における前記少なくとも１箇所に対応する位置に、前記移動方向における前記少なくとも１箇所と前記断面との間の距離によって異なるマークを表示する制御を行う制御部を備える。

Description

画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラム

　本開示は、画像処理装置、画像処理システム、画像表示方法、及び画像処理プログラムに関する。

　特許文献１から特許文献３には、ＵＳ画像システムを用いて心腔又は血管の３次元画像を生成する技術が記載されている。「ＵＳ」は、ultrasoundの略語である。

　特許文献４には、電極付きカテーテルの先端の位置を表す環又は正方形を３次元画像上に表示する技術が記載されている。

米国特許出願公開第２０１０／０２１５２３８号明細書米国特許第６３８５３３２号明細書米国特許第６２５１０７２号明細書特開２０２０－０７８５５１号公報

　心腔内、心臓血管、及び下肢動脈領域などに対してＩＶＵＳを用いる治療が広く行われている。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。ＩＶＵＳとはカテーテル長軸に対して垂直平面の２次元画像を提供するデバイス又は方法のことである。

　現状として、術者は頭の中でＩＶＵＳの２次元画像を積層することで、立体構造を再構築しながら施術を行う必要があり、特に若年層の医師、又は経験の浅い医師にとって障壁がある。そのような障壁を取り除くために、ＩＶＵＳの２次元画像から心腔又は血管などの生体組織の構造を表現する３次元画像を自動生成し、生成した３次元画像を術者に向けて表示することが考えられる。

　昨今、心腔内をアブレーションカテーテルで焼灼することにより、電気的遮断を行う手技が普及している。カテーテルに位置センサを積み、位置センサが心筋組織に触れた際の位置情報を用いて３次元画像を描画する３Ｄマッピングシステムがその手技において主に使用されているが、非常に高価でありコストを要する。ＰＶ又はＳＶＣの円周隔離を行う場合は、どの箇所を焼灼したかをマーキングする操作が求められるが、ＩＶＵＳを使用してこのような操作を完結することができれば、コストを下げられる可能性がある。「ＰＶ」は、pulmonary veinの略語である。「ＳＶＣ」は、superior vena cavaの略語である。

　生体組織の焼灼された箇所など、少なくとも１箇所をマーキングするためのシステムで、単にマークを表示するだけでは、術者などのユーザにとってシステムの有用性が十分であるとはいえない。

　本開示の目的は、生体組織に関連する少なくとも１箇所をマーキングするためのシステムの有用性を向上させることである。

　本開示の一態様としての画像処理装置は、生体組織の内腔を移動するセンサを用いて得られたデータセットである断層データを参照して、前記センサの移動方向に直交する前記生体組織の断面を表す断面画像をディスプレイに表示させる画像処理装置であって、前記断層データに対応する空間内の少なくとも１箇所を指定する指定データを取得し、前記断面画像が表示されているときに、前記断面画像における前記少なくとも１箇所に対応する位置に、前記移動方向における前記少なくとも１箇所と前記断面との間の距離によって異なるマークを表示する制御を行う制御部を備える。

　一実施形態として、前記制御部は、前記距離によって、前記マークの色、明るさ、透過度、模様、大きさ、形状、又は向きを変える。

　一実施形態として、前記制御部は、前記マークを表示する制御を行う際に、前記距離を表示する制御を更に行う。

　一実施形態として、前記制御部は、前記距離が閾値を超える場合は、前記マークを非表示にする。

　一実施形態として、前記制御部は、前記移動方向における前記断面の前後どちらに前記少なくとも１箇所が存在するかによって前記マークを変える。

　一実施形態として、前記少なくとも１箇所は、前記生体組織の焼灼された箇所であり、前記制御部は、前記断面画像が表示されているときに、前記生体組織を焼灼するためのカテーテルと前記少なくとも１箇所との間の距離を表示する制御を更に行う。

　一実施形態として、前記制御部は、前記少なくとも１箇所が１箇所のみの場合は、前記生体組織に挿入されているカテーテルと前記１箇所との間の距離を前記断面画像上で表示する制御、前記少なくとも１箇所が複数箇所の場合は、前記カテーテルと前記複数箇所のうち前記カテーテルに最も近い箇所との間の距離を前記断面画像上で表示する制御を更に行う。

　一実施形態として、前記制御部は、前記少なくとも１箇所が１箇所のみの場合は、前記生体組織に挿入されているカテーテルと前記１箇所とを結ぶ線を前記断面画像上で表示する制御、前記少なくとも１箇所が複数箇所の場合は、前記カテーテルと前記複数箇所のうち前記カテーテルに最も近い箇所とを結ぶ線を前記断面画像上で表示する制御を更に行う。

　一実施形態として、前記制御部は、前記断層データを参照して、前記生体組織を表す３次元データを生成し、生成した３次元データを３次元画像として前記ディスプレイに表示させ、前記少なくとも１箇所が１箇所のみの場合は、前記生体組織に挿入されているカテーテルと前記１箇所との間の距離を前記３次元画像上で表示する制御、前記少なくとも１箇所が複数箇所の場合は、前記カテーテルと前記複数箇所のうち前記カテーテルに最も近い箇所との間の距離を前記３次元画像上で表示する制御を更に行う。

　一実施形態として、前記制御部は、前記断層データを参照して、前記生体組織を表す３次元データを生成し、生成した３次元データを３次元画像として前記ディスプレイに表示させ、前記少なくとも１箇所が１箇所のみの場合は、前記生体組織に挿入されているカテーテルと前記１箇所とを結ぶ線を前記３次元画像上で表示する制御、前記少なくとも１箇所が複数箇所の場合は、前記カテーテルと前記複数箇所のうち前記カテーテルに最も近い箇所とを結ぶ線を前記３次元画像上で表示する制御を更に行う。

　一実施形態として、前記制御部は、前記断面画像上で前記少なくとも１箇所を指定するユーザ操作を受け付ける。

　一実施形態として、前記制御部は、前記センサを用いて新たなデータセットが得られる度に、前記断面画像として、前記センサの位置に対応する断面を表す新たな画像を前記ディスプレイに表示させる。

　本開示の一態様としての画像処理システムは、前記画像処理装置と、前記センサとを備える。

　一実施形態として、前記画像処理システムは、前記ディスプレイを更に備える。

　本開示の一態様としての画像表示方法は、生体組織の内腔を移動するセンサを用いて得られたデータセットである断層データを参照して、前記センサの移動方向に直交する前記生体組織の断面を表す断面画像をディスプレイに表示する画像表示方法であって、コンピュータが、前記断層データに対応する空間内の少なくとも１箇所を指定する指定データを取得し、前記コンピュータが、前記断面画像が表示されているときに、前記断面画像における前記少なくとも１箇所に対応する位置に、前記移動方向における前記少なくとも１箇所と前記断面との間の距離によって異なるマークを表示する制御を行う、というものである。

　本開示の一態様としての画像処理プログラムは、生体組織の内腔を移動するセンサを用いて得られたデータセットである断層データを参照して、前記センサの移動方向に直交する前記生体組織の断面を表す断面画像をディスプレイに表示させるコンピュータに、前記断層データに対応する空間内の少なくとも１箇所を指定する指定データを取得する処理と、前記断面画像が表示されているときに、前記断面画像における前記少なくとも１箇所に対応する位置に、前記移動方向における前記少なくとも１箇所と前記断面との間の距離によって異なるマークを表示する制御を行う処理とを実行させる。

　本開示によれば、生体組織に関連する少なくとも１箇所をマーキングするためのシステムの有用性が向上する。

本開示の実施形態に係る画像処理システムの斜視図である。本開示の実施形態に係る画像処理システムによりディスプレイに表示される３次元画像及び断面画像の例を示す図である。本開示の実施形態に係る画像処理システムにより形成される切断領域の例を示す図である。本開示の実施形態に係る画像処理装置の構成を示すブロック図である。本開示の実施形態に係るプローブ及び駆動ユニットの斜視図である。本開示の実施形態に係る画像処理システムの動作を示すフローチャートである。本開示の実施形態に係る画像処理システムの動作を示すフローチャートである。本開示の実施形態に係る画像処理システムにおいて指定される箇所の例を示す図である。本開示の実施形態に係る画像処理システムにおいて指定される箇所の例を示す図である。本開示の実施形態に係る画像処理システムにおいて指定される箇所の例を示す図である。本開示の実施形態に係る画像処理システムにおいて指定される箇所の例を示す図である。本開示の実施形態に係る画像処理システムの動作を示すフローチャートである。本開示の実施形態において生体組織の断面画像を２値化した結果を示す図である。本開示の実施形態において生体組織の内壁面の点群を抽出した結果を示す図である。本開示の実施形態において生体組織の断面の重心位置を算出した結果を示す図である。本開示の実施形態において生体組織の複数断面の重心位置を算出した結果を示す図である。図１６の結果に対してスムージングを実行した結果を示す図である。本開示の実施形態に係る画像処理システムにおいて指定される箇所の例を示す図である。本開示の実施形態に係る画像処理システムにおいて指定される箇所の例を示す図である。本開示の実施形態に係る画像処理システムによりディスプレイに表示されるマークの例を示す図である。本開示の実施形態に係る画像処理システムの動作を示すフローチャートである。本開示の実施形態の変形例に係る画像処理システムにおいて指定される箇所の例を示す図である。本開示の実施形態の変形例に係る画像処理システムにおいて指定される箇所の例を示す図である。本開示の実施形態の変形例に係る画像処理システムによりディスプレイに表示されるマークの例を示す図である。本開示の実施形態の別の変形例に係る画像処理システムによりディスプレイに表示されるマークの例を示す図である。本開示の実施形態の更なる別の変形例に係る画像処理システムによりディスプレイに表示される３次元画像及び断面画像の例を示す図である。

　以下、本開示の幾つかの実施形態について、図を参照して説明する。

　各図中、同一又は相当する部分には、同一符号を付している。それぞれの実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

　本開示の一実施形態について説明する。

　図１から図４を参照して、本実施形態の概要を説明する。

　本実施形態に係る画像処理装置１１は、生体組織６０の内腔６１を移動するセンサを用いて得られたデータセットである断層データ５１を参照して、センサの移動方向に直交する生体組織６０の断面６４を表す断面画像５４をディスプレイ１６に表示させるコンピュータである。

　画像処理装置１１は、断層データ５１に対応する空間内の少なくとも１箇所をポイントＰｄとして指定する指定データを取得する。図２の例では、生体組織６０の内壁面６５の、カテーテル６３で焼灼された６箇所がポイントＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６として指定されている。

　画像処理装置１１は、断面画像５４が表示されているときに、断面画像５４におけるポイントＰｄに対応する位置に、センサの移動方向におけるポイントＰｄと断面６４との間の距離によって異なるマーク５５を表示する制御を行う。断面画像５４におけるポイントＰｄに対応する位置とは、ポイントＰｄをセンサの移動方向において断面６４と同じ位置にシフトした位置のことである。図２の例では、断面画像５４におけるポイントＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６に対応する位置に、マークＭ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５，Ｍ６がそれぞれ表示されている。マークＭ５，Ｍ６は、ポイントＰ５，Ｐ６が断面６４に存在するため、最も濃い色で表示されている。マークＭ４は、ポイントＰ４がセンサの移動方向において断面６４から距離Ｄｂだけ離れているため、マークＭ５，Ｍ６よりも薄い色で表示されている。マークＭ２，Ｍ３は、ポイントＰ２，Ｐ３がセンサの移動方向において断面６４から距離Ｄｃだけ離れており、距離Ｄｃが距離Ｄｂよりも長いため、最も薄い色で表示されている。マークＭ１は、ポイントＰ１がセンサの移動方向において断面６４から距離Ｄａだけ離れており、距離Ｄａが距離Ｄｂと等しいため、マークＭ４と同じ色で表示されている。

　本実施形態によれば、断層データ５１に対応する空間内の少なくとも１箇所をマーキングするためのシステムで、センサの移動方向における当該箇所の相対位置がユーザにとって直感的に理解できるようになる。したがって、システムの有用性が向上する。

　本実施形態では、画像処理装置１１は、センサを用いて得られたデータセットである断層データ５１を参照して、生体組織６０を表す３次元データ５２を生成及び更新する。画像処理装置１１は、３次元データ５２を３次元画像５３として、断面画像５４とともにディスプレイ１６に表示させる。すなわち、画像処理装置１１は、断層データ５１を参照して、３次元画像５３及び断面画像５４をディスプレイ１６に表示させる。

　画像処理装置１１は、３次元画像５３において生体組織６０の内腔６１を露出させる開口６２を３次元データ５２に形成する。図２の例では、ポイントＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６の全てが見えるように開口６２が形成されている。そして、開口６２の位置に応じて、３次元画像５３を画面に表示する際の視点が調整されている。視点とは、３次元空間に配置される仮想のカメラの位置のことである。

　本実施形態によれば、３次元画像５３において、生体組織６０の構造の一部を切り取ることで、生体組織６０の内腔６１を覗けるようにすることができる。

　生体組織６０は、例えば、血管、又は心臓などの臓器を含む。生体組織６０は、解剖学的に単一の器官又はその一部のみに限らず、複数の器官を跨いで内腔を有する組織も含む。そのような組織の一例として、具体的には、下大静脈の上部から右心房を抜けて上大静脈の下部に至る血管系組織の一部が挙げられる。図２及び図３の例では、生体組織６０は、血管である。

　図２において、Ｚ方向は、センサの移動方向に相当するが、図３に示すように、便宜上、Ｚ方向は、生体組織６０の内腔６１の長手方向に相当するとみなしてもよい。Ｚ方向に直交するＸ方向、並びにＺ方向及びＸ方向に直交するＹ方向は、それぞれ生体組織６０の内腔６１の短手方向に相当するとみなしてもよい。

　図３の例では、画像処理装置１１は、３次元データ５２を用いて生体組織６０の断面Ｃ１，Ｃ２，Ｃ３，Ｃ４それぞれの重心Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置を算出する。画像処理装置１１は、重心Ｂ１，Ｂ２，Ｂ３，Ｂ４の位置を通る１本の線Ｌｂで交わる１対の面を切断面Ｄ１，Ｄ２として設定する。画像処理装置１１は、３次元画像５３において切断面Ｄ１，Ｄ２に挟まれ、生体組織６０の内腔６１を露出させる領域を切断領域６６として３次元データ５２に形成する。３次元画像５３では、切断領域６６が非表示又は透明に設定されることで、図２のような開口６２が形成される。

　図３のように屈曲した血管の３次元モデルの場合、１つの平面をもって３次元モデルを切断して内腔６１を表示すると、正しく血管内を表示し得ないケースがある。本実施形態では、図３のように、血管の重心を捕捉し続けることにより、確実に血管の中を表示し得るように３次元モデルを切断することが可能となる。

　図３では、便宜上、Ｚ方向に直交する生体組織６０の複数断面として、４つの断面Ｃ１，Ｃ２，Ｃ３，Ｃ４を示しているが、重心位置の算出対象となる断面の数は４つに限らず、好適にはＩＶＵＳで取得される断面画像の数と同数である。

　図１を参照して、本実施形態に係る画像処理システム１０の構成を説明する。

　画像処理システム１０は、画像処理装置１１、ケーブル１２、駆動ユニット１３、キーボード１４、マウス１５、及びディスプレイ１６を備える。

　画像処理装置１１は、本実施形態では画像診断に特化した専用のコンピュータであるが、ＰＣなどの汎用のコンピュータでもよい。「ＰＣ」は、personal computerの略語である。

　ケーブル１２は、画像処理装置１１と駆動ユニット１３とを接続するために用いられる。

　駆動ユニット１３は、図５に示すプローブ２０に接続して用いられ、プローブ２０を駆動する装置である。駆動ユニット１３は、ＭＤＵとも呼ばれる。「ＭＤＵ」は、motor drive unitの略語である。プローブ２０は、ＩＶＵＳに適用される。プローブ２０は、ＩＶＵＳカテーテル又は画像診断用カテーテルとも呼ばれる。

　キーボード１４、マウス１５、及びディスプレイ１６は、任意のケーブルを介して、又は無線で画像処理装置１１と接続される。ディスプレイ１６は、例えば、ＬＣＤ、有機ＥＬディスプレイ、又はＨＭＤである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescenceの略語である。「ＨＭＤ」は、head-mounted displayの略語である。

　画像処理システム１０は、オプションとして、接続端子１７及びカートユニット１８を更に備える。

　接続端子１７は、画像処理装置１１と外部機器とを接続するために用いられる。接続端子１７は、例えば、ＵＳＢ端子である。「ＵＳＢ」は、Universal Serial Busの略語である。外部機器は、例えば、磁気ディスクドライブ、光磁気ディスクドライブ、又は光ディスクドライブなどの記録媒体である。

　カートユニット１８は、移動用のキャスタ付きのカートである。カートユニット１８のカート本体には、画像処理装置１１、ケーブル１２、及び駆動ユニット１３が設置される。カートユニット１８の最上部のテーブルには、キーボード１４、マウス１５、及びディスプレイ１６が設置される。

　図５を参照して、本実施形態に係るプローブ２０及び駆動ユニット１３の構成を説明する。

　プローブ２０は、駆動シャフト２１、ハブ２２、シース２３、外管２４、超音波振動子２５、及び中継コネクタ２６を備える。

　駆動シャフト２１は、生体の体腔内に挿入されるシース２３と、シース２３の基端に接続した外管２４とを通り、プローブ２０の基端に設けられたハブ２２の内部まで延びている。駆動シャフト２１は、信号を送受信する超音波振動子２５を先端に有してシース２３及び外管２４内に回転可能に設けられる。中継コネクタ２６は、シース２３及び外管２４を接続する。

　ハブ２２、駆動シャフト２１、及び超音波振動子２５は、それぞれが一体的に軸方向に進退移動するように互いに接続される。そのため、例えば、ハブ２２が先端側に向けて押される操作がなされると、駆動シャフト２１及び超音波振動子２５がシース２３の内部を先端側へ移動する。例えば、ハブ２２が基端側に引かれる操作がなされると、駆動シャフト２１及び超音波振動子２５は、矢印で示すように、シース２３の内部を基端側へ移動する。

　駆動ユニット１３は、スキャナユニット３１、スライドユニット３２、及びボトムカバー３３を備える。

　スキャナユニット３１は、ケーブル１２を介して画像処理装置１１と接続する。スキャナユニット３１は、プローブ２０と接続するプローブ接続部３４と、駆動シャフト２１を回転させる駆動源であるスキャナモータ３５とを備える。

　プローブ接続部３４は、プローブ２０の基端に設けられたハブ２２の差込口３６を介して、プローブ２０と着脱自在に接続する。ハブ２２の内部では、駆動シャフト２１の基端が回転自在に支持されており、スキャナモータ３５の回転力が駆動シャフト２１に伝えられる。また、ケーブル１２を介して駆動シャフト２１と画像処理装置１１との間で信号が送受信される。画像処理装置１１では、駆動シャフト２１から伝わる信号に基づき、生体管腔の断層画像の生成、及び画像処理が行われる。

　スライドユニット３２は、スキャナユニット３１を進退自在に載せており、スキャナユニット３１と機械的かつ電気的に接続している。スライドユニット３２は、プローブクランプ部３７、スライドモータ３８、及びスイッチ群３９を備える。

　プローブクランプ部３７は、プローブ接続部３４よりも先端側でこれと同軸的に配置して設けられており、プローブ接続部３４に接続されるプローブ２０を支持する。

　スライドモータ３８は、軸方向の駆動力を生じさせる駆動源である。スライドモータ３８の駆動によってスキャナユニット３１が進退動し、それに伴って駆動シャフト２１が軸方向に進退動する。スライドモータ３８は、例えば、サーボモータである。

　スイッチ群３９には、例えば、スキャナユニット３１の進退操作の際に押されるフォワードスイッチ及びプルバックスイッチ、並びに画像描写の開始及び終了の際に押されるスキャンスイッチが含まれる。ここでの例に限定されず、必要に応じて種々のスイッチがスイッチ群３９に含まれる。

　フォワードスイッチが押されると、スライドモータ３８が正回転し、スキャナユニット３１が前進する。一方、プルバックスイッチが押されると、スライドモータ３８が逆回転し、スキャナユニット３１が後退する。

　スキャンスイッチが押されると画像描写が開始され、スキャナモータ３５が駆動するとともに、スライドモータ３８が駆動してスキャナユニット３１を後退させていく。術者などのユーザは、事前にプローブ２０をスキャナユニット３１に接続しておき、画像描写開始とともに駆動シャフト２１が回転しつつ軸方向基端側に移動するようにする。スキャナモータ３５及びスライドモータ３８は、スキャンスイッチが再度押されると停止し、画像描写が終了する。

　ボトムカバー３３は、スライドユニット３２の底面及び底面側の側面全周を覆っており、スライドユニット３２の底面に対して近接離間自在である。

　図４を参照して、画像処理装置１１の構成を説明する。

　画像処理装置１１は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。

　制御部４１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部４１は、画像処理装置１１を含む画像処理システム１０の各部を制御しながら、画像処理装置１１の動作に関わる処理を実行する。

　記憶部４２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ又はＲＯＭである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。記憶部４２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部４２には、断層データ５１など、画像処理装置１１の動作に用いられるデータと、３次元データ５２及び３次元画像５３など、画像処理装置１１の動作によって得られたデータとが記憶される。

　通信部４３は、少なくとも１つの通信用インタフェースを含む。通信用インタフェースは、例えば、有線ＬＡＮインタフェース、無線ＬＡＮインタフェース、又はＩＶＵＳの信号を受信及びＡ／Ｄ変換する画像診断用インタフェースである。「ＬＡＮ」は、local area networkの略語である。「Ａ／Ｄ」は、analog to digitalの略語である。通信部４３は、画像処理装置１１の動作に用いられるデータを受信し、また画像処理装置１１の動作によって得られるデータを送信する。本実施形態では、通信部４３に含まれる画像診断用インタフェースに駆動ユニット１３が接続される。

　入力部４４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部４４は、画像処理装置１１の動作に用いられるデータを入力する操作などのユーザの操作を受け付ける。本実施形態では、入力部４４に含まれるＵＳＢインタフェース、又は近距離無線通信に対応したインタフェースにキーボード１４及びマウス１５が接続される。タッチスクリーンがディスプレイ１６と一体的に設けられている場合、入力部４４に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続されてもよい。

　出力部４５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。出力部４５は、画像処理装置１１の動作によって得られるデータを出力する。本実施形態では、出力部４５に含まれるＵＳＢインタフェース又はＨＤＭＩ（登録商標）インタフェースにディスプレイ１６が接続される。

　画像処理装置１１の機能は、本実施形態に係る画像処理プログラムを、制御部４１としてのプロセッサで実行することにより実現される。すなわち、画像処理装置１１の機能は、ソフトウェアにより実現される。画像処理プログラムは、画像処理装置１１の動作をコンピュータに実行させることで、コンピュータを画像処理装置１１として機能させる。すなわち、コンピュータは、画像処理プログラムに従って画像処理装置１１の動作を実行することにより画像処理装置１１として機能する。

　プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。

　コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものを含む。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。

　画像処理装置１１の一部又は全ての機能が、制御部４１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、画像処理装置１１の一部又は全ての機能が、ハードウェアにより実現されてもよい。

　図６を参照して、本実施形態に係る画像処理システム１０の動作を説明する。画像処理システム１０の動作は、本実施形態に係る画像表示方法に相当する。

　図６のフローの開始前に、ユーザによって、プローブ２０がプライミングされる。その後、プローブ２０が駆動ユニット１３のプローブ接続部３４及びプローブクランプ部３７に嵌め込まれ、駆動ユニット１３に接続及び固定される。そして、プローブ２０が血管又は心臓などの生体組織６０内の目的部位まで挿入される。

　ステップＳ１０１において、スイッチ群３９に含まれるスキャンスイッチが押され、更にスイッチ群３９に含まれるプルバックスイッチが押されることで、いわゆるプルバック操作が行われる。プローブ２０は、生体組織６０の内部で、プルバック操作によって軸方向に後退する超音波振動子２５により超音波を送信する。超音波振動子２５は、生体組織６０の内部を移動しながら放射線状に超音波を送信する。超音波振動子２５は、送信した超音波の反射波を受信する。プローブ２０は、超音波振動子２５により受信した反射波の信号を画像処理装置１１に入力する。画像処理装置１１の制御部４１は、入力された信号を処理して生体組織６０の断面画像を順次生成することで、複数の断面画像を含む断層データ５１を取得する。

　具体的には、プローブ２０は、生体組織６０の内部で超音波振動子２５を周方向に回転させながら、かつ軸方向に移動させながら、超音波振動子２５により、回転中心から外側に向かう複数方向に超音波を送信する。プローブ２０は、生体組織６０の内部で複数方向のそれぞれに存在する反射物からの反射波を超音波振動子２５により受信する。プローブ２０は、受信した反射波の信号を、駆動ユニット１３及びケーブル１２を介して画像処理装置１１に送信する。画像処理装置１１の通信部４３は、プローブ２０から送信された信号を受信する。通信部４３は、受信した信号をＡ／Ｄ変換する。通信部４３は、Ａ／Ｄ変換した信号を制御部４１に入力する。制御部４１は、入力された信号を処理して、超音波振動子２５の超音波の送信方向に存在する反射物からの反射波の強度値分布を算出する。制御部４１は、算出した強度値分布に相当する輝度値分布を持つ２次元画像を生体組織６０の断面画像として順次生成することで、断面画像のデータセットである断層データ５１を取得する。制御部４１は、取得した断層データ５１を記憶部４２に記憶させる。

　本実施形態において、超音波振動子２５が受信する反射波の信号は、断層データ５１の生データに相当し、画像処理装置１１が反射波の信号を処理して生成する断面画像は、断層データ５１の加工データに相当する。

　本実施形態の一変形例として、画像処理装置１１の制御部４１は、プローブ２０から入力された信号をそのまま断層データ５１として記憶部４２に記憶させてもよい。あるいは、制御部４１は、プローブ２０から入力された信号を処理して算出した反射波の強度値分布を示すデータを断層データ５１として記憶部４２に記憶させてもよい。すなわち、断層データ５１は、生体組織６０の断面画像のデータセットに限られず、超音波振動子２５の各移動位置における生体組織６０の断面を何らかの形式で表すデータであればよい。

　本実施形態の一変形例として、周方向に回転しながら複数方向に超音波を送信する超音波振動子２５の代わりに、回転することなく複数方向に超音波を送信する超音波振動子を用いてもよい。

　本実施形態の一変形例として、断層データ５１は、ＩＶＵＳを用いて取得される代わりに、ＯＦＤＩ又はＯＣＴを用いて取得されてもよい。「ＯＦＤＩ」は、optical frequency domain imagingの略語である。「ＯＣＴ」は、optical coherence tomographyの略語である。ＯＦＤＩ又はＯＣＴが用いられる場合、生体組織６０の内腔６１を移動しながら断層データ５１を取得するセンサとして、生体組織６０の内腔６１で超音波を送信して断層データ５１を取得する超音波振動子２５の代わりに、生体組織６０の内腔６１で光を放射して断層データ５１を取得するセンサが用いられる。

　本実施形態の一変形例として、画像処理装置１１が生体組織６０の断面画像のデータセットを生成する代わりに、他の装置が同様のデータセットを生成し、画像処理装置１１はそのデータセットを当該他の装置から取得してもよい。すなわち、画像処理装置１１の制御部４１が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成する代わりに、他の装置が、ＩＶＵＳの信号を処理して生体組織６０の断面画像を生成し、生成した断面画像を画像処理装置１１に入力してもよい。

　ステップＳ１０２において、画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を生成する。すなわち、制御部４１は、センサによって取得された断層データ５１に基づいて３次元データ５２を生成する。ここで、既に生成済みの３次元データ５２が存在する場合、全ての３次元データ５２を一から生成し直すのではなく、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１０３における３次元画像５３のリアルタイム性を向上させることができる。

　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像を積層して３次元化することで、生体組織６０の３次元データ５２を生成する。３次元化の手法としては、サーフェスレンダリング又はボリュームレンダリングなどのレンダリング手法、並びにそれに付随した、環境マッピングを含むテクスチャマッピング、及びバンプマッピングなどの種々の処理のうち任意の手法が用いられる。制御部４１は、生成した３次元データ５２を記憶部４２に記憶させる。

　アブレーションカテーテルなど、ＩＶＵＳカテーテルとは別のカテーテル６３が生体組織６０に挿入されている場合、断層データ５１には、生体組織６０のデータと同じように、カテーテル６３のデータが含まれている。そのため、ステップＳ１０２において、制御部４１により生成される３次元データ５２にも、生体組織６０のデータと同じように、カテーテル６３のデータが含まれる。

　画像処理装置１１の制御部４１は、ステップＳ１０１で取得した断層データ５１に含まれる断面画像のピクセル群を２つ以上のクラスに分類する。これら２つ以上のクラスには、少なくとも生体組織６０が属する「組織」のクラスと、カテーテル６３が属する「カテーテル」のクラスとが含まれ、「血球」のクラス、ガイドワイヤなど、「カテーテル」以外の「医療器具」のクラス、留置ステントなどの「留置物」のクラス、又は石灰若しくはプラークなどの「病変」のクラスが更に含まれていてもよい。分類方法としては、任意の方法を用いてよいが、本実施形態では、学習済みモデルによって断面画像のピクセル群を分類する方法が用いられる。学習済みモデルは、事前に機械学習を行うことによって、サンプルとなるＩＶＵＳの断面画像から、各クラスに該当する領域を検出できるように調教されている。

　ステップＳ１０３において、画像処理装置１１の制御部４１は、ステップＳ１０２で生成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。この時点では、制御部４１は、３次元画像５３を表示させる角度を任意の角度に設定してよい。制御部４１は、ステップＳ１０１で取得した断層データ５１に含まれる最新の断面画像５４を３次元画像５３とともにディスプレイ１６に表示させる。

　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元データ５２から３次元画像５３を生成する。制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像のうち、最新の断面画像５４と、生成した３次元画像５３とを、出力部４５を介してディスプレイ１６に表示させる。

　図７を参照して、ステップＳ１０３で更に実行される処理の手順を説明する。

　断層データ５１に対応する空間内の少なくとも１箇所がポイントＰｄとして指定済みである場合は、ステップＳ３０１及びステップＳ３０２の処理が実行される。指定済み箇所がない場合は、ステップＳ３０１及びステップＳ３０２の処理はスキップされる。

　ステップＳ３０１において、画像処理装置１１の制御部４１は、センサの移動方向における、ポイントＰｄから、断面画像５４で表された生体組織６０の断面６４までの距離を算出する。

　ステップＳ３０２において、画像処理装置１１の制御部４１は、断面画像５４におけるポイントＰｄに対応する位置に、ステップＳ３０１で算出した距離によって異なるマーク５５を表示する制御を行う。制御部４１は、本実施形態では、算出した距離によって、マーク５５の色を変えるが、色とともに、又は色の代わりに、明るさ、透過度、模様、大きさ、形状、向き、又はこれらの任意の組合せを変えてもよい。例えば、ポイントＰｄが断面６４に近ければマーク５５を大きくし、離れていればマーク５５を小さくしてもよい。あるいは、ポイントＰｄが断面６４に存在していればマーク５５を矩形、別の断面に存在していればマーク５５を円形など、矩形以外の形状にしてもよい。あるいは、ポイントＰｄが断面６４に存在していればマーク５５を白枠で囲うか、又は点滅させてもよい。これらの例によれば、１画面で、過去の焼灼位置がどの程度離れているのか、及びどの角度方向を既に焼灼しているのかを明確にすることができる。

　図２の例では、ポイントＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５が指定済みであるとすると、画像処理装置１１の制御部４１は、ポイントＰ１について距離Ｄａ、ポイントＰ２，Ｐ３について距離Ｄｃ、ポイントＰ４について距離Ｄｂ、ポイントＰ５について距離０を算出する。距離Ｄａが距離Ｄｂと等しく、距離Ｄｃが距離Ｄｂよりも長いとすると、制御部４１は、断面画像５４におけるポイントＰ５に対応する位置に、最も濃い色のマークＭ５、断面画像５４におけるポイントＰ１，Ｐ４に対応する位置に、マークＭ５よりも薄い色のマークＭ１，Ｍ４、断面画像５４におけるポイントＰ２，Ｐ３に対応する位置に、最も薄い色のマークＭ２，Ｍ３を表示する制御を行う。

　本実施形態の一変形例として、画像処理装置１１の制御部４１は、マーク５５を表示する制御を行う際に、センサの移動方向におけるポイントＰｄと断面６４との間の距離を表示する制御を更に行ってもよい。表示される距離の単位は、例えば、ミリメートルである。図２の例では、制御部４１は、マークＭ１の隣に距離Ｄａ、マークＭ２，Ｍ３の隣に距離Ｄｃ、マークＭ４の隣に距離Ｄｂを表示する制御を行ってもよい。

　本実施形態の一変形例として、画像処理装置１１の制御部４１は、センサの移動方向におけるポイントＰｄと断面６４との間の距離が閾値を超える場合は、マーク５５を非表示にしてもよい。図２の例では、閾値が距離Ｄｃよりも小さいとすると、制御部４１は、マークＭ２，Ｍ３を非表示にしてもよい。

　本実施形態の一変形例として、画像処理装置１１の制御部４１は、センサの移動方向における断面６４の前後どちらにポイントＰｄが存在するかによってマーク５５を変えてもよい。図２の例では、ポイントＰ１は、センサの移動方向における断面６４の前方、すなわち、断面６４の上に存在する。ポイントＰ２，Ｐ３，Ｐ４は、センサの移動方向における断面６４の後方、すなわち、断面６４の下に存在する。そのため、制御部４１は、マークＭ１の色、明るさ、透過度、模様、大きさ、形状、向き、又はこれらの任意の組合せをマークＭ２，Ｍ３，Ｍ４とは別のものに設定してもよい。例えば、マークＭ１を上が凸の三角形、マークＭ２，Ｍ３，Ｍ４を下が凸の三角形にしてもよい。マークＭ１の色をマークＭ２，Ｍ３，Ｍ４とは別の色に設定する場合は、距離に応じた違いも確保できるように色を設定してもよい。例えば、マークＭ１の色を赤色、マークＭ２，Ｍ３，Ｍ４の色を青色に設定するのであれば、マークＭ１の赤色の濃さをマークＭ４の青色の濃さと同程度、マークＭ２，Ｍ３の青色の濃さをマークＭ４の青色よりも薄く設定してもよい。これらの例によれば、１画面で、過去の焼灼位置が上下どちらの方向にどの程度離れているのかを明確にすることができる。

　本実施形態の一変形例として、画像処理装置１１の制御部４１は、カテーテル６３とポイントＰｄとの間の距離を表示する制御を更に行ってもよい。表示される距離の単位は、例えば、ミリメートルである。表示される距離は、平面上の距離でもよいが、３次元空間内の距離、すなわち、実際の距離である。図２の例では、制御部４１は、カテーテル６３から最短距離のポイントＰ５の隣に、カテーテル６３からポイントＰ５までの距離を表示する制御を行ってもよい。制御部４１は、断面画像５４におけるカテーテル６３の先端に対応する位置に、マーク５５とは異なるマークを表示する制御を更に行ってもよい。

　ステップＳ３０３において、画像処理装置１１の制御部４１は、カテーテル６３が生体組織６０の内壁面６５に接触しているかどうかを判定する。具体的には、制御部４１は、断面画像５４を解析して、断面画像５４内の生体組織６０及びカテーテル６３を検出する。そして、制御部４１は、生体組織６０とカテーテル６３の先端との間の距離を計測することで、生体組織６０とカテーテル６３の先端とが接触しているかどうかを判定する。あるいは、制御部４１は、３次元データ５２を解析して、３次元データ５２に含まれるカテーテル６３の先端を検出する。そして、制御部４１は、生体組織６０とカテーテル６３の先端との距離を計測することで、生体組織６０とカテーテル６３の先端とが接触しているかどうかを判定する。制御部４１は、カテーテル６３の先端に設けられた電極を用いてカテーテル６３の先端が生体組織６０の内壁面６５に接触しているかどうかを判定する外部システムから、通信部４３又は入力部４４を介して、カテーテル６３の先端が接触している位置を示す位置データの入力を受けてもよい。そして、制御部４１は、入力された位置データを参照して、断面画像５４又は３次元データ５２の解析結果を補正してもよい。

　ステップＳ３０３の処理はＡＩを用いて実行されてもよい。「ＡＩ」は、artificial intelligenceの略語である。本実施形態の一変形例として、ステップＳ３０３の処理が実行される代わりに、カテーテル６３が生体組織６０の内壁面６５に接触しているかどうかを人間が判定してもよい。

　カテーテル６３が生体組織６０の内壁面６５に接触していると判定された場合は、ステップＳ３０４及びステップＳ３０５の処理が実行される。カテーテル６３が生体組織６０の内壁面６５に接触していないと判定された場合は、ステップＳ３０４及びステップＳ３０５の処理はスキップされる。

　ステップＳ３０４において、画像処理装置１１の制御部４１は、生体組織６０の内壁面６５の、カテーテル６３が接触している箇所をポイントＰｄとして指定する指定データを取得する。この時点よりも前から断層データ５１に対応する空間内の少なくとも１箇所がポイントＰｄとして指定済みである場合は、ポイントＰｄとして指定された箇所が１箇所追加されることになる。制御部４１は、本実施形態では、断面画像５４上で少なくとも１箇所をポイントＰｄとして指定するユーザ操作を受け付けることで、ポイントＰｄを指定するデータを指定データとして取得するが、ステップＳ３０３でカテーテル６３の先端が接触している位置を自動的にポイントＰｄとして検出することで、ポイントＰｄを指定するデータを指定データとして取得してもよい。

　ステップＳ３０５において、画像処理装置１１の制御部４１は、断面画像５４における、ステップＳ３０４で取得した指定データで指定された箇所に対応する位置に新たなマークを表示する制御を行う。

　図２の例では、ポイントＰ６が焼灼されたとすると、画像処理装置１１の制御部４１は、ポイントＰ６を指定するデータを指定データとして取得する。制御部４１は、断面画像５４におけるポイントＰ６に対応する位置に、マークＭ５と同じ色のマークＭ６を表示する制御を行う。

　本実施形態では、画像処理装置１１の制御部４１は、センサを用いて新たなデータセットが得られる度に、断面画像５４として、センサの位置に対応する断面６４を表す新たな画像をディスプレイ１６に表示させる。そのため、プルバック操作によってセンサを移動させていくと、センサの移動方向におけるポイントＰｄから断面６４までの距離が変化し、この距離の変化に伴ってマーク５５も変化していく。ユーザは、このマーク５５の変化を確認することで、プルバック操作によってセンサがポイントＰｄに近づいていく感覚、又はセンサがポイントＰｄから離れていく感覚を得ることができる。

　本実施形態の一変形例として、生体組織６０の内壁面６５の、カテーテル６３で焼灼された箇所以外の箇所がマーキングされてもよい。すなわち、ポイントＰｄは、アブレーションポイントに限らない。例えば、生体組織６０が血管であるとすると、図８に示すように、血管の分岐７２の付け根がポイントＰｄとして指定されてもよい。あるいは、図９に示すように、血管にできた動脈瘤７４の付け根がポイントＰｄとして指定されてもよい。あるいは、図１０に示すように、神経７５の血管に交差する箇所がポイントＰｄとして指定されてもよい。あるいは、図１１に示すように、血管の周辺にできた腫瘍７６の１箇所がポイントＰｄとして指定されてもよい。

　図８において、上側は、実際に断面画像５４としてディスプレイ１６に表示される血管の各横断面の画像を示しており、下側は、血管の縦断面の模式図である。この模式図において、各点線は、断面６４としての各横断面の位置を示している。図９についても、図８と同様である。図１０は、血管の縦断面の模式図である。図１１についても、図１０と同様である。

　図８から図１１の例では、センサの移動方向におけるポイントＰｄから断面６４までの距離によって、マーク５５の大きさが変わるとする。図８の例では、ユーザは、ステント７１を分岐７２にかからないように一定の距離を置いて留置したいのであれば、プルバック操作を行いながらマーク５５の大きさの変化を確認することで、ステント７１を留置すべき位置を簡単に特定することができる。図９の例では、ユーザは、ステントグラフト７３を、動脈瘤７４をカバーするように一定の距離を跨いで留置したいのであれば、プルバック操作を行いながらマーク５５の大きさの変化を確認することで、ステントグラフト７３を留置すべき位置を簡単に特定することができる。一変形例として、ユーザは、ステントグラフト７３の穴と血管の分岐とを一致させてステントグラフト７３を留置したいのであれば、プルバック操作を行いながらマーク５５の大きさの変化を確認することで、ステントグラフト７３を留置すべき位置を簡単に特定することができる。この例によれば、ステントグラフト７３を置く位置の、分岐からの距離及び方向も簡単に確認することができる。図１０の例では、ユーザは、血管と交差する神経７５を避けてアブレーションを行いたいか、又は神経７５の周辺のアブレーションを行いたいのであれば、プルバック操作を行いながらマーク５５の大きさの変化を確認することで、アブレーションを行うべき位置を簡単に特定することができる。神経７５は、血管と交差する別の血管であってもよい。図１１の例では、ユーザは、血管周辺にある腫瘍７６から一定の距離をおいて薬を打ちたいのであれば、プルバック操作を行いながらマーク５５の大きさの変化を確認することで、薬を打つべき位置を簡単に特定することができる。いずれの例においても、センサの移動方向におけるポイントＰｄから断面６４までの距離を数値で表示してもよい。あるいは、センサの移動方向におけるポイントＰｄから断面６４までの距離が目標の距離になったときに、マーク５５の色などの表示のしかたを変えてもよいし、又はマーク５５を非表示にしてもよい。

　ステップＳ１０４において、ユーザの変更操作として、３次元画像５３を表示させる角度を設定する操作があれば、ステップＳ１０５の処理が実行される。ユーザの変更操作がなければ、ステップＳ１０６の処理が実行される。

　ステップＳ１０５において、画像処理装置１１の制御部４１は、３次元画像５３を表示させる角度を設定する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３を表示させる角度を、設定された角度に調整する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０５で設定された角度で３次元画像５３をディスプレイ１６に表示させる。

　具体的には、画像処理装置１１の制御部４１は、ディスプレイ１６に表示されている３次元画像５３をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて回転させる操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、ユーザの操作に応じてインタラクティブに調整する。あるいは、制御部４１は、３次元画像５３を表示させる角度の数値をユーザがキーボード１４、マウス１５、又はディスプレイ１６と一体的に設けられたタッチスクリーンを用いて入力する操作を、入力部４４を介して受け付ける。制御部４１は、３次元画像５３をディスプレイ１６に表示させる角度を、入力された数値に合わせて調整する。

　ステップＳ１０６において、断層データ５１の更新があれば、ステップＳ１０７及びステップＳ１０８の処理が実行される。断層データ５１の更新がなければ、ステップＳ１０４において、ユーザの変更操作の有無が再度確認される。

　ステップＳ１０７において、画像処理装置１１の制御部４１は、ステップＳ１０１の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像５４を新たに生成することで、少なくとも１つの新たな断面画像５４を含む断層データ５１を取得する。

　ステップＳ１０８において、画像処理装置１１の制御部４１は、ステップＳ１０７で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。すなわち、制御部４１は、センサによって取得された断層データ５１に基づいて３次元データ５２を更新する。そして、ステップＳ１０３において、制御部４１は、ステップＳ１０８で更新した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。制御部４１は、ステップＳ１０７で取得した断層データ５１に含まれる最新の断面画像５４を３次元画像５３とともにディスプレイ１６に表示させる。ステップＳ１０８においては、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、ステップＳ１０８において、３次元画像５３のリアルタイム性を向上させることができる。

　上述のように、本実施形態では、画像処理装置１１の制御部４１は、生体組織６０の内腔６１を移動するセンサを用いて得られたデータセットである断層データ５１を参照して、センサの移動方向に直交する生体組織６０の断面６４を表す断面画像５４をディスプレイ１６に表示させる。制御部４１は、断層データ５１に対応する空間内の少なくとも１箇所をポイントＰｄとして指定する指定データを取得する。制御部４１は、断面画像５４が表示されているときに、断面画像５４におけるポイントＰｄに対応する位置に、センサの移動方向におけるポイントＰｄと断面６４との間の距離によって異なるマーク５５を表示する制御を行う。したがって、本実施形態によれば、生体組織６０に関連するポイントＰｄをマーキングするためのシステムの有用性が向上する。

　本実施形態によれば、アブレーション手技をガイドし、焼灼点をマーキングすることができる。アブレーションポイントを断面画像５４で確認することで、３次元画像５３で確認する場合に比べて、細かく、かつ正確な情報を知ることができる。円周隔離を同一平面上で行うのではなく、ＩＶＵＳカテーテルの軸に対して斜めに行うことがあるが、本実施形態では、そのような場合でも全てのアブレーションポイントを確認することができる。しかも、各アブレーションポイントが、断面画像５４で表されている断面６４にあるのか、また断面６４になければ、どれくらい離れているのかを確認することができる。

　本実施形態では、断層データ５１は、超音波画像ごとに、超音波画像上の各ピクセルを「組織」、「血球」又は「内腔」、及びＩＶＵＳカテーテル以外の「カテーテル」などのクラスに分類し、クラスごとに、ピクセル群をセンサの移動方向に積層したボリュームデータをデータセットとして含んでいる。このボリュームデータは、ボクセル情報に相当する。指定データとして、ポイントＰｄの位置を示すデータも、「組織」、「血球」又は「内腔」、及び「カテーテル」などのクラスとは別に「マーク箇所」というクラスのボリュームデータとしてデータセットの中に組み込まれ、そのボリュームデータに基づいてマーク５５が表示される。後述するように、重心からのベクトルを求めてマーク箇所を調整する場合、ベクトル算出後は、「マーク箇所」としてポイントＰｄの位置を示すデータそのものではなく、ベクトル、すなわち、向きを示すデータがデータセットの中に組み込まれてもよい。

　本実施形態では、ポイントＰｄを指定する方法として、術者などのユーザが２次元画像上でポイントＰｄの位置を指定する方法が用いられる。例えば、ユーザがマウス１５により２次元画像上でポイントＰｄをクリックする方法が用いられる。本実施形態の一変形例として、ユーザが３次元画像５３上でポイントＰｄの位置を指定する方法が用いられてもよい。例えば、ユーザがマウス１５により３次元画像５３上でポイントＰｄをクリックする方法が用いられてもよい。あるいは、アブレーションカテーテルがコンタクトしている領域を、焼灼が実行されたという情報に基づいて自動的にポイントＰｄとして指定する方法が用いられてもよい。焼灼が実行されたという情報は、手動で画像処理装置１１に入力されてもよいし、又はアブレーションカテーテルを制御する装置から画像処理装置１１に入力されてもよい。いずれの変形例においても、２次元座標又は３次元座標で１点が指定される場合は、指定された点を中心とした一定の範囲が１箇所としてマーキングされる。ある点を中心とする１つの範囲が指定される場合は、指定された範囲が１箇所としてマーキングされる。例えば、円状又は球状のポインタで一定の大きさの範囲がアブレーションポイントとして指定されてよい。センサの移動方向におけるポイントＰｄと断面６４との間の距離としては、指定された範囲の中心から断面６４までの距離が算出されてよい。

　図１２を参照して、本実施形態に係る画像処理システム１０の動作を更に説明する。

　ステップＳ１１１において、ユーザの設定操作として、切断領域６６を設定する操作があれば、ステップＳ１１２の処理が実行される。

　ステップＳ１１２において、画像処理装置１１の制御部４１は、切断領域６６を設定する操作を、入力部４４を介して受け付ける。

　ステップＳ１１３において、画像処理装置１１の制御部４１は、記憶部４２に記憶された最新の３次元データ５２を用いて生体組織６０の内腔６１の短手方向の複数断面の重心位置を算出する。最新の３次元データ５２とは、ステップＳ１０８の処理が実行されていなければ、ステップＳ１０２で生成された３次元データ５２のことであり、ステップＳ１０８の処理が実行されていれば、ステップＳ１０８で更新された３次元データ５２のことである。ここで、既に生成済みの３次元データ５２が存在する場合、３次元データ５２を一から全て生成し直すのではなく、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、後のステップＳ１１７における３次元画像５３のリアルタイム性を向上させることができる。

　具体的には、画像処理装置１１の制御部４１は、図１３に示すように、ステップＳ１０１で生成した複数の断面画像のそれぞれを、ステップＳ１０７で対応する新たな断面画像５４を生成していれば、その新たな断面画像５４に置き換えた上で２値化する。制御部４１は、図１４に示すように、２値化した断面画像から生体組織６０の内壁面６５の点群を抽出する。例えば、制御部４１は、ｒ軸を横軸、θ軸を縦軸とする断面画像の縦方向に沿って主血管の内壁面に該当する点を１つずつ抽出することで、血管の内壁面の点群を抽出する。制御部４１は、単に、抽出した内壁面の点群の重心を求めてもよいが、その場合、点群が内壁面に亘って均一にサンプリングされないため、重心位置にズレが生じる。そこで、本実施形態では、制御部４１は、抽出した内壁面の点群の凸包を算出し、以下のように多角形の重心を求める式を用いて重心位置Ｃ_ｎ＝（Ｃ_ｘ，Ｃ_ｙ）を算出する。ただし、以下の式においては、図１４に示すような内壁面の点群としてｎ個の頂点（ｘ_０，ｙ_０），（ｘ_１，ｙ_１），・・・，（ｘ_ｎ－１，ｙ_ｎ－１）が反時計回りに凸包上に存在するものとし、（ｘ_ｎ，ｙ_ｎ）は（ｘ_０，ｙ_０）とみなす。

　結果として得られる重心位置を図１５に示す。図１５において、点Ｃｎは、断面画像の中心である。点Ｂｐは、内壁面の点群の重心である。点Ｂｖは、多角形の頂点の重心である。点Ｂｘは、凸包としての多角形の重心である。

　血管の重心位置を算出する手法として、凸包としての多角形の重心位置を算出する手法とは別の手法が用いられてもよい。例えば、２値化されていない元の断面画像において、主血管に収まる最大円の中心位置を重心位置として算出する手法が用いられてもよい。あるいは、ｒ軸を横軸、θ軸を縦軸とする２値化された断面画像において、主血管領域のピクセルの平均位置を重心位置として算出する手法が用いられてもよい。生体組織６０が血管でない場合についても、これらと同様の手法を用いることができる。

　ステップＳ１１４において、画像処理装置１１の制御部４１は、ステップＳ１１３の重心位置の算出結果に対してスムージングを実行する。

　図１６に示すように、重心位置の算出結果を時間関数として見た場合、拍動の影響が大きく生じることがわかる。そこで、本実施形態では、画像処理装置１１の制御部４１は、図１７に破線で示すように、移動平均を用いることで重心位置の算出結果に対してスムージングを実行する。

　スムージングの手法として、移動平均とは別の手法が用いられてもよい。例えば、指数平滑法、カーネル法、局所回帰、Ramer-Douglas-Peuckerアルゴリズム、サビツキーゴーレイ法、平滑化スプライン、又はＳＧＭが用いられてもよい。あるいは、高速フーリエ変換を実行してから高周波成分を除去する手法が用いられてもよい。あるいは、カルマンフィルタ、又はバターワースフィルタ、チェビシェフフィルタ、デジタルフィルタ、楕円フィルタ、若しくはＫＺフィルタなどのローパスフィルタが用いられてもよい。「ＳＧＭ」は、stretched grid methodの略語である。「ＫＺ」は、Kolmogorov-Zurbenkoの略語である。

　単にスムージングを実行すると、重心位置が組織の中に入ってしまう場合がある。その場合、制御部４１は、Ｚ方向における、Ｚ方向に直交する生体組織６０の複数断面の位置に応じて重心位置の算出結果を分割し、分割した算出結果ごとにスムージングを実行してもよい。すなわち、制御部４１は、図１７に破線で示すような重心位置の曲線が組織領域に重なった場合、重心位置の曲線を複数の区間に分割し、区間ごとに個別のスムージングを実行してもよい。あるいは、制御部４１は、Ｚ方向における、Ｚ方向に直交する生体組織６０の複数断面の位置に応じて重心位置の算出結果に対して実行するスムージングの度合いを調整してもよい。すなわち、制御部４１は、図１７に破線で示すような重心位置の曲線が組織領域に重なった場合、重なった点を含む一部の区間に対して実行するスムージングの度合いを減少させてもよい。

　ステップＳ１１５において、画像処理装置１１の制御部４１は、図３に示したように、ステップＳ１１３で算出した重心位置を通る１本の線Ｌｂで交わる２つの平面を切断面Ｄ１，Ｄ２として設定する。本実施形態では、制御部４１は、ステップＳ１１４で重心位置の算出結果に対してスムージングを実行した上で切断面Ｄ１，Ｄ２を設定するが、ステップＳ１１４の処理は省略してもよい。

　具体的には、画像処理装置１１の制御部４１は、ステップＳ１１４のスムージングの結果として得られた重心位置の曲線を線Ｌｂとして設定する。制御部４１は、設定した線Ｌｂで交わる１対の面を切断面Ｄ１，Ｄ２として設定する。制御部４１は、記憶部４２に記憶された最新の３次元データ５２において、生体組織６０の切断面Ｄ１，Ｄ２と交差する３次元座標を、３次元画像５３において生体組織６０の内腔６１を露出させる開口６２の縁の３次元座標として特定する。制御部４１は、特定した３次元座標を記憶部４２に記憶させる。

　ステップＳ１１６において、画像処理装置１１の制御部４１は、３次元画像５３において切断面Ｄ１，Ｄ２に挟まれ、生体組織６０の内腔６１を露出させる領域を切断領域６６として３次元データ５２に形成する。

　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された最新の３次元データ５２において、記憶部４２に記憶された３次元座標で特定される部分を、３次元画像５３をディスプレイ１６に表示させる際に非表示又は透明になるように設定する。すなわち、制御部４１は、ステップＳ１１２で設定された切断領域６６を形成する。

　ステップＳ１１７において、画像処理装置１１の制御部４１は、ステップＳ１１６で切断領域６６を形成した３次元データ５２を３次元画像５３としてディスプレイ１６に表示させる。制御部４１は、ステップＳ１０３でディスプレイ１６に表示させた断面画像５４、すなわち、２次元画像を３次元画像５３とともにディスプレイ１６に表示させる。

　具体的には、画像処理装置１１の制御部４１は、記憶部４２に記憶された３次元座標で特定される部分が非表示又は透明になっている、図２に示したような３次元画像５３を生成する。制御部４１は、記憶部４２に記憶された断層データ５１に含まれる生体組織６０の断面画像のうち、最新の断面画像５４と、生成した３次元画像５３を、出力部４５を介してディスプレイ１６に表示させる。

　ステップＳ１１７では、ステップＳ１０３と同様に、図７に示した処理が更に実行される。

　ステップＳ１１８において、ユーザの変更操作として、切断領域６６を設定する操作があれば、ステップＳ１１９の処理が実行される。ユーザの変更操作がなければ、ステップＳ１２０の処理が実行される。

　ステップＳ１１９において、画像処理装置１１の制御部４１は、ステップＳ１１２の処理と同様に、切断領域６６を設定する操作を、入力部４４を介して受け付ける。そして、ステップＳ１１５以降の処理が実行される。

　ステップＳ１２０において、断層データ５１の更新があれば、ステップＳ１２１及びステップＳ１２２の処理が実行される。断層データ５１の更新がなければ、ステップＳ１１８において、ユーザの変更操作の有無が再度確認される。

　ステップＳ１２１において、画像処理装置１１の制御部４１は、ステップＳ１０１又はステップＳ１０７の処理と同様に、プローブ２０から入力された信号を処理して生体組織６０の断面画像５４を新たに生成することで、少なくとも１つの新たな断面画像５４を含む断層データ５１を取得する。

　ステップＳ１２２において、画像処理装置１１の制御部４１は、ステップＳ１２１で取得した断層データ５１に基づいて生体組織６０の３次元データ５２を更新する。その後、ステップＳ１１３以降の処理が実行される。ステップＳ１２２においては、更新された断層データ５１が対応する箇所のデータのみを更新することが好ましい。その場合、３次元データ５２を生成する際のデータ処理量を削減し、ステップＳ１１３以降のデータ処理のリアルタイム性を向上させることができる。

　本実施形態では、２次元画像を用いてマーキングが行われるが、本実施形態の一変形例として、３次元画像５３を用いてマーキングが行われてもよい。２次元画像を用いてマーキングが行われる場合、図１８のようにポイントＰｄをマーキングしても、図１９のようにプローブ２０の軸がずれると、３次元空間の軸がずれてマーキングの意味がなくなる。例えば、図１８では、断面画像５４の中心Ｐｃの位置が断面画像５４の重心Ｐｂの位置と一致しているが、図１９では、断面画像５４の中心Ｐｃの位置が断面画像５４の重心Ｐｂの位置から大きくずれている。そのため、図１８では、ポイントＰｄが内壁面６５に存在しているが、図１９では、ポイントＰｄが内壁面６５から大きくずれている。このような課題に対処するために、本実施形態では、図２０に示すように、ポイントＰｄと内腔６１の重心Ｐｂとを結ぶ直線と、生体組織６０の内壁面６５との交点にマーク５５が表示される。図２０のようにプローブ２０の軸がずれた場合においても、重心Ｐｂの位置は変わらず、重心ＰｂからポイントＰｄへの方向は変化がないため、図１９のようなマーキングのズレを解消することができる。仮に軸がずれなかったとしても、拍動の影響により内壁面６５が動くときがあるが、そのようなときでもマーキングのズレを解消することができる。同様に、３次元画像５３を用いてマーキングが行われる場合、図２２のようにポイントＰｄをマーキングしても、図２３のように中心Ｐｃの位置がずれると、ポイントＰｄの位置もずれてしまう。そのため、本実施形態と同様に、図２４に示すように、例えば、断面Ｃ２の重心Ｂ２からの相対位置にマーク５５を表示することで、図２３のようなマーキングのズレを解消することができる。

　図２１を参照して、マーキング処理の手順を説明する。

　ステップＳ３１１の処理については、図７のステップＳ３０３の処理と同じであるため、説明を省略する。

　カテーテル６３が生体組織６０の内壁面６５に接触していると判定された場合は、ステップＳ３１２以降の処理が実行される。カテーテル６３が生体組織６０の内壁面６５に接触していないと判定された場合は、図２１のフローは終了する。

　ステップＳ３１２において、画像処理装置１１の制御部４１は、図７のステップＳ３０４と同様に、生体組織６０の内壁面６５の、カテーテル６３が接触している箇所をポイントＰｄとして指定する指定データを取得する。制御部４１は、本実施形態では、断面画像５４上で少なくとも１箇所をポイントＰｄとして指定するユーザ操作を受け付けることで、ポイントＰｄを指定するデータを指定データとして取得するが、ステップＳ３１１でカテーテル６３の先端が接触している位置を自動的にポイントＰｄとして検出することで、ポイントＰｄを指定するデータを指定データとして取得してもよい。

　ステップＳ３１３において、画像処理装置１１の制御部４１は、断層データ５１を参照して、断面６４における重心Ｐｂからの、ステップＳ３０４で取得した指定データで指定されたポイントＰｄの方向を指定方向として特定する。

　ステップＳ３１４において、画像処理装置１１の制御部４１は、ステップＳ３１３で特定した指定方向と、重心Ｐｂの位置とに応じて、断面６４におけるポイントＰｄに対応する位置を対応位置として特定する。具体的には、画像処理装置１１の制御部４１は、断層データ５１を参照して、断面６４に存在する生体組織６０の内壁面６５を検出する。制御部４１は、断面画像５４において重心Ｐｂの位置から、ステップＳ３１３で特定した指定方向に延びる直線が、検出した内壁面６５と交差する位置を対応位置として特定する。

　ステップＳ３１５において、画像処理装置１１の制御部４１は、ステップＳ３１４で特定した対応位置にマーク５５を表示する制御を行う。

　本実施形態の一変形例として、ステップＳ３１４において、画像処理装置１１の制御部４１は、断面画像５４において重心Ｐｂの位置から、ステップＳ３１３で特定した指定方向に延びる直線が、検出した内壁面６５と交差する位置から内腔６１の側にずれた位置を対応位置として特定してもよい。すなわち、ポイントＰｄと重心Ｐｂとを結ぶ直線と、生体組織６０の内壁面６５との交点よりも少し壁の外側にマーク５５が表示されてもよい。この変形例によれば、内壁面６５のエッジがマーク５５で隠れてエッジ部分の情報が消えることを避けられる。この変形例では、内壁面６５とマーク５５の表示位置との間の距離が記憶部４２に記憶され、マーク５５の表示の度に読み出されて適用される。

　本実施形態の一変形例として、ステップＳ３１４において、画像処理装置１１の制御部４１は、断面画像５４において重心Ｐｂの位置から、ステップＳ３１３で特定した指定方向に延びる直線が、検出した内壁面６５と交差する位置から内腔６１の反対側にずれた位置を対応位置として特定してもよい。すなわち、ポイントＰｄと重心Ｐｂとを結ぶ直線と、生体組織６０の内壁面６５との交点よりも少し壁の内側にマーク５５が表示されてもよい。この変形例によれば、内壁面６５のエッジがマーク５５で隠れてエッジ部分の情報が消えることを避けられる。この変形例では、内壁面６５とマーク５５の表示位置との間の距離、又は生体組織６０の外壁面とマーク５５の表示位置との間の距離が記憶部４２に記憶され、マーク５５の表示の度に読み出されて適用される。あるいは、内壁面６５と外壁面との間におけるマーク５５の相対的な表示位置が記憶部４２に記憶され、マーク５５の表示の度に読み出されて適用される。例えば、ユーザは、左室の壁にｉＰＳ細胞を注入する際に、拍動により壁の厚さが変動しても、マーク５５が常に壁内に表示されるため、細胞を注入すべき位置を簡単に特定することができる。

　この変形例では、図２５に示すように、マーク５５が焼灼位置を示してもよい。図２５の例では、生体組織６０の内腔６１が３次元オブジェクトとして表示され、内腔６１の形状がわかるように生体組織６０が非表示になっている。内腔６１を表す３次元オブジェクトの外表面は、生体組織６０の内壁面６５に相当する。この外表面よりも少し外側にマーク５５としての球体を並べて置くことで、外表面又は外表面よりも内側に球体を置く場合に比べて、焼灼位置が見やすくなる。

　本実施形態の一変形例として、ステップＳ３１４において、画像処理装置１１の制御部４１は、断層データ５１を参照して、断面６４における重心ＰｂからポイントＰｄまでの距離を算出してもよい。制御部４１は、断面画像５４において重心Ｐｂの位置から指定方向に延びる直線上で、算出した距離だけ重心Ｐｂの位置から指定方向に離れた位置を対応位置として特定してもよい。

　上述のように、本実施形態では、画像処理装置１１の制御部４１は、生体組織６０の内腔６１を移動するセンサを用いて得られたデータセットである断層データ５１を参照して、生体組織６０を表す画像をディスプレイ１６に表示させる。制御部４１は、断層データ５１に対応する空間内の少なくとも１箇所をポイントＰｄとして指定する指定データを取得する。制御部４１は、断層データ５１を参照して、ポイントＰｄを含む、センサの移動方向に直交する生体組織６０の断面６４における重心ＰｂからのポイントＰｄの方向を指定方向として特定する。制御部４１は、特定した指定方向と、重心Ｐｂの位置とに応じて、生体組織６０を表す画像におけるポイントＰｄに対応する位置を対応位置として特定する。制御部４１は、生体組織６０を表す画像が表示されているときに、特定した対応位置にマーク５５を表示する制御を行う。したがって、本実施形態によれば、生体組織６０のポイントＰｄをマーキングするためのシステムでマーキングのズレを解消することができる。

　本実施形態では、「生体組織６０を表す画像」として、断面画像５４が用いられるが、断面画像５４の代わりに、３次元画像５３が用いられてもよい。その場合、画像処理装置１１の制御部４１は、生体組織６０を表す画像において、生体組織６０の内壁面全体のうち、対応位置を含む第１領域と、当該第１領域の周囲の第２領域とを異なる色に設定することで、マーク５５を表示する制御を行ってもよい。ポイントＰｄが指定される際に、２次元座標又は３次元座標で１点が指定される場合は、指定された点を中心とした一定の範囲が第１領域としてマーキングされる。ある点を中心とする１つの範囲が指定される場合は、指定された範囲が第１領域としてマーキングされる。例えば、円状又は球状のポインタで一定の大きさの範囲が第１領域として指定されてよい。

　本実施形態では、生体組織６０の複数箇所がポイントＰｄとして指定済みである場合は、当該複数箇所に対応する位置それぞれにマーク５５が表示されるが、本実施形態の一変形例として、当該複数箇所のうち、センサの位置に対応する断面６４に存在する箇所のみについてマーク５５が表示されてもよい。その場合、マーク５５が設定された画像の情報が記憶されて、断面画像５４として、同じ画像が表示された際に、設定されたマーク５５が表示されてもよい。

　本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。

　例えば、画像処理装置１１の制御部４１は、図２６に示すように、複数箇所がポイントＰｄとして指定されている場合は、生体組織６０に挿入されているカテーテル６３と当該複数箇所のうちカテーテル６３に最も近い箇所との間の距離を断面画像５４上で表示する制御を更に行ってもよい。あるいは、制御部４１は、１箇所のみがポイントＰｄとして指定されている場合は、カテーテル６３と当該１箇所との間の距離を断面画像５４上で表示する制御を更に行ってもよい。表示される距離の単位は、例えば、ミリメートルである。表示される距離は、平面上の距離でもよいが、３次元空間内の距離、すなわち、実際の距離である。図２６の例では、生体組織６０の内壁面６５の、カテーテル６３で焼灼された６箇所がポイントＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６として指定されている。これら６箇所のうち、ポイントＰ６として指定された箇所がカテーテル６３に最も近いとすると、カテーテル６３と、断面画像５４におけるポイントＰ６に対応する位置との間の距離が断面画像５４上で表示される。図２６の例では、距離として「１５．７ｍｍ」というテキストが表示されている。制御部４１は、図２６に示すように、断面画像５４におけるカテーテル６３に対応する位置に、マーク５５とは異なるマークを表示する制御を更に行ってもよい。

　画像処理装置１１の制御部４１は、図２６に示すように、複数箇所がポイントＰｄとして指定されている場合は、カテーテル６３と当該複数箇所のうちカテーテル６３に最も近い箇所とを結ぶ線５６を断面画像５４上で表示する制御を更に行ってもよい。あるいは、制御部４１は、１箇所のみがポイントＰｄとして指定されている場合は、カテーテル６３と当該１箇所とを結ぶ線を断面画像５４上で表示する制御を更に行ってもよい。図２６の例では、生体組織６０の内壁面６５の、カテーテル６３で焼灼された６箇所がポイントＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６として指定されている。これら６箇所のうち、ポイントＰ６として指定された箇所がカテーテル６３に最も近いとすると、線５６としては、カテーテル６３と、断面画像５４におけるポイントＰ６に対応する位置とを結ぶ直線が断面画像５４上で表示される。図２６の例では、断面画像５４におけるカテーテル６３に対応する位置に、マーク５５とは異なるマークが表示されており、このマークと、マークＭ６とを結ぶ直線が表示されている。

　不整脈カテーテルアブレーション術においては、不審な電気の発生源を、アブレーションカテーテルを用いて線状又は円周状に焼灼することで、発生源と心臓領域とを断線することを目標にしている。しかし、Point by Pointの術式では、焼灼ポイント間が離れすぎていて断線に失敗し、手技目標を達成することができない可能性がある。そのため、焼灼ポイント同士の間隔を密にする必要がある。上述した例によれば、２次元画像において、アブレーションカテーテルと、アブレーションカテーテルに最も近い焼灼ポイントとの間の距離を見ながら、次の焼灼ポイントを決めることができる。よって、焼灼ポイント同士の間隔を密にしやすくなる。その結果、手技目標を達成する可能性を高めることができる。

　例えば、画像処理装置１１の制御部４１は、図２６に示すように、複数箇所がポイントＰｄとして指定されている場合は、カテーテル６３と当該複数箇所のうちカテーテル６３に最も近い箇所との間の距離を３次元画像５３上で表示する制御を更に行ってもよい。あるいは、制御部４１は、１箇所のみがポイントＰｄとして指定されている場合は、カテーテル６３と当該１箇所との間の距離を３次元画像５３上で表示する制御を更に行ってもよい。表示される距離の単位は、例えば、ミリメートルである。表示される距離は、３次元空間内の距離、すなわち、実際の距離である。図２６の例では、生体組織６０の内壁面６５の、カテーテル６３で焼灼された６箇所がポイントＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６として指定されている。これら６箇所のうち、ポイントＰ６として指定された箇所がカテーテル６３に最も近いとすると、カテーテル６３と、ポイントＰ６との間の距離が３次元画像５３上で表示される。図２６の例では、距離として「１５．７ｍｍ」というテキストが表示されている。

　画像処理装置１１の制御部４１は、図２６に示すように、複数箇所がポイントＰｄとして指定されている場合は、カテーテル６３と当該複数箇所のうちカテーテル６３に最も近い箇所とを結ぶ線５７を３次元画像５３上で表示する制御を更に行ってもよい。あるいは、制御部４１は、１箇所のみがポイントＰｄとして指定されている場合は、カテーテル６３と当該１箇所とを結ぶ線を３次元画像５３上で表示する制御を更に行ってもよい。図２６の例では、生体組織６０の内壁面６５の、カテーテル６３で焼灼された６箇所がポイントＰ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６として指定されている。これら６箇所のうち、ポイントＰ６として指定された箇所がカテーテル６３に最も近いとすると、線５７としては、カテーテル６３と、断面画像５４におけるポイントＰ６に対応する位置とを結ぶ直線が３次元画像５３上で表示される。図２６の例では、３次元画像５３におけるカテーテル６３の先端と、ポイントＰ６とを結ぶ直線が表示されている。

　上述した例によれば、３次元画像５３において、アブレーションカテーテルと、アブレーションカテーテルに最も近い焼灼ポイントとの間の距離を見ながら、次の焼灼ポイントを決めることができる。よって、焼灼ポイント同士の間隔を密にしやすくなる。その結果、手技目標を達成する可能性を高めることができる。

　１０　画像処理システム
　１１　画像処理装置
　１２　ケーブル
　１３　駆動ユニット
　１４　キーボード
　１５　マウス
　１６　ディスプレイ
　１７　接続端子
　１８　カートユニット
　２０　プローブ
　２１　駆動シャフト
　２２　ハブ
　２３　シース
　２４　外管
　２５　超音波振動子
　２６　中継コネクタ
　３１　スキャナユニット
　３２　スライドユニット
　３３　ボトムカバー
　３４　プローブ接続部
　３５　スキャナモータ
　３６　差込口
　３７　プローブクランプ部
　３８　スライドモータ
　３９　スイッチ群
　４１　制御部
　４２　記憶部
　４３　通信部
　４４　入力部
　４５　出力部
　５１　断層データ
　５２　３次元データ
　５３　３次元画像
　５４　断面画像
　５５　マーク
　５６　線
　５７　線
　６０　生体組織
　６１　内腔
　６２　開口
　６３　カテーテル
　６４　断面
　６５　内壁面
　６６　切断領域
　７１　ステント
　７２　分岐
　７３　ステントグラフト
　７４　動脈瘤
　７５　神経
　７６　腫瘍

Claims

　生体組織の内腔を移動するセンサを用いて得られたデータセットである断層データを参照して、前記センサの移動方向に直交する前記生体組織の断面を表す断面画像をディスプレイに表示させる画像処理装置であって、
　前記断層データに対応する空間内の少なくとも１箇所を指定する指定データを取得し、前記断面画像が表示されているときに、前記断面画像における前記少なくとも１箇所に対応する位置に、前記移動方向における前記少なくとも１箇所と前記断面との間の距離によって異なるマークを表示する制御を行う制御部を備える画像処理装置。
　前記制御部は、前記距離によって、前記マークの色、明るさ、透過度、模様、大きさ、形状、又は向きを変える請求項１に記載の画像処理装置。
　前記制御部は、前記マークを表示する制御を行う際に、前記距離を表示する制御を更に行う請求項１又は請求項２に記載の画像処理装置。
　前記制御部は、前記距離が閾値を超える場合は、前記マークを非表示にする請求項１から請求項３のいずれか１項に記載の画像処理装置。
　前記制御部は、前記移動方向における前記断面の前後どちらに前記少なくとも１箇所が存在するかによって前記マークを変える請求項１から請求項４のいずれか１項に記載の画像処理装置。
　前記少なくとも１箇所は、前記生体組織の焼灼された箇所であり、
　前記制御部は、前記断面画像が表示されているときに、前記生体組織を焼灼するためのカテーテルと前記少なくとも１箇所との間の距離を表示する制御を更に行う請求項１から請求項５のいずれか１項に記載の画像処理装置。
　前記制御部は、前記少なくとも１箇所が１箇所のみの場合は、前記生体組織に挿入されているカテーテルと前記１箇所との間の距離を前記断面画像上で表示する制御、前記少なくとも１箇所が複数箇所の場合は、前記カテーテルと前記複数箇所のうち前記カテーテルに最も近い箇所との間の距離を前記断面画像上で表示する制御を更に行う請求項１から請求項５のいずれか１項に記載の画像処理装置。
　前記制御部は、前記少なくとも１箇所が１箇所のみの場合は、前記生体組織に挿入されているカテーテルと前記１箇所とを結ぶ線を前記断面画像上で表示する制御、前記少なくとも１箇所が複数箇所の場合は、前記カテーテルと前記複数箇所のうち前記カテーテルに最も近い箇所とを結ぶ線を前記断面画像上で表示する制御を更に行う請求項１から請求項５のいずれか１項に記載の画像処理装置。
　前記制御部は、前記断層データを参照して、前記生体組織を表す３次元データを生成し、生成した３次元データを３次元画像として前記ディスプレイに表示させ、前記少なくとも１箇所が１箇所のみの場合は、前記生体組織に挿入されているカテーテルと前記１箇所との間の距離を前記３次元画像上で表示する制御、前記少なくとも１箇所が複数箇所の場合は、前記カテーテルと前記複数箇所のうち前記カテーテルに最も近い箇所との間の距離を前記３次元画像上で表示する制御を更に行う請求項１から請求項５のいずれか１項に記載の画像処理装置。
　前記制御部は、前記断層データを参照して、前記生体組織を表す３次元データを生成し、生成した３次元データを３次元画像として前記ディスプレイに表示させ、前記少なくとも１箇所が１箇所のみの場合は、前記生体組織に挿入されているカテーテルと前記１箇所とを結ぶ線を前記３次元画像上で表示する制御、前記少なくとも１箇所が複数箇所の場合は、前記カテーテルと前記複数箇所のうち前記カテーテルに最も近い箇所とを結ぶ線を前記３次元画像上で表示する制御を更に行う請求項１から請求項５のいずれか１項に記載の画像処理装置。
　前記制御部は、前記断面画像上で前記少なくとも１箇所を指定するユーザ操作を受け付けることで、前記指定データを取得する請求項１から請求項１０のいずれか１項に記載の画像処理装置。
　前記制御部は、前記センサを用いて新たなデータセットが得られる度に、前記断面画像として、前記センサの位置に対応する断面を表す新たな画像を前記ディスプレイに表示させる請求項１から請求項１１のいずれか１項に記載の画像処理装置。
　請求項１から請求項１２のいずれか１項に記載の画像処理装置と、
　前記センサと
を備える画像処理システム。
　前記ディスプレイを更に備える請求項１３に記載の画像処理システム。
　生体組織の内腔を移動するセンサを用いて得られたデータセットである断層データを参照して、前記センサの移動方向に直交する前記生体組織の断面を表す断面画像をディスプレイに表示する画像表示方法であって、
　コンピュータが、前記断層データに対応する空間内の少なくとも１箇所を指定する指定データを取得し、
　前記コンピュータが、前記断面画像が表示されているときに、前記断面画像における前記少なくとも１箇所に対応する位置に、前記移動方向における前記少なくとも１箇所と前記断面との間の距離によって異なるマークを表示する制御を行う画像表示方法。
　生体組織の内腔を移動するセンサを用いて得られたデータセットである断層データを参照して、前記センサの移動方向に直交する前記生体組織の断面を表す断面画像をディスプレイに表示させるコンピュータに、
　前記断層データに対応する空間内の少なくとも１箇所を指定する指定データを取得する処理と、
　前記断面画像が表示されているときに、前記断面画像における前記少なくとも１箇所に対応する位置に、前記移動方向における前記少なくとも１箇所と前記断面との間の距離によって異なるマークを表示する制御を行う処理と
を実行させる画像処理プログラム。