JP6489637B2 - 生体内運動追跡装置 - Google Patents

生体内運動追跡装置 Download PDF

Info

Publication number
JP6489637B2
JP6489637B2 JP2015040453A JP2015040453A JP6489637B2 JP 6489637 B2 JP6489637 B2 JP 6489637B2 JP 2015040453 A JP2015040453 A JP 2015040453A JP 2015040453 A JP2015040453 A JP 2015040453A JP 6489637 B2 JP6489637 B2 JP 6489637B2
Authority
JP
Japan
Prior art keywords
feature information
tracking
region
interest
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015040453A
Other languages
English (en)
Other versions
JP2016158890A (ja
Inventor
憲裕 小泉
憲裕 小泉
東俊 李
東俊 李
藤井 達也
達也 藤井
浩之 福田
浩之 福田
弘之 月原
弘之 月原
東 隆
隆 東
直彦 杉田
直彦 杉田
英世 宮嵜
英世 宮嵜
之夫 本間
之夫 本間
和司 沼田
和司 沼田
洋一郎 松本
洋一郎 松本
光石 衛
衛 光石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Yokohama City University
Original Assignee
University of Tokyo NUC
Yokohama City University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Yokohama City University filed Critical University of Tokyo NUC
Priority to JP2015040453A priority Critical patent/JP6489637B2/ja
Priority to PCT/JP2015/075132 priority patent/WO2016139832A1/ja
Publication of JP2016158890A publication Critical patent/JP2016158890A/ja
Application granted granted Critical
Publication of JP6489637B2 publication Critical patent/JP6489637B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Surgical Instruments (AREA)

Description

本発明は生体内を運動する注目部位を追跡する生体内運動追跡装置に関する。
癌や腫瘍などに強力な超音波を集束させてそれらを焼灼して治療する強力集束超音波(High Intensity Focused Ultrasound:HIFU)が知られている(特許文献1参照)。例えば、HIFUを採用した結石、前立腺癌、肝臓癌の治療用装置が開発され利用されている。
HIFU治療では、癌や腫瘍などの治療箇所以外の正常な組織等を傷めないように、治療箇所の位置を把握してその位置に強力な超音波を集束させることが望ましい。そのため、従来から、核磁気共鳴画像(Magnetic Resonance Imaging:MRI)や診断用の超音波画像を利用して治療箇所の位置を確認しつつその位置に治療用の超音波を集束させるシステムなどが利用されている。
特開平7−47079号公報
しかし、生体内の器官の多くは呼吸や心拍動により移動し得る。特に、肝臓は呼吸に伴い、最大15〜20mm/秒の速度で10〜20mm以上移動することや、深呼吸により100mm以上動き得ることが報告されている。また、腎臓は呼吸により平均で5〜9mm移動すると報告されている。腎臓や肝臓などのHIFU治療ではこの生体内での臓器の運動に追従して正確に超音波を照射することが難しく、治療における障壁となっている。具体的には、腎臓や肝臓の運動は当該臓器周りの肋骨、肺、心臓、胆嚢、筋膜との相対位置関係の変化と臓器そのものの変形の原因となり、これによって追跡対象の臓器を捉えた像、例えば超音波画像パターンに大きな変化が生じる。当該像の変化は、例えば、テンプレートマッチングによる追跡に際して追跡対象として設定した臓器のテンプレートと当該像との類似度を減少させ、追跡失敗の原因となる。
また、生体内での器官の運動はHIFU以外の治療法においても問題となっている。例えば、心臓の外科手術や肺癌の放射線治療などである。
本発明は上記問題を解決するためになされたものであり、生体内を運動する注目部位を好適に追跡する生体内運動追跡装置を提供することを目的とする。
(1)本発明に係る生体内運動追跡装置は、生体内を概周期的に運動する注目部位を、生体構造を撮影した生体像において追跡する装置であって、本追跡処理に先行する前記注目部位の運動周期における前記生体像を用い、前記注目部位に対応する注目領域内の前記生体像の特徴を表す特徴情報について学習し追跡用特徴情報を生成する特徴情報学習部と、時間的に変化する前記生体像にて、前記追跡用特徴情報に基づいて前記注目領域を探索し前記注目部位の位置を求める本追跡処理部と、を有し、前記特徴情報学習部は、前記注目部位の軌道上の基準位置とする位置にて基準注目領域を設定する基準設定手段と、前記基準注目領域内の前記特徴情報である基準特徴情報を抽出し、当該基準特徴情報に基づき前記注目領域を追跡して前記軌道を求めると共に、追跡した前記注目領域から抽出した前記特徴情報を用いて、前記軌道上の位置に対応づけて前記追跡用特徴情報を求める特徴情報生成手段と、を有する。
(2)上記(1)の生体内運動追跡装置において、前記特徴情報生成手段は、前記軌道を複数の区間に区切り、当該各区間にて、当該区間における予め定めた代表点での前記注目領域から代表特徴情報を抽出し、前記基準特徴情報及び前記代表特徴情報のそれぞれと前記注目領域の当該区間における前記特徴情報との類似度を算出し、前記代表特徴情報に関する当該類似度が前記基準特徴情報に関する当該類似度以上である場合は、前記代表特徴情報を当該区間の前記追跡用特徴情報とし、前記代表特徴情報に関する当該類似度が前記基準特徴情報に関する当該類似度未満である場合は、当該区間の前記追跡用特徴情報として当該区間に先行する隣接区間の前記追跡用特徴情報を用いることができる。
(3)上記(1)の生体内運動追跡装置において、前記特徴情報生成手段は、前記軌道を複数の区間に区切り、当該各区間にて、当該区間における予め定めた代表点での前記注目領域から代表特徴情報を抽出し、前記基準特徴情報と前記代表特徴情報とのうち前記注目領域の当該区間における前記特徴情報との類似度が高い方を当該区間の前記追跡用特徴情報とすることができる。
(4)上記(1)から(3)の生体内運動追跡装置において、前記本追跡処理部は、前記注目部位の前記軌道上での推定位置にて、当該推定位置に対応した前記追跡用特徴情報に基づいて前記注目領域を探索し新たな推定位置を求めてもよい。
(5)上記(1)の生体内運動追跡装置において、前記特徴情報生成手段は、前記生体の心拍情報を取得しつつ前記基準特徴情報に基づく前記注目領域の追跡を複数回の前記運動周期について繰り返すことによって、前記軌道上の位置に対応づけて前記注目領域から互いに異なる複数の心拍位相での前記特徴情報を抽出し、当該特徴情報を用いて、前記軌道上の位置に対応づけられる前記追跡用特徴情報を前記複数の心拍位相それぞれについて求め、前記本追跡処理部は、前記生体像の取得時の前記心拍位相に対応した前記追跡用特徴情報に基づいて前記注目領域を探索し前記注目部位の位置を求める構成とすることができる。
(6)上記(5)の生体内運動追跡装置において、前記特徴情報生成手段は、前記複数の心拍位相それぞれにて前記基準特徴情報を抽出し、前記注目領域の追跡に用いる前記基準特徴情報を前記生体像の取得時の前記心拍位相に応じて切り替えてもよい。
(7)上記(1)から(6)の生体内運動追跡装置は、さらに、前記生体像として、互いに交差する複数の断層面での超音波画像を撮影する撮像部と、前記注目領域が前記各超音波画像の所定位置に写るように、前記注目領域の移動に伴って前記撮像部を移動させる駆動部と、を有し、前記特徴情報は、前記各超音波画像における前記注目領域内の画像である構成とすることができる。
(8)上記(7)の生体内運動追跡装置において、前記撮像部は前記生体に対する前記断層面の向きを変えることができ、前記特徴情報学習部は前記断層面の向きを変えたときの前記追跡用特徴情報を生成し、当該生体内運動追跡装置は前記断層面の向きの変化を検知する手段を備え、前記本追跡処理部は、前記断層面の向きの変化に対応して前記追跡用特徴情報を切り替えて前記注目領域を探索する構成とすることができる。
本発明によれば、生体内を概周期的に運動する注目部位を、生体構造を撮影した生体像において好適に追跡することが可能となる。
本発明の第1の実施形態に係る超音波診断治療統合システムの概略の構成を示すブロック図である。 本発明の第1の実施形態に係る超音波診断治療統合システムに用いるエンドエフェクタの模式的な斜視図である。 本発明の第1の実施形態に係る超音波診断治療統合システムの模式図である。 本発明の第1の実施形態に係る超音波診断治療統合システムにおける学習動作の概略の処理フロー図である。 ベッドに横たわる患者における注目部位の軌道の模式図である。 複数の区間における超音波画像の模式図である。 本発明の第1の実施形態に係る超音波診断治療統合システムにおける本追跡動作の概略の処理フロー図である。
以下、本発明に係る生体内運動追跡装置の実施の形態(以下実施形態という)について、図面に基づいて説明する。当該生体内運動追跡装置は、生体内を概周期的に運動する注目部位を、生体構造を撮影した生体像において追跡する装置である。
[第1の実施形態]
図1は第1の実施形態に係る超音波診断治療統合システム1の概略の構成を示すブロック図である。超音波診断治療統合システム1はエンドエフェクタ2、移動機構4及び本体6からなり、また本発明に係る生体内運動追跡装置を含んで構成される。エンドエフェクタ2は超音波プローブ10とHIFUトランスデューサ12とを備え、注目部位に向けて配置される。超音波診断治療統合システム1は超音波プローブ10により生体像として超音波画像をリアルタイムに撮影することができ、本体6は当該超音波画像を用いて注目部位の位置を追跡する。移動機構4は本体6により制御され、注目部位の位置に追従してエンドエフェクタ2を3次元的に移動させる。超音波診断治療統合システム1は超音波プローブ10により得られる超音波画像を用いて注目部位の診断を可能とし、また、HIFUトランスデューサ12により患部をHIFU法により非侵襲に治療することができる。ここでは注目部位は例えば腎臓や肝臓であるとする。腎臓や肝臓は既に述べたように、患者等、生体の呼吸に応じて概周期的に運動する。
図2はエンドエフェクタ2の模式的な斜視図である。超音波プローブ10は超音波パルスの送出及びエコーの受波を行う。具体的には超音波プローブ10は振動子アレイを有し、振動子アレイにより超音波ビームを形成し患者の体内へ送出する。超音波ビームは電子的にアレイ方向に走査される。超音波ビームの送出はパルス状に行われ、振動子アレイは超音波ビームの送出後、体内からのエコーを受波する。注目部位の3次元情報を取得し、また体内での注目部位の3次元的な移動に対応できるように、2つの超音波プローブ10a,10bが互いの走査面13a,13bを基本的に直交させてエンドエフェクタ2に配置される。よって、生体の体内の器官等の構造が現れる生体像として超音波のバイプレーン画像が取得される。
HIFUトランスデューサ12はHIFU治療のための集束超音波を発生する。例えば、HIFUトランスデューサ12は超音波プローブ10aを円環状に取り囲むように配列された振動子アレイを備え、その振動子アレイは超音波の送出方向から見て凹面を形成する。超音波プローブ10a,10b及びHIFUトランスデューサ12の位置関係は基本的には超音波プローブ10の2つの走査面13a,13bの交線14と、HIFUトランスデューサ12の振動子アレイの円環の中心軸15との交点Pに集束超音波の焦点が位置するように設定されている。
図3は超音波診断治療統合システム1の模式図であり、患者の体幹部等の診断・治療を行う装置構成の例を示している。図は模式的な垂直断面図であり、患者17が横たわるベッド18の下に水槽19が配置される。患者17の診断・治療対象の部位の皮膚はベッド18に設けられた開口部18wにて水槽19の水面に接し、一方、エンドエフェクタ2は水槽19の水中内に配置される。これにより患者17とエンドエフェクタ2との間が水で音響的にカップリングされる。エンドエフェクタ2は移動機構4により水中内を3次元的に移動可能である。
超音波プローブ10及びHIFUトランスデューサ12は、本体6からの駆動信号に応じて超音波を送出し、また超音波プローブ10の受信信号は本体6へ送られる。なお、2つの超音波プローブ10a,10bの送受波及びHIFUトランスデューサ12の超音波照射は制御部40により時分割で行われ、これにより互いの超音波の干渉を避けることができる。
本体6は送受波回路20、フレームメモリ22、パルス発生回路24、移動機構制御部26、演算処理部28、表示部30、入力部32、記憶部34を含んで構成されている。ちなみに、本体6及びその各部は単一の装置である必要はなく、複数の装置に分かれて構成されていてもよい。
演算処理部28は例えば、CPU(Central Processing Unit)等のプロセッサ及びその周辺回路で構成され、記憶部34に格納されたプログラム等に基づいて動作し、制御部40、超音波画像生成部42、学習部44、追跡処理部46として機能する。学習部44は基準設定部50及びテンプレート生成部52としての機能を有する。
送受波回路20は制御部40による制御に従って、超音波プローブ10から体内への超音波の送信、及び超音波プローブ10が受信したエコー信号の処理を行う。送信時には、送受波回路20は、振動子アレイの各振動子を励振駆動するための送信パルスを生成し超音波プローブ10へ出力する。送受波回路20は、超音波プローブ10から送信される超音波が所望の方向に送信ビームを形成するように、送信パルスに与える遅延量を振動子ごとに調整して各振動子の励振タイミングを制御する。
一方、受信時には、送受波回路20は超音波プローブ10から振動子アレイを構成する複数の振動子ごとの受信信号を入力される。送受波回路20は各振動子の受信信号を増幅した後、振動子間の受信信号の位相差を調整して互いに加算する整相加算処理を行って受信ビームを形成する。また、送受波回路20は、受信信号をアナログ信号からデジタル信号に変換し、受信信号を超音波ビームの方向に沿ったエコーデータ列として出力する。
振動子アレイの電子走査によって超音波ビームが電子的に走査されることによって一つの走査面が形成され、この走査面から1フレームのエコーデータが取得される。フレームメモリ22は送受波回路20から出力される超音波ビームに沿ったエコーデータ列を格納する。
超音波画像生成部42は、エコーデータが定義される空間座標系を、超音波ビームの走査方向とビーム方向の深さとで指定される送受波座標系(円座標系)から、断層画像表示を行う表示部30の走査方式に適合した2次元直交座標系に変換し、これにより超音波プローブ10a,10bそれぞれの走査面に対応した超音波画像として例えばBモード画像を生成する。なお、超音波画像生成部42はMモード画像など他の表現方式の超音波画像を生成してもよい。
パルス発生回路24は制御部40の制御に従い、HIFUトランスデューサ12への駆動信号を生成し出力する。
移動機構制御部26は外部から入力される制御量に基づいて移動機構4を制御することができ、例えば、3次元の位置制御を行う。例えば、超音波画像から得られる追従対象の位置とHIFU焦点との誤差情報が移動機構制御部26に入力される。移動機構制御部26は移動機構4のモータのエンコーダの値から現在のエンドエフェクタ2の位置を把握し、受け取った誤差情報と併せてモータへの制御量を決定する。当該制御は例えば、比例制御(P制御)で行うことができる。
制御部40は本システム1の各部の動作を制御する。例えば、制御部40は送受波回路20やパルス発生回路24を制御する。また制御部40は、学習部44や追跡処理部46により得られる注目部位の位置を移動機構制御部26に入力し、例えば、患部の運動に応じてエンドエフェクタ2を移動させることができる。
学習部44は本発明に係る生体内運動追跡装置における特徴情報学習部に相当する。すなわち、学習部44は本追跡処理に先行する注目部位の運動周期における生体像を用い、注目部位に対応する注目領域内の生体像の特徴を表す特徴情報について学習し追跡用特徴情報を生成する。
注目領域は注目部位に対応して生体像内に設定される領域であり、例えば、医師や検査技師等の操作者が観察や追跡の対象として関心を持つ領域、つまりROI(region of interest)に当たる。この注目領域は注目部位の追跡を行う際に最初に操作者が例えば表示部30に表示される生体像を見て入力部32を操作して指定することができ、この最初に指定される注目領域が基準注目領域であり、また基準注目領域内の特徴情報が基準特徴情報である。
基準設定部50(又は基準設定部50、表示部30及び入力部32)は注目部位の軌道上の基準位置とする位置にて基準注目領域を設定する基準設定手段として機能する。具体的には、操作者が表示部30及び入力部32を用いて生体像上に領域を指定すると、基準設定部50は当該領域を指定する情報を基準注目領域を表す情報とする。また基準設定部50はそのときのエンドエフェクタ2の位置及び超音波画像内での指定領域の位置により、当該指定領域(又は当該指定領域を代表する点)の生体内での3次元的な位置を特定する。これが注目部位の概周期的な運動の軌道上の基準位置として設定される。
基準注目領域は腎臓や肝臓などの注目部位の全部を含むように設定することもできるし、その一部のみを含むように設定することもできる。例えば、治療時には患部を追尾する必要があることから基準注目領域は患部とその周辺組織を含むように設定することができる。基準特徴情報は追跡の基準となる情報であるから、基準注目領域はそこに追跡に好適な生体構造が現れるように設定するのがよい。
テンプレート生成部52は特徴情報生成手段であり、まず基準注目領域内の特徴情報である基準特徴情報を抽出する機能を有する。本実施形態では、生体像は超音波プローブ10a,10bそれぞれにより得られる超音波画像であり、特徴情報は注目領域から切り出される超音波画像の画像パターンである。この特徴情報である画像パターンをテンプレートと称する。例えば、注目部位を腎臓とする場合、基準特徴情報、つまり基準テンプレートとして腎盂と腎臓内血管、腎臓の輪郭が写る画像パターンを設定することができ、また肝臓の場合、肝臓内血管、消化管、横隔膜が写る画像パターンを設定することができる。
また、テンプレート生成部52は基準特徴情報に基づき注目領域を追跡して注目部位の軌道を求めると共に、追跡した注目領域から抽出した特徴情報を用いて、軌道上の位置に対応づけて追跡用特徴情報、つまり追跡用テンプレートを求める機能を有する。当該機能については後述する。
追跡処理部46は本発明に係る生体内運動追跡装置における本追跡処理部に相当する。すなわち、追跡処理部46は時間的に変化する生体像にて、追跡用特徴情報に基づいて注目領域を探索し注目部位の位置を求める。
表示部30は液晶ディスプレイ等の画像表示装置であり、超音波画像などの生体像を表示したり、当該生体像上にて注目領域を示す枠を表示したりする。
入力部32はキーボード、ポインティングデバイス等の入力装置であり、例えば、操作者が生体像上にて基準注目領域を指定する際に用いられる。
記憶部34は各種プログラムや各種データを記憶し、演算処理部28との間でこれらの情報を入出力する。例えば、注目部位の軌道上の位置と追跡用テンプレートとが対応づけられて記憶部34に格納され、注目領域の追跡処理にて読み出されて利用される。
さて上述したように臓器等を追跡する従来技術において、臓器の移動に伴う生体像の変化が追跡の精度やロバスト性の低下をもたらすという問題があった。ここで、臓器等の器官の運動の周期性は正確ではなく、近似的なもの、すなわち概周期的である。つまり臓器の運動の繰り返し周期は変動したり周期内に伸縮する期間が生じたりし得るため、一定の周期ごとに臓器が同じ位置に来るとの前提に基づいて、上述の問題の解決を図ることには限界がある。
一方、基本的に臓器と臓器周りの形状は体内での臓器位置のみに影響されると考えることができる。よって、体内での臓器位置が同じであれば、臓器と臓器周りの形状も同じである。言い換えると概周期的に運動する臓器の画像パターンはその運動の軌道上の位置によって定まり、同じ位置では類似度の高い画像パターンが得られることが期待できる。本発明はこの特徴を利用し、注目部位の運動の軌道上の複数の位置にて、本来の診断・治療目的での臓器追跡に先立って当該位置に対応した画像パターンを学習し、本追跡にて当該画像パターンを活用して追跡精度やロバスト性の向上を図るものである。
ちなみに本発明における画像パターンの学習には、追跡用の画像パターンを本追跡に先立って事前準備するという意味と、同じ位置での類似した画像パターンの反復性を利用して追跡用の画像パターンの信頼度を向上させるという意味とが含まれている。
また、臓器位置は体内で連続的に変化するため、基本的に超音波画像パターンも連続的に変化する。よって追跡用の画像パターンを求めるに際し、上述の画像パターンは臓器位置によって定まるという特徴に加え、画像パターンの変化は連続的であるという特徴を考慮する。
以下、超音波診断治療統合システム1の動作について説明する。超音波診断治療統合システム1は診断・治療の開始に際して、まず診断・治療の対象者について操作者が設定した基準注目領域から基準特徴情報を得て、当該基準特徴情報を用いて対象者の注目部位の追跡用特徴情報を生成する学習動作を実行し、その後、当該追跡用特徴情報を用いた注目部位の本追跡動作を開始する。学習動作では基準特徴情報を用いて注目部位の追跡が行われる。操作者は注目部位の特徴が好適に現れ追跡に適した基準特徴情報を選ぶことができるので、基準特徴情報に基づく学習時の追跡でも或る程度の精度、ロバスト性は得られ、誤追跡やロストを生じる可能性は抑えられる。しかし、追跡用特徴情報を用いた本追跡は学習時の追跡より精度やロバスト性の向上を図ることができ、操作者は本追跡にて診断・治療を好適に行うことができる。
図4は学習動作の概略の処理フロー図である。超音波診断治療統合システム1は起動されると、生体像として超音波プローブ10による超音波画像の生成を開始する。例えば、操作者はリアルタイムで得られる超音波画像をモニタしながら、注目部位の追跡が可能なように対象者の位置、またはエンドエフェクタ2の位置を調整することができる。操作者は超音波画像に注目部位の追跡に好適な画像パターンが現れるタイミングにて、当該画像パターンを含む画像領域を基準注目領域として設定する。この基準注目領域の設定は、リアルタイムで得られる超音波画像にて行ってもよいし、録画した超音波画像にて行ってもよい。なお、基本的に注目部位は3次元的に移動し得るので、当該移動を好適に追跡できるように基準注目領域は超音波プローブ10a,10bそれぞれの超音波画像について設定される。
基準注目領域が設定されると、学習部44は基準設定部50により基準注目領域内の画像パターンを基準テンプレートTとして設定し(ステップS5)、テンプレート生成部52が基準テンプレートを用いて注目領域の追跡処理を開始する(ステップS10)。ちなみに、設定された基準テンプレートTは例えばエンドエフェクタ2の位置と共に記憶部34に記憶される。
基準テンプレートTを用いた追跡処理は、順次得られる超音波画像F(t)とのテンプレートマッチング処理により行われる。ここで、tは時刻でありF(t)は時刻tでの超音波画像である。例えば、F(t)は50Hz程度で更新される。i番目の更新時刻tをtと記す。テンプレートマッチング処理ではテンプレートを検索対象の画像に重ね合わせて比較照合し両者の類似度を調べる。具体的には学習部44はテンプレートTを検索対象の超音波画像F(t)上にて移動させて、最も類似度が高くなるテンプレートの位置を検出し、当該位置を注目領域と定める。なお、類似度の評価尺度としては、輝度値の差の絶対値の和(Sum of Absolute Difference:SAD)や輝度値の差の2乗和(Sum of Squared Difference :SSD)、正規化相関係数などが用いられる。本実施形態では、画像の輝度値の線形変換に対してロバストな正規化相関係数を採用する。正規化相関係数は画像の相関度が最も高いときに1、最も低いときに−1となる。
テンプレート生成部52は、画像F(t)にて定められた注目領域の位置と前時刻ti−1で定められた注目領域の位置との差に応じて移動機構4を制御し、エンドエフェクタ2を注目領域に追従させて移動させる。例えば、テンプレート生成部52は図2に示した集束超音波の焦点Pに対する注目領域の中心Qのずれを算出し、制御部40は当該ずれを誤差とするフィードバック制御により移動機構4を駆動させエンドエフェクタ2を移動させる。
このようにテンプレート生成部52はエンドエフェクタ2を移動させつつ、基準テンプレートに基づき注目領域を追跡する。テンプレート生成部52は、追跡した注目領域の軌跡から注目部位の軌道を求める。なお、焦点Pを注目領域の中心Qに追従させる上述の構成では、焦点Pやエンドエフェクタ2の位置の軌跡に基づいて軌道を定義することもできる。
テンプレート生成部52は本システム1により観察される注目部位の軌道を複数の区間に区切り、各区間にて、当該区間における予め定めた代表点での注目領域から代表特徴情報として区間代表テンプレートを抽出する。例えば、軌道はm個の区間に分割され、j番目の区間をSと表す。区間は例えば等間隔、不等間隔のいずれにも設定することができる。
なお、注目部位の移動範囲が移動機構4の可動範囲を超えるような場合には、本システム1で捉えられる範囲内の軌道に区間が設定される。また、注目部位は概周期的に運動するため、例えば或る位置から遠ざかって、また元の位置に戻るような運動をする。その際、行きと帰りで軌道が共通と見なせるような場合には、往復での区間を共通に設定してもよい。
ここで、体軸方向をx軸、体の左右方向をy軸、体の前後方向をz軸と定義する。腎臓及び肝臓のx軸方向の移動量はy,z軸方向の移動量に比べ著しく大きいとの知見がある。このような場合には、注目部位の画像パターンはx軸方向の移動量だけで決まると考えることができる。本実施形態では、この腎臓、肝臓の軌道についての区間をx軸方向に関して等間隔となるように設定する。また往復での区間を共通とし、例えば、軌道のx座標の小さい側から大きい側に向けてS〜Sの区間を設定する。図5はベッド18上の患者17における注目部位の軌道60の模式図である。図に示す軌道60に沿った移動はもっぱらx軸方向であるので、軌道60をx軸に沿って等間隔のm個の区間S〜Sに区切る例を示している。
テンプレート生成部52は追跡している注目領域の位置が区間の境界に達するか否かを監視し(ステップS15)、区間境界に達すると区間のインデックスjをこれから進入する区間の値に切り替える(ステップS20)。そして、新たに入った区間Sで撮影された超音波画像にて検出された注目領域の画像パターンを区間代表テンプレートT として抽出する(ステップS25)。例えば、T は区間Sにて最初に撮影される超音波画像から取り出すことができる。
テンプレート生成部52は区間代表テンプレートを取得する処理を、全ての区間について、つまり全てのインデックスjについて行う(ステップS30)。
図6は複数の区間における超音波画像の模式図である。図6(a)の超音波画像70aは区間Sαにて基準注目領域72を設定された時刻での臓器74の画像を示しており、図6(b)の超音波画像70bは超音波画像70aとは別の区間Sβでの臓器74の画像である。テンプレート生成部52は、基準注目領域72内の画像パターンを基準テンプレートTとして超音波画像70bにてテンプレートマッチング処理を行う。これにより超音波画像70bには注目領域76が設定され、当該領域内の画像パターンが区間代表テンプレートT βとして抽出される。
さて、基準テンプレートTを用いたテンプレートマッチングにより得られる臓器の推定位置が正しい場合は、その区間で得られる画像パターンによる区間代表テンプレートの信頼度は高いことが期待できる。しかし、例えば、呼吸による超音波画像パターンの変化により、観測された超音波画像パターンと基準テンプレートTとの類似度が安定なテンプレートマッチングができないほど低くなり、基準テンプレートTに基づく臓器の推定位置に大きな誤差が生じる場合がある。この場合、その区間で得られる画像パターンによる区間代表テンプレートは信頼度が低いものとなる。
このような信頼度の低いテンプレートを本追跡に用いると注目部位の追従に失敗する可能性が高くなる。そこで、テンプレート生成部52は基準テンプレートを用いた注目領域の追跡を継続し、各区間にて複数回得られる超音波画像パターンを用いて区間代表テンプレートの信頼度を評価する。具体的には、テンプレート生成部52は超音波画像が撮影された位置がどの区間Sに属するかを判定し(ステップS35)、当該超音波画像にて追跡された注目領域における画像パターンを基準テンプレート及び当該区間Sの区間代表テンプレートのそれぞれと比較し、m個の区間Sそれぞれについて状態価値関数Vold及びVnewを算出する(ステップS40)。
ここで状態価値関数Voldは区間Sにて得られる注目領域の画像パターンとTとの類似度を示す値であり、状態価値関数Vnewは区間Sにて得られる注目領域の画像パターンとT jとの類似度を示す値であり、それぞれ次式で定義する。
Figure 0006489637
ここで、θold は区間Sにて得られる注目領域の画像パターンとTとの相関係数であり、θnew は区間Sにて得られる注目領域の画像パターンとT jとの相関係数である。それぞれの添字kは区間Sにて得られる複数の注目領域を識別するインデックスである。
注目部位の区間Sにおける滞在期間は、注目部位の概周期的な運動により複数回生じ得る。Vold及びVnewの計算に用いる、区間Sにて得られる複数(n個)の注目領域は、複数回の区間Sの滞在期間に得られる全ての超音波画像における注目領域とすることができる。これによりVold及びVnewの精度向上が期待できる。また、計算負荷の軽減などのために、複数回の区間Sの滞在期間のそれぞれにて所定個数ずつ、例えば1つずつ、注目領域の画像パターンを選択してVold及びVnewを算出してもよい。
学習部44による学習用の追跡動作は例えば、予め定めた時間の経過に伴い終了される(ステップS45)。当該時間は一例として30秒とすることができる。このように時間で制限する場合、学習用追跡動作の終了タイミングは注目部位の運動周期の途中となり、区間の反復回数や個数nが区間間で異なり得る。これに対して、学習用追跡動作の期間を注目部位の運動周期を単位として設定し、各区間の反復回数が同じになるようにしてもよい。
学習用追跡動作が終了すると、テンプレート生成部52はVold及びVnewを参照して、各区間Sについて追跡用テンプレートTを定義する(S50)。
その際、上述した画像パターンの変化の連続性の要件から、隣接する区間同士にて追跡用テンプレートの画像パターンにずれがないように定義される。ちなみにもし、隣接区間の追跡用テンプレートの画像パターンにずれが存在すると、システムは区間の切り替わり箇所で臓器が動いてない場合でも臓器が動いたと判断し、画像パターン同士のずれ分、追跡位置がずれ、また移動機構4が駆動されエンドエフェクタ2が動いてしまう。この点、各区間代表テンプレートは、基準テンプレートによるテンプレートマッチングで得られるので、各区間代表テンプレートは基準テンプレートとずれなく選択することができると期待される。これにより上述した画像パターンの変化の連続性が担保され得る。
テンプレート生成部52は、区間Sにおける注目領域の画像パターンと区間代表テンプレートT jとの類似度を示す値であるVnewが、区間Sにおける注目領域の画像パターンと基準テンプレートTとの類似度を示す値であるVold以上である場合は、区間代表テンプレートT を区間Sの追跡用テンプレートTとし、VnewがVold未満である場合は、追跡用テンプレートTとして区間Sに先行する隣接区間の追跡用テンプレートを用いる。具体的には、現在の区間のインデックスをnow、先行区間のインデックスをprevとし、また基準テンプレートTを設定した区間のインデックスをstartとし区間Sstartから学習動作の追跡処理を開始したとすると、追跡用テンプレートは次の式(3)で定義することができる。
Figure 0006489637
この構成ではVnew<Voldの場合に追跡用テンプレートTは先行する隣接区間と同じとする。これにより、誤った追跡を起こしにくくなる、つまり追従ロバスト性が高くなることが期待できる。
また、追跡用テンプレートの定義の別の例として、区間Sにてテンプレート生成部52は、VoldがVnewより大きければ、基準テンプレートTを追跡用テンプレートTとし、VnewがVoldより大きければ、区間代表テンプレートT を追跡用テンプレートTとする。基準テンプレートTは人が注目部位の特徴が現れていることを確認して選択した画像パターンであり、人による直接のチェックを受けている。よって、Vnewが高くなる区間以外では基準テンプレートに戻して追跡を行う当該構成も好適な追跡が期待できる。なお、VnewとVoldとが等しい場合には、T又はT のうち所定の一方を追跡用テンプレートTとする。
図7は本追跡動作の概略の処理フロー図である。テンプレート生成部52による追跡用テンプレートの学習動作が完了すると、追跡処理部46は本追跡動作を開始する。追跡処理部46は、注目部位の軌道上での推定位置にて、当該推定位置に対応した追跡用テンプレートに基づいて注目領域を探索し新たな推定位置を求める。例えば、追跡処理部46は時刻ti−1で定められた注目領域の推定位置に集束超音波の焦点Pを合わせるように移動機構4を駆動させエンドエフェクタ2を移動させ、当該位置で時刻tにおける超音波画像を撮影する。そして、追跡処理部46は時刻ti−1で定められた注目領域の軌道上の位置W(ti−1)に対応する追跡用テンプレートを用い、当該新たな超音波画像にてテンプレートマッチング処理を行い、時刻tでの注目領域を探索しその新たな推定位置を求める。つまり、位置W(ti−1)が軌道におけるどの区間にあるかを判定し(ステップS100)、それが区間S内であれば、区間Sの追跡用テンプレートTに基づいて時刻tでの注目領域の軌道上での位置W(t)を求める(ステップS105)。ちなみに位置W(t)に基づく位置W(ti+1)の推定に際しては、位置W(t)が区間S内であれば追跡用テンプレートTを用い、一方、例えば位置W(t)が隣の区間Sj+1に入った場合は追跡用テンプレートTj+1を用いる。このように追跡処理部46は注目部位の軌道上での位置に応じた追跡用テンプレートを用いて注目領域の位置の推定を繰り返すことにより(S110)、生体内を運動する注目部位を追跡する。
[第2の実施形態]
本発明の第2の実施形態に係る超音波診断治療統合システム1について、上記第1の実施形態と共通の構成要素には同一の符号を付して基本的に説明を省略し、以下、第1の実施形態との相違点を中心に説明する。
本発明における特徴情報生成手段は、生体の心拍情報を取得しつつ基準特徴情報に基づく注目領域の追跡を複数回の運動周期について繰り返すことによって、軌道上の位置に対応づけて注目領域から互いに異なる複数の心拍位相での特徴情報を抽出し、当該特徴情報を用いて、軌道上の位置に対応づけられる追跡用特徴情報を複数の心拍位相それぞれについて求める。そして、本追跡処理部は、生体像の取得時の心拍位相に対応した追跡用特徴情報に基づいて注目領域を探索し注目部位の位置を求める。
具体的には、テンプレート生成部52は生体から得られる心拍情報を取得し、心拍情報を上述した追跡用テンプレートの学習動作に用いる。心拍情報は例えば、心電計の出力信号などであり、時間tに伴い変化する心拍位相φの情報を含む。この心拍情報は超音波診断治療統合システム1の外部から入力してもよいし、超音波診断治療統合システム1の一部として心電計などの心拍情報取得装置を備えてもよい。
テンプレート生成部52は、或る心拍位相φで取得した基準テンプレートTを用いたテンプレートマッチング処理により、第1の実施形態と基本的には同様にして学習用追跡動作を行い、軌道の各区間Sにて区間代表テンプレートを抽出する。但し、テンプレート生成部52は各区間Sにて心拍位相の複数点(nφ個とする)での区間代表テンプレートを抽出する。例えば、nφ個の心拍位相φλ(λ=1,2,3,…nφ)それぞれにて区間Sの区間代表テンプレートT j,λを抽出する。これは第1の実施形態における図4のステップS30までの処理に相当する。
ここで、各区間の滞在期間は心拍周期より短く設定され得るので、1回の区間Sでは全ての心拍位相φλの区間代表テンプレートT j,λが得られない場合がある。しかしその場合でも、複数回の運動周期に亘って区間代表テンプレート取得処理を継続することで、複数回の区間Sから全てのφλに対応してT j,λを得ることができる。
次にテンプレート生成部52は第1の実施形態における図4のステップS35〜S45に相当する処理を行う。具体的には、複数回の運動周期に亘る学習動作により、第1の実施形態のθnew に代えて、T j,λと区間Sにて得られる注目領域の心拍位相φλでの画像パターンとの相関係数θnewj,λ を計算する。添字kは第1の実施形態と同じく区間Sにて得られる複数の注目領域を識別するインデックスである。式(2)と同様に、θnewj,λ のkについての総和を計算して、これを区間Sにおける心拍位相φλでの状態価値関数Vnewj,λとする。
また、第1の実施形態のθold に代えて、基準テンプレートTと区間Sにて得られる注目領域の心拍位相φλでの画像パターンとの相関係数θoldj,λ を計算する。そして式(1)と同様に、θoldj,λ のkについての総和を計算して、これを区間Sにおける心拍位相φλでの状態価値関数Voldj,λとする。
学習用追跡動作が終了すると、テンプレート生成部52は第1の実施形態における図4のステップS50について説明した方法と基本的に同じ方法により、Voldj,λ及びVnewj,λを参照して、各区間Sについて心拍位相φλごとに追跡用テンプレートTj,λを定義する。
得られた追跡用テンプレートTj,λはそれが得られた区間及び心拍位相と対応付けて例えば、記憶部34に記憶される。
一方、追跡処理部46は第1の実施形態にて図7を用いて説明した処理と基本的に同様にして本追跡動作を行う。但し、その際、追跡用テンプレートTj,λが用いられる。具体的には、追跡処理部46は、注目部位の軌道上での推定位置にて、当該推定位置と心拍位相に対応した追跡用テンプレートを記憶部34から読み出し、当該追跡用テンプレートに基づいて注目領域を探索し新たな推定位置を求める。例えば、追跡処理部46は時刻ti−1で定められた注目領域の推定位置に追従させてエンドエフェクタ2を移動させ、当該位置で時刻tにおける超音波画像を撮影する。そして、追跡処理部46は当該超音波画像にて、時刻ti−1で定められた注目領域の軌道上の位置W(ti−1)と時刻tでの心拍位相φλに対応する追跡用テンプレートを用い、時刻tでの注目領域を探索しその新たな推定位置を求める。つまり、位置W(ti−1)が軌道におけるどの区間にあるかを判定し、それが区間S内であれば、区間Sと心拍位相φλに対応する追跡用テンプレートTj,λに基づいて時刻tでの注目領域の軌道上での位置W(t)を求める。このように追跡処理部46は注目部位の軌道上での位置と超音波画像の撮影時の心拍位相とに応じた追跡用テンプレートを用いて注目領域の位置の推定を繰り返すことにより、生体内を運動する注目部位を追跡する。なお、ti−1とtとの差は基本的には小さいので、時刻tにおける超音波画像に対して用いる追跡用テンプレートは時刻tでの心拍位相に対応するものに代えて時刻ti−1での心拍位相に対応するもの、つまり、時刻ti−1にて得られる注目領域の位置及び心拍位相に対応するものを用いることもできる。
本実施形態によれば、例えば、呼吸に伴う注目部位の運動による画像パターンの変化だけでなく、心拍による画像パターンの変化に対してもロバストな追跡を行うことが可能となる。例えば、腎臓と肝臓は既に述べたように呼吸に応じて運動するが、さらに肝臓内の血管は心拍に応じて変形する。つまり、肝臓の画像は呼吸及び心拍動の影響を受けて変化し得る。このような器官を注目部位とする際に本実施形態は有効である。
上述した第2の実施形態の構成では、基準テンプレートTは或る心拍位相にて求められたものであった。操作者は基準テンプレートを設定する際に、心拍周期内における代表的な画像パターンが現れる心拍位相を選択するとよい。
また、本実施形態において、特徴情報生成手段は、複数の心拍位相それぞれにて基準特徴情報を抽出し、注目領域の追跡に用いる基準特徴情報を生体像の取得時の心拍位相に応じて切り替えてもよい。
すなわちこの構成では、基準テンプレートをnφ個の心拍位相φλそれぞれにて設定する。例えば、操作者は或る心拍位相で基準注目領域を設定し、テンプレート生成部52は当該心拍位相の超音波画像の基準注目領域から基準テンプレートを抽出すると共に、心拍情報から心拍位相を把握し、心拍位相が異なる超音波画像からも同じ基準注目領域にて基準テンプレートを抽出しnφ個の基準テンプレートT0,λを取得する。ここで複数の心拍位相にて基準テンプレートを抽出する間に呼吸に伴って画像パターンが大きく変化するような場合は、例えば、対象者に一時的に呼吸を止めてもらいその間にnφ個の基準テンプレートT0,λを採取することで呼吸による変動を受けなくすることができる。ちなみに、診断や治療の間、対象者に呼吸を止めてもらうことは負担が大きいが、基準テンプレートを抽出する期間は比較的短時間であるので、その間の呼吸止めはそれほど負担とはならない。
テンプレート生成部52はnφ個の基準テンプレートT0,λを用いて学習用追跡動作を行う。つまり、テンプレート生成部52は基準テンプレートを超音波画像の取得時の心拍位相に応じて切り替えてテンプレートマッチング処理を行い注目部位を追跡し、軌道の各区間Sにてnφ個の心拍位相φλそれぞれについての区間代表テンプレートT j,λを抽出する。また、テンプレート生成部52は基準テンプレートと区間Sにて得られる注目領域の心拍位相φλでの画像パターンとの相関係数θoldj,λ を計算する際に、基準テンプレートとしてT0,λを用いる。なお、θnewj,λ 、Voldj,λ及びVnewj,λの算出の仕方、並びに追跡用テンプレートTj,λの定義の仕方は上述した通りであり、追跡処理部46の動作も同様である。
この構成によれば基準テンプレートの精度が上がることにより、区間代表テンプレートの精度が上がり、ひいては追跡用テンプレートの精度が上がる。よって、呼吸及び心拍動により画像パターンが変化する場合にて追跡の精度及びロバスト性が一層向上する。
[変形例]
上記各実施形態では生体像が超音波エコーによる2次元の画像である場合を説明したが、生体像はこれに限定されない。例えば、生体像は立体像、つまり3次元像であってもよい。また生体構造を探査し像を形成する手法も各種のものを用いることができ、例えば、X線透視撮影法、コンピュータ断層撮影法(Computed Tomography:CT)、MRI及び陽電子放出断層撮影法(Positron Emission Tomography:PET)により形成される画像・立体像を生体像として本発明を適用することもできる。
超音波画像内の画質は概して均一ではなく、フォーカスポジションが至適(もしくは最適)、又は音線密度が高いため分解能が高い、又はノイズやアーチファクトの影響が少ないといった画質が高い領域と、そうでない領域とが存在する。とりわけHIFU治療を想定した際のアーチファクトとしては肋骨による音響陰影(acoustic shadow)や肺による遮蔽等が挙げられる。診断や治療には高画質の領域に注目部位を捕捉することが好適である。この点、上述した実施形態の移動機構4のような駆動部を備え、エンドエフェクタ2に設けられる超音波プローブ10のような撮像部を注目領域の移動に伴って移動させ、注目領域が超音波画像の画質が比較的高い所定位置に写るような構成が有効である。
上記の移動機構4のような駆動部を備え、エンドエフェクタ2に設けられる超音波プローブ10のような撮像部を注目領域の移動に伴って移動させ、注目領域が超音波画像の画質が比較的高い所定位置に写るような構成の効果として例えば、超音波検査において用いられるパルスドプラ法と併用することにより、変形をともなって運動する臓器(たとえば血管や腎臓)におけるさまざまな流れ(たとえば血流)をあたかも静止する臓器内の流れのように観察することができる。上記において変形をともなって運動する臓器自身が追跡のためのテンプレートになりうる。
上記の移動機構4のような駆動部を備え、エンドエフェクタ2に設けられる超音波プローブ10のような撮像部を注目領域の移動に伴って移動させ、注目領域が超音波画像の画質が比較的高い所定位置に写るような構成の効果として例えば、超音波検査において用いられるエラストグラフィ法と併用することにより、変形をともなって運動する臓器のさまざまな粘弾性をあたかも静止する臓器の粘弾性のように観察することができる。これにより粘弾性計測の際の体動によるノイズを大きく軽減することができる。上記において変形をともなって運動する臓器自身が追跡のためのテンプレートになりうる。
一方、例えば、生体像が比較的均一で時間的に変化する立体像である場合には、移動機構4のような機械的な追従手段を設けずに、生体像データの画像処理など電子的な処理で追従を行うことができる。
注目領域の生体像の特徴を表す特徴情報は、上述した実施形態のように生体像であってもよいし、生体像から抽出される特徴量などであってもよく、また、追跡処理における注目領域の特定はテンプレートマッチング法に限られず、オプティカルフロー法、ニューラルネットワーク法など他の手法でもよい。
本発明は生体内を概周期的に運動する組織・器官の追跡に特徴があり、この技術をいかなる診断装置、治療装置に用いるかは限定されない。
例えば、RFAやHIFU治療におけるアブレーション治療効果判定の際には、超音波プローブのスキャン面外の患部の情報を得るために医師がマニュアルで超音波プローブの姿勢(あるいは位置)を概周期的に変化させながら患部の状態を観察することを行なう。このとき、プローブの姿勢変化により、患部の画像は変化してしまうため、テンプレートが適切でなくなり、追跡に失敗する可能性が高まる。
この問題を解決する手段として本発明を用いても良い。具体的には、学習部44により、プローブの姿勢が変化して断層面の向きが変わった場合についての追跡用テンプレートを生成する。そして、上記のプローブの概周期的な姿勢(あるいは位置)変化において、姿勢(あるいは位置)軌道中の姿勢(あるいは位置)を姿勢(あるいは位置)センサによって検出し、この情報にもとづいて、臓器運動軌道中の位置の場合と同様に追跡用テンプレートを切り替えることで追跡のロバスト性を高めることが期待できる。
上記のプローブ姿勢(あるいは位置)を検出する手段はロボットのエンコーダであってもよいし、ジャイロセンサ、光学式あるいは磁気式姿勢(あるいは位置)センサなど他の姿勢(あるいは位置)計測手段であってもよい。また、上記のプローブの概周期的な姿勢(あるいは位置)変化は医師がマニュアルで行っても良いし、ロボットが行っても良い。また、臓器の運動軌道中の位置および上記の姿勢(あるいは位置)軌道中の姿勢(あるいは位置)を併用して追跡用テンプレートを切替えれば追跡のロバスト性がさらに向上する効果が期待できる。
例えば、上述したHIFU治療以外の他の非侵襲性治療法の1つである放射線の外部治療に本発明を適用した場合、患部の運動に追従して放射線を照射する治療システムを構築することができ、患部への限局照射が可能となることで少ない副作用で治療効果を高めることができる。陽子線、重粒子線、並びに中性子線といった、最先端のがん治療においても上記と同様のシステムを構築することができる。
また、例えば経皮的アブレーション治療に本発明を適用した場合、治療中(あるいは治療後)の超音波画像と治療前の超音波画像を比較、対照するシステムを構築することができ、凝固マージンのより精確な判定が可能となることで、治療の終端条件をより効率よく判定することができ、治療効率および低侵襲性を高めることができる。上記の治療効果判定には他の画像診断モダリティ(X線、CT、MR、PET等)を用いても良い。また、治療前あるいは治療後の診断画像における経時的な患部の変化(例えば、腫瘍領域の成長あるいは縮小)を、観察する手段として用いても良い。
また、マスター・スレーブ型マニピュレータ・システムを構成し、スレーブ側の駆動制御に本発明による注目部位の運動補償を組み込むことで、経皮的エタノール注入治療、経皮的アブレーション治療、穿刺生検などを安定して高精度に行うことができる装置が実現される。また、治療におけるスレーブ・マニピュレータを患者側に、マスタ・マニピュレータを医療専門家側にそれぞれ配置した場合、上記の運動補償はマスタ・マニピュレータに対するスレーブ・マニピュレータの自律性を高める効果が期待できるため、遠隔地の患者に対しても上記の治療を安定して高精度に行なうことが可能になる。とりわけ、マスタ−スレーブ間で通信時間遅れや信号波形の変化が大きい環境下において、上記のスレーブ・マニピュレータの自律性を高める効果は相対的に高まることが期待できる。
また、マスター・スレーブ型マニピュレータ・システムを構成し、スレーブ側の駆動制御に本発明による注目部位の自律的な運動補償を組み込むことで、一般の超音波診断においても上記と同様の効果を得ることが期待できる。
さらに、PETなどにおいて生体から検知される信号が微弱である場合、長時間撮像が行われる。このような場合に、本発明による注目部位の追跡技術を用いて、検出器を注目部位に追従して移動させたり、得られた時間的に変化する生体像データの電子的な移動補償を行ったりすることで、ぶれの抑制された生体像を取得することができる。
さて、例えば、患部に追従してHIFUを照射する場合、患部臓器が肋骨の裏側を通過する際にHIFUが肋骨に当たると患者に疼痛が生じるという問題がある。本発明では患部の追従精度が向上するので、患部が肋骨に隠れるタイミングではHIFUを弱めたり、肋骨を避けるように照射したりする治療制御を好適に行うことが容易となる。また、誤差1mmの照***度が要求されるような主要血管、横隔膜、消化管に近い場所ではそれら器官の損傷を避けるために、HIFUの強度を弱め焦点領域を狭める治療制御が好適である。本発明による高精度の追跡はこれを可能とする。例えば、学習動作により記憶部34には、軌道上の位置に対応づけて追跡用テンプレートが記憶されるが、軌道上の位置に対応づけてさらに治療制御の情報を記憶させ、本追跡動作では制御部40は治療部位の追従に連動させてHIFUの強度を変えるといった治療制御を行うことができる。ちなみに、位置に対応づけられる治療制御情報は、学習動作で得られる生体像を操作者が見て設定することができる。
なお、制御部40の処理負荷や移動機構4やエンドエフェクタ2の制御が或る時間間隔で行われることを考えると、現実的には軌道を何らかの区間に区切って、区間ごとに追跡用特徴情報を定義することになると思われるが、本発明は本質的には軌道を区間に区切る形態に限定されず、例えば、軌道の連続的な位置に対応して追跡用特徴情報を定義してもよい。
1 超音波診断治療統合システム、2 エンドエフェクタ、4 移動機構、6 本体、10 超音波プローブ、12 HIFUトランスデューサ、20 送受波回路、22 フレームメモリ、24 パルス発生回路、26 移動機構制御部、28 演算処理部、30 表示部、32 入力部、34 記憶部、40 制御部、42 超音波画像生成部、44 学習部、46 追跡処理部、50 基準設定部、52 テンプレート生成部。

Claims (7)

  1. 生体内を概周期的に運動する注目部位を、生体構造を撮影した生体像において追跡する装置であって、
    本追跡処理に先行する前記注目部位の運動周期における前記生体像を用い、前記注目部位に対応する注目領域内の前記生体像の特徴を表す特徴情報について学習し追跡用特徴情報を生成する特徴情報学習部と、
    時間的に変化する前記生体像にて、前記追跡用特徴情報に基づいて前記注目領域を探索し前記注目部位の位置を求める本追跡処理部と、を有し、
    前記特徴情報学習部は、
    前記注目部位の軌道上の基準位置とする位置にて基準注目領域を設定する基準設定手段と、
    前記基準注目領域内の前記特徴情報である基準特徴情報を抽出し、当該基準特徴情報に基づき前記注目領域を追跡して前記軌道を求めると共に、追跡した前記注目領域から抽出した前記特徴情報を用いて、前記軌道上の位置に対応づけて前記追跡用特徴情報を求める特徴情報生成手段と、
    を有し、
    前記特徴情報生成手段は、前記軌道を複数の区間に区切り、当該各区間にて、当該区間における予め定めた代表点での前記注目領域から代表特徴情報を抽出し、前記基準特徴情報及び前記代表特徴情報のそれぞれと前記注目領域の当該区間における前記特徴情報との類似度を算出し、前記代表特徴情報に関する当該類似度が前記基準特徴情報に関する当該類似度以上である場合は、前記代表特徴情報を当該区間の前記追跡用特徴情報とし、前記代表特徴情報に関する当該類似度が前記基準特徴情報に関する当該類似度未満である場合は、当該区間の前記追跡用特徴情報として当該区間に先行する隣接区間の前記追跡用特徴情報を用いること、を特徴とする生体内運動追跡装置。
  2. 生体内を概周期的に運動する注目部位を、生体構造を撮影した生体像において追跡する装置であって、
    本追跡処理に先行する前記注目部位の運動周期における前記生体像を用い、前記注目部位に対応する注目領域内の前記生体像の特徴を表す特徴情報について学習し追跡用特徴情報を生成する特徴情報学習部と、
    時間的に変化する前記生体像にて、前記追跡用特徴情報に基づいて前記注目領域を探索し前記注目部位の位置を求める本追跡処理部と、を有し、
    前記特徴情報学習部は、
    前記注目部位の軌道上の基準位置とする位置にて基準注目領域を設定する基準設定手段と、
    前記基準注目領域内の前記特徴情報である基準特徴情報を抽出し、当該基準特徴情報に基づき前記注目領域を追跡して前記軌道を求めると共に、追跡した前記注目領域から抽出した前記特徴情報を用いて、前記軌道上の位置に対応づけて前記追跡用特徴情報を求める特徴情報生成手段と、
    を有し、
    前記特徴情報生成手段は、前記軌道を複数の区間に区切り、当該各区間にて、当該区間における予め定めた代表点での前記注目領域から代表特徴情報を抽出し、前記基準特徴情報と前記代表特徴情報とのうち前記注目領域の当該区間における前記特徴情報との類似度が高い方を当該区間の前記追跡用特徴情報とすること、を特徴とする生体内運動追跡装置。
  3. 請求項1又は請求項2に記載の生体内運動追跡装置において、
    前記本追跡処理部は、前記注目部位の前記軌道上での推定位置にて、当該推定位置に対応した前記追跡用特徴情報に基づいて前記注目領域を探索し新たな推定位置を求めること、を特徴とする生体内運動追跡装置。
  4. 請求項1又は請求項2に記載の生体内運動追跡装置において、
    前記特徴情報生成手段は、前記生体の心拍情報を取得しつつ前記基準特徴情報に基づく前記注目領域の追跡を複数回の前記運動周期について繰り返すことによって、前記軌道上の位置に対応づけて前記注目領域から互いに異なる複数の心拍位相での前記特徴情報を抽出し、当該特徴情報を用いて、前記軌道上の位置に対応づけられる前記追跡用特徴情報を前記複数の心拍位相それぞれについて求め、
    前記本追跡処理部は、前記生体像の取得時の前記心拍位相に対応した前記追跡用特徴情報に基づいて前記注目領域を探索し前記注目部位の位置を求めること、
    を特徴とする生体内運動追跡装置。
  5. 請求項に記載の生体内運動追跡装置において、
    前記特徴情報生成手段は、前記複数の心拍位相それぞれにて前記基準特徴情報を抽出し、前記注目領域の追跡に用いる前記基準特徴情報を前記生体像の取得時の前記心拍位相に応じて切り替えること、を特徴とする生体内運動追跡装置。
  6. 請求項1から請求項のいずれか1つに記載の生体内運動追跡装置において、
    前記生体像として、互いに交差する複数の断層面での超音波画像を撮影する撮像部と、
    前記注目領域が前記各超音波画像の所定位置に写るように、前記注目領域の移動に伴って前記撮像部を移動させる駆動部と、を有し、
    前記特徴情報は、前記各超音波画像における前記注目領域内の画像であること、
    を特徴とする生体内運動追跡装置。
  7. 請求項に記載の生体内運動追跡装置において、
    前記撮像部は、前記生体に対する前記断層面の向きを変えることができ、
    前記特徴情報学習部は、前記断層面の向きを変えたときの前記追跡用特徴情報を生成し、
    当該生体内運動追跡装置は、前記断層面の向きの変化を検知する手段を備え、
    前記本追跡処理部は、前記断層面の向きの変化に対応して前記追跡用特徴情報を切り替えて前記注目領域を探索すること、
    を特徴とする生体内運動追跡装置。
JP2015040453A 2015-03-02 2015-03-02 生体内運動追跡装置 Active JP6489637B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015040453A JP6489637B2 (ja) 2015-03-02 2015-03-02 生体内運動追跡装置
PCT/JP2015/075132 WO2016139832A1 (ja) 2015-03-02 2015-09-03 生体内運動追跡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015040453A JP6489637B2 (ja) 2015-03-02 2015-03-02 生体内運動追跡装置

Publications (2)

Publication Number Publication Date
JP2016158890A JP2016158890A (ja) 2016-09-05
JP6489637B2 true JP6489637B2 (ja) 2019-03-27

Family

ID=56843708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015040453A Active JP6489637B2 (ja) 2015-03-02 2015-03-02 生体内運動追跡装置

Country Status (2)

Country Link
JP (1) JP6489637B2 (ja)
WO (1) WO2016139832A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018042900A (ja) * 2016-09-16 2018-03-22 株式会社デンソー ロボット装置
US11413477B2 (en) 2016-11-22 2022-08-16 Cedars-Sinai Medical Center Transfection and drug delivery
JP7037136B2 (ja) 2017-08-18 2022-03-16 国立大学法人電気通信大学 生体内運動追跡装置、生体内運動追跡装置の作動方法およびプログラム
US11083913B2 (en) 2018-10-25 2021-08-10 Elekta, Inc. Machine learning approach to real-time patient motion monitoring
US10803987B2 (en) * 2018-11-16 2020-10-13 Elekta, Inc. Real-time motion monitoring using deep neural network
JP7246952B2 (ja) * 2019-02-12 2023-03-28 キヤノンメディカルシステムズ株式会社 医用情報処理装置、x線診断装置及びプログラム
JP7483437B2 (ja) 2020-03-23 2024-05-15 キヤノンメディカルシステムズ株式会社 放射線照射制御装置、放射線治療システム及び放射線照射制御方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125152A (ja) * 2005-11-02 2007-05-24 Hitachi Medical Corp 超音波診断装置
US8094899B2 (en) * 2006-10-04 2012-01-10 Hitachi Medical Corporation Medical image diagnostic device
JP5311392B2 (ja) * 2009-03-11 2013-10-09 国立大学法人 東京大学 生体内結石検出装置
JP5222323B2 (ja) * 2010-06-16 2013-06-26 日立アロカメディカル株式会社 超音波診断装置
JP4709937B2 (ja) * 2010-10-01 2011-06-29 株式会社東芝 超音波診断装置及び画像処理装置

Also Published As

Publication number Publication date
JP2016158890A (ja) 2016-09-05
WO2016139832A1 (ja) 2016-09-09

Similar Documents

Publication Publication Date Title
JP6489637B2 (ja) 生体内運動追跡装置
JP6675305B2 (ja) エラストグラフィ測定システム及びその方法
JP6906113B2 (ja) 周期的に動く生体構造を視覚化する装置、システム及び方法
JP6160487B2 (ja) 超音波診断装置およびその制御方法
JP5284123B2 (ja) 超音波診断装置および位置情報取得プログラム
US9747689B2 (en) Image processing system, X-ray diagnostic apparatus, and image processing method
US20060241461A1 (en) System and method for 3-D visualization of vascular structures using ultrasound
CN109310399B (zh) 医学超声图像处理设备
US20160095573A1 (en) Ultrasonic diagnostic apparatus
US20100198072A1 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, medical image diagnostic apparatus, medical image processing apparatus, ultrasonic image processing method, and medical image processing method
US20100099987A1 (en) Ultrasonic diagnostic device, ultrasonic image processing apparatus, ultrasonic image acquiring method and ultrasonic diagnosis display method
US20180008232A1 (en) Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus
JP2010068904A (ja) 超音波診断装置および画像表示プログラム
KR20060112240A (ko) 초음파를 사용하여 미리―획득한 이미지를 갖는전기해부학적 맵의 기록
JP7392093B2 (ja) 超音波診断装置、及び制御プログラム
US20210089812A1 (en) Medical Imaging Device and Image Processing Method
CN110868939A (zh) 超声***和方法
US20100324420A1 (en) Method and System for Imaging
US10573009B2 (en) In vivo movement tracking apparatus
JP2010094181A (ja) 超音波診断装置および超音波診断装置のデータ処理プログラム
JP2008073423A (ja) 超音波診断装置、診断パラメータ計測装置及び診断パラメータ計測方法
JP2007222533A (ja) 超音波診断装置及び超音波画像処理方法
JP6863774B2 (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP2011050625A (ja) 処置支援システム
Yoshikawa et al. Dynamic and precise visualization of contrast agent in blood vessels with motion correction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190222

R150 Certificate of patent or registration of utility model

Ref document number: 6489637

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250