JP5854399B2

JP5854399B2 - 医用システム

Info

Publication number: JP5854399B2
Application number: JP2011253892A
Authority: JP
Inventors: 聡一生熊; 大西　順一; 順一大西; 健東; 杉本　真樹; 真樹杉本
Original assignee: Kobe University NUC; Olympus Corp
Current assignee: Kobe University NUC; Olympus Corp
Priority date: 2011-11-21
Filing date: 2011-11-21
Publication date: 2016-02-09
Anticipated expiration: 2031-11-21
Also published as: JP2013106780A

Description

本発明は、医用システムに関し、特に、被検体の超音波断層像の観察に用いられる医用システムに関するものである。

被検者の体腔内の生体組織に超音波を送信し、当該生体組織における超音波の反射波を受信する超音波内視鏡と、当該超音波内視鏡により受信された反射波に応じた被検者の超音波断層像をリアルタイムに生成することが可能な超音波観測装置と、を具備するシステムが従来広く用いられている。

また、前述の超音波内視鏡を利用した手技として、例えば、超音波観測装置により生成された超音波断層像を観察しながら、超音波内視鏡の先端部から突出させた穿刺用または吸引用の処置具を操作することにより、生検に使用される被検部位の生体組織のサンプルを採取するような手技が近年行われている。

そして、前述の生体組織のサンプルの採取に係る手技を支援可能な構成として、例えば特許文献１に開示されているような、被検部位を含む臓器をＣＴまたはＭＲＩにより予め撮像して得た術前画像内に、現在の超音波断層像の観察範囲がどの部分に相当するかを報知可能な情報を重畳したガイド画像を生成する構成が提案されている。

ところで、超音波内視鏡を用いた観察等を実施している最中においては、例えば、被検者の***の変化、及び（または）、超音波内視鏡の挿入状態等の種々の要因により、当該観察等を実施する前の位置とは異なる位置に体腔内の臓器が移動し得る。そのため、特許文献１に開示されているような構成においては、ガイド画像により報知される超音波断層像の観察範囲と、実際の超音波断層像の観察範囲と、の間の位置関係がずれてしまう場合があり、結果的に、信頼性の低いガイド画像が生成されてしまう、という課題が生じている。

本発明は、前述した事情に鑑みてなされたものであり、超音波内視鏡を用いた観察等を実施している最中において、術前の位置とは異なる位置に体腔内の臓器が移動した場合であっても、実際の超音波断層像の観察範囲を正確に報知することが可能な医用システムを提供することを目的としている。

本発明の一態様の医用システムは、被検体から予め取得した複数の断層画像の中から、解剖学的な特徴部分を具備する１つの断層画像を抽出する画像抽出部と、前記被検体の外部において超音波の送受信を行う第１の超音波送受信部と、前記第１の超音波送受信部の超音波の送受信に応じた、前記被検体の第１の超音波断層像を取得する第１の超音波断層像取得部と、前記被検体の内部に挿入する内視鏡と、実空間内の前記第１の超音波送受信部及び前記内視鏡の位置及び向きを検出する位置方向検出部と、前記位置方向検出部による実空間内の前記内視鏡の位置の検出結果に基づいて前記内視鏡の観察範囲を算出する演算処理部と、前記第１の超音波断層像と、前記画像抽出部により抽出された前記１つの断層画像と、を比較する断層画像比較部と、前記断層画像比較部の比較結果に基づき、前記複数の断層画像を含む仮想空間内における前記１つの断層画像の位置と、実空間内の前記第１の超音波送受信部の位置及び向きと、を関連付ける関連付け部と、を具備し、前記関連付け部は、前記仮想空間内における前記内視鏡の観察範囲と、前記内視鏡により取得された実際の観察範囲と、の間のずれが大きいとの検出結果が得られた際に、前記仮想空間内の位置及び実空間内の前記第１の超音波送受信部の位置及び向きの関連付けを較正する。
また、本発明の他の態様の医用システムは、被検体から予め取得した複数の断層画像の中から、解剖学的な特徴部分を具備する１つの断層画像を抽出する画像抽出部と、前記被検体の外部において超音波の送受信を行う第１の超音波送受信部と、前記第１の超音波送受信部の超音波の送受信に応じた、前記被検体の第１の超音波断層像を取得する第１の超音波断層像取得部と、実空間内の前記第１の超音波送受信部の位置及び向きを検出する位置方向検出部と、前記第１の超音波断層像と、前記画像抽出部により抽出された前記１つの断層画像と、を比較する断層画像比較部と、前記断層画像比較部の比較結果に基づき、前記複数の断層画像を含む仮想空間内における前記１つの断層画像の位置と、実空間内の前記第１の超音波送受信部の位置及び向きと、を関連付ける関連付け部と、前記被検体の内部において超音波の送受信を行う第２の超音波送受信部と、前記第２の超音波送受信部の超音波の送受信に応じた、前記被検体の第２の超音波断層像を取得する第２の超音波断層像取得部と、演算処理部と、を具備し、前記位置方向検出部は、実空間内の前記第２の超音波送受信部の位置及び向きを検出し、前記演算処理部は、前記位置方向検出部による実空間内の前記第２の超音波送受信部の位置及び向きの検出結果に基づいて前記第２の超音波断層像の観察範囲を算出し、前記関連付け部による実空間内の前記第１の超音波送受信部の位置及び向きとの関連付けがなされた前記仮想空間内に、前記演算処理部により算出された前記第２の超音波断層像の観察範囲を重畳した画像が生成される。
さらに、本発明の他の態様の医用システムは、被検体から予め取得した複数の断層画像の中から、解剖学的な特徴部分を具備する１つの断層画像を抽出する画像抽出部と、前記被検体の外部において超音波の送受信を行う第１の超音波送受信部と、前記第１の超音波送受信部の超音波の送受信に応じた、前記被検体の第１の超音波断層像を取得する第１の超音波断層像取得部と、実空間内の前記第１の超音波送受信部の位置及び向きを検出する位置方向検出部と、前記第１の超音波断層像と、前記画像抽出部により抽出された前記１つの断層画像と、を比較する断層画像比較部と、前記断層画像比較部の比較結果に基づき、前記複数の断層画像を含む仮想空間内における前記１つの断層画像の位置と、実空間内の前記第１の超音波送受信部の位置及び向きと、を関連付ける関連付け部と、前記被検体の内部において超音波の送受信を行う第２の超音波送受信部と、前記第２の超音波送受信部の超音波の送受信に応じた、前記被検体の第２の超音波断層像を取得する第２の超音波断層像取得部と、演算処理部と、を具備し、前記位置方向検出部は、実空間内の前記第２の超音波送受信部の位置及び向きを検出し、前記演算処理部は、前記位置方向検出部による実空間内の前記第２の超音波送受信部の位置及び向きの検出結果に基づいて前記第２の超音波断層像の観察範囲を算出し、前記関連付け部による実空間内の前記第１の超音波送受信部の位置及び向きとの関連付けがなされた前記仮想空間内に、前記演算処理部により算出された前記第２の超音波断層像の観察範囲を報知可能な画像が描出される。

本発明における医用システムによれば、超音波内視鏡を用いた観察等を実施している最中において、術前の位置とは異なる位置に体腔内の臓器が移動した場合であっても、実際の超音波断層像の観察範囲を正確に報知することができる。

本発明の実施例に係る医用システムの要部の構成を示す図。本実施例の医用システムにおいて行われる処理等の一例を示すフローチャート。本実施例の医用システムにおいて行われる処理等の、図２とは異なる例を示すフローチャート。本実施例の医用システムにおいて行われる処理等の、図２及び図３とは異なる例を示すフローチャート。

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

図１及び図２は、本発明の実施例に係るものである。

図１は、本発明の実施例に係る医用システムの要部の構成を示す図である。

医用システム１は、図１に示すように、被検者の体表において超音波の送受信を行う超音波プローブ１１と、超音波プローブ１１の超音波の送受信に応じて超音波断層像を取得（生成）する超音波観測装置１２と、超音波観測装置１２により取得（生成）された超音波断層像を表示する表示装置１３と、被検者の体腔内において超音波の送受信を行うとともに、被検者の体腔内の被写体を撮像して撮像信号を出力する超音波内視鏡２１と、超音波内視鏡２１の超音波の送受信に応じて超音波断層像を取得（生成）する超音波観測装置２２と、超音波観測装置２２により取得（生成）された超音波断層像を表示する表示装置２３と、超音波内視鏡２１に対して照明光を供給するとともに、超音波内視鏡２１から出力される撮像信号に応じた内視鏡画像を取得（生成）するプロセッサ２４と、プロセッサ２４により取得（生成）された内視鏡画像を表示する表示装置２５と、位置方向検出装置３１と、位置方向検出装置３１の制御に応じて交流磁界を発生する磁界発生装置３２と、情報処理装置４１と、を有して構成されている。

超音波プローブ１１は、超音波を送受信可能な図示しない超音波送受信器と、当該超音波送受信器の近傍に配置され、磁界発生装置３２から発せられる交流磁界を検出して信号出力することが可能な磁界センサ１１ａと、を具備し、被検者の体表の所望の位置において超音波を送受信することができるように構成されている。

磁界センサ１１ａは、例えば、直交する３つの軸方向の磁界成分を検出した際に起電圧を発生するとともに、発生した起電圧に応じた交流信号を出力可能な３つの受信コイルを有して構成されている。

すなわち、以上のような超音波プローブ１１の構成によれば、磁界センサ１１ａの配置位置と略同じ位置に超音波送受信器が設けられていると規定することができる。

なお、本実施例によれば、超音波観測装置１２により取得された超音波断層像が情報処理装置４１に対して出力されるように構成してもよい。

超音波内視鏡２１は、被検者の体腔内に挿入可能な細長形状の挿入部２１Ａを有する医療器具として構成されている。挿入部２１Ａの内部には、プロセッサ２４から供給される照明光を挿入部２１Ａの先端部へ伝送する図示しない導光部材が設けられている。一方、挿入部２１Ａの先端部には、超音波を送受信可能な図示しない超音波送受信器と、当該超音波送受信器の近傍に配置され、磁界発生装置３２から発せられる交流磁界を検出して信号出力することが可能な磁界センサ２１ａと、が設けられている。さらに、挿入部２１Ａの先端部には、図示しない導光部材により伝送された照明光を被検者の体腔内の被写体へ出射する照明窓等を備えた図示しない照明部（照明系）、及び、当該照明部から出射された照明光により照明される被写体を撮像して撮像信号を出力する撮像素子等を備えた図示しない撮像部（撮像系）がそれぞれ設けられている。すなわち、本実施例の超音波内視鏡２１及びプロセッサ２４によれば、被検者の体腔内の被写体の光学像に応じた内視鏡画像を取得することができる。

具体的には、磁界センサ２１ａは、例えば、直交する３つの軸方向の磁界成分を検出した際に起電圧を発生するとともに、発生した起電圧に応じた交流信号を出力可能な３つの受信コイルを有して構成されている。

すなわち、以上のような超音波内視鏡２１の構成によれば、磁界センサ２１ａの配置位置と略同じ位置に超音波送受信器が設けられていると規定することができる。

位置方向検出装置３１は、磁界発生装置３２を制御することにより、磁界センサ１１ａ及び２１ａにおいて検出可能な強度及び周波数を具備する交流磁界を発生させる。

一方、位置方向検出装置３１は、磁界発生装置３２からの交流磁界の発生に伴って磁界センサ１１ａから出力される信号に基づき、実空間内の超音波プローブ１１の位置及び向きを算出し、当該算出した超音波プローブ１１の位置及び向きに関する情報を情報処理装置４１へ出力する。

また、位置方向検出装置３１は、磁界発生装置３２からの交流磁界の発生に伴って磁界センサ２１ａから出力される信号に基づき、実空間内の挿入部２１Ａの先端部の位置及び向きを算出し、当該算出した挿入部２１Ａの先端部の位置及び向きに関する情報を情報処理装置４１へ出力する。

ＰＣ（パーソナルコンピュータ）として構成されている情報処理装置４１は、図１に示すように、画像記憶部４１ａと、制御部４１ｂと、表示部４１ｃと、入力操作部４１ｄと、を有して構成されている。

画像記憶部４１ａには、超音波内視鏡２１による観察等の対象となる被検者の臓器等をＣＴまたはＭＲＩにより撮像して得た複数の断層画像（術前画像）が予め格納されている。

制御部４１ｂは、ＣＰＵ及びメモリ等を具備し、表示部４１ｃに表示させるＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）の生成等に関する種々の制御及び処理を行うことができるように構成されている。

また、制御部４１ｂは、入力操作部４１ｄから出力される操作指示に基づいて動作することができるように構成されている。

さらに、制御部４１ｂは、位置方向検出装置３１から出力される情報と、画像記憶部４１ａに格納された断層画像（術前画像）と、に基づいて処理を行うことにより、超音波内視鏡２１の現在の観察範囲を報知可能な画像を、画像記憶部４１ａに格納された複数の断層画像（術前画像）を３次元画像として再構築した仮想空間内に描出（表示）させる。

表示部４１ｃは、ＬＣＤ等を具備し、制御部４１ｂの制御に応じた画像等を表示することができるように構成されている。

入力操作部４１ｄは、キーボード及びポインティングデバイス等の入力装置を具備し、術者等の操作に応じた操作指示を制御部４１ｂへ出力することができるように構成されている。

次に、本実施例の医用システム１の作用について説明を行う。図２は、本実施例の医用システムにおいて行われる処理等の一例を示すフローチャートである。

まず、術者等は、医用システム１の各部を起動した後、超音波プローブ１１を被検者の体表に配置し、さらに、当該被検者の体腔内への超音波内視鏡２１の挿入部２１Ａの挿入操作を開始する。また、医用システム１の各部が起動されるに伴い、位置方向検出装置３１の制御に応じた交流磁界が磁界発生装置３２から発せられる。

画像抽出部としての機能を具備する制御部４１ｂは、情報処理装置４１の起動に伴い、画像記憶部４１ａに予め格納されている複数の断層画像（術前画像）の中から、超音波プローブ１１の超音波の送受信に応じた超音波断層像を取得可能な範囲内に存在する所定の臓器または所定の血管パターンを含むような、解剖学的な特徴部分を具備する１つの断層画像を抽出するための処理を行った後、当該処理により抽出した１つの断層画像を表示部４１ｃに表示させる（図２のステップＳ１）。

具体的には、制御部４１ｂは、図２のステップＳ１において、例えば、画像記憶部４１ａに格納されている複数の断層画像それぞれに対してマッチング処理を行うことにより、所定の臓器または所定の血管パターンについての一致度が最も高い１つの断層画像を抽出する。このとき、画像処理部としての機能を具備する制御部４１ｂは、画像記憶部４１ａに格納されている複数の断層画像を３次元画像として再構築するための処理を行い、さらに、当該処理により再構築された３次元画像に対して３次元的なマッチング処理を行うことにより、所定の臓器または所定の血管パターンについての一致度が最も高い１つの断層画像を抽出してもよい。そして、このような処理によれば、前述の１つの断層画像として、画像記憶部４１ａに格納された複数の断層画像のいずれとも異なる断層画像（３次元画像内にのみ存在する断層画像）を抽出することもできる。

または、制御部４１ｂは、図２のステップＳ１において、例えば、術者等の入力操作に応じて入力操作部４１ｄから出力される操作指示に基づき、画像記憶部４１ａに格納されている複数の断層画像の中から、超音波プローブ１１の超音波の送受信に応じた超音波断層像を取得可能な範囲内に存在する所定の臓器または所定の血管パターンを含むと術者等により判断された１つの断層画像を抽出する。

超音波観測装置１２は、超音波プローブ１１の超音波の送受信に応じて超音波断層像を取得（生成）し、当該取得（生成）した超音波断層像を表示装置１３に表示させる（図２のステップＳ２）。

位置方向検出装置３１は、超音波プローブ１１の磁界センサ１１ａから出力される交流信号に基づき、図２のステップＳ２のタイミングにおける実空間内の超音波プローブ１１の位置及び向きを算出し（図２のステップＳ３）、当該算出した超音波プローブ１１の位置及び向きに関する情報を情報処理装置４１へ出力する。

制御部４１ｂは、図２のステップＳ３により得られた超音波プローブ１１の位置及び向きの算出結果に基づき、表示装置１３に表示されている超音波断層像の観察範囲に相当する、超音波プローブ１１の現在の観察範囲（超音波走査面）を算出する（図２のステップＳ４）。

その後、断層画像比較部としての機能を具備する制御部４１ｂは、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像の観察範囲と、が一致するか否かを検出する（図２のステップＳ５）。

ここで、図２のステップＳ５に関連して行われる具体的な処理等について、術者等の目視による比較を利用する場合を例に挙げて説明する。

制御部４１ｂは、図２のステップＳ５の処理を行う前に、例えば、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像の観察範囲と、の比較を促すとともに、双方が一致しているか否かに係る判定に用いる情報の入力を促すＧＵＩを生成して表示部４１ｃに表示させる。

一方、術者等は、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像と、を目視で比較した後、表示部４１ｃに表示されているＧＵＩに応じ、例えば、入力操作部４１ｄのキーボードの「Ｙ」または「Ｎ」キーを押下する。

そして、制御部４１ｂは、入力操作部４１ｄから出力される操作指示に基づき、例えば、入力操作部４１ｄのキーボードの「Ｙ」キーが押下されたことを検出した場合には、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像と、が一致しているとの検出結果を得る。

また、制御部４１ｂは、入力操作部４１ｄから出力される操作指示に基づき、例えば、入力操作部４１ｄのキーボードの「Ｎ」キーが押下されたことを検出した場合には、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像と、が一致していないとの検出結果を得る。

続いて、図２のステップＳ５に関連して行われる具体的な処理等について、画像処理の処理結果による比較を利用する場合を例に挙げて説明する。

制御部４１ｂは、例えば、図２のステップＳ１において抽出された断層画像と、図２のステップＳ２において超音波観測装置１２により取得された超音波断層像と、に対して血管等の所定の構造物を抽出するための画像処理をそれぞれ施した後、当該画像処理により双方から抽出した当該所定の構造物の位置及び形状を比較する。

そして、制御部４１ｂは、前述の画像処理により抽出した所定の構造物の位置及び形状が同じであるとの比較結果を得た場合には、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像と、が一致しているとの検出結果を得る。

また、制御部４１ｂは、前述の画像処理により抽出した所定の構造物の位置及び形状が異なっているとの比較結果を得た場合には、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像と、が一致していないとの検出結果を得る。

そして、以上に例示したような図２のステップＳ５の処理により、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像の観察範囲と、が一致しているとの検出結果が得られた場合には、後述の図２のステップＳ６の処理が続けて行われる。

また、以上に例示したような図２のステップＳ５の処理により、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像の観察範囲と、が一致していないとの検出結果が得られた場合には、図２のステップＳ２からの処理が再度行われる。

関連付け部としての機能を具備する制御部４１ｂは、図２のステップＳ４の処理により得られた超音波プローブ１１の現在の観察範囲の算出結果と、図２のステップＳ５の処理により得られた検出結果と、に基づき、例えば日本国特開２００７−０３７７９０号公報に開示されているような演算を行うことにより、表示部４１ｃに表示されている断層画像の仮想空間内の位置と、実空間内の位置（実空間内の超音波プローブ１１の位置及び向き）と、を関連付けることで、３次元画像の仮想空間と、実空間との間の位置関係を対応付ける処理を行う（図２のステップＳ６）。

具体的には、制御部４１ｂは、表示部４１ｃに表示されている断層画像において設定した（１または複数の）参照点と、表示装置１３に表示されている超音波断層像において設定した（１または複数の）特徴点と、が同一の点であるという拘束条件のもと、実空間の座標系を、３次元画像の仮想空間の座標系に変換する変換式を算出する。

一方、超音波観測装置２２は、超音波内視鏡２１の超音波の送受信に応じて超音波断層像を取得（生成）し、当該取得（生成）した超音波断層像を表示装置２３に表示させる（図２のステップＳ７）。

位置方向検出装置３１は、超音波内視鏡２１の磁界センサ２１ａから出力される交流信号に基づき、実空間内の挿入部２１Ａの先端部の位置及び向きを算出し（図２のステップＳ８）、当該算出した挿入部２１Ａの先端部の位置及び向きに関する情報を情報処理装置４１へ出力する。

演算処理部としての機能を具備する制御部４１ｂは、図２のステップＳ８により得られた挿入部２１Ａの先端部の位置及び向きの算出結果に基づき、表示装置２３に表示されている超音波断層像の観察範囲に相当する、超音波内視鏡２１の現在の観察範囲（超音波走査面）を算出する（図２のステップＳ９）。

制御部４１ｂは、図２のステップＳ９の処理により得られた実空間内の超音波内視鏡２１の現在の観察範囲を、図２のステップＳ６の処理により対応付けがなされた３次元画像の仮想空間と実空間との位置関係に基づき、３次元画像の仮想空間内に描出させるとともに、仮想空間内の観察範囲に対応する３次元画像を描出させるための処理を行う（図２のステップＳ１０）。

その後、制御部４１ｂは、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の観察範囲が、表示装置２３に表示されている実際の超音波断層像の観察範囲から大きくずれているか否かを検出する（図２のステップＳ１１）。

ここで、図２のステップＳ１１に関連して行われる具体的な処理等について、術者等の目視による比較を利用する場合を例に挙げて説明する。

制御部４１ｂは、図２のステップＳ１１の処理を行う前に、例えば、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の観察範囲と、表示装置２３に表示されている実際の超音波断層像の観察範囲と、の比較を促すとともに、双方が大きくずれているか否かに係る判定に用いる情報の入力を促すＧＵＩを生成して表示部４１ｃに表示させる。

一方、術者等は、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の観察範囲と、表示装置２３に表示されている実際の超音波断層像の観察範囲と、を目視で比較した後、表示部４１ｃに表示されているＧＵＩに応じ、例えば、双方が大きくずれている場合において、入力操作部４１ｄのキーボードの所定のキーを押下する。

そして、制御部４１ｂは、入力操作部４１ｄから出力される操作指示に基づき、例えば、入力操作部４１ｄのキーボードの所定のキーが押下されていないことを検出した場合には、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の観察範囲と、表示装置２３に表示されている実際の超音波断層像の観察範囲と、のずれが小さい（所定のずれ量未満である）との検出結果を得る。

また、制御部４１ｂは、入力操作部４１ｄから出力される操作指示に基づき、例えば、入力操作部４１ｄのキーボードの所定のキーが押下されたことを検出した場合には、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の観察範囲と、表示装置２３に表示されている実際の超音波断層像の観察範囲と、のずれが大きい（所定のずれ量以上である）との検出結果を得る。

そして、以上に例示したような図２のステップＳ１１の処理により、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の観察範囲と、表示装置２３に表示されている実際の超音波断層像の観察範囲と、のずれが小さいとの検出結果が得られた場合には、図２のステップＳ８からの処理が再度行われる。

また、以上に例示したような図２のステップＳ１１の処理により、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の観察範囲と、表示装置２３に表示されている実際の超音波断層像の観察範囲と、のずれが大きいとの検出結果が得られた場合には、図２のステップＳ２からの処理が再度行われる。

すなわち、以上に述べた処理等によれば、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の観察範囲と、表示装置２３に表示されている実際の超音波断層像の観察範囲と、のずれが大きいとの検出結果が得られた場合において、表示部４１ｃに表示されている３次元画像の仮想空間内の位置と、実空間内の位置（実空間内の超音波プローブ１１の位置及び向き）と、の関連付けを較正するための処理が行われ、さらに、当該処理により改めて対応付けがなされた３次元画像の仮想空間と実空間との間の位置関係に基づき、３次元画像の仮想空間内に超音波内視鏡２１の現在の観察範囲が描出される。さらに、本実施例によれば、例えば、ＣＴ等を用いて予め得た術前画像内における腫瘍等の目標位置を指定し、当該目標位置と現在の観察範囲との位置関係を表示するような、医用超音波内視鏡イメージナビゲーションシステムを実現することも可能である。

以上に述べた本実施例によれば、超音波内視鏡を用いた観察等を実施している最中において、術前の位置とは異なる位置に体腔内の臓器が移動した場合であっても、実際の超音波断層像の観察範囲を正確に報知することができる。

なお、本実施例においては、以上に述べたような構成に限らず、例えば、超音波観測装置１２により取得（生成）された超音波断層像、超音波観測装置２２により取得（生成）された超音波断層像、図２のステップＳ１により抽出された断層画像、及び、図２のステップＳ１０により超音波内視鏡の観察範囲が描出された３次元画像のうちの任意の２つ以上の画像を、１つの表示装置（または表示部４１ｃ）に併せて表示させるような構成を具備するものであってもよい。

また、本実施例によれば、制御部４１ｂは、前述の図２のステップＳ４〜ステップＳ６の処理を行う代わりに、以降において述べるような、図３のステップＳ２１〜ステップＳ２４の処理を行うものであってもよい。なお、以降においては、図２の一連の処理として既に述べたものと同様の処理を行う部分については適宜省略するとともに、図２の一連の処理として既に述べたものとは異なる処理を行う部分に主眼を置きつつ説明する。図３は、本実施例の医用システムにおいて行われる処理等の、図２とは異なる例を示すフローチャートである。

制御部４１ｂは、図２のステップＳ３により得られた超音波プローブ１１の位置及び向きの算出結果に基づき、表示装置１３に表示されている超音波断層像における２つの方向及び１つの位置を算出する処理を行う（図３のステップＳ２１）。

具体的には、制御部４１ｂは、図２のステップＳ３により得られた超音波プローブ１１の位置及び向きの算出結果に基づき、表示装置１３に表示されている超音波断層像における下方向及び法線方向を前述の２つの方向として算出し、当該超音波断層像における任意の１点の位置を前述の１つの位置として算出する処理を行う。

その後、制御部４１ｂは、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像の観察範囲と、が一致するか否かを検出する（図３のステップＳ２２）。

ここで、術者等の目視による比較を利用する場合には、制御部４１ｂは、例えば、図２のステップＳ５の処理として既に述べたように、入力操作部４１ｄのキーボードの「Ｙ」または「Ｎ」キーの押下に応じて出力される操作指示に基づき、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像と、が一致しているか否かを検出する。

また、画像処理の処理結果による比較を利用する場合には、制御部４１ｂは、例えば、図２のステップＳ１において抽出された断層画像と、図２のステップＳ２において超音波観測装置１２により取得された超音波断層像と、の双方の画像から血管等の所定の構造物を抽出し、当該双方の画像をそれぞれ拡大、縮小、回転、及び（または）、平行移動することにより、当該双方の画像における当該所定の構造物の位置及び形状を比較し、当該所定の構造物の位置及び形状を比較して得た比較結果に基づいて当該双方の画像が一致しているか否かを検出する。

そして、以上に例示したような図３のステップＳ２２の処理により、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像の観察範囲と、が一致しているとの検出結果が得られた場合には、後述の図３のステップＳ２３の処理が続けて行われる。

また、以上に例示したような図３のステップＳ２２の処理により、表示部４１ｃに表示されている断層画像と、表示装置１３に表示されている超音波断層像の観察範囲と、が一致していないとの検出結果が得られた場合には、図２のステップＳ２からの処理が再度行われる。

一方、制御部４１ｂは、図３のステップＳ２１の処理結果に基づき、表示装置１３に表示されている超音波断層像の２つの方向及び１つの位置に対応する断層画像内の方向及び位置を取得するための処理を行う（図３のステップＳ２３）。

ここで、術者等の目視による比較を利用する場合には、制御部４１ｂは、例えば、図２のステップＳ１により抽出した断層画像内において、図３のステップＳ２１により算出した２つの方向及び１つの位置に対応する方向及び位置を術者等に指定させるようなＧＵＩを生成して表示部４１ｃに表示させ、さらに、当該ＧＵＩにおいて指定された断層画像内の方向及び位置を図３のステップＳ２３の処理結果として取得する。

また、画像処理の処理結果による比較を利用する場合には、制御部４１ｂは、例えば、図２のステップＳ１により抽出した断層画像内において、図３のステップＳ２１により算出した２つの方向及び１つの位置に対応する方向及び位置を算出する処理を行い、さらに、当該処理により算出された断層画像内の方向及び位置を図３のステップＳ２３の処理結果として取得する。

そして、制御部４１ｂは、図３のステップＳ２１の処理結果として得られた超音波断層像の２つの方向及び１つの位置と、図３のステップＳ２３の処理結果として得られた断層画像内の方向及び位置と、の対応関係に基づき、表示部４１ｃに表示されている断層画像の仮想空間内の位置と、実空間内の位置（実空間内の超音波プローブ１１の位置及び向き）と、を関連付けることで、３次元画像の仮想空間と、実空間との間の位置関係を対応付ける（図３のステップＳ２４）。

また、本実施例によれば、制御部４１ｂは、前述の図２のステップＳ９〜ステップＳ１１の処理を行う代わりに、以降において述べるような、図４のステップＳ３１〜ステップＳ３３の処理を行うものであってもよい。なお、以降においては、図２の一連の処理として既に述べたものと同様の処理を行う部分については適宜省略するとともに、図２の一連の処理として既に述べたものとは異なる処理を行う部分に主眼を置きつつ説明する。図４は、本実施例の医用システムにおいて行われる処理等の、図２及び図３とは異なる例を示すフローチャートである。

演算処理部としての機能を具備する制御部４１ｂは、図２のステップＳ８により得られた挿入部２１Ａの先端部の位置及び向きの算出結果に基づき、表示装置２５に表示されている内視鏡画像の観察範囲、すなわち、実空間内の超音波内視鏡２１により得られた現在の内視鏡画像の観察範囲を算出する（図４のステップＳ３１）。

制御部４１ｂは、図４のステップＳ３１の処理により得られた現在の内視鏡画像の観察範囲を、図２のステップＳ６の処理により対応付けがなされた３次元画像の仮想空間と実空間との位置関係に基づき、３次元画像の仮想空間内に描出させるとともに、仮想空間内の観察範囲に対応する３次元画像を描出させるための処理を行う（図４のステップＳ３２）。

その後、制御部４１ｂは、３次元画像の仮想空間内に描出されている超音波内視鏡２１の内視鏡画像の観察範囲が、表示装置２５に表示されている実際の内視鏡画像の観察範囲から大きくずれているか否かを検出する（図４のステップＳ３３）。

ここで、図４のステップＳ３３に関連して行われる具体的な処理等について、術者等の目視による比較を利用する場合を例に挙げて説明する。

制御部４１ｂは、図４のステップＳ３３の処理を行う前に、例えば、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の内視鏡画像の観察範囲と、表示装置２５に表示されている実際の内視鏡画像の観察範囲と、の比較を促すとともに、双方が大きくずれているか否かに係る判定に用いる情報の入力を促すＧＵＩを生成して表示部４１ｃに表示させる。

一方、術者等は、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の内視鏡画像の観察範囲と、表示装置２５に表示されている実際の内視鏡画像の観察範囲と、を目視で比較した後、表示部４１ｃに表示されているＧＵＩに応じ、例えば、双方が大きくずれている場合において、入力操作部４１ｄのキーボードの所定のキーを押下する。

そして、制御部４１ｂは、入力操作部４１ｄから出力される操作指示に基づき、例えば、入力操作部４１ｄのキーボードの所定のキーが押下されていないことを検出した場合には、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の内視鏡画像の観察範囲と、表示装置２５に表示されている実際の内視鏡画像の観察範囲と、のずれが小さい（所定のずれ量未満である）との検出結果を得る。

また、制御部４１ｂは、入力操作部４１ｄから出力される操作指示に基づき、例えば、入力操作部４１ｄのキーボードの所定のキーが押下されたことを検出した場合には、３次元画像の仮想空間内に描出されている超音波内視鏡２１の内視鏡画像の観察範囲と、表示装置２５に表示されている実際の内視鏡画像の観察範囲と、のずれが大きい（所定のずれ量以上である）との検出結果を得る。

そして、以上に例示したような図４のステップＳ３３の処理により、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の内視鏡画像の観察範囲と、表示装置２５に表示されている実際の内視鏡画像の観察範囲と、のずれが小さいとの検出結果が得られた場合には、図２のステップＳ８からの処理が再度行われる。

また、以上に例示したような図４のステップＳ３３の処理により、３次元画像の仮想空間内に描出されている超音波内視鏡２１の現在の内視鏡画像の観察範囲と、表示装置２５に表示されている実際の内視鏡画像の観察範囲と、のずれが大きいとの検出結果が得られた場合には、図２のステップＳ２からの処理が再度行われる。

なお、本実施例においては、以上に述べたような構成に限らず、例えば、内視鏡の位置を検出し、当該検出した内視鏡の位置を、図２のステップＳ６の処理により対応付けがなされた３次元画像の仮想空間と実空間との位置関係に基づき、３次元画像の仮想空間内に描出させるような構成を具備するものであってもよい。

本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

１医用システム
１１超音波プローブ
１２，２２超音波観測装置
１３，２３表示装置
２１超音波内視鏡
３１位置検出装置
３２磁界発生装置
４１情報処理装置

日本国特開２００７−１２５１７９号公報

Claims

被検体から予め取得した複数の断層画像の中から、解剖学的な特徴部分を具備する１つの断層画像を抽出する画像抽出部と、
前記被検体の外部において超音波の送受信を行う第１の超音波送受信部と、
前記第１の超音波送受信部の超音波の送受信に応じた、前記被検体の第１の超音波断層像を取得する第１の超音波断層像取得部と、
前記被検体の内部に挿入する内視鏡と、
実空間内の前記第１の超音波送受信部及び前記内視鏡の位置及び向きを検出する位置方向検出部と、
前記位置方向検出部による実空間内の前記内視鏡の位置の検出結果に基づいて前記内視鏡の観察範囲を算出する演算処理部と、
前記第１の超音波断層像と、前記画像抽出部により抽出された前記１つの断層画像と、を比較する断層画像比較部と、
前記断層画像比較部の比較結果に基づき、前記複数の断層画像を含む仮想空間内における前記１つの断層画像の位置と、実空間内の前記第１の超音波送受信部の位置及び向きと、を関連付ける関連付け部と、
を具備し、
前記関連付け部は、前記仮想空間内における前記内視鏡の観察範囲と、前記内視鏡により取得された実際の観察範囲と、の間のずれが大きいとの検出結果が得られた際に、前記仮想空間内の位置及び実空間内の前記第１の超音波送受信部の位置及び向きの関連付けを較正することを特徴とする医用システム。
前記被検体の内部に挿入する医療器具をさらに具備し、
前記位置方向検出部が実空間内の前記医療器具の位置を更に検出し、
前記関連付け部による実空間内の前記第１の超音波送受信部の位置及び向きとの関連付けがなされた前記仮想空間内に、前記医療器具の位置が描出される
ことを特徴とする請求項１に記載の医用システム。
前記関連付け部による実空間内の前記第１の超音波送受信部の位置及び向きとの関連付けがなされた前記仮想空間内に、前記演算処理部により算出された前記内視鏡の観察範囲を重畳した画像が生成される
ことを特徴とする請求項１に記載の医用システム。
前記関連付け部による実空間内の前記第１の超音波送受信部の位置及び向きとの関連付けがなされた前記仮想空間内に、前記演算処理部により算出された前記内視鏡の観察範囲を報知可能な画像が描出される
ことを特徴とする請求項１に記載の医用システム。
被検体から予め取得した複数の断層画像の中から、解剖学的な特徴部分を具備する１つの断層画像を抽出する画像抽出部と、
前記被検体の外部において超音波の送受信を行う第１の超音波送受信部と、
前記第１の超音波送受信部の超音波の送受信に応じた、前記被検体の第１の超音波断層像を取得する第１の超音波断層像取得部と、
実空間内の前記第１の超音波送受信部の位置及び向きを検出する位置方向検出部と、
前記第１の超音波断層像と、前記画像抽出部により抽出された前記１つの断層画像と、を比較する断層画像比較部と、
前記断層画像比較部の比較結果に基づき、前記複数の断層画像を含む仮想空間内における前記１つの断層画像の位置と、実空間内の前記第１の超音波送受信部の位置及び向きと、を関連付ける関連付け部と、
前記被検体の内部において超音波の送受信を行う第２の超音波送受信部と、
前記第２の超音波送受信部の超音波の送受信に応じた、前記被検体の第２の超音波断層像を取得する第２の超音波断層像取得部と、
演算処理部と、
を具備し、
前記位置方向検出部は、実空間内の前記第２の超音波送受信部の位置及び向きを検出し、
前記演算処理部は、前記位置方向検出部による実空間内の前記第２の超音波送受信部の位置及び向きの検出結果に基づいて前記第２の超音波断層像の観察範囲を算出し、
前記関連付け部による実空間内の前記第１の超音波送受信部の位置及び向きとの関連付けがなされた前記仮想空間内に、前記演算処理部により算出された前記第２の超音波断層像の観察範囲を重畳した画像が生成される
ことを特徴とする医用システム。
被検体から予め取得した複数の断層画像の中から、解剖学的な特徴部分を具備する１つの断層画像を抽出する画像抽出部と、
前記被検体の外部において超音波の送受信を行う第１の超音波送受信部と、
前記第１の超音波送受信部の超音波の送受信に応じた、前記被検体の第１の超音波断層像を取得する第１の超音波断層像取得部と、
実空間内の前記第１の超音波送受信部の位置及び向きを検出する位置方向検出部と、
前記第１の超音波断層像と、前記画像抽出部により抽出された前記１つの断層画像と、を比較する断層画像比較部と、
前記断層画像比較部の比較結果に基づき、前記複数の断層画像を含む仮想空間内における前記１つの断層画像の位置と、実空間内の前記第１の超音波送受信部の位置及び向きと、を関連付ける関連付け部と、
前記被検体の内部において超音波の送受信を行う第２の超音波送受信部と、
前記第２の超音波送受信部の超音波の送受信に応じた、前記被検体の第２の超音波断層像を取得する第２の超音波断層像取得部と、
演算処理部と、
を具備し、
前記位置方向検出部は、実空間内の前記第２の超音波送受信部の位置及び向きを検出し、
前記演算処理部は、前記位置方向検出部による実空間内の前記第２の超音波送受信部の位置及び向きの検出結果に基づいて前記第２の超音波断層像の観察範囲を算出し、
前記関連付け部による実空間内の前記第１の超音波送受信部の位置及び向きとの関連付けがなされた前記仮想空間内に、前記演算処理部により算出された前記第２の超音波断層像の観察範囲を報知可能な画像が描出される
ことを特徴とする医用システム。
前記仮想空間内における前記第２の超音波断層像の現在の観察範囲と、前記第２の超音波断層像取得部により取得された実際の前記第２の超音波断層像の観察範囲と、の間のずれが大きいとの検出結果が得られた際に、前記仮想空間内の位置と、実空間内の前記第１の超音波送受信部の位置及び向きと、の関連付けを較正するための処理が行われる
ことを特徴とする請求項５または６に記載の医用システム。