JP2004097696A - 内視鏡観測装置 - Google Patents
内視鏡観測装置 Download PDFInfo
- Publication number
- JP2004097696A JP2004097696A JP2002267193A JP2002267193A JP2004097696A JP 2004097696 A JP2004097696 A JP 2004097696A JP 2002267193 A JP2002267193 A JP 2002267193A JP 2002267193 A JP2002267193 A JP 2002267193A JP 2004097696 A JP2004097696 A JP 2004097696A
- Authority
- JP
- Japan
- Prior art keywords
- endoscope
- image
- biopsy
- unit
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003780 insertion Methods 0.000 claims description 75
- 230000037431 insertion Effects 0.000 claims description 75
- 230000003902 lesion Effects 0.000 claims description 53
- 238000001574 biopsy Methods 0.000 abstract description 208
- 238000002591 computed tomography Methods 0.000 abstract description 124
- 239000002131 composite material Substances 0.000 abstract description 20
- 230000002093 peripheral effect Effects 0.000 abstract description 7
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 24
- 238000011282 treatment Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000003702 image correction Methods 0.000 description 13
- 239000000523 sample Substances 0.000 description 11
- 238000012790 confirmation Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 6
- 210000000621 bronchi Anatomy 0.000 description 5
- 238000013170 computed tomography imaging Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000013307 optical fiber Substances 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 210000004400 mucous membrane Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000011888 foil Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical compound [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000014181 Bronchial disease Diseases 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052697 platinum Inorganic materials 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【解決手段】内視鏡観測装置1は、内視鏡2及びCCU3で構成される内視鏡装置4と、CT装置5と、観測装置本体6と、モニタ7と、生検鉗子8とから構成される。観測装置本体6は、観察画像を取得する内視鏡画像入力部11と、観察画像からランドマーク10を識別する内視鏡側対象識別部15と、ターゲットの位置関係を算出する内視鏡側位置算出部16と、CT画像データを取得するCT画像入力部17と、CT画像データからターゲット、ランドマーク10、内視鏡2の挿入部先端部を識別するCT側対象識別部18と、内視鏡2の挿入部先端部の視点でのターゲットの位置を算出し、観察画像上に合成してこの合成画像をモニタ7に出力する画像合成部20とを有して構成される。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、内視鏡観測装置に関し、特に例えば気管支等のような体内の管路で生検(生体検査)等を行う際に用いられる内視鏡観測装置に関する。
【0002】
【従来の技術】
近年、内視鏡は、広く用いられている。内視鏡は、体腔内に細長な挿入部を挿入することで、体腔内の臓器を観察したり、必要に応じて処置具挿入用チャンネル内に挿入した処置具を用いて、生検(生体検査)等、各種治療処置ができる。
【0003】
また、近年、内視鏡検査は、例えばCT( Computed Tomography )装置等により被検体の断層像を撮像して得た3次元画像データを用いて患部の診断が行われるようになってきた。
【0004】
このような内視鏡検査に用いられる内視鏡観測装置は、例えば、上記3次元画像データに基づいて作成されたナビゲーション画像により、被検体内管路の目的部位まで内視鏡(の挿入部)が導かれるものがある。
そして、上記内視鏡観測装置は、処置具挿通用チャンネルを挿通させた生検鉗子等を用いて生体組織のサンプル( sample )を採取することが行われる。
【0005】
【発明が解決しようとする課題】
しかしながら、上記従来の内視鏡観測装置は、例えば、気管支での生検(生体検査)時、内視鏡の挿入部が肺の末梢部まで挿入し難い。この場合、上記従来の内視鏡観測装置は、肺の末梢部にある目的部位近傍まで到達可能であるが、目的部位まで到達することが困難である。
このため、上記従来の内視鏡観測装置は、内視鏡観察画像上において、目的部位近傍で盲の状態で上記生検鉗子等を用いて生検(生体検査)を行うこととなる。
【0006】
本発明は、上述した問題点に鑑みてなされたものであり、体腔内管路の末梢部における生診率(生体検査診断率)の向上化が可能な内視鏡観測装置を提供する。
【0007】
【課題を解決するための手段】
本発明の請求項1は、病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡とを含む領域の断層画像データを得る断層画像データ取得手段と、前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、を具備したことを特徴としている。
また、本発明の請求項2は、病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡と前記指標とを含む領域の断層画像データを取得する断層画像データ取得手段と、前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、を具備したことを特徴としている。
また、本発明の請求項3は、請求項1に記載の内視鏡観測装置において、前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡のベクトルとで前記病変部位と前記内視鏡との相対位置を特定することを特徴としている。
また、本発明の請求項4は、請求項2に記載の内視鏡観測装置において、前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡の挿入部先端部の中心点と、前記指標の中心点とで前記病変部位と前記内視鏡との相対位置を特定することを特徴としている。
この構成により、体腔内管路の末梢部における生診率(生体検査診断率)の向上化が可能な内視鏡観測装置を実現する。
【0008】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
図1ないし図11は本発明の第1の実施の形態に係り、図1は本発明の第1の実施の形態の内視鏡観測装置を示す全体構成図、図2は図1の内視鏡観測装置で実行される生検メインのフローチャート、図3はランドマークを気管支のターゲット近傍の粘膜に貼り付けた際のモニタ表示例、図4は図3の生検位置確認のフローチャート、図5は観察画像(内視鏡画像)にターゲットが合成された合成画像のモニタ表示例、図6は図3の対象の位置関係算出のフローチャート、図7は目盛りが形成されている生検鉗子を示す概略図であり、図7(a)は生検カップが閉じている際の生検鉗子を示す概略図、図7(b)は生検カップが開いている際の生検鉗子を示す概略図、図8は長さに応じて着色されている生検鉗子を示す概略図であり、図8(a)は生検カップが閉じている際の生検鉗子を示す概略図、図8(b)は生検カップが開いている際の生検鉗子を示す概略図、図9は図3の生検のフローチャート、図10は形状の異なるランドマークを最低2つターゲット近傍に貼り付けた際のモニタ表示例、図11は変形例の生検位置確認のフローチャートである。
【0009】
尚、本実施の形態では、気管支内視鏡に本発明を適用した場合を説明する。
【0010】
図1に示すように本発明の第1の実施の形態を備えた内視鏡観測装置1は、気管支に挿入可能な気管支内視鏡(以下、単に内視鏡)2及び、この内視鏡2の図示しない撮像手段で撮像して得た内視鏡像を信号処理して標準的な映像信号を生成するカメラコントロールユニット(以下、CCU)3で構成される内視鏡装置4と、被検体の断層像を撮像して3次元画像(以下、CT画像)データを得るCT装置5と、このCT装置5で得たCT画像データから抽出されるターゲット(目的部位)の位置とこのターゲット(目的部位)近傍に挿入された内視鏡2との位置関係を求め、前記CCU3で信号処理された内視鏡画像(以下、観察画像と記す)にターゲット(目的部位)を合成する処理を行う観測装置本体6と、この観測装置本体6からの合成画像を表示するモニタ7とから主に構成されている。
【0011】
前記内視鏡2は、細長で可撓性の図示しない挿入部を有して構成される。また、前記内視鏡2は、生検鉗子8等の処置具を図示しない処置具挿入口から挿入し、図示しない処置具挿通用チャンネルを介して前記挿入部先端部に形成されているチャンネル開口から処置具の先端側を突出させて生検などを行うことができるようになっている。
【0012】
また、前記内視鏡2は、照明光を伝達する図示しないライトガイドが挿通配設されている。このライトガイドは、図示しない光源からの照明光を伝達するようになっている。前記ライトガイドから伝達された照明光は、前記挿入部先端部に固定された図示しない照明窓の先端面から患部などの被写体を照明するようになっている。
【0013】
照明された被写体は、前記照明窓に隣接して設けた図示しない観察窓から被写体像が内視鏡2へ取り込まれる。この取り込まれた被写体像は、図示しない撮像装置により撮像されて光電変換され、撮像信号に変換されるようになっている。そして、この撮像信号は、図示しない信号ケーブルを伝達し、前記CCU3へ出力される。
【0014】
前記CCU3は、前記内視鏡2の前記撮像装置からの撮像信号を信号処理して、標準的な映像信号を生成し、この映像信号を前記モニタ7に出力して、このモニタ7の表示面に観察画像を表示させるようになっている。
【0015】
尚、内視鏡観測装置1は、図示しないが予め前記CT装置5で得たCT画像データにより生成した仮想の内視鏡画像(以下、VBS画像と記す)を構築するナビゲーションユニット(以下、ナビユニット)に接続されるようになっている。そして、このナビユニットは、生成したVBS画像を内視鏡2(の挿入部先端部)の位置にリンクして前記モニタ7に表示させ、ターゲット近傍までの内視鏡2(の挿入部先端部)のナビゲーションを行うように構成されている。
【0016】
前記内視鏡2は、前記ナビユニットにより前記モニタ7に表示されるVBS画像で導かれながら例えば、気管支内のターゲット近傍に内視鏡2(の挿入部先端部)が到達されるようになっている。そして、内視鏡観測装置1は、ターゲット近傍で内視鏡観察・処置(生検や治療)等を行うようになっている。
【0017】
ここで、内視鏡観測装置1は、ターゲットを生検(生体検査)によって確認するために、生検鉗子8等で生体組織のサンプル( sample )を採取することが行われるようになっている。
【0018】
このとき、後述するように内視鏡観測装置1は、金や白金等の生体安全性を有する金属箔で形成されたランドマーク10を、指標配置手段である生検鉗子8でターゲット近傍に貼り付けて(図3参照)、このターゲット近傍を前記CT装置5でCT撮影する。尚、ランドマーク10は、CT撮影可能な金属箔で形成されているので、体腔内臓器と容易に区別でき、識別可能である。
そして、内視鏡観測装置1は、CT画像データからランドマーク10、ターゲット、内視鏡2の挿入部先端部の位置関係を求め、観察画像上にターゲットを合成して生検位置を確認するようになっている。
【0019】
次に、前記観測装置本体6の詳細構成を説明する。
前記観測装置本体6は、前記内視鏡装置4と接続し、観察画像を取得する内視鏡画像入力部11と、使用している内視鏡2に記憶保持されたIDを検出する内視鏡機種検出部12と、この内視鏡機種検出部12で検出したIDに基づき、予め記録した内視鏡2の光学特性を出力する内視鏡情報記録部13と、この内視鏡情報記録部13からの光学特性に基づき、前記内視鏡画像入力部11で入力された観察画像の画角や歪等のディストーションを補正する画像補正部14と、この画像補正部14で補正された観察画像から前記ランドマーク10を識別する内視鏡側対象識別部15と、この内視鏡側対象識別部15で識別されたターゲットの位置関係を算出する内視鏡側位置算出部16と、断層画像データ取得手段として前記CT装置5と接続し、このCT装置5のWS(ワークステーション)からCT画像データを取得するCT画像入力部17と、このCT画像入力部17で入力されたCT画像データからターゲット、ランドマーク10、内視鏡2の挿入部先端部を識別するCT側対象識別部18と、相対位置特定手段として前記CT側対象識別部18で識別されたターゲット、ランドマーク10、内視鏡2の挿入部先端部の位置関係を算出するCT側位置算出部19と、このCT側位置算出部19で算出されたCT画像データのターゲット、ランドマーク10、内視鏡2の位置関係と前記内視鏡側位置算出部16で算出された観察画像のランドマーク10の位置関係とから、内視鏡2の挿入部先端部の視点でのターゲットの位置を算出し、観察画像上に合成してこの合成画像を前記モニタ7に出力する画像合成部20とを有して構成される。
【0020】
また、前記観測装置本体6は、図示しないフロントパネルに設けた切換釦の押下操作によりオンし、前記モニタ7に表示する画像を観察画像からVBS画像に切り換える切換部21と、予め前記CT装置5で得たCT画像データによりターゲットまでのVBS画像を生成し、記録しているVBS画像記録部22と、切換部21を介して前記内視鏡画像入力部11から入力された観察画像上で生検鉗子8の種類を識別する鉗子識別部23と、この鉗子識別部23で識別された生検鉗子8の種類に基づき、入力された観察画像上で生検鉗子8の色、又は目盛り(図8,図9参照)を識別して生検鉗子8の挿入長を判定する鉗子挿入長判定部24と、この鉗子挿入長判定部24で判定した生検鉗子8の挿入長に応じて、前記VBS画像記録部22で生成記録したVBS画像を読み込み、前記モニタ7に出力する画像参照部25とを有して構成される。
【0021】
尚、前記切換部21は、挿入部先端部から生検鉗子8を突出させたときを、前記内視鏡画像入力部11で入力された観察画像から検出して自動的にオンするように構成していても良い。
また、前記観測装置本体6は、生検鉗子8に接続した光ファイバ先端の明暗(明るさ)を検出するフォトダイオード等の光検出部26と、この光検出部26で検出した明暗(明るさ)により、生検鉗子8の先端がターゲットに到達して接触した否かを判断し、その結果をVBS画像に重畳する生検判定部27とを有して構成される。
【0022】
このように構成される内視鏡観測装置1は、気管支疾患等の内視鏡観察・処置(生検や治療)に用いられる。
先ず、術者は、患者の体腔内に経口的或いは経鼻的に内視鏡2の挿入部を挿入し、術者が判る所定位置、例えば気管の上端(喉頭部)まで内視鏡2の挿入部先端部を進める。このとき、術者は、モニタ7に表示される内視鏡2で得た観察画像を見ながら、挿入部の挿入を行っている。
【0023】
そして、術者は、内視鏡2の挿入部先端部を所定位置まで進めると、ここからナビユニットを起動し、モニタ7に表示されるVBS画像を参照しながら、ターゲットに至る経路に従い、ターゲット近傍まで内視鏡2の挿入部の挿入を行う。
【0024】
そして、ターゲット近傍まで内視鏡2の挿入部先端部が到達したら、術者は、図2に示す生検メインのフローチャートに従って生検(生体検査)を行う。
先ず、術者は、観察画像を見ながら内視鏡2の処置具挿通用チャンネルに挿通させた生検鉗子8等を用いてランドマーク10を例えば、図3に示すように気管支のターゲット近傍の粘膜に貼り付ける(ステップS1)。尚、このとき、図示しないが、モニタ7は、この表示面に観察画像(内視鏡画像)のみが表示されている。
【0025】
次に、術者は、このままの状態(内視鏡2を挿入した状態)でCT装置5でターゲット近傍をCT撮影する(ステップS2)。
そして、術者は、観測装置本体6による後述の図4に示す生検位置確認のフローチャートに従って、生検位置の確認を行う(ステップS3)。そして、生検位置の確認が終了したら、術者は、観測装置本体6による後述の図9に示す生検のフローチャートに従って、生検を行い(ステップS4)、生検が終了する。
【0026】
次に、図4に示す生検位置確認のフローチャートを説明する。
観測装置本体6は、図2の生検メインのステップS2で得たCT画像データから抽出されるターゲットの位置と、このターゲット(目的部位)近傍に挿入された内視鏡2の挿入部先端部との位置関係を求め、観察画像にターゲットを合成する生検位置確認処理を行う。
【0027】
先ず、観測装置本体6は、CT装置5のWSからCT画像データをCT画像入力部17で入力される(ステップS11)。
次に、観測装置本体6は、CT画像入力部17から入力されたCT画像データから対象であるターゲット、ランドマーク10、内視鏡2の挿入部先端部をCT側対象識別部18で識別する(ステップS12)。
【0028】
次に、観測装置本体6は、CT側対象識別部18で識別されたターゲット、ランドマーク10、内視鏡2の挿入部先端部の位置関係をCT側位置算出部19で算出する(ステップS13)。ここで、CT側位置算出部19は、後述の図6に示す対象の位置関係のフローチャートに従って、算出する。
【0029】
次に、観測装置本体6は、使用している内視鏡2に記憶保持されたIDを内視鏡機種検出部12で検出し(ステップS14)、内視鏡機種検出部12で検出したIDに基づき、内視鏡情報記録部13が予め記録した内視鏡2の光学特性を画像補正部14に出力する。
【0030】
次に、観測装置本体6は、内視鏡装置4(CCU3)から観察画像(内視鏡画像)を内視鏡画像入力部11で入力される(ステップS15)。
そして、観測装置本体6は、内視鏡情報記録部13からの光学特性に基づき、内視鏡画像入力部11で入力された観察画像(内視鏡画像)に対して画像補正部14が画角や歪等の光学特性(ディストーション)を補正する(ステップS16)。
【0031】
次に、観測装置本体6は、画像補正部14で補正された観察画像(内視鏡画像)から対象であるランドマーク10を内視鏡側対象識別部15で識別し(ステップS17)、この内視鏡側対象識別部15で識別されたランドマーク10の位置関係を内視鏡側位置算出部16で算出する(ステップS18)。ここで、内視鏡側位置算出部16は、CT側位置算出部19と同様に後述の図6に示す対象の位置関係のフローチャートに従って、算出する。
【0032】
そして、観測装置本体6は、CT側位置算出部19で算出されたCT画像データのターゲット、ランドマーク10、内視鏡2の位置関係と内視鏡側位置算出部16で算出された観察画像のランドマーク10の位置関係とから、内視鏡2の挿入部先端部からの視点でのターゲットの位置を算出し、観察画像(内視鏡画像)上に合成して(ステップS19)、この合成画像をモニタ7に出力する。
【0033】
そして、モニタ7は、図5に示すように観察画像(内視鏡画像)にターゲット31が半透明で合成された合成画像を表示される。術者は、このモニタ7に表示される合成画像により、生検位置を確認可能である。尚、ここで、合成画像は、手ぶれ等で内視鏡2の挿入部先端部の位置がずれると、ターゲット31の位置が不正確となるが、貼り付けるランドマーク10は1つで良い。
【0034】
次に、図6を参照してCT側位置算出部19又は内視鏡側位置算出部16で行われる対象の位置関係算出のフローチャートを説明する。尚、ここでは、都合上、CT側位置算出部19を例にして説明する。
CT側位置算出部19は、CT画像データからターゲット31、ランドマーク10、内視鏡2の挿入部先端部の輪郭を抽出する(ステップS21)。
【0035】
そして、CT側位置算出部19は、抽出した輪郭からターゲット31、ランドマーク10、内視鏡2の挿入部先端部を識別する(ステップS22)。
そして、CT側位置算出部19は、識別したターゲット31、ランドマーク10、内視鏡2の挿入部先端部のそれぞれの重心(位置),方向を算出する(ステップS23)。尚、CT側位置算出部19は、内視鏡2の挿入部先端部の方向を内視鏡2の挿入部先端部とその基端側の2点の重心から算出して、内視鏡2の挿入部先端部をベクトルとして求めるようになっている。
【0036】
これにより、CT側位置算出部19は、ターゲット31、ランドマーク10、内視鏡2の挿入部先端部の位置関係を算出可能である。
尚、内視鏡側位置算出部16は、上述のCT側位置算出部19とほぼ同様であり、対象としてランドマーク10の位置関係を算出するのみである。
【0037】
次に、生検について説明する。
先ず、本実施の形態で使用される生検鉗子8について図7及び図8を参照して説明する。
本実施の形態で使用される生検鉗子8は、生検カップ8aにターゲット31からの反射光を検出するための光ファイバ41の光入射端面41aが取り付けられている。この光ファイバ41の基端側は、観測装置本体6に接続されており、光ファイバ41の光出射端面からの光を光検出部26(図1参照)で受光するようになっている。
【0038】
また、生検鉗子8は、挿入長がわかるように例えば、図7に示すように目盛りが形成されているか、図8に示すように長さに応じて着色されている。
尚、図7(a),図8(a)は、生検カップ8aが閉じている際の生検鉗子8を示し、図7(b),図8(b)は生検カップ8aが開いている際の生検鉗子8を示している。
【0039】
このような生検鉗子8を用いて、術者は、生検鉗子8を処置具挿入口から挿入し、処置具挿通用チャンネルを介して挿入部先端部のチャンネル開口から先端側を突出させる。そして、術者は、観測装置本体6による図9に示す生検のフローチャートに従って、生検を行う。
【0040】
観測装置本体6は、内視鏡装置4(CCU3)から観察画像(内視鏡画像)を内視鏡画像入力部11で入力される(ステップS31)。尚、このとき、観測装置本体6は、上述したように観察画像(内視鏡画像)に対して画像補正部14による光学特性の補正処理が行われている。
【0041】
次に、観測装置本体6は、切換部21を介して入力された観察画像(内視鏡画像)から鉗子識別部23で生検鉗子8を識別する(ステップS32)。尚、このとき、観測装置本体6は、上述したように観察画像(内視鏡画像)から内視鏡側位置算出部16による生検鉗子8の位置関係算出の処理が行われている。
【0042】
そして、観測装置本体6は、鉗子識別部23で識別された生検鉗子8の種類に基づき、鉗子挿入長判定部24で、入力された観察画像(内視鏡画像)上から生検鉗子8の色又は目盛りを識別し(ステップS33)、この識別した結果に基づき、生検鉗子8の挿入長を判定する(ステップS34)。
【0043】
ここで、生検鉗子8の生検カップ8aがターゲット31に近づき、内視鏡2の観察範囲から生検カップ8aが外れて観察画像(内視鏡画像)から生検カップ8aが見えなくなったとき、術者は、観測装置本体6のフロントパネルに設けた切換釦を押下操作する。
【0044】
すると、観測装置本体6は、切換釦の切換信号を受信し、切換部21がモニタ7に表示される画像を観察画像からVBS画像に切り換える。尚、観測装置本体6は、切換釦を再度、押下操作されると、VBS画像から観察画像(内視鏡画像)に切り換えるようになっている。
【0045】
そして、観測装置本体6は、VBS画像記録部22に記録されているVBS画像を、算出した生検鉗子8の挿入長に応じて画像参照部25が読み出して更新しつつ(ステップS35)、モニタ7に出力する。即ち、モニタ7の表示面に表示されるVBS画像は、生検鉗子8の先端(生検カップ8a)からの視点となり、挿入長に応じて変化するようになっている。
【0046】
そして、観測装置本体6は、生検鉗子8の先端(生検カップ8a)の明暗(明るさ)を検出する光検出部26の出力が閾値以下になるか否かを生検判定部27で判定する(ステップS36)。
【0047】
光検出部26の出力が閾値以下になったとき、生検判定部27は、生検鉗子8の生検カップ8aがターゲット31に到達したと判断し、その結果をモニタ7に出力してVBS画像に重畳する。
一方、光検出部26の出力が閾値を超えているとき、生検判定部27は、生検鉗子8の生検カップ8aがターゲット31に到達していないと判断する。
【0048】
すると、観測装置本体6は、光検出部26の出力(明暗)が閾値以下になるまで上記S31からS35までのステップを繰り返す。そして、術者は、モニタ7の表示面に表示されるVBS画像を参照しながら、生検鉗子8を操作して生体組織を採取し、生検が終了する。
【0049】
このことにより、内視鏡観測装置は、内視鏡2の挿入部先端部が挿入し難く、即ち、内視鏡2の観察範囲(観察画像)から外れる体腔内管路の末梢部に存在しているターゲット31まで生検鉗子8を到達させて生検を行うことが可能となる。
この結果、本実施の形態の内視鏡観測装置1は、体腔内管路の末梢部における生診率(生体検査診断率)が向上するという効果を得る。
【0050】
尚、内視鏡観測装置1は、それぞれ個別に識別可能なランドマーク10を複数設置することで、CT撮影時及び生検位置確認時における内視鏡2の挿入部先端部の位置ずれを補正可能なように構成しても良い。
この場合、図10に示すように、術者は、形状の異なるランドマーク10を最低2つターゲット近傍に貼り付ける。このランドマーク10の形状は、CT画像データ上で互いに識別可能であるならばどのようなものでも良い。
【0051】
そして、観測装置本体6は、図11に示す生検位置確認のフローチャートに従って、生検位置の確認処理を行う。
尚、ここで、生検位置の確認処理は、観察画像(内視鏡画像)上で2つのランドマーク10の位置関係を常に検出することで、内視鏡2の挿入部先端部のずれ量を逐次検出し、合成画像を更新するようになっている。それ以外は、上記第1の実施の形態で説明したのと同様である。
【0052】
先ず、観測装置本体6は、CT装置5のWSからCT画像データをCT画像入力部17で入力される(ステップS11’)。
次に、観測装置本体6は、CT画像入力部17から入力されたCT画像データから対象であるターゲット31、2つのランドマーク10、内視鏡2の挿入部先端部をCT側対象識別部18で識別する(ステップS12’)。
【0053】
次に、観測装置本体6は、CT側対象識別部18で識別されたターゲット31、2つのランドマーク10、内視鏡2の挿入部先端部の位置関係をCT側位置算出部19で算出する(ステップS13’)。
次に、観測装置本体6は、使用している内視鏡2に記憶保持されたIDを内視鏡機種検出部12で検出(ステップS14’)し、内視鏡機種検出部12で検出したIDに基づき、内視鏡情報記録部13が予め記録した内視鏡2の光学特性を画像補正部14に出力する。
【0054】
次に、観測装置本体6は、内視鏡装置4(CCU3)から観察画像(内視鏡画像)を内視鏡画像入力部11で入力される(ステップS15’)。
そして、観測装置本体6は、内視鏡情報記録部13からの光学特性に基づき、内視鏡画像入力部11で入力された観察画像(内視鏡画像)に対して画像補正部14が画角や歪等の光学特性(ディストーション)を補正する(ステップS16’)。
【0055】
次に、観測装置本体6は、画像補正部14で補正された観察画像(内視鏡画像)から対象である2つのランドマーク10を内視鏡側対象識別部15で識別(ステップS17’)し、この内視鏡側対象識別部15で識別された2つのランドマーク10の位置関係を内視鏡側位置算出部16で算出する(ステップS18’)。
【0056】
そして、観測装置本体6は、CT側位置算出部19で算出されたCT画像データのターゲット31、2つのランドマーク10、内視鏡2の位置関係と内視鏡側位置算出部16で算出された観察画像の2つのランドマーク10の位置関係とから、内視鏡2の挿入部先端部からの視点でのターゲット31の位置を算出し、観察画像(内視鏡画像)上に合成(ステップS19’)してこの合成画像をモニタ7に出力する。そして、観測装置本体6は、生検終了(ステップS40)まで上記ステップS15’から処理を繰り返す。
【0057】
これにより、本変形例の内視鏡観測装置1は、観測装置本体6が観察画像(内視鏡画像)上で2つのランドマーク10の位置関係を常に検出することで、内視鏡2の挿入部先端部のずれ量を逐次検出し、合成画像を更新することが可能となる。
【0058】
(第2の実施の形態)
図12ないし図21は本発明の第2の実施の形態に係り、図12は本発明の第2の実施の形態の内視鏡観測装置を示す全体構成図、図13は図12の内視鏡観測装置で実行される生検メインのフローチャート、図14は図13の生検位置姿勢算出のフローチャート、図15はCTボリュームと超音波ボリュームとのボリュームマッチングを示す概念図、図16は内視鏡又は生検鉗子の位置姿勢が合成されたCT合成画像の表示例、図17はCT画像としてのMIP画像を示す表示例、図18は図3の生検のフローチャート、図19は変形例の内視鏡観測装置を示す全体構成図、図20は図19の内視鏡観測装置で実行される生検位置姿勢算出のフローチャート、図21は図19の内視鏡観測装置で実行される生検のフローチャートである。
【0059】
本第2の実施の形態は、生検(生体検査)時に超音波断層像を撮影して得た超音波3次元画像データにより内視鏡2又は生検鉗子8の位置姿勢(位置及び傾き)を算出するように構成する。それ以外の構成は、上記第1の実施の形態と同様なので説明を省略し、同じ構成には同じ符号を付して説明する。
【0060】
即ち、図12に示すように本第2の実施の形態の内視鏡観測装置1Bは、体外から被検体の超音波断層像を撮像して超音波3次元画像(以下、超音波画像)データを得る体外式超音波装置50と、この体外式超音波装置50で得た超音波画像データから内視鏡2又は生検鉗子8の位置姿勢を抽出し、予め得たCT画像データの座標系における内視鏡2又は生検鉗子8の位置姿勢を算出してCT画像上に合成する処理を行う観測装置本体6Bとを有して構成されている。
【0061】
尚、内視鏡観測装置1Bは、前記第1の実施の形態で説明したのと同様にナビユニットに接続され、ターゲット近傍までの内視鏡2の挿入部のナビゲーションを行うように構成されている。そして、内視鏡観測装置1Bは、ターゲット近傍で内視鏡観察・処置(生検や治療)等を行うようになっている。
【0062】
このとき、後述するように内視鏡観測装置1Bは、ターゲット近傍を前記体外式超音波装置50で超音波撮影する。そして、内視鏡観測装置1Bは、体外式超音波装置50で得た超音波画像データから内視鏡2又は生検鉗子8の位置姿勢を抽出し、予め得たCT画像データの座標系における内視鏡2又は生検鉗子8の位置姿勢を算出してCT画像上に合成して生検位置姿勢を確認可能にしている。
【0063】
次に、前記観測装置本体6Bの詳細構成を説明する。
前記観測装置本体6Bは、上記第1の実施の形態で説明したのと同様な前記内視鏡画像入力部11と、前記内視鏡機種検出部12と、前記内視鏡情報記録部13と、前記画像補正部14と、前記CT画像入力部17と、前記切換部21と、前記VBS画像記録部22と、前記鉗子識別部23と、前記画像参照部25と、前記光検出部26と、前記生検判定部27とを有して構成される。
【0064】
更に、前記観測装置本体6Bは、断層画像データ取得手段として前記体外式超音波装置50と接続し、超音波断層画像を取得する超音波画像入力部51と、この超音波画像入力部51で入力された超音波画像データから3次元的な超音波ボリュームを構築する超音波ボリューム生成部52と、この超音波ボリューム生成部52で構築された超音波ボリュームを画像処理し、超音波画像データの座標系における内視鏡2又は生検鉗子8の3次元的位置姿勢を抽出する位置姿勢抽出部53と、前記CT画像入力部17で入力された予め得たターゲット31までのCT画像データから3次元的なCTボリュームを構築するCTボリューム生成部54と、このCTボリューム生成部54からのCTボリュームと前記超音波ボリューム生成部52からの前記超音波ボリュームとの関係として超音波座標系→CT座標系への変換マトリクスを算出するマトリクス演算部55と、相対位置特定手段として前記マトリクス演算部55で算出した変換マトリクスに基づき、前記位置姿勢抽出部53で抽出した内視鏡2又は生検鉗子8の3次元的位置姿勢から予め得たCT画像データの座標系における内視鏡2又は生検鉗子8の位置姿勢を算出する位置姿勢算出部56と、この位置姿勢算出部56で算出したCT画像データの座標系における内視鏡2又は生検鉗子8の位置姿勢をCT画像上に合成し、モニタ7に出力するCT画像合成部57とを有して構成される。
尚、本実施の形態では、鉗子挿入長判定部24bは、前記超音波画像入力部51で入力された超音波画像データから生検鉗子8の挿入長を判定するようになっている。
【0065】
このように構成される内視鏡観測装置1Bは、上記第1の実施の形態で説明したの同様にナビユニットによるナビゲーションでターゲット近傍まで内視鏡2の挿入部先端部を導かれる。そして、術者は、図13に示す生検メインのフローチャートに従って生検(生体検査)を行う。
【0066】
先ず、術者は、内視鏡2を挿入した状態で、体外式超音波装置50を作動させて超音波撮影しながら、観測装置本体6Bによる後述の図14に示す生検位置姿勢算出のフローチャートに従って、生検位置姿勢を確認する(ステップS51)。尚、このとき、図示しないが、モニタ7は、この表示面に観察画像(内視鏡画像)と、予め得たCT画像データとの2つが例えば、並列に表示されている。 術者は、この生検位置姿勢を確認しながら、観測装置本体6Bによる後述の図18に示す生検のフローチャートに従って、生検を行い(ステップS52)、生検が終了する。
【0067】
次に、図14に示す生検位置姿勢算出のフローチャートを説明する。
観測装置本体6Bは、体外式超音波装置50で得た超音波画像データから内視鏡2又は生検鉗子8を抽出し、これら内視鏡2又は生検鉗子8の位置姿勢を算出して予め得たCT画像上に合成する生検位置姿勢算出処理を行う。
【0068】
先ず、観測装置本体6Bは、CT装置5のWSから予め得たターゲット31までのCT画像データをCT画像入力部17で入力される。そして、観測装置本体6Bは、CT画像入力部17から入力されたCT画像データから3次元的なCTボリュームをCTボリューム生成部54で生成する(ステップS61)。
【0069】
次に、観測装置本体6Bは、体外式超音波装置50からの超音波画像データを超音波画像入力部51で入力される。そして、観測装置本体6Bは、超音波画像入力部51から入力された超音波画像データから3次元的な超音波ボリュームを超音波ボリューム生成部52で生成する(ステップS62)。
【0070】
次に、観測装置本体6Bは、超音波ボリューム生成部52で生成された超音波ボリュームを位置姿勢抽出部53で画像処理し、超音波画像データの座標系における内視鏡2又は生検鉗子8の3次元的位置姿勢を抽出する(ステップS63)。
【0071】
そして、観測装置本体6Bは、超音波ボリューム生成部52で生成された超音波ボリュームと、CTボリューム生成部54で生成されたCTボリュームとをマトリクス演算部55で図15に示すようにボリュームマッチングすることで、超音波座標系→CT座標系への変換マトリクスを算出して、CTボリュームと超音波ボリューム生成部52からの超音波ボリュームとの関係を算出する(ステップS64)。
【0072】
ここで、変換マトリクスは、超音波座標系→CT座標系への座標を変換するためのマトリクスであり、回転,スケール,平行移動の成分が含まれる。
尚、回転及びスケールは、3×3の行列によって表すことができるが、ここでは平行移動も含め4×4の行列で表す。
【0073】
座標系を(x、y、z)だけ平行移動させるマトリクスは、
【式1】
である。
また、座標系をX、Y、Z方向に対して(x、y、z)倍するマトリクスは、
【式2】
である。
また、座標系をx軸の周囲をa(ラジアン)だけ回転させるマトリクスは、
【式3】
である。
【0074】
そして、超音波画像データの座標系からCT画像データの座標系への変換マトリクスをMとすると、超音波画像データの座標系で内視鏡2の視線方向ベクトルV(x、y、z、)をCT画像データの座標系における視線方向ベクトルV’(x’、y’、z’)に変換するには、
V’=M×V ・・・(式4)
で求めることができる。
このことにより、マトリクス演算部55は、CTボリュームと超音波ボリューム生成部52からの超音波ボリュームとの関係を算出することができる。
【0075】
次に、観測装置本体6Bは、マトリクス演算部55で算出した変換マトリクスに基づき、位置姿勢抽出部53で抽出した内視鏡2又は生検鉗子8の3次元的位置姿勢から位置姿勢算出部56で予め得たCT画像データの座標系における内視鏡2又は生検鉗子8の位置姿勢を算出する(ステップS65)。
【0076】
次に、観測装置本体6Bは、位置姿勢算出部56で算出したCT画像データの座標系における内視鏡2又は生検鉗子8の位置姿勢をCT画像合成部57で予め得たCT画像に合成してこのCT合成画像をモニタ7に出力する。そして、モニタ7は、この表示面に表示されているCT画像の代わりにCT合成画像が表示される(ステップS66)。
【0077】
ここで、CT合成画像は、図16に示すように内視鏡2又は生検鉗子8の位置姿勢がX記号61と→62で表示される。
尚、図16に示すCT合成画像は、多断面再構成MPR( Multi Planar Reconstrrution )画像である。また、CT合成画像は、図17に示すようなMIP( Maximum Intensity Projection or Minimum Intensity Projection )画像上に内視鏡2又は生検鉗子8の位置姿勢を合成するようにしても良い。
術者は、このモニタ7に表示されるCT合成画像により、内視鏡2又は生検鉗子8の位置姿勢を確認可能である。
【0078】
次に、生検について説明する。
生検鉗子8は、上述したように上記第1の実施の形態で説明したのと同様なものを使用する。そして、術者は、観測装置本体6Bによる図18に示す生検のフローチャートに従って、生検を行う。
【0079】
観測装置本体6Bは、内視鏡装置4(CCU3)から観察画像(内視鏡画像)を内視鏡画像入力部11で入力される(ステップS71)。尚、このとき、観測装置本体6Bは、上記第1の実施の形態で説明したのと同様に観察画像(内視鏡画像)に対して画像補正部14による光学特性の補正処理が行われている。
次に、観測装置本体6Bは、上記第1の実施の形態で説明したのと同様に観察画像(内視鏡画像)から鉗子識別部23で生検鉗子8を識別する。
【0080】
そして、観測装置本体6Bは、鉗子識別部23で識別された生検鉗子8の種類に基づき、鉗子挿入長判定部24bで、入力された超音波画像データから生検鉗子8の挿入長を判定する(ステップS72)。尚、鉗子挿入長判定部24bは、上記第1の実施の形態で説明したのと同様に観察画像(内視鏡画像)から生検鉗子8の色、又は目盛りを識別して生検鉗子8の挿入長を判定するようにしても良い。
【0081】
そして、観測装置本体6Bは、鉗子挿入長判定部24で判定した生検鉗子8の挿入長をCT合成画像上に表示する(ステップS73)。
また、生検鉗子8の生検カップ8aがターゲット31に近づき、内視鏡2の観察範囲から生検カップ8aが外れて観察画像(内視鏡画像)から生検カップ8aが見えなくなったとき、術者は、観測装置本体6Bのフロントパネルに設けた切換釦を押下操作して、上記第1の実施の形態で説明したのと同様に観察画像をVBS画像に切り換え、算出した生検鉗子8の挿入長に応じて更新されるVBS画像を表示させる。尚、観測装置本体6Bは、切換釦を再度、押下操作されると、VBS画像から観察画像(内視鏡画像)に切り換えるようになっている。
【0082】
そして、観測装置本体6Bは、上記第1の実施の形態で説明したのと同様に生検鉗子8の先端(生検カップ8a)の明暗(明るさ)を検出することで、生検鉗子8の生検カップ8aがターゲット31に到達したか否かを判断し、ターゲット31に到達したと判断したときその結果をモニタ7に出力してVBS画像に重畳する。
【0083】
そして、観測装置本体6Bは、術者による生検が終了するまで上記ステップS74までを繰り返す。そして、術者は、モニタ7の表示面に表示されるVBS画像及びCT合成画像を参照しながら、生検鉗子8を操作して生体組織を採取し、生検が終了する。
【0084】
この結果、本第2の実施の形態の内視鏡観測装置1Bは、上記第1の実施の形態と同様な効果を得ることに加え、生検(生体検査)時にCT撮影を行うことが無いので操作性が向上する。
【0085】
尚、内視鏡観測装置は、図19に示すように体外式超音波装置50の代わりに内視鏡2の処置具挿通用チャンネルに挿入可能な超音波プローブを用いて構成しても良い。
図19に示すように内視鏡観測装置1Cは、内視鏡2の処置具挿通用チャンネルに挿入して、体腔内から被検体の超音波断層像を撮像して超音波3次元画像(以下、超音波画像)データを得る超音波プローブ70と、この超音波プローブ70で得た超音波画像データから内視鏡2の位置姿勢を抽出し、予め得たCT画像データの座標系における内視鏡2の位置姿勢を算出してCT画像上に合成する処理を行う観測装置本体6Cとを有して構成されている。
【0086】
前記超音波プローブ70は、超音波照射・検出を連続的に回転させつつ被検体内を体軸方向に連続送りすることにより、被検体の3次元領域について螺旋状の連続スキャン(ヘリカルスキャン: helical scan )を行い、3次元領域の連続するスライスの断層像から、3次元超音波画像データを生成するように構成されている。
【0087】
前記観測装置本体6Cは、上記第1の実施の形態で説明したのと同様な前記内視鏡画像入力部11と、前記内視鏡機種検出部12と、前記内視鏡情報記録部13と、前記画像補正部14と、前記CT画像入力部17と、前記切換部21と、前記VBS画像記録部22と、前記鉗子識別部23と、前記鉗子挿入長判定部24と、前記画像参照部25と、前記光検出部26と、前記生検判定部27とを有して構成される。
また、前記観測装置本体6Cは、上記第1の実施の形態で説明したのと同様な前記CTボリューム生成部54と、前記超音波ボリューム生成部52と、前記マトリクス演算部55とを有して構成される。
【0088】
更に、前記観測装置本体6Cは、前記超音波プローブ70と接続し、超音波断層画像を取得する超音波画像入力部51cと、前記超音波ボリューム生成部52で構築された超音波ボリュームを画像処理し、超音波画像データの座標系における内視鏡2の3次元的位置姿勢を抽出する位置姿勢抽出部53cと、前記マトリクス演算部55で算出した変換マトリクスに基づき、前記位置姿勢抽出部53cで抽出した内視鏡2の3次元的位置姿勢から予め得たCT画像データの座標系における内視鏡2の位置姿勢を算出する位置姿勢算出部56cと、この位置姿勢算出部56cで算出したCT画像データの座標系における内視鏡2の位置姿勢をCT画像上に合成し、モニタ7に出力するCT画像合成部57cとを有して構成される。
【0089】
このように構成される内視鏡観測装置1Cは、上記第1の実施の形態で説明したの同様にナビユニットによるナビゲーションでターゲット近傍まで内視鏡2の挿入部先端部を導かれる。そして、内視鏡観測装置1Cは、内視鏡2の処置具挿通用チャンネルに超音波プローブ70を挿入されて、図20に示す生検位置姿勢算出のフローチャートに従って、超音波プローブ70で得た超音波画像データから内視鏡2を抽出し、この内視鏡2の位置姿勢を算出して予め得たCT画像上に合成する生検位置姿勢算出処理を行う。
【0090】
先ず、観測装置本体6Cは、上記第2の実施の形態で説明したのと同様にCT装置5のWSから予め得たターゲット31までのCT画像データをCT画像入力部17で入力され、この入力されたCT画像データから3次元的なCTボリュームをCTボリューム生成部54で生成する(ステップS61’)。
【0091】
次に、観測装置本体6Cは、図示しない入力装置により予め入力されたスキャン範囲を超音波プローブ70に対して設定する(ステップS67)。
そして、観測装置本体6Cは、超音波プローブ70からの超音波画像データを超音波画像入力部51cで入力され、3次元的な超音波ボリュームを超音波ボリューム生成部52で生成する(ステップS62’)。
【0092】
次に、観測装置本体6Cは、上記第2の実施の形態で説明したのと同様に超音波ボリューム生成部52で生成された超音波ボリュームを位置姿勢抽出部53cで画像処理し、超音波画像データの座標系における内視鏡2の3次元的位置姿勢を抽出する(ステップS63’)。
【0093】
そして、観測装置本体6Cは、上記第2の実施の形態で説明したのと同様に超音波ボリューム生成部52で生成された超音波ボリュームと、CTボリューム生成部54で生成されたCTボリュームとをマトリクス演算部55でボリュームマッチングすることで、超音波座標系→CT座標系への変換マトリクスを算出する(ステップS64’)。
【0094】
次に、観測装置本体6Cは、マトリクス演算部55で算出した変換マトリクスに基づき、位置姿勢抽出部53cで抽出した内視鏡2の3次元的位置姿勢から位置姿勢算出部56cで予め得たCT画像データの座標系における内視鏡2の位置姿勢を算出する(ステップS65’)。
【0095】
次に、観測装置本体6Cは、位置姿勢算出部56cで算出したCT画像データの座標系における内視鏡2の位置姿勢をCT画像合成部57cで予め得たCT画像に合成してこのCT合成画像をモニタ7に出力する。そして、モニタ7は、この表示面に表示されているCT画像の代わりにCT合成画像が表示される(ステップS66’)。
術者は、このモニタ7に表示されるCT合成画像により、内視鏡2の位置姿勢を確認可能である。
【0096】
次に、生検について説明する。
術者は、超音波プローブ70を内視鏡2から引き抜き、代わりに生検鉗子8を挿入する。ここで、生検鉗子8は、上述したように上記第1の実施の形態で説明したのと同様なものを使用する。そして、術者は、観測装置本体6Cによる図21に示す生検のフローチャートに従って、生検を行う。
観測装置本体6Cは、内視鏡装置4(CCU3)から観察画像(内視鏡画像)を内視鏡画像入力部11で入力される(ステップS71’)。
【0097】
次に、観測装置本体6Cは、上記第1の実施の形態で説明したのと同様に観察画像(内視鏡画像)から鉗子識別部23で生検鉗子8を識別し(ステップS32’)、鉗子挿入長判定部24で、入力された観察画像(内視鏡画像)上から生検鉗子8の色又は目盛りを識別し(ステップS33’)、この識別した結果に基づき、生検鉗子8の挿入長を判定する(ステップS34’)。 ◎
そして、観測装置本体6Cは、鉗子挿入長判定部24で判定した生検鉗子8の挿入長をCT合成画像上に表示する(ステップS73’)。
【0098】
また、生検鉗子8の生検カップ8aがターゲット31に近づき、内視鏡2の観察範囲から生検カップ8aが外れて観察画像(内視鏡画像)から生検カップ8aが見えなくなったとき、術者は、観測装置本体6Cのフロントパネルに設けた切換釦を押下操作して、上記第1の実施の形態で説明したのと同様に観察画像をVBS画像に切り換え、算出した生検鉗子8の挿入長に応じて更新されるVBS画像を表示させる。
【0099】
そして、観測装置本体6Cは、上記第1の実施の形態で説明したのと同様に生検鉗子8の先端(生検カップ8a)の明暗(明るさ)を検出することで、生検鉗子8の生検カップ8aがターゲット31に到達したか否かを判断し、ターゲット31に到達したと判断したときその結果をモニタ7に出力してVBS画像に重畳する。
【0100】
そして、観測装置本体6Cは、術者による生検が終了する(ステップS74’)まで上記ステップS74’までを繰り返す。そして、術者は、モニタ7の表示面に表示されるVBS画像及びCT合成画像を参照しながら、生検鉗子8を操作して生体組織を採取し、生検が終了する。
【0101】
この結果、本変形例の内視鏡観測装置1Cは、上記第2の実施の形態と同様な効果を得ることに加え、超音波プローブ70を内視鏡2に挿入することで、体腔内からの超音波画像データを得られ、より詳細な内視鏡2の位置姿勢を得ることができる。
尚、本発明は、以上述べた実施の形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【0102】
[付記]
(付記項1) 病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、
前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡とを含む領域の断層画像データを得る断層画像データ取得手段と、
前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、
を具備したことを特徴とする内視鏡観測装置。
【0103】
(付記項2) 病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、
前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡と前記指標とを含む領域の断層画像データを取得する断層画像データ取得手段と、
前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、
を具備したことを特徴とする内視鏡観測装置。
【0104】
(付記項3) 前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡のベクトルとで前記病変部位と前記内視鏡との相対位置を特定することを特徴とする付記項1に記載の内視鏡観測装置。
【0105】
(付記項4) 前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡の挿入部先端部の中心点と、前記指標の中心点とで前記病変部位と前記内視鏡との相対位置を特定することを特徴とする付記項2に記載の内視鏡観測装置。
【0106】
(付記項5) 病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記病変近傍の断層画像データを積層した第1の3次元データを取得する第1の3次元データ取得手段と、
前記病変近傍の超音波断層画像データを得て第2の3次元データを取得する第2の3次元データ取得手段と、
前記第1の3次元データ取得手段で得た前記第1の3次元データと前記第2の3次元データ取得手段で得た前記第2の3次元データとの相関を求める第1の相関手段と、
前記第2の3次元データ取得手段で得た前記第2の3次元データと前記内視鏡との相関を求める第2の相関手段と、
前記第1の相関手段及び前記第2の相関手段で得た相関関係に基づき、前記内視鏡の位置と前記第1の3次元データとを関連付ける関連付け手段と、
を具備したことを特徴とする内視鏡観測装置。
【0107】
【発明の効果】
以上説明したように本発明によれば、体腔内管路の末梢部における生診率(生体検査診断率)の向上化が可能な内視鏡観測装置を実現できる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の内視鏡観測装置を示す全体構成図
【図2】図1の内視鏡観測装置で実行される生検メインのフローチャート
【図3】ランドマークを気管支のターゲット近傍の粘膜に貼り付けた際のモニタ表示例
【図4】図3の生検位置確認のフローチャート
【図5】観察画像(内視鏡画像)にターゲットが合成された合成画像のモニタ表示例
【図6】図3の対象の位置関係算出のフローチャート、図7は目盛りが形成されている生検鉗子を示す概略図
【図7】目盛りが形成されている生検鉗子を示す概略図
【図8】長さに応じて着色されている生検鉗子を示す概略図
【図9】図3の生検のフローチャート
【図10】形状の異なるランドマークを最低2つターゲット近傍に貼り付けた際のモニタ表示
【図11】変形例の生検位置確認のフローチャート
【図12】本発明の第2の実施の形態の内視鏡観測装置を示す全体構成図
【図13】図12の内視鏡観測装置で実行される生検メインのフローチャート
【図14】図13の生検位置姿勢算出のフローチャート
【図15】CTボリュームと超音波ボリュームとのボリュームマッチングを示す概念図
【図16】内視鏡又は生検鉗子の位置姿勢が合成されたCT合成画像の表示例
【図17】CT画像としてのMIP画像を示す表示例
【図18】図3の生検のフローチャート
【図19】変形例の内視鏡観測装置を示す全体構成図
【図20】図19の内視鏡観測装置で実行される生検位置姿勢算出のフローチャート
【図21】図19の内視鏡観測装置で実行される生検のフローチャート
【符号の説明】
1…内視鏡観測装置
2…内視鏡
3…CCU
4…内視鏡装置
5…CT装置
6…観測装置本体
7…モニタ
8…生検鉗子(指標配置手段)
10…ランドマーク
11…内視鏡画像入力部
12…内視鏡機種検出部
13…内視鏡情報記録部
14…画像補正部
15…内視鏡側対象識別部
16…内視鏡側位置算出部
17…CT画像入力部(断層画像データ取得手段)
18…CT側対象識別部
19…CT側位置算出部(相対位置特定手段)
20…画像合成部
21…切換部
22…VBS画像記録部
23…鉗子識別部
24…鉗子挿入長判定部
25…画像参照部
26…光検出部
27…生検判定部
31…ターゲット
41…光ファイバ
Claims (4)
- 病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、
前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡とを含む領域の断層画像データを得る断層画像データ取得手段と、
前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、
を具備したことを特徴とする内視鏡観測装置。 - 病変近傍まで達してこの病変近傍を観察する内視鏡を有し、この内視鏡で得た病変近傍の観察画像を得る内視鏡観測装置において、
前記内視鏡を用いて前記病変近傍に指標を配置する指標配置手段と、
前記指標配置手段により前記指標を配置した状態で、前記病変近傍と前記内視鏡と前記指標とを含む領域の断層画像データを取得する断層画像データ取得手段と、
前記断層画像データ取得手段で得た断層画像データに基づき、病変部と前記内視鏡との相対位置を特定する相対位置特定手段と、
を具備したことを特徴とする内視鏡観測装置。 - 前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡のベクトルとで前記病変部位と前記内視鏡との相対位置を特定することを特徴とする請求項1に記載の内視鏡観測装置。
- 前記相対位置特定手段は、前記断層画像データから得た前記病変部の中心点と、前記内視鏡の挿入部先端部の中心点と、前記指標の中心点とで前記病変部位と前記内視鏡との相対位置を特定することを特徴とする請求項2に記載の内視鏡観測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002267193A JP4334839B2 (ja) | 2002-09-12 | 2002-09-12 | 内視鏡観測装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002267193A JP4334839B2 (ja) | 2002-09-12 | 2002-09-12 | 内視鏡観測装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004097696A true JP2004097696A (ja) | 2004-04-02 |
JP2004097696A5 JP2004097696A5 (ja) | 2005-09-29 |
JP4334839B2 JP4334839B2 (ja) | 2009-09-30 |
Family
ID=32265787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002267193A Expired - Fee Related JP4334839B2 (ja) | 2002-09-12 | 2002-09-12 | 内視鏡観測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4334839B2 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006230906A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 医用診断システム、医用診断装置及び内視鏡 |
JP2009022459A (ja) * | 2007-07-18 | 2009-02-05 | Toshiba Corp | 医用画像処理表示装置、およびその処理プログラム |
JP2009279250A (ja) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
JP2009279251A (ja) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
JP2009279249A (ja) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
JP2011062378A (ja) * | 2009-09-18 | 2011-03-31 | Fujifilm Corp | 内視鏡システム |
WO2011062035A1 (ja) * | 2009-11-17 | 2011-05-26 | オリンパスメディカルシステムズ株式会社 | 生検支援システム |
WO2011122037A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
WO2012108085A1 (ja) * | 2011-02-08 | 2012-08-16 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
JP2013106780A (ja) * | 2011-11-21 | 2013-06-06 | Olympus Medical Systems Corp | 医用システム |
JP2017529882A (ja) * | 2014-07-02 | 2017-10-12 | コヴィディエン リミテッド パートナーシップ | 肺の中をナビゲートするシステムおよび方法 |
JP2018134197A (ja) * | 2017-02-21 | 2018-08-30 | 株式会社日立製作所 | 医用手技ナビゲーションシステムおよび方法 |
JP2018143664A (ja) * | 2017-03-08 | 2018-09-20 | 学校法人 芝浦工業大学 | 医療用鉗子および医療用鉗子システム |
CN109419482A (zh) * | 2017-08-21 | 2019-03-05 | 上银科技股份有限公司 | 具有操控模组的医疗器械及应用该医疗器械的内视镜操控*** |
JP2019511285A (ja) * | 2016-03-10 | 2019-04-25 | ボディ・ビジョン・メディカル・リミテッドBody Vision Medical Ltd. | 多視点ポーズ推定を使用するための方法およびシステム |
WO2022202400A1 (ja) * | 2021-03-22 | 2022-09-29 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08262487A (ja) * | 1995-03-20 | 1996-10-11 | Fujitsu Ltd | 液晶表示装置およびその製造方法 |
JPH0919441A (ja) * | 1995-07-04 | 1997-01-21 | Toshiba Corp | 術式支援用画像表示装置 |
JPH0984746A (ja) * | 1995-07-19 | 1997-03-31 | Olympus Optical Co Ltd | 磁気共鳴観測システム |
JPH09122098A (ja) * | 1995-10-31 | 1997-05-13 | Toshiba Corp | 内視鏡プローブ先端部の動き情報検出装置 |
JPH09140665A (ja) * | 1995-11-29 | 1997-06-03 | Toshiba Corp | 医療用画像診断装置 |
JPH09253038A (ja) * | 1996-03-22 | 1997-09-30 | Toshiba Corp | 医用画像診断装置 |
JP2000135215A (ja) * | 1998-10-30 | 2000-05-16 | Ge Yokogawa Medical Systems Ltd | 管路案内方法および装置並びに放射線断層撮影装置 |
JP2000167072A (ja) * | 1998-12-03 | 2000-06-20 | Mitsubishi Electric Corp | 動体追跡照射装置 |
JP2001500749A (ja) * | 1996-02-15 | 2001-01-23 | バイオセンス・インコーポレイテッド | 体内プローブを用いた医療方法および装置 |
JP2002200030A (ja) * | 2000-12-27 | 2002-07-16 | Olympus Optical Co Ltd | 内視鏡位置検出装置 |
-
2002
- 2002-09-12 JP JP2002267193A patent/JP4334839B2/ja not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08262487A (ja) * | 1995-03-20 | 1996-10-11 | Fujitsu Ltd | 液晶表示装置およびその製造方法 |
JPH0919441A (ja) * | 1995-07-04 | 1997-01-21 | Toshiba Corp | 術式支援用画像表示装置 |
JPH0984746A (ja) * | 1995-07-19 | 1997-03-31 | Olympus Optical Co Ltd | 磁気共鳴観測システム |
JPH09122098A (ja) * | 1995-10-31 | 1997-05-13 | Toshiba Corp | 内視鏡プローブ先端部の動き情報検出装置 |
JPH09140665A (ja) * | 1995-11-29 | 1997-06-03 | Toshiba Corp | 医療用画像診断装置 |
JP2001500749A (ja) * | 1996-02-15 | 2001-01-23 | バイオセンス・インコーポレイテッド | 体内プローブを用いた医療方法および装置 |
JPH09253038A (ja) * | 1996-03-22 | 1997-09-30 | Toshiba Corp | 医用画像診断装置 |
JP2000135215A (ja) * | 1998-10-30 | 2000-05-16 | Ge Yokogawa Medical Systems Ltd | 管路案内方法および装置並びに放射線断層撮影装置 |
JP2000167072A (ja) * | 1998-12-03 | 2000-06-20 | Mitsubishi Electric Corp | 動体追跡照射装置 |
JP2002200030A (ja) * | 2000-12-27 | 2002-07-16 | Olympus Optical Co Ltd | 内視鏡位置検出装置 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006230906A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 医用診断システム、医用診断装置及び内視鏡 |
JP2009022459A (ja) * | 2007-07-18 | 2009-02-05 | Toshiba Corp | 医用画像処理表示装置、およびその処理プログラム |
JP2009279250A (ja) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
JP2009279251A (ja) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
JP2009279249A (ja) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
JP2011062378A (ja) * | 2009-09-18 | 2011-03-31 | Fujifilm Corp | 内視鏡システム |
WO2011062035A1 (ja) * | 2009-11-17 | 2011-05-26 | オリンパスメディカルシステムズ株式会社 | 生検支援システム |
JP4733243B2 (ja) * | 2009-11-17 | 2011-07-27 | オリンパスメディカルシステムズ株式会社 | 生検支援システム |
EP2430979A1 (en) * | 2009-11-17 | 2012-03-21 | Olympus Medical Systems Corp. | Biopsy support system |
EP2430979A4 (en) * | 2009-11-17 | 2012-05-23 | Olympus Medical Systems Corp | BIOPSY SUPPORT SYSTEM |
WO2011122037A1 (ja) * | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
JP2011212245A (ja) * | 2010-03-31 | 2011-10-27 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
US9220468B2 (en) | 2010-03-31 | 2015-12-29 | Fujifilm Corporation | Endoscope observation assistance system, method, apparatus and program |
CN102821670A (zh) * | 2010-03-31 | 2012-12-12 | 富士胶片株式会社 | 内窥镜观察辅助***、方法、装置和程序 |
EP2554104A4 (en) * | 2010-03-31 | 2016-01-06 | Fujifilm Corp | SYSTEM AND METHOD FOR SUPPORTING AN ENDOSCOPE OBSERVATION AND DEVICE AND PROGRAM THEREFOR |
WO2012108085A1 (ja) * | 2011-02-08 | 2012-08-16 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
JPWO2012108085A1 (ja) * | 2011-02-08 | 2014-07-03 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
JP2013106780A (ja) * | 2011-11-21 | 2013-06-06 | Olympus Medical Systems Corp | 医用システム |
JP2017529882A (ja) * | 2014-07-02 | 2017-10-12 | コヴィディエン リミテッド パートナーシップ | 肺の中をナビゲートするシステムおよび方法 |
US11026644B2 (en) | 2014-07-02 | 2021-06-08 | Covidien Lp | System and method for navigating within the lung |
US11576556B2 (en) | 2014-07-02 | 2023-02-14 | Covidien Lp | System and method for navigating within the lung |
JP2019511285A (ja) * | 2016-03-10 | 2019-04-25 | ボディ・ビジョン・メディカル・リミテッドBody Vision Medical Ltd. | 多視点ポーズ推定を使用するための方法およびシステム |
JP2018134197A (ja) * | 2017-02-21 | 2018-08-30 | 株式会社日立製作所 | 医用手技ナビゲーションシステムおよび方法 |
JP2018143664A (ja) * | 2017-03-08 | 2018-09-20 | 学校法人 芝浦工業大学 | 医療用鉗子および医療用鉗子システム |
CN109419482A (zh) * | 2017-08-21 | 2019-03-05 | 上银科技股份有限公司 | 具有操控模组的医疗器械及应用该医疗器械的内视镜操控*** |
CN109419482B (zh) * | 2017-08-21 | 2021-05-25 | 上银科技股份有限公司 | 具有操控模组的医疗器械及应用该医疗器械的内视镜操控*** |
WO2022202400A1 (ja) * | 2021-03-22 | 2022-09-29 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4334839B2 (ja) | 2009-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5291955B2 (ja) | 内視鏡検査システム | |
JP5676058B1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP5580637B2 (ja) | 画像処理装置、内視鏡装置の作動方法及びプログラム | |
EP2430979B1 (en) | Biopsy support system | |
US7951070B2 (en) | Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure | |
JP4334839B2 (ja) | 内視鏡観測装置 | |
JP5810248B2 (ja) | 内視鏡システム | |
JP5486432B2 (ja) | 画像処理装置、その作動方法およびプログラム | |
WO2017159335A1 (ja) | 医療用画像処理装置、医療用画像処理方法、プログラム | |
KR20150132166A (ko) | 전 영역 3차원 표면 측정 | |
WO2005039401A1 (ja) | 挿入支援システム | |
WO2014168128A1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP2006198032A (ja) | 手術支援システム | |
JP6141559B1 (ja) | 医療装置、医療画像生成方法及び医療画像生成プログラム | |
JP6270026B2 (ja) | 内視鏡観察支援装置 | |
JP4022114B2 (ja) | 内視鏡装置 | |
JP5226244B2 (ja) | 医用ガイドシステム | |
WO2015091226A1 (en) | Laparoscopic view extended with x-ray vision | |
JP2006218239A (ja) | 手技支援システム | |
JP4615842B2 (ja) | 内視鏡システムおよび内視鏡画像処理装置 | |
WO2024042895A1 (ja) | 画像処理装置、内視鏡、画像処理方法、及びプログラム | |
WO2023238609A1 (ja) | 情報処理装置、内視鏡装置、情報処理方法、及びプログラム | |
US20230233196A1 (en) | Living tissue sampling method and biopsy support system | |
JP2005211529A (ja) | 手技支援システム | |
JP2005021354A (ja) | 遠隔手術支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050512 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090624 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4334839 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |