JP2005021353A - 手術支援装置 - Google Patents
手術支援装置 Download PDFInfo
- Publication number
- JP2005021353A JP2005021353A JP2003189783A JP2003189783A JP2005021353A JP 2005021353 A JP2005021353 A JP 2005021353A JP 2003189783 A JP2003189783 A JP 2003189783A JP 2003189783 A JP2003189783 A JP 2003189783A JP 2005021353 A JP2005021353 A JP 2005021353A
- Authority
- JP
- Japan
- Prior art keywords
- image
- treatment instrument
- endoscope
- virtual
- inclination angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Robotics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
Abstract
【解決手段】VE画像生成装置3は、CT画像DBを格納している記録部31と、処置具画像DBを格納している記録部32と、挿入量検出部21、傾斜角センサ22からのデータ及びCT画像に基づきVE画像を構築するVE画像構築部35と、挿入量検出部23、傾斜角センサ24からのデータ及び処置具形状画像に基づき処置具画像を構築する処置具画像構築部36と、VE画像に処置具画像を重畳した合成画像を生成する画像合成部37と備えて構成される。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、画像を用いて手術を支援する手術支援装置に関する。
【0002】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばX線CT(Computed Tomography)装置等により被検体の断層像を撮像することにより被検体内の3次元的なバーチャル画像データを得て、該バーチャル画像データを用いて患部の診断が行われるようになってきた。
【0003】
CT装置では、X線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の3次元領域について螺旋状の連続スキャン(ヘリカルスキャン:helical scan)を行い、3次元領域の連続するスライスの断層像から、3次元なバーチャル画像を作成することが行われる。
【0004】
そのような3次元画像の1つに、肺の気管支の3次元像がある。気管支の3次元像は、例えば肺癌等が疑われる異常部の位置を3次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル(sample)を採取することが行われる。
【0005】
気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開2000−135215号公報等では、被検体の3次元領域の画像データに基づいて前記被検体内の管路の3次元像を作成し、前記3次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【0006】
ところで、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の3次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
【0007】
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、デスク上で行われているが一般的である。
【0008】
【特許文献1】
特開2000−135215号公報
【0009】
【発明が解決しようとする課題】
従来より、腹部領域の体内の被検体に対する手術を行う場合にも、体内の被検体の異常部の情報を、必要に応じて術者に対して迅速に提供することが望まれている。
【0010】
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも術前のCT画像からバーチャル画像を構築するため、術中の処置具のアプローチ状況は表示されない。
【0011】
本発明は、上記事情に鑑みてなされたものであり、簡単でかつリアルタイムに、ライブの内視鏡画像に対応し、処置具のアプローチ状況が認識可能な仮想画像を提供することで手術を支援することのできる手術支援装置を提供することを目的としている。
【0012】
【課題を解決するための手段】
本発明の手術支援装置は、視野方向を特定可能な内視鏡及び処置具を体腔内に刺入し該内視鏡により撮像された内視鏡画像による観察下で前記処置具により患部の処置が行われる手術を支援する手術支援装置において、前記体腔内の複数のCT画像データを記憶するCT画像記憶手段と、前記処置具の形状画像データを記憶する処置具形状画像記憶手段と、前記内視鏡の前記体腔内への挿入位置を入力する挿入位置入力手段と、前記内視鏡の挿入量を検出する挿入量検出手段と、前記内視鏡の挿入傾斜角を検出する挿入傾斜角検出手段と、前記挿入位置、前記挿入量及び前記挿入傾斜角に基づき、前記複数のCT画像データより前記内視鏡画像とリアルタイムに同期した仮想内視鏡像を構築する仮想内視鏡画像構築手段と、前記処置具の前記体腔内への挿入位置を入力する処置具挿入位置入力手段と、前記処置具の挿入量を検出する処置具挿入量検出手段と、前記処置具の挿入傾斜角を検出する処置具挿入傾斜角検出手段と、前記処置具挿入位置、前記処置具挿入量及び前記処置具挿入傾斜角に基づき、前記複数の処置具形状画像より前記内視鏡画像とリアルタイムに同期した仮想処置具像を構築する仮想処置具画像構築手段と、前記仮想内視鏡像と前記仮想処置具像を合成し合成画像を生成する画像合成手段とを備えて構成される。
【0013】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【0014】
図1ないし図14は本発明の第1の実施の形態に係わり、図1は手術支援装置の硬性を示す構成図、図2は図1の硬性鏡の使用状態を示す図、図3は図2の硬性鏡の構成を示す図、図4は図2の硬性鏡側のトラカールの要部の構成を示す図、図5は図2の処置具の構成を示す図、図6は図2の処置具側のトラカールの要部の構成を示す図、図7は図1の手術支援装置の処理の流れを示す第1のフローチャート、図8は図1の手術支援装置の処理の流れを示す第2のフローチャート、図9は図7及び図8の処理で構築・生成された合成画像を表示する合成画像表示画面を示す図、図10は図1の内視鏡画像表示モニタに表示される内視鏡画像の第1の例を示す図、図11は図10の内視鏡画像に対応して表示される合成画像表示画面を示す図、図12は図1の内視鏡画像表示モニタに表示される内視鏡画像の第2の例を示す図、図13は図12の内視鏡画像に対応して表示される合成画像表示画面を示す図、図14は図1のVE画像表示モニタに表示される合成画像表示画面の変形例を示す図である。
【0015】
図1に示すように、本実施の形態の手術支援装置1は、硬性鏡2、VE画像生成装置3、システムコントローラ4、CCU5、光源装置6、気腹器7、電気メス8,超音波処置装置9、VTR10等を手術室に配置して構成される。なお、電気メス8及び気腹器7には処置具8aが接続されている。
【0016】
硬性鏡2の撮像部11で撮像された撮像信号はCCU5に伝送され画像処理された後に画像を録画するVTR10及びシステムコントローラ4に出力される。
【0017】
システムコントローラ4は、CCU5、光源装置6、気腹器7、電気メス8、超音波処置装置9、VTR10の各装置と設定情報を送受する通信I/F部12と、各種プログラムを格納しているメモリ13と、CCU5からの画像信号を内視鏡画像表示モニタ14に表示させる表示I/F部15と、これら各部を制御するCPU16とから構成される。なお、CPU16には通信I/F部12を介してリモコン17が接続され、このリモコン17により各種データの入力が可能となっている。
【0018】
硬性鏡2には、後述するように、硬性鏡2の挿入量を検出する(内視鏡)挿入量検出部21と、硬性鏡2の挿入傾斜角を検出する(内視鏡)傾斜角センサ22とが設けられている。
【0019】
処置具8aは、体内に挿入するプローブ18を有し、該プローブ18には、後述するように、プローブ18の挿入量を検出する(処置具)挿入量検出部23と、プローブ18の挿入傾斜角を検出する(処置具)傾斜角センサ24とが設けられている。
【0020】
VE画像生成装置3は、予めCT装置(図示せず)により得られたCT画像に基づき硬性鏡2が撮像した内視鏡画像にリアルタイムで且つ視線方向が一致した仮想的な画像であるバーチャルエンドスコピー画像(VE画像)を生成すると共に、処置具の仮想画像を生成し、VE画像に処置具仮想画像を重畳させた合成画像を生成する装置である。
【0021】
具体的には、VE画像生成装置3は、複数のCT画像より構築されたCT画像DB(データベース)を格納している記録部31と、各種処置具の形状画像より構築された処置具画像DB(データベース)を格納している記録部32と、各種プログラムを格納しているメモリ33と、(内視鏡)挿入量検出部21、(内視鏡)傾斜角センサ22、(処置具)挿入量検出部23、(処置具)傾斜角センサ24及びシステムコントローラ4の通信I/F部12とデータの送受を行う通信I/F部34と、通信I/F部34により得られた(内視鏡)挿入量検出部21、(内視鏡)傾斜角センサ22からのデータ及びCT画像DBのCT画像に基づきVE画像を構築するVE画像構築部35と、通信I/F部34により得られた(処置具)挿入量検出部23、(処置具)傾斜角センサ24からのデータ及び処置具画像DBの処置具形状画像に基づき処置具画像を構築する処置具画像構築部36と、VE画像構築部34が構築したVE画像に処置具画像構築部36が構築した処置具画像を重畳した合成画像を生成する画像合成部37と、画像合成部37が生成した合成画像をVE画像表示モニタ38に表示させる表示I/F部39と、これら各部を制御するCPU40とから構成され、CPU40には各種データを入力するためのキーボード41及びマウス42が接続されている。
【0022】
硬性鏡2は、図2に示すように、トラカール43a,43bを介して処置具8aと共に患者100の体内に挿入される。
【0023】
硬性鏡2は、図3に示すように、挿入基端側にTVカメラ44aを備え、さらに挿入基端側の把持部45aには傾斜角センサ22が設けられている。この傾斜角センサ22はジャイロ等により硬性鏡2の挿入傾斜角を計測しVE画像生成装置3に出力する。
【0024】
また、図4に示すように、硬性鏡2の挿入部46aを患者100の体内へと導くトラカール43aの基端側には挿入量検出部21が設けられており、挿入量検出部21は、挿入部46aの外周面と接触し挿入部46の挿入に従って回転するローラ47aと、ローラ47aの回転量を検出し挿入部46の挿入量としてVE画像生成装置3に出力するロータリーエンコーダ48aとから構成される。
【0025】
同様に、処置具8aは、図5に示すように、プローブ18の挿入基端側の操作部45bに傾斜角センサ23が設けられている。この傾斜角センサ23はジャイロ等により処置具8aのプローブ18の挿入傾斜角を計測しVE画像生成装置3に出力する。
【0026】
また、図6に示すように、処置具8aのプローブ18の挿入部46bを患者100の体内へと導くトラカール43bの基端側には挿入量検出部24が設けられており、挿入量検出部24は、挿入部46bの外周面と接触し挿入部46の挿入に従って回転するローラ47bと、ローラ47bの回転量を検出し挿入部46の挿入量としてVE画像生成装置3に出力するロータリーエンコーダ48bとから構成される。
【0027】
このように構成された本実施の形態の作用について説明する。図7及び図8に示すように、ステップS1においてキーボード41を用いて硬性鏡3の患者39の体内への挿入位置である内視鏡挿入点の座標を入力する。この座標系はCT画像の座標系と一致している。
【0028】
ステップS2において、キーボード41を用いて患部が存在する位置である内視鏡注目点の座標を入力する。そして、ステップS3において内視鏡挿入点の座標データ及び内視鏡注目点の座標に基づきVE画像の視線方向を決定する。
【0029】
そして、硬性鏡2の挿入が開始されると、ステップS4において挿入量検出部21により硬性鏡2の挿入量を測定し、ステップS5において挿入量に基づきVE画像の表示倍率を決定する(距離に応じて臓器に近い場合は倍率を高く、遠い場合には倍率を低くする)。
【0030】
このように視線方向及び表示倍率が決定されると、ステップS6においてVE画像構築部35により視線方向及び表示倍率に基づきVE画像が生成される。このときのVE画像はライブの内視鏡画像と同様な臓器光学像の仮想画像となっている。
【0031】
次に、ステップS7においてキーボード41を用いて処置具8aの患者39の体内への挿入位置である処置具挿入点の座標を入力する。
【0032】
ステップS8において、キーボード41を用いて患部を処置する位置である処置具注目点の座標を入力する。そして、ステップS9において処置具挿入点の座標データ及び処置具注目点の座標に基づき処置具の挿入方向を決定する。
【0033】
そして、処置具8aの挿入が開始されると、ステップS10において挿入量検出部23により処置具8aの挿入量を測定し、ステップS11において挿入量に基づき処置具8aの挿入深さを決定し、ステップS12において処置具画像を生成し、ステップS13においてVE画像に処置具画像を重畳した合成画像を生成してVE画像表示モニタ38に表示させる。
【0034】
この合成画像を参照して術者がライブの内視鏡画像が合成画像と一致するように、硬性鏡2及び処置具8aの挿入状態を調整した後に、ステップS14においてキーボード41を用いてトラッキング(ライブの内視鏡画像への追従)の開始が指示されると、VE画像はライブの内視鏡画像と同様な臓器光学像の仮想画像から例えば臓器部分を消した血管配置仮想画像となる。
【0035】
そして、ステップS15において傾斜角センサ22により硬性鏡2の挿入傾斜角を計測し、ステップS16において挿入傾斜角に基づき硬性鏡2が撮像する内視鏡画像の視線方向を決定する。さらに、ステップS17において挿入量検出部21により硬性鏡2の挿入量を測定し、ステップS18において挿入量に基づきVE画像の表示倍率を決定する。
【0036】
このように視線方向及び表示倍率が決定されると、ステップS19においてVE画像構築部35により視線方向及び表示倍率に基づきVE画像が生成される。このときのVE画像は臓器部分を消した血管配置仮想画像となっている。
【0037】
次に、ステップS20において傾斜角センサ24により処置具8aの挿入傾斜角を計測し、ステップS21において挿入傾斜角に基づき処置具8aの挿入方向を決定する。さらに、ステップS22において挿入量検出部23により処置具8aの挿入量を測定し、ステップS23において挿入量に基づき処置具8aの挿入深さを決定し、ステップS24において処置具画像を生成し、ステップS25においてVE画像(血管配置仮想画像)に処置具画像を重畳した合成画像を生成してVE画像表示モニタ38に表示させる。
【0038】
次に、VE画像表示モニタ38に表示される合成画像表示画面について説明する。VE表示画面101は、図9に示すように、画像合成部37により生成された合成画像を表示する合成画像表示エリア102、VE画像に関連した複数の2次元CT画像を表示する2次元画像表示エリア103と、硬性鏡2の挿入点、処置具8aのの挿入点を表示する挿入点表示欄104等より構成される。
【0039】
例えば図10に示すようなライブの内視鏡画像14aが内視鏡画像表示モニタ14に表示される際は、VE表示画面101においては、このライブの内視鏡画像14aの視線方向と大きさ(倍率)一致したリアルタイムの、図11に示すような処置具形状画像109が重畳された例えば臓器部分を消した血管配置仮想画像102a(=合成画像)が合成画像表示エリア102に表示される。
【0040】
また、図10の状態から硬性鏡2を傾け、図12に示すようなライブの内視鏡画像14bが内視鏡画像表示モニタ14に表示されると、これに追従(トラッキング)してライブの内視鏡画像14bの視線方向と大きさ(倍率)一致したリアルタイムの、図13に示すような処置具形状画像109が重畳された例えば臓器部分を消した血管配置仮想画像102b(=合成画像)が合成画像表示エリア102に表示される。
【0041】
このように本実施の形態では、硬性鏡2及び処置具8aの挿入傾斜角、挿入量を計測し、これらの挿入傾斜角、挿入量の各データに基づき、ライブの内視鏡画像の視線方向と大きさ(倍率)一致したリアルタイムのVE画像に処置具形状画像109が重畳した合成画像を生成・表示するので、手技の際に必要な情報(例えば血管配置情報)をビジュアルで確認できると共に、処置具の患部へのアプローチを確認・サポートできるので、手技を安全且つ適切に支援することができる。
【0042】
なお、本実施の形態においては、キーボード41を用いることにより、図14に示すように、合成画像に患部の位置を示すマーカー151を重畳させることができる。
【0043】
図15ないし図19は本発明の第2の実施の形態に係わり、図15は手術支援装置の硬性を示す構成図、図16は図15の手術支援装置の作用を説明するフローチャート、図17は図16の処理を説明する第1の図、図18は図16の処理を説明する第2の図、図19は図16の処理を説明する第3の図である。
【0044】
第2の実施の形態は、第1の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【0045】
図15に示すように、本実施の形態では、VE画像生成装置3は、CPU40の制御により合成画像に対して気腹器7の気腹情報(腹腔圧データ)を展開させ、該気腹情報に基づき合成画像を修正・補正する気腹情報フィードバック部201を備えて構成される。その他の構成は第1の実施の形態と同じである。
【0046】
本実施の形態では、図16に示すように、第1の実施の形態で説明したステップS18の後に、ステップS101においてCPU40が気腹器7の気腹情報(腹腔圧データ)を入手し、ステップS102において気腹情報フィードバック部201がVE画像構築部35及び画像合成部37を制御し、気腹情報をフィードバックさせた合成画像を生成してからステップS20に進む。その他の作用は第1の実施の形態と同じである。
【0047】
この処理のより、図17ないし図19に示すように、腹腔圧に応じて体腔内が膨らんだ状態のVE画像による合成画像を表示することが可能となる。図17及び図18は腹腔圧が順次高まった際の合成画像表示画面を、また図19は腹腔圧が設定圧になった際の合成画像表示画面をそれぞれ示している。
【0048】
このように本実施の形態では、第1の実施の形態の効果に加え、気腹器による腹腔圧情報をフィードバックした合成画像とすることが出来るので、よりリアルな合成画像により手技を支援することが可能となる。
【0049】
図20ないし図22は本発明の第3の実施の形態に係わり、図20は手術支援装置の硬性を示す構成図、図21は図20の内視鏡画像表示モニタに表示される合成画像表示画面を示す図、図22は図20の手術支援装置の作用を説明するフローチャートである。
【0050】
第3の実施の形態は、第2の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【0051】
図20に示すように、本実施の形態では、VE画像生成装置3は、CPU40の制御により硬性鏡2の挿入量及び挿入傾斜角、処置具8aの挿入量及び挿入傾斜角、気腹器7の気腹情報を時系列に記録するログ記録部301と、CPU40の制御によりログ記録部301とが記録した硬性鏡2の挿入量及び挿入傾斜角、処置具8aの挿入量及び挿入傾斜角、気腹器7の気腹情報を時系列で読み出すログ再生部302を有しており、CPU40は硬性鏡2の挿入量及び挿入傾斜角、処置具8aの挿入量及び挿入傾斜角、気腹器7の気腹情報に基づきVE画像構築部35、処置具画像構築部36、画像合成部37及び気腹情報フィードバック部201を制御する。その他の構成は第2の実施の形態と同じである。
【0052】
ログ記録部301へのデータの記録開始及び記録停止は、図21に示すように、合成画像表示画面に設けられたスタート/ストップボタン311をマウスを用いてクリックすることで行われる。また、ログ再生部302からのデータの再生は、再生ボタン312をマウスを用いてクリックすることで行われる。
【0053】
本実施の形態では、図22に示すように、ステップS151においてスタート/ストップボタン311をマウスを用いてクリックすると、ステップS152においてログ記録部301への硬性鏡2の挿入量及び挿入傾斜角、処置具8aの挿入量及び挿入傾斜角、気腹器7の気腹情報の各情報の時系列記録が開始され、ステップS153においてスタート/ストップボタン311をマウスを用いて再度クリックすることで記録が停止する。
【0054】
そして、ステップS154において再生ボタン312をマウスを用いてクリックすると、ステップS155においてログ再生部302がログ記録部301に記録されている硬性鏡2の挿入量及び挿入傾斜角、処置具8aの挿入量及び挿入傾斜角、気腹器7の気腹情報の各情報の時系列記録を読み出しCPU40に出力する。
【0055】
そして、ステップS156においてCPU40がVE画像構築部35、処置具画像構築部36、画像合成部37及び気腹情報フィードバック部201を制御し、手技中の合成画像を再生する。
【0056】
このように本実施の形態では、第2の実施の形態の効果に加え、手技が終了した後においても容易に手技中の合成画像が再生できるので、手技の確認等を容易に行うことが可能となる。
【0057】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【0058】
【発明の効果】
以上説明したように本発明によれば、簡単でかつリアルタイムに、ライブの内視鏡画像に対応し、処置具のアプローチ状況が認識可能な仮想画像を提供することで手術を支援することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る手術支援装置の硬性を示す構成図
【図2】図1の硬性鏡の使用状態を示す図
【図3】図2の硬性鏡の構成を示す図
【図4】図2の硬性鏡側のトラカールの要部の構成を示す図
【図5】図2の処置具の構成を示す図
【図6】図2の処置具側のトラカールの要部の構成を示す図
【図7】図1の手術支援装置の処理の流れを示す第1のフローチャート
【図8】図1の手術支援装置の処理の流れを示す第2のフローチャート
【図9】図7及び図8の処理で構築・生成された合成画像を表示する合成画像表示画面を示す図
【図10】図1の内視鏡画像表示モニタに表示される内視鏡画像の第1の例を示す図
【図11】図10の内視鏡画像に対応して表示される合成画像表示画面を示す図
【図12】図1の内視鏡画像表示モニタに表示される内視鏡画像の第2の例を示す図
【図13】図12の内視鏡画像に対応して表示される合成画像表示画面を示す図
【図14】図1のVE画像表示モニタに表示される合成画像表示画面の変形例を示す図
【図15】本発明の第2の実施の形態に係る手術支援装置の硬性を示す構成図
【図16】図15の手術支援装置の作用を説明するフローチャート
【図17】図16の処理を説明する第1の図
【図18】図16の処理を説明する第2の図
【図19】図16の処理を説明する第3の図
【図20】本発明の第3の実施の形態に係る手術支援装置の硬性を示す構成図
【図21】図20の内視鏡画像表示モニタに表示される合成画像表示画面を示す図
【図22】図20の手術支援装置の作用を説明するフローチャート
【符号の説明】
1…手術支援装置
2…硬性鏡
3…VE画像生成装置
4…システムコントローラ
5…CCU
6…光源装置
7…気腹器
8…電気メス
9…超音波処置装置
10…VTR
11…撮像部
21…(内視鏡)挿入量検出部
22…(内視鏡)傾斜角センサ
23…(処置具)挿入量検出部
24…(処置具)傾斜角センサ
31…記録部(CT画像DB)
32…記録部(処置具画像DB)
33…メモリ
34…通信I/F部
35…VE画像構築部
36…処置具画像構築部
37…画像合成部
38…VE画像表示モニタ
39…表示I/F部
40…CPU
Claims (3)
- 視野方向を特定可能な内視鏡及び処置具を体腔内に刺入し該内視鏡により撮像された内視鏡画像による観察下で前記処置具により患部の処置が行われる手術を支援する手術支援装置において、
前記体腔内の複数のCT画像データを記憶するCT画像記憶手段と、
前記処置具の形状画像データを記憶する処置具形状画像記憶手段と、
前記内視鏡の前記体腔内への挿入位置を入力する挿入位置入力手段と、
前記内視鏡の挿入量を検出する挿入量検出手段と、
前記内視鏡の挿入傾斜角を検出する挿入傾斜角検出手段と、
前記挿入位置、前記挿入量及び前記挿入傾斜角に基づき、前記複数のCT画像データより前記内視鏡画像とリアルタイムに同期した仮想内視鏡像を構築する仮想内視鏡画像構築手段と、
前記処置具の前記体腔内への挿入位置を入力する処置具挿入位置入力手段と、
前記処置具の挿入量を検出する処置具挿入量検出手段と、
前記処置具の挿入傾斜角を検出する処置具挿入傾斜角検出手段と、
前記処置具挿入位置、前記処置具挿入量及び前記処置具挿入傾斜角に基づき、前記複数の処置具形状画像より前記内視鏡画像とリアルタイムに同期した仮想処置具像を構築する仮想処置具画像構築手段と、
前記仮想内視鏡像と前記仮想処置具像を合成し合成画像を生成する画像合成手段と
を備えたことを特徴とする手術支援装置。 - 前記仮想内視鏡像は、前記内視鏡画像と視線方向及び倍率が一致した画像である
ことを特徴とする請求項1に記載の手術支援装置。 - 前記仮想内視鏡像は、前記内視鏡画像での血管配置を示す血管配置仮想画像である
ことを特徴とする請求項1または2に記載の手術支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003189783A JP4365630B2 (ja) | 2003-07-01 | 2003-07-01 | 手術支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003189783A JP4365630B2 (ja) | 2003-07-01 | 2003-07-01 | 手術支援装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005021353A true JP2005021353A (ja) | 2005-01-27 |
JP4365630B2 JP4365630B2 (ja) | 2009-11-18 |
Family
ID=34187888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003189783A Expired - Fee Related JP4365630B2 (ja) | 2003-07-01 | 2003-07-01 | 手術支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4365630B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007301378A (ja) * | 2006-05-11 | 2007-11-22 | Olympus Medical Systems Corp | 治療システム及びトラカール並びに治療システムの制御方法 |
JP2009279250A (ja) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
EP2372660A2 (en) | 2010-03-31 | 2011-10-05 | Fujifilm Corporation | Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same |
WO2011122037A1 (ja) | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
WO2011122032A1 (ja) | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
WO2013141155A1 (ja) * | 2012-03-17 | 2013-09-26 | 学校法人早稲田大学 | 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム |
JP2015139646A (ja) * | 2014-01-30 | 2015-08-03 | ソニー株式会社 | 内視鏡システム、画像処理装置、画像処理方法、およびプログラム |
JP2015530903A (ja) * | 2012-08-14 | 2015-10-29 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 多数のビジョンシステムのレジストレーションのためのシステム及び方法 |
US9179822B2 (en) | 2010-03-17 | 2015-11-10 | Fujifilm Corporation | Endoscopic observation supporting system, method, device and program |
JP2017185254A (ja) * | 2017-05-23 | 2017-10-12 | ソニー株式会社 | 内視鏡システム、内視鏡画像処理装置、および画像処理方法 |
WO2018220930A1 (ja) * | 2017-05-30 | 2018-12-06 | オリンパス株式会社 | 画像処理装置 |
CN110769737A (zh) * | 2017-06-21 | 2020-02-07 | 奥林巴斯株式会社 | ***辅助装置、***辅助方法和包括***辅助装置的内窥镜装置 |
CN113645396A (zh) * | 2020-04-27 | 2021-11-12 | 成都术通科技有限公司 | 图像叠加方法、装置、设备及存储介质 |
US12048501B2 (en) | 2019-04-03 | 2024-07-30 | Canon Medical Systems Corporation | Medical image diagnosis apparatus, surgery assistance robot apparatus, surgery assistance robot controlling apparatus, and controlling method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10234663A (ja) * | 1997-02-27 | 1998-09-08 | Toshiba Corp | 画像処理装置 |
JP2002045372A (ja) * | 2000-08-02 | 2002-02-12 | Olympus Optical Co Ltd | 手術ナビゲーション装置 |
JP2002119507A (ja) * | 2000-10-17 | 2002-04-23 | Toshiba Corp | 医用装置および医用画像収集表示方法 |
JP2002238844A (ja) * | 2001-02-16 | 2002-08-27 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2003153876A (ja) * | 2001-11-22 | 2003-05-27 | Ichiro Komada | 外科手術支援装置 |
-
2003
- 2003-07-01 JP JP2003189783A patent/JP4365630B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10234663A (ja) * | 1997-02-27 | 1998-09-08 | Toshiba Corp | 画像処理装置 |
JP2002045372A (ja) * | 2000-08-02 | 2002-02-12 | Olympus Optical Co Ltd | 手術ナビゲーション装置 |
JP2002119507A (ja) * | 2000-10-17 | 2002-04-23 | Toshiba Corp | 医用装置および医用画像収集表示方法 |
JP2002238844A (ja) * | 2001-02-16 | 2002-08-27 | Olympus Optical Co Ltd | 内視鏡装置 |
JP2003153876A (ja) * | 2001-11-22 | 2003-05-27 | Ichiro Komada | 外科手術支援装置 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7841980B2 (en) * | 2006-05-11 | 2010-11-30 | Olympus Medical Systems Corp. | Treatment system, trocar, treatment method and calibration method |
JP2007301378A (ja) * | 2006-05-11 | 2007-11-22 | Olympus Medical Systems Corp | 治療システム及びトラカール並びに治療システムの制御方法 |
JP2009279250A (ja) * | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
US9179822B2 (en) | 2010-03-17 | 2015-11-10 | Fujifilm Corporation | Endoscopic observation supporting system, method, device and program |
EP2372660A2 (en) | 2010-03-31 | 2011-10-05 | Fujifilm Corporation | Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same |
WO2011122037A1 (ja) | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
WO2011122032A1 (ja) | 2010-03-31 | 2011-10-06 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
JP2011212244A (ja) * | 2010-03-31 | 2011-10-27 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
US9375133B2 (en) | 2010-03-31 | 2016-06-28 | Fujifilm Corporation | Endoscopic observation support system |
US8611988B2 (en) | 2010-03-31 | 2013-12-17 | Fujifilm Corporation | Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same |
US9220468B2 (en) | 2010-03-31 | 2015-12-29 | Fujifilm Corporation | Endoscope observation assistance system, method, apparatus and program |
JPWO2013141155A1 (ja) * | 2012-03-17 | 2015-08-03 | 学校法人早稲田大学 | 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム |
WO2013141155A1 (ja) * | 2012-03-17 | 2013-09-26 | 学校法人早稲田大学 | 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム |
JP2015530903A (ja) * | 2012-08-14 | 2015-10-29 | インテュイティブ サージカル オペレーションズ, インコーポレイテッド | 多数のビジョンシステムのレジストレーションのためのシステム及び方法 |
JP2015139646A (ja) * | 2014-01-30 | 2015-08-03 | ソニー株式会社 | 内視鏡システム、画像処理装置、画像処理方法、およびプログラム |
JP2017185254A (ja) * | 2017-05-23 | 2017-10-12 | ソニー株式会社 | 内視鏡システム、内視鏡画像処理装置、および画像処理方法 |
WO2018220930A1 (ja) * | 2017-05-30 | 2018-12-06 | オリンパス株式会社 | 画像処理装置 |
CN110769737A (zh) * | 2017-06-21 | 2020-02-07 | 奥林巴斯株式会社 | ***辅助装置、***辅助方法和包括***辅助装置的内窥镜装置 |
US12048501B2 (en) | 2019-04-03 | 2024-07-30 | Canon Medical Systems Corporation | Medical image diagnosis apparatus, surgery assistance robot apparatus, surgery assistance robot controlling apparatus, and controlling method |
CN113645396A (zh) * | 2020-04-27 | 2021-11-12 | 成都术通科技有限公司 | 图像叠加方法、装置、设备及存储介质 |
CN113645396B (zh) * | 2020-04-27 | 2023-07-25 | 成都术通科技有限公司 | 图像叠加方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP4365630B2 (ja) | 2009-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4698966B2 (ja) | 手技支援システム | |
JP7443353B2 (ja) | 位置及び方向(p&d)追跡支援の光学的視覚化を使用したコンピュータ断層撮影(ct)画像の補正 | |
US9232982B2 (en) | System for orientation assistance and display of an instrument in an object under examination particularly for use in human body | |
CN110741414B (zh) | 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的***和方法 | |
US7951070B2 (en) | Object observation system and method utilizing three dimensional imagery and real time imagery during a procedure | |
JP2019162339A (ja) | 手術支援システムおよび表示方法 | |
JP2007152114A (ja) | カテーテル施術のための超音波システム | |
JP2006218129A (ja) | 手術支援システム | |
JP4365630B2 (ja) | 手術支援装置 | |
JP2001061861A (ja) | 画像撮影手段を備えたシステムおよび医用ワークステーション | |
JP2008119472A (ja) | 埋植物距離測定のシステム及び方法 | |
JP2008126063A (ja) | フルオロスコピィ画像投影への用具及び/又は埋植物の統合を備えた医用ナビゲーション・システム並びに方法 | |
JP2006198032A (ja) | 手術支援システム | |
US20180286287A1 (en) | System and methods for training physicians to perform ablation procedures | |
JP2021030073A (ja) | 初期位置合わせのための透視ct撮像のシステムおよび方法 | |
EP3733047A1 (en) | Surgical system, image processing device, and image processing method | |
JP2002253480A (ja) | 医療処置補助装置 | |
US20050234326A1 (en) | Medical procedure support system and method | |
JP2006223374A (ja) | 手術支援装置、手術支援システム及び手術支援方法 | |
JP2006198031A (ja) | 手術支援システム | |
WO2015091226A1 (en) | Laparoscopic view extended with x-ray vision | |
JP2006218239A (ja) | 手技支援システム | |
JP4615842B2 (ja) | 内視鏡システムおよび内視鏡画像処理装置 | |
JP2005021355A (ja) | 手術支援装置 | |
JP2005021354A (ja) | 遠隔手術支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090728 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090821 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4365630 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |