JP2006320427A

JP2006320427A - 内視鏡手術支援システム

Info

Publication number: JP2006320427A
Application number: JP2005144694A
Authority: JP
Inventors: Hidekazu Makino; 英一牧野; Hiroki Taniguchi; 拡樹谷口
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 2005-05-17
Filing date: 2005-05-17
Publication date: 2006-11-30

Abstract

【課題】取り入れた像の歪みを補正して、ＭＲＩやＣＴなどの画像と重畳して表示できる内視鏡手術支援システムの提供。
【解決手段】軟性内視鏡４先端に取り付けられたカメラから取り入れた画像データをレンズによる歪曲データから平面データに補正して記憶する補正記憶手段２８と，臓器と血管の断層画像データを予め撮影して取得する第１の手段１７と，前記第１の手段１７によって得られた断層画像データを記憶する第２の手段１８と，前記軟性内視鏡によって得られる内視鏡画像データを取得する第３の手段６と，前記第３の手段６によって取得した内視鏡画像データを前記補正記憶手段２８によって補正し、前記第１の手段１７によって得られた断層画像データに重畳してディスプレイ２４上に表示する第４の手段とを備える。
【選択図】図１

Description

本発明は、手術用の軟性内視鏡を含む内視鏡手術支援システムに係り、特に軟性内視鏡の本体内部にカメラを備え該カメラから取り入れた内視鏡像の歪みを補正して、ＭＲＩやＣＴなどの医用画像と重畳表示することのできる内視鏡手術支援システムに関するものである。

一般に、内視鏡には、軟性内視鏡と硬性内視鏡の２種類があり、これまでの外科手術においては、内視鏡先端の位置決めや内視鏡先端の制御のし易さから硬性内視鏡を用いて手術を行うのが主流であった。

一方、軟性内視鏡は、胃カメラなどを始めとし、経口で管腔臓器に沿って挿入し、管腔臓器の対象患部へ内視鏡先端が到達し、カメラで患部を観察し、検査等に用いられてきた。さらに、開腹・開胸等を伴う外科手術に比べて患者の負担が小さくて済むとうの理由から内視鏡を用いた外科手術が行われるようになっている。

近年では、ＣＣＤ（Charge Coupled Device）の撮像素子の小型化が進み、ＣＣＤの撮像素子の高解像度化によって、軟性内視鏡の細経化が図られ、内視鏡の先端に腫瘍を切除して取り出す術具を挿入できるようになってきている。そして、このＣＣＤの撮像素子の高解像度化によって、内視鏡により得られる撮影画像をディスプレィに映し出し、このディスプレィを見ながら処置具を操作して患部の摘出等の処置が行われている。

このような軟性内視鏡は、体内のいろいろな臓器へ挿入させるため、臓器まで曲がりくねった状態で挿入している。この軟性内視鏡の体内への挿入に当たっては、軟性内視鏡によって映し出される画像（例えば、食道内、胃内、腸内など）をディスプレィで確認しながら行っている。しかし、このディスプレィに表示される軟性内視鏡の先端に取り付けられたカメラから捉えた内視鏡像は、カメラからの一方向のみから見た平面的な画像である。したがって、軟性内視鏡の先端に取り付けられた使用する処置具や内視鏡などの処置用機器の形状や、この処置具や内視鏡などの処置用機器の生体組織の画像上の位置が、手術中に明確になっていない状態であった。

ところが、軟性内視鏡の本体の先端には、臓器を切り取るメス等の術具が取り付けられている。このため、臓器の全体像が明らかでないにも拘わらず、軟性内視鏡の先端の術具を用いて内視鏡下外科手術を行うと、軟性内視鏡の先端に取り付けられたカメラでは分からなかった隠れた血管や神経に傷を付けてしまう恐れがある。

そこで、従来、内視鏡を使用した場合に、内視鏡像で得られている画像の生体組織上での位置を表示することができ、さらに、使用する処置具や内視鏡などの処置用機器の形状を生体組織の画像上に合成して表示することができ、例えば顕微鏡像から外れている部分が不用意に生体組織に接触することを防止することができるとともに、使用する処置具や、内視鏡などの処置用機器を交換しても、新たにキャリブレーションを取り直す必要が無く、手術を能率良く進めることができる手術用ナビゲーションシステムが提案されている（例えば、特許文献１参照。）。

この特許文献１は、処置具３３や、内視鏡３４などの処置用機器の位置を位置検出センサー３６によって測定し、さらに内視鏡３４の挿入部３４ａの先端から術部の対象物４８までの距離を測定し、予め測定された生体画像情報を保持し、位置検出センサー３６からの位置情報と、距離情報と、生体画像情報とを画像合成回路３９によって合成し、ＴＶモニター４４の画面上に表示するものである。
特開２００１−２０４７３８

このような特許文献１の手術用ナビゲーションシステムの場合、表示部に表示されている例えば生体画像情報の上に使用している手術器具などの処置用機器の位置を表示することで手術を進める方向をナビゲートするものである。すなわち、特許文献１の手術用ナビゲーションシステムは、内視鏡像で得られている画像の生体組織上での位置と、使用する処置具や内視鏡などの処置用機器の形状を生体組織の画像上に合成するものである。したがって、特許文献１の手術用ナビゲーションシステムでは、内視鏡像で得られている画像の生体組織上での処置具や内視鏡などの処置用機器の位置関係とその形状とは明確になっている。

しかしながら、管腔臓器等の各種臓器は、立体的なもので、軟性内視鏡の先端に取り付けられたカメラから捉えた内視鏡像からだけでは、手術を行おうとする臓器の全体像が明らかではない。さらに、管腔臓器等の各種臓器には、色々な方向に血管や神経が走っており、軟性内視鏡の先端に取り付けられたカメラで得られている生体組織の画像では、カメラから捉えた内視鏡像に映し出された血管が見えるだけで、内視鏡像に現れていない隠れた部位に血管や神経が走っている。このように臓器における血管や神経の位置が明確でない状態で軟性内視鏡の先端の術具を用いて内視鏡下外科手術を行うと、軟性内視鏡の先端に取り付けられたカメラでは分からなかった隠れた血管や神経に傷を付けてしまう恐れがあるという問題点を有している。

本発明の目的は、軟性内視鏡の本体内部にカメラを備え該カメラから取り入れた内視鏡像の歪みを補正して、ＭＲＩやＣＴなどの医用画像と重畳して臓器における血管や神経の位置をディスプレイ上に表示することのできる手術用の軟性内視鏡を含む内視鏡手術支援システムを提供することにある。

本願第１の発明に係る手術用の軟性内視鏡を含む内視鏡手術支援システムは、手術用の軟性内視鏡を含む内視鏡手術支援システムにおいて，
軟性内視鏡先端に取り付けられたカメラから取り入れた撮影画像データをレンズによる歪曲データから平面データに補正して記憶する補正記憶手段と，
被術者の処置を施す部位を含む臓器と血管の断層画像データを予め別に撮影装置で撮影して取得する第１の手段と，
前記第１の手段によって得られた断層画像データを記憶する第２の手段と，
前記手術用の軟性内視鏡によって得られる被術者の処置を施す部位を含む内視鏡画像データを取得する第３の手段と，
前記第３の手段によって取得された被術者の処置を施す部位を含む内視鏡画像データを前記補正記憶手段によって補正し、前記第１の手段によって得られた断層画像データに重畳してディスプレイ上に表示する第４の手段とを備えて構成したものである。

本願第２の発明に係る手術用の軟性内視鏡を含む内視鏡手術支援システムは、手術用の軟性内視鏡を含む内視鏡手術支援システムにおいて，
被術者の処置を施す部位を含む臓器と血管の断層画像データを予め別に撮影装置で撮影して取得する第１の手段と，
前記第１の手段によって得られた断層画像データを軟性内視鏡先端に取り付けられたカメラのレンズによる撮影画像データと同一の歪曲データに補正して記憶する補正記憶手段と，
前記補正記憶手段によって補正された前記第１の手段によって得られた断層画像データを記憶する第２の手段と，
前記手術用の軟性内視鏡によって得られる被術者の処置を施す部位を含む内視鏡画像データを取得する第３の手段と，
前記第１の手段によって得られた断層画像データを前記補正記憶手段によって補正させ、前記第３の手段によって取得した被術者の処置を施す部位を含む内視鏡画像データに重畳してディスプレイ上に表示する第４の手段とを備えて構成したものである。

そして、臓器と血管の断層画像データは、ＭＲ装置またはＣＴ装置で形成したものである。

本発明によると、軟性内視鏡の本体内部にカメラを備え該カメラから取り入れた内視鏡像の歪みを補正して、ＭＲＩやＣＴなどの医用画像と重畳して臓器における血管や神経の位置をディスプレイ上に表示することができる。

本願第１の発明は、被術者の処置を施す部位周辺の臓器と血管の断層画像データを手術時とは別に撮影装置で撮影して取得し、得られた断層画像データを記憶しておき、軟性内視鏡先端に取り付けられたカメラから取り入れた撮影画像データをレンズによる歪曲データから平面データに補正する補正値によって補正し、手術用の軟性内視鏡によって得られる被術者の処置を施す部位周辺の断層画像データに重畳してディスプレイ上に表示するようにして実現する。

本願第２の発明は、被術者の処置を施す部位周辺の臓器と血管の断層画像データを手術時とは別に撮影装置で撮影して取得し、得られた断層画像データを軟性内視鏡先端に取り付けられたカメラのレンズによる撮影画像データと同一の歪曲データに補正して記憶しておき、この歪曲データに補正した被術者の処置を施す部位周辺の臓器と血管の断層画像データを手術用の軟性内視鏡によって得られる被術者の処置を施す部位周辺の内視鏡画像データに重畳してディスプレイ上に表示するようにして実現する。

図１には本願第１の発明に係る内視鏡手術支援システムの一実施例を示す全体システム構成図が、図２〜図６には図１に図示の内視鏡手術支援システムで得られたデータ処理の処理状態がそれぞれ示されている。

図１において、１００は、内視鏡手術支援システムで、軟性内視鏡を誘導するシステムである。１はＣＴガントリー（ＣＴ装置内部）で、２はＣＴガントリー１に取り付けられるＸ線管で、３はＸ線管２から放射されるＸ線を検出する検出器である。４は軟性内視鏡で、先端には、図２に示す如く、軟性内視鏡４の先端付近の周囲臓器を写し出すカメラ４ａ、遠隔操作できる手術用のメス、手術用のハサミ等の術具４ｂが取り付けられている。この軟性内視鏡４によって内視鏡下外科手術を行う場合は、遠隔操作できる手術用のメス、手術用のハサミ等の術具４ｂを用いて手術を行うのに、図３に示す如く、遠隔操作できる手術用のメス、手術用のハサミ等の術具４ｂの先端をカメラ４ａによって写し出し、このカメラ４ａによる撮像をディスプレイで確認しながら手術を行うようになっている。５はＣＴガントリー１内で撮像される患者の患部である管腔臓器等の臓器である。

また、この軟性内視鏡４には、内視鏡イメージプロセッサ６が接続されている。この内視鏡イメージプロセッサ６は、内視鏡先端にあるＣＣＤから送られてくる電気信号から、画面・操作コンソール２２のディスプレイ２３（モニタ１）で映像化するためのビデオ信号等の映像信号に変換する装置である。内視鏡先端がＣＣＤではなく、光ファイバーの場合、内視鏡イメージプロセッサ６の内部にＣＣＤを内蔵している。その他、軟性内視鏡４の先端を照らすための光源を備えており、光源の光は、光ファイバーによって軟性内視鏡４の本体筒部分を経由して先端に導出され、軟性内視鏡４の先端から外部に照射されるようになっている。したがって、内視鏡イメージプロセッサ６は、軟性内視鏡４に取り付けられているカメラ４ａによって取得した画像データを患者の患部である管腔臓器等の臓器にイメージしてディスプレイ２３（モニタ１）に表示させるためのものである。このディスプレイ２３（モニタ１）は、軟性内視鏡４の先端部にあるＣＣＤから得られた画像データをそのまま表示するモニタである。

また、軟性内視鏡４には、駆動装置７が設けられている。この駆動装置７は、軟性内視鏡４の先端部を駆動するためのものである。この駆動装置７には、回転駆動装置８と、左右駆動装置９と、上下駆動装置１０と、前後駆動装置１１とが設けられている。

回転駆動装置８は、軟性内視鏡４本体の筒中心軸を中心に、軟性内視鏡４を所定角度回転させる装置である。この回転駆動装置８によって軟性内視鏡４を回転させる場合、軟性内視鏡４の本体が剛体ではないため、軟性内視鏡４の先端部と軟性内視鏡４の後端部との回転角度は、一致しないで捻れが生じることがある。

左右駆動装置９は、軟性内視鏡４の先端部を軟性内視鏡４の挿入方向左右（水平方向）に移動させる装置である。この左右駆動装置９は、正確には、軟性内視鏡４を右または左へ平行移動するのではなく、軟性内視鏡４の先端が右後方向または左後方向へ反り返るように移動するものである。したがって、軟性内視鏡４の先端部を真正面に対し、右方向９０度に移動する場合は、軟性内視鏡４の先端正面が、真右横を向き、さらに移動すると、真後へ向かうことになる。そして、軟性内視鏡４の先端部を真正面に対し、左方向９０度に移動する場合は、軟性内視鏡４の先端正面が、真左横を向き、さらに移動すると、真後へ向かうことになる。

上下駆動装置１０は、軟性内視鏡４の先端を上下方向（垂直方向）へ移動させる装置である。この上下駆動装置１０は、正確には、軟性内視鏡４を上または下へ平行移動するのではなく、軟性内視鏡４の先端が後方向へ反り返るように移動するものである。したがって、軟性内視鏡４の先端部を真正面に対し、上方向９０度に移動する場合は、軟性内視鏡４の先端正面が、真上を向き、さらに移動すると、真後に向くことになる。そして、軟性内視鏡４の先端部を真正面に対し、下方向９０度に移動する場合は、軟性内視鏡４の先端正面が、真下を向き、さらに移動すると、真後に向くことになる。

前後駆動装置１１は、軟性内視鏡４を筒方向に沿って移動させるための装置である。この前後駆動装置１１は、軟性内視鏡４が剛体ではないため、軟性内視鏡４の挿入経路に沿って、軟性内視鏡４の先端部が移動するもので、必ずしも軟性内視鏡４の先端が、前後平行に移動するとは限らない。

さらに、軟性内視鏡４には、反射部駆動機構１２が取り付けられている。この反射部駆動機構１２は、レーザ光を反射する反射板の角度（出射角度）を設定するために反射板を駆動するためのものである。そして、この反射部駆動機構１２には、２つの反射板回転駆動装置１３，１４が設けられている。このレーザ等の光を反射する反射部（反射板）のレーザ光の反射角度（出射角度）を設定するには、反射部（反射板）を動かす必要がある。このレーザを反射する角度（出射角度）の設定には、垂直方向の角度（φ）と水平方向の角度（θ）とがあり、このレーザを反射する角度（出射角度）の設定は、レーザ等の光を反射する反射部（反射板）をそれぞれの方向に所定角度回転させることによって行っている。そして、本実施例においては、反射部駆動機構１２に軟性内視鏡４の先端部分に収納可能な小型の反射板回転装置を用い、反射板回転駆動装置１３が垂直方向の角度（φ）の調整を行い、反射板回転駆動装置１４が水平方向の角度（θ）を調整を行うようになっている。

また、軟性内視鏡４には、内視鏡先端位置、角度、捩れ検出手段１５が取り付けられている。この内視鏡先端位置、角度、捩れ検出手段１５は、軟性内視鏡４の先端部の三次元的な（相対）位置、軟性内視鏡４の先端面の角度、軟性内視鏡４の本体筒部分の曲がり、捩れなどの姿勢を検出するものである。この内視鏡先端位置、角度、捩れ検出手段１４は、本実施例においては、ＣＴ、ＭＲＩで撮像可能な造影剤を用いて、軟性内視鏡４の本体、軟性内視鏡４の先端部に造影剤を流す流路を設け、ＣＴ、ＭＲＩを用いて、造影剤の流路を三次元的に検出、抽出することによって、軟性内視鏡４の先端部の位置、軟性内視鏡４の先端部面の角度、軟性内視鏡４の本体（筒部分）の曲がり、捩れを計測するようになっている。

この内視鏡イメージプロセッサ６、反射部駆動機構１２、内視鏡先端位置、角度、捩れ検出手段１５には、深さ距離演算処理回路１６が接続されている。この深さ距離演算処理回路１６には、内視鏡イメージプロセッサ６から出力される軟性内視鏡４によって取得した内視鏡画像データと、反射部駆動機構１２の各反射板回転駆動装置１３，１４からの駆動回転角度（φ，θ）、内視鏡先端位置、角度、捩れ検出手段１５によって計測された軟性内視鏡４の先端部の位置、軟性内視鏡４の先端部面の角度、軟性内視鏡４の本体（筒部分）の曲がり、捩れのデータが、送信されるようになっている。この深さ距離演算処理回路１６は、２枚の反射板を利用し、それぞれの反射板から出射するレーザが交差する時、２枚の反射板の間隔と、それぞれの回転角度から、幾何学的に反射板からレーザ交差点までの距離を演算する装置である。本実施例においては、この深さ距離演算処理回路１６によって反射板からレーザ交差点までの距離を演算するための２枚の反射板の角度は、反射板回転装置により与えられ、２枚の反射板の間隔は、機構設計時に決まる数値で、既知の値である。

一方、Ｘ線管２から放射されるＸ線を検出する検出器３には、画像処理装置１７が接続されている。この画像処理装置１７は、ＣＴ装置の場合、ＣＴ装置内部にある検出器３により検出する患者を透過したＸ線情報をもとに、患者身体の断層画像や三次元再構成画像を演算する演算装置に相当するものである。この画像処理装置１７において患者を透過したＸ線情報をもとに演算して得られた患者身体の断層画像や三次元再構成画像は、画像処理装置１７に接続される画像データベース（記憶装置）１８に格納される。この画像データベース１８は、画像処理装置１７によって演算して得られた断層画像、三次元ボリュームデータを格納する記憶装置で、手術においては、術前、術後の患者の断層画像、術中の断層画像を格納する記憶装置である。この画像データベース１８には、内視鏡先端位置、角度、捩れ検出手段１５によって計測される軟性内視鏡４の先端部の位置、軟性内視鏡４の先端部面の角度、軟性内視鏡４の本体（筒部分）の曲がり、捩れの各データが書き込み、読み出し、書き換えができるようになっている。

この画像データベース１８は、先端画像切り出し処理１９が接続されている。この先端画像切り出し処理１９は、画像データベース１８に格納する患者身体の三次元ボリュームデータから、軟性内視鏡４の先端部の位置、軟性内視鏡４の先端によって写し出された画像面の角度に基づき、軟性内視鏡４の先端部から観察した時の断層面の切り出し、その他、軟性内視鏡４の先端部付近にある臓器を三次元的に抽出するための演算処理を行うものである。したがって、この先端画像切り出し処理１９は、軟性内視鏡４の先端部付近にある臓器を三次元的に抽出するために、軟性内視鏡４の先端部の位置情報を内視鏡先端位置、角度、捩れ検出手段１５から得、この得られた軟性内視鏡４の先端部の位置情報に基づいて、画像データを画像データベース１８から軟性内視鏡４の先端部の位置情報に対応する撮影機器による画像データを取得する。

この先端画像切り出し処理１９には、患部周辺臓器抽出画像データベース２０が接続されている。この患部周辺臓器抽出画像データベース２０は、軟性内視鏡４の先端部の位置、軟性内視鏡４の先端によって写し出された画像面の角度に基づき、抽出した断層画像、その他、軟性内視鏡４の先端部付近の抽出した臓器を記憶保存するものである。この患部周辺臓器抽出画像データベース２０に記憶保存された情報（内視鏡画像データ）は、手術の進行や、観察する角度や位置の変更等によって、経時的に変化するため、抽出した断層画像、臓器を経時的に記憶し、ナビゲーション情報として利用される。

この患部周辺臓器抽出画像データベース２０には、画像加工演算プロセッサ２１が接続されている。この画像加工演算プロセッサ２１は、患部周辺臓器抽出画像データベース２０に記憶保存された情報（内視鏡画像データ）を読み込み、画像加工処理手段データベース３１に記憶保存されているプログラムをロードして、画像加工を演算実行するものである。また、この画像加工演算プロセッサ２１は、患部周辺臓器抽出画像データベース２０から読み込んだ画像情報（内視鏡画像データ）に基づいて、画像の回転、画像の拡大縮小、観察する視点の変更した時の画像を演算する機能を有している。

２２は、画面・操作コンソールで、術者が遠隔操作で手術を行うときに、軟性内視鏡４を操作するため患部の状況を映し出すディスプレィ（モニタ）と、ディスプレィ（モニタ）に映し出された撮影画像を見ながら軟性内視鏡４に取り付けた処置具を用いて患部の手術を行う操作盤等が備え付けられた術者の操作装置である。この画面・操作コンソール２２には、ディスプレイ２３（モニタ１）、ディスプレイ２４（モニタ２）、操作器（レバー、ハンドル等）２５、画像加工方法選択２６が設けられている。

ディスプレイ２３（モニタ１）は、軟性内視鏡４の先端部にあるＣＣＤから得られた画像データをそのまま表示するモニタである。また、ディスプレイ２４（モニタ２）は、ＭＲ、ＣＴ装置で撮影した二次元断層画像、または、三次元画像を表示し、ナビゲーション情報を表示するためのモニタである。また、操作器（レバー、ハンドル等）２５は、軟性内視鏡４の先端部を、前後、左右に移動したり、回転させるための操作入力器である。そして、この操作入力器としての操作器２５には、例えば、ジョイスティク、ボタン、レバー、フットペダル、その他、マニピュレータのように多関節構造を有するハンドルなどがある。

また、画像加工方法選択２６は、軟性内視鏡４の先端部の断層画像や抽出した臓器画像を加工する方法を選択するものである。この画像加工方法選択２６には、軟性内視鏡４の先端部の断層画像や抽出した臓器画像に対して、手術による臓器変形などのシミュレーションの計算をするためのアプリケーション機能の選択、ＣＴ、ＭＲ画像上に、歪みを補正した内視鏡画像を重畳する表示、ＣＴ、ＭＲ画像をゆがませて内視鏡画像の中へ重畳する表示等の選択など、タッチパネルや、操作卓上のボタン、マウスなどを用いた機能選択手段が設けられている。

この操作器２５のジョイスティク、ボタン、レバー、フットペダル、その他、マニピュレータのように多関節構造を有するハンドルなどによる操作指令は、操作信号として操作信号変換演算処理２７に送信される。この操作信号を受信した操作信号変換演算処理２７は、操作器２５から送信された操作信号に基づいて動作指令信号を駆動装置１２の回転駆動装置８、左右駆動装置９、上下駆動装置１０、前後駆動装置１１のいずれかの駆動装置に出力する。したがって、例えば、軟性内視鏡４の先端部を右方向に移動するようにレバーのような操作器２５を操作すると、操作信号変換演算処理２７から右方向の操作信号が出力され左右駆動装置９が動作し、この右方向への操作信号に基づいて左右駆動装置９が軟性内視鏡４の先端部を右方向に移動させるよう駆動する。このように駆動装置１２は、操作器２５の操作によって当該操作信号に基づいて特定された装置と接続され、操作器２５と駆動装置１２との間の信号の関連付けは、固定されている。

軟性内視鏡４の先端にあるＣＣＤから送られてくるＣＣＤ電気信号を変換した画面・操作コンソール２２のディスプレイ２３（モニタ１）で映像化するためのビデオ信号等の映像信号は、画面・操作コンソール２２のディスプレイ２３（モニタ１）と深さ距離演算処理回路１６に入力されると共に、画像歪補正処理２８にも入力されている。このように軟性内視鏡４の先端に設けられたＣＣＤによって得られた原内視鏡画像（撮影画像データ）は、ＣＣＤのレンズの影響で、図４（Ａ）に示す如く、歪みを持った画像となっている。画像歪補正処理２８は、この軟性内視鏡４の先端に設けられたＣＣＤによって得られたレンズによって歪みが生じている原内視鏡画像（撮影画像データ）に対し、画像上の座標点と、被写体までの距離を引数として、補正マップデータ２９から、その点における歪量、拡大率を参照し、図４（Ｂ）に示される補正マップを用いて原内視鏡画像の画素を、本来の画素位置へ補正移動して、歪曲データから図４（Ｃ）に示す如き平面データに補正するものである。このように軟性内視鏡４の先端に設けられたＣＣＤによって得られた原内視鏡画像（撮影画像データ）は、図４（Ａ）に示す如く、光学的な構造（レンズ）に起因する画像の歪みがある。

また、この軟性内視鏡４の先端に設けられたＣＣＤによる内視鏡画像の歪みは、被写体との距離に応じて一様ではなく、また、拡大率についても、一定ではなく、完全な線形モデル化が難しものとなっている。そこで、機構設計後、装置を使用するに当たって、事前の計測により、被写体との距離毎に、軟性内視鏡４の先端に設けられたＣＣＤによる内視鏡画像の各画素における軟性内視鏡４の歪み量と拡大率を測定し、内視鏡画像の座標点と、被写体との距離をパラメータとし、歪量（歪みベクトル）、拡大率をマトリックスデータ化してある。この被写体との距離毎に、軟性内視鏡４の先端に設けられたＣＣＤによる内視鏡画像の各画素における軟性内視鏡４の歪み量と拡大率を事前に測定し、内視鏡画像の座標点と、被写体との距離をパラメータとし、歪量（歪みベクトル）、拡大率をマトリックスデータ化して記録保存したものが補正マップデータ２９である。

この画像歪補正処理２８によって得られた補正撮影画像データは、歪補正後内視鏡画像データベース３０に送出される。この歪補正後内視鏡画像データベース３０は、画像の歪みを取り除いた補正後の内視鏡画像をデータベース化して記憶保存するものである。そして、この歪補正後内視鏡画像データベース３０に記憶保存される画像の歪みを取り除いた補正後の内視鏡画像は、手術の進行や、観察する角度や位置の変更等によって経時的に変化するため、補正後の内視鏡画像は経時的に記憶保存され、ナビゲーション情報として利用される。

また、補正マップデータ２９に記録保存された被写体との距離毎に、軟性内視鏡４の先端に設けられたＣＣＤによる内視鏡画像の座標点と、被写体との距離をパラメータとし、歪量（歪みベクトル）、拡大率のマトリックスデータは、補正マップデータ２９に接続される画像加工処理手段データベース３１に入力される。この画像加工処理手段データベース３１は、画像を加工処理するアプリケーションを備えたもので、この画像加工処理手段データベース３１には、内視鏡先端部の断層画像や抽出した臓器画像に対し、手術による臓器変形などのシミュレーションの計算をするためのアプリケーションの他、内視鏡の歪みに応じて、ＣＴ、ＭＲ画像をゆがませるアプリケーションがある。

この画像加工処理手段データベース３１の各種アプリケーションに基づいて、画像加工処理手段データベース３１に接続される画像重畳処理３２では、軟性内視鏡４の先端に設けられたＣＣＤによる内視鏡画像とＭＲ、ＣＴなどの画像診断装置の画像を重畳する処理を行う。この画像重畳処理３２における重畳処理は、広範囲の視野を有するＣＴ、ＭＲ画像上へ、軟性内視鏡４の先端に設けられたＣＣＤによって得られたレンズによって歪みが生じている原内視鏡画像（撮影画像データ）に対し、補正マップデータ２９に記憶されているマトリックスデータに基づいて歪曲データから平面データに補正した内視鏡画像を図５に示す如く重畳して処理する方法である。

この他、画像重畳処理３２における重畳処理としては、原内視鏡画像（撮影画像データ）とＣＴ、ＭＲ画像の２つの画像を重畳する時、軟性内視鏡４の先端に設けられたＣＣＤによって得られたレンズによって歪みが生じている原内視鏡画像（撮影画像データ）を主に用いる場合には、画像の透過率を調節しながら、例えば、ＭＲ、ＣＴ画像の透過率を高くし、薄く透過して重畳する。逆に、広範囲の視野を有するＣＴ、ＭＲ画像を主に用いる場合には、軟性内視鏡４の先端に設けられたＣＣＤによって得られたレンズによって歪みが生じている原内視鏡画像（撮影画像データ）の透過率を高く設定して、薄く透過して重畳する方法も含まれる。

以上のように構成することにより、本発明によると、軟性内視鏡の本体内部にカメラを備え該カメラから取り入れた内視鏡像の歪みを補正して、ＭＲＩやＣＴなどの医用画像と重畳して臓器における血管や神経の位置をディスプレイ上に表示することができる。

次に、本願第２の発明に係る内視鏡手術支援システムの実施例について説明する。本願第２の発明に係る内視鏡手術支援システムは、被術者の処置を施す部位周辺の臓器と血管の断層画像データを手術時とは別に撮影装置で撮影して取得し、得られた断層画像データを軟性内視鏡先端に取り付けられたカメラのレンズによる撮影画像データと同一の歪曲データに補正して記憶しておき、この歪曲データに補正した被術者の処置を施す部位周辺の臓器と血管の断層画像データを手術用の軟性内視鏡によって得られる被術者の処置を施す部位周辺の内視鏡画像データに重畳してディスプレイ上に表示するようにして実現するものである。

図６には本願第２の発明に係る内視鏡手術支援システムの一実施例を示す全体システム構成図が、図７には図６に図示の内視鏡手術支援システムで得られたデータ処理の処理状態がそれぞれ示されている。

図６における内視鏡手術支援システム２００は、図１に図示のシステム構成とほぼ同じであるが、図６に図示の内視鏡手術支援システム２００が、図１に図示の内視鏡手術支援システム１００と異なる点は、内視鏡イメージプロセッサ６において、内視鏡先端にあるＣＣＤから送られてくる電気信号を変換して得られたビデオ信号等の映像信号を画像重畳処理３２に入力している点、画像処理装置１７によって演算して得られた断層画像、三次元ボリュームデータを画像歪補正処理２８に入力している点、画像歪補正処理２８における画像の歪の補正をする処理方法の点、補正マップデータ２９における補正マップの点、歪補正後断層画像データベース３５における記憶保存データの点、画像重畳処理３２における重畳処理方法の点である。

図６中、図１と同一のところは説明を省略し、異なる点を説明する。図において、内視鏡イメージプロセッサ６において内視鏡先端にあるＣＣＤから送られてくる電気信号から、画面・操作コンソール２２のディスプレイ２３（モニタ１）で映像化するためのビデオ信号等の映像信号に変換し、この内視鏡イメージプロセッサ６で変換された映像信号は、画面・操作コンソール２２のディスプレイ２３（モニタ１）と深さ距離演算処理回路１６に入力されると共に、画像歪補正処理２８及び画像重畳処理３２にも入力されている。

一方、Ｘ線管２から放射されるＸ線を検出する検出器３に接続される画像処理装置１７から出力される患者を透過したＸ線情報をもとに、患者身体の断層画像データや三次元再構成画像データは、画像歪補正処理２８に入力されている。

軟性内視鏡４の先端に設けられたＣＣＤによって得られた原内視鏡画像（撮影画像データ）は、ＣＣＤのレンズの影響で、図４（Ａ）に示す如く、歪みを持った画像となっている。画像歪補正処理２８では、この軟性内視鏡４の先端に設けられたＣＣＤによって得られたレンズによって歪みが生じている原内視鏡画像（撮影画像データ）に対し、画像上の座標点と、被写体までの距離を加数として、補正マップデータ２９から、その点における歪量、拡大率を参照し、図７（Ａ）に示す如き断層画像データや三次元再構成画像データ（平面データ）に
図７（Ｂ）に示す如き補正マップを用いて断層画像データや三次元再構成画像データの画素を、本来の画素位置へ移動する補正を行って、図７（Ｃ）に示す如き歪曲データに補正する。

この画像歪補正処理２８によって得られた補正撮影画像データは、歪補正後断層画像データベース３５に送出される。この歪補正後断層画像データベース３５は、断層画像に歪みを付加した補正後の断層画像をデータベース化して記憶保存するものである。そして、この歪補正後断層画像データベース３５に記憶保存される断層画像に歪みを付加した補正後の断層画像は、手術の進行や、観察する角度や位置の変更等によって経時的に変化するため、補正後の断層画像は経時的に記憶保存され、ナビゲーション情報として利用される。

この画像加工処理手段データベース３１の各種アプリケーションに基づいて、画像加工処理手段データベース３１に接続される画像重畳処理３２では、軟性内視鏡４の先端に設けられたＣＣＤによる内視鏡画像とＭＲ、ＣＴなどの画像診断装置の画像を重畳する処理を行う。この画像重畳処理３２における重畳処理は、軟性内視鏡４の先端に設けられたＣＣＤによって得られたレンズによって歪みが生じている原内視鏡画像（撮影画像データ）の上に、補正マップデータ２９に記憶されているマトリックスデータに基づいて平面データから歪曲データに補正した広範囲の視野を有するＣＴ、ＭＲ画像を歪ませて、図８に示す如く重畳処理する方法である。

本願第１の発明の実施例を示す内視鏡手術支援システムの全体システム構成図である。軟性内視鏡の先端に手術器具を取り付けた状態を示す図である。図２に図示の軟性内視鏡の先端に取り付けた手術器具を用いて手術を行っている状態を示す図である。図１に図示の画像歪補正処理で内視鏡像の歪みを補正して平面データを得る状態を示す図である。図１に図示の画像重畳処理によって内視鏡画像の歪みを補正して画像診断画像に重畳した状態を示す図である。本願第２の発明の実施例を示す内視鏡手術支援システムの全体システム構成図である。図２に図示の画像歪補正処理で画像診断画像に内視鏡像の歪みと同一の歪みを付加する補正して歪曲データを得る状態を示す図である。図２に図示の画像重畳処理によって画像診断装置の画像に内視鏡像の歪みと同一の歪みを付加する補正して内視鏡画像に重畳した状態を示す図である。

符号の説明

１………………ＣＴガントリー
２………………Ｘ線管
３………………検出器
４………………軟性内視鏡
６………………内視鏡イメージプロセッサ
７………………駆動装置
１２……………反射部駆動機構
１６……………深さ距離演算処理回路
１７……………画像処理装置
２２……………画面・操作コンソール
２８……………画像歪補正処理
２９……………補正マップデータ
３０……………歪補正後内視鏡画像データベース
３２……………画像重畳処理
３５……………歪補正後断層画像データベース

Claims

手術用の軟性内視鏡を含む内視鏡手術支援システムにおいて，
軟性内視鏡先端に取り付けられたカメラから取り入れた撮影画像データをレンズによる歪曲データから平面データに補正して記憶する補正記憶手段と，
被術者の処置を施す部位を含む臓器と血管の断層画像データを予め別に撮影装置で撮影して取得する第１の手段と，
前記第１の手段によって得られた断層画像データを記憶する第２の手段と，
前記手術用の軟性内視鏡によって得られる被術者の処置を施す部位を含む内視鏡画像データを取得する第３の手段と，
前記第３の手段によって取得された被術者の処置を施す部位を含む内視鏡画像データを前記補正記憶手段によって補正し、前記第１の手段によって得られた断層画像データに重畳してディスプレイ上に表示する第４の手段とを備えたことを特徴とする内視鏡手術支援システム。
手術用の軟性内視鏡を含む内視鏡手術支援システムにおいて，
被術者の処置を施す部位を含む臓器と血管の断層画像データを予め別に撮影装置で撮影して取得する第１の手段と，
前記第１の手段によって得られた断層画像データを軟性内視鏡先端に取り付けられたカメラのレンズによる撮影画像データと同一の歪曲データに補正して記憶する補正記憶手段と，
前記補正記憶手段によって補正された前記第１の手段によって得られた断層画像データを記憶する第２の手段と，
前記手術用の軟性内視鏡によって得られる被術者の処置を施す部位を含む内視鏡画像データを取得する第３の手段と，
前記第１の手段によって得られた断層画像データを前記補正記憶手段によって補正させ、前記第３の手段によって取得した被術者の処置を施す部位を含む内視鏡画像データに重畳してディスプレイ上に表示する第４の手段とを備えたことを特徴とする内視鏡手術支援システム。