JP4922107B2 - Endoscope device - Google Patents
Endoscope device Download PDFInfo
- Publication number
- JP4922107B2 JP4922107B2 JP2007228267A JP2007228267A JP4922107B2 JP 4922107 B2 JP4922107 B2 JP 4922107B2 JP 2007228267 A JP2007228267 A JP 2007228267A JP 2007228267 A JP2007228267 A JP 2007228267A JP 4922107 B2 JP4922107 B2 JP 4922107B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscope
- path
- distal end
- body cavity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003780 insertion Methods 0.000 claims description 155
- 230000037431 insertion Effects 0.000 claims description 147
- 238000001514 detection method Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000002591 computed tomography Methods 0.000 description 20
- 210000000621 bronchi Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 6
- 238000001574 biopsy Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 206010011224 Cough Diseases 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
Description
本発明は、内視鏡装置に関し、特に多数の分岐を有する体腔路内に挿入する内視鏡装置に関する。 The present invention relates to an endoscope apparatus, and more particularly, to an endoscope apparatus that is inserted into a body cavity having many branches.
近年、３次元画像を用いた診断が広く行われるようになっている。例えば、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置により被検体の断層像を撮像することにより被検体内の３次元画像データを得て、この３次元画像データを用いて目的部位の診断が行われるようになっている。 In recent years, diagnosis using a three-dimensional image has been widely performed. For example, by capturing a tomographic image of a subject with an X-ray CT (Computed Tomography) apparatus, three-dimensional image data in the subject is obtained, and a target site is diagnosed using the three-dimensional image data. It has become.
ＣＴ装置では、Ｘ線照射位置および検出位置を連続的に回転させつつ、被検体を連続的に移動することにより、被検体を螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）が行われる。そして、連続した被検体の多数の断層２次元画像から、３次元画像を作成される。 In the CT apparatus, the subject is continuously moved while continuously rotating the X-ray irradiation position and the detection position, whereby the subject is subjected to a spiral continuous scan (helical scan). Then, a three-dimensional image is created from a large number of tomographic two-dimensional images of the subject.
診断が広く行われている３次元画像の１つに、肺の気管支の３次元画像がある。気管支の３次元画像は、例えば肺癌等が疑われる関心部位の位置を３次元的に把握するのに利用される。そして、関心部位を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプルを採取することが行われる。 One of the three-dimensional images that are widely diagnosed is a three-dimensional image of a lung bronchus. The three-dimensional image of the bronchus is used for three-dimensionally grasping the position of a region of interest suspected to be lung cancer, for example. In order to confirm the region of interest by biopsy, a tissue sample is collected by inserting a bronchoscope and taking out a biopsy needle or biopsy forceps from the tip.
気管支のように、多段階の分岐を有する体内の管路では、関心部位の所在が分岐の末梢に近いときには、内視鏡の先端を短時間で正しく目的部位に到達させることが難しい。このため、例えば、特開２０００−１３５２１５号公報には、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。 In a body duct having multiple stages of branching, such as the bronchi, when the location of the site of interest is close to the periphery of the branch, it is difficult to correctly reach the target site in a short time in the endoscope. For this reason, for example, in Japanese Patent Laid-Open No. 2000-135215, a three-dimensional image of a duct in the subject is created based on image data of a three-dimensional region of the subject, and the tube is formed on the three-dimensional image. By obtaining a route to the target point along the route, creating a virtual endoscopic image of the pipeline along the route based on the image data, and displaying the virtual endoscopic image, An apparatus for navigating a bronchoscope to a target site has been proposed.
また、気管支内視鏡を目的部位に、より容易にナビゲーションするために、特開２００５−１３１０４６号公報には、被検体内の体腔路の３次元画像を連続したフレーム単位の仮想画像として生成する仮想画像生成手段と、被検体内の体腔路が分岐する全分岐部での前記仮想画像の複数の縮小画像とからなるナビゲーション画像を生成するナビゲーション画像生成手段を有する内視鏡の挿入支援システムが開示されている。
しかしながら、特開２０００−１３５２１５号公報または特開２００５−１３１０４６号公報に開示された気管支内視鏡挿入支援装置等を用いていても、内視鏡挿入途中で、患者がせきをした場合等には、内視鏡の先端部が当初設定した挿入経路からずれてしまうことがある。術者が、内視鏡の先端部が当初設定した挿入経路からずれてしまったことに気がつかないと、誤った組織をサンプリングしてしまう可能性もある。術者が内視鏡の先端部が当初設定した挿入経路からずれてしまったことに気がついた場合には、術者は患者の負担を考慮して、内視鏡の先端部を最小の戻り作業で、当初設定した正しい経路に戻すことが好ましい。しかし、多段階の分岐を有する気管支に挿入されている内視鏡の先端部を、どの分岐部まで戻せばよいのかを、術者が判断するのは容易ではなかった。 However, even when the bronchoscope insertion support device disclosed in Japanese Patent Laid-Open No. 2000-135215 or Japanese Patent Laid-Open No. 2005-131046 is used, when a patient coughs during insertion of the endoscope, etc. May cause the distal end portion of the endoscope to deviate from the initially set insertion path. If the surgeon is not aware that the distal end of the endoscope has deviated from the initially set insertion path, there is a possibility that the wrong tissue will be sampled. If the operator notices that the endoscope tip has been displaced from the insertion path that was initially set, the operator should consider the burden on the patient and move the endoscope tip to the minimum Therefore, it is preferable to return to the correct route set initially. However, it has not been easy for the operator to determine to which branch the tip of the endoscope inserted into the bronchi having multi-stage branches should be returned.
本発明は、内視鏡を目的部位に確実かつ迅速に挿入することができる内視鏡装置を提供することを目的とする。 An object of this invention is to provide the endoscope apparatus which can insert an endoscope in a target site | part reliably and rapidly.
上記目的を達成すべく、本発明の内視鏡装置は、被検体の体腔路を撮像する内視鏡と、前記被検体の３次元領域の画像データに基づいて、体腔外から前記被検体内の関心部位まで前記内視鏡の先端部を挿入するための前記体腔路の挿入経路を設定する経路設定手段と、前記被検体の３次元領域の画像データに基づいて、前記体腔路の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、前記内視鏡の先端部の位置を検出する位置検出手段と、前記先端部の前記位置から前記関心部位まで前記内視鏡の前記先端部を挿入するための、前記体腔路の前記挿入経路と一部重複している再挿入経路を設定する再経路設定手段と、前記内視鏡の撮像画像と、前記挿入経路の仮想内視鏡画像と、前記再挿入経路の仮想内視鏡画像とを合成する画像処理手段とを備える。 In order to achieve the above object, an endoscope apparatus according to the present invention is based on an endoscope that images a body cavity path of a subject and image data of a three-dimensional region of the subject from outside the body cavity. A path setting means for setting an insertion path of the body cavity path for inserting the distal end portion of the endoscope to a region of interest, and a virtual interior of the body cavity path based on image data of a three-dimensional region of the subject Virtual endoscope image generation means for generating an endoscope image, position detection means for detecting the position of the distal end portion of the endoscope, and the distal end of the endoscope from the position of the distal end portion to the region of interest Re-path setting means for setting a re-insertion path that partially overlaps the insertion path of the body cavity path for inserting a part, a captured image of the endoscope, and a virtual endoscope of the insertion path An image processing method for combining an image and a virtual endoscopic image of the reinsertion path Provided with a door.
本発明は、内視鏡を目的部位に確実かつ迅速に挿入することができる内視鏡装置を提供するものである。 The present invention provides an endoscope apparatus that can insert an endoscope into a target site reliably and quickly.
以下、図面を参照して本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
＜第１の実施の形態＞
図１は、本発明の実施の形態の内視鏡装置１の構成を示す構成図である。図１に示すように、本実施の形態の内視鏡装置１は、被検体の患者の体腔路である気管支に挿入し気管支内を撮像し気管支末端の関心部位組織を生検する内視鏡２Ａを有する気管支鏡装置２と、内視鏡先端部２ｂの位置を検出する位置検出部３と、ＣＴ画像データに基づき気管支内部の仮想気管支内視鏡画像（ Ｖｉｒｔｕａｌ Ｂｒｏｎｃｈｕｓ Ｓｃｏｐｅ ：以下、仮想内視鏡画像またはＶＢＳ画像と記す）を生成すると共に撮像部２ａからの撮像信号に基づき、気管支鏡装置２により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像等とを合成してモニタ６に表示し内視鏡２Ａの気管支への挿入ナビゲーションを行う挿入支援装置５と、挿入支援装置５に術者の指示を入力する第１の入力部８と、挿入支援装置５の経路設定指示を入力する第２の入力部１９とを備えて構成される。
<First Embodiment>
FIG. 1 is a configuration diagram showing a configuration of an endoscope apparatus 1 according to an embodiment of the present invention. As shown in FIG. 1, an endoscope apparatus 1 according to the present embodiment is an endoscope that inserts into a bronchus that is a body cavity of a subject patient, images the inside of the bronchus, and biopsyes a region of interest at the end of the bronchus. A bronchoscope device 2 having 2A, a position detection unit 3 for detecting the position of the endoscope distal end 2b, and a virtual bronchoscope image (Virtual Brochus Scope: hereinafter, virtual endoscopy) based on CT image data An endoscope image (hereinafter referred to as a live image) obtained by the bronchoscope device 2 and a VBS image or the like based on an imaging signal from the imaging unit 2a. An insertion support device 5 that performs display navigation on the bronchus of the endoscope 2 </ b> A displayed on the monitor 6, a first input unit 8 that inputs an operator's instruction to the insertion support device 5, and path setting of the insertion support device 5 finger And a second input unit 19 for inputting an indication.
気管支鏡装置２は、被検体の体腔路に挿入される内視鏡２Ａと、内視鏡２Ａを制御する内視鏡制御部２Ｂとからなる。内視鏡２Ａの先端部２ｂには、撮像装置２ａ等が配設されている。 The bronchoscope device 2 includes an endoscope 2A that is inserted into a body cavity of a subject, and an endoscope control unit 2B that controls the endoscope 2A. An imaging device 2a and the like are disposed at the distal end portion 2b of the endoscope 2A.
挿入支援装置５は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｋ）装置またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）装置等の可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ（ ＭｕｌｔｉＰｌａｎａｒ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像から内視鏡２Ａの気管支関心部位への挿入経路（以下、挿入経路またはルートという）を設定する経路設定手段および再経路設定手段を有するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成する仮想内視鏡画像生成手段を有するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支鏡装置２からの撮像信号および第１の入力部８からの入力信号により、ライブ画像、ＶＢＳ画像および複数の分岐サムネイルＶＢＳ画像等からなる後述する表示画面を生成する画像合成部を有する画像処理部１７と、ルート設定部１４が生成した挿入経路および画像処理部１７が生成したナビゲーション画面等をモニタ６に表示させる画像表示制御部１８とから構成される。 The insertion support device 5 can convert three-dimensional image data generated by a known CT device (not shown) that captures an X-ray tomographic image of a patient, such as an MO (Magneto Optical disk) device or a DVD (Digital Versatile Disk) device, etc. A CT image data capturing unit 11 that is captured via a portable storage medium, a CT image data storage unit 12 that stores three-dimensional image data captured by the CT image data capturing unit 11, and a CT image data storage unit 12. An MPR image generation unit 13 that generates an MPR (MultiPlanar Reconstruction) image based on the three-dimensional image data being inserted, and an insertion path (hereinafter referred to as insertion) from the MPR image generated by the MPR image generation unit to the bronchial region of interest of the endoscope 2A Called route or route) A route setting unit 14 having a route setting unit and a re-route setting unit to set, and a VBS image having a continuous route set by the route setting unit 14 based on the three-dimensional image data stored in the CT image data storage unit 12. A VBS image generation unit 15 having a virtual endoscopic image generation unit that generates a frame unit, a VBS image storage unit 16 that stores a VBS image generated by the VBS image generation unit 15, an imaging signal from the bronchoscope device 2, and In response to an input signal from the first input unit 8, an image processing unit 17 having an image composition unit that generates a display screen described later including a live image, a VBS image, a plurality of branch thumbnail VBS images, and the like, and a route setting unit 14 The image display control unit 1 that causes the monitor 6 to display the generated insertion path and the navigation screen generated by the image processing unit 17. 8.
位置検出部９は、後述するように、現在位置の画像と多数のＶＢＳ画像とを画像認識処理し所定値より類似していると判断されたＶＢＳ画像が得られる位置を内視鏡先端部２ｂの現在位置として検出する位置検出手段である。 As will be described later, the position detection unit 9 performs image recognition processing on the image at the current position and a large number of VBS images, and determines the position at which the VBS image determined to be more similar than a predetermined value is obtained from the endoscope distal end 2b. It is a position detection means to detect as the present position.
なお、ＣＴ画像データ格納部１２およびＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５および画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。 The CT image data storage unit 12 and the VBS image storage unit 16 may be configured by one hard disk, and the MPR image generation unit 13, the route setting unit 14, the VBS image generation unit 15 and the image processing unit 17 are A single arithmetic processing circuit can be used. The CT image data capturing unit 11 captures CT image data via a portable storage medium such as an MO or a DVD. However, a CT apparatus or a hospital server storing the CT image data is connected to the hospital LAN. In such a case, the CT image data capturing unit 11 may be configured by an interface circuit that can be connected to the in-hospital LAN, and CT image data may be captured through the in-hospital LAN.
次に、記被検体の３次元領域の画像データに基づいて、体腔外から被検体内の関心部位まで内視鏡２Ａの先端部２ｂを挿入するための、体腔路の挿入経路を設定する経路設定手段を有するルート設定部１４および仮想内視鏡画像生成手段を有するＶＢＳ画像生成部１５について説明する。 Next, a path for setting an insertion path of the body cavity path for inserting the distal end portion 2b of the endoscope 2A from the outside of the body cavity to the site of interest in the subject based on the image data of the three-dimensional region of the subject. The route setting unit 14 having setting means and the VBS image generating unit 15 having virtual endoscope image generating means will be described.
内視鏡２Ａの挿入に先立ち、挿入支援装置５は、ＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者の３次元画像データを取り込み、取り込んだ３次元画像データをＣＴ画像データ格納部１２に格納する。そして、患者の例えば３つの異なる多断面像からなるＭＰＲ画像がＭＰＲ画像生成部により生成され、ルート設定部１４は、このＭＰＲ画像上の、図２に示す体腔内の挿入始点Ａ１と、被検体内の関心部位１００Ｂ近傍の挿入終点Ｅ１とが、第２の入力部１９により指定されると、挿入始点Ａ１と挿入終点Ｅ１を結ぶ体腔路を設定するルート設定処理を行い、内視鏡２Ａの挿入経路を設定する。挿入経路が設定されると、ＶＢＳ画像生成部１５は、設定した経路の連続したＶＢＳ画像をフレーム単位で生成し、生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。 Prior to the insertion of the endoscope 2A, the insertion support device 5 captures the 3D image data of the patient generated by the CT device by the CT image data capturing unit 11, and the CT image data storage unit 12 stores the captured 3D image data. To store. Then, an MPR image including, for example, three different multi-sectional images of the patient is generated by the MPR image generation unit, and the route setting unit 14 includes the insertion start point A1 in the body cavity shown in FIG. When the insertion end point E1 in the vicinity of the region of interest 100B is designated by the second input unit 19, a route setting process for setting a body cavity path connecting the insertion start point A1 and the insertion end point E1 is performed, and the endoscope 2A Set the insertion path. When the insertion path is set, the VBS image generation unit 15 generates a continuous VBS image of the set path for each frame, and stores the generated VBS image in the VBS image storage unit 16.
挿入支援装置５は、挿入経路を設定し、ＶＢＳ画像を生成し格納すると、挿入経路等をモニタ６に表示する。図３は挿入経路等を表示した表示画面６ａの例を示す図である。図３に示すように表示画面６ａには、患者情報や分岐部の情報等６Ａと、内視鏡２Ａの挿入経路Ｒ１を表示する画像６Ｂと、および詳細は図示しないＶＢＳ画像６Ｃ等とが表示される。画像６Ｂには、３次元画像から生成された患者の気管支画像１００Ａに重畳して、体腔外に近い体腔内の内視鏡２Ａの挿入始点Ａ１から、被検体内の関心部位１００Ｂ近傍の内視鏡２Ａの挿入終点Ｅ１と、ルート設定部１４が設定した内視鏡２Ａの挿入経路Ｒ１が表示されている。 When the insertion support apparatus 5 sets an insertion path and generates and stores a VBS image, the insertion support apparatus 5 displays the insertion path and the like on the monitor 6. FIG. 3 is a diagram showing an example of the display screen 6a displaying the insertion path and the like. As shown in FIG. 3, the display screen 6a displays patient information, branch information 6A, an image 6B displaying the insertion path R1 of the endoscope 2A, and a VBS image 6C not shown in detail. Is done. The image 6B is superimposed on the patient's bronchial image 100A generated from the three-dimensional image, and from the insertion start point A1 of the endoscope 2A in the body cavity close to the outside of the body cavity, the endoscope in the vicinity of the site of interest 100B in the subject. The insertion end point E1 of the mirror 2A and the insertion path R1 of the endoscope 2A set by the route setting unit 14 are displayed.
なお、以下では、説明を簡単にするため挿入経路上の分岐部が４カ所のみの場合を例とする。図４は、内視鏡２Ａの挿入経路Ｒ２を説明するための模式図である。図４において気管支腔路は、各線分で表示され、気管支は、分岐部Ｊ１、Ｊ１１、Ｊ１１１、Ｊ１１１１、Ｊ１１１２およびＪ１１１２２等において、分岐している。挿入始点Ａ２と挿入終点Ｅ２を結ぶ破線がルート設定部１４が設定した内視鏡２Ａの挿入経路Ｒ２である。以下、分岐部Ｊ１、Ｊ１１、Ｊ１１１、Ｊ１１１１、Ｊ１１１２およびＪ１１１２２の、それぞれを指すときはＪという。なお、分岐部Ｊは、末梢側で分岐する毎に最終桁に１桁の数字を付加して表示している。例えば、Ｊ１１１１およびＪ１１１２はいずれも挿入始点Ａ２から数えて４回目の分岐部であり、Ｊ１１１１およびＪ１１１２に至る挿入経路は挿入始点Ａ２から分岐部Ｊ１１１までは同じ経路であったことを示している。図４において、挿入経路Ｒ２は、挿入始点Ａ２から４回の分岐部、すなわち、Ｊ１、Ｊ１１、Ｊ１１１、Ｊ１１１１を経由して、挿入終点Ｅ１に至っている。なお、図４において分岐部Ｊは２分岐部の場合のみを表示しているが３分岐以上の場合もある。また、分岐部次数とは、分岐の回数を表す数であり、Ｊ１では１，Ｊ１１１１では４となる。 In the following, in order to simplify the description, an example in which there are only four branches on the insertion path will be described. FIG. 4 is a schematic diagram for explaining the insertion path R2 of the endoscope 2A. In FIG. 4, the bronchial passage is displayed by each line segment, and the bronchus is branched at the branch portions J1, J11, J111, J1111, J1112 and J11122. A broken line connecting the insertion start point A2 and the insertion end point E2 is the insertion path R2 of the endoscope 2A set by the route setting unit 14. Hereinafter, the branch portions J1, J11, J111, J1111, J1112 and J11122 are each referred to as J. In addition, the branch part J adds and displays a 1-digit number to the last digit every time it branches on the peripheral side. For example, J1111 and J1112 are both the fourth branch from the insertion start point A2, and the insertion path from J1111 and J1112 is the same path from the insertion start point A2 to the branch J111. In FIG. 4, the insertion path R2 reaches the insertion end point E1 from the insertion start point A2 via four branch points, that is, J1, J11, J111, and J1111. In FIG. 4, the branch part J shows only the case of two branch parts, but there may be three or more branches. Further, the branching unit order is a number representing the number of branches, and is 1 for J1 and 4 for J1111.
次に、図５は、図２とは異なるモニタ６の表示画面６ａの表示形態を示す図である。なお、図１においてはモニタ６は１台のみ図示したが、複数のモニタを用いて異なる表示形態の表示画面を同時に表示することも可能である。図５示すように表示画面６ａには、挿入経路Ｒ２にある気管支の分岐部ＪのＶＢＳ画像６Ｄと、ＶＢＳ画像６Ｄで表示されている分岐部の情報と、ルート中の分岐部のＶＢＳ画像の分岐サムネイル画像６Ｅと、ＶＢＳ画像６Ｄのコントロール例えば回転操作を指示するためのアイコンおよび分岐サムネイルＶＢＳ画像６Ｅの中からＶＢＳ画像６Ｄとして表示する画像を選択するための操作等を行うためのアイコン等とが表示されている。 Next, FIG. 5 is a diagram showing a display form of the display screen 6a of the monitor 6 different from FIG. Although only one monitor 6 is shown in FIG. 1, it is also possible to simultaneously display display screens having different display forms using a plurality of monitors. As shown in FIG. 5, on the display screen 6a, the VBS image 6D of the bronchial bifurcation J in the insertion path R2, the information on the bifurcation displayed in the VBS image 6D, and the VBS image of the bifurcation in the route are displayed. Branch thumbnail image 6E, control for VBS image 6D, for example, an icon for instructing a rotation operation, an icon for performing an operation for selecting an image to be displayed as VBS image 6D from branch thumbnail VBS image 6E, and the like Is displayed.
ＶＢＳ画像６Ｄには、静止画だけでなく、挿入始点Ａ２から挿入終点Ｅ２までの挿入経路Ｒ２のＶＢＳ画像を、所望の内視鏡挿入速度の動画で表示することもできる。 In the VBS image 6D, not only a still image but also a VBS image of the insertion path R2 from the insertion start point A2 to the insertion end point E2 can be displayed as a moving image with a desired endoscope insertion speed.
なお、図５において、縮小表示された分岐サムネイルＶＢＳ画像６Ｅの中で、分岐サムネイルＶＢＳ画像６Ｅ１の表示枠が太く表示されていのは、分岐サムネイルＶＢＳ画像６Ｅ１が、ＶＢＳ画像６Ｄとして表示されている分岐サムネイルＶＢＳ縮小画像であることを示している。 In FIG. 5, the branch thumbnail VBS image 6E1 is displayed as the VBS image 6D when the branch thumbnail VBS image 6E1 has a thick display frame among the reduced thumbnail thumbnail VBS images 6E. A branch thumbnail VBS reduced image is shown.
次に、図６から図１２を用いて、挿入支援装置５による内視鏡２Ａの挿入ナビゲーションについて説明する。図６から図８は、挿入ナビゲーションの際のモニタ６の表示画面６ａの表示形態を示す図であり、図９から図１１は挿入支援装置の動作の流れを説明するためのフローチャートであり、図１２は、内視鏡２Ａの再挿入経路である挿入経路３を説明するための模式図である。なお、ナビゲーションを開始前に経路設定手段により、挿入経路１が設定されているものとする。以下、図９から図１１に示すフローチャートに従い、挿入支援装置５による内視鏡２Ａの挿入ナビゲーションについて説明する。 Next, the insertion navigation of the endoscope 2A by the insertion support apparatus 5 will be described with reference to FIGS. 6 to 8 are diagrams showing display forms of the display screen 6a of the monitor 6 during the insertion navigation, and FIGS. 9 to 11 are flowcharts for explaining the operation flow of the insertion support apparatus. 12 is a schematic diagram for explaining an insertion path 3 that is a re-insertion path of the endoscope 2A. It is assumed that the insertion route 1 is set by the route setting means before starting navigation. Hereinafter, the insertion navigation of the endoscope 2A by the insertion support device 5 will be described with reference to the flowcharts shown in FIGS.
＜ステップＳ１＞
挿入支援装置５は、ナビゲーションを開始すると、モニタ６に図６に示すような表示画面６ａを表示する。
<Step S1>
When the navigation is started, the insertion support device 5 displays a display screen 6a as shown in FIG.
この表示画面６ａは、内視鏡撮像部２ａからのライブ画像を表示する内視鏡ライブ画像表示エリア６Ｆと、ＶＢＳ画像６ｄを表示するＶＢＳ画像表示エリア６Ｄと、ＶＢＳ画像６ｄ表示の分岐部名称、分岐部次数等の表示エリア６Ｈと、ルートの全ての分岐部でのＶＢＳ画像を縮小して分岐サムネイルＶＢＳ画像として表示する分岐サムネイルＶＢＳ画像６Ｅ等とからなる。内視鏡２Ａの挿入前であるステップＳ１では、内視鏡ライブ画像表示エリア６Ｆにはライブ画像は表示されないが、ＶＢＳ画像表示エリア６Ｄにはルートの最初の分岐部のＶＢＳ画像６ｄ１が表示され、分岐サムネイルＶＢＳ画像６Ｅとしては、挿入経路上の４箇所の全ての分岐部での分岐サムネイルＶＢＳ画像６Ｅ１〜６Ｅ４が表示される。なお、図６においては分岐サムネイルＶＢＳ画像を１列表示としたが、分岐部が多い場合には２列以上にわたって分岐サムネイルＶＢＳ画像を表示するようにしてもよい。 The display screen 6a includes an endoscope live image display area 6F that displays a live image from the endoscope imaging unit 2a, a VBS image display area 6D that displays a VBS image 6d, and a branch portion name of the VBS image 6d display. And a branch area VBS image 6E for reducing the VBS images at all branch parts of the route and displaying them as branch thumbnail VBS images. In step S1 before the insertion of the endoscope 2A, no live image is displayed in the endoscope live image display area 6F, but the VBS image 6d1 of the first branch portion of the route is displayed in the VBS image display area 6D. As the branch thumbnail VBS images 6E, branch thumbnail VBS images 6E1 to 6E4 at all four branch portions on the insertion path are displayed. In FIG. 6, the branch thumbnail VBS image is displayed in one column. However, if there are many branch portions, the branch thumbnail VBS image may be displayed in two or more columns.
図６において、ＶＢＳ画像６ｄ１には挿入経路１に沿って進むための経路穴にマーカ６Ｇを重畳して表示している。また、ＶＢＳ画像表示エリア６Ｄに表示されるＶＢＳ画像６ｄ１に対応する分岐サムネイルＶＢＳ画像６Ｅ１の枠が太枠あるいはカラー表示され、他の分岐サムネイルＶＢＳ画像と識別可能となっており、術者はＶＢＳ画像表示エリア６Ｄに表示されるＶＢＳ画像がどの分岐部の画像かを容易に認識できるようになっている。このステップＳ１の段階では分岐サムネイルＶＢＳ画像６Ｅ１の枠が太枠あるいはカラー表示されている。また、各分岐サムネイルＶＢＳ画像の上側に、挿入終点までの挿入経路にある分岐部の数が表示される。このため、術者は現在の内視鏡の先端部の位置から関心部位まで体腔路の分岐部の数を確実に把握できる。 In FIG. 6, the marker 6G is superimposed and displayed on the path hole for proceeding along the insertion path 1 in the VBS image 6d1. Further, the frame of the branch thumbnail VBS image 6E1 corresponding to the VBS image 6d1 displayed in the VBS image display area 6D is displayed in a thick frame or color so that it can be distinguished from other branch thumbnail VBS images. It is possible to easily recognize which branching part the VBS image displayed in the image display area 6D is. At the stage of step S1, the frame of the branch thumbnail VBS image 6E1 is displayed with a thick frame or color. In addition, the number of branch portions on the insertion path to the insertion end point is displayed above each branch thumbnail VBS image. For this reason, the operator can surely grasp the number of branch portions of the body cavity from the position of the distal end portion of the current endoscope to the site of interest.
＜ステップＳ２＞
内視鏡２Ａの気管支内への挿入が開始される。
<Step S2>
Insertion of the endoscope 2A into the bronchus is started.
＜ステップＳ３＞
挿入支援装置５は、図６に示す表示画面６ａに内視鏡ライブ画像表示エリア６Ｆに内視鏡撮像部からのライブ画像６ｆを表示する。尚、ステップＳ３においてもＶＢＳ画像表示エリア６Ｄにはルートの最初の分岐部のＶＢＳ画像６ｄ１が表示され、分岐サムネイルＶＢＳ画像エリア６Ｅには全ての分岐部での分岐サムネイルＶＢＳ画像６Ｅ１〜６Ｅ４が表示され、分岐サムネイルＶＢＳ画像６Ｅ１の枠が太枠あるいはカラー表示される。
<Step S3>
The insertion support device 5 displays the live image 6f from the endoscope imaging unit in the endoscope live image display area 6F on the display screen 6a shown in FIG. In step S3, the VBS image 6d1 of the first branch portion of the route is displayed in the VBS image display area 6D, and the branch thumbnail VBS images 6E1 to 6E4 in all branch portions are displayed in the branch thumbnail VBS image area 6E. Then, the frame of the branch thumbnail VBS image 6E1 is displayed as a thick frame or in color.
＜ステップＳ４＞
内視鏡２Ａの先端部２ｂが最初（第１）の分岐部Ｊ１に到達すると、術者は静止画像を得るフリーズスイッチを押下する。挿入支援装置５は、フリーズスイッチがＯＮされたかどうか判断し、ＯＮされたならばステップＳ５に進み、ＯＮされないならばステップＳ３に戻り、ＯＮされるまでライブ画像表示を続ける。
<Step S4>
When the distal end portion 2b of the endoscope 2A reaches the first (first) branch portion J1, the operator presses a freeze switch for obtaining a still image. The insertion support device 5 determines whether or not the freeze switch is turned on. If turned on, the process proceeds to step S5. If not turned on, the process returns to step S3, and continues to display the live image until turned on.
＜ステップＳ５＞
挿入支援装置５は、ライブ画像６ｆの静止画像を取り込み、画像処理部１７において、公知の画像認識処理によって、該静止画像と最初の分岐部のＶＢＳ画像６ｄ１との類似度を計算する。
<Step S5>
The insertion support device 5 captures the still image of the live image 6f, and the image processing unit 17 calculates the similarity between the still image and the first branching VBS image 6d1 by a known image recognition process.
＜ステップＳ６＞
挿入支援装置５は、所定値を超える類似度でライブ画像６ｆの静止画像とＶＢＳ画像６ｄ１とが類似していると判断すると、両画像が同一の分岐部での画像であるとする。
<Step S6>
If the insertion support apparatus 5 determines that the still image of the live image 6f and the VBS image 6d1 are similar with a degree of similarity exceeding a predetermined value, it is assumed that both images are images at the same branching portion.
＜ステップＳ７＞
挿入支援装置５は、術者の画像回転自動スイッチ操作を待って、あるいは自動で、ＶＢＳ画像６ｄ１を回転させ、ライブ画像６ｆの静止画像の方向とＶＢＳ画像６ｄ１の方向とを一致させる。
<Step S7>
The insertion support apparatus 5 waits for the operator's image rotation automatic switch operation or automatically rotates the VBS image 6d1 to match the direction of the still image of the live image 6f with the direction of the VBS image 6d1.
このようにしてライブ画像６ｆの静止画像とＶＢＳ画像６ｄ１とを一致させると、術者はマーカ６Ｇが示す経路穴をライブ画像６ｆ上で容易に見いだせるので、マーカ６Ｇの指示に従って挿入を続行する。 When the still image of the live image 6f and the VBS image 6d1 are matched with each other in this way, the surgeon can easily find the path hole indicated by the marker 6G on the live image 6f, and the insertion is continued according to the instruction of the marker 6G.
＜ステップＳ８＞
挿入支援装置５は、表示画面６ａを更新する。すなわち、図７に示すように、挿入支援装置５は、内視鏡の挿入につれて、次の分岐部Ｊ１１のＶＢＳ画像６ｄ２を表示するとともに、すでに通過した分岐部の分岐サムネイルＶＢＳ画像６Ｅ１を消去し、次の分岐部の分岐サムネイルＶＢＳ画像６Ｅ２の枠を太枠あるいはカラー表示とし、分岐サムネイルＶＢＳ画像の上側に表示する残りの分岐の数を減ずる。もちろん、すでに通過した分岐サムネイルＶＢＳ画像６Ｅ１を消去せずに残しておいても差し支えない。
<Step S8>
The insertion support device 5 updates the display screen 6a. That is, as shown in FIG. 7, the insertion support device 5 displays the VBS image 6d2 of the next branch part J11 as the endoscope is inserted, and deletes the branch thumbnail VBS image 6E1 of the branch part that has already passed. The frame of the branch thumbnail VBS image 6E2 in the next branch portion is set to a thick frame or color display, and the number of remaining branches displayed on the upper side of the branch thumbnail VBS image is reduced. Of course, the branch thumbnail VBS image 6E1 that has already passed may be left without being erased.
＜ステップＳ９＞
挿入支援装置５は、ステップＳ８で関心部位１００Ｂに達したか（すなわち、ナビゲーションの挿入終点Ｅ２に達したか）どうかを判断し、関心部位１００Ｂに到達した場合は処理を終了し、関心部位１００Ｂに到達していない場合にはステップＳ３に戻り、関心部位１００Ｂに到達するまで、ステップＳ３〜Ｓ７の処理を繰り返す。
<Step S9>
The insertion assisting device 5 determines whether or not the region of interest 100B has been reached in step S8 (that is, whether or not the navigation insertion end point E2 has been reached). If not, the process returns to step S3, and the processes of steps S3 to S7 are repeated until the region of interest 100B is reached.
次に、図１０のフローチャートを用い、ステップＳ６においてＮＯの場合の挿入支援装置５によりナビゲーション処理の流れを説明する。 Next, the flow of navigation processing by the insertion support apparatus 5 in the case of NO in step S6 will be described using the flowchart of FIG.
＜ステップＳ１１＞
上記の挿入支援装置５による内視鏡２Ａの挿入ナビゲーションにより目的部位まで内視鏡先端部２ｂを挿入できた場合には問題はないが、内視鏡挿入途中で、患者がせきをした場合等には、内視鏡２Ａの先端部２ｂが当初設定した挿入経路からずれて、異なる分岐部に入り込んでしまうことがある。
<Step S11>
There is no problem when the endoscope tip 2b can be inserted to the target site by the insertion navigation of the endoscope 2A by the insertion support device 5 described above, but when a patient coughs during insertion of the endoscope, etc. In some cases, the distal end portion 2b of the endoscope 2A deviates from the initially set insertion path and enters a different branch portion.
その場合には、本実施の形態の内視鏡装置１においては、ステップＳ６において、所定値以下の類似度となり、挿入支援装置５は当初設定した挿入経路以外のルートに挿入されたと判断し警告をする。なお、警告は表示画面６ａ上に表示してもよいし、音または光等の公知の警告手段を用いてもよい。挿入支援装置５からの警告により、術者は間違った挿入経路に内視鏡先端部２ｂが挿入されたことを確実に認識し、内視鏡２Ａの挿入を中断できる。 In that case, in the endoscope apparatus 1 according to the present embodiment, the similarity becomes a predetermined value or less in step S6, and the insertion support apparatus 5 determines that it has been inserted into a route other than the initially set insertion path, and warns. do. The warning may be displayed on the display screen 6a, or a known warning means such as sound or light may be used. The warning from the insertion support device 5 allows the operator to reliably recognize that the endoscope distal end portion 2b has been inserted into the wrong insertion path and interrupt the insertion of the endoscope 2A.
＜ステップＳ１２＞
挿入支援装置５の位置検出部９の位置検出手段は、内視鏡先端部２ｂの現在の位置を検出するために、現在の静止画像と、多数の気管支管腔路内のＶＢＳ画像とを画像認識処理し、類似度を計算する。
<Step S12>
The position detection means of the position detection unit 9 of the insertion support device 5 detects the current still image and VBS images in a number of bronchial lumens in order to detect the current position of the endoscope distal end 2b. Recognition processing and similarity calculation.
＜ステップＳ１３＞
位置検出手段は、現在の静止画像と所定値を超える類似度で類似していると判断したＶＢＳ画像が得られる位置を現在の内視鏡先端部２ｂの位置とする
通常は、画像認識処理に用いる現在の静止画像としては、ステップＳ５で取り込み、当初設定した挿入経路からずれていると判断した分岐部の画像を用いる。新規に画像を取り込む場合にも、分岐部の画像が好ましい。このため、現在のライブ画像が分岐部でない場合には、内視鏡２Ａを挿入もしくは引き抜いて先端部２ｂが分岐部となるように修正し、撮像部２ａが撮像する画像が分岐部となるように修正することが好ましい。分岐部の画像には、それぞれ特徴があり、画像認識による位置検出精度が向上するからである。
<Step S13>
The position detecting means uses the position where the VBS image determined to be similar to the current still image with a degree of similarity exceeding a predetermined value as the current position of the endoscope distal end 2b. As the current still image to be used, the image of the branching portion that has been taken in step S5 and determined to be shifted from the initially set insertion path is used. Even when a new image is captured, the image at the branching portion is preferable. For this reason, when the current live image is not a branching portion, the endoscope 2A is inserted or pulled out so that the distal end portion 2b becomes a branching portion, and the image captured by the imaging unit 2a becomes a branching portion. It is preferable to correct it. This is because the images at the branching portions have characteristics, and the position detection accuracy by image recognition is improved.
挿入支援装置５は、位置検出処理の速度向上のために、当初設定した挿入経路１からずれる直前の分岐部に近い分岐部のＶＢＳ画像から画像認識処理を進めることが好ましい。例えば、内視鏡先端部２ｂが分岐部Ｊ１１１１通過後に当初設定した挿入経路からずれた場合には、Ｊ１１１、Ｊ１１１２、Ｊ１１１２１およびＪ１１１２２等の分岐部から画像認識処理を進め、その後、Ｊ１１およびＪ１１２等の分岐部の処理を行い、それでも所定値より類似していると判断されたＶＢＳ画像が得られなかった場合には、Ｊ１２の末梢側の分岐部の処理を行うことが好ましい。 In order to improve the speed of the position detection process, the insertion support device 5 preferably proceeds with the image recognition process from the VBS image of the branch portion close to the branch portion immediately before the insertion path 1 that is initially set. For example, when the endoscope distal end 2b deviates from the initially set insertion path after passing through the branch part J1111, the image recognition process proceeds from the branch parts such as J111, J1112, J11121 and J11122, and then J11 and J112, etc. If the VBS image determined to be more similar than the predetermined value is still not obtained, it is preferable to perform the processing of the J12 peripheral branch.
あるいは、位置検出部９は、内視鏡先端部２ｂに設けた磁界センサに外部から特定方向の磁界を印加し、内視鏡先端部２ｂの位置を検出する位置検出手段であってもよい。同様に、内視鏡先端部２ｂに設けた磁界発生部からの磁界を外部に設けた磁界センサ等で内視鏡先端部２ｂの位置を検出する位置検出手段であってもよい。すなわち、位置検出部９は、電磁波を利用して先端部の位置を算出する位置検出手段であってもよい。 Alternatively, the position detector 9 may be a position detector that applies a magnetic field in a specific direction from the outside to a magnetic field sensor provided in the endoscope tip 2b, and detects the position of the endoscope tip 2b. Similarly, position detecting means for detecting the position of the endoscope distal end portion 2b with a magnetic field sensor or the like provided externally with a magnetic field from a magnetic field generating portion provided on the endoscope distal end portion 2b may be used. That is, the position detection unit 9 may be a position detection unit that calculates the position of the tip using electromagnetic waves.
＜ステップＳ１４＞
挿入支援装置５は、内視鏡先端部２ｂの現在位置が含まれる気管支管腔路の中心線を求める。すなわち、内視鏡先端部２ｂの位置は必ず気管支管腔路内のある一点であるため、その点の属する気管支管腔路を求める。
<Step S14>
The insertion support device 5 obtains the center line of the bronchial lumen including the current position of the endoscope distal end 2b. That is, since the position of the endoscope tip 2b is always a certain point in the bronchial lumen, the bronchial lumen to which the point belongs is obtained.
＜ステップＳ１５＞
挿入支援装置５は、ステップＳ１４で求めた現在の内視鏡先端部２ｂの位置が含まれる気管支管腔路の中心線が、当初の挿入経路１に含まれているかを判断する。
<Step S15>
The insertion support device 5 determines whether the initial insertion path 1 includes the center line of the bronchial lumen path that includes the current position of the endoscope distal end portion 2b obtained in step S14.
＜ステップＳ１６＞
ステップＳ１５においてＹＥＳの場合には、先端部２ｂは、挿入経路１上にあり、現在の先端部２ｂの位置は、挿入支援装置５が先端部２ｂがずれたと判断した分岐部より前か後ろに移動しただけである。このため、挿入支援装置５は、当初作成した挿入経路１のデータに基づき、現在の先端部２ｂの位置から末梢側の次の分岐部のＶＢＳ画像表示等を行い、ステップＳ３からの動作に戻る。
<Step S16>
If YES in step S15, the distal end portion 2b is on the insertion path 1, and the current position of the distal end portion 2b is in front of or behind the branching portion that the insertion support device 5 determines that the distal end portion 2b has shifted. Just moved. For this reason, the insertion support apparatus 5 performs VBS image display and the like of the next branching portion on the distal side from the current position of the distal end portion 2b based on the data of the insertion path 1 that was initially created, and returns to the operation from step S3. .
一方、ステップＳ１５においてＮｏの場合には、内視鏡先端部２ｂは当初の挿入経路１からずれている。このため、挿入支援装置５は、再挿入経路、すなわち新たな挿入経路３を求める。以下、図１１のフローチャートおよび、図１２の気管支管腔路の模式図を例に説明する。 On the other hand, in the case of No in step S15, the endoscope distal end portion 2b is displaced from the original insertion path 1. For this reason, the insertion support device 5 obtains a reinsertion path, that is, a new insertion path 3. Hereinafter, the flowchart of FIG. 11 and the schematic diagram of the bronchial lumen passage of FIG. 12 will be described as examples.
図１２において、内視鏡先端部２ｂの現在位置をＰ２とする。現在位置Ｐ２は当初の挿入経路１であるＲ２からずれている。すなわち、内視鏡先端部２ｂは、分岐部Ｊ１１１２２にあり、分岐部Ｊ１１１２２のＶＢＳ画像と内視鏡２Ａの静止画像が所定値を超える類似度で類似している。 In FIG. 12, the current position of the endoscope distal end 2b is P2. The current position P2 is deviated from R2, which is the original insertion path 1. In other words, the endoscope distal end portion 2b is located at the branch portion J11122, and the VBS image of the branch portion J11122 and the still image of the endoscope 2A are similar with a degree of similarity exceeding a predetermined value.
＜ステップＳ２１＞
ルート設定部１４の再経路設定手段は、現在位置Ｐ２から挿入始点Ａ２までの挿入経路２であるＲ３を求める。図１２に示すように挿入経路２は、Ｐ２からＪ１１１２、Ｊ１１１、Ｊ１１、Ｊ１を経由してＡ２に至る。
<Step S21>
The reroute setting means of the route setting unit 14 obtains R3 which is the insertion route 2 from the current position P2 to the insertion start point A2. As shown in FIG. 12, the insertion path 2 reaches P2 from P2 through J1112, J111, J11, and J1.
＜ステップＳ２２＞
ルート設定部１４の再経路設定手段は、当初の挿入経路（挿入経路１）Ｒ２と、現在位置Ｐ２から挿入始点Ｓ２までの挿入経路２であるＲ３が一致する範囲を求める。図１２に示すように挿入経路１Ｒ２は、Ａ２から、Ｊ１、Ｊ１１、Ｊ１１１、Ｊ１１１１を経由してＥ２に至る。このため、Ｒ２とＲ３が一致する範囲は、Ａ２から、Ｊ１、Ｊ１１、Ｊ１１１までである。このＲ２とＲ３が一致する範囲を求めることで、Ｒ２とＲ３の合流分岐部がＪ１１１であることが判明する。
<Step S22>
The reroute setting means of the route setting unit 14 obtains a range in which the original insertion route (insertion route 1) R2 and R3, which is the insertion route 2 from the current position P2 to the insertion start point S2, coincide. As shown in FIG. 12, the insertion path 1R2 reaches A2 from A2 via J1, J11, J111, and J1111. Therefore, the range in which R2 and R3 match is from A2 to J1, J11, and J111. By obtaining a range in which R2 and R3 coincide with each other, it is found that the junction branching portion of R2 and R3 is J111.
＜ステップＳ２３＞
ルート設定部１４の再経路設定手段は、挿入経路２の現在位置Ｐ２から合流分岐部Ｊ１１１までの挿入経路と、経路１の合流分岐部がＪ１１１から挿入終点Ｅ２までの挿入経路を合成し、Ｐ２からＥ２への再挿入経路Ｒ４を設定する。図１２に示すようにＲ４は、Ｐ２から、Ｊ１１１２、Ｊ１１１、Ｊ１１１１を経由してＥ２に至る。
<Step S23>
The reroute setting means of the route setting unit 14 combines the insertion route from the current position P2 of the insertion route 2 to the merge branch J111 and the merge route of the route 1 from J111 to the insertion end point E2, and P2 A re-insertion route R4 from E2 to E2 is set. As shown in FIG. 12, R4 reaches E2 from P2 through J1112, J111, and J1111.
なお、ルート設定部１４の再経路設定手段は、挿入経路１を設定した経路設定手段と同じ手段であってもよいし、異なる設定手段であってもよい。 Note that the reroute setting unit of the route setting unit 14 may be the same unit as the route setting unit that sets the insertion path 1 or may be a different setting unit.
＜ステップＳ２４＞
挿入支援装置５は、再挿入経路Ｒ４に合わせたデータを生成する。すなわち、再挿入経路Ｒ４のうち、挿入経路１と重複しない部分については、動画表示するフレーム画像データや分岐サムネイル画像等がないため、これらを生成する。ただし、処理時間を短縮するため、分岐サムネイル画像のみを作成してもよい。また、Ｐ２から末梢側の最初の分岐部は、再挿入経路Ｒ４に含まれないが、現在観察している分岐部であるので、必要に応じ、データを作成するとよい。
<Step S24>
The insertion support device 5 generates data that matches the reinsertion route R4. That is, in the re-insertion path R4, portions that do not overlap with the insertion path 1 are generated because there is no frame image data to be displayed as a moving image, branch thumbnail images, or the like. However, in order to shorten the processing time, only a branch thumbnail image may be created. Further, the first branching portion on the distal side from P2 is not included in the reinsertion route R4, but is a currently observed branching portion, and therefore data may be created as necessary.
そして、挿入支援装置５は、図８に示すように、表示画面６ａに表示する。表示画面６ａの内視鏡ライブ画像表示エリア６Ｆには、分岐部Ｊ１１１２２を観察している内視鏡撮像部２ａからのライブ画像が表示され、ＶＢＳ画像表示エリア６Ｄには、分岐部Ｊ１１１２２のＶＢＳ画像６ｄ５が表示され、表示エリア６Ｈには分岐部の名称Ｊ１１１２２が表示され、分岐サムネイルＶＢＳ画像エリア６Ｅには、再挿入経路Ｒ３の全ての分岐部での分岐サムネイルＶＢＳ画像が表示されている。 And the insertion assistance apparatus 5 displays on the display screen 6a, as shown in FIG. In the endoscope live image display area 6F of the display screen 6a, a live image from the endoscope imaging unit 2a observing the branch portion J11122 is displayed, and in the VBS image display area 6D, the VBS of the branch portion J11122 is displayed. An image 6d5 is displayed, the branch area name J11122 is displayed in the display area 6H, and branch thumbnail VBS images at all branch sections of the reinsertion path R3 are displayed in the branch thumbnail VBS image area 6E.
分岐サムネイルＶＢＳ画像のうち、分岐部Ｊ１１１２２および分岐部Ｊ１１１２の分岐サムネイルＶＢＳ画像６Ｅ５および６Ｅ６には、画像に重畳して下向きの矢印マーク６Ｊが表示され、当該分岐部が、通常の挿入操作ではなく、内視鏡２Ａを引き抜く分岐部であることを術者に示している。あるいは、内視鏡２Ａを引き抜く分岐部の分岐サムネイルＶＢＳ画像は、表示枠の色を変える等の表示形態によっても、通常の挿入操作ではないことを術者に示すことができる。また、分岐サムネイルＶＢＳ画像の上には、挿入終点Ｅ２までの分岐数である４が表示されている。 Among the branch thumbnail VBS images, the branch thumbnail VBS images 6E5 and 6E6 of the branch part J11122 and the branch part J1112 are displayed with a downward arrow mark 6J superimposed on the image, and the branch part is not a normal insertion operation. The operator is shown to be a branching portion for pulling out the endoscope 2A. Alternatively, the branch thumbnail VBS image of the branching part that pulls out the endoscope 2A can indicate to the operator that it is not a normal insertion operation even by a display form such as changing the color of the display frame. On the branch thumbnail VBS image, 4 that is the number of branches up to the insertion end point E2 is displayed.
＜ステップＳ２５＞
ステップＳ３に戻る。通常の挿入経路１ではなく、内視鏡２Ａを引き抜く分岐部がある再挿入経路３による再挿入ナビゲーションとなるが、挿入支援装置５の動作は、通常の挿入ナビゲーションとほぼ同じである。
なお、内視鏡先端部２ｂが合流分岐部Ｊ１１１まで戻った後は、挿入支援装置５の動作は通常の挿入ナビゲーションと全く同じである。表示装置６の表示画面６ａを、最初に作成表示した表示画面に戻してもよい。すなわち、分岐サムネイルＶＢＳ画像を連続表示している場合には、Ｊ１、Ｊ１１、Ｊ１１１およびＪ１１１１の分岐サムネイルＶＢＳ画像に戻してもよい。
<Step S25>
Return to step S3. The re-insertion navigation is performed not by the normal insertion path 1 but by the re-insertion path 3 having a branch portion for pulling out the endoscope 2A. However, the operation of the insertion support device 5 is substantially the same as that of the normal insertion navigation.
In addition, after the endoscope front end portion 2b returns to the merging / branching portion J111, the operation of the insertion support device 5 is exactly the same as the normal insertion navigation. The display screen 6a of the display device 6 may be returned to the display screen created and displayed first. That is, when branch thumbnail VBS images are continuously displayed, the thumbnail thumbnail VBS images of J1, J11, J111, and J1111 may be restored.
以上のように、術者は、本実施の形態の内視鏡装置１により、内視鏡挿入途中で、患者がせきをし、内視鏡２Ａの先端部２ｂが当初設定した挿入経路からずれてしまった場合でも、ずれてしまったことを、挿入支援装置５の警告により確実に認識できる。また、術者は、挿入支援装置５のナビゲーションにより、内視鏡２Ａの先端部２ｂを最小の戻り作業で、当初設定した正しい挿入経路に確実かつ迅速に戻し、内視鏡２Ａの挿入をすることができる。 As described above, the surgeon uses the endoscope apparatus 1 of the present embodiment to cause the patient to cough during insertion of the endoscope, and the distal end portion 2b of the endoscope 2A deviates from the initially set insertion path. Even if it has occurred, it can be surely recognized by the warning of the insertion support device 5 that it has shifted. Further, the surgeon reliably and quickly returns the distal end portion 2b of the endoscope 2A to the initially set correct insertion path by the navigation of the insertion support device 5 with the minimum return operation, and inserts the endoscope 2A. be able to.
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.
１…内視鏡装置、２…気管支鏡装置、２Ａ…内視鏡、２ａ…内視鏡撮像部、２ｂ…先端部、３…位置検出部、６…モニタ、５…挿入支援装置、６Ｇ…マーカ、９…位置検出部、１２…ＶＢＳ画像データ格納部、１３…ＭＰＲ画像生成部、１４…ルート設定部、１５…ＶＢＳ画像生成部、１６…ＶＢＳ画像格納部、１７…画像処理部、１８…画像表示制御部、Ｊ…分岐部、Ｐ１…挿入始点、Ｐ２…現在位置、Ｅ１…挿入終点、Ｒ１…挿入経路、Ｒ３…再挿入経路 DESCRIPTION OF SYMBOLS 1 ... Endoscope apparatus, 2 ... Bronchoscope apparatus, 2A ... Endoscope, 2a ... Endoscope imaging part, 2b ... End part, 3 ... Position detection part, 6 ... Monitor, 5 ... Insertion support apparatus, 6G ... Marker, 9 ... Position detection unit, 12 ... VBS image data storage unit, 13 ... MPR image generation unit, 14 ... Route setting unit, 15 ... VBS image generation unit, 16 ... VBS image storage unit, 17 ... Image processing unit, 18 ... Image display control unit, J ... Branch part, P1 ... Insertion start point, P2 ... Current position, E1 ... Insertion end point, R1 ... Insertion path, R3 ... Reinsertion path
Claims (10)
前記被検体の３次元領域の画像データに基づいて、体腔外から前記被検体内の関心部位まで前記内視鏡の先端部を挿入するための前記体腔路の挿入経路を設定する経路設定手段と、
前記被検体の３次元領域の画像データに基づいて、前記体腔路の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記内視鏡の先端部の位置を検出する位置検出手段と、
前記先端部の前記位置から前記関心部位まで前記内視鏡の前記先端部を挿入するための、前記体腔路の前記挿入経路と一部重複している再挿入経路を設定する再経路設定手段と、
前記内視鏡の撮像画像と、前記挿入経路の仮想内視鏡画像と、前記再挿入経路の仮想内視鏡画像とを合成する画像処理手段と
を備えることを特徴とする内視鏡装置。 An endoscope for imaging the body cavity of the subject;
Path setting means for setting an insertion path of the body cavity path for inserting the distal end portion of the endoscope from the outside of the body cavity to the site of interest in the subject based on the image data of the three-dimensional region of the subject. ,
Virtual endoscopic image generation means for generating a virtual endoscopic image of the body cavity based on image data of a three-dimensional region of the subject;
Position detecting means for detecting the position of the distal end portion of the endoscope;
Re-path setting means for setting a re-insertion path partially overlapping with the insertion path of the body cavity path for inserting the distal end of the endoscope from the position of the distal end to the site of interest; ,
An endoscope apparatus comprising: an image processing unit that synthesizes a captured image of the endoscope, a virtual endoscopic image of the insertion path, and a virtual endoscopic image of the reinsertion path.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007228267A JP4922107B2 (en) | 2007-09-03 | 2007-09-03 | Endoscope device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007228267A JP4922107B2 (en) | 2007-09-03 | 2007-09-03 | Endoscope device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009056239A JP2009056239A (en) | 2009-03-19 |
| JP4922107B2 true JP4922107B2 (en) | 2012-04-25 |
Family
ID=40552526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007228267A Active JP4922107B2 (en) | 2007-09-03 | 2007-09-03 | Endoscope device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4922107B2 (en) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2448512B1 (en) * | 2009-06-29 | 2021-10-27 | Koninklijke Philips N.V. | Apparatus for tracking in a medical procedure |
| US20110184238A1 (en) * | 2010-01-28 | 2011-07-28 | The Penn State Research Foundation | Image-based global registration system and method applicable to bronchoscopy guidance |
| CN102740755B (en) * | 2010-02-22 | 2015-04-22 | 奥林巴斯医疗株式会社 | Medical device |
| JP5380348B2 (en) * | 2010-03-31 | 2014-01-08 | 富士フイルム株式会社 | System, method, apparatus, and program for supporting endoscopic observation |
| JPWO2012108085A1 (en) * | 2011-02-08 | 2014-07-03 | オリンパスメディカルシステムズ株式会社 | Medical equipment |
| JP6195822B2 (en) * | 2011-03-31 | 2017-09-13 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Shape detection to support medical procedures |
| EP2700351A4 (en) * | 2012-03-06 | 2015-07-29 | Olympus Medical Systems Corp | Endoscopic system |
| CN104540439B (en) * | 2012-08-14 | 2016-10-26 | 直观外科手术操作公司 | System and method for the registration of multiple visual systemes |
| WO2014038322A1 (en) * | 2012-09-07 | 2014-03-13 | オリンパスメディカルシステムズ株式会社 | Medical apparatus |
| JP6233913B2 (en) * | 2013-01-07 | 2017-11-22 | 晃 竹林 | Endoscope navigation device |
| KR102367194B1 (en) | 2014-12-31 | 2022-02-25 | 삼성메디슨 주식회사 | Ultrasonic diagnostic apparatus and operating method for the same |
| JP6594133B2 (en) * | 2015-09-16 | 2019-10-23 | 富士フイルム株式会社 | Endoscope position specifying device, operation method of endoscope position specifying device, and endoscope position specifying program |
| WO2017212725A1 (en) * | 2016-06-07 | 2017-12-14 | オリンパス株式会社 | Medical observation system |
| WO2020059377A1 (en) * | 2018-09-20 | 2020-03-26 | 日本電気株式会社 | Position estimation device, position estimation method, and computer-readable recording medium |
| US11229492B2 (en) | 2018-10-04 | 2022-01-25 | Biosense Webster (Israel) Ltd. | Automatic probe reinsertion |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3850217B2 (en) * | 2000-12-27 | 2006-11-29 | オリンパス株式会社 | Endoscope position detector for bronchi |
| JP3930423B2 (en) * | 2002-12-03 | 2007-06-13 | オリンパス株式会社 | Endoscope device |
| JP4160487B2 (en) * | 2003-10-29 | 2008-10-01 | オリンパス株式会社 | Insertion support system |
| US7889905B2 (en) * | 2005-05-23 | 2011-02-15 | The Penn State Research Foundation | Fast 3D-2D image registration method with application to continuously guided endoscopy |
| JP5525727B2 (en) * | 2005-05-23 | 2014-06-18 | ザ ペン ステイト リサーチ ファンデーション | 3D-CT registration with guidance method based on 3D-2D pose estimation and application to raw bronchoscopy |
-
2007
- 2007-09-03 JP JP2007228267A patent/JP4922107B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009056239A (en) | 2009-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4922107B2 (en) | Endoscope device | |
| JP4343723B2 (en) | Insertion support system | |
| JP3847744B2 (en) | Insertion support system | |
| JP4009639B2 (en) | Endoscope device, endoscope device navigation method, endoscope image display method, and endoscope image display program | |
| JP3820244B2 (en) | Insertion support system | |
| JP5028191B2 (en) | Endoscope device | |
| US8509877B2 (en) | Endoscope insertion support system and endoscope insertion support method | |
| JP3930423B2 (en) | Endoscope device | |
| EP1681011B1 (en) | Insertion support system | |
| JP4323288B2 (en) | Insertion support system | |
| JP2012165838A (en) | Endoscope insertion support device | |
| JP4022114B2 (en) | Endoscope device | |
| JP5123615B2 (en) | Endoscope insertion support device | |
| JP4022192B2 (en) | Insertion support system | |
| JP4776954B2 (en) | Endoscope insertion support device | |
| JP4493423B2 (en) | Endoscope insertion support device | |
| JP4445792B2 (en) | Insertion support system | |
| JP4573517B2 (en) | Insertion support system | |
| JP4160487B2 (en) | Insertion support system | |
| JP4546064B2 (en) | Insertion simulation device | |
| JP4575143B2 (en) | Insertion support system | |
| JP4354353B2 (en) | Insertion support system | |
| JP4190454B2 (en) | Insertion support device | |
| JP2005013358A (en) | Insertion support system | |
| US20240112407A1 (en) | System, methods, and storage mediums for reliable ureteroscopes and/or for imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100607 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111228 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120203 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4922107 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150210 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |