JPH02182231A - Method for detecting insert direction of endoscope - Google Patents
Method for detecting insert direction of endoscopeInfo
- Publication number
- JPH02182231A JPH02182231A JP1055814A JP5581489A JPH02182231A JP H02182231 A JPH02182231 A JP H02182231A JP 1055814 A JP1055814 A JP 1055814A JP 5581489 A JP5581489 A JP 5581489A JP H02182231 A JPH02182231 A JP H02182231A
- Authority
- JP
- Japan
- Prior art keywords
- endoscope
- explanatory diagram
- image
- diagram showing
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000003780 insertion Methods 0.000 claims description 60
- 230000037431 insertion Effects 0.000 claims description 60
- 238000005286 illumination Methods 0.000 abstract description 13
- 210000001072 colon Anatomy 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 44
- 230000005484 gravity Effects 0.000 description 22
- 210000002429 large intestine Anatomy 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 239000000835 fiber Substances 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 239000000284 extract Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005452 bending Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 101150016871 LTI6B gene Proteins 0.000 description 1
- 101150097559 Slc26a1 gene Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 101150026210 sat1 gene Proteins 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
Description
【発明の詳細な説明】
［産業上の利用分野］
本発明は、内視鏡の挿入方向の検出方法に係り、特に、
医学的検査のために行う大腸に対する内視鏡の自動挿入
に適した内視鏡の挿入方向の検出方法に関する。[Detailed Description of the Invention] [Industrial Application Field] The present invention relates to a method for detecting the insertion direction of an endoscope, and in particular,
The present invention relates to a method for detecting the insertion direction of an endoscope suitable for automatic insertion of an endoscope into the large intestine for medical examinations.
［従来の技術と発明が解決しようとづる課題］近年、体
腔内に細長の挿入部を挿入することにより、体腔内臓器
等を観察したり、必要に応じ処置具チャンネル内に挿通
した処置具を用いて各種治療処置のできる内視鏡が広く
利用されている。[Prior art and problems to be solved by the invention] In recent years, by inserting an elongated insertion part into a body cavity, it is possible to observe internal organs, etc., and to insert a treatment instrument inserted into a treatment instrument channel as necessary. Endoscopes, which can be used to perform various therapeutic procedures, are widely used.
ところで、従来の内視鏡検査では、医師が内視鏡像を観
察づることにより、内視鏡（挿入部）の進行方向を判断
して、内視鏡を挿入していた。By the way, in conventional endoscopy, a doctor observes an endoscopic image, determines the direction of movement of the endoscope (insertion section), and inserts the endoscope.
しかしながら、大腸検査における内視鏡の挿入には、高
度な技術と熟練を要していた。However, inserting an endoscope for colon examination requires advanced technology and skill.
本発明は、上記事情に鑑みてなされたものであり、簡単
に、内視鏡の挿入方向を検出することのできる内′：ｇ
ｌ鏡の挿入方向の検出方法を提供することを目的として
いる。The present invention has been made in view of the above circumstances, and it is possible to easily detect the insertion direction of an endoscope.
The object of the present invention is to provide a method for detecting the insertion direction of a mirror.
［課題を解決するだめの手段］
本発明の内視鏡の挿入方向の検出方法は、内視鏡画像か
ら被観察部位の内壁に存在り−るヒダの形状を抽出し、
このヒダの形状に基づいて内視鏡の挿入方向を判断する
ｂのである。[Means for Solving the Problem] The method for detecting the insertion direction of an endoscope of the present invention extracts the shape of folds existing on the inner wall of the region to be observed from an endoscopic image,
The insertion direction of the endoscope is determined based on the shape of the folds.
［作用］
本発明では、内視鏡画像から被観察部位の内壁に存在づ
るヒダの形状が抽出され、このヒダの形状に基づいて内
視鏡の挿入方向を判断する。[Operation] In the present invention, the shape of the folds existing on the inner wall of the observed site is extracted from the endoscopic image, and the insertion direction of the endoscope is determined based on the shape of the folds.
［実施例］ 以下、図面を参照して本発明の詳細な説明する。[Example] Hereinafter, the present invention will be described in detail with reference to the drawings.
まず、第２図ないし第７図を参照しで、本発明の詳細な
説明する。First, the present invention will be described in detail with reference to FIGS. 2 to 7.
第２図は大腸への内視鏡の挿入を示す説明図、第３図は
内視鏡挿入部の先端部を示Ｊ斜視図、第４図は大腸の屈
曲部分への内視鏡の挿入を示す説明図、第５図は第４図
の状態における内視鏡像を示ず説明図、第６図は大腸の
直線部分への内視鏡の挿入を示寸説明図、第７図は第６
図の状態における内視鏡像を示す説明図である。Figure 2 is an explanatory diagram showing the insertion of the endoscope into the large intestine, Figure 3 is a J perspective view showing the tip of the endoscope insertion section, and Figure 4 is the insertion of the endoscope into the bent part of the large intestine. FIG. 5 is an explanatory diagram showing the endoscope image in the state shown in FIG. 4, FIG. 6
It is an explanatory view showing an endoscopic image in the state shown in the figure.
第２図に示すように、内視鏡（ファイバスコープ）１は
、細長で可撓性を右する挿入部２を備え、この挿入部２
の後端に大径の操作部３が連設されている。前記操作部
３からは、側方に、可撓性を右するユニバーザルコード
４が延設され、このユニバーサルコード４の先端部に、
コネクタ５が設置ノられている。このコネクタ５は、光
源装置６に接続されるようになっている。また、前記操
作部３の後端部には、接眼部８が設りられている。As shown in FIG. 2, an endoscope (fiberscope) 1 includes an elongated and flexible insertion section 2.
A large-diameter operating portion 3 is connected to the rear end of the device. A flexible universal cord 4 extends laterally from the operating section 3, and the tip of the universal cord 4 has a
A connector 5 is installed. This connector 5 is connected to a light source device 6. Further, an eyepiece section 8 is provided at the rear end of the operation section 3.
第３図に示すように、前記挿入部２の先端側には、硬性
の先端部１１及びこの先端部１１に隣接げる後方側に湾
曲可能な湾曲部１２が順次設けられている。また、前記
操作部３には、図示しない湾曲操作ノブが設りられ、こ
の湾曲操作ノブを回動操作することによって、前記湾曲
部１２を上下／左右方向に湾曲できるＪ、うになってい
る。As shown in FIG. 3, on the distal end side of the insertion portion 2, a hard distal end portion 11 and a curved portion 12 adjacent to the distal end portion 11 that can be bent rearward are sequentially provided. Further, the operation section 3 is provided with a bending operation knob (not shown), and by rotating the bending operation knob, the bending section 12 can be bent in the vertical/horizontal direction.
前記先端部１１には、照明光学系の照明レンズ１５と観
察光学系の対物レンズ１６とが、路間−方向に向りられ
て配設されている。前記照明レンズ１５の後端側には、
例えばファイババンドルからなる図示しないライトガイ
ドが連設されている。An illumination lens 15 of an illumination optical system and an objective lens 16 of an observation optical system are disposed at the tip 11 facing toward the path direction. On the rear end side of the illumination lens 15,
For example, a light guide (not shown) made of a fiber bundle is provided in series.
このライトガイドは、前記挿入部２．操作部３及びユニ
バーサルコード４内に挿通されて、前記コネクタ５に接
続されている。そして、このコネクタ５を前記光源装置
６に接続すると、この光源装置６内のランプ６ａから出
射された照明光が、前記ライトガイドの入用端に大剣す
るようになっている。この照明光は、前記ライトガイド
によって、先端部１１に導かれ先端面から出射され、前
記照明レンズ１５を通して被写体に照射されるようにな
っている。尚、第３図中、符号１７は、照明光の照明範
囲を示している。This light guide is connected to the insertion section 2. It is inserted into the operating section 3 and the universal cord 4 and connected to the connector 5. When this connector 5 is connected to the light source device 6, the illumination light emitted from the lamp 6a in the light source device 6 is directed to the input end of the light guide. This illumination light is guided to the tip 11 by the light guide, emitted from the tip surface, and is irradiated onto the subject through the illumination lens 15. In addition, in FIG. 3, the reference numeral 17 indicates the illumination range of the illumination light.
一方、前記対物レンズ１６の結像位置には、例えばファ
イババンドルからなる図示しないイメージガイドの先端
面が配置されＣいる。このイメージガイドは、前記挿入
部２内に挿通されで、前記接眼部８まで延設されている
。そして、前記対物レンズ１６によって結像された被写
体像は、前記イメージガイドによって、前記接眼部８に
導かれ、この接眼部８から図示しない接眼レンズを介し
て観察されるにうになっている。尚、第３図中、符号１
８は、観察光学系の視野範囲を示している。On the other hand, at the imaging position of the objective lens 16, a distal end surface of an image guide (not shown) made of, for example, a fiber bundle is arranged. This image guide is inserted into the insertion section 2 and extends to the eyepiece section 8. The object image formed by the objective lens 16 is guided to the eyepiece section 8 by the image guide, and is observed from the eyepiece section 8 through an eyepiece lens (not shown). . In addition, in Fig. 3, the reference numeral 1
8 indicates the field of view range of the observation optical system.
ところで、内視鏡１の照明光学系と観察光学系とは、第
３図に示すように、近接して存在し、且つ路間−・方向
を向いている。By the way, as shown in FIG. 3, the illumination optical system and the observation optical system of the endoscope 1 are located close to each other and are oriented in the direction of the path.
一方、大腸内壁には、環状のヒダ（ＨΔＵＳＴＲＡまた
はＦ ０１ Ｄとも呼ばれる。）が存在し、内視鎖国の
多くは、この環状のヒダの見え方により内視鏡の挿入方
向を判断している。つまり、これらのヒダのリングの中
心は、内視鏡の挿入方向を判断する上で優れた目安にな
る。このことを、第４図ないし第７図を参照して説明す
る。On the other hand, there are annular folds (also called HΔUSTRA or F 01 D) in the inner wall of the large intestine, and many people with endoscopic isolation judge the insertion direction of the endoscope based on the visibility of these annular folds. . In other words, the center of the ring of these folds is an excellent guide for determining the direction of insertion of the endoscope. This will be explained with reference to FIGS. 4 to 7.
尚、第５図及び第７図において、符号２１，２２．２３
は、大腸内壁に存在Ｊるヒダを示す。In addition, in FIG. 5 and FIG. 7, the symbols 21, 22, 23
shows the folds present in the lining of the large intestine.
第４図は、内祝１ｔ１の挿入部２を、大腸２０の−Ｌ方
に屈曲した部分へ挿入Ｊ−る場合を示している。FIG. 4 shows a case in which the insertion portion 2 of the ceremonial gift 1t1 is inserted into a portion of the large intestine 20 bent in the -L direction.
この場合、第５図に示すように、ヒダは、上方に偏って
存在する。従って、この場合には、内視鏡１の先端部１
１を、上方向に湾曲させ、上方向に挿入部２を挿入して
行りば良い。In this case, as shown in FIG. 5, the folds are biased upward. Therefore, in this case, the distal end 1 of the endoscope 1
1 may be curved upward, and the insertion portion 2 may be inserted upward.
また、第６図は、内視鏡１の挿入部２を、大腸２０の直
線状の部分へ挿入づ−る場合を示している。Further, FIG. 6 shows a case where the insertion section 2 of the endoscope 1 is inserted into a straight portion of the large intestine 20.
この場合、第７図に示すように、ヒダは、上下または左
右に偏りなく存在する。従って、この場合には、内視鏡
１の挿入部２を、まっすぐそのまま挿入して行けば良い
。In this case, as shown in FIG. 7, the folds are evenly present vertically or horizontally. Therefore, in this case, the insertion section 2 of the endoscope 1 may be inserted straight as it is.
このように、本発明の内視鏡の挿入方向の検出方法は、
内視鏡像においで内壁に存在するヒダの形状を抽出し、
このヒダの形状に基づいて内視鏡の挿入方向を検出する
方法である。In this way, the method for detecting the insertion direction of an endoscope according to the present invention is as follows:
Extracts the shape of the folds on the inner wall in the endoscopic image,
This method detects the insertion direction of the endoscope based on the shape of the folds.
次に、第１図及び第８図ないし第３１図を参照して、本
発明の一実施例を説明する。Next, an embodiment of the present invention will be described with reference to FIG. 1 and FIGS. 8 to 31.
第１図は本発明の−・実施例の方法を示Ｊ−フロヂャー
ト、第８図はファイバスコープと外付はテレビカメラを
用いた内視鏡装置の例を承り説明図、第９図はビデオス
コープを用いた内視鏡装置の例を示す説明図、第１０図
は第１ステツプにお（プる空間フィルタリングの使用を
説明するための図、第１１図（ａ）はＸ方向の勾配を求
める加重マトリクスを示す説明図、第１１図（ｂ）はｙ
方向の勾配を求める加重マトリクスを示す説明図、第１
２図は第１ステツプで得られた画像を８×８画素の小方
形に分割した状態を示ｍ １２明図、第１３図は８×８
画素の小方形を示す説明図、第１４図は８×８画素の小
領域にあるヒダの線しグメントを示す説明図、第１５図
ば修正Ｈｏｕｇｈ変換をする為に外周にアドレスを付け
た８×８画素の小方形を示す説明図、第１６図は直線を
修正）１ｏｕｇｈ変換して得られる配列要素を示す説明
図、第１７図は直線を修正Ｈｏｕｇｈ変換した配列要素
と、各配列要素に対応する直線上に存在するエツジポイ
ントの数の一例を示覆説明図、第１８図はエツジポイン
トの数の多い直線を示す表、第１９図は小方形内のライ
ンセグメントを示す説明図、第２０図はエツジの方位に
よるグループ分けを示す表、第２１図は連続性によるグ
ループ分けを示す表、第２２図は連続性によるグループ
分けを説明するための小方形−Ｌのエツジポイントを示
Ｊ説明図、第２３図はＰｅｒｃｅｐｔｕａｌ ｏｒｏ
ｕｐｎｇの結末の一例を承り表、第２４図はピラミッド
型４重ツリー構造を示ず説明図、第２５図は第４スデツ
プを示すフローチャート、第２６図（ａ）ないしくｄ）
は線セグメントの連結の際に次にサヂする小方形を示す
説明図、第２７図（ａ＞ないしくｄ）はヒダの形状から
挿入方向を決定する方法を示す説明図、第２８図はリン
グの重心を求めるステップを示すフローチャート、第２
９図はヒダの楕円を示す説明図、第３０図はリングの重
心のＸ座標を求めるステップを示す説明図、第３１図は
リングの重心のＸ座標を求めるステップを示す説明図で
ある。Fig. 1 is a diagram showing a method of an embodiment of the present invention, Fig. 8 is an explanatory diagram of an example of an endoscope device using a fiber scope and an external television camera, and Fig. 9 is a video diagram. An explanatory diagram showing an example of an endoscope device using a scope. FIG. 10 is a diagram for explaining the use of spatial filtering in the first step. FIG. An explanatory diagram showing the weighting matrix to be obtained, FIG. 11(b) is y
Explanatory diagram showing a weighting matrix for determining the gradient of the direction, 1st
Figure 2 shows the image obtained in the first step divided into small rectangles of 8 x 8 pixels.
An explanatory diagram showing a small rectangle of pixels, Fig. 14 is an explanatory diagram showing a fold line segment in a small area of 8 x 8 pixels, and Fig. 15 is an explanatory diagram showing a fold line segment in a small area of 8 x 8 pixels. An explanatory diagram showing a small rectangle of ×8 pixels, Fig. 16 is an explanatory diagram showing array elements obtained by correcting straight lines) and 1ough conversion, Fig. 17 is an explanatory diagram showing array elements obtained by correcting straight lines and Hough conversion, and each array element. FIG. 18 is an explanatory diagram showing an example of the number of edge points existing on a corresponding straight line. FIG. 18 is a table showing straight lines with a large number of edge points. FIG. Figure 20 is a table showing grouping of edges based on orientation, Figure 21 is a table showing grouping based on continuity, and Figure 22 shows edge points of small rectangle-L to explain grouping based on continuity. Explanatory diagram, Figure 23 is Perceptual oro
An example of the result of upng is shown in the table, Fig. 24 is an explanatory diagram without showing the pyramid-shaped quadruple tree structure, Fig. 25 is a flowchart showing the fourth step, Fig. 26 (a) to d)
27 (a> to d) is an explanatory diagram showing the method of determining the insertion direction from the shape of the pleats. FIG. Flowchart showing the steps for determining the center of gravity of the ring, 2nd
FIG. 9 is an explanatory diagram showing the ellipse of the fold, FIG. 30 is an explanatory diagram showing the step of determining the X coordinate of the center of gravity of the ring, and FIG. 31 is an explanatory diagram showing the step of determining the X coordinate of the center of gravity of the ring.
本実施例の内視鏡の挿入方向の検出方法は、例えば、第
８図または第９図に示す内視鏡装置に適用される。The method for detecting the insertion direction of an endoscope according to this embodiment is applied to, for example, the endoscope apparatus shown in FIG. 8 or 9.
第８図に示す内視鏡装置は、光源装置６によって照明光
が供給されるファイパス］−ブ１と、このファイパスコ
ープ１の接眼部８に取付けられた外付はテレビカメラ３
０とを備えている。前記ファイバスコープ１の構成は、
第２図に示すものと同様であり、説明を省略づる。前記
外イ］リテレビカメラ３０は、例えば、前記接眼部８か
らの光を結像する図示しない結像レンズと、この結像レ
ンズの結像面に配設された図示しない固体撮像素子を備
えている。また、この外イ」リテレビカメラ３０は、前
記固体撮像素子を駆動づると共に、この固体撮像素子の
出力信号を映像信号処理する信号処理装置３１に接続さ
れるようになっている。前記信号処理装置３１から出力
される映像信号は、モニタ３２に入力されると共に、Ａ
／Ｄ変換器３３によってデジタル量に変換された後、電
子計算機３５に入力され、この電子計算機３５内の図示
しないメモリ内に取り込まれるようになっている。The endoscope apparatus shown in FIG. 8 includes a fiber path 1 to which illumination light is supplied by a light source device 6, and an external television camera 3 attached to the eyepiece 8 of this fiber scope 1.
0. The configuration of the fiber scope 1 is as follows:
It is the same as that shown in FIG. 2, and its explanation will be omitted. The TV camera 30 includes, for example, an imaging lens (not shown) that forms an image of the light from the eyepiece 8, and a solid-state imaging device (not shown) disposed on the imaging surface of the imaging lens. We are prepared. Further, this external television camera 30 is connected to a signal processing device 31 that drives the solid-state image sensor and processes the output signal of the solid-state image sensor as a video signal. The video signal output from the signal processing device 31 is input to the monitor 32 and
After being converted into a digital quantity by the /D converter 33, it is input to an electronic computer 35, and is taken into a memory (not shown) in the electronic computer 35.
そして、前記モニタ３２に、内視鏡像が表示されると共
に、前記電子計算１３５によって、本実施例におりる内
視鏡の挿入方向の検出方法が実行される。Then, the endoscope image is displayed on the monitor 32, and the electronic calculation 135 executes the method of detecting the insertion direction of the endoscope according to the present embodiment.
また、第９図に示す内視鏡装置は、ファイパス］−ブ１
及び外周はブレビカメラ３０の代わりに、ビデオス］−
１４１を備えている。このビデオス」−ブ４１は、前記
ファイパス丁ｌ−ブ１と同様に、細長で可撓性の挿入部
２と、この挿入部２の後端に連設された操作部３とを備
えている。前記操作部３からは、側方に、可撓性を有す
るユニバーサルコード／４２が延設され、このユニバー
サルコド４２の先端部に、］コネクタ３が設けられてい
る。このコネクタ４３は、光源装置６と映像信号処理回
路４６とを内蔵した制御装置４５に接続されるようにな
っている。前記ビデオスコープ４１の挿入部２の先端部
では、対物レンズの結像位置に、図示しない固体ｍｌ像
素子が配設されている。Furthermore, the endoscope apparatus shown in FIG.
and the outer circumference is Videos instead of the Brevi camera 30]-
It is equipped with 141. This video tube 41, like the fiber path tube 1, includes an elongated and flexible insertion section 2, and an operation section 3 connected to the rear end of this insertion section 2. . A flexible universal cord 42 extends laterally from the operating section 3, and the connector 3 is provided at the tip of the universal cord 42. This connector 43 is connected to a control device 45 that includes a light source device 6 and a video signal processing circuit 46. At the distal end of the insertion section 2 of the videoscope 41, a solid-state ML image element (not shown) is disposed at the imaging position of the objective lens.
この固体撮像素子は、前記挿入部２．操作部３及びユニ
バーサルコード４２内に挿通された信号線、及び前記コ
ネクタ４３を介して、前記制御装置４５内の映像信号処
理回路４６に接続されるようになつＣいる。尚、前記ビ
デΔスニ１−ブ４１の照明光学系は、ファイパスローブ
１と同様であり、ライトガイドの入射端には、前記制御
装置４５内の光源装置６のランプ６ａから出射されｌこ
照明光が入射されるようになっている。前記固体搬像素
子は、市記映像信号処理回路４６によって駆動されると
共に、この固体撮像素子の出力信号Ｃよ、前記映像信号
処理回路４６で信号処理されるようになっている。この
映像信号処理回路４６から出力される映像信号は、ファ
イバスコープ１を用いた内視鏡装置の場合と同様に、モ
ニタ３２に入力されると共に、Ａ／Ｄ変換器３３によっ
てデジタル量に変換された後、電子割算４１３５に入力
され、この電子計算機３５内の図示しないメモリ内に取
り込まれるようになっている。そして、前記モニタ３２
に、内視鏡像が表示されると共に、前記電子計ｔｉｉ［
３５によって、本実施例にお１）る内視鏡の挿入方向の
検出方法が実行される。This solid-state image sensor is connected to the insertion section 2. It is connected to the video signal processing circuit 46 in the control device 45 via the signal line inserted into the operation section 3 and the universal cord 42, and the connector 43. The illumination optical system of the bidet Δsnive 1-41 is the same as that of the fiber path lobe 1, and the light emitted from the lamp 6a of the light source device 6 in the control device 45 is provided at the input end of the light guide. Illumination light is made incident thereon. The solid-state image sensing device is driven by a video signal processing circuit 46, and the output signal C of this solid-state imaging device is subjected to signal processing by the video signal processing circuit 46. The video signal output from the video signal processing circuit 46 is input to the monitor 32 and converted into a digital quantity by the A/D converter 33, as in the case of the endoscope apparatus using the fiber scope 1. After that, it is input to an electronic divider 4135 and taken into a memory (not shown) in the electronic computer 35. Then, the monitor 32
, the endoscopic image is displayed, and the electronic meter tii [
35, the endoscope insertion direction detection method 1) of this embodiment is executed.
次に、本実施例の内視鏡の挿入方向の検出方法について
説明する。Next, a method for detecting the insertion direction of the endoscope according to this embodiment will be explained.
本実施例の内視鏡の挿入方向の検出方法は、第１図のフ
［１−ヂャートに示ｔ Ｊ、うに、電子計算機３５に取
り込まれた原画における不連続点を抽出する第１スデツ
プＳ１と、前記第１スｊツブＳ１で得られた画像を複数
の画像に分割し、この分割画像の各々から修正ハフ（Ｍ
ｏｄｉｆｉｅｄ Ｈｏｕｇｈ）変換（以下、修正Ｈｏ
ｕｏｈ変換と記づ。）を用いて線レグメン１〜（線分）
の候補を抽出する第２ステツプＳ２と、前記第２ステツ
プＳ２１’ Ｉられた線ゼグメントの候補に対してパー
セプヂ］アル グルーピング（知覚的グループ分け、以
下、Ｐｅｒｃｅｐｔｕａｌ ｇｒｏｕｐｉｎｇと配す
。）を行い、分割画像の各々から最適な線セグメン１〜
を抽出づる第３ステツプＳ３と、前記第３ステツプＳ３
で得られた線セグメントを連結する第４スランプＳ４と
、前記第４スデツプＳ４の結果から挿入方向を決定する
第５スラツプＳ５とからなる。The method of detecting the direction of insertion of the endoscope in this embodiment is shown in diagram 1-1 of FIG. The image obtained in the first step S1 is divided into a plurality of images, and a modified Hough (M
modified Hough) conversion (hereinafter referred to as modified Hough)
It is written as uoh conversion. ) using line legmen 1~(line segment)
A second step S2 extracts candidates for the line segment, and performs perceptual grouping (hereinafter referred to as "perceptual grouping") on the extracted line segment candidates in the second step S21'. Optimal line segment 1 from each of the images
a third step S3 for extracting the
A fourth slump S4 connects the line segments obtained in step S4, and a fifth slump S5 determines the insertion direction from the result of the fourth step S4.
まず、第１０図及び第１１図を参照して、第１ステツプ
について説明する。First, the first step will be explained with reference to FIGS. 10 and 11.
不連続点を抽出刃る当っては、赤の強度、緑の強度及び
青の強度からなる色に着目しても良いし、グレイレベル
（Ｏｒａｙ １ｅｖｅｌ、？１１度あるいは明度）に着
目しでも良いが、本実施例では、グレイレベルに着目す
る場合を例にとり説明づる。When extracting discontinuous points, you may focus on the color consisting of red intensity, green intensity, and blue intensity, or you may focus on gray level (Oray 1 level, -11 degree or brightness). However, in this embodiment, the case where attention is paid to the gray level will be explained as an example.
また、原画の画素（ピクセルとも叶ぶ。）数は、５１２
Ｘ５１２、グレイレベルは２５６階調とする。Also, the number of pixels in the original picture is 512.
X512, and the gray level is 256 gradations.
グレイレベルに着目し、不連続点を抽出するということ
は、空間座標上でグレイレベルの変化率（勾配）を検査
し、グレイレベルが変化するところを抽出することであ
る。これは、グレイレベルに着目したエツジ検出である
。Focusing on the gray level and extracting discontinuous points means inspecting the rate of change (gradient) of the gray level on spatial coordinates and extracting points where the gray level changes. This is edge detection that focuses on gray levels.
前記エツジ検出の手法どしては、例えば加重マトリクス
を用いた空間フィルタリング（ｓｐａｔａｌ ｆｉｌ
ｔｅｒｉｎｇ）があり、本実施例では、これを用いてい
る。The edge detection method includes, for example, spatial filtering using a weighted matrix.
tering), which is used in this embodiment.
第１０図を参照して、３×３画素からなる加重マトリク
スを用いた場合を例にとり、空間フィルタリングについ
て説明する。第１０図において、Ｐｌ （ｘｉ、 、
ｙｊ、 ）は、入力画像Ｐ１の座標（Ｘ、ｉ、、Ｖｉ
）の画素のグレイレベルを示す。同様に、Ｐ２ （Ｘ
ｉ、 、 ｙｊ、 ）は、出力画像Ｐ２の座標（Ｘ先、
ｙん）の画素の勾配を示４゜
まず、人力画像Ｐ１ （ＸＪ、、 ｙＬ）の３×３近
傍を取り出し、この３×３近傍の各画素の値と、別に用
意された３×３要素からなる加重マトリクスの対応覆る
各要素の値との積を計算し、９個の積の和を求め、これ
をＰ２ （Ｘｉ、Ｖ尤）と覆る。With reference to FIG. 10, spatial filtering will be explained by taking as an example a case where a weighted matrix consisting of 3×3 pixels is used. In FIG. 10, Pl (xi, ,
yj, ) are the coordinates (X, i,, Vi
) indicates the gray level of the pixel. Similarly, P2 (X
i, , yj, ) are the coordinates of the output image P2 (X destination,
First, extract the 3 × 3 neighborhood of the human image P1 (XJ,, yL), and calculate the value of each pixel in this 3 × 3 neighborhood and the separately prepared 3 × 3 elements. The product with the value of each corresponding element of the weighted matrix consisting of is calculated, the sum of nine products is obtained, and this is covered as P2 (Xi, V likelihood).
この演算を、入ノｊ画像の各画素に対して順次前してい
くことにより、空間フィルタリングを施した出力画像Ｐ
２が得られる。By sequentially performing this calculation for each pixel of the input image, the output image P that has been subjected to spatial filtering is
2 is obtained.
ところで、第１１図（ａ）に承り加重マトリクスを使う
ことにより、Ｘ方向の勾配（グレイレベルの変化率）Ｏ
ｘが得られる。同様に、第１１図（ｂ）に示す加重マト
リクスを使うことにより、ｙ方向の勾配（グレイレベル
の変化率）Ｏｙが得られる。ある画素における勾配の絶
対値は、下記の（１−１）式で与えられるが、本実施例
においては、極めて正確である必要もないため、演算処
理の簡略化のために、（１−２＞式で近似しても良い。By the way, by using the weighted matrix shown in FIG. 11(a), the gradient in the X direction (rate of change in gray level) O
x is obtained. Similarly, by using the weighting matrix shown in FIG. 11(b), the gradient (gray level change rate) Oy in the y direction can be obtained. The absolute value of the gradient at a certain pixel is given by the following equation (1-1), but in this example, it does not need to be extremely accurate, so to simplify the calculation process, it is given by (1-2). > may be approximated by the formula.
０＝ Ｑｘ 十〇ン ・・・（１−１）Ｑ＝
ＩＱｘ ｌ＋ｌＱｙ ｌ・・・（１−２）ただし、ｑは
不連続性の強さを表わす。0= Qx 100n...(1-1)Q=
IQx l+lQy l (1-2) where q represents the strength of discontinuity.
尚、第１１図（ａ）、第１１図（ｂ）に丞１加重７１〜
リクスを使った場合の座標（Ｘ先、ｙＪ、）の画素のＯ
ｘ 、 ｇｙは、具体的には、下記の（１３）式、（１
＝４）式で与えられる。In addition, in FIG. 11(a) and FIG. 11(b), the weight 71~
O of the pixel at the coordinates (X destination, yJ,) when using
Specifically, x and gy are expressed by the following formula (13), (1
=4) is given by the formula.
Ｑｘ ＝Ｐ２ （ｘＪ、、 ｙ」、）−−Ｐ １
（Ｘ ん −１、Ｖ 先 ＋１ ）十Ｐ１
（Ｘλ、ｎ＋！ｙｉｎ）
Ｅフ・Ｐ＋ （Ｘん−１，ｙん）
＋ ＦＴ−Ｐｔ （ｘん罎１ ＋Ｖ Ｌ ）Ｐｌ （
ｘｉ −１，ｙＬ −１＞
十Ｐｔ （ｘｉ ＋１＋’＋’Ｊ、−＋ ） −（１
−３）ＣＪｙ ＝Ｐ２（Ｘ先、ｙｊ、）
−Ｐ１ （Ｘん−１，ｙん＋１）
＋Ｊ−２−４ Ｐｉ （ｘｉ ＋ｙｔ ＋ｉ）−トＰ
＋ （Ｘん＋＋、ＶＬｎ）
Ｐ １（Ｘ Ｌ−１＋Ｖ ｔ −１＞
−ｆ−２−・Ｐｔ （Ｘん、ｙＬ −１）−Ｐｉ
（Ｘｉ 土１ （−ｙ ん −１） ・・
・ （１−４＞また、エツジの方向は、次の（１−５
＞式で与えられる。Qx = P2 (xJ,,y'',)--P1
(X -1, V +1) 10P1
(Xλ, n+!yin) Efu・P+ (Xn−1, yin) + FT−Pt (xn−1 +V L )Pl (
xi -1,yL -1> 10Pt (xi +1+'+'J, -+) -(1
-3) CJy = P2 (X destination, yj,) -P1 (Xn-1, yn+1) +J-2-4 Pi (xi +yt +i) -toP
+ (Xn++, VLn) P 1 (X L-1+V t -1> -f-2-・Pt (Xn, yL -1) - Pi
(Xi Sat1 (-y n-1)...
・ (1-4> Also, the direction of the edge is as follows (1-5
＞Given by the formula.
θ−ａｒｃｔａｎ （（Ｊｙ １０ｘ ’）・・
＜１−５）ここで、（１−１）式または（１−２）式で
求めたｑを、予め定めた基準値０トと比較し、基準（直
（Ｊｒ以上のエツジポイントを残す。θ-arctan ((Jy 10x')...
<1-5) Here, q obtained by equation (1-1) or equation (1-2) is compared with a predetermined reference value of 0, and edge points equal to or higher than the reference (direct) are left.
基準値ｇｒを大きな値に設定することにより、残Ｊエツ
ジポイントの数を絞りこむことも考えられるが、基準値
Ｑ＋−をあまり大きな値に設定すると、本来必要なエツ
ジポイントを排除してしまう危険があるため、ｇｌは、
低めに設定することが大切である。全てのエツジポイン
トの８０％程度を残すように基準値Ｏｒを設定すること
が望ましい。全てのエツジポイントのｑの分散を求めた
上で、８０％程度の１ツジポイントが残るように０１を
設定しても良い。It is possible to narrow down the number of remaining J edge points by setting the reference value gr to a large value, but if the reference value Q+- is set too large, there is a risk of eliminating the edge points that are originally needed. Since there is, gl is
It is important to set it low. It is desirable to set the reference value Or so as to leave about 80% of all edge points. After calculating the variance of q of all edge points, 01 may be set so that about 80% of the 1 edge point remains.
このＪ：うに、０の値がある程度小さなものを使い、後
にＰｅｒｃｅｐｔｕａｌ ｇｒｏｕｐｉｎｑを行うこ
とにより、ノイズ等の影響を受りることなく、重要なエ
ツジポイントを抽出することが可能になる。また、これ
が、本実施例の特徴の一つである。By using J: with a relatively small value of 0 and performing Perceptual grouping later, it becomes possible to extract important edge points without being affected by noise or the like. This is also one of the features of this embodiment.
次に、第１２図ないし第１９図を参照しで、第２ステツ
プについて説明する。Next, the second step will be explained with reference to FIGS. 12 to 19.
まず、第１２図に示すように、第１ステツプで得られた
出力画像Ｐ２（Ｘ先、Ｖｊ、）を、８Ｘ８画素程度の小
方形に分割し、修正Ｈｏｕｑｈ変換を行う。原画像が、
５１２Ｘ５１２画素から成っている場合には、６４Ｘ６
４の画像に分割することになる。尚、本実施例では、−
例として、８Ｘ８画素の小方形に分割しているが、求め
る精度により、４Ｘ４画素でも良いし、１６Ｘ１６画素
及びその他でも良いことは言うまでもない。First, as shown in FIG. 12, the output image P2 (X destination, Vj,) obtained in the first step is divided into small rectangles of approximately 8×8 pixels, and a modified Houqh transformation is performed. The original image is
If it consists of 512x512 pixels, it will be 64x6.
It will be divided into 4 images. In addition, in this example, −
As an example, the image is divided into small rectangles of 8×8 pixels, but it goes without saying that 4×4 pixels, 16×16 pixels, and others may be used depending on the desired precision.
出力画像Ｐ２（Ｘん、ｙＬ）と、切り出した８Ｘ８画素
の小方形を第１２図と第１３図に示づ。The output image P2 (X, yL) and the cut out small rectangle of 8×8 pixels are shown in FIGS. 12 and 13.
尚、第１４図に示すように、４Ｘ４〜１６Ｘ１６画素の
小方形を切り出したどき、その小方形中のヒダは、略直
線とみなすことができる。As shown in FIG. 14, when a small rectangle of 4×4 to 16×16 pixels is cut out, the folds in the small rectangle can be regarded as substantially straight lines.
まず、修正１−１ ｏ ｕ ｇ ｈ変換について、簡単
にぶ１明する。First, the modification 1-1 ough transformation will be briefly explained.
第１３図は、普通よく用いられるＸ、ｙ座標系で表現し
であるが、修正１−１−１ｏｕ変換を行う為に、第１５
図に示すように、８Ｘ８画素の小方形の外周に、アドレ
スを伺（）る。Figure 13 is expressed in the commonly used X, y coordinate system, but in order to perform the modified 1-1-1ou transformation, the 15th
As shown in the figure, the address is written on the outer periphery of a small rectangle of 8×8 pixels.
このようにすると、８Ｘ８画素の小方形上の直線は、ス
タートアドレス（Ｓ）と、エンドアドレス（Ｅ）を指示
することで、定義することができる。例えば、第１５図
に破線で示した直線は、スタートアドレス−３，エンド
アドレス−２０の直線として定義することができる。In this way, a straight line on a small rectangle of 8×8 pixels can be defined by specifying a start address (S) and an end address (E). For example, the straight line indicated by a broken line in FIG. 15 can be defined as a straight line with a start address of -3 and an end address of -20.
一方、８Ｘ８画素の小方形−Ｆに描くことができる直線
の種類は、（３２Ｘ３２）／２＝り１２である。＜３２
Ｘ３２）を１／２にしている理由は、小方形上の直線が
ベクトルではない為である。つまり、スタートアドレス
−３，Ｉノドアドレス−２０の直線と、スタートアドレ
ス−２０，エンドアドレス−３の直線は、同一とみなり
ことができる為である。On the other hand, the types of straight lines that can be drawn in the 8x8 pixel small rectangle -F are (32x32)/2=12. <32
The reason why X32) is set to 1/2 is that the straight line on the small rectangle is not a vector. In other words, the straight line of start address -3 and I node address -20 and the straight line of start address -20 and end address -3 can be considered to be the same.
従って、全ての直線は、第１６図の配列要素の一つに対
応する。Therefore, every straight line corresponds to one of the array elements in FIG.
そして、配列要素上の１つの配列に対応する直線上に、
幾つかのエツジポイントがあるかを配列要素上に表現す
ると、例えば、第１５図に破線で示した直線は、スター
トアドレスが３で、エンドアドレスが２０の直線であり
、その直線上には、４つのエツジポイントがあるので、
第１６図のように表現される。Then, on the straight line corresponding to one array on the array element,
If we express how many edge points there are on array elements, for example, the straight line shown with a broken line in Fig. 15 is a straight line with a start address of 3 and an end address of 20, and on that straight line, There are four edge points, so
It is expressed as shown in FIG.
このような方針に沿って、修正）−１ｏ ｕ ｇｈ変換
をづると、実際には、第１７図に示ずような結果が得ら
れる。すでに述べたことであるが、配列要素の１つく第
１７図のザイの目−つ）は、１本の直線に対応し、配列
要素内の数字（以下、ｖｏｔｅ（ボウト２票）と記す。If the modified (modified)-1o u gh transformation is applied along these lines, the result shown in FIG. 17 is actually obtained. As already mentioned, one array element (the number in FIG. 17) corresponds to one straight line, and the number in the array element (hereinafter referred to as vote).
）は、その直線上に存Ｙｌするエツジポイントの数を示
しでいる。) indicates the number of edge points existing on the straight line.
直線上に存在するエツジポイントの数が多いほど、その
直線が求めようとしている直線である可能性が高い。The greater the number of edge points that exist on a straight line, the higher the possibility that that straight line is the straight line that is being sought.
従って、ｖｏｔｅの数の多い方から、５つ程度を、ライ
ンセグメントの候補として抽出する。この抽出したライ
ンは、第１７図では○印を付しであると共に、−覧表に
して第１８図に示している。Therefore, about five votes are extracted as line segment candidates, starting from the one with the largest number of votes. The extracted lines are marked with a circle in FIG. 17 and are shown in a list in FIG. 18.
尚、ここで、ｖｏｔｅの数の一番大きなものを抽出し、
それを求めるラインセグメントとするという考え方もあ
るが、そのようにしてしまうと、誤ったラインセグメン
トを抽出してしまう危険がある。例えば、第１９図に示
すような場合である。In addition, here, extract the one with the largest number of votes,
There is an idea of using that as the desired line segment, but if you do that, there is a risk of extracting the wrong line segment. For example, there is a case as shown in FIG.
この図では、（ａ）が抽出したいラインセグメントであ
るにかかわらず、単にｖｏｔｅの数だけで判断覆ると、
誤って（ｂ）のラインセグメントを抽出してしまうこと
になる。In this figure, regardless of whether (a) is the line segment you want to extract, if you simply judge based on the number of votes,
The line segment (b) will be extracted by mistake.
上記のような危険を回避する為に、ここでは、５つ程度
の配列要素にまで絞り込んでおいて、最終的には、Ｐｅ
ｒｃｅｐｔｕａｌ ｇｒｏｕｐｎｇを行って、最適な
ラインセグメントを抽出覆る。In order to avoid the above-mentioned danger, here we narrow down the array to about 5 elements, and finally
Extract and cover optimal line segments by performing rceptual grouping.
次に、第２０図ないし第２３図を参照して、第３ステツ
プのｐｅｒｃｅｐｔｕａｌ ｇｒｏｕｐｉｎｇについ
て説明する。Next, the third step of perceptual grouping will be explained with reference to FIGS. 20 to 23.
本実施例では、下記の３項目に着目し、Ｐｅｒｃｅｐｔ
ｕａｌ ｏｒｏｕｐｉｎｇを行っているが、下記３項
目以外に、勾配の大きさ（Ｅ（ｊＱｅＭａｇｎ ｉ ｔ
ｕｄｅ）に着目しても良いし、色に着目してし良い。In this example, we focused on the following three items and
ual orouping, but in addition to the following three items, the gradient size (E(jQeMagn it
You can focus on the color (use) or the color.
１、エツジの方位（Ｅｄｑｅ ０ｒｉｅｎｔａｔｉｏ
ｎ（エツジ Ａリエンテイション））（エツジ ポイン
トについて）
基準 ±２２．５゜
２、グレイレベル（Ｇｒａｙ １ｅｖｅｌ）（画素に
ついて）
基準 ±４レベル
３、連続性（Ｃｏｎｔ ｉ ｎｕ ｉ ｔｙ （］ン−
７−イニュアティ））
（エツジ ポイントについて）
基準 ±１画素の距離
上記３項目の各々について、以下に説明する。1. Edqe orientation
n (Edge A orientation)) (About edge points) Standard ±22.5°2, Gray level (Gray 1 level) (About pixels) Standard ±4 Level 3, Continuity (Continued)
7-Innuity)) (About edge points) Standard ±1 pixel distance Each of the above three items will be explained below.
第１７図の場合を例に取ると、第１７図の５つのライン
の各々について、以下の処理を行う。Taking the case of FIG. 17 as an example, the following processing is performed for each of the five lines in FIG.
１、エツジの方位
第１８図のライン（Ｌ ｉ ｎｅ）４すなわち配列要素
（１６，４＞を例にとれば、１２０図に示づように、９
個のエツジポイントを、第１ステツプで求めたエツジの
方向θの小さい順に並べる。そして、４５° （±２２
．５°）より大ぎなギャップのある所でグループ分りを
行う。第２０図に示す例では、８番目のエツジポイント
と９番目のエツジポイントのθの差が、
６２°−３５°−２７° （＞２２．５°〉どなり、こ
こで、グループ分（プされる。1. Edge direction Taking line 4 in Figure 18, that is, array element (16, 4>) as an example, as shown in Figure 120, 9
The edge points are arranged in descending order of edge direction θ determined in the first step. And 45° (±22
．． 5°) Divide into groups where there is a larger gap. In the example shown in Figure 20, the difference in θ between the 8th edge point and the 9th edge point is 62° - 35° - 27° (>22.5°), where the difference is Ru.
２、グレイレベル
上記エツジの方位の場合と同様に、エツジポイントに相
当１゛る箇所のグレイレベルを、小さい順に並べ、グレ
イレベルのギャップが４より大きい所で、グループ分け
を行う。2. Gray Level As in the case of the edge direction described above, the gray levels at locations corresponding to edge points of 1 are arranged in descending order, and the locations where the gray level gap is greater than 4 are grouped.
３、連続性
エツジポイントのＸ座標、Ｘ座標に注目し、第２１図に
示づように、ｘ％標の小さい順に並べる。3. Pay attention to the X coordinates and X coordinates of the continuity edge points, and arrange them in descending order of x% marks, as shown in FIG.
Ｘ座標が同じものついては、Ｘ座標の大きい順に並べる
。そして、Ｘ座標の差Δｘ＞１またはＸ座標の差へＶ＞
１のところで、グループ分１すを行う。If the X coordinates are the same, arrange them in descending order of the X coordinates. Then, the difference in the X coordinate Δx>1 or the difference in the X coordinate V>
At step 1, perform 1 step for each group.
第２１図の例では、４番目のエツジポイントと５番目の
エツジポイントのＸ座標の差が２であり、ここでグルー
プ分りされる。このように、Ｘ座標とＸ座標の両方に着
目することにより、直線がｙ軸またはｙ軸に対して極端
に立っていたり、寝ていても、確実に不連続点を抽出し
、グループ分けを行うことができる。例えば、第２２図
は、第２１図の例における各エツジポイン１〜を、×、
Ｘ座標上にプロットしたものであるが、このような場合
、Ｘ座標にだけ着目していると、直線が不連続であるこ
とを検出できない。In the example shown in FIG. 21, the difference in the X coordinates of the fourth edge point and the fifth edge point is 2, and they are divided into groups at this point. In this way, by focusing on both the It can be carried out. For example, FIG. 22 shows that each edge point 1~ in the example of FIG. 21 is
Although it is plotted on the X coordinate, in such a case, if you focus only on the X coordinate, you will not be able to detect that the straight line is discontinuous.
以上の３つの作業を行うことにより、−殻内に、例えば
、第２３図に示Ｊような結果が１ｑられる。By performing the above three operations, for example, a result 1q as shown in FIG. 23 is obtained in the -shell.
ここで、例えば、最適なラインセグメントを抽出する為
の条件として、
連続性口（グレイレベル）ｎ（エツジの方位）・・・（
１）
の論理式を適用づれば、第２３図示づように、Ａ〜Ｆの
６つのグループにグループ分けすることができる。第２
３図の例では、グループＡが一番多くのエツジポイント
を有し、そのエツジポイントの数は６である。Here, for example, the conditions for extracting the optimal line segment are: continuity (gray level) n (edge orientation)...
1) By applying the following logical formula, it is possible to divide the data into six groups A to F, as shown in FIG. Second
In the example of FIG. 3, group A has the most edge points, and the number of edge points is six.
尚、最適なラインセグメントを抽出する為の条件として
は、（１）の論理式に限らず、例えば、次の（２）の論
理式を用いても良い。Note that the conditions for extracting the optimal line segment are not limited to the logical formula (1), but may also be the following logical formula (2), for example.
連続性ｎ（グレイレベルＵエツジの方位）・・・（２）
他の配列要素についても同様のことを行い、その中で、
−ｉ多くのエツジポイントを持つグループを抽出する。Continuity n (orientation of gray level U edge)...(2)
Do the same thing for other array elements, in which
-i Extract groups with many edge points.
そして、そのグループが、８×８画素の小方形におりる
抽出づべきラインセグメントである。This group is a line segment to be extracted that falls within a small rectangle of 8×8 pixels.
このようにして、第３ステツプで、８×８画素からなる
６ ４ Ｘ ６４個の小領域の線セグメントを抽出する
ことができた。（もちろん、線セグメン１〜の存在しな
い小領域も多数ある。）尚、小領域に分割覆ることによ
り、複数のコンピュータによる並列処理が可能となり、
演綽時間の短縮ができるとい・う利点がある。尚、複数
の専用ＩＣを使って並列処理を行っても良い。In this way, in the third step, line segments of 64 x 64 small areas each consisting of 8 x 8 pixels could be extracted. (Of course, there are many small areas where line segments 1~ do not exist.) By dividing and covering the small areas, parallel processing by multiple computers becomes possible.
The advantage is that the processing time can be shortened. Note that parallel processing may be performed using a plurality of dedicated ICs.
尚、勾配の大きざ（Ｆｄｇｅ ｌｙｊａｇｎ ｉ ｔ
ｕｄｅ）や、色に着目する場合も同様に、エツジポイン
トを、勾配の大きさや色の順に並べ、所定以上のギャッ
プがある所でグループ分りを行えば良い。In addition, the size of the gradient (Fdge lyjagn it
Similarly, when focusing on color or edge points, the edge points can be arranged in the order of gradient size and color, and divided into groups where there is a gap larger than a predetermined value.
次に、第２４図ないし第２６図を参照して、第４スデツ
プについて説明づる。Next, the fourth step will be explained with reference to FIGS. 24 to 26.
この第４ステツプでは、第３ステツプで得られた線セグ
メントを連結して行く。これは、エツジの追跡または連
結と呼ばれる。In this fourth step, the line segments obtained in the third step are connected. This is called edge tracking or concatenation.
エツジの追跡を行うに当っては、どの線セグメントから
探索を始めるかが重要である。本実施例では、エツジの
追跡に当って、ピラミッド型４＠ツリー構造を利用して
いる。以下、第２４図及び第２５図を参照して、このピ
ラミッド型４重ツリ一構造を利用して、ヒダのカーブを
得る手順について説明する。When tracking edges, it is important to decide which line segment to start searching from. In this embodiment, a pyramid-shaped 4@tree structure is used to track edges. Hereinafter, with reference to FIGS. 24 and 25, a procedure for obtaining a fold curve using this pyramid-shaped quadruple tree structure will be described.
まず、第２４図に示すように、８Ｘ８画素からなる小領
域をリーフ ノード（ｌｅａｆ ｎｏｄｅ）（または
リーフ（ｌｅａｆ）とも呼ぶ）として、ピラミッド型４
重ツリー構造（ｐｙｒａｍｄ ｑｕａｄｔｒｅｅ
５ｔｒｕｃｔｕｒｅ）を作成づる。づなわち、第２５図
において、ステップＳ４１で、８×８画素の小領域をリ
ーフ ノードとし、ステップ３４２で、４つの子（ｓｏ
ｎ）ノードの線セグメント数の和を親（ｆ ａ ｔ ｈ
ｅ ｒ ）ノードの線レグメント数どし、ｎ／２Ｘｎ
／２画素の画像を得る。そして、画素数が１か否かを判
定するステップ３４．３を経て、ステップ８４２を、ル
ート（ｒｏｏｔ）（またはルートノード（ｒ。First, as shown in FIG.
Heavy tree structure (pyramd quadtree
5structure). That is, in FIG. 25, in step S41, a small area of 8×8 pixels is set as a leaf node, and in step 342, four children (so
n) The sum of the number of line segments of the node is the parent (f a th
e r ) number of line segments of the node, n/2Xn
/ Obtain an image of 2 pixels. Then, through step 34.3 in which it is determined whether the number of pixels is 1, step 842 is performed as the root (or root node (r).
ｏｔ ｎｏｄｅ）とも呼ぶ）に達Ｊるまで繰り返す。Repeat until you reach ot (also called node).
このようにして作成されたピラミッド型４重ツリー構造
では、親ノードは、その子ノードの有する線セグメント
の数を保持している。尚、第２４図において、各ノード
の近傍に付【ノた数字は、線セグメントの数を示してい
る。In the pyramidal quadruple tree structure created in this way, the parent node holds the number of line segments that its child nodes have. In FIG. 24, the numbers placed near each node indicate the number of line segments.
次に、スタート線セグメントを発見するために、ツリー
は、ルートから下方に探索される。１Ｊなわち、ステッ
プＳ４４で、４つの子ノードのうち最多線セグメントを
右Ｊる子ノードを選ぶという作業が繰り返される。第２
４図に示Ｊ°ように、リフの段階で、線ゼグメントを有
Ｊる複数のリーフが存在する場合、どの線セグメントを
開始線セグメントとしても良い。The tree is then traversed down from the root to find the start line segment. 1J, that is, the operation of selecting the child node with the most number of line segments to the right among the four child nodes in step S44 is repeated. Second
As shown in FIG. 4, if there are multiple leaves with line segments at the riff stage, any line segment may be used as the starting line segment.
次に、ステップＳ４５で、ステップＳ４４で求めた線セ
グメントを、スタート線セグメントとして、線セグメン
トを連結して行く。Next, in step S45, the line segments obtained in step S44 are used as a start line segment and the line segments are connected.
この線セグメントの連結を行う作業を、第２６図（ａ）
ないしくｄ）を参照して説明づ゛る。The process of connecting these line segments is shown in Figure 26(a).
This will be explained with reference to d).
第２６図（ａ）に示すように、小領域１，２の順に線セ
グメントが連結された場合、次のリーチ方向は、図中の
矢印方向である。従って、この場合、ａ、ｂ、ｃの小領
域がチエツクされる。As shown in FIG. 26(a), when the line segments are connected in the order of small areas 1 and 2, the next reach direction is the direction of the arrow in the figure. Therefore, in this case, small areas a, b, and c are checked.
同様に、第２６図（ｂ）に示すように、小領域１．２の
順に線セグメントが連結された場合、次のリーチ方向は
、図中の矢印方向であり、この場合、ａ、ｂ、ｃの小領
域がチエツクされる。Similarly, as shown in FIG. 26(b), when the line segments are connected in the order of small area 1.2, the next reach direction is the direction of the arrow in the figure, and in this case, a, b, A small area of c is checked.
第２６図（Ｃ）に示すように、小領域１，２゜３の順に
線ゼグメントが連結された場合、ａ、ｂ。As shown in FIG. 26(C), when line segments are connected in the order of small regions 1, 2 and 3, a, b.
Ｃの小領域をチエツクするが、ａとＣの両方に線セグメ
ントが存在Ｊる場合、ａどＣの線セグメントの向きをチ
エツクし、スムーズな連結となる方を選ぶ。第２６図（
Ｃ）の場合、Ｃの小領域の線セグメントが選ばれる。Check the small area of C, but if there are line segments in both a and C, check the orientation of the line segments in a and C, and select the one that provides a smooth connection. Figure 26 (
In case C), the line segment of the small region of C is selected.
また、第２６図（ｄ）に示Ｊように、小領域１゜２の順
に線セグメントを連結してきて、ａ、ｂ。Also, as shown in FIG. 26(d), line segments are connected in the order of 1°2 small areas, a, b.
Ｃの小領域に線セグメントが存在しない場合は、ｄ、ｅ
、ｆ、ｇ、ｈ、ｉ ｊの小領域を検査する。If there are no line segments in the subregion of C, then d, e
, f, g, h, i j.
何故ならば、ａの線セグメントが何らかの理由で消滅し
たと考えた場合の次のリーチは、ｄ、ｅ。This is because if we consider that the line segment of a disappears for some reason, the next reaches are d and e.
ｆとなり、同様に、ｂの線レグメントが消滅したと考え
た場合の次のリーチは、ｆ、 ｇ、ｈとなり、Ｃの線セ
グメントが消滅したと考えた場合の次のリーチは、ｈ、
ｉ、ｊとなるからである。Similarly, if we consider that the line segment of b has disappeared, the next reach will be f, g, h, and if we consider that the line segment of C has disappeared, the next reach will be h,
This is because i and j.
また、線ゼグメントを連結づる場合、連結される２つの
線セグメントの成り角度が±４５°以内となるものに限
定しても良い。Furthermore, when connecting line segments, the angle of formation of the two connected line segments may be limited to within ±45°.
また、線セグメントが連結される度に、４重ツリー（ｑ
ｕａｄ ｔｒｅｅ）上の数値は、訂正される。Ｊなわ
ち、連結された線セグメントに相当するリーフの値を１
−〉０に変更する。併せて、それより上位の親ノードの
値も訂正される。Also, each time line segments are connected, a quadtree (q
The numbers on the uad tree) are corrected. J, that is, the value of the leaf corresponding to the connected line segment is 1
-> Change to 0. At the same time, the values of higher-order parent nodes are also corrected.
また、線セグメントの連結は、両方向について行われる
。Also, the line segments are connected in both directions.
このようにしてカーブが得られたら、ステップＳ４６で
、第４ステツプを終結づるか否を判定し、終結しない場
合には、再び、ステップＳ４１以降のステップを繰り返
すことにより、別のカーブを得ることができる。Once a curve is obtained in this way, it is determined in step S46 whether or not to terminate the fourth step. If not, another curve is obtained by repeating the steps from step S41 onwards. Can be done.
次に、第２７図ないし第３１図を参照して、第５ステツ
プについて説明づる。Next, the fifth step will be explained with reference to FIGS. 27 to 31.
この第５ステツプでは、第４ステツプで求められたヒダ
の形状により、挿入方向を判断、決定する。In this fifth step, the insertion direction is judged and determined based on the shape of the folds determined in the fourth step.
求められるヒダの形状としては、例えば、第２７図（ａ
）〜（ｄ）に示すようなパターンがあり、それぞれ、以
下で説明づる方法ぐ挿入方向を決定する。The desired shape of the folds is, for example, as shown in Figure 27 (a
) to (d), each of which determines the insertion direction by a method explained below.
第２７図（ａ）は、図中＊印で示す交差点くまたは分岐
点）を有する２つのカーブ（ヒダ）Ｃ１゜Ｃ２が得られ
た場合を示し、この場合は、図中＊印で示１点におりる
線ゼグメントの向きを判定Ｊることにより、どちらのヒ
ダが奥にあるかを判断づ−る。第２７図（ａ）の場合は
、カーブＣ２が奥にある。そして、奥にあるカーブの中
心（ａ点）を挿入方向とする。尚、このようなカーブが
得られる場合としては、内視鏡を挿入した大腸等の管腔
が湾曲しているため、奥側のヒダの一部が隠れている場
合が考えられる。FIG. 27(a) shows a case where two curves (folds) C1°C2 having intersection points or branching points indicated by * in the figure are obtained; in this case, 1 By determining the direction of the line segment that falls at the point, it is possible to determine which fold is in the back. In the case of FIG. 27(a), the curve C2 is at the back. Then, the center of the curve at the back (point a) is set as the insertion direction. Note that such a curve may be obtained when the lumen of the large intestine or the like into which the endoscope is inserted is curved, so that a part of the fold on the back side is hidden.
第２７図（ｂ）に示づ方法は、得られｌζカーブ上の５
箇所程度のポイントからそれぞれ放射状に垂線を立て、
その放射状の線の交点の集中する箇所を挿入方向とする
ものである。The method shown in FIG. 27(b) allows the obtained 5
Draw perpendicular lines radially from each point,
The insertion direction is defined as the point where the intersections of the radial lines are concentrated.
第２７図（Ｃ）に示す方法は、得られたカーブが一部が
欠けたリング状である場合に、得られたカーブの両端を
連結し、それによって得られるリングの重心を挿入方向
とするものである。In the method shown in FIG. 27(C), when the obtained curve is in the shape of a ring with a part missing, both ends of the obtained curve are connected, and the center of gravity of the obtained ring is set in the insertion direction. It is something.
第２７図（ｄ）に示す方法は、得られたカーブが所々で
切れている場合に、一番近いカーブを連結して行き、得
られたリングの重心を挿入方向とするものである。The method shown in FIG. 27(d) is to connect the curves closest to each other when the obtained curve is broken at some places, and set the center of gravity of the obtained ring in the insertion direction.
尚、第２７図（ｂ）〜（ｄ）に示す方法では、使用する
カーブまたはリングは、任意であるが、最も大きいカー
ブまたはリングを用いても良いし、予め大きい方からｎ
番目のリングを用いるということにしておいても良い。In the method shown in FIGS. 27(b) to 27(d), the curve or ring to be used is arbitrary, but the largest curve or ring may be used, or the largest curve or ring may be used in advance.
You may also decide to use the th ring.
重心は、例えば、第２８図に示づような手順で求めるこ
とができる。The center of gravity can be determined, for example, by the procedure shown in FIG.
まず、ステップ８５１で、ヒダの円または楕円の中に含
まれる画素数を求め、第２９図に示づように、その数を
Ｎとする。尚、画素数ではなく、第２ステツプで用いた
小方形の数で代用しても良い。First, in step 851, the number of pixels included in the circle or ellipse of the fold is determined, and the number is set to N as shown in FIG. Note that instead of the number of pixels, the number of small rectangles used in the second step may be used instead.
次に、ステップ８５２で、第３０図において矢印で示す
ように、上からＸ軸方向にヒダの円形ま３ま
たは楕円形に含まれる画素数を数えて行き、その数がＮ
／２になるまで、カウントする。そして、Ｎ／２になっ
たときのｙ座標の値をｙＯとすると、このｙｏが求める
重心のｙ座標である。Next, in step 852, as shown by the arrow in FIG. 30, the number of pixels included in the circle or ellipse of the fold is counted from above in the
Count until /2. If the value of the y-coordinate when the value becomes N/2 is yO, then this yo is the y-coordinate of the center of gravity to be sought.
同様に、ステップ８５３で、第３１図において矢印で示
すように、左側からｙ軸方向にヒダの円形または楕円形
に含まれる画素数を数えて行き、その数がＮ／２になる
まで、力１クントする。そして、Ｎ／２になったどぎの
ｘｉ４標の値をｘＯとすると、このＸＱが求める重心の
Ｘ座標である。Similarly, in step 853, as shown by the arrow in FIG. Do 1 cunt. Then, if the value of the xi4 marker at the end of N/2 is xO, then this XQ is the X coordinate of the center of gravity to be found.
ぞして、ステップ８５４で、ヒダの重心は、（Ｘｏ 、
Ｖｏ ）として求められる。Therefore, in step 854, the center of gravity of the fold is (Xo,
Vo).
尚、ヒダの形状は、円または楕円として説明したが、こ
れに限定されない。Although the shape of the pleats has been described as a circle or an ellipse, it is not limited thereto.
尚、内視鏡を挿入していくと、それに伴ってヒダの形状
は変化していく。従って、常に、大きい方から数えてｎ
番目のヒダの重心を求め、それを挿入方向と判断しても
良いし、大きい方から数えて、ｎｉ目のヒダの重心とｎ
＋ｍ番目のヒダの重心の平均値を求め、それを挿入方向
と判断するようにしても良い。また、一番内側のヒダの
重心を挿入方向としても良いし、複数のヒダの重心のう
ちの最も多くの重心がある方向を挿入方向としても良い
。Note that as the endoscope is inserted, the shape of the folds changes accordingly. Therefore, always count n from the largest
You can find the center of gravity of the nith fold and determine that as the insertion direction, or you can calculate the center of gravity of the nith fold and determine it as the insertion direction.
The average value of the center of gravity of the +mth fold may be determined and determined as the insertion direction. Furthermore, the center of gravity of the innermost fold may be set as the insertion direction, or the direction in which the center of gravity of the plurality of folds has the largest number of centers of gravity may be set as the insertion direction.
尚、第４図に示すように、大腸２０が湾曲している場合
、第５図に示づように、ヒダによって、ヒダの重心が異
なる。第５図の場合は、内側のヒダの重心はど、上側、
ずなわら挿入方向側にある。Note that when the large intestine 20 is curved as shown in FIG. 4, the center of gravity of the folds differs depending on the fold, as shown in FIG. In the case of Figure 5, the center of gravity of the inner fold is
It is on the insertion direction side.
この重心の変位量は、湾曲量が大きいほど大きくなる。The amount of displacement of the center of gravity increases as the amount of curvature increases.
従って、複数のヒダの重心の変位間から大腸２０の湾曲
量を検出することもできる。Therefore, the amount of curvature of the large intestine 20 can also be detected from the displacement of the center of gravity of a plurality of folds.
このように、本実施例によれば、第１ステツプないし第
４ステツプによってヒダの形状を求め、このヒダの形状
に基づいて、第５ステツプで、内視鏡の挿入方向を判断
することにより、簡単に、内視鏡の挿入方向を検出する
ことができる。As described above, according to this embodiment, the shape of the fold is determined in the first to fourth steps, and the direction of insertion of the endoscope is determined in the fifth step based on the shape of the fold. The insertion direction of the endoscope can be easily detected.
また、第１ステツプで内視鏡画像中の不連続点くエツジ
ポイント）を抽出Ｊる際に、基準値を低めに設定し、勾
配０の値がある程度小さなものも残しておくことにより
、ノイズ等の影響を受けることなく、必要な不連続点く
エツジポイント）を抽出することが可能になる。In addition, when extracting discontinuous edge points in the endoscopic image in the first step, the reference value is set to a low value, and by leaving in some cases where the value of gradient 0 is small, noise can be reduced. It becomes possible to extract necessary discontinuous points (edge points) without being affected by
また、第２ステツプにおいて、修正ｌ−１０ＬＪ Ｑ
ｈ変換を利用して、線セグメン１〜の候補を抽出する際
や、第３スデツプにおいて、Ｐ ｅ ｒ ｃ ｅ ｐ
ｔ Ｕａｌ ｇｒｏｕｐｉｎｇを行い、分割画像の各
々から最適な線セグメントを抽出する際に、内視鏡画像
を小領域に分割することにより、複数のコンビコータに
よる並列処理が可能となり、演算時間の短縮ができる。Also, in the second step, the modified l-10LJ Q
When extracting candidates for line segments 1 to 1 using the h transformation, or in the third step, P erce p
When performing T-Ual grouping and extracting the optimal line segment from each divided image, by dividing the endoscopic image into small regions, parallel processing using multiple combi coaters becomes possible, reducing calculation time. can.
また、第４ステツプにおいて、スタート線セグメントを
抽出Ｊるに当り、ピラミッド型４重ツリー構造を利用し
ているので、処理時間を著しく短縮することができる。Furthermore, in the fourth step, when extracting the start line segment, the pyramid-shaped quadruple tree structure is utilized, so that the processing time can be significantly shortened.
尚、本実施例では、第１ステツプにおいて不運、続点を
抽出する当って、グレイレベルに着目しているが、前述
のように色に着目しても良い。In this embodiment, in extracting unlucky and continuation points in the first step, attention is paid to gray level, but color may be taken into consideration as described above.
色に着目した場合、例えば、色相や彩度の変化率を検査
し、色相や彩度が変化するところを抽出するようにしで
も良い。When focusing on color, for example, the rate of change in hue or saturation may be inspected, and areas where hue or saturation change may be extracted.
例えば、原画からＣＩ Ｆ−ＲＧ Ｂ表色系の三原色成
分（三刺激値）Ｒ，Ｇ、Ｂが得られる場合、色相θは、
以下の（２−１）式を用いて、（２２）式で表すことが
できる。For example, if the three primary color components (tristimulus values) R, G, and B of the CI F-RG B color system are obtained from the original image, the hue θ is
It can be expressed by equation (22) using equation (2-1) below.
ｆ］丁［（ｒ−１／３）２ ＋（ｇ−１／３）２
＋（ｂｌ／３）２ ］・・・ （２−１）
θ−θ１ （ｇ≧ｂ）、 ０＝２π−θｔ （ｑ＜
ｂ）・・・ （２−２）
ただし、ｒ ＝ Ｒ／ （Ｒ＋ Ｇ 十Ｂ ＞ａ＝Ｇ／
（Ｒ十Ｇ十Ｂ＞
ｂ ＝ ８ ／ （Ｒ十Ｇ −＋−１３＞また、彩度Ｓ
は、（２−３＞式で表すことができる。f] Ding [(r-1/3)2 + (g-1/3)2
+(bl/3)2]... (2-1) θ-θ1 (g≧b), 0=2π-θt (q<
b)... (2-2) However, r = R/ (R+ G 1 B > a = G/
(R1G1B> b = 8 / (R1G -+-13> Also, saturation S
can be expressed as (2-3>).
Ｓ＝１−３ｍ ｉ ｎ （ｒ、（Ｊ、ｂ） ・ （２−
３）尚、ｍｉ ｎ （ｒ、ｇ、ｂ）は、ｒ、ｇ、ｂの最
小値を示す。S=1-3min (r, (J, b) ・ (2-
3) Note that min (r, g, b) indicates the minimum value of r, g, and b.
このように、原画の画素ごとに、色相や彩度を数値化す
ると、グレイレベルに着目した場合と同様に空間フィル
タリング等によって、色相や彩度が変化するところを抽
出ザることができる。そして、グレイレベルに着目した
場合と同様に、第２ステツプないし第５ステツプを行う
ことにより、色に着目してヒダを抽出することができる
。In this way, by quantifying the hue and saturation for each pixel of the original image, it is possible to extract changes in hue and saturation by spatial filtering, etc., in the same way as when focusing on gray levels. Then, by performing the second to fifth steps in the same manner as when focusing on the gray level, it is possible to extract folds by focusing on the color.
また、原画がＮＴＳＣ信号で与えられる場合には、クロ
ミブンス信号の位相から色相を得ることができ、クロミ
プンス信号の振幅から彩度を得ることができる。Furthermore, when the original image is given as an NTSC signal, the hue can be obtained from the phase of the chromipuns signal, and the saturation can be obtained from the amplitude of the chromipuns signal.
また、特定の色成分の値に着目しても良い。Alternatively, attention may be paid to the value of a specific color component.
尚、本発明の方法によって検出され／ｊ内視鏡の挿入方
向に対し、内視鏡操作者が、湾曲操作により、内視鏡を
挿入してｂ良いし、装置によって自動的に先端部を向（
プ、挿入しても良い。In addition, the endoscope operator can insert the endoscope by bending the endoscope in the insertion direction detected by the method of the present invention, or the distal end can be automatically adjusted by the device. Direction (
You can also insert it.
［発明の効果１
以上説明したように本発明によれば、ヒダの形状を抽出
して、このヒダの形状に基づいて判断することにより、
簡単に、内視鏡の挿入方向を検出することができるとい
う効果がある。[Effect of the invention 1 As explained above, according to the present invention, by extracting the shape of the folds and making a judgment based on the shape of the folds,
This has the advantage that the insertion direction of the endoscope can be easily detected.
第１図ないし第３１図は本発明の一つ実施例に係り、第
１図は本発明の一実施例の方法を示１フローチャート、
第２図は大腸への内視鏡の挿入を示？ｌ−説明図、第３
図は内視鏡挿入部の先端部を示す斜視図、第４図は大腸
の屈曲部分への内視鏡の挿入を示す説明図、第５図は第
４図の状態における内視鏡像を示す説明図、第６図は大
腸の直線部分への内？ｌ鏡の挿入を示づ説明図、第７図
は第６図の状態における内祝鏡像を示す説明図、第８図
はファイパスコープと外付りブレビカメラを用いた内視
鏡装置の例を示す説明図、第９図はビデオスコープを用
いた内視鏡装置の例を示す説明図、第１０図は第１ステ
ツプにおける空間フィルタリングの使用を説明するため
の図、第１１図（ａ）はＸ方向の勾配を求める加重マト
リクスを示す説明図、第１１図（ｂ）はＸ方向の勾配を
求める加重マトリクスを示す説明図、第１２図は第１ス
テツプで゛得られた画像を８×８画素の小方形に分割し
た状態を示す説明図、第１３図は８×８画素の小方形を
示す説明図、第１４図は８×８画素の小領域にあるヒダ
の線セグメントを示す説明図、第１５図は修正Ｉ−１０
Ｕ ｑ ｈ変換を覆る為に外周にアドレスを付けた８×
８画素の小方形を示す説明図、第１６図は直線を修正１
−ｌ ｃ） ｕ ｇ ｈ変換して得られる配列要素を示
す説明図、第１７図は直線を修正Ｈｏ ｕ ｇ ｈ変換
した配列要素と、各配列要素に対応する直線上に存在す
るエツジポイントの数の一例を示す説明図、第１８図は
エツジポイントの数の多い直線を示す表、第１９図は小
方形内のラインセグメントを示す説明図、第２０図はエ
ツジの方位によるグループ分【ノを示す表、第２１図は
連続性によるグループ分１ノを丞ず表、第２２図は連続
性によるグループ分りを説明するための小方形上のエツ
ジポイントを示ず説明図、第２３図はＰｅｒｃｅｐｔｕ
ａｌ ｇｒｏｕｐｉｎｇの結果の一例を示す表、第２
４図はピラミッド型４重ツリー構造を示す説明図、第２
５図は第４ステツプを示すフローヂャート、第２６図（
ａ）ないしくｄ）は線セグメントの連結の際に次にサー
チする小方形を示す説明図、第２７図＜ａ）ないしくｄ
）はヒダの形状から挿入方向を決定ザる方法を示す説明
図、第２８図はリングの重心を求めるステップを示すフ
ローヂャート、第２９図はヒダの楕円を示づ説明図、第
３０図はリングの重心のｙ座標を求めるステップを示す
説明図、第３１図はリングの重心のＸ座標を求めるステ
ップを示す説明図である。
１・・・内視鏡 ２・・・挿入部２０・・・
大腸
どＩに−
００Ｆ’−（ＯＩＯ？ｒＱＮ −
力一一
￥１８
蕾１甲１と１す
ψ！Ｑ！ｔりさ＝９０
８更５拠泣Ｘ−さ
第１９図
（轟
・・・・ノイズ゛にａるエツヅボインθ第２０囚
夕ｊ
千ダリ
（１，８）
（１，７）
（２，７）
（３，４）
（３，３）
（３，１）
（４，１）
２３４５６７Ｂ
−一→−工
１゜
第２６眼。）
第２６５！（ｃ ＞
第２７図（ａ）
第２６図（ｂ）
第２７図（ｂ）
第２７図（ｄ）1 to 31 relate to one embodiment of the present invention, and FIG. 1 shows a method of one embodiment of the present invention; 1 flowchart;
Figure 2 shows the insertion of the endoscope into the large intestine? l-Illustrative diagram, 3rd
The figure is a perspective view showing the tip of the endoscope insertion part, Figure 4 is an explanatory diagram showing insertion of the endoscope into the bent part of the large intestine, and Figure 5 is an image of the endoscope in the state shown in Figure 4. Explanatory diagram, Figure 6 is the inside of the straight part of the large intestine? Figure 7 is an explanatory diagram showing the insertion of the mirror, Figure 7 is an explanatory diagram showing the internal mirror image in the state shown in Figure 6, and Figure 8 is an example of an endoscope device using a fiberscope and an external blurry camera. FIG. 9 is an explanatory diagram showing an example of an endoscope device using a video scope. FIG. 10 is a diagram for explaining the use of spatial filtering in the first step. Figure 11(b) is an explanatory diagram showing a weighted matrix for determining the gradient in the X direction. Figure 12 is an explanatory diagram showing the weighted matrix for determining the gradient in the X direction. FIG. 13 is an explanatory diagram showing a small rectangle of 8×8 pixels, FIG. 14 is an explanatory diagram showing a fold line segment in a small area of 8×8 pixels, Figure 15 is modified I-10
8× with addresses attached to the outer periphery to cover the U q h transformation
An explanatory diagram showing a small rectangle of 8 pixels, Figure 16 is a straight line correction 1
-l c) Figure 17 is an explanatory diagram showing the array elements obtained by the u g h transformation. Fig. 18 is an explanatory diagram showing an example of the number of edge points, Fig. 18 is a table showing straight lines with a large number of edge points, Fig. 19 is an explanatory drawing showing line segments within a small rectangle, and Fig. 20 is a table showing line segments according to edge orientation. Fig. 21 is a table showing the grouping by continuity without showing the edge points, Fig. 22 is an explanatory diagram without showing edge points on a small rectangle to explain grouping by continuity, and Fig. 23 is a table showing the grouping by continuity. Perceptu
Table 2 showing an example of the results of al grouping.
Figure 4 is an explanatory diagram showing the pyramid-shaped quadruple tree structure, the second
Figure 5 is a flowchart showing the fourth step, and Figure 26 (
a) or d) is an explanatory diagram showing the next small rectangle to be searched when connecting line segments; FIG. 27<a) or d
) is an explanatory diagram showing the method of determining the insertion direction from the shape of the fold, Figure 28 is a flowchart showing the step of determining the center of gravity of the ring, Figure 29 is an explanatory diagram showing the ellipse of the fold, and Figure 30 is the ring FIG. 31 is an explanatory diagram showing the step of determining the y-coordinate of the center of gravity of the ring, and FIG. 31 is an explanatory diagram showing the step of determining the X-coordinate of the center of gravity of the ring. 1... Endoscope 2... Insertion section 20...
To the large intestine - 00F'- (OIO? rQN - Rikiichi 18 buds 1 and 1 ψ! Q!t Risa = 90 8 more 5 points X-sa Fig. 19 (Todoroki... Etsuboin θ 20th prisoner in noise 1,000 (1,8) (1,7) (2,7) (3,4) (3,3) (3,1) (4,1) 234567B -1→-work 1° 26th eye.) 265! (c > Fig. 27 (a) Fig. 26 (b) Fig. 27 (b) Fig. 27 (d)
Claims (1)
を抽出する手順を備え、この手順によって抽出されたヒ
ダの形状に基づいて内視鏡の挿入方向を判断することを
特徴とする内視鏡の挿入方向の検出方法。The endoscopic device comprises a procedure for extracting the shape of folds existing on the inner wall of an observed region from an endoscopic image, and determines the insertion direction of the endoscope based on the shape of the folds extracted by this procedure. How to detect the insertion direction of the endoscope.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB888830465A GB8830465D0 (en) | 1988-12-31 | 1988-12-31 | Methods of detecting endoscope insertion direction |
| GB8830465.4 | 1988-12-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02182231A true JPH02182231A (en) | 1990-07-16 |
| JP2680111B2 JP2680111B2 (en) | 1997-11-19 |
Family
ID=10649321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1055814A Expired - Lifetime JP2680111B2 (en) | 1988-12-31 | 1989-03-07 | Endoscope insertion direction detection method |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US4916533A (en) |
| JP (1) | JP2680111B2 (en) |
| GB (2) | GB8830465D0 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003093328A (en) * | 2001-09-25 | 2003-04-02 | Olympus Optical Co Ltd | Endoscope insertion direction detection method and endoscope insertion direction detection device |
| WO2004045397A1 (en) * | 2002-11-20 | 2004-06-03 | Olympus Corporation | Endoscope insertion direction detecting device, endoscope insertion direction detecting system, and endoscope insertion direction detecting method |
| JP2007282857A (en) * | 2006-04-17 | 2007-11-01 | Olympus Medical Systems Corp | Endoscope insertion direction detecting device and endoscope insertion direction detecting method |
| JP2011235176A (en) * | 2011-08-15 | 2011-11-24 | Olympus Corp | Method and device for detecting insertion direction of endoscope |
| WO2021100429A1 (en) * | 2019-11-18 | 2021-05-27 | ソニー株式会社 | Information processing device, information processing method, and program |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5018509A (en) * | 1989-02-21 | 1991-05-28 | Olympus Optical Co., Ltd. | Endoscope insertion controlling apparatus |
| JPH034831A (en) * | 1989-06-01 | 1991-01-10 | Toshiba Corp | Endoscope device |
| GB2238440B (en) * | 1989-11-24 | 1994-07-27 | Olympus Optical Co | Methods of detecting endoscope insertion direction |
| US5469254A (en) * | 1992-04-06 | 1995-11-21 | Olympus Optical Co., Ltd. | Method and apparatus for measuring three-dimensional position of a pipe from image of the pipe in an endoscopic observation system |
| AU2002951762A0 (en) * | 2002-10-01 | 2002-10-17 | Spinemed Australia Pty Limited | Intervertebral disc restoration |
| AU2003266817B2 (en) * | 2002-10-01 | 2007-05-31 | Spinecell Pty Ltd | Mapping and viewing device for an intervertebral disc |
| US20110153021A1 (en) * | 2002-10-01 | 2011-06-23 | Spinecell Pty Ltd. Acn 114 462 725 | Nucleus pulposus replacement device |
| US20040199053A1 (en) * | 2003-04-01 | 2004-10-07 | Scimed Life Systems, Inc. | Autosteering vision endoscope |
| US7479106B2 (en) | 2004-09-30 | 2009-01-20 | Boston Scientific Scimed, Inc. | Automated control of irrigation and aspiration in a single-use endoscope |
| KR100825190B1 (en) | 2007-01-31 | 2008-04-24 | 코럼나 피티와이 리미티드 | A system for mapping the interior of bodily cavity of a patient, the device therof and the method thereof. |
| WO2009069395A1 (en) * | 2007-11-29 | 2009-06-04 | Olympus Medical Systems Corp. | Endoscope curve control device and endoscope system |
| CN102123650B (en) * | 2009-01-29 | 2014-04-16 | 奥林巴斯医疗株式会社 | Endoscope system |
| TWI432168B (en) * | 2009-12-31 | 2014-04-01 | Univ Nat Yunlin Sci & Tech | Endoscope navigation method and endoscopy navigation system |
| JP5530406B2 (en) * | 2011-08-15 | 2014-06-25 | オリンパス株式会社 | Method of operating endoscope insertion direction detection device and endoscope insertion direction detection device |
| EP3200155B1 (en) * | 2014-05-14 | 2019-07-31 | Sync-RX, Ltd. | Object identification |
| WO2016149155A1 (en) * | 2015-03-13 | 2016-09-22 | Richard Awdeh | Methods and systems for regitration using a microscope insert |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5784421A (en) * | 1981-06-23 | 1982-05-26 | Olympus Optical Co Ltd | Endoscope |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6486937A (en) * | 1987-09-30 | 1989-03-31 | Toshiba Corp | Measuring endoscopic apparatus |
-
1988
- 1988-12-31 GB GB888830465A patent/GB8830465D0/en active Pending
-
1989
- 1989-03-07 JP JP1055814A patent/JP2680111B2/en not_active Expired - Lifetime
- 1989-03-30 US US07/330,523 patent/US4916533A/en not_active Expired - Lifetime
- 1989-12-29 GB GB8929347A patent/GB2227836B/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5784421A (en) * | 1981-06-23 | 1982-05-26 | Olympus Optical Co Ltd | Endoscope |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003093328A (en) * | 2001-09-25 | 2003-04-02 | Olympus Optical Co Ltd | Endoscope insertion direction detection method and endoscope insertion direction detection device |
| WO2003026497A1 (en) * | 2001-09-25 | 2003-04-03 | Olympus Corporation | Endoscope insertion direction sensing method and endoscope insertion direction sensing apparatus |
| US7258664B2 (en) | 2001-09-25 | 2007-08-21 | Olympus Corporation | Endoscope inserting direction detecting method and endoscope inserting direction detecting system |
| US7811226B2 (en) | 2001-09-25 | 2010-10-12 | Olympus Corporation | Endoscope inserting direction detecting method |
| US7854699B2 (en) | 2001-09-25 | 2010-12-21 | Olympus Corporation | Endoscope inserting direction detecting method |
| US7878971B2 (en) | 2001-09-25 | 2011-02-01 | Olympus Corporation | Endoscope inserting direction detecting method |
| US7905829B2 (en) | 2001-09-25 | 2011-03-15 | Olympus Corporation | Endoscope inserting direction detecting method and endoscope inserting direction detecting system |
| WO2004045397A1 (en) * | 2002-11-20 | 2004-06-03 | Olympus Corporation | Endoscope insertion direction detecting device, endoscope insertion direction detecting system, and endoscope insertion direction detecting method |
| US7559888B2 (en) | 2002-11-20 | 2009-07-14 | Olympus Corporation | Endoscope insertion direction detecting system |
| JP2007282857A (en) * | 2006-04-17 | 2007-11-01 | Olympus Medical Systems Corp | Endoscope insertion direction detecting device and endoscope insertion direction detecting method |
| JP2011235176A (en) * | 2011-08-15 | 2011-11-24 | Olympus Corp | Method and device for detecting insertion direction of endoscope |
| WO2021100429A1 (en) * | 2019-11-18 | 2021-05-27 | ソニー株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| GB8929347D0 (en) | 1990-02-28 |
| JP2680111B2 (en) | 1997-11-19 |
| US4916533A (en) | 1990-04-10 |
| GB8830465D0 (en) | 1989-03-01 |
| GB2227836B (en) | 1993-09-15 |
| GB2227836A (en) | 1990-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH02182231A (en) | Method for detecting insert direction of endoscope | |
| EP2762059B1 (en) | Image processing device for use with endoscope, endoscope, and image processing method | |
| JP4885388B2 (en) | Endoscope insertion direction detection method | |
| WO2006087981A1 (en) | Medical image processing device, lumen image processing device, lumen image processing method, and programs for them | |
| US20090237498A1 (en) | System and methods for the improvement of images generated by fiberoptic imaging bundles | |
| WO2012165203A1 (en) | Endoscope device | |
| JP7125479B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS, METHOD OF OPERATION OF MEDICAL IMAGE PROCESSING APPARATUS, AND ENDOSCOPE SYSTEM | |
| CN105979847A (en) | Endoscopic image diagnosis support system | |
| JP2710384B2 (en) | Endoscope insertion direction detection method | |
| JP2011158549A (en) | Endoscope apparatus and program | |
| JPH03165732A (en) | Detecting method for insertion direction of endoscope | |
| JP6774552B2 (en) | Processor device, endoscopic system and how to operate the processor device | |
| JPH09313447A (en) | Analysis device for eyeground disease | |
| CN107113405A (en) | Image processing apparatus, the method for work of image processing apparatus, the working procedure of image processing apparatus and endoscope apparatus | |
| JP7385731B2 (en) | Endoscope system, image processing device operating method, and endoscope | |
| JP2020006176A (en) | Camera scope electronic variable prism | |
| CN106068093B (en) | Endoscopic system | |
| JP4077716B2 (en) | Endoscope insertion direction detection device | |
| JP5057651B2 (en) | Lumen image processing apparatus, lumen image processing method, and program therefor | |
| JP4447080B2 (en) | Endoscope device | |
| WO2019203006A1 (en) | Endoscope device, endoscope processor device, and endoscope image display method | |
| JP5602449B2 (en) | Endoscope device | |
| JPH04332523A (en) | Endoscope device for measurement | |
| WO2023013080A1 (en) | Annotation assistance method, annotation assistance program, and annotation assistance device | |
| WO2022191058A1 (en) | Endoscopic image processing device, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080801 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090801 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090801 Year of fee payment: 12 |