JP4652694B2 - Image processing method - Google Patents
Image processing method Download PDFInfo
- Publication number
- JP4652694B2 JP4652694B2 JP2004003504A JP2004003504A JP4652694B2 JP 4652694 B2 JP4652694 B2 JP 4652694B2 JP 2004003504 A JP2004003504 A JP 2004003504A JP 2004003504 A JP2004003504 A JP 2004003504A JP 4652694 B2 JP4652694 B2 JP 4652694B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing method
- image processing
- contour
- capsule endoscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、内視鏡装置により撮像した体腔内の内視鏡画像から色調、形状輪郭、粘膜表面の構造変化、及び血管走行形態変化などの病変候補領域の存在画像を検出する画像処理方法に関する。 The present invention relates to an image processing method for detecting presence images of candidate lesion areas such as color tone, shape contour, mucosal surface structural change, and blood vessel running form change from an endoscopic image in a body cavity imaged by an endoscopic device. .
医療分野においては、Ｘ線、ＣＴ、ＭＲＩ、超音波観測装置、内視鏡装置等の画像撮像機能を有する医療機器を用いた体腔内臓器の観察及び診断が広く行われている。このような画像撮像機能を有する医療機器において、例えば、内視鏡装置は、細長の挿入部を体腔内に挿入し、その挿入部の先端部に設けられた対物光学系により取り込んだ体腔内臓器像を固体撮像素子等の撮像手段により撮像し、その撮像信号を基にモニタ画面に体腔内臓器の内視鏡画像を表示させ、そのモニタ画面に表示された内視鏡画像から術者が観察及び診断を行っている。 In the medical field, observation and diagnosis of organs in a body cavity using a medical device having an image capturing function such as X-ray, CT, MRI, ultrasonic observation apparatus, and endoscopic apparatus are widely performed. In a medical device having such an image capturing function, for example, an endoscope apparatus inserts an elongated insertion portion into a body cavity, and the organ in the body cavity is captured by an objective optical system provided at the distal end portion of the insertion portion. An image is picked up by an imaging means such as a solid-state image sensor, and an endoscopic image of an organ in a body cavity is displayed on a monitor screen based on the image pickup signal, and an operator observes from the endoscopic image displayed on the monitor screen And we are conducting diagnosis.
この内視鏡装置は、消化管粘膜像を直接的に撮像することが可能であることから、粘膜の色調、病変形状、粘膜表面の微細な構造等の様々な所見を総合的に観察することが可能となっている。 Since this endoscopic device can directly capture the mucosal image of the digestive tract, it is necessary to comprehensively observe various findings such as the color tone of the mucous membrane, lesion shape, and the fine structure of the mucosal surface. Is possible.
近年、この内視鏡装置と同様に有用性が期待できる新しい画像撮像機能を有する医療機器として、カプセル型内視鏡装置が開発されている。一般に、カプセル型内視鏡装置は、被検者が口から飲み込み体内の消化管内を進行させる過程中に消化管内を撮像し、その撮像された撮像信号を体外に送信するカプセル型内視鏡と、送信された撮像信号を体外において受信し、その受信した撮像信号を記録蓄積する受信器と、この受信器に記録蓄積された撮像信号を基にモニタに撮像画像を表示させる観察装置とから構成されている。このような構成のカプセル型内視鏡装置は、本件出願人が出願している特許願２００３−１２２８０４号に示されている。 In recent years, a capsule endoscope apparatus has been developed as a medical device having a new image capturing function that can be expected to be useful in the same manner as this endoscope apparatus. In general, a capsule endoscope apparatus is a capsule endoscope that captures an image of the digestive tract during a process in which a subject swallows from the mouth and advances in the digestive tract in the body, and transmits the captured image signal to the outside of the body. A receiver that receives the transmitted imaging signal outside the body, records and stores the received imaging signal, and an observation device that displays the captured image on the monitor based on the imaging signal recorded and accumulated in the receiver Has been. A capsule endoscope apparatus having such a configuration is shown in Japanese Patent Application No. 2003-122804 filed by the present applicant.
前記カプセル型内視鏡装置は、被検者がカプセル型内視鏡を経口的に飲み込んでから体外に排出されるまでの間、体腔内を撮像し、その撮像した撮像信号を体外に設けられた受信器に送信される。このカプセル型内視鏡を被検者が飲み込んでから体腔内の食道、胃、十二指腸、小腸、及び大腸の各消化管を通過して体外に排出されるまで数時間を要する。例えば、カプセル型内視鏡は、毎秒２枚（フレーム）の画像を撮像して体外の受信器に送信するとし、このカプセル型内視鏡を飲み込んでから体外に排出するまで６時間かかったとすると、カプセル型内視鏡が体腔内を進行する間に撮像される画像数は、４３２００枚と膨大な量となる。この膨大な数の画像を観察装置に表示して、観察及び診断する場合、例えば、毎秒１０枚の画像を表示したとしても全画像数を表示するには７２分間と比較的長時間要する。この長時間にわたり表示される撮像画像を術者が観察することになるが、術者にとって時間的負荷が多大であるという問題があった。 The capsule endoscope apparatus captures an image of the inside of a body cavity from when the subject swallows the capsule endoscope orally until the subject is discharged from the body, and the captured imaging signal is provided outside the body. Sent to the receiver. It takes several hours from when the subject swallows the capsule endoscope until the subject passes through the esophagus, stomach, duodenum, small intestine, and large intestine in the body cavity and is discharged outside the body. For example, suppose that a capsule endoscope captures two images (frames) per second and transmits them to an external receiver, and it takes 6 hours from swallowing the capsule endoscope to discharging it outside the body. The number of images captured while the capsule endoscope travels inside the body cavity is a huge amount of 43200. When this enormous number of images are displayed on the observation apparatus for observation and diagnosis, for example, even if 10 images are displayed per second, it takes 72 minutes to display the total number of images. Although the surgeon observes the captured image displayed for a long time, there is a problem that the time load is great for the surgeon.
また、単位時間あたりに表示する画像数を増加させると観察時間は短縮されるが、病変部の見落とし防止と、正確な観察診断の実現という点から単位時間当たりの表示画像数には限界があり、術者による観察時間の短縮は困難となる問題があった。 Although the observation time is shortened by increasing the number of images displayed per unit time, the number of displayed images per unit time is limited in terms of preventing oversight of lesions and realizing accurate observation diagnosis. There is a problem that it is difficult for the operator to shorten the observation time.
このような問題に対して、あらかじめ病変が疑われるシーンを特定し、記録もしくは表示する画像数を変化させるカプセル型内視鏡装置が特許文献１に開示されている。この特許文献１に開示されているカプセル型内視鏡装置は、各撮像画像における色情報から、主として血液の存在を検出し、その血流の存在する画像を病変が存在する候補画像とするものである。
前記特許文献１に開示されている、病変が存在する候補画像の決定方法には、次のような課題がある。第１の課題は、特許文献１においては、あらかじめ正常粘膜及び血液の各色調の代表色を定め、対象となる画像の各ブロックの粘膜及び血液の色調と比較する方法である。この方法は、臓器毎の正常粘膜の色調の違い、あるいは粘膜色の個人差による違い等が考慮されておらず、色調変化に基づく病変候補領域の検出は不十分となる。
The method for determining a candidate image having a lesion disclosed in
第２の課題は、明確な色調変化をともなわない、例えば、同じ色調の腫瘍性病変等についてはまったく検出することができない。消化管の病変部の内視鏡画像による所見は、色調変化のみに基づくものではなく、***・陥凹等の形状、胃・大腸の小区模様等の粘膜表面の微細な構造変化、及び透見血管像における血管の走行形態の変化等、非常に多岐にわたるものである。 The second problem is that no clear change in color tone, for example, a neoplastic lesion having the same color tone, cannot be detected at all. Endoscopic findings of lesions in the gastrointestinal tract are not based on color change alone, but include shapes such as ridges and depressions, minute structural changes in the mucosal surface such as stomach and large intestine subdivision patterns, and fluoroscopy. There are a wide variety of changes such as changes in the running form of blood vessels in the blood vessel image.
本発明は、このような事情に鑑みてなされたもので、色調、形状の輪郭、粘膜表面の微細な構造変化、及び血管の走行形態の変化等の多岐に渡る内視鏡画像の所見に基づき、病変候補領域の存在する画像を検出することができる画像処理方法を提供することを目的としている。 The present invention has been made in view of such circumstances, and is based on findings of a variety of endoscopic images such as color tone, contour of shape, minute structural change of the mucosal surface, and change of blood vessel running form. An object of the present invention is to provide an image processing method capable of detecting an image in which a lesion candidate area exists.
本発明の画像処理方法は、医療機器によって画像を検出する画像処理方法であって、前記医療機器が、体腔内を撮像した複数の色信号からなる複数の画像を順次入力するステップと、前記医療機器が、前記入力された各画像の各領域毎に色調に基づく特徴量を算出するステップと、前記医療機器が、前記算出された特徴量に基づき前記各画像の各領域をクラスタリングするステップと、前記医療機器が、前記クラスタリング結果の各クラスタの１つを当該クラスタに含まれる領域数に基づいて正常な色調に対応するクラスタと判定し、前記正常な色調に対応するクラスタと他の各クラスタとの位置関係に基づいて、前記他の各クラスタが正常な色調に対応するクラスタであるか異常な色調に対応するクラスタであるかを判定するステップと、前記医療機器が、前記入力された複数の画像のうち前記異常な色調に対応するクラスタが存在する画像について異常所見領域を含む画像として検出するステップとからなることを特徴とする。
The image processing method of the present invention is an image processing method for detecting an image by a medical device, wherein the medical device sequentially inputs a plurality of images composed of a plurality of color signals obtained by imaging the inside of a body cavity; A device calculating a feature amount based on a color tone for each region of each input image ; and a step of clustering each region of each image based on the calculated feature amount by the medical device; the medical device is one of the clusters of the clustering result determines that the cluster corresponding to a normal tone based on the number of regions included in the cluster, the cluster and the other of each cluster corresponding to the normal tone Determining whether each of the other clusters is a cluster corresponding to a normal color tone or a cluster corresponding to an abnormal color tone based on the positional relationship of: Serial medical device, characterized by comprising the step of detecting an image comprising abnormal finding region for the corresponding image to the cluster are present in the abnormal color tone among the plurality of images the input.
本発明の画像処理方法の前記特徴量は、複数の色信号の比に基づくものであることを特徴とする。 In the image processing method of the present invention, the feature amount is based on a ratio of a plurality of color signals.
本発明の画像処理方法の前記画像は、ＲＧＢ画像であることを特徴とする。 The image of the image processing method of the present invention is an RGB image.
本発明の画像処理方法は、前記入力される画像がカプセル型内視鏡による撮像画像であることを特徴とする。 The image processing method of the present invention is characterized in that the input image is a captured image by a capsule endoscope.
本発明の画像処理方法は、前記入力される画像が内視鏡による撮像画像であることを特徴とする。 The image processing method of the present invention is characterized in that the input image is an image captured by an endoscope.
本発明の画像処理方法により、長時間掛けて、膨大な枚数の撮像画像から色調、及び輪郭が基準特徴と異なる撮像画像を抽出選別することができ、その抽出選別された色調、及び輪郭の基準特徴と異なる撮像画像を表示させることにより、術者による撮像画像からの所見の観察と診断の効率が向上する。 According to the image processing method of the present invention, it is possible to extract and select a captured image whose color tone and contour are different from the reference feature from a large number of captured images over a long period of time, and the extracted and selected color tone and reference of the contour By displaying a captured image different from the feature, observation efficiency and diagnosis efficiency from the captured image by the surgeon are improved.
本発明の画像処理方法は、画像における色調情報に基づき、発赤調・褪色調の色調変化又は出血を呈する異常、或いは、色調変化を伴わない***又は陥凹等の病変存在の候補画像が速やかに検出することができ、その病変存在候補画像をモニタ表示することにより、術者による病変の観察と診断時の病変存在候補画像の見落としもなく、観察と診断の時間の短縮と効率が向上する効果を有している。 According to the image processing method of the present invention, based on the color tone information in the image, a candidate image for the presence of a lesion such as a bulge or depression not accompanied by a color tone change or bleeding, or an abnormality exhibiting redness or a faint color tone, or bleeding. By displaying the lesion candidate images that can be detected and displayed on the monitor, there is no oversight of lesion candidate images at the time of diagnosis and observation by the operator, and the effect of shortening the observation and diagnosis time and improving efficiency have.
以下、本発明に係る画像処理方法の実施形態について、図面を用いて説明する。最初に、本発明に係る画像処理方法を用いるカプセル型内視鏡装置について、図１乃至図９を用いて説明する。図１は本発明に係る画像処理方法を用いるカプセル型内視鏡装置の概略構成を示すブロック図、図２は本発明に用いるカプセル型内視鏡装置のカプセル型内視鏡の概略構造を説明する説明図、図３は本発明に用いるカプセル型内視鏡装置の概略内部構成を示すブロック図、図４は本発明に用いるカプセル型内視鏡装置のカプセル型内視鏡から送信される信号構成を説明する説明図、図５は本発明に用いるカプセル型内視鏡の位置検出を説明する説明図、図６は本発明に用いるカプセル型内視鏡装置のアンテナユニットを説明する説明図、図７は本発明に用いるカプセル型内視鏡装置のシールドジャケットを説明する説明図、図８は本発明に用いるカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図、図９は本発明に用いるカプセル型内視鏡装置のカプセル型内視鏡の構成を示すブロック図である。 Hereinafter, an embodiment of an image processing method according to the present invention will be described with reference to the drawings. First, a capsule endoscope apparatus using the image processing method according to the present invention will be described with reference to FIGS. FIG. 1 is a block diagram showing a schematic configuration of a capsule endoscope apparatus using the image processing method according to the present invention, and FIG. 2 explains a schematic structure of the capsule endoscope of the capsule endoscope apparatus used in the present invention. FIG. 3 is a block diagram showing a schematic internal configuration of the capsule endoscope apparatus used in the present invention, and FIG. 4 is a signal transmitted from the capsule endoscope of the capsule endoscope apparatus used in the present invention. FIG. 5 is an explanatory diagram illustrating the position detection of the capsule endoscope used in the present invention, FIG. 6 is an explanatory diagram illustrating the antenna unit of the capsule endoscope apparatus used in the present invention, FIG. 7 is an explanatory diagram for explaining the shield jacket of the capsule endoscope apparatus used in the present invention, and FIG. 8 is an explanatory diagram for explaining how the capsule endoscope apparatus used in the present invention is mounted on the subject. FIG. 9 is used in the present invention. It is a block diagram showing a configuration of a capsule endoscope of a capsule endoscope system.
本発明の画像処理方法を用いるカプセル型内視鏡装置１は、図１（Ａ）に示すように、カプセル型内視鏡３、アンテナユニット４、及び外部装置５からなっている。カプセル型内視鏡３は、詳細は後述するが、被検体である患者２の口から体腔内に飲み込まれて蠕動運動により消化管内を進行する形状に形成され、かつ、内部に消化管内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット４は、詳細は後述するが、患者２の身体表面上に設置され、前記カプセル型内視鏡３から送信される撮像画像情報を受信する複数の受信アンテナ１１を有している。外部装置５は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット４が受信した撮像画像情報の各種処理、撮像画像情報の記録、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置５の外装の表面に前記撮像画像を表示させる液晶モニタ１２と、各種機能の操作指示を行う操作部１３が設けられている。
A
また、この外部装置５は、駆動電源用の電池の残量に関する警告表示用のＬＥＤ、操作部１３として電源スイッチが設けられている。又、カプセル型内視鏡３の内部には、ＣＰＵ及びメモリを用いた演算実行部を備え、受信及び記録した撮像画像情報に対して後述する本発明に係る画像処理方法を実行させるようにしても良い。
In addition, the
この外部装置５は、患者２の身体に装着されると共に、図１（Ｂ）に示すように、クレードル６に装着されることにより端末装置７に接続されるようになっている。この端末装置７は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体９、各種操作処理入力用のキーボード８ａとマウス８ｂ、及び各種処理結果を表示するディスプレイ８ｃからなっている。この端末装置７の基本的機能としては、前記外部装置５に記録されている撮像画像情報をクレードル６を介して取り込み、端末本体９に内蔵されている書換可能なメモリ、或いは端末本体９に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記録させ、かつ、その記録した撮像画像情報をディスプレイ８ｃに表示する画像処理を行う。なお、前記外部装置５に記憶されている撮像画像情報は、前記クレードル６に代えて、ＵＳＢケーブル等によって端末装置７に取り込まれるようにしても良い。
The
この端末装置７の画像処理は、前記外部装置５から取り込み記録した撮像画像情報から経過時間に応じて表示させる画像の選択、及び後述する本発明に係る画像処理方法による病変部の存在する可能性を示す異常所見の画像の検索等を行う。
In the image processing of the
次に、前記カプセル型内視鏡３の外形と内部構造について、図２を用いて説明する。カプセル型内視鏡３は、断面がＵ字状の外装部材１４と、この外装部材１４の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状のカバー部材１４ａとからなるカプセル形に形成されている。
Next, the external shape and internal structure of the
この外装部材１４とカバー部材１４ａからなるカプセル形状の内部中空部には、前記カバー部材１４ａの半球の円弧の中央部分の内部には、カバー部材１４ａを介して入射された観察部位像を取り込む対物レンズ１５がレンズ枠１６に収納されて配置されている。この対物レンズ１５の結像位置には、撮像素子である電荷結合素子（以下、ＣＣＤと称する）１７が配置されている。また、前記対物レンズ１５を収納するレンズ枠１６の周囲には、照明光を発光放射させる４つの白色系のＬＥＤ１８が同一平面上に配置されている（図中には２つのＬＥＤのみを表記している）。前記ＣＣＤ１７の後端側の前記外装部材１４の中空部には、前記ＣＣＤ１７を駆動制御して光電変換された撮像信号の生成と、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理と、及び前記ＬＥＤ１８の点灯・非点灯の動作を制御するＬＥＤ駆動の処理とを行う処理回路１９、この処理回路１９の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路２０、この通信処理回路２０からの無線信号を外部に送信する送信アンテナ２３、前記処理回路１９と通信処理回路２０の駆動用電源を供給する複数のボタン型の電池２１が配置されている。
In the capsule-shaped internal hollow portion composed of the
なお、ＣＣＤ１７、ＬＥＤ１８、処理回路１９、通信処理回路２０、及び送信アンテナ２３は、図示しない基板上に配置され、それらの基板の間は、フレキシブル基板にて接続されている。また、前記処理回路１９には、後述する画像処理を行うための図示していない演算回路を備えている。つまり、前記カプセル型内視鏡３は、図３に示すように、前記ＣＣＤ１７、ＬＥＤ１７、及び処理回路１９からなる撮像装置４３と、前記通信処理回路２０を含む送信器３７と、並びに送信アンテナ２３からなる。
The
次に、前記カプセル型内視鏡３の撮像装置４３の詳細構成について、図９を用いて説明する。撮像装置４３は、ＬＥＤ１８の点灯及び非点灯の動作を制御するＬＥＤドライバ１８Ａ、ＣＣＤ１７の駆動を制御して光電変換された電荷の転送を行う為のＣＣＤドライバ１７Ａ、前記ＣＣＤ１７から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路１９Ａ、前記ＬＥＤドライバ１８ＡとＣＣＤドライバ１７Ａと処理回路１９Ａと及び送信器３７に電池２１からの駆動電源を供給するスイッチ１９、並びに前記スイッチ１９とＣＣＤドライバ１７Ａにタイミング信号を供給するタイミングジェネレータ１９Ｂからなっている。なお、スイッチ１９は、電池２１から前記ＬＥＤドライバ１８Ａへの電源供給をオン・オフをするスイッチ１９Ｃと、前記ＣＣＤ１７、ＣＣＤドライバ１７Ａ、及び処理回路１９Ａへの電源供給をオン・オフするスイッチ１９Ｄ、並びに、前記送信器３７への電源供給をオン・オフするスイッチ１９Ｅからなっている。前記タイミングジェネレータ１９Ｂには、電池２１から常時駆動電源が供給されるようになっている。
Next, a detailed configuration of the
このような構成のカプセル型内視鏡３の撮像装置４３は、スイッチ１９Ｃ〜１９Ｅがオフ状態であると、タイミングジェネレータ１９Ｂ以外は非動作状態である。このタイミングジェネレータ１９Ｂからのタイミング信号により、前記スイッチ１９Ｄがオンされると、ＣＣＤ１７、ＣＣＤドライバ１７Ａ、処理回路１９Ａへ電池２１から電源が供給されて動作状態となる。
When the
前記ＣＣＤ１７の駆動初期時に、ＣＣＤ１７の電子シャッターを動作させて、不要な暗電流を除去した後、タイミングジェネレータ１９Ｂは、スイッチ１９ＣをオンさせてＬＥＤドライバ１８Ａを駆動させてＬＥＤ１８を点灯させＣＣＤ１７を露光する。ＬＥＤ１８は、ＣＣＤ１７の所定の露光時間の間点灯させた後、消費電力低減の為にスイッチ１９ＣをオフさせてＬＥＤ１８を消灯される。
At the initial stage of the driving of the
前記ＣＣＤ１７の露光期間に蓄えられた電荷は、ＣＣＤドライバ１７Ａの制御により処理回路１９Ａへ転送される。処理回路１９Ａでは、ＣＣＤ１７から転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。この内視鏡画像信号は、送信器３７から送信する信号が、例えば、アナログ無線方式ならＣＤＳ出力信号に対して複合同期信号を重畳させたアナログ撮像画像信号を生成して送信器３７へ出力する。また、デジタル無線方式ならアナログ／デジタルコンバータで撮像画像信号をデジタル信号に変換した後、シリアル信号に変換し、スクランブル等の符号化処理を施してデジタル撮像画像信号を送信器３７へ出力する。
The charge stored during the exposure period of the
この送信器３７は、前記処理回路１９Ａから供給されたアナログ、又はデジタル撮像画像信号に対して変調処理を施して送信アンテナ２３から外部へ無線送信する。この時、スイッチ１９Ｅは、タイミングジェネレータ１９Ｂにより前記処理回路１９Ａから撮像画像信号が出力された時のみ送信器３７に駆動電力が供給するようにオン・オフ操作される。
The
なお、スイッチ１９Ｅは、処理回路１９Ａから撮像画像信号が出力されてから所定時間経過後に、送信器３７に駆動電力を供給するように制御しても良い。また、カプセル型内視鏡３に設けられた、図示しないｐＨセンサーにより、所定値のｐＨ値を検出したり、湿度センサーにより、所定値以上の湿度を検出したり、又は圧力センサー、或いは加速度センサーにより所定値以上の圧力、或いは加速度を検出したりすることにより被検体である患者２の体腔内に挿入されたことを検出して、この検出信号に基づいて、送信器３７に電源を供給するようにスイッチ１９Ｅを制御するようにしても良い。
Note that the switch 19E may be controlled to supply driving power to the
なお、前記カプセル型内視鏡２の撮像装置４３は、通常毎秒２枚の画像（毎秒２フレーム＝２ｆｐｓ）を撮像するものであるが、例えば、食道の検査の場合は、毎秒１５〜３０枚の画像（１５ｆｐｓ〜３０ｆｐｓ）を撮像できるようにする。具体的には、カプセル型内視鏡３に、図示しないタイマー回路を設け、このタイマー回路によるタイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるよう撮像装置４３の駆動を制御させる。或いは、カプセル型内視鏡３の電源の投入と共にタイマー回路を作動させて、患者２が飲み込んだ直後の食道を通過するまでの時間は、高速撮像となるように制御することも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使い分けるようにしても良い。
The
次に、前記患者２の身体表面上に設置されるアンテナユニット４について説明する。図１（Ａ）に示すようにカプセル型内視鏡３を飲み込んで内視鏡検査を行う場合、患者２は、複数の受信アンテナ１１からなるアンテナユニット４が設置されたジャケット１０を装着する。このアンテナユニット４は、図６に示すように、たとえば、ＧＰＳに使用されているパッチアンテナのような単方向の指向性を有する複数の受信アンテナ１１を患者２の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡３のカプセル本体３Ｄは、身体内に留置されるわけであるから、その身体内のカプセル本体３Ｄを取り囲むように前記複数のアンテナ１１が配置させる。この指向性の高いアンテナ１１を使用することで、身体内のカプセル本体３Ｄ以外からの電波による干渉妨害の影響を受けにくくしている。
Next, the
前記ジャケット１０は、図７に示すように、患者２の身体表面に設置する前記アンテナユニット４と、ベルトにより患者２の腰に設置された外部装置５の本体部５Ｄを覆うように電磁シールド繊維で形成されたシールドジャケット７２である。このシールドジャケット７２を形成する電磁シールド繊維は、金属繊維、金属化学繊維、硫化銅含有繊維等が用いられている。なお、このシールドジャケット７２は、ジャケット形状以外に、ベスト、及びワンピース形状でも良い。
As shown in FIG. 7, the
又、前記シールドジャケット７２に前記外部装置５を装着する例として、図８に示すように、前記外部装置５の外部本体５Ｄに鍵穴７４を設け、前記シールドジャケット７２に設けた鍵７５を前記鍵穴７４に差し込むことにより、ベルト７３に着脱自在に装着できるようにする。或いは、単にシールドジャケット７２に図示しないポケットを設けて、そのポケットに外部本体５Ｄを収納したり、又は、外部装置５の外部本体５Ｄとシールドジャケット７２にマジックテープ（登録商標）を設置して、そのマジックテープ（登録商標）により取付固定しても良い。
As an example of attaching the
つまり、アンテナユニット４が配置された身体にシールドジャケット７２を装着することにより、アンテナユニット４に対する外部からの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けにくくしている。
That is, by attaching the
次に、前記アンテナユニット４と外部装置５の構成について、図３を用いて説明する。前記アンテナユニット４は、前記カプセル型内視鏡３の送信アンテナ２３から送信された無線信号を受信する複数の受信アンテナ１１ａ〜１１ｄ、このアンテナ１１ａ〜１１ｄを切り換えるアンテナ切換スイッチ４５からなる。前記外部装置５は、アンテナ切換スイッチ４５からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路３３、この受信回路３３から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号と、撮像画像データを生成する信号処理回路３５、この信号処理回路３５により生成された撮像画像表示用信号により、撮像画像を表示させる液晶モニタ１２、前記信号処理回路３５により生成された撮像画像データを記憶するメモリ４７、及び前記受信回路３３により受信処理された無線信号の大きさにより前記アンテナ切換スイッチ４５を制御するアンテナ選択回路４６とからなる。
Next, the configuration of the
前記アンテナユニット４の図中受信アンテナ１１ａ〜１１ｄとして示した複数の受信アンテナ１１は、前記カプセル型内視鏡３の送信アンテナ２３から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ１１ａ〜１１ｄは、前記外部装置５のアンテナ選択回路４６からのアンテナ選択信号によりアンテナ切替スイッチ４５が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スイッチ４５により順次切り替えられた各受信アンテナ１１ａ〜ｄ毎に受信した無線信号が前記受信器３３に出力される。この受信器３３において、各受信アンテナ１１ａ〜１１ｄ毎の無線信号の受信強度を検出して、各受信アンテナ１１ａ〜１１ｄとカプセル型内視鏡３の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路３５へと出力する。前記アンテナ選択回路４６は、前記受信器３３からの出力によって制御される。
A plurality of receiving
前記アンテナ選択回路４６によるアンテナ切替スイッチ４５の動作について説明する。前記カプセル型内視鏡３から送信される無線信号は、図４に示すように、撮像画像信号の１フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。
The operation of the
前記アンテナ選択回路４６は、前記受信回路３３を介して、各受信アンテナ１１ａ〜１１ｄが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路４６は、前記受信器３３からの供給された各アンテナ１１ａ〜１１ｄの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高いアンテナ１１ｉ（ｉ＝ａ〜ｄ）を決定して、アンテナ切替回路４５をそのアンテナ１１ｉに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分から切り替えるようにする。
The
このように、カプセル型内視鏡３からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路４６によって受信強度が最大となるアンテナ１１ｉを画像信号受信用のアンテナとを指定するようにしている。これにより、カプセル型内視鏡３が患者２の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ１１により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡３の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作１回につき常にアンテナ切替動作を１回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を１回行うようにしてもよい。
Thus, every time a radio signal is received from the
なお、カプセル型内視鏡３は、患者２の体内を移動しているので、適宜の時間間隔で外部装置５から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡３が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡３が患者２の体内を移動した場合にも、適切な送信出力に設定でき、電池２１のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。
Since the
次に、前記複数の受信アンテナ１１とカプセル型内視鏡３の位置関係を示す情報の取得方法について、図５を用いて説明する。なお、図５において、カプセル型内視鏡３を３次元座標Ｘ、Ｙ、Ｚの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ１１ａ〜１１ｄのうち、説明を簡単化するために、３つの受信アンテナ１１ａ、１１ｂ、１１ｃを用い、受信アンテナ１１ａと受信アンテナ１１ｂとの間の距離をＤａｂ、受信アンテナ１１ｂと受信アンテナ１１ｃとの間の距離をＤｂｃ、受信アンテナ１１ａと受信アンテナ１１ｃとの間の距離Ｄａｃとしている。さらに、この受信アンテナ１１ａ〜１１ｃとカプセル型内視鏡３の間は、所定の距離関係としている。
Next, a method for acquiring information indicating the positional relationship between the plurality of receiving
カプセル型内視鏡３の送信された一定の送信強度の無線信号は、各受信アンテナ１１ｊ（ｊ＝ａ、ｂ、ｃ）で受信した場合の受信強度は、カプセル型内視鏡３（カプセル型内視鏡３の送信アンテナ２３）からの距離Ｌｉ（ｉ＝ａ，ｂ，ｃ）の関数となる。具体的には電波減衰量が伴う距離Ｌｉに依存する。従って、カプセル型内視鏡３から送信された無線信号の受信アンテナ１１ｊにより受信した受信強度からカプセル型内視鏡３と各受信アンテナ１１ｊとの間の距離Ｌｉを算出する。この距離Ｌｉの算出には、前記カプセル型内視鏡３と受信アンテナ１１ｊの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路４６に設定する。又、その算出されたカプセル型内視鏡３と各受信アンテナ１１ｊの位置関係を示す距離データは、前記メモリ４７にカプセル型内視鏡３の位置情報として記憶させる。このメモリ４７に記憶された撮像画像情報及びカプセル型内視鏡３の位置情報を基に、前記端末機７による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。
When the radio signal having a constant transmission intensity transmitted from the
次に、本発明に係る画像処理方法について、図１０乃至図２２を用いて説明する。図１０は、本発明に係る画像処理方法の一実施形態における病変候補画像の決定処理の処理動作を説明するフローチャート、図１１は本発明に係る病変候補画像の処理における粘膜の色調による異常の検出例を説明する説明図、図１２は本発明に係る病変候補画像の処理における発赤・出血の検出例を説明する説明図、図１３は本発明に係る画像処理方法における輪郭情報による異常検出の処理動作を説明するフローチャート、図１４は本発明に係る画像処理方法の輪郭情報による異常検出における輪郭抽出フィルタを説明する説明図、図１５は本発明に係る輪郭情報の検出例を説明する説明図、図１６は本発明に係る輪郭情報である襞の検出例を説明する説明図、図１７は本発明に係る輪郭情報の病変検出例を説明する説明図、図１８は本発明にかかる画像処理方法における***・陥凹のともなう病変部の検出処理動作を説明するフローチャート、図１９は本発明に係る***・陥凹の検出時の輪郭抽出例を説明する説明図、図２０は本発明に係る***・陥凹の検出時の輪郭抽出の一致と評価方法を説明する説明図、図２１は本発明に係る***・陥凹の検出時の輪郭抽出による病変判断を説明する説明図、図22は本発明に係る画像処理方法における粘膜表面の微細構造および血管走行状態の病変存在候補画像の検出処理動作を説明するフローチャートである。 Next, an image processing method according to the present invention will be described with reference to FIGS. FIG. 10 is a flowchart for explaining the processing operation of a lesion candidate image determination process in an embodiment of the image processing method according to the present invention, and FIG. 11 is a detection of an abnormality due to mucosal tone in the lesion candidate image processing according to the present invention. FIG. 12 is an explanatory diagram for explaining an example of redness / bleeding detection in the lesion candidate image processing according to the present invention, and FIG. 13 is an abnormality detection process based on contour information in the image processing method according to the present invention. FIG. 14 is a flowchart for explaining the operation, FIG. 14 is a diagram for explaining the contour extraction filter in the abnormality detection based on the contour information of the image processing method according to the present invention, and FIG. 15 is a diagram for explaining the detection example of the contour information according to the present invention. FIG. 16 is an explanatory diagram for explaining an example of detection of wrinkles as contour information according to the present invention, FIG. 17 is an explanatory diagram for explaining an example of lesion detection of contour information according to the present invention, and FIG. FIG. 19 is an explanatory diagram for explaining an example of contour extraction at the time of detection of a ridge / depression according to the present invention, and FIG. 20 is a flowchart for explaining a detection processing operation of a lesion part with a ridge / depression in the image processing method according to the invention. FIG. 21 is an explanatory diagram for explaining the matching and evaluation method of contour extraction at the time of detection of ridges / recesses according to the present invention, and FIG. 21 is an explanatory diagram for explaining lesion determination by contour extraction at the time of detection of ridges / recesses according to the present invention. FIGS. 22A and 22B are flowcharts for explaining the detection processing operation of the fine structure of the mucosa surface and the lesion existence candidate image in the blood vessel running state in the image processing method according to the present invention.
この画像処理方法は、撮像画像における色調情報に基づき発赤調・褪色調の色調変化、あるいは出血を呈する異常の存在を認識し、病変存在の候補画像を検出するものである。更に、この色調情報による病変存在候補画像の検出以外に、輪郭情報による***・陥凹、及び粘膜表面の微細構造並びに血管走行形態の病変存在候補画像の検出をするものである。 This image processing method recognizes the presence of abnormalities exhibiting reddish / dark tone color changes or bleeding based on color tone information in a captured image, and detects a candidate image of the presence of a lesion. Further, in addition to the detection of the lesion presence candidate image based on the color tone information, the detection of the presence / absence candidate image of the bulge / depression based on the contour information, the fine structure of the mucous membrane surface, and the vascular running form is performed.
この検出された病変存在の候補画像は、登録され、例えば撮像画像の表示時に参照することにより病変候補の画像から観察を始めることを可能として診断観察の効率化を実現するものである。なお、これから説明する画像処理方法は、ソフトウェアにより実現されるもので、前記カプセル型内視鏡３、外部装置５、または端末装置７のいずれにおいてもこの画像処理方法を用いることができるが、ここでは、パーソナルコンピュータを用いた端末装置７に適用した例を用いて説明する。
This detected candidate image of the presence of a lesion is registered and, for example, can be started from the image of the lesion candidate by referring to the captured image when it is displayed, thereby improving the efficiency of diagnostic observation. The image processing method described below is realized by software, and this image processing method can be used in any of the
この画像処理方法の説明において、画像の大きさは、ＩＳＸ×ＩＳＹ（１≦ＩＳＸ、ＩＳＹ。例えばＩＳＸ＝６４０、ＩＳＹ＝４８０）の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３プレーンからなり、各プレーンの画素の階調数は、８ｂｉｔ、すなわち０乃至２５５の値をとるものとする。 In the description of this image processing method, the size of an image is 3 for red (R), green (G), and blue (B) of ISX × ISY (1 ≦ ISX, ISY, for example, ISX = 640, ISY = 480). It is assumed that the number of gradations of the pixels of each plane is 8 bits, that is, a value from 0 to 255.
図１０を用いて、本発明にかかる画像処理方法による病変候補画像決定のための処理動作を説明する。この病変候補画像は、前記カプセル型内視鏡３によるＫ枚の撮像画像Ｉｋ、１≦ｋ≦Ｋに対し、色調変化による異常所見の抽出に基づいて病変候補画像の判定を行う。この病変候補の画像が判定されると、その画像番号ｋを登録し、例えば、撮像画像を表示時に参照して病変候補画像から表示させて観察を始める。
A processing operation for determining a lesion candidate image by the image processing method according to the present invention will be described with reference to FIG. The lesion candidate image is determined for the K captured images Ik obtained by the
前記カプセル型内視鏡３により撮像されて、外部装置５に送信された撮像画像信号は、前記外部装置５において所定の進行処理が施されて、撮像画像信号データとして記憶される。この外部装置５に記憶された撮像画像信号データは、端末装置７に転送記憶される。この端末装置７は、記憶している撮像画像信号データを基に病変候補画像の抽出処理動作を行う。
The captured image signal captured by the
最初に、ステップＳ１において、撮像画像信号データの画像番号を示すｉを１に初期化する。次に、ステップＳ２において、撮像画像信号データの画像番号ｉの赤（Ｒｉ）、緑（Ｇｉ）、及び青（Ｂｉ）の画像を読み出す。このステップＳ２において読み出されたＲｉ，Ｇｉ，及びＢｉは、ステップＳ３において、画像Ｉｉを構成するＲＧＢの前記画像Ｒｉ、Ｇｉ及びＢｉに対する前処理を行う。本発明において、前処理としては、逆γ補正、大きさ３×３のマスクサイズでのメディアンフィルタリングを用いたノイズ抑制処理を行うものとする。前記逆γ補正及びメディアンフィルタリングについては公知の技術であるため詳細な説明は省略する、
前記ステップＳ３の前処理が終了すると、ステップＳ４において、画像をＮ×Ｍ個の矩形領域に分割する領域分割を行う。ここで、１≦Ｎ≦ＩＳＸ、１≦Ｍ≦ＩＳＹであり、Ｎ＝ＩＳＸ、かつＭ＝ＩＳＹのときは、各画素をそのままの領域として用いることとなる。例えばＩＳＸ＝６４０、ＩＳＹ＝４８０である場合、各ブロックの大きさを１０×１０となるように設定すると、Ｎ＝６４、Ｍ＝４８となる。
First, in step S1, i indicating the image number of the captured image signal data is initialized to 1. Next, in step S2, red (Ri), green (Gi), and blue (Bi) images of image number i of the captured image signal data are read. The Ri, Gi, and Bi read in step S2 perform preprocessing on the RGB images Ri, Gi, and Bi constituting the image Ii in step S3. In the present invention, as preprocessing, noise suppression processing using inverse γ correction and median filtering with a mask size of 3 × 3 is performed. Since the inverse γ correction and median filtering are known techniques, detailed description thereof is omitted.
When the preprocessing in step S3 is completed, in step S4, area division is performed to divide the image into N × M rectangular areas. Here, when 1 ≦ N ≦ ISX, 1 ≦ M ≦ ISY, and N = ISX and M = ISY, each pixel is used as it is. For example, when ISX = 640 and ISY = 480, if the size of each block is set to 10 × 10, N = 64 and M = 48.
前記ステップＳ４の領域分割が終了すると、ステップＳ５において、前記Ｎ×Ｍ個の各領域に対し、異常所見の認識に不適となる暗部及びハレーションの検出を行う。具体的には、領域内の画素ｒｉｔ、ｇｉｔ、及びｂｉｔ（ｔは画像内の画素を特定する添え字、１≦ｔ≦ＩＳＸ×ＩＳＹ）に対し、ｒｉｔ≦Ｔｄ、ｇｉｔ≦Ｔｄ、及びｂｉｔ≦Ｔｄであれば暗部に属する画素とする。ｒｉｔ≧Ｔｈ、ｇｉｔ≧Ｔｈ、及びｂｉｔ≧Ｔｈであればハレーションに属する画素と判定する。なお、前記Ｔｄ及びＴｈは、それぞれ閾値であり、本発明の実施の形態においては、Ｔｄ＝２０、Ｔｈ＝２００と設定する。領域内の画素数Ｌａに対して、暗部またはハレーションに属すると判定された画素数Ｌｎｇの割合Ｌｎｇ／Ｌａが、Ｌｎｇ／Ｌａ≧Ｔｎｇである場合には、その領域をステップＳ６以降の異常所見検出処理の適用対象から除外する。なお、Ｔｎｇは、閾値であり、本発明の実施の形態においては０．５に設定している。 When the region division in step S4 is completed, in step S5, dark portions and halation that are inappropriate for recognition of abnormal findings are detected for each of the N × M regions. Specifically, for the pixels rit, git, and bit (t is a subscript that identifies a pixel in the image, 1 ≦ t ≦ ISX × ISY), rit ≦ Td, git ≦ Td, and bit ≦ If it is Td, the pixel belongs to the dark part. If rit ≧ Th, git ≧ Th, and bit ≧ Th, it is determined that the pixel belongs to the halation. Note that Td and Th are threshold values, and Td = 20 and Th = 200 are set in the embodiment of the present invention. When the ratio Lng / La of the number of pixels Lng determined to belong to the dark portion or the halation with respect to the number of pixels La in the region is Lng / La ≧ Tng, the region is detected for abnormal findings after step S6. Exclude from processing application. Tng is a threshold value, and is set to 0.5 in the embodiment of the present invention.
次に、ステップＳ６において、前記ステップＳ５により暗部又はハレーションを除外された以外の領域の各画素ｐの値に基づき、異常所見の認識のための特徴量であるｒ／（ｒ＋ｇ＋ｂ）、及びｇ／（ｒ＋ｇ＋ｂ）の平均値を算出する。このｒ／（ｒ＋ｇ＋ｂ）、及びｇ／（ｒ＋ｇ＋ｂ）は色度と呼ばれるもので、各々０〜１の値をとる。通常（色素、染色剤等を使用しない場合）の内視鏡画像の色調変化は、光の吸収変動により構成される、詳しくは、血液中のヘモグロビンの吸収帯域（波長）に最も依存し、構造成分は一般にＧ画像に多く含まれることが知られている。具体的には血液量が多いほど吸収が大きく、Ｇ画像の画素の値は低くなり、血液量が少ないほど吸収されず反射されることから画素の値は高くなる。したがって、粘膜色調が赤色調であれば、前者のｒ／（ｒ＋ｇ＋ｈ）の値が相対的に大となり、後者のｇ／（ｒ＋ｇ＋ｂ）の値が小となる。また、褪色等により粘膜色調が白色調であれば、相対的に後者のｇ／（ｒ＋ｇ＋ｂ）の値が上昇する。領域Ｒｅｊ、１≦ｊ≦Ｎ×Ｍにおいて、算出された各平均値をｒｊ及びｇｊとする。なお、ｒｊ及びｇｊの算出については、ステップＳ５において暗部またはハレーションに属する画素と判定された画素は除外する。 Next, in step S6, r / (r + g + b), which is a feature amount for recognizing an abnormal finding, and g / based on the value of each pixel p in a region other than the dark portion or halation excluded in step S5. The average value of (r + g + b) is calculated. The r / (r + g + b) and g / (r + g + b) are called chromaticity and take values of 0 to 1, respectively. The change in color tone of the normal endoscopic image (when dyes, stains, etc. are not used) is composed of light absorption fluctuations. Specifically, it depends most on the absorption band (wavelength) of hemoglobin in the blood, and the structure It is known that many components are generally contained in the G image. Specifically, the greater the blood volume, the greater the absorption, and the lower the pixel value of the G image, and the smaller the blood volume, the higher the pixel value because it is not absorbed and reflected. Therefore, if the mucosa color tone is red, the former value of r / (r + g + h) is relatively large and the latter value of g / (r + g + b) is small. If the mucous color is white due to amber color or the like, the latter g / (r + g + b) value is relatively increased. In the region Rej, 1 ≦ j ≦ N × M, the calculated average values are rj and gj. For the calculation of rj and gj, pixels determined as pixels belonging to the dark part or halation in step S5 are excluded.
次に、ステップ７において、前記ステップＳ６により算出された特徴量ｒｊ及びｇｊの値を用いたクラスタリングを行う。このクラスタリングは、パターン認識分野において広く研究・利用されている手法であり、特徴量の値の類似性（距離）に基づき、データをクラスタと呼ばれるグループに分類するものである。クラスタリングについては「多変量解析の徹底研究、 西田俊夫訳、 現代数学社発行」の文献に詳記されている。本発明の実施の形態においては、Ｋ平均法を用いるクラスタリングを行うものとする。
Next, in
前記クラスタリングの結果として、各領域Ｒｅｊは、ｒ／（ｒ＋ｇ＋ｂ）及びｇ／（ｒ＋ｇ＋ｂ）が構成する特徴空間において、１個以上のクラスタＣｋ、１≦ｋ≦Ｎ×Ｍのいずれかにグループ化される。このクラスタリング結果の例について、図１１を用いて説明する。図１１に示すように、クラスタとして、Ｃ１、Ｃ２、及びＣ３の３個により形成されている。各クラスタは、正常粘膜の色調を反映するクラスタＣ１、発赤調あるいは出血によりｒｊの値がクラスタＣ１に対して大となるクラスタＣ２、褪色により正常粘膜より白色調となることからｇｊの値がクラスタＣ１に対して大となるクラスタＣ３となる。 As a result of the clustering, each region Rej is grouped into one or more clusters Ck, 1 ≦ k ≦ N × M, in the feature space formed by r / (r + g + b) and g / (r + g + b). The An example of the clustering result will be described with reference to FIG. As shown in FIG. 11, three clusters C1, C2, and C3 are formed as clusters. Each cluster is a cluster C1 reflecting the color tone of the normal mucous membrane, a cluster C2 in which the value of rj is larger than that of the cluster C1 due to redness or bleeding, and the value of gj is a white tone from the normal mucosa due to amber color. The cluster C3 is larger than C1.
次にステップＳ８において、前記ステップＳ７において生成されたクラスタに基づく異常所見の検出を行う。具体的には、図１１に示したように、正常粘膜の色調を反映したクラスタＣ１に対し、異常な色調を反映したクラスタＣ２またはＣ３の存在を検出する。この異常所見の検出には、種々の方法が考えられるが、本発明の実施の形態においては、各クラスタの位置、及びクラスタの平均値間の距離に基づく検出を行う。このクラスタの位置、及びクラスタの平均値間の距離による異常所見検出は、図１２を用いて、発赤調・出血の存在により生成されたクラスタＣ２の検出について説明する。前記ｒ／（ｒ＋ｇ＋ｂ）及びｇ／（ｒ＋ｇ＋ｂ）による平面上に２個のクラスタＣ１及びＣ２が生成され、その中心をそれぞれＯ１及びＯ２、その中心Ｏ１およびＯ２のそれぞれの座標を（ｏｒ１、ｏｇ１）及び（ｏｒ２、ｏｇ２）とする。前記クラスタＣ１は、正常粘膜の色調を有する領域により構成されたクラスタであることは、例えばＣ１及びＣ２を構成する領域数ＲＮ１及びＲＮ２がＲＮ１＞ＲＮ２であることに基づき判定することができる。さらに、座標ｏｒ１≦ｏｒ２である関係から発赤調・出血のクラスタＣ２が正常粘膜のクラスタＣ１における色調に比較して赤みが強い領域のクラスタであることがわかる。また、座標ｏｒ１≧ｏｒ２であれば、逆に褪色をともなう白色調の領域であるものと判定できる。次いで、中心Ｏ１及びＯ２間の距離ｄ１２を算出し、ｄ１２≧Ｔｃである場合は、正常粘膜の色調とは異なるクラスタＣ２領域が存在しているものとみなすことができる。なお、前記ｄ１２は、ユークリッド距離、Ｔｃは、閾値であり、例えば、Ｔｃ＝０．２に設定している。このＴｃは、異常所見検出の感度を制御するためのパラメタに相当し、ある正常粘膜の色調と、どの程度異なる場合に、異常所見の存在する画像とするかを規定するものである。 Next, in step S8, an abnormal finding based on the cluster generated in step S7 is detected. Specifically, as shown in FIG. 11, the presence of a cluster C2 or C3 reflecting an abnormal color tone is detected with respect to the cluster C1 reflecting the color tone of the normal mucous membrane. Various methods are conceivable for detecting this abnormal finding. In the embodiment of the present invention, detection is performed based on the position of each cluster and the distance between the average values of the clusters. The detection of an abnormal finding based on the cluster position and the distance between the average values of the clusters will be described with reference to FIG. 12 for detecting the cluster C2 generated due to the presence of redness and bleeding. Two clusters C1 and C2 are generated on a plane by the r / (r + g + b) and g / (r + g + b), and the coordinates of the centers O1 and O2 and the centers O1 and O2, respectively, are (or1, og1). And (or2, og2). It can be determined that the cluster C1 is a cluster composed of regions having normal mucous color tone based on the fact that the number of regions RN1 and RN2 constituting C1 and C2 is RN1> RN2. Further, it can be seen from the relationship of coordinates or1 ≦ or2 that the cluster C2 of redness / bleeding is a cluster having a stronger redness than the color tone of the normal mucous cluster C1. On the other hand, if the coordinates or1 ≧ or2, it can be determined that the region is a white tone region with a fading color. Next, the distance d12 between the centers O1 and O2 is calculated. When d12 ≧ Tc, it can be considered that a cluster C2 region different from the color tone of the normal mucous membrane exists. The d12 is a Euclidean distance, and Tc is a threshold value. For example, Tc = 0.2 is set. This Tc corresponds to a parameter for controlling the sensitivity of detection of abnormal findings, and defines how much the color tone of a certain normal mucous membrane is different from that of an image having abnormal findings.
前記ステップＳ８における異常所見の検出が終了するとステップＳ９において、異常所見の検出有無の判定を行う。異常所見が検出されないと判定されると、ステップＳ１１以降が実行される。異常所見が検出されたと判定されると、ステップＳ１０において、画像Ｉｉを異常所見が検出された病変候補画像として、その画像番号ｉを登録して、ステップＳ１１に進む。 When the detection of the abnormal findings in step S8 is completed, it is determined whether or not the abnormal findings are detected in step S9. If it is determined that no abnormal findings are detected, step S11 and subsequent steps are executed. If it is determined that an abnormal finding is detected, in step S10, the image number i is registered as a lesion candidate image in which the abnormal finding is detected, and the process proceeds to step S11.
ステップＳ１１において、すべての画像枚数Ｋに対する一連の処理の実行されたか、すなわち画像番号ｉ＝Ｋであるか否かを判定し、画像番号ｉが画像枚数Ｋよりも少ないｉ＜Ｋである場合には、ステップＳ１２において、画像番号ｉ＝ｉ＋１として次の画像に対して、前記ステップＳ２乃至Ｓ１１の処理を行い、画像番号ｉが画像枚数Ｋ（ｉ＝Ｋ）となるとこの異常所見の検出処理を終了する。 In step S11, it is determined whether a series of processing has been executed for all the number of images K, that is, whether the image number i = K. If i <K is smaller than the image number K, i <K. In step S12, the processing of steps S2 to S11 is performed on the next image with the image number i = i + 1. When the image number i reaches the number of images K (i = K), this abnormal finding detection processing is performed. finish.
なお、前記ステップＳ１０において、前記ステップＳ８における異常所見の検出結果が発赤・出血による赤色調であるか、もしくは褪色による白色調であるか等の異常の種別を合わせて登録することも可能である。例えば、患者２の主症状が出血であった場合には、その出血部位の特定が検査の主目的となる。この場合、端末装置７における観察用ソフトウェアを異常の種別、例えば「赤色調」を検索キーとして検索可能に構成することにより、より効率的な観察が可能となる。
In step S10, it is also possible to register the abnormality type such as whether the detection result of the abnormal finding in step S8 is red tone due to redness / bleeding or white tone due to fading. . For example, when the main symptom of the
この実施の形態において、色調に関する特徴量として、ｒ／（ｒ＋ｇ＋ｂ）、及びｇ／（ｒ＋ｇ＋ｂ）を用いたが、例えばｒ／ｇ、及びｒ／ｂ等の他の特徴量やＨＳＩ空間等への変換値を使用することも当然可能である。 In this embodiment, r / (r + g + b) and g / (r + g + b) are used as the feature quantities related to the color tone, but other feature quantities such as r / g and r / b, HSI space, etc. Of course, it is also possible to use conversion values.
また、この実施の形態において、画像を矩形領域に分割してから、特徴空間におけるクラスタリングを適用したが、各画素ごとの特徴量算出後、画像自体をクラスタリングにより領域分割して同様の処理を適用することも可能である。 In this embodiment, clustering in the feature space is applied after dividing the image into rectangular regions. After calculating the feature values for each pixel, the image itself is divided into regions by clustering and the same processing is applied. It is also possible to do.
以上に説明したように、ステップＳ１〜Ｓ１２の一連の処理により、撮像画像の色調情報に基づき発赤調・褪色調の色調変化、あるいは出血を呈する異常の存在を認識し、病変存在候補画像を検出することが可能となる。 As described above, through the series of processing in steps S1 to S12, the presence of an abnormality presenting redness or amber color change or an abnormality exhibiting bleeding is detected based on the color tone information of the captured image, and a lesion presence candidate image is detected. It becomes possible to do.
次に、本発明の画像処理方法において、画像における輪郭情報に基づく異常の存在を認識し、病変存在候補画像を検出する輪郭検出について説明する。輪郭検出は、前述した色調変化を伴わない、***もしくは陥凹型の病変の検出を行うものである。この輪郭検出による病変候補画像の検出処理動作について、図１３を用いて説明する。 Next, contour detection for recognizing the presence of an abnormality based on contour information in an image and detecting a lesion presence candidate image in the image processing method of the present invention will be described. The contour detection is to detect a bulge or depression type lesion without the above-described color tone change. The lesion candidate image detection processing operation based on this contour detection will be described with reference to FIG.
この実施の形態は、カプセル型内視鏡３による撮像画像枚数Ｋの撮像画像Ｉｋ、１≦ｋ≦Ｋに対し、輪郭情報による異常所見の抽出に基づく病変候補画像の判定を行う。最初に、ステップＳ２１において、画像番号を示すｉを１に（ｉ＝１）初期設定する。
In this embodiment, lesion candidate images are determined based on the extraction of abnormal findings based on contour information for the number of captured images Ik and 1 ≦ k ≦ K of the number of captured images K by the
次に、ステップＳ２２において、画像Ｒｉを読み出す。この実施の形態において、Ｒ画像を処理の対象として説明する。なお、輪郭情報は、ＲＧＢの各画像に含まれておりいずれの画像も使用することが可能である。次に、ステップＳ２３において、前記画像Ｒｉに対する前処理を適用する。この前処理は、前述したステップＳ３と同じであり、逆γ補正、大きさ３×３のマスクサイズによるメディアンフィルタリングを用いたノイズ抑制処理を行う。 Next, in step S22, the image Ri is read. In this embodiment, an R image will be described as a processing target. Note that the contour information is included in each of the RGB images, and any image can be used. Next, in step S23, preprocessing for the image Ri is applied. This pre-processing is the same as step S3 described above, and performs noise suppression processing using inverse γ correction and median filtering with a mask size of 3 × 3.
次に、ステップＳ２４において、異常所見の認識に不適切なハレーションの検出を行う。このハレーション検出は、領域内の画素ｒｉｔ（ｔは、画像内の画素を特定する添え字、１≦ｔ≦ＩＳＸ×ＩＳＹ）に対し、ｒｉｔ≧Ｔｈであればハレーションに含まれる画素とし、ｒｉｔの距離ｎ／２内の近傍画素を含め、ステップＳ２５以降の処理対象から除外する。ここで、ｎは後述する輪郭抽出フィルタのサイズであり、ハレーションに含まれる画素によりフィルタリング結果が影響される近傍画素を含めた除外を実施するものである。 Next, in step S24, halation that is inappropriate for recognizing abnormal findings is detected. In this halation detection, for a pixel rit in the region (t is a subscript specifying a pixel in the image, 1 ≦ t ≦ ISX × ISY), if rit ≧ Th, a pixel included in the halation is detected. Including neighboring pixels within the distance n / 2, they are excluded from the processing targets after step S25. Here, n is the size of a contour extraction filter, which will be described later, and performs exclusion including neighboring pixels whose filtering results are affected by the pixels included in the halation.
前記ステップＳ２４のハレーション検出が終了すると、ステップＳ２５において、輪郭抽出フィルタリングを行う。この輪郭抽出フィルタリングは、種々のものが利用できるが、この実施の形態においては、図１４に示す、サイズ５×５のフィルタを適用する。 When the halation detection in step S24 is completed, contour extraction filtering is performed in step S25. Various types of contour extraction filtering can be used. In this embodiment, a 5 × 5 filter shown in FIG. 14 is applied.
次に、ステップＳ２６において、前記ステップＳ２５における輪郭抽出フィルタリングの結果、画像に対する閾値処理による二値化を行う。画像の各画素のフィルタリング後の値をｆｉｔとすると、ｆｉｔ≧Ｔｈｆである画素を抽出する。なお、Ｔｈｆは閾値であり、この実施の形態においては、Ｔｈｆ＝１０であるものとする。 Next, in step S26, as a result of the contour extraction filtering in step S25, the image is binarized by threshold processing. If the filtered value of each pixel of the image is “fit”, a pixel satisfying “fit ≧ Thf” is extracted. Note that Thf is a threshold value, and in this embodiment, Thf = 10.
次に、ステップＳ２７において、前記ステップＳ２６における輪郭抽出フィルタリング後の二値画像に対する異常所見検出を行う。なお、この異常所見検出処理の詳細については後述する。このステップＳ２７の二値画像による異常所見検出が行われると、ステップＳ２８において、異常所見が検出されたか判定され、異常所見が検出されないと判定されると、ステップＳ３０以降が実行される。前記ステップＳ２８において、異常所見が検出されたと判定されると、ステップＳ２９において、画像Ｉｉを異常所見を有する病変候補画像として、その画像番号ｉを登録する。 Next, in step S27, abnormal findings are detected in the binary image after the contour extraction filtering in step S26. Details of this abnormal finding detection process will be described later. When the abnormal finding is detected by the binary image in step S27, it is determined in step S28 whether an abnormal finding is detected. If it is determined that no abnormal finding is detected, step S30 and subsequent steps are executed. If it is determined in step S28 that an abnormal finding has been detected, in step S29, the image number i is registered as a lesion candidate image having an abnormal finding.
次に、ステップＳ３０において、すべての画像に対する一連の処理の行われたか判定する。すなわち、画像番号ｉが全画像枚数Ｋと等しい（ｉ＝Ｋ）か否かを判定し、画像番号ｉが画像枚数Ｋよりもすくない（ｉ＜Ｋ）である場合、ステップＳ３１において、画像番号ｉに１を加算（ｉ＝ｉ＋１）して、次の画像に対し前記ステップＳ２２〜Ｓ３０を実行し、前記画像番号ｉが全画像枚数Ｋと同じであると、この輪郭情報による病変候補画像の処理動作を終了する。 Next, in step S30, it is determined whether a series of processing has been performed on all images. That is, it is determined whether or not the image number i is equal to the total image number K (i = K). If the image number i is less than the image number K (i <K), the image number i is determined in step S31. 1 is added to i (i = i + 1), and the above steps S22 to S30 are executed for the next image. If the image number i is the same as the total number K of images, the lesion candidate image processing based on the contour information is performed. End the operation.
次に、前記ステップＳ２７における異常所見検出処理の詳細について説明する。正常な体腔内においては、主として管腔構造及び襞による形状の輪郭が存在する。管腔構造による形状の輪郭としては、撮像された画像内のトンネル上の暗部、小腸や大腸の屈曲による壁等が考えられる。図１５に管腔構造による形状の輪郭の抽出例を示している。また、襞は、小腸及び大腸管腔内部に輪状に存在し、主としてなめらかな円弧形状（直線状になる場合もある）の輪郭を呈するもので、図１６に襞による形状の輪郭の抽出例を示している。 Next, details of the abnormal finding detection process in step S27 will be described. In a normal body cavity, there is a contour of a shape mainly due to the luminal structure and wrinkles. As the contour of the shape by the luminal structure, a dark part on the tunnel in the captured image, a wall due to bending of the small intestine or the large intestine, and the like can be considered. FIG. 15 shows an example of extracting the contour of the shape by the lumen structure. In addition, the wrinkles are present in a ring shape inside the small intestine and large intestine lumen, and mainly have a smooth arc shape (which may be linear), and FIG. Show.
一方、***あるいは陥凹を伴う病変では、局所的な輪郭の存在、管控構造、あるいは襞による輪郭の不整な変化が生ずる。このような病変による形状の輪郭の抽出例を図１７に示している。図１７（Ａ）は、比較的均一な明るさの背景の中に、***型病変による不整な形状の輪郭が抽出されている例を示している。また、図１７（Ｂ）は、襞の上に病変が存在することから本来の円弧形状に対し局所的な不整変化をともなう輪郭が抽出されている例を示している。 On the other hand, in a lesion with a bump or depression, irregular contour changes occur due to the presence of local contours, tube structures, or wrinkles. FIG. 17 shows an example of extracting the contour of the shape due to such a lesion. FIG. 17A shows an example in which an irregularly shaped contour due to a raised lesion is extracted from a relatively uniform brightness background. FIG. 17B shows an example in which a contour having a local irregular change with respect to the original arc shape is extracted because a lesion exists on the eyelid.
この***あるいは陥凹を伴う病変による輪郭の認識については、種々の画像認識方法が考えられるが、この実施の形態において用いる***・陥凹の伴う病変による輪郭認識を図１８を用いて説明する。図１３を用いて説明した前記ステップＳ２４におけるハレーション領域除外処理（以下、単に前処理画像と称する）、及び前記ステップＳ２６における二値化処理された画像（以下、二値画像と称する。）を基に、ステップＳ２７−１乃至ステップＳ２７−６の一連の処理が実行される。なお、前記前処理画像は、画像における明暗変化を保存しており、管腔方向の検出等に用いる。また、前記二値画像は、輪郭抽出情報として用いる。 Although various image recognition methods are conceivable for the recognition of the contour by the lesion with the bumps or depressions, the contour recognition by the lesion with the bumps or depressions used in this embodiment will be described with reference to FIG. Based on the halation region exclusion process (hereinafter simply referred to as a preprocessed image) in step S24 described with reference to FIG. 13 and the binarized image (hereinafter referred to as binary image) in step S26. In addition, a series of processing from step S27-1 to step S27-6 is executed. Note that the preprocessed image preserves the change in brightness in the image, and is used for detecting the lumen direction and the like. The binary image is used as contour extraction information.
ステップＳ２７−１において、局所的な***・陥凹による輪郭が存在するか否かを判定する。このステップＳ２７−1の判定は、図１７（Ａ）に示したように、管腔構造、あるいは襞の上ではなく、比較的均一な明るさの背景の中に存在する病変の検出を行うものである。具体的には、図１９に示すように、抽出した二値画像の輪郭に相当する部位を含む矩形領域を設定し、対応する前処理画像上の領域の明暗変化を検出する。図１９においては、対象とする輪郭の始点の座標（ｓｘ，ｓｙ）及び終点の座標（ｅｘ、ｅｙ）により設定され矩形領域の輪郭を境界とする領域Ａ及びＢにおいて、前処理画像の画素値の平均値ｒｍＡ及びｒｍＢを算出する。この平均値ｒｍＡ，ｒｍＢは、始めに、ｒｍＡ＞ｒｍＢ、すなわち、領域Ａが領域Ｂよりも明るいことを比較判定し、平均値の比ｒｍＢ／ｒｍＡ（ただし、ｒｍＡ≠０とする）を算出する。この平均値ｒｍＢ／ｒｍＡが閾値Ｔｈｅより小さい（ｒｍＡ／ｒｍＢ＜Ｔｈｅ）と、各領域Ａ，Ｂの明るさに閾値Ｔｈｅ以上の違いがあることが認められ、管腔構造、あるいは襞による輪郭である可能性が高いものと考えられてステップＳ２７−３に進む。ここで、閾値Ｔｈｅは、この実施の形態においては０．６とする。なお、ｒｍＢ／ｒｍＡ≧Ｔｈｅである場合には、抽出輪郭周囲に大きな明暗変化が存在しないことから、局所的な病変による輪郭である可能性があるものと判定し、前記ステップＳ２８へと進む。 In step S <b> 27-1, it is determined whether or not a contour due to local ridges / recesses exists. The determination in step S27-1 is to detect a lesion existing in a relatively uniform brightness background, not on the luminal structure or the eyelid, as shown in FIG. It is. Specifically, as shown in FIG. 19, a rectangular area including a portion corresponding to the contour of the extracted binary image is set, and a change in brightness of the area on the corresponding preprocessed image is detected. In FIG. 19, the pixel values of the preprocessed image are set in the regions A and B, which are set by the coordinates (sx, sy) and the coordinates (ex, ey) of the end point of the target contour, and are bounded by the contour of the rectangular region Average values rmA and rmB are calculated. The average values rmA and rmB are first determined by comparing rMA> rmB, that is, the region A is brighter than the region B, and the average value ratio rmB / rmA (where rmA ≠ 0) is calculated. . When the average value rmB / rmA is smaller than the threshold The (rmA / rmB <The), it is recognized that the brightness of each of the regions A and B is different from the threshold The by a lumen structure or a contour due to wrinkles. It is considered that there is a high possibility, and the process proceeds to step S27-3. Here, the threshold value The is assumed to be 0.6 in this embodiment. When rmB / rmA ≧ The, there is no large change in brightness around the extracted contour, so it is determined that there is a possibility of a contour due to a local lesion, and the process proceeds to step S28.
次に、ステップＳ２７−３において、抽出された輪郭に対する円弧形状の近似を行う。円弧形状の近似方法については、本出願人が出願した特開２００３−０９３３２８号公報に示された、抽出領域の細線化画像に対し、半径及び中心をパラメタとする探索的方法を用いて、最適な近似の円の半径及び中心を特定する。 Next, in step S27-3, an arc shape is approximated to the extracted contour. As for the approximation method of the arc shape, the search method using the radius and center as parameters for the thinned image of the extraction region disclosed in Japanese Patent Application Laid-Open No. 2003-093328 filed by the present applicant is optimal. Specify the radius and center of the approximate circle.
次に、ステップＳ２７−４において、近似した円の半径及び中心に対する、実際の輪郭が構成する弧の一致度を評価する。なお、二値画像において抽出した輪郭は、細線化が適用されているものとする。この弧の一致度の評価は、図２０に示すように、点Ｏ（座標ｏｘ、ｏｙ）は、前記ステップＳ２７−３において、特定された近似円（破線で示す）の中心である。点Ｒ（座標ｒｘ、ｒｙ）は、近似円上の１点であり、点Ｐ（座標ｐｘ、ｐｙ）は、点Ｏと点Ｒを結ぶ線分上において、細線化された抽出輪郭との交点である。この点Ｐは、点Ｒから点Ｏに向かう線分に重複する画素を探索することにより求めることができる。もし線分ＲＯ上に点Ｐが検出されない場合には、点Ｒから点Ｏに向かうのと逆の方向を探索する。画像内に点Ｐが見つからない場合は、対応する輪郭が存在しないので一致度の評価対象から除外する。このとき、線分ＰＯは、輪郭が近似された円弧に近い形状であると、線分ＯＲ（すなわち近似円の半径）及び線分ＯＰの長さは近く、そうでない場合には相違が大となる。したがって、一致度の評価値εを数式１のように定めることができる。
ここで、Ｒ１及びＲＥは、輪郭との比較範囲において近似円をＥ個の点に離散化していることを示している。点Ｐｊは、点Ｒjに対応する細線化後の輪郭の画素である。 Here, R1 and RE indicate that the approximate circle is discretized into E points in the comparison range with the contour. The point Pj is a pixel of the outline after thinning corresponding to the point Rj.
前記ステップＳ２７−４の評価値εの算出後、ステップＳ２７−５において、前記ステップＳ２７−４において算出した評価値ε、及び後述するステップＳ２７−２における管腔方向検出の結果に基づく、異常輪郭の判定を行う。前記ステップＳ２７−２においては、前処理画像に対し、本出願人が出願した特開２００３−０９３３２８号公報に示された管腔方向検出が行われる。この管腔方向検出結果の利用の詳細については後述する。 After calculating the evaluation value ε in step S27-4, in step S27-5, the abnormal contour based on the evaluation value ε calculated in step S27-4 and the result of the lumen direction detection in step S27-2 described later. Judgment is made. In step S27-2, the lumen direction detection disclosed in Japanese Patent Application Laid-Open No. 2003-093328 filed by the present applicant is performed on the preprocessed image. Details of the use of the lumen direction detection result will be described later.
前記ステップＳ２７−５において、近似円と輪郭との一致度の評価値εが閾値Ｔｈεよりも大きい（ε＞Ｔｈε）である場合には、不整な輪郭が存在しているものと判定し、ステップＳ２７−６の異常所見ありの処理が行われる。ここで、閾値Ｔｈεは、例えば１０００に設定する。一方、ε≦Ｔｈεである場合には、近似円との一致度は高いが管控構造、あるいは襞の輪郭として、方向に矛盾がないか否かを確認する。 In step S27-5, when the evaluation value ε of the degree of coincidence between the approximate circle and the contour is larger than the threshold Thε (ε> Thε), it is determined that an irregular contour exists, and step Processing with an abnormal finding in S27-6 is performed. Here, the threshold Thε is set to 1000, for example. On the other hand, in the case of ε ≦ Thε, the degree of coincidence with the approximate circle is high, but it is confirmed whether there is no contradiction in the direction of the tube structure or the contour of the ridge.
この判定処理について図２１を用いて説明する。図２１は、抽出した輪郭が近似円に対して比較的良好に一致しているためε≦Ｔｈεであるが、正常な管腔構造、あるいは襞による輪郭とは逆の方向に円弧が生じている。このようなケースは、病変が近接している場合等に起こり得る。そこで、画像中の明暗変化を基に検出した管腔方向と近似円の中心位置との比較に基づき判定する。具体的には、抽出した輪郭に対して、近似円の中心座標の位置が管腔方向側に存在する複合は逆方向にあるものとし、異常輪郭と判定してステップＳ２７−６に進む。 This determination process will be described with reference to FIG. In FIG. 21, ε ≦ Thε because the extracted contour matches relatively well with the approximate circle, but a circular arc is generated in a direction opposite to the normal lumen structure or the contour due to the eyelids. . Such a case can occur when the lesions are close to each other. Therefore, the determination is made based on the comparison between the lumen direction detected based on the change in brightness in the image and the center position of the approximate circle. Specifically, with respect to the extracted contour, the compound in which the position of the center coordinate of the approximate circle exists on the lumen direction side is in the opposite direction, and it is determined as an abnormal contour, and the process proceeds to step S27-6.
このステップＳ２７−６において、一連の処理の結果、抽出した輪郭が病変によるものである可能性が高いことから前記ステップＳ２７における判定結果として異常所見が存在するものとして前記ステップＳ２８に進む。 In step S27-6, as a result of a series of processes, there is a high possibility that the extracted contour is due to a lesion. Therefore, the process proceeds to step S28 assuming that an abnormal finding exists as a determination result in step S27.
なお、この実施の形態において、管腔構造、あるいは襞による形状の輪郭を円弧としたが、直線状に見える場合もある。このような輪郭の認識に対しては、ステップＳ２７−３及びステップＳ２７−４において、円弧形状の認識に加え、公知のハフ変換を用いた直線検出を併用適合して、いずれか適合度の高い近似結果を使用することも可能である。また、輪郭の形状認識においては、モルフォロジフィルタ等の技術を用いてもよい。 In this embodiment, the luminal structure or the contour of the shape by the ridge is an arc, but it may appear linear. For such contour recognition, in step S27-3 and step S27-4, in addition to the circular arc shape recognition, straight line detection using a known Hough transform is used in combination and either one has a high degree of fitness. It is also possible to use approximate results. Further, in the contour shape recognition, a technique such as a morphology filter may be used.
以上に説明したように、画像における形状の輪郭情報に基づき、色調変化を伴わない***、あるいは陥凹の病変の存在を認識し、病変存在候補画像を検出することが可能となる。 As described above, based on the contour information of the shape in the image, it is possible to recognize the presence of a bulge or depression lesion that does not change color tone and detect a lesion presence candidate image.
次に、本発明に係る画像処理方法における撮像画像による粘膜表面の微細構造及び血管走行形態の異常の存在を意識して、病変存在候補画像を検出する方法について、図２２を用いて説明する。前記カプセル型内視鏡３による撮像画像枚数Ｋの撮像画像Ｉｋ、１≦ｋ≦Ｋに対し、輪郭情報による異常所見の抽出に基づく病変候補画像の判定を行う。
Next, a method for detecting a candidate lesion presence image in consideration of the presence of abnormalities in the fine structure of the mucous membrane surface and the vascular running form from the captured image in the image processing method according to the present invention will be described with reference to FIG. A lesion candidate image is determined based on the extraction of abnormal findings based on contour information for the captured images Ik and 1 ≦ k ≦ K of the number K of captured images by the
最初に、ステップＳ４１において画像番号を示すｉを１に初期化し、ステップＳ４２において、画像Ｇｉを読み出す。この実施の形態においては、内視鏡画像に最も粘膜の微細構造及び血管像に関する情報を含んでいるＧ画像の処理を対象とする。 First, i indicating an image number is initialized to 1 in step S41, and an image Gi is read out in step S42. In this embodiment, processing of a G image that includes information on the fine structure of the mucous membrane and the blood vessel image most in the endoscopic image is targeted.
次に、ステップＳ４３において、粘膜表面の微細構造及び血管走行形態に基づく異常所見の検出を行う。この粘膜表面の微細構造は、胃・大腸の小区模様、腺管における腺口形態（ｐｉｔ ｐａｔｔｅｒｎ）等があげられる。これらの所見について、画像処理による特徴量の算出を行う。特徴量の算出方法については、本出願人が出願した特許第２９１８１６２号公報、及び特開２００２−１６５７５７号公報に詳記されており省略説明は省略する。この特徴量の算出方法により得られた特徴量に対しては、識別器を用いた識別分類処理を行う。識別器としては、ニューラルネットワーク、線形判別関数等の種々のものが知られている。この実施の形態においては、識別器として線形判別関数を使用する。 Next, in step S43, abnormal findings are detected based on the fine structure of the mucosal surface and the vascular running form. Examples of the fine structure of the mucosal surface include a subdivision pattern of the stomach and large intestine, a pit pattern in the gland duct, and the like. For these findings, feature quantities are calculated by image processing. The feature amount calculation method is described in detail in Japanese Patent No. 2918162 and Japanese Patent Application Laid-Open No. 2002-165757 filed by the applicant of the present application, and a description thereof is omitted. A classification process using a classifier is performed on the feature quantity obtained by this feature quantity calculation method. Various classifiers such as a neural network and a linear discriminant function are known. In this embodiment, a linear discriminant function is used as a discriminator.
正常及び異常所見の画像から算出された特徴量を教師データとして用いて、線形判別関数を作成し、画像Ｇｉから得られた特徴量を基に画像Ｇｉが正常または異常の判定をステップＳ４４にて行う。この特徴量算出及び判別分類については、前述した特開２００２−１６５７５７号公報に詳細が開示されている。 In step S44, a linear discriminant function is created using the feature amount calculated from the normal and abnormal findings as teacher data, and the image Gi is determined to be normal or abnormal based on the feature amount obtained from the image Gi. Do. Details of this feature amount calculation and discrimination classification are disclosed in the aforementioned Japanese Patent Laid-Open No. 2002-165757.
前記ステップＳ４４において、前記ステップＳ４３による異常所見の検出結果により、異常所見が検出されないと判定されると、ステップＳ４６以降が実行される。前記ステップＳ４４において、異常所見が検出されたと判定されると、ステップＳ４５において、画像Ｉｉを異常所見を有する病変候補画像としてその画像番号ｉを登録する。 If it is determined in step S44 that no abnormal findings are detected based on the detection result of the abnormal findings in step S43, steps S46 and after are executed. If it is determined in step S44 that an abnormal finding has been detected, the image number i is registered as a lesion candidate image having an abnormal finding in step S45.
次に、ステップＳ４６において、すべての画像に対する一連の処理が実行されたか判定される。すなわち、画像番号ｉが全画像枚数Ｋと等しい（ｉ＝Ｋ）か否かを判定し、画像番号ｉが画像枚数Ｋよりもすくない（ｉ＜Ｋ）場合、ステップＳ４７において、画像番号ｉに１を加算（ｉ＝ｉ＋１）して、次の画像に対し前記ステップＳ４２〜Ｓ４６を実行し、前記画像番号ｉが全画像枚数Ｋと同じであると、この輪郭情報による病変候補画像の処理動作を終了する。 Next, in step S46, it is determined whether a series of processing has been executed for all images. That is, it is determined whether or not the image number i is equal to the total number of images K (i = K). If the image number i is less than the number of images K (i <K), 1 is added to the image number i in step S47. Is added (i = i + 1), and the above steps S42 to S46 are executed for the next image. If the image number i is the same as the total number K of images, the lesion candidate image processing operation based on the contour information is performed. finish.
以上に説明したように、画像による粘膜表面の微細構造及び血管走行形態に基づく異常所見を認識し、病変存在候補画像を検出することが可能となる。 As described above, it is possible to recognize an abnormal finding based on the fine structure of the mucosal surface and the blood vessel running form based on the image, and to detect a lesion presence candidate image.
なお、前述したように撮像画像による発赤調・褐色調の色調変換と出血、陥没と陥凹、及び粘膜表面の微細構造と血管走行形態の病変存在の候補画像の検出方法をそれぞれ組み合わせて用いることができる。また、これら画像処理手法は、カプセル型内視鏡装置のみではない、通常の内視鏡装置により撮像された撮像画像からの病変存在候補画像の検出にも用いることができる。 In addition, as described above, a combination of the detection method of the reddish tone / brown tone color conversion and bleeding, depression, depression, and mucosal surface fine structure and the presence of lesion in the blood vessel running form are used in combination. Can do. Further, these image processing methods can be used not only for the capsule endoscope apparatus but also for detecting a lesion presence candidate image from a captured image captured by a normal endoscope apparatus.
［付記］
以上詳述した本発明の実施形態によれば、以下のごとき構成を得ることができる。
[Appendix]
According to the embodiment of the present invention described in detail above, the following configuration can be obtained.
（付記１） 体腔内を撮像して得られた色調情報を有する画像データが入力される入力ステップと、
前記画像データが有する色調情報に基づいて所定の特徴に関する特徴量を算出する算出ステップと、
あらかじめ設定した所定の色調情報に基づいて決められた基準特徴量と、前記算出ステップにおいて算出された特徴量とを比較する比較ステップと、
を有することを特徴とした画像処理方法。
(Supplementary Note 1) An input step in which image data having color tone information obtained by imaging the inside of a body cavity is input;
A calculation step of calculating a feature amount related to a predetermined feature based on color tone information included in the image data;
A comparison step for comparing a reference feature amount determined based on predetermined color tone information set in advance with the feature amount calculated in the calculation step;
An image processing method characterized by comprising:
（付記２） 体腔内を撮像して得られた色調情報を有する画像データが入力される入力ステップと、
前記画像データを複数の領域に分割して、複数の分割領域を生成する分割ステップと、
前記分割領域が有する色調情報に基づいて、所定の特徴に関する特徴量を前記分割領域毎に算出する算出ステップと、
あらかじめ設定した所定の色調情報に基づいて決められた基準特徴量と、前記算出ステップにおいて算出された特徴量とを比較する比較ステップと、
を有することを特徴とした画像処理方法。
(Supplementary Note 2) An input step in which image data having color tone information obtained by imaging the inside of a body cavity is input;
A division step of dividing the image data into a plurality of regions to generate a plurality of divided regions;
A calculation step of calculating a feature amount related to a predetermined feature for each of the divided regions based on the color tone information of the divided regions;
A comparison step for comparing a reference feature amount determined based on predetermined color tone information set in advance with the feature amount calculated in the calculation step;
An image processing method characterized by comprising:
（付記３） 前記比較ステップにおける比較結果に応じて、前記基準特徴量に相当する前記画像データの色調情報に基づいた特徴量があるか否かを判断するステップを更に有することを特徴とした付記１または２に記載の画像処理方法。 (Supplementary Note 3) The supplementary note further includes a step of determining whether or not there is a feature amount based on color tone information of the image data corresponding to the reference feature amount according to a comparison result in the comparison step. 3. The image processing method according to 1 or 2.
（付記４） 前記比較ステップにおける比較結果に応じて、前記基準特徴量に対して、前記画像データの色調情報に基づいた特徴量の距離を判断するステップを更に有することを特徴とした付記１又は２に記載の画像処理方法。
(Supplementary note 4) The
（付記５） 前記特徴量は、複数の色信号の比に基づくものであることを特徴とした付記１乃至４のいずれか１に記載の画像処理方法。
(Supplementary note 5) The image processing method according to any one of
（付記６） 前記画像データは、赤、緑、青の三原色画像であることを特徴とした付記１乃至５のいずれか１に記載の画像処理方法。
(Supplementary note 6) The image processing method according to any one of
（付記７） 前記比較ステップにおいて、前記基準特徴量の分布と、前記画像データの色調情報に基づいた特徴量の分布とを比較結果することを特徴とした付記１乃至６のいずれか１に記載の画像処理方法。
(Additional remark 7) The said comparison step WHEREIN: The distribution of the said reference | standard feature-value and the distribution of the feature-value based on the color tone information of the said image data are compared, Any one of
（付記８） 前記比較ステップにおける基準特徴量の分布と、前記画像データの色調情報に基づいた特徴分布の比較は、特徴量の値を用いたクラスタリングにより実行することを特徴とした付記７に記載の画像処理方法。
(Supplementary note 8) The
（付記９） 体腔内を撮像して得られた画像データが入力される入力ステップと、
前記画像データから該画像が有する輪郭形状に関する輪郭情報を抽出する抽出ステップと、
あらかじめ設定した所定の輪郭形状に基づいてあらかじめ設定された基準輪郭情報と、前記抽出ステップにおいて抽出した前記輪郭情報とを比較する比較ステップと、
を有することを特徴とする画像処理方法。
(Supplementary Note 9) An input step in which image data obtained by imaging the body cavity is input;
An extraction step of extracting contour information relating to a contour shape of the image from the image data;
A comparison step for comparing reference contour information set in advance based on a predetermined contour shape set in advance with the contour information extracted in the extraction step;
An image processing method comprising:
（付記１０） 前記前記抽出ステップによる輪郭情報は、前記入力ステップの画像データに対して輪郭抽出フィルタリングにより抽出することを特徴とした付記９記載の画像処理方法。
(Additional remark 10) The image processing method of
（付記１１） 前記比較ステップにおける比較結果に応じて、前記基準輪郭情報に相当する前記画像データの輪郭情報があるか否かを判断するステップを更に有することを特徴とした付記９または１０に記載の画像処理方法。
(Supplementary note 11) The
（付記１２） 前記比較ステップにおける比較結果に応じて、前記基準輪郭情報に対して、前記画像データの輪郭情報により輪郭形状の不整により判断することを特徴とした付記１１に記載の画像処理方法。
(Additional remark 12) The image processing method of
（付記１３） 前記輪郭情報は、前記入力ステップにより入力された画像データにおける局所的な***及び／または陥凹を示すことを特徴とした付記９乃至１２のいずれか１に記載の画像処理方法。
(Supplementary note 13) The image processing method according to any one of
（付記１４） 前記入力ステップにおいて入力される画像データは、カプセル型内視鏡、或いは内視鏡のいずれかにより撮像されて生成された画像データである特徴とした付記１乃至１３のいずれか１に記載の画像処理方法。
(Supplementary Note 14) Any one of
１ カプセル型内視鏡装置
２ 患者
３ カプセル型内視鏡
４ アンテナユニット
５ 外部装置
６ クレードル
７ 端末装置
８ｃ ディスプレイ
９ 端末本体
１１ 受信アンテナ
１７ 電荷結合素子（ＣＣＤ）
１８ ＬＥＤ
１９ 処理回路
２０ 通信処理回路
２３ 送信アンテナ
代理人 弁理士 伊藤 進
DESCRIPTION OF
18 LED
19
Claims (6)
前記医療機器が、体腔内を撮像した複数の色信号からなる複数の画像を順次入力するステップと、
前記医療機器が、前記入力された各画像の各領域毎に色調に基づく特徴量を算出するステップと、
前記医療機器が、前記算出された特徴量に基づき前記各画像の各領域をクラスタリングするステップと、
前記医療機器が、前記クラスタリング結果の各クラスタの１つを当該クラスタに含まれる領域数に基づいて正常な色調に対応するクラスタと判定し、前記正常な色調に対応するクラスタと他の各クラスタとの位置関係に基づいて、前記他の各クラスタが正常な色調に対応するクラスタであるか異常な色調に対応するクラスタであるかを判定するステップと、
前記医療機器が、前記入力された複数の画像のうち前記異常な色調に対応するクラスタが存在する画像について異常所見領域を含む画像として検出するステップと
からなることを特徴とする画像処理方法。 An image processing method for detecting an image by a medical device,
The medical device sequentially inputs a plurality of images composed of a plurality of color signals obtained by imaging the inside of a body cavity;
The medical device calculating a feature amount based on a color tone for each area of each input image;
The medical device clustering the regions of the images based on the calculated feature values;
The medical device is one of the clusters of the clustering result determines that the cluster corresponding to a normal tone based on the number of regions included in the cluster, the cluster and the other of each cluster corresponding to the normal tone Determining whether each of the other clusters is a cluster corresponding to a normal color tone or a cluster corresponding to an abnormal color tone based on the positional relationship of:
And a step of detecting, as an image including an abnormal finding region, an image in which the medical device includes a cluster corresponding to the abnormal color tone among the plurality of input images.
前記判定するステップは、前記算出された特徴量に基づき前記分割領域毎にクラスタリングを行うことを特徴とする請求項１に記載の画像処理方法。 The step of calculating the feature amount divides each input image into a plurality of divided regions, calculates a feature amount based on a color tone for each divided region,
The image processing method according to claim 1, wherein the determining includes performing clustering for each of the divided regions based on the calculated feature amount.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004003504A JP4652694B2 (en) | 2004-01-08 | 2004-01-08 | Image processing method |
| RU2006126081/09A RU2006126081A (en) | 2004-01-08 | 2004-09-13 | METHOD FOR DATA PROCESSING AND METHOD FOR READING DATA |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004003504A JP4652694B2 (en) | 2004-01-08 | 2004-01-08 | Image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005192880A JP2005192880A (en) | 2005-07-21 |
| JP4652694B2 true JP4652694B2 (en) | 2011-03-16 |
Family
ID=34818389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004003504A Expired - Fee Related JP4652694B2 (en) | 2004-01-08 | 2004-01-08 | Image processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP4652694B2 (en) |
| RU (1) | RU2006126081A (en) |
Families Citing this family (65)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1870020B1 (en) | 2005-04-13 | 2015-08-05 | Olympus Medical Systems Corp. | Image processing apparatus and image processing method |
| JP4624842B2 (en) * | 2005-04-13 | 2011-02-02 | オリンパスメディカルシステムズ株式会社 | Image processing method, image processing apparatus, and program |
| JP4624841B2 (en) * | 2005-04-13 | 2011-02-02 | オリンパスメディカルシステムズ株式会社 | Image processing apparatus and image processing method in the image processing apparatus |
| JP4767591B2 (en) * | 2005-06-01 | 2011-09-07 | オリンパスメディカルシステムズ株式会社 | Endoscope diagnosis support method, endoscope diagnosis support device, and endoscope diagnosis support program |
| JP5872750B2 (en) * | 2005-12-07 | 2016-03-01 | メディメトリクス ペルソナリズド ドルグ デリヴェリー ベー ヴェ | Electronic digestive tract screening |
| EP1969992B1 (en) | 2005-12-28 | 2012-05-02 | Olympus Medical Systems Corp. | Image processing device and image processing method in the image processing device |
| JP4520405B2 (en) * | 2005-12-28 | 2010-08-04 | オリンパスメディカルシステムズ株式会社 | Image processing apparatus and image processing method in the image processing apparatus |
| JP4891636B2 (en) * | 2006-03-14 | 2012-03-07 | オリンパスメディカルシステムズ株式会社 | Image analysis device |
| JP5242381B2 (en) * | 2006-03-16 | 2013-07-24 | オリンパスメディカルシステムズ株式会社 | Medical image processing apparatus and medical image processing method |
| JP5086563B2 (en) | 2006-05-26 | 2012-11-28 | オリンパス株式会社 | Image processing apparatus and image processing program |
| JP2008023266A (en) * | 2006-07-25 | 2008-02-07 | Olympus Medical Systems Corp | Medical image processing apparatus and medical image processing method |
| JP4994737B2 (en) * | 2006-07-27 | 2012-08-08 | オリンパスメディカルシステムズ株式会社 | Medical image processing apparatus and medical image processing method |
| JP4912787B2 (en) * | 2006-08-08 | 2012-04-11 | オリンパスメディカルシステムズ株式会社 | Medical image processing apparatus and method of operating medical image processing apparatus |
| JP4855868B2 (en) * | 2006-08-24 | 2012-01-18 | オリンパスメディカルシステムズ株式会社 | Medical image processing device |
| JP2008093213A (en) * | 2006-10-12 | 2008-04-24 | Olympus Medical Systems Corp | Medical image processor and medical image processing method |
| JP5025720B2 (en) * | 2007-02-22 | 2012-09-12 | オリンパスメディカルシステムズ株式会社 | Intra-subject introduction system |
| JP4936528B2 (en) * | 2007-03-28 | 2012-05-23 | 富士フイルム株式会社 | Capsule endoscope system and method for operating capsule endoscope system |
| JP4902735B2 (en) | 2007-04-24 | 2012-03-21 | オリンパスメディカルシステムズ株式会社 | Medical image processing apparatus and medical image processing method |
| JP5248806B2 (en) * | 2007-04-25 | 2013-07-31 | キヤノン株式会社 | Information processing apparatus and information processing method |
| WO2008139812A1 (en) | 2007-05-08 | 2008-11-20 | Olympus Corporation | Image processing device and image processing program |
| JP2008301968A (en) * | 2007-06-06 | 2008-12-18 | Olympus Medical Systems Corp | Endoscopic image processing apparatus |
| JP5004736B2 (en) * | 2007-09-25 | 2012-08-22 | オリンパス株式会社 | Image processing apparatus and image processing program |
| JP5291955B2 (en) | 2008-03-10 | 2013-09-18 | 富士フイルム株式会社 | Endoscopy system |
| JP5424584B2 (en) * | 2008-06-17 | 2014-02-26 | オリンパス株式会社 | Image processing apparatus, image processing program, and method of operating image processing apparatus |
| JP5581574B2 (en) * | 2008-07-09 | 2014-09-03 | 富士ゼロックス株式会社 | Image processing apparatus and image processing program |
| EP2351515A4 (en) * | 2008-10-27 | 2015-03-11 | Olympus Medical Systems Corp | Image processing device, in-examinee guiding device, medical system, and image processing method |
| JP5117353B2 (en) * | 2008-11-07 | 2013-01-16 | オリンパス株式会社 | Image processing apparatus, image processing program, and image processing method |
| JP5374135B2 (en) * | 2008-12-16 | 2013-12-25 | オリンパス株式会社 | Image processing apparatus, method of operating image processing apparatus, and image processing program |
| JP2010187756A (en) * | 2009-02-16 | 2010-09-02 | Olympus Corp | Image processing apparatus, image processing method, and image processing program |
| JP5220705B2 (en) | 2009-07-23 | 2013-06-26 | オリンパス株式会社 | Image processing apparatus, image processing program, and image processing method |
| JP5800468B2 (en) * | 2010-05-11 | 2015-10-28 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP5622461B2 (en) | 2010-07-07 | 2014-11-12 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP5528255B2 (en) * | 2010-08-16 | 2014-06-25 | Ｈｏｙａ株式会社 | Endoscopic image processing system |
| JP5555097B2 (en) | 2010-08-24 | 2014-07-23 | オリンパス株式会社 | Image processing apparatus, method of operating image processing apparatus, and image processing program |
| JP5800549B2 (en) | 2011-03-31 | 2015-10-28 | オリンパス株式会社 | Image processing apparatus, operation method of image processing apparatus, and image processing program |
| EP2520923A1 (en) * | 2011-05-06 | 2012-11-07 | bioMérieux | Bio-imaging method and system |
| JP5816459B2 (en) * | 2011-05-16 | 2015-11-18 | Hoya株式会社 | Electronic endoscope system, operation method of electronic endoscope system, and software |
| JP5825886B2 (en) * | 2011-07-04 | 2015-12-02 | Hoya株式会社 | Image processing apparatus, image processing method for endoscope apparatus, and image processing software |
| JP5800626B2 (en) | 2011-07-29 | 2015-10-28 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP5851160B2 (en) * | 2011-08-31 | 2016-02-03 | オリンパス株式会社 | Image processing apparatus, operation method of image processing apparatus, and image processing program |
| JP5980490B2 (en) | 2011-10-18 | 2016-08-31 | オリンパス株式会社 | Image processing apparatus, operation method of image processing apparatus, and image processing program |
| WO2013058277A1 (en) * | 2011-10-21 | 2013-04-25 | オリンパスメディカルシステムズ株式会社 | Antenna connection unit, receiver, received signal strength correction device, capsule endoscopic system, correction method and program |
| JP5931418B2 (en) | 2011-11-25 | 2016-06-08 | オリンパス株式会社 | Image processing apparatus, operation method of image processing apparatus, and image processing program |
| JP5926937B2 (en) | 2011-11-30 | 2016-05-25 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP5980555B2 (en) | 2012-04-23 | 2016-08-31 | オリンパス株式会社 | Image processing apparatus, operation method of image processing apparatus, and image processing program |
| JP6265588B2 (en) | 2012-06-12 | 2018-01-24 | オリンパス株式会社 | Image processing apparatus, operation method of image processing apparatus, and image processing program |
| JP6196760B2 (en) * | 2012-08-10 | 2017-09-13 | オリンパス株式会社 | Image processing device |
| JP6422198B2 (en) | 2012-11-29 | 2018-11-14 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP2014140335A (en) * | 2013-01-24 | 2014-08-07 | Dainippon Printing Co Ltd | Medium image analyzing device, medium information registration system and program, and hygiene management system |
| JP6045396B2 (en) | 2013-02-27 | 2016-12-14 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP5622903B2 (en) * | 2013-08-05 | 2014-11-12 | オリンパス株式会社 | Image processing apparatus, method of operating image processing apparatus, and image processing program |
| WO2015037141A1 (en) | 2013-09-13 | 2015-03-19 | オリンパス株式会社 | Image processing device, method, and program |
| JP6405138B2 (en) | 2014-07-15 | 2018-10-17 | オリンパス株式会社 | Image processing apparatus, image processing method, and image processing program |
| JP6400994B2 (en) * | 2014-09-05 | 2018-10-03 | オリンパス株式会社 | Inspection image display system |
| JP6259747B2 (en) * | 2014-09-30 | 2018-01-10 | 富士フイルム株式会社 | Processor device, endoscope system, operating method of processor device, and program |
| JP6473177B2 (en) * | 2015-01-23 | 2019-02-20 | オリンパス株式会社 | Image processing apparatus, method of operating image processing apparatus, and image processing program |
| JP6704933B2 (en) * | 2015-11-26 | 2020-06-03 | オリンパス株式会社 | Image processing apparatus, image processing method and program |
| JPWO2017104192A1 (en) * | 2015-12-17 | 2017-12-14 | オリンパス株式会社 | Medical observation system |
| DE112016006913T5 (en) | 2016-05-27 | 2019-02-14 | Olympus Corporation | Image processing apparatus, operating method of the image processing apparatus, and operation program of the image processing apparatus |
| WO2019130834A1 (en) * | 2017-12-26 | 2019-07-04 | オリンパス株式会社 | Image processing device and image processing method |
| JP6849583B2 (en) * | 2017-12-26 | 2021-03-24 | 日本電信電話株式会社 | Image abnormality judgment device, image abnormality judgment method and computer program |
| US11521319B2 (en) * | 2018-02-07 | 2022-12-06 | Hoya Corporation | Endoscope system |
| WO2019159435A1 (en) * | 2018-02-13 | 2019-08-22 | Hoya株式会社 | Endoscopic system |
| JP7158471B2 (en) * | 2018-05-09 | 2022-10-21 | 富士フイルム株式会社 | Inspection video processing device, operation method of inspection video processing device, and inspection video processing program |
| WO2020070877A1 (en) * | 2018-10-05 | 2020-04-09 | 国立大学法人大阪大学 | Image processing device, observation apparatus, image processing method, and image processing program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1014864A (en) * | 1996-04-30 | 1998-01-20 | Olympus Optical Co Ltd | Diagnosis support device |
| JPH1091782A (en) * | 1996-09-10 | 1998-04-10 | Olympus Optical Co Ltd | Method for extracting specific site for gradation picture |
| JP2918162B2 (en) * | 1988-11-02 | 1999-07-12 | オリンパス光学工業株式会社 | Endoscope image processing device |
| JP2000155840A (en) * | 1998-11-18 | 2000-06-06 | Olympus Optical Co Ltd | Image processing method |
| JP2001037718A (en) * | 1999-05-26 | 2001-02-13 | Olympus Optical Co Ltd | Image diagnostic device and endoscope device |
| JP2002165757A (en) * | 2000-11-30 | 2002-06-11 | Olympus Optical Co Ltd | Diagnostic supporting system |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL157892A0 (en) * | 2001-03-14 | 2004-03-28 | Given Imaging Ltd | Method and system for detecting colorimetric abnormalities |
-
2004
- 2004-01-08 JP JP2004003504A patent/JP4652694B2/en not_active Expired - Fee Related
- 2004-09-13 RU RU2006126081/09A patent/RU2006126081A/en not_active Application Discontinuation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2918162B2 (en) * | 1988-11-02 | 1999-07-12 | オリンパス光学工業株式会社 | Endoscope image processing device |
| JPH1014864A (en) * | 1996-04-30 | 1998-01-20 | Olympus Optical Co Ltd | Diagnosis support device |
| JPH1091782A (en) * | 1996-09-10 | 1998-04-10 | Olympus Optical Co Ltd | Method for extracting specific site for gradation picture |
| JP2000155840A (en) * | 1998-11-18 | 2000-06-06 | Olympus Optical Co Ltd | Image processing method |
| JP2001037718A (en) * | 1999-05-26 | 2001-02-13 | Olympus Optical Co Ltd | Image diagnostic device and endoscope device |
| JP2002165757A (en) * | 2000-11-30 | 2002-06-11 | Olympus Optical Co Ltd | Diagnostic supporting system |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2006126081A (en) | 2008-04-27 |
| JP2005192880A (en) | 2005-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4652694B2 (en) | Image processing method | |
| JP4615963B2 (en) | Capsule endoscope device | |
| JP4624841B2 (en) | Image processing apparatus and image processing method in the image processing apparatus | |
| JP4912787B2 (en) | Medical image processing apparatus and method of operating medical image processing apparatus | |
| US8055033B2 (en) | Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same | |
| US8363962B2 (en) | Image processing device and image processing method in image processing device for identifying features in an image | |
| US7885446B2 (en) | System and method to detect a transition in an image stream | |
| JP4493386B2 (en) | Image display device, image display method, and image display program | |
| JP4472631B2 (en) | Image processing apparatus and image processing method in the image processing apparatus | |
| US20160249793A1 (en) | Capsule Camera Device with Multi-Spectral Light Sources | |
| EP2567651B1 (en) | Diagnosis supporting apparatus | |
| WO2006112227A1 (en) | Image processing device and method | |
| JP4520405B2 (en) | Image processing apparatus and image processing method in the image processing apparatus | |
| JP4554647B2 (en) | Image display device, image display method, and image display program | |
| JP4624842B2 (en) | Image processing method, image processing apparatus, and program | |
| JP5057651B2 (en) | Lumen image processing apparatus, lumen image processing method, and program therefor | |
| JP4547401B2 (en) | Image display device, image display method, and image display program | |
| JP4547402B2 (en) | Image display device, image display method, and image display program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101216 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4652694 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |