WO2009154125A1 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents
画像処理装置、画像処理プログラムおよび画像処理方法 Download PDFInfo
- Publication number
- WO2009154125A1 WO2009154125A1 PCT/JP2009/060643 JP2009060643W WO2009154125A1 WO 2009154125 A1 WO2009154125 A1 WO 2009154125A1 JP 2009060643 W JP2009060643 W JP 2009060643W WO 2009154125 A1 WO2009154125 A1 WO 2009154125A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- image
- region
- model
- area
- Prior art date
Links
- IFTRQJLVEBNKJK-UHFFFAOYSA-N CCC1CCCC1 Chemical compound CCC1CCCC1 IFTRQJLVEBNKJK-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30021—Catheter; Guide wire
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Definitions
- FIG. 1 is a schematic diagram illustrating an overall configuration of an image processing system including an image processing apparatus.
- FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus.
- FIG. 3 is a flowchart illustrating a calculation processing procedure performed by the calculation unit of the image processing apparatus.
- FIG. 4 is a diagram illustrating an example of an intraluminal image.
- FIG. 5 is a flowchart showing a detailed processing procedure of the protruding shape estimation processing.
- FIG. 6 is a diagram illustrating an example of a labeling image.
- FIG. 7 is a diagram illustrating a raised peak region estimated from the labeling image illustrated in FIG. 6.
- FIG. 8 is an explanatory diagram for explaining the principle of creating the initial uplift model.
- FIG. 1 is a schematic diagram illustrating an overall configuration of an image processing system including an image processing apparatus.
- FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus.
- FIG. 3 is a flowchart illustrating
- the control unit 76 is realized by hardware such as a CPU.
- the control unit 76 is a component that configures the image processing apparatus 70 based on image data acquired via the external interface 71, operation signals input from the input unit 72, programs and data stored in the storage unit 74, and the like. The operation of the entire image processing apparatus 70 is controlled in an integrated manner.
- FIG. 5 is a flowchart showing a detailed processing procedure of the protruding shape estimation processing.
- FIG. 7 is a diagram showing raised peak regions L11 to L13, L15, and L16 estimated from the labeling image shown in FIG.
- the label areas L15 and L16 are extracted as the ridge top area.
- the ridge top region is extracted in order from the smallest label, and the label region around the label region that is the ridge top region is not extracted.
- a label area L17 having its own label “3” and a surrounding label “4” is surrounded by a label area having a label larger than its own label.
- the label region L17 is not extracted because it is a label region around the label region L13 estimated as the raised top region. However, estimation of whether or not the label region L17 is a raised top region is performed later.
- This E image_d is defined so that the absolute value of the difference between the estimated pixel value of the intermediate point Pe and the actual pixel value at the position of the intermediate point Pe decreases.
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本発明のある実施形態において、画像処理装置(70)は、***形状推定部(751)および沈降形状推定部(752)と、異常部候補検出部(755)とを備える。***形状推定部(751)および沈降形状推定部(752)は、体内管空内を撮像した管空内画像内の画素値をもとに、画像内の画素値の勾配変化をモデル化する。異常部候補検出部(755)は、管空内画像を構成する各画素の画素値と、モデル化された画素値の勾配変化によって定まる各画素の推定画素値との差分をもとに、管空内画像に映る異常部の候補領域を検出する。
Description
本発明は、対象物を撮像した画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。
近年、カプセル型内視鏡に代表されるように、体内の管空内を移動しながら時系列の管空内画像を順次撮像する医用の撮像装置が開発されている。カプセル型内視鏡は、患者の口から飲み込まれて体内に導入されると、管空内を蠕動運動等により移動しながら順次画像を撮像して体外の受信装置に送信し、最終的に体外に排出される。このカプセル型内視鏡によって撮像されて体外の受信装置で受信された被検体内部の画像は、診断用のワークステーション等で時系列順に順次表示され、医師等の観察者によって確認される。
このカプセル型内視鏡は、膨大な枚数の画像を撮像する。このため、診断用のワークステーション等では、撮像された画像の中から、例えば出血等の異常部の存在が疑われる画像を観察すべき画像として検出する処理を行い、医師等による画像の観察にかかる負担を軽減している。例えば、画像をブロック分割してブロック毎に色調情報を算出し、算出した色調情報についてクラスタリングを行うことによって、正常な粘膜を構成するブロックのクラスタから所定の基準以上離れたクラスタに属するブロックを異常部として抽出する手法が知られている(特許文献1参照)。また、微小石灰化陰影の候補を検出するための形状依存性フォルダであるモフォロジフィルタを用いて微小石灰化陰を強調した画像を生成する手法が知られている(特許文献2参照)。
ところで、カプセル型内視鏡によって撮像される画像は、体内器官を対象物として映した画像であり、この画像内には、体内器官内壁の粘膜構造の折りたたみやうねり等による***形状や沈降形状が映る。このため、特許文献1のように色調情報を用いて異常部の検出を行う場合、これらの***形状や沈降形状といった対象物の形状によって画像中に表れる画素値の変化が、正常な粘膜のクラスタと異常部のクラスタとの分離を困難にするという問題があった。また、この画素値の変化が、対象物上の異常部が映った場合の画素値の変化と類似しているため、これらを区別できないという問題があった。例えば、特許文献2のようにモフォロジフィルタを用いて異常陰影抽出を行う場合、様々な形状の粘膜構造や病変構造により、多くの誤検出が生じる。
本発明は、上記に鑑みてなされたものであって、対象物を撮像した画像内の異常部候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定部と、前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出部と、を備えるものである。
この態様にかかる画像処理装置によれば、画像内の画素値の勾配変化をモデル化し、実際の画素値とモデル化された画素値の勾配変化によって定まる推定画素値との差分をもとに、異常部の候補領域を検出することができる。したがって、対象物を撮像した画像内の異常部の候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる。
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定手順と、前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出手順と、を実行させるためのものである。
また、本発明の別の態様にかかる画像処理方法は、対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定ステップと、前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出ステップと、を含むものである。
本発明によれば、対象物を撮像した画像内の異常部の候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる。
以下、図面を参照し、本発明を実施するための最良の形態について詳細に説明する。以下では、体内の管空内を移動するカプセル型内視鏡を用い、このカプセル型内視鏡が体内管空内を移動しながら連続的に撮像した画像を処理する画像処理装置について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態)
図1は、本実施の形態の画像処理装置70を含む画像処理システムの全体構成を示す概略模式図である。図1に示すように、画像処理システムは、被検体1の体内の管空内の画像(以下、「管空内画像」と呼ぶ。)を撮像するカプセル型内視鏡3、カプセル型内視鏡3から無線送信される管空内画像の画像データを受信する受信装置4、受信装置4によって受信された管空内画像を画像処理する画像処理装置70等を備える。受信装置4と画像処理装置70との間の画像データの受け渡しには、例えば可搬型の記録媒体(可搬型記録媒体)5が使用される。
図1は、本実施の形態の画像処理装置70を含む画像処理システムの全体構成を示す概略模式図である。図1に示すように、画像処理システムは、被検体1の体内の管空内の画像(以下、「管空内画像」と呼ぶ。)を撮像するカプセル型内視鏡3、カプセル型内視鏡3から無線送信される管空内画像の画像データを受信する受信装置4、受信装置4によって受信された管空内画像を画像処理する画像処理装置70等を備える。受信装置4と画像処理装置70との間の画像データの受け渡しには、例えば可搬型の記録媒体(可搬型記録媒体)5が使用される。
カプセル型内視鏡3は、撮像機能や無線機能、撮像部位を照明する照明機能等を具備するものであって、例えば、検査のために人や動物等の被検体1の口から飲込まれて被検体1内部に導入される。そして、自然排出されるまでの間、食道、胃、小腸、大腸等の内部の管空内画像を所定の撮像レートで連続的に撮像して取得し、体外に無線送信する。
受信装置4は、被検体1内におけるカプセル型内視鏡3の通過経路に対応する体表上の位置に分散配置される受信用アンテナA1~Anを備える。そして、受信装置4は、各受信用アンテナA1~Anを介してカプセル型内視鏡3から無線送信される画像データを受信する。この受信装置4は、可搬型記録媒体5の着脱が自在に構成されており、受信した画像データを可搬型記録媒体5に逐次保存する。このようにして、受信装置4は、カプセル型内視鏡3が撮像した被検体1内部の管空内画像を時系列順に可搬型記録媒体5に蓄積する。
画像処理装置70は、ワークステーションやパソコン等の汎用コンピュータで実現されるものであり、可搬型記録媒体5の着脱が自在に構成される。この画像処理装置70は、可搬型記録媒体5に保存された管空内画像を取得して処理し、表示装置に画面表示する。
図2は、画像処理装置70の機能構成を示すブロック図である。本実施の形態では、画像処理装置70は、外部インターフェース71と、入力部72と、表示部73と、記憶部74と、演算部75と、画像処理装置70全体の動作を制御する制御部76とを備える。
外部インターフェース71は、カプセル型内視鏡3で撮像され、受信装置4で受信した管空内画像の画像データを取得するためのものであり、例えば可搬型記録媒体5を着脱自在に装着し、この可搬型記録媒体5に保存された管空内画像の画像データを読み出すリーダ装置で構成される。なお、カプセル型内視鏡3によって撮像された時系列の管空内画像の取得は、可搬型記録媒体5を用いた構成に限定されるものではない。例えば、可搬型記録媒体5のかわりに別途サーバを設置し、このサーバに時系列の管空内画像を予め保存しておく構成としてもよい。この場合には、外部インターフェースを、サーバと接続するための通信装置等で構成する。そして、この外部インターフェースを介してサーバとデータ通信を行い、時系列の管空内画像を取得する。あるいは、記憶部74内にカプセル型内視鏡3によって撮像された時系列の管空内画像を予め保存しておく構成としてもよい。
入力部72は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力された指示情報を制御部76に出力する。表示部73は、LCDやELディスプレイ、CRTディスプレイ等の表示装置によって実現されるものであり、制御部76の制御によって、時系列の管空内画像の表示画面を含む各種画面を表示する。
記憶部74は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD-ROM等の情報記憶媒体及びその読取装置等によって実現されるものである。この記憶部74には、画像処理装置70を動作させ、この画像処理装置70が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。また、演算部75が管空内画像に映る異常部を検出するための画像処理プログラム741が格納される。
演算部75は、カプセル型内視鏡3によって撮像された管空内画像を処理し、この管空内画像に映る異常部を検出するための種々の演算処理を行う。この演算部75は、モデル推定部としての***形状推定部751および沈降形状推定部752と、***頂上異常判定部753と、沈降領域異常判定部としての分割沈降領域異常判定部754と、異常部候補検出部755と、異常判定部756とを含む。
***形状推定部751は、管空内画像に映る***形状を推定する。この***形状推定部751は、***頂上推定部751aと、初期***勾配モデル設定部としての画素***モデル推定部751bと、***勾配モデル修正部としての画素***モデル修正部751cとを有する。***頂上推定部751aは、***形状を映した***領域の頂上付近の領域(以下、「***頂上領域」と呼ぶ。)を検出し、***領域の概略位置として推定する。画素***モデル推定部751bは、***頂上領域をもとに、画素値の勾配変化をモデル化した画素***モデル(***勾配モデル)の初期状態である初期***モデル(初期***勾配モデル)を作成する。画素***モデル修正部751cは、***領域の画素値をもとに初期***モデルを修正し、***領域に画素***モデルを設定する。
沈降形状推定部752は、管空内画像に映る沈降形状を推定する。この沈降形状推定部752は、沈降領域抽出部752aと、沈降領域分割部752bと、初期沈降勾配モデル設定部としての画素沈降モデル推定部752cと、沈降勾配モデル修正部としての画素沈降モデル修正部752dとを有する。沈降領域抽出部752aは、画像内の***領域を除いた領域を沈降領域として抽出する。沈降領域分割部752bは、近傍する***領域の位置をもとに沈降領域を分割する。画素沈降モデル推定部752cは、分割された沈降領域(以下、「分割沈降領域」と呼ぶ。)をもとに、画素値の勾配変化をモデル化した画素沈降モデル(沈降勾配モデル)の初期状態である初期沈降モデル(初期沈降勾配モデル)を作成する。画素沈降モデル修正部752dは、分割沈降領域の画素値をもとに初期沈降モデルを修正し、分割沈降領域に画素沈降モデルを設定する。
***頂上異常判定部753は、***頂上領域の特徴量をもとに、***頂上領域が異常部候補領域か否かを判定する。分割沈降領域異常判定部754は、分割沈降領域の特徴量をもとに、分割沈降領域が異常部候補領域か否かを判定する。異常部候補検出部755は、***領域において、その画素***モデルから外れた画素を異常部候補領域の構成画素として検出するとともに、分割沈降領域において、その画素沈降モデルから外れた画素を異常部候補領域の構成画素として検出する。異常判定部756は、異常部候補領域の特徴量をもとに、異常部候補領域が異常部か否かを判定する。
制御部76は、CPU等のハードウェアによって実現される。この制御部76は、外部インターフェース71を介して取得される画像データや入力部72から入力される操作信号、記憶部74に格納されるプログラムやデータ等に基づいて画像処理装置70を構成する各部への指示やデータの転送等を行い、画像処理装置70全体の動作を統括的に制御する。
図3は、画像処理装置70の演算部75が行う演算処理手順を示すフローチャートである。なお、ここで説明する処理は、演算部75が記憶部74に格納された画像処理プログラム741を読み出して実行することによって実現される。
図3に示すように、演算部75は、先ず、外部インターフェース71および制御部76を介して画像(管空内画像)を取得する(ステップa1)。図4は、ステップa1で取得される画像(管空内画像)の一例を示す図である。カプセル型内視鏡3によって撮像される管空内画像には、対象物である体内器官内壁の粘膜構造や、この管空内を浮遊する内容物、泡等が映るとともに、時として病変等の重要箇所が映る。ここで、体内器官内壁の粘膜構造には、体内器官やその内壁粘膜の折りたたみ、うねり等による***形状または沈降形状が含まれる。
続いて、図3に示すように、***形状推定処理に移る(ステップa3)。図5は、***形状推定処理の詳細な処理手順を示すフローチャートである。
***形状推定処理では先ず、***頂上推定部751aが、領域分割部として、管空内画像を構成する各画素について例えばそのR(赤),G(緑),B(青)の画素値に基づいたクラスタリングを行う(ステップb1)。ここで、クラスタリングの手法としては、例えばk-means法によるクラスタリング(参考:CG-ARTS協会,ディジタル画像処理,P232)や、EMアルゴリズムを用いた混合分布の推定によるクラスタリング(参考:Maximum Likelihood from Incomplete Data via the EM Algorithm(A.PDempster,et.al,Journal of the Royal Statistical Society.Series B(Methodological),Vol.39,No.1.(1977),pp.1-38.)等、公知の手法を用いることができる。
続いて、***頂上推定部751aは、クラスタリングの結果をもとに、取得した画像の各画素にラベルを付与し、ラベリング画像を作成する(ステップb3)。図6は、ラベリング画像の一例を示す図である。例えば、***頂上推定部751aは、各クラスタの重心の輝度値に従って、輝度値の大きい順に各クラスタにラベル(1,2,3・・・)を割り振る。そして、***頂上推定部751aは、各画素に、その画素が属するクラスタに割り振られたラベルを画素値として付与する。これによって、図6に示すように、クラスタ毎のラベル領域に領域分けされたラベリング画像が得られる。なお、得られたラベル領域のうち、予め設定される所定の面積より小さいラベル領域については、以降の処理の対象から除外する。以下、以降の処理で対象とする領域を「処理対象領域」と呼ぶ。
続いて、***頂上推定部751aは、図5に示すように、ラベリング画像をもとに処理対象領域内の***頂上領域を推定する(ステップb5)。具体的には、***頂上推定部751aは、ラベリング画像を構成する各ラベル領域の中から、それ自身のラベルよりも大きいラベルのラベル領域で囲まれたラベル領域を抽出し、***頂上領域とする。
図7は、図6に示したラベリング画像から推定した***頂上領域L11~L13,L15,L16を示す図である。図7に示すように、自身のラベルが“1”であり、周囲のラベルが“2”であるラベル領域L11~L13や、自身のラベルが“2”であり、周囲のラベルが“3”であるラベル領域L15,L16が***頂上領域として抽出される。なお、ここでは、ラベルの小さいものから順に***頂上領域の抽出を行い、***頂上領域とされたラベル領域の周囲のラベル領域については抽出しない。例えば、自身のラベルが“3”であり、周囲のラベルが“4”であるラベル領域L17等も自身のラベルより大きいラベルが付与されたラベル領域で囲まれているが、このラベル領域L17は、***頂上領域として推定されたラベル領域L13の周囲のラベル領域であるので、このラベル領域L17については抽出しない。ただし、このラベル領域L17が***頂上領域かどうかの推定は後で行う。
そして、図5に示すように、***頂上推定部751aによって推定された***頂上領域がある場合には(ステップb7:Yes)、ステップb9~ステップb13の処理に移り、この***頂上領域を頂上部分とする***領域に画素***モデルを設定する。なお、推定された***頂上領域が複数ある場合には、各***頂上領域それぞれについて、ステップb9~ステップb13の処理を行う。
すなわち、ステップb9では、***頂上異常判定部753が、***頂上領域の異常判定を行い、予め設定される異常部候補条件を満たす***頂上領域を異常部候補領域として検出する。***頂上領域の異常判定に際しては、先ず、***頂上領域の特徴量を算出する。例えば、***頂上領域を構成する各画素のR値,G値,B値等の色調情報や、***頂上領域とその周囲の領域との色調の変化量、***頂上領域の形状等を***頂上領域の特徴量として算出する。次に、算出した特徴量を事前に用意しておいた基準指標と比較することによって、***頂上領域の異常判定を行う。基準指標としては、例えば、異常種類毎の特徴量の範囲を教師データとして定めておくことができる。この場合には、***頂上異常判定部753は、***頂上領域の特徴量が異常種類毎の特徴量の範囲内か否かを異常部候補条件としてその異常判定を行う。あるいは、正常なサンプルを用意して***頂上領域の特徴量を算出し、正常な***頂上領域の特徴量範囲を定めておくこととしてもよい。この場合には、***頂上異常判定部753は、***頂上領域の特徴量が正常な***頂上領域の特徴量範囲からどれだけ外れているかを異常部候補条件としてその異常判定を行う。
続いて、画素***モデル推定部751bが、異常でないと判定された***頂上領域をもとに、その***頂上領域に設定する初期***モデルを作成する(ステップb11)。図8は、初期***モデルの作成原理を説明する説明図であり、***頂上領域L11について作成される初期***モデルMa11を示している。初期***モデルMa11の作成に際しては、先ず、***頂上領域L11の重心Paを算出する。次に、設定点配置部として、算出した***頂上領域L11の重心Paから図8中に二点鎖線で示すように放射状に設定される各方向と、***頂上領域L11の輪郭との交点を設定点の一例である端点Pbとする処理を行う。そして、重心Paと端点Pbとの間にそれぞれ中間点Pcを配置する。なお、配置する中間点の位置はこれに限定されるものではなく、予め設定される所定の間隔で中間点を配置するようにしてもよい。また、配置する中間点の数についても、端点と同数である必要はなく、適宜設定しておくことができる。
そして、この重心、端点および中間点を用いて***領域のモデル化を行い、画素***モデルの初期形状である初期***モデルを作成する。ここで、***の頂上(頂点)付近は光源からの距離が近く、***の裾付近は光源からの距離が遠い。このため、***の頂上に近づくにつれて光源からの光の反射として表れる画素値(輝度値)は大きくなり、裾に近づくにつれて小さくなる。本実施の形態では、これを利用して***領域のモデル化を行い、重心、端点および中間点の各位置(x,y)に、各位置の推定画素値(z)を追加して***形状を3次元で表したものを「画素***モデル」と呼ぶ。すなわち、上記のようにして算出した重心、端点および中間点の各位置の推定画素値を求め、初期***モデルとする。重心、端点および中間点の各位置の推定画素値の算出に際しては、先ず、各位置それぞれについて、その近傍位置の画素を含む近傍領域のエッジ抽出を行う。エッジ抽出の手法としては、適宜公知の手法を用いることができるが、例えば、ソーベルフィルタを用いたエッジ抽出を行う(参考:CG-ARTS協会,ディジタル画像処理,P116-P117)。そして、この近傍領域の画素のうち、エッジ抽出によってエッジとして抽出された画素を除く画素値の平均値を算出し、各位置の推定画素値とする。
続いて、図5に示すように、画素***モデル修正部751cが、初期***モデルを初期形状とする画素***モデルを修正し、***領域に設定する(ステップb13)。画素***モデル(初期***モデル)の修正は、動的輪郭モデルを用いて端点および中間点を移動させることによって行う。
図9,図10は、画素***モデルMaの修正原理を説明する説明図であり、図10は、図9に示した画素***モデルMaの重心Paおよび端点Pbを通る断面を示している。ここで、図9に示すEinternalは、隣接する端点Pbと中間点Pcとを結ぶ直線の連続性や滑らかさのエネルギーを表す。このEinternalは、隣接する端点Pb間を結ぶ直線のなす角度θ11が小さいほどその値が小さくなるように、隣接する中間点Pc間を結ぶ直線のなす角度θ13が小さいほどその値が小さくなるように、あるいは中間点Pcを重心Paおよび隣接する端点Pbとそれぞれ結んだ直線のなす角度θ15が小さいほどその値が小さくなるように定義される。そして、Eexternalは、端点Pbおよび中間点Pcを移動させ、画素***モデルMaを画素勾配に沿って広げるエネルギーを表す。このEexternalは、端点Pbおよび中間点Pcが実際の画素値の勾配に沿いながら重心Paから離れていくほど、その値が小さくなるように定義される。また、図10に示すEimageは、エッジに対する端点Pbの適合性エネルギーを表すとともに、画素***モデルMaの推定画素値とこの画素***モデルMaが設定された***領域の図10中に破線で示す実際の画素値との画素値差分エネルギーを表す。このEimageは、端点Pbがソーベルフィルタ等を用いて抽出したエッジと適合しているほどその値が小さくなり、端点Pbおよび中間点Pcの推定画素値とこの端点Pbおよび中間点Pcの各位置における実際の画素値との差分絶対値が小さいほどその値が小さくなるように定義される。
具体的には、動的輪郭モデルのエネルギーEuを次式(1)によって定める。そして、この動的輪郭モデルのエネルギーEuの値が最小となるように端点と中間点それぞれの位置および推定画素値を求める。α1,α2,α3は、所定の係数を表す。
Eu=α1Einternal+α2Eexternal+α3Eimage ・・・(1)
Eu=α1Einternal+α2Eexternal+α3Eimage ・・・(1)
図11は、管空内画像の画素値分布G21の一例を示す図である。また、図12は、図11に示した画素値分布のA部断面図であり、A部断面における画素値分布G21とともに、このA部断面付近に設定された画素***モデルMa21の断面を示している。ここで、画素***モデルの重心と中間点との間の各画素や、中間点と端点との間の各画素の画素値(推定画素値)については、線形補間やスプライン曲面等で補間して求める。
なお、隣接する端点と中間点との間が引き合うエネルギーを別途定義し、これを加味して画素***モデルを修正することとしてもよい。また、***領域の抽出手法は、上記した手法に限定されるものではない。例えば、予め所定の分布形状の画素***モデルを定義しておき、これらの混合分布によって画像が表現されると仮定して画素***モデルを修正するようにしてもよい。この場合には、***頂上領域の抽出を行わずにEMアルゴリズムを用いた混合分布の推定を行い、画素***モデルを修正する。
図13は、図7に示した***頂上領域L11~L13,L15,L16をもとに設定した画素***モデルMa11~Ma13,Ma15,Ma16を示す図であり、図13中において、各画素***モデルMa11~Ma13,Ma15,Ma16の外形を破線で示すとともに、その重心Paおよび端点Pbを示している。ステップb9~ステップb13の処理の結果、図13に示すように、各***頂上領域L11~L13,L15,L16を拡張するような範囲をそれぞれ***領域とした画素***モデルMa11~Ma13,Ma15,Ma16が画像内に設定され、各***頂上領域L11~L13,L15,L16をそれぞれ頂上部分とした***形状が推定される。
図5に戻り、画素***モデル修正部751cは、以上のようにして***形状を推定して画素***モデルを設定したならば、続いて、この***形状を推定して画素***モデルを設定した***領域を処理対象領域から除外する(ステップb15)。そして、ステップb5に移行し、***頂上推定部751aが、再度ラベリング画像をもとに***頂上領域を推定する。そして、***頂上領域が推定された場合には(ステップb7:Yes)、画素***モデルの設定を行う(ステップb9~ステップb13)。
図14は、既に画素***モデルが設定された領域(***領域)L21~L23,L25,L26を除外して推定した***頂上領域L31,L32を示す図であり、図15は、図14に示した***頂上領域L31,L32をもとに設定した画素***モデルMa31,Ma32を示す図である。ここでの処理によって、図14に示すように、***領域L21~L23,L25,L26を除外した処理対象領域から、自身より大きなラベル番号に囲まれたラベル領域が***頂上領域L31,L32として抽出される。そして、図15に示すように、各***頂上領域L31,L32を拡張するような範囲をそれぞれ***領域とした画素***モデルMa31,Ma32が画像内に設定される。以上のように、処理対象領域内から***頂上領域とするラベル領域が抽出されなくなるまで処理を繰り返し、抽出されなければ(ステップb7:No)、図3のステップa3にリターンし、その後ステップa5に移行する。
すなわち、ステップa5では、沈降形状推定処理に移る。図16は、沈降形状推定処理の詳細な処理手順を示す図である。
沈降形状推定処理では先ず、沈降領域抽出部752aが、画像内の***領域を除く領域を、隣接する***領域間の沈降領域として抽出する(ステップc1)。続いて、沈降領域分割部752bが、沈降領域を分割する(ステップc3)。図17は、分割沈降領域を示す図である。沈降領域抽出部752aは、先ず、沈降領域を構成する各画素について、それぞれ最も近傍する***領域を選出する。そして、図17中に破線で示すように、選出した***領域が異なる境界位置を分割位置として、沈降領域を分割する。
そして、図16に示すように、沈降領域分割部752bは、分割沈降領域をさらに細かく細分化する(ステップc5)。具体的には、分割沈降領域と接している***領域、すなわち、分割沈降領域を構成する各画素について選出された***領域に設定された画素***モデルの端点を用いて細分化する。例えば、分割沈降領域を、画素***モデルの各端点位置で沈降勾配方向に沿って分割することによって、細分化する。なお、各端点位置で分割する必要はなく、例えば2端点毎に分割する等してもよい。
続いて、分割沈降領域異常判定部754が、分割され、細分化された分割沈降領域の異常判定を行い、予め設定される異常部候補条件を満たす分割沈降領域を異常部候補領域として検出する(ステップc7)。分割沈降領域の異常判定は、***頂上異常判定部753が行う異常判定と同様にして行うことができる。すなわち先ず、分割沈降領域の特徴量を算出する。例えば、分割沈降領域を構成する各画素のR値,G値,B値等の色調情報や、分割沈降領域と周囲の領域とその周囲の領域との色調変化量、分割沈降領域の形状等を分割沈降領域の特徴量として算出する。次に、算出した特徴量を事前に用意しておいた基準指標と比較することによって、分割沈降領域の異常判定を行う。例えば、基準指標として異常種類毎の特徴量の範囲を定めた教師データを用意しておく場合であれば、分割沈降領域異常判定部754は、分割沈降領域の特徴量が異常種類毎の特徴量の範囲内か否かを異常部候補条件としてその異常判定を行う。また、正常なサンプルを用意して分割沈降領域の特徴量を算出し、正常な分割沈降領域の特徴量範囲を基準指標として定めておく場合であれば、分割沈降領域異常判定部754は、分割沈降領域の特徴量が正常な分割沈降領域の特徴量範囲からどれだけ外れているかを異常部候補条件としてその異常判定を行う。
続いて、画素沈降モデル推定部752cが、異常でないと判定された分割沈降領域をもとに、その分割沈降領域に設定する初期沈降モデルを作成する(ステップc9)。図18は、初期沈降モデルの作成原理を説明する説明図であり、細分化された分割沈降領域L41について作成される初期沈降モデルMb41を示している。初期沈降モデルMb41の作成に際しては、先ず、分割沈降領域L41の輪郭位置をもとに角を端点Pdとする。そして、各端点Pdの間に中間点Peを配置する。例えば、予め設定される所定間隔で中間点を配置することとしてもよいし、予め設定される所定数の中間点を配置することとしてもよい。そして、この端点および中間点を用いて沈降領域のモデル化を行い、画素沈降モデルの初期形状である初期沈降モデルを作成する。端点および中間点の各位置の推定画素値については、初期***モデルの作成と同様にして、先ず、各位置それぞれについて、その近傍位置の画素を含む近傍領域のエッジ抽出を行う。そして、この近傍領域の画素のうち、エッジ抽出によってエッジとして抽出された画素を除く画素値の平均値を算出し、各位置の推定画素値とする。
続いて、図16に示すように、画素沈降モデル修正部752dが、初期沈降モデルを初期形状とする画素沈降モデルを修正し、分割沈降領域に設定する(ステップc11)。画素沈降モデル(初期沈降モデル)の修正は、動的輪郭モデルを用いて端点および中間点を移動させることによって行う。
図19,図20は、画素沈降モデルMbの修正原理を説明する説明図であり、図20は、図19に示した画素沈降モデルMbの端点Pdおよびこの端点Pdと隣接する中間点Peを通る断面を示している。ここで、図19に示すEinternal_dは、隣接する端点Pdと中間点Peとを結ぶ直線の連続性や隣接する中間点Pe間を結ぶ直線の連続性や滑らかさのエネルギーを表す。このEinternal_dは、隣接する端点Pdと中間点Peとを結ぶ直線のなす角度θ21が小さいほどその値が小さくなるように、あるいは隣接する中間点Pe間を結ぶ直線のなす角度θ23が小さいほどその値が小さくなるように定義される。そして、図19および図20に示すEexternal_dは、中間点Peを画素勾配に沿って移動させるエネルギーを表す。このEexternal_dは、画素沈降モデル(初期沈降モデル)Mbにおける中間点Peの推定画素値が、この中間点Peの位置における実際の画素値に近づく向きへと画素値が変化するときにその値が小さくなるように、あるいは画素沈降モデル(初期沈降モデル)Mbにおける中間点Peの位置が、この位置を基準とした所定範囲内の画素のうちの周囲との変化量が少ない画素の方向に動くほどその値が小さくなるように定義される。また、図20に示すEimage_dは、画素沈降モデルMbの推定画素値とこの画素沈降モデルMbが設定された分割沈降領域の図20中に破線で示す実際の画素値との画素値差分エネルギーを表す。このEimage_dは、中間点Peの推定画素値とこの中間点Peの位置における実際の画素値との差分絶対値が小さくなるときにその値が小さくなるように定義される。
具体的には、動的輪郭モデルのエネルギーEdを次式(2)によって定める。そして、この動的輪郭モデルのエネルギーEdの値が最小となるように端点と中間点それぞれの位置および推定画素値を求める。α5,α6,α7は、所定の係数を表す。
Ed=α5Einternal_d+α6Eexternal_d+α7Eimage_d ・・・(2)
Ed=α5Einternal_d+α6Eexternal_d+α7Eimage_d ・・・(2)
図21は、管空内画像の画素値分布G51の一例を示す図である。また、図22は、図21に示した画素値分布のB部断面図であり、B部断面における画素値分布G51とともに、このB部断面付近に設定された画素沈降モデルMb51の断面を示している。ここで、画素沈降モデルの端点と中間点との間の各画素の画素値(補正画素値)については、線形補間やスプライン曲面等で補間して求める。この沈降形状推定処理を終えたならば、図3のステップa5にリターンし、その後ステップa7に移る。
すなわち、ステップa7では、異常部候補検出部755が、異常部候補領域を検出する。異常部候補領域の検出に際しては、先ず、各***領域の実際の画素値をその画素***モデルと比較する。次に、実際の画素値と画素***モデルの推定画素値との差分が予め異常基準値範囲として設定される所定の閾値以上である場合に、画素値が画素***モデルから外れているとし、その画素を異常部候補領域の構成画素として検出する。図23~図25は、異常部候補領域の検出原理を説明する説明図である。ここで、図23は、管空内画像の一例を示している。また、図24は、図23に示した管空内画像内の領域C付近に設定された画素***モデルMa61の断面を示しており、画素***モデルMa61の断面とともに実際の画素値分布G61を示している。ここでの処理によって、図24中に矢印で示す位置の画素のように、その位置の画素の実際の画素値が画素***モデルの推定画素値から大きく外れている画素が、異常部候補領域の構成画素として検出される。同様にして、各分割沈降領域の実際の画素値をその画素沈降モデルと比較し、実際の画素値と画素沈降モデルの推定画素値との差分が予め異常基準値範囲として設定される所定の閾値以上である場合に、画素値が画素沈降モデルから外れているとし、その画素を異常部候補領域の構成画素として検出する。そして、抽出された異常部候補領域の構成画素について公知のラベリング処理を行い、連結している構成画素に固有のラベルを付与する(参考:CG-ARTS協会,ディジタル画像処理,P181-P182)。異常部候補検出部755は、このラベリング処理の結果同一のラベルが付与された領域を、それぞれ異常部候補領域として検出する。図25の例では、3つの異常部候補領域L71~L73が検出されている。
続いて、異常判定部756が、図5のステップb9で異常部候補領域として検出された***頂上領域や、図16のステップc7で異常部候補領域として検出された分割沈降領域、図3のステップa7で検出された異常部候補領域について異常判定を行い、予め設定される異常部条件を満たす異常部候補領域を対象物上の異常部を映した領域と判定する(ステップa9)。異常判定は、異常部候補領域のR値,G値,B値等の色調情報や、異常部候補領域とその周囲の領域との色調の変化量、異常部候補領域の輪郭のエッジ強度、異常部候補領域の形状等を異常部候補領域の特徴量として算出する。次に、算出した特徴量を事前に用意しておいた基準指標と比較することによって、異常部候補領域の異常判定を行う。そして、基準指標として異常種類毎の特徴量の範囲を定めた教師データを用意しておく場合であれば、異常判定部756は、異常部候補領域の特徴量が異常種類毎の特徴量の範囲内か否かを異常部条件としてその異常判定を行う。また、正常なサンプルを用意して異常部候補領域の特徴量を算出し、正常な異常部候補領域の特徴量範囲を基準指標として定めておく場合であれば、異常判定部756は、異常部候補領域の特徴量が正常な異常部候補領域の特徴量範囲からどれだけ外れているかを異常部条件としてその異常判定を行う。
そして、演算部75が、異常判定の結果を出力し(ステップa11)、演算処理を終える。例えば、演算部75は、異常と判定された***頂上領域や分割沈降領域、異常部候補領域を示した画像を生成する等して、異常と判定された画像上の位置を制御部76を介して表示部73に表示出力する制御を行う。
以上説明したように、本実施の形態によれば、画像内の画素値の勾配変化をモデル化した画素***モデルを画像内に設定することによって、この画像に映る粘膜構造の折りたたみやうねり等による***形状を推定することができる。また、画素沈降モデルを画像内に設定することによって、この画像に映る粘膜構造の沈降形状を推定することができる。そして、***領域の実際の画素値をその画素***モデルと比較し、実際の画素値と画素***モデルの推定画素値との差が大きく、画素値が画素***モデルから外れている場合に、その画素を異常部候補領域の構成画素として検出することができる。また、沈降領域の実際の画素値をその画素沈降モデルと比較し、実際の画素値と画素沈降モデルの推定画素値との差が大きく、画素値が画素沈降モデルから外れている場合に、その画素を異常部候補領域の構成画素として検出することができる。そして、検出された異常部候補領域のうち、予め設定される異常部条件を満たす異常部候補領域を粘膜構造上の異常部を映した領域と判定することができる。したがって、管空内画像の粘膜構造上に映る異常部の候補領域を、粘膜構造の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出することができる。
なお、上記した実施の形態では、***形状を推定した後で沈降形状を推定する場合について説明したが、沈降形状を先に推定することとしてもよい。この場合には、画像内の画素値をクラスタリングし、このクラスタリングの結果をもとに各画素にラベルを付与してラベリング画像を作成した後、このラベリング画像をもとに沈降底部領域を推定する。具体的には、ラベリング画像を構成する各ラベル領域の中から、それ自身のラベルよりも小さいラベルのラベル領域で囲まれたラベル領域(周囲より輝度値が低いラベル領域)を抽出し、沈降底部領域とする。そして、この沈降底部領域をもとに初期沈降モデルを作成し、これを修正して画素沈降モデルを設定する。また、***形状を推定する際には、画素沈降モデルを設定した沈降領域を除外した画像内の領域について画素***モデルの設定を行う。
また、上記した実施の形態では、カプセル型内視鏡が体内管空内を移動しながら撮像した体腔内画像を処理し、この体腔内画像に映る粘膜構造上の異常部の候補領域を検出する場合について説明したが、処理可能な画像はカプセル内視鏡が撮像した管空内画像に限定されるものではなく、対象物を撮像した画像から対象物上の異常部を検出する場合に同様に適用できる。
以上のように、本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法は、対象物を撮像した画像内の異常部候補領域を、対象物の形状によって画像中に表れる画素値の変化による影響を受けずに精度良く検出するのに適している。
3 カプセル型内視鏡
4 受信装置
A1~An 受信用アンテナ
5 可搬型記録媒体
70 画像処理装置
71 外部インターフェース
72 入力部
73 表示部
74 記憶部
741 画像処理プログラム
75 演算部
751 ***形状推定部
751a ***頂上推定部
751b 画素***モデル推定部
751c 画素***モデル修正部
752 沈降形状推定部
752a 沈降領域抽出部
752b 沈降領域分割部
752c 画素沈降モデル推定部
752d 画素沈降モデル修正部
753 ***頂上異常判定部
754 分割沈降領域異常判定部
755 異常部候補検出部
756 異常判定部
76 制御部
1 被検体
4 受信装置
A1~An 受信用アンテナ
5 可搬型記録媒体
70 画像処理装置
71 外部インターフェース
72 入力部
73 表示部
74 記憶部
741 画像処理プログラム
75 演算部
751 ***形状推定部
751a ***頂上推定部
751b 画素***モデル推定部
751c 画素***モデル修正部
752 沈降形状推定部
752a 沈降領域抽出部
752b 沈降領域分割部
752c 画素沈降モデル推定部
752d 画素沈降モデル修正部
753 ***頂上異常判定部
754 分割沈降領域異常判定部
755 異常部候補検出部
756 異常判定部
76 制御部
1 被検体
Claims (25)
- 対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定部と、
前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出部と、
を備えることを特徴とする画像処理装置。 - 前記モデル推定部は、前記対象物の***形状を映した前記画像内の***領域における画素値の勾配変化をモデル化し、前記***領域に***勾配モデルを設定することを特徴とする請求項1に記載の画像処理装置。
- 前記モデル推定部は、
前記***勾配モデルの初期***勾配モデルを設定する初期***勾配モデル設定部と、
前記初期***勾配モデルが設定された前記画像内の領域を構成する画素の画素値をもとに、前記初期***勾配モデルを初期状態とした前記***勾配モデルの修正を行う***勾配モデル修正部と、
を有することを特徴とする請求項2に記載の画像処理装置。 - 前記***形状の頂上領域を検出し、前記***形状を映した前記画像内の***領域の概略位置として推定する***頂上推定部を備えることを特徴とする請求項3に記載の画像処理装置。
- 前記初期***勾配モデル設定部は、前記頂上領域をもとに前記初期***勾配モデルを設定することを特徴とする請求項4に記載の画像処理装置。
- 前記***頂上推定部は、前記画像内を画素値をもとに領域分割する領域分割部を有し、前記領域分割部によって分割された領域毎に画素値を比較して、周囲の領域よりも画素値が大きい領域を前記頂上領域として検出することを特徴とする請求項4または5に記載の画像処理装置。
- 前記領域分割部は、前記画像内の画素値をクラスタリングして領域分割を行うことを特徴とする請求項6に記載の画像処理装置。
- 前記領域分割部は、k-means法を適用して前記画素値のクラスタリングを行うことを特徴とする請求項7に記載の画像処理装置。
- 前記領域分割部は、前記画像内の画素値の分布を混合分布によって推定し、前記画素値のクラスタリングを行うことを特徴とする請求項7に記載の画像処理装置。
- 前記***勾配モデル修正部は、動的輪郭モデルを用いて前記***勾配モデルを変形させることを特徴とする請求項3~9のいずれか1つに記載の画像処理装置。
- 前記頂上領域の特徴量を算出し、該算出した特徴量が所定の異常部候補条件を満たす頂上領域を前記異常部の候補領域として検出する***頂上異常判定部を備えることを特徴とする請求項4~10のいずれか1つに記載の画像処理装置。
- 前記異常部候補検出部は、前記***領域を構成する各画素の画素値と、該***領域に設定された***勾配モデルによって定まる前記***領域を構成する各画素の推定画素値との差分をもとに、該差分が所定の異常基準値範囲内である画素を前記異常部の候補領域の構成画素として検出することを特徴とする請求項2~11のいずれか1つに記載の画像処理装置。
- 前記モデル推定部は、前記対象物の沈降形状を映した前記画像内の沈降領域における画素値の勾配変化をモデル化し、前記沈降領域に沈降勾配モデルを設定することを特徴とする請求項2~12のいずれか1つに記載の画像処理装置。
- 前記モデル推定部は、
前記沈降勾配モデルの初期沈降勾配モデルを設定する初期沈降勾配モデル設定部と、
前記初期沈降勾配モデルが設定された前記画像内の領域を構成する画素の画素値をもとに、前記初期沈降勾配モデルを初期状態とした前記沈降勾配モデルの修正を行う沈降勾配モデル修正部と、
を有することを特徴とする請求項13に記載の画像処理装置。 - 前記画像内の前記沈降領域を抽出する沈降領域抽出部を備えることを特徴とする請求項13または14に記載の画像処理装置。
- 前記沈降領域抽出部は、前記***勾配モデルが設定された***領域を除外した前記画像内の領域を前記沈降領域として抽出することを特徴とする請求項15に記載の画像処理装置。
- 前記沈降領域を構成する各画素についてそれぞれ最も近傍する***領域を選出し、選出した***領域が異なる境界位置を分割位置として前記沈降領域を分割する沈降領域分割部を備えることを特徴とする請求項13~16のいずれか1つに記載の画像処理装置。
- 前記***領域の輪郭位置に所定数または所定間隔で設定点を配置する設定点配置部を備え、
前記沈降領域分割部は、前記分割された沈降領域を構成する各画素について選出された***領域について前記設定点配置部が設定した前記設定点を用い、前記分割された沈降領域をさらに分割することを特徴とする請求項17に記載の画像処理装置。 - 前記モデル推定部は、前記沈降領域分割部によって分割された沈降領域毎に前記沈降勾配モデルを設定することを特徴とする請求項17または18に記載の画像処理装置。
- 前記沈降勾配モデル修正部は、動的輪郭モデルを用いて前記沈降勾配モデルを変形させることを特徴とする請求項14~19のいずれか1つに記載の画像処理装置。
- 前記沈降領域の特徴量を算出し、該算出した特徴量が所定の異常部候補条件を満たす分割沈降領域を前記異常部の候補領域として検出する沈降領域異常判定部を備えることを特徴とする請求項14~20のいずれか1つに記載の画像処理装置。
- 前記異常部候補検出部は、前記沈降領域を構成する各画素の画素値と、該沈降領域に設定された沈降勾配モデルによって定まる前記沈降領域を構成する各画素の推定画素値との差分をもとに、該差分が所定の異常基準値範囲内である画素を前記異常部の候補領域の構成画素として検出することを特徴とする請求項14~21のいずれか1つに記載の画像処理装置。
- 前記異常部の候補領域の特徴量を算出し、該算出した特徴量が所定の異常部条件を満たす前記異常部の候補領域を前記対象物上の異常部と判定する異常判定部を備えることを特徴とする請求項1~22のいずれか1つに記載の画像処理装置。
- コンピュータに、
対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定手順と、
前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出手順と、
を実行させることを特徴とする画像処理プログラム。 - 対象物を撮像した画像内の画素値をもとに、前記画像内の画素値の勾配変化をモデル化するモデル推定ステップと、
前記画像を構成する各画素の画素値と、前記モデル化された画素値の勾配変化によって定まる前記各画素の推定画素値との差分をもとに、前記画像に映る前記対象物上の異常部の候補領域を検出する異常部候補検出ステップと、
を含むことを特徴とする画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN200980123042.1A CN102065744B (zh) | 2008-06-17 | 2009-06-10 | 图像处理装置及图像处理方法 |
EP09766573.1A EP2305091B1 (en) | 2008-06-17 | 2009-06-10 | Image processing apparatus, image processing program, and image processing method |
US12/971,500 US8478010B2 (en) | 2008-06-17 | 2010-12-17 | Image processing apparatus, image processing program recording medium, and image processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008158389A JP5424584B2 (ja) | 2008-06-17 | 2008-06-17 | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 |
JP2008-158389 | 2008-06-17 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US12/971,500 Continuation US8478010B2 (en) | 2008-06-17 | 2010-12-17 | Image processing apparatus, image processing program recording medium, and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2009154125A1 true WO2009154125A1 (ja) | 2009-12-23 |
Family
ID=41434041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/060643 WO2009154125A1 (ja) | 2008-06-17 | 2009-06-10 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8478010B2 (ja) |
EP (1) | EP2305091B1 (ja) |
JP (1) | JP5424584B2 (ja) |
CN (1) | CN102065744B (ja) |
WO (1) | WO2009154125A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102243762A (zh) * | 2010-05-11 | 2011-11-16 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
EP2423876A1 (en) * | 2010-08-24 | 2012-02-29 | Olympus Corporation | Image processing apparatus, image processing method, and image processing program |
EP2423875A1 (en) * | 2010-08-24 | 2012-02-29 | Olympus Corporation | Image processing apparatus, image processing method, and image processing program |
CN102436638A (zh) * | 2010-08-24 | 2012-05-02 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
CN102737388A (zh) * | 2011-03-31 | 2012-10-17 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
US8666135B2 (en) | 2011-07-12 | 2014-03-04 | Olympus Medical Systems Corp. | Image processing apparatus |
US8792697B2 (en) | 2011-09-08 | 2014-07-29 | Olympus Medical Systems Corp. | Image processing apparatus and image processing method |
WO2017006574A1 (ja) * | 2015-07-03 | 2017-01-12 | オリンパス株式会社 | 画像処理装置、画像判別システム、及び内視鏡システム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8213698B2 (en) * | 2006-09-19 | 2012-07-03 | Capso Vision Inc. | Systems and methods for capsule camera control |
EP2169415A1 (en) * | 2008-09-30 | 2010-03-31 | Siemens Schweiz AG | Method for automatic quality control of in-vivo human brain MRI images |
EP2502546B1 (en) * | 2010-04-12 | 2015-07-01 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method |
JP5570866B2 (ja) * | 2010-04-30 | 2014-08-13 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
JP5622461B2 (ja) * | 2010-07-07 | 2014-11-12 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5800626B2 (ja) * | 2011-07-29 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP6196760B2 (ja) * | 2012-08-10 | 2017-09-13 | オリンパス株式会社 | 画像処理装置 |
CN105530851A (zh) * | 2013-09-13 | 2016-04-27 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
CN106063247B (zh) * | 2014-02-28 | 2019-11-26 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法和图像处理程序 |
WO2018216629A1 (ja) | 2017-05-22 | 2018-11-29 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7113657B2 (ja) * | 2017-05-22 | 2022-08-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002099896A (ja) | 2000-09-22 | 2002-04-05 | Fuji Photo Film Co Ltd | 異常陰影候補検出方法および装置 |
JP2002257534A (ja) * | 2001-03-02 | 2002-09-11 | Mazda Motor Corp | 画像処理装置及びその処理方法 |
JP2005192880A (ja) | 2004-01-08 | 2005-07-21 | Olympus Corp | 画像処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5289374A (en) * | 1992-02-28 | 1994-02-22 | Arch Development Corporation | Method and system for analysis of false positives produced by an automated scheme for the detection of lung nodules in digital chest radiographs |
US6947784B2 (en) * | 2000-04-07 | 2005-09-20 | The General Hospital Corporation | System for digital bowel subtraction and polyp detection and related techniques |
US7553276B2 (en) * | 2001-01-16 | 2009-06-30 | Given Imaging Ltd. | Method and device for imaging body lumens |
IL159451A0 (en) * | 2001-06-20 | 2004-06-01 | Given Imaging Ltd | Motility analysis within a gastrointestinal tract |
US7634305B2 (en) * | 2002-12-17 | 2009-12-15 | Given Imaging, Ltd. | Method and apparatus for size analysis in an in vivo imaging system |
JP4823659B2 (ja) * | 2005-11-24 | 2011-11-24 | オリンパスメディカルシステムズ株式会社 | 生体内画像表示装置 |
-
2008
- 2008-06-17 JP JP2008158389A patent/JP5424584B2/ja active Active
-
2009
- 2009-06-10 EP EP09766573.1A patent/EP2305091B1/en not_active Not-in-force
- 2009-06-10 CN CN200980123042.1A patent/CN102065744B/zh active Active
- 2009-06-10 WO PCT/JP2009/060643 patent/WO2009154125A1/ja active Application Filing
-
2010
- 2010-12-17 US US12/971,500 patent/US8478010B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002099896A (ja) | 2000-09-22 | 2002-04-05 | Fuji Photo Film Co Ltd | 異常陰影候補検出方法および装置 |
JP2002257534A (ja) * | 2001-03-02 | 2002-09-11 | Mazda Motor Corp | 画像処理装置及びその処理方法 |
JP2005192880A (ja) | 2004-01-08 | 2005-07-21 | Olympus Corp | 画像処理方法 |
Non-Patent Citations (3)
Title |
---|
A.P. DEMPSTER ET AL., JOURNAL OF THE ROYAL STATISTICAL SOCIETY. SERVICE B, vol. 39, no. 1, 1977, pages 1 - 38 |
CG-ARTS ASSOCIATION, DIGITAL IMAGE PROCESS, pages 181 - 182 |
See also references of EP2305091A4 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102243762A (zh) * | 2010-05-11 | 2011-11-16 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
US8620043B2 (en) | 2010-08-24 | 2013-12-31 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium |
US8620042B2 (en) | 2010-08-24 | 2013-12-31 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording medium |
CN102376091A (zh) * | 2010-08-24 | 2012-03-14 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
CN102376092A (zh) * | 2010-08-24 | 2012-03-14 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
CN102436638A (zh) * | 2010-08-24 | 2012-05-02 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
EP2423876A1 (en) * | 2010-08-24 | 2012-02-29 | Olympus Corporation | Image processing apparatus, image processing method, and image processing program |
EP2423875A1 (en) * | 2010-08-24 | 2012-02-29 | Olympus Corporation | Image processing apparatus, image processing method, and image processing program |
EP2506212A3 (en) * | 2011-03-31 | 2013-11-20 | Olympus Corporation | Image processing apparatus, image processing method, and image processing program |
CN102737388A (zh) * | 2011-03-31 | 2012-10-17 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
US8774521B2 (en) | 2011-03-31 | 2014-07-08 | Olympus Corporation | Image processing apparatus, image processing method, and computer-readable recording device |
US8666135B2 (en) | 2011-07-12 | 2014-03-04 | Olympus Medical Systems Corp. | Image processing apparatus |
US8792697B2 (en) | 2011-09-08 | 2014-07-29 | Olympus Medical Systems Corp. | Image processing apparatus and image processing method |
WO2017006574A1 (ja) * | 2015-07-03 | 2017-01-12 | オリンパス株式会社 | 画像処理装置、画像判別システム、及び内視鏡システム |
JPWO2017006574A1 (ja) * | 2015-07-03 | 2017-07-06 | オリンパス株式会社 | 画像処理装置及び内視鏡システム |
Also Published As
Publication number | Publication date |
---|---|
JP5424584B2 (ja) | 2014-02-26 |
CN102065744B (zh) | 2014-01-08 |
US8478010B2 (en) | 2013-07-02 |
EP2305091A4 (en) | 2016-04-06 |
US20110085717A1 (en) | 2011-04-14 |
JP2009297450A (ja) | 2009-12-24 |
EP2305091A1 (en) | 2011-04-06 |
CN102065744A (zh) | 2011-05-18 |
EP2305091B1 (en) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5424584B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 | |
US8837821B2 (en) | Image processing apparatus, image processing method, and computer readable recording medium | |
US8811698B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP5959168B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
JP6150583B2 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 | |
CN105719324B (zh) | 图像处理装置以及图像处理方法 | |
JP5576782B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5622461B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP5597049B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP5526044B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP5851160B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
US8385614B2 (en) | Slice image display apparatus, method and recording-medium having stored therein program | |
JP2009291415A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
JP5757724B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2010115413A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
CN110349141A (zh) | 一种乳腺病灶定位方法和*** | |
WO2012153568A1 (ja) | 医用画像処理装置及び医用画像処理方法 | |
JP2010069208A (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
JP2006166990A (ja) | 医用画像処理方法 | |
JP2010142375A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
JP2005211439A (ja) | 異常陰影表示装置およびそのプログラム | |
Armin | Automated visibility map from colonoscopy video to support clinical diagnosis and improve the quality of colonoscopy | |
Pan et al. | Nasopharyngeal Organ Segmentation Algorithm Based on Dilated Convolution Feature Pyramid | |
JP4856275B2 (ja) | 医用画像処理装置 | |
CN117593564A (zh) | 一种喉内镜图像的病灶识别方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200980123042.1 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09766573 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
REEP | Request for entry into the european phase |
Ref document number: 2009766573 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2009766573 Country of ref document: EP |