JP4891636B2 - 画像解析装置 - Google Patents

画像解析装置 Download PDF

Info

Publication number
JP4891636B2
JP4891636B2 JP2006069817A JP2006069817A JP4891636B2 JP 4891636 B2 JP4891636 B2 JP 4891636B2 JP 2006069817 A JP2006069817 A JP 2006069817A JP 2006069817 A JP2006069817 A JP 2006069817A JP 4891636 B2 JP4891636 B2 JP 4891636B2
Authority
JP
Japan
Prior art keywords
edge
image
processing
intraluminal
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006069817A
Other languages
English (en)
Other versions
JP2007244518A (ja
Inventor
秀樹 田中
博一 西村
健次 中村
涼子 井上
美穂 沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2006069817A priority Critical patent/JP4891636B2/ja
Priority to PCT/JP2007/054212 priority patent/WO2007105516A1/ja
Priority to EP07737787A priority patent/EP1994879B1/en
Priority to CN2007800053327A priority patent/CN101384211B/zh
Publication of JP2007244518A publication Critical patent/JP2007244518A/ja
Priority to US12/208,720 priority patent/US8238629B2/en
Application granted granted Critical
Publication of JP4891636B2 publication Critical patent/JP4891636B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • G06T2207/30032Colon polyp

Description

本発明は、医療画像よりポリープの検出する画像解析装置に関する。
医療分野においてはX線、CT、MRI、超音波観測装置、内視鏡装置等の画像撮像機器を用いた診断が広く行われている。
例えば内視鏡装置においては、細長の挿入部を体腔内に挿入し、固体撮像素子等を撮像手段に用いて体腔内臓器等をモニタ画面により観察し、診断をすることができる。また、前記体腔内臓器へ超音波を照射し、この超音波の反射あるいは透過度等により該体腔内臓器の状況をモニタ画面により観察し、検査あるいは診断することのできる超音波内視鏡装置も広く用いられている。
これらの機器により撮像された画像を用いた最終的な診断は、医師の主観に依存している部分が多大であるため、画像解析手法により撮像対象に関する特徴量を算出し、客観的・数値的な診断支援情報を医師に提示することにより、医師の診断行為を支援する、診断支援装置がある。
ここで、特徴量とは、画像上の様々な所見を反映した数値であり、画像解析手法の適用により得られるものである。
例えば内視鏡画像において、粘膜表面の発赤といった色調に関する所見、透見血管像に見られる血管の屈折・蛇行性といった血管の形状に関する所見、胃小区における粘膜模様のパターンに関する所見は、病変の悪性度診断において重要な要素となっている。例えば非特許文献1(「”消化器内視鏡”2001vol.13 No.3 voI.13 東京医学社刊 P349-354」)は、粘膜所見及び血管の形状に関する所見による病変良悪性の鑑別についての例である。
例えば特開2005−157902号公報等には、特徴量を利用した所見の客観化結果に基づく病変判定精度を向上させることのできる画像解析方法が開示されている。この特開2005−157902号公報では、画像解析方法を消化管画像内の血管を線状パターンとして抽出して、病変判定に利用している。
特開2005−157902号公報 「"消化器内視鏡"2001 vol.13 No.3 voI.13 東京医学社刊 P349-354」
しかしながら、撮像対象となる消化管が大腸であるときの病変候補検出に着眼した画像解析手法は従来技術には存在しない。大腸における検出対象として***性病変(大腸ポリープ)があるが、公知のエッジ検出手法では、大腸ポリープだけではなく襞(ひだ:ハウストラ)や大腸管腔屈曲部等の境界も同時に検出してしまう問題がある。
本発明は、上記事情に鑑みてなされたものであり、管腔内異常組織の検出精度を向上させることのできる画像解析装置を提供することを目的としている。
本発明の一態様の画像解析装置は、管腔内画像のエッジを抽出するエッジ抽出処理を行うエッジ抽出処理手段と、前記エッジ抽出処理手段により抽出した各々の前記エッジのエッジ線データ及び/またはエッジ周辺画素データに基づき、前記エッジが管腔内異常組織のエッジであるか否かを判定する管腔内異常組織候補検出処理手段と、を備え、前記管腔内異常組織候補検出処理手段は、前記エッジの法線ベクトルの集中度に基づき、前記管腔内異常組織のエッジであるか否かを判定することを特徴とする。
本発明の他の態様の画像解析装置は、管腔内画像のエッジを抽出するエッジ抽出処理を行うエッジ抽出処理手段と、前記エッジ抽出処理手段により抽出した各々の前記エッジのエッジ線データ及び/またはエッジ周辺画素データに基づき、前記エッジが管腔内異常組織のエッジであるか否かを判定する管腔内異常組織候補検出処理手段と、を備え、前記管腔内異常組織候補検出処理手段は、前記エッジ周辺の画素値勾配の方向ベクトルとエッジ線との交差判定に基づき、前記管腔内異常組織のエッジであるか否かを判定することを特徴とする。
本発明によれば、管腔内異常組織の検出精度を向上させることができることができるという効果がある。
以下、図面を参照しながら本発明の実施例について述べる。
図1ないし図11は本発明の実施例1に係わり、図1は内視鏡画像解析装置の構成を示す構成図、図2は図1のメモリ上に記憶される情報を示す図、図3は図1のCPUにより実行される画像解析プログラムの処理の流れを示すフローチャート、図4は図3の画像解析処理の流れを示すフローチャート、図5は図1のメモリ上に記憶される原画像を示す図、図6は図1のメモリ上に記憶される細線化画像を示す図、図7は図1のメモリ上に記憶されるリープ候補画像を示す図、図8は図4のポリープ候補検出処理の流れを示すフローチャート、図9は図8の処理を説明する第1の図、図10は図8の処理を説明する第2の図、図11は図3の処理で表示装置に表示されるポリープ候補画像を原画像に重畳したポリープ候補ラベリング画像を示す図である。
(構成)
図1に示すように、本実施例の内視鏡画像解析装置1は、生体内を撮像してアナログ画像信号を出力する内視鏡観察装置2と、内視鏡観察装置2の出力するアナログ画像信号から画像データを生成すると共に生成された画像データを蓄積する内視鏡ファイリング装置3と、画像解析処理を行う画像処理装置4とを備えて構成される。
画像処理装置4は、情報処理を行う情報処理装置5と、キーボードとマウス等とからなる操作装置6と、ハードディスク等からなる記憶装置7と、CRTあるいは液晶ディスプレイあるいはプラズマディスプレイ等の表示手段からなる表示装置8とを具備して構成される。
内視鏡ファイリング装置3と情報処理装置5は、例えばTCP/IPをプロトコルとするLAN9に接続されており、相互に通信可能である。
情報処理装置5は、一般のパーソナルコンピュータが用いられており、内視鏡ファイリング装置3に蓄積されている画像データをLAN9経由で取得し、画像データに対して画像解析処理を行い、画像解析結果を表示装置8に表示するようになっている。ここで、処理を行う画像データの指定、指定された画像データの取得指示、処理実行の指示は、操作装置6を用いた操作によって行われる。
情報処理装置5では、制御・処理を行うエッジ抽出処理手段及び管腔内異常組織候補検出処理手段としてのCPU10と、処理プログラム・データを記憶するメモリ11と、記憶装置7との間で情報の読み書きを行う外部記憶I/F12と、外部機器との通信を行うネットワークカード13と、操作装置6との入出力を行う操作I/F14と、表示装置8にビデオ信号を出力するグラフィックボード15とが、バス16に接続されており、バス16を介して相互にやり取りを行うようになっている。
ネットワークカード13は、LAN9上に接続されている内視鏡ファイリング装置8とデータの送受信処理を行うようになっている。
操作I/F14は、操作装置6のキーボードやマウスによって入力された入力信号を受け取り、必要なデータ処理を行うようになっている。
記憶装置7は情報処理装置5に接続されており、画像解析処理を実行する画像解析プログラム20を格納している。該画像解析プログラム20は、複数の実行ファイルまたは動的リンクライブラリファイルまたは設定ファイルから構成される。
外部記憶I/F12は、記憶装置7に記憶されている画像解析プログラム20を読み込み、メモリ11に記憶させるようになっている。
図2に示すように、メモリ11は、画像解析プログラム20と、解析データ21を保持している。
メモリ11に記憶された画像解析プログラム20は、CPU10による実行により、操作装置6によって指定された内視鏡画像データを内視鏡ファイリング装置3から取得し、取得した画像データに対して画像解析処理をし、画像解析結果の表示装置8への表示処理を行うプログラムである。
メモリ11に記憶された解析データ21は、CPU10における各処理により取得及び生成されるデータである。記憶される解析データ21は、内視鏡ファイリング装置3から取得した画像データである原画像22及び後述する各種処理により生成される2値化画像23、ラベリング画像24、細線化画像25、ポリープ候補画像26からなる。
(作用)
CPU10にて実行される画像解析プログラム20の処理について説明する。この処理では、図3に示すように、CPU10は、原画像取得処理のステップS1にて、操作装置6の操作により指定された画像データを、内視鏡ファイリング装置3から取得し、メモリ11上に原画像22として記憶させる処理を行う。
次に、CPU10は、画像解析処理のステップS2にて、原画像取得処理ステップS1により取得した原画像22を処理し、2値化画像23と、ラベリング画像24と、細線化画像25と、ポリープ候補画像26と、図示しない解析処理画像とを生成してメモリ11上に記憶させる処理を行う。
そして、CPU10は、解析結果表示処理のステップS3にて、前記解析処理画像を表示装置8上に表示する処理を行う。
図3のステップS2の画像解析処理を図4を用いて説明する。図4に示すように、画像解析プログラム20により、ステップS10の2値化処理ステップにて、CPU10は、図5に示すような原画像22の例えばR信号について公知のSobelフィルタによるエッジ抽出処理を行って、処理結果として得られた画素値が所定の閾値Rt以上である場合に、該当画素を「1」とする2値画像23を生成する。
なお、エッジ抽出処理は、原画像22の例えばR信号について行うとしたが、これに限らず、原画像22のG信号あるいはB信号について行うようにしてもよい。
CPU10は、ステップS11のラベリング処理ステップにより、2値化画像の画素値が「1」である画素の連結成分のそれぞれにラベルを割り当てたラベリング画像24を生成する。
CPU10は、ステップS12の細線化処理ステップにより、ラベリング画像24内の各ラベル値を例えば公知のHildichの方法により細線化した図6に示すような細線化画像25を生成する。細線化画像25は、原画像11に含まれるエッジを、1画素の連結成分からなるエッジ線として抽出して各々にラベルを割り当てた画像となる。各エッジは、大腸の***性病変候補の外形線とともに、病変以外の構造の外形線を含んでいる。
なお、ラベリング画像24及び細線化画像25の生成方法については、例えば特開2005−157902号公報に開示されているように、公知であるので説明は省略する。
CPU10は、ステップS13のポリープ候補検出処理ステップにより、細線化画像25のエッジ線から、***性病変としての可能性の高いエッジ線のみを抽出して、図7に示すようなポリープ候補画像26として生成する。
次に、ステップS13のポリープ候補検出処理ステップを図8のフローチャートを用いて説明する。ポリープ候補検出処理は、細線化画像25のエッジ線から、***性病変としての可能性の高いエッジ線のみを抽出して、ポリープ候補画像26として生成する処理である。
図8に示すように、CPU10は、ステップS21にて、ラベリング画像24においてラベル値「1」をもつエッジ線情報を取得する。
CPU10は、ステップS22にて、エッジ線の端点を算出する。端点数が”2”ではない場合には、分岐/交差点がある、または閉曲線であることを示しており、本処理では大腸ポリープの対象候補から除外する。
CPU10は、ステップS23にて、エッジ線の線分長を算出する。本実施例では、画素数を線分長として代用する。また、線分長が所定値L0以下である場合には、ノイズであるとみなして、大腸ポリープの対象候補から除外する。
CPU10は、ステップS24にて、エッジ線を長さLc間隔で分割する分割点P’nを求める。その方法は、エッジ線の端点から辿って、Lc番目の画素を分割点P’nとして設定することにより実現する。図9、図10の白丸が、端点P0から端点P1までの分割点P’nの分布を示している。
CPU10は、ステップS25にて、まず、ステップS24において求めた分割点P’nを通る補間曲線を求める。補間曲線をパラメトリック曲線とするときの曲線方程式は、曲線上に存在するとみなす4点(端点を含む点間を補間する場合は3点)を決定してCatmull-Rom曲線式に当てはめることにより導出する。補間曲線上の補間点は、パラメトリック曲線のパラメタt(0≦t≦1)を設定することにより容易に求まる。
続いて、分割点P’nにおけるエッジ線の法線ベクトルを求める。分割点P’nにおける接線ベクトルは、前述の方法により求めたパラメトリック曲線方程式のtに関する微分式に、t=0.0またはt=1.0を代入することにより容易に求まる。よって、その接線ベクトルと直交するベクトルが法線ベクトルとなる。
ただし、法線ベクトルは2方向あるため、点P0と点P1の中点に近い方向を各分割点P’nごとに求めて、数の多い方の方向を法線ベクトルの方向とする。
これにより、エッジ線が円弧形状である場合にその円弧の中心方向を法線ベクトルが向くこととなる。法線ベクトルの長さは所定の長さn0とする。
CPU10は、ステップS26にて、法線ベクトルの端点のうち分割点ではない方(すなわち、法線ベクトルの終点:図9、図10の×印))の集合の度合いを評価する。
本実施例では、法線ベクトル端点のx座標, y座標の平均値をμx, μyとするときの、各法線ベクトル端点との距離の二乗である
(x−μx)2+(y−μy)2
を求めることとする。
CPU10は、ステップS27にて、ステップS26で求めた距離の二乗の平均値を求め、その値が所定の閾値M0以上であるときに、該当するエッジ線を大腸ポリープの対象候補から除外する。
そして、ステップS26で求めた距離の二乗の平均値が閾値M0よりも小さい場合には、CPU10は、ステップS28にてエッジ線の画素を「1」とするポリープ候補画像26を生成する。
なお、図9は本実施例においてポリープ候補として認められたエッジ線の例を示し、図10は本実施例においてポリープ候補として認められなかったエッジ線の例を示す。
(効果)
以上本実施例では、CPU10が上記処理ステップを、細線化画像25の各ラベル値ごとに処理して、処理結果をポリープ候補画像26に重畳することにより、ポリープ候補エッジをラベリングした、図11に示すようなポリープ候補ラベリング画像27を生成する。そして、図11に示すように、ポリープ候補画像26を原画像22に重畳したポリープ候補ラベリング画像27を表示装置8上に表示することにより、画像上のポリープ候補位置を容易に確認することが可能となる。
図12ないし図15は本発明の実施例2に係わり、図12は大腸ポリープ候補検出処理の流れを示すフローチャート、図13は図12の処理を説明する第1の図、図14は図12の処理を説明する第2の図、図15は図12の処理を説明する第3の図である。
実施例2は実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号を付し説明は省略する。
本実施例では、大腸ポリープ候補検出処理の一部が実施例1と異なり、図12に示すように、本実施例ではCPU10は、ステップS21〜S25を実施し、実施例1と同様にステップS25においてエッジ線の分割点P’nでの法線ベクトルを求めた後、ステップS31にて法線ベクトルの端点のうち分割点ではない方(すなわち、法線ベクトルの終点)における、原画像のR信号の濃淡値勾配を求める。
濃淡値勾配は、図13に示すように、法線ベクトル端点を中心として3×3の画素に関して、x,y方向それぞれ3画素先のR画素信号の差分を抽出し、x,y方向の差分値の平均値を、濃淡値勾配のx方向成分、y方向成分とする。
そして、CPU10は、ステップS32にて法線ベクトル端点から、ステップS31で求めた濃淡値勾配の方向に直線を引いたときの、エッジ線との交点の有無を調べる。その方法は、法線ベクトル端点を起点として、濃淡値勾配方向に辿っていき、エッジ線と交わるか否かを調べることとなる。例えば、図14のようにエッジ線がR信号の濃淡値の明るい領域を囲むように位置する場合には、全ての法線ベクトル端点についてエッジ線との交差が発生する。しかし、図15のようにエッジ線がR信号の濃淡値の暗い領域を囲むように位置する場合には、全ての法線ベクトル端点についてエッジ線との交差が発生しないこととなる。図14はポリープの外形線としてエッジ抽出した例を示し、図15は管腔奥を覗き見る際の管腔に存在する襞を抽出した例を示している。
続いて、CPU10は、ステップS33にてエッジ線との交点が発生した数と所定の閾値M0とを比較し、交点がM0以上である場合にはエッジ線がポリープの外形線を表すものとして、ステップS28においてエッジ線の画素を「1」とするポリープ候補画像26を生成する。
なお、本実施例ではCPU10は、濃淡値勾配を3画素先の画素値との差分により求めているが、設定可能なパラメタ変数Nにより、N画素先の差分を求めるように構成して、濃淡値勾配情報のスケールを調整可能としてもよい。
このように本実施例では、CPU10がエッジ近傍の画像濃淡値の勾配を調べることによって、ポリープ外形の特徴を示さないエッジ線を検出し、そのエッジ線をポリープ候補から除外して病変候補を提示するため、Dr.の病変発見を補助することとなる。
図16ないし図29は本発明の実施例3に係わり、図16は大腸ポリープ候補検出処理の流れを示すフローチャート、図17は図16の処理を説明する第1の図、図18は図16の処理を説明する第2の図、図19は図16の処理を説明する第3の図、図2は図16の処理を説明する第4の図、図21は図16の処理を説明する第5の図、図22は図16の処理を説明する第6の図、図23は図16の処理を説明する第7の図、図24は図16の処理を説明する第8の図、図25は図16の大腸ポリープ候補検出処理の変形例を実施する画像解析プログラムを示す図、図26は図25の大腸ポリープ候補検出処理の流れを示すフローチャート、図27は図26の処理を説明する第1の図、図28は図26の処理を説明する第2の図、図29は図26の処理を説明する第3の図である。
実施例3は実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号を付し説明は省略する。
本実施例では、大腸ポリープ候補検出処理が実施例1と異なり、図16に示すように、CPU10は、ステップS21にて、ラベリング画像24においてラベル値「1」をもつエッジ線情報を取得する。
CPU10は、ステップS22にて、エッジ線の端点を算出する。端点数が2である場合には、分岐/交差のない開曲線であるとみなして、端点同士を結んだ開曲線を形成し、ステップS23に進む。端点数が2でない場合は、ステップS60に進む。端点数が0である場合には、分岐のない閉曲線であるとみなしてステップS61に進む。端点数が2以上である場合には、本処理では大腸ポリープの対象候補から除外するため、以降の処理を全てスキップする。
なお、端点数が2であっても、閉曲線に分岐点/交差点が含まれる場合があるため、分岐点の数、交差点の数を調べて判定することにより、本実施例の検出精度が向上させることが可能である。
CPU10は、ステップS23にて、エッジ線の周囲長を算出する。本実施例では、画素数を周囲長として代用する。周囲長が所定値L0以下である場合には、ノイズであるとみなして、大腸ポリープの対象候補から除外する。
CPU10は、ステップS24にて、エッジ線をn分割する分割点P’nを求める。分割点間の距離Lcを、Lc=(エッジ線分長)/nにより求めておき、エッジ上の任意の点(本実施例では、ステップS22にて算出したエッジ線の端点P0)を開始点として設定し、右回りに辿って、Lc番目の画素を分割点として順次設定することにより分割点生成を実現する。その結果の例として、図17では、端点P0から右回りに分割点列を生成したことを示している。
CPU10は、ステップS50にて、エッジ分割点列の複素PARCOR係数を算出しステップS51に進む。ここで、点列の座標値は、周囲長が1になるようにスケール変換しておく。
なお、複素PARCOR係数は、点列のなす形状に関する特徴量であり、参考文献として例えば「電子情報通信学会論文誌 D-II Vol.J73-D-II No.6 pp804-811 1990年6月」がある。
次に端点数が0の場合の処理フローを説明する。
CPU10は、ステップS61にて、エッジ線の周囲長を求める。本実施例では、ステップS23と同様に画素数を線分長として代用する。周囲長が所定の値D0以下である場合には、ノイズであるとみなして、大腸ポリープの対象候補から除外する。
CPU10は、ステップS62にて、エッジ線をn分割する分割点P’nを求める。その方法はステップS24と同様であり、分割点間の距離Dcを、Dc=(エッジ周囲長)/nにより求めておき、エッジ線上の任意の点(本実施例では、x座標が最小値であるエッジ線上の点のうち、y座標が最小値である点)を開始点P0と設定し、右回りに辿って、Dc番目の画素を分割点として順次設定することにより分割点生成を実現する。その結果の例として、図18では、端点P0からP6まで設定されて、P7がP0と重なる分割点列を生成したことを示している。
CPU10は、ステップS63にて、エッジ分割点列の複素PARCOR係数を算出しステップS51に進む。ここで、点列の座標値は、対象となる閉曲線を囲む最小の正方形の1辺の長さが1であるようにスケール変換しておく。
CPU10は、ステップS51にて、ステップS50、ステップS63で得た結果である複素PARCOR係数を、判別分析する。判別分析の教師データ例を図19ないし図24に示す。このうち、大腸ポリープであることを示す正解例としてのポリープクラスと判定される教師データ例は、例えば図23及び図24の2つである。
CPU10は、ステップS52にて、ステップS51での結果がポリープクラスと識別された場合には、エッジ形状が大腸ポリープのものであるとして、ステップS28にて該当するエッジ線の画素を1とするポリープ候補画像26を生成する。
以上のように本実施例においても、ポリープ候補画像26を原画像22に重畳して表示装8置上に表示することにより、画像上のポリープ候補位置を容易に確認することが可能となる。
なお、本実施例では実施例1と同様に、CPU10が細線化画像25におけるエッジ線を求めて、図16の大腸ポリープ候補検出処理を実施するとしたが、これに限らず、図25に示すように、細線化画像25を生成することなく、2値化画像の画素値が「1」である画素の連結成分のそれぞれにラベルを割り当てたラベリング画像24におけるエッジ線を求めて、図26に示すような大腸ポリープ候補検出処理を実施するようにしても良い。
すなわち、細線化されていないラベリング画像24は、例えば図27ないし図29に示すような閉曲線画像となるが、該ラベリング画像24をエッジ線として、エッジ線をn分割する分割点P’nを求め、エッジ分割点列の複素PARCOR係数を算出し、複素PARCOR係数を判別分析してポリープ候補画像26を生成するようにしても良い(図27ないし図29の例では、図28及び図29がポリープ候補画像26となる)。
図30及び図31は本発明の実施例4に係わり、図30は大腸ポリープ候補検出処理の流れを示すフローチャート、図31は図30の処理を説明する図である。
実施例4は実施例1とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号を付し説明は省略する。
本実施例では、大腸ポリープ候補検出処理の一部が実施例1と異なり、図30に示すように、CPU10は、本実施例ではステップS21〜S24を実施し、実施例1と同様にステップS24においてエッジ線をn分割する分割点P’nを求める。
その結果の例として、図31では、端点P0から端点P1まで、P’0、P’1の2点の分割点を生成したことを示している。
そして、CPU10は、ステップS71にて、端点P0、P1、分割点P’nを通る補間曲線上の補間点を求める。補間曲線上の補間点は、パラメトリック曲線のパラメタt(0≦t≦1)を設定することにより容易に求まる。本実施例では補間点C0、C1、C2を、それぞれP0〜P’0、P’0〜P’1、P’1〜P1の中点として設定し、それぞれt=0.50を各曲線方程式に代入することにより求めることとする。
CPU10は、ステップS72にて、まず補間点を通る補間曲線と法線方向に交わる直線方程式を求める。補間点における曲線の接線ベクトルは、ステップS71のパラメトリック曲線方程式のtに関する微分式に、補間点生成に代入したtの値を代入することにより容易に求まる。よって、その方向ベクトルと直交する方向ベクトルが、直線方程式の傾きとなる。次に、求めた直線方程式を表す直線上を、補間点Cnを起点として辿っていき、エッジ線と交わったところの点と、起点であるCnとの距離Wnを求める。
CPU10は、ステップS73にて、ステップS72で求めた各補間点Cnにおける距離Wnの二乗の平均値を求める。この平均値が、所定の値M0以上である場合には、エッジの形状が不整であるとして、該当するエッジ線の画素を1とするポリープ候補画像26を生成する。
本実施例においても、ポリープ候補画像26を原画像22に重畳して表示装置8上に表示することにより、画像上のポリープ候補位置を容易に確認することが可能となる。
なお、画像データの一例として上記各実施例では大腸内の内視鏡画像データを用い、管腔内異常組織としての大腸ポリープを例に説明したが、これに限らず、他の管腔内画像データに適用し他の管腔内の異常組織の検出に適用可能である。
本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
本発明の実施例1に係る内視鏡画像解析装置の構成を示す構成図 図1のメモリ上に記憶される情報を示す図 図1のCPUにより実行される画像解析プログラムの処理の流れを示すフローチャート 図3の画像解析処理の流れを示すフローチャート 図1のメモリ上に記憶される原画像を示す図 図1のメモリ上に記憶される細線化画像を示す図 図1のメモリ上に記憶されるリープ候補画像を示す図 図4のポリープ候補検出処理の流れを示すフローチャート 図8の処理を説明する第1の図 図8の処理を説明する第2の図 図3の処理で表示装置に表示されるポリープ候補画像を原画像に重畳したポリープ候補ラベリング画像を示す図 本発明の実施例2に係る大腸ポリープ候補検出処理の流れを示すフローチャート 図12の処理を説明する第1の図 図12の処理を説明する第2の図 図12の処理を説明する第3の図 本発明の実施例3に係る大腸ポリープ候補検出処理の流れを示すフローチャート 図16の処理を説明する第1の図 図16の処理を説明する第2の図 図16の処理を説明する第3の図 図16の処理を説明する第4の図 図16の処理を説明する第5の図 図16の処理を説明する第6の図 図16の処理を説明する第7の図 図16の処理を説明する第8の図 図16の大腸ポリープ候補検出処理の変形例を実施する画像解析プログラムの処理を示す図 図25の大腸ポリープ候補検出処理の流れを示すフローチャート 図26の処理を説明する第1の図 図26の処理を説明する第2の図 図26の処理を説明する第3の図 本発明の実施例4に係る大腸ポリープ候補検出処理の流れを示すフローチャート 図30の処理を説明する図
符号の説明
1…内視鏡画像解析装置
2…内視鏡観察装置
3…内視鏡ファイリング装置
4…画像処理装置
5…情報処理装置
6…操作装置
7…記憶装置
8…表示装置
9…LAN
10…CPU
11…メモリ
12…外部記憶I/F
13…ネットワークカード
14…操作I/F
15…グラフィックボード
16…バス
20…画像解析プログラム
21…解析データ
22…原画像
23…2値化画像
24…ラベリング画像
25…細線化画像
26…ポリープ候補画像

Claims (2)

  1. 管腔内画像のエッジを抽出するエッジ抽出処理を行うエッジ抽出処理手段と、
    前記エッジ抽出処理手段により抽出した各々の前記エッジのエッジ線データ及び/またはエッジ周辺画素データに基づき、前記エッジが管腔内異常組織のエッジであるか否かを判定する管腔内異常組織候補検出処理手段と、
    を備え、
    前記管腔内異常組織候補検出処理手段は、前記エッジの法線ベクトルの集中度に基づき、前記管腔内異常組織のエッジであるか否かを判定する
    ことを特徴とする画像解析装置。
  2. 管腔内画像のエッジを抽出するエッジ抽出処理を行うエッジ抽出処理手段と、
    前記エッジ抽出処理手段により抽出した各々の前記エッジのエッジ線データ及び/またはエッジ周辺画素データに基づき、前記エッジが管腔内異常組織のエッジであるか否かを判定する管腔内異常組織候補検出処理手段と、
    を備え、
    前記管腔内異常組織候補検出処理手段は、前記エッジ周辺の画素値勾配の方向ベクトルとエッジ線との交差判定に基づき、前記管腔内異常組織のエッジであるか否かを判定する
    ことを特徴とする画像解析装置。
JP2006069817A 2006-03-14 2006-03-14 画像解析装置 Active JP4891636B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006069817A JP4891636B2 (ja) 2006-03-14 2006-03-14 画像解析装置
PCT/JP2007/054212 WO2007105516A1 (ja) 2006-03-14 2007-03-05 画像解析装置及び画像解析方法
EP07737787A EP1994879B1 (en) 2006-03-14 2007-03-05 Image analysis device and image analysis method
CN2007800053327A CN101384211B (zh) 2006-03-14 2007-03-05 图像分析装置
US12/208,720 US8238629B2 (en) 2006-03-14 2008-09-11 Image analysis device and image analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006069817A JP4891636B2 (ja) 2006-03-14 2006-03-14 画像解析装置

Publications (2)

Publication Number Publication Date
JP2007244518A JP2007244518A (ja) 2007-09-27
JP4891636B2 true JP4891636B2 (ja) 2012-03-07

Family

ID=38509350

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006069817A Active JP4891636B2 (ja) 2006-03-14 2006-03-14 画像解析装置

Country Status (5)

Country Link
US (1) US8238629B2 (ja)
EP (1) EP1994879B1 (ja)
JP (1) JP4891636B2 (ja)
CN (1) CN101384211B (ja)
WO (1) WO2007105516A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2213220B9 (en) * 2007-11-29 2013-08-21 Olympus Medical Systems Corp. Endoscope system
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
JP5800468B2 (ja) * 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5597049B2 (ja) * 2010-07-07 2014-10-01 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5622461B2 (ja) * 2010-07-07 2014-11-12 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2012011303A1 (ja) * 2010-07-21 2012-01-26 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
JP5800549B2 (ja) * 2011-03-31 2015-10-28 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US9418461B2 (en) * 2011-08-15 2016-08-16 Mitsubishi Electric Corporation Character string placement device
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6196760B2 (ja) * 2012-08-10 2017-09-13 オリンパス株式会社 画像処理装置
US9965893B2 (en) * 2013-06-25 2018-05-08 Google Llc. Curvature-driven normal interpolation for shading applications
WO2015037141A1 (ja) * 2013-09-13 2015-03-19 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR20150049585A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 용종 검출 장치 및 그 동작방법
EP3238626A1 (en) * 2014-12-26 2017-11-01 Hitachi, Ltd. Image processing device and image processing method
JP6473177B2 (ja) 2015-01-23 2019-02-20 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
CN104809451B (zh) * 2015-05-15 2017-12-26 河海大学常州校区 一种基于笔画曲率检测的笔迹鉴伪***
DE112016006913T5 (de) 2016-05-27 2019-02-14 Olympus Corporation Bildverarbeitungsvorrichtung, Betriebsverfahren der Bildverarbeitungsvorrichtung und Betriebsprogramm der Bildverarbeitungsvorrichtung
CN107888902B (zh) * 2016-09-30 2019-04-26 财团法人成大研究发展基金会 使用二阶区域二元图的分群方法及影像处理***
CN110049709B (zh) 2016-12-07 2022-01-11 奥林巴斯株式会社 图像处理装置
WO2018198255A1 (ja) 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法およびプログラム
US20200129042A1 (en) * 2017-05-25 2020-04-30 Nec Corporation Information processing apparatus, control method, and program
CN107346543B (zh) * 2017-06-20 2020-02-07 青岛海信医疗设备股份有限公司 血管中心线的处理方法及装置、终端及存储介质
CN112312822A (zh) 2018-07-06 2021-02-02 奥林巴斯株式会社 内窥镜用图像处理装置和内窥镜用图像处理方法以及内窥镜用图像处理程序
CN113164023B (zh) 2018-11-28 2024-02-23 奥林巴斯株式会社 内窥镜***和内窥镜用图像处理方法、以及计算机可读存储介质
CN112566540B (zh) * 2019-03-27 2023-12-19 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜***、程序以及信息处理方法
EP4223203A4 (en) * 2020-10-02 2024-03-13 Fujifilm Corp IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, IMAGE PROCESSING DEVICE OPERATING METHOD, AND IMAGE PROCESSING DEVICE PROGRAM

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04193254A (ja) * 1990-11-27 1992-07-13 Olympus Optical Co Ltd 内視鏡画像処理装置
US6154560A (en) * 1996-08-30 2000-11-28 The Cleveland Clinic Foundation System and method for staging regional lymph nodes using quantitative analysis of endoscopic ultrasound images
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
US7043064B2 (en) * 2001-05-04 2006-05-09 The Board Of Trustees Of The Leland Stanford Junior University Method for characterizing shapes in medical images
US7333644B2 (en) * 2003-03-11 2008-02-19 Siemens Medical Solutions Usa, Inc. Systems and methods for providing automatic 3D lesion segmentation and measurements
JP4434705B2 (ja) 2003-11-27 2010-03-17 オリンパス株式会社 画像解析方法
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP5374801B2 (ja) 2004-08-31 2013-12-25 富士通株式会社 炭素元素からなる線状構造物質の形成体及び形成方法

Also Published As

Publication number Publication date
EP1994879B1 (en) 2011-07-13
WO2007105516A1 (ja) 2007-09-20
US20090074268A1 (en) 2009-03-19
CN101384211B (zh) 2011-12-07
EP1994879A4 (en) 2009-08-05
EP1994879A1 (en) 2008-11-26
CN101384211A (zh) 2009-03-11
US8238629B2 (en) 2012-08-07
JP2007244518A (ja) 2007-09-27

Similar Documents

Publication Publication Date Title
JP4891636B2 (ja) 画像解析装置
JP4891637B2 (ja) 画像解析装置
CN110049709B (zh) 图像处理装置
EP1994878B9 (en) Medical image processing device and medical image processing method
JP4434705B2 (ja) 画像解析方法
US20090054729A1 (en) Endoscope insertion support system and endoscope insertion support method
JP5191989B2 (ja) 医用画像表示装置、医用画像表示方法
WO2010119690A1 (ja) 診断支援装置、診断支援方法および診断支援プログラムが記憶された記憶媒体
US20170112357A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP7125479B2 (ja) 医療画像処理装置、医療画像処理装置の作動方法及び内視鏡システム
US9808145B2 (en) Virtual endoscopic image generation device, method, and medium containing program
WO2009102984A2 (en) System and method for virtually augmented endoscopy
JP5536669B2 (ja) 医用画像表示装置及び医用画像表示方法
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
EP4129197A1 (en) Computer program, information processing method, information processing device, and method for generating model
WO2021171464A1 (ja) 処理装置、内視鏡システム及び撮像画像の処理方法
US20140210971A1 (en) Navigation Using a Pre-Acquired Image
JP2008185895A (ja) 計測用内視鏡装置
JP2021157108A (ja) トレーニングシステム、画像処理装置、画像処理方法および画像処理プログラム
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
WO2023187886A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
CN115797348B (zh) 内窥镜下目标结构评估***、方法、设备及存储介质
WO2016056408A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20240054645A1 (en) Medical image processing apparatus, medical image processing method, and program
WO2023042273A1 (ja) 画像処理装置、画像処理方法及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111216

R151 Written notification of patent or utility model registration

Ref document number: 4891636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141222

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250