JP3596792B2 - 異常陰影候補領域を含む局所領域の抽出方法および装置 - Google Patents

異常陰影候補領域を含む局所領域の抽出方法および装置 Download PDF

Info

Publication number
JP3596792B2
JP3596792B2 JP26620696A JP26620696A JP3596792B2 JP 3596792 B2 JP3596792 B2 JP 3596792B2 JP 26620696 A JP26620696 A JP 26620696A JP 26620696 A JP26620696 A JP 26620696A JP 3596792 B2 JP3596792 B2 JP 3596792B2
Authority
JP
Japan
Prior art keywords
local
area
shadow candidate
abnormal shadow
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26620696A
Other languages
English (en)
Other versions
JPH10108858A (ja
Inventor
英哉 武尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP26620696A priority Critical patent/JP3596792B2/ja
Publication of JPH10108858A publication Critical patent/JPH10108858A/ja
Application granted granted Critical
Publication of JP3596792B2 publication Critical patent/JP3596792B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は異常陰影候補領域を含む局所領域の抽出方法および装置に関し、詳細には複数の局所領域が重複して設定されたときの局所領域の抽出方法および装置の改良に関するものである。
【0002】
【従来の技術】
従来より、種々の画像取得方法により得られた画像を表す画像信号に対して、階調処理や周波数処理等の画像処理を施し、画像の観察読影性能を向上させることが行われている。特に人体を被写体とした放射線画像のような医用画像の分野においては、医師等の専門家が、得られた画像に基づいて患者の疾病や傷害の有無を的確に診断する必要があり、その画像の読影性能を向上させる画像処理は不可欠なものとなっている。
【0003】
このような画像処理においては、その画像全体を処理の対象とする場合もあるが、検査や診断の目的がある程度明確な場合は、その目的に適した所望の画像部分だけを選択的に強調処理することもある。
【0004】
通常、そのような画像部分の選択は、画像処理が施される以前の原画像を観察読影者が観て、必要に応じて手動で行うものであるが、選択される対象画像部分や指定される範囲は観察者の経験や画像読影能力の高低によって左右され客観的なものとならない虞がある。
【0005】
例えば乳癌の検査を目的として撮影された放射線画像においては、その放射線画像から癌化部分の特徴の一つである腫瘤陰影を抽出することが必要であるが、必ずしも的確にその腫瘤陰影の範囲を指定できるとは限らない。このため、観察者の技量に依存せずに、腫瘤陰影を始めとする異常陰影を的確に検出することが求められている。
【0006】
この要望に応えるため、計算機処理を用いて異常陰影候補を自動的に検出するようにした計算機支援画像診断(CADM;Computer Aided Diagnosis of Medical images)の研究が最近進んでいる。
【0007】
すなわちCADM技術は、上述した腫瘤陰影や微小石灰化陰影等の異常陰影を、その濃度分布の特徴や形態的特徴に基づいた検出処理を計算機を用いて行なうことにより、異常陰影候補として自動的に検出するものであり、異常陰影候補の検出処理としては、主として腫瘤陰影候補を検出するのに適しているアイリスフィルター処理や微小石灰化陰影候補を検出するのに適しているモーフォロジー演算処理等が提案されている(小畑他「DR画像における腫瘤影検出(アイリスフィルタ)」電子情報通信学会論文誌 D−II Vol.J75−D−II No.3 P663〜670 1992年3月、「多重構造要素を用いたモルフォロジーフィルタによる微小石灰化像の抽出」電子情報通信学会論文誌 D−II Vol.J75−D−II No.7 P1170 〜1176 1992年7月、「モルフォロジーの基礎とそのマンモグラム処理への応用」MEDICAL IMAGING TECHNOLOGY Vol.12 No.1 January 1994 等)。
【0008】
アイリスフィルター処理は、特に乳癌における特徴的形態の一つである腫瘤陰影を検出するのに有効な手法として研究されているが、対象画像としては、このようなマンモグラムにおける腫瘤陰影に限るものではなく、その画像を表す画像信号(濃度等)の勾配が集中しているものについては、いかなる画像部分に対しても適用することができる。
【0009】
以下、腫瘤陰影の検出処理を例にして、このアイリスフィルターによる腫瘤陰影候補の検出処理の概要について説明する。
【0010】
例えばX線フイルム上における放射線画像(高濃度高信号レベルの画像信号で表される画像)においては、腫瘤陰影は周囲の画像部分に比べて濃度値がわずかに低いことが知られており、その濃度値の分布は概略円形の周縁部から中心部に向かうにしたがって濃度値が低くなるという濃度値の勾配を有している。したがって腫瘤陰影においては、局所的な濃度値の勾配が認められ、その勾配線は腫瘤の中心方向に集中する。
【0011】
アイリスフィルターは、この濃度値に代表される画像信号の勾配を勾配ベクトルとして算出し、その勾配ベクトルの集中度を出力するものであり、アイリスフィルター処理とはこの勾配ベクトルの集中度を基に腫瘤陰影を検出するものである。
【0012】
すなわち例えば図5(1)に示すようなマンモグラムにおいて腫瘤陰影P内の任意の画素における勾配ベクトルは同図(2)に示すように腫瘤陰影の中心付近を向くが、血管陰影や乳腺等のように細長い陰影Pでは同図(3)に示すように勾配ベクトルが特定の点に集中することはないため、局所的に勾配ベクトルの向きの分布を評価し、特定の点に集中している領域を抽出すれば、それが腫瘤陰影となる。なお、同図(4)に示すような乳腺等の細長い陰影同士が交差した陰影Pについては勾配ベクトルが特定の点に集中する傾向があり疑似異常陰影となりうる。
【0013】
以上がアイリスフィルター処理の基本的な考え方である。以下に具体的なアルゴリズムのステップを示す。
【0014】
(ステップ1)勾配ベクトルの計算
対象となる画像を構成する全ての画素について、各画素jごとに、下記式(1)に示す計算式に基づいた画像データの勾配ベクトルの向きθを求める。
【0015】
【数1】
Figure 0003596792
【0016】
ここでf〜f16は、図6に示すように、その画素jを中心とした例えば縦5画素×横5画素の大きさのマスクの外周上の画素に対応した画素値(画像データ)である。
【0017】
(ステップ2)勾配ベクトルの集中度の算出
次に、対象となる画像を構成する全ての画素について、各画素ごとに、その画素を注目画素とする勾配ベクトルの集中度Cを次式(2)にしたがって算出する。
【0018】
【数2】
Figure 0003596792
【0019】
ここでNは注目画素を中心に半径Rの円内に存在する画素の数、θj は、注目画素とその円内の各画素jとを結ぶ直線と、その各画素jにおける上記式(1)で算出された勾配ベクトルとがなす角である(図7参照)。したがって上記式(2)で表される集中度Cが大きな値となるのは、各画素jの勾配ベクトルの向きが注目画素に集中する場合である。
【0020】
ところで、腫瘤陰影近傍の各画素jの勾配ベクトルは、腫瘤陰影のコントラストの大小に拘らず、略その腫瘤陰影の中心部を向くため、上記集中度Cが大きな値を採る注目画素は、腫瘤陰影の中心部の画素ということができる。一方、血管などの線状パターンの陰影は勾配ベクトルの向きが一定方向に偏るため集中度Cの値は小さい。したがって、画像を構成する全ての画素についてそれぞれ注目画素に対する上記集中度Cの値を算出し、その集中度Cの値が予め設定された閾値を上回るか否かを評価することによって、腫瘤陰影を検出することができる。すなわち、このフィルターは通常の差分フィルターに比べて、血管や乳腺等の影響を受けにくく、腫瘤陰影を効率よく検出できるという特長を有している。
【0021】
さらに実際の処理においては、腫瘤の大きさや形状に左右されない検出力を達成するために、フィルターの大きさと形状とを適応的に変化させる工夫がなされる。図8に、そのフィルターを示す。このフィルターは、図7に示すものと異なり、注目画素を中心として2π/M度の角度間隔で隣接するM種類の方向(図8においては、11.25 度ごとの32方向を例示)の放射状の方向線上の画素のみで上記集中度の評価を行うものである。
【0022】
ここでi番目の方向線上にあって、かつ注目画素からn番目の画素の座標([x],[y])は、注目画素の座標を(k,l)とすれば、以下の式(3),(4)で与えられる。
【0023】
【数3】
Figure 0003596792
【0024】
ただし、[x],[y]は、x,yを越えない最大の整数である。
【0025】
さらに、その放射状の方向線上の各方向線ごとに最大の集中度が得られる画素までの出力値をその方向についての集中度Cimaxとし、その集中度Cimaxをすべての方向線について平均し、この平均値を注目画素についての勾配ベクトル群の集中度Cとする。
【0026】
具体的には、まずi番目の放射状の線上において注目画素からn番目の画素までで得られる集中度Ci (n)を下記式(5)により求める。
【0027】
【数4】
Figure 0003596792
【0028】
すなわち式(5)は、始点を注目画素、終点をRmin からRmax までの範囲内で変化させて、集中度Ci (n)を算出するものである。
【0029】
ここでRmin とRmax とは、抽出しようとする腫瘤陰影の半径の最小値と最大値である。
【0030】
次に、勾配ベクトル群の集中度Cを下記式(6)および(7)により計算する。
【0031】
【数5】
Figure 0003596792
【0032】
ここで式(6)のCimaxは、式(5)で得られた放射状の方向線ごとの集中度Ci (n)の最大値であるから、注目画素からその集中度Ci (n)が最大値となる画素までの領域が、その方向線の方向における腫瘤陰影の候補領域となる。
【0033】
そしてすべての放射状の方向線について式(6)の計算をしてその各方向線上における腫瘤陰影の領域の輪郭(辺縁点)を求め、この各方向線上における腫瘤陰影の領域の隣接する辺縁点を、直線または非線形曲線で結ぶことにより、腫瘤陰影の候補となり得る領域の輪郭を特定することができる。
【0034】
そして、式(7)では、この領域内の式(6)で与えられた集中度の最大値Cimaxを放射状の線の全方向(式(7)では32方向の場合を例示)について平均した値を求める。この求められた値がアイリスフィルター処理の出力値Iであり、この出力値Iを、腫瘤陰影であるか否かを判別するのに適した予め設定した一定の閾値Tと比較し、I≧Tであればこの注目画素を中心とする領域が異常陰影候補(腫瘤陰影候補)であり、I<Tであれば腫瘤陰影候補ではない、と判定する。
【0035】
このようにして腫瘤陰影候補の領域を抽出することができる。
【0036】
なお、式(7)の勾配ベクトル群の集中度Cを評価する領域が勾配ベクトルの分布に応じて大きさと形状が適応的に変化する様子が、外界の明るさに応じて拡大、縮小する人間の目の虹彩(iris)の様子に似ていることから、勾配ベクトルの集中度を利用した腫瘤陰影の候補領域を検出する上述の手法はアイリスフィルター(iris filter )処理と称されている。
【0037】
なお、前述の集中度Ci (n)の計算は式(5)の代わりに、下記式(5′)を用いてもよい。
【0038】
【数6】
Figure 0003596792
【0039】
すなわち式(5′)は、抽出しようとする腫瘤陰影の半径の最小値Rmin に対応した画素を始点として、終点をRmin からRmax までとした範囲内で集中度Ci (n)を算出するものである。
【0040】
上述のステップにより、アイリスフィルターは放射線画像から所望とする大きさの腫瘤陰影だけを効果的に検出することができ、特にマンモグラムにおける癌化部分の検出を主目的として研究されている。
【0041】
次にモーフォロジー(Morphology;モフォロジーまたはモルフォロジーとも称する)演算処理(以下、モーフォロジー処理という)について説明する。
【0042】
モーフォロジー処理は、特に乳癌における特徴的形態である微小石灰化像を検出するのに有効な手法として研究されているが、対象画像としてはこのようなマンモグラムにおける微小石灰化像に限るものではなく、検出しようとする特定の画像部分(異常陰影等)の大きさや形状が予めある程度分かっているものについては、いかなる画像に対しても適用することができる。
【0043】
そしてこのモーフォロジー処理は、抽出しようとする陰影の大きさ、形状に対応した構造要素Bを用いた処理を行なうものであり、
(1)石灰化像そのものの抽出に有効であること、
(2)複雑なバックグラウンド情報に影響されにくいこと、
(3)抽出した石灰化像がひずまないこと、
などの特徴がある。
【0044】
すなわち、この手法は一般の微分処理に比べて、石灰化像のサイズ・形状・濃度分布などの幾何学的情報をよりよく保って検出することができる。
【0045】
以下、このモーフォロジー処理の概要を、マンモグラムにおける微小石灰化像の検出に適用した例について説明する。
【0046】
(モーフォロジーの基本演算)
モーフォロジー処理は一般的にはN次元空間における集合論として展開されるが、直感的な理解のために2次元の濃淡画像を対象として説明する。
【0047】
濃淡画像を座標(x,y)の点が濃度値f(x,y)に相当する高さをもつ空間とみなす。ここで、濃度値f(x,y)は、濃度が低い(CRTに表示した場合には輝度が高い)程大きな画像信号値となる高輝度高信号レベルの信号とする。
【0048】
まず、簡単のため上記2次元の濃淡画像の断面に相当する1次元の関数f(x)を考える。モーフォロジー演算に用いる構造要素gは次式(8)に示すように、原点について対称な対称関数
【0049】
【数7】
Figure 0003596792
【0050】
であり、定義域内で値が0で、その定義域Gが下記式(9)であるとする。
【0051】
【数8】
Figure 0003596792
【0052】
このとき、モーフォロジー演算の基本形は式(10)〜(13)に示すように、非常に簡単な演算となる。
【0053】
【数9】
Figure 0003596792
【0054】
すなわち、ダイレーション(dilation)処理は、注目画素を中心とした、±m(構造要素Bに応じて決定される値であって、図9中のマスクサイズに相当)の幅の範囲内の最大値を探索する処理であり(同図(A)参照)、一方、エロージョン(erosion )処理は、注目画素を中心とした、±mの幅の範囲内の最小値を探索する処理である(同図(B)参照)。また、オープニング(opening )処理はエロージョン処理後にダイレーション処理を行なう処理、すなわち最小値の探索の後に最大値を探索する処理であり、クロージング(closing )処理は、ダイレーション処理後にエロージョン処理を行なう処理、すなわち最大値の探索の後に最小値を探索する処理に相当する。
【0055】
つまりオープニング処理は、低輝度側から濃度曲線f(x)を滑らかにし、マスクサイズ2mより空間的に狭い範囲で変動する凸状の濃度変動部分(周囲部分よりも輝度が高い部分)を取り除くことに相当する(同図(C)参照)。
【0056】
一方、クロージング処理は、高輝度側から濃度曲線f(x)を滑らかにし、マスクサイズ2mより空間的に狭い範囲で変動する凹状の濃度変動部分(周囲部分よりも輝度が低い部分)を取り除くことに相当する(同図(D)参照)。
【0057】
なお、構造要素gが原点に対して対称ではない場合の、式(10)に示すダイレーション演算をミンコフスキー(Minkowski )和、式(11)に示すエロージョン演算をミンコフスキー差という。
【0058】
ここで、濃度の高いもの程大きな値となる高濃度高信号レベルの信号の場合においては、濃度値f(x)の画像信号値が高輝度高信号レベルの場合に対して大小関係が逆転するため、高濃度高信号レベルの信号に対するダイレーション処理と高輝度高信号レベルに対するエロージョン処理(同図(B))とは一致し、高濃度高信号レベルの信号に対するエロージョン処理と高輝度高信号レベルに対するダイレーション処理(同図(A))とは一致し、高濃度高信号レベルの信号に対するオープニング処理と高輝度高信号レベルに対するクロージング処理(同図(D))とは一致し、高濃度高信号レベルの信号に対するクロージング処理と高輝度高信号レベルに対するオープニング処理(同図(C))とは一致する。
【0059】
なお、本項では高輝度高信号レベルの画像信号(輝度値)の場合について説明する。
【0060】
(石灰化陰影検出への応用)
石灰化陰影の検出には、原画像から平滑化した画像を引き去る差分法が考えられる。単純な平滑化法では石灰化陰影と細長い形状の非石灰化陰影(乳腺、血管および乳腺支持組織等)との識別が困難であるため、東京農工大の小畑らは、多重構造要素を用いたオープニング処理に基づく下記式(14)で表されるモーフォロジーフィルターを提案している(「多重構造要素を用いたモルフォロジーフィルタによる微小石灰化像の抽出」電子情報通信学会論文誌 D−II Vol.J75−D−II No.7 P1170 〜1176 1992年7月、「モルフォロジーの基礎とそのマンモグラム処理への応用」MEDICAL IMAGING TECHNOLOGY Vol.12 No.1 January 1994 等)。
【0061】
【数10】
Figure 0003596792
【0062】
ここでBi (i=1,2,…,n)は、直線状の大きさがm画素でn個(例えば図10に示すものでは、9画素4方向でありm=9,n=4)の構造要素(これらを全体として以下、m画素n方向の多重構造要素という)である。構造要素Bi を検出対象である石灰化陰影よりも大きく設定すれば、上記オープニング演算による処理で、構造要素Bi よりも細かな信号変化部分(空間的に狭い範囲で信号が変動する画像部分)であって周囲よりも輝度値の大きい凸状の部分である石灰化陰影は取り除かれる。一方、細長い形状の乳腺の陰影等の非石灰化陰影はその長さが構造要素Bi よりも長く、その傾きが4つの構造要素Bi のいずれかに一致すればオープニング処理(式(14)の第2項の演算)をしてもそのまま残る。したがってオープニング処理によって得られた平滑化画像(石灰化陰影のみが取り除かれた画像)を原画像fから引き去ることで、小さな石灰化陰影のみが含まれる画像が得られる。これが式(14)の考え方である。
【0063】
なお、前述したように、高濃度高信号レベルの信号の場合においては、石灰化陰影は周囲の画像部分よりも濃度値が低くなり、石灰化陰影は周囲部分に対して濃度値の小さい凹状の信号変化部分となるため、オープニング処理に代えてクロージング処理を適用し、式(14)に代えて式(15)を適用する。
【0064】
【数11】
Figure 0003596792
【0065】
なお、モーフォロジー演算の一例である式(15)のクロージング処理を具体的に説明する。
【0066】
すなわち、高濃度高信号レベルの画像信号である濃度値Sorg についてのモーフォロジー演算によれば、例えば図11(1)の実線に示すような濃度値Dorg の分布を有する画像データに対して、同図(2)に示すような直線状の3画素の構造要素Bで、最大値処理(ダイレーション処理)を行うことにより、ある注目画素の濃度値Sは、その注目画素を中心として互いに隣接する3画素(構造要素Bにより決定される)の中の最大値Si+1 を採用したS′に変換される。この演算を全画素について行うことにより、濃度値Sorg ′の分布を有する同図(1)の破線で示す最大値信号に変換される。
【0067】
次に、この最大値処理により得られた最大値信号に対してさらに構造要素Bによる最小値処理(エロージョン処理)を考えると、同図(1)の破線で示された注目画素の最大値信号S′は、その注目画素を中心として互いに隣接する3画素の中の最小値Si−1 ′を採用したS″(=S)に変換される。この演算を全画素について行うことにより、最大値処理後の最小値信号Sorg ″の分布は同図(1)の一点鎖線で示すものとされる。この一点鎖線で示された画像信号は、もとの実線のオリジナルの画像データに対して、構造要素Bよりも空間的に狭い範囲で信号が変動する画像部分が消え、構造要素Bよりも空間的に広い範囲で変動する信号値の変化部分である画像部分や変動のない画像部分はもとの形状のまま残っていることを示している。すなわち、以上の処理(クロージング処理)は、画像濃度の分布を高濃度側から平滑化する処理として作用する。
【0068】
このようにクロージング処理で得られた値(Sorg に対して最大値処理を行なった後にさらに最小値処理を行なった値)を原画像信号Sorg から差し引くことにより得られた値Smor は、上記クロージング処理で消された空間的に狭い範囲で変動する信号値の変化部分である画像部分を表す。
【0069】
ここで、本来、画像信号は2次元の要素である位置(x,y)と、3次元目の要素である信号値f(x,y)を有するが、上記説明においては、理解の容易化のために、この2次元上に展開された画像の所定の断面に現れた、1次元状の画像信号分布曲線について説明した。
【0070】
したがって実際には、以上の説明を2次元画像に適用する必要があり、多重構造要素を用いるのも2次元画像に対応させるためである。
【0071】
CADM技術ではさらに、以上のアイリスフィルター処理やモーフォロジー処理等の異常陰影候補領域の検出処理によって抽出された異常陰影候補領域の近傍まで含めた矩形あるいは円形等の局所領域(以下、関心領域あるいはROIと称する場合もある)を設定したうえで抽出し、この局所領域について観察読影に適した画像処理を施している。
【0072】
【発明が解決しようとする課題】
ところで例えば図12(1)に示すようなマンモグラムが記録された放射線画像Pにおいて、2つのピークを有する濃度分布の腫瘤陰影Pを検出するために、異常陰影候補の検出処理としてアイリスフィルター処理を施せば、腫瘤陰影Pに対応するアイリスフィルター処理出力値Iは同図(2)に示すように2つのピークを有する分布となり、このアイリスフィルター処理出力値Iを所定の閾値Tで閾値処理することによって、腫瘤陰影候補領域として2つの領域AおよびBが抽出される(同図(3)参照)。
【0073】
そしてCADM技術では、このように抽出された腫瘤陰影候補領域AおよびBについてそれぞれ、同図(4)に示すように独立した局所領域S、Sが設定され、各局所領域ごとに画像処理がなされる。
【0074】
しかし、この2つの局所領域S、Sはいずれも本来は同一の腫瘤陰影Pを示すものであり、閾値の設定が適切ではないために2つの領域A,Bとして抽出されたに過ぎないものであるから、本来1つの局所領域が設定されれば十分である。
【0075】
また2つの局所領域の重複度合が大きい場合に、敢えて2つの局所領域を各別に設定するのは、冗長な印象を与え、却って画像の読影性能を低下させることにもなる。
【0076】
このような事態は、上述したアイリスフィルター処理による異常陰影候補の検出処理において特別に生じ得るものではなく、2以上の異常陰影候補領域が抽出されたときには常に生じ得る問題である。すなわち抽出された2以上の異常陰影候補領域が極端に近接している場合にも同様に起り得る問題である。
【0077】
本発明は上記事情に鑑みなされたものであって、2以上の異常陰影候補に対して局所領域を設定した場合に、冗長な印象を与える局所領域の抽出を防止する局所領域の抽出方法および装置を提供することを目的とするものである。
【0078】
【課題を解決するための手段】
本発明の局所領域抽出方法および装置は、2以上の局所領域が設定されたとき、その2以上の局所領域のそれぞれについての重複度合を求め、重複度合が大きいときはその重複に関係する各2つの局所領域についてはそのうちいずれか1つの局所領域だけを残して、他の局所領域の設定を解除するようにしたものである。
【0079】
すなわち、本発明の第1の局所領域抽出方法は、異常陰影候補の検出処理により放射線画像から抽出された1または2以上の異常陰影候補領域に基づいて該異常陰影候補領域をそれぞれ含む1または2以上の局所領域を設定したうえで抽出する局所領域の抽出方法において、
前記設定された局所領域が2以上であるときは、該2以上の局所領域のそれぞれについて、該各局所領域が前記放射線画像において占める位置および面積を求め、
前記2以上の局所領域についての前記位置および面積に基づいて、該局所領域間の相互に重複する面積の程度を示す重複度合を求め、
該重複度合が予め設定された閾値以上である2以上の局所領域については、面積の大きい側の局所領域を選択して抽出することを特徴とするものである。
【0080】
ここで異常陰影候補の検出処理としては、前述した、濃度勾配ベクトルの集中度を評価するアイリスフィルター処理による腫瘤陰影候補等の検出処理や、構造要素を用いたモーフォロジー処理による微小石灰化陰影候補等の検出処理等を適用することができる。以下の発明においても同様である。
【0081】
また局所領域としては、矩形あるいは円形等の一般的にROIと称されている種々の形状を適用することができる。
【0082】
なお上記重複度合としては具体的には、互いに重複している2つの局所領域のうちその領域の面積が小さい側の局所領域の面積を基準として、重複している面積との比率を用いればよく、上記閾値としては例えば80%、より好ましくは90%とすればよい。
【0083】
また、重複度合が予め設定された閾値未満である2以上の局所領域については、いずれの局所領域も選択して抽出するが、この場合であっても、重複度合が閾値以上であって選択されなかった側の局所領域については選択しないものとする。
【0084】
さらに、前記局所領域間の重複度合を求めるに際しては、各局所領域についての前記位置および面積に基づいて、2以上の局所領域のうち、少なくとも一部において相互に重複している2以上の局所領域が存在するか否かを判定し、相互に重複している2以上の局所領域が存在すると判定したときは、その重複している2以上の局所領域間についてのみ重複度合を求めるようにしてもよい。以下の発明においても同様である。
【0085】
本発明の第2の局所領域抽出方法は、異常陰影候補の検出処理により放射線画像から抽出された1または2以上の異常陰影候補領域に基づいて該異常陰影候補領域をそれぞれ含む1または2以上の局所領域を設定したうえで抽出する局所領域の抽出方法において、
前記設定された局所領域が2以上であるときは、該2以上の局所領域のそれぞれについて、該各局所領域が前記放射線画像において占める位置および面積を求め、
前記2以上の局所領域についての前記位置および面積に基づいて、該局所領域間の相互に重複する面積の程度を示す重複度合を求め、
該重複度合が予め設定された閾値以上である2以上の局所領域については、前記異常陰影候補領域の検出処理における検出確信度を示す指標値が大きい側の異常陰影候補を含む局所領域を選択して抽出することを特徴とするものである。
【0086】
ここで検出確信度を示す指標値としては、例えば異常陰影候補領域の検出処理としてアイリスフィルター処理を適用した場合にはアイリスフィルター処理出力値を、また腫瘤陰影候補については悪性度を評価する特徴量(広がり度、細長さ、辺縁の粗さ、円形度、内部の濃度分布の凹凸度等)を、モーフォロジー処理を適用した場合には微小石灰化陰影を評価する特徴量(検出された石灰化陰影の数、密度等)を、それぞれ用いればよい。
【0087】
本発明の第1の局所領域抽出装置は、アイリスフィルター処理を行なうアイリスフィルター処理手段やモーフォロジー処理を行なうモーフォロジー処理手段等の異常陰影候補の検出処理手段により放射線画像から抽出された1または2以上の異常陰影候補領域に基づいて該異常陰影候補領域をそれぞれ含む1又は2以上の局所領域を設定したうえで抽出する局所領域の抽出装置において、
前記設定された2以上の局所領域について、該各局所領域が前記放射線画像において占める位置および面積を求める局所領域面積算出手段と、
前記各局所領域についての前記位置および面積に基づいて、該局所領域間の相互に重複する面積の程度を示す重複度合を求める重複度合算出手段と、
該重複度合と予め設定された閾値とを比較して該重複度合が閾値以上である2以上の局所領域については、面積の大きい側の局所領域を選択して抽出する局所領域選択手段とを備えたことを特徴とするものである。
【0088】
なお、前記各局所領域についての前記位置および面積に基づいて、その2以上の局所領域のうち、少なくとも一部において相互に重複している2以上の局所領域が存在するか否かを判定する判定手段をさらに備え、
重複度合算出手段が、この判定手段により相互に重複していると判定された2以上の局所領域間についてのみ重複度合を求めるものとした構成を採ることもできる。以下の発明においても同様である。
【0089】
また本発明の第2の局所領域抽出装置は、異常陰影候補の検出処理手段により放射線画像から抽出された1または2以上の異常陰影候補領域に基づいて該異常陰影候補領域をそれぞれ含む1又は2以上の局所領域を設定したうえで抽出する局所領域の抽出装置において、
前記設定された2以上の局所領域について、該各局所領域が前記放射線画像において占める位置および面積を求める局所領域面積算出手段と、
前記各局所領域についての前記位置および面積に基づいて、該局所領域間の相互に重複する面積の程度を示す重複度合を求める重複度合算出手段と、
該重複度合と予め設定された閾値とを比較して該重複度合が閾値以上である2以上の局所領域については、前記異常陰影候補の検出処理手段による前記異常陰影候補領域を抽出する際における異常陰影候補ごとの検出確信度を示す指標値が大きい側の異常陰影候補を含む局所領域を選択して抽出する局所領域選択手段とを備えたことを特徴とするものである。
【0090】
【発明の効果】
本発明の局所領域抽出方法および装置は、異常陰影候補領域を含む局所領域を設定、抽出する際に、2以上の局所領域が設定されたときは、その2以上の局所領域のそれぞれの位置と面積を求め、これらに基づいて2以上の局所領域間の相互の重複度合を重複面積比として求め、この重複度合が極端に大きい場合、例えば重複度合が80%以上である場合は、この重複に関係する2つの局所領域については、2つのうち一方の局所領域、具体的にはその領域の面積が大きい側の局所領域のみ、又は異常陰影候補領域である確信度がより高い指標値を示した異常陰影候補が含まれる側の局所領域のみを選択し、他方の局所領域の抽出を解除することにより、選択された側の局所領域だけを抽出して、後の局所画像処理に供するようにしたため、略同一部位に対して重複した複数の局所領域が抽出されるのを防止し、画像の観察者に対して冗長な印象を与えるのを防止することができる。
【0091】
なお、上記局所領域間の重複度合を求めるに際して、各局所領域についての前記位置および面積に基づいて、2以上の局所領域のうち、少なくとも一部において相互に重複している2以上の局所領域が存在するか否かを判定し、相互に重複している2以上の局所領域が存在すると判定したときは、その重複している2以上の局所領域間についてのみ重複度合を求める構成を採用した場合には、存在位置が離れているため重複度合が明らかに「0(ゼロ)」であるものについてまで重複度合を求める必要がないため、計算処理の負荷を小さくすることができる。
【0092】
【発明の実施の形態】
以下、本発明の局所領域の抽出装置の具体的な実施の形態について図面を用いて説明する。
【0093】
図1は本発明の第1の局所領域の抽出装置の一実施形態の概略構成を示すブロック図、図2は図1に示した局所領域抽出装置を用いた計算機支援画像診断装置の一例を示すブロック図である。
【0094】
図示の計算機支援画像診断装置100 は、入力された画像データ(以下、全体画像データという)Sを記憶する記憶手段20と、この記憶手段20に記憶された全体画像データSを読み出して、階調処理、周波数処理等の画像処理を施す全体画像処理手段30と、記憶手段20に記憶された全体画像データSを読み出して、この全体画像データSのうち異常陰影(腫瘤陰影)候補を表す画像データ(以下、異常陰影候補画像データという)を抽出する異常陰影候補領域抽出手段10と、この抽出された異常陰影候補画像データに基づいて異常陰影候補領域をそれぞれ含む局所領域を設定したうえで抽出する局所領域抽出装置40と、局所領域抽出装置40により出力された前記局所領域を表す局所画像データに対して、この局所領域を観察読影するのに適した画像処理を施す局所画像処理手段50と、全体画像処理手段30により画像処理された全体画像と局所画像処理手段50により画像処理された、腫瘤陰影候補を含む局所領域を可視像として表示する表示手段60とを備えた構成である。
【0095】
ここで、計算機支援画像診断装置100 に入力される全体画像データSは、例えば図3(1)に示すような患者のマンモグラムを表す画像Pが蓄積記録してなる蓄積性蛍光体シートに、励起光を照射することにより発生せられた輝尽発光光を光電的に読み取り、その後にデジタル変換して得られた画像データ(高濃度高信号レベルの信号)である。またこの画像には2つのピークを持つ濃度分布の腫瘤陰影P、通常の腫瘤陰影P等が記録されている。
【0096】
表示手段60は、全体画像と局所領域の画像とを表示面上に各別に表示してもよいが、本実施形態においては、全体画像を表示しつつこの全体画像のうち局所領域の画像部分だけは局所画像処理手段50より画像処理された局所領域の画像に置き換えて表示するものとする。
【0097】
異常陰影候補領域抽出手段10は前述したアイリスフィルター処理手段を適用するものとし、異常陰影候補として腫瘤陰影候補を適用する。
【0098】
局所領域抽出装置40は、詳しくは、異常陰影候補領域抽出装置10による腫瘤陰影の検出処理により全体画像データから抽出された異常陰影候補領域を示す異常陰影候補画像データに基づいてこの異常陰影候補領域をそれぞれ含む矩形の局所領域を設定する局所領域設定手段41と、この局所領域設定手段41により設定された局所領域の位置および面積を求める局所領域面積算出手段42と、設定された局所領域が2以上である場合に、これら各局所領域についての前記位置および面積に基づいて、これら2以上の局所領域のうち、少なくとも一部において互いに重複している2以上の局所領域が存在するか否かを判定する判定手段43と、重複している2以上の局所領域が存在すると判定したときは、その重複している2以上の局所領域についての前記位置および面積に基づいて、その重複面積の割合(百分率)を求める重複度合算出手段44と、重複度合算出手段44により求められた重複面積の割合と予め設定された閾値(例えば、80[%]という値)とを比較して重複面積の割合が閾値以上であるときは、互いに重複している2以上の局所領域のうち、面積の大きい側の局所領域を選択して抽出する局所領域選択手段45とを備えた構成である。
【0099】
なお、重複度合算出手段44による重複面積の割合の算出は、その領域の面積がより小さい方の局所領域の面積を基準として求める。
【0100】
次に本実施形態の局所領域抽出装置40の作用について説明する。
【0101】
異常陰影候補領域抽出手段10により抽出された異常陰影候補画像データは、局所領域設定手段41に入力され、局所領域設定手段41は、入力された異常陰影候補画像データが表す異常陰影候補領域およびその近傍領域を含むように矩形の局所領域を設定する。
【0102】
ここで異常陰影候補領域抽出手段10はアイリスフィルター処理において設定した閾値のレベルが適切でない等の理由から、図3(1)に示す腫瘤陰影候補Pを図12(3)に示すように2つの腫瘤陰影候補領域A,Bとして検出することがある。
【0103】
したがってこのような場合、異常陰影候補領域抽出手段10は図3(1)に示した全体画像から領域A,B,Pを腫瘤陰影候補領域として抽出する。
【0104】
このように抽出された腫瘤陰影候補領域A,B,Pに対して局所領域設定手段21は同図(2)に示すように、腫瘤陰影候補領域A,B,Pをそれぞれ含む矩形の局所領域S,S,Sを設定する。なお、局所領域SとSについて観察すると、局所領域Sは局所領域Sにその大部分の領域が含まれている重複状態となっていることが分かる。
【0105】
このように設定された各局所領域S,S,Sをそれぞれ表す局所画像データは、局所領域面積算出手段42に入力され、局所領域面積算出手段42はこれらの各局所画像データが表す各局所領域S,S,Sの面積s,s,sおよび位置(例えば各局所領域の重心位置などの、局所領域を一義的に特定するための位置)G,G,Gを算出する。
【0106】
各局所領域S,S,Sごとに求められた位置および面積を表すデータは判定手段43に入力され、判定手段43はこれら各局所領域S,S,Sごとの面積s,s,sおよび重心位置G,G,Gに基づいて、各局所領域間での重複領域が存在するか否かを判定する。具体的には、図3(2)に示す例では、局所領域S,S間では重複領域が存在すると判定し、局所領域S,S間では重複領域が存在しないと判定し、局所領域S,S間では重複領域が存在しないと判定する。
【0107】
判定手段43により、いずれの2つの局所領域についても重複領域が全く存在しないと判定された場合は、各局所領域を表す局所画像データはそのまま局所画像処理手段50に出力されるが、本実施形態の局所領域抽出装置40の処理対象である局所領域S,S,Sでは、局所領域S,S間で重複領域が存在すると判定されるため、各局所領域を表す局所画像データは重複度合算出手段44に入力される。
【0108】
重複度合算出手段44は、重複領域が存在すると判定された局所領域S,S間の重複面積sabを算出し、局所領域S,Sのうちいずれか面積の小さい側の局所領域(この例においては領域Sが該当)の面積sを基準とした重複面積sabの割合(sab/s)×100 [%]を求める。
【0109】
そしてこのように求められた局所領域S,S間の重複面積の割合は、局所領域選択手段45に入力され、局所領域選択手段45は、入力された重複面積の割合(sab/s)×100 と予め設定した閾値(例えば80[%])とを比較する。
【0110】
そして、この重複面積の割合(sab/s)×100 が閾値を上回れば、局所領域S,Sのうち、より面積の大きい側の局所領域(この例においては領域Sが該当)を選択する。また、重複領域が存在しないと判定された局所領域S,S間、および局所領域S,S間についての相互関係、および上記選択されなかった側の局所領域Sとの関係から、独立して存在する局所領域Sを選択する。
【0111】
選択された局所領域SおよびSを表す各局所画像データは局所画像処理手段50に入力され、局所画像処理手段50は入力された各局所画像データに対して、各局所領域SおよびS内の画像の観察読影性能を向上させるように強調処理を施したうえで、表示手段60に入力する。
【0112】
一方、選択されなかった局所領域Sは局所画像処理手段50に入力されることがないため、その領域について独立した局所画像処理が施されることはない。
【0113】
また、全体画像処理手段30により階調処理、周波数処理等の、全体画像を観察するのに適した画像処理が施された全体画像データSも表示手段60に入力され、表示手段60は、全体画像を表示しつつこの全体画像のうち選択された局所領域部分だけは局所画像処理手段50により画像処理された局所領域の画像に置き換えて表示し、医師等の画像観察読影者による異常陰影の診断に供される。
【0114】
以上のように本実施形態の局所領域抽出装置40によれば、略同一部位に対して重複した複数の局所領域が抽出されるのを防止することにより、後に表示手段60に画像を表示したときにも、観察者に対して冗長な印象を与えず、したがって観察者たる医師等の局所領域に対する注意力が拡散するのを防止することができる。
【0115】
なお、上記実施形態の局所領域抽出装置40は、異常陰影候補領域の抽出手段としてアイリスフィルター処理手段を用い、抽出された異常陰影候補領域として腫瘤陰影候補領域を処理の対象とした例について説明したが、本発明の局所領域抽出装置はこの例に限るものではなく、例えば異常陰影候補領域の抽出手段としてモーフォロジー処理手段を用い、抽出された異常陰影候補領域として乳癌の一形態である微小石灰化陰影候補領域を処理の対象とすることもできる。
【0116】
また対象画像としてはマンモグラムに限るものではない。
【0117】
さらに局所領域の形状は矩形に限らず、円形等の種々の形状を適用することができ、また重複面積の割合との比較対象となる閾値についても80%に限るものではない。
【0118】
なお、上記判定手段43を省略するとともに、重複している2以上の局所領域が存在するか否かに拘らず、重複度合算出手段44が、すべての設定された局所領域について、まず各局所領域の面積を大きい順にソートし、各領域の位置および面積に基づいて、3つの局所領域S,S,Sのうち2つからなるすべての組み合わせについて重複度合を求める作用をなす、という構成を採ることもできる。
【0119】
図4は本発明の第2の局所領域抽出装置の一実施形態の概略構成を示すブロック図であり、図2に示した計算機支援画像診断装置等に適用することができる局所領域抽出装置40′である。
【0120】
この図4に示した局所領域抽出装置40′は、局所領域選択手段45′が相違する以外は、図1に示した局所領域抽出装置40に対して、同一の構成、同一の作用をなすものである。
【0121】
すなわち、重複面積の割合が閾値を上回った場合に、図1に示した局所領域抽出装置40の局所領域選択手段45では、重複している2つの局所領域のうち、領域の面積が大きい方の局所領域を選択するのに対し、図4に示した実施形態の局所領域抽出装置40′の局所領域選択手段45′では、重複している2つの局所領域のうち、異常陰影候補領域抽出手段10による異常陰影候補領域の検出処理における検出確信度を示す指標値が大きい方の異常陰影候補を含む局所領域を選択する。
【0122】
ここで検出確信度を示す指標値としては、例えば異常陰影候補領域抽出手段10による異常陰影候補領域の検出処理としてアイリスフィルター処理を適用した場合にはアイリスフィルター処理出力値を、また腫瘤陰影候補については悪性度を評価する特徴量(広がり度、細長さ、辺縁の粗さ、円形度、内部の濃度分布の凹凸度等)を、モーフォロジー処理を適用した場合には微小石灰化陰影を評価する特徴量(検出された石灰化陰影の数、密度等)などを用いることができ、これらの指標値は、異常陰影候補領域抽出手段10から局所領域選択手段45′に入力される構成とすればよい。
【0123】
このように構成された実施形態の局所領域抽出装置40′によれば、略同一部位に対して重複した複数の局所領域が抽出されるのを防止することにより、後に表示手段60に画像を表示したときにも、観察者に対して冗長な印象を与えず、したがって観察者たる医師等の局所領域に対する注意力が拡散するのを防止することができる。
【図面の簡単な説明】
【図1】本発明の第1の局所領域抽出装置の一実施形態の概略構成を示すブロック図
【図2】図1に示した局所領域抽出装置を用いた計算機支援画像診断装置の一例を示すブロック図
【図3】図1に示した局所領域抽出装置の処理対象となる、腫瘤陰影等が記録されているマンモグラムを表す図
【図4】本発明の第2の局所領域抽出装置の一実施形態の概略構成を示すブロック図
【図5】マンモグラムにおける濃度勾配の集中度を示す概念図
【図6】アイリスフィルター処理における勾配ベクトルを算出するマスクを示す図
【図7】注目画素についての勾配ベクトルの集中度の概念を示す図
【図8】輪郭形状が適応的に変化するように設定されたアイリスフィルターを示す概念図
【図9】モーフォロジー演算処理の基本的な作用を説明する図
【図10】モーフォロジーフィルターにおける構造要素Bi (i=1,2,…,M;M=4)を示す図
【図11】モーフォロジー演算による処理を具体的に説明するための濃度分布図
【図12】2つのピークを有する濃度分布の腫瘤陰影を含むマンモグラムが記録された放射線画像を示す図
【符号の説明】
10 異常陰影候補領域抽出手段
40,40′ 局所領域抽出装置
41 局所領域設定手段
42 局所領域面積算出手段
43 判定手段
44 重複度合算出手段
45,45′ 局所領域選択手段
50 局所画像処理手段

Claims (6)

  1. 異常陰影候補の検出処理手段により放射線画像から抽出された1または2以上の異常陰影候補領域に基づいて該異常陰影候補領域をそれぞれ含む1又は2以上の局所領域を設定したうえで抽出する局所領域の抽出装置において、
    前記設定された2以上の局所領域について、該各局所領域が前記放射線画像において占める位置および面積を求める局所領域面積算出手段と、
    前記各局所領域についての前記位置および面積に基づいて、該局所領域間の相互に重複する面積の程度を示す重複度合を求める重複度合算出手段と、
    該重複度合と予め設定された閾値とを比較して該重複度合が閾値以上である2以上の局所領域については、面積の大きい側の局所領域を選択して抽出する局所領域選択手段とを備えたことを特徴とする局所領域の抽出装置。
  2. 異常陰影候補の検出処理手段により放射線画像から抽出された1または2以上の異常陰影候補領域に基づいて該異常陰影候補領域をそれぞれ含む1又は2以上の局所領域を設定したうえで抽出する局所領域の抽出装置において、
    前記設定された2以上の局所領域について、該各局所領域が前記放射線画像において占める位置および面積を求める局所領域面積算出手段と、
    前記各局所領域についての前記位置および面積に基づいて、該局所領域間の相互に重複する面積の程度を示す重複度合を求める重複度合算出手段と、
    該重複度合と予め設定された閾値とを比較して該重複度合が閾値以上である2以上の局所領域については、前記異常陰影候補の検出処理手段による前記異常陰影候補領域を抽出する際における異常陰影候補領域ごとの異常陰影候補領域である確信度を示す指標値が大きい側の異常陰影候補領域を含む局所領域を選択して抽出する局所領域選択手段とを備えたことを特徴とする局所領域の抽出装置。
  3. 前記各局所領域についての前記位置および面積に基づいて、該2以上の局所領域のうち、少なくとも一部において相互に重複している2以上の局所領域が存在するか否かを判定する判定手段をさらに備え、
    前記重複度合算出手段が、前記判定手段により相互に重複していると判定された2以上の局所領域間についてのみ、前記重複度合を求めるものであることを特徴とする請求項または記載の局所領域の抽出装置。
  4. 前記異常陰影候補の検出処理手段が、アイリスフィルター処理により異常陰影候補領域を抽出するものであり、前記異常陰影候補領域である確信度を示す指標値が、アイリスフィルター出力値であることを特徴とする請求項2または3記載の局所領域の抽出装置。
  5. 前記異常陰影候補の検出処理手段が、異常陰影候補領域として腫瘤陰影候補領域を抽出するものであり、前記異常陰影候補領域である確信度を示す指標値が、腫瘤陰影の悪性度を評価する特徴量であることを特徴とする請求項2または3記載の局所領域の抽出装置。
  6. 前記異常陰影候補の検出処理手段が、モーフォロジー処理により微小石灰化陰影候補領域を抽出するものであり、前記異常陰影候補領域である確信度を示す指標値が、微小石灰化陰影を評価する特徴量であることを特徴とする請求項2または3記載の局所領域の抽出装置。
JP26620696A 1996-10-07 1996-10-07 異常陰影候補領域を含む局所領域の抽出方法および装置 Expired - Fee Related JP3596792B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26620696A JP3596792B2 (ja) 1996-10-07 1996-10-07 異常陰影候補領域を含む局所領域の抽出方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26620696A JP3596792B2 (ja) 1996-10-07 1996-10-07 異常陰影候補領域を含む局所領域の抽出方法および装置

Publications (2)

Publication Number Publication Date
JPH10108858A JPH10108858A (ja) 1998-04-28
JP3596792B2 true JP3596792B2 (ja) 2004-12-02

Family

ID=17427744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26620696A Expired - Fee Related JP3596792B2 (ja) 1996-10-07 1996-10-07 異常陰影候補領域を含む局所領域の抽出方法および装置

Country Status (1)

Country Link
JP (1) JP3596792B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000126172A (ja) 1998-10-29 2000-05-09 Fuji Photo Film Co Ltd 放射線画像形成装置
WO2019088223A1 (ja) * 2017-11-02 2019-05-09 株式会社Nttドコモ 検出装置及び検出プログラム

Also Published As

Publication number Publication date
JPH10108858A (ja) 1998-04-28

Similar Documents

Publication Publication Date Title
JP3590216B2 (ja) 異常陰影候補の検出方法および装置
JP3656695B2 (ja) 骨計測方法および装置
JPH08294479A (ja) 計算機支援画像診断装置
JPH1156828A (ja) 異常陰影候補検出方法および装置
JP3678378B2 (ja) 異常陰影候補の検出方法および装置
JP4099984B2 (ja) 異常陰影検出装置および画像出力装置
JP2002109510A (ja) 異常陰影候補検出処理システム
JP3596786B2 (ja) 異常陰影候補の検出方法
JP2002143136A (ja) 異常陰影候補検出方法および検出処理システム
JP3669789B2 (ja) 異常陰影候補の検出方法および装置
JP2001299740A (ja) 異常陰影検出処理システム
US20010019623A1 (en) Anomalous shadow detection system
JPH08263641A (ja) アイリスフィルターの演算方法
US8712117B2 (en) Methods, systems, and computer program product for virtually modifying surface region curvature to detect protrusions
JP2001357381A (ja) 異常陰影候補検出方法および検出システム
JP3596792B2 (ja) 異常陰影候補領域を含む局所領域の抽出方法および装置
JP2006334140A (ja) 異常陰影候補の表示方法及び医用画像処理システム
JP2005102784A (ja) 画像診断支援装置及び画像診断支援方法
JPH08287230A (ja) 計算機支援画像診断装置
JP3807541B2 (ja) ***画像表示方法および装置
JP2001346787A (ja) 異常陰影候補検出方法および検出システム
JP4169954B2 (ja) 異常陰影候補の検出方法
JP2002133397A (ja) 異常陰影候補検出装置
JPH10108859A (ja) 異常陰影候補の検出方法および装置
JP2004351056A (ja) 医用画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040903

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070917

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees