JPH09251535A - Method and device for detecting pattern in two-dimensional multi-contrast image - Google Patents
Method and device for detecting pattern in two-dimensional multi-contrast imageInfo
- Publication number
- JPH09251535A JPH09251535A JP8057777A JP5777796A JPH09251535A JP H09251535 A JPH09251535 A JP H09251535A JP 8057777 A JP8057777 A JP 8057777A JP 5777796 A JP5777796 A JP 5777796A JP H09251535 A JPH09251535 A JP H09251535A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- dimensional multi
- pattern
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 28
- 206010006187 Breast cancer Diseases 0.000 claims abstract description 22
- 208000026310 Breast neoplasm Diseases 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 54
- 210000000481 breast Anatomy 0.000 claims description 36
- 230000002308 calcification Effects 0.000 claims description 18
- 238000012937 correction Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000002601 radiography Methods 0.000 claims description 2
- 239000006185 dispersion Substances 0.000 claims 1
- 238000009826 distribution Methods 0.000 abstract description 19
- 230000007480 spreading Effects 0.000 abstract description 2
- 238000003892 spreading Methods 0.000 abstract description 2
- 208000004434 Calcinosis Diseases 0.000 description 94
- 238000012545 processing Methods 0.000 description 53
- 238000004458 analytical method Methods 0.000 description 20
- 238000000605 extraction Methods 0.000 description 14
- 210000005075 mammary gland Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000003211 malignant effect Effects 0.000 description 8
- 206010028980 Neoplasm Diseases 0.000 description 7
- 230000001788 irregular Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 201000011510 cancer Diseases 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 3
- 210000000577 adipose tissue Anatomy 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 238000009607 mammography Methods 0.000 description 2
- 238000000333 X-ray scattering Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は２次元多階調画像に
おけるパタン検出方法及び装置に関し、詳しくは、２次
元多階調画像に含まれる略円錐状の濃度分布パタンを有
する領域を探索するのに適した方法及び装置に関し、特
に、放射線画像における円形の腫瘤陰影，微小石灰化陰
影を精度良く探索し得る技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for detecting a pattern in a two-dimensional multi-tone image, and more specifically, searching for a region having a substantially conical density distribution pattern included in the two-dimensional multi-tone image. The present invention relates to a method and an apparatus suitable for the above, and particularly to a technique capable of accurately searching for a circular tumor shadow and a microcalcification shadow in a radiographic image.
【０００２】[0002]
【従来の技術】近年、Ｘ線写真の画質向上に伴い、乳癌
の重要所見であるミクロン単位の大きさの微小な石灰化
が描出可能となり、***Ｘ線写真（マンモグラム）によ
る乳癌検査が定着してきている。マンモグラムによる乳
癌所見としては、腫瘤陰影，微小石灰化像の２つが主な
ものであるが、なかでも微小石灰化像により診断される
乳癌は初期のものである確率が高く、乳癌の早期発見を
目的としたマンモグラムによる集団検診を行なう動きが
ある。2. Description of the Related Art In recent years, with the improvement in image quality of X-ray photographs, it has become possible to visualize minute calcifications of micron size, which is an important finding of breast cancer, and breast cancer examination by mammograms has become established. ing. Breast cancer findings by mammogram are mainly tumor shadows and microcalcification images. Among them, breast cancer diagnosed by microcalcification images is highly likely to be an early stage, and early detection of breast cancer is recommended. There is a movement to carry out mass screening based on the intended mammogram.
【０００３】しかし、前記微小石灰化像は、数十ミクロ
ン程度の小さなものであるため、読影には高度な能力を
持つ専門医が必要であり、また、集団検診での大量のマ
ンモグラムを読影する場合には、読影医の負担が大きい
という問題が発生する。そこで、画像処理技術を用い、
マンモグラムから微小石灰化像を自動検出し、該検出結
果を医師の読影の際に提示して、診断医の読影を支援す
ることが考えられてきている。However, since the microcalcification image is as small as several tens of microns, it requires a specialist with a high ability for image interpretation, and when a large amount of mammograms are read in mass screening. In this case, there is a problem that the interpretation doctor has a heavy burden. Therefore, using image processing technology,
It has been considered that a microcalcification image is automatically detected from a mammogram and the detection result is presented at the time of interpretation by a doctor to assist a diagnostician in interpretation.
【０００４】前記画像処理による微小石灰化像の自動検
出は、基本的には、微小石灰化像の特徴である微小な円
形パタンをフィルタなどにより強調して微小石灰化像の
候補領域を抽出し、該抽出された候補領域の特徴解析を
行なって乳腺による線成分などの誤った候補を除去した
後、最終的に微小石灰化像の候補を特定するものであ
る。The automatic detection of the microcalcification image by the image processing basically extracts a candidate region of the microcalcification image by emphasizing a minute circular pattern which is a feature of the microcalcification image with a filter or the like. After the feature analysis of the extracted candidate region is performed to remove erroneous candidates such as line components due to the mammary gland, finally the candidates for the microcalcification image are specified.
【０００５】代表的な方法としては、固定リングフィル
タにより、微小石灰化像の特徴である濃度勾配の放射状
のベクトル分布を探索する方法があった。これは、複数
の同心円上の濃度勾配をそれぞれ調べ、それぞれの同心
円上の画素の濃度勾配の方向が放射状であるか否かを調
べることにより、微小石灰化像のパタンに合致するか否
かを判別するものである。かかる方法では、偽陽性の検
出数が画像１枚当たりに0.83個のときに、真陽性を90.3
％の確率で検出できる性能を得ていた。As a typical method, there has been a method of searching a radial vector distribution of a density gradient which is a feature of a microcalcification image by a fixed ring filter. This is to check whether or not the density gradients on a plurality of concentric circles are examined and whether or not the directions of the density gradients of the pixels on the respective concentric circles are radial to determine whether or not they match the pattern of the microcalcification image. It is to determine. In this method, when the number of detected false positives is 0.83 per image, the true positives are 90.3.
The performance that can be detected with a probability of% was obtained.
【０００６】上記の固定リングフィルタによる微小石灰
化像の検出方法によると、微小石灰化像に特有の性質を
効率に良くベクトル特徴量として表現でき、クラスタの
検出率が良好で処理時間も短いという特徴を有する。According to the method for detecting a microcalcification image using the fixed ring filter described above, the characteristics peculiar to the microcalcification image can be efficiently expressed as vector feature amounts, the cluster detection rate is good, and the processing time is short. It has characteristics.
【０００７】[0007]
【発明が解決しようとする課題】しかしながら、上記従
来の方法によると、極めて淡く小さい微小石灰化像の検
出率が実用レベルに達しておらず、線成分の陰影を多く
誤検出するなどの問題があった。上記誤検出の主な原因
としては、微小石灰化像のコントラストが、該石灰像が
存在する背景領域の組織に依存したバラツキを示すこ
と、及び、固定リングフィルタの形状が常に一定であ
り、解析対象となる候補領域の形状が略円形状のものに
限定されていることの２つがあげられる。However, according to the above-mentioned conventional method, the detection rate of extremely faint and small microcalcification images does not reach the practical level, and there are problems such as erroneous detection of many shadows of line components. there were. The main cause of the erroneous detection is that the contrast of the microcalcification image shows a variation depending on the tissue of the background region in which the calcification image exists, and the shape of the fixed ring filter is always constant. There are two reasons that the shape of the target candidate area is limited to a substantially circular shape.
【０００８】従来方法においては、上記のように線成分
などの陰影を誤検出するため、偽陽性の検出数が画像１
枚当たり0.83個程度と非常に多く、乳癌のない正常な写
真であっても８割の画像に異常所見があると判断してし
まうことになっていた。このため、集団検診などのよう
に、多くの写真が正常である場合には、微小石灰化像の
自動検出を行なわせても大部分の写真について異常所見
があるとの情報を医師に対して与えてしまうため、医師
の読影負担を軽減するという目的を達成できないことに
なっていた。従って、偽陽性を減少させることが要求さ
れるが、従来では、偽陽性を減少させようとすると、真
陽性の検出率も低下してしまうという問題が生じてい
た。In the conventional method, since shadows such as line components are erroneously detected as described above, the number of false positives detected is image 1.
The number was about 0.83 per sheet, which was so large that even 80% of normal images without breast cancer were judged to have abnormal findings. For this reason, when many photographs are normal, such as in mass screenings, doctors should be informed that there are abnormal findings in most of the photographs even if automatic detection of microcalcification images is performed. Since it was given, the purpose of reducing the interpretation load on the doctor could not be achieved. Therefore, it is required to reduce the false positives, but conventionally, when trying to reduce the false positives, there has been a problem that the detection rate of the true positives also decreases.
【０００９】また、***組織には、分布状態の個人差が
非常に大きな乳腺や脂肪組織が含まれ、これらは、Ｘ線
撮影時にＸ線散乱などを引き起こすため、前記乳腺や脂
肪組織などに含まれる微小石灰化のＸ線コントラストが
低下すると共に、大きなバラツキを示す。このため、背
景の組織によって微小石灰化像パタンのコントラストが
変化することになり、偽陽性を減少させるには、パタン
検出，パタン判別のための濃度閾値を、領域毎に調整す
ることが必要になり、従来では、領域の判別をパタン検
出の前に予め行なって、それぞれの領域毎に処理手順や
閾値を変更するなどの複雑な処理を行なっており、処理
速度や検出精度の低下を招いていた。Further, the breast tissue includes mammary glands and adipose tissue having very large distributional differences among individuals. These mammary glands and adipose tissue are included in the mammary gland and adipose tissue because they cause X-ray scattering during radiography. The X-ray contrast of the microcalcification that is generated is reduced, and a large variation is exhibited. Therefore, the contrast of the microcalcification image pattern changes depending on the background tissue, and in order to reduce false positives, it is necessary to adjust the density threshold for pattern detection and pattern discrimination for each region. In the past, the areas are discriminated in advance before the pattern detection, and complicated processing such as changing the processing procedure and the threshold value for each area is performed, resulting in a decrease in processing speed and detection accuracy. It was
【００１０】更に、上記従来の方法では、マンモグラム
から検出した微小石灰化像が、クラスタを形成している
場合に、異常候補として検出しているが、クラスタを形
成していても良性である場合があり、これらを異常とし
て表示することは偽陽性を増やし、診断ミスにつながる
可能性があるという問題もあった。本発明は上記問題点
に鑑みなされたものであり、真陽性の検出率を低下させ
ることなく、偽陽性の検出を減少させることができるパ
タン検出方法及び装置を提供することを目的とする。Further, in the above-mentioned conventional method, when the microcalcification image detected from the mammogram forms a cluster, it is detected as an abnormal candidate. However, even if the cluster is formed, it is benign. There is also a problem that displaying these as abnormalities increases false positives and may lead to a diagnostic error. The present invention has been made in view of the above problems, and an object of the present invention is to provide a pattern detection method and apparatus that can reduce the detection of false positives without decreasing the detection rate of true positives.
【００１１】更に、検出精度を保持しつつ、単一のパタ
ン検出方法を画像の全領域に均一に施すことができるよ
うにすることを目的とする。また、画像から検出した微
小の円形パタンのクラスタが乳癌か否かを精度良く判別
できるようにすることを目的とする。Another object of the present invention is to enable a single pattern detection method to be uniformly applied to the entire area of an image while maintaining the detection accuracy. Another object of the present invention is to enable to accurately determine whether or not the cluster of minute circular patterns detected from the image is breast cancer.
【００１２】[0012]
【課題を解決するための手段】そのため請求項１又は12
記載の発明では、任意の画素から周辺画素へ放射状に広
がる複数の探索方向それぞれにおいて、濃度勾配のベク
トル強度が極大となる画素を探索する。そして、前記複
数の探索方向それぞれで探索された複数画素それぞれで
の濃度勾配のベクトル強度、及び、濃度勾配のベクトル
方向と前記探索方向との角度の相違量から濃度勾配に関
する特徴量を求め、該特徴量に基づいて前記任意の画素
が所定のパタンに含まれるか否かを判別する構成とし
た。[Means for Solving the Problems] Therefore, claim 1 or 12
In the described invention, the pixel having the maximum vector strength of the density gradient is searched for in each of a plurality of search directions radially extending from an arbitrary pixel to the peripheral pixels. Then, a feature quantity related to the density gradient is obtained from the vector strength of the density gradient in each of the plurality of pixels searched in each of the plurality of search directions, and the amount of difference in angle between the vector direction of the density gradient and the search direction, It is configured to determine whether or not the arbitrary pixel is included in a predetermined pattern based on the characteristic amount.
【００１３】かかる構成によると、濃度勾配のベクトル
強度が極大となる画素の探索は、画素値分布の変曲点を
探し出すことに相当するから、候補となっている陰影の
形状に合わせて濃度勾配の特徴を求める画素が設定され
ることになり、極めて淡く形が不整な小さい候補陰影に
おいても、濃度勾配の放射状のベクトル分布を精度良く
判別できることになる。According to this structure, the search for a pixel having the maximum vector intensity of the density gradient corresponds to finding an inflection point of the pixel value distribution. Therefore, the density gradient is matched with the shape of the candidate shadow. The pixels for which the feature is calculated are set, and the radial vector distribution of the density gradient can be accurately discriminated even in a small candidate shadow that is extremely pale and irregular in shape.
【００１４】請求項２又は13記載の発明では、複数の探
索方向それぞれで探索された複数画素の画素値の代表値
を求めて、これを閾値として画像データの２値化を行な
うことで画像領域を抽出する構成とした。かかる構成に
よると、候補領域としての画像領域を２値化によって抽
出する際に、画素値分布の変曲点のデータに基づく閾値
を用いるから、コントラストのばらつきがあっても正確
な領域抽出が可能となる。According to the second or thirteenth aspect of the present invention, a representative value of pixel values of a plurality of pixels searched in each of a plurality of search directions is obtained, and the image data is binarized by using the representative value as a threshold. Is configured to be extracted. According to this configuration, when the image area as the candidate area is extracted by binarization, the threshold value based on the data of the inflection point of the pixel value distribution is used, so that the accurate area extraction can be performed even if the contrast varies. Becomes
【００１５】請求項３又は14記載の発明では、前記２値
化によって抽出された画像領域の特徴量を求めて、この
特徴量から前記画像領域が所定のパタンであるか否かを
判別する構成とした。かかる構成によると、候補として
抽出された領域が、所定のパタンに合致する特徴を有す
るか否かを判別することで、誤検出された領域を除くこ
とが可能となる。According to a third or fourteenth aspect of the present invention, a feature amount of the image region extracted by the binarization is obtained, and it is determined from the feature amount whether or not the image region has a predetermined pattern. And According to such a configuration, it is possible to remove the erroneously detected area by determining whether or not the area extracted as a candidate has a feature that matches a predetermined pattern.
【００１６】請求項４又は15記載の発明では、前記２値
化によって抽出された画像領域の特徴量として、前記画
像領域の形状に関する特徴量を求める構成とした。かか
る構成によると、例えば微小円形パタンを検出する場合
には、候補として抽出された領域の面積や円形度（円形
に近い度合い）を特徴量として求めることで、誤検出さ
れた領域を精度良く除くことが可能となる。According to the invention of claim 4 or 15, the feature amount relating to the shape of the image region is obtained as the feature amount of the image region extracted by the binarization. With this configuration, when detecting a minute circular pattern, for example, the area or circularity (degree close to a circle) of the region extracted as a candidate is obtained as a feature amount to accurately exclude the erroneously detected region. It becomes possible.
【００１７】請求項５又は16記載の発明では、前記２値
化によって抽出された画像領域の特徴量として、前記画
像領域内の画素値に関する特徴量を求める構成とした。
かかる構成によると、所定のパタンに特有な画素値の特
徴、例えば微小石灰化像であれば、周りの濃度値に比べ
て濃度値が小さく、濃度勾配の中心に向かって一様に濃
度値が一様に落ち込むという特徴に基づいて、誤検出さ
れた領域を精度良く除くことが可能となる。According to the fifth or sixteenth aspect of the present invention, as the feature amount of the image region extracted by the binarization, the feature amount regarding the pixel value in the image region is obtained.
According to such a configuration, the characteristic of the pixel value peculiar to the predetermined pattern, for example, in the case of a microcalcification image, the density value is smaller than the surrounding density values, and the density value is uniform toward the center of the density gradient. It is possible to accurately remove the erroneously detected area based on the characteristic that the image is uniformly dropped.
【００１８】請求項６又は17記載の発明では、予め候補
画素を探索し、該探索された候補画素を前記任意の画素
として、その周辺でベクトル強度が極大となる画素を探
索させる構成とした。かかる構成によると、緩やかな判
別によってある程度候補を絞った上で、精度良くパタン
判別を行なわせることができるから、パタン検出の高精
度化と処理時間の短縮化を図れる。In a sixth or seventeenth aspect of the present invention, a candidate pixel is searched in advance, and the searched candidate pixel is set as the arbitrary pixel, and a pixel having a maximum vector intensity is searched for in the vicinity thereof. With this configuration, it is possible to narrow down the candidates to a certain extent by gentle discrimination and to perform pattern discrimination with high accuracy, so that it is possible to achieve high precision pattern detection and shorten processing time.
【００１９】請求項７又は18記載の発明では、中心画素
の周辺に同心円状に位置する複数の画素それぞれにおけ
る濃度勾配のベクトル強度とベクトル方向とを抽出し、
前記濃度勾配のベクトル方向と前記中心画素と当該画素
とを結ぶ方向との角度の相違量を前記複数の画素毎に求
める。そして、前記複数の画素毎の角度の相違量とベク
トル強度とから各同心円領域毎に濃度勾配に関する特徴
量を求め、前記特徴量に基づいて前記中心画素を前記候
補画素とするか否かを判別して、前記候補画素の探索を
行なう構成とした。In the invention according to claim 7 or 18, the vector intensity and the vector direction of the density gradient in each of a plurality of pixels located concentrically around the central pixel are extracted,
An amount of difference in angle between the vector direction of the density gradient and the direction connecting the central pixel and the pixel is calculated for each of the plurality of pixels. Then, the feature amount regarding the density gradient is obtained for each concentric region from the angle difference amount and the vector intensity for each of the plurality of pixels, and it is determined whether or not the central pixel is the candidate pixel based on the feature amount. Then, the configuration is made to search for the candidate pixel.
【００２０】かかる構成によると、円錐形構造のベクト
ルパタンを有する領域を、濃度勾配の方向が放射状であ
るか否かに基づいて簡便に判別でき、候補画素の絞り込
みが簡便に行なえる。請求項８又は19記載の発明では、
背景濃度に逆比例した割合でコントラストを低下させる
前処理を前記２次元の多階調の画像データに予め施して
おき、かかる前処理が施された画像データに基づいて濃
度勾配のベクトル強度及びベクトル方向を抽出させる構
成とした。According to this structure, the region having the vector pattern of the conical structure can be easily discriminated based on whether or not the direction of the density gradient is radial, and the candidate pixels can be narrowed down easily. In the invention of claim 8 or 19,
Pre-processing for reducing the contrast at a rate inversely proportional to the background density is previously performed on the two-dimensional multi-tone image data, and based on the pre-processed image data, the vector intensity of the density gradient and the vector The direction is extracted.
【００２１】かかる構成によると、検出したい所定パタ
ンのコントラストが小さくなる領域では濃度階調を拡大
し、逆に、所定パタンのコントラストが大きくなる領域
では濃度階調を圧縮して、所定パタンのコントラストを
平均化することが可能となり、自動検出性能を向上させ
ることが可能となる。請求項９又は20記載の発明では、
２次元の多階調の画像データから被写体領域を抽出し
て、この抽出された前記被写体領域内で画素の探索を行
なわせる構成とした。According to this structure, the density gradation is expanded in the area where the contrast of the predetermined pattern to be detected is small, and conversely, the density gradation is compressed in the area where the contrast of the predetermined pattern is large, and the contrast of the predetermined pattern is increased. Can be averaged, and the automatic detection performance can be improved. In the invention according to claim 9 or 20,
A subject region is extracted from the two-dimensional multi-tone image data, and a pixel is searched in the extracted subject region.
【００２２】かかる構成によると、被写体に含まれる所
定パタンを効率良く検出させることが可能となる。請求
項10又は21記載の発明では、パタン検出の対象としての
２次元の多階調の画像データが***Ｘ線画像であり、検
出する所定のパタンが、微小石灰化像に対応する微小円
形パタンである構成とした。According to this structure, it is possible to efficiently detect the predetermined pattern included in the subject. In the invention according to claim 10 or 21, the two-dimensional multi-tone image data as a pattern detection target is a breast X-ray image, and the predetermined pattern to be detected is a minute circular pattern corresponding to a minute calcification image. The configuration is as follows.
【００２３】かかる構成によると、乳癌の重要所見であ
る微小石灰化像を、精度良く自動検出させることがで
き、以て、***Ｘ線画像に基づく読影診断の有効な支援
が行なえる。請求項11又は22記載の発明では、***のＸ
線撮影で得られた２次元の多階調画像から検出された複
数の微小円形パタンの群に関し、前記群に含まれる円形
パタンの数、円形パタンの大きさの平均値、円形パタン
の大きさの分散値、円形パタンの円形度の平均値、円形
パタン相互の距離の平均値のうちの複数の項目に求め、
これらに基づいて前記微小円形パタンの群が乳癌か否か
を判別する構成とした。According to this structure, a microcalcification image, which is an important finding of breast cancer, can be detected automatically with high accuracy, and thus effective support for image interpretation diagnosis based on a breast X-ray image can be performed. According to the invention of claim 11 or 22, X of the breast
Regarding a group of a plurality of minute circular patterns detected from a two-dimensional multi-tone image obtained by line photography, the number of circular patterns included in the group, the average value of the circular patterns, and the size of the circular patterns , The average value of the circularity of circular patterns, and the average value of the mutual distances of circular patterns.
Based on these, it is configured to determine whether or not the group of the minute circular patterns is breast cancer.
【００２４】一般に癌との相関が高いとされる悪性石灰
化像には、その形状，集散，数などに特徴を有するか
ら、前記項目に基づいてクラスタ（群）を構成する微小
石灰化像の良悪性の判別が行なえるものである。Generally, a malignant calcification image which is considered to have a high correlation with cancer is characterized by its shape, distribution, number, etc., and therefore, a microcalcification image forming a cluster (group) based on the above items. It is possible to distinguish between good and bad.
【００２５】[0025]
【発明の実施の形態】以下に本発明の実施の形態を説明
する。尚、以下に示す実施形態は、医療用の***Ｘ線撮
影で得られた２次元の多階調の画像データから乳癌の重
要所見である微小石灰化像を自動検出する装置及び方法
を示すものである。Embodiments of the present invention will be described below. The embodiments described below show an apparatus and method for automatically detecting a microcalcification image, which is an important finding of breast cancer, from two-dimensional multi-tone image data obtained by medical mammography. Is.
【００２６】図１は装置構成の概略を示すものであり、
***Ｘ線画像は、画像記憶手段Ａに記憶されており、前
処理手段Ｂにより読み出され前処理が施される。前処理
が施された***Ｘ線画像は、候補パタン検出手段Ｃに渡
され、所定のパタン（微小石灰化像）の候補が検出され
る。候補パタン検出手段Ｃで検出された候補パタンは、
パタン判別手段Ｄにより所定のパタン（微小石灰化像）
であるかどうかの判別が行われ、最終的に所定のパタン
であると判別されたパタンが、表示手段Ｅによりオペレ
ータ（読影医）に表示される。FIG. 1 shows the outline of the apparatus configuration.
The breast X-ray image is stored in the image storage means A, read by the preprocessing means B, and subjected to preprocessing. The breast X-ray image subjected to the preprocessing is passed to the candidate pattern detecting means C, and the candidate of a predetermined pattern (microcalcification image) is detected. The candidate patterns detected by the candidate pattern detecting means C are
Predetermined pattern (microcalcification image) by the pattern discriminating means D
Is determined, and the pattern finally determined to be the predetermined pattern is displayed on the operator (radiologist) by the display unit E.
【００２７】前記図１に示した各手段における処理内容
を図２に示してある。通常の***Ｘ線撮影で作成された
***Ｘ線写真は、フィルムデジタイザで読み取られてデ
ジタル画像データに変換され（デジタイズされ）、２次
元の多階調の画像データとしてシステムに入力される。
入力された***Ｘ線画像は、まず前処理を施され、***
領域（被写体領域）とそれ以外（Ｘ線の素抜け領域）と
に領域分けがなされる（***領域抽出処理：被写体領域
抽出手段）。FIG. 2 shows the processing contents of the respective means shown in FIG. Mammograms created by normal mammography are read by a film digitizer and converted (digitized) into digital image data, which is input to the system as two-dimensional multi-tone image data.
The input breast X-ray image is first subjected to pre-processing, and is divided into a breast region (subject region) and other regions (X-ray blank regions) (breast region extraction processing: subject region extraction means). ).
【００２８】抽出された***領域（被写体領域）につい
ては、検出対象のパタンのコントラストを均一化するた
めのコントラスト補正処理が施される（コントラスト補
正処理：コントラス補正手段）。コントラスト補正処理
後の画像に対し、濃度勾配抽出処理（濃度勾配抽出手
段）と固定リングフィルタ処理（特徴量演算手段）が行
われ、対象パタンの候補領域が抽出される（候補画素判
別手段，候補画素探索手段）。The extracted breast region (subject region) is subjected to contrast correction processing for making the contrast of the pattern to be detected uniform (contrast correction processing: contrast correction means). The density gradient extraction processing (density gradient extraction means) and the fixed ring filter processing (feature amount calculation means) are performed on the image after the contrast correction processing to extract candidate regions of the target pattern (candidate pixel determination means, candidates). Pixel search means).
【００２９】次に、前記抽出された候補領域に対し、可
変リングフィルタ処理（濃度勾配探索手段，濃度勾配特
徴量演算手段，画素判別手段）、候補領域の再抽出処理
（画像領域抽出手段）、形状解析処理（パタン判別手
段）が行われ、この結果、最終的な微小石灰化像の候補
が抽出される。更に、微小石灰化像は、複数集まってク
ラスタ（群）を形成することが乳癌の特徴的な所見であ
ることから、クラスタの特徴解析（特徴量演算手段）を
行うことにより、乳癌の可能性を判定し（乳癌判別手
段）、該判定結果に応じて前記微小石灰化像の候補を読
影者に表示する。Next, variable ring filter processing (density gradient search means, density gradient feature amount computing means, pixel discrimination means), candidate area re-extraction processing (image area extraction means) for the extracted candidate areas, A shape analysis process (pattern determination means) is performed, and as a result, final candidates for microcalcification images are extracted. Furthermore, microscopic calcification images are characteristic findings of breast cancer in that multiple clusters are formed to form clusters (groups). Therefore, cluster characteristic analysis (feature amount calculation means) is performed to determine the possibility of breast cancer. Is determined (breast cancer discrimination means), and the candidates for the microcalcification image are displayed to the radiogram interpreter according to the determination result.
【００３０】以下に、図２に示した各処理の詳細を説明
する。 (1)「Ｘ線写真のデジタイズ」 ***Ｘ線写真は、通常は高解像度のＸ線フィルムを用い
て撮影され現像処理された後、専門医による読影が行わ
れるが、ここでは、前記***Ｘ線写真を、フィルムデジ
タイザを用いて読み取ってデジタル画像データに変換
し、システムに入力する。入力された画像データは、画
像記憶手段Ａに記憶される。Details of each processing shown in FIG. 2 will be described below. (1) "Digitizing X-ray photograph" Usually, a mammogram is imaged and processed using a high-resolution X-ray film, and then read by a specialist. The photograph is read using a film digitizer, converted into digital image data, and input to the system. The input image data is stored in the image storage means A.
【００３１】前記画像記憶手段Ａとしては、ハードディ
スクが一般に用いられるが、光磁気ディスクなどの可搬
型媒体や、メモリなどの半導体記憶装置を用いることも
可能である。フィルムデジタイザは、微小なレーザビー
ムで走査を行い、フィルムを透過する光量を電気信号に
変換するものである。ここでは、１００μｍのサンプリ
ングピッチで、光学濃度０〜３を１２ビットに量子化す
るデジタイズ処理を行なった。A hard disk is generally used as the image storage means A, but a portable medium such as a magneto-optical disk or a semiconductor storage device such as a memory can also be used. The film digitizer scans with a minute laser beam and converts the amount of light passing through the film into an electric signal. Here, digitizing processing for quantizing optical densities 0 to 3 into 12 bits was performed at a sampling pitch of 100 μm.
【００３２】更に細かな微小石灰化像の検出を可能にす
べく、５０μｍのサンプリングピッチでデジタイズ処理
することも可能であるが、データ量が膨大になって処理
時間が増加するため、検出精度を確保できる範囲でデー
タ量を極力少なくすべく、１００μｍのサンプリングピ
ッチを採用している。また、濃度レンジも、通常の***
Ｘ線画像の場合は、濃度３までの範囲で十分であるが、
皮膚に近い部分や皮膚線の形状を見たい場合は、濃度４
以上を読み取る必要がある。量子化のレベルも、本実施
例では１２ビットを用いているが、８ビット〜１６ビッ
トの範囲で変更しても良い。It is possible to perform digitizing processing at a sampling pitch of 50 μm in order to enable detection of a finer microcalcification image, but since the amount of data becomes huge and the processing time increases, the detection accuracy is increased. A sampling pitch of 100 μm is used to minimize the amount of data within the range that can be secured. As for the density range, in the case of a normal breast X-ray image, the range up to density 3 is sufficient,
If you want to see the shape close to the skin or the shape of the skin line, the density 4
You need to read above. The quantization level is also 12 bits in this embodiment, but may be changed in the range of 8 bits to 16 bits.
【００３３】また、デジタイザとしてレーザ走査方式の
他に、ドラムスキャン型、ＣＣＤ型等があるが、操作
性，ノイズ性能等の点から、レーザ走査方式のデジタイ
ザを選択した。更に、最近では、Ｘ線撮影時に直接デジ
タル画像を入力できる装置が開発されてきており、これ
らの装置の画像データを直接用いることも可能である。
また、マンモグラム専用にシンチレータでの発光をＣＣ
Ｄで撮影し入力するデジタルマンモグラム装置も開発さ
れているが、この様な装置を用いることも可能である。As the digitizer, there are a drum scan type, a CCD type, etc. in addition to the laser scanning type, but the laser scanning type digitizer was selected in terms of operability, noise performance and the like. Furthermore, recently, devices that can directly input digital images during X-ray imaging have been developed, and it is possible to directly use image data of these devices.
In addition, CC emission of light from a scintillator dedicated to mammograms
A digital mammogram device for photographing and inputting with D has also been developed, but such a device can also be used.
【００３４】(2)「***領域抽出処理（前処理）」 ***Ｘ線画像（マンモグラム）では、通常***領域は一
部であり、直接Ｘ線が照射された部分（Ｘ線素抜け部
分）が含まれているため、かかる素抜け領域を解析の対
象から外すために、***領域（被写体領域）の抽出がま
ず行われる（被写体領域抽出手段）。(2) "Breast region extraction processing (preprocessing)" In a breast X-ray image (mammogram), the normal breast region is a part, and the portion directly irradiated with X-rays (X-ray blank portion) is Since it is included, the breast region (subject region) is first extracted (subject region extracting means) in order to exclude such a blank region from the analysis target.
【００３５】素抜け領域と***領域とでは、その濃度が
大きく異なるために、乳頭−胸壁方向に１ラインごとに
濃度分布を調べることにより、***領域と素抜け領域と
の境界を判別して容易に分離することが可能である。分
離された素抜け領域にはマスクが設定され、今後の処理
・解析の対象から外され、***領域についてのみ処理・
解析が行なわれる。これによって、全領域を対象として
処理・解析を行なわせる場合に比して、処理時間を短縮
することが可能となる。Since the densities of the blank area and the breast area are significantly different, the density distribution is examined line by line in the nipple-chest wall direction, and the boundary between the breast area and the plain area can be easily discriminated. Can be separated into A mask is set for the separated blank areas, and it is excluded from the target of future processing and analysis.
Analysis is performed. As a result, the processing time can be shortened as compared with the case where the processing / analysis is performed on the entire area.
【００３６】(3)「コントラスト補正処理（前処理）」 ***Ｘ線画像においては、微小石灰化像が存在する領域
周辺の組織によって微小石灰化のパタンの信号の大き
さ、即ちコントラストに大きなバラツキが生じる。ここ
で、同一の微小石灰化でもそれが厚い乳腺内に存在する
ときほど、Ｘ線が微小石灰化に到達するまでに他組織に
吸収されたり散乱したりする度合いが大きくなるため、
微小石灰化が脂肪領域に近い領域に存在するときより
も、厚い乳腺内に存在するときの方がコントラストが小
さくなるものと考えられる。(3) "Contrast correction processing (pre-processing)" In a breast X-ray image, the signal magnitude of the pattern of microcalcification, that is, the large variation in the contrast due to the tissue around the area where the microcalcification image exists. Occurs. Here, even when the same microcalcification is present in a thick mammary gland, the degree of absorption and scattering of X-rays by other tissues by the time the microcalcification reaches
It is considered that the contrast becomes smaller when the microcalcification exists in the thick mammary gland than when the microcalcification exists in the region close to the fat region.
【００３７】乳腺の退縮度がそれぞれ異なる５枚の***
Ｘ線画像を使用し、微小石灰化像の存在位置の背景の信
号レベルとコントラストとの関係を調べた結果を、図３
に示す。尚、図中の破線は、分布点を１次関数で近似し
たものである。この実験結果をもとに、周辺画素値が30
0 付近である微小石灰化像を基準とし、他領域の微小石
灰化像のコントラストがこの基準と同レベルのコントラ
スト（約45）になるように補正できるコントラスト補正
曲線を、図４に示すように作成した。FIG. 3 shows the results of investigating the relationship between the signal level of the background and the contrast at the position where the microcalcification image is present using five breast X-ray images having different degrees of mammary gland regression.
Shown in The broken line in the figure is obtained by approximating the distribution points by a linear function. Based on the results of this experiment, the peripheral pixel value is 30
As shown in Fig. 4, a contrast correction curve that can be corrected so that the contrast of the microcalcification image in the other area becomes the same level of contrast (about 45) with the microcalcification image near 0 as the reference is shown in Fig. 4. Created.
【００３８】図４の補正曲線による変換（コントラスト
補正手段）を行なうことにより、微小石灰化像のコント
ラストが小さくなる乳腺領域 (fibroglandular tissue
area)の低濃度領域 ( low- density area )の濃度階調
が拡大され、逆に、コントラストが大きくなる領域、及
び、微小石灰化像が存在する可能性が少ない脂肪領域(
fatty area ) の濃度階調は圧縮される。このとき、周
辺の画素値平均が約300 の微小石灰化像が基準となり、
周辺の平均画素値がそれ以下のときはそのコントラスト
が大きくなり、それ以上のときはコントラストが小さく
なる。By performing the conversion (contrast correction means) using the correction curve of FIG. 4, the mammary gland region (fibroglandular tissue) in which the contrast of the microcalcification image is reduced
area), the density gradation of the low-density area is enlarged, and conversely, the area where the contrast is large and the fat area (the area where microcalcification images are unlikely to exist)
The density gradation of fatty area) is compressed. At this time, the reference is a microcalcification image with an average pixel value of about 300.
When the surrounding average pixel value is less than that, the contrast is high, and when it is more than that, the contrast is low.
【００３９】上記コントラスト補正処理は、パタンの自
動検出性能の向上に貢献するだけではなく、視覚的にも
乳腺組織内の観察が容易になるという点で有効であり、
画像処理法としての応用も可能と考えられる。即ち、上
記コントラスト補正処理により、検出するパタンのコン
トラストを均一化できるため、検出方法を領域に因らず
に画一化でき、システム構成を単純化でき、また、処理
速度を向上させることが可能になる。The contrast correction processing is effective not only for improving the automatic pattern detection performance, but also for facilitating the visual observation of the mammary gland tissue.
Application as an image processing method is also considered possible. That is, since the contrast of the detected pattern can be made uniform by the contrast correction processing, the detection method can be made uniform regardless of the area, the system configuration can be simplified, and the processing speed can be improved. become.
【００４０】(4)「濃度勾配抽出処理（候補パタン抽出
処理）」 乳癌に随伴する石灰化の大きさは、約0.75mm以下の微細
なものが多く、これらは微小石灰化と呼ばれている。即
ち、今回使用したディジタル画像上では、像のボケを考
慮しても直径約10画素以下の極めて微小な信号である。
これらの信号分布は、周りの濃度値（画素値）と比べて
値が小さく、濃度勾配は中心に向かって略一定に落ち込
むという基本的な共通点をもっており、この微小な円錐
形構造は微小石灰化像に特有な性質である。(4) "Concentration gradient extraction processing (candidate pattern extraction processing)" The size of calcification associated with breast cancer is often about 0.75 mm or less, and these are called microcalcifications. . That is, on the digital image used this time, it is an extremely minute signal having a diameter of about 10 pixels or less even if the blur of the image is taken into consideration.
These signal distributions have a basic common point that the value is smaller than the surrounding density value (pixel value), and the density gradient drops almost constantly toward the center. This is a characteristic peculiar to a figurine.
【００４１】そこで、ディジタル画像の濃度分布から、
方向と強度の要素を合わせもつ濃度勾配のベクトル分布
（ソーベルの勾配）を各画素毎に算出し（濃度勾配抽出
手段）、該ベクトル分布に基づいて円錐形構造のベクト
ルパターン（以下、基本ベクトルパターンと呼ぶ）を有
する領域を自動抽出する処理（候補画素探索手段）を次
のステップで行う。Therefore, from the density distribution of the digital image,
A density gradient vector distribution (Sobel gradient) having both direction and strength elements is calculated for each pixel (density gradient extraction means), and based on the vector distribution, a vector pattern having a conical structure (hereinafter referred to as a basic vector pattern). The process (candidate pixel search means) for automatically extracting a region having the following) is performed in the next step.
【００４２】(5)「固定リングフィルタ処理（候補パタ
ン抽出処理）」 固定リングフィルタは、大きさの異なる複数のリング状
のサブフィルタで構成されており、微小石灰化像の大き
さに対応する直径に設定してある。具体的には、３つの
サイズの異なるフィルタを設定してあり、小さい方から
FilterＡ、FilterＢ、FilterＣと呼び、それぞれの直径
は、3 画素、5 画素、7 画素である。図５は、これら３
枚のリングフィルタに、基本ベクトルパターンを重ね合
わせたものである。(5) "Fixed Ring Filter Process (Candidate Pattern Extraction Process)" The fixed ring filter is composed of a plurality of ring-shaped sub-filters of different sizes and corresponds to the size of the microcalcification image. It is set to the diameter. Specifically, three different size filters are set.
They are called Filter A, Filter B, and Filter C, and their diameters are 3 pixels, 5 pixels, and 7 pixels. Figure 3 shows these three
The basic vector pattern is superposed on one ring filter.
【００４３】これらの３枚のフィルタを候補領域上に重
畳させ、基本ベクトルパターンとフィルタ内のベクトル
パターンとを解析し、サブフィルタ毎にベクトル方向性
の類似性を表す「方向特徴量」と、ベクトル強度の類似
性を表す「強度特徴量」を演算する（特徴量演算手
段）。前記方向特徴量の演算は、以下の手順によって実
行される。These three filters are superimposed on the candidate area, the basic vector pattern and the vector pattern in the filter are analyzed, and the "direction feature amount" representing the similarity of the vector directionality for each sub-filter, A "strength feature amount" representing the similarity in vector strength is calculated (feature amount calculation means). The calculation of the direction feature amount is executed by the following procedure.
【００４４】まず、各サブフィルタ内の画素数ｎに応じ
て各画素に番地付け（ｋ＝１〜ｎ）を行い、サブフィル
タ上のｋ番地の画素における基本ベクトルパターン（中
心画素と当該画素とを結ぶ方向）と濃度勾配のベクトル
方向との角度の相違量をθk（0 ≦θk ≦π) とする。
ここで、サブフィルタ上の各画素におけるベクトル方向
類似性の平均値を前記方向特徴量とするので、ｎ個の画
素からなるサブフィルタの方向特徴量Ｄは、数１で表さ
れ、ベクトル方向の類似性が高いときほど大きな値に算
出される。尚、FilterＡではｎ＝８、FilterＢではｎ＝
12、FilterＣで Cはｎ＝16である。First, each pixel is assigned an address (k = 1 to n) according to the number of pixels n in each sub-filter, and a basic vector pattern (a center pixel and the pixel The angle difference between the direction (connecting the lines) and the vector direction of the concentration gradient is θk (0 ≤ θk ≤ π).
Here, since the average value of the vector direction similarity in each pixel on the sub-filter is used as the direction feature amount, the direction feature amount D of the sub-filter consisting of n pixels is expressed by Equation 1, and The higher the similarity is, the larger the value is calculated. Note that Filter A has n = 8, Filter B has n =
12, FilterC and C are n = 16.
【００４５】[0045]
【数１】 [Equation 1]
【００４６】数１において、αは重み付け係数で、形状
が不整な微小石灰化像のベクトルパターンの性質を考慮
して、各フィルタごとに別々の値が設定される。一方、
強度特徴量Ｉは、サブフィルタ上の各画素のベクトルを
Ｖｋと表すときに、ベクトル強度にその画素における方
向特徴量を乗じたものの平均値として算出され、数２で
表される。In Expression 1, α is a weighting coefficient, and a different value is set for each filter in consideration of the nature of the vector pattern of the microcalcification image having an irregular shape. on the other hand,
When the vector of each pixel on the sub-filter is represented by Vk, the intensity feature amount I is calculated as an average value of the vector intensity multiplied by the direction feature amount of the pixel, and is represented by Formula 2.
【００４７】[0047]
【数２】 [Equation 2]
【００４８】(6)「候補パタン抽出処理」 上記の固定リングフィルタ処理を、***領域に対して行
うことにより、各画素に対して３つのフィルタＡ，Ｂ，
Ｃ毎に方向特徴量及び強度特徴量のデータが求められ、
結果的に各画素に対して６個の特徴量が求められる。そ
して、これらの特徴量が所定の閾値を超える画素を、対
象パタン（微小石灰化像に対応する円形パタン）に含ま
れる画素として判別し（候補画素判別手段）、対象パタ
ンに含まれると判別された画素の集合を候補パタンとし
て抽出を行う。(6) "Candidate pattern extraction process" By performing the above fixed ring filter process on the breast region, three filters A, B, and
Data of the direction feature amount and the intensity feature amount are obtained for each C,
As a result, six feature quantities are obtained for each pixel. Then, a pixel whose feature amount exceeds a predetermined threshold is determined as a pixel included in the target pattern (circular pattern corresponding to the microcalcification image) (candidate pixel determination means), and is determined to be included in the target pattern. Extraction is performed by using the set of pixels that are selected as a candidate pattern.
【００４９】抽出された候補パタンは、１つの領域が複
数に分割されている可能性があるため、３×３画素のテ
ンプレートによるモルフォロジ演算のオープン処理を行
い、分割されたパタンの併合を行う。そして、併合が行
われた各パタンの重心を求め、該重心の座標を候補パタ
ンの座標として次のステップに進む。 (7)「可変リングフィルタ処理（パタン判別処理）」 前段階で抽出された候補パタンに対し、下記の可変リン
グフィルタ処理を行い、正常構造などから誤って検出さ
れた偽陽性の候補パタンの除去を行う。Since there is a possibility that one region is divided into a plurality of regions in the extracted candidate patterns, the morphology calculation open processing is performed using a template of 3 × 3 pixels, and the divided patterns are merged. Then, the center of gravity of each merged pattern is obtained, and the coordinates of the center of gravity are used as the coordinates of the candidate pattern to proceed to the next step. (7) “Variable ring filter processing (pattern discrimination processing)” The following variable ring filter processing is applied to the candidate patterns extracted in the previous step to remove false positive candidate patterns that were erroneously detected from normal structures. I do.
【００５０】可変リングフィルタ処理は、前述の固定リ
ングフィルタ処理と同等の処理を、候補パタンの形状に
応じた形にフィルタの形状を変形して行なうことによ
り、候補パタンの特徴量をより正確に求め、候補パタン
が所定のパタンか否かを厳密に判別する。フィルタの変
形は、図６に示すように、候補パタンの座標の画素を中
心とし、周辺へ放射状に広がる探索方向を複数設定し、
それぞれの探索方向において、各画素における濃度勾配
のベクトル強度が極大となる画素を求めることで行う
（濃度勾配探索手段）。尚、図６において、探索方向の
矢印上に示される四角は、それぞれの探索方向でベクト
ル強度が極大となる画素を示す。In the variable ring filter processing, the same processing as the above-mentioned fixed ring filter processing is performed by changing the shape of the filter into a shape corresponding to the shape of the candidate pattern, so that the feature amount of the candidate pattern is more accurately measured. Then, whether or not the candidate pattern is a predetermined pattern is strictly determined. As shown in FIG. 6, the modification of the filter is to set a plurality of search directions radially centered on the pixel of the coordinates of the candidate pattern and spreading radially to the periphery,
In each search direction, the pixel having the maximum vector intensity of the density gradient in each pixel is obtained (density gradient searching means). Note that in FIG. 6, the squares shown on the search direction arrows indicate pixels having the maximum vector intensity in each search direction.
【００５１】上記フィルタ形状の変形条件を、微小石灰
化クラスタが存在する画像を例にして説明する。図７
（ａ）は、典型的な微小石灰化像の断面の画素値分布を
示し、図７（ｂ）は図７（ａ）に対応する微小石灰化像
における濃度勾配のベクトル強度の分布を示している。
微小石灰化像が存在する部分のベクトル強度は、前記図
７（ａ）に示すように、リング状のエッジ構造がみら
れ、このエッジの部分は、図７（ｂ）でいえばベクトル
強度が極大になる部分に相当し、微小石灰化像の最深部
はベクトル強度が極小となる部分である。そこで、可変
リングフィルタは、固定リングフィルタ解析で既に検出
されている点（画素値分布の最深部の画素）から、ベク
トル強度が極大値をもつ画素を探し出すまで形状を変形
する。図７（ｂ) のベクトル強度の極大値を探し出すこ
とは、図７（ａ) の画素値分布の変曲点を探し出すこと
に相当するため、候補陰影の形状に合わせて最適なフィ
ルタ形状に変形することができることになる。The conditions for deforming the filter shape will be described by taking an image containing microcalcification clusters as an example. Figure 7
FIG. 7A shows a pixel value distribution in a cross section of a typical microcalcification image, and FIG. 7B shows a distribution of the vector intensity of the concentration gradient in the microcalcification image corresponding to FIG. 7A. There is.
As shown in FIG. 7 (a), the vector intensity of the portion where the microcalcification image exists has a ring-shaped edge structure, and this edge portion has a vector intensity of FIG. 7 (b). It corresponds to the maximum part, and the deepest part of the microcalcification image is the part where the vector intensity is minimum. Therefore, the variable ring filter deforms the shape from the point already detected by the fixed ring filter analysis (the pixel in the deepest part of the pixel value distribution) until the pixel having the maximum value of the vector intensity is searched. Finding the maximum value of the vector intensity in FIG. 7B is equivalent to finding the inflection point of the pixel value distribution in FIG. 7A, and thus transforms it into the optimum filter shape in accordance with the shape of the candidate shadow. You will be able to do it.
【００５２】例えば、形が不整な微小石灰化像と、線成
分の乳腺組織陰影像に対して可変リングフィルタを適用
すると、そのリング形状はそれぞれ図８（ａ），（ｂ）
のように求まる。このように、固定リングフィルタは常
に円形状であったが、可変リングフィルタは、候補形状
に呼応して形状が変化するものである。フィルタ形状の
変形後に行う方向・強度特徴量の計算は（濃度勾配特徴
量演算手段）、固定リングフィルタ解析の特徴量計算と
同様に前記数１及び数２に示す演算式を用いて行う。た
だし、フィルタ形状は適応的に決まるため、重み付け関
数としてはα＝１．０を用いる。また、フィルタ構造は
一重のみであり、フィルタ上の画素数ｎはその候補パタ
ン毎に当該候補パタンの形状に応じて毎回変化すること
になる。For example, when the variable ring filter is applied to the irregularly shaped microcalcification image and the mammary gland tissue shadow image of the line component, the ring shapes are respectively shown in FIGS. 8 (a) and 8 (b).
Is obtained as follows. As described above, the fixed ring filter is always circular, but the variable ring filter changes its shape in response to the candidate shape. The calculation of the direction / strength feature amount after the deformation of the filter shape (concentration gradient feature amount computing means) is performed using the equations shown in the above equations 1 and 2 as in the feature amount calculation of the fixed ring filter analysis. However, since the filter shape is adaptively determined, α = 1.0 is used as the weighting function. Further, the filter structure is only single, and the number of pixels n on the filter changes for each candidate pattern every time according to the shape of the candidate pattern.
【００５３】そして、方向・強度特徴量が所定の閾値を
超える場合には、候補パタンの座標の画素を、対象パタ
ン（微小石灰化像に対応する円形パタン）に含まれる画
素として判別する（画素判別手段）。形が不整な微小石
灰化像に対するフィルタの出力値（方向・強度特徴量）
を調べると、固定リングフィルタ解析では、３つのフィ
ルタのうちのFilterＡにおける検出条件のみを満たし、
微小石灰化像を検出することができないが、可変リング
フィルタでは検出条件を満たしており、特に方向特徴量
は固定リングフィルタと比較して高い値を示す。When the direction / strength feature amount exceeds a predetermined threshold value, the pixel at the coordinates of the candidate pattern is discriminated as a pixel included in the target pattern (circular pattern corresponding to the microcalcification image) (pixel. Determination means). Output value of filter (direction / intensity feature quantity) for microcalcification image with irregular shape
, The fixed ring filter analysis satisfies only the detection condition of Filter A of the three filters,
Although the microcalcification image cannot be detected, the variable ring filter satisfies the detection condition, and the directional feature amount in particular shows a higher value than the fixed ring filter.
【００５４】これに対して、線成分陰影像に対するフィ
ルタの出力値（方向・強度特徴量）では、固定リングフ
ィルタ解析ではFilterＡとFilterＢにおける検出条件を
満たしてしまい、線成分陰影像を微小石灰化像として誤
検出してしまう。一方、可変リングフィルタでは、固定
リングフィルタでは探索できない候補辺縁の状況を正確
に分析できるため、方向特徴量の出力値が低くなり、線
成分陰影像を微小石灰化像として誤検出することがな
い。On the other hand, the output value (direction / intensity feature amount) of the filter for the line component shadow image satisfies the detection conditions in Filter A and Filter B in the fixed ring filter analysis, and the line component shadow image is microcalcified. It will be falsely detected as an image. On the other hand, with the variable ring filter, the situation of candidate edges that cannot be searched with the fixed ring filter can be accurately analyzed, so the output value of the direction feature amount becomes low, and the line component shadow image may be erroneously detected as a microcalcification image. Absent.
【００５５】ここで、正常構造に起因する線成分陰影像
の誤検出を除去する様に、固定リングフィルタ処理での
判別を厳しく行うと、形が不整な微小石灰化像までもが
除外されてしまい、検出率が低下してしまう。ところ
が、可変リングフィルタ処理では線成分陰影像を効果的
に除去できるため、固定リングフィルタの判別を緩やか
にすることができ、形が不整な微小石灰化像を検出する
ことが可能となる。従って、真陽性の検出率の向上と偽
陽性の削減とを同時に達成することが可能となる。Here, if the fixed ring filter processing is performed so that the erroneous detection of the line component shadow image due to the normal structure is eliminated, even a microcalcification image of irregular shape is excluded. As a result, the detection rate decreases. However, in the variable ring filter process, the line component shadow image can be effectively removed, so that the fixed ring filter can be discriminated slowly and the irregularly shaped microcalcification image can be detected. Therefore, it is possible to simultaneously improve the true positive detection rate and reduce the false positives.
【００５６】(8)「候補領域の再抽出処理（パタン判別
処理）」 可変リングフィルタ解析の終了後には、さらに偽陽性候
補を削除するための処理として形状解析処理を行なう。
前記形状解析は、２次元的な大きさや形状などから真偽
の判断を行なうため、解析以前に候補陰影の領域を正確
に抽出する必要がある。(8) "Re-extracting process of candidate area (pattern discrimination process)" After the variable ring filter analysis is completed, a shape analysis process is further performed as a process for deleting false positive candidates.
Since the shape analysis makes a true / false decision based on the two-dimensional size and shape, it is necessary to accurately extract the area of the candidate shadow before the analysis.
【００５７】微小石灰化像のコントラストに大きなばら
つきがみられる原因の１つに、微小石灰化の存在位置の
相違から生じるＸ線吸収値の変化があり、上記システム
では、前記Ｘ線吸収の影響を抑制するためにコントラス
ト補正処理を行なっているが、依然として石灰化自体の
性質や大きさの違いによって若干のばらつきがみられる
ため、単純な固定閾値による２値化では正確に領域を抽
出することができない。One of the causes of the large variation in the contrast of the microcalcification image is the change in the X-ray absorption value caused by the difference in the existence position of the microcalcification. In the above system, the influence of the X-ray absorption is caused. Contrast correction processing is performed to suppress this, but there is still some variation due to differences in the nature and size of calcification itself. Therefore, in the binarization with a simple fixed threshold, the region must be accurately extracted. I can't.
【００５８】そこで、個々の微小石灰化像に応じて最適
な閾値γを設定する必要があり、ここでは、可変リング
フィルタ処理によってフィルタ形状を変形させた後に、
そのフィルタ上の画素の画素値の平均値（代表値）を求
め、この値を２値化する際の閾値γとして使用するよう
にした。尚、平均値の代わりに、中央値を閾値としても
良い。Therefore, it is necessary to set the optimum threshold value γ according to each microcalcification image. Here, after the filter shape is deformed by the variable ring filter processing,
The average value (representative value) of the pixel values of the pixels on the filter was obtained, and this value was used as the threshold value γ when binarizing. The median value may be used as the threshold value instead of the average value.
【００５９】そして、前記閾値γを用いて画素値の２値
化を行なうことで候補領域を抽出する（画像領域抽出手
段）。 (9)「候補領域の形状解析（パタン判別処理）」 候補領域を抽出すると、抽出された微小石灰化像の候補
領域について、画像の形状に関する特徴量として面積と
円形度の特徴量を計算する。Then, the candidate area is extracted by binarizing the pixel value using the threshold value γ (image area extracting means). (9) “Shape analysis of candidate area (pattern discrimination processing)” When the candidate area is extracted, the area and the circularity feature quantity are calculated as the feature quantity related to the shape of the image for the extracted candidate area of the microcalcification image. .
【００６０】面積の特徴量は、候補領域に含まれる画素
数として求められるが、偽陽性候補を削除するための閾
値としては、微小石灰化像に該当しない良性の粗大石灰
化像を検出しないように実験的に50（画素数）に設定
し、面積が50を越える候補領域を偽陽性候補として削除
するものとした（パタン判別手段）。また、円形度は
｛４π×面積÷（円周長) 2 ｝として求められ、該円形
度は、候補領域が円形に近いときほど大きな値となり
（最大1.0 ）、円形からずれるほど小さな値になる。そ
して、可変リングフィルタでも識別が困難である血管や
乳管などの線成分陰影や、その交差する箇所の偽陽性候
補を削除できるように、円形度から偽陽性候補を削除す
るための閾値として実験的に0.5 を設定し、円形度が0.
5 を下回る候補領域を偽陽性候補として削除するものと
した（パタン判別手段）。The area feature amount is obtained as the number of pixels included in the candidate region, but as a threshold for deleting false positive candidates, a benign coarse calcification image that does not correspond to a microcalcification image is not detected. Experimentally, the number of pixels was set to 50 (pixel number), and candidate regions with an area of more than 50 were deleted as false positive candidates (pattern discrimination means). Further, the circularity is calculated as {4π × area ÷ (circumferential length) 2 }, and the circularity has a larger value when the candidate area is closer to a circle (maximum 1.0) and a smaller value when the candidate area deviates from the circle. . Then, as a threshold value for deleting false positive candidates from circularity, it is possible to delete line component shadows such as blood vessels and mammary ducts that are difficult to identify even with a variable ring filter, and false positive candidates at the intersections. 0.5 is set, and the circularity is 0.
Candidate areas below 5 were deleted as false positive candidates (pattern discrimination means).
【００６１】尚、前記形状解析に代えて、若しくは、形
状解析と共に、候補領域内の画素値（原画像又はコント
ラスト補正処理後の画像）に基づいて、偽陽性候補の削
除を行なっても良い。具体的には、候補領域の最深部の
画素値や、該最深部の画素値と周囲のエッジ部における
画素値との偏差等に基づいて、候補領域を偽陽性候補と
して削除することが可能である。Instead of the shape analysis or together with the shape analysis, false positive candidates may be deleted based on the pixel value (original image or image after contrast correction processing) in the candidate area. Specifically, it is possible to delete the candidate region as a false positive candidate based on the pixel value of the deepest part of the candidate region, the deviation between the pixel value of the deepest part and the pixel value of the peripheral edge part, and the like. is there.
【００６２】(10) 「クラスタ領域特徴解析（パタン判
別処理）」 これまでの一連の検出処理、及び、偽陽性候補の削除の
処理を終えた時点で、残された候補領域を微小石灰化像
（所定パタン）であると断定し、その後これらがクラス
タ化している領域を自動的に抽出する。本システムで
は、専門医の判断により、50平方mmの領域に３個以上の
微小石灰化候補が存在するとき、かかる領域をクラスタ
領域として抽出し、その領域を雲状の枠によって例えば
***Ｘ線画像に重ねて表示する。(10) "Cluster area feature analysis (pattern discrimination processing)" At the time when the series of detection processing up to this point and the processing of deleting false positive candidates are completed, the remaining candidate areas are subjected to a microcalcification image. It is determined that they are (predetermined pattern), and then the areas where these are clustered are automatically extracted. In this system, when three or more microcalcification candidates exist in the area of 50 square mm according to the judgment of a specialist, such areas are extracted as a cluster area, and the area is cloud-framed, for example, a breast X-ray image. Is displayed on top of.
【００６３】次に、クラスタを構成する微小石灰化像の
良性・悪性の判別を行う。石灰化の中でも、特に癌との
相関が高いとされる悪性石灰化像は、特徴的な所見とし
て、（ａ）微細である、（ｂ）集簇度が高い、（ｃ）多
数存在する、（ｄ）大小の不同が認められる、（ｅ）形
が不整である、（ｆ）線状に配列して存在する、の６つ
の所見を有する。Next, the benign / malignant discrimination of the microcalcification images forming the cluster is performed. Among the calcifications, the malignant calcification image which is said to have a particularly high correlation with cancer has, as characteristic findings, (a) fine, (b) high degree of aggregation, (c) many are present, There are six findings: (d) large and small differences are recognized, (e) form is irregular, and (f) linear array exists.
【００６４】そこで、これらの所見の有無を調べるため
に、抽出されたクラスタ中の石灰化像の大きさの平均，
他の石灰化像との平均距離，石灰化像の数，大きさの分
散，及び円形度の平均を計算する（特徴量演算手段）。
次いで、これら５つの項目にそれぞれ３０，３０，１
５，１５，１０の配点を与え、前記悪性石灰化像の特徴
的所見に合致するか否かによって個別に特徴評価を行
い、最終的にそれら得点を加算して悪性度を０〜１００
の値で数量化する。尚、前記５つの項目の全てを演算す
ることが好ましいが、前記５つの項目のうちの複数項目
を選択しても良い。Then, in order to check the presence or absence of these findings, the average size of the calcified images in the extracted clusters,
The average distance from other calcified images, the number of calcified images, the variance of size, and the average of circularity are calculated (feature amount calculation means).
Then these 30, 30, 1
5, 15, and 10 points are given, the characteristics are individually evaluated depending on whether or not the characteristic findings of the malignant calcification image are matched, and finally, the scores are added to make the malignancy degree 0 to 100.
Quantify with the value of. Although it is preferable to calculate all of the five items, a plurality of items among the five items may be selected.
【００６５】そして、前記悪性度が１００を超えたとき
には悪性石灰化クラスタ，３０を下回ると良性石灰化ク
ラスタ，その中間は境界領域石灰化（borderline calci
fication）クラスタであると評価し（乳癌判別手段）、
画面にクラスタ領域を枠で囲んで表示する際に、枠の色
を危険度の高い順に赤（悪性），黄（境界），青色（良
性）の３段階で表示することによって、良性・悪性の目
安を表現する。When the malignancy exceeds 100, malignant calcification clusters, below 30 malignant calcification clusters, and in the middle, borderline calcification (borderline calcification).
fication) clusters (breast cancer discrimination means),
When the cluster area is surrounded by a frame on the screen, the color of the frame is displayed in three stages of red (malignant), yellow (boundary), and blue (benign) in descending order of risk. Express the standard.
【００６６】(11) 「検出結果の表示」 ***Ｘ線画像を表示させるに当たっては、微小石灰化像
の信号を強調するために、コントラスト補正を行った原
画像に対し非鮮鋭マスクフィルタを用いて高周波数成分
の強調を行うことが好ましい。前記非鮮鋭マスク処理と
は、例えば、特開昭６２−８９１７７号公報等に開示さ
れるように、オリジナル信号をＳorg 、非鮮鋭マスク信
号をＳus、強調係数をβとしたときに、 Ｓ' ＝Ｓorg ＋β（Ｓorg −Ｓus） なる演算を行なう処理を示す。(11) "Display of detection result" In displaying the breast X-ray image, a non-sharp mask filter is used for the original image subjected to contrast correction in order to emphasize the signal of the microcalcification image. It is preferable to emphasize high frequency components. The non-sharp mask processing is, for example, as disclosed in Japanese Patent Laid-Open No. 62-89177, when the original signal is Sorg, the non-sharp mask signal is Sus, and the enhancement coefficient is β, S ′ = A process for performing an operation Sorg + β (Sorg−Sus) will be described.
【００６７】本システムでは、ボケ画像（非鮮鋭マスク
信号）を生成するためのマスクサイズ及び強調係数β
を、実験的にそれぞれ11×11画素及び3.0 と設定した。
本処理によって作成した画像は、画像中の微小石灰化像
の観察を容易にすることが可能である。そして、前記信
号強調処理を行った画像を高解像度ＣＲＴに表示させる
が、強調処理を行っているため、微小石灰化像は、***
Ｘ線写真に比べより明瞭に表示されることになり、然
も、その表示画像の上に、前段までの処理・解析で検出
された危険度の高いクラスタ領域を危険度に合わせた色
の枠で囲う表示が行なわれる。In this system, the mask size and the enhancement coefficient β for generating a blurred image (non-sharp mask signal) are used.
Were experimentally set to 11 × 11 pixels and 3.0, respectively.
The image created by this processing can facilitate the observation of the microcalcification image in the image. Then, the image subjected to the signal enhancement processing is displayed on the high resolution CRT, but since the enhancement processing is performed, the microcalcification image is displayed more clearly than the mammogram. Also, on the displayed image, a display is displayed in which a high-risk cluster area detected by the processing and analysis up to the previous stage is surrounded by a frame of a color matching the risk.
【００６８】クラスタ領域の表示は、特に上記の枠で囲
む方法に限るわけでは無く、対象領域の輝度やコントラ
ストを変化させても良いし、点滅表示させても良い。ま
た、クラスタではなく、個々の微小石灰化像に対しマー
クの表示を行うことも可能である。また、表示手段を、
ＣＲＴに限るものではなく、フィルムなどのハードコピ
ーに出力することも可能である。また、通常の***Ｘ線
写真の読影の際に、対応する領域を表示可能な表示装置
（ＣＲＴ等）をシャウカステン等の観察装置に併置し、
ＣＲＴ等の表示装置に危険度の高い領域を指示し、詳細
な読影はＸ線写真を用いて行う構成を取ることも可能で
ある。The display of the cluster region is not limited to the method of enclosing the cluster region in particular, and the brightness and contrast of the target region may be changed or may be displayed in blinking. It is also possible to display the mark for each microcalcification image instead of the cluster. In addition, display means,
The output is not limited to the CRT, but can be output to a hard copy such as a film. In addition, when a normal mammogram is read, a display device (CRT or the like) capable of displaying the corresponding region is placed side by side with an observation device such as Schaucasten.
It is also possible to design a high-risk area on a display device such as a CRT and perform a detailed image interpretation by using an X-ray photograph.
【００６９】更に、本システムの検出結果とは独立な読
影を行えるように、まず***Ｘ線画像のみを表示し、所
定の時間の後に、あるいは指示があった後に検出結果を
表示するようにすることも可能である。上記のように、
本システムによると、正常構造に起因する線状陰影や血
管影などの分離が容易に行なえ、***Ｘ線画像における
微小石灰化像を高精度に検出することができるので、か
かる検出結果を読影医に提示することで、***Ｘ線画像
に基づく乳癌の診断精度を向上させることができる。Further, only the X-ray image of the breast is first displayed so that the image interpretation independent of the detection result of this system can be performed, and the detection result is displayed after a predetermined time or after an instruction. It is also possible. As described above,
According to this system, it is possible to easily separate linear shadows and blood vessel shadows due to normal structures, and it is possible to detect a microcalcification image in a breast X-ray image with high accuracy. In this case, the accuracy of breast cancer diagnosis based on the breast X-ray image can be improved.
【００７０】尚、本システムでは、***Ｘ線画像におけ
る微小石灰化像の検出を行なわせる構成としたが、対象
とする画像を***Ｘ線画像に限定するものではなく、ま
た、微小石灰化像を所定パタンとする構成に限定するも
のでもない。Although the present system is configured to detect the microcalcification image in the breast X-ray image, the target image is not limited to the breast X-ray image, and the microcalcification image is not limited. Is not limited to the configuration having the predetermined pattern.
【００７１】[0071]
【発明の効果】以上説明したように、請求項１又は12記
載の発明によると、陰影の形状に合わせて濃度勾配の特
徴を求める画素が設定されることになるから、極めて淡
く形が不整な小さい候補陰影においても、濃度勾配の放
射状のベクトル分布を精度良く判別できることができ、
例えば***Ｘ線画像においては、微小石灰化像を偽陽性
と厳密に区別して精度良く検出することができるという
効果がある。As described above, according to the invention described in claim 1 or 12, the pixels for determining the characteristics of the density gradient are set in accordance with the shape of the shadow, so that the shape is extremely pale and irregular. Even with a small candidate shadow, it is possible to accurately determine the radial vector distribution of the density gradient,
For example, in a breast X-ray image, there is an effect that a microcalcification image can be accurately detected by being strictly distinguished from a false positive.
【００７２】請求項２又は13記載の発明によると、コン
トラストのばらつきがあっても正確に所定パタンの領域
を抽出させることができるという効果がある。請求項３
又は14記載の発明によると、候補として抽出された領域
が、所定のパタンの特徴に合致するか否かを判別するか
ら、例えば***Ｘ線画像における微小石灰化像の偽陽性
を除去して、偽陽性の検出を減少させることができると
いう効果がある。According to the invention as set forth in claim 2 or 13, there is an effect that a region of a predetermined pattern can be accurately extracted even if there is a variation in contrast. Claim 3
Or, according to the invention described in 14, since the region extracted as a candidate is determined whether or not it matches the characteristics of a predetermined pattern, for example, remove false positives of the microcalcification image in the breast X-ray image, This has the effect of reducing the detection of false positives.
【００７３】請求項４又は15記載の発明によると、例え
ば微小円形パタンを検出する場合には、候補として抽出
された領域の面積や円形度を特徴量として求めること
で、誤検出された領域を精度良く除くことができ、***
Ｘ線画像では微小石灰化像の偽陽性を精度良く除去でき
るという効果がある。請求項５又は16記載の発明による
と、所定のパタンに特有な画素値の特徴に基づいて、誤
検出された領域を精度良く除くことができ、***Ｘ線画
像では微小石灰化像の偽陽性を精度良く除去できるとい
う効果がある。According to the invention described in claim 4 or 15, for example, when detecting a minute circular pattern, the area or circularity of the area extracted as a candidate is obtained as a feature amount to detect the erroneously detected area. It is possible to remove with high accuracy, and it is possible to accurately remove false positives in the microcalcification image in the breast X-ray image. According to the invention of claim 5 or 16, erroneously detected regions can be accurately removed based on the characteristic of the pixel value peculiar to a predetermined pattern, and a false positive microcalcification image in a breast X-ray image. The effect is that it can be removed with high precision.
【００７４】請求項６又は17記載の発明によると、緩や
かな判別によってある程度候補を絞った上で、厳密なパ
タン判別を行なわせることができるから、パタン検出の
高精度化と処理時間の短縮化を図れるという効果があ
る。請求項７又は18記載の発明によると、円錐形構造の
ベクトルパタンを有する領域を、濃度勾配の方向が放射
状であるか否かに基づいて簡便に判別できるという効果
がある。According to the invention of claim 6 or 17, since it is possible to narrow down the candidates to some extent by gradual discrimination and then to perform strict pattern discrimination, the accuracy of pattern detection is improved and the processing time is shortened. There is an effect that can be achieved. According to the invention described in claim 7 or 18, there is an effect that the region having the vector pattern of the conical structure can be easily discriminated based on whether or not the direction of the concentration gradient is radial.
【００７５】請求項８又は19記載の発明によると、コン
トラストを均一化できるので、領域に因らずに画一的な
検出方法を用いることができ、以て、構成の単純化と処
理速度の向上を図れるという効果がある。請求項９又は
20記載の発明によると、２次元の多階調の画像データか
ら被写体領域を抽出することで、被写体内に含まれる所
定パタンを効率良く検出させることができるという効果
がある。According to the invention described in claim 8 or 19, since the contrast can be made uniform, a uniform detection method can be used irrespective of the area, which simplifies the configuration and reduces the processing speed. There is an effect that it can be improved. Claim 9 or
According to the invention described in 20, there is an effect that a predetermined pattern included in the subject can be efficiently detected by extracting the subject region from the two-dimensional multi-tone image data.
【００７６】請求項10又は21記載の発明によると、乳癌
の重要所見である微小石灰化像を精度良く自動検出させ
ることができ、以て、***Ｘ線画像に基づく乳癌の診断
精度を向上させることができるという効果がある。請求
項11又は22記載の発明によると、癌との相関が高いとさ
れる悪性石灰化像を良性のものと区別して判別できると
いう効果がある。According to the invention of claim 10 or 21, the microcalcification image, which is an important finding of breast cancer, can be detected automatically with high accuracy, and thus the accuracy of breast cancer diagnosis based on the breast X-ray image is improved. The effect is that you can. According to the invention of claim 11 or 22, there is an effect that a malignant calcification image that is highly correlated with cancer can be distinguished from a benign one.
【図１】実施形態におけるシステム構成の概略を示すブ
ロック図。FIG. 1 is a block diagram showing an outline of a system configuration according to an embodiment.
【図２】実施形態における処理内容を示すブロック図。FIG. 2 is a block diagram showing processing contents in the embodiment.
【図３】微小石灰化像の背景とコントラストとの相関を
示す線図。FIG. 3 is a diagram showing a correlation between the background of a microcalcification image and contrast.
【図４】コントラストの補正曲線を示す線図。FIG. 4 is a diagram showing a contrast correction curve.
【図５】固定リングフィルタと基本ベクトルパターンを
示す図。FIG. 5 is a diagram showing a fixed ring filter and a basic vector pattern.
【図６】可変リングフィルタと探索方向を示す図。FIG. 6 is a diagram showing a variable ring filter and a search direction.
【図７】微小石灰化像の信号特性を示す図であり、
（ａ）は画素値分布を示す線図、（ｂ）はベクトル強度
の変化を示す線図。FIG. 7 is a diagram showing signal characteristics of a microcalcification image,
(A) is a diagram showing a pixel value distribution, and (b) is a diagram showing a change in vector intensity.
【図８】可変リングフィルタの形状例を示す図であり、
（ａ）は形が不整な微小石灰像の場合、（ｂ）は乳腺組
織陰影の場合のフィルタ形状を示す図。FIG. 8 is a diagram showing an example of the shape of a variable ring filter,
(A) is a figure which shows a filter shape in the case of a microcalcium image with irregular shape, and (b) is a mammary gland tissue shadow.
Claims (22)
タンを検出する方法であって、 任意の画素から周辺画素へ放射状に広がる複数の探索方
向それぞれにおいて、濃度勾配のベクトル強度が極大と
なる画素を探索し、前記探索された複数画素それぞれで
の濃度勾配のベクトル強度、及び、前記探索された複数
画素それぞれでの濃度勾配のベクトル方向と前記探索方
向との角度の相違量から濃度勾配に関する特徴量を求
め、該特徴量に基づいて前記任意の画素が所定のパタン
に含まれるか否かを判別することを特徴とする２次元多
階調画像におけるパタン検出方法。1. A method for detecting a predetermined pattern from two-dimensional multi-gradation image data, wherein the density gradient vector intensity is maximized in each of a plurality of search directions radially extending from an arbitrary pixel to peripheral pixels. A pixel that becomes a density gradient vector intensity in each of the searched plural pixels, and a density from the difference amount of the angle between the vector direction of the density gradient in each of the searched plural pixels and the search direction. A pattern detection method in a two-dimensional multi-gradation image, characterized in that a feature amount related to a gradient is obtained and whether or not the arbitrary pixel is included in a predetermined pattern is determined based on the feature amount.
を求め、該代表値を閾値として前記多階調の画像データ
の２値化を行なうことにより画像領域を抽出することを
特徴とする請求項１記載の２次元多階調画像におけるパ
タン検出方法。2. An image area is extracted by obtaining a representative value of the pixel values of the searched plural pixels and binarizing the multi-tone image data using the representative value as a threshold value. The method for detecting a pattern in a two-dimensional multi-tone image according to claim 1.
該特徴量から前記抽出された画像領域が所定のパタンで
あるか否かを判別することを特徴とする請求項２記載の
２次元多階調画像におけるパタン検出方法。3. A feature quantity of the extracted image area is obtained,
The pattern detection method for a two-dimensional multi-tone image according to claim 2, wherein it is determined whether the extracted image region has a predetermined pattern based on the feature amount.
形状に関する特徴量であることを特徴とする請求項３記
載の２次元多階調画像におけるパタン検出方法。4. The pattern detection method for a two-dimensional multi-tone image according to claim 3, wherein the feature amount of the image region is a feature amount related to the shape of the image region.
の画素値に関する特徴量であることを特徴とする請求項
３記載の２次元多階調画像におけるパタン検出方法。5. The pattern detection method for a two-dimensional multi-tone image according to claim 3, wherein the feature amount of the image region is a feature amount relating to a pixel value in the image region.
画素を前記任意の画素として所定のパタンに含まれるか
否かを判別することを特徴とする請求項１〜５のいずれ
か１つに記載の２次元多階調画像におけるパタン検出方
法。6. The method according to claim 1, wherein a candidate pixel is searched in advance and it is determined whether or not the searched candidate pixel is included in a predetermined pattern as the arbitrary pixel. The method for detecting patterns in a two-dimensional multi-gradation image according to item 6.
の画素それぞれにおける濃度勾配のベクトル強度とベク
トル方向とを抽出し、前記濃度勾配のベクトル方向と前
記中心画素と当該画素とを結ぶ方向との角度の相違量を
前記複数の画素毎に求め、前記複数の画素毎の角度の相
違量とベクトル強度とから各同心円領域毎に濃度勾配に
関する特徴量を求め、前記特徴量に基づいて前記中心画
素を前記候補画素とするか否かを判別して、前記候補画
素の探索を行なうことを特徴とする請求項６記載の２次
元多階調画像におけるパタン検出方法。7. A direction in which the vector intensity of the density gradient and the vector direction of each of a plurality of pixels located concentrically around the center pixel are extracted, and the vector direction of the density gradient and the center pixel and the pixel are connected. Is calculated for each of the plurality of pixels, the amount of difference in angle between each of the plurality of pixels, and the vector intensity is calculated from the amount of difference in angle for each of the plurality of pixels. 7. The pattern detection method for a two-dimensional multi-tone image according to claim 6, wherein the candidate pixel is searched by determining whether or not a central pixel is set as the candidate pixel.
を低下させる前処理を、前記２次元の多階調の画像デー
タに施し、該前処理が施された画像データに基づいて濃
度勾配のベクトル強度及びベクトル方向を抽出すること
を特徴とする請求項１〜７のいずれか１つに記載の２次
元多階調画像におけるパタン検出方法。8. A two-dimensional multi-gradation image data is pre-processed to reduce the contrast at a rate inversely proportional to the background density, and a density gradient vector is obtained based on the pre-processed image data. The pattern detection method in a two-dimensional multi-tone image according to claim 1, wherein the intensity and the vector direction are extracted.
体領域を抽出し、抽出された前記被写体領域内で、画素
の探索を行なうことを特徴とする請求項１〜８のいずれ
か１つに記載の２次元多階調画像におけるパタン検出方
法。9. A subject area is extracted from the two-dimensional multi-gradation image data, and a pixel is searched for in the extracted subject area. The method for detecting patterns in a two-dimensional multi-gradation image according to item 6.
Ｘ線画像であり、前記所定のパタンが、微小石灰化像に
対応する微小円形パタンであることを特徴とする請求項
１〜９のいずれか１つに記載の２次元多階調画像におけ
るパタン検出方法。10. The two-dimensional multi-gradation image data is a breast X-ray image, and the predetermined pattern is a minute circular pattern corresponding to a minute calcification image. 10. A pattern detection method for a two-dimensional multi-tone image according to any one of 9 to 9.
画像から検出された複数の微小円形パタンの群に関し、
前記群に含まれる円形パタンの数、円形パタンの大きさ
の平均値、円形パタンの大きさの分散値、円形パタンの
円形度の平均値、円形パタン相互の距離の平均値のうち
の複数の項目に基づき、前記微小円形パタンの群が乳癌
か否かを判別することを特徴とする２次元多階調画像に
おけるパタン検出方法。11. A group of a plurality of minute circular patterns detected from a two-dimensional multi-tone image obtained by radiography of a breast,
The number of circular patterns included in the group, the average value of the size of the circular pattern, the variance value of the size of the circular pattern, the average value of the circularity of the circular pattern, the average value of the distance between the circular patterns A pattern detection method in a two-dimensional multi-gradation image, which comprises determining whether or not the group of minute circular patterns is breast cancer based on the item.
タンを検出する装置であって、 任意の画素から周辺画素へ放射状に広がる複数の探索方
向それぞれにおいて、濃度勾配のベクトル強度が極大と
なる画素を探索する濃度勾配探索手段と、 該濃度勾配探索手段で探索された複数画素それぞれでの
濃度勾配のベクトル強度、及び、前記探索された複数画
素それぞれでの濃度勾配のベクトル方向と前記探索方向
との角度の相違量から濃度勾配に関する特徴量を演算す
る濃度勾配特徴量演算手段と、 該濃度勾配特徴量演算手段で演算された特徴量に基づい
て前記任意の画素が所定のパタンに含まれるか否かを判
別する画素判別手段と、 を含んで構成されたことを特徴とする２次元多階調画像
におけるパタン検出装置。12. A device for detecting a predetermined pattern from image data of two-dimensional multi-gradation, wherein the vector intensity of a density gradient is maximum in each of a plurality of search directions radially extending from an arbitrary pixel to peripheral pixels. A density gradient searching means for searching for a pixel to be a vector, a vector strength of the density gradient in each of the plurality of pixels searched by the density gradient searching means, and a vector direction of the density gradient in each of the searched plurality of pixels, and A density gradient feature quantity computing means for computing a feature quantity relating to the density gradient from the amount of difference in angle with the search direction, and the arbitrary pixel is set to a predetermined pattern based on the feature quantity computed by the density gradient feature quantity computing means. A pattern detection device for a two-dimensional multi-gradation image, comprising: a pixel determination unit that determines whether or not it is included.
素の画素値の代表値を求め、該代表値を閾値として前記
多階調の画像データの２値化を行なうことにより画像領
域を抽出する画像領域抽出手段を設けたことを特徴とす
る請求項12記載の２次元多階調画像におけるパタン検出
装置。13. An image area is extracted by obtaining a representative value of pixel values of a plurality of pixels searched by the density gradient searching means, and binarizing the multi-tone image data using the representative value as a threshold value. 13. The pattern detecting apparatus for a two-dimensional multi-tone image according to claim 12, further comprising image area extracting means for performing the above.
域の特徴量を求め、該特徴量から前記抽出された画像領
域が所定のパタンであるか否かを判別するパタン判別手
段を設けたことを特徴とする請求項13記載の２次元多階
調画像におけるパタン検出装置。14. A pattern discriminating means for determining a characteristic amount of the image region extracted by the image region extracting means, and discriminating whether or not the extracted image region has a predetermined pattern from the characteristic amount is provided. 14. The pattern detection device for a two-dimensional multi-gradation image according to claim 13.
形状に関する特徴量であることを特徴とする請求項14記
載の２次元多階調画像におけるパタン検出装置。15. The pattern detection device for a two-dimensional multi-tone image according to claim 14, wherein the feature amount of the image region is a feature amount related to the shape of the image region.
の画素値に関する特徴量であることを特徴とする請求項
14記載の２次元多階調画像におけるパタン検出装置。16. The feature amount of the image area is a feature amount related to a pixel value in the image area.
14. A pattern detection device for a two-dimensional multi-tone image according to 14.
とすべき候補画素を予め探索する候補画素探索手段を設
けたことを特徴とする請求項12〜16のいずれか１つに記
載の２次元多階調画像におけるパタン検出装置。17. The two-dimensional structure according to claim 12, further comprising: a candidate pixel searching unit that searches in advance for a candidate pixel to be an arbitrary pixel in the density gradient searching unit. Pattern detection device for multi-tone images.
れにおける濃度勾配のベクトル強度とベクトル方向とを
抽出する濃度勾配抽出手段と、 前記抽出された濃度勾配のベクトル方向と前記中心画素
と当該画素とを結ぶ方向との角度の相違量を前記複数の
画素毎に求め、前記複数の画素毎の角度の相違量とベク
トル強度とから各同心円領域毎に濃度勾配に関する特徴
量を演算する特徴量演算手段と、 該特徴量演算手段で演算された特徴量に基づいて前記中
心画素を前記候補画素とするか否かを判別する候補画素
判別手段と、 を含んで構成されることを特徴とする請求項17記載の２
次元多階調画像におけるパタン検出装置。18. The density gradient extracting means for extracting the vector strength and the vector direction of the density gradient in each of a plurality of pixels concentrically located around the central pixel, the candidate pixel searching means, and the extracted density. The amount of difference in angle between the vector direction of the gradient and the direction connecting the central pixel and the pixel is obtained for each of the plurality of pixels, and the amount of difference in angle for each of the plurality of pixels and the vector intensity are calculated for each concentric area. A characteristic amount calculation means for calculating a characteristic amount relating to the density gradient; and a candidate pixel determination means for determining whether or not the central pixel is set as the candidate pixel based on the characteristic amount calculated by the characteristic amount calculation means. 18. The method according to claim 17, which is configured to include
Pattern detection device for 3D multi-tone images.
を低下させる前処理を、前記２次元の多階調の画像デー
タに施すコントラスト補正手段を設けたことを特徴とす
る請求項12〜18のいずれか１つに記載の２次元多階調画
像におけるパタン検出装置。19. The contrast correction means for performing pre-processing for reducing the contrast at a rate inversely proportional to the background density on the two-dimensional multi-tone image data is provided. The pattern detection device for a two-dimensional multi-tone image according to any one of claims.
体領域を抽出する被写体領域抽出手段を備え、前記画素
の探索を前記抽出された被写体領域内で行なわせること
を特徴とする請求項12〜19のいずれか１つに記載の２次
元多階調画像におけるパタン検出装置。20. A subject region extracting means for extracting a subject region from the two-dimensional multi-tone image data, wherein the pixel search is performed within the extracted subject region. The pattern detection device for a two-dimensional multi-tone image according to any one of 12 to 19.
Ｘ線画像であり、前記所定のパタンが、微小石灰化像に
対応する微小円形パタンであることを特徴とする請求項
12〜20のいずれか１つに記載の２次元多階調画像におけ
るパタン検出装置。21. The two-dimensional multi-gradation image data is a breast X-ray image, and the predetermined pattern is a minute circular pattern corresponding to a minute calcification image.
The pattern detection device for a two-dimensional multi-tone image according to any one of 12 to 20.
画像から検出された微小円形パタンの群に関し、前記群
に含まれる円形パタンの数、円形パタンの大きさの平均
値、円形パタンの大きさの分散値、円形パタンの円形度
の平均値、円形パタン相互の距離の平均値のうちの複数
の項目を特徴量として演算する特徴量演算手段と、 該特徴量演算手段で演算された特徴量に基づいて、前記
微小円形パタンの群が乳癌か否かを判別する乳癌判別手
段と、 を含んで構成されたことを特徴とする２次元多階調画像
におけるパタン検出装置。22. Regarding a group of minute circular patterns detected from a two-dimensional multi-tone image obtained by X-ray imaging of a breast, the number of circular patterns included in the group, and the average value of the size of the circular patterns. A characteristic amount calculating means for calculating a plurality of items among the dispersion value of the size of the circular pattern, the average value of the circularity of the circular patterns, and the average value of the distances between the circular patterns as the characteristic amount, and the characteristic amount calculating means. A pattern detecting apparatus for a two-dimensional multi-gradation image, comprising: breast cancer discriminating means for discriminating whether or not the group of minute circular patterns is breast cancer based on the characteristic amount calculated in .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05777796A JP3852125B2 (en) | 1996-03-14 | 1996-03-14 | Pattern detection method and apparatus for two-dimensional multi-tone image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05777796A JP3852125B2 (en) | 1996-03-14 | 1996-03-14 | Pattern detection method and apparatus for two-dimensional multi-tone image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09251535A true JPH09251535A (en) | 1997-09-22 |
| JP3852125B2 JP3852125B2 (en) | 2006-11-29 |
Family
ID=13065308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05777796A Expired - Lifetime JP3852125B2 (en) | 1996-03-14 | 1996-03-14 | Pattern detection method and apparatus for two-dimensional multi-tone image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3852125B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11272851A (en) * | 1998-03-25 | 1999-10-08 | Canon Inc | Digitized radiation image processing system |
| WO2002002002A1 (en) * | 2000-06-30 | 2002-01-10 | Hitachi Medical Corporation | Image diagnosis supporting device |
| JP2005037299A (en) * | 2003-07-17 | 2005-02-10 | Hamamatsu Photonics Kk | Composition uniformity evaluation method and composition uniformity evaluation device |
| JP2006252522A (en) * | 2005-02-09 | 2006-09-21 | Fuji Electric Systems Co Ltd | Tag for image identification, and image identification system |
| JP2006285312A (en) * | 2005-03-31 | 2006-10-19 | Hitachi Ltd | Image processing method and device |
| JP2007517610A (en) * | 2004-01-08 | 2007-07-05 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド | Medical image filtering system and method |
| JP2008092603A (en) * | 2007-12-12 | 2008-04-17 | Canon Inc | Radiation digital image processing system |
| US7499577B2 (en) | 2000-08-31 | 2009-03-03 | Fujifilm Corporation | Prospective abnormal shadow detecting system and method of and apparatus for judging whether prospective abnormal shadow is malignant or benignant |
| JP2009211626A (en) * | 2008-03-06 | 2009-09-17 | Toshiba Corp | Image processing device and method |
| JP2009535680A (en) * | 2006-04-28 | 2009-10-01 | トヨタ モーター ヨーロッパ ナムローゼ フェンノートシャップ | Robust interest point detector and descriptor |
| WO2012105141A1 (en) | 2011-02-01 | 2012-08-09 | オリンパスメディカルシステムズ株式会社 | Diagnosis assistance apparatus |
| KR101307162B1 (en) * | 2011-11-03 | 2013-09-11 | 인제대학교 산학협력단 | Computer Aided System and method for Breast Mass Detection and Analysis in Microwave Tomography |
| KR101439412B1 (en) * | 2010-11-22 | 2014-09-11 | 한국전자통신연구원 | Method of segmenting lesions in images |
| WO2023119904A1 (en) * | 2021-12-21 | 2023-06-29 | 富士フイルム株式会社 | Image processing device, image processing method, and image processing program |
-
1996
- 1996-03-14 JP JP05777796A patent/JP3852125B2/en not_active Expired - Lifetime
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11272851A (en) * | 1998-03-25 | 1999-10-08 | Canon Inc | Digitized radiation image processing system |
| WO2002002002A1 (en) * | 2000-06-30 | 2002-01-10 | Hitachi Medical Corporation | Image diagnosis supporting device |
| JP2002325761A (en) * | 2000-06-30 | 2002-11-12 | Hitachi Medical Corp | Image diagnosis supporting device |
| US7499577B2 (en) | 2000-08-31 | 2009-03-03 | Fujifilm Corporation | Prospective abnormal shadow detecting system and method of and apparatus for judging whether prospective abnormal shadow is malignant or benignant |
| JP2005037299A (en) * | 2003-07-17 | 2005-02-10 | Hamamatsu Photonics Kk | Composition uniformity evaluation method and composition uniformity evaluation device |
| JP2007517610A (en) * | 2004-01-08 | 2007-07-05 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッド | Medical image filtering system and method |
| JP2006252522A (en) * | 2005-02-09 | 2006-09-21 | Fuji Electric Systems Co Ltd | Tag for image identification, and image identification system |
| JP2006285312A (en) * | 2005-03-31 | 2006-10-19 | Hitachi Ltd | Image processing method and device |
| JP2009535680A (en) * | 2006-04-28 | 2009-10-01 | トヨタ モーター ヨーロッパ ナムローゼ フェンノートシャップ | Robust interest point detector and descriptor |
| US8165401B2 (en) | 2006-04-28 | 2012-04-24 | Toyota Motor Europe Nv | Robust interest point detector and descriptor |
| US8670619B2 (en) | 2006-04-28 | 2014-03-11 | Toyota Motor Europe Nv | Robust interest point detector and descriptor |
| KR101478840B1 (en) * | 2006-04-28 | 2015-01-02 | 도요타 모터 유럽 | Robust interest point detector and descriptor |
| JP2008092603A (en) * | 2007-12-12 | 2008-04-17 | Canon Inc | Radiation digital image processing system |
| JP2009211626A (en) * | 2008-03-06 | 2009-09-17 | Toshiba Corp | Image processing device and method |
| KR101439412B1 (en) * | 2010-11-22 | 2014-09-11 | 한국전자통신연구원 | Method of segmenting lesions in images |
| WO2012105141A1 (en) | 2011-02-01 | 2012-08-09 | オリンパスメディカルシステムズ株式会社 | Diagnosis assistance apparatus |
| US8682418B2 (en) | 2011-02-01 | 2014-03-25 | Olympus Medical Systems Corp. | Diagnosis supporting apparatus and control method of diagnosis supporting apparatus |
| KR101307162B1 (en) * | 2011-11-03 | 2013-09-11 | 인제대학교 산학협력단 | Computer Aided System and method for Breast Mass Detection and Analysis in Microwave Tomography |
| WO2023119904A1 (en) * | 2021-12-21 | 2023-06-29 | 富士フイルム株式会社 | Image processing device, image processing method, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3852125B2 (en) | 2006-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5133020A (en) | Automated method and system for the detection and classification of abnormal lesions and parenchymal distortions in digital medical images | |
| JP3121008B2 (en) | Inspection method of mammogram for mass and calcified part and apparatus for carrying out the method | |
| US4907156A (en) | Method and system for enhancement and detection of abnormal anatomic regions in a digital image | |
| US5832103A (en) | Automated method and system for improved computerized detection and classification of massess in mammograms | |
| US7903861B2 (en) | Method for classifying breast tissue density using computed image features | |
| EP1035508B1 (en) | Automated method and system for the segmentation of medical images | |
| EP0757544B1 (en) | Computerized detection of masses and parenchymal distortions | |
| EP0811205B1 (en) | System and method for diagnosis of living tissue diseases | |
| US7646902B2 (en) | Computerized detection of breast cancer on digital tomosynthesis mammograms | |
| US6738500B2 (en) | Method and system for detecting small structures in images | |
| US8086002B2 (en) | Algorithms for selecting mass density candidates from digital mammograms | |
| US20110026791A1 (en) | Systems, computer-readable media, and methods for classifying and displaying breast density | |
| JPH06121792A (en) | Method for analyzing misdiagnosis on ordinary example in automatic detection of lung micronodulation in digital thoracic x-ray photographand its system | |
| US5574799A (en) | Method and system for automated detection of microcalcification clusters in mammograms | |
| JP3852125B2 (en) | Pattern detection method and apparatus for two-dimensional multi-tone image | |
| US20140140629A1 (en) | Methods for processing target pattern, method for generating classification system of target patterns and method for classifying detected target patterns | |
| JP4099984B2 (en) | Abnormal shadow detection apparatus and image output apparatus | |
| JP2004254742A (en) | Medical image processor and method of judging malignancy | |
| JP2002099896A (en) | Abnormal shadow candidate detecting method and apparatus | |
| JP2004041490A (en) | Diagnostic imaging support system | |
| JP2005065856A (en) | Abnormal shadow detection method, device and program | |
| JP2003275196A (en) | Method and apparatus for processing medical image | |
| Shahin et al. | Breast cancer detection using modified Hough transform | |
| JPH1119077A (en) | Method and device for detection of tumor shadow in radiation image | |
| JPH02152443A (en) | Automatic detecting and display method,system and device for anatomically abnormal portion in digital x-ray image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050801 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060828 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |