JP2961437B2 - Image output method - Google Patents

Image output method

Info

Publication number
JP2961437B2
JP2961437B2 JP2250886A JP25088690A JP2961437B2 JP 2961437 B2 JP2961437 B2 JP 2961437B2 JP 2250886 A JP2250886 A JP 2250886A JP 25088690 A JP25088690 A JP 25088690A JP 2961437 B2 JP2961437 B2 JP 2961437B2
Authority
JP
Japan
Prior art keywords
image
shadow
ray
tumor
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2250886A
Other languages
Japanese (ja)
Other versions
JPH04129538A (en
Inventor
一男 志村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2250886A priority Critical patent/JP2961437B2/en
Publication of JPH04129538A publication Critical patent/JPH04129538A/en
Application granted granted Critical
Publication of JP2961437B2 publication Critical patent/JP2961437B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 (産業上の利用分野) 本発明は、被写体の放射線画像を表わす画像データに
基づいて正常の被写体の放射線画像には現われない異常
陰影を検出するとともに前記画像データに基づく再生画
像等を出力する画像出力方法に関するものである。
DETAILED DESCRIPTION OF THE INVENTION (Industrial application field) The present invention detects an abnormal shadow which does not appear in a normal radiation image of a subject based on image data representing the radiation image of the subject, and also detects the abnormal shadow based on the image data. The present invention relates to an image output method for outputting a reproduced image or the like.

(従来の技術) 記録された放射線画像を読み取って画像データを得、
この画像データに適切な画像処理を施した後、画像を再
生記録することは種々の分野で行なわれている。たとえ
ば、後の画像処理に適合するように設計されたガンマ値
の低いX線フイルムを用いてX線画像を記録し、このX
線画像が記録されたフイルムからX線画像を読み取って
電気信号(画像データ)に変換し、この画像データに画
像処理を施した後コピー写真等に可視像として再生する
ことにより、コントラスト,シャープネス,粒状性等の
画質性能の良好な再生画像を得ることが行なわれている
(特公昭61−5193号公報参照)。
(Prior art) Reading a recorded radiation image to obtain image data,
After performing appropriate image processing on the image data, reproduction and recording of the image are performed in various fields. For example, an X-ray image is recorded using an X-ray film having a low gamma value designed to be compatible with later image processing, and this X-ray image is recorded.
An X-ray image is read from a film on which a line image is recorded, converted into an electric signal (image data), subjected to image processing, and then reproduced as a visible image in a copy photograph or the like, thereby providing contrast and sharpness. It has been practiced to obtain a reproduced image having good image quality performance such as graininess and the like (see Japanese Patent Publication No. 61-5193).

また本願出願人により、放射線(X線,α線,β線,
γ線,電子線,紫外線等)を照射するとこの放射線エネ
ルギーの一部が蓄積され、その後可視光等の励起光を照
射すると蓄積されたエネルギーに応じて輝尽発光を示す
蓄積性蛍光体(輝尽性蛍光体)を利用して、人体等の被
写体の放射線画像情報をシート状の蓄積性蛍光体に一旦
記録し、この蓄積性蛍光体シートをレーザー光等の励起
光で走査して輝尽発光光を生ぜしめ、得られた輝尽発光
光を光電的に読み取って画像データを得、この画像デー
タに基づき被写体の放射線画像を写真感光材料等の記録
材料、CRT等に可視像として出力させる放射線画像記録
再生システムがすでに提案されている(特開昭55−1242
9号,同56−11395号,同55−163472号,同56−104645
号,同55−116340号等)。
In addition, the applicant (X-ray, α-ray, β-ray,
Irradiation with γ-rays, electron beams, ultraviolet rays, etc. accumulates part of this radiation energy, and then irradiation with excitation light, such as visible light, causes a stimulable phosphor (stimulable phosphor) that emits stimulated emission according to the accumulated energy. Radiation image information of a subject such as a human body is temporarily recorded in a sheet-shaped stimulable phosphor using a stimulable phosphor, and the stimulable phosphor sheet is scanned with excitation light such as laser light to radiate the light. Generates luminescent light, obtains image data by photoelectrically reading the resulting stimulating luminescent light, and outputs a radiation image of the subject as a visible image to a recording material such as a photographic photosensitive material or a CRT based on this image data. A radiation image recording / reproducing system for causing the radiation image to be reproduced has already been proposed (Japanese Patent Laid-Open No. 55-1242).
No. 9, 56-11395, 55-163472, 56-104645
No. 55-116340, etc.).

このシステムは、従来の銀塩写真を用いる放射線写真
システムと比較して極めて広い放射線露出域にわたって
画像を記録しうるという実用的な利点を有している。す
なわち、蓄積性蛍光体においては、放射線露光量に対し
て蓄積後に励起によって輝尽発光する発光光の光量が極
めて広い範囲にわたって比例することが認められてお
り、従って種々の撮影条件により放射線露光量がかなり
大幅に変動しても、蓄積性蛍光体シートより放射される
輝尽発光光の光量を読取ゲインを適当な値に設定して光
電変換手段により読み取って電気信号に変換し、この電
気信号を用いて写真感光材料等の記録材料、CRT等の表
示装置に放射線画像を可視像として出力させることによ
って、放射線露光量の変動に影響されない放射線画像を
得ることができる。
This system has the practical advantage of being able to record images over a very large radiation exposure area compared to conventional radiographic systems using silver halide photography. That is, in the case of the stimulable phosphor, it has been recognized that the amount of emitted light that is stimulated by excitation after accumulation is proportional to the radiation exposure amount over an extremely wide range. Even if fluctuates considerably, the amount of the stimulating light emitted from the stimulable phosphor sheet is read by the photoelectric conversion means with the reading gain set to an appropriate value and converted into an electric signal. By outputting a radiation image as a visible image on a recording material such as a photographic light-sensitive material or a display device such as a CRT using, a radiation image which is not affected by a change in radiation exposure can be obtained.

上記X線フィルムや蓄積性蛍光体シート等を用いたシ
ステム、特に人体の医療診断用として構成されたシステ
ムにおいて、近年、単に観察(診断)に適した良好な画
質性能を備えた再生画像を得ることに加えて、画像の自
動認識が行なわれてきている(たとえば特開昭62−1254
81号,特願平1−162904号,同1−162905号,同1−16
2909号公報参照)。
In recent years, in a system using the X-ray film or the stimulable phosphor sheet or the like, particularly a system configured for medical diagnosis of a human body, a reproduced image having good image quality suitable only for observation (diagnosis) is obtained. In addition, automatic recognition of images has been performed (for example, see Japanese Patent Application Laid-Open No. Sho 62-1254).
No. 81, Japanese Patent Application No. 1-162904, No. 1-162905, No. 1-16
No. 2909).

ここで画像の自動認識とは、画像データに種々の処理
を施すことにより、複雑な放射線画像から目的とするパ
ターンを抽出する操作をいい、たとえば人体の胸部X線
画像のような種々の線状,円形状のパターンの入り混じ
った非常に複雑な画像から、たとえば腫瘍に対応する陰
影を抽出する操作等をいう。
Here, automatic image recognition refers to an operation of extracting a target pattern from a complex radiation image by performing various processes on image data. For example, various linear shapes such as a chest X-ray image of a human body are used. , For example, an operation of extracting a shadow corresponding to a tumor from a very complicated image mixed with a circular pattern.

このように複雑な放射線画像(たとえば人体の胸部X
線画像)において目的とするパターン(たとえば腫瘍
影)を抽出し、その抽出したパターンを明示した可視画
像を再生表示することにより、観察者の観察の補助(た
とえば医師の診断の補助)を行なわせることができる。
Such a complicated radiographic image (for example, the chest X of the human body)
A target pattern (for example, tumor shadow) is extracted from the line image), and a visible image in which the extracted pattern is specified is reproduced and displayed, thereby assisting an observer in observation (for example, assisting a doctor in diagnosis). be able to.

(発明が解決しようとする課題) ところで例えば人体のX線画像から腫瘍影等の異常陰
影を認識してその認識された異常陰影を出力するシステ
ムにおいて、同一被写体(同一患者の同一部位)の過去
と現在のX線画像を比較して異常陰影にどのような変化
(例えば病変)があったかを知ることが必要となる場合
がある。このような場合各X線画像を表示する際に認識
された異常陰影を該各X線画像上に明示し、過去と現在
の2枚のX線画像上に明示された異常陰影を医師等が見
比べてその変化を判断することが一般的であった。
(Problems to be Solved by the Invention) In a system for recognizing an abnormal shadow such as a tumor shadow from an X-ray image of a human body and outputting the recognized abnormal shadow, for example, the past of the same subject (the same part of the same patient) is used. It may be necessary to know what change (for example, a lesion) has occurred in the abnormal shadow by comparing the current X-ray image with the current X-ray image. In such a case, the abnormal shadow recognized when each X-ray image is displayed is clearly indicated on each X-ray image, and the doctor and the like indicate the abnormal shadow specified on the past and present two X-ray images. It was common to judge the change by comparison.

また、この比較観察を助けるために2枚のX線画像の
差に対応する差分画像を生成し、その差分画像に基づい
て2枚のX線画像の相違を抽出する方法が考えられてい
る。しかしこの方法では撮影の際の被写体のわずかな位
置ずれ等により2枚のX線画像の位置合わせがうまくい
かず、したがって2枚のX線画像の相違点をうまく抽出
することができず、実用的ではないという問題点があ
る。
Further, a method of generating a difference image corresponding to a difference between two X-ray images and extracting a difference between the two X-ray images based on the difference image has been considered to assist the comparative observation. However, in this method, the positioning of the two X-ray images does not work well due to a slight positional shift of the subject at the time of photographing, and therefore, the difference between the two X-ray images cannot be extracted well. There is a problem that it is not a target.

本発明は、上記事情に鑑み、過去と現在,もしくは過
去の2つの時点における同一被写体の放射線画像に表わ
れた異常陰影の変化を容易にとらえることのできる画像
出力方法を提供することを目的とするものである。
The present invention has been made in view of the above circumstances, and has as its object to provide an image output method that can easily detect a change in an abnormal shadow appearing in a radiation image of the same subject at the past and present or at two past times. Is what you do.

(課題を解決するための手段) 上記目的を達成するための本発明の画像出力方法は、 経時的に撮影された同一被写体の複数の放射線画像の
それぞれを表わす複数の画像データを有し、異常陰影抽
出フィルタを用いて前記複数の画像データをそれぞれ走
査することにより、前記複数の放射線画像に現われる異
常陰影に関する位置、大きさ等の情報を検出し、 経時的に先に撮影された放射線画像に現われた異常陰
影の情報と経時的に後に撮影された放射線画像に現われ
た異常陰影の情報との相違を自動的に認識し、 前記複数の画像データのいずれかに基づく再生画像と
共に前記相違を表わす情報を出力することを特徴とする
ものである。
(Means for Solving the Problems) An image output method according to the present invention for achieving the above object has a plurality of image data representing a plurality of radiographic images of the same subject taken over time, and includes Each of the plurality of image data is scanned using a shadow extraction filter, thereby detecting information such as a position and a size related to an abnormal shadow appearing in the plurality of radiation images. Automatically recognizes the difference between the information of the abnormal shadow that has appeared and the information of the abnormal shadow that has appeared in the radiographic image captured later with time, and represents the difference together with the reproduced image based on any of the plurality of image data. It is characterized by outputting information.

ここで前記複数の放射線画像に現われる異常陰影の検
出は該複数の放射線画像について同時に行なう必要はな
く、各放射線画像が得られた各時点で行なってもよいも
のである。
Here, the detection of abnormal shadows appearing in the plurality of radiation images does not need to be performed simultaneously for the plurality of radiation images, but may be performed at each time when each radiation image is obtained.

また本発明では「前記画像データに基づく再生画像」
および「前記相違を表わす情報」は、これらを例えばCR
Tディスプレイ等のように表示画面上に表示する装置を
用いて表示してもよく、又はこれらを例えばレーザプリ
ンタのようにフイルム,紙等の上に出力する装置を用い
てもよい。
Further, in the present invention, “a reproduced image based on the image data”
And "the information indicating the difference" are, for example, CR
The display may be performed using a device that displays on a display screen such as a T display, or a device that outputs these on a film or paper, such as a laser printer, may be used.

(作用) 本発明の画像出力方法は、従来考えられていたような
2枚の画像の差に対応する差分画像を求める方法と異な
り、先ず各放射線画像について異常陰影を検出した後、
例えば複数の放射線画像上の互いに近似した位置にある
異常陰影どうしの大きさや検出された異常陰影が真に異
常陰影である蓋然性等の相違を認識するようにしたた
め、複数の放射線画像の大まかな位置さえ合っていれば
よく、これら複数の放射線画像の厳密な位置合わせは不
要となり、この認識された相違を表わす情報を表示する
ことにより異常陰影の変化を容易に捉えることができる
こととなる。
(Operation) The image output method of the present invention differs from the method of finding a difference image corresponding to the difference between two images as conventionally considered, in which an abnormal shadow is first detected for each radiation image.
For example, to recognize differences in the size of abnormal shadows located at positions close to each other on a plurality of radiation images and the probability that a detected abnormal shadow is truly an abnormal shadow, etc. As long as they match, it is not necessary to strictly align the plurality of radiographic images, and by displaying information indicating the recognized difference, it is possible to easily detect a change in the abnormal shadow.

(実 施 例) 以下、図面を参照して本発明の実施例について説明す
る。
(Example) Hereinafter, an example of the present invention will be described with reference to the drawings.

第1図は、X線画像読取装置,本発明の画像出力方法
の例を用いたコンピュータシステム,および画像記憶装
置の一例を表わした斜視図である。
FIG. 1 is a perspective view showing an example of an X-ray image reading device, a computer system using an example of an image output method of the present invention, and an image storage device.

尚、ここでは前述した蓄積性蛍光体シートを用い、人
体の肺内に典型的には略球形として生じる腫瘍の陰影を
異常陰影として検出する例について説明する。この腫瘍
は画像データに基づいて再生された可視画像上では周囲
と比べ白っぽい(濃度が低い)略円形のパターンとして
現われる。
Here, an example will be described in which the above-described stimulable phosphor sheet is used to detect, as an abnormal shadow, a tumor shadow that typically occurs in the lungs of a human body as a substantially spherical shape. This tumor appears on the visible image reproduced based on the image data as an almost circular pattern that is whitish (has a lower density) than the surroundings.

図示しないX線撮影装置において人体の胸部のX線画
像が蓄積性蛍光体シートに蓄積記録された後、該蓄積性
蛍光体シート14がX線画像読取装置20の所定位置にセッ
トされる。
After the X-ray image of the chest of the human body is accumulated and recorded on the stimulable phosphor sheet in an X-ray imaging device (not shown), the stimulable phosphor sheet 14 is set at a predetermined position of the X-ray image reading device 20.

この所定位置にセットされた蓄積性蛍光体シート14
は、モータ21により駆動されるエンドレスベルト等のシ
ート搬送手段22により、矢印Y方向に搬送(副走査)さ
れる。一方、レーザー光源23から発せられた光ビーム24
はモータ25により駆動され矢印方向に高速回転する回転
多面鏡26によって反射偏向され、fθレンズ等の集束レ
ンズ27を通過した後、ミラー28により光路を変えて前記
シート5に入射し副走査の方向(矢印Y方向)と略垂直
な矢印X方向に主走査する。蓄積性蛍光体シート14の光
ビーム24が照射された箇所からは、蓄積記録されている
X線画像情報に応じた光量の輝尽発光光29が発散され、
この輝尽発光光29は光ガイド30によって導かれ、フォト
マルチプライヤ(光電子増倍管)31によって光電的に検
出される。上記光ガイド30はアクリル板等の導光性材料
を成形して作られたものであり、直線状をなす入射端面
30aが主走査線に沿って延びるように配され、円環状に
形成された射出端面30bにはフォトマルチプライヤ31の
受光面が結合されている。入射端面30aから光ガイド30
内に入射した輝尽発光光29は、該光ガイド30の内部を全
反射を繰り返して進み、射出端面30bから射出してフォ
トマルチプライヤ31に受光され、X線画像を表わす輝尽
発光光29がフォトマルチプライヤ31によって電気信号に
変換される。
The stimulable phosphor sheet 14 set at this predetermined position
Is transported (sub-scanning) in the direction of arrow Y by sheet transporting means 22 such as an endless belt driven by a motor 21. On the other hand, the light beam 24 emitted from the laser light source 23
Is reflected and deflected by a rotating polygonal mirror 26 driven by a motor 25 and rotated at a high speed in the direction of the arrow. After passing through a converging lens 27 such as an fθ lens, the optical path is changed by a mirror 28 to be incident on the sheet 5 and the sub-scanning direction The main scanning is performed in an arrow X direction substantially perpendicular to the arrow Y direction. From the portion of the stimulable phosphor sheet 14 where the light beam 24 is irradiated, stimulated emission light 29 of a light amount corresponding to the accumulated and recorded X-ray image information is diverged,
The stimulated emission light 29 is guided by a light guide 30 and is photoelectrically detected by a photomultiplier (photomultiplier tube) 31. The light guide 30 is formed by molding a light guide material such as an acrylic plate, and has a linear incident end face.
The light receiving surface of the photomultiplier 31 is coupled to the emission end face 30b formed so as to extend along the main scanning line. Light guide 30 from entrance end face 30a
The stimulated emission light 29 incident on the inside of the light guide 30 travels through the interior of the light guide 30 by repeating total reflection, exits from the exit end face 30b, is received by the photomultiplier 31, and is represented by an X-ray image. Is converted into an electric signal by the photomultiplier 31.

フォトマルチプライヤ31から出力されたアナログ出力
信号SAは対数増幅器32で対数的に増幅され、A/D変換器3
3でディジタル化され、電気信号としての画像データSD
が得られる。
The analog output signal S A output from the photomultiplier 31 is logarithmically amplified by a logarithmic amplifier 32, and the A / D converter 3
Image data S D digitized in 3 and as an electric signal
Is obtained.

このようにして得られた画像データSDは、本発明の画
像出力方法の一例が用いられたコンピュータシステム40
に入力される。このコンピュータシステム40はCPU,内部
メモリ等が内蔵された本体部41,補助メモリとしてのフ
ロッピィディスクが挿入され駆動されるドライブ部42,
オペレータがこのコンピュータシステム40に必要な指示
等を入力するためのキーボード43,X線画像および必要な
情報を表示するためのCRTディスプレイ44から構成され
ている。
The image data SD obtained in this manner is used in a computer system 40 using an example of the image output method of the present invention.
Is input to The computer system 40 includes a main unit 41 having a CPU, an internal memory, etc., a drive unit 42 into which a floppy disk as an auxiliary memory is inserted and driven,
The computer system 40 includes a keyboard 43 for inputting necessary instructions and the like to the computer system 40, an X-ray image and a CRT display 44 for displaying necessary information.

上記X線画像の読取りと相前後してこのコンピュータ
システム40に備えられたキーボード43からはこのX線画
像の被写体を特定するID情報、即ち氏名,性別,撮影部
位等が入力され、この入力されたID情報により読取りの
行なわれる又は読取りの行なわれたX線画像が特定され
る。
Immediately before and after the reading of the X-ray image, ID information for specifying the subject of the X-ray image, that is, name, gender, imaging part, and the like are input from a keyboard 43 provided in the computer system 40, and are input. The read-out or read-out X-ray image is specified by the ID information.

画像データSDが、このコンピュータシステム40に入力
されると、このコンピュータシステム40内では、画像デ
ータSDに基づいて一例として以下に示すような演算が実
行され、これにより画像データSDが担持するX線画像に
現われた腫瘍影が抽出される。ここでこの腫瘍影抽出の
一例について説明する。
When the image data SD is input to the computer system 40, the computer system 40 executes, for example, the following calculation based on the image data SD , thereby carrying the image data SD. The tumor shadow appearing in the X-ray image to be extracted is extracted. Here, an example of this tumor shadow extraction will be described.

第2図は、腫瘍影を抽出する実空間フィルタの例を説
明するために、X線画像上の所定の画素POを中心に該X
線画像上に仮想的に描いた図である。ここでは所定の画
素POが腫瘍影内の画素である場合に値の大きな特性値C
を得るような演算が行なわれ、この演算をX線画像の各
画素について順次行なう、即ちここで示すようなフィル
タを用いてX線画像上を走査することにより、該X線画
像に現われる腫瘍影が求められる。尚、ここで説明する
フィルタは、前述した特願平1−162904号に記載された
フィルタである。
FIG. 2, for explaining an example of a real space filter for extracting tumor shadow, said around a predetermined pixel P O on the X-ray image X
It is the figure drawn virtually on the line image. Here, when the predetermined pixel P O is a pixel in the tumor shadow, a large characteristic value C
Is performed for each pixel of the X-ray image, that is, by scanning the X-ray image using a filter as shown here, the tumor shadow appearing in the X-ray image is obtained. Is required. The filter described here is the filter described in the aforementioned Japanese Patent Application No. 1-162904.

第3図は、上記所定の画素P0を中心とした、第2図の
線分L1とL5の延びる方向(x方向)のX線画像のプロフ
ァイルの一例を示した図である。ここでは所定の画素P0
は、濃度勾配(画像データSDの値の変化)の存在する位
置にあるものとする。腫瘍影57は典型的にはほぼ左右対
称のプロファイルとして現われるが、この例のように腫
瘍影57が濃度勾配の存在する位置にある場合等には、X
線画像上において左右対称とはならない場合もある。こ
のような場合にもこの腫瘍影57を抽出できることが重要
である。尚第3図の破線58は腫瘍がない場合のプロファ
イルの一例である。
Figure 3 is centered on the given pixel P 0, which is a diagram showing an example of a profile of the X-ray image of the second view of the line segment L 1 and L 5 of extending direction (x-direction). Here, the predetermined pixel P 0
Is located at a position where a density gradient (a change in the value of the image data SD ) exists. The tumor shadow 57 typically appears as a substantially symmetrical profile, but when the tumor shadow 57 is located at a position where a concentration gradient exists as in this example, X
In some cases, the line image is not symmetrical. In such a case, it is important that the tumor shadow 57 can be extracted. Note that a broken line 58 in FIG. 3 is an example of a profile when there is no tumor.

第2図に示すように、X線画像内の所定の画素P0から
該X線画像の周囲に延びる複数(ここでは8本)の線分
Li(i=1,2,……,8)を想定し、さらに所定の画素P0
中心とした、それぞれ半径r1,r2,r3の円Rj(j=1,2,
3)を想定する。所定の画素P0の画像データをf0とし、
各線分Liと各円Rjとの各交点に位置する各画素Pij(第
2図にはP11,P12,P13,P51,P52,P53について記号を示し
てある。)の画像データをfijとする。
As shown in FIG. 2, a plurality of (eight in this case) line segments extending from a predetermined pixel P 0 in the X-ray image to the periphery of the X-ray image
Assuming L i (i = 1, 2,..., 8), circles R j (j = 1, 2, and 3 ) having radii r 1 , r 2 , and r 3 centered on a predetermined pixel P 0 , respectively.
Assume 3). The image data of the predetermined pixel P 0 is f 0 ,
Each pixel P ij located at each intersection of each line segment Li and each circle R j (in FIG. 2, symbols are shown for P 11 , P 12 , P 13 , P 51 , P 52 , and P 53 . It is assumed that the image data of ()) is f ij .

ここで、所定の画素P0の画像データf0と各画素Pij
画像データfijとの差分Δijが下記(1)式に従って求
められる。
Here, the difference delta ij between the image data f 0 of a given pixel P 0 and the image data f ij of each pixel P ij is calculated according to the following equation (1).

Δij=fij−f0 …(1) (i=1,2,……,8;j=1,2,3) 次に各線分Li毎に、(1)式で求められた差分Δij
最大値が求められる。即ち、線分L1,L5について例を示
すと、線分L1については、画素P11,P12,P13に対応する
各差分 Δ11=f11−f0 Δ12=f12−f0 Δ13=f13−f0 のうちの最大値が求められる。この例では、第6図に示
すようにΔ13<Δ12<Δ11<0であり、したがってΔ11
が最大値となる。
Δ ij = f ij -f 0 ... (1) (i = 1,2, ......, 8; j = 1,2,3) then for each line segment L i, the difference obtained in (1) The maximum value of Δij is obtained. That is, when an example line segments L 1, L 5, for the line segment L 1, pixel P 11, P 12, P each difference corresponding to 13 Δ 11 = f 11 -f 0 Δ 12 = f 12 - The maximum value of f 0 Δ 13 = f 13 −f 0 is obtained. In this example, the Δ 13 <Δ 12 <Δ 11 <0 as shown in FIG. 6, thus delta 11
Is the maximum value.

ここでは、典型的には中央の画像データがその周囲の
画像データよりも小さい値を有する円形パターン(腫瘍
影)を求めるものであるのに対し、線分L1についてはΔ
131211とも負であり、したがって形式的に求めた
最大値Δ11は有効な最大値ではなく、したがってここで
は0.0が線分L1に関する各差分Δ111213の最大値
に代わる値とされる。ただし、上記のようにして形式的
に求めた最大値をそのまま用いてもよい。
Here, with respect to typically the one in which obtaining a circular pattern (a tumor shadow) having a value smaller than the center of the image data is image data of surrounding, for the line segment L 1 delta
13 , Δ 12 , and Δ 11 are both negative, and thus the formally determined maximum value Δ 11 is not a valid maximum value, and therefore, here, 0.0 is the difference Δ 11 , Δ 12 , Δ 13 for the line segment L 1. Is the value that replaces the maximum value of However, the maximum value obtained formally as described above may be used as it is.

また線分L5については画素P51,P52,P53に対応する各
差分 Δ51=f51−f0 Δ52=f52−f0 Δ53=f53−f0 のうちの最大値Δ53が求められる。
The maximum value of the pixel P 51, P 52, P 53 each difference corresponding to Δ 51 = f 51 -f 0 Δ 52 = f 52 -f 0 Δ 53 = f 53 -f 0 for line L 5 Δ 53 is required.

このように各線分Li毎に所定の画素P0と複数の画素P
ijとの差分Δijの最大値を求め、この求められた最大値
が有効な最大値である場合にはその最大値を用い、有効
な最大値でない場合は、0.0を最大値に代わる値として
用いる(以下これをも含め最大値と呼ぶ) 次に、所定の画素P0から互いに反対方向に延びる2本
の線分をひと組として、即ち線分L1と線分L5、線分L2
線分L6、線分L3と線分L7、および線分L4と線分L8のそれ
ぞれをひと組として、各組毎に2つの最大値の平均値
(それぞれM15,M26,M37,M48)が求められる。線分L1
線分L5との組については、その平均値M15は、 として求められる。
The line segments L i for each predetermined pixel P 0 as a plurality of pixels P
the maximum value of the difference delta ij with ij, the use of the maximum value when the maximum value this that the obtained is a valid maximum values, if not a valid maximum value, as a value in place of the maximum value of 0.0 used (hereinafter this is referred to as the maximum including a) Next, as human sets of two line segments extending in opposite directions from a given pixel P 0, i.e. the line segment L 1 and the line segment L 5, a line segment L 2 and the line segment L 6 , the line segment L 3 and the line segment L 7 , and the line segment L 4 and the line segment L 8 as a set, and the average value of the two maximum values (M 15 , M 26 , M 37 , M 48 ) are required. The set of the segment L 1 and the line segment L 5, the average value M 15 is Is required.

このように所定の画素P0から互いに反対方向に延びる
2本の線分をひと組として取り扱うことにより、第3図
に示すように腫瘍影7が濃度勾配のある位置にあってそ
の画像データの分布が非対称となっていても腫瘍影を確
実に検出することができる。
By handling this way the two line segments extending in opposite directions from a given pixel P 0 as human group, tumor shadow 7 as shown in Figure 3 is the image data in a position with a gradient Even if the distribution is asymmetric, the tumor shadow can be reliably detected.

上記のようにして平均値M15,M26,M37,M48が求められ
ると、これらの平均値M15,M26,M37,M48に基づいて、以
下のようにして、所定の画素P0に対応する特性値が求め
られる。これらの平均値M15,M26,M37,M48に基づく特性
値の求め方特定の方法に限定されるものではないが、た
とえば以下の方法が採用される。
If the average value M 15, M 26, M 37 , M 48 as described above is determined, on the basis of these average values M 15, M 26, M 37 , M 48 , as described below, predetermined characteristic value corresponding to a pixel P 0 is calculated. The method of obtaining characteristic values based on these average values M 15 , M 26 , M 37 , and M 48 is not limited to a specific method, but, for example, the following method is employed.

第4図は、特性値の求め方の一例を説明するための図
である。横軸は上記のようにして求めた平均値M15,M26,
M37,M48、縦軸はこれら平均値M15,M26,M37,M48に対応す
る各評価値C15,C26,C37,C48である。
FIG. 4 is a diagram for explaining an example of a method of obtaining a characteristic value. The horizontal axis represents the average values M 15 , M 26 ,
M 37 and M 48 , and the vertical axis represents the evaluation values C 15 , C 26 , C 37 and C 48 corresponding to these average values M 15 , M 26 , M 37 and M 48 .

平均値M15,M26,M37,M48がある値M1より小さい場合評
価値は零、ある値M2より大きい場合評価値は1.0、M1〜M
2の中間では、その値の大きさに応じて0.0〜1.0の間の
値が評価値となる。このようにして、各平均値M15,M26,
M37,M48にそれぞれ対応する評価値C15,C26,C37,C48が求
められ、これらの評価値C15,C26,C37,C48の和 C=C15+C26+C37+C48 …(3) が特性値とされる。即ち、この特性値Cは最小値0.0と
最大値4.0との間のいずれかの値を有する本実施例では
この特性値を所定のしきい値Th1と比較し、C≧Th1であ
るか、C<Th1であるかにより、所定の画素P0がそれぞ
れ腫瘍影内の画素であるか否かを判定される。
If the average value M 15 , M 26 , M 37 , M 48 is smaller than a certain value M 1, the evaluation value is zero, and if it is larger than a certain value M 2, the evaluation value is 1.0, M 1 to M 1
In the middle of 2, the evaluation value is a value between 0.0 and 1.0 depending on the magnitude of the value. In this way, the average values M 15 , M 26 ,
Evaluation values C 15 , C 26 , C 37 , and C 48 corresponding to M 37 and M 48 are obtained, and the sum of these evaluation values C 15 , C 26 , C 37 , and C 48 is C = C 15 + C 26 + C 37 + C48 ... (3) is the characteristic value. That is, the characteristic value C has any value between the minimum value 0.0 and the maximum value 4.0. In the present embodiment, the characteristic value C is compared with a predetermined threshold value Th1 to determine whether C ≧ Th1. <by either a Th1, a given pixel P 0 it is determined whether the pixel of each tumor Kagenai.

上記各評価値C15,C26,C37,C48を求めるにあたり、第
4図に一点鎖線で示すように小さな値M2′で飽和するよ
うな変換式を用いて上記各評価値C15,C26,C37,C48を求
めるようにすると、(3)式に従って求められた特性値
Cは、より円形に近い腫瘍影の場合に大きな値を有する
特性値Cとなり、逆に第4図に二点鎖線で示すように大
きな値M2″まで飽和しないような変換式を用いて特性値
Cを求めると、この特性値Cは周囲とのコントラストの
大きい腫瘍影に対して大きな値を有する特性値Cとな
る。したがってその目的に応じて適切な変換式が選定さ
れる。
Upon obtaining the evaluation values C 15, C 26, C 37 , C 48, fourth each evaluation value by using a conversion equation as saturated at as indicated by the chain line smaller value M 2 'in Figure C 15 , C 26 , C 37 , and C 48 , the characteristic value C obtained according to the equation (3) becomes a characteristic value C having a large value in the case of a tumor shadow closer to a circle. When the characteristic value C is obtained by using a conversion formula that does not saturate to a large value M 2 ″ as shown by the two-dot chain line, the characteristic value C is large for a tumor shadow having a large contrast with the surroundings. Characteristic value C. Therefore, an appropriate conversion formula is selected according to the purpose.

以上のような実空間フィルタを用いてX線画像上を走
査すること、即ちX線画像の各画素を順次所定の画素P0
として以上のような演算を繰り返すことにより、腫瘍影
が抽出される。
Scanning on the X-ray image using the real space filter as described above, that is, sequentially converting each pixel of the X-ray image to a predetermined pixel P 0
By repeating the above calculation, the tumor shadow is extracted.

このようにして腫瘍影の抽出が行なわれると、この抽
出された腫瘍影に関する、X線画像上の位置,腫瘍影の
大きさ等の情報と画像データSDとが、第1図に示す画像
記憶装置50に送られ、この画像記憶装置50に装填された
光ディスク51に記憶される。
When the extraction of the tumor shadow is performed in this manner, information on the position of the extracted tumor shadow on the X-ray image, the size of the tumor shadow, and the image data SD are converted into the image shown in FIG. The image data is sent to the storage device 50 and stored on the optical disk 51 loaded in the image storage device 50.

尚、腫瘍影を抽出するフィルタのアルゴリズムは、上
記アルゴリズムに限定されるものではなく、前述したい
くつかの文献に記載されたアルゴリズムもしくは他の公
知のアルゴリズムのいずれかもしくはそれらの組合せを
採用することができるものである。
The algorithm of the filter for extracting the tumor shadow is not limited to the above algorithm, and any one of the algorithms described in some of the above-described documents or other known algorithms or a combination thereof may be employed. Can be done.

次に画像データSDに基づいてCRTディスプレイ44上に
可視画像を再生表示する場合について説明する。
Next, a case where a visible image is reproduced and displayed on the CRT display 44 based on the image data SD will be described.

オペレータがキーボード43を操作してID情報を入力す
ると、この入力されたID情報に対応する、同一被写体に
ついての過去に得られたX線画像を表わす画像データS
D1とこのX線画像の異常陰影に関する情報、および最近
に得られたX線画像を表わす画像データSD2とこのX線
画像の異常陰影に関する情報が画像記憶装置50から読み
出されコンピュータシステム40に入力される。
When the operator operates the keyboard 43 to input the ID information, the image data S representing the previously obtained X-ray image of the same subject corresponding to the input ID information is obtained.
D1 information about abnormal shadow of Toko of X-ray image, and information on abnormal shadow image data S D2 Toko of X-ray image representing the X-ray image obtained recently read from the image memory 50 to the computer system 40 Is entered.

第5図はこのようにしてコンピュータシステム40に入
力された2つの画像データSD1,SD2のそれぞれに基づく
2枚のX線画像を模式的に表わした図である。第5図
(a),(b)はそれぞれ過去に得られたX線画像およ
び現在得られたX線画像であり、黒丸印が腫瘍影の位置
および大きさを表わしている。
FIG. 5 is a diagram schematically showing two X-ray images based on each of the two image data S D1 and S D2 input to the computer system 40 in this manner. FIGS. 5 (a) and 5 (b) are an X-ray image obtained in the past and an X-ray image obtained now, respectively, and black circles indicate the position and size of the tumor shadow.

ここでこれら2つのX線画像の互いに対応する位置に
表われた腫瘍影どうしの比較が行なわれる。腫瘍影が互
いに対応する位置にあるか否かは、例えば第5図(a)
の腫瘍影Aの中心座標を(x1,y1),第5図(b)の腫
瘍影A′の中心座標を(x2,y2)としたとき、所定のし
きい値Δxをあらかじめ用意しておき、 |x1−x2|≦Δ …(4) |y1−y2|≦Δ …(5) を満足する場合に、2つの腫瘍影は互いに対応する位置
にあるものと判定される。このように本発明では、例え
ばΔxという許容幅を設けることができ、前述した
差分画像を求める場合と比べ、2つのX線画像の位置合
わせはほとんど意識する必要がない位にラフでよいこと
となる。
Here, a comparison is made between tumor shadows that appear at positions corresponding to each other in these two X-ray images. Whether or not the tumor shadows are at positions corresponding to each other is determined, for example, by referring to FIG.
The center coordinates of the tumor shadow A (x 1, y 1) , when the center coordinates of the tumor shadow A 'of FIG. 5 (b) and (x 2, y 2), a predetermined threshold delta x, are prepared the delta y previously, | x 1 -x 2 | ≦ Δ x ... (4) | y 1 -y 2 | when satisfying ≦ Δ y ... (5), 2 one tumor shadow correspond to each other Is determined to be at the position where In this way the present invention, for example delta x, can be provided with a tolerance of delta y, compared with the case of obtaining the difference image described above, the alignment of the two X-ray images rough position almost need not be aware Is good.

上記のようにして互いに対応する腫瘍影どおしの比較
が行なわれる。第5図の例では、腫瘍影Aの腫瘍影A′
とでは互いに対応する位置にほとんど同じ大きさの陰影
として現われており、したがって過去と現在との間に相
違はないものと判断される。また第5図(a)の過去の
X線画像には腫瘍影Bは現われておらず第5図(b)の
最近のX線画像には腫瘍影B′が現われている。これに
よりこの腫瘍は新たに発生した腫瘍であると判断され
る。また、第5図(a)の過去のX線画像に現われてい
る腫瘍影Cと第5図(b)の最近のX線画像に現われて
いる腫瘍影C′とは互いに対応する位置にあるが、腫瘍
影Cよりも腫瘍影C′の方がその面積が大きくなってい
る。これによりこの腫瘍は成長したものと判断される。
The comparison of the corresponding tumor shadows is performed as described above. In the example of FIG. 5, the tumor shadow A 'of the tumor shadow A is shown.
And appear as shadows of almost the same size at positions corresponding to each other, and thus it is determined that there is no difference between the past and the present. Further, the tumor shadow B does not appear in the past X-ray image of FIG. 5A, and the tumor shadow B ′ appears in the recent X-ray image of FIG. 5B. Thus, this tumor is determined to be a newly generated tumor. Further, the tumor shadow C appearing in the past X-ray image in FIG. 5A and the tumor shadow C ′ appearing in the recent X-ray image in FIG. 5B are located at positions corresponding to each other. However, the area of the tumor shadow C 'is larger than that of the tumor shadow C. This determines that the tumor has grown.

このようにして互いに対応する位置に腫瘍影が存在す
るか否か、および互いに対応する位置に腫瘍影が存在す
る場合にその大きさに変化があるか否かという相違点が
自動的に認識された後、主として最近得られた方のX線
画像がCRTディスプレイ44に可視画像として表示され、
またこの可視画像と重畳されてもしくは並べられて上記
相違点を表わす情報が表示される。
In this way, the difference between whether or not the tumor shadow exists at the position corresponding to each other and whether or not the size of the tumor shadow exists at the position corresponding to each other is automatically recognized. After that, the most recently obtained X-ray image is displayed on the CRT display 44 as a visible image,
Also, information indicating the above difference is displayed in a manner superimposed or arranged on the visible image.

この相違点を表わす情報の表示方法は特定の方法に限
られるものではないが、例えば2つのX線画像間で相違
のあった腫瘍影のみを○で囲って表示する等相違のあっ
た腫瘍影のみを表示する方法,相違のあった腫瘍影は◎
で囲み、相違のなかった腫瘍影は○で囲う等相違の有無
によりその明示方法を変える方法,可視画像上ではな
く、それとは別に相違の有無や相違の程度等を表示する
方法等を採用することができる。これにより観察者は過
去と現在との相違を容易に認識することができることと
なる。
The method of displaying the information indicating the difference is not limited to a specific method. For example, a tumor shadow having a difference between two X-ray images is displayed by enclosing the tumor shadow with a circle. Only the method of displaying, the tumor shadow with the difference is ◎
The method of changing the method of specifying the tumor shadow depending on the presence or absence of a difference, such as enclosing the tumor shadow with a circle, and the method of displaying the presence or absence of the difference and the degree of the difference separately from the visible image instead of the visible image are adopted. be able to. Thus, the observer can easily recognize the difference between the past and the present.

尚上記実施例は異常陰影として腫瘍影を検出する例に
ついて述べたが本発明にいう異常陰影は腫瘍影に限られ
るものではなく、例えば***内に生じる石灰化した部分
の陰影や塵肺の陰影等であってもよく、またはこれらの
組み合わせであってもよい。
Although the above embodiment has described an example in which a tumor shadow is detected as an abnormal shadow, the abnormal shadow according to the present invention is not limited to a tumor shadow. For example, a shadow of a calcified portion occurring in the breast, a shadow of a pneumoconiosis, etc. Or a combination thereof.

また上記実施例は蓄積性蛍光体を用いる例について説
明したが、本発明は蓄積性蛍光体を用いるシステムに限
られるものではなく、例えばX線フイルムを用いるシス
テム等にも適用することができるものである。
In the above embodiment, an example using a stimulable phosphor has been described. However, the present invention is not limited to a system using a stimulable phosphor, and may be applied to, for example, a system using an X-ray film. It is.

(発明の効果) 以上詳細に説明したように、本発明の画像出力方法
は、経時的に撮影された同一被写体の複数の放射線画像
のそれぞれについて先ず異常陰影を検出し、その後これ
ら複数の放射線画像に現われた異常陰影どうしを比較す
るこによりこれらの異常陰影の相違を認識し、この相違
を表わす情報を出力するようにしたため、その相違を自
動的に高精度に認識することができ、これにより観察者
は異常陰影の変化の様子を容易に捉えることが可能とな
る。
(Effects of the Invention) As described in detail above, the image output method of the present invention first detects an abnormal shadow for each of a plurality of radiographic images of the same subject photographed over time, and then detects these abnormal radiographic images. The differences between these abnormal shadows are recognized by comparing the abnormal shadows that appear in the above, and information indicating this difference is output, so that the differences can be automatically recognized with high accuracy. The observer can easily grasp the state of the change of the abnormal shadow.

【図面の簡単な説明】[Brief description of the drawings]

第1図は、X線画像読取装置、本発明の画像出力方法の
一例を用いたコンピュータシステムおよび画像記憶装置
の一例を表わした斜視図、 第2図は、腫瘍影を抽出する実空間フィルタの例を説明
するために、X線画像上の所定の画素POを中心に該X線
画像上に仮想的に描いた図、 第3図は、所定の画素POと中心とした、第2図の線分L1
とL5の延びる方向(x方向)のX線画像のプロファイル
の一例を示した図、 第4図は、特性値の求め方の一例を説明するための図、 第5図は、第1図に示すコンピュータシステムに入力さ
れた2つの画像データSD1,SD2のそれぞれに基づく2枚
のX線画像を模式的に表わした図である。 14……蓄積性蛍光体シート 20……X線画像読取装置 31……フォトマルチプライヤ 40……コンピュータシステム 50……画像記憶装置 51……光ディスク、57……腫瘍影
FIG. 1 is a perspective view showing an example of an X-ray image reading device, a computer system using an example of an image output method of the present invention, and an image storage device. FIG. 2 is a diagram showing a real space filter for extracting a tumor shadow. to illustrate an example, virtually drawn figure around a predetermined pixel P O on the X-ray image on the X-ray image, FIG. 3 was set to a predetermined pixel P O and the center, the second Line segment L 1 in the figure
And shows an example of a profile of the X-ray image of L 5 the extending direction (x direction) diagram, Figure 4 is a diagram for explaining an example how determined characteristic value, Fig. 5, FIG. 1 FIG. 4 is a diagram schematically showing two X-ray images based on each of two pieces of image data S D1 and S D2 input to the computer system shown in FIG. 14: stimulable phosphor sheet 20: X-ray image reader 31: photomultiplier 40: computer system 50: image storage device 51: optical disk, 57: tumor shadow

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】経時的に撮影された同一被写体の複数の放
射線画像のそれぞれを表わす複数の画像データを有し、
異常陰影抽出フィルタを用いて前記複数の画像データを
それぞれ走査することにより、前記複数の放射線画像に
現われる異常陰影に関する位置、大きさ等の情報を検出
し、 経時的に先に撮影された放射線画像に現われた異常陰影
の情報と経時的に後に撮影された放射線画像に現われた
異常陰影の情報との相違を自動的に認識し、 前記複数の画像データのいずれかに基づく再生画像と共
に前記相違を表わす情報を出力することを特徴とする画
像出力方法。
A plurality of radiographic images each representing a plurality of radiographic images of the same subject taken over time;
Each of the plurality of image data is scanned using an abnormal shadow extraction filter, thereby detecting information on a position, a size, and the like relating to the abnormal shadow appearing in the plurality of radiation images, and a radiation image taken earlier with time. Automatically recognizes the difference between the information of the abnormal shadow that appeared in the information and the information of the abnormal shadow that appeared in the radiographic image captured later with time, and the difference with the reproduced image based on any of the plurality of image data. An image output method characterized by outputting information representing the image.
JP2250886A 1990-09-20 1990-09-20 Image output method Expired - Fee Related JP2961437B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2250886A JP2961437B2 (en) 1990-09-20 1990-09-20 Image output method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2250886A JP2961437B2 (en) 1990-09-20 1990-09-20 Image output method

Publications (2)

Publication Number Publication Date
JPH04129538A JPH04129538A (en) 1992-04-30
JP2961437B2 true JP2961437B2 (en) 1999-10-12

Family

ID=17214486

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2250886A Expired - Fee Related JP2961437B2 (en) 1990-09-20 1990-09-20 Image output method

Country Status (1)

Country Link
JP (1) JP2961437B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000342564A (en) * 1999-03-31 2000-12-12 Fuji Photo Film Co Ltd Method and device for retaining radiation image
US6675039B2 (en) * 2001-08-31 2004-01-06 Ge Medical Systems Global Technology Company, Llc Computed tomography scan protocol
JP2004005364A (en) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd Similar image retrieval system
JP4554921B2 (en) * 2003-12-25 2010-09-29 富士フイルム株式会社 Method of operating abnormal shadow detection device, abnormal shadow detection device, and program
JP4731127B2 (en) * 2004-05-26 2011-07-20 株式会社日立メディコ Image diagnosis support apparatus and method
JP4640845B2 (en) * 2007-03-05 2011-03-02 富士フイルム株式会社 Image processing apparatus and program thereof

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2720383B2 (en) * 1987-03-11 1998-03-04 株式会社豊田中央研究所 Image density region detection device
JP2530874B2 (en) * 1988-03-04 1996-09-04 富士通株式会社 Medical image workstation
JPH02140875A (en) * 1988-11-21 1990-05-30 Nec Corp Medical picture system
JP2638631B2 (en) * 1988-12-01 1997-08-06 ザ・ユニバーシテイ・オブ・シカゴ Image processing method and apparatus

Also Published As

Publication number Publication date
JPH04129538A (en) 1992-04-30

Similar Documents

Publication Publication Date Title
JPH06304159A (en) Method for recognizing picture photographing position
JP2574181B2 (en) Abnormal shadow detector
JP2961437B2 (en) Image output method
JP2867055B2 (en) Edge determination method and apparatus
JPH0398174A (en) Method and device for process of radiation image
JP2582669B2 (en) Device for determining benign / malignant breast mass shadow
JPH0326238A (en) Radiograph diagnostic device
JP2582664B2 (en) Pattern recognition device
JP2582667B2 (en) Linear pattern width calculator
JP2932020B2 (en) Method for determining magen image reading conditions and / or image processing conditions
JP3165538B2 (en) Radiation image alignment method and apparatus
JP2582666B2 (en) Abnormal shadow detector
JP2707355B2 (en) Image recording position recognition device
JP2582665B2 (en) Abnormal shadow detector
JP2867067B2 (en) Pattern determination method and apparatus
JPH08215183A (en) Calcification detecting method and its device
JP2867036B2 (en) Abnormal shadow detector
JP2952428B2 (en) Radiation image energy subtraction method and apparatus
JP2631747B2 (en) Circular pattern determination method and apparatus
JP2571132B2 (en) Abnormal shadow detector
JPH06327664A (en) Radioactive ray image recording and reproduction method
JP3165530B2 (en) Radiation image reading condition determination method and apparatus
JP2631748B2 (en) Circular pattern determination method and apparatus
JP2582660B2 (en) Abnormal shadow detector
JPH0327483A (en) Method and device for deciding circular pattern

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070806

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070806

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100806

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees