JPH1188589A - Image processing unit and its method - Google Patents

Image processing unit and its method

Info

Publication number
JPH1188589A
JPH1188589A JP9244324A JP24432497A JPH1188589A JP H1188589 A JPH1188589 A JP H1188589A JP 9244324 A JP9244324 A JP 9244324A JP 24432497 A JP24432497 A JP 24432497A JP H1188589 A JPH1188589 A JP H1188589A
Authority
JP
Japan
Prior art keywords
image
image data
output
computer network
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9244324A
Other languages
Japanese (ja)
Other versions
JP3783895B2 (en
Inventor
Satoshi Abe
聡 阿部
Taizo Okano
泰三 岡野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AREI KK
Original Assignee
AREI KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AREI KK filed Critical AREI KK
Priority to JP24432497A priority Critical patent/JP3783895B2/en
Publication of JPH1188589A publication Critical patent/JPH1188589A/en
Application granted granted Critical
Publication of JP3783895B2 publication Critical patent/JP3783895B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Facsimiles In General (AREA)
  • Facsimile Transmission Control (AREA)

Abstract

PROBLEM TO BE SOLVED: To supply an image obtained by an image diagnosing device to a computer network by receiving the image from the image diagnosing device, converting the received image into image data of a prescribed format and outputting the converted image data to the computer network. SOLUTION: A CPU 1 converts a format of image data from a modality (image diagnosing device) 20 received via a modality interface 5 into a prescribed format and the resulting data are stored on a hard disk HD 7. The image data stored in the HD 7 are sent to computers 23, 24, an image output device 21 connecting to an imager 22, or a DICOM printer 26 having an interface corresponding to a DICOM protocol via a network interface 8 and a network 25 such as an Ethernet by the CPU 1. Thus, the diagnosed image data are easily outputted to the computer system in the DICOM format.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は画像処理装置および
その方法に関し、とくに、医療用の画像診断装置によっ
て得られる画像を処理する画像処理装置およびその方法
に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method, and more particularly to an image processing apparatus and method for processing an image obtained by a medical image diagnostic apparatus.

【0002】[0002]

【従来の技術】超音波、X線、MR(Magnetic resonance)
などを利用したコンピュータ断層撮影(CT: Computeriz
ed Tomography)が医療分野に普及している。
[Prior Art] Ultrasound, X-ray, MR (Magnetic resonance)
Computerized tomography (CT: Computeriz
ed Tomography) has become widespread in the medical field.

【0003】CTによる診断を行う際は、まず、検査技師
により操作されるモダリティと呼ばれる画像診断装置に
よって患者の断層画像などが撮影される。この画像は装
置のコンソールにあるビデオディスプレイに表示され
る。そして、モダリティに接続されたイメージャと呼ば
れるフィルムレコーダを検査技師が操作することで、診
断に必要な画像を指示し、指示された画像がイメージャ
へ入力され、大判のフィルムにハードコピーされる。こ
のフィルムが診断画像として医師に渡され、患者の診断
が行われる。なお、以下の説明においては、モダリティ
により撮影される画像をすべて診断画像と呼ぶ。
When performing a diagnosis by CT, first, a tomographic image of a patient is photographed by an image diagnostic apparatus called a modality operated by a laboratory technician. This image is displayed on a video display on the console of the device. Then, a laboratory technician operates a film recorder called an imager connected to the modality, thereby instructing an image necessary for diagnosis, inputting the instructed image to the imager, and hard-copying the image on a large-format film. This film is given to a doctor as a diagnostic image, and a patient is diagnosed. In the following description, all images captured by the modality are referred to as diagnostic images.

【0004】また、通常、一枚のフィルムには数コマの
診断画像がレイアウトされる。さらに、フィルムに記録
された診断画像には、図1に一例を示すように、画像の
周囲に、患者名(図1の左下近傍に「XXX YYYY」で示す
部分)、患者ID(図1の左下近傍に「123456」で示す部
分)、検査日時(図1の右上)、検査条件(図1の左上)
のほか、図1には表示されていないが、患者の生年月日
や担当医師名などの属性情報が文字情報として付加され
る。
Usually, several frames of diagnostic images are laid out on one film. Further, as shown in FIG. 1, the diagnostic image recorded on the film includes a patient name (a portion indicated by “XXX YYYY” near the lower left of FIG. 1) and a patient ID (FIG. 1). The part indicated by "123456" near the lower left), the inspection date and time (upper right in FIG. 1), inspection conditions (upper left in FIG. 1)
In addition, although not shown in FIG. 1, attribute information such as the patient's date of birth and the name of the doctor in charge is added as character information.

【0005】一方、コンピュータネットワーク技術の進
歩に伴い、医用画像のファイリングシステムを構築し
て、診断画像もコンピュータシステムで扱いたいという
要求が生じている。これに伴い、通信プロトコルやデー
タフォーマットの規格化が検討され、米国のACR(Americ
an College of Radiology)およびNEMA(The National El
ectrical Manufacturers Association)により制定され
たDICOM(Digital Image Communication in Medicine)規
格が世界的な標準になろうとしている。
[0005] On the other hand, with the advance of computer network technology, there has been a demand that a filing system for medical images be constructed, and that diagnostic images be handled by the computer system. Along with this, standardization of communication protocols and data formats is being studied, and ACR (American
an College of Radiology) and NEMA (The National El
The DICOM (Digital Image Communication in Medicine) standard established by the Electronic Manufacturers Association (ECTR) is about to become a global standard.

【0006】[0006]

【発明が解決しようとする課題】しかしながら、現在普
及しているモダリティは、コンピュータシステムに画像
データを出力する機能をもたない。このため、コンピュ
ータシステムへ診断画像を入力するには、フィルムに記
録された診断画像をフィルムリーダで読み取り、フィル
ムリーダによって得られた画像データを例えばDICOMに
合致したフォーマットに変換するなどの作業が必要にな
る。
However, currently widely used modalities do not have the function of outputting image data to a computer system. Therefore, in order to input a diagnostic image to a computer system, it is necessary to read the diagnostic image recorded on the film with a film reader and convert the image data obtained by the film reader into a format compatible with DICOM, for example. become.

【0007】本発明は、上述の問題を解決するためのも
のであり、画像診断装置により得られる画像をコンピュ
ータネットワークに供給する画像処理装置およびその方
法を提供することを目的とする。
An object of the present invention is to solve the above-mentioned problem, and an object of the present invention is to provide an image processing apparatus and method for supplying an image obtained by an image diagnostic apparatus to a computer network.

【0008】[0008]

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。
The present invention has the following configuration as one means for achieving the above object.

【0009】本発明にかかる画像処理装置は、コンピュ
ータネットワークに接続される画像処理装置であって、
画像診断装置から画像を入力する入力手段と、前記入力
画像を所定フォーマットの画像データに変換する変換手
段と、前記画像データを前記コンピュータネットワーク
に出力する制御手段とを有することを特徴とする。
An image processing apparatus according to the present invention is an image processing apparatus connected to a computer network,
The image processing apparatus further includes an input unit that inputs an image from the diagnostic imaging apparatus, a conversion unit that converts the input image into image data of a predetermined format, and a control unit that outputs the image data to the computer network.

【0010】本発明にかかる画像処理方法は、コンピュ
ータネットワークに接続される画像処理装置の画像処理
方法であって、画像診断装置から画像を入力し、前記入
力画像を所定フォーマットの画像データに変換し、前記
画像データを前記コンピュータネットワークに出力する
ことを特徴とする。
An image processing method according to the present invention is an image processing method for an image processing apparatus connected to a computer network, wherein an image is input from an image diagnostic apparatus, and the input image is converted into image data in a predetermined format. And outputting the image data to the computer network.

【0011】[0011]

【発明の実施の形態】以下、本発明にかかる一実施形態
の画像処理装置を図面を参照して詳細に説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings.

【0012】[画像入力装置の構成]図2は画像入力装
置10の構成例を示すブロック図である。
[Configuration of Image Input Apparatus] FIG. 2 is a block diagram showing a configuration example of the image input apparatus 10.

【0013】図2において、CPU1は、ROM2やハードディ
スク(HD)7などに格納された各種のプログラムに基づ
き、バス4を介して画像入力装置10全体を制御するとと
もに、RAM3をワークメモリとして利用して各種の画像処
理や通信処理を実行する。
In FIG. 2, a CPU 1 controls the entire image input device 10 via a bus 4 based on various programs stored in a ROM 2 and a hard disk (HD) 7 and uses a RAM 3 as a work memory. To perform various image processing and communication processing.

【0014】モダリティインタフェイス5は、モダリテ
ィ20から画像を取得するためのインタフェイスである。
画像の取得方法としては、モダリティ20から出力される
アナログビデオ信号から画像をキャプチャする方法、モ
ダリティ20に所定フォーマットのディジタル画像データ
を出力させる方法があるが、モダリティインタフェイス
5はその両方に対応している。
The modality interface 5 is an interface for acquiring an image from the modality 20.
As a method for acquiring an image, there are a method of capturing an image from an analog video signal output from the modality 20, and a method of causing the modality 20 to output digital image data in a predetermined format.
5 supports both.

【0015】モダリティ20から所定フォーマットの画像
データが出力される場合、CPU1は、モダリティインタフ
ェイス5によって受信される画像データをHD7に格納す
る。一方、モダリティ20から出力されるアナログビデオ
信号から画像をキャプチャする場合、CPU1は、モダリテ
ィインタフェイス5に含まれるフレームグラバによりア
ナログビデオ信号をディジタイズし、所定のフォーマッ
トに変換してHD7に格納する。
When image data of a predetermined format is output from the modality 20, the CPU 1 stores the image data received by the modality interface 5 in the HD 7. On the other hand, when capturing an image from an analog video signal output from the modality 20, the CPU 1 digitizes the analog video signal using a frame grabber included in the modality interface 5, converts the analog video signal into a predetermined format, and stores the converted signal in the HD.

【0016】なお、モダリティ20から出力される画像デ
ータのフォーマットは、例えば、画像サイズを示す縦横
のドット数、ビット深さなどを含むヘッダに、例えば8
ビット/画素のグレースケール画像データまたはインデ
ックスカラー画像データ、あるいは、各8ビット計24ビ
ット/画素のRGB画像データなどが続く形式である。ま
た、シーメンスが開発したフォーマットなども知られて
いる。
The format of the image data output from the modality 20 is, for example, 8 headers including the number of vertical and horizontal dots indicating the image size, the bit depth, and the like.
This format is followed by bit / pixel grayscale image data or index color image data, or each of 8 bits of a total of 24 bits / pixel of RGB image data. Also, formats developed by Siemens are known.

【0017】イメージャインタフェイス11は、イメージ
ャ27にプリントさせる画像を出力するためのインタフェ
イスである。画像の出力方法としては、HD7に格納され
た画像データをアナログビデオ信号に変換して出力する
方法、所定フォーマットのディジタル画像データを出力
する方法があるが、イメージャインタフェイス11はその
両方に対応している。なお、モダリティ20から出力され
た画像データまたはアナログビデオ信号をそのままイメ
ージャ27に送るときは、CPU1は、モダリティインタフェ
イス5およびイメージャインタフェイス11を直結する。
The imager interface 11 is an interface for outputting an image to be printed by the imager 27. Image output methods include a method of converting image data stored in the HD 7 into an analog video signal and outputting the same, and a method of outputting digital image data in a predetermined format. The imager interface 11 supports both. ing. When the image data or the analog video signal output from the modality 20 is directly sent to the imager 27, the CPU 1 directly connects the modality interface 5 and the imager interface 11.

【0018】HD7に格納された画像データは、CPU1によ
り、ネットワークインタフェイス8およびEthernetなど
のネットワーク25を介して、例えば、コンピュータ23や
24、イメージャ22に接続された画像出力装置21、また
は、DICOMプロトコルに対応したインタフェイスをもつD
ICOMプリンタ26へ送られる。なお、この画像データの転
送プロトコルにはDICOMを使用する。また、画像出力装
置21の詳細は後述する。
The image data stored in the HD 7 is transmitted to the CPU 23 by the CPU 1 via the network interface 8 and a network 25 such as Ethernet.
24, an image output device 21 connected to an imager 22, or a D having an interface corresponding to the DICOM protocol
It is sent to the ICOM printer 26. Note that DICOM is used as a transfer protocol for this image data. The details of the image output device 21 will be described later.

【0019】コンピュータ23や24は、ネットワーク、画
像データベース、画像ビュワー、イメージャなどを用い
て医用画像をファイリング、ビューイング、プリントす
るPACS(Picture Archive and Communication System)と
呼ばれるシステムを構成する。画像入力装置10は、ネッ
トワークインタフェイス8を介して、PACSなどから送ら
れてくる画像データを入力することもできる。
The computers 23 and 24 constitute a system called PACS (Picture Archive and Communication System) for filing, viewing, and printing medical images using a network, an image database, an image viewer, an imager, and the like. The image input device 10 can also input image data sent from a PACS or the like via the network interface 8.

【0020】以上の動作は、RS232CやRS422などのシリ
アルインタフェイス6に接続されたキーパッド9から入力
されるコマンドをCPU1が解釈することにより実行される
ものである。つまり、LCDおよびタッチパネルから構成
されるキーパッド9を用いて、画像入力装置10のオンオ
フ、リセットをはじめとする各種動作を指示するコマン
ド、画像取得条件、画像出力条件、および、前述した属
性情報を含む各種情報を表す文字コードなどを入力・編
集することができる。さらに、キーパッド9には、CPU1
により画像入力装置10の画像取得状況やエラーを知らせ
るための表示が行われる。従って、ユーザは、キーパッ
ド9を操作することにより、モダリティ20やイメージャ2
7を直接操作するのとほぼ同等の機能を、モダリティ2
0、画像入力装置10およびイメージャ27に実行させるこ
とができる。
The above operation is executed by the CPU 1 interpreting a command input from the keypad 9 connected to the serial interface 6 such as RS232C or RS422. That is, using the keypad 9 composed of an LCD and a touch panel, a command for instructing various operations including turning on / off and resetting the image input device 10, an image acquisition condition, an image output condition, and the attribute information described above are transmitted. A character code or the like representing various types of information can be input and edited. In addition, keypad 9 has CPU1
Accordingly, a display for notifying the image acquisition status of the image input device 10 and an error is performed. Therefore, the user operates the keypad 9 to change the modality 20 or the imager 2.
Modality 2 has almost the same function as directly operating 7
0, it can be executed by the image input device 10 and the imager 27.

【0021】なお、上述した画像入力装置10の操作は、
キーパッド9からに限定されるものではない。例えば、
ネットワーク25を介してコンピュータ23や24から、シリ
アルインタフェイス6を介して接続されるコンピュータ
などからも画像入力装置10を操作することができる。
The operation of the image input device 10 described above
It is not limited to the keypad 9. For example,
The image input device 10 can also be operated from the computers 23 and 24 via the network 25 and from a computer or the like connected via the serial interface 6.

【0022】また、イメージャ27は、一般に、モダリテ
ィ20のコンソールから制御される(所謂ホストコントロ
ール)が、画像入力装置10に接続されたモダリティ20お
よびイメージャ27の操作を、画像入力装置10を介するこ
とで、キーパッド9や、ネットワーク25を介してコンピ
ュータ23や24からエミュレートすることができる。
The imager 27 is generally controlled from the console of the modality 20 (so-called host control). However, the operation of the modality 20 and the imager 27 connected to the image input device 10 can be controlled via the image input device 10. Thus, emulation can be performed from the keypad 9 or the computers 23 and 24 via the network 25.

【0023】[画像入力装置の動作および処理]以下で
は、画像入力装置10の主な動作および処理を詳細に説明
する。なお、以下の説明においては、キーパッド9の画
面表示に関する処理などキーパッド9のCPUおよびプログ
ラムによって実行される処理と、画像データの入出力に
関する処理などCPU1によって実行される処理とをひとま
とめに説明するが、実際には、両CPUが通信することに
よりこれらの処理が順次実行されることは言うまでもな
い。
[Operation and Processing of Image Input Apparatus] Hereinafter, main operations and processing of the image input apparatus 10 will be described in detail. In the following description, the processing executed by the CPU and the program of the keypad 9 such as the processing relating to the screen display of the keypad 9 and the processing executed by the CPU 1 such as the processing relating to the input and output of image data will be described together. However, in fact, it goes without saying that these processes are sequentially executed by communication between the two CPUs.

【0024】また、詳細な説明は省略するが、キーパッ
ド9のレスポンスエリアには、画像入力装置10から送っ
た指示に対するモダリティ20やイメージャ27のレスポン
スやエラーメッセージ、画像データをネットワーク25を
介して伝送する場合の伝送状態、エラーメッセージ、あ
て先からのレスポンスなどが表示される。
Although a detailed description is omitted, the response area of the keypad 9 stores a response of the modality 20 or the imager 27 in response to an instruction sent from the image input device 10, an error message, and image data via the network 25. A transmission status, an error message, a response from the destination, and the like when transmitting are displayed.

【0025】●画像の入出力処理 図3(a)はキーパッド9の表示画面の一例を示す図であ
る。同図に示す所定エリアまたはアイコンに触れること
により画像の入出力動作などが実行される。例えば、ユ
ーザが、画像ストアエリアの何れかに触れると、そのエ
リアに対応するHD7のメモリ領域にモダリティ20から出
力された画像データが格納される。なお、図3(b)に一例
を示すように画像が格納されていない空きエリアは白く
表示され、画像を格納中または消去中のエリアは例えば
網掛表示され、画像が格納されたエリアは黒く表示され
る。もし、黒く表示された画像ストアエリアに所定時間
以上を触れた場合、そのエリアの画像が消去される。
Image Input / Output Processing FIG. 3A shows an example of a display screen of the keypad 9. An image input / output operation or the like is executed by touching a predetermined area or icon shown in FIG. For example, when the user touches any of the image store areas, the image data output from the modality 20 is stored in the memory area of the HD 7 corresponding to the area. In addition, as shown in FIG. 3 (b), an empty area in which no image is stored is displayed in white, an area in which an image is stored or erased is displayed in, for example, a hatched area, and an area in which an image is stored is displayed in black. Is done. If the user touches the image store area displayed in black for a predetermined time or more, the image in that area is deleted.

【0026】図4は画像の入出力処理の一例を示すフロ
ーチャートで、どのエリアまたはアイコンが指示された
かを判定し、判定結果に基づき対応する処理を行うもの
である。
FIG. 4 is a flowchart showing an example of image input / output processing, in which it is determined which area or icon has been designated, and corresponding processing is performed based on the result of the determination.

【0027】図4において、ステップS11で属性情報エリ
アが指示された場合はステップS12で、キーパッド9にア
ルファベットキーやテンキーなどが表示され、患者ID、
患者氏名、性別、生年月日、担当医などの属性情報を入
力し編集することができる。ここで入力・編集された属
性情報は、HD7の所定領域に格納される。
In FIG. 4, when an attribute information area is designated in step S11, alphabet keys and numeric keys are displayed on the keypad 9 in step S12, and the patient ID,
Attribute information such as patient name, gender, date of birth, and doctor in charge can be entered and edited. The attribute information input and edited here is stored in a predetermined area of the HD 7.

【0028】ステップS13で画像ストアエリアが指示さ
れた場合はステップS14で、指示された画像ストアエリ
アに対応するHD7の領域に、モダリティ20から取得され
た画像データが格納される。
If the image store area is specified in step S13, the image data obtained from the modality 20 is stored in the area of the HD 7 corresponding to the specified image store area in step S14.

【0029】ステップS15でプリント/出力切替アイコン
が指示された場合はステップS16で、出力モードを切替
える。画像入力装置10は、イメージャ27に画像をプリン
トさせるプリントモード、DICOMプリンタ26やイメージ
ャ22に画像をプリントさせるネットワークプリントモー
ド、および、画像データをコンピュータ23や24に伝送す
る出力モードの三つのモードをもち、これら三つのモー
ドを順に切替えることができる。さらに、これら三つの
モードの組み合わせも可能であり、プリントモードとネ
ットワークプリントモード、ネットワークプリントモー
ドと出力モード、出力モードとプリントモード、およ
び、三つのモードすべて、といった組み合わせができ
る。
When the print / output switching icon is designated in step S15, the output mode is switched in step S16. The image input device 10 has three modes: a print mode in which an imager 27 prints an image, a network print mode in which a DICOM printer 26 or an imager 22 prints an image, and an output mode in which image data is transmitted to a computer 23 or 24. Of course, these three modes can be sequentially switched. Further, a combination of these three modes is also possible, such as a combination of a print mode and a network print mode, a network print mode and an output mode, an output mode and a print mode, and all three modes.

【0030】ステップS17でプリント条件表示エリアが
指示された場合はステップS18で、設定されているモー
ドに対応するプリント条件または出力条件を設定するた
めの画面がキーパッド9に表示される。
If a print condition display area is designated in step S17, a screen for setting print conditions or output conditions corresponding to the set mode is displayed on the keypad 9 in step S18.

【0031】プリンタモードにおいては、画像のレイア
ウト(縦×横のコマ数)、フィルムのサイズ・種類・向
き、背景色の指定、トリム(縁取り線)の指定、画像極
性(ネガまたはポジ)の指定、最低および最高濃度、コ
ピー枚数などのプリント条件が設定できる。
In the printer mode, the layout of the image (the number of vertical and horizontal frames), the size, type and orientation of the film, the designation of the background color, the designation of the trim (border line), and the designation of the image polarity (negative or positive) Print conditions such as minimum, maximum density, and number of copies can be set.

【0032】ネットワークプリントモードにおいては、
プリントモードにおける設定項目のほかにプリンタの指
定ができ、さらに、DICOMプリンタ26を出力先に選んだ
場合は、フィルムの格納先としてフィルムレシーブマガ
ジンまたは自動現像機を選択することができる。
In the network print mode,
In addition to setting items in the print mode, a printer can be specified, and when the DICOM printer 26 is selected as an output destination, a film receiving magazine or an automatic developing machine can be selected as a film storage destination.

【0033】また、出力モードにおいては、画像データ
の出力先などの出力条件が設定できる。なお、出力モー
ドにおけるデータフォーマットは、DICOMフォーマット
に限らず、コンピュータ23や24上で稼働する画像ファイ
リングシステムなどに応じたフォーマットにすることも
可能であり、それらデータフォーマット(例えば、NEMA
やPostScript(R))も必要に応じて設定することができ
る。
In the output mode, output conditions such as an output destination of image data can be set. It should be noted that the data format in the output mode is not limited to the DICOM format, but may be a format corresponding to an image filing system or the like operating on the computer 23 or 24.
And PostScript (R)) can also be set as needed.

【0034】ステップS19でプリント/出力アイコンが指
示された場合はステップS20で、設定されているモード
およびプリント/出力条件に基づき画像データを出力す
る。つまり、プリントモードにおいては、モダリティ20
から取得した一または複数コマの診断画像に属性情報を
オーバレイした画像がイメージャ27から出力されるよう
に、イメージャインタフェイス11を介して画像データま
たはアナログビデオ信号が出力される。また、ネットワ
ークプリントモードにおいては、モダリティ20から取得
した一または複数コマの診断画像に属性情報をオーバレ
イした画像がDICOMプリンタ26またはイメージャ22から
出力されるように形成されたDICOMフォーマットのデー
タが、ネットワークインタフェイス8から出力される。
また、出力モードにおいては、モダリティ20から取得し
た一または複数コマ分の診断画像の画像データと、それ
ら画像データの属性情報とが、DICOMフォーマットによ
りネットワークインタフェイス8から出力される。
If a print / output icon is designated in step S19, image data is output in step S20 based on the set mode and print / output conditions. In other words, in print mode, modality 20
Image data or an analog video signal is output via the imager interface 11 so that an image obtained by overlaying attribute information on one or more diagnostic images obtained from the imager is output from the imager 27. In the network print mode, DICOM format data formed such that an image obtained by overlaying attribute information on one or a plurality of diagnostic images acquired from the modality 20 is output from the DICOM printer 26 or the imager 22 is a network print mode. Output from interface 8.
In the output mode, image data of one or more frames of diagnostic images acquired from the modality 20 and attribute information of the image data are output from the network interface 8 in the DICOM format.

【0035】勿論、前述したプリントモード、ネットワ
ークプリントモードおよび出力モードの三つのモードの
組み合わせが設定されている場合、設定された組み合わ
せに応じてデータが出力されるのは言うまでもない。
Of course, when a combination of the three modes of the print mode, the network print mode, and the output mode is set, data is output according to the set combination.

【0036】このように、画像入力装置10およびキーパ
ッド9によりステップS11からS20の処理が繰返される。
As described above, the processing of steps S11 to S20 is repeated by the image input device 10 and the keypad 9.

【0037】●文字認識処理 CPU1は、コンピュータ23や24またはキーパッド9からの
指示に従い、モダリティインタフェイス5またはネット
ワークインタフェイス8を介して入力され、HD7などに格
納されている画像データに含まれる文字情報、つまり属
性情報を構成する文字を、ROM2またはHD7に格納された
プログラムによって認識する機能を有している。
Character Recognition Processing The CPU 1 is input via the modality interface 5 or the network interface 8 in accordance with an instruction from the computer 23 or 24 or the keypad 9 and is included in image data stored in the HD 7 or the like. It has a function of recognizing character information, that is, characters constituting attribute information, by a program stored in the ROM 2 or the HD 7.

【0038】図5は文字認識処理の一例を示すフローチ
ャートである。CPU1は、ステップS1で、HD7から画像デ
ータを読出し、ステップS2で、HD7から読出した画像デ
ータをRAM3上に展開する。ステップS3で、RAM3に展開さ
れた画像から予め設定された文字認識対象領域の画像を
抽出し、ステップS4で、抽出した文字認識対象領域の画
像から、後述する方法により、文字パターンを分離し一
文字ずつの画像に分離する。そして、ステップS5で文字
認識処理を実行し、ステップS6で認識結果をキャラクタ
データとして出力する。このキャラクタデータは、画像
データとともにHD7に格納されたり、文字情報を要求し
たコンピュータなどへ送られる。
FIG. 5 is a flowchart showing an example of the character recognition process. The CPU 1 reads the image data from the HD 7 in step S1, and expands the image data read from the HD 7 on the RAM 3 in step S2. In step S3, an image of a preset character recognition target area is extracted from the image developed in the RAM3, and in step S4, a character pattern is separated from the extracted image of the character recognition target area by a method described later to form one character. Separate each image. Then, a character recognition process is executed in step S5, and the recognition result is output as character data in step S6. This character data is stored in the HD 7 together with the image data, or sent to a computer or the like which has requested the character information.

【0039】なお、文字認識対象領域を予め設定するの
は、記録位置がほぼ決まっている属性情報の特性を活か
して文字認識に要する時間を短縮し、かつ、認識精度を
向上するためである。勿論、画像全体から文字認識する
ことも可能である。
The reason why the character recognition target area is set in advance is to shorten the time required for character recognition and to improve the recognition accuracy by utilizing the characteristics of the attribute information whose recording position is substantially determined. Of course, it is also possible to recognize characters from the entire image.

【0040】図7は文字画像の分離処理の一例を示すフ
ローチャートである。ステップS41で、幾つかのしきい
値で画像を二値化し、各二値画像から文字に対応する白
または黒色のパターンを抽出する。なお、しきい値は、
黒地に白文字の場合は中間より白色に近い三から四値、
白地に黒文字の場合は中間より白色に近い三から四値に
設定する。次に、ステップS42で、抽出した文字パター
ンの連続領域をラベリングし、ステップS43で、ラベリ
ングされた各連続領域についてその特徴量を求める。特
徴量としては、画素値の最大値、平均値、標準偏差およ
び最小値、並びに、領域の幅および高さなどがある。
FIG. 7 is a flowchart showing an example of a character image separation process. In step S41, the image is binarized with some threshold values, and a white or black pattern corresponding to a character is extracted from each binary image. The threshold value is
In the case of white letters on a black background, three to four values closer to white than in the middle,
In the case of a black character on a white background, set it to three to four values that are whiter than the middle. Next, in step S42, the continuous area of the extracted character pattern is labeled, and in step S43, the feature amount of each of the labeled continuous areas is obtained. The feature amount includes a maximum value, an average value, a standard deviation and a minimum value of pixel values, and a width and a height of a region.

【0041】続いて、ステップS44で、文字画像として
の特徴量の範囲や、文字画像どうしが一つの画素を共有
することはないなどの制約を考慮して、文字画像として
適切な領域を抽出する。なお、プロポーショナル文字の
場合、文字によって文字幅が変化するが、この場合でも
正規表現から文字の種類が特定できるので、ある程度は
文字幅を制限することができる。
Subsequently, in step S44, an area suitable for the character image is extracted in consideration of the range of the feature amount as the character image and restrictions such that the character images do not share one pixel. . In the case of proportional characters, the character width changes depending on the character. Even in this case, the character width can be limited to some extent because the character type can be specified from the regular expression.

【0042】また、ステップS5の文字認識処理は周知で
あるから詳細な説明は省略するが、その概要は次のよう
になる。例えば、単純類似度などの手法を用いて、分離
した一文字分の画像を、予め用意された文字形状辞書に
含まれる画像と比較して、各文字画像と辞書画像との類
似度を表すマッチング率をRAM3などに記憶する。文字認
識対象領域の文字画像すべてに対応するマッチング率が
得られると、予め用意された文字列の正規表現、つまり
文字列の各桁に配置される文字の確率を示す情報および
マッチング率を参照して、最も妥当な文字の組み合わせ
を求める。
Since the character recognition processing in step S5 is well known, detailed description is omitted, but the outline is as follows. For example, using a technique such as simple similarity, the separated image for one character is compared with an image included in a character shape dictionary prepared in advance, and a matching ratio indicating the similarity between each character image and the dictionary image. Is stored in the RAM 3 or the like. When the matching rate corresponding to all the character images in the character recognition target area is obtained, the regular expression of the character string prepared in advance, that is, the information indicating the probability of the character arranged at each digit of the character string and the matching rate is referred to. To find the most appropriate combination of characters.

【0043】●その他 属性情報は、キーパッド9により入力する方法および文
字認識により得る方法のほかに、HIS(Hospital Informa
tion System)やRIS(Radiology Information System)と
呼ばれる患者の氏名、IDおよび検査履歴を管理するシス
テムから、ネットワーク25またはシリアルインタフェイ
ス6を介して得ることができる。
Others In addition to the method of inputting attribute information by the keypad 9 and the method of obtaining the information by character recognition, the attribute information is HIS (Hospital Informa
The system can be obtained via a network 25 or a serial interface 6 from a system for managing patient names, IDs, and examination histories, which is called an interaction system or RIS (Radiology Information System).

【0044】また、キーパッド9や文字認識処理により
入力された一部の属性情報などをキーとして、ネットワ
ークやシリアルインタフェイスを介して接続されたコン
ピュータ上のデータベースを検索して、残りの属性情報
や必要な情報を得ることもできる。
Further, a database on a computer connected via a network or a serial interface is searched using the keypad 9 or some attribute information input by the character recognition processing as a key, and the remaining attribute information is retrieved. And necessary information can be obtained.

【0045】[データフォーマット]DICOMフォーマッ
トが扱う属性情報には多数の種類があり、それらはタグ
と呼ばれる4バイトの識別子によって区別される。画像
データも同様のタグによって区別される。つまり、DICO
Mフォーマットで記述されたデータは次の形式で表さ
れ、データ部分にはタグにより識別される属性情報や画
像データが割り付けられる。 タグ(4バイト)+データの長さ(4バイト)+データ(可変長)
+タグ(4バイト)+…+データ(可変長)+終了コード(EOF)
[Data Format] There are many types of attribute information handled by the DICOM format, and these are distinguished by 4-byte identifiers called tags. Image data is also distinguished by similar tags. In other words, DICO
Data described in the M format is expressed in the following format, and attribute information and image data identified by a tag are assigned to the data portion. Tag (4 bytes) + data length (4 bytes) + data (variable length)
+ Tag (4 bytes) +… + data (variable length) + end code (EOF)

【0046】以上説明したように、コンピュータシステ
ムに画像データを出力する機能をもたないモダリティ20
に上記の画像入力装置10を接続すれば、フィルムに記録
された診断画像をフィルムリーダで読み取り、フィルム
リーダによって得られた画像データを例えばDICOMに合
致したフォーマットに変換するなどの作業を不要とし、
ネットワーク25やシリアルインタフェイス6を介して、
容易にコンピュータシステムへ診断画像の画像データを
DICOMフォーマットで出力することができる。
As described above, the modality 20 having no function of outputting image data to the computer system.
If the image input device 10 is connected to the above, the diagnostic image recorded on the film is read by a film reader, and the operation of converting the image data obtained by the film reader into a format conforming to, for example, DICOM is unnecessary,
Via network 25 or serial interface 6
Easily transfer diagnostic image data to a computer system
It can output in DICOM format.

【0047】そして、例えば前述したプリントモードと
出力モードとを設定しておけば、キーパッド9を一度操
作するだけで、モダリティ20などから得た診断画像をイ
メージャ27に出力させるとともに、その診断画像の画像
データをネットワーク25を介してコンピュータシステム
に伝送することができる。
For example, if the print mode and the output mode described above are set, the diagnostic image obtained from the modality 20 or the like is output to the imager 27 by operating the keypad 9 once, and the diagnostic image is output. Can be transmitted to the computer system via the network 25.

【0048】さらに、画像入力装置10によれば、診断画
像に付加された属性情報を文字認識し、認識した属性情
報をキャラクタデータとして出力することができるの
で、診断画像を電子ファイリングする際などに、診断画
像に対応する文字情報やインデックスデータなどを容易
に作成することができる。
Further, according to the image input device 10, the attribute information added to the diagnostic image can be recognized as characters, and the recognized attribute information can be output as character data. In addition, character information and index data corresponding to a diagnostic image can be easily created.

【0049】[画像出力装置の構成]図6は画像出力装
置21の構成例を示すブロック図である。
[Configuration of Image Output Apparatus] FIG. 6 is a block diagram showing a configuration example of the image output apparatus 21.

【0050】図6において、CPU211は、ROM212やHD217な
どに格納された各種のプログラムに基づき、バス214を
介して画像出力装置21全体を制御するとともに、RAM213
をワークメモリとして利用して各種の画像処理や通信処
理を実行する。
In FIG. 6, a CPU 211 controls the entire image output device 21 via a bus 214 based on various programs stored in a ROM 212, an HD 217, and the like.
Is used as a work memory to execute various image processing and communication processing.

【0051】イメージャインタフェイス221は、ネット
ワーク25を介して画像入力装置10やコンピュータ23や24
から送られてくる画像を出力するためのインタフェイス
で、画像入力装置10のイメージャインタフェイス11とほ
ぼ同様の構成および機能を有する。画像の出力方法とし
ては、アナログビデオ信号を出力する方法、所定フォー
マットのディジタル画像データを出力する方法がある
が、イメージャインタフェイス221はその両方に対応し
ている。
The imager interface 221 is connected to the image input device 10 and the computers 23 and 24 via the network 25.
An interface for outputting an image sent from the image input device 10 and having substantially the same configuration and function as the imager interface 11 of the image input device 10. As an image output method, there are a method of outputting an analog video signal and a method of outputting digital image data of a predetermined format, and the imager interface 221 supports both of them.

【0052】CPU211は、ネットワークインタフェイス21
8により受信したDICOMフォーマットの画像データを、一
旦、HD217へスプールし、HD217にスプールしたDICOMフ
ォーマットの画像データからイメージャ22へ送るべき画
像をRAM213上に展開する。そして、RAM213上の画像を、
イメージャ22の仕様に応じて、アナログビデオ信号また
はディジタル画像データとしてイメージャインタフェイ
ス221から出力する。
The CPU 211 is connected to the network interface 21
The DICOM format image data received in step 8 is temporarily spooled to the HD 217, and the image to be sent to the imager 22 is expanded in the RAM 213 from the DICOM format image data spooled in the HD 217. And the image on RAM213 is
The image data is output from the imager interface 221 as an analog video signal or digital image data according to the specifications of the imager 22.

【0053】また、RS232CやRS422などのシリアルイン
タフェイス216にはコンピュータや画像入力装置10を接
続することができ、シリアルインタフェイス216を介し
て、画像出力装置21の動作などを制御するとともに、画
像データを入力することもできる。
A computer or an image input device 10 can be connected to the serial interface 216 such as RS232C or RS422. The operation of the image output device 21 is controlled via the serial interface 216, You can also enter data.

【0054】このように、ネットワーク25などを介して
DICOMフォーマットの画像データを画像出力装置21に送
ることで、その画像出力装置21に接続されたDICOMに未
対応のイメージャ22に診断画像をプリントさせることが
できる。
As described above, via the network 25 or the like
By sending the image data in the DICOM format to the image output device 21, the diagnostic image can be printed by an imager 22 that is not compatible with DICOM connected to the image output device 21.

【0055】さらに、モダリティ20とイメージャ22とを
ネットワーク25を介して接続することにより、イメージ
ャ22を設置する場所の自由度が向上する。例えば、モダ
リティ20が設置されたCT室から離れた診察室近傍にイメ
ージャ22を配置することもでき、そうすれば、CT室で撮
影された診断画像が診察室近傍で出力されるので、CT室
から診察室へ診断画像を運搬するなどの手間が省ける。
Further, by connecting the modality 20 and the imager 22 via the network 25, the degree of freedom of the place where the imager 22 is installed is improved. For example, the imager 22 can be arranged in the vicinity of the examination room away from the CT room in which the modality 20 is installed, so that a diagnostic image taken in the CT room is output in the vicinity of the examination room. Labor such as transporting a diagnostic image from the hospital to the examination room can be saved.

【0056】[0056]

【発明の効果】以上説明したように、本発明によれば、
画像診断装置により得られる画像をコンピュータネット
ワークに供給する画像処理装置およびその方法を提供す
ることができる。
As described above, according to the present invention,
An image processing apparatus and method for supplying an image obtained by an image diagnostic apparatus to a computer network can be provided.

【図面の簡単な説明】[Brief description of the drawings]

【図1】診断画像の一例を示す写真、FIG. 1 is a photograph showing an example of a diagnostic image,

【図2】本発明にかかる画像入力装置の構成例を示すブ
ロック図、
FIG. 2 is a block diagram showing a configuration example of an image input device according to the present invention;

【図3】図2に示すキーパッドの表示画面の一例を示す
図、
FIG. 3 is a view showing an example of a display screen of the keypad shown in FIG. 2;

【図4】画像入力装置による画像の入出力処理の一例を
示すフローチャート、
FIG. 4 is a flowchart showing an example of image input / output processing by the image input device;

【図5】画像入力装置による文字認識処理の一例を示す
フローチャート、
FIG. 5 is a flowchart illustrating an example of a character recognition process performed by the image input device;

【図6】図2に示す画像出力装置の構成例を示すブロッ
ク図、
FIG. 6 is a block diagram showing a configuration example of the image output device shown in FIG. 2;

【図7】画像入力装置による文字パターンの分離処理の
一例を示すフローチャートである。
FIG. 7 is a flowchart illustrating an example of a character pattern separation process performed by the image input device.

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 コンピュータネットワークに接続される
画像処理装置であって、 画像診断装置から画像を入力する入力手段と、 前記入力画像を所定フォーマットの画像データに変換す
る変換手段と、 前記画像データを前記コンピュータネットワークに出力
する制御手段とを有することを特徴とする画像処理装
置。
1. An image processing apparatus connected to a computer network, comprising: input means for inputting an image from an image diagnostic apparatus; conversion means for converting the input image into image data of a predetermined format; Control means for outputting to the computer network.
【請求項2】 さらに、前記入力画像または前記画像デ
ータを記録媒体に可視像を形成する画像形成装置に出力
する出力手段を有し、 前記コンピュータネットワークへの画像データの出力
と、前記出力手段による画像または画像データの出力と
は、略同時に行うことができることを特徴とする請求項
1に記載された画像処理装置。
2. An output unit for outputting the input image or the image data to an image forming apparatus for forming a visible image on a recording medium, wherein the output unit outputs the image data to the computer network and the output unit And outputting the image or the image data by the method can be performed substantially simultaneously.
The image processing device according to 1.
【請求項3】 前記制御手段は、前記コンピュータネッ
トワークから前記所定フォーマットの画像データを入力
することを特徴とする請求項1または請求項2の何れかに
記載された画像処理装置。
3. The image processing apparatus according to claim 1, wherein the control unit inputs the image data of the predetermined format from the computer network.
【請求項4】 さらに、画像または画像データに付加さ
れた文字情報を認識する認識手段を有し、 認識された文字情報は、前記制御手段により、前記コン
ピュータネットワークへ出力されることを特徴とする請
求項1から請求項3の何れかに記載された画像処理装置。
4. The image processing apparatus according to claim 1, further comprising a recognition unit configured to recognize character information added to the image or the image data, wherein the recognized character information is output to the computer network by the control unit. The image processing device according to claim 1.
【請求項5】 コンピュータネットワークに接続される
画像処理装置の画像処理方法であって、 画像診断装置から画像を入力し、 前記入力画像を所定フォーマットの画像データに変換
し、 前記画像データを前記コンピュータネットワークに出力
することを特徴とする画像処理方法。
5. An image processing method for an image processing apparatus connected to a computer network, comprising: inputting an image from an image diagnostic apparatus; converting the input image into image data of a predetermined format; An image processing method for outputting to a network.
【請求項6】 コンピュータネットワークに接続される
画像処理装置によって実行される画像処理のプログラム
コードが記録された記録媒体であって、 画像診断装置から画像を入力するステップのコードと、 前記入力画像を所定フォーマットの画像データに変換す
るステップのコードと、 前記画像データを前記コンピュータネットワークに出力
するステップのコードとを有することを特徴とする記録
媒体。
6. A recording medium on which a program code for image processing executed by an image processing apparatus connected to a computer network is recorded, wherein a code for inputting an image from an image diagnostic apparatus is provided. A recording medium, comprising: a code for converting image data into a predetermined format; and a code for outputting the image data to the computer network.
JP24432497A 1997-09-09 1997-09-09 Image processing apparatus and method Expired - Lifetime JP3783895B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24432497A JP3783895B2 (en) 1997-09-09 1997-09-09 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24432497A JP3783895B2 (en) 1997-09-09 1997-09-09 Image processing apparatus and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006010225A Division JP4104017B2 (en) 2006-01-18 2006-01-18 Medical electronic device and method for recognizing diagnostic attribute information thereof

Publications (2)

Publication Number Publication Date
JPH1188589A true JPH1188589A (en) 1999-03-30
JP3783895B2 JP3783895B2 (en) 2006-06-07

Family

ID=17117029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24432497A Expired - Lifetime JP3783895B2 (en) 1997-09-09 1997-09-09 Image processing apparatus and method

Country Status (1)

Country Link
JP (1) JP3783895B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253539A (en) * 2001-03-05 2002-09-10 Nippon Telegr & Teleph Corp <Ntt> Medical image identification system, medical image identification processing method, program for medical image identification, and recording medium therefor
JP2002329190A (en) * 2001-04-26 2002-11-15 Doctor Net:Kk Remote image reading system, its method, method for storing and managing medical image, and medical image server
US6954802B2 (en) * 1998-09-29 2005-10-11 Tdk Electronics Corporation Removable media recording station for the medical industry
JP2012194827A (en) * 2011-03-17 2012-10-11 Pfu Ltd Image formation system, image formation device, image processing method, and program
JP2017032683A (en) * 2015-07-30 2017-02-09 株式会社沖データ Image processing device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6954802B2 (en) * 1998-09-29 2005-10-11 Tdk Electronics Corporation Removable media recording station for the medical industry
JP2002253539A (en) * 2001-03-05 2002-09-10 Nippon Telegr & Teleph Corp <Ntt> Medical image identification system, medical image identification processing method, program for medical image identification, and recording medium therefor
JP4545971B2 (en) * 2001-03-05 2010-09-15 日本電信電話株式会社 Medical image identification system, medical image identification processing method, medical image identification program, and recording medium thereof
JP2002329190A (en) * 2001-04-26 2002-11-15 Doctor Net:Kk Remote image reading system, its method, method for storing and managing medical image, and medical image server
JP2012194827A (en) * 2011-03-17 2012-10-11 Pfu Ltd Image formation system, image formation device, image processing method, and program
JP2017032683A (en) * 2015-07-30 2017-02-09 株式会社沖データ Image processing device

Also Published As

Publication number Publication date
JP3783895B2 (en) 2006-06-07

Similar Documents

Publication Publication Date Title
EP0952726B1 (en) Method and system for associating exposed radiographic films with proper patient information
US7840041B2 (en) Device for converting medical image data
JP5390805B2 (en) OUTPUT DEVICE AND METHOD, PROGRAM, AND RECORDING MEDIUM
JP2002531198A (en) DICOM compliant file communication including quantitative and image data
JP2002102225A (en) Image pickup system having means of preparing/managing/ selecting examination description list
JP2005149107A (en) Medical image management system
KR100438725B1 (en) Method and apparatus for printing image using memory card
WO2007060856A1 (en) Diagnostic record information management system and diagnostic record information management method
EP1849404A1 (en) Medical image system
JP3783895B2 (en) Image processing apparatus and method
US7174515B1 (en) Method and apparatus for independent display in a computer-aided detection system
JP4104017B2 (en) Medical electronic device and method for recognizing diagnostic attribute information thereof
EP1486917A2 (en) Medical image processing system and method
US7385217B2 (en) Radiation image photographing system
JP2000107160A (en) Medical imager, medical imaging system and medical imaging method
JP2007058628A (en) Medical information processor, medical information processing system and medical information processing program
JP7443929B2 (en) Medical diagnosis support device, medical diagnosis support program, and medical diagnosis support method
JP2000268055A (en) Method and system for transferring image
JP2007020851A (en) Medical image output device
JPH06332999A (en) Film picture reader and read photograph report input device
JP2002199144A (en) Device, system and method for processing image and storage medium
JP5962489B2 (en) Medical image management system and image reading apparatus
JP2000207530A (en) Medical image filing device
JPH1131187A (en) Diagnostic report generating system
JP6958378B2 (en) Programs and processing equipment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 19980205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060118

TRDD Decision of grant or rejection written
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20060203

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060210

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090324

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120324

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120324

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150324

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term