JP4545971B2 - Medical image identification system, medical image identification processing method, medical image identification program, and recording medium thereof - Google Patents

Medical image identification system, medical image identification processing method, medical image identification program, and recording medium thereof Download PDF

Info

Publication number
JP4545971B2
JP4545971B2 JP2001059426A JP2001059426A JP4545971B2 JP 4545971 B2 JP4545971 B2 JP 4545971B2 JP 2001059426 A JP2001059426 A JP 2001059426A JP 2001059426 A JP2001059426 A JP 2001059426A JP 4545971 B2 JP4545971 B2 JP 4545971B2
Authority
JP
Japan
Prior art keywords
image
template
input image
template image
management information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001059426A
Other languages
Japanese (ja)
Other versions
JP2002253539A (en
Inventor
健太郎 清水
恭子 数藤
行恭 飯田
作一 大塚
敦 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
NTT Communications Corp
Nippon Telegraph and Telephone East Corp
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Communications Corp
Nippon Telegraph and Telephone East Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Communications Corp, Nippon Telegraph and Telephone East Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2001059426A priority Critical patent/JP4545971B2/en
Publication of JP2002253539A publication Critical patent/JP2002253539A/en
Application granted granted Critical
Publication of JP4545971B2 publication Critical patent/JP4545971B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は,医用画像を記憶し管理するシステムに関し,特に,CR(Computed Radiology),CT,MRI,フィルムディジタイザ等の様々な撮像装置からの医用画像を保管し伝送する医用画像蓄積通信システム(PACS)において,医用画像の管理情報と医用画像から特徴抽出して得られる情報とから,該医用画像に関して撮像装置,撮像部位,撮像方向の情報を識別し,管理情報に付加する医用画像識別システムに関する。
【0002】
【従来の技術】
医用画像蓄積通信システムにおいては,撮像装置からの医用画像に対し,患者ID,撮影日,撮像装置等の情報を管理情報として付加し,保管している。この管理情報は標準のフォーマット(DICOM3)に基づいて記録されているが,これらの管理情報は,医師や検査技師等の医療スタッフが入力しており,必須項目でない撮像部位や撮像方向の情報,あるいは,フィルムディジタイザによって入力された医用画像についてはオリジナル撮像装置の情報が記録されないことが多い。
【0003】
診療や症例研究を効果的に進めていくためには膨大な量の医用画像を様々な角度から効率よく検索,分類することが必要であり,患者IDや撮影日の他,撮像装置,撮像部位,撮像方向等が正しく記録されるなどの管理情報の充実が望まれている。
【0004】
医用画像から画像処理技術を用いてその特徴を抽出し,画像の分類や管理情報を付加する発明として,(1) 特開平4−329479「画像特徴分類装置」および(2) 特開平10−21369「医療画像管理装置および方法」がある。
【0005】
(1) は,スペクトル情報を用いて画像特徴を分類するものであるが,分類対象や分類結果に対する利用方法については具体的に記載されてない。したがって,この発明の技術内容も一般的,抽象的に述べられており,撮像装置・撮像部位・撮像方向識別にあたっての課題を解決できる発明ではない。
【0006】
また(2) は,医用画像の認識を行い,管理情報を付加するという目的は本発明と一致はするが,医用画像の中に写し込まれている患者氏名や患者ID,撮影日などの文字情報を認識対象としている。また,認識時の誤りを,同一患者の画像は組になって保管されるということや,連続した画像には連続した通番号が付加されるなどの規則を用いて修正するという発明であり,本発明のように撮像装置・撮像部位・撮像方向に関する具体的な識別手法は示されていない。
【0007】
【発明が解決しようとする課題】
上述したように,従来,医用画像から画像処理によって自動的に撮像装置,撮像部位,撮像方向の撮像属性情報を抽出し管理情報に付加する技術は用いられていなかった。本発明は,このような撮像属性情報を自動的に管理情報として医用画像に付加することを目的とし,医用画像の管理情報に含まれている画像のサイズ等の情報と画像特徴抽出により該医用画像を識別し,その結果の撮像属性情報を管理情報に付加することで,膨大な量の医用画像を効率的に管理していく手段を提供するものである。
【0008】
【課題を解決するための手段】
以上述べた課題を解決するため,本発明の医用画像識別システムは,入力画像から画像中の矩形領域を切り出し,少なくとも入力画像のサイズ,矩形領域のサイズ,矩形領域の個数により入力画像を分類する手段と,該分類ごとに識別すべきカテゴリに関するテンプレート画像を記憶する手段と,該記憶手段から入力画像の分類結果を用いて識別の候補となる複数のカテゴリのテンプレート画像を選択する手段と,選択されたテンプレート画像と入力画像とを比較し,最もよく一致するテンプレート画像のカテゴリを判定する画像識別手段と,上記テンプレート画像が有する管理情報を入力画像の管理情報に付加する手段とを有することを特徴とする。
【0009】
また,上記テンプレート画像が有する管理情報は,少なくとも撮像装置,撮像部位,撮像方向を含むことを特徴とする。
【0010】
また,テンプレート画像を記憶する手段は,カテゴリ毎に標準となる画像を複数区画に分割し,該区画内画素の濃淡値の平均値を区画の濃度として持つモザイク画像からなるテンプレート画像を保持することを特徴とする。
【0011】
上記テンプレート画像は,撮像装置,撮像方向,撮像条件,撮像部位で分けられたカテゴリに応じて複数用意されることを特徴とする。
【0012】
また,本発明の画像識別手段は,入力画像を分類する手段からの情報に基づき選択されたテンプレート画像に対応させて入力画像をモザイク画像に変換し,該変換画像とテンプレート画像の重ね合わせから最もよく一致するテンプレート画像のカテゴリを判定することを特徴とする。
【0013】
以上の各手段は,コンピュータとそのコンピュータに実行させるソフトウェア・プログラムによって実現することができる。そのソフトウェア・プログラムは,コンピュータが読み取り可能な可搬媒体メモリ,半導体メモリ,ハードディスクなどの適当な記録媒体に格納することができる。
【0014】
【発明の実施の形態】
以下,図を参照しながら本発明の実施の形態を詳細に説明する。
【0015】
図1に,本システムの構成例を示す。本システムの画像分類部11は,管理情報として記録されている画像サイズと,画像処理により抽出した矩形領域数および矩形領域のサイズの情報をテンプレート画像選択部13に送るとともに,入力画像を画像識別部12に送る。
【0016】
テンプレート画像選択部13は,画像分類部11から送られてきた情報をもとに,入力画像の撮像装置,撮像部位,撮像方向を判定するのに適したカテゴリのテンプレート画像をテンプレート画像記憶部14から選択し,画像識別部12に送る。テンプレート画像記憶部14では,カテゴリのテンプレート画像は予め濃度の正規化と最適なブロック数でモザイク画像の形で記憶される。
【0017】
図2に,モザイク画像の例を示す。ここで,モザイク画像を識別すべきカテゴリのテンプレート画像としたのは,同一部位の画像であっても,個人差によって形が異なるため,画像をぼかしてこの微妙な違いを吸収するためである。モザイク画像は,Nx ×Ny のブロック数(Nx ,Ny はそれぞれ横方向,縦方向の分割数)で作成されるが,このブロック数は対象となる部位ごとに最適な値を設定することができる。最適なブロック数を決める方法として,例えばあらかじめ各部位ごとに何通りかのブロック数について試行実験を行い,最もよい結果の得られるブロック数を,各部位に適したモザイク画像のブロック数とする方法を用いることができる。
【0018】
画像識別部12は,入力された画像の濃度を正規化し,選択されたテンプレート画像に応じてNx ×Ny のモザイク画像に変換し選択された候補カテゴリの複数のテンプレート画像を重ね合わせ,最もよく重なり合うテンプレート画像のカテゴリを管理情報付加部15へ出力する。管理情報付加部15では,画像識別部12から入力されたカテゴリに対応する撮像装置,撮像部位,撮像方向の情報を抽出し画像の管理情報に付加する。
【0019】
次に,図1の画像分類部11で行う処理の詳細について述べる。フィルムディジタイザにより取り込まれた画像では,X線撮影・CRの場合,1枚の画像は2000×2000画素〜4000×4000画素であり,一方,CT・MRIの画像は,1枚が512×512画素であるため,画像の中に取り込まれた撮像部位の数は,X線撮影・CRの画像と,CT・MRIの画像とでは,図3に示すように異なり,図中の矩形領域の数によって分類できる。ここで具体的な矩形領域の数の計数は,図4に示すようにX軸,Y軸方向に画素の濃淡値を加算した値をX軸,Y軸に射影した濃度ヒストグラムのピークの数を計測することにより行う。
【0020】
撮像属性を判定するために用意されるカテゴリの具体例について,図5,図6を用いて説明する。図5の7種類の画像は,全て頭部を撮影した画像である。正面,側面の他に,副鼻腔,顎,下方向からの撮影や,1画像に4枚同時に焼き付けたりする場合や,耳のように局所的な部位を撮影する場合もある。頭部だけで方向や条件,部位によって,このように7種類のカテゴリが存在する。
【0021】
本システムでは,頭部の他に,首,胸部,腹部,腰部,骨盤,肩,鎖骨,肋骨,上腕,肘,前腕,手首,手,股間,大腿骨,膝,下腿骨,足首,足の19の部位について,撮像装置,撮像方向,撮像条件,局所的な部位に応じてカテゴリを設定でき,複数のカテゴリのテンプレート画像を記憶する。
【0022】
このような各カテゴリのテンプレート画像群を管理するための情報として,矩形領域の数,矩形領域のサイズ,画像サイズなどの情報を持つ。この情報は,画像分類部11において出力された情報と照らし合わせるために用いられる情報であり,例えば矩形領域数=4,矩形領域サイズ=1800×1800以下,画像サイズ=2000×2000というような情報からなる。テンプレート画像群を管理するための情報として,さらに例えば患者の年齢,患者の性別などの他の情報を用いてもよい。この場合,画像分類部11では,画像のヘッダなどから分類に必要な情報を抽出する。
【0023】
このような各カテゴリのテンプレート画像群を管理するための情報は,実際に入力画像に対して管理情報として記録されることはなく,システムが判別を効率化するために用いられる。すなわち,マッチング対象となるテンプレート画像を絞り込むために用いられる。
【0024】
一方,各テンプレート画像には,入力画像に付加するための管理情報があらかじめ設定される。このテンプレート画像の管理情報は,画像ファイルにヘッダとして記録される情報全般であって,特に本システムで利用する管理情報は,撮像部位,撮像方向,撮像装置の三つの情報を含む。図5の例で説明すると,図5の画像は,すべて頭部・CR撮影の画像であるので,例えば図5(a)の管理情報は,「撮像部位:頭部,撮像方向:正面,撮像装置:CR」となる。同様に,図5(b)の管理情報は,「撮像部位:頭部,撮像方向:側面,撮像装置:CR」となる。
【0025】
なお,撮像方向については,正面・側面を基本としているが,現場の要求により,斜め方向や下方向(例えば図5の(d)や(e)など)として判別し,管理情報として記録することも可能である。デフォルトでは,斜め方向は側面,下方向は正面として記録している。
【0026】
図6は,画像に写り込む枠の形を表している。ここに示すような,画像の対角線上に被写体を写さなければ全体が入らない大腿骨,下腿骨,上腕骨のように斜めに枠が写り込む画像と,局所的な部位を撮影する耳のように丸い枠が写り込む画像のように,部位によって特徴的な枠が写り込む画像については,枠を削除せずそのままテンプレート画像として記憶する。斜め枠と丸い枠の他にも,部位によって特徴的な枠が写り込む画像がある場合には,テンプレート画像記憶部14において,枠を含めてテンプレート画像として記憶する。
【0027】
また,テンプレート画像選択部13は,画像分類部11から送られてくる画像のサイズ,矩形領域数,矩形サイズ情報から,テンプレート画像記憶部14に記憶されているその該情報に対応するカテゴリのテンプレート画像群を選択する。
例えば,図5の頭部の画像(f)の場合には,4つの矩形領域を持ち,画像サイズが4000×4000画素であるので,X線撮影装置かCRをオリジナル撮像装置とする医用画像を4枚同時に焼き付けている画像のカテゴリを選択することになる。
【0028】
図7は,画像識別部12の構成例を示したものである。入力画像の濃淡情報は撮像条件の違いにより変化するため,図7の画像識別部12内の濃度正規化部121において,入力画像の濃淡情報を正規化する。正規化の具体例を図8に示す。この濃淡画像の正規化では,画像の各画素の濃度値xに対して,その画像の濃度の平均値Nを引き,標準偏差Sで割った値を正規化された値とする。式で表すと,正規化された画素値Xは,以下のようになる。
【0029】
X=(x−N)/S
ここで,Xは正規化された画素値,xは正規化前の画素値,Nは画素値の平均値,Sは画素値の標準偏差値である。
【0030】
モザイク画像作成部122では,選択されたテンプレート画像のブロック数Nx ×Ny と同じブロックサイズを用いて,入力画像をモザイク画像に変換し,サイズ調整部123で入力画像のサイズ調整を個人差による大きさを考慮して行い,それとテンプレート画像とを,ずらしマッチング部124で重ね合わせにより比較し,最もよく重なったテンプレート画像の示すカテゴリを,入力画像の属するカテゴリと判断する。
【0031】
ここでの重ね合わせにおいては,入力画像にテンプレート画像を左上から右下方向へずらしながら重ねていき,もっとも重なっている部分を識別結果として出力する。厳密には,入力画像をg,テンプレート画像をf,テンプレート画像の横方向ブロック数をNx ,縦方向ブロック数をNy ,サイズ調整部123でかけられる調整計数をs,ずらしマッチング部124における縦横方向のずれ量をそれぞれx,y,テンプレート画像選択部13からの出力により決定される重みをW,テンプレート画像の総ブロック数をN(=Nx ・Ny )として,画像識別部12は,次の式で示す識別関数により,残差rを出力する。
【0032】
【数1】

Figure 0004545971
【0033】
そして,画像分類部11から画像識別部12に入力された画像と選択されたテンプレート全てを重ね合わせ,残差rが最小となったテンプレートの属するカテゴリが有する管理情報を,入力画像の管理情報とする。この結果をもとに,管理情報付加部15において,画像識別部12の出力を医用画像の管理情報として付加する。
【0034】
図9に,本発明の実施の形態の処理フローチャートを示す。ステップS1では,画像ファイルを入力し,画像情報を取得するとともに,画像の分類に使用するために,画像のヘッダからサイズ情報を抽出する。ステップS2では,図4を用いて説明したような濃度ヒストグラムのピークの数を計測することにより,矩形領域の数,矩形領域のサイズを求める。
【0035】
次に,ステップS3では,画像のサイズ,矩形領域の数,矩形領域のサイズ情報をもとに,該当する分類のテンプレート画像群を選択する。ステップS4では,入力画像とテンプレート画像とのマッチングのための準備として,入力画像の濃淡画像を正規化し,続くステップS5において,入力画像をモザイク画像に変換する。
【0036】
ステップS6では,ステップS3で選択したテンプレート画像群のすべてのテンプレート画像の中で,入力画像を変換したモザイク画像に最もよく一致するテンプレート画像を,ずらしマッチングなどを用いて探す。ステップS7では,最もよく一致するテンプレート画像にあらかじめ付与されていた管理情報を,入力画像の管理情報として付加する。
【0037】
以上の処理をコンピュータに実行させるためのプログラムは,コンピュータが読み取り可能な可搬媒体メモリ,半導体メモリ,ハードディスクなどの適当な記録媒体に格納することができる。
【0038】
【発明の効果】
以上のように,本発明によれば,医用画像の撮像装置,撮像部位,撮影条件,撮像方向毎にあらかじめ設定したカテゴリのテンプレート画像を用いて入力画像のモザイク画像とマッチングを行い,最もよく一致するカテゴリの撮像属性情報を管理情報として付加することで,医用画像データの効率的な検索や分類手段を提供することが可能になる。
【図面の簡単な説明】
【図1】医用画像識別システムの構成例を示す図である。
【図2】モザイク画像の例である。
【図3】撮像装置毎の矩形領域の違いを示す図である。
【図4】矩形領域切り出しに用いる濃度ヒストグラムの図である。
【図5】頭部のカテゴリを示す図である。
【図6】枠の形状の例を示す図である。
【図7】画像識別部の詳細な構成例を示す図である。
【図8】濃度正規化の例を示す図である。
【図9】本発明の実施の形態の処理フローチャートである。
【符号の説明】
11 画像分類部
12 画像識別部
13 テンプレート画像選択部
14 テンプレート画像記憶部
15 管理情報付加部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a system for storing and managing medical images, and in particular, a medical image storage communication system (PACS) that stores and transmits medical images from various imaging devices such as CR (Computed Radiology), CT, MRI, and film digitizer. The medical image identification system for identifying the information on the imaging device, the imaging region, and the imaging direction with respect to the medical image from the management information of the medical image and the information obtained by extracting the feature from the medical image, and adding the information to the management information .
[0002]
[Prior art]
In a medical image storage communication system, information such as a patient ID, an imaging date, and an imaging device is added as management information to a medical image from the imaging device and stored. Although this management information is recorded based on a standard format (DICOM3), the management information is input by medical staff such as doctors and laboratory technicians, and information on imaging parts and imaging directions that are not essential items, Alternatively, in many cases, the information of the original imaging device is not recorded for medical images input by a film digitizer.
[0003]
In order to effectively proceed with medical care and case studies, it is necessary to efficiently search and classify a huge amount of medical images from various angles. In addition to patient IDs and imaging dates, imaging devices and imaging sites Therefore, enhancement of management information such as the correct recording of the imaging direction is desired.
[0004]
As inventions for extracting features from medical images using image processing technology and adding image classification and management information, (1) Japanese Patent Laid-Open No. 4-329479 “Image Feature Classification Device” and (2) Japanese Patent Laid-Open No. 10-21369 There is a “medical image management apparatus and method”.
[0005]
(1) classifies image features using spectral information, but does not specifically describe how to use the classification target or classification results. Therefore, the technical contents of the present invention are also described generally and abstractly, and are not inventions that can solve the problems in identifying the imaging device, imaging site, and imaging direction.
[0006]
In (2), the purpose of recognizing a medical image and adding management information is consistent with the present invention, but characters such as a patient name, a patient ID, and a photographing date are copied in the medical image. Information is to be recognized. The invention also corrects errors during recognition by using rules such as storing images of the same patient in pairs and adding consecutive serial numbers to consecutive images. As in the present invention, a specific identification method regarding the imaging device, the imaging region, and the imaging direction is not shown.
[0007]
[Problems to be solved by the invention]
As described above, conventionally, a technique for automatically extracting imaging attribute information of an imaging device, an imaging site, and an imaging direction from a medical image and adding it to management information has not been used. An object of the present invention is to automatically add such imaging attribute information as management information to a medical image, and the medical image is extracted by extracting information such as the size of the image and the image feature contained in the management information of the medical image. By identifying an image and adding the resulting imaging attribute information to the management information, a means for efficiently managing an enormous amount of medical images is provided.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problems, the medical image identification system of the present invention cuts out a rectangular area from an input image and classifies the input image based on at least the size of the input image, the size of the rectangular area, and the number of rectangular areas. Means for storing a template image relating to a category to be identified for each classification; means for selecting a template image of a plurality of categories that are candidates for identification from the storage means using the classification result of the input image; and An image identification unit that compares the template image and the input image and determines the category of the template image that best matches, and a unit that adds the management information of the template image to the management information of the input image Features.
[0009]
The management information included in the template image includes at least an imaging device, an imaging region, and an imaging direction .
[0010]
Further, the means for storing the template image divides the standard image for each category into a plurality of sections, and holds a template image composed of a mosaic image having the average value of the gray values of the pixels in the section as the section density. It is characterized by.
[0011]
A plurality of the template images are prepared according to categories classified by the imaging device, imaging direction, imaging conditions, and imaging region.
[0012]
Further, the image identification means of the present invention converts the input image into a mosaic image corresponding to the template image selected based on the information from the means for classifying the input image, and the most from the superposition of the converted image and the template image. The template image category that matches well is determined.
[0013]
Each of the above means can be realized by a computer and a software program executed by the computer. The software program can be stored in an appropriate recording medium such as a portable medium readable by a computer, a semiconductor memory, or a hard disk.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0015]
FIG. 1 shows a configuration example of this system. The image classification unit 11 of this system sends the image size recorded as management information, the number of rectangular areas extracted by image processing, and the size of the rectangular area to the template image selection unit 13 and also identifies the input image as an image identification. Send to part 12.
[0016]
Based on the information sent from the image classification unit 11, the template image selection unit 13 selects a template image of a category suitable for determining the imaging device, imaging site, and imaging direction of the input image, as the template image storage unit 14. And sent to the image identification unit 12. In the template image storage unit 14, category template images are stored in the form of mosaic images with density normalization and the optimum number of blocks in advance.
[0017]
FIG. 2 shows an example of a mosaic image. Here, the mosaic image is selected as the template image of the category to be identified, because even the images of the same part have different shapes depending on individual differences, so that the image is blurred to absorb this subtle difference. A mosaic image is created with the number of blocks of Nx × Ny (Nx and Ny are the number of divisions in the horizontal and vertical directions, respectively), and this block number can be set to an optimum value for each target part. . As a method for determining the optimum number of blocks, for example, a trial experiment is performed in advance for several blocks for each part, and the number of blocks with the best result is determined as the number of blocks of a mosaic image suitable for each part. Can be used.
[0018]
The image identification unit 12 normalizes the density of the input image, converts it into an Nx × Ny mosaic image according to the selected template image, and superimposes the plurality of template images of the selected candidate category, and best overlaps them. The category of the template image is output to the management information adding unit 15. The management information adding unit 15 extracts information about an imaging device, an imaging region, and an imaging direction corresponding to the category input from the image identification unit 12 and adds the information to the image management information.
[0019]
Next, details of processing performed by the image classification unit 11 of FIG. 1 will be described. In the image captured by the film digitizer, in the case of X-ray imaging / CR, one image is 2000 × 2000 pixels to 4000 × 4000 pixels, while one image of CT / MRI is 512 × 512 pixels. Therefore, the number of imaging parts captured in the image differs between the X-ray imaging / CR image and the CT / MRI image as shown in FIG. 3 and depends on the number of rectangular regions in the figure. Can be classified. Here, the specific number of rectangular areas is counted by calculating the number of peaks in the density histogram obtained by projecting the values obtained by adding the pixel grayscale values in the X-axis and Y-axis directions to the X-axis and Y-axis as shown in FIG. This is done by measuring.
[0020]
Specific examples of categories prepared for determining the imaging attribute will be described with reference to FIGS. The seven types of images in FIG. 5 are all images of the head. In addition to the front and side surfaces, there are also cases where images are taken from the sinuses, jaws, and downwards, when four images are simultaneously printed on one image, or where a local part such as an ear is imaged. There are seven types of categories in this way depending on the direction, conditions, and parts of the head alone.
[0021]
In this system, in addition to the head, neck, chest, abdomen, waist, pelvis, shoulder, clavicle, rib, upper arm, elbow, forearm, wrist, hand, crotch, femur, knee, lower leg bone, ankle and foot For 19 sites, categories can be set according to the imaging device, imaging direction, imaging conditions, and local sites, and template images of a plurality of categories are stored.
[0022]
Information for managing the template image group of each category includes information such as the number of rectangular areas, the size of the rectangular areas, and the image size. This information is information used to collate with the information output in the image classification unit 11. For example, information such as the number of rectangular areas = 4, the rectangular area size = 1800 × 1800 or less, and the image size = 2000 × 2000. Consists of. As information for managing the template image group, other information such as the age of the patient and the sex of the patient may be used. In this case, the image classification unit 11 extracts information necessary for classification from the header of the image.
[0023]
Such information for managing the template image group of each category is not actually recorded as management information for the input image, but is used by the system for efficient discrimination. That is, it is used for narrowing down template images to be matched.
[0024]
On the other hand, management information to be added to the input image is set in advance for each template image. The management information of the template image is general information recorded as a header in the image file. In particular, the management information used in the present system includes three pieces of information of an imaging part, an imaging direction, and an imaging device. In the example of FIG. 5, since all the images in FIG. 5 are images of the head and CR imaging, for example, the management information in FIG. 5A includes “imaging region: head, imaging direction: front, imaging. Device: CR ". Similarly, the management information in FIG. 5B is “imaging region: head, imaging direction: side, imaging device: CR”.
[0025]
The imaging direction is basically the front and side, but depending on the site requirements, it is discriminated as an oblique direction or a downward direction (for example, (d) or (e) in FIG. 5) and recorded as management information. Is also possible. By default, the diagonal direction is recorded as the side and the downward direction is recorded as the front.
[0026]
FIG. 6 shows the shape of a frame that appears in the image. As shown here, an image of a frame that appears diagonally, such as the femur, crus, and humerus, where the entire subject cannot enter unless the subject is photographed on the diagonal of the image, and the ear that captures the local part Thus, an image in which a characteristic frame is reflected depending on the part, such as an image in which a round frame is reflected, is stored as a template image without deleting the frame. In addition to the diagonal frame and the round frame, when there is an image in which a characteristic frame is reflected depending on the part, the template image storage unit 14 stores the image including the frame as a template image.
[0027]
Further, the template image selection unit 13 determines the template of the category corresponding to the information stored in the template image storage unit 14 from the image size, the number of rectangular areas, and the rectangular size information sent from the image classification unit 11. Select an image group.
For example, in the case of the image (f) of the head in FIG. 5, since it has four rectangular areas and the image size is 4000 × 4000 pixels, a medical image having an X-ray imaging apparatus or CR as the original imaging apparatus is obtained. The category of images that are simultaneously printed on four images is selected.
[0028]
FIG. 7 shows a configuration example of the image identification unit 12. Since the density information of the input image changes depending on the imaging conditions, the density normalization unit 121 in the image identification unit 12 in FIG. 7 normalizes the density information of the input image. A specific example of normalization is shown in FIG. In normalization of the grayscale image, the average value N of the density of the image is subtracted from the density value x of each pixel of the image, and a value obtained by dividing by the standard deviation S is used as a normalized value. Expressed as an expression, the normalized pixel value X is as follows.
[0029]
X = (x−N) / S
Here, X is a normalized pixel value, x is a pixel value before normalization, N is an average value of pixel values, and S is a standard deviation value of pixel values.
[0030]
The mosaic image creation unit 122 converts the input image into a mosaic image using the same block size as the number of blocks Nx × Ny of the selected template image, and the size adjustment unit 123 adjusts the size of the input image according to individual differences. This is performed in consideration of the above, and the template image is compared with the superposition by the shift matching unit 124, and the category indicated by the most overlapped template image is determined as the category to which the input image belongs.
[0031]
In the superimposition here, the template image is superimposed on the input image while shifting from the upper left to the lower right, and the most overlapped portion is output as the identification result. Strictly speaking, the input image is g, the template image is f, the number of horizontal blocks of the template image is Nx, the number of vertical blocks is Ny, the adjustment count multiplied by the size adjustment unit 123 is s, and the vertical and horizontal directions in the shift matching unit 124 are The image discriminating unit 12 is represented by the following equation, where x and y are the amounts of deviation, W is the weight determined by the output from the template image selection unit 13, and N (= Nx · Ny) is the total number of blocks in the template image. The residual r is output according to the discriminant function shown.
[0032]
[Expression 1]
Figure 0004545971
[0033]
Then, the image input from the image classification unit 11 to the image identification unit 12 is superposed on all the selected templates, and the management information of the category to which the template having the smallest residual r belongs is set as the management information of the input image. To do. Based on this result, the management information adding unit 15 adds the output of the image identifying unit 12 as management information for the medical image.
[0034]
FIG. 9 shows a process flowchart of the embodiment of the present invention. In step S1, an image file is input, image information is acquired, and size information is extracted from the header of the image for use in image classification. In step S2, the number of rectangular areas and the size of the rectangular area are obtained by measuring the number of peaks in the density histogram as described with reference to FIG.
[0035]
Next, in step S3, a template image group of the corresponding classification is selected based on the image size, the number of rectangular areas, and the size information of the rectangular areas. In step S4, as a preparation for matching between the input image and the template image, the grayscale image of the input image is normalized, and in the subsequent step S5, the input image is converted into a mosaic image.
[0036]
In step S6, among all the template images of the template image group selected in step S3, a template image that best matches the mosaic image obtained by converting the input image is searched using shift matching or the like. In step S7, management information previously assigned to the best matching template image is added as management information for the input image.
[0037]
A program for causing a computer to execute the above processing can be stored in an appropriate recording medium such as a portable medium memory, a semiconductor memory, or a hard disk readable by the computer.
[0038]
【The invention's effect】
As described above, according to the present invention, matching with the mosaic image of the input image is performed by using the template image of the category set in advance for each imaging device, imaging region, imaging condition, and imaging direction of the medical image. By adding the imaging attribute information of the category to be managed as management information, it is possible to provide an efficient search and classification means for medical image data.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a medical image identification system.
FIG. 2 is an example of a mosaic image.
FIG. 3 is a diagram illustrating a difference in a rectangular area for each imaging apparatus.
FIG. 4 is a density histogram used for cutting out a rectangular area;
FIG. 5 is a diagram showing head categories.
FIG. 6 is a diagram illustrating an example of the shape of a frame.
FIG. 7 is a diagram illustrating a detailed configuration example of an image identification unit.
FIG. 8 is a diagram illustrating an example of density normalization.
FIG. 9 is a process flowchart according to the embodiment of the present invention.
[Explanation of symbols]
11 Image classification unit 12 Image identification unit 13 Template image selection unit 14 Template image storage unit 15 Management information addition unit

Claims (7)

医用画像を記憶・管理するシステムであって,
入力画像から画像中の矩形領域を切り出し,少なくとも入力画像のサイズ,矩形領域のサイズ,矩形領域の個数により入力画像を分類する手段と,
該分類ごとに識別すべきカテゴリに関するテンプレート画像を記憶するテンプレート画像記憶手段と,
該テンプレート画像記憶手段から,入力画像の分類結果を用いて識別の候補となる複数のカテゴリのテンプレート画像を選択する手段と,
選択されたテンプレート画像と入力画像とを比較し,最もよく一致するテンプレート画像のカテゴリを判定する画像識別手段と,
上記テンプレート画像が有する管理情報を入力画像の管理情報に付加する手段とを有する
ことを特徴とする医用画像識別システム。
A system for storing and managing medical images,
Means for cutting out a rectangular area from the input image and classifying the input image according to at least the size of the input image, the size of the rectangular area, and the number of rectangular areas ;
Template image storage means for storing a template image relating to a category to be identified for each classification;
Means for selecting, from the template image storage means, template images of a plurality of categories that are candidates for identification using the classification result of the input image;
An image identification means for comparing the selected template image with the input image and determining the category of the best matching template image;
A medical image identification system comprising: means for adding management information of the template image to management information of an input image.
上記テンプレート画像が有する管理情報は,少なくとも撮像装置,撮像部位,撮像方向を含む
ことを特徴とする請求項1記載の医用画像識別システム。
The medical image identification system according to claim 1, wherein the management information included in the template image includes at least an imaging device, an imaging region, and an imaging direction.
上記テンプレート画像記憶手段は,カテゴリ毎に標準となる画像を複数区画に分割し,該区画内画素の濃淡値の平均値を区画の濃度として持つモザイク画像からなるテンプレート画像を保持し,
上記画像識別手段は,上記入力画像を分類する手段からの情報に基づき上記識別の候補となるテンプレート画像に対応させて入力画像をモザイク画像に変換し,該変換画像とテンプレート画像の重ね合わせから最もよく一致するテンプレート画像のカテゴリを判定する
ことを特徴とする請求項1または請求項2記載の医用画像識別システム。
The template image storage means divides a standard image for each category into a plurality of sections, holds a template image composed of a mosaic image having the average value of the gray values of the pixels in the section as the density of the sections,
The image identification means converts the input image into a mosaic image in correspondence with the template image that is a candidate for identification based on information from the means for classifying the input image, and the most from the superposition of the converted image and the template image. well claim 1 or claim 2 medical image identification system, wherein the determining the category of the template image matching.
上記テンプレート画像記憶手段に記憶されるテンプレート画像は,撮像装置,撮像部位,撮像方向,撮像条件で分けられたカテゴリに応じて複数用意される
ことを特徴とする請求項1から請求項までのいずれかに記載の医用画像識別システム。
Template image stored in the template image storage means, image pickup device, the imaging region, imaging direction, from claim 1, wherein a plurality of prepared according to the category that has been separated by the imaging condition to claim 3 The medical image identification system according to any one of the above.
医用画像を記憶・管理するシステムにおいて医用画像に管理情報を付加するための方法であって,
入力画像から画像中の矩形領域を切り出し,少なくとも入力画像のサイズ,矩形領域のサイズ,矩形領域の個数により入力画像を分類する過程と,
分類ごとに識別すべきカテゴリに関するテンプレート画像を記憶するテンプレート画像記憶手段から,入力画像の分類結果を用いて識別の候補となる複数のカテゴリのテンプレート画像を選択する過程と,
選択されたテンプレート画像と入力画像とを比較し,最もよく一致するテンプレート画像のカテゴリを判定する過程と,
上記テンプレート画像が有する管理情報を入力画像の管理情報に付加する過程とを有する
ことを特徴とする医用画像識別処理方法。
A method for adding management information to a medical image in a system for storing and managing medical images,
Extracting a rectangular area from the input image and classifying the input image according to at least the size of the input image, the size of the rectangular area, and the number of rectangular areas ;
Selecting a template image of a plurality of categories as candidates for identification from a template image storage means for storing a template image relating to a category to be identified for each classification, using a classification result of the input image;
Comparing the selected template image with the input image and determining the best matching template image category;
A method of adding the management information of the template image to the management information of the input image.
医用画像を記憶・管理するシステムにおいてコンピュータによって医用画像に管理情報を付加するためのプログラムであって,
入力画像から画像中の矩形領域を切り出し,少なくとも入力画像のサイズ,矩形領域のサイズ,矩形領域の個数により入力画像を分類する処理と,
分類ごとに識別すべきカテゴリに関するテンプレート画像を記憶するテンプレート画像記憶手段から,入力画像の分類結果を用いて識別の候補となる複数のカテゴリのテンプレート画像を選択する処理と,
選択されたテンプレート画像と入力画像とを比較し,最もよく一致するテンプレート画像のカテゴリを判定する処理と,
上記テンプレート画像が有する管理情報を入力画像の管理情報に付加する処理とを,
コンピュータに実行させるための医用画像識別用プログラム。
A program for adding management information to a medical image by a computer in a system for storing and managing medical images,
A process of cutting out a rectangular area from the input image and classifying the input image according to at least the size of the input image, the size of the rectangular area, and the number of rectangular areas ;
A process of selecting template images of a plurality of categories that are candidates for identification using a classification result of an input image from a template image storage unit that stores a template image relating to a category to be identified for each classification;
Comparing the selected template image with the input image and determining the category of the best matching template image;
A process of adding the management information of the template image to the management information of the input image;
A medical image identification program to be executed by a computer.
医用画像を記憶・管理するシステムにおいてコンピュータによって医用画像に管理情報を付加するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって,
入力画像から画像中の矩形領域を切り出し,少なくとも入力画像のサイズ,矩形領域のサイズ,矩形領域の個数により入力画像を分類する処理と,
分類ごとに識別すべきカテゴリに関するテンプレート画像を記憶するテンプレート画像記憶手段から,入力画像の分類結果を用いて識別の候補となる複数のカテゴリのテンプレート画像を選択する処理と,
選択されたテンプレート画像と入力画像とを比較し,最もよく一致するテンプレート画像のカテゴリを判定する処理と,
上記テンプレート画像が有する管理情報を入力画像の管理情報に付加する処理とを,
コンピュータに実行させるためのプログラムを記録した
ことを特徴とする医用画像識別用プログラムの記録媒体。
A computer-readable recording medium recording a program for adding management information to a medical image by a computer in a system for storing and managing medical images,
A process of cutting out a rectangular area from the input image and classifying the input image according to at least the size of the input image, the size of the rectangular area, and the number of rectangular areas ;
A process of selecting template images of a plurality of categories that are candidates for identification using a classification result of an input image from a template image storage unit that stores a template image relating to a category to be identified for each classification;
Comparing the selected template image with the input image and determining the category of the best matching template image;
A process of adding the management information of the template image to the management information of the input image;
A recording medium for a medical image identification program, wherein a program for causing a computer to execute is recorded.
JP2001059426A 2001-03-05 2001-03-05 Medical image identification system, medical image identification processing method, medical image identification program, and recording medium thereof Expired - Lifetime JP4545971B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001059426A JP4545971B2 (en) 2001-03-05 2001-03-05 Medical image identification system, medical image identification processing method, medical image identification program, and recording medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001059426A JP4545971B2 (en) 2001-03-05 2001-03-05 Medical image identification system, medical image identification processing method, medical image identification program, and recording medium thereof

Publications (2)

Publication Number Publication Date
JP2002253539A JP2002253539A (en) 2002-09-10
JP4545971B2 true JP4545971B2 (en) 2010-09-15

Family

ID=18918989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001059426A Expired - Lifetime JP4545971B2 (en) 2001-03-05 2001-03-05 Medical image identification system, medical image identification processing method, medical image identification program, and recording medium thereof

Country Status (1)

Country Link
JP (1) JP4545971B2 (en)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005278755A (en) * 2004-03-29 2005-10-13 Toshiba Corp Medical image display system
CN1707477B (en) * 2004-05-31 2011-08-17 株式会社东芝 Group information generating system and group information generating method
JP4795721B2 (en) * 2004-05-31 2011-10-19 株式会社東芝 DICOM Medical Image Information Processing System, DICOM Medical Image Information Processing Method, and DICOM Medical Image Information Processing Program
US20060136467A1 (en) * 2004-12-17 2006-06-22 General Electric Company Domain-specific data entity mapping method and system
JP5366356B2 (en) * 2005-04-15 2013-12-11 株式会社東芝 Medical image processing apparatus and medical image processing method
US7903849B2 (en) * 2005-04-15 2011-03-08 Kabushiki Kaisha Toshiba Medical image processing apparatus
JP5242163B2 (en) * 2005-11-15 2013-07-24 株式会社日立メディコ Ultrasonic diagnostic equipment
JP4855141B2 (en) 2006-05-19 2012-01-18 富士フイルム株式会社 Medical image part recognition device and medical image part recognition program
US8295568B2 (en) 2006-06-30 2012-10-23 Fujifilm Corporation Medical image display processing apparatus and medical image display processing program
JP5048286B2 (en) 2006-08-09 2012-10-17 富士フイルム株式会社 Image transfer method, image transfer apparatus, and image transfer program
US8081811B2 (en) 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
JP2008259682A (en) 2007-04-12 2008-10-30 Fujifilm Corp Section recognition result correcting device, method and program
JP5192751B2 (en) * 2007-08-10 2013-05-08 富士フイルム株式会社 Image processing apparatus, image processing method, and image processing program
JP4953248B2 (en) * 2007-11-20 2012-06-13 富士機械製造株式会社 Image processing data creation method, image recognition method, image processing data creation device, and image recognition device
JP5343190B2 (en) * 2008-02-04 2013-11-13 株式会社日立情報通信エンジニアリング Image processing apparatus and image processing program
JP4542591B2 (en) 2008-03-05 2010-09-15 富士フイルム株式会社 Image processing system, image storage device, image processing device, image processing method, and program
JP5138431B2 (en) 2008-03-17 2013-02-06 富士フイルム株式会社 Image analysis apparatus and method, and program
JP5599572B2 (en) * 2009-03-12 2014-10-01 富士フイルム株式会社 Case image retrieval apparatus, method and program
BRPI1004218A2 (en) 2009-03-31 2016-02-23 Fujifilm Corp image processing device and method, and program
US20100266188A1 (en) * 2009-04-17 2010-10-21 Riverain Medical Group, Llc Chest x-ray registration, subtraction and display
JP5390449B2 (en) * 2010-03-30 2014-01-15 富士フイルム株式会社 Medical image processing apparatus and method, and program
JP5389754B2 (en) * 2010-08-19 2014-01-15 日本放送協会 Image search apparatus and program
JP5487157B2 (en) 2011-05-26 2014-05-07 富士フイルム株式会社 Image processing apparatus, method of operating image processing apparatus, and image processing program
JP5385948B2 (en) * 2011-07-12 2014-01-08 耕一 平田 Tongue diagnosis support program, tongue diagnosis support device
JP5880332B2 (en) * 2012-07-25 2016-03-09 コニカミノルタ株式会社 Image processing apparatus and program
JP5934071B2 (en) 2012-09-27 2016-06-15 富士フイルム株式会社 Apparatus, method and program for searching for shortest path of tubular structure
EP3578108B8 (en) 2017-02-01 2020-12-30 FUJIFILM Corporation Ultrasound diagnostic device, ultrasound diagnostic device control method and ultrasound diagnostic device control program
CN109273073A (en) * 2018-08-28 2019-01-25 上海联影医疗科技有限公司 The storage method and device of medical image, computer readable storage medium
EP3704669A4 (en) 2017-11-02 2020-12-30 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for generating semantic information for scanning image
JP7256765B2 (en) 2020-02-28 2023-04-12 株式会社日立製作所 Medical imaging device, medical image processing device, and image processing program
CN112347985A (en) * 2020-11-30 2021-02-09 广联达科技股份有限公司 Material type detection method and device

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01296383A (en) * 1988-05-25 1989-11-29 Hitachi Ltd Picture display device
JPH04177473A (en) * 1990-11-08 1992-06-24 Toshiba Corp Medical image filing system
JPH0556953A (en) * 1991-09-03 1993-03-09 Toshiba Corp Image display system
JPH05233783A (en) * 1992-02-18 1993-09-10 Nippon Telegr & Teleph Corp <Ntt> Face picture identification card collation processing method
JPH05250449A (en) * 1992-03-04 1993-09-28 Toshiba Corp Data management device
JPH07248558A (en) * 1994-03-11 1995-09-26 Toshiba Medical Eng Co Ltd Film digitizing device
JPH07282260A (en) * 1994-04-13 1995-10-27 Daewoo Electron Co Ltd Recognizing method of individual by time series face image processing
JPH0883341A (en) * 1994-09-12 1996-03-26 Nippon Telegr & Teleph Corp <Ntt> Method and device for extracting object area and object recognizing device
JPH1014886A (en) * 1996-07-04 1998-01-20 Fuji Photo Film Co Ltd Medical image processing device
JPH10134071A (en) * 1996-10-30 1998-05-22 Fuji Photo Film Co Ltd Picture recording/reproducing device
JPH1188589A (en) * 1997-09-09 1999-03-30 Arei Kk Image processing unit and its method
JPH11342113A (en) * 1998-03-31 1999-12-14 Fuji Photo Film Co Ltd Image recognition method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01296383A (en) * 1988-05-25 1989-11-29 Hitachi Ltd Picture display device
JPH04177473A (en) * 1990-11-08 1992-06-24 Toshiba Corp Medical image filing system
JPH0556953A (en) * 1991-09-03 1993-03-09 Toshiba Corp Image display system
JPH05233783A (en) * 1992-02-18 1993-09-10 Nippon Telegr & Teleph Corp <Ntt> Face picture identification card collation processing method
JPH05250449A (en) * 1992-03-04 1993-09-28 Toshiba Corp Data management device
JPH07248558A (en) * 1994-03-11 1995-09-26 Toshiba Medical Eng Co Ltd Film digitizing device
JPH07282260A (en) * 1994-04-13 1995-10-27 Daewoo Electron Co Ltd Recognizing method of individual by time series face image processing
JPH0883341A (en) * 1994-09-12 1996-03-26 Nippon Telegr & Teleph Corp <Ntt> Method and device for extracting object area and object recognizing device
JPH1014886A (en) * 1996-07-04 1998-01-20 Fuji Photo Film Co Ltd Medical image processing device
JPH10134071A (en) * 1996-10-30 1998-05-22 Fuji Photo Film Co Ltd Picture recording/reproducing device
JPH1188589A (en) * 1997-09-09 1999-03-30 Arei Kk Image processing unit and its method
JPH11342113A (en) * 1998-03-31 1999-12-14 Fuji Photo Film Co Ltd Image recognition method

Also Published As

Publication number Publication date
JP2002253539A (en) 2002-09-10

Similar Documents

Publication Publication Date Title
JP4545971B2 (en) Medical image identification system, medical image identification processing method, medical image identification program, and recording medium thereof
JP5186269B2 (en) Image recognition result determination apparatus, method, and program
US7574028B2 (en) Method for recognizing projection views of radiographs
US7627154B2 (en) Automated radiograph classification using anatomy information
US8369593B2 (en) Systems and methods for robust learning based annotation of medical radiographs
JP4444633B2 (en) Image classification device, image classification method, and program
EP2686809B1 (en) Method and system for intelligent linking of medical data
US8249318B2 (en) Method for identifying implanted reconstructive prosthetic devices
CN111696083B (en) Image processing method and device, electronic equipment and storage medium
CN111986177B (en) Chest rib fracture detection method based on attention convolution neural network
CN112215858A (en) Method and system for image segmentation and recognition
JP2008520344A (en) Method for detecting and correcting the orientation of radiographic images
US20070019853A1 (en) Method for indentifying markers in radiographic images
Xie et al. Mining X-ray images of SARS patients
US9269165B2 (en) Rib enhancement in radiographic images
JP2006034585A (en) Picture display device and picture display method, and program thereof
JP2008036068A (en) Osteoporosis diagnosis support apparatus, method and program, computer-readable recording medium recorded with osteoporosis diagnosis support program and lsi for supporting osteoporosis diagnosis
US20230169666A1 (en) Methods and systems for image registration
WO2023088275A1 (en) Automatic roi positioning method and apparatus, surgical robot system, device and medium
US20060110035A1 (en) Method for classifying radiographs
US20200020434A1 (en) Information collection processing apparatus, information collection processing method, and recording medium
CN110458087B (en) Patient problem part labeling method based on deep learning
WO2006058176A1 (en) Method for recognizing projection views of radiographs
Liu A system for computational analysis and reconstruction of 3D comminuted bone fractures
Yue et al. Preoperative prediction of prosthetic size in total knee arthroplasty based on multimodal data and deep learning

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20070426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070709

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100323

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100518

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100629

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100701

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130709

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4545971

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term