JP5995408B2 - 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム - Google Patents
情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム Download PDFInfo
- Publication number
- JP5995408B2 JP5995408B2 JP2011081993A JP2011081993A JP5995408B2 JP 5995408 B2 JP5995408 B2 JP 5995408B2 JP 2011081993 A JP2011081993 A JP 2011081993A JP 2011081993 A JP2011081993 A JP 2011081993A JP 5995408 B2 JP5995408 B2 JP 5995408B2
- Authority
- JP
- Japan
- Prior art keywords
- sternum
- subject
- rib
- acquired
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 44
- 238000003672 processing method Methods 0.000 title claims description 4
- 210000001562 sternum Anatomy 0.000 claims description 230
- 238000000034 method Methods 0.000 claims description 76
- 238000005259 measurement Methods 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 59
- 239000000523 sample Substances 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000002604 ultrasonography Methods 0.000 claims description 21
- 238000002595 magnetic resonance imaging Methods 0.000 description 115
- 230000009466 transformation Effects 0.000 description 49
- 238000006243 chemical reaction Methods 0.000 description 47
- 239000011159 matrix material Substances 0.000 description 20
- 239000013598 vector Substances 0.000 description 18
- 238000002059 diagnostic imaging Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012285 ultrasound imaging Methods 0.000 description 5
- 210000000038 chest Anatomy 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 241001422033 Thestylus Species 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 238000001225 nuclear magnetic resonance method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
MRI画像撮影装置110は、人体である被検体の内部の3次元領域に関する情報を核磁気共鳴法により取得したMRI画像を取得する装置である。ここでMRI画像には基準となる座標系(MRI画像座標系)が定められ、その座標系における前記3次元領域の情報は複数の画素により表されるものとする。
MRI画像取得部1010は、MRI画像撮影装置110が撮影した被検体のMRI画像を取得する。
表示画像生成部1080は、対応断面画像生成部1060が生成した対応断面画像および、超音波画像取得部1070が取得した超音波画像に基づき、表示画像を生成する。
主メモリ212に記憶されたプログラムがCPU211により展開され実行されることにより、情報処理装置100のハードウェアとソフトウェアが協働して情報処理装置100は先述の図1に示す機能を有する。例えばモニタ140は表示部1400として機能する。また後述する図5、図6に記載の処理が情報処理装置100により実現される。
超音波プローブ2000には位置姿勢計測装置130が備える位置姿勢センサ2010が固定して装着される。これにより、位置姿勢計測装置130は、位置姿勢計測基準2040を基準として超音波プローブ2000の位置と姿勢を計測する。
被検体3030の超音波撮影は、超音波画像撮影装置120が備える超音波プローブ3000を被検体の体表に接するように保持することにより行われる。その結果、被検体3030における超音波画像撮影領域3100を撮影した超音波画像2110が取得される。超音波画像撮影領域3100は、超音波プローブ3000を体表に接触させた場合、被検体3030の内部の断層画像が得られる。
この超音波画像3110には超音波画像座標系3120が定義される。この座標系は例えば超音波画像3110の左上の画素の位置を原点とし、横方向をX軸、縦方向をY軸、それらの外積方向をZ軸とする座標系である。
MRI画像にはMRI画像座標系3220が定義される。この座標系は例えばMRI画像撮影装置120が基準とする座標系である。
MRI画像座標系3220とセンサ座標系との間の関係を求めることができれば、MRI画像座標系3220と超音波画像座標系3120との間の関係も求めることができる。それにより、MRI画像3210と超音波画像3110の夫々に描出される被検体3030の体内の画像を位置を合わせて比較して観察できるようになる。
ステップS500において、MRI画像取得部1010はMRI撮影装置110が被検体を撮影した3次元のMRI画像を取得する。MRI画像は複数の画素により構成され、各画素は輝度値と位置に関する情報を持つものとする。ここで各画素の位置はMRI画像が基準とする座標系(MRI画像座標系)における3次元の位置座標である。
ステップS510において、第1特徴位置取得部1020はMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置をMRI画像座標系における位置として取得する。被検体の胸骨および肋骨に近接する体表の位置とは、例えば被検体の体表の中で、胸骨表面および肋骨の表面位置に空間的に最も近い位置の事を意味する。ここで、胸骨に近接する体表の位置は、被検体の胸骨の上端、および胸骨の下端の位置に夫々近接する体表の位置とすることができる。また、肋骨に近接する体表の位置は、例えば被検体の左右夫々の第2肋骨の位置に近接する体表の位置とすることができる。ここで、肋骨に近接する体表の位置は必ずしも被検体の第2肋骨の位置に近接する体表の位置でなくても良く、例えば被検体の第1肋骨や、第3肋骨など任意の肋骨の位置に近接する体表の位置であっても良い。ただし、後に説明するステップS520において指標とする被検体の肋骨と同じ肋骨であることが望ましい。胸骨および肋骨に近接する体表の位置の取得は、例えば以下の仕組みにより取得することができる。すなわちモニタ140にMRI画像のアキシャル像、サジタル像、コロナル像など、任意の断面を切り出した画像(断面画像)を表示する。前記断面の位置や姿勢をユーザによるマウス150やキーボード160等の操作に基づいて切り替える。そして、その断面画像に写る胸骨および肋骨に近接する体表の位置を、ユーザがマウス150の操作などにより指定した位置を取得する。前記断面の位置や姿勢、およびユーザが指定した断面画像上の位置に基づき、胸骨および肋骨に近接する体表のMRI画像座標系における位置を算出する。
ステップS520において、第2特徴位置取得部1040はセンサ座標系における被検体の胸骨および肋骨に近接する体表の位置の取得を行う。この処理は例えば以下のように実行される。ユーザは被検体の胸骨の上端位置(第2肋骨の付け根の部分)に近接する体表の位置に超音波プローブの撮影面の中心が触れるように保持する。そして、位置取得の実行命令をユーザによるキーボード160の操作等などにより取得した際に、計測値取得部1030が取得したセンサ座標系における超音波プローブの位置と姿勢に関する最新の計測結果を取得する。そして、超音波プローブの撮影面の中心位置をpU1として記録する。同様に胸骨の下端に近接する体表の位置をpU2、左第2肋骨に近接する体表の位置をpU3、右第2肋骨に近接する体表の位置をpU4として記録する。ここで、pU3とpU4は被検体に対して左右対称となる位置であることが望ましい。この理由については後述するステップS533の処理の説明において詳しく述べる。前記4つの位置は、ユーザが指定を行った順にpU1、pU2、pU3、pU4と記録するようにしても良いし、ユーザによるキーボード160入力に基づいて任意の順番で記録するようにしても良い。ここでpU1、pU2、pU3、pU4は、3次元空間における位置を表す拡張ベクトルとして記録する。
ステップS530において、変換規則算出部1050はセンサ座標系とMRI画像座標系との間の座標変換に関する変換規則の算出を行う。言い換えれば第1特徴位置取得部1020が取得した胸骨および肋骨に基づく複数の位置と、第2特徴位置取得部1040が取得した胸骨および肋骨に基づく複数の位置との対応関係を算出することにより、被検体と前記3次元画像との位置の対応関係を算出する。詳細は図6に従い後述する。
ステップS540において、対応断面画像生成部1060は、所定のフレームレートに応じて逐次入力される超音波画像に対応するMRIの対応断面画像を、超音波プローブの位置姿勢と、ステップS530で取得した変換規則とを利用して生成する。さらに表示画像生成部1080は前記対応断面画像と超音波画像とを比較して観察するための表示画像を生成する。より具体的には以下の処理を実行する。まずプローブ座標系における超音波画像の撮影領域を取得する。例えば超音波画像が矩形の場合には、その4隅の位置を取得する。次に、計測値取得部1030から超音波プローブの位置と姿勢に関する最新の計測値を取得し、それに基づいて前記4隅の位置のセンサ座標系における位置を算出する。さらに、ステップS530で算出した変換規則M4に基づき、前記位置をMRI画像座標系に変換することで、MRI画像座標系における4隅の位置を算出する。そして、その4隅の位置を結ぶMRI画像座標系における矩形領域を算出し、その領域におけるMRI画像を切り出すことにより対応断面画像を生成する。そして、表示画像生成部1080は超音波画像取得部1070が取得した最新の超音波画像を取得する。そして、対応断面画像生成部1060が取得した対応断面画像と、前記超音波画像とを比較して観察できるようにした表示画像を生成し、モニタ140等に表示する。表示画像の具体例としては対応断面画像と超音波画像とを並べた画像や、両画像の一方に他方を重畳した画像などである。これにより、ユーザが超音波画像と、それに対応するMRI画像の対応断面画像とを比較して観察できる仕組みが提供される。なお、以上で示したステップS540の処理は、所定のコマンドをユーザが入力するまで、時々刻々と入力される超音波画像に対して繰り返し実行される。
ステップS550において情報処理装置100は、処理を終了するか否かの判定に基づき、終了と判定した場合には処理を終了させ、そうでない場合にはステップS520に処理を戻す。この判定は、ユーザによるマウス150やキーボード160による入力操作に基づいて行うことができる。従って、ユーザはステップS540において情報処理装置100がモニタ140に表示した超音波画像と対応断面画像を観察して、ステップS530で実行した座標変換が適切に実行されたか否かを判断して、情報処理装置100の処理を切り替える操作を行うことができる。例えば、座標変換が適切であると判定した場合には処理を終了させ、そうでない場合にはセンサ座標系における胸骨および肋骨の夫々に近接する体表の位置の入力と座標変換の算出をやり直すことができる。
ステップS531において、変換規則算出部1050はセンサ座標系における胸骨の上端に近接する体表の位置pU1をMRI画像座標系における胸骨の上端(第2肋骨の付け根の部分)に近接する体表の位置pM1とを合わせるような座標変換を求める処理を行う。これは、第2肋骨の付け根の部分は体外から最も精度よくかつ容易に指定できる点であるとして、当該点を優先させた位置合わせを行うためである。
pM1 =M1pU1 ・・・数1
さらに変換規則算出部1050は、剛体変換行列M1を用いて、センサ座標系における胸骨と肋骨に近接する体表の位置pU1、pU2、pU3、pU4を剛体変換した位置pU1’、pU2’、pU3’、pU4’を算出する。なお、本実施例に係る変換では、pU1とpU1’とは同一の位置である。
ステップS532において、変換規則算出部1050はステップS531で座標変換した胸骨の上端に近接する体表の位置と、胸骨の下端に近接する体表の位置とを結ぶ直線(胸骨軸)を、それに対応するMRI座標系における胸骨軸に一致させる座標変換を求める処理を行う。具体的には次の処理を行う。まず、ステップS531で座標変換した胸骨の上端(第2肋骨の付け根の位置)に近接する体表の位置と、胸骨の下端に近接する体表の位置とで定義される胸骨の方向のベクトルdU2を数2の計算により求める。
ステップS533において変換規則算出部1050はMRI画像座標系における胸骨および肋骨に近接する体表の位置および、ステップS532で算出した胸骨および肋骨に近接する体表の位置に基づき、胸骨軸周りの回転を補正する座標変換を算出する。
ステップS534において変換規則算出部1050は剛体変換行列M1、M2、M3を合成した剛体変換行列M4を算出する。このM4はセンサ座標系における位置座標を、MRI画像座標系における対応する位置座標へと変換する剛体変換である。この算出は数14の計算により行う。
上述の例では3次元画像と被検体との対応関係を得る際に検査者が手動で被検者の体表位置を指定するという作業が生じうる。そこで情報処理装置100は検査者の負担を軽減するため、計測に対してユーザ支援情報を提示する機能を有する。
実施例1では、ステップS520の処理において、被検体の肋骨に近接する体表の位置をユーザが左右夫々で1点ずつ指定した位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、左右のいずれか一方の肋骨に近接する体表の位置は、肋骨に近接する体表上の複数の位置をユーザが指定し、それを取得するようにできる。例えば被験者の左側の肋骨に近接する体表位置として複数の位置pU3i(1≦i≦N ただしNは複数の位置の数)をユーザが指定し、それを取得するようにできる。この場合、第2特徴位置取得部は、前記複数の位置pU3i(1≦i≦N)の中から座標変換の算出に適した位置を選択するようにできる。例えば、胸骨の上端に近接する体表の位置pU1と、右側の肋骨に近接する体表の位置pU4との距離dU14を算出する。さらに、前記左側の肋骨に近接する体表の複数の位置の夫々について、胸骨の上端に近接する体表位置pU1との距離dU13i(1≦i≦N)を算出する。そして、距離dU13i(1≦i≦N)の中から、距離dU14にも近いものを選択して、それをpU3とするようにできる。以上の方法によれば、センサ座標系における被検体の肋骨に近接する体表の位置の取得に関して、ユーザが被検体の体軸に対して左右対称な位置を自ら選択する煩雑さを解消できるため、より簡便な操作で処理を実行できる効果がある。
実施例1のステップS510およびステップS520では、被検体の胸骨の上端および胸骨の下端にそれぞれ近接する体表の位置を取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、MRI画像座標系とセンサ座標系において対応付けができる位置であれば、胸骨の上端または下端に近接する体表の位置でなくてもよい。また、胸骨の下端に近接する体表の位置は、必ずしもMRI画像座標系とセンサ座標系において対応づけられる位置でなくても良い。
実施例1では、被検体の胸骨と肋骨に近接する体表の位置を用いてセンサ座標系とMRI画像座標系との間の座標変換を算出する場合を例として説明したが、本発明の実施はこれに限らない。例えば、被検体の胸骨と肋骨の位置を用いてセンサ座標系とMRI画像座標系との間の座標変換を算出するようにしても良い。この場合、ステップS510において第1特徴位置取得部は、ユーザによるマウス150やキーボード160の入力操作等に基づいてMRI画像における被検体の胸骨と肋骨の位置を取得する。また、ステップS520において第2特徴位置取得部は、超音波画像取得部1070が取得した超音波画像をモニタ140に表示すると共に、ユーザによるマウス150の入力操作等により胸骨および肋骨の前記超音波画像上での位置を取得する。そして、計測値取得部1030が取得した超音波プローブの位置および姿勢に関する計測値と前記超音波画像上で指定された位置とから、センサ座標系における胸骨および肋骨の位置を算出する。以上の方法によれば、実施例1で用いた体表の位置に比べて、撮影環境などによる位置の変動の少ない胸骨および肋骨の位置を直接的に用いることができるため、より精度の高い変換規則が算出できる。
ステップS1000の処理は実施例1のステップS500の処理と同様であるため、説明を省略する。
ステップS1010において、第1特徴位置取得部1020はMRI画像に描出される被検体の胸骨および肋骨に近接する体表の位置をMRI画像座標系における位置として取得する。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。MRI画像座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pM1、pM2として記録する。
ステップS1020において、第2特徴位置取得部1040はセンサ座標系における被検体の胸骨および肋骨に近接する体表の位置の取得を行う。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。センサ座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pU1、pU2として記録する。
ステップS1030において、変換規則算出部1050はセンサ座標系とMRI画像座標系との間の座標変換に関する変換規則の算出を行う。処理の詳細は図10に従い後述する。
ステップS1031は実施例1のステップS531と同様の処理により、剛体変換行列M1を算出する。そして、ステップS1020で取得した胸骨および肋骨に近接する体表の位置を剛体変換した位置pU1’、pU2’、 pU3k’(i≦k≦NUL)、 pU4l’(1≦l≦NUR)を算出する。
ステップS1032は実施例1のステップS531と同様の処理により、剛体変換行列M2を算出する。そして、ステップS1031で取得した胸骨および肋骨に近接する体表の位置を剛体変換した位置pU1”、pU2”、 pU3k”(i≦k≦NUL)、 pU4l”(1≦l≦NUR)を算出する。
ステップS1033において、変換規則算出部1050はMRI画像座標系における胸骨および肋骨に近接する体表の位置および、ステップS532で算出した胸骨および肋骨に近接する体表の位置に基づき、胸骨軸周りの回転を補正する座標変換を算出する。この座標変換は、pU1”とpU2”を通る直線を軸とし、pU3k” (i≦k≦NUL)とpM3i(1≦i≦NML)、pU4l” (1≦l≦NUR)とpM4j(1≦j≦NMR)とを夫々略一致させる回転である。具体的には、pU1”とpU2”により一意に定まる回転軸に関する回転量をICP(Iterative Closest Point)法を用いることにより算出する。回転量の算出はICP法以外にも最急降下法やニュートン法などの如何なる最適化方法を用いても良い。
ステップS1034の処理は実施例1のステップS534と同様であるため説明を省略する。
実施例2では、MRI画像座標系およびセンサ座標系の夫々において、肋骨に近接する体表の位置を点群として取得する場合を例として説明したが、本発明の実施はこれに限らない。例えば、ステップS1020で第2特徴位置取得部1040が取得するセンサ座標系における肋骨に近接する体表の位置は、実施例1と同様に、左右の第2肋骨に対して夫々1点の位置pU3、pU4であっても良い。この場合、ステップS1034において変換規則算出部1050は、pU1”とpU2”により一意に定まる回転軸に関する回転量をpU3”とpM3i(1≦i≦NML)、pU4”とpM4j(1≦j≦NMR)とを略一致するように算出することができる。この具体的な方法は、ICP法などの公知の方法により算出できる。以上の方法によれば、センサ座標系における肋骨に近接する体表の位置を実施例1と同様に簡便に取得することができ、なおかつ実施例2とほぼ同等の高い精度で座標変換を算出できる効果がある。
本発明は以下のように実施することができる。すなわち、第1特徴位置取得部1020および第2特徴位置取得部1040の夫々が、肋骨に近接する体表の位置を、左右1点ずつ、もしくは点群、のいずれかを取得する処理を切り替えて実行できるようにしても良い。そして、第1特徴位置取得部1020と第2特徴位置取得部1040の両方が肋骨に近接する体表の位置を左右1点ずつ取得した場合には、実施例1のステップS530からステップS550の処理を実行するようにできる。また第1特徴位置取得部1020と第2特徴位置取得部1040の両方が肋骨に近接する体表の位置を点群として取得した場合には実施例2のステップS1030からステップS1050の処理を実行するようにできる。また、第1特徴位置取得部1020と第2特徴位置取得部1040のいずれか一方が肋骨に近接する体表の位置を左右1点ずつ取得し、他方が点群として取得した場合に変形例2−1で説明した処理を実行するようにできる。
図12のフローチャートに従い画像診断システム1の処理を説明する。
実施例1におけるステップS500と同様の処理であるため、説明を省略する。
ステップS1210において、第1特徴位置取得部1020はMRI画像に描出される被検体の胸骨に近接する体表の位置および被検体の前方方位を取得する。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。MRI画像座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pM1、pM2として記録する。
ステップS1220において、第2特徴位置取得部1040はセンサ座標系における被検体の胸骨に近接する体表の位置および被検体の左右対称軸を取得する。胸骨に近接する体表の位置の取得は、実施例1と同様であるため詳しい説明は省略する。センサ座標系における胸骨の上端および下端に近接する体表位置の位置を夫々、pU1、pU2として記録する。
ステップS1230において、変換規則算出部1050はセンサ座標系とMRI画像座標系との間の座標変換に関する変換規則の算出を行う。
実施例1におけるステップS540と同様の処理であるため、説明を省略する。
実施例1におけるステップS550と同様の処理であるため、説明を省略する。
ステップS1231は実施例1のステップS531と同様の処理により、剛体変換行列M1を算出する。そして、ステップS1220で取得した胸骨に近接する体表の位置pU1、pU2を剛体変換した位置pU1’、pU2’を算出する。
ステップS1232は実施例1のステップS532と同様の処理により、剛体変換行列M2を算出する。そして、ステップS1231で取得した胸骨に近接する体表の位置pU1’、pU2’を剛体変換した位置pU1”、pU2” および被検体の前方方位vUを剛体変換した方位vU”算出する。
ステップS1233において、変換規則算出部1050は以下の処理を実行する。すなわち、MRI画像座標系における胸骨に近接する体表の位置および被検体の前方方位と、ステップS1232で算出した胸骨および肋骨に近接する体表の位置および被検体の前方方位に基づき、胸骨軸周りの回転を補正する座標変換を算出する。この座標変換は、pU1”とpU2”を通る直線を軸とし、vU”とvMとを略一致させる回転であり、公知の非線形最適化の方法により実行できる。
ステップS1234の処理は実施例1のステップS534と同様であるため説明を省略する。
実施例3では、MRI画像座標系とセンサ座標系の夫々における、胸骨に近接する体表の位置と、被検体の前方方位とを取得し、それらを略一致させるように両座標系間の座標変換を算出する場合を例として説明したが、本発明の実施はこれに限らない。例えば、第1特徴位置取得部1020および第2特徴位置取得部1040は、必ずしもMRI画像座標系およびセンサ座標系における被検体の前方方位を取得しなくても良い。この場合、ステップS1233において変換規則算出部1050は、MRI画像と超音波画像とを取得し、それらの画像に描出される解剖学的な特徴や輝度値の統計的などに基づいて胸骨軸周りの回転に関する座標変換を算出するようにしても良い。この方法によれば、MRI画像座標系およびセンサ座標系における被検体の前方方位を取得する必要がないため、よりそれを取得する際に混入する恐れのある誤差の影響を低減することができる効果がある。
上述の実施例では3次元医用画像の一例としてMRI画像を用いる場合を説明したが、被検体の3次元画像であればよく、たとえばX線CT画像やPET画像などであってもよい。
100 情報処理装置
1020 第1特徴位置取得部
1030 計測値取得部
1040 第2特徴位置取得部
1050 変換規則算出部
1060 対応面画像生成部
1090 表示制御部
1400 表示部
Claims (15)
- 3次元画像における被検体の胸骨の第2肋骨の付け根部分に基づく位置と胸骨の下方位置を取得する第1の取得手段と、
前記被検体の体表における該被検体の胸骨の第2肋骨の付け根部分に基づく位置と胸骨の下方位置を取得する第2の取得手段と、
前記第1の取得手段により取得された前記3次元画像における被検体の胸骨の第2肋骨の付け根部分に基づく位置、及び前記胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置とにより定義される前記胸骨の方向と、前記第2の取得手段により取得された前記被検体の体表における該被検体の胸骨の第2肋骨の付け根部分に基づく位置、及び前記胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置とにより定義される前記胸骨の方向とが合うように、前記被検体と前記3次元画像との対応関係を算出する算出手段と、を有し、
前記第1の取得手段は更に、前記3次元画像における前記被検体の肋骨に基づく複数の位置を取得し、
前記第2の取得手段は更に、前記被検体における該被検体の肋骨に基づく複数の位置を取得し、
前記算出手段は、前記第1の取得手段が取得した前記胸骨および肋骨に基づく複数の位置と、第2の取得手段が取得した前記胸骨および肋骨に基づく複数の位置との対応関係を算出することにより、前記被検体と前記3次元画像との位置の対応関係を算出することを特徴とする情報処理装置。 - 前記第2の取得手段は、位置姿勢計測装置で計測された被検体の体表の位置に基づいて前記被検体の胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置を取得することを特徴とする請求項1に記載の情報処理装置。
- 前記第2の取得手段は、位置姿勢計測装置により位置姿勢が計測されている前記超音波プローブの撮影面が前記被検体に接触する位置に基づいて、前記被検体の胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置を取得することを特徴とする請求項2に記載の情報処理装置。
- 超音波プローブの撮影面が前記被検体に接触することで得られる信号に基づいて得られる超音波画像に対応する断層画像を前記3次元画像から前記算出された対応関係に基づいて生成する画像生成手段と、を更に有することを特徴とする請求項1に記載の情報処理装置。
- 前記得られた超音波画像と前記生成された断層画像とを表示部に表示させる表示制御手段と、を有することを特徴とする請求項4に記載の情報処理装置。
- 前記第1の取得手段は更に、前記被検体の3次元画像における該被検体の胸骨の下端に基づく位置を少なくとも取得し、
前記第2の取得手段は前記被検体における該被検体の胸骨の下端に基づく位置を少なくとも取得し、
前記算出手段は更に、前記3次元画像における前記第2肋骨の付け根部分に基づく位置と前記胸骨の下端に基づく位置とにより定義される方向と、前記被検体における前記第2肋骨の付け根部分に基づく位置と前記胸骨の下端に基づく位置とにより定義される方向とが合うように前記被検体と前記3次元画像との対応関係を算出することを特徴とする請求項1に記載の情報処理装置。 - 前記算出手段は、前記第1の取得手段および第2の取得手段により取得された前記被検体の胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置の対応関係に基づいて前記被検体と前記3次元画像との胸骨の位置の対応関係を算出し、前記第1の取得手段および第2の取得手段により取得された肋骨に基づく位置の対応関係に基づいて、前記被検体と前記3次元画像との胸骨を軸とする回転方向の対応関係を算出することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記第2の取得手段は、少なくとも左右1対の肋骨のそれぞれに基づく複数の位置を取得し、
前記取得された肋骨のそれぞれに基づく複数の位置の少なくとも1組が前記取得された胸骨に基づく位置に対して対称な位置にあるか否かを判定する判定手段と、前記対称な位置にないと判定された場合に警告を出力する出力手段と、を更に有することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 - 前記第2の取得手段により前記被検体の胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置と、左右1対の肋骨のそれぞれに基づく複数の位置とが取得されたか否かを判定する判定手段と、前記取得されていないと判定された場合に警告を出力する出力手段と、を更に有することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
- 前記第2の取得手段は、前記被検体における該被検体の胸骨付近の体表の位置を複数取得することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
- 前記第1の取得手段は、被検体の3次元画像における胸骨の位置を複数取得し、前記算出手段は、前記取得された体表の位置と前記被検体の3次元画像とに基づいて前記被検体の胸骨の位置を算出し、
前記算出手段は更に、前記算出された前記被検体の胸骨の位置と前記第1の取得手段により取得された胸骨の位置とに基づいて前記被検体と前記3次元画像との位置の対応関係を算出することを特徴とする請求項10に記載の情報処理装置。 - 前記被検体のMRI画像、CT画像、PET画像のいずれかを前記被検体の3次元画像として取得する取得手段と、を更に有することを特徴とする請求項1乃至11のいずれか1項に記載の情報処理装置。
- 接触した被検体の位置からの信号を得る超音波プローブと、
超音波プローブが得る信号に基づいて超音波画像を得る撮像部と、
前記算出された対応関係に基づいて、前記生成される超音波画像に対応する断層画像を前記3次元画像から生成する画像生成手段と、
被検体の3次元画像における該被検体の胸骨の第2肋骨の付け根部分に基づく位置と胸骨の下方位置を取得する第1の取得手段と、
前記超音波プローブが前記被検体に接触する位置に基づいて、前記被検体における該被検体の胸骨の第2肋骨の付け根部分に基づく位置と胸骨の下方位置を取得する第2の取得手段と、
前記第1の取得手段により取得された前記3次元画像における被検体の胸骨の第2肋骨の付け根部分に基づく位置、及び前記胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置とにより定義される前記胸骨の方向と、前記第2の取得手段により取得された前記超音波プローブが前記被検体に接触する位置における該被検体の胸骨の第2肋骨の付け根部分に基づく位置、及び前記胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置とにより定義される前記胸骨の方向とが合うように、前記被検体と前記3次元画像との対応関係を算出する算出手段と、を有し、
前記第1の取得手段は更に、前記3次元画像における前記被検体の肋骨に基づく複数の位置を取得し、
前記第2の取得手段は更に、前記被検体における該被検体の肋骨に基づく複数の位置を取得し、
前記算出手段は、前記第1の取得手段が取得した前記胸骨および肋骨に基づく複数の位置と、第2の取得手段が取得した前記胸骨および肋骨に基づく複数の位置との対応関係を算出することにより、前記被検体と前記3次元画像との位置の対応関係を算出することを特徴とする撮影システム。 - 被検体の3次元画像における該被検体の胸骨の第2肋骨の付け根部分に基づく位置と胸骨の下方位置を取得する第1ステップと、
前記被検体の体表における該被検体の胸骨の第2肋骨の付け根部分に基づく位置と胸骨の下方位置を取得する第2ステップと、
該取得された前記3次元画像における被検体の胸骨の第2肋骨の付け根部分に基づく位置、及び前記胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置とにより定義される前記胸骨の方向と、該取得された前記被検体の体表における該被検体の胸骨の第2肋骨の付け根部分に基づく位置、及び前記胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置とにより定義される前記胸骨の方向とが合うように、前記被検体と前記3次元画像との対応関係を算出する算出ステップと、を有し、
前記第1ステップにおいて、更に、前記3次元画像における前記被検体の肋骨に基づく複数の位置を取得し、
前記第2ステップにおいて、更に、前記被検体における該被検体の肋骨に基づく複数の位置を取得し、
前記算出ステップにおいて、前記第1ステップにおいて取得した前記胸骨および肋骨に基づく複数の位置と、前記第2ステップにおいて取得した前記胸骨および肋骨に基づく複数の位置との対応関係を算出することにより、前記被検体と前記3次元画像との位置の対応関係を算出することを特徴とする情報処理方法。 - 被検体の3次元画像における該被検体の胸骨の第2肋骨の付け根部分に基づく位置と胸骨の下方位置および前記3次元画像における前記被検体の肋骨に基づく複数の位置を取得する第1の取得処理と、
前記被検体に体表における該被検体の胸骨の第2肋骨の付け根部分に基づく位置と胸骨の下方位置および前記被検体における該被検体の肋骨に基づく複数の位置を取得する第2の取得処理と、
前記第1の取得処理で取得された前記3次元画像における被検体の胸骨の第2肋骨の付
け根部分に基づく位置、及び前記胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置とにより定義される前記胸骨の方向と、前記第2の取得処理で取得された前記被検体の体表における該被検体の胸骨の第2肋骨の付け根部分に基づく位置、及び前記胸骨の第2肋骨の付け根部分に基づく位置と前記胸骨の下方位置とにより定義される前記胸骨の方向とが合うように、前記被検体と前記3次元画像との対応関係を算出するとともに、前記第1の取得処理において取得した前記胸骨および肋骨に基づく複数の位置と、前記第2の取得処理において取得した前記胸骨および肋骨に基づく複数の位置との対応関係を算出することにより、前記被検体と前記3次元画像との位置の対応関係を算出する算出処理と、をコンピュータに実行させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011081993A JP5995408B2 (ja) | 2011-04-01 | 2011-04-01 | 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム |
EP20120158353 EP2506215B1 (en) | 2011-04-01 | 2012-03-07 | Information processing apparatus, imaging system, information processing method, and program causing computer to execute information processing |
US13/429,153 US10657661B2 (en) | 2011-04-01 | 2012-03-23 | Information processing apparatus, imaging system, information processing method, and program causing computer to execute information processing |
KR1020120031469A KR101504162B1 (ko) | 2011-04-01 | 2012-03-28 | 의료 화상용 정보처리장치, 의료 화상용 촬영 시스템 및 의료 화상용 정보처리방법 |
CN201210098111.1A CN102727204B (zh) | 2011-04-01 | 2012-04-05 | 信息处理设备、信息处理方法和摄像*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011081993A JP5995408B2 (ja) | 2011-04-01 | 2011-04-01 | 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012213557A JP2012213557A (ja) | 2012-11-08 |
JP5995408B2 true JP5995408B2 (ja) | 2016-09-21 |
Family
ID=45926402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011081993A Expired - Fee Related JP5995408B2 (ja) | 2011-04-01 | 2011-04-01 | 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10657661B2 (ja) |
EP (1) | EP2506215B1 (ja) |
JP (1) | JP5995408B2 (ja) |
KR (1) | KR101504162B1 (ja) |
CN (1) | CN102727204B (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6320051B2 (ja) * | 2014-01-17 | 2018-05-09 | キヤノン株式会社 | 三次元形状計測装置、三次元形状計測方法 |
JP6393106B2 (ja) * | 2014-07-24 | 2018-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
US9808213B2 (en) * | 2014-08-11 | 2017-11-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, medical image diagnostic system, and storage medium |
JP6411185B2 (ja) * | 2014-11-19 | 2018-10-24 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置 |
US11109843B2 (en) * | 2015-02-26 | 2021-09-07 | Hitachi, Ltd. | Ultrasonic image pickup device and image processing device |
US9934570B2 (en) * | 2015-10-09 | 2018-04-03 | Insightec, Ltd. | Systems and methods for registering images obtained using various imaging modalities and verifying image registration |
US10643330B2 (en) * | 2017-04-21 | 2020-05-05 | Biosense Webster (Israel) Ltd. | Registration of an anatomical image with a position-tracking coordinate system based on proximity to bone tissue |
US20200114174A1 (en) * | 2017-06-21 | 2020-04-16 | The Hong Kong Polytechnic University | Apparatus and method for ultrasound spinal cord stimulation |
CN109035141B (zh) * | 2018-07-13 | 2023-03-24 | 上海皓桦科技股份有限公司 | 肋骨展开装置及方法 |
JP6695475B2 (ja) * | 2019-04-26 | 2020-05-20 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 超音波診断装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US700016A (en) * | 1901-12-26 | 1902-05-13 | Carl G Carlsan | Mechanism for securing lags to carrier-chains. |
US6405072B1 (en) * | 1991-01-28 | 2002-06-11 | Sherwood Services Ag | Apparatus and method for determining a location of an anatomical target with reference to a medical apparatus |
US6775404B1 (en) | 1999-03-18 | 2004-08-10 | University Of Washington | Apparatus and method for interactive 3D registration of ultrasound and magnetic resonance images based on a magnetic position sensor |
JP4300488B2 (ja) | 2003-05-08 | 2009-07-22 | 株式会社日立メディコ | 超音波診断におけるリファレンス像表示方法及び超音波診断装置 |
US8102392B2 (en) * | 2003-06-27 | 2012-01-24 | Kabushiki Kaisha Toshiba | Image processing/displaying apparatus having free moving control unit and limited moving control unit and method of controlling the same |
JP4468083B2 (ja) * | 2003-08-26 | 2010-05-26 | キヤノン株式会社 | 放射線撮影装置、放射線撮影方法 |
CN1814323B (zh) * | 2005-01-31 | 2010-05-12 | 重庆海扶(Hifu)技术有限公司 | 一种聚焦超声波治疗*** |
US8042209B2 (en) * | 2005-04-13 | 2011-10-25 | University Of Maryland | Techniques for compensating movement of a treatment target in a patient |
US8731264B2 (en) | 2006-11-27 | 2014-05-20 | Koninklijke Philips N.V. | System and method for fusing real-time ultrasound images with pre-acquired medical images |
US8340374B2 (en) | 2007-01-11 | 2012-12-25 | Kabushiki Kaisha Toshiba | 3-dimensional diagnostic imaging system |
JP5364290B2 (ja) * | 2008-04-17 | 2013-12-11 | 富士フイルム株式会社 | 画像表示装置並びに画像表示制御方法およびプログラム |
US9579161B2 (en) * | 2008-05-06 | 2017-02-28 | Medtronic Navigation, Inc. | Method and apparatus for tracking a patient |
US20110224550A1 (en) * | 2008-11-14 | 2011-09-15 | Hitachi Medical Corporation | Ultrasound diagnostic system and method for generating standard image data for the ultrasound diagnostic system |
JP5486182B2 (ja) | 2008-12-05 | 2014-05-07 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
EP2680778B1 (en) * | 2011-03-03 | 2019-07-31 | Koninklijke Philips N.V. | System and method for automated initialization and registration of navigation system |
-
2011
- 2011-04-01 JP JP2011081993A patent/JP5995408B2/ja not_active Expired - Fee Related
-
2012
- 2012-03-07 EP EP20120158353 patent/EP2506215B1/en not_active Not-in-force
- 2012-03-23 US US13/429,153 patent/US10657661B2/en not_active Expired - Fee Related
- 2012-03-28 KR KR1020120031469A patent/KR101504162B1/ko active IP Right Grant
- 2012-04-05 CN CN201210098111.1A patent/CN102727204B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US10657661B2 (en) | 2020-05-19 |
EP2506215B1 (en) | 2015-05-13 |
CN102727204A (zh) | 2012-10-17 |
EP2506215A1 (en) | 2012-10-03 |
JP2012213557A (ja) | 2012-11-08 |
KR101504162B1 (ko) | 2015-03-19 |
CN102727204B (zh) | 2015-03-25 |
KR20120112119A (ko) | 2012-10-11 |
US20120253171A1 (en) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5995408B2 (ja) | 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム | |
US9480456B2 (en) | Image processing apparatus that simultaneously displays two regions of interest on a body mark, processing method thereof and storage medium | |
US10881353B2 (en) | Machine-guided imaging techniques | |
JP4171833B2 (ja) | 内視鏡誘導装置および方法 | |
CN102727258B (zh) | 图像处理装置、超声波摄影***及图像处理方法 | |
JP5538862B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
CN107980148B (zh) | 对图像进行融合以考虑运动补偿的***和方法 | |
US20120321161A1 (en) | Image processing apparatus, image processing method, image pickup system, and program | |
JP6000705B2 (ja) | データ処理装置及びデータ処理方法 | |
JP5812841B2 (ja) | 画像診断支援装置、画像診断支援方法、画像診断支援プログラム | |
JP2016202351A (ja) | 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム | |
JP2016002251A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2017164075A (ja) | 画像位置合せ装置、方法およびプログラム | |
KR20200056855A (ko) | 기복모델 생성방법, 장치 및 프로그램 | |
KR102184001B1 (ko) | 수술용 네비게이션을 위한 영상 정합 장치 및 영상 정합 방법 | |
JP2012147939A (ja) | 画像処理装置 | |
JP6251002B2 (ja) | 画像処理装置及び画像処理方法、コンピュータプログラム | |
JP5706933B2 (ja) | 処理装置および処理方法、プログラム | |
JP7500360B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2013048688A (ja) | 画像処理装置、画像処理方法及びプログラム | |
EP4379740A1 (en) | Device and method for generating virtual pneumoperitoneum model of patient | |
JP7495216B2 (ja) | 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム | |
JP5751993B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
TW202322766A (zh) | 超音波影像系統 | |
TW202110404A (zh) | 超音波影像系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141201 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150319 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150327 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20150522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160823 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5995408 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |