JP2005078176A - Non-rigid body registration method between a plurality of images - Google Patents
Non-rigid body registration method between a plurality of images Download PDFInfo
- Publication number
- JP2005078176A JP2005078176A JP2003304747A JP2003304747A JP2005078176A JP 2005078176 A JP2005078176 A JP 2005078176A JP 2003304747 A JP2003304747 A JP 2003304747A JP 2003304747 A JP2003304747 A JP 2003304747A JP 2005078176 A JP2005078176 A JP 2005078176A
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- distribution
- target tissue
- registration method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000009826 distribution Methods 0.000 claims abstract description 79
- 239000013598 vector Substances 0.000 claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 14
- 238000013170 computed tomography imaging Methods 0.000 claims description 6
- 210000001519 tissue Anatomy 0.000 description 82
- 210000004185 liver Anatomy 0.000 description 32
- 238000002591 computed tomography Methods 0.000 description 17
- 239000002872 contrast media Substances 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000011524 similarity measure Methods 0.000 description 9
- 238000007476 Maximum Likelihood Methods 0.000 description 6
- 230000003187 abdominal effect Effects 0.000 description 6
- 210000003484 anatomy Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 206010006322 Breath holding Diseases 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005315 distribution function Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000009206 nuclear medicine Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 210000000496 pancreas Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 210000000952 spleen Anatomy 0.000 description 2
- 238000002945 steepest descent method Methods 0.000 description 2
- 238000002940 Newton-Raphson method Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Abstract
Description
本発明は主に、ＣＴ（computed tomography）・ＭＲＩ（magnetic resonance imaging）・核医学・ＣＲ（computed radiography）・ＤＳＡ（digital subtraction angiography）・ＤＲ（real-time radiography）等の放射線診断システムを用いて撮像した医療用の複数の画像間において、肝臓・膵臓・腎臓・脾臓・心臓等の臓器や肺・脳・血管あるいは腫瘍といった生体組織など、診断や観察の対象となる標的組織の位置合せ（各画像において標的組織の各部に対応する各画像点を各画像間で対応づける）を、標的組織の非剛体としての変形を考慮して行なう複数画像間の非剛体レジストレーション方法に関する。 The present invention mainly uses radiation diagnostic systems such as computed tomography (CT), magnetic resonance imaging (MRI), nuclear medicine, computed radiography (CR), digital subtraction angiography (DSA), and real-time radiography (DR). Alignment of target tissues to be diagnosed and observed, such as organs such as liver, pancreas, kidney, spleen, heart, and living tissues such as lungs, brain, blood vessels, and tumors, between multiple medical images The present invention relates to a non-rigid registration method between a plurality of images in which each image point corresponding to each part of a target tissue in an image is associated between the images) in consideration of deformation of the target tissue as a non-rigid body.
従来、放射線診断システムを用いた標的組織の撮影は、外科的処置を伴わずに標的組織おける構造変化や機能障害、病変部の有無等を検知するために、臨床現場において広く行なわれている。また、３次元的に得られたＸ線ＣＴやＭＲＩ等による標的組織の画像データに基づき、標的組織の３次元表示画像や経時的に変化する動画像をコンピュータ・グラフィックスにより作成する技術は、近年著しい進歩を見せている。 Conventionally, imaging of a target tissue using a radiological diagnosis system has been widely performed in the clinical field in order to detect structural change, functional disorder, presence / absence of a lesion, etc. in the target tissue without surgical treatment. In addition, based on image data of a target tissue obtained by three-dimensional X-ray CT, MRI or the like, a technology for creating a three-dimensional display image of a target tissue or a moving image that changes over time by computer graphics It has made remarkable progress in recent years.
例えば、腹部領域内の肝臓等において、造影剤を注入してから撮像されるまでの時間帯が互いに異なる（撮影時相の相異なる）複数の画像系列の３次元ＣＴ画像により得られた画像データに基づき肝臓等の領域を特定する技術が、本願発明者らにより提案されている（下記特許文献１参照）。このような技術を用いて作成される肝臓等に関する高精度な３次元表示画像や動画像は、肝臓等における疾病診断や外科手術計画に際し有効であり、臨床現場において広く用いられる傾向にある。
For example, in the liver in the abdominal region, image data obtained from a three-dimensional CT image of a plurality of image series having different time zones from injection of a contrast agent to imaging (different imaging time phases) Based on the above, the inventors of the present application have proposed a technique for specifying a region such as the liver (see
撮影時相の相異なる複数の画像系列は、１回の息止め期間によって得られない場合も多い。このような場合、相異なる画像系列間で互いに対応する画像の組において、標的組織の位置が正確に位置合せされている保証はなく、むしろ呼吸による体の動きにより各画像間で標的組織の位置ずれが起きている可能性が高い。このため、高精度な３次元表示画像や動画像を作成するためには、画像間での標的組織の位置合せが重要な課題となる。 In many cases, a plurality of image series having different shooting time phases cannot be obtained by one breath holding period. In such a case, there is no guarantee that the position of the target tissue is accurately aligned in the set of images corresponding to each other between different image series, but rather the position of the target tissue between the images due to body movements due to breathing. There is a high possibility that a gap has occurred. For this reason, in order to create a highly accurate three-dimensional display image or moving image, the alignment of the target tissue between the images becomes an important issue.
従来、このような画像間での標的組織の位置合せを行なうための手法として、下記非特許文献１に記載されているような非剛体レジストレーションが知られている。この非剛体レジストレーションは、画像空間を所定の間隔ごとに区切る制御ポイントをパラメータとするレジストレーション評価関数を用いて、このレジストレーション評価関数が最大となるように制御ポイントの位置を制御することにより、画像空間の変形ベクトル場を推定するものであり、上記レジストレーション評価関数は、画像間の類似性の尺度に基づき画像間の対応づけをする項（以下「類似性尺度項」と称する）と、画像内の空間変動は滑らかであるという条件に基づき画像間の対応づけを制限する項（以下「平滑制限項」と称する）とから構成されている。
Conventionally, non-rigid registration as described in
造影剤を用いたＣＴ・ＭＲＩ等により異なる時相間で撮像された生体組織の画像では、各生体組織の特性に応じて濃度値の分布（例えばコントラスト）がそれぞれに変化する。したがって、非剛体レジストレーションで用いられる上記類似性の尺度は、位置合せされる画像間の濃度値分布の相違に対処し得るものである必要がある。従来そのような類似性の尺度として、相互情報量（ＭＩ）や正規化相互情報（ＮＭＩ）に相当するエントロピー相関係数（ＥＣＣ）、ピアソンの積率相互相関（ＮＣＣ）等が知られている。これらの類似性の尺度は、相互に対応づけられる複数の画像の各々において各画像点が持つ濃度値を組にしてなる多次元ベクトルの同時分布に基づいて求められる。 In an image of a living tissue imaged between different time phases by CT / MRI using a contrast agent, the distribution of density values (for example, contrast) changes according to the characteristics of each living tissue. Therefore, the similarity measure used in non-rigid registration needs to be able to deal with the difference in density value distribution between registered images. Conventionally, entropy correlation coefficient (ECC) corresponding to mutual information (MI) and normalized mutual information (NMI), Pearson product-moment cross correlation (NCC), and the like are known as measures of such similarity. . These similarity measures are obtained on the basis of the simultaneous distribution of multidimensional vectors formed by pairs of density values of image points in each of a plurality of images that are associated with each other.
しかし、上記ＭＩやＥＣＣ、ＮＣＣを類似性の尺度とする従来の非剛体レジストレーションは、画像間の位置合せ誤差が大きく、臨床現場において用いられる段階には達していない。このため、位置合せ誤差の少ない非剛体レジストレーションを可能とする新たな類似性の尺度の構築が待望されていた。 However, conventional non-rigid registration using the above-mentioned MI, ECC, and NCC as a measure of similarity has a large registration error between images, and has not yet reached the stage where it is used in clinical practice. For this reason, the construction of a new similarity measure that enables non-rigid registration with little alignment error has been awaited.
本発明は、このような事情に鑑みなされたものであり、画像間における標的組織の良好な位置合せを可能とする新たな類似性の尺度を用いた複数画像間の非剛体レジストレーション方法を提供することを第１の目的とする。 The present invention has been made in view of such circumstances, and provides a non-rigid registration method between a plurality of images using a new measure of similarity that enables good alignment of a target tissue between images. This is the first purpose.
また、従来の非剛体レジストレーションでは、画像間の位置合せを各画像の撮像領域全体に対し実施するようになっている。このような手法は、上記同時分布の個人差が少なくて一般的な同時分布のモデルを構築し得る脳等の生体組織の場合には適用できるが、腹部における肝臓等の生体組織のように上記同時分布の個人差が大きくて一般的なモデルが構築しにくい場合は適用しにくい。 Further, in the conventional non-rigid registration, alignment between images is performed on the entire imaging region of each image. Such a technique can be applied in the case of a biological tissue such as a brain that can build a general model of a simultaneous distribution with little individual difference in the above-mentioned simultaneous distribution. It is difficult to apply when there is a large individual difference in the simultaneous distribution and it is difficult to construct a general model.
また、腹部領域を撮像した画像間の位置合せにおいては、隣接する複数の生体組織の境界で生じる生体組織相互間の位置ずれ（以下「組織滑動」と称する）が影響して、良好な位置合せが行なえないという問題がある。すなわち、上述したように非剛体レジストレーションで用いられるレジストレーション評価関数は、画像内の空間変動は滑らかであるという条件に基づき画像間の対応づけを制限する平滑制限項を備えているが、組織滑動が生じる領域では空間変動が不連続となる。このため、不連続な空間変動が生じる境界を横断するように平滑制限が適用されると、画像間の位置合せにおいて望ましくない挙動を示すという問題がある。 In addition, in the alignment between images obtained by imaging the abdominal region, a good alignment is achieved due to a displacement between living tissues (hereinafter referred to as “tissue sliding”) generated at the boundary between adjacent living tissues. There is a problem that cannot be done. That is, as described above, the registration evaluation function used in the non-rigid registration includes a smooth restriction term that restricts the correspondence between images based on the condition that the spatial variation in the image is smooth. Spatial variation is discontinuous in the region where sliding occurs. For this reason, there is a problem that when smoothing restriction is applied so as to cross a boundary where discontinuous spatial variation occurs, undesirable behavior is exhibited in registration between images.
本発明は、このような事情に鑑み、組織滑動が生じる複数の組織を撮像した画像間において、標的組織を良好に位置合せ可能な複数画像間の非剛体レジストレーション方法を提供することを第２の目的とする。 In view of such circumstances, the present invention provides a non-rigid registration method between a plurality of images capable of satisfactorily aligning a target tissue between images obtained by imaging a plurality of tissues in which tissue sliding occurs. The purpose.
上記第１の目的を達成するため、本発明に係る第１の複数画像間の非剛体レジストレーション方法は、
画像間で濃度値の分布が互いに異なるように所定の標的組織を撮像した複数の画像間において、前記標的組織の非剛体としての変形を考慮して該標的組織の位置合せを行なう複数画像間の非剛体レジストレーション方法において、
前記複数の画像の各々において前記標的組織に対応する各画像点が持つ濃度値を各標本値とする確率変数を前記画像別に設定するとともに、これら画像別の各確率変数を組としてなる多次元確率ベクトルの同時分布を推定し、
所定の局所領域内において前記各画像点を前記画像間で対応づける変換を設定し、
該変換によって前記各画像点が前記画像間で適正に対応づけられたとすれば、前記各画像点が前記各画像において持つ各濃度値を組としてなる多次元ベクトルは、前記同時分布に従うと仮定して、
前記多次元ベクトルが観測される尤度を示す、前記変換のパラメータを母数とする尤度関数を求め、
求められた前記尤度関数を前記各画像間の類似性の尺度として用いることを特徴とするものである。
In order to achieve the first object, a non-rigid registration method between a plurality of first images according to the present invention includes:
Among a plurality of images obtained by imaging a predetermined target tissue so that density value distributions are different from one image to another, between the plurality of images that align the target tissue in consideration of deformation of the target tissue as a non-rigid body In the non-rigid registration method,
In each of the plurality of images, a random variable having a density value of each image point corresponding to the target tissue as a sample value is set for each image, and a multidimensional probability in which each random variable for each image is paired Estimate the simultaneous distribution of vectors,
Set a transformation that associates each image point between the images within a predetermined local region;
Assuming that each image point is properly associated between the images by the conversion, it is assumed that a multidimensional vector in which each image point has a set of density values in each image follows the simultaneous distribution. And
Obtain a likelihood function with the parameter of the transformation as a parameter indicating the likelihood that the multidimensional vector is observed,
The obtained likelihood function is used as a measure of similarity between the images.
また、上記第２の目的を達成するため、本発明に係る第２の複数画像間の非剛体レジストレーション方法は、
画像間で濃度値の分布が互いに異なるように所定の標的組織を他の組織と共に撮像した複数の画像間において、前記標的組織の非剛体としての変形を考慮して該標的組織の位置合せを行なう複数画像間の非剛体レジストレーション方法において、
前記複数の画像の各々において各画像点が持つ濃度値を各標本値とする確率変数を前記画像別に設定するとともに、これら画像別の各確率変数を組としてなる多次元確率ベクトルの同時分布を求め、
この同時分布に基づき、前記標的組織に略対応する対象分布範囲と他の非対象分布範囲とを選別し、
前記非対象分布範囲に対応する前記同時分布を均一化するとともに、
前記対象分布範囲に対応する前記同時分布を推定し、
所定の局所領域内において前記各画像点を前記画像間で対応づける変換を設定し、
該変換によって前記各画像点が前記画像間で適正に対応づけられたとすれば、前記各画像点が前記各画像において持つ各濃度値を組としてなる多次元ベクトルは、前記対象分布範囲における前記同時分布に従うと仮定して、
前記多次元ベクトルが観測される尤度を示す、前記変換のパラメータを母数とする尤度関数を求め、
求められた前記尤度関数を前記各画像間の類似性の尺度として用いることを特徴とするものである。
In order to achieve the second object, a non-rigid registration method between a plurality of second images according to the present invention includes:
The target tissue is aligned in consideration of deformation of the target tissue as a non-rigid body between a plurality of images obtained by imaging a predetermined target tissue together with other tissues so that the distribution of density values differs between the images. In a non-rigid registration method between multiple images,
In each of the plurality of images, a random variable having each sample point as a density value of each image point is set for each image, and a simultaneous distribution of multidimensional probability vectors including each random variable for each image is obtained. ,
Based on this simultaneous distribution, the target distribution range that roughly corresponds to the target tissue and other non-target distribution ranges are selected,
While homogenizing the simultaneous distribution corresponding to the non-target distribution range,
Estimating the co-distribution corresponding to the target distribution range;
Set a transformation that associates each image point between the images within a predetermined local region;
Assuming that each image point is properly associated between the images by the conversion, a multidimensional vector in which each image point has each density value in each image as a set is the same in the target distribution range. Assuming that the distribution follows
Obtain a likelihood function with the parameter of the transformation as a parameter indicating the likelihood that the multidimensional vector is observed,
The obtained likelihood function is used as a measure of similarity between the images.
本発明において、前記複数の画像間で前記標的組織の位置合せを行なうことにより、該標的組織に対応する空間領域の変形ベクトル場を推定するようにしてもよい。 In this invention, you may make it estimate the deformation | transformation vector field of the space area | region corresponding to this target tissue by aligning the said target tissue between these several images.
また、前記変換の前記パラメータは、Ｂ−スプラインの制御点の位置を示すものとすることができ、前記複数の画像は、Ｘ線ＣＴ撮影により得られたものとすることができる。 The parameter of the conversion may indicate a position of a control point of B-spline, and the plurality of images may be obtained by X-ray CT imaging.
本発明に係る第１の複数画像間の非剛体レジストレーション方法によれば、上記構成を備えたことにより、複数画像間における標的組織の良好な位置合せが可能となる。 According to the first non-rigid registration method between a plurality of images according to the present invention, it is possible to satisfactorily align a target tissue between a plurality of images by including the above configuration.
また、本発明に係る第２の複数画像間の非剛体レジストレーション方法によれば、上記構成を備えたことにより、画像間の位置合せにおける組織滑動の悪影響を低減でき、組織滑動が生じる複数の組織を撮像した画像間における標的組織の良好な位置合せが可能となる。 In addition, according to the second non-rigid registration method between a plurality of images according to the present invention, since the above-described configuration is provided, the adverse effect of the tissue sliding in the alignment between the images can be reduced, and a plurality of tissue sliding occurs. It is possible to satisfactorily align the target tissue between images obtained by imaging the tissue.
以下、本発明の一実施形態に係る複数画像間の非剛体レジストレーション方法（以下「本実施形態方法」と称する）について、図面を参照しながら説明する。なお、本実施形態方法は、造影剤を用いてＣＴ撮影された腹部領域における相異なる２時相の画像系列（造影剤を注入してから撮像されるまでの時間帯が相異なる画像系列）間において、肝臓を標的組織としてその位置合せを行なうものである。 Hereinafter, a non-rigid registration method (hereinafter referred to as “method of the present embodiment”) between a plurality of images according to an embodiment of the present invention will be described with reference to the drawings. Note that the method of this embodiment is performed between two different time phase image sequences (image sequences in which the time period from injection of contrast agent to imaging is different) in an abdominal region obtained by CT imaging using a contrast agent. In this case, the liver is used as a target tissue for alignment.
本実施形態方法の基本的な手順では、まず上記２時相の画像系列で互いに対応する一対の画像Ｉ（χ)およびＪ（χ)（χは３次元座標ｘ，ｙ，ｚの組として表される位置ベクトルで、３次元画像において各格子点を構成するボクセル（ｖｏｘｅｌ）に相当する。χ＝（ｘ，ｙ，ｚ）Ｔ、Ｔは転置を表す）において、各解剖学的構造（生体組織）に対応する各画像点の集合の族Γ＝｛γ１，γ２，γ３，・・・，γｎ｝を定義する。この一対の画像Ｉ（χ)およびＪ（χ)が正確に位置合せされている場合、所定の解剖学的構造に対応する各画像点の集合γ（γはΓに属する）は、画像Ｉ（χ)およびＪ（χ)において同時確率P(ｉ，ｊ｜γ)を伴って、それぞれ濃度値ｉ，ｊで現れると仮定する。換言すれば、一対の画像Ｉ（χ)およびＪ（χ)の各々において各解剖学的構造（γ）に対応する各画像点（χ）が持つ濃度値を各標本値とする確率変数（ＩまたはＪ）を画像別に設定するとともに、これら画像別の確率変数を組としてなる多次元確率ベクトル（本実施形態方法では２次元確率ベクトル（Ｉ，Ｊ））が所定の同時分布（Ｐ（Ｉ（χ），Ｊ（χ）｜γ））に従うと仮定する。図１にこのような同時分布の一例を示す。図１は一対の画像において各解剖学的構造に対応する同時分布の一例を示す図である。なお、図１に示す軸ｉは画像Ｉにおいて各画像が持つ濃度値を示し、軸ｊは画像Ｊにおいて各画像が持つ濃度値を示す。このことは他の図においても同様である。 In the basic procedure of the method of the present embodiment, first, a pair of images I (χ) and J (χ) (χ is represented as a set of three-dimensional coordinates x, y, z in the two time phase image series. In the three-dimensional image, it corresponds to the voxel (voxel) that constitutes each lattice point, and χ = (x, y, z) T , T represents transposition), and each anatomical structure (biological body) Define a group Γ = {γ 1 , γ 2 , γ 3 ,..., Γ n } of the set of image points corresponding to (tissue). When the pair of images I (χ) and J (χ) are accurately aligned, a set γ (γ belongs to Γ) of each image point corresponding to a predetermined anatomical structure is represented by an image I ( Assume that χ) and J (χ) appear at density values i and j, respectively, with a joint probability P (i, j | γ). In other words, in each of the pair of images I (χ) and J (χ), a random variable (I that uses the density value of each image point (χ) corresponding to each anatomical structure (γ) as each sample value. Or J) is set for each image, and a multidimensional probability vector (a two-dimensional probability vector (I, J) in the method of the present embodiment) that is a set of random variables for each image is set to a predetermined simultaneous distribution (P (I ( χ), J (χ) | γ)). FIG. 1 shows an example of such a simultaneous distribution. FIG. 1 is a diagram illustrating an example of a simultaneous distribution corresponding to each anatomical structure in a pair of images. 1 represents the density value of each image in the image I, and the axis j represents the density value of each image in the image J. The same applies to other drawings.
次に、位置合せ（レジストレーション）されてない一対の画像Ｉ（χ)およびＪ（χ)について検討する。Ｊ（χ)の各画像点をＩ（χ)の各画像点に対応づけるレジストレーション変換Ｔ（χ)を設定し、この変換Ｔ（χ)によって上記各画像点が一対の画像Ｉ（χ)およびＪ（χ)間で適正に対応づけられたとすれば、前記各画像において持つ各濃度値を組としてなる２次元ベクトル（ｉ，ｊ）は上記同時分布に従うと仮定して、この２次元ベクトル（ｉ，ｊ）が観測される尤度を示す尤度関数を下式（１）により定義する。なお、このような形式の尤度関数は、統計解析の分野における尤度解析法、特に最尤推定法において一般的に用いられるものである。ただし最尤推定法では、母集団の分布における平均や共分散等を未知とし、これらを母数として尤度関数に組み込んでその最尤推定量を求めるのが一般的である。これに対し本発明では、母集団の分布は予め推定しておき（この推定に最尤推定法を適用することも可能）、レジストレーション変換Ｔ（χ)のパラメータ（本実施形態方法では後述するφ）を母数として尤度関数に組み込んでその最尤推定量を求める点において、最尤推定法における尤度関数の用い方とは異なっている。 Next, consider a pair of images I (χ) and J (χ) that are not registered. A registration transformation T (χ) that associates each image point of J (χ) with each image point of I (χ) is set, and each image point is converted into a pair of images I (χ) by this transformation T (χ). If J (χ) is properly associated with each other, it is assumed that the two-dimensional vector (i, j), which is a set of the density values in each image, follows the above-mentioned simultaneous distribution. A likelihood function indicating the likelihood that (i, j) is observed is defined by the following equation (1). Such a likelihood function is generally used in a likelihood analysis method in the field of statistical analysis, particularly in a maximum likelihood estimation method. However, in the maximum likelihood estimation method, it is general that the mean, covariance, etc. in the population distribution are unknown, and these are incorporated into a likelihood function as a parameter to obtain the maximum likelihood estimator. On the other hand, in the present invention, the population distribution is estimated in advance (the maximum likelihood estimation method can be applied to this estimation), and the parameter of the registration transformation T (χ) (this method will be described later in this embodiment). It differs from the use of the likelihood function in the maximum likelihood estimation method in that φ) is incorporated into the likelihood function as a parameter and the maximum likelihood estimator is obtained.
また、最大対数尤度変換TMLを、下式（２）により定義する。 Further, the maximum log likelihood conversion TML is defined by the following equation (2).
脳のように、周辺組織との間の組織滑動が生じ難く、また同時分布の個人差が少ないため同時分布の一般的なモデルを構築し得る組織を標的組織とする場合、上式（１），（２）により定義される尤度関数は、画像間の位置合せを各画像の撮像領域全体に対し実施する非剛体レジストレーションにおける類似性の尺度として用いることが有効である。 When the target tissue is a tissue that is unlikely to cause tissue sliding between surrounding tissues and has a small individual difference in the simultaneous distribution, and can construct a general model of the simultaneous distribution, the above formula (1) It is effective to use the likelihood function defined by (2) as a measure of similarity in non-rigid registration in which registration between images is performed on the entire imaging region of each image.
しかし、本実施形態方法が標的組織とする肝臓のように、周辺組織との間の組織滑動が生じやすく、また同時分布の個人差が大きいため同時分布の一般的なモデルが構築しにくい場合は、次に概略的に示す２つの手順を必要とする。 However, as in the case of the liver as the target tissue in the method of the present embodiment, tissue sliding between surrounding tissues is likely to occur, and since there are large individual differences in the simultaneous distribution, it is difficult to construct a general model of the simultaneous distribution. The two steps outlined below are required.
１．位置合せされていない患者個々のＣＴ画像データから、標的組織である肝臓の同時分布を推定する。 1. The simultaneous distribution of the target tissue liver is estimated from CT image data of individual patients that are not registered.
２．他の組織の同時分布は類似性の尺度に影響を与えないように基本的に均一分布としてモデル化する。 2. The simultaneous distribution of other tissues is basically modeled as a uniform distribution so as not to affect the similarity measure.
このような２つの手順を実施することにより、肝臓に対応する画像領域内では位置合せが行なわれるが、他の周辺領域については位置合せが強制されない。この結果、肝臓と他の周辺組織との境界で発生する組織滑動による悪影響を低減することが可能となる。 By performing these two procedures, alignment is performed in the image region corresponding to the liver, but alignment is not forced in other peripheral regions. As a result, it is possible to reduce adverse effects caused by tissue sliding that occurs at the boundary between the liver and other peripheral tissues.
以下、上記２つの手順の詳細を述べるが、その準備として、解剖学的構造の集合族Γは2つの組織、すなわち標的組織としての肝臓（Ｌ）と他の周辺組織（Ｏ）（Ｏは標的組織以外の全組織を示す）とからなるものとし、上式（１）を下式（３）のように変形しておく。 In the following, the details of the above two procedures will be described. In preparation, the collective group Γ of anatomical structures is divided into two tissues, namely, liver (L) as a target tissue and other surrounding tissues (O) (O is a target). The above formula (1) is transformed into the following formula (3).
本実施形態方法で提案される画像間の類似性の尺度は、上式（３）の尤度関数においてＰ（ｉ，ｊ｜Ｌ），Ｐ（ｉ，ｊ｜Ｏ），Ｐ（Ｌ）およびＰ（Ｏ）を定義することによって得られる。 The measure of similarity between images proposed in the method of the present embodiment is P (i, j | L), P (i, j | O), P (L) and the likelihood function in the above equation (3). It is obtained by defining P (O).
〈排他的条件〉
Ｐ（ｉ，ｊ｜Ｌ），Ｐ（ｉ，ｊ｜Ｏ），Ｐ（Ｌ）およびＰ（Ｏ）を定義する前に、本実施形態方法において導入する排他的条件について説明する。図２は排他的条件を示す図で、同図（ａ）は組織γ３が排他的条件を満たさない場合を、同図（ｂ）は組織γ３が排他的条件を満たさす場合をそれぞれ例示している。
<Exclusive conditions>
Before defining P (i, j | L), P (i, j | O), P (L), and P (O), exclusive conditions introduced in the method of this embodiment will be described. 2A and 2B are diagrams illustrating exclusive conditions. FIG. 2A illustrates a case where the tissue γ 3 does not satisfy the exclusive condition, and FIG. 2B illustrates a case where the tissue γ 3 satisfies the exclusive condition. doing.
組織γｓに対応する２次元ベクトル（ｉ，ｊ）の同時分布Ｐ（ｉ，ｊ｜γｓ）のｉ軸およびｊ軸への投影であるＰ（ｉ｜γｓ）およびＰ（ｊ｜γｓ）が、他の全ての組織γｔ（ｔとｓは異なる）についての同時分布Ｐ（ｉ｜γｔ）およびＰ（ｊ｜γｔ）とそれぞれ無視できる程度しか重ならない場合に、Ｐ（ｉ，ｊ｜γｓ）は排他的であると定義する。図２（ａ）において組織γ３は、他の組織｛γ４，γ５，γ６，γ７，γ８｝の分布領域が自身に関連した対象分布領域（斜線を付けた十字状の領域）と重なっているために排他的とはみなされないが、図２（ｂ）において組織γ３は排他的であるとみなされる。数学的には、Ｐ（ｉ，ｊ｜γｓ）は下式（４）の条件を満たすと排他的とみなされる。 P (i | γ s ) and P (j | γ), which are projections of the simultaneous distribution P (i, j | γ s ) of the two-dimensional vector (i, j) corresponding to the tissue γ s onto the i axis and the j axis. If s ) overlaps with the joint distributions P (i | γ t ) and P (j | γ t ) for all other tissues γ t (t and s are different), respectively, to a negligible extent, P ( i, j | γ s ) is defined as exclusive. In FIG. 2A, the tissue γ 3 is a target distribution region (cross-shaped region with diagonal lines) in which the distribution region of other tissue {γ 4 , γ 5 , γ 6 , γ 7 , γ 8 } is related to itself. ) and it not considered exclusive to overlap, but tissue gamma 3 in FIG. 2 (b) is considered to be exclusive. Mathematically, P (i, j | γ s ) is regarded as exclusive when the condition of the following expression (4) is satisfied.
本実施形態方法では、標的組織すなわち肝臓（Ｌ）の同時分布が排他的条件を満たすと仮定する。実際の状況で排他的条件を課すのは制約が強すぎると思われるかもしれないが、非剛体レジストレーションについては、画像全体において排他的条件を満たすことは不要である。非剛体レジストレーションにおけるレジストレーション評価関数の計算は、画像全体ではなく各局所領域で行なわれるからである。したがって、この条件は局所領域のみで満たされればよく、これは実際の状況において満たすのに妥当な条件とみなすことが可能である。 In this embodiment method, it is assumed that the simultaneous distribution of the target tissue, that is, the liver (L) satisfies the exclusive condition. Imposing an exclusive condition in real situations may seem too restrictive, but for non-rigid registration, it is not necessary to satisfy the exclusive condition in the entire image. This is because the calculation of the registration evaluation function in non-rigid registration is performed in each local region, not in the entire image. Therefore, this condition only needs to be satisfied in the local region, and this can be regarded as a reasonable condition to satisfy in an actual situation.
図３は局所的排他的条件を示す図で、同図（ａ）は局所領域（Ａｒｅａ１〜５）を規定するための同時分布（同時ヒストグラム）を示し、同図（ｂ）は画像全域の同時分布を示している。また、同図（ａ）で規定された局所領域（Ａｒｅａ１〜５）の同時分布を同図（ｃ）〜（ｇ）にそれぞれ示す。組織γ３は、画像全域の同時分布においては排他的とみなされないが、図３（ｄ）以外の各局所領域においては排他的であるとみなせる。排他的条件は、一対の画像Ｉ（χ)およびＪ（χ)において、標的組織（肝臓）の分布が周辺組織の分布からよく分離されることを保証する。これは、一対の画像Ｉ（χ)およびＪ（χ)の双方において標的および周辺組織領域の間の画像境界が検出可能であることを意味する。
FIG. 3 is a diagram showing local exclusive conditions. FIG. 3A shows a simultaneous distribution (simultaneous histogram) for defining local regions (
以下、上式（３）におけるＰ（ｉ，ｊ｜Ｌ），Ｐ（ｉ，ｊ｜Ｏ），Ｐ（Ｌ）およびＰ（Ｏ）を推定する手順を説明する。まず、Ｐ（ｉ，ｊ｜Ｌ）を非剛体レジストレーションが行なわれる前の画像対から推定する手順について説明し、次にＰ（ｉ，ｊ｜Ｏ）をＰ（ｉ，ｊ｜Ｌ）が排他的条件を満たすように導出する手順について説明する。最後に、Ｐ（ｉ，ｊ｜Ｌ）およびＰ（ｉ，ｊ｜Ｏ）に基づき、Ｐ（Ｌ）およびＰ（Ｏ）を推定する手順について説明する。 Hereinafter, a procedure for estimating P (i, j | L), P (i, j | O), P (L) and P (O) in the above equation (3) will be described. First, a procedure for estimating P (i, j | L) from the image pair before the non-rigid registration is performed will be described. Next, P (i, j | O) is changed to P (i, j | L) A procedure for deriving to satisfy the exclusive condition will be described. Finally, a procedure for estimating P (L) and P (O) based on P (i, j | L) and P (i, j | O) will be described.
〈Ｐ（ｉ，ｊ｜Ｌ）の推定〉
まず、標的組織（肝臓）の同時分布Ｐ（ｉ，ｊ｜Ｌ）は、患者個々のＣＴ画像データ間で大きな変動が見られるが、下式（５）で表される多変量正規分布関数（本実施形態方法では２変量正規分布関数）でよく近似されるものと仮定する。
<Estimation of P (i, j | L)>
First, the simultaneous distribution P (i, j | L) of the target tissue (liver) shows a large variation between CT image data of individual patients, but the multivariate normal distribution function (5) expressed by the following equation (5) In the method of the present embodiment, it is assumed that the method is well approximated by a bivariate normal distribution function.
次に、ＣＴ撮影により異なる時相で得た位置合せされていない２つの画像において、腹部ＣＴスキャンのための視野（ＦＯＶ）を脊椎位置に基づいて設定するとともに、肝臓組織に大部分占有されるように関心領域（ＶＯＩ）を設定する（図４（ａ）参照）。図４は肝臓領域の同時分布の推定手順を示す図で、同図（ａ）は関心領域を示し、同図（ｂ）は関心領域における同時分布を示している。また、同図（ｃ）は上式（５）に基づき推定されたＰ（ｉ，ｊ｜Ｌ）を示し、同図（ｄ）は後述の如く均一化された非対象領域の同時分布Ｐ（ｉ，ｊ｜Ｏ）を示している。なお、後述する大阪大学病院で得られた腹部ＣＴ画像データにおいては、各例で脊椎に対する肝臓の位置が大きく異ならないため、各患者についてＶＯＩの位置を固定することができることが確認された。 Next, the field of view (FOV) for the abdominal CT scan is set based on the spine position in the two unaligned images obtained at different time phases by CT imaging and is mostly occupied by liver tissue Thus, the region of interest (VOI) is set (see FIG. 4A). FIG. 4 is a diagram showing a procedure for estimating the simultaneous distribution of the liver region. FIG. 4A shows the region of interest, and FIG. 4B shows the simultaneous distribution in the region of interest. FIG. 6C shows P (i, j | L) estimated based on the above equation (5), and FIG. 6D shows the simultaneous distribution P ( i, j | O). In the abdominal CT image data obtained at Osaka University Hospital, which will be described later, it was confirmed that the position of the VOI can be fixed for each patient because the position of the liver relative to the spine is not significantly different in each case.
次いで、上式（５）における同時分布Ｐ（ｉ，ｊ｜Ｌ）の平均値および共分散行列を、２つの領域のＶＯＩから得た同時ヒストグラムを分析することによって推定する。平均値および共分散行列は、中心が同時ヒストグラムの最頻値にあって水平および垂直方向の幅がそれぞれｉ軸およびｊ軸に投影された１次元ヒストグラムの半値全幅（ＦＷＨＭ）の３倍に等しいヒストグラム領域から推定される。２つの領域はこの時点では位置合せされないが、同時分布の良好な近似を与える。図４（ｂ）および（ｃ）に、ＶＯＩから得た同時ヒストグラムおよび肝臓の推定同時分布をそれぞれ示す。なお、このような手法は、上記特許文献１において詳しく開示されている。
Next, the mean value and covariance matrix of the joint distribution P (i, j | L) in the above equation (5) are estimated by analyzing the joint histogram obtained from the VOIs of the two regions. The mean and covariance matrix is equal to three times the full width at half maximum (FWHM) of the one-dimensional histogram centered at the mode of the simultaneous histogram and the horizontal and vertical widths projected onto the i-axis and j-axis, respectively. Estimated from the histogram area. The two regions are not aligned at this point, but give a good approximation of the joint distribution. FIGS. 4B and 4C show the simultaneous histogram obtained from the VOI and the estimated simultaneous distribution of the liver, respectively. Such a method is disclosed in detail in the above-mentioned
〈Ｐ（ｉ，ｊ｜Ｏ）の導出〉
周辺組織の同時分布Ｐ（ｉ，ｊ｜Ｏ）は、肝臓の同時分布Ｐ（ｉ，ｊ｜Ｌ）が排他的条件を満たすという前提にたって、基本的に均一な分布としてモデル化する。Ｐ（ｉ，ｊ｜Ｏ）は図２の斜線領域を除いて均一にモデル化すべきである。本実施形態方法では、Ｐ（ｉ，ｊ｜Ｌ）のｉ軸およびｊ軸それぞれへの投影Ｐ（ｉ｜Ｌ）およびＰ（ｊ｜Ｌ）に基づいて、図２の斜線領域の分布をモデル化する。これは、Ｐ（ｉ｜Ｌ）およびＰ（ｊ｜Ｌ）の正規化後、均一分布からＰ（ｉ｜Ｌ）およびＰ（ｊ｜Ｌ）の逆投影を引き算することによって実現される。
<Derivation of P (i, j | O)>
The simultaneous distribution P (i, j | O) of the surrounding tissue is basically modeled as a uniform distribution on the assumption that the simultaneous distribution P (i, j | L) of the liver satisfies the exclusive condition. P (i, j | O) should be modeled uniformly except for the shaded area in FIG. In the method of the present embodiment, the distribution of the hatched area in FIG. 2 is modeled based on the projections P (i | L) and P (j | L) of P (i, j | L) onto the i-axis and the j-axis, respectively. Turn into. This is achieved by subtracting the backprojections of P (i | L) and P (j | L) from the uniform distribution after normalization of P (i | L) and P (j | L).
すなわち、まずＧ（ｉ｜Ｌ）およびＧ（ｊ｜Ｌ）をそれぞれ下式（６）および（７）により定義する。 That is, first, G (i | L) and G (j | L) are defined by the following equations (6) and (7), respectively.
このＧ（ｉ｜Ｌ）およびＧ（ｊ｜Ｌ）を用いてＰ（ｉ，ｊ｜Ｏ）は、下式（８）により均一にモデル化される。 Using this G (i | L) and G (j | L), P (i, j | O) is uniformly modeled by the following equation (8).
〈Ｐ（Ｌ）およびＰ（Ｏ）の推定〉
組織ＬおよびＯの事前確率は基本的にそれらの体積に依存する。非剛体レジストレーションにおいて事前確率は尤度が計算される局所領域におけるそれらの比に依存すべきである。この比を正確に推定するのは容易ではないため、以下の経験的な方法を用いて事前確率を決定する。Ｐ（Ｌ）およびＰ（Ｏ）をそれぞれα（αは０以上１以下の数）および１−αとする。Ｐ（Ｌ）・Ｐ（ｉ，ｊ｜Ｌ）の最大確率がＰ（Ｏ）・Ｐ（ｉ，ｊ｜Ｏ）の最大確率に等しいとすると、αへの制限が下式（１０）によって得られる。
<Estimation of P (L) and P (O)>
Prior probabilities of tissues L and O basically depend on their volume. Prior probabilities in non-rigid registration should depend on their ratio in the local region where the likelihood is calculated. Since it is not easy to accurately estimate this ratio, the prior probability is determined using the following empirical method. Let P (L) and P (O) be α (α is a number from 0 to 1) and 1-α, respectively. Assuming that the maximum probability of P (L) · P (i, j | L) is equal to the maximum probability of P (O) · P (i, j | O), the limit to α is obtained by the following equation (10). It is done.
この制限から、αが下式（１１）により導き出される。 From this restriction, α is derived by the following equation (11).
〈非剛体レジストレーション手順への類似性尺度の組み込み〉
上述した手順により定義された上式（３）の尤度関数を類似性の尺度として、下式（１２）のように定義されるレジストレーション評価関数（目的関数）中に組み込む。
<Incorporation of similarity measures into non-rigid registration procedures>
The likelihood function of the above equation (3) defined by the above-described procedure is incorporated as a measure of similarity into a registration evaluation function (objective function) defined as the following equation (12).
Ｃｓｉｍｉｌａｒｉｔｙ(φ)およびＣｓｍｏｏｔｈ(φ)はそれぞれ各局所領域における類似性尺度項および平滑制限項であり、下式（１４）および（１５）によって与えられる。 C similarity (φ) and C smooth (φ) are a similarity measure term and a smooth restriction term in each local region, respectively, and are given by the following equations (14) and (15).
上式（１２）で定義されるレジストレーション評価関数を最小化するため、本実施形態方法では階層グリッドを用いる最急降下アルゴリズムを使用する。このアルゴリズム手順は以下の通りである。
〈１〉制御点Φｍ（ｍ＝０）を初期化する。
〈２〉上式(１２)の勾配ベクトルを下式（１６）に基づいて計算する。
In order to minimize the registration evaluation function defined by the above equation (12), the method of this embodiment uses a steepest descent algorithm using a hierarchical grid. The algorithm procedure is as follows.
<1> The control point Φ m (m = 0) is initialized.
<2> The gradient vector of the above equation (12) is calculated based on the following equation (16).
〈３〉‖∇Ｃ‖＞ε（εは小さな正の数）の間において、制御点Φを下式（１７）に基づいて更新し、勾配ベクトル▽Ｃを再計算する。 During <3> ‖∇C‖> ε (ε is a small positive number), the control point Φ is updated based on the following equation (17), and the gradient vector ▽ C is recalculated.
〈４〉制御点Φの階層を細かくする（Φｍ→Φｍ+１）
〈５〉上記手順〈２〉〜〈４〉を最高階層度に達するまで繰り返す。
ただし、Φｍはｍ番目の階層レベルのＢ−スプライン制御点グリッドを示す。
<4> Refine the level of the control point Φ (Φ m → Φ m + 1 )
<5> Repeat the above steps <2> to <4> until the highest level is reached.
However, (PHI) m shows the B-spline control point grid of the mth hierarchical level.
以下、本実施形態方法を、臨床現場で得られたＣＴ画像データに対して実施した結果について説明する。適用対象となったＣＴ画像データは、大阪大学病院（大阪府吹田市）および国立癌センター（東京都）において肝臓のダイナミックＣＴ撮影により得られた８患者のデータである。撮影条件を表１に示す。なお、上記アルゴリズム手順におけるΦｍ→Φｍ+１の演算は、本明細書の背景技術の欄に記載した非特許文献２において提案されている手法を用いている。また、階層グリッドは３つのレベルからなり、グリッド間隔は４２mm、２１mm、１０．５mmとした。
Hereinafter, the results of carrying out the method of the present embodiment on CT image data obtained at a clinical site will be described. The CT image data to be applied is data of 8 patients obtained by dynamic CT imaging of the liver at Osaka University Hospital (Suita City, Osaka Prefecture) and National Cancer Center (Tokyo). Table 1 shows the photographing conditions. Note that the calculation of Φ m → Φ m + 1 in the above algorithm procedure uses the method proposed in
位置合せされる相異なる２つの時相の画像系列は、一方（第１時相）が造影剤注入前の時相あるいは動脈相第１相（造影剤の効果が小さい）のものであり、他方（第２時相）が門脈相のものである（造影剤の効果が大きい）。このような２つの時相における３次元ＣＴ画像データは１回の息止め期間内で得ることができず、呼吸運動により２つの時相の画像間において各組織の変形がかなり認められる。なお、得られた３次元ＣＴ画像データのサイズは、ボクセル単位で５１２×５１２×１５０〜２００である。 The image sequence of two different time phases to be aligned is one (the first time phase) of the time phase before the contrast agent injection or the first phase of the arterial phase (the effect of the contrast agent is small), and the other The (second time phase) is the portal phase (the effect of the contrast agent is great). Such three-dimensional CT image data in two time phases cannot be obtained within one breath holding period, and considerable deformation of each tissue is recognized between the two time phase images due to respiratory motion. Note that the size of the obtained three-dimensional CT image data is 512 × 512 × 150 to 200 in units of voxels.
位置合せ結果を評価するため、専門家により両時相の画像から抽出された肝臓の輪郭線を用いた。そして、位置合せ誤差を、位置合せ前の画像Ｉ（χ）における肝臓の輪郭線と位置合せ後の画像Ｊ（Ｔ（χ））における肝臓の輪郭線との距離の平均値によって定義した。また、位置合せにより推定された、肝臓に対応する空間領域の変形ベクトル場の妥当性を視覚的に評価した。 In order to evaluate the alignment result, the outline of the liver extracted from the images of both time phases by an expert was used. The alignment error was defined by the average value of the distance between the liver contour line in the image I (χ) before registration and the liver contour line in the image J (T (χ)) after alignment. In addition, the validity of the deformation vector field in the spatial region corresponding to the liver estimated by the alignment was visually evaluated.
図５に８つのＣＴ画像データに対する位置合せの評価結果を示す。図５に示すように、本実施形態方法における位置合せ誤差は、エントロピー相関係数（ＥＣＣ）およびピアソンの積率相互相関（ＮＣＣ）を類似性の尺度として用いた場合に比べ少ないことが確かめられた。 FIG. 5 shows the alignment evaluation results for the eight CT image data. As shown in FIG. 5, it is confirmed that the registration error in the method of this embodiment is smaller than that in the case where the entropy correlation coefficient (ECC) and the Pearson product moment cross correlation (NCC) are used as a measure of similarity. It was.
図６に本実施形態方法およびＮＣＣを用いる従来手法によりそれぞれ得られた変形ベクトル場を示す。図６は推定された変形ベクトル場を示す図で、同図（ａ）は従来手法により得られた変形ベクトル場を示し、同図（ｂ）は本実施形態方法により得られた変形ベクトル場を示している。このケースでは肋骨と肝臓との間で組織滑動が生じていた。すなわち、図７に示すように、呼吸運動により左側の肋骨が上向きに変位し右側の肋骨が動かない状態なのに対し、肝臓は下向きに変位していた。図７は腹部内の各生体組織の変位を示す図である。 FIG. 6 shows modified vector fields respectively obtained by the method of this embodiment and the conventional method using NCC. FIG. 6 is a diagram showing the estimated deformation vector field. FIG. 6A shows the deformation vector field obtained by the conventional method, and FIG. 6B shows the deformation vector field obtained by the method of the present embodiment. Show. In this case, tissue sliding occurred between the ribs and the liver. That is, as shown in FIG. 7, the left rib is displaced upward and the right rib is not moved by the respiration, whereas the liver is displaced downward. FIG. 7 is a diagram showing the displacement of each biological tissue in the abdomen.
図６（ａ）に示すように、従来手法では肋骨および肝臓を共に位置合せしようとするので、肝臓の左側領域が左側の肋骨の上向きの動きによる悪影響を受け、肝臓の右下側の領域が動かない右側の肋骨の悪影響を受けている。図６（ｂ）に示すように、本実施形態方法では肋骨（骨組織）に関しては位置合せされないため、腹部における組織滑動による影響を受けないことが確認された。 As shown in FIG. 6 (a), since the conventional technique tries to align the ribs and the liver together, the left area of the liver is adversely affected by the upward movement of the left rib, and the area on the lower right side of the liver is It is affected by the right rib that does not move. As shown in FIG. 6 (b), it was confirmed that the ribs (bone tissue) are not aligned in the method of the present embodiment, and thus are not affected by tissue sliding in the abdomen.
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々に態様を変更することが可能である。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment, A various aspect can be changed.
例えば上記実施形態では、造影剤を用いたＣＴ撮影により得られた腹部領域の画像データに基づき、肝臓を標的組織としてその位置合せを実施しているが、撮影手法はＣＴに限られずまた標的組織は肝臓に限られない。撮影手法としてはＣＴ以外に、ＭＲＩ・核医学・ＣＲ・ＤＳＡ・ＤＲ等の種々の放射線診断システムを用いることが可能である。他の撮影手法で得られた画像データに本発明を適用するのに際して特段の困難はない。濃度値の分布が相異なる複数の画像が得られさえすれば、上述した本発明の手順を撮影手法に関係なく略同様に適用することが可能である。 For example, in the above embodiment, alignment is performed using the liver as a target tissue based on image data of an abdominal region obtained by CT imaging using a contrast agent. However, the imaging method is not limited to CT, and the target tissue Is not limited to the liver. In addition to CT, various radiological diagnosis systems such as MRI, nuclear medicine, CR, DSA, and DR can be used as imaging methods. There is no particular difficulty in applying the present invention to image data obtained by other imaging methods. As long as a plurality of images having different density value distributions are obtained, the above-described procedure of the present invention can be applied in substantially the same manner regardless of the photographing technique.
なお、画像間で濃度値分布を変えるため、上記実施形態では造影剤を用いているが、造影剤を用いることは本発明にとって必須の要件ではない。造影剤を用いずＸ線の照射強度や磁場強度などの撮影条件を変えることによって、画像間の濃度値分布を変えるようにしてもよい。また、位置合せされる画像間の撮影時刻の隔たりは、造影剤注前後といった短い間隔に限られない。撮影された日時が、数日・数ヶ月・数年といった単位で異なる画像間の位置合せに対しても本発明は適用可能である。 In addition, in order to change density value distribution between images, in the said embodiment, although the contrast agent is used, using a contrast agent is not an essential requirement for this invention. The density value distribution between images may be changed by changing imaging conditions such as X-ray irradiation intensity and magnetic field intensity without using a contrast agent. Further, the interval of the photographing time between the images to be aligned is not limited to a short interval such as before and after the contrast medium injection. The present invention can also be applied to alignment between images in which the date and time of photographing differ in units of several days, months, and years.
標的組織に関しては、肝臓以外に膵臓・腎臓・脾臓・心臓等の臓器や肺・脳・血管あるいは腫瘍といった他の種々の生体組織を、その対象とすることが可能である。本発明を肺野に適用した場合、位置合せにより得られた変形ベクトル場から、肺の呼吸による体積変化を推定することが可能となる。この点に関する技術は、本発明者等により特許庁に対して既に開示がなされている（特願２００３−１７２５５０号明細書）。他の組織を標的組織とした場合に本発明を適用するのに際して特段の困難はなく、上述した本発明の手順を標的組織の種別に関係なく略同様に適用することが可能である。 Regarding the target tissue, in addition to the liver, organs such as pancreas, kidney, spleen, heart, and other various biological tissues such as lung, brain, blood vessel, or tumor can be targeted. When the present invention is applied to a lung field, it is possible to estimate a volume change due to lung respiration from a deformation vector field obtained by alignment. The technology regarding this point has already been disclosed to the Patent Office by the present inventors (Japanese Patent Application No. 2003-172550). There is no particular difficulty in applying the present invention when another tissue is the target tissue, and the above-described procedure of the present invention can be applied in substantially the same manner regardless of the type of the target tissue.
また、上記実施形態では２つの画像系列間での位置合せを実施しているが、本発明は３つ以上の多数の画像間での位置合せにも適用することが可能である。３つ以上の画像間の位置合せに本発明を適用する場合、位置合せの基準となる画像を選択しておき、他の画像を１つずつ基準の画像に対して位置合せする方法をとることができる。その場合、上述した本発明の手順を繰り返し行なえばよい。３つ以上の画像間の位置合せを一度に実施する場合は、上述した本発明の手順において、２次元の同時分布を３次元以上の多次元同時分布に置き換えたり、２変量正規分布を３変量以上の多変量正規分布に置き換えたりするなどの次元を拡張する処理を行なえばよい。 In the above embodiment, the alignment between two image series is performed. However, the present invention can also be applied to the alignment between a large number of three or more images. When the present invention is applied to alignment between three or more images, an image that is a reference for alignment is selected, and another image is aligned with the reference image one by one. Can do. In that case, the above-described procedure of the present invention may be repeated. When performing alignment between three or more images at a time, in the above-described procedure of the present invention, the two-dimensional simultaneous distribution is replaced with a three-dimensional or more multi-dimensional simultaneous distribution, or the bivariate normal distribution is changed to a trivariate. What is necessary is just to perform the process of extending the dimension, such as replacing with the above multivariate normal distribution.
また、上記実施形態では自由曲面を表現するモデリング手法としてＢ−スプラインを用いているが、Ｂ−スプラインの手法に代えて、自由曲面を表現することが可能なベツィエの手法等その他のモデリング手法を用いることも可能である。 In the above embodiment, the B-spline is used as a modeling method for expressing a free-form surface. Instead of the B-spline method, other modeling methods such as a Bezier method that can express a free-form surface are used. It is also possible to use it.
また、上記実施形態ではレジストレーション評価関数を最小化するためのアルゴリズムとして最急降下法を用いているが、最急降下法に代えて共役勾配法やニュートン・ラフソン法、準ニュートン法、レーベンベルグ・マルカート法等の種々の最適化法を用いることも可能である。 In the above embodiment, the steepest descent method is used as an algorithm for minimizing the registration evaluation function. Instead of the steepest descent method, conjugate gradient method, Newton-Raphson method, quasi-Newton method, Levenberg-Marquardt method It is also possible to use various optimization methods such as the method.
Claims (5)
前記複数の画像の各々において前記標的組織に対応する各画像点が持つ濃度値を各標本値とする確率変数を前記画像別に設定するとともに、これら画像別の各確率変数を組としてなる多次元確率ベクトルの同時分布を推定し、
所定の局所領域内において前記各画像点を前記画像間で対応づける変換を設定し、
該変換によって前記各画像点が前記画像間で適正に対応づけられたとすれば、前記各画像点が前記各画像において持つ各濃度値を組としてなる多次元ベクトルは、前記同時分布に従うと仮定して、
前記多次元ベクトルが観測される尤度を示す、前記変換のパラメータを母数とする尤度関数を求め、
求められた前記尤度関数を前記各画像間の類似性の尺度として用いることを特徴とする複数画像間の非剛体レジストレーション方法。 Among a plurality of images obtained by imaging a predetermined target tissue so that density value distributions are different from one image to another, between the plurality of images that align the target tissue in consideration of deformation of the target tissue as a non-rigid body In the non-rigid registration method,
In each of the plurality of images, a random variable having a density value of each image point corresponding to the target tissue as a sample value is set for each image, and a multidimensional probability in which each random variable for each image is paired Estimate the simultaneous distribution of vectors,
Set a transformation that associates each image point between the images within a predetermined local region;
Assuming that the image points are properly associated between the images by the conversion, it is assumed that a multidimensional vector that is a set of the density values of the image points in the images follows the simultaneous distribution. And
Obtain a likelihood function with the parameter of the transformation as a parameter indicating the likelihood that the multidimensional vector is observed,
A non-rigid registration method between a plurality of images, wherein the obtained likelihood function is used as a measure of similarity between the images.
前記複数の画像の各々において各画像点が持つ濃度値を各標本値とする確率変数を前記画像別に設定するとともに、これら画像別の各確率変数を組としてなる多次元確率ベクトルの同時分布を求め、
この同時分布に基づき、前記標的組織に略対応する対象分布範囲と他の非対象分布範囲とを選別し、
前記非対象分布範囲に対応する前記同時分布を均一化するとともに、
前記対象分布範囲に対応する前記同時分布を推定し、
所定の局所領域内において前記各画像点を前記画像間で対応づける変換を設定し、
該変換によって前記各画像点が前記画像間で適正に対応づけられたとすれば、前記各画像点が前記各画像において持つ各濃度値を組としてなる多次元ベクトルは、前記対象分布範囲における前記同時分布に従うと仮定して、
前記多次元ベクトルが観測される尤度を示す、前記変換のパラメータを母数とする尤度関数を求め、
求められた前記尤度関数を前記各画像間の類似性の尺度として用いることを特徴とする複数画像間の非剛体レジストレーション方法。 The target tissue is aligned in consideration of deformation of the target tissue as a non-rigid body between a plurality of images obtained by imaging a predetermined target tissue together with other tissues so that the distribution of density values differs between the images. In a non-rigid registration method between multiple images,
In each of the plurality of images, a random variable having each sample point as a density value of each image point is set for each image, and a simultaneous distribution of multidimensional probability vectors including each random variable for each image is obtained. ,
Based on this simultaneous distribution, the target distribution range that roughly corresponds to the target tissue and other non-target distribution ranges are selected,
While homogenizing the simultaneous distribution corresponding to the non-target distribution range,
Estimating the co-distribution corresponding to the target distribution range;
Set a transformation that associates each image point between the images within a predetermined local region;
Assuming that the image points are appropriately associated between the images by the conversion, a multidimensional vector that is a set of the density values of the image points in the images is set in the simultaneous distribution range in the target distribution range. Assuming that the distribution follows
Obtain a likelihood function with the parameter of the transformation as a parameter indicating the likelihood that the multidimensional vector is observed,
A non-rigid registration method between a plurality of images, wherein the obtained likelihood function is used as a measure of similarity between the images.
The non-rigid registration method between a plurality of images according to any one of claims 1 to 4, wherein the plurality of images are obtained by X-ray CT imaging.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003304747A JP4356831B2 (en) | 2003-08-28 | 2003-08-28 | Non-rigid registration method between multiple images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003304747A JP4356831B2 (en) | 2003-08-28 | 2003-08-28 | Non-rigid registration method between multiple images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005078176A true JP2005078176A (en) | 2005-03-24 |
| JP4356831B2 JP4356831B2 (en) | 2009-11-04 |
Family
ID=34408354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003304747A Expired - Fee Related JP4356831B2 (en) | 2003-08-28 | 2003-08-28 | Non-rigid registration method between multiple images |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4356831B2 (en) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007068554A (en) * | 2005-09-02 | 2007-03-22 | Fujifilm Corp | Positioning device, positioning method and its program |
| JP2008259696A (en) * | 2007-04-12 | 2008-10-30 | Fujifilm Corp | Three-dimensional image processor and method, and program |
| JP2008544404A (en) * | 2005-06-20 | 2008-12-04 | 本田技研工業株式会社 | A direct method for modeling non-rigid motion using thin plate spline transformations |
| JP2008289799A (en) * | 2007-05-28 | 2008-12-04 | Fujifilm Corp | Cardiac function analyzing apparatus, method, and its program |
| JP2008545498A (en) * | 2005-06-08 | 2008-12-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Point preselection for fast deformable point-based imaging |
| JP2009022754A (en) * | 2007-07-19 | 2009-02-05 | General Electric Co <Ge> | Method for correcting registration of radiography images |
| WO2009031439A1 (en) * | 2007-09-07 | 2009-03-12 | The University Of Tokyo | Method and device for restoring a scan image of a moving object |
| JP2010520784A (en) * | 2007-03-09 | 2010-06-17 | セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド | System and method for locally deformably integrating a catheter guidance system into image data or models |
| KR100988431B1 (en) | 2008-12-31 | 2010-10-18 | 포항공과대학교 산학협력단 | Method of Image Feature Detection, Recording Medium of performing the same and the Apparatus of performing the same |
| JP2010253058A (en) * | 2009-04-24 | 2010-11-11 | Tokyo Metropolitan Univ | Medical image processing device and method |
| JP2011507578A (en) * | 2007-12-19 | 2011-03-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Correction of unconscious breathing motion in cardiac CT |
| JP2011147729A (en) * | 2010-01-25 | 2011-08-04 | Toshiba Corp | Medical image diagnosing device, x-ray ct apparatus and image processor |
| JP2012179359A (en) * | 2011-02-28 | 2012-09-20 | Toshiba Corp | Medical image processing apparatus and medical image diagnostic apparatus |
| JP2013146541A (en) * | 2011-12-20 | 2013-08-01 | Fujifilm Corp | Image processing device, image processing method, and image processing program |
| JP2014512229A (en) * | 2011-04-18 | 2014-05-22 | パスファインダー セラピューティクス，インコーポレイテッド | Image segmentation of organs and anatomical structures |
| JP2015009152A (en) * | 2013-07-01 | 2015-01-19 | 株式会社東芝 | Medical image processor and medical image processing program |
| JP2015521880A (en) * | 2012-06-27 | 2015-08-03 | コーニンクレッカ フィリップス エヌ ヴェ | Motion parameter estimation |
| JP2016116843A (en) * | 2014-12-19 | 2016-06-30 | 株式会社東芝 | Image processing apparatus, image processing method and image processing program |
| US9549689B2 (en) | 2007-03-09 | 2017-01-24 | St. Jude Medical, Atrial Fibrillation Division, Inc. | System and method for correction of inhomogeneous fields |
| JP2018171513A (en) * | 2018-08-01 | 2018-11-08 | キヤノン株式会社 | Image processing device, image processing method, and program |
| JP2019088672A (en) * | 2017-11-16 | 2019-06-13 | 国立大学法人九州大学 | Image processing device, method for operating image processing device and image processing program |
| CN109890283A (en) * | 2016-10-25 | 2019-06-14 | 皇家飞利浦有限公司 | For the radiation therapy system of 3D object to be accurately positioned according to magnetic resonance image |
-
2003
- 2003-08-28 JP JP2003304747A patent/JP4356831B2/en not_active Expired - Fee Related
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008545498A (en) * | 2005-06-08 | 2008-12-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Point preselection for fast deformable point-based imaging |
| JP2008544404A (en) * | 2005-06-20 | 2008-12-04 | 本田技研工業株式会社 | A direct method for modeling non-rigid motion using thin plate spline transformations |
| JP2007068554A (en) * | 2005-09-02 | 2007-03-22 | Fujifilm Corp | Positioning device, positioning method and its program |
| JP4574500B2 (en) * | 2005-09-02 | 2010-11-04 | 富士フイルム株式会社 | Alignment apparatus, alignment method and program thereof |
| US9591990B2 (en) | 2007-03-09 | 2017-03-14 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Automated catalog and system for correction of inhomogeneous fields |
| US9549689B2 (en) | 2007-03-09 | 2017-01-24 | St. Jude Medical, Atrial Fibrillation Division, Inc. | System and method for correction of inhomogeneous fields |
| US10433929B2 (en) | 2007-03-09 | 2019-10-08 | St. Jude Medical, Atrial Fibrillation Division, Inc. | System and method for local deformable registration of a catheter navigation system to image data or a model |
| US10945633B2 (en) | 2007-03-09 | 2021-03-16 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Automated catalog and system for correction of inhomogeneous fields |
| JP2010520784A (en) * | 2007-03-09 | 2010-06-17 | セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド | System and method for locally deformably integrating a catheter guidance system into image data or models |
| JP2008259696A (en) * | 2007-04-12 | 2008-10-30 | Fujifilm Corp | Three-dimensional image processor and method, and program |
| JP4709177B2 (en) * | 2007-04-12 | 2011-06-22 | 富士フイルム株式会社 | Three-dimensional image processing apparatus and method, and program |
| JP2008289799A (en) * | 2007-05-28 | 2008-12-04 | Fujifilm Corp | Cardiac function analyzing apparatus, method, and its program |
| JP4690361B2 (en) * | 2007-05-28 | 2011-06-01 | 富士フイルム株式会社 | Cardiac function analysis apparatus, method and program thereof |
| US8059876B2 (en) | 2007-05-28 | 2011-11-15 | Fujifilm Corporation | Cardiac function analysis apparatus, method and program |
| JP2009022754A (en) * | 2007-07-19 | 2009-02-05 | General Electric Co <Ge> | Method for correcting registration of radiography images |
| JP2009063912A (en) * | 2007-09-07 | 2009-03-26 | Univ Of Tokyo | Restoring method and device of scanned image of moving object |
| WO2009031439A1 (en) * | 2007-09-07 | 2009-03-12 | The University Of Tokyo | Method and device for restoring a scan image of a moving object |
| JP2011507578A (en) * | 2007-12-19 | 2011-03-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Correction of unconscious breathing motion in cardiac CT |
| KR100988431B1 (en) | 2008-12-31 | 2010-10-18 | 포항공과대학교 산학협력단 | Method of Image Feature Detection, Recording Medium of performing the same and the Apparatus of performing the same |
| JP2010253058A (en) * | 2009-04-24 | 2010-11-11 | Tokyo Metropolitan Univ | Medical image processing device and method |
| JP2011147729A (en) * | 2010-01-25 | 2011-08-04 | Toshiba Corp | Medical image diagnosing device, x-ray ct apparatus and image processor |
| JP2012179359A (en) * | 2011-02-28 | 2012-09-20 | Toshiba Corp | Medical image processing apparatus and medical image diagnostic apparatus |
| JP2014512229A (en) * | 2011-04-18 | 2014-05-22 | パスファインダー セラピューティクス，インコーポレイテッド | Image segmentation of organs and anatomical structures |
| JP2013146541A (en) * | 2011-12-20 | 2013-08-01 | Fujifilm Corp | Image processing device, image processing method, and image processing program |
| JP2015521880A (en) * | 2012-06-27 | 2015-08-03 | コーニンクレッカ フィリップス エヌ ヴェ | Motion parameter estimation |
| JP2015009152A (en) * | 2013-07-01 | 2015-01-19 | 株式会社東芝 | Medical image processor and medical image processing program |
| JP2016116843A (en) * | 2014-12-19 | 2016-06-30 | 株式会社東芝 | Image processing apparatus, image processing method and image processing program |
| CN109890283A (en) * | 2016-10-25 | 2019-06-14 | 皇家飞利浦有限公司 | For the radiation therapy system of 3D object to be accurately positioned according to magnetic resonance image |
| JP2019533562A (en) * | 2016-10-25 | 2019-11-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Radiotherapy system for accurately locating 3D objects from magnetic resonance images |
| US11432735B2 (en) | 2016-10-25 | 2022-09-06 | Koninklijke Philips N.V. | Radiotherapy system for accurate locating of 3D objects from magnetic resonance images |
| CN109890283B (en) * | 2016-10-25 | 2023-10-20 | 皇家飞利浦有限公司 | Radiation therapy system for accurately positioning a 3D object from magnetic resonance images |
| JP7370860B2 (en) | 2016-10-25 | 2023-10-30 | コーニンクレッカ フィリップス エヌ ヴェ | Radiation therapy system that accurately localizes 3D objects from magnetic resonance images |
| JP2019088672A (en) * | 2017-11-16 | 2019-06-13 | 国立大学法人九州大学 | Image processing device, method for operating image processing device and image processing program |
| JP7153261B2 (en) | 2017-11-16 | 2022-10-14 | 国立大学法人九州大学 | IMAGE PROCESSING DEVICE, OPERATING METHOD OF IMAGE PROCESSING DEVICE, AND IMAGE PROCESSING PROGRAM |
| JP2018171513A (en) * | 2018-08-01 | 2018-11-08 | キヤノン株式会社 | Image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4356831B2 (en) | 2009-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4356831B2 (en) | Non-rigid registration method between multiple images | |
| Brock et al. | Results of a multi-institution deformable registration accuracy study (MIDRAS) | |
| Schreibmann et al. | Image interpolation in 4D CT using a BSpline deformable registration model | |
| Li et al. | Establishing a normative atlas of the human lung: intersubject warping and registration of volumetric CT images | |
| Brock et al. | Accuracy of finite element model‐based multi‐organ deformable image registration | |
| Blackall et al. | MRI-based measurements of respiratory motion variability and assessment of imaging strategies for radiotherapy planning | |
| US9076201B1 (en) | Volumetric deformable registration method for thoracic 4-D computed tomography images and method of determining regional lung function | |
| Balik et al. | Evaluation of 4-dimensional computed tomography to 4-dimensional cone-beam computed tomography deformable image registration for lung cancer adaptive radiation therapy | |
| Aruga et al. | Target volume definition for upper abdominal irradiation using CT scans obtained during inhale and exhale phases | |
| Hostettler et al. | A real-time predictive simulation of abdominal viscera positions during quiet free breathing | |
| Sarrut et al. | Nonrigid registration method to assess reproducibility of breath-holding with ABC in lung cancer | |
| EP3468668B1 (en) | Soft tissue tracking using physiologic volume rendering | |
| US10682110B2 (en) | Methods for performing digital subtraction angiography, hybrid imaging devices, computer programs, and electronically readable storage media | |
| CN110390361B (en) | 4D-CBCT imaging method based on motion compensation learning | |
| Zachiu et al. | Non-rigid CT/CBCT to CBCT registration for online external beam radiotherapy guidance | |
| Alvarez et al. | A hybrid, image-based and biomechanics-based registration approach to markerless intraoperative nodule localization during video-assisted thoracoscopic surgery | |
| Li et al. | Pulmonary CT image registration and warping for tracking tissue deformation during the respiratory cycle through 3D consistent image registration | |
| Handels et al. | 4D medical image computing and visualization of lung tumor mobility in spatio-temporal CT image data | |
| Gong et al. | Locally adaptive total p-variation regularization for non-rigid image registration with sliding motion | |
| EP3629931B1 (en) | Heatmap and atlas | |
| Chun et al. | Synthetic contrast-enhanced computed tomography generation using a deep convolutional neural network for cardiac substructure delineation in breast cancer radiation therapy: a feasibility study | |
| Naini et al. | Estimation of lung's air volume and its variations throughout respiratory CT image sequences | |
| US20210391061A1 (en) | Compartmentalized dynamic atlas | |
| Chen et al. | Motion-compensated mega-voltage cone beam CT using the deformation derived directly from 2D projection images | |
| Abhilash et al. | Quantitative study on the effect of abnormalities on respiration-induced kidney movement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060529 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090702 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090729 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4356831 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120814 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150814 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| LAPS | Cancellation because of no payment of annual fees |