JP2015130973A - 処理装置、処理方法、およびプログラム - Google Patents
処理装置、処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2015130973A JP2015130973A JP2014003699A JP2014003699A JP2015130973A JP 2015130973 A JP2015130973 A JP 2015130973A JP 2014003699 A JP2014003699 A JP 2014003699A JP 2014003699 A JP2014003699 A JP 2014003699A JP 2015130973 A JP2015130973 A JP 2015130973A
- Authority
- JP
- Japan
- Prior art keywords
- deformation
- statistical
- shape
- processing
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 321
- 238000003672 processing method Methods 0.000 title description 4
- 238000006243 chemical reaction Methods 0.000 claims abstract description 114
- 238000010606 normalization Methods 0.000 claims abstract description 93
- 230000036544 posture Effects 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 287
- 239000013598 vector Substances 0.000 claims description 79
- 238000004364 calculation method Methods 0.000 claims description 41
- 238000013179 statistical model Methods 0.000 claims description 39
- 238000000513 principal component analysis Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 abstract description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 251
- 230000008569 process Effects 0.000 description 201
- 230000006870 function Effects 0.000 description 121
- 230000009466 transformation Effects 0.000 description 58
- 210000000481 breast Anatomy 0.000 description 47
- 210000002976 pectoralis muscle Anatomy 0.000 description 46
- 210000002445 nipple Anatomy 0.000 description 36
- 210000000062 pectoralis major Anatomy 0.000 description 28
- 238000000605 extraction Methods 0.000 description 27
- 230000000694 effects Effects 0.000 description 19
- 238000011156 evaluation Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000004519 manufacturing process Methods 0.000 description 10
- 210000003205 muscle Anatomy 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000000844 transformation Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 208000019622 heart disease Diseases 0.000 description 3
- 210000005075 mammary gland Anatomy 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 241001422033 Thestylus Species 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010454 developmental mechanism Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
【解決手段】処理装置は、2つの異なる姿勢で撮影された対象物体の画像それぞれから、該対象物体の注目部位の解剖学特徴を取得し、解剖学特徴に基づいて、2つの異なる姿勢の対象物体の注目部位の形状をそれぞれ、所定の基準となる形状に変換させるための正規化変換情報を生成し、正規化変換情報に基づいて、2つの異なる姿勢で撮影された対象物体の画像間の変形の統計的な特性を示す統計変形モデルを生成する。
【選択図】図1
Description
(第1実施形態の概要)
本実施形態による処理装置は、注目部位としての被検体の***を異なる二種類の***で夫々撮像した医用画像が取得された場合に、夫々の医用画像を基準形状に変換する正規化変換(正規化変換情報)を求めた上で、それを介して画像間の変形位置合わせを行う。この正規化変換は、***の違いにより、異なる変形状態で撮像された被検体の***を、解剖学的に略一致した空間に座標変換する変換である。
図1は、本実施形態による処理システムの構成を示す図である。同図に示すように、本実施形態における処理装置100は、画像取得部1000、解剖学特徴抽出部1020、正規化部1040、画像変形部1060、観察画像生成部1080によって構成される。そして、処理装置100は、データサーバ120、モニタ160に接続される。MRI画像撮像装置110は、人体である被検体の内部の三次元領域に関する情報を核磁気共鳴法により取得した画像、すなわちMRI画像を取得する装置である。MRI画像撮像装置110はデータサーバ120と接続され、取得したMRI画像をデータサーバ120へ送信する。データサーバ120は、MRI画像撮像装置110が撮像したMRI画像を保持する装置であり、処理装置100からの命令により保持したMRI画像を処理装置100へ転送する。
図2は、本実施形態による処理システムの装置構成を示す図である。本実施形態の処理システムは処理装置100、MRI画像撮像装置110、データサーバ120、モニタ160、マウス170、キーボード180により構成される。処理装置100は、例えばパーソナルコンピュータ(PC)などで実現することができる。処理装置100は、中央演算処理装置(CPU)211、主メモリ212、磁気ディスク213、表示メモリ214を有する。
次に、処理装置100が行う処理に関して、図3のフローチャートを用いて詳しく説明する。図3は本実施形態において処理装置100が実行する処理のフローチャートである。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また以下に説明する処理装置100が行う各処理の結果は、主メモリ212に格納することにより記録される。まず、図3に示す各処理ステップについて、その手順を追って詳しく説明する。
ステップS300において、画像取得部1000は、MRI画像撮像装置110が被検体の***を伏臥位の***で撮像したMRI画像(伏臥位MRI画像)を、データサーバ120を介して処理装置100へ取り込む処理を実行する。ここで伏臥位MRI画像は、三次元のボリュームデータであり、被検体の足側から頭側に向かう方向をZ軸、腹側から背側に向かう方向をY軸、被検体の左方向をX軸とする三次元の直交座標系を持つ(そのような座標変換が予め施されている)ものとする。本実施形態では、この座標系を伏臥位MRI画像座標系と称する。また、伏臥位MRI画像の輝度値を、伏臥位MRI画像座標系における三次元位置xを引数としたスカラ関数Ip(x)と表記する。
ステップS310において、解剖学特徴抽出部1020は、ステップS300で取得した伏臥位MRI画像を処理することにより、被検体の伏臥位における解剖学特徴を抽出する処理を実行する。本実施形態において解剖学特徴とは、被検体の乳頭位置、体表面形状、大胸筋面形状、大胸筋面上の基準位置である。
ステップS320において、正規化部1040は、ステップS310で抽出した被検体の伏臥位における解剖学特徴に基づき、伏臥位における被検体の形状を基準形状に変換する正規化変換を導出する。具体的には、正規化部1040は、伏臥位MRI画像座標系から伏臥位正規化座標系への変換を表す情報として、これらの座標系間の座標変換関数を算出する処理を実行する。この変換は、MRI画像座標系における体表面および大胸筋面の夫々が、伏臥位正規化座標系において予め定める面上に位置するような変換である。また、この変換は、変換の前後において***領域における任意の構造がトポロジーの観点で、なるべく損なわれない変換である。上記の座標変換関数を算出するためにステップS320が実行する具体的な処理の手順について、図5のフローチャートを用いて詳しく説明する。
ステップS3200において、正規化部1040は、ステップS310で抽出した解剖学特徴に基づき、伏臥位における被検体の体表面形状を構成する各位置における、乳頭位置を基準とした測地線距離を算出する処理を実行する。すなわち、正規化部1040は、体表面形状を構成する各位置のうち、乳頭位置については測地線距離を0とし、それ以外の任意の位置における乳頭からの測地線距離を算出する。なお、測地線距離を算出する方法は周知のいかなる方法を用いても良い。本実施形態における体表面形状は、体表面を構成する位置の集合と共に、それらの接続に関する情報も付随しているため、測地線距離を算出する方法として例えばダイクストラ法などを用いることができる。以上の処理により、体表面形状を構成する各位置の測地線距離dp,surface,i (1≦i≦Np,surface)を算出する。ここで、添え字のiは体表面形状sp,surface,i(1≦i≦Np,surface)の添え字iと共通であり、i番目の体表面形状の位置sp,surface,iにおける測地線距離をdp,surface,iとする。
ステップS3210において、正規化部1040は、ステップS310で抽出した解剖学特徴に基づき、伏臥位における被検体の体表面形状を構成する各位置における、乳頭位置を基準とした方位を算出する処理を実行する。ここで方位とは、例えばMRI画像座標系におけるX-Z平面上の方位とすることができる。この場合、体表面形状を構成する各位置の座標値sp,surface,i (1≦i≦Np,surface)のうち、X座標値xiとZ座標値ziとを用いて、数1に示す計算により方位ap,surface,i [rad]を算出するようにできる。
(数1)
ap,surface,i =tan-1(zi/ xi)
ここで、添え字のiは体表面形状sp,surface,i(1≦i≦Np,surface)の添え字iと共通であり、i番目の体表面形状の位置sp,surface,iにおける方位をap,surface,iとする。
ステップS3220において、正規化部1040は、ステップS310で抽出した解剖学特徴に基づき、伏臥位における被検体の大胸筋面形状を構成する各位置sp,pectral,iにおける、大胸筋面上の基準位置xp,pectralを基準とした測地線距離dp,pectral,i (1≦i≦Np,pectral)を算出する処理を実行する。本処理ステップは、体表面を対象としたステップS3200と同様の処理を大胸筋面に適用することで実行される。
ステップS3230において、正規化部1040は、ステップS310で抽出した解剖学特徴に基づき、伏臥位における被検体の大胸筋面形状を構成する各位置sp,pectral,iにおける、大胸筋面上の基準位置xp,pectralを基準とした方位ap,pectral,i (1≦i≦Np,pectral)を算出する処理を実行する。本処理ステップは、体表面を対象としたステップS3210と同様の処理を大胸筋面に適用することで実行される。
ステップS3240において、正規化部1040は、ステップS3200およびステップS3210で算出した体表面上の測地線距離および方位に基づいて、伏臥位における被検体の体表面形状を、伏臥位正規化座標系における所定の面へ座標変換する変換を求める処理を実行する。具体的には、正規化部1040は、伏臥位MRI画像座標系における体表面形状を構成する夫々の位置sp,surface,iに対応する、伏臥位正規化座標系における位置s’p,surface,iを算出する。
(数2)
xi= dp,surface,i・cos(ap,surface,i)
(数3)
yi=0
(数4)
zi= dp,surface,i・sin(ap,surface,i)
ステップS3250において、正規化部1040は、ステップS3220およびステップS3230で算出した大胸筋面上の測地線距離および方位に基づいて、伏臥位における被検体の大胸筋面形状を、伏臥位正規化座標系における所定の面へ座標変換する変換を求める処理を実行する。具体的には、正規化部1040は、伏臥位MRI画像座標系における大胸筋面形状を構成する夫々の位置sp,pectral,iに対応する、伏臥位正規化座標系における位置s’p,pectral,iを算出する。
(数5)
xi= dp,pectral,i・cos(ap,pectral,i)
(数6)
yi=100
(数7)
zi= dp,pectral,i・sin(ap,pectral,i)
以上の処理により算出した、伏臥位正規化座標系における正規化大胸筋面の位置をs’p,pectral,i (1≦i≦Np,pectral)と表記する。
ステップS3260において、正規化部1040は、伏臥位MRI画像座標系から伏臥位正規化座標系への変換を表す情報として、当該座標系間の座標変換関数(変形場)を算出する処理を実行する。すなわち、正規化部1040は、ステップS3240およびステップS3250で求めた体表面および大胸筋面の伏臥位正規化座標系への離散的な座標変換の結果群を空間的に補間して、伏臥位MRI画像座標系から伏臥位正規化座標系への密な変換を算出する。この処理は、具体的には放射基底関数やB-スプラインなどを用いた周知の補間方法により実現できる。本処理ステップで算出した伏臥位MRI画像座標系から伏臥位正規化座標系への変換関数を、本実施形態ではφp(x)と表記する。ただし、φp(x)は伏臥位MRI画像座標系における位置座標値を引数とし、それに対応する伏臥位正規化座標系における位置座標値を返す関数である。
(数8)
s’p,surface,i≒φp(sp,surface,i)
(数9)
s’p,pectral,i≒φp(sp,pectral,i)
(数10)
sp,surface,i≒φp -1 (s’p,surface,i)
(数11)
sp,pectral,i≒φp -1 (s’p,pectral,i)
以上に説明したステップS3200からステップS3260の処理により、本実施形態におけるステップS320の処理が実行される。
ステップS340において、画像取得部1000は、被検体の***を仰臥位の***で撮像したMRI画像(仰臥位MRI画像)を、データサーバ120から処理装置100へ取り込む処理を実行する。この処理は伏臥位のMRI画像を対象としたステップS300と同様の手順で実行できるため、詳細な説明は省略する。取得した仰臥位MRI画像は、仰臥位MRI画像座標系における三次元のボリュームデータである。
ステップS350において、解剖学特徴抽出部1020は、ステップS340で取得した仰臥位MRI画像を処理することにより、被検体の仰臥位における解剖学特徴を抽出する処理を実行する。この処理は伏臥位MRI画像を対象としたステップS310と同様の処理を仰臥位MRI画像に適用して実行できるため、詳細な説明は省略する。なお、以下では、本処理ステップにおいて抽出した、仰臥位における体表面形状をss,surface,i (1≦i≦Ns,surface)、大胸筋面形状をss,pectral,i (1≦i≦Ns,pectral)、乳頭位置をxs,surface、大胸筋面の基準点をxs,pectralと表記する。
ステップS360において、正規化部1040は、ステップS350で抽出した被検体の仰臥位における解剖学特徴に基づき、仰臥位における被検体の形状を基準形状に変換する正規化変換を導出する。具体的には、正規化部1040は、仰臥位MRI画像座標系から仰臥位正規化座標系への変換を表す情報として、これらの座標系間の座標変換関数を算出する処理を実行する。この処理は伏臥位の解剖学特徴を対象としたステップS320と同様の手順を仰臥位の解剖学特徴に適用して実行できるため、詳細な説明は省略する。なお、以下では、本処理ステップにおいて取得した仰臥位MRI画像座標系から仰臥位正規化座標系への変換関数をφs(x)と表記する。また、仰臥位正規化座標系から仰臥位MRI画像座標系への変換関数をφs -1 (x) と表記する。
ステップS380において、画像変形部1060は、ステップS320およびステップS360の処理結果に基づいて、伏臥位MRI画像を仰臥位に変形した変形画像を生成する処理を実行する。具体的には、画像変形部1060は、伏臥位MRI画像を構成する全てのボクセル(ボリュームデータを構成する画素)に対して、そのボクセルの位置xpを数12の計算により座標変換し、変換後の位置xdを算出する。
(数12)
xd=φs -1[φps{φp(xp)}]
(数13)
x=φps(x)
上記の処理で生成したボリュームデータを変形MRI画像Id(x)と表記する。つまり、変形MRI画像Id(x)は、数14に示す計算により伏臥位MRI画像Ip(x)から算出される。
(数14)
Id(x)= Ip [φp -1 {φps -1(φs(x))}]
(数15)
ただし、Is(x)は仰臥位MRI画像であり、Ωは仰臥位MRI画像座標系における***領域である。FFDの変形パラメータの最適化は最急勾配法など周知の非線形最適化方法によって実行される。また、画像間類似度は、数15に示す計算方法以外にも相互相関や相互情報量を用いる方法など、周知のいかなる画像間類似度の計算方法であって良い。上記の方法によれば、MRI画像に描出されている被検体の体表面や大胸筋面などの形状情報以外に、伏臥位MRI画像および仰臥位MRI画像の輝度値の類似度が高い変形を生成することができる。このため、伏臥位MRI画像と仰臥位MRI画像との位置合わせを、より高精度に実行できる効果がある。
ステップS390において、観察画像生成部1080は、ステップS380で生成した変形画像Id(x)と、仰臥位MRI画像Is(x)とを並べた観察画像を生成する。この時、観察画像生成部1080は、変形画像Id(x)と仰臥位MRI画像Is(x)の夫々をユーザの操作に応じて任意の平面で切断した画像(断面画像)を切り出し、これらを並べて観察画像を構成するようにできる。また、観察画像生成部1080は、変形画像Id(x)と仰臥位MRI画像Is(x)の夫々をボリュームレンダリングした画像を並べて観察画像を構成するようにしても良い。また、観察画像生成部1080は、変形画像Id(x)と仰臥位MRI画像Is(x)の夫々から生成した断面画像を重畳または融合して観察画像を構成するようにしても良い。そして、観察画像生成部1080は、以上の処理で生成した観察画像をモニタ160に表示する処理を実行する。
第1実施形態の説明では、ステップS320の処理において、正規化部1040が図6(a)に示す***領域402が、図6(b)に示す矩形形状となる正規化変形を生成する場合を例として説明したが、形状はこの場合に限定されない。例えば、正規化座標系における***領域は矩形形状以外の形状でも良い。一例としては、二次曲面などの任意の幾何曲面で囲まれた形状であっても良い。また、処理装置100に予め複数の形状情報を備え、その中からユーザが任意に選択できるようにしても良い。この場合、処理装置100は、例えば伏臥位MRI画像と仰臥位MRI画像とをモニタ160に表示するなどしてユーザに提示し、ユーザは、その画像を観察しながら適切な形状情報を選択できるようにしても良い。この方法によれば、被検体毎に多様な形状を持ちうる***の特性に対して、正規化変形の方法を適応的に選択でき、より精度の良い位置合わせが行える効果がある。
第1実施形態の説明では、ステップS380の処理において、画像変形部1060が伏臥位MRI画像を変形した変形MRI画像を生成する場合を例に説明したが、生成するMRI画像はこの例に限定されない。本発明の第2実施形態では、画像変形部1060が、伏臥位MRI画像を伏臥位正規化座標系に変換した伏臥位正規化画像と、仰臥位MRI画像を仰臥位正規化座標系に変換した仰臥位正規化画像とを生成し、これらの画像を並べて表示する場合について説明する。
上記のようにMRI画像の曲断面を生成して表示する処理は、必ずしも伏臥位MRI画像と仰臥位MRI画像との両方に対して実行する必要は無い。例えば、処理装置100は、伏臥位MRI画像または仰臥位MRI画像の何れか一方を入力とし、第1実施形態のステップS300からステップS320の処理を実行し、上記の曲断面を生成する処理を実行して表示するようにしても良い。この方法によれば、表在血管の走行や乳腺の広がり方など医学的・解剖学的な観点での高度な画像観察を行うことができる効果がある。
本実施形態による処理装置200は、第1実施形態と同様の正規化処理を多症例(学習症例)に対して適用し、正規化された各症例の変形を統計処理することにより、変形に関するモデル(統計変形モデル)を構築する。ここで、異なる症例間における正規化について説明する。少なくとも正常人体においては、個体の違いによらず、トポロジー的な観点でほぼ同一の解剖学的構造を有する。また、個体の違いは概ねスケール変換(相似変換)によって吸収できる。ただし、***については発達のメカニズムに起因し、前述のスケール変換による個体差の吸収には限りがある。一方、正常人体において、乳頭、体表面、大胸筋面、正中線、頭尾方向(体軸)などは解剖学的に全ての個体で共通する特徴的な幾何構造である。
図8は、本実施形態による処理システムの構成を示す図である。本実施形態において、第1実施形態と同様の機能を持つ構成要素には図1と同一の番号を付しており、説明は省略する。同図に示すように、本実施形態における処理装置200は、画像取得部1000、解剖学特徴抽出部1020、正規化部1040、学習症例変形生成部1220、スケール算出部1230、統計変形モデル生成部1240、対象症例変形生成部1420、画像変形部1060、観察画像生成部1080を持つ。
次に、処理装置200が行う全体の動作について説明する。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また、以下に説明する処理装置200が行う各処理の結果は、主メモリ212に格納することにより記録される。
図9は本実施形態における処理装置200が行う、学習フェーズの処理の手順を説明するフローチャートである。以下、このフローチャートに示す処理手順に従って、本実施形態の学習フェーズの処理について詳しく説明する。
ステップS500において、画像取得部1000は、Nsamples個の学習症例の伏臥位MRI画像と仰臥位MRI画像を取得する処理を実行する。この処理は第1実施形態のステップS300およびS340と同様の処理を、Nsamples個の学習症例の夫々に対して適用することで実行できる。詳細な説明は省略する。
ステップS510において、解剖学特徴抽出部1020は、ステップS500で取得した学習症例の伏臥位MRI画像と仰臥位MRI画像の夫々を処理することにより、解剖学特徴を抽出する処理を実行する。この処理は第1実施形態のステップS310およびS350と同様の処理を、Nsamples個の学習症例の夫々に対して適用することで実行できる。詳細な説明は省略する。
ステップS520において、正規化部1040は、ステップS510で抽出した学習症例の解剖学特徴に基づき、学習症例の夫々に関して、被検体の形状を基準形状に変換する正規化変換を導出する。具体的には、正規化部1040は、伏臥位MRI画像の夫々について、伏臥位MRI画像座標系から伏臥位正規化座標系への変形関数を算出する処理を実行する。また、正規化部1040は、仰臥位MRI画像の夫々に関して、仰臥位MRI画像座標系から仰臥位正規化座標系への変形関数を算出する処理を実行する。これらの処理は、第1実施形態で説明したステップS320およびS360と同様の処理で実行できる。詳細な説明は省略する。
ステップS540において、学習症例変形生成部1220は、学習症例の夫々に関して、伏臥位正規化座標系から仰臥位正規化座標系への変換関数を算出する処理を実行する。具体的には、学習症例変形生成部1220は、以下に説明する処理をNsamples個の学習症例の夫々について実行する。
(数16)
x’p,corres,k=φp,j(xp,corres,k) (1≦k≦Ncorres)
(数17)
x’s,corres,k=φs,j(xs,corres,k) (1≦k≦Ncorres)
(数18)
x’s,corres,k =φps,j(x’p,corres,k) (1≦k≦Ncorres)
なお、数18の誤差は、例えばNcorres個の対応する位置に関する二乗和誤差を用いることができる。ここで、変換関数φps,j(x)は、伏臥位正規化座標系において定義される連続関数であり、具体的にはFFD(Free Form Deformation)やRBF(Radial Basis Function)等を用いて表現するようにできる。
ステップS550において、スケール算出部1230は、学習症例の夫々に関して、症例のスケールを算出する処理を実行する。ここで症例のスケールとは、症例毎に異なる***領域の大きさを表す数値である。スケールの算出方法は、例えば、伏臥位における被検体の、乳頭位置と、乳頭位置から最も近い正中線直上の体表位置との間の距離の値を計測する事で算出する。この処理は、ユーザが、伏臥位における被検体に対して直接的に測定器具を用いて計測した数値を処理装置200に入力するようにしても良い。または、処理装置200が、伏臥位MRI画像の上で上記の距離の値を計測できるようにしても良い。この時、処理装置200は、伏臥位MRI画像を自動処理することで上記計測値を算出するようにしても良い。または、処理装置200は、モニタ160などを用いてユーザに伏臥位MRI画像を提示し、ユーザによるマウス170やキーボード180の操作により計測値を取得できるようしても良い。一例としては、処理装置200は、モニタ160上に伏臥位MRI画像を表示し、画像上に描出されている被検体の乳頭位置と、乳頭位置から最も近い正中線直上の体表位置とをユーザに指定させ、その間の距離を算出することで実現できる。
ステップS580において、統計変形モデル生成部1240は、ステップS500からステップS570の処理によって算出したNsamples個の被検体に関するφps,j(x)、vjに基づいて統計変形モデルを生成する処理を実行する。図10は、ステップS580の処理をさらに詳しく説明するフローチャートである。以下、図10のフローチャートに沿って説明する。
ステップS5800において、統計変形モデル生成部1240は、Nsamples個の症例に関する変換関数φps,j(x)と、スケールvjとに基づいて、変換関数φps,j(x)をスケーリング処理した変換関数φ’ps,j(x)を算出する処理を実行する。具体的には数19のようにして変換関数φ’ps,j(x)を算出する。
(数19)
φ’ps,j(x’)= φps,j(x)/ vj
ただし、ここでx=( x , y , z )Tとした場合に、x’=( x×vj , y , z×vj )Tである。つまり、φ’ps,j(x)はφps,j(x)を、X座標およびZ座標に関して当該症例のスケール値vjでスケーリングした関数である。なお、φ’ps,j(x)の定義域はφps,j(x)の定義域と比較して、X座標およびZ座標に関して当該症例のスケール値vj分だけ縮小した領域である。統計変形モデル生成部1240は、以上の処理をNsamples個の全症例の変換関数φps,j(x) (1≦j≦Nsamples)について実行し、各症例のスケーリング処理した変換関数φ’ps,j(x) (1≦j≦Nsamples)を算出する。
ステップS5820において、統計変形モデル生成部1240は、ステップS5800で算出したスケーリング処理後の変換関数φ’ps,j(x)を離散化する処理を実行する。この離散化の処理は以下の手順により実行される。
ステップS5840において、統計変形モデル生成部1240は、ステップS5820で算出した離散化ベクトルpx,j、py,j、pz,j (1≦j≦Nsamples) を主成分分析することにより、統計変形モデルを生成する処理を実行する。主成分分析は周知の方法により実行できるため、ここでは詳細な説明は省略する。主成分分析の結果、統計変形モデル生成部1240は、各離散化ベクトルに関する平均ベクトルeave,x、eave,y、eave,zと、固有ベクトル ex,k、ey,k、ez,k (1≦k≦Nmode)を得る。ここで、Nmodeは主成分分析で算出する固有ベクトルの総数であり、例えば主成分分析により算出される累積寄与率に所定の閾値を設定することにより設定できる。本実施形態では、上記の処理により算出した平均ベクトルおよび固有ベクトルを統計変形モデルと呼ぶ。
(数20)
ここで、Exはex,kを横に並べた行列である。また、bはbkを縦に並べたベクトルであり、本実施形態ではこれを係数ベクトルと呼ぶ。一般的に、症例数Nsamplesが十分に大きい場合には、それらの変形を表す離散化ベクトルは、Nsamplesより少数の固有ベクトルおよび平均ベクトルの線形和によって高い精度で近似できることが既に知られている。
図11は、本実施形態における処理装置200が行う、変形推定フェーズの処理の手順を説明するフローチャートである。以下、このフローチャートに示す処理手順に従って、本実施形態の変形推定フェーズの処理について詳しく説明する。
ステップS600において、処理装置200は、学習フェーズの処理によって生成した統計変形モデルを、処理装置200の主メモリ212に読みだす処理を実行する。
ステップS602において、画像取得部1000は、対象症例の伏臥位および仰臥位のMRI画像を取得する処理を実行する。この処理は第1実施形態のステップS300およびステップS340と同様の処理で実行できる。詳細な説明は省略する。
ステップS604において、解剖学特徴抽出部1020は、ステップS602で取得した対象症例の伏臥位および仰臥位のMRI画像を処理して、対象症例の解剖学特徴を抽出する処理を実行する。この処理は第1実施形態のステップS310およびステップS350の処理と同様の処理で実行できる。詳細な説明は省略する。
ステップS610において、正規化部1040は、ステップS604で抽出した対象症例の解剖学特徴に基づき、対象症例の伏臥位MRI画像座標系から伏臥位正規化座標系への変換、および仰臥位MRI画像座標系から仰臥位正規化座標系への変換を算出する処理を実行する。この処理は、学習フェーズの処理として説明したステップS520の処理と同様の処理を対象症例に適用して実行される。詳細な説明は省略する。この処理により算出した伏臥位MRI画像座標系から伏臥位正規化座標系への変換をφp,target(x)とする。また、仰臥位MRI画像座標系から仰臥位正規化座標系への変換をφs,target(x)とする。
ステップS600において、スケール算出部1230は、対象症例のスケールを算出する処理を実行する。この処理は学習フェーズの処理として説明したステップS550の処理と同様の処理を対象症例に適用して実行する。詳細な説明は省略する。この処理により算出した対象症例のスケールをvtargetとする。
ステップS600において、対象症例変形生成部1420は、対象症例の伏臥位MRI画像座標系と仰臥位MRI画像座標系との間の変換を算出する処理を実行する。すなわち、対象症例変形生成部1420は、伏臥位MRI画像と仰臥位MRI画像の間の変形位置合わせ処理を実行する。この処理は学習フェーズの処理で取得した統計変形モデルと、対象症例の伏臥位および仰臥位のMRI画像に基づいて実行される。具体的には、数21で示す計算によって算出される評価関数G(b)を最大化するような係数ベクトルbを算出する。
(数21)
G(b)=Gsimil{ D(Ip,b) , Is }
ここで、Ipは対象症例の伏臥位MRI画像、Isは対象症例の仰臥位MRI画像である。また、関数Gsimil(I1,I2)は、引数として与えられた2つの画像間の類似度を評価する関数であり、例えばSSDやSAD、相互相関、相互情報量などの周知の画像間類似度評価方法により実現できる。
(数22)
(数23)
φtarget(x)= φs -1[ finterp{ px , py , pz , φp(x) } ]
(数24)
φ’target(x’)= φtarget(x)×vtarget
ただし、ここで、x=( x , y , z )Tとした場合に、x’=( x×vtarget , y , z×vtarget )Tである。つまり、φ’target(x)はφtarget(x)を、X座標およびZ座標に関して対象症例のスケール値vjでスケーリングし、さらに関数の値についてスケール値vtargetでスケーリングした関数である。
(数25)
D(Ip,b)= Ip{φ’target(x) }
ステップS600において、画像変形部1060は、ステップS640で算出した変換に基づいて伏臥位MRI画像を変形した変形MRI画像を生成する処理を実行する。具体的には、画像変形部1060は、数24に示した、画像の変形関数D(I,b)を用い、対象症例の伏臥位MRI画像Ipを係数ベクトルboptに基づいて変形した変形MRI画像 Idを算出する。
ステップS600において、観察画像生成部1080は、ステップS650で生成した変形MRI画像Idおよび対象症例の仰臥位MRI画像Isとを並べた観察画像を生成する。本処理ステップの具体的な処理は第1実施形態におけるステップS390の処理と同様であるため、詳細な説明は省略する。
本実施形態におけるステップS540およびステップS610の処理は、基準点である乳頭位置からの体表面および大胸筋面を構成する点群の距離と方位に基づいて正規化座標系への変換φpおよびφsを算出する場合を例として説明した。しかし、変換φpおよびφsの算出方法はこの例に限定されない。例えば、ステップS540およびステップS610における正規化座標系への変換φpおよびφsは,伏臥位および仰臥位に関する標準形状への変換関数とすることができる。ここで標準形状とは、例えば、特定の1症例の***形状とすることができる。
本実施形態では、ステップS580の処理として、ステップS540で算出した変形φps,j(x)を,正規化座標系の空間における変形の場(離散化ベクトル)として展開する場合を例として説明したが、別の形態によってこの展開が行われても良い。例えば,ステップS540では変形φps,j(x)をFFDにより表現し、FFDのパラメータ(制御点が持つ制御量)をベクトル化して離散化ベクトルpx,j、py,j、pz,jを算出するようにしても良い。この場合、統計変形モデルは、非特許文献2に開示のある手法(Statistical Deformation Model法)により構築できる。この方法によれば,ステップS580において、変形φps,j(x)を変形場の離散化ベクトルとして展開する処理を実行する必要がなく、計算処理量とメモリ容量の消費を低減できる効果がある.
本実施形態による処理装置800は、多症例の***を伏臥位の***で撮像したMRI画像を学習データとして、各症例間で異なる***の形状を正規化した上で、その形状を効率的に表現する統計形状モデルを構築する。なお、本実施形態では伏臥位の***で撮像した***を学習データとして用いる場合を例として説明するが、他の***における***であっても良い。例えば仰臥位や立位等であっても良い。
図12は、本実施形態による処理システムの構成を示す図である。本実施形態において、第1実施形態と同様の機能を持つ構成要素には図1と同一の番号を付しており、説明は省略する。同図に示すように、本実施形態における処理装置800は、画像取得部1000、解剖学特徴抽出部1020、正規化部1040、スケール算出部1620、統計形状モデル生成部1640を持つ。スケール算出部1620は学習症例の夫々に関するスケールの算出を行う。統計形状モデル生成部1640は学習症例の夫々に関する変形・スケールに基づいて統計形状モデルを生成する。
次に、処理装置800が行う全体の動作について説明する。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また以下に説明する処理装置200が行う各処理の結果は、主メモリ212に格納することにより記録される。図13は、本実施形態における処理装置800の処理手順を説明するフローチャートである。以下、この図に沿って説明する。
ステップS700において、画像取得部1000は、学習症例の伏臥位MRI画像を取得する処理を実行する。本実施形態では、画像取得部1000は、Nsamples個の学習症例の伏臥位MRI画像を取得する。この処理は、第1実施形態におけるステップS300と同様の処理をNsamples個の学習症例の夫々について適用して実行する。詳細な説明は省略する。
ステップS705において解剖学特徴抽出部1020は、ステップS700で取得した学習症例の伏臥位MRI画像の夫々を処理して、学習症例の解剖学特徴を抽出する処理を実行する。この処理は、第1実施形態におけるステップS310と同様の処理をNsamples個の学習症例の夫々について適用して実行する。詳細な説明は省略する。
ステップS710において、正規化部1040は、複数の学習症例の夫々に関して、被検体の形状を基準形状に変換する正規化変換を導出する。具体的には、正規化部1040は、MRI画像座標系から正規化座標系への座標変換関数を算出する処理を実行する。この処理は、第1実施形態におけるステップS320と同様の処理を、Nsamples個の学習症例の夫々について適用して実行する。詳細な説明は省略する。
ステップS720において、スケール算出部1620は、学習症例の夫々に関して、症例のスケールを算出する処理を実行する。この処理は、第3実施形態におけるステップS550の処理と同様にして実行する。詳細な説明は省略する。算出したスケールをvj (1≦j≦Nsamples)と表記する。
ステップS740において、統計形状モデル生成部1640は、Nsamples個の症例に関する変換関数φ-1 p,j(x)と、スケールvjとに基づいて、変換関数φ-1 p,j(x)をスケーリング処理した変換関数φ’-1 p,j(x)を算出する処理を実行する。具体的には数26のようにして変換関数φ’-1 p,j(x)を算出する。
(数26)
φ’-1 p,j (x’)= φ-1 p,j (x) / vj
ただし、ここでx=( x , y , z )Tとした場合に、x’=( x×vj , y , z×vj )Tである。つまり、φ’-1 p,j (x)はφ-1 p,j(x)を、定義域についてX座標およびZ座標の方向に学習症例のスケール値vjでスケーリングし、さらに関数の値についてスケール値vjでスケーリングした関数である。統計形状モデル生成部1640は、以上の処理をNsamples個の全症例の変換関数φ-1 p,j(x) (1≦j≦Nsamples)について実行し、各症例のスケーリング処理した変換関数φ’-1 p,j(x) (1≦j≦Nsamples)を算出する。
ステップS760において、統計形状モデル生成部1640は、ステップS740で算出した変換関数φ’-1 p,j(x) (1≦j≦Nsamples)を統計処理することで、統計形状モデルを生成する処理を実行する。具体的な処理手順について説明する。
本実施形態では、第3実施形態で説明した統計変形モデルおよび、第4実施形態で説明した統計形状モデルの両方を構築し、これらのモデルを用いることで対象症例に対する正規化処理を簡便かつロバストに実行する処理装置900を例示する。
図14は、本実施形態による処理システムの構成を示す図である。本実施形態において、第1乃至第4実施形態と同様の機能を持つ構成要素には同一の番号を付しており、説明は省略する。同図に示すように、本実施形態における処理装置900は、画像取得部1000、解剖学特徴抽出部1020、正規化部1040、スケール算出部1230、統計形状モデル生成部1640、統計変形モデル生成部1240を持つ。また処理装置900は、対象症例形状抽出部1800、対象症例正規化部1820、対象症例スケール算出部1830、対象症例変形生成部1420、画像変形部1060、観察画像生成部1080を持つ。
次に、処理装置900が行う全体の動作について説明する。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また以下に説明する処理装置900が行う各処理の結果は、主メモリ212に格納することにより記録される。本実施形態における処理装置900の処理は、学習フェーズの処理と変形推定フェーズの処理から成り、まず学習フェーズの処理を実行し、その後に変形推定フェーズの処理を実行する。学習フェーズの処理では、多症例の伏臥位および仰臥位のMRI画像間の変形を学習し、統計変形モデルを生成する処理を実行する。また学習フェーズの処理では、多症例の伏臥位および仰臥位の形状を学習し統計形状モデルを生成する処理を実行する。変形推定フェーズの処理では学習フェーズで生成した統計変形モデルおよび統計形状モデルを用いて対象症例の伏臥位、仰臥位間の変形位置合わせを実行する。
図15は、本実施形態による処理装置900の学習フェーズの処理手順を説明するフローチャートである。以下、この図に沿って説明する。
ステップS6000からステップS6050において処理装置900は、第3実施形態における処理装置200が実行するステップS500からステップS580と同様の処理を実行する。ステップS6040で算出した学習症例のスケール値をvjと表記する。ここで、jは学習症例の症例番号のインデックスであり、本実施形態では1≦j≦Nsamplesである。また、ステップS6050で生成した統計変形モデルの平均ベクトルをe deform_ave,x、e deform_ave,y、e deform_ave,z、固有ベクトルをe deform_x,k、e deform_y,k、e deform_z,kと表記する。kは主成分分析によって得た複数の固有ベクトルのインデックスである。本実施形態では固有ベクトルをN deform_mode個取得することとする。すなわち、1≦k≦N deform_modeである。詳細な説明は省略する。
ステップS6070において、統計形状モデル生成部1640は、学習症例の伏臥位の形状に対して第4実施形態におけるステップS740およびステップS760と同様の処理を実行し、学習症例の伏臥位の形状に関する統計形状モデルを生成する。この処理において、学習症例のスケーリングに用いるスケール値は、ステップS6040で算出したスケール値vjである。以上の処理により伏臥位の統計形状モデルが生成される。ここで生成した伏臥位の統計形状モデルの平均ベクトルをe p_shape,ave,x、e p_shape,ave,y、e p_shape,ave,z、固有ベクトルをe p_shape,x,k、e p_shape,y,k、e p_shape,z,kと表記する。ここでkは主成分分析によって得た複数の固有ベクトルのインデックスである。本実施形態では固有ベクトルをN p_shape_mode個取得することとする。すなわち、1≦k≦N p_shape_modeである。本処理ステップの詳細な説明は、第4実施形態のステップS740およびステップS760の処理の説明と重複するため省略する。
ステップS6080において、統計形状モデル生成部1640は、学習症例の仰臥位の形状に対して第4実施形態におけるステップS740およびステップS760と同様の処理を実行し、学習症例の仰臥位の形状に関する統計形状モデルを生成する。この処理において、学習症例のスケーリングに用いるスケール値は、ステップS6040で算出したスケール値vjである。
次に図16のフローチャートを用いて処理装置900が実行する変形推定フェーズの処理手順について説明する。
ステップS6100において処理装置900は、学習フェーズの処理で生成した伏臥位および仰臥位の統計形状モデルを、処理装置900の主メモリ212に読みだす処理を実行する。
ステップS6110からステップS6120において処理装置900は、第3実施形態における処理装置200が変形推定フェーズの処理として実行するステップS600からステップS602と同様の処理を実行する。説明は省略する。
ステップS6130において、対象症例形状抽出部1800は、ステップS6120で取得した対象症例の伏臥位MRI画像および仰臥位MRI画像を処理することにより、対象症例の伏臥位および仰臥位における体表面および大胸筋面の形状を抽出する処理を実行する。具体的には、対象症例形状抽出部1800は、夫々のMRI画像から、体表面と大胸筋面の位置を表す複数の点群を抽出する。この処理は、第3実施形態の処理装置200が実行するステップS604の処理の一部と同様の処理である。ただし、上記の形状の抽出はMRI画像に描出される被検体の***の全領域に渡る領域を対象とする必要はなく、***領域の一部やその周辺の領域における形状を検出すれば良い。また、抽出する形状は、第3実施形態のステップS604の処理として記載した解剖学特徴の抽出の結果のように密な点群である必要はなく、比較的に疎な点の集合であって良い。本実施形態では、抽出した伏臥位の形状をsp,surface,i (1≦i≦Np,surface)、仰臥位の形状をss,surface,i (1≦i≦Ns,surface)とする。ここで、N p,surfaceは伏臥位の形状を表す点の数であり、同様にN s,surfaceは伏臥位の形状を表す点の数である。
ステップS6140において、対象症例スケール算出部1830は、本実施形態の学習フェーズにおけるステップS6040で学習症例に対して実行する処理と同様の処理を、対象症例に対して実行する。これにより、対象症例のスケールvtargetを算出する。
ステップS6150において、対象症例正規化部1820は、対象症例の伏臥位の形状sp,surface,i、仰臥位の形状ss,surface,i、スケールvtargetに基づき、対象症例に対して統計形状モデルのパラメータを最適化する処理を実行し、正規化座標系への変換を算出する。
ステップS6160からステップS6180において、処理装置900は、第3実施形態における処理装置200が実行するステップS640からステップS660と同様の処理を実行する。詳細な説明は省略する。
本実施形態における変形推定フェーズでは、伏臥位・仰臥位の両方の統計形状モデルを用いる場合を例として説明したが、何れか一方であっても良い。例えば、ステップS6130の処理のうち、伏臥位または仰臥位の何れか一方の***に関する処理は、第3実施形態におけるステップS604と同様の処理を実行するようにしても良い。この場合、後段の処理であるステップS6150の処理は、上記の伏臥位または仰臥位の何れか一方の***に関する正規化座標系への変換の算出処理を、第3実施形態におけるステップS610と同様の処理としてもよい。これによれば、変形推定フェーズにおいて、対象症例の伏臥位または仰臥位のいずれか一方の***における密な体表面形状および大胸筋面形状が得られる場合にはMRI画像座標系から正規化座標系への変換を、より高い精度で算出できる効果がある。
本実施形態では、統計形状モデル生成部1640が伏臥位および仰臥位の夫々に関する統計形状モデルを個別に構築する場合を例として説明したが、このように個別に構築することに限定されない。例えば、統計形状モデル生成部1640は、伏臥位の形状に関する情報と仰臥位の形状とを統合した統計形状モデルを構築するようにしてもよい。具体例としては、学習フェーズの処理では、ステップS6070およびステップS6080の処理に代えて、以下の処理を実行する。すなわち、統計形状モデル生成部1640は、第4実施形態に記載した処理装置800がステップS760で実行する離散化ベクトルqx,j、qy,j、qz,j、の算出処理を、学習症例の伏臥位および仰臥位の夫々について実行する。ここでは、算出した伏臥位に関する離散化ベクトルをq p_x,j、q p_y,j、q p_z,j、仰臥位に関する離散化ベクトルをq s_x,j、q s_y,j、q s_z,j、と表記する。
第5実施形態の説明では、統計変形モデルと、伏臥位および仰臥位に関する統計形状モデルとを生成し、各モデルを用いて対象症例の伏臥位MRI画像と仰臥位MRI画像の間の変形を推定する場合を例に説明した。第6実施形態では、伏臥位および仰臥位のMRI画像座標系と各正規化座標系への変換と、各正規化座標系の間の変形とを統合したモデルを生成し、生成したモデルを用いて対象症例の伏臥位および伏臥位のMRI画像間の変形を推定する方法について説明する。本実施形態では、生成するモデルを統計モデルと称する。
図17は、本実施形態における処理装置950の機能構成を表す図である。同図において、前記第1乃至第5実施形態と同様の機能を持つ構成要素には、各実施形態で付した番号と同一の番号を付しており、説明は省略する。統計モデル生成部1840は、正規化部1040および学習症例変形生成部1220およびスケール算出部1230が実行する処理の結果に基づき、学習症例の統計モデルを生成する。対象症例変形生成部1850は、統計モデル生成部1840が生成する統計モデルおよび、解剖学特徴抽出部1020が抽出する対象症例の解剖学特徴およびスケール算出部1230が算出するスケールに基づいて、対象症例の変形を生成する。
次に、処理装置950が行う全体の動作について説明する。本実施形態では、主メモリ212に格納されている各部の機能を実現するプログラムをCPU211が実行することにより実現される。また、以下に説明する処理装置200が行う各処理の結果は、主メモリ212に格納することにより記録される。本実施形態における処理装置950の処理は、第5実施形態と同様に、学習フェーズの処理と変形推定フェーズの処理から成り、まず学習フェーズの処理を実行し、その後に変形推定フェーズの処理を実行する。学習フェーズの処理では、多症例の伏臥位および仰臥位のMRI画像間の変形を学習し、統計モデルを生成する処理を実行する。変形推定フェーズの処理では学習フェーズで生成した統計モデルを用いて対象症例の伏臥位、仰臥位間の変形位置合わせを実行する。
図18は、本実施形態における処理装置950が行う、学習フェーズの処理の手順を説明するフローチャートである。以下、このフローチャートに示す処理手順に従って、本実施形態の学習フェーズの処理について詳しく説明する。
ステップS7000からステップS7040において処理装置950は、第5実施形態における処理装置900が実行するステップS6000からステップS6040と同様の処理を実行する。詳細な説明は省略する。
ステップS7050において統計モデル生成部1840は、統計モデルを生成する処理を実行する。この処理について詳しく説明する。まず統計モデル生成部1840は、学習症例の伏臥位および仰臥位の夫々に対して、第4実施形態におけるステップS740およびS760の一部と同様の処理を実行し、MRI画像座標系から正規化座標系への変換に関する離散ベクトルを算出する。本実施形態では、伏臥位のMRI画像座標系から伏臥位の正規化座標系への変換に関する離散ベクトルをqp_x,j、qp_y,j、qp_z,j、同様に仰臥位のMRI画像座標系から仰臥位の正規化座標系への変換に関する離散ベクトルをqs_x,j、qs_y,j、qs_z,j、と記す。
図19は、本実施形態による処理装置950が行う、変形推定フェーズの処理の手順を説明するフローチャートである。以下、このフローチャートに示す処理手順に従って、本実施形態の変形推定フェーズの処理について詳しく説明する。
ステップS6700において処理装置950は、学習フェーズの処理で生成した統計モデルを、主メモリ212に読みだす処理を実行する。
ステップS7120からステップS7140において処理装置950は、第5実施形態における処理装置900が実行するステップS6120からステップS6140と同様の処理を実行する。詳細な説明は省略する。
ステップS7160において、対象症例変形生成部1850は、ステップS7100で取得した統計モデル、ステップS7130で取得した対象症例の体表面および大胸筋面の形状、およびステップS7140で算出したスケールに基づいて、対象症例の変形を生成する処理を実行する。この処理について詳しく説明する。
ステップS7170からステップS7180において処理装置950は、第5実施形態における処理装置900が実行するステップS6170からステップS6180と同様の処理を実行する。詳細な説明は省略する。
本実施形態では、ステップS7050の処理では、統計モデル生成部1840は、学習症例の夫々についてMRI画像座標系から各正規化座標系への変換と、正規化座標系の間の変形の夫々に関する離散ベクトルを算出し、算出した離散ベクトルを結合したベクトルに基づいて統計モデルを生成する場合を例として説明した。しかし、変形例として、例えば、第5実施形態で説明した処理装置900と同様に、統計形状モデルと統計変形モデルを夫々算出し、それに加えて両モデルの上位モデルを構築するようにしても良い。
第1実施形態から第6実施形態では、人体の***を処理の対象とする場合を、一例として説明した。しかし、処理の対象は人体の***に限定されない。例えば、処理の対象は、人体以外の動物の***であっても良い。また、処理の対象は、他の臓器であっても良い。例えば心臓を対象とする場合には、心臓の外壁と内壁によって囲まれた領域を心臓領域とし、心臓の外壁形状から尖点を基準点として抽出することで上記の実施形態を適用できる。この場合、該実施形態による処理装置は、例えば診断対象の心臓の形状と正常な心臓の形状とを位置合わせすることで形状間の比較を行い、形状に現れる心疾患に関する解析情報を生成することができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (14)
- 2つの異なる姿勢で撮影された対象物体の画像それぞれから、該対象物体の注目部位の解剖学特徴を取得する取得手段と、
前記解剖学特徴に基づいて、前記2つの異なる姿勢の前記対象物体の注目部位の形状をそれぞれ、所定の基準となる形状に変換させるための正規化変換情報を生成する正規化手段と、
前記正規化変換情報に基づいて、前記2つの異なる姿勢で撮影された前記対象物体の画像間の変形の統計的な特性を示す統計変形モデルを生成する生成手段とを有することを特徴とする処理装置。 - 前記取得手段は、複数の症例それぞれについて前記2つの異なる姿勢で撮影された対象物体の画像それぞれから、該対象物体の注目部位の解剖学特徴を取得し、
前記正規化手段は、前記複数の症例それぞれについて取得された前記解剖学特徴に基づいて前記正規化変換情報を生成し、
前記生成手段は、前記複数の症例それぞれについて生成された前記正規化変換情報に基づいて前記統計変形モデルを生成することを特徴とする請求項1に記載の処理装置。 - 前記生成手段は、前記複数の症例それぞれについて生成された前記正規化変換情報を用いて、前記2つの異なる姿勢について前記所定の基準となる形状に変換された後の該2つの姿勢の間の変換の関係である変換情報を生成し、該変換情報を用いて前記統計変形モデルを生成することを特徴とする請求項2に記載の処理装置。
- 前記生成手段は、前記変換情報を前記対象物体の注目部位の大きさを用いてスケーリングし、該スケーリングした前記変換情報をベクトル化し、前記ベクトル化されたベクトルを主成分分析することによって前記統計変形モデルを生成することを特徴とする請求項3に記載の処理装置。
- 前記統計変形モデルは、前記主成分分析された前記ベクトルの平均ベクトルと固有ベクトルで表されることを特徴とする請求項4に記載の処理装置。
- 前記生成手段はさらに、前記複数の症例それぞれについて前記2つの異なる姿勢のうちの1つの姿勢で撮影された対象物体の画像それぞれから、該1つの姿勢で撮影された対象物体の注目部位の形状と前記所定の基準となる形状に変換させた前記注目部位の形状との統計的な関係を示す統計形状モデルを生成することを特徴とする請求項2乃至5のいずれか1項に記載の処理装置。
- 前記統計変形モデルと前記統計形状モデルを統合させた統計モデルを生成する統計モデル生成手段を更に有することを特徴とする請求項6に記載の処理装置。
- 前記複数の症例とは異なる対象症例について前記2つの異なる姿勢で撮影された対象物体の画像間の変形を、前記統計変形モデルを用いて算出する算出手段を更に有することを特徴とする請求項2乃至6のいずれか1項に記載の処理装置。
- 前記複数の症例とは異なる対象症例について前記2つの異なる姿勢で撮影された対象物体の画像間の変形を、前記統計変形モデルと前記統計形状モデルを用いて算出する算出手段を更に有することを特徴とする請求項6に記載の処理装置。
- 前記複数の症例とは異なる対象症例について前記2つの異なる姿勢で撮影された対象物体の画像間の変形を、前記統計モデルを用いて算出する算出手段を更に有することを特徴とする請求項7に記載の処理装置。
- 前記変形に基づいて、前記対象症例について撮影された前記対象物体の画像を変形する変形手段を更に有することを特徴とする請求項8乃至10のいずれか1項に記載の処理装置。
- 前記解剖学特徴は、該対象物体の注目部位の輪郭と該輪郭上の所定の位置にある基準点を含むことを特徴とする請求項1乃至11のいずれか1項に記載の処理装置。
- 2つの異なる姿勢で撮影された対象物体の画像それぞれから、該対象物体の注目部位の解剖学特徴を取得する取得工程と、
前記解剖学特徴に基づいて、前記2つの異なる姿勢の前記対象物体の注目部位の形状をそれぞれ、所定の基準となる形状に変換させるための正規化変換情報を生成する正規化工程と、
前記正規化変換情報に基づいて、前記2つの異なる姿勢で撮影された前記対象物体の画像間の変形の統計的な特性を示す統計変形モデルを生成する生成工程とを有することを特徴とする処理方法。 - 請求項1乃至請求項12のいずれか1項に記載の処理装置としてコンピュータを機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014003699A JP6383153B2 (ja) | 2014-01-10 | 2014-01-10 | 処理装置、処理方法、およびプログラム |
PCT/JP2014/005220 WO2015104737A1 (ja) | 2014-01-10 | 2014-10-15 | 処理装置、処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014003699A JP6383153B2 (ja) | 2014-01-10 | 2014-01-10 | 処理装置、処理方法、およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018145407A Division JP6660428B2 (ja) | 2018-08-01 | 2018-08-01 | 処理装置、処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015130973A true JP2015130973A (ja) | 2015-07-23 |
JP6383153B2 JP6383153B2 (ja) | 2018-08-29 |
Family
ID=53523600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014003699A Active JP6383153B2 (ja) | 2014-01-10 | 2014-01-10 | 処理装置、処理方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6383153B2 (ja) |
WO (1) | WO2015104737A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019515382A (ja) * | 2016-05-04 | 2019-06-06 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 医療アトラス登録 |
JPWO2021085057A1 (ja) * | 2019-10-30 | 2021-05-06 | ||
WO2022113800A1 (ja) * | 2020-11-25 | 2022-06-02 | パナソニック株式会社 | 医療用画像表示システム、医療用画像表示方法及びプログラム |
WO2022138278A1 (ja) * | 2020-12-24 | 2022-06-30 | 富士フイルム株式会社 | 医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020203526A1 (de) * | 2020-03-19 | 2021-09-23 | Siemens Healthcare Gmbh | Deformationsmodell für ein Gewebe |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004275361A (ja) * | 2003-03-14 | 2004-10-07 | Fuji Photo Film Co Ltd | 画像表示装置 |
JP2005514148A (ja) * | 2001-12-28 | 2005-05-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 設定の補正を実行する手段を持つ医療検査装置 |
JP2008165773A (ja) * | 2006-12-19 | 2008-07-17 | Fujifilm Corp | 形状モデリング技法に基づいた確率的アトラスのための方法および装置 |
JP2011123682A (ja) * | 2009-12-10 | 2011-06-23 | Canon Inc | 情報処理装置、情報処理方法、及びプログラム |
-
2014
- 2014-01-10 JP JP2014003699A patent/JP6383153B2/ja active Active
- 2014-10-15 WO PCT/JP2014/005220 patent/WO2015104737A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005514148A (ja) * | 2001-12-28 | 2005-05-19 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 設定の補正を実行する手段を持つ医療検査装置 |
JP2004275361A (ja) * | 2003-03-14 | 2004-10-07 | Fuji Photo Film Co Ltd | 画像表示装置 |
JP2008165773A (ja) * | 2006-12-19 | 2008-07-17 | Fujifilm Corp | 形状モデリング技法に基づいた確率的アトラスのための方法および装置 |
JP2011123682A (ja) * | 2009-12-10 | 2011-06-23 | Canon Inc | 情報処理装置、情報処理方法、及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019515382A (ja) * | 2016-05-04 | 2019-06-06 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 医療アトラス登録 |
JPWO2021085057A1 (ja) * | 2019-10-30 | 2021-05-06 | ||
WO2021085057A1 (ja) * | 2019-10-30 | 2021-05-06 | 富士フイルム株式会社 | 物体検出装置、物体検出方法およびプログラム |
JP7252366B2 (ja) | 2019-10-30 | 2023-04-04 | 富士フイルム株式会社 | 物体検出装置、物体検出方法およびプログラム |
WO2022113800A1 (ja) * | 2020-11-25 | 2022-06-02 | パナソニック株式会社 | 医療用画像表示システム、医療用画像表示方法及びプログラム |
JP7114003B1 (ja) * | 2020-11-25 | 2022-08-05 | パナソニックホールディングス株式会社 | 医療用画像表示システム、医療用画像表示方法及びプログラム |
WO2022138278A1 (ja) * | 2020-12-24 | 2022-06-30 | 富士フイルム株式会社 | 医用画像処理方法、医用画像処理プログラム、医用画像処理装置、及び学習方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6383153B2 (ja) | 2018-08-29 |
WO2015104737A1 (ja) | 2015-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6346445B2 (ja) | 処理装置、処理装置の制御方法、およびプログラム | |
JP5546230B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6000705B2 (ja) | データ処理装置及びデータ処理方法 | |
US8908944B2 (en) | Information processing apparatus, information processing method, and program | |
KR101267759B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
US20110262015A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6383153B2 (ja) | 処理装置、処理方法、およびプログラム | |
JP7214434B2 (ja) | 医用画像処理装置及び医用画像処理プログラム | |
US10762648B2 (en) | Image processing apparatus, image processing method, image processing system, and program | |
JP6407959B2 (ja) | ビュー分類に基づいたモデル初期化 | |
US9129392B2 (en) | Automatic quantification of mitral valve dynamics with real-time 3D ultrasound | |
JP6905323B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2016087109A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6238755B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US9286688B2 (en) | Automatic segmentation of articulated structures | |
JP2022111705A (ja) | 学習装置、画像処理装置、医用画像撮像装置、学習方法およびプログラム | |
JP2022111704A (ja) | 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム | |
JP6660428B2 (ja) | 処理装置、処理方法、およびプログラム | |
JP5943267B2 (ja) | 個人モデルデータの生成方法、生成プログラム、および生成システム | |
JP2019500114A (ja) | 位置合わせ精度の決定 | |
JP5706933B2 (ja) | 処理装置および処理方法、プログラム | |
Mao | Three-dimensional Ultrasound Fusion for Transesophageal Echocardiography | |
JP2022111706A (ja) | 画像処理装置および画像処理方法、医用撮像装置、プログラム | |
JPWO2020138136A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2021086260A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180803 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6383153 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |