JP5943267B2 - 個人モデルデータの生成方法、生成プログラム、および生成システム - Google Patents
個人モデルデータの生成方法、生成プログラム、および生成システム Download PDFInfo
- Publication number
- JP5943267B2 JP5943267B2 JP2011230945A JP2011230945A JP5943267B2 JP 5943267 B2 JP5943267 B2 JP 5943267B2 JP 2011230945 A JP2011230945 A JP 2011230945A JP 2011230945 A JP2011230945 A JP 2011230945A JP 5943267 B2 JP5943267 B2 JP 5943267B2
- Authority
- JP
- Japan
- Prior art keywords
- human body
- body model
- mesh
- model
- numerical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
(FFD)などであり(非特許文献2)、姿勢を変えたときの生体EMCなどに活用されている。こうしたシミュレーション技術を用いれば、短時間で数値人体モデルの体形を変形することができる。こうした数値モデルの変形に関連する技術として、数値モデルの変形後の格子生成技術(バウンダリーフィット法(BFM)とも呼ばれる)(非特許文献3)、また体形変形後の体表メッシュをバイナリーボリュームデータベースに変換するグラフィックハードウェアを利用したボクセル化技術がある(非特許文献4)。さらに解剖構造解析方法、解剖構造の表示方法、および解剖構造表示装置に関する技術もある(特許文献1)。
体形変形処理は、数値人体モデルと個人データの体表面をポリゴンメッシュとして抽出し、数値人体モデルの体表面メッシュを個人データの体表面メッシュを近似するように変形して、最終的に変形した数値人体モデルの体表面の内部にボリュームリフィリングを使って、数値人体モデルをマッピングする。
ボリュームリフィリングは、数値人体モデルデータの変形を、その体表面の変形で実現するために開発された。この手法によって、姿勢変形や体形変形を、体表面の変形で制御することが可能となる。この手法の内容は、次のとおりである。
いま、∂D1から∂D0への連続写像g(式1)が与えられたとき、D1からD0への連続写像G(式2)で∂D1上でgと一致する(式3)ものを求める。
と表せる。これは、Dirichletの境界条件になる。そこで、次の条件
を(式6)、(式7)、(式8)に追加して、Giを求めることができる。このような解Giは、必ずユニークに存在する。これにより、Gを決定することができる。
<体表面のポリゴンメッシュ抽出>
数値人体モデルのボリュームデータから体表を表すポリゴンメッシュを抽出する。本発明においては、人体領域のボクセル境界をポリゴンとして抽出している。その頂点の座標は、ボクセルの頂点座標であり、またそれをボリュームの解像度で正規化した座標をテクスチャ座標として付加している。
このとき、2つのメッシュが十分に類似していて、メッシュ同士の距離が近いときは、局所的な近似処理で精度の高い近似処理が可能である。ここで、局所的な近似処理とは、数値人体モデルのメッシュ頂点すべてに対して、個人データのメッシュの頂点の中で一番近い点をサーチして、その点に移動するという処理を示す。
大域的な近似処理を、3次元レジストレーションを適用して完全にアルゴリズム処理されることを応用して変形する自動的な手法も考察している。これは、人体領域とそれ以外の2つの領域を持つボリュームデータを生成し、レジストレーションを行う。その結果の副産物として得られる、ボリュームデータ変形の変位ベクトル場を使って、ポリゴンメッシュを変形して大域的近似とする。レジストレーション手法については、後述する組織形状変形処理において詳述する。
ボリュームリフィリングを適用するためには、ポリゴンメッシュをボクセル化する必要がある。そのボリュームデータは2つのタイプの情報を持っている。(ア)変形した人体領域を定義する2値ボリュームと、
(イ)境界条件を定める、境界メッシュをボクセル化したボリュームである。このボクセル値は、3次元のテクスチャ座標である。
体形変形の処理フローをまとめる。
(A)数値人体モデルおよび、個人データのボリュームデータから体表面をポリゴンメッシュとして抽出する。
(B)ポリゴンメッシュを大域的な近似処理で、2つのメッシュを近づける。この際には、ランドマークベースもしくはレジストレーションベースを選択する。
(C)局所的な近似処理を行い、数値人体モデルのメッシュを個人データのメッシュに高精度で近似させる。
(D)変形した数値人体メッシュを2値ボリューム化した後、ボリュームリフィリングを適用して内部を埋める。
体形変形で得られた、変形した数値人体モデル(以下、変形人体モデルと表記することがある)の内部組織について、個人データの内部組織をより高精度に近似する処理を行う。そのために、フローベースの3次元レジストレーション処理を適用する。レジストレーション処理は、同じ組織が同じボクセル値を持つことが前提となっている。しかしながら、数値人体モデルと個人データは、同じ組織でも異なるボクセル値を持っていることが一般的である。したがって、個人データの組織を簡易的に組織同定する必要がある。
レジストレーションを適用するために、変形人体モデルと個人データについて、同じ組織は同じボクセル値を持つようにする必要がある。それは、すべての組織を同定することに他ならないが、これは目的に反してしまう。したがって、人体の中でもシミュレーションに重要な組織に限定して簡易的に同定する。これらの組織に関しては、CT/MRIデータでの値が比較的分離しやすいので、簡単な閾値処理で同定する。シミュレーションで重要な組織は、脂肪、筋肉、骨格である。それ以外の組織については、1つにまとめて仮想的な組織と考える。
本発明においては、非剛体レジストレーションの手法として、フローベースのアルゴリズムを採用した。
I0,I1をソースおよびターゲット画像とし、変形の写像をf、その写像によって生成された変位ベクトル場をvとする。fとvの関係は次で与えられるとする。
とする。E1が小さいときに、画像の差分も小さくなる。したがって、画像が一致するためには、E1を最小にすることが必要である。一方、変化が小さいvの中で滑らかで最小のものを選ぶために、ベクトル場のエネルギー
を加える。ここでLは、ベクトル場を滑らかにする作用のある微分作用素とする。
と記述する。
(13)を実現するvは、
が成り立つことが必要である。(14)の左辺は、
であり、(14)の右辺は
である。ここで
である。
(14)(15)(16)から
ここで、(17)を離散化すると、連立一次方程式となり、数値的に解であるvを求めることができる。
フローベースのアルゴリズムでは、画像の差分をエネルギーに基づくレジストレーションにおける画像の差分を圧力のポテンシャルとみなし、そのGradientを圧力とする。圧力ベクトルpとするとき、
また、(12)における微分作用素LをNavier-Stokes方程式における作用素とする。すなわち、
とする。これを(17)に代入し、
となる。
このときに、ボリュームデータをそのままレジストレーションするのではなく、組織ごとに2値ボリュームを生成して、それをレジストレーションする。これにより、組織ごとにレジストレーションした結果が得られる。
しかしながら、実用上はレジストレーション誤差が発生してしまう。レジストレーションの誤差発生の原因は、おもに組織のトポロジーが異なっていることに起因する。レジストレーションは連続変形であるが、連続変形によって組織を一致させるためには、組織のトポロジーが一致していることが条件になる。しかし、実データ上の組織形状およびトポロジーは複雑であり、一致していることは期待できない。したがって、レジストレーションで得られる結果は、ベストエフォートである。レジストレーション誤差のため、各組織のレジストレーション結果は、(式21、式22)を満たさない。これは、組織間の間に隙間が生じたい、組織が重なることを意味する。
第一段階の処理は、ポリゴンメッシュ抽出(STEP10)から行われる。ここでは、ソースモデルのボリュームデータから体表面をポリゴンメッシュ(数値人体モデルポリゴンメッシュ)として抽出する(STEP11)。ターゲットモデルのボリュームデータから体表面をポリゴンメッシュ(個人ポリゴンメッシュ)として抽出する(STEP12)。
体表レジストレーション(STEP20)では、大域的な近似(STEP21)および局所的レジストレーション(STEP22)の何れか一方または双方が選択され行われる。
ボリュームリフィリング(STEP30)では、変形人体モデルのメッシュを2値ボリューム化(STEP31)した後、ボリュームリフィリングを適用して、変形人体モデルのメッシュに内部組織構造が埋め込まれる(STEP32)。こうして埋め込まれた内部組織を変形人体モデルの内部組織と表記し、その構造を変形人体モデルの内部組織構造と表記することがある。
第二段階の処理(前述した「組織形状変形処理」である)では、人体の中でもシミュレーションに重要な組織(例えば脂肪、筋肉、骨格)に限定した簡易的な組織同定を行う(STEP41)。これらの組織に関しては、CT/MRIデータでの値が比較的分離しやすいので、簡単な閾値処理で同定することができる(自動化を阻害する要因はない。)。ここではまた、それ以外の組織について、その他の組織として1つにまとめて仮想的な組織として同定する(同じくSTEP41)。
内部組織レジストレーション(STEP40)では、さらにマルチチャンネルレジストレーションと統合処理が行われる。前述した「マルチチャンネルレジストレーションと統合処理」で述べたように、内部組織間に隙間や内部組織間の重なりが生じるからである。
STEP11 数値人体モデルポリゴンメッシュ抽出工程
STEP12 個人ポリゴンメッシュ抽出工程
STEP13 数値人体モデルポリゴンメッシュのフェアリング処理工程
STEP14 個人ポリゴンメッシュのフェアリング処理工程
STEP20 体表レジストレーション工程
STEP21 大域的近似(非剛性レジストレーション)工程
STEP22 局所的レジストレーション工程
STEP30 ボリュームリフィリング工程
STEP31 変形人体モデルのメッシュの2値ボリューム化工程
STEP32 変形人体モデルのメッシュへの内部組織構造埋め込み工程
STEP40 内部組織レジストレーション工程
STEP41 簡易的組織同定工程
STEP42 内部組織レジストレーション工程
STEP43 内部組織間隙間埋め込み工程
STEP44 内部組織間の重なり修正工程
Claims (6)
- 内部組織構造を有した数値人体モデルに基づいて、個人の内部組織構造をコンピュータシミュレーションによって生成する個人モデルデータの生成方法であって、
前記コンピュータが、ソースデータベースに蓄積された前記数値人体モデルのボリュームデータに基づいて、前記数値人体モデルの体表面を数値人体モデルポリゴンメッシュとして抽出するとともに、ターゲットデータベースに蓄積された前記個人のボリュームデータに基づいて、前記個人の体表面を個人ポリゴンメッシュとして抽出するポリゴンメッシュ抽出工程と、
前記コンピュータが、前記数値人体モデルのメッシュを変形して、個人データのメッシュに近似した変形人体モデルのメッシュとする体表レジストレーション工程と、
前記コンピュータが、前記変形人体モデルのメッシュをボクセル化したうえで、前記数値人体モデルのボリュームデータに基づく内部組織構造を埋め込んで、変形人体モデルの内部組織構造を生成するボリュームリフィリング工程と、
前記コンピュータが、変形人体モデルの内部組織構造を構成する1または複数の内部組織の形状を、これら変形人体モデルの内部組織に対応する前記個人の1または複数の個人内部組織の形状に近似させることによって、前記変形人体モデルの内部組織構造を変形して、前記個人の内部組織構造とする内部組織レジストレーション工程とを有することを特徴とする個人モデルデータの生成方法。 - 前記体表レジストレーション工程における前記数値人体モデルのメッシュの変形は、
前記数値人体モデルのメッシュの形状の画像と前記個人データのメッシュの形状の画像との間の差分量エネルギーを最小化することによって行われる非剛体レジストレーション、および前記数値人体モデルのメッシュ頂点すべてに対して、前記個人データのメッシュの頂点の中で一番近い点をサーチして、その一番近い点に前記数値人体モデルのメッシュ頂点を移動させる局所的レジストレーションの何れか一方または双方を行うものであり、
前記内部組織レジストレーション工程における前記変形人体モデルの内部組織の形状の、前記個人の内部組織の形状への近似変形は、前記変形人体モデルの内部組織の形状の画像と前記個人の内部組織の形状の画像との間の差分量エネルギーを最小化する非剛体レジストレーションによって行われることを特徴とする請求項1に記載の個人モデルデータの生成方法。 - 内部組織構造を有した数値人体モデルに基づいて、個人の内部組織構造をシミュレーションによって生成するための手順をコンピュータに実行させる個人モデルデータの生成プログラムであって、
ソースデータベースに蓄積された前記数値人体モデルのボリュームデータに基づいて、前記数値人体モデルの体表面を数値人体モデルポリゴンメッシュとして抽出するとともに、ターゲットデータベースに蓄積された前記個人のボリュームデータに基づいて、前記個人の体表面を個人ポリゴンメッシュとして抽出するポリゴンメッシュ抽出手順と、
前記数値人体モデルのメッシュを変形して、個人データのメッシュに近似した変形人体モデルのメッシュとする体表レジストレーション手順と、
前記変形人体モデルのメッシュをボクセル化したうえで、前記数値人体モデルのボリュームデータに基づく内部組織構造を埋め込んで、変形人体モデルの内部組織構造を生成するボリュームリフィリング手順と、
変形人体モデルの内部組織構造を構成する1または複数の内部組織の形状を、これら変形人体モデルの内部組織に対応する前記個人の1または複数の個人内部組織の形状に近似させることによって、前記変形人体モデルの内部組織構造を変形して、前記個人の内部組織構造とする内部組織レジストレーション手順とを有することを特徴とする個人モデルデータの生成プログラム。 - 前記体表レジストレーション手順における前記数値人体モデルのメッシュの変形は、
前記数値人体モデルのメッシュの形状の画像と前記個人データのメッシュの形状の画像との間の差分量エネルギーを最小化することによって行われる非剛体レジストレーション、および前記数値人体モデルのメッシュ頂点すべてに対して、前記個人データのメッシュの頂点の中で一番近い点をサーチして、その一番近い点に前記数値人体モデルのメッシュ頂点を移動させる局所的レジストレーションの何れか一方または双方を行うものであり、
前記内部組織レジストレーション手順における前記変形人体モデルの内部組織の形状の、前記個人の内部組織の形状への近似変形は、
前記変形人体モデルの内部組織の形状の画像と前記個人の内部組織の形状の画像との間の差分量エネルギーを最小化する非剛体レジストレーションによって行われることを特徴とする請求項3に記載の個人モデルデータの生成プログラム。 - 内部組織構造を有した数値人体モデルに基づいて、個人の内部組織構造をコンピュータシミュレーションによって生成するための個人モデルデータの生成システムであって、
ソースデータベースに蓄積された前記数値人体モデルのボリュームデータに基づいて、前記数値人体モデルの体表面を数値人体モデルポリゴンメッシュとして抽出するとともに、ターゲットデータベースに蓄積された前記個人のボリュームデータに基づいて、前記個人の体表面を個人ポリゴンメッシュとして抽出する、前記コンピュータが有するポリゴンメッシュ抽出手段と、
前記数値人体モデルのメッシュを変形して、個人データのメッシュに近似した変形人体モデルのメッシュとする、前記コンピュータが有する体表レジストレーション手段と、
前記変形人体モデルのメッシュをボクセル化したうえで、前記数値人体モデルのボリュームデータに基づく内部組織構造を埋め込んで、変形人体モデルの内部組織構造を生成する、前記コンピュータが有するボリュームリフィリング手段と、
変形人体モデルの内部組織構造を構成する1または複数の内部組織の形状を、これら変形人体モデルの内部組織に対応する前記個人の1または複数の個人内部組織の形状に近似させることによって、前記変形人体モデルの内部組織構造を変形して、前記個人の内部組織構造とする、前記コンピュータが有する内部組織レジストレーション手段とを有することを特徴とする個人モデルデータの生成システム。 - 前記体表レジストレーション手段における前記数値人体モデルのメッシュの変形は、
前記数値人体モデルのメッシュの形状の画像と前記個人データのメッシュの形状の画像との間の差分量エネルギーを最小化することによって行われる非剛体レジストレーション、および前記数値人体モデルのメッシュ頂点すべてに対して、前記個人データのメッシュの頂点の中で一番近い点をサーチして、その一番近い点に前記数値人体モデルのメッシュ頂点を移動させる局所的レジストレーションの何れか一方または双方を行うものであり、
前記内部組織レジストレーション手段における前記変形人体モデルの内部組織の形状の、前記個人の内部組織の形状への近似変形は、
前記変形人体モデルの内部組織の形状の画像と前記個人の内部組織の形状の画像との間の差分量エネルギーを最小化する非剛体レジストレーションによって行われることを特徴とする請求項5に記載の個人モデルデータの生成システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011230945A JP5943267B2 (ja) | 2011-10-20 | 2011-10-20 | 個人モデルデータの生成方法、生成プログラム、および生成システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011230945A JP5943267B2 (ja) | 2011-10-20 | 2011-10-20 | 個人モデルデータの生成方法、生成プログラム、および生成システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013089123A JP2013089123A (ja) | 2013-05-13 |
JP5943267B2 true JP5943267B2 (ja) | 2016-07-05 |
Family
ID=48532947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011230945A Expired - Fee Related JP5943267B2 (ja) | 2011-10-20 | 2011-10-20 | 個人モデルデータの生成方法、生成プログラム、および生成システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5943267B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2515343B (en) * | 2013-06-21 | 2018-02-07 | Toshiba Res Europe Limited | Methods and systems for generating a three dimensional representation of a subject |
JP6928217B1 (ja) * | 2020-07-31 | 2021-09-01 | 松尾建設株式会社 | 測定処理装置、方法及びプログラム |
CN116612262B (zh) * | 2023-07-19 | 2023-09-29 | 武汉亘星智能技术有限公司 | 与参考照片对齐的网格自动调整方法、***、设备及介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4780198B2 (ja) * | 2006-11-10 | 2011-09-28 | コニカミノルタホールディングス株式会社 | 認証システム及び認証方法 |
JP2010131091A (ja) * | 2008-12-03 | 2010-06-17 | Niigata Univ | マスク形状決定支援システム,マスク形状決定支援方法およびマスク形状決定支援プログラム |
JP2010238134A (ja) * | 2009-03-31 | 2010-10-21 | Saxa Inc | 画像処理装置及びプログラム |
JP5527689B2 (ja) * | 2009-12-28 | 2014-06-18 | 独立行政法人情報通信研究機構 | 対象体の解剖構造解析方法及び対象体解剖構造の表示方法並びに対象体解剖構造表示装置 |
-
2011
- 2011-10-20 JP JP2011230945A patent/JP5943267B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013089123A (ja) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3100236B1 (en) | Method and system for constructing personalized avatars using a parameterized deformable mesh | |
JP6346445B2 (ja) | 処理装置、処理装置の制御方法、およびプログラム | |
CN112639880A (zh) | 使用深度学习自动确定3d对象的正则姿态和自动叠加3d对象 | |
Kalra | Developing fe human models from medical images | |
US9697600B2 (en) | Multi-modal segmentatin of image data | |
JP7214434B2 (ja) | 医用画像処理装置及び医用画像処理プログラム | |
Bijar et al. | Atlas-based automatic generation of subject-specific finite element tongue meshes | |
JP6458166B2 (ja) | 医用画像処理方法及び装置及びシステム及びプログラム | |
US20230260129A1 (en) | Constrained object correction for a segmented image | |
JP6340315B2 (ja) | 画像処理方法 | |
JP6383153B2 (ja) | 処理装置、処理方法、およびプログラム | |
JP5943267B2 (ja) | 個人モデルデータの生成方法、生成プログラム、および生成システム | |
Grosland et al. | Automated hexahedral meshing of anatomic structures using deformable registration | |
CN115116586A (zh) | 一种基于联合配准的可变形统计图谱构建方法 | |
Hu et al. | Multi-rigid image segmentation and registration for the analysis of joint motion from three-dimensional magnetic resonance imaging | |
CN107077718B (zh) | 在考虑待检查对象的解剖结构时重新格式化 | |
EP2960870B1 (en) | A visualization method for a human skeleton from a medical scan | |
JP5500683B2 (ja) | 個体の内部組織構造を有した数値対象体モデルを生成する方法、プログラムおよびシステム | |
WO2022163513A1 (ja) | 学習済みモデルの生成方法、機械学習システム、プログラムおよび医療画像処理装置 | |
Coevoet et al. | Introducing interactive inverse FEM simulation and its application for adaptive radiotherapy | |
US10832423B1 (en) | Optimizing an atlas | |
JP6070377B2 (ja) | 境界特定装置、境界特定方法、プログラム、及び、記録媒体 | |
EP2912632B1 (en) | Determining an anatomical atlas | |
Joldes et al. | Cortical surface motion estimation for brain shift prediction | |
Han et al. | CT image processing and medical rapid prototyping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5943267 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |