JP2023090566A - スキンモデルから肉付きに基づく体形を統計的に分析するプログラム、装置及び方法 - Google Patents
スキンモデルから肉付きに基づく体形を統計的に分析するプログラム、装置及び方法 Download PDFInfo
- Publication number
- JP2023090566A JP2023090566A JP2021205593A JP2021205593A JP2023090566A JP 2023090566 A JP2023090566 A JP 2023090566A JP 2021205593 A JP2021205593 A JP 2021205593A JP 2021205593 A JP2021205593 A JP 2021205593A JP 2023090566 A JP2023090566 A JP 2023090566A
- Authority
- JP
- Japan
- Prior art keywords
- vertex
- joint
- joint point
- position vector
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000037237 body shape Effects 0.000 title description 21
- 238000000034 method Methods 0.000 title description 15
- 239000013598 vector Substances 0.000 claims abstract description 107
- 238000012549 training Methods 0.000 claims abstract description 33
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000009466 transformation Effects 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 16
- 238000000513 principal component analysis Methods 0.000 claims description 10
- 238000005452 bending Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 abstract description 8
- 239000000284 extract Substances 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 210000000323 shoulder joint Anatomy 0.000 description 8
- 210000002310 elbow joint Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- HVYWMOMLDIMFJA-DPAQBDIFSA-N cholesterol Chemical compound C1C=C2C[C@@H](O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2 HVYWMOMLDIMFJA-DPAQBDIFSA-N 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000008589 Obesity Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000009534 blood test Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 235000012000 cholesterol Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 235000012631 food intake Nutrition 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000001596 intra-abdominal fat Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 235000020824 obesity Nutrition 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 210000004003 subcutaneous fat Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- UFTFJSFQGQCHQW-UHFFFAOYSA-N triformin Chemical compound O=COCC(OC=O)COC=O UFTFJSFQGQCHQW-UHFFFAOYSA-N 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
姿勢は、関節点の位置に応じて異なる。例えば全く同一の人物であっても、両足を開いた場合と、両足を閉じた場合とでは、特に足の部分で大きく異なる人体モデルとして取得されることとなる。また、3次元スキャナによって計測する場合、生身の人物である全員に、同一姿勢を強要することは非常に難しい。
即ち、3次元スキャナによって人体を計測した場合、人体の長さや周径に基づく「体形」と、人体の関節の位置に基づく「姿勢」とが混在したデータとなってしまう。
関節点毎に、関節座標系が設定されており、
スキンモデルにおける頂点毎に各関節点に対する頂点位置ベクトルを抽出する頂点位置ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
してコンピュータを機能させることを特徴とする。
頂点位置ベクトル抽出手段は、各関節点の回転行列Rと位置tとからなる同次座標変換行列Aを算出し、全ての頂点vの位置からなる頂点行列Vを、同次座標変換行列A-1によって関節座標系に変換した頂点行列V'を、各関節点に対する頂点位置ベクトルとして抽出する
ようにコンピュータを機能させることも好ましい。
1体のポリゴンメッシュから、関節点の位置を推定する関節点推定手段と
して更にコンピュータを機能させることも好ましい。
関節点推定手段は、関節点学習エンジンであり、
訓練段階として、教師データ群の複数体のポリゴンメッシュをそれぞれ入力し、関節点の位置を出力するように関節点学習モデルを構築し、
推定段階として、推定対象となるポリゴンメッシュを入力し、関節点の位置を出力する
ようにコンピュータを機能させることも好ましい。
エンコーダとしての推定段階として、
統計学習エンジンは、推定対象となる1体のポリゴンメッシュにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力する
ようにコンピュータを機能させることも好ましい。
デコーダとしての推定段階として、
統計学習エンジンは、推定対象となる成分変数を入力し、1体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを出力し、
当該頂点毎の各関節点の頂点位置ベクトルから、1体のスキンモデルを再生するスキニング手段と
してコンピュータを機能させることも好ましい。
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
関節点毎の関節座標系は、当該関節点を親として子関節点へ向かう方向をz軸とし、当該関節点の屈曲する方向をx軸とし、x軸及びz軸と直交する方向をy軸として設定される
ようにコンピュータを機能させることも好ましい。
頂点毎の各関節点に対する頂点位置ベクトルを、当該関節点から子関節点へ向かう方向の距離zと、円筒中心点からの半径rと、円筒中心点の径方向の角度θとした円筒座標で表現する
ようにコンピュータを機能させることも好ましい。
スキンモデルは、人体モデルであり、
スケルトンは、人体の骨格であり、
ボーンは、関節点間の骨であり、
円筒中心点からの半径rは、骨格に対する肉付きとなる
ようにコンピュータを機能させることも好ましい。
スキンモデルについて、頂点毎に、影響を及ぼす1つ以上の関節点が予め設定されており、
頂点位置ベクトル抽出手段は、頂点毎に、予め設定された各関節点に対する頂点位置ベクトルを抽出する
ようにコンピュータを機能させることも好ましい。
統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものである
ようにコンピュータを機能させることも好ましい。
教師データ群として、スキンモデル毎に、複数の周径採寸箇所に対応する次元数nの周径採寸値が対応付けられており、
スキンモデル毎に、次元数nの周径採寸値と、統計学習エンジンによって出力された次元数mの成分変数とを対応付けて学習した相関学習モデルを構築する相関学習エンジンと
して機能させ、
相関学習エンジンを用いて、対象データとしての1体の次元数nの周径採寸値から、次元数mの成分変数へエンコードし、
相関学習エンジンを用いて、統計学習エンジンから出力された当該次元数mの成分変数から、1体の次元数nの周径採寸値へデコードする
ようにコンピュータを機能させることも好ましい。
関節点毎に、関節座標系が設定されており、
スキンモデルにおける頂点毎に各関節点に対する頂点位置ベクトルを抽出する頂点位置ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
を有することを特徴とする。
関節点毎に、関節座標系が設定されており、
装置は、
スキンモデルにおける頂点毎に各関節点に対する頂点位置ベクトルを抽出する第1のステップと、
訓練段階として、統計学習エンジンによって、教師データ群となる複数体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する第2のステップと
を実行することを特徴とする。
「スキン」 :複数の頂点からなるポリゴンメッシュ
(例えば人体を3次元スキャナで撮影した人体のポリゴンメッシュ)
「スキンモデル」 :スキンに複数の関節点を内在するモデル
「関節点」 :スキンを変形させるジョイント(例えば人体の関節)
「ボーン」 :関節点を結ぶ線分(例えば人体の骨)
「スケルトン」 :関節点同士を親子関係によってボーンで結んだ構成
(例えば人体の骨格)
「スキンウェイト」:関節点がスキンの各頂点に及ぼす影響度
「頚椎」
「中央胸」
「左肩」「左肘」「左手首」
「右肩」「右肘」「右手首」
「中央腰」
「左腰」「左膝」「左足首」
「右腰」「右膝」「右足首」
図2によれば、分析装置1は、頂点位置ベクトル抽出部11と、統計学習エンジン12とを有する。これら機能構成部は、分析装置に搭載されたコンピュータを機能させるプログラムを実行させることによって実現される。また、これら機能構成部の処理の流れは、分析方法としても理解できる。
尚、本発明が想定する関節点や骨格とは、人体の解剖学的なものではなく、あくまで動き(モーション)の際の基軸となるものに過ぎない。
頂点位置ベクトル抽出部11は、スキンモデルにおける頂点毎に各関節点に対する「頂点位置ベクトル」を抽出する。
ポリゴンメッシュの各頂点は、以下のように3次元の世界座標系を基準として表現される。世界座標系では基本的に、y軸正方向を鉛直上向き方向、x-z平面を水平面とした座標系とする。
そして、頂点の位置ベクトルと、関節点の位置ベクトルとを、以下のように表す。
関節点毎に、関節座標系を、以下のように設定する。
z軸:当該関節点を親として子関節点へ向かう方向
x軸:当該関節点の屈曲する方向
y軸:x軸及びz軸と直交する方向
尚、人体の骨格は、関節点を結ぶツリー構造として表現される。
頂点位置ベクトル抽出部11は、各関節点の回転行列Rと位置tとからなる同次座標変換行列Aを算出する。
同次座標系(homogeneous coordinate system)は、平行移動を含む全ての座標変換を行列演算とした記法である(例えば非特許文献3参照)。これは、3次元空間の位置や方向を表すベクトルを、同次座標の成分を加えた4次元ベクトルとして表現する。
各関節点の関節座標系の基底ベクトル: rx,ry,rz
(単位ベクトルで互いに直交(正規直交基底))
各関節点に対する頂点位置ベクトル :V'=VA-1
次に、スキンモデルについて、頂点毎に、影響を及ぼす1つ以上の関節点が予め設定されている。
図3によれば、ポリゴンメッシュの頂点1は、肩関節点から重み1の影響を受けているとする。ポリゴンメッシュの頂点2は、肩関節点から重み0.5の影響を受け、ヒジ関節点から重み0.5の影響を受けているとする。ポリゴンメッシュの頂点3は、ヒジ関節点から重み1の影響を受けているとする。
そして、頂点位置ベクトル抽出部11は、頂点毎に、予め設定された各関節点に対する頂点位置ベクトルを抽出する。
図4は、関節点と頂点との関係を円筒座標系で表す説明図である。
当該関節点から子関節点へ向かう方向(ボーン)の距離z
円筒中心点からの半径r
円筒中心点の径方向の角度θ
このとき、円筒中心点からの半径rは、人体モデルにおける骨格に対する「肉付き」として表現できる。
(直交座標基準)
x=rcosθ
y=rsinθ
z=z
(円筒座標基準)
r=√(x2+y2)
x=0及びy=0 : θ=0
x≧0 : arcsin(y/r)
x>0 : arctan(y/x)
x<0 : -arcsin(y/r)+π
統計学習エンジン12は、訓練段階として、以下のように機能する。
<訓練段階>
統計学習エンジン12は、教師データ群となる複数体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する。
図5(a)によれば、人体の3次元モデルは、人体毎に頂点数がN=150万あり、各頂点は3次元(x,y,z)で表現される。また、人体の3次元モデルは、関節点数D=15を有する。1体の3次元モデルは、N=150万の各頂点について、D=15の各関節点に対する頂点位置ベクトルとなる3ND(例えば3×150万×15=6750万)次元のベクトルで表現される。
図5(b)によれば、3次元モデルの人体毎に、3ND次元空間における1点で表される。
図7は、統計学習エンジンにおける主成分分析を表す簡易なコードである。
「主成分分析」によって、相関のある3ND次元空間の6000点から、互いに無相関で全体のばらつきを最もよく表す少数(例えば30次元)の主成分(成分変数)を導出する。第1主成分の分散を最大化し、続く主成分はそれまでに決定した主成分と無相関という拘束条件の下で、分散を最大化するようにして選択される。主成分の分散を最大化することによって、観測値の変化に対する説明能力を可能な限り主成分に持たせる。主成分を与える主軸は3ND次空間における6000点の群の直交基底となっている。主軸の直交性は、主軸が共分散行列の固有ベクトルになっており、共分散行列が実対称行列であることから導かれる。
本発明によれば、3ND(=5400万)次元空間における各3次元モデルを、例えば30次元(成分変数)空間に射影する。主成分を与える変換は、観測値の集合からなる行列の特異値分解で表され、3ND次元空間の6000点の群からなる矩形行列Xの特異値分解は、以下の式で表される。
X=U*Σ*VT
X:3ND次元空間の6000点からなる行列(6000行×3ND列)
U:n(6000)×n(6000)の正方行列(n次元単位ベクトルの直交行列)
Σ:n(6000)×p(3ND)の矩形対角行列(対角成分は、Xの特異値)
V:p(3ND)×p(3ND)の正方行列(p次元単位ベクトルの直交行列)
ここで、Vの最初の30列からなる行列をVと改める。そして、その行列Vによる線形変換はXの主成分を与える。
V:3ND次元空間->統計形状(30次元)空間への変換を表す行列
V-1:統計形状(30次元)空間->3N次元空間への変換を表す行列
尚、行列の上付き添え字-1は逆行列を示す記号ではなく、行列が定めるベクトルの変換に対して、その逆変換を意味する抽象的な記号として用いている。ここでは、V-1は、Vの転置VTと等しい。
s=x*V
x=s*V-1
s:統計形状空間のベクトル
x:3ND次元空間のベクトル
V:統計学習モデル
統計形状空間における原点は、教師データとして訓練した全ての人体モデルの肉付きに基づく体形の平均となる。即ち、平均となる原点から離れるほど、その点における肉付きに基づく体形は、特徴的であることを意味する。
オートエンコーダは、ニューラルネットワークの一種で、情報量を小さくした特徴表現を実現する。具体的には、入力データの次元数よりも、隠れ層の次元を圧縮したものである。入力データを、ニューラルネットワークを通して圧縮し、出力時には元のサイズに戻す。このとき、ニューラルネットワークは、入力データの抽象的概念(特徴量)を抽出する。
オートエンコーダも、主成分分析と同様に、相関のある3ND次元空間の6000点から、互いに無相関で全体のばらつきを最もよく表す30次元の成分変数を導出する。
<エンコーダとしての推定段階>
統計学習エンジン12は、推定対象となる1体のポリゴンメッシュにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力する。
成分変数は、例えば30次元ベクトルであって、推定対象となるスキンモデル(ポリゴンメッシュ+スケルトン)の「肉付きに基づく体形」の主成分となる。
<デコーダとしての推定段階>
統計学習エンジン12は、推定対象となる成分変数を入力し、1体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを出力する。
例えば推定対象となる30次元ベクトルの成分変数を入力することによって、1体の頂点位置ベクトル群を出力することができる。
従来技術によれば、スキニングでは一般に、3次元のポリゴンメッシュに合わせて骨格を作成し、その骨格を変位させることによって、ポリゴンメッシュを変形させる。即ち、3Dポリゴンメッシュ -> 骨格+重み -> 3Dポリゴンメッシュの変形、の手順をとる。また、一般的なアニメーションの用途によれば、骨格の作成と重みの設定は、作業者が手動で操作するものである。
これに対し、本発明は、関節点との関係から頂点位置ベクトルのみを抽出し、3Dポリゴンメッシュを変形させることなく、統計的に分析するものである。このような技術は、既存技術として存在しない。本発明によれば、スキニングに基づく肉付きの分解は、スキニングアルゴリズムを最後まで計算せずに、中間データとなる頂点位置ベクトルを抽出し、統計学習エンジンで訓練させたことにある。
これに対し、本発明によれば、骨格の部分空間の変換を線形にブレンドして変形する際に、骨格の部分空間に座標変換した中間データとなる頂点位置ベクトル群を「肉付き」として抽出している。これを統計的に分析することができる。統計的に推定された頂点位置ベクトル群を線形にブレンドすることによって、普通のスキニングとすることができる。
例えば衣服の場合、人のサイズ(骨格の長さ)や周径に基づいて設計されているが、その衣服が似合うような人の肉付きの体形までも考慮されたものではない。一方で、衣服を購入するユーザも、自らのサイズや周径は考慮するが、各部位の肉付きまでも考慮することは全くない。ユーザ自らの肉付きが、平均的な肉付き又は理想的な肉付きからどの程度離れたものであるか、も考慮することはない。
肉付き判定アプリケーションとして、様々な用途が想定されるが、異なる人体における肉付きに基づく体形の相違を数値的に取得することができる。肉付きに基づく体形の相違は、例えば主成分分析に基づく統計形状空間では、点間の距離として認識することができる。
関節点推定部13は、1体のポリゴンメッシュから、関節点の位置を推定する。
関節点推定部13は、関節点学習エンジンであってもよく、以下のように機能する。
(訓練段階)教師データ群の複数体のポリゴンメッシュ(説明変数)をそれぞれ入力し、関節点の位置(目的変数)を出力するように関節点学習モデルを構築する。
(推定段階)推定対象となるポリゴンメッシュ(説明変数)を入力し、関節点の位置(目的変数)を出力する。
勿論、回帰モデルのような機械学習ではなく、モーションキャプチャに基づくフレーム画像に映るマーク点に対応するメッシュ頂点を指定して、メッシュから直接に関節位置を計算したものであってもよい。
スキニング部14は、当該頂点毎の各関節点の頂点位置ベクトルから、1体のスキンモデルを再生する。
統計学習エンジン12から出力された頂点位置ベクトルを用いて、ポリゴンメッシュを変形(頂点の移動)させる。このスキニングアルゴリズム(skeleton subspace deformation、又は、linear blend skinning)は、一般なものである。そもそも、スキニングアルゴリズムは、主にアニメーションの用途に基づくものである。
このように、スキニング部14によって、人体のスキンを視覚的に認識することができる。
採寸値としては、外観から計測可能な寸法を意味する。幾何的な採寸箇所は、複数箇所であることが好ましい。人体の場合、周径(特定部位の肉付き)として、例えばトップバスト(胸囲)、アンダーバスト、ウエスト(腹囲)、ヒップ(尻囲)などがある。本発明は、頂点位置ベクトルを「肉付き」として抽出するものであるので、スキンに周径が対応付けられたものであることが好ましい。
勿論、人体の場合、長さとして、採寸値には、例えば身長、座高、股下長なども含まれる。ここで、採寸値は、例えばマルチン式人体計測法に基づくものであってもよい。
体組成値としては、例えば生体情報のような、体重、体脂肪率、内臓脂肪レベル、皮下脂肪率、基礎代謝、骨格筋率、筋肉率、BMI、活動量、歩数、血圧値、心拍(脈拍)数、体温、呼吸数、血液に関する指標値(血糖値、中性脂肪量、コレステロール量など)、消費カロリ、食事量、水分摂取量、***量、発汗量、肺活量、睡眠量などであってもよい。
相関学習エンジン15は、各3次元モデルについて、次元数nの計測値(説明変数)と、次元数mの成分変数(目的変数)と関係を相互に学習するように、相関学習モデルを構築する。
図10によれば、複数の計測値から、計測値空間を導出することができる。例えば12個の計測値が付与されている場合、計測値空間は12次元となる。
相関学習エンジン15は、最小二乗法に基づくものであってもよい。
「最小二乗法(least squares method)」とは、複数の多次元ベクトル(データの組)から線形モデルで近似する際に、残差の二乗和が最小となる最も確からしい線形モデルを決定することをいう。
s=d*A
d=s*A-1
A=(DT*D)-1*DT*S (||D*A-S||を最小化するAを導出する)
s:統計形状空間のベクトル
d:計測値空間のベクトル
S:統計形状空間のベクトルの組
D:計測値空間のベクトルの組
A:相関学習モデル
(S11)対象人体のポリゴンメッシュから、関節点推定部13によって関節点を推定し、スキンモデル(ポリゴンメッシュ+スケルトン(骨格))を生成する。
(S12)スキンモデルから、頂点位置ベクトル抽出部11によって頂点位置ベクトルを抽出する。
(S13)頂点位置ベクトルから、統計学習エンジン12によって次元数mの成分変数を推定する。
(S14)次元数mの成分変数から、相関学習エンジン15によって次元数nの計測値を推定する。
(S21)次元数nの計測値から、相関学習エンジン15によって次元数mの成分変数を推定する。
(S22)次元数mの成分変数から、統計学習エンジン12によって頂点位置ベクトルを推定する。
(S23)頂点位置ベクトルから、スキニング部14によって、所定のスケルトンに応じて変形させたスキンモデルを生成する。
11 頂点位置ベクトル抽出部
12 統計学習エンジン
13 関節点推定部
14 スキニング部
15 相関学習エンジン
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
当該関節点から子関節点へ向かう方向のボーンの円筒中心点から頂点への半径rを、ボーンに対する肉付きとして表し、頂点毎における各関節点に対する頂点位置ベクトルとして少なくとも半径rを含め、
スキンモデルの頂点毎における各関節点に対する頂点位置ベクトルを抽出する頂点位置ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルの頂点毎における各関節点に対する頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
してコンピュータを機能させることを特徴とする。
エンコーダとしての推定段階として、
統計学習エンジンは、推定対象となる1体のポリゴンメッシュにおける頂点毎における各関節点に対する頂点位置ベクトルを入力し、成分変数を出力する
ようにコンピュータを機能させることも好ましい。
デコーダとしての推定段階として、
統計学習エンジンは、推定対象となる成分変数を入力し、1体のスキンモデルの頂点毎における各関節点に対する頂点位置ベクトルを出力し、
当該頂点毎における各関節点に対する頂点位置ベクトルから、1体のスキンモデルを再生するスキニング手段と
してコンピュータを機能させることも好ましい。
関節点毎の関節座標系は、当該関節点を親として子関節点へ向かう方向をz軸とし、当該関節点の屈曲する方向をx軸とし、x軸及びz軸と直交する方向をy軸として設定される
ようにコンピュータを機能させることも好ましい。
スキンモデルは、人体モデルであり、
スケルトンは、人体の骨格であり、
ボーンは、関節点間の骨である
ようにコンピュータを機能させることも好ましい。
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
当該関節点から子関節点へ向かう方向のボーンの円筒中心点から頂点への半径rを、ボーンに対する肉付きとして表し、頂点毎における各関節点に対する頂点位置ベクトルとして少なくとも半径rを含め、
スキンモデルの頂点毎における各関節点に対する頂点位置ベクトルを抽出する頂点位置ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルの頂点毎における各関節点の頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
を有することを特徴とする。
関節点毎に、関節座標系が設定されており、
関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
当該関節点から子関節点へ向かう方向のボーンの円筒中心点から頂点への半径rを、ボーンに対する肉付きとして表し、頂点毎における各関節点に対する頂点位置ベクトルとして少なくとも半径rを含め、
装置は、
スキンモデルの頂点毎における各関節点に対する頂点位置ベクトルを抽出する第1のステップと、
訓練段階として、統計学習エンジンによって、教師データ群となる複数体のスキンモデルの頂点毎における各関節点の頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する第2のステップと
を実行することを特徴とする。
Claims (14)
- 複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置に搭載されたコンピュータを機能させるプログラムであって、
関節点毎に、関節座標系が設定されており、
スキンモデルにおける頂点毎に各関節点に対する頂点位置ベクトルを抽出する頂点位置ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
してコンピュータを機能させることを特徴とするプログラム。 - 頂点位置ベクトル抽出手段は、各関節点の回転行列Rと位置tとからなる同次座標変換行列Aを算出し、全ての頂点vの位置からなる頂点行列Vを、同次座標変換行列A-1によって関節座標系に変換した頂点行列V'を、各関節点に対する頂点位置ベクトルとして抽出する
ようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。 - 1体のポリゴンメッシュから、関節点の位置を推定する関節点推定手段と
して更にコンピュータを機能させることを特徴とする請求項1又は2に記載のプログラム。 - 関節点推定手段は、関節点学習エンジンであり、
訓練段階として、教師データ群の複数体のポリゴンメッシュをそれぞれ入力し、関節点の位置を出力するように関節点学習モデルを構築し、
推定段階として、推定対象となるポリゴンメッシュを入力し、関節点の位置を出力する
ようにコンピュータを機能させることを特徴とする請求項3に記載のプログラム。 - エンコーダとしての推定段階として、
統計学習エンジンは、推定対象となる1体のポリゴンメッシュにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力する
ようにコンピュータを機能させることを特徴とする請求項1から4のいずれか1項に記載のプログラム。 - デコーダとしての推定段階として、
統計学習エンジンは、推定対象となる成分変数を入力し、1体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを出力し、
当該頂点毎の各関節点の頂点位置ベクトルから、1体のスキンモデルを再生するスキニング手段と
してコンピュータを機能させることを特徴とする請求項1から4のいずれか1項に記載のプログラム。 - 関節点同士を親子関係によってボーンで結ぶことによってスケルトンを構成し、
関節点毎の関節座標系は、当該関節点を親として子関節点へ向かう方向をz軸とし、当該関節点の屈曲する方向をx軸とし、x軸及びz軸と直交する方向をy軸として設定される
ようにコンピュータを機能させることを特徴とする請求項1から6のいずれか1項に記載のプログラム。 - 頂点毎の各関節点に対する頂点位置ベクトルを、当該関節点から子関節点へ向かう方向の距離zと、円筒中心点からの半径rと、円筒中心点の径方向の角度θとした円筒座標で表現する
ようにコンピュータを機能させることを特徴とする請求項7に記載のプログラム。 - スキンモデルは、人体モデルであり、
スケルトンは、人体の骨格であり、
ボーンは、関節点間の骨であり、
円筒中心点からの半径rは、骨格に対する肉付きとなる
ようにコンピュータを機能させることを特徴とする請求項8に記載のプログラム。 - スキンモデルについて、頂点毎に、影響を及ぼす1つ以上の関節点が予め設定されており、
頂点位置ベクトル抽出手段は、頂点毎に、予め設定された各関節点に対する頂点位置ベクトルを抽出する
ようにコンピュータを機能させることを特徴とする請求項1から9のいずれか1項に記載のプログラム。 - 統計学習エンジンは、主成分分析(Principal Component Analysis)又はオートエンコーダ(AutoEncoder)に基づくものである
ようにコンピュータを機能させることを特徴とする請求項1から10のいずれか1項に記載のプログラム。 - 教師データ群として、スキンモデル毎に、複数の周径採寸箇所に対応する次元数nの周径採寸値が対応付けられており、
スキンモデル毎に、次元数nの周径採寸値と、統計学習エンジンによって出力された次元数mの成分変数とを対応付けて学習した相関学習モデルを構築する相関学習エンジンと
して機能させ、
相関学習エンジンを用いて、対象データとしての1体の次元数nの周径採寸値から、次元数mの成分変数へエンコードし、
相関学習エンジンを用いて、統計学習エンジンから出力された当該次元数mの成分変数から、1体の次元数nの周径採寸値へデコードする
ようにコンピュータを機能させることを特徴とする請求項1から11のいずれか1項に記載のプログラム。 - 複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置分析装置であって、
関節点毎に、関節座標系が設定されており、
スキンモデルにおける頂点毎に各関節点に対する頂点位置ベクトルを抽出する頂点位置ベクトル抽出手段と、
訓練段階として、教師データ群となる複数体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する統計学習エンジンと
を有することを特徴とする分析装置。 - 複数の頂点からなるポリゴンメッシュに複数の関節点を内在するスキンモデルを統計的に分析する装置の分析方法であって、
関節点毎に、関節座標系が設定されており、
装置は、
スキンモデルにおける頂点毎に各関節点に対する頂点位置ベクトルを抽出する第1のステップと、
訓練段階として、統計学習エンジンによって、教師データ群となる複数体のスキンモデルにおける頂点毎の各関節点の頂点位置ベクトルを入力し、成分変数を出力するように統計学習モデルを構築する第2のステップと
を実行することを特徴とする分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021205593A JP7120532B1 (ja) | 2021-12-17 | 2021-12-17 | スキンモデルから肉付きに基づく体形を統計的に分析するプログラム、装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021205593A JP7120532B1 (ja) | 2021-12-17 | 2021-12-17 | スキンモデルから肉付きに基づく体形を統計的に分析するプログラム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7120532B1 JP7120532B1 (ja) | 2022-08-17 |
JP2023090566A true JP2023090566A (ja) | 2023-06-29 |
Family
ID=82850920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021205593A Active JP7120532B1 (ja) | 2021-12-17 | 2021-12-17 | スキンモデルから肉付きに基づく体形を統計的に分析するプログラム、装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7120532B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274449B (zh) * | 2023-11-15 | 2024-02-09 | 唯物(杭州)科技有限公司 | 一种基于模型生成骨骼的方法和*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3314577A1 (en) * | 2015-06-24 | 2018-05-02 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften | Skinned multi-person linear model |
JP7519665B2 (ja) * | 2020-05-22 | 2024-07-22 | 国立大学法人 東京大学 | 皮膚情報を用いた運動特徴量の取得方法及び装置 |
-
2021
- 2021-12-17 JP JP2021205593A patent/JP7120532B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7120532B1 (ja) | 2022-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kadleček et al. | Reconstructing personalized anatomical models for physics-based body animation | |
Dekker et al. | Building symbolic information for 3D human body modeling from range data | |
Barmpoutis | Tensor body: Real-time reconstruction of the human body and avatar synthesis from RGB-D | |
CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
Dong et al. | An anatomy-based approach to human muscle modeling and deformation | |
Ballester et al. | Data-driven three-dimensional reconstruction of human bodies using a mobile phone app | |
Jiang et al. | Disentangled human body embedding based on deep hierarchical neural network | |
Huang et al. | Parametric design for human body modeling by wireframe-assisted deep learning | |
CN109636910A (zh) | 一种基于深度生成对抗网络的颅面复原方法 | |
KR20230004837A (ko) | 생성형 비선형 인간 형상 모형 | |
Kaashki et al. | Deep learning-based automated extraction of anthropometric measurements from a single 3-D scan | |
Danckaers et al. | Posture normalisation of 3D body scans | |
JP7120532B1 (ja) | スキンモデルから肉付きに基づく体形を統計的に分析するプログラム、装置及び方法 | |
CN114092634A (zh) | 经穴定位方法、装置、电子设备及存储介质 | |
JP7067709B1 (ja) | スキンモデルから骨格に基づく体長を統計的に分析するプログラム、装置及び方法 | |
Xu et al. | Modeling 3D human body with a smart vest | |
JP7141610B1 (ja) | スキンモデルから骨格に基づく姿勢を統計的に分析するプログラム、装置及び方法 | |
Laga et al. | 4d atlas: Statistical analysis of the spatiotemporal variability in longitudinal 3D shape data | |
Zhou et al. | Anthropometry model generation based on ANSUR II database | |
Komaritzan et al. | Inside humans: Creating a simple layered anatomical model from human surface scans | |
Tejeda et al. | A neural anthropometer learning from body dimensions computed on human 3D meshes | |
EP1406215A1 (en) | Method for the modeling of skeletal kinematics | |
Glascoe et al. | Relationships between rigs and humanoid and coveroid landmarks | |
Carter et al. | Physique: phenotype, somatotype and 3D scanning | |
Forrester-Sellers et al. | Classifying ancient west Mexican ceramic figures using three-dimensional modelling and machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220228 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7120532 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |