JP2022147658A - ３次元モデル生成装置、３次元モデル生成方法およびプログラム - Google Patents

３次元モデル生成装置、３次元モデル生成方法およびプログラム Download PDF

Info

Publication number
JP2022147658A
JP2022147658A JP2021048997A JP2021048997A JP2022147658A JP 2022147658 A JP2022147658 A JP 2022147658A JP 2021048997 A JP2021048997 A JP 2021048997A JP 2021048997 A JP2021048997 A JP 2021048997A JP 2022147658 A JP2022147658 A JP 2022147658A
Authority
JP
Japan
Prior art keywords
model
lower body
dimensional
upper body
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021048997A
Other languages
English (en)
Inventor
浩史 野口
Hirofumi Noguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021048997A priority Critical patent/JP2022147658A/ja
Priority to CN202280021371.0A priority patent/CN116997936A/zh
Priority to PCT/JP2022/008565 priority patent/WO2022202145A1/ja
Priority to EP22774942.1A priority patent/EP4296957A4/en
Publication of JP2022147658A publication Critical patent/JP2022147658A/ja
Priority to US18/463,331 priority patent/US20240127532A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ＶＲ空間に参加させるための全身の３次元モデルを容易に生成可能とする。【解決手段】撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成する上半身モデル生成部と、撮影画像情報に基づいて被写体の属性を解析して予め設定された複数の下半身の３次元モデルから被写体の上半身に対する下半身の３次元モデルを選択する下半身モデル選択部と、を備える。【選択図】図１

Description

本発明は、３次元モデル生成装置、３次元モデル生成方法およびプログラムに関する。
近年、仮想現実（ＶＲ：Virtual Reality）を実現したＶＲ空間を複数のユーザで共有することで、ＶＲ空間を利用した会議が増加している。このような会議では、ユーザに対応したアバターを生成し、ＶＲ空間に参加することが考えられる。複数のユーザが参加するウェブ会議は、ユーザ同士が離れた場所から端末およびネットワークを通して行われる。この場合、自分をカメラにより撮影し、自分の２次元撮影画像に基づいて３次元画像を生成し、自分の３次元画像をＶＲ空間に参加させる。このような３次元モデル生成方法としては、例えば、下記特許文献１に記載されたものがある。
特開２０１１－１１３４２１号公報
ところで、カメラで撮影した自分の２次元撮影画像に基づいて３次元画像を生成するとき、一般的に、自分の上半身の３次元画像を生成している。しかし、ＶＲ空間のようなコミュニケーション空間では、空間の臨場感を出すために、自分の全身の３次元画像を生成して会議に参加することが求められている。
本発明は、上記に鑑みてなされたものであって、ＶＲ空間に参加させるための全身の３次元モデルを容易に生成可能とすることを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る３次元モデル生成装置は、撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成する上半身モデル生成部と、前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択する下半身モデル選択部と、を備える。
本発明に係る３次元モデル生成方法は、撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成するステップと、
前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択するステップと、を含む。
本発明に係るプログラムは、撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成するステップと、
前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択するステップと、を３次元モデル生成装置として動作するコンピュータに実行させる。
本発明によれば、ＶＲ空間に参加させるための全身の３次元モデルを容易に生成することができるという効果を奏する。
図１は、第１実施形態に係る３次元モデル生成システムを表すブロック構成図である。 図２は、下半身モデルデータベースにおける男性の下半身モデルの一例を表す説明図である。 図３は、下半身モデルデータベースにおける女性の下半身モデルの一例を表す説明図である。 図４は、全身モデルの生成方法の一例を表す説明図である。 図５は、第２実施形態に係る３次元モデル生成システムを表すブロック構成図である。 図６は、下半身３次元モーションデータベースにおける下半身の３次元モーションの一例を表す説明図である。 図７は、第３実施形態に係る３次元モデル生成システムを表すブロック構成図である。 図８は、上半身モデルの正姿勢に対する下半身モデルの姿勢の一例を表す説明図である。 図９は、上半身モデルの後傾姿勢に対する下半身モデルの姿勢の一例を表す説明図である。 図１０は、上半身モデルの前傾姿勢に対する下半身モデルの姿勢の一例を表す説明図である。 図１１は、上半身モデルの頬杖姿勢に対する下半身モデルの姿勢の一例を表す説明図である。
以下に添付図面を参照して、本発明に係る３次元モデル生成装置、３次元モデル生成方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
＜第１実施形態＞
［３次元モデル生成システム］
第１実施形態では、仮想現実を実現したＶＲ空間を複数のユーザで共有する会議において、ユーザの３次元モデル（アバター）を生成する装置および方法について説明する。なお、３次元モデル生成装置および方法は、ＶＲ空間を利用した会議だけではなく、例えば、ＶＲ空間を利用した展示会、展覧会、宴会などにも適用することができる。
図１は、第１実施形態に係る３次元モデル生成システムを表すブロック構成図である。
第１実施形態において、図１に示すように、３次元モデル生成システム１０は、カメラ（撮影装置）１１と、３次元モデル生成装置１２と、表示装置１３とを備える。
カメラ１１は、ユーザ（被写体）を撮影した撮影画像情報を取得する。カメラ１１は、ユーザである自分の上半身を撮影可能である。この場合、カメラ１１は、ユーザの頭部から少なくとも腰部までの上半身を撮影することが好ましい。カメラ１１は、撮影画像情報を３次元モデル生成装置１２へ送信する。
３次元モデル生成装置１２は、カメラ１１が撮影した撮影画像情報に基づいて、ユーザの全身の３次元モデルを生成する。３次元モデル生成装置１２は、生成した全身の３次元モデル を仮想空間構成システム１４へ送信する。３次元モデル生成装置１２は、例えばＣＰＵな（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）どの演算回路を含む。３次元モデル生成装置１２の具体的な構成は後述する。
仮想空間構成システム１４は、インターネッなどのネットワークを介して複数のユーザのパーソナルコンピュータ（３次元モデル生成装置１２）に接続する。仮想空間構成システム１４は、複数のユーザのパーソナルコンピュータ（３次元モデル生成装置１２）で生成された全身の３次元モデルに基づき、ＶＲ空間の情報を生成する。仮想空間構成システム１４は、生成したＶＲ空間の情報を表示装置１３へ出力する。なお、仮想空間構成システム１４は、例えば、サーバなどである。
表示装置１３は、仮想空間構成システム１４から取得したＶＲ空間の情報をもとに、ユーザ自身から見たＶＲ空間の画像を表示する。表示装置１３は、例えばＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）や、液晶ディスプレイなどである。
下半身モデルデータベース２６は、予め設定された複数の下半身の３次元モデルが格納されている。下半身モデルデータベース２６は、３次元モデル生成装置１２の要求に基づき、所定の下半身の３次元モデルを３次元モデル生成装置１２へ出力するが、詳細は後述する。なお、下半身モデルデータベース２６は、例えば、サーバなどであり、少なくともＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置やメモリを含む。なお、仮想空間構成システム１４と下半身モデルデータベース２６とは一体の構成であってもよい。
３次元モデル生成装置１２は、上半身モデル生成部２１と、下半身モデル選択部２２と、全身モデル生成部２３とを備える。また、３次元モデル生成装置１２は、性別解析部２４と、服装解析部２５とを備える。下半身モデル選択部２２は、下半身モデルデータベース２６に接続される。
上半身モデル生成部２１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する。具体的に、カメラ１１が撮影したユーザの上半身２次元モデルに基づいて上半身の３次元モデルを生成する。上半身の３次元モデルを生成方法としては、例えば、光切断法やパターン投影法など既存の技術を利用することが好ましい。
性別解析部２４および服装解析部２５は、ユーザの属性を解析する。ここで、属性とは、ユーザの性別と服装であるが、それ以外であってもよい。性別解析部２４は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの性別を解析し、ユーザが男性であるか女性であるかを特定する。服装解析部２５は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの服装を解析し、服装の種類を特定する。なお、性別解析部２４および服装解析部２５による解析は、例えば、ＡＩ（人工知能）を用いた画像解析であり、深層学習（ディープラーニング）などの機械学習を用いればよい。但し、性別解析部２４および服装解析部２５による解析は、ＡＩを用いた画像解析に限定されるものではなく、その他の解析方法を用いてもよい。
下半身モデル選択部２２は、性別解析部２４および服装解析部２５の解析結果に基づいて下半身の３次元モデルを選択する。下半身モデルデータベース２６は、予め設定された複数の下半身の３次元モデルが格納されている。下半身モデル選択部２２は、性別解析部２４が特定したユーザの性別と服装解析部２５が特定した服装の種類に基づいて、下半身モデルデータベース２６に格納された複数の下半身の３次元モデルの中から、ユーザの性別と服装の種類に最適な同姓で同様の服装をした下半身の３次元モデルを選択する。
全身モデル生成部２３は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルと、下半身モデル選択部２２が選択したユーザの下半身の３次元モデルを合成させることで、全身の３次元モデルを生成する。なお、下半身モデル選択部２２は、色情報やテクスチャ情報を有していない。そのため、全身モデル生成部２３は、ユーザの上半身の３次元モデルと下半身の３次元モデルを合成させるとき、上半身の３次元モデルにおける色情報やテクスチャ情報に応じて下半身の３次元モデルに色情報やテクスチャ情報を付加して全身の３次元モデルを生成する。
［３次元モデル生成方法］
図２は、下半身モデルデータベースにおける男性の下半身モデルの一例を表す説明図、図３は、下半身モデルデータベースにおける女性の下半身モデルの一例を表す説明図、図４は、全身モデルの生成方法の一例を表す説明図である。
第１実施形態の３次元モデル生成方法は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成するステップと、カメラ１１の撮影画像情報に基づいてユーザの属性を解析して予め設定された複数の下半身の３次元モデルからユーザの上半身に最適な下半身の３次元モデルを選択するステップと、上半身の３次元モデルと下半身の３次元モデルを合成させて全身の３次元モデルを生成するステップとを含む。
図１に示すように、上半身モデル生成部２１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する。性別解析部２４は、ユーザの上半身の撮影画像情報に基づいてユーザの性別を解析し、服装解析部２５は、ユーザの上半身の撮影画像情報に基づいてユーザの服装を解析する。下半身モデル選択部２２は、性別解析部２４が解析したユーザの性別と服装解析部２５が解析したユーザの服装の種類に基づいて最適な下半身の３次元モデルを選択する。
図２に示すように、下半身モデルデータベース２６は、ユーザが男性であれば、（ａ）スーツのパンツ姿、（ｂ）ボタンシャツのパンツ姿などの複数の下半身の３次元モデルが格納されている。また、図３に示すように、下半身モデルデータベース２６は、ユーザが女性であれば、（ａ）パンツ姿、（ｂ）スカート姿などの複数の下半身の３次元モデルが格納されている。なお、性別として、男性と女性だけでなく、大人の男性および女性や子供の男性および女性の下半身の３次元モデルを用意したり、ユニセックスの下半身の３次元モデルを用意したりしてもよい。
図１に示すように、全身モデル生成部２３は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルと、下半身モデル選択部２２が選択したユーザの下半身の３次元モデルを合成させる。図１および図４に示すように、上半身モデル生成部２１がスーツのジャケット姿をした上半身の３次元モデル（ａ）を生成すると、下半身モデル選択部２２は、下半身モデルデータベース２６からスーツのパンツ姿をした下半身の３次元モデル（ｂ）を選択する。この場合、下半身モデル選択部２２は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルに対して最適な下半身の３次元モデルを選択する。ここで、最適な下半身の３次元モデルとは、上半身の３次元モデルに対して性別や服装の種類が類似している下半身の３次元モデルである。
全身モデル生成部２３は、上半身の３次元モデルと下半身の３次元モデルを合成させるとき、上半身の３次元モデルのウエストサイズと下半身の３次元モデルのウエストサイズとが同じになるように、下半身の３次元モデルのスケール比を調整する。また、全身モデル生成部２３は、上半身の３次元モデルの服装と下半身の３次元モデルの服装の繋がりを考慮して上下方向における結合位置を調整する。このとき、全身モデル生成部２３は、生成した全身の３次元モデルが予め決めておいた平均身長となるように、上半身の３次元モデルと下半身の３次元モデルとの結合位置を調整してもよい。さらに、全身モデル生成部２３は、上半身３次元モデルと下半身３次元モデルとの接合部分に違和感を生じさせないように、接合部分似対して平滑化処理を行う。そして、全身モデル生成部２３は、全身の３次元モデルを生成するとき、上半身の３次元モデルにおける服装の色やテクスチャに合わせて、下半身の３次元モデルに色やテクスチャを付加する。
＜第２実施形態＞
［３次元モデル生成システム］
図５は、第２実施形態に係る３次元モデル生成システムを表すブロック構成図である。
第２実施形態において、図５に示すように、３次元モデル生成システム１０Ａは、カメラ１１と、３次元モデル生成装置１２Ａと、表示装置１３とを備える。ここで、カメラ１１と表示装置１３は、第１実施形態と同様であることから、説明は省略する。
下半身モーションデータベース３７は、予め設定された複数の下半身の３次元モーションが格納されている。なお、３次元モーションとは、３次元モデルの動きを意味する。下半身モーションデータベース３７は、３次元モデル生成装置１２の要求に基づき、所定の下半身の３次元モデルを３次元モデル生成装置１２へ出力するが、詳細は後述する。なお、下半身モデルデータベース２６は、例えば、サーバなどであり、少なくともＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置やメモリを含む。なお、仮想空間構成システム１４と下半身モデルデータベース２６とは一体の構成であってもよい。
３次元モデル生成装置１２Ａは、カメラ１１が撮影した撮影画像情報に基づいて、ユーザの全身の３次元モデルを生成すると共に、全身の３次元モーションを生成する。
３次元モデル生成装置１２Ａは、上半身モデル生成部２１と、下半身モデル選択部２２と、全身モデル生成部２３と、性別解析部２４と、服装解析部２５とを備え、下半身モデル選択部２２に下半身モデルデータベース２６が接続される。また、３次元モデル生成装置１２Ａは、ヘッドトラッキング部（上半身モーション取得部）３１と、フェイストラッキング部（上半身モーション取得部）３２と、ハンドトラッキング部（上半身モーション取得部）３３と、ボーン付加部３４と、下半身モーション選択部３５と、全身モーション生成部３６とを備える。下半身モーション選択部３５は、下半身モーションデータベース３７に接続される。
上半身モデル生成部２１と下半身モデル選択部２２と全身モデル生成部２３と性別解析部２４と服装解析部２５と下半身モデルデータベース２６は、第１実施形態と同様であることから、説明は省略する。
ヘッドトラッキング部３１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの頭の位置を追跡することで、ユーザの頭の３次元モーションを取得する。フェイストラッキング部３２は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの顔の表情を追跡することで、ユーザの顔の３次元モーションを取得する。ハンドトラッキング部３３は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの手の位置を追跡することで、ユーザの手の３次元モーションを取得する。ヘッドトラッキング部３１とフェイストラッキング部３２とハンドトラッキング部３３による解析は、例えば、ＡＩを用いた画像解析であるが、その他の解析方法を用いてもよい。
ボーン付加部３４は、全身モデル生成部２３が生成したユーザの全身の３次元モデルに対して、ユーザの関節情報を付加する。ユーザの関節情報は、ユーザに応じて予め設定しておくことが好ましい。
下半身モーション選択部３５は、仮想空間構成システム１４から取得したＶＲ空間のシチュエーション情報に応じて最適な下半身の３次元モーションを選択する。ＶＲ空間のシチュエーション情報とは、ＶＲ空間の状況を示す情報である。ＶＲ空間のシチュエーション情報とは、例えば、会議と設定された情報であり、また３次元モデルが座るという状況を示す情報である。下半身モーション選択部３５は、ＶＲ空間のシチュエーション情報に基づいて、下半身モーションデータベース３７に格納された複数の下半身の３次元モーションの中から、ＶＲ空間のシチュエーション情報に最適な下半身の３次元モーションを選択する。
全身モーション生成部３６は、全身モデル生成部２３が生成してボーン付加部３４が関節情報を付加したユーザの全身の３次元モデルに対して、ヘッドトラッキング部３１が取得したユーザの頭の３次元モーションと、フェイストラッキング部３２が取得したユーザの顔の３次元モーションと、ハンドトラッキング部３３が取得したユーザの手の３次元モーションと、下半身モーション選択部３５が選択した下半身の３次元モーションとを合成させることで、全身の３次元モーションを生成する。
３次元モデル生成装置１２Ａは、ユーザの全身の３次元モデルおよび全身の３次元モーションを生成すると、生成した全身の３次元モデルおよび全身の３次元モーションを仮想空間構成システム１４に出力する。３次元モデル生成システム１０は、接続されたユーザの全身の３次元モデルおよび全身の３次元モーションに基づいてＶＲ空間を生成する。表示装置１３は、仮想空間構成システム１４が生成したＶＲ空間の情報に基づいて、ユーザ自身から見たＶＲ空間の画像を表示する。
［３次元モデル生成方法］
図６は、下半身３次元モーションデータベースにおける下半身の３次元モーションの一例を表す説明図である。
図５に示すように、上半身モデル生成部２１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する。性別解析部２４は、ユーザの上半身の撮影画像情報に基づいてユーザの性別を解析し、服装解析部２５は、ユーザの上半身の撮影画像情報に基づいてユーザの服装を解析する。下半身モデル選択部２２は、性別解析部２４が解析したユーザの性別と服装解析部２５が解析したユーザの服装の種類に基づいて最適な下半身の３次元モデルを選択する。全身モデル生成部２３は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルと、下半身モデル選択部２２が選択したユーザの下半身の３次元モデルを合成させ、全身の３次元モデルを生成する。そして、ボーン付加部３４は、全身モデル生成部２３が生成したユーザの全身の３次元モデルにユーザの関節情報を付加する。
下半身モーション選択部３５は、下半身モーションデータベース３７からＶＲ空間のシチュエーション情報に適合した下半身の３次元モーションを選択する。ＶＲ空間のシチュエーション情報に適合した下半身の３次元モーションとは、例えば、ＶＲ空間におけるユーザの姿勢（立位姿勢、座位姿勢など）に応じた下半身の３次元モーションである。例えば、図６に示すように、ユーザが座位姿勢であれば、下半身の３次元モーションは、（ａ）左足を組む姿勢、（ｂ）右足を組む姿勢、（ｃ）膝を合わせる姿勢、（ｄ）膝を開く姿勢、（ｅ）足首を交差させる姿勢、（ｆ）足をそろえる姿勢、を繰り返し行うモーションである。また、ユーザの姿勢が立位姿勢であれば、同様に、足を組む姿勢、足を閉じる姿勢、足を開く姿勢などを組み合わせて下半身の３次元モーションを構成すればよい。なお、下半身の３次元モーションを構成する姿勢の数は、６個に限るものではない。
全身モーション生成部３６は、ユーザの全身の３次元モデルに対して、頭の３次元モーションと顔の３次元モーションと手の３次元モーションを合成すると共に、下半身の３次元モーションを合成させることで、全身の３次元モーションを生成する。
＜第３実施形態＞
［３次元モデル生成システム］
図７は、第３実施形態に係る３次元モデル生成システムを表すブロック構成図である。
第３実施形態において、図７に示すように、３次元モデル生成システム１０Ｂは、カメラ１１と、３次元モデル生成装置１２Ｂと、表示装置１３とを備える。ここで、カメラ１１と表示装置１３は、第１実施形態と同様であることから、説明は省略する。
３次元モデル生成装置１２Ｂは、カメラ１１が撮影した撮影画像情報に基づいて、ユーザの全身の３次元モデルを生成すると共に、全身の３次元モーションを生成する。
３次元モデル生成装置１２Ｂは、上半身モデル生成部２１と、下半身モデル選択部２２と、全身モデル生成部２３と、性別解析部２４と、服装解析部２５とを備え、下半身モデル選択部２２に下半身モデルデータベース２６が接続される。また、３次元モデル生成装置１２Ｂは、ヘッドトラッキング部３１と、フェイストラッキング部３２と、ハンドトラッキング部３３と、ボーン付加部３４と、下半身モーション選択部３５と、全身モーション生成部３６とを備える。下半身モーション選択部３５は、下半身モーションデータベース３７に接続される。さらに、３次元モデル生成装置１２Ｂは、上半身姿勢推定部４１を備える。
上半身モデル生成部２１と下半身モデル選択部２２と全身モデル生成部２３と性別解析部２４と服装解析部２５と下半身モデルデータベース２６は、第１実施形態と同様であることから、説明は省略する。また、ヘッドトラッキング部３１とフェイストラッキング部３２とハンドトラッキング部３３とボーン付加部３４は、第２実施形態と同様であることから、説明は省略する。
上半身姿勢推定部４１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの上半身の姿勢を解析して状態を推定する。上半身姿勢推定部４１は、例えば、ユーザの正姿勢、前傾姿勢、後傾姿勢などを特定する。上半身姿勢推定部４１による解析は、例えば、ＡＩを用いた画像解析であるが、その他の解析方法を用いてもよい。
下半身モーション選択部３５は、仮想空間構成システム１４から取得したＶＲ空間のシチュエーション情報と上半身姿勢推定部４１が推定したユーザの上半身の姿勢状態に応じて最適な下半身の３次元モーションを選択する。全身モーション生成部３６は、ユーザの全身の３次元モデルに、ユーザの頭の３次元モーションと、ユーザの顔の３次元モーションと、ユーザの手の３次元モーションと、ユーザの下半身の３次元モーションとを合成させることで、全身の３次元モーションを生成する。
３次元モデル生成装置１２Ａは、ユーザの全身の３次元モデルおよび全身の３次元モーションを生成すると、生成した全身の３次元モデルおよび全身の３次元モーションを仮想空間構成システム１４に出力する。３次元モデル生成システム１０は、接続されたユーザの全身の３次元モデルおよび全身の３次元モーションに基づいてＶＲ空間を生成する。表示装置１３は、仮想空間構成システム１４が生成したＶＲ空間の情報に基づいて、ユーザ自身から見たＶＲ空間の画像を表示する。
［３次元モデル生成方法］
図８は、上半身モデルの正姿勢に対する下半身モデルの姿勢の一例を表す説明図、図９は、上半身モデルの後傾姿勢に対する下半身モデルの姿勢の一例を表す説明図、図１０は、上半身モデルの前傾姿勢に対する下半身モデルの姿勢の一例を表す説明図、図１１は、上半身モデルの頬杖姿勢に対する下半身モデルの姿勢の一例を表す説明図である。
図７に示すように、上半身モデル生成部２１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する。性別解析部２４は、ユーザの上半身の撮影画像情報に基づいてユーザの性別を解析し、服装解析部２５は、ユーザの上半身の撮影画像情報に基づいてユーザの服装を解析する。下半身モデル選択部２２は、性別解析部２４が解析したユーザの性別と服装解析部２５が解析したユーザの服装の種類に基づいて最適な下半身の３次元モデルを選択する。全身モデル生成部２３は、上半身モデル生成部２１が生成したユーザの上半身の３次元モデルと、下半身モデル選択部２２が選択したユーザの下半身の３次元モデルを合成させ、全身の３次元モデルを生成する。そして、ボーン付加部３４は、全身モデル生成部２３が生成したユーザの全身の３次元モデルにユーザの関節情報を付加する。
上半身姿勢推定部４１は、カメラ１１が撮影することで取得したユーザの上半身の撮影画像情報に基づいてユーザの上半身の姿勢を解析して状態を推定する。図８に示すように、上半身姿勢推定部４１は、ユーザの上半身が正姿勢（ａ）であったとき、正姿勢（ａ）に応じた下半身の３次元モーション（ｂ）（ｃ）を選択する。また、図９に示すように、上半身姿勢推定部４１は、ユーザの上半身が後傾姿勢（ａ）であったとき、後傾姿勢（ａ）に応じた下半身の３次元モーション（ｂ）（ｃ）を選択する。また、図１０に示すように、上半身姿勢推定部４１は、ユーザの上半身が前傾姿勢（ａ）であったとき、前傾姿勢（ａ）に応じた下半身の３次元モーション（ｂ）を選択する。また、図１１に示すように、上半身姿勢推定部４１は、ユーザの上半身が頬杖姿勢（ａ）であったとき、頬杖姿勢（ａ）に応じた下半身の３次元モーション（ｂ）を選択する。なお、下半身の３次元モーションを構成する姿勢の数は、１個または複数設定されている。
全身モーション生成部３６は、ユーザの全身の３次元モデルに対して、頭の３次元モーションと顔の３次元モーションと手の３次元モーションを合成すると共に、下半身の３次元モーションを合成させることで、全身の３次元モーションを生成する。
［実施形態の作用効果］
本実施形態では、カメラ（撮影装置）１１が取得したユーザ（被写体）の上半身の撮影画像情報に基づいて上半身の３次元モデルを生成する上半身モデル生成部２１と、撮影画像情報に基づいてユーザの属性を解析して予め設定された複数の下半身の３次元モデルからユーザの上半身に対する下半身の３次元モデルを選択する下半身モデル選択部２２とを備える。
そのため、ユーザの上半身の撮影画像情報に基づいて生成した上半身の３次元モデルに対する下半身の３次元モデルを選択する。そのため、ＶＲ空間に参加させるための全身の３次元モデルを容易に生成することができる。
本実施形態では、仮想空間の状況を示す情報に応じて選択された下半身の３次元モデルの動きを選択する下半身モーション選択部３５を備える。そのため、ユーザの全身の３次元モデルを生成すると共に、下半身の３次元モーションを生成することとなり、ＶＲ空間のようなコミュニケーション空間の臨場感を出すことができる。
本実施形態では、撮影画像情報に基づいてユーザの上半身の姿勢を解析して状態を推定する上半身姿勢推定部４１を備え、下半身モーション選択部３５は、仮想空間の状況を示す情報と上半身姿勢推定部４１が推定した上半身の姿勢とに基づき、下半身の３次元モデルの動きを選択する。そのため、上半身の３次元モーションと下半身の３次元モーションとの関連性を高めることができる。
これまで本発明に係る３次元モデル生成装置１２，１２Ａ，１２Ｂについて説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。
図示した３次元モデル生成装置１２，１２Ａ，１２Ｂの各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
３次元モデル生成装置１２，１２Ａ，１２Ｂの構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
１０，１０Ａ，１０Ｂ ３次元モデル生成システム
１１ カメラ（撮影装置）
１２，１２Ａ，１２Ｂ ３次元モデル生成装置
１３ 表示装置
２１ 上半身モデル生成部
２２ 下半身モデル選択部
２３ 全身モデル生成部
２４ 性別解析部
２５ 服装解析部
２６ 下半身モデルデータベース
３１ ヘッドトラッキング部（上半身モーション取得部）
３２ フェイストラッキング部（上半身モーション取得部）
３３ ハンドトラッキング部（上半身モーション取得部）
３４ ボーン付加部
３５ 下半身モーション選択部
３６ 全身モーション生成部
３７ 下半身モーションデータベース
４１ 上半身姿勢推定部

Claims (5)

  1. 撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成する上半身モデル生成部と、
    前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択する下半身モデル選択部と、
    を備える３次元モデル生成装置。
  2. 仮想空間の状況を示す情報に応じて前記選択された下半身の３次元モデルの動きを選択する下半身モーション選択部を備える、
    請求項１に記載の３次元モデル生成装置。
  3. 前記撮影画像情報に基づいて前記被写体の上半身の姿勢を解析して状態を推定する上半身姿勢推定部を備え、
    前記下半身モーション選択部は、前記仮想空間の状況を示す情報と前記上半身姿勢推定部が推定した上半身の姿勢との基づき、下半身の３次元モデルの動きを選択する、
    請求項２に記載の３次元モデル生成装置。
  4. 撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成するステップと、
    前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択するステップと、
    を含む３次元モデル生成方法。
  5. 撮影装置が取得した被写体の上半身の撮影画像情報に基づいて上半身３次元のモデルを生成するステップと、
    前記撮影画像情報に基づいて前記被写体の属性を解析して予め設定された複数の下半身の３次元モデルから前記被写体の上半身に対する下半身の３次元モデルを選択するステップと、
    を３次元モデル生成装置として動作するコンピュータに実行させるプログラム。
JP2021048997A 2021-03-23 2021-03-23 ３次元モデル生成装置、３次元モデル生成方法およびプログラム Pending JP2022147658A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021048997A JP2022147658A (ja) 2021-03-23 2021-03-23 ３次元モデル生成装置、３次元モデル生成方法およびプログラム
CN202280021371.0A CN116997936A (zh) 2021-03-23 2022-03-01 三维模型生成装置、三维模型生成方法以及程序
PCT/JP2022/008565 WO2022202145A1 (ja) 2021-03-23 2022-03-01 ３次元モデル生成装置、３次元モデル生成方法およびプログラム
EP22774942.1A EP4296957A4 (en) 2021-03-23 2022-03-01 THREE-DIMENSIONAL MODEL GENERATION SYSTEM, THREE-DIMENSIONAL MODEL GENERATION METHOD AND PROGRAM
US18/463,331 US20240127532A1 (en) 2021-03-23 2023-09-08 Three-dimensional model generation device, three-dimensional model generation method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021048997A JP2022147658A (ja) 2021-03-23 2021-03-23 ３次元モデル生成装置、３次元モデル生成方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2022147658A true JP2022147658A (ja) 2022-10-06

Family

ID=83395544

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021048997A Pending JP2022147658A (ja) 2021-03-23 2021-03-23 ３次元モデル生成装置、３次元モデル生成方法およびプログラム

Country Status (5)

Country Link
US (1) US20240127532A1 (ja)
EP (1) EP4296957A4 (ja)
JP (1) JP2022147658A (ja)
CN (1) CN116997936A (ja)
WO (1) WO2022202145A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011113421A (ja) 2009-11-29 2011-06-09 Emi Yasui ３次元モデリングシステム
JP2018116537A (ja) * 2017-01-19 2018-07-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6692481B1 (ja) * 2019-06-19 2020-05-13 グリー株式会社 コンピュータプログラム、情報処理方法および情報処理システム

Also Published As

Publication number Publication date
EP4296957A1 (en) 2023-12-27
EP4296957A4 (en) 2024-07-31
CN116997936A (zh) 2023-11-03
WO2022202145A1 (ja) 2022-09-29
US20240127532A1 (en) 2024-04-18

Similar Documents

Publication Publication Date Title
US12033263B2 (en) Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character
JP7504968B2 (ja) アバター表示装置、アバター生成装置及びプログラム
CA2956508C (en) Method and system for reconstructing obstructed face portions for virtual reality environment
Yu et al. Avatars for teleconsultation: Effects of avatar embodiment techniques on user perception in 3d asymmetric telepresence
KR20210011985A (ko) 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체
CN110096156A (zh) 基于2d图像的虚拟换装方法
CN110637324B (zh) 三维数据***以及三维数据处理方法
US20130173226A1 (en) Garment modeling simulation system and process
US11199711B2 (en) Enhanced reality systems
Kurillo et al. Real-time 3D avatars for tele-rehabilitation in virtual reality
CN110178158A (zh) 信息处理装置、信息处理方法和程序
CN109671141A (zh) 图像的渲染方法和装置、存储介质、电子装置
Roberts et al. withyou—an experimental end-to-end telepresence system using video-based reconstruction
WO2021261188A1 (ja) アバター生成方法、プログラム、アバター生成システム、及びアバター表示方法
Nishiyama et al. Synthesizing realistic image-based avatars by body sway analysis
Zong et al. An exploratory study of integrative approach between 3D body scanning technology and motion capture systems in the apparel industry
WO2022202145A1 (ja) ３次元モデル生成装置、３次元モデル生成方法およびプログラム
Cha et al. Mobile. Egocentric human body motion reconstruction using only eyeglasses-mounted cameras and a few body-worn inertial sensors
Kim et al. Reconstructing whole-body motions with wrist trajectories
CN114299225A (zh) 动作图像生成方法、模型构建方法、设备及存储介质
KR20210130420A (ko) 스마트 삼차원 의류 피팅 시스템 및 이를 이용한 의류 피팅 서비스 제공 방법
CN113393561B (zh) 虚拟角色的肢体动作表情包生成方法、装置及存储介质
WO2023185241A1 (zh) 数据处理方法、装置、设备以及介质
WO2024069944A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Odajima et al. Reproduction of environment reflection using extrapolation of front camera images in mobile AR

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231228