JP2020021474A - モーション合成装置及びモーション合成方法 - Google Patents

モーション合成装置及びモーション合成方法 Download PDF

Info

Publication number
JP2020021474A
JP2020021474A JP2019129806A JP2019129806A JP2020021474A JP 2020021474 A JP2020021474 A JP 2020021474A JP 2019129806 A JP2019129806 A JP 2019129806A JP 2019129806 A JP2019129806 A JP 2019129806A JP 2020021474 A JP2020021474 A JP 2020021474A
Authority
JP
Japan
Prior art keywords
motion data
motion
feature value
convolutional neural
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019129806A
Other languages
English (en)
Other versions
JP6902071B2 (ja
Inventor
クォン，ビョンジュン
Byungjun Kwon
ユ，ムンウォン
Moonwon Yu
チャン，ハンヨン
Hanyoung Jang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NCSoft Corp
Original Assignee
NCSoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NCSoft Corp filed Critical NCSoft Corp
Publication of JP2020021474A publication Critical patent/JP2020021474A/ja
Application granted granted Critical
Publication of JP6902071B2 publication Critical patent/JP6902071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

【課題】コンテンツモーションデータ及びスタイルモーションデータに基づいて合成されたモーションデータをアップデートできるモーション合成方法を提供する。【解決手段】本発明のモーション合成方法は、モーション合成装置がコンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得する動作と、モーション合成装置が獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成する動作と、モーション合成装置が合成されたモーションデータを認識し、認識した合成されたモーションデータから合成されたモーション特徴値を獲得する動作と、モーション合成装置が合成されたモーション特徴値とターゲット特徴値とを用いて損失を獲得し、獲得した損失によって合成されたモーションデータをアップデートする動作と、を含む。【選択図】図５

Description

下記の実施形態は、モーション合成装置及びモーション合成方法に係り、さらに詳細には、ターゲット特徴値と合成されたモーション特徴値を用いて損失を獲得し、前記獲得した損失によって合成されたモーションデータをアップデートするモーション合成装置及びモーション合成方法に関する。
機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）は人工知能の一分野であり、パターン認識及びコンピュータ学習理論の研究から進化した分野であり、コンピュータを学習可能にするアルゴリズム及び技術を開発する分野をいう。
機械学習は、経験的データに基づいて学習を行い、かつ予測を行って自体の性能を高めるシステムと、このためアルゴリズムを研究して構築する技術のことである。機械学習のアルゴリズムは、厳しく定められた静的なプログラム命令を施すものではなく、入力データに基づいて予測や決定を導き出すために特定のモデルを構築する方式を取る。
機械学習の核心は表現及び一般化にある。表現とは、データの評価であり、一般化とは、まだ分からないデータの処理である。これは電算学習理論分野でもある。
深層学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）は、多くの非線形変換技法の組み合わせを通じて高いレベルの抽象化を試みる機械学習アルゴリズムの集合と定義され、大きな枠組みで人間の考え方をコンピュータに教える機械学習の一分野であるといえる。
あるデータをコンピュータが聞き取れる形で表現し、これを学習に適用するために多い研究が進んでおり、このような努力の結果としてｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ、ｃｏｎｖｏｌｕｔｉｏｎａｌ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ、ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓなどの多様な深層学習技法がコンピュータビジョン、音声認識、自然語処理、音声／信号処理などの分野に適用されて最尖端の結果を示している。
韓国登録特許第１０−１５０１４０５号公報（２０１５年３月４日登録）
本発明の実施形態によれば、コンテンツモーションデータ及びスタイルモーションデータに基づいて合成されたモーションデータをアップデートできるモーション合成装置及びモーション合成方法を提供する。
また、本発明の他の実施形態によれば、学習されていない（ｕｎｔｒａｉｎｅｄ）畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて特徴値を獲得できるモーション合成装置及びモーション合成方法を提供する。
本発明の一実施形態によれば、モーション合成装置がコンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得する動作と、モーション合成装置が前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成する動作と、モーション合成装置が合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得する動作と、モーション合成装置が前記合成されたモーション特徴値と前記ターゲット特徴値とを用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートする動作とを含む。
また、前記合成されたモーションデータをアップデートする動作は、前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われる。
また、前記モーション合成装置は、学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得する。
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータである。
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含む。
また、前記スタイル特徴値を用いてスタイルロスを獲得し、前記獲得したスタイルロスに加重値を付与して前記ターゲット特徴値を生成する。
本発明の他の実施形態によれば、モーション合成装置において、前記モーション合成装置はプロセッサを備え、前記プロセッサは、コンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得し、前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成し、合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得し、前記合成されたモーション特徴値と前記ターゲット特徴値とを用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートする。
また、前記合成されたモーションデータをアップデートする動作は、前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われる。
また、前記プロセッサは、学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得する。
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータである。
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含む。
前記スタイル特徴値を用いてスタイルロスを獲得し、前記獲得したスタイルロスに加重値を付与して前記ターゲット特徴値を生成する。
本発明の一実施形態によるモーション合成装置の動作を示す図面である。 本発明の一実施形態によるモーション合成装置の構成を示す図面である。 本発明の一実施形態による第１畳み込みニューラルネットワークの構成を示す図面である。 本発明の一実施形態による第２畳み込みニューラルネットワークの構成を示す図面である。 本発明の一実施形態によるモーション合成方法を示すフローチャートである。 本発明の一実施形態によってコンテンツモーション及びスタイルモーションを用いてモーションを合成する一例を示す図面である。 本発明の一実施形態を具現するための例示的なコンピュータシステムのブロック図である。
本明細書に開示されている本発明の概念による実施形態についての特定の構造的または機能的説明は、単に本発明の概念による実施形態を説明するための目的で例示されたものであり、本発明の概念による実施形態は多様な形態で施され、本明細書に説明されている実施形態に限定されるものではない。
本発明の概念による実施形態は多様な変更を加えられ、かつ様々な形態を持つことができるため、実施形態を図面に例示して本明細書で詳細に説明する。しかし、これは本発明の概念による実施形態を特定の開示形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物、または代替物を含む。
第１または第２などの用語は、多様な構成要素を説明するときに使われうるが、前記構成要素は前記用語によって限定されてはいけない。前記用語は、一つの構成要素を他の構成要素から区別する目的でのみ使われ、例えば、本発明の概念による権利範囲から逸脱せずに、第１構成要素は第２構成要素とも名付けられ、類似しては第２構成要素も第１構成要素と名付けられてもよい。
ある構成要素が他の構成要素に「連結されて」いるか、または「接続されて」いると言及された時には、その他の構成要素に直接的に連結されているか、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解されねばならない。一方、ある構成要素が他の構成要素に「直接連結されて」いるか、または「直接接続されて」いると言及された時には、中間に他の構成要素が存在しないと理解されねばならない。構成要素との関係を説明する他の表現、すなわち、「〜との間に」と「直ぐ〜との間に」または「〜に隣り合う」と「〜に直接隣り合う」なども同様に解釈されねばならない。
本明細書で使う用語は、単に特定の実施例を説明するために使われるものであり、本発明を限定しようとする意図はない。単数の表現は文脈上明らかに表さない限り、複数の表現を含む。
本明細書で、「含む」または「持つ」などの用語は、説明された特徴、数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものが存在するということを指定するためのものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品またはこれらを組み合わせたものなどの存在または付加の可能性を予め排除しないと理解されねばならない。
異なって定義されない限り、技術的または科学的な用語を始めとしてここで使われるすべての用語は、当業者によって一般的に理解されるものと同じ意味がある。
一般的に使われる辞書に定義されているような用語は、関連技術の文脈上持つ意味と一致する意味を持つと解釈されねばならず、本明細書で明らかに定義しない限り、理想的または過度に形式的な意味に解釈されない。
以下の説明で同じ識別記号は同じ構成を意味し、不要な重複的な説明及び公知技術についての説明は略する。
本発明の実施例で「通信」、「通信網」及び「ネットワーク」は同じ意味で使われる。前記三つの用語は、ファイルをユーザ端末、他のユーザの端末及びダウンロードサーバの間で送受信できる有無線の近距離及び広域データ送受信網を意味する。
以下、添付した図面を参照して本発明の望ましい実施例を説明することによって本発明を詳細に説明する。
図１は、本発明の一実施形態によるモーション合成装置の動作を示す図面である。
図１を参照すれば、本発明の一実施形態によるモーション合成装置１００は、コンテンツモーションデータ１０１とスタイルモーションデータ１０２とを入力されて合成されたモーションデータ１０５を生成する。
コンテンツモーションデータ１０１とスタイルモーションデータ１０２とは、モーション合成装置１００にそれぞれ入力され、コンテンツモーションデータ１０１とスタイルモーションデータ１０２とは相異なるモーションデータであることが望ましい。
コンテンツモーションデータ１０１とスタイルモーションデータ１０２とは、サイズの同じモーションデータである。
コンテンツモーションデータ１０１は、アニメーションデータでありうる。
コンテンツモーションデータ１０１は、歩き、走り、ジャンプなどの動作であることが望ましいが、これに限定されるものではない。
コンテンツモーションデータ１０１は、骨の回転情報を含みうる。
コンテンツモーションデータ１０１は、骨の位置情報を含みうる。
コンテンツモーションデータ１０１は、骨の回転情報及び位置情報を含みうる。
この時、前記骨は、人体を構成する骨のうち少なくともいずれか一つに当たる。
また、前記骨は、上体または下体を構成する骨のうち少なくともいずれか一つに当たる。
また、前記骨は、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨のうち少なくともいずれか一つに当たる。
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足の骨のうち少なくともいずれか一つに当たる。
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足を構成するそれぞれの骨のうち少なくともいずれか一つに当たる。
コンテンツモーションデータ１０１は、インデックス付きデータでありうる。
コンテンツモーションデータ１０１は、骨の回転情報のインデックス付きデータでありうる。
コンテンツモーションデータ１０１は、骨の位置情報のインデックス付きデータでありうる。
コンテンツモーションデータ１０１は、骨の回転情報及び位置情報のインデックス付きデータでありうる。
コンテンツモーションデータ１０１は、骨の回転情報によって分類されたデータでありうる。
コンテンツモーションデータ１０１は、骨の位置情報によって分類されたデータでありうる。
コンテンツモーションデータ１０１は、骨の回転情報及び位置情報によって分類されたデータでありうる。
コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって分類されたデータでありうる。
コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって分類されたデータでありうる。
コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって分類されたデータでありうる。
スタイルモーションデータ１０２は、アニメーションデータでありうる。
スタイルモーションデータ１０２は、コンテンツモーションデータ１０１が合成されうるモーション（例えば、ゲーム内のキャラクタ、鉄砲を持っている人、２本の刀を持っている人、オーク、ゾンビなど）を表現したデータであることが望ましい。
スタイルモーションデータ１０２は、骨の回転情報を含みうる。
スタイルモーションデータ１０２は、骨の位置情報を含みうる。
スタイルモーションデータ１０２は、骨の回転情報及び位置情報を含みうる。
この時、前記骨は、人体を構成する骨のうち少なくともいずれか一つに当たる。
また、前記骨は、上体または下体を構成する骨のうち少なくともいずれか一つに当たる。
また、前記骨は、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨のうち少なくともいずれか一つに当たる。
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足の骨のうち少なくともいずれか一つに当たる。
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足を構成するそれぞれの骨のうち少なくともいずれか一つに当たる。
スタイルモーションデータ１０２は、インデックス付きデータでありうる。
スタイルモーションデータ１０２は、骨の回転情報のインデックス付きデータでありうる。
スタイルモーションデータ１０２は、骨の位置情報のインデックス付きデータでありうる。
スタイルモーションデータ１０２は、骨の回転情報及び位置情報のインデックス付きデータでありうる。
スタイルモーションデータ１０２は、骨の回転情報によって分類されたデータでありうる。
スタイルモーションデータ１０２は、骨の位置情報によって分類されたデータでありうる。
スタイルモーションデータ１０２は、骨の回転情報及び位置情報によって分類されたデータでありうる。
スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって分類されたデータでありうる。
スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって分類されたデータでありうる。
スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって分類されたデータでありうる。
図２は、本発明の一実施形態によるモーション合成装置の構成を示す図面であり、図３は、本発明の一実施形態による第１畳み込みニューラルネットワークの構成を示す図面である。
図２を参照すれば、本発明の一実施形態によるモーション合成装置１００は、第１畳み込みニューラルネットワーク１１０と、ターゲット特性値生成モジュール１２０と、第２畳み込みニューラルネットワーク１３０と、損失生成モジュール１４０とを備える。
図２及び図３を参照すれば、第１畳み込みニューラルネットワーク１１０は、６個のサブ畳み込みニューラルネットワークを含む。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって学習されていない（ｕｎｔｒａｉｎｅｄ）畳み込みニューラルネットワークでありうる。
第１畳み込みニューラルネットワーク１１０は、コンテンツモーションデータ１０１を獲得する。
この時、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって人体を構成する骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって上体または下体を構成する骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって人体を構成する骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
また、コンテンツモーションデータ１０１は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
第１畳み込みニューラルネットワーク１１０は、コンテンツモーションデータ１０１によってコンテンツ特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１によってコンテンツ特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１によってコンテンツ特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１によってコンテンツ特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、複数のサブ畳み込みニューラルネットワークを含む。
第１畳み込みニューラルネットワーク１１０は、人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークを含む。
第１畳み込みニューラルネットワーク１１０は、上体または下体に対応する２個のサブ畳み込みニューラルネットワークを含む。
第１畳み込みニューラルネットワーク１１０は、人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークを含む。
第１畳み込みニューラルネットワーク１１０は、頭と、脊椎と、左腕と、右腕と、左足と、右足とに対応する６個のサブ畳み込みニューラルネットワークを含む。
第１畳み込みニューラルネットワーク１１０は、コンテンツモーションデータ１０１と前記サブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたコンテンツモーションデータ１０１と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって頭に分類されたコンテンツモーションデータ１０１を第１サブ畳み込みニューラルネットワーク１１１とマッチングする。
第１サブ畳み込みニューラルネットワーク１１１は、本発明の一実施形態によってマッチングされた、頭に分類されたコンテンツモーションデータ１０１から頭特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって脊椎に分類されたコンテンツモーションデータ１０１を第２サブ畳み込みニューラルネットワーク１１２とマッチングする。
第２サブ畳み込みニューラルネットワーク１１２は、本発明の一実施形態によってマッチングされた、脊椎に分類されたコンテンツモーションデータ１０１から脊椎特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって左腕に分類されたコンテンツモーションデータ１０１を第３サブ畳み込みニューラルネットワーク１１３とマッチングする。
第３サブ畳み込みニューラルネットワーク１１３は、本発明の一実施形態によってマッチングされた、左腕に分類されたコンテンツモーションデータ１０１から左腕特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって右腕に分類されたコンテンツモーションデータ１０１を第４サブ畳み込みニューラルネットワーク１１４とマッチングする。
第４サブ畳み込みニューラルネットワーク１１４は、本発明の一実施形態によってマッチングされた、右腕に分類されたコンテンツモーションデータ１０１から右腕特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって左足に分類されたコンテンツモーションデータ１０１を第５サブ畳み込みニューラルネットワーク１１５とマッチングする。
第５サブ畳み込みニューラルネットワーク１１５は、本発明の一実施形態によってマッチングされた、左足に分類されたコンテンツモーションデータ１０１から左足特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって右足に分類されたコンテンツモーションデータ１０１を第６サブ畳み込みニューラルネットワーク１１６とマッチングする。
第６サブ畳み込みニューラルネットワーク１１６は、本発明の一実施形態によってマッチングされた、右足に分類されたコンテンツモーションデータ１０１から右足特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、頭特徴値と、脊椎特徴値と、左腕特徴値と、右腕特徴値と、左足特徴値と、右足特徴値とを用いてコンテンツ特徴値１０３を獲得する。
第１畳み込みニューラルネットワーク１１０が獲得したコンテンツ特徴値１０３を、コンテンツ特徴マップといえる。
第１畳み込みニューラルネットワーク１１０が獲得したコンテンツ特徴値１０３を、コンテンツベクトルといえる。
第１畳み込みニューラルネットワーク１１０が獲得したコンテンツ特徴値１０３の配列を、コンテンツベクトルといえる。
第１畳み込みニューラルネットワーク１１０は、スタイルモーションデータ１０２を獲得する。
この時、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって人体を構成する骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって上体または下体を構成する骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって人体を構成する骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
また、スタイルモーションデータ１０２は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
第１畳み込みニューラルネットワーク１１０は、スタイルモーションデータ１０２によってスタイル特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２によってスタイル特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２によってスタイル特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２によってスタイル特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、スタイルモーションデータ１０２と前記サブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
第１畳み込みニューラルネットワーク１１０は、インデックス付き骨の回転情報及び位置情報によって分類されたスタイルモーションデータ１０２と、第１畳み込みニューラルネットワーク１１０に含まれている前記６個のサブ畳み込みニューラルネットワーク１１１、１１２、１１３、１１４、１１５、１１６とをマッチングする。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって頭に分類されたスタイルモーションデータ１０２を第１サブ畳み込みニューラルネットワーク１１１とマッチングする。
第１サブ畳み込みニューラルネットワーク１１１は、本発明の一実施形態によってマッチングされた、頭に分類されたスタイルモーションデータ１０２から頭特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって脊椎に分類されたスタイルモーションデータ１０２を第２サブ畳み込みニューラルネットワーク１１２とマッチングする。
第２サブ畳み込みニューラルネットワーク１１２は、本発明の一実施形態によってマッチングされた、脊椎に分類されたスタイルモーションデータ１０２から脊椎特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって左腕に分類されたスタイルモーションデータ１０２を第３サブ畳み込みニューラルネットワーク１１３とマッチングする。
第３サブ畳み込みニューラルネットワーク１１３は、本発明の一実施形態によってマッチングされた、左腕に分類されたスタイルモーションデータ１０２から左腕特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって右腕に分類されたスタイルモーションデータ１０２を第４サブ畳み込みニューラルネットワーク１１４とマッチングする。
第４サブ畳み込みニューラルネットワーク１１４は、本発明の一実施形態によってマッチングされた、右腕に分類されたスタイルモーションデータ１０２から右腕特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって左足に分類されたスタイルモーションデータ１０２を第５サブ畳み込みニューラルネットワーク１１５とマッチングする。
第５サブ畳み込みニューラルネットワーク１１５は、本発明の一実施形態によってマッチングされた、左足に分類されたスタイルモーションデータ１０２から左足特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、本発明の一実施形態によって右足に分類されたスタイルモーションデータ１０２を第６サブ畳み込みニューラルネットワーク１１６とマッチングする。
第６サブ畳み込みニューラルネットワーク１１６は、本発明の一実施形態によってマッチングされた、右足に分類されたスタイルモーションデータ１０２から右足特徴値を獲得する。
第１畳み込みニューラルネットワーク１１０は、頭特徴値と、脊椎特徴値と、左腕特徴値と、右腕特徴値と、左足特徴値と、右足特徴値とを用いてスタイル特徴値１０４を獲得する。
第１畳み込みニューラルネットワーク１１０が獲得したスタイル特徴値１０４を、スタイル特徴マップといえる。
第１畳み込みニューラルネットワーク１１０が獲得したスタイル特徴値１０４を、スタイルベクトルといえる。
第１畳み込みニューラルネットワーク１１０が獲得したスタイル特徴値１０４の配列を、スタイルベクトルといえる。
ターゲット特性値生成モジュール１２０は、第１畳み込みニューラルネットワーク１１０が獲得した前記コンテンツ特徴値１０３及び前記スタイル特徴値１０４を用いてターゲット特徴値を生成する。
ターゲット特性値生成モジュール１２０は、下記の数式１を用いて前記ターゲット特徴値に当たるＦ（ｔ）を生成する。
（数式１）
ここで、ａはユーザ定義のウェイトベクトルであり、Ｇｒａｍ＝（FT・F）/ｎである。また、ｉはインデックスを意味し、身体部分（例えば、頭、脊椎、左腕、右腕、左足、右足）別にそれぞれ異なるｉ値がインデックス付きになる。
前記数式１における
の部分は、コンテンツ損失である。前記コンテンツ損失は、ターゲット特徴値とコンテンツ特徴値との差を示す。
前記コンテンツ損失は、身体部分別に変わりうる。
前記コンテンツ損失は、前記それぞれ異なるｉ値がインデックス付きになっている身体部分別に変わりうる。
前記コンテンツ損失におけるＭＳＥは、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）を示す。
前記数式１における
の部分は、加重されたスタイル損失である。前記加重されたスタイル損失は、ターゲット特徴値とスタイル特徴値との差を示す。
前記加重されたスタイル損失は、身体部分別に変わりうる。
前記加重されたスタイル損失は、前記それぞれ異なるｉ値がインデックス付きになっている身体部分別に変わりうる。
前記加重されたスタイル損失でＭＳＥは、平均二乗誤差を示す。
加重値ａｉは、前記それぞれ異なるｉ値がインデックス付きになっている身体部分別に相異なって付与される。よって、前記身体部分別に付与された加重値ａｉを修正して前記身体部分別に加重されたスタイル損失を修正する。
前記ターゲット特徴値に前記加重されたスタイル損失の反映される程度は、前記加重値ａｉによって調整される。
前記加重値ａｉによって前記スタイル特徴値がターゲット特徴値に反映される程度を調整する。
前記加重値ａｉを用いて前記スタイル特徴値がターゲット特徴値に反映される程度を調整して、合成されたモーションデータを修正できる。
すなわち、前記加重値ａｉが修正されれば、身体部分別に加重されたスタイル損失が修正される。
そして、前記身体部分別に加重されたスタイル損失が修正されれば、前記修正された身体部分別に加重されたスタイル損失によって前記身体部分別の前記ターゲット特徴値が修正される。
そして、前記身体部分別の前記ターゲット特徴値が修正されれば、前記修正された身体部分別の前記ターゲット特徴値を用いてアップデートされる、合成されたモーションデータが前記身体部分別に修正される。
前記数式１で、前記コンテンツ損失と前記加重されたスタイル損失とを加えた値からエラーを最小化するためのベクトルを生成するために、ａｒｇｍｉｎが用いられる。
ターゲット特性値生成モジュール１２０が生成したターゲット特徴値は、ベクトルでありうる。
図４は、本発明の一実施形態による第２畳み込みニューラルネットワークの構成を示す図面である。
図２及び図４を再び参照すれば、第２畳み込みニューラルネットワーク１３０は、６個のサブ畳み込みニューラルネットワークを含む。
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって学習されていな畳み込みニューラルネットワークでありうる。
第２畳み込みニューラルネットワーク１３０は、合成されたモーションデータ１０５を獲得する。
合成されたモーションデータ１０５は、アニメーションデータでありうる。
合成されたモーションデータ１０５は、コンテンツモーションデータ１０１と同じサイズのノイズデータでありうる。
合成されたモーションデータ１０５は、コンテンツモーションデータ１０１と同じサイズのモーションデータでありうる。
合成されたモーションデータ１０５は、スタイルモーションデータ１０２と同じサイズのノイズデータでありうる。
合成されたモーションデータ１０５は、スタイルモーションデータ１０２と同じサイズのモーションデータでありうる。
合成されたモーションデータ１０５は、骨の回転情報を含みうる。
合成されたモーションデータ１０５は、骨の位置情報を含みうる。
合成されたモーションデータ１０５は、骨の回転情報及び位置情報を含みうる。
この時、前記骨は、人体を構成する骨のうち少なくともいずれか一つに当たる。
また、前記骨は、上体または下体を構成する骨のうち少なくともいずれか一つに当たる。
また、前記骨は、必要（例えば、合成されるモーション）に応じて任意に分類した部分の骨のうち少なくともいずれか一つに当たる。
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足の骨のうち少なくともいずれか一つに当たる。
また、前記骨は、頭、脊椎、左腕、右腕、左足、及び右足を構成するそれぞれの骨のうち少なくともいずれか一つに当たる。
合成されたモーションデータ１０５は、インデックス付きデータでありうる。
合成されたモーションデータ１０５は、骨の回転情報のインデックス付きデータでありうる。
合成されたモーションデータ１０５は、骨の位置情報のインデックス付きデータでありうる。
合成されたモーションデータ１０５は、骨の回転情報及び位置情報のインデックス付きデータでありうる。
合成されたモーションデータ１０５は、骨の回転情報によって分類されたデータでありうる。
合成されたモーションデータ１０５は、骨の位置転情報によって分類されたデータでありうる。
合成されたモーションデータ１０５は、骨の回転情報及び位置情報によって分類されたデータでありうる。
合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって分類されたデータでありうる。
合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって分類されたデータでありうる。
合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって分類されたデータでありうる。
第２畳み込みニューラルネットワーク１３０は、合成されたモーションデータ１０５を獲得する。
この時、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって人体を構成する骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって上体または下体を構成する骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって人体を構成する骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって、人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって人体を構成する骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって上体または下体を構成する骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって、人体を構成する骨が、必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の骨に分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とに分類されたデータでありうる。
また、合成されたモーションデータ１０５は、インデックス付き骨の回転情報及び位置情報によって頭と、脊椎と、左腕と、右腕と、左足と、右足とを構成するそれぞれの骨に分類されたデータでありうる。
第２畳み込みニューラルネットワーク１３０は、合成されたモーションデータ１０５によって合成されたモーション特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５によって合成されたモーション特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５によって合成されたモーション特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５によって合成されたモーション特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、複数のサブ畳み込みニューラルネットワークを含む。
第２畳み込みニューラルネットワーク１３０は、人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークを含む。
第２畳み込みニューラルネットワーク１３０は、上体または下体に対応する２個のサブ畳み込みニューラルネットワークを含む。
第２畳み込みニューラルネットワーク１３０は、人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークを含む。
第２畳み込みニューラルネットワーク１３０は、頭と、脊椎と、左腕と、右腕と、左足と、右足とに対応する６個のサブ畳み込みニューラルネットワークを含む。
第２畳み込みニューラルネットワーク１３０は、合成されたモーションデータ１０５と前記サブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を構成する骨の数と同数のサブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記上体または下体に対応する２個のサブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記人体を必要（例えば、合成されるモーション）に応じて任意に分類した部分の数に対応するサブ畳み込みニューラルネットワークとをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記６個のサブ畳み込みニューラルネットワーク１３１、１３２、１３３、１３４、１３５、１３６とをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記６個のサブ畳み込みニューラルネットワーク１３１、１３２、１３３、１３４、１３５、１３６とをマッチングする。
第２畳み込みニューラルネットワーク１３０は、インデックス付き骨の回転情報及び位置情報によって分類された、合成されたモーションデータ１０５と、第２畳み込みニューラルネットワーク１３０に含まれている前記６個のサブ畳み込みニューラルネットワーク１３１、１３２、１３３、１３４、１３５、１３６とをマッチングする。
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された頭に分類された、合成されたモーションデータ１０５を、第１サブ畳み込みニューラルネットワーク１３１とマッチングする。
第１サブ畳み込みニューラルネットワーク１３１は、本発明の一実施形態によってマッチングされた、合成された頭に分類された合成されたモーションデータ１０５から、合成された頭特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された脊椎に分類された、合成されたモーションデータ１０５を、第２サブ畳み込みニューラルネットワーク１３２とマッチングする。
第２サブ畳み込みニューラルネットワーク１３２は、本発明の一実施形態によってマッチングされた、合成された脊椎に分類された合成されたモーションデータ１０５から、合成された脊椎特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された左腕に分類された、合成されたモーションデータ１０５を、第３サブ畳み込みニューラルネットワーク１３３とマッチングする。
第３サブ畳み込みニューラルネットワーク１３３は、本発明の一実施形態によってマッチングされた、合成された左腕に分類された合成されたモーションデータ１０５から、合成された左腕特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された右腕に分類された、合成されたモーションデータ１０５を、第４サブ畳み込みニューラルネットワーク１３４とマッチングする。
第４サブ畳み込みニューラルネットワーク１３４は、本発明の一実施形態によってマッチングされた、合成された右腕に分類された合成されたモーションデータ１０５から、合成された右腕特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された左足に分類された、合成されたモーションデータ１０５を、第５サブ畳み込みニューラルネットワーク１３５とマッチングする。
第５サブ畳み込みニューラルネットワーク１３５は、本発明の一実施形態によってマッチングされた、合成された左足に分類された合成されたモーションデータ１０５から、合成された左足特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、本発明の一実施形態によって合成された右足に分類された、合成されたモーションデータ１０５を、第６サブ畳み込みニューラルネットワーク１３６とマッチングする。
第６サブ畳み込みニューラルネットワーク１３６は、本発明の一実施形態によってマッチングされた、合成された右足に分類された合成されたモーションデータ１０５から、合成された右足特徴値を獲得する。
第２畳み込みニューラルネットワーク１３０は、合成された頭特徴値と、合成された脊椎特徴値と、合成された左腕特徴値と、合成された右腕特徴値と、合成された左足特徴値と、合成された右足特徴値とを用いて、合成されたモーション特徴値１０６を獲得する。
本発明の他の実施形態によって、第２畳み込みニューラルネットワーク１３０に含まれているサブ畳み込みニューラルネットワーク（図示せず）の数は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５によって人体を構成する骨の数と同一でありうる。
本発明のさらに他の実施形態によって、第２畳み込みニューラルネットワーク１３０に含まれているサブ畳み込みニューラルネットワーク（図示せず）の数は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５によって上体及び下体に対応する２個でありうる。
本発明のさらに他の実施形態によって、第２畳み込みニューラルネットワーク１３０に含まれているサブ畳み込みニューラルネットワーク（図示せず）の数は、インデックス付き骨の回転情報によって分類された、合成されたモーションデータ１０５によって、人体を構成する骨を必要（例えば、合成されるモーション）に応じて前記人体を任意に分類した部分の数に対応する。
第２畳み込みニューラルネットワーク１３０が獲得した合成されたモーション特徴値１０６を、合成されたモーション特徴マップといえる。
第２畳み込みニューラルネットワーク１３０が獲得した合成されたモーション特徴値１０６を、合成されたモーションベクトルといえる。
第２畳み込みニューラルネットワーク１３０が獲得した合成されたモーション特徴値１０６の配列を、合成されたモーションベクトルといえる。
本発明の他の実施形態によって、第１畳み込みニューラルネットワーク１１０及び第２畳み込みニューラルネットワーク１３０を一つの畳み込みニューラルネットワークに具現してもよい。
損失生成モジュール１４０は、合成されたモーション特徴値１０６と前記ターゲット特徴値とを用いて損失を獲得する。
損失生成モジュール１４０は、下記の数式２を用いて損失を獲得する。
（数式２） ｌｏｓｓ＝ＭＳＥ（Ｆ（ｓｙｎ）‐Ｆ（ｔ））
前記の数式２を用いて損失生成モジュール１４０は、前記合成されたモーション特徴値と前記ターゲット特徴値との差が最小である損失を獲得する。
前記の数式２におけるＭＳＥは、平均二乗誤差を示す。
損失生成モジュール１４０は、前記獲得した損失によって前記合成されたモーションデータを繰り返してアップデートする。
損失生成モジュール１４０は、バック・プロパゲーションアルゴリズムを用いて前記合成されたモーションデータを繰り返してアップデートする。
損失生成モジュール１４０は、バック・プロパゲーションアルゴリズムを用いて、前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまで前記合成されたモーションデータを繰り返してアップデートする。
図５は、本発明の一実施形態によるモーション合成方法を示すフローチャートである。
図５を参照すれば、モーション合成装置が、コンテンツモーションデータ及びスタイルモーションデータを認識する（ステップ５００）。
この時、前記コンテンツモーションデータ及びスタイルモーションデータは、アニメーションデータでありうる。
また、前記コンテンツモーションデータ及び前記スタイルモーションデータは、インデックス付き骨の回転情報によって分類されたデータでありうる。
モーション合成装置が、コンテンツ特徴値及びスタイル特徴値を獲得する（ステップ５１０）。
この時、モーション合成装置は、頭特徴値と、脊椎特徴値と、左腕特徴値と、右腕特徴値と、左足特徴値と、右足特徴値とを用いて前記コンテンツ特徴値または前記スタイル特徴値を獲得する。
モーション合成装置は、ターゲット特徴値を生成する（ステップ５２０）。
この時、モーション合成装置は、ターゲット特徴値とコンテンツ特徴値との差と、ターゲット特徴値とスタイル特徴値との差とを用いてターゲット特徴値を生成する。
モーション合成装置が合成されたモーションデータを認識する（ステップ５３０）。
この時、前記合成されたモーションデータは、アニメーションデータでありうる。
また、前記合成されたモーションデータは、インデックス付き骨の回転情報によって分類されたデータでありうる。
モーション合成装置が合成されたモーション特徴値を獲得する（ステップ５４０）。
この時、モーション合成装置は、頭特徴値と、脊椎特徴値と、左腕特徴値と、右腕特徴値と、左足特徴値と、右足特徴値とを用いて前記合成されたモーション特徴値を獲得する。
モーション合成装置が、合成されたモーション特徴値と前記ターゲット特徴値とを用いて損失を獲得する（ステップ５５０）。
この時、モーション合成装置は、前記合成されたモーション特徴値と前記ターゲット特徴値との差を用いて損失を獲得する。
モーション合成装置は、獲得した損失によって前記合成されたモーションデータを繰り返してアップデートする（ステップ５６０）。
この時、モーション合成装置は、バック・プロパゲーションアルゴリズムを用いて、前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまで前記合成されたモーションデータを繰り返してアップデートする。
図６は、本発明の一実施形態によってコンテンツモーション及びスタイルモーションを用いてモーションを合成する一例を示す図面である。
図６の（ａ）を参照すれば、本発明の一実施形態によって、コンテンツモーションデータは、人間が走るモーションを示すアニメーションデータである。
図６の（ｂ）を参照すれば、本発明の一実施形態によって、スタイルモーションデータは、前記コンテンツモーションデータ（図６の（ａ））が合成されるように創造されたキャラクタが上体を少し下げているモーションを示すアニメーションデータである。
図６の（ｃ）を参照すれば、本発明の一実施形態によって、合成されたモーションデータは、人間が走るモーションを示す前記コンテンツモーションデータ（図６の（ａ））と、創造されたキャラクタが上体を少し下げているモーションを示す前記スタイルモーションデータ（図６の（ｂ））とが合成されたモーションを示すアニメーションデータになる。
すなわち、合成されたモーションデータは、創造されたキャラクタが上体をちょっと下げて走るモーションを示すアニメーションデータになる。
図７は、本発明の一実施形態を具現するための例示的なコンピュータシステムのブロック図である。
図７を参照すれば、本発明の一実施形態を具現するための例示的なコンピュータシステムは、情報を交換するためのバスまたは他のコミュニケーションチャネル７０１を備え、プロセッサ７０２は、情報を処理するためにバス７０１と連結される。
コンピュータシステム７００は、情報及びプロセッサ７０２によって処理される命令を保存するために、バス７０１と連結されたＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、または他の動的保存装置であるメインメモリ７０３を備える。
また、メインメモリ７０３は、プロセッサ７０２による命令の実行中に臨時変数または他の中間情報を保存するために使われる。
コンピュータシステム７００は、プロセッサ７０２に関する静的な情報または命令を保存するために、バス７０１に結合されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び他の静的保存装置７０４を備える。
マグネチックディスク、ジップまたは光ディスクなどのデータ保存装置７０５及びそれに対応するドライブも、情報及び命令を保存するためにコンピュータシステム７００に連結される。
コンピュータシステム７００は、エンドユーザに情報をディスプレイするために、バス７０１を通じて陰極線管またはＬＣＤなどのディスプレイ装置７１０と連結される。
キーボード７２０などの文字入力装置は、プロセッサ７０２に情報及び命令を伝達するためにバス７０１に連結される。
他の類型のユーザ入力装置は、方向情報及び命令選択をプロセッサ７０２に伝達し、ディスプレイ７１０上のカーソルの動きを制御するためのマウス、トラックボールまたはカーソル方向キーなどのカーソルコントロールデバイス７３０である。
通信装置７４０もバス７０１と連結される。
通信装置７４０は、地域ネットワークまたは広域網への接続をサポートするために、モデム、ネットワークインターフェースカード、イーサネット（登録商標）、トークンリングまたは他の類型の物理的結合物と連結するために使われるインターフェース装置を備える。
このような方式でコンピュータシステム７００は、インターネットのような従来のネットワークインフラストラクチャを通じて複数のクライアント及びサーバと連結される。
以上、本発明の実施形態を構成するすべての構成要素が一つに結合されるか、または結合されて動作すると説明されたとしても、本発明が必ずこれらの実施形態に限定されるものではない。すなわち、本発明の目的範囲内では、そのすべての構成要素の少なくとも一つが選択的に結合して動作してもよい。
また、そのすべての構成要素がそれぞれ一つの独立的なハードウェアに具現されてもよいが、それぞれの構成要素の一部または全部が選択的に組み合わせられて、一つまたは複数のハードウェアで組み合わせられた一部または全部の機能を実行するプログラムモジュールを持つコンピュータ・プログラムとして具現されてもよい。そのコンピュータ・プログラムを構成するコード及びコードセグメントは当業者によって容易に推論される。
このようなコンピュータ・プログラムは、コンピュータで読み取り可能な記録媒体に保存されてコンピュータによって読み取られて実行されることによって、本発明の実施形態を具現できる。コンピュータ・プログラムの記録媒体としては磁気記録媒体、光記録媒体などがある。
また、以上で記載した「含む」、「構成する」、または「持つ」などの用語は、特に逆の記載がない限り、該構成要素が内在していると意味するため、他の構成要素を除くものではなく他の構成要素をさらに含むと解釈されねばならない。
技術的や科学的な用語を含むすべての用語は、異なって定義されない限り、当業者によって一般的に理解されるものと同じ意味を持つ。辞書に定義されている用語のように一般的に使われる用語は、関連技術の文脈上の意味と一致すると解釈されねばならず、本発明で明らかに定義しない限り、理想的や過度に形式的な意味と解釈されない。
以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、当業者ならば本発明の本質的な特性から逸脱しない範囲で多様な修正及び変形が可能であろう。
よって、本発明に開示された実施形態は本発明の技術思想を限定するためのものではなく説明するためのものであり、これらの実施形態によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は下記の特許請求の範囲によって解釈されねばならず、それと同等な範囲内にあるすべての技術思想は本発明の権利範囲に含まれていると解釈されねばならない。
１００ モーション合成装置
１１０ 第１畳み込みニューラルネットワーク
１２０ ターゲット特徴値生成モジュール
１３０ 第２畳み込みニューラルネットワーク
１４０ 損失生成モジュール

Claims (12)

  1. モーション合成装置がコンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得する動作と、
    モーション合成装置が前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成する動作と、
    モーション合成装置が合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得する動作と、
    モーション合成装置が前記合成されたモーション特徴値及び前記ターゲット特徴値を用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートする動作と、
    を含むことを特徴とするモーション合成方法。
  2. 前記合成されたモーションデータをアップデートする動作は、
    前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われることを特徴とする請求項１に記載のモーション合成方法。
  3. 前記モーション合成装置は、学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得することを特徴とする請求項１に記載のモーション合成方法。
  4. 前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータであることを特徴とする請求項１に記載のモーション合成方法。
  5. 前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含むことを特徴とする請求項１に記載のモーション合成方法。
  6. 前記スタイル特徴値を用いてスタイル損失を獲得し、前記獲得したスタイル損失に加重値を付与して前記ターゲット特徴値を生成することを特徴とする請求項１に記載のモーション合成方法。
  7. モーション合成装置において、
    前記モーション合成装置は、プロセッサを備え、
    前記プロセッサは、
    コンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得し、
    前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成し、
    合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得し、
    前記合成されたモーション特徴値及び前記ターゲット特徴値を用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートすることを特徴とするモーション合成装置。
  8. 前記合成されたモーションデータをアップデートする動作は、
    前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われることを特徴とする請求項７に記載のモーション合成装置。
  9. 前記プロセッサは、
    学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得することを特徴とする請求項７に記載のモーション合成装置。
  10. 前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータであることを特徴とする請求項７に記載のモーション合成装置。
  11. 前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含むことを特徴とする請求項７に記載のモーション合成装置。
  12. 前記スタイル特徴値を用いてスタイル損失を獲得し、前記獲得したスタイル損失に加重値を付与して前記ターゲット特徴値を生成することを特徴とする請求項７に記載のモーション合成装置。
JP2019129806A 2018-07-30 2019-07-12 モーション合成装置及びモーション合成方法 Active JP6902071B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180088621A KR102543650B1 (ko) 2018-07-30 2018-07-30 모션 합성 장치 및 모션 합성 방법
KR10-2018-0088621 2018-07-30

Publications (2)

Publication Number Publication Date
JP2020021474A true JP2020021474A (ja) 2020-02-06
JP6902071B2 JP6902071B2 (ja) 2021-07-14

Family

ID=67438993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019129806A Active JP6902071B2 (ja) 2018-07-30 2019-07-12 モーション合成装置及びモーション合成方法

Country Status (5)

Country Link
US (1) US10957087B2 (ja)
EP (1) EP3605389A1 (ja)
JP (1) JP6902071B2 (ja)
KR (1) KR102543650B1 (ja)
CN (1) CN110782478B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022518970A (ja) * 2019-03-15 2022-03-17 株式会社ソニー・インタラクティブエンタテインメント 異種のターゲットアニメーションデータを使用してキャラクタをトレーニングする強化学習

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015713A (ja) * 2006-07-04 2008-01-24 Kyushu Institute Of Technology 動作変形システム及びその方法
JP2012208548A (ja) * 2011-03-29 2012-10-25 Copcom Co Ltd プログラム、および、当該プログラムを記録したプログラム記録部を備えている画像処理装置
JP2015011480A (ja) * 2013-06-27 2015-01-19 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US20180158224A1 (en) * 2015-07-31 2018-06-07 Eberhard Karls Universitaet Tuebingen Method and device for image synthesis

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2486337A (en) * 2010-12-08 2012-06-13 Chao-Hua Lee Generation, recognition and extraction of movement styles
CN102638202A (zh) * 2012-05-14 2012-08-15 王世英 电磁运动能量产生装置与方法
US9436911B2 (en) * 2012-10-19 2016-09-06 Pearson Education, Inc. Neural networking system and methods
KR101501405B1 (ko) 2014-01-29 2015-03-12 김봉회 합성 이미지 전송 장치
KR102252730B1 (ko) * 2015-02-06 2021-05-18 한국전자통신연구원 애니메이션 생성 장치 및 방법
KR102097016B1 (ko) * 2015-02-09 2020-04-06 한국전자통신연구원 동작 분석 장치 및 방법
US10854104B2 (en) * 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US10095957B2 (en) * 2016-03-15 2018-10-09 Tata Consultancy Services Limited Method and system for unsupervised word image clustering
JP2018038455A (ja) * 2016-09-05 2018-03-15 セイコーエプソン株式会社 情報処理システム、ウェアラブル機器及び情報処理方法
US10902343B2 (en) * 2016-09-30 2021-01-26 Disney Enterprises, Inc. Deep-learning motion priors for full-body performance capture in real-time
CN106570194A (zh) * 2016-11-16 2017-04-19 上海卓易云汇智能技术有限公司 一种数据更新方法以及装置
CN106897670B (zh) * 2017-01-19 2020-09-22 南京邮电大学 一种基于计算机视觉的快递暴力分拣识别方法
CN107767343B (zh) * 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
US10719742B2 (en) * 2018-02-15 2020-07-21 Adobe Inc. Image composites using a generative adversarial neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015713A (ja) * 2006-07-04 2008-01-24 Kyushu Institute Of Technology 動作変形システム及びその方法
JP2012208548A (ja) * 2011-03-29 2012-10-25 Copcom Co Ltd プログラム、および、当該プログラムを記録したプログラム記録部を備えている画像処理装置
JP2015011480A (ja) * 2013-06-27 2015-01-19 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US20180158224A1 (en) * 2015-07-31 2018-06-07 Eberhard Karls Universitaet Tuebingen Method and device for image synthesis

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022518970A (ja) * 2019-03-15 2022-03-17 株式会社ソニー・インタラクティブエンタテインメント 異種のターゲットアニメーションデータを使用してキャラクタをトレーニングする強化学習

Also Published As

Publication number Publication date
CN110782478B (zh) 2023-12-15
US10957087B2 (en) 2021-03-23
JP6902071B2 (ja) 2021-07-14
CN110782478A (zh) 2020-02-11
EP3605389A1 (en) 2020-02-05
US20200035008A1 (en) 2020-01-30
KR20200013430A (ko) 2020-02-07
KR102543650B1 (ko) 2023-06-15

Similar Documents

Publication Publication Date Title
US11783199B2 (en) Image description information generation method and apparatus, and electronic device
US11610130B2 (en) Knowledge sharing for machine learning systems
US11915152B2 (en) Learning coach for machine learning system
JP6612855B2 (ja) 出力分布による生徒ｄｎｎの学習
CN110795569B (zh) 知识图谱的向量表示生成方法、装置及设备
JP2019075088A (ja) 文章生成モデルのアップデート方法及び文章生成装置
KR102293791B1 (ko) 반도체 소자의 시뮬레이션을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체
CN113939870A (zh) 为基于生成和检索的应用学习有效音乐特征的技术
KR102560754B1 (ko) 모션 리타겟팅 장치 및 모션 리타겟팅 방법
CN111695698A (zh) 用于模型蒸馏的方法、装置、电子设备及可读存储介质
JP6243072B1 (ja) 入出力システム、入出力プログラム、情報処理装置、チャットシステム
Ghosh et al. An empirical analysis of generative adversarial network training times with varying batch sizes
JP2020021474A (ja) モーション合成装置及びモーション合成方法
KR20210045217A (ko) 감정 이식 장치 및 감정 이식 방법
JP2019191635A (ja) データ分析システム、方法、及びプログラム
Zor et al. BeamECOC: A local search for the optimization of the ECOC matrix
CN112101204A (zh) 生成式对抗网络的训练方法、图像处理方法、装置和设备
Andersen et al. Increasing sample efficiency in deep reinforcement learning using generative environment modelling
CN115690267A (zh) 一种动画处理方法、装置、设备、存储介质及产品
KR102196874B1 (ko) 위성 이미지 생성 학습 장치, 위성 이미지 생성 학습 방법, 위성 이미지 생성 장치 및 위성 이미지 생성 방법
KR20210025324A (ko) 딥 뉴럴 네트워크를 이용한 애니메이션 생성 장치 및 애니메이션 생성 방법
JP7092228B1 (ja) 学習装置、学習方法およびプログラム
KR102430548B1 (ko) 구조화된 학습 데이터의 전처리 방법
KR102303626B1 (ko) 단일 이미지에 기반하여 비디오 데이터를 생성하기 위한 방법 및 컴퓨팅 장치
WO2023166576A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210525

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210618

R150 Certificate of patent or registration of utility model

Ref document number: 6902071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250