JP2020021474A - モーション合成装置及びモーション合成方法 - Google Patents
モーション合成装置及びモーション合成方法 Download PDFInfo
- Publication number
- JP2020021474A JP2020021474A JP2019129806A JP2019129806A JP2020021474A JP 2020021474 A JP2020021474 A JP 2020021474A JP 2019129806 A JP2019129806 A JP 2019129806A JP 2019129806 A JP2019129806 A JP 2019129806A JP 2020021474 A JP2020021474 A JP 2020021474A
- Authority
- JP
- Japan
- Prior art keywords
- motion data
- motion
- feature value
- convolutional neural
- synthesized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 405
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 17
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 17
- 238000001308 synthesis method Methods 0.000 title abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 244
- 210000000988 bone and bone Anatomy 0.000 claims description 225
- 238000000034 method Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
以下、添付した図面を参照して本発明の望ましい実施例を説明することによって本発明を詳細に説明する。
第1畳み込みニューラルネットワーク110は、コンテンツモーションデータ101を獲得する。
ここで、aはユーザ定義のウェイトベクトルであり、Gram=(FT・F)/nである。また、iはインデックスを意味し、身体部分(例えば、頭、脊椎、左腕、右腕、左足、右足)別にそれぞれ異なるi値がインデックス付きになる。
また、前記骨は、上体または下体を構成する骨のうち少なくともいずれか一つに当たる。
(数式2) loss=MSE(F(syn)‐F(t))
この時、モーション合成装置は、ターゲット特徴値とコンテンツ特徴値との差と、ターゲット特徴値とスタイル特徴値との差とを用いてターゲット特徴値を生成する。
110 第1畳み込みニューラルネットワーク
120 ターゲット特徴値生成モジュール
130 第2畳み込みニューラルネットワーク
140 損失生成モジュール
Claims (12)
- モーション合成装置がコンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得する動作と、
モーション合成装置が前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成する動作と、
モーション合成装置が合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得する動作と、
モーション合成装置が前記合成されたモーション特徴値及び前記ターゲット特徴値を用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートする動作と、
を含むことを特徴とするモーション合成方法。 - 前記合成されたモーションデータをアップデートする動作は、
前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われることを特徴とする請求項1に記載のモーション合成方法。 - 前記モーション合成装置は、学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得することを特徴とする請求項1に記載のモーション合成方法。
- 前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータであることを特徴とする請求項1に記載のモーション合成方法。
- 前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含むことを特徴とする請求項1に記載のモーション合成方法。
- 前記スタイル特徴値を用いてスタイル損失を獲得し、前記獲得したスタイル損失に加重値を付与して前記ターゲット特徴値を生成することを特徴とする請求項1に記載のモーション合成方法。
- モーション合成装置において、
前記モーション合成装置は、プロセッサを備え、
前記プロセッサは、
コンテンツモーションデータ及びスタイルモーションデータによってコンテンツ特徴値及びスタイル特徴値を獲得し、
前記獲得したコンテンツ特徴値及びスタイル特徴値を用いてターゲット特徴値を生成し、
合成されたモーションデータを認識し、前記認識した合成されたモーションデータから合成されたモーション特徴値を獲得し、
前記合成されたモーション特徴値及び前記ターゲット特徴値を用いて損失を獲得し、前記獲得した損失によって前記合成されたモーションデータをアップデートすることを特徴とするモーション合成装置。 - 前記合成されたモーションデータをアップデートする動作は、
前記合成されたモーション特徴値と前記ターゲット特徴値とがマッチされるまでバック・プロパゲーションアルゴリズムを用いて行われることを特徴とする請求項7に記載のモーション合成装置。 - 前記プロセッサは、
学習されていない畳み込みニューラルネットワークを用いて特徴値を獲得することを特徴とする請求項7に記載のモーション合成装置。 - 前記コンテンツモーションデータ及び前記スタイルモーションデータは、アニメーションデータであることを特徴とする請求項7に記載のモーション合成装置。
- 前記コンテンツモーションデータ及び前記スタイルモーションデータは、骨の情報を含むことを特徴とする請求項7に記載のモーション合成装置。
- 前記スタイル特徴値を用いてスタイル損失を獲得し、前記獲得したスタイル損失に加重値を付与して前記ターゲット特徴値を生成することを特徴とする請求項7に記載のモーション合成装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180088621A KR102543650B1 (ko) | 2018-07-30 | 2018-07-30 | 모션 합성 장치 및 모션 합성 방법 |
KR10-2018-0088621 | 2018-07-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020021474A true JP2020021474A (ja) | 2020-02-06 |
JP6902071B2 JP6902071B2 (ja) | 2021-07-14 |
Family
ID=67438993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019129806A Active JP6902071B2 (ja) | 2018-07-30 | 2019-07-12 | モーション合成装置及びモーション合成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10957087B2 (ja) |
EP (1) | EP3605389A1 (ja) |
JP (1) | JP6902071B2 (ja) |
KR (1) | KR102543650B1 (ja) |
CN (1) | CN110782478B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022518970A (ja) * | 2019-03-15 | 2022-03-17 | 株式会社ソニー・インタラクティブエンタテインメント | 異種のターゲットアニメーションデータを使用してキャラクタをトレーニングする強化学習 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015713A (ja) * | 2006-07-04 | 2008-01-24 | Kyushu Institute Of Technology | 動作変形システム及びその方法 |
JP2012208548A (ja) * | 2011-03-29 | 2012-10-25 | Copcom Co Ltd | プログラム、および、当該プログラムを記録したプログラム記録部を備えている画像処理装置 |
JP2015011480A (ja) * | 2013-06-27 | 2015-01-19 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
US20180158224A1 (en) * | 2015-07-31 | 2018-06-07 | Eberhard Karls Universitaet Tuebingen | Method and device for image synthesis |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2486337A (en) * | 2010-12-08 | 2012-06-13 | Chao-Hua Lee | Generation, recognition and extraction of movement styles |
CN102638202A (zh) * | 2012-05-14 | 2012-08-15 | 王世英 | 电磁运动能量产生装置与方法 |
US9436911B2 (en) * | 2012-10-19 | 2016-09-06 | Pearson Education, Inc. | Neural networking system and methods |
KR101501405B1 (ko) | 2014-01-29 | 2015-03-12 | 김봉회 | 합성 이미지 전송 장치 |
KR102252730B1 (ko) * | 2015-02-06 | 2021-05-18 | 한국전자통신연구원 | 애니메이션 생성 장치 및 방법 |
KR102097016B1 (ko) * | 2015-02-09 | 2020-04-06 | 한국전자통신연구원 | 동작 분석 장치 및 방법 |
US10854104B2 (en) * | 2015-08-28 | 2020-12-01 | Icuemotion Llc | System for movement skill analysis and skill augmentation and cueing |
US10095957B2 (en) * | 2016-03-15 | 2018-10-09 | Tata Consultancy Services Limited | Method and system for unsupervised word image clustering |
JP2018038455A (ja) * | 2016-09-05 | 2018-03-15 | セイコーエプソン株式会社 | 情報処理システム、ウェアラブル機器及び情報処理方法 |
US10902343B2 (en) * | 2016-09-30 | 2021-01-26 | Disney Enterprises, Inc. | Deep-learning motion priors for full-body performance capture in real-time |
CN106570194A (zh) * | 2016-11-16 | 2017-04-19 | 上海卓易云汇智能技术有限公司 | 一种数据更新方法以及装置 |
CN106897670B (zh) * | 2017-01-19 | 2020-09-22 | 南京邮电大学 | 一种基于计算机视觉的快递暴力分拣识别方法 |
CN107767343B (zh) * | 2017-11-09 | 2021-08-31 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
US10719742B2 (en) * | 2018-02-15 | 2020-07-21 | Adobe Inc. | Image composites using a generative adversarial neural network |
-
2018
- 2018-07-30 KR KR1020180088621A patent/KR102543650B1/ko active IP Right Grant
-
2019
- 2019-07-09 US US16/506,402 patent/US10957087B2/en active Active
- 2019-07-10 CN CN201910619253.XA patent/CN110782478B/zh active Active
- 2019-07-12 JP JP2019129806A patent/JP6902071B2/ja active Active
- 2019-07-25 EP EP19188315.6A patent/EP3605389A1/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015713A (ja) * | 2006-07-04 | 2008-01-24 | Kyushu Institute Of Technology | 動作変形システム及びその方法 |
JP2012208548A (ja) * | 2011-03-29 | 2012-10-25 | Copcom Co Ltd | プログラム、および、当該プログラムを記録したプログラム記録部を備えている画像処理装置 |
JP2015011480A (ja) * | 2013-06-27 | 2015-01-19 | カシオ計算機株式会社 | 画像生成装置、画像生成方法及びプログラム |
US20180158224A1 (en) * | 2015-07-31 | 2018-06-07 | Eberhard Karls Universitaet Tuebingen | Method and device for image synthesis |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022518970A (ja) * | 2019-03-15 | 2022-03-17 | 株式会社ソニー・インタラクティブエンタテインメント | 異種のターゲットアニメーションデータを使用してキャラクタをトレーニングする強化学習 |
Also Published As
Publication number | Publication date |
---|---|
CN110782478B (zh) | 2023-12-15 |
US10957087B2 (en) | 2021-03-23 |
JP6902071B2 (ja) | 2021-07-14 |
CN110782478A (zh) | 2020-02-11 |
EP3605389A1 (en) | 2020-02-05 |
US20200035008A1 (en) | 2020-01-30 |
KR20200013430A (ko) | 2020-02-07 |
KR102543650B1 (ko) | 2023-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11783199B2 (en) | Image description information generation method and apparatus, and electronic device | |
US11610130B2 (en) | Knowledge sharing for machine learning systems | |
US11915152B2 (en) | Learning coach for machine learning system | |
JP6612855B2 (ja) | 出力分布による生徒dnnの学習 | |
CN110795569B (zh) | 知识图谱的向量表示生成方法、装置及设备 | |
JP2019075088A (ja) | 文章生成モデルのアップデート方法及び文章生成装置 | |
KR102293791B1 (ko) | 반도체 소자의 시뮬레이션을 위한 전자 장치, 방법, 및 컴퓨터 판독가능 매체 | |
CN113939870A (zh) | 为基于生成和检索的应用学习有效音乐特征的技术 | |
KR102560754B1 (ko) | 모션 리타겟팅 장치 및 모션 리타겟팅 방법 | |
CN111695698A (zh) | 用于模型蒸馏的方法、装置、电子设备及可读存储介质 | |
JP6243072B1 (ja) | 入出力システム、入出力プログラム、情報処理装置、チャットシステム | |
Ghosh et al. | An empirical analysis of generative adversarial network training times with varying batch sizes | |
JP2020021474A (ja) | モーション合成装置及びモーション合成方法 | |
KR20210045217A (ko) | 감정 이식 장치 및 감정 이식 방법 | |
JP2019191635A (ja) | データ分析システム、方法、及びプログラム | |
Zor et al. | BeamECOC: A local search for the optimization of the ECOC matrix | |
CN112101204A (zh) | 生成式对抗网络的训练方法、图像处理方法、装置和设备 | |
Andersen et al. | Increasing sample efficiency in deep reinforcement learning using generative environment modelling | |
CN115690267A (zh) | 一种动画处理方法、装置、设备、存储介质及产品 | |
KR102196874B1 (ko) | 위성 이미지 생성 학습 장치, 위성 이미지 생성 학습 방법, 위성 이미지 생성 장치 및 위성 이미지 생성 방법 | |
KR20210025324A (ko) | 딥 뉴럴 네트워크를 이용한 애니메이션 생성 장치 및 애니메이션 생성 방법 | |
JP7092228B1 (ja) | 学習装置、学習方法およびプログラム | |
KR102430548B1 (ko) | 구조화된 학습 데이터의 전처리 방법 | |
KR102303626B1 (ko) | 단일 이미지에 기반하여 비디오 데이터를 생성하기 위한 방법 및 컴퓨팅 장치 | |
WO2023166576A1 (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210224 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6902071 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |