JP2023540577A

JP2023540577A - Video transfer method, device, equipment, storage medium, and computer program

Info

Publication number: JP2023540577A
Application number: JP2023515277A
Authority: JP
Inventors: 朱袁▲しゅあん▼; 黄展▲鵬▼; 黄健文; ▲韓▼蕊; 尹浩; ▲鄭▼佳宇; 黄▲偉▼杰; 秦梓▲鵬▼
Original assignee: シェンチェンテトラス．エーアイテクノロジーカンパニーリミテッド
Priority date: 2021-05-19
Filing date: 2021-10-28
Publication date: 2023-09-25
Also published as: TWI795116B; CN113313794B; WO2022242038A1; KR20230035385A; CN113313794A; TW202247104A

Abstract

本願の実施例は、動画移行方法及び装置、機器、記憶媒体並びにコンピュータプログラム製品を提供する。該動画移行方法は、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得することと、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることであって、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能である、ことと、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得ることと、を含む。上記方案において、異なる骨格間の動画移行を実現する。また、骨格間の動画移行の適用性を向上させることができる。Embodiments of the present application provide video migration methods and apparatus, equipment, storage media, and computer program products. The video migration method includes obtaining an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton, and determining the relationship between the initial source skeleton and the initial target skeleton based on the node mapping relationship. updating the node topology structure of at least one of them to obtain a final source skeleton and a final target skeleton, wherein each target node in the final target skeleton is a source node in the final source skeleton; and migrating first animation driving data associated with the initial source skeleton to a final target skeleton to obtain second animation driving data of the final target skeleton. In the above scheme, video transition between different skeletons is realized. Furthermore, the applicability of moving images between skeletons can be improved.

Description

（関連出願の相互参照）
本願は、２０２１年０５月１９日に提出された、出願番号が２０２１１０５４７６９３．６である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。 (Cross reference to related applications)
This application claims priority from the Chinese patent application filed on May 19, 2021 with application number 202110547693.6, the entire content of which is incorporated herein by reference.

本願の実施例は、コンピュータグラフィックス分野に関するが、これに限定されず、特に動画移行方法及び装置、機器、記憶媒体並びにコンピュータプログラム製品に関する。 TECHNICAL FIELD Embodiments of the present application relate to the field of computer graphics, but in particular, but not exclusively, to video migration methods and apparatus, equipment, storage media, and computer program products.

１つの既存の骨格モデルから新たな骨格モデルに動画を移行することによって、既存の骨格モデルの有する動画を新たな骨格モデルで自然且つ合理的な方式で表示することは、コンピュータグラフィックスにおける実用価値の大きい技術である。しかしながら、関連技術の動画移行方案において、動画データを有する既存の骨格モデルから新たな骨格モデルに動画を移行する時に、適用性が低い。 It has practical value in computer graphics to display the video of the existing skeletal model in a natural and rational manner by transferring the video from one existing skeletal model to a new skeletal model. This is a great technology. However, related art video migration methods have low applicability when migrating videos from an existing skeletal model with video data to a new skeletal model.

本願の実施例は少なくとも、動画移行方法及び装置、機器、記憶媒体並びにコンピュータプログラム製品を提供する。 Embodiments of the present application provide at least a video migration method and apparatus, apparatus, storage medium, and computer program product.

本願の実施例は、動画移行方法を提供する。前記方法は、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得することと、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることであって、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能である、ことと、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得ることと、を含む。 Embodiments of the present application provide a video migration method. The method includes obtaining an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton, and determining one of the initial source skeleton and the initial target skeleton based on the node mapping relationship. updating at least one node topology structure to obtain a final source skeleton and a final target skeleton, wherein each target node in the final target skeleton maps to a source node in the final source skeleton; and transferring first animation driving data associated with the initial source skeleton to the final target skeleton to obtain second animation driving data of the final target skeleton.

従って、初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係に基づいて、初期ソース骨格及び／又は初期ターゲット骨格のトポロジ構造を更新することによって、最終的なターゲット骨格のターゲットノードをいずれも、最終的なソース骨格におけるソースノードにマッピングすることができる。初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、それにより最終的なターゲット骨格の動きを駆動するため、異なる骨格間の動画移行を実現する。また、移行待ちソース骨格とターゲット骨格の間の初期トポロジ構造が完全に一致する必要がないため、骨格間の動画移行の適用性を向上させる。 Therefore, by updating the topological structure of the initial source skeleton and/or the initial target skeleton based on the node mapping relationship between the initial source skeleton and the initial target skeleton, both target nodes of the final target skeleton are Can be mapped to source nodes in the final source skeleton. The first video driving data associated with the initial source skeleton is transferred to the final target skeleton, thereby driving the movement of the final target skeleton, thereby realizing video transition between different skeletons. In addition, the initial topological structure between the migration-waiting source skeleton and the target skeleton does not need to completely match, which improves the applicability of video migration between skeletons.

いくつかの実施例において、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、最終的なターゲット骨格と最終的なソース骨格とのノードが一対一にマッピングされる。 In some embodiments, the node topology structures of the final target skeleton and the final source skeleton match and/or the nodes of the final target skeleton and the final source skeleton are mapped one-to-one. Ru.

従って、最終的なターゲット骨格におけるノードについて、最終的なソース骨格においてこれとマッピングしたノードがあり、且つマッピング関係が一対一マッピングであり、１つのターゲットノードが複数のソースノードに対応するというケースが存在しないことを確保することで、後続の最終的なターゲット骨格におけるノードに、いずれも対応する動画駆動データがあり、且つ各ノード上での動画駆動データの数が１である。１つのノードが複数の動画駆動データを有するケースが存在しないことにより、最終的なターゲット骨格の動画駆動をより自然にする。 Therefore, for a node in the final target skeleton, there is a node mapped to this node in the final source skeleton, and the mapping relationship is a one-to-one mapping, and one target node corresponds to multiple source nodes. By ensuring that no nodes in the subsequent final target skeleton have corresponding video driving data, and the number of video driving data on each node is one. Since there is no case where one node has multiple video driving data, the video driving of the final target skeleton becomes more natural.

いくつかの実施例において、ノードマッピング関係は、初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、ノード対応関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることは、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、そのうちの１つの骨格のノードトポロジ構造を更新することと、骨格にマッピング関係のないノードがある場合、マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することと、のうちの少なくとも１つを含み、ここで、２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された２つの骨格間のノードが一対一にマッピングされる。 In some embodiments, the node mapping relationship includes a mapping relationship between nodes in the initial source skeleton and the initial target skeleton, and based on the node correspondence, at least one node of the initial source skeleton and the initial target skeleton Updating the topology structure and obtaining the final source skeleton and final target skeleton means that if there are multiple nodes mapped to the same node between the two skeletons, the nodes of one of the skeletons updating a topology structure; and, if the skeleton has a node with no mapping relationship, updating the node topology structure of the skeleton in which the node with no mapping relationship is located; The two skeletons include an initial source skeleton and an initial target skeleton, and nodes between the two updated skeletons are mapped one-to-one.

従って、骨格のノードトポロジ構造を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードの一対一のマッピングに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。 Therefore, by updating the node topology structure of the skeletons, we adjust the mapping of multiple nodes between two skeletons to the same node to a one-to-one mapping of nodes between two skeletons, and further Reduce the occurrence of unreasonable situations in the video driving process of the final target skeleton.

いくつかの実施例において、マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することは、マッピング関係のないノードを、マッピング関係のある隣接ノードにマージすることであって、隣接ノードは、マッピング関係のないノードが位置する骨格における、マッピング関係のないノードの親ノード又は子ノードである、ことを含み、及び／又は、そのうちの１つの骨格のノードトポロジ構造を更新することは、複数のノードが同一の骨格分岐に位置する場合、複数のノードが位置する第１骨格を更新することと、複数のノードが異なる骨格分岐に位置する場合、複数のノードを含まない第２骨格を更新することと、を含み、ここで、第１骨格と第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格である。 In some embodiments, updating the skeletal node topology structure in which a node with no mapping relationship is located is merging the node with no mapping relationship into an adjacent node with a mapping relationship, and the adjacent node is , being a parent node or a child node of a node with no mapping relationship in the skeleton in which the node with no mapping relationship is located, and/or updating the node topology structure of one of the skeletons may include multiple If the nodes of are located in the same skeleton branch, update the first skeleton where multiple nodes are located, and if multiple nodes are located in different skeleton branches, update the second skeleton that does not include multiple nodes. and where one of the first skeleton and the second skeleton is an initial source skeleton and the other is an initial target skeleton.

従って、複数のノードが位置する第１骨格を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードが一対一にマッピングされることに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。 Therefore, by updating the first skeleton where multiple nodes are located, multiple nodes between two skeletons are mapped to the same node, and nodes between two skeletons are mapped one-to-one. adjustment and further reduce the appearance of unreasonable situations in the subsequent final target skeleton animation driving process.

いくつかの実施例において、複数のノードが位置する第１骨格を更新することは、第１骨格における複数のノードを１つの第１ノードとしてマージすることであって、ここで、第１ノードは、マージ前の複数のノードのマッピング関係を維持する、ことを含み、及び／又は、複数のノードを含まない第２骨格を更新することは、第１骨格から、複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、第２骨格から、第２ノードにマッピングされる第３ノードを探し出すことと、複数のノードに対応するノードトポロジ構造に応じて、第３ノードに少なくとも１つの骨格分岐を新規追加することと、を含み、複数のノードは、第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされる。 In some embodiments, updating a first skeleton in which the plurality of nodes are located includes merging the plurality of nodes in the first skeleton as one first node, where the first node is , maintaining the mapping relationship of the plurality of nodes before merging, and/or updating the second skeleton that does not include the plurality of nodes, from the first skeleton to the skeleton branch where the plurality of nodes are located. find a second node where the two nodes merge, and find a third node mapped to the second node from the second skeleton, and at least one skeleton is mapped to the third node according to a node topology structure corresponding to the plurality of nodes adding a new branch, and the plurality of nodes are mapped one-to-one with the skeleton branch newly added to the third node and the node in the original skeleton branch.

従って、このような方式で、ノードの一対一のマッピングを実現する場合、第１骨格のノードトポロジ構造も最大限に維持できる。 Therefore, when one-to-one mapping of nodes is achieved using this method, the node topology structure of the first skeleton can also be maintained to the maximum extent possible.

いくつかの実施例において、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得る前に、方法は、ルートソースノードからリーフソースノードへの順番に応じて、最終的なソース骨格における各ソースノードと最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることを更に含み、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得ることは、第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得ることを含む。 In some embodiments, before migrating first video driving data associated with the initial source skeleton to the final target skeleton and obtaining second video driving data of the final target skeleton, the method includes: Align each source node in the final source skeleton with the corresponding mapped target node in the final target skeleton, respectively, according to the order from leaf source nodes to the mapped target nodes with each source node. further comprising obtaining a first position-orientation transformation relationship with the initial source skeleton, migrating the first video driving data associated with the initial source skeleton to the final target skeleton, and obtaining second video driving data of the final target skeleton. The method includes obtaining final second moving image driving data of the target skeleton by using the first moving image driving data and the first position/orientation transformation relationship.

従って、ソースノードとターゲットノードとの位置合わせを行うことで、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができ、それにより第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得ることを実現する。 Therefore, by aligning the source node and the target node, it is possible to obtain the first position/orientation transformation relationship between each source node and the mapped target node, and thereby the first moving image driving data and the first position By using the attitude transformation relationship, it is possible to obtain the final second moving image drive data of the target skeleton.

いくつかの実施例において、最終的なソース骨格における各ソースノードと最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることは、最終的なソース骨格における各ソースノードに対して、ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することであって、オフセットは、並進成分と回転成分とのうちの少なくとも１つを含む、ことと、ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得ることと、を含む。 In some embodiments, each source node in the final source skeleton and the corresponding mapped target node in the final target skeleton are each aligned, and the first Obtaining the pose transformation relationship is to obtain, for each source node in the final source skeleton, the offset required to align the source node with the mapped target node, where the offset is including at least one of a translational component and a rotational component; and obtaining a first position and orientation transformation relationship of the source node based on an offset corresponding to the source node.

従って、オフセットが並進成分と回転成分を含むことによって、取得された第１位置姿勢変換関係をより正確にする。 Therefore, by including the translational component and rotational component in the offset, the obtained first position/orientation transformation relationship is made more accurate.

いくつかの実施例において、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、第１位置姿勢変換関係は、ソースノードとマッピングされるターゲットノードとの、第１座標系における変換関係であり、ソースノードに対応するオフセットは、ソースノードの第１親ノードが位置合わせされ、かつ第１親ノードが第２座標系の原点である場合、ソースノードとマッピングされるターゲットノードの、第２座標系におけるオフセットである。 In some embodiments, the root source node of the final source skeleton and the root target node of the final target skeleton both translate to the origin of the first coordinate system, and the first pose transformation relationship is between the source node and the root target node of the final target skeleton. A transformation relationship in the first coordinate system with the target node to be mapped, and the offset corresponding to the source node is such that the first parent node of the source node is aligned and the first parent node is the origin of the second coordinate system. , then it is the offset in the second coordinate system of the source node and the mapped target node.

従って、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードがいずれも第１座標系の原点に並進することで、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードとのオフセットを取得することができる。 Therefore, by translating both the root source node of the final source skeleton and the root target node of the final target skeleton to the origin of the first coordinate system, the root source node of the final source skeleton and the root target node of the final target skeleton You can get the offset from the root target node of the skeleton.

いくつかの実施例において、ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することは、位置合わせされた第１親ノードとルートソースノードとの第２位置姿勢変換関係、及びソースノードのマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得し、ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、ソースノードに対応するオフセットを得ることを含み、及び／又は、ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得ることは、ソースノード及びソースノードの上位ノードのそれぞれに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得ることであって、ソースノードの上位ノードは、最終的なソース骨格におけるソースノードの第１親ノード、ルートソースノード及び第１親ノードとルートソースノードとの間のノードである、ことを含む。 In some embodiments, obtaining the offsets necessary to align the source node to the mapped target node includes a second position-orientation transformation relationship between the aligned first parent node and the root source node. , and obtain a third position/orientation transformation relationship between the second parent node of the mapped target node of the source node and the root target node, and determine the position/orientation of the source node and the mapped target node in the first coordinate system; obtaining an offset corresponding to the source node based on the second pose transformation relationship and a third pose transformation relationship; and/or obtaining a first offset of the source node based on the offset corresponding to the source node Obtaining the position/orientation transformation relationship means obtaining a first position/orientation transformation relationship for the source node based on offsets corresponding to each of the source node and the upper nodes of the source node, and the upper nodes of the source node are: A first parent node of the source node in the final source skeleton, a root source node, and a node between the first parent node and the root source node.

従って、ソースノード及びソースノードの上位ノードに対応するオフセットを結合することで、ソースノードの、第１座標系におけるマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができる。 Therefore, by combining the offsets corresponding to the source node and the upper nodes of the source node, it is possible to obtain the first position and orientation transformation relationship of the source node with the mapped target node in the first coordinate system.

いくつかの実施例において、第１動画駆動データは、最終的なソース骨格と初期ソース骨格とのトポロジ構造差異に基づいて、初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものであり、及び／又は、最終的なターゲット骨格の第２動画駆動データは、第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものであり、第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係であり、最終的なターゲット骨格は、ターゲット対象の骨格であり、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得ることは、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係に基づいて、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることを含む。 In some embodiments, the first video driving data is obtained by making adjustments to the original video data of the initial source skeleton based on topological structural differences between the final source skeleton and the initial source skeleton. and/or the second moving image drive data of the final target skeleton is obtained based on the first moving image drive data and the first position/orientation conversion relationship, and the first position/orientation conversion relationship is , is the transformation relationship between the source node of the final source skeleton and the mapped target node in the final target skeleton, where the final target skeleton is the skeleton of the target object and is related to the initial source skeleton. Transferring the first video driving data to the final target skeleton and obtaining the second video driving data of the final target skeleton includes first position information of the geometric mesh vertices in the target object, the first video driving data and obtaining second position information regarding the geometric mesh vertices in the second moving image drive data based on the first position and orientation transformation relationship.

従って、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係を結合することで、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることができ、プロセスが便利である。 Therefore, by combining the first position information of the geometric mesh vertices in the target object, the first moving image driving data, and the first position/orientation transformation relationship, the second position regarding the geometric mesh vertices in the second moving image driving data can be determined. Information is available and the process is convenient.

いくつかの実施例において、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係に基づいて、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることは、幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、リファレンスノードの影響重みを得ることと、第１動画駆動データにおける、リファレンスノードに関する第４位置姿勢変換関係とリファレンスノードに対応する第１位置姿勢変換関係に基づいて、リファレンスノードに対応する第５位置姿勢変換関係を得ることと、第１位置情報、各リファレンスノードに対応する第５位置姿勢変換関係及び影響重みを利用して、幾何学的メッシュ頂点の第２位置情報を得ることと、を含む。 In some embodiments, based on the first position information of the geometric mesh vertices in the target object, the first video driving data, and the first position/orientation transformation relationship, the second video driving data regarding the geometric mesh vertices is determined. Obtaining the second position information includes obtaining at least one target node whose distance from the geometric mesh vertex satisfies a predetermined condition as a reference node, obtaining the influence weight of the reference node, and obtaining the first video driving data. , obtaining a fifth position and orientation transformation relationship corresponding to the reference node based on a fourth position and orientation transformation relationship regarding the reference node and a first position and orientation transformation relationship corresponding to the reference node, and calculating the first position information and each reference. obtaining second position information of the geometric mesh vertices using a fifth position/orientation transformation relationship and influence weight corresponding to the node.

従って、頂点に対するリファレンスノードの影響重みを考慮することで、取得された幾何学的メッシュ頂点の第２位置情報をより正確にする。 Therefore, by considering the influence weight of the reference node on the vertex, the obtained second position information of the geometric mesh vertex is made more accurate.

いくつかの実施例において、初期ソース骨格を取得することは、ターゲット対象を含む画像に対して分類を行い、ターゲット対象のクラスを得、クラスに合致した骨格モデルを初期ソース骨格として選択することであって、最終的なターゲット骨格は、ターゲット対象の骨格である、ことを含み、及び／又は、初期ターゲット骨格を取得することは、ターゲット対象を含む画像に対して輪郭抽出を行い、ターゲット対象の輪郭を得ることと、輪郭を利用して、ターゲット対象に対して、三次元メッシュモデルを生成することと、三次元メッシュモデルから、初期ターゲット骨格を抽出することと、を含む。 In some embodiments, obtaining the initial source skeleton may include performing classification on an image containing the target object, obtaining a class of the target object, and selecting a skeletal model that matches the class as the initial source skeleton. The final target skeleton may be a skeleton of the target object, and/or obtaining the initial target skeleton may include performing contour extraction on an image containing the target object to obtain a skeleton of the target object. The method includes obtaining a contour, generating a three-dimensional mesh model for a target object using the contour, and extracting an initial target skeleton from the three-dimensional mesh model.

従って、ターゲット対象のクラスを取得し、クラスに合致した骨格モデルから、初期ソース骨格を選択することで、便利で迅速である。骨格分岐の数の多い順に応じて、初期骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行うことで、マッピングの正確度を向上させることができる。 Therefore, it is convenient and quick to obtain the class of the target object and select the initial source skeleton from the skeleton models that match the class. Mapping accuracy can be improved by sequentially mapping nodes in the initial skeleton and the initial target skeleton according to the order of the number of skeleton branches.

本願の実施例は、動画移行装置を提供する。前記装置は、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得するように構成される取得モジュールと、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得るように構成されるモデル更新モジュールであって、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能である、モデル更新モジュールと、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得るように構成される動画移行モジュールと、を備える。 Embodiments of the present application provide a video transition device. The apparatus includes an acquisition module configured to acquire an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton; A model update module configured to update a node topology structure of at least one of a target skeleton and obtain a final source skeleton and a final target skeleton, wherein the target node in the final target skeleton is A model update module, which can be mapped to source nodes in the final source skeleton, and a first video driving data associated with the initial source skeleton to the final target skeleton, which can be mapped to source nodes in the final source skeleton. a video transition module configured to obtain two video driving data.

本願の実施例は、電子機器を提供する。前記電子機器は、メモリと、プロセッサと、を備え、プロセッサは、メモリに記憶されているプログラム命令を実行し、上記動画移行方法を実施する。 Embodiments of the present application provide electronic devices. The electronic device includes a memory and a processor, and the processor executes program instructions stored in the memory to implement the video migration method.

本願の実施例は、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体にはプログラム命令が記憶されており、プログラム命令がプロセッサにより実行される時、プロセッサに上記動画移行方法を実現させる。 Embodiments of the present application provide a computer readable storage medium. Program instructions are stored on the computer-readable storage medium, and when executed by the processor, cause the processor to implement the video transition method.

本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令がコンピュータ機器のプロセッサにより実行される時、プロセッサに上記動画移行方法のステップを実現させる。 Embodiments of the present application further provide a computer program product. The computer program product includes a computer readable storage medium having a program code stored thereon, and the instructions included in the program code, when executed by a processor of the computer device, cause the processor to implement the steps of the video migration method.

上記方案において、初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係に基づいて、初期ソース骨格及び／又は初期ターゲット骨格のトポロジ構造を更新することによって、最終的なターゲット骨格のターゲットノードをいずれも、最終的なソース骨格におけるソースノードにマッピングすることができる。初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、それにより最終的なターゲット骨格の動きを駆動するため、異なる骨格間の動画移行を実現する。また、移行待ちソース骨格とターゲット骨格の間の初期トポロジ構造が完全に一致する必要がないため、骨格間の動画移行の適用性を向上させる。 In the above scheme, the target node of the final target skeleton is updated by updating the topology structure of the initial source skeleton and/or the initial target skeleton based on the node mapping relationship between the initial source skeleton and the initial target skeleton. can also be mapped to source nodes in the final source skeleton. The first video driving data associated with the initial source skeleton is transferred to the final target skeleton, thereby driving the movement of the final target skeleton, thereby realizing video transition between different skeletons. In addition, the initial topological structure between the migration-waiting source skeleton and the target skeleton does not need to completely match, which improves the applicability of video migration between skeletons.

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。 It is to be understood that the foregoing general description and the following detailed description are intended to be illustrative and explanatory only and not as limitations on the present application.

本願の実施例による動画移行方法のフローチャートである。3 is a flowchart of a video transition method according to an embodiment of the present application. 本願の実施例による動画移行方法におけるマッピング関係の概略図である。FIG. 2 is a schematic diagram of a mapping relationship in a video transition method according to an embodiment of the present application. 本願の実施例による動画移行方法におけるマッピング関係の概略図である。FIG. 2 is a schematic diagram of a mapping relationship in a video transition method according to an embodiment of the present application. 本願の実施例による動画移行方法におけるマッピング関係の概略図である。FIG. 2 is a schematic diagram of a mapping relationship in a video transition method according to an embodiment of the present application. 本願の実施例による動画移行方法のフローチャートである。3 is a flowchart of a video transition method according to an embodiment of the present application. 本願の実施例による動画移行装置の構造概略図である。FIG. 1 is a schematic structural diagram of a moving image transition device according to an embodiment of the present application. 本願の実施例による電子機器の構造概略図である。1 is a schematic structural diagram of an electronic device according to an embodiment of the present application. 本願の実施例によるコンピュータ可読記憶媒体の構造概略図である。1 is a structural schematic diagram of a computer-readable storage medium according to an embodiment of the present application; FIG.

ここでの図面は、明細書に引き入れて本明細書の一部を構成し、これらの図面は、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。 The drawings herein are incorporated into and constitute a part of the specification, and these drawings illustrate embodiments that are compatible with the present application and are intended to be interpreted together with the specification of the technical solution of the present application. used for.

以下、明細書の図面を参照しながら、本願の実施例の方案を詳しく説明する。 Hereinafter, the embodiments of the present application will be described in detail with reference to the drawings of the specification.

下記説明において、本願の実施例を深く理解するために、特定システム構造、インタフェース、技術等の具体的な細部を提出し、これは、本願を解釈するためのものに過ぎず、本願を限定するためのものではない。 In the following description, specific details such as specific system structures, interfaces, techniques, etc. are provided for a deeper understanding of the embodiments of the present application, and these are only for the purpose of interpreting the present application and are not intended to limit the present application. It's not for.

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つのケースを表す。なお、本明細書において、文字「／」は一般的には、前後関連対象が「又は」という関係であることを示す。また、本明細書における「複数」は、２つ又は２つより多いことを表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。 In this specification, the term "and/or" is used to explain the relationship between related objects, and indicates that three types of relationships exist. For example, A and/or B represent three cases: only A exists, A and B exist simultaneously, and only B exists. Note that in this specification, the character "/" generally indicates that the preceding and following related objects have a relationship of "or". Moreover, "plurality" in this specification represents two or more than two. Moreover, in this specification, the term "at least one" represents any one of the plurality or any combination of at least two of the plurality. For example, containing at least one of A, B, and C means containing one or more elements selected from the set consisting of A, B, and C.

関連技術における動画移行技術は、既存の骨格モデルと新たな骨格モデルのトポロジ構造が完全に一致することが求められ、即ち、２つの骨格モデルのトポロジ構造が完全に一致した場合のみ、動画移行が実現可能である。しかしながら、新たな骨格モデルの形式が多様であり、各種の骨格モデルに対して、いずれも、トポロジ構造が全く同じである、動画データを有する骨格モデルを構築することができないことにより、関連技術における動画データを有する既存の骨格モデルの適用性が低い。 The related video migration technology requires that the topological structures of the existing skeleton model and the new skeleton model completely match.In other words, video migration is possible only when the topological structures of the two skeleton models completely match. It is possible. However, the formats of new skeletal models are diverse, and it is impossible to construct a skeletal model with video data that has exactly the same topology structure for each type of skeletal model. Existing skeletal models with video data have low applicability.

上記方案に存在する欠陥はいずれも、発明者らが実践及び鋭意検討した後に得られた結果である。従って、上記問題点の発見過程及び下記記述における本願が上記問題点に対して提出する解決手段は、いずれも発明者らが開示中に本願に与える寄与であるはずである。 All the deficiencies in the above solutions are the result of the inventors' practical and intensive research. Therefore, the process of discovering the above-mentioned problem and the solution proposed by the present application to the above-mentioned problem in the following description are both contributions that the inventors have made to the present application during the disclosure.

図１を参照すると、図１は、本願の実施例による動画移行方法のフローチャートである。動画移行方法は、以下のステップを含んでもよい。 Referring to FIG. 1, FIG. 1 is a flowchart of a video migration method according to an embodiment of the present application. The video migration method may include the following steps.

ステップＳ１１において、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得する。 In step S11, an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton are obtained.

ここで、初期ソース骨格は、動画駆動データを付帯する骨格であり、初期ターゲット骨格は、動画駆動データを付帯していない骨格である。ここで、本願の実施例による動画移行方法は、実際に、初期ソース骨格により付帯される動画駆動データを初期ターゲット骨格に移行し、初期ターゲット骨格を動画駆動データに応じて動きするように駆動することを目的とする。 Here, the initial source skeleton is a skeleton that is accompanied by video driving data, and the initial target skeleton is a skeleton that is not accompanied by video driving data. Here, the video migration method according to the embodiment of the present application actually migrates the video driving data attached to the initial source skeleton to the initial target skeleton, and drives the initial target skeleton to move according to the video driving data. The purpose is to

初期ソース骨格と初期ターゲット骨格は、いずれも、複数のノードで構築されたものと見なされてもよい。初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係は、２つの骨格のノード間の対応関係である。 Both the initial source skeleton and the initial target skeleton may be considered to be constructed of multiple nodes. The node mapping relationship between the initial source skeleton and the initial target skeleton is a correspondence relationship between the nodes of the two skeletons.

ステップＳ１２において、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得、ここで、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能である。 In step S12, the node topology structure of at least one of the initial source skeleton and the initial target skeleton is updated based on the node mapping relationship to obtain a final source skeleton and a final target skeleton, and here, a final source skeleton and a final target skeleton are obtained. Any target node in the final target skeleton can be mapped to a source node in the final source skeleton.

初期ソース骨格のトポロジ構造と初期ターゲット骨格のトポロジ構造は、異なる可能性がある。例えば、初期ソース骨格に、初期ターゲット骨格とマッピング関係が構築されていない冗長ノードが存在し、初期ターゲット骨格にも同様に、初期ソース骨とマッピング関係が構築されていない冗長ノードが存在する可能性がある。この場合、初期ソース骨格と初期ターゲット骨格に対して更新を行わず、初期ソース骨格により付帯される動画駆動データを初期ターゲット骨格に直接的に移行すれば、初期ターゲット骨格の動画駆動効果と初期ソース骨格の動画駆動効果との差異が大きいことを引き起こし、元の動画移行の目的を実現できない可能性がある。 The topological structure of the initial source skeleton and the topological structure of the initial target skeleton may be different. For example, there is a possibility that the initial source skeleton has a redundant node that has no mapping relationship established with the initial target skeleton, and the initial target skeleton also has a redundant node that has no mapping relationship established with the initial source bone. There is. In this case, if the initial source skeleton and initial target skeleton are not updated and the video driving data attached to the initial source skeleton is directly transferred to the initial target skeleton, the video driving effect of the initial target skeleton and the initial source This may cause a large difference with the skeleton video driving effect, and the purpose of the original video transition may not be realized.

従って、本願の実施例は、両者間のノードマッピング関係に基づいて、初期ソース骨格及び／又は初期ターゲット骨格のトポロジ構造を更新することによって、最終的なターゲット骨格のターゲットノードをいずれも、最終的なソース骨格におけるソースノードにマッピングすることができる。 Therefore, the embodiments of the present application update the topology structure of the initial source skeleton and/or the initial target skeleton based on the node mapping relationship between the two, so that the target nodes of the final target skeleton are both can be mapped to a source node in a source skeleton.

ステップＳ１３において、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得る。 In step S13, the first moving image driving data related to the initial source skeleton is transferred to the final target skeleton to obtain the second moving image driving data of the final target skeleton.

ここで、最終的なソース骨格のトポロジ構造と初期ソース骨格のトポロジ構造が一致すれば、初期ソース骨格に関連する第１動画駆動データは、初期ソース骨格の動画駆動データと同じである。最終的なソース骨格のトポロジ構造が更新されていれば、最終的なソース骨格の第１動画駆動データは、初期ソース骨格の動画駆動データと異なる。無論、最終的なソース骨格の第１動画駆動データは、そのトポロジ構造の変化に応じて、変わってもよい。例えば、初期ソース骨格のソースノードＡとその子ノードＢが１つのノードＣに融合され、最終的なソース骨格のトポロジ構造を得る場合、最終的なソース骨格におけるノードＣの動画データは、ソースノードＡとその子ノードＢの動画データの融合であってもよい。無論、他の実施例において、２つのソースノードがマージされる場合、２つのソースノードにおける子ノードの動画駆動データを削除してもよい。 Here, if the topology structure of the final source skeleton and the topology structure of the initial source skeleton match, the first video driving data related to the initial source skeleton is the same as the video driving data of the initial source skeleton. If the topology structure of the final source skeleton has been updated, the first video driving data of the final source skeleton is different from the video driving data of the initial source skeleton. Of course, the first video driving data of the final source skeleton may change according to changes in its topological structure. For example, when source node A and its child node B of the initial source skeleton are fused into one node C to obtain the topology structure of the final source skeleton, the video data of node C in the final source skeleton is It may also be a fusion of the video data of the node B and its child node B. Of course, in other embodiments, if two source nodes are merged, the video driving data of child nodes in the two source nodes may be deleted.

本願のいくつかの実施例において、初期ソース骨格を取得する方式は、ターゲット対象を含む画像に対して分類を行い、ターゲット対象のクラスを得、クラスに合致した骨格モデルを初期ソース骨格として選択することであってもよい。ここで、最終的なターゲット骨格は、ターゲット対象の骨格である。本願の実施例は、予測タグマッピングを用いてもよく、データセットタグマッピングを用いてもよい。両者の相違点は以下のとおりである。予測タグマッピングによるターゲット対象の分類結果がターゲット対象の予測骨格トポロジ構造タイプを含み、例えば、予測骨格トポロジ構造タイプは、２足、４足などを含む。つまり、予測タグマッピングのプロセスにおいて、主に、ターゲット対象の骨格トポロジ構造特徴を予測する。データセットタグマッピングによる分類結果は、入力画像におけるターゲット対象の具体的な種類を提供する必要がある。例えば、ターゲット対象は、猫、犬、パンダ、クマなどである。本願の実施例は、予測タグマッピングを用いる。応用プロセスにおいて、ターゲット対象がパンダであり、予測タグマッピングにより提供されるターゲット対象のクラスが４足であり、クラスに合致した骨格モデルを初期ソース骨格として選択する。選択された初期ソース骨格が４足のクマであれば、クマがパンダと異なるが、実際にほぼ同じの骨格トポロジ構造を有する。従って、クマの動画駆動データをパンダに移行しても、っ自然かつ合理的な形式で出現することもできる。つまり、予測タグマッピングによれば、完全に正確なターゲット対象のクラスを得ることができないが、最終的なターゲット骨格に対する駆動にも影響を及ぼさない。それと同時に、予測タグマッピングにおいて、ターゲット対象の具体的なクラスを更に取得しないため、計算コストを低減させる。 In some embodiments of the present application, a method for obtaining an initial source skeleton includes performing classification on an image containing a target object, obtaining a class of the target object, and selecting a skeletal model that matches the class as the initial source skeleton. It may be something. Here, the final target skeleton is the skeleton of the target object. Embodiments of the present application may use predictive tag mapping or may use dataset tag mapping. The differences between the two are as follows. The classification result of the target object by predictive tag mapping includes a predicted skeletal topology structure type of the target object, for example, the predicted skeletal topology structure type includes 2 legs, 4 legs, etc. That is, in the process of predictive tag mapping, the skeletal topology structural features of the target object are mainly predicted. The classification result from dataset tag mapping needs to provide the specific type of target object in the input image. For example, target objects include cats, dogs, pandas, bears, etc. Embodiments of the present application use predictive tag mapping. In the application process, the target object is panda, the class of the target object provided by predictive tag mapping is quadruped, and a skeleton model matching the class is selected as the initial source skeleton. If the selected initial source skeleton is a four-legged bear, then the bear has a different, but actually approximately the same, skeletal topological structure as a panda. Therefore, even if the bear's video driving data is transferred to the panda, it will appear in a natural and rational format. That is, although predictive tag mapping cannot obtain a completely accurate target object class, it does not affect the driving of the final target skeleton. At the same time, in predictive tag mapping, the specific class of the target object is not further acquired, which reduces the computational cost.

初期ターゲット骨格を取得する方式は、ターゲット対象を含む画像に対して輪郭抽出を行い、ターゲット対象の輪郭を得ることであってもよい。ここで、輪郭抽出の方式は、ターゲット分割を行い、明瞭なターゲット対象の輪郭をえることであってもよい。輪郭を利用して、ターゲット対象に対して、三次元メッシュモデルを生成する。一般的には、ターゲット対象の輪郭を多辺形に簡略化し、三角形分割を用いて、対応する二次元の三角形メッシュをえる。続いて、三角形法線方向に沿って二次元の三角形から、三次元メッシュモデルを押し出す。三次元メッシュモデルから、初期ターゲット骨格を抽出する。本願のいくつかの実施例において、平均曲率法を用いて、三次元メッシュから、初期ターゲット骨格を抽出してもよい。ここで、初期ターゲット骨格を抽出した後、抽出された初期ターゲット骨格が解剖構造を満たすかどうか、差が大きすぎるかどうかを判断する。例えば、骨格トポロジ構造において、連続した、長さの差が大きすぎる骨格に対して再サンプリングを行い、長さが均一である骨格トポロジ構造を得る。例えば、連続した３つの骨格ノードがＡ、Ｂ、Ｃであり、ここで、ノードＡとノードＢとの間の骨格長さが２メートルであり、ノードＢとノードとの間の骨格長さが０．１メートルであるため、ノードＡからＣの間の骨格に対して再サンプリングを行うことで、ノードＡとノードＢとの間の骨格長さを１．０５メートルにし、ノードＡとノードＢとの間の骨格長さを１．０５メートルにすることができる。無論、ノードＡからＣの間に新たなノードを追加することによって、隣接するノード間の骨格長さを短縮することもできる。同様に、隣接するノード間の骨格長さが短すぎて、一般的な解剖構造に合致しないと、そのうちの一部のノードをマージし、ノード数を減少させることによって、隣接するノード間の骨格構造を増加する。 A method for obtaining the initial target skeleton may be to perform contour extraction on an image including the target object to obtain the contour of the target object. Here, the outline extraction method may be to perform target segmentation to obtain a clear outline of the target object. A three-dimensional mesh model is generated for the target object using the contour. Typically, the outline of the target object is simplified to a polygon, and triangulation is used to obtain the corresponding two-dimensional triangular mesh. Next, a three-dimensional mesh model is extruded from the two-dimensional triangle along the normal direction of the triangle. Extract the initial target skeleton from the 3D mesh model. In some embodiments of the present application, an average curvature method may be used to extract the initial target skeleton from the three-dimensional mesh. Here, after extracting the initial target skeleton, it is determined whether the extracted initial target skeleton satisfies the anatomical structure and whether the difference is too large. For example, in a skeletal topology structure, continuous skeletal structures with too large a difference in length are resampled to obtain a skeletal topology structure with uniform lengths. For example, three consecutive skeletal nodes are A, B, and C, where the skeletal length between node A and node B is 2 meters, and the skeletal length between node B and node 0.1 meter, so by resampling the skeleton between nodes A and C, the skeleton length between node A and node B is set to 1.05 meters, and the length of the skeleton between node A and node B is 1.05 meters. The length of the skeleton between the two can be made 1.05 meters. Of course, by adding a new node between nodes A to C, the skeleton length between adjacent nodes can be shortened. Similarly, if the skeletal length between adjacent nodes is too short and does not match the general anatomy, the skeletal length between adjacent nodes can be reduced by merging some of them and reducing the number of nodes. Increase structure.

本願のいくつかの実施例において、初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得する方式は、複数である。 In some embodiments of the present application, there are multiple ways to obtain the node mapping relationship between the initial source skeleton and the initial target skeleton.

例えば、初期ソース骨格と初期ターゲット骨格における各ノードが位置する骨格分岐の数を決定する。骨格分岐の数の多い順に応じて、初期ソース骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行う。位置する骨格分岐の数が最も多いノードは、一般的には、ルートノードと呼ばれる。ここで、ノードが位置する骨格分岐の数を度数と呼ぶ。つまり、まず、２つの骨格における度数が大きいノード間のマッピング関係を構築し、更に、度数が小さいノード間のマッピング関係を構築する。又は、骨格分岐マッピング誤差値が最も小さいという原則を用いてマッピングを行ってもよい。ここで、初期ソース骨格と初期ターゲット骨格とのノード数が異なると、コストが最も低い最小の多対一のマッピングを用いる。例えば、多対一又はスキップマップングが発生したシーケンスにおいて、一対一の結合マッチングを実行するという方式で、マッピングを行ってもよい。 For example, determine the number of skeletal branches in which each node in the initial source skeleton and initial target skeleton is located. The nodes in the initial source skeleton and the initial target skeleton are mapped in order according to the order of the number of skeleton branches. The node with the largest number of skeletal branches located is generally called the root node. Here, the number of skeletal branches in which a node is located is called the degree. That is, first, a mapping relationship between nodes with high frequencies in the two skeletons is constructed, and then a mapping relationship between nodes with low frequencies is constructed. Alternatively, mapping may be performed using the principle that the skeleton branch mapping error value is the smallest. Here, if the number of nodes in the initial source skeleton and the initial target skeleton are different, the minimum many-to-one mapping with the lowest cost is used. For example, mapping may be performed by performing one-to-one join matching in a sequence in which many-to-one or skip mapping occurs.

本願のいくつかの実施例において、以下の方式を用いて、マッピング関係が構築されていないノードに対して、マッピング関係を構築してもよい。 In some embodiments of the present application, mapping relationships may be established for nodes for which mapping relationships have not been established using the following scheme.

例えば、現在ソースノードに１つのみの子ノードがある場合、つまり、現在ソースノードが骨格分岐の合流点ではない場合、その子ノードのマッピング関係を参照してもよい。例えば、その子ノードとのマップング関係を有するターゲットノード間のマッピング関係を構築する。又は、現在ソースノードが骨格分岐の合流点である場合、複数の骨格分岐のノードに基づいてマージを行い、上限ノードを除去する。また例えば、上記如何なる条件も満たさない場合、初期ターゲット骨格のルートノードをマッピングすると黙認される。無論、本願のいくつかの実施例において、骨格分岐の数の多い順に応じて、両者間のマッピング関係を得た後、マップングのための対応するターゲットノードが存在しないソースノードについて、マップング関係を更に構築しなくてもよい。 For example, if the current source node has only one child node, that is, if the current source node is not a confluence of skeletal branches, the mapping relationship of that child node may be referred to. For example, a mapping relationship is established between target nodes that have mapping relationships with their child nodes. Alternatively, if the current source node is a confluence of skeletal branches, merge is performed based on nodes of multiple skeletal branches and the upper limit node is removed. For example, if any of the above conditions are not met, mapping the root node of the initial target skeleton is tacitly accepted. Of course, in some embodiments of the present application, after obtaining the mapping relationship between them according to the order of the number of skeleton branches, the mapping relationship is determined for the source node for which there is no corresponding target node for mapping. No further construction is required.

ターゲット対象のクラスを取得し、クラスに合致した骨格モデルから、初期ソース骨格を選択することで、便利で迅速である。骨格分岐の数の多い順に応じて、初期骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行うことで、マッピングの正確度を向上させることができる。 It is convenient and quick to obtain the target class and select the initial source skeleton from the skeleton models that match the class. Mapping accuracy can be improved by sequentially mapping nodes in the initial skeleton and the initial target skeleton according to the order of the number of skeleton branches.

本願のいくつかの実施例において、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、最終的なターゲット骨格と最終的なソース骨格とのノードが一対一にマッピングされる。つまり、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造は、２種の形式がある可能性がある。１つは、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造が完全に一致すうことである。もう１つは、最終的なターゲット骨格におけるノードについて、これに対応する最終的なソース骨格におけるノードがいずれも存在するが、最終的なソース骨格において、マッピング関係が構築されていないいくつかのノードが存在することである。即ち、動画が移行された後に、最終的なターゲット骨格におけるノードに、いずれも対応する動画駆動データがあることを確保する必要がある。 In some embodiments of the present application, the node topology structures of the final target skeleton and the final source skeleton match, and/or the nodes of the final target skeleton and the final source skeleton are one-to-one. mapped. In other words, the node topology structures of the final target skeleton and the final source skeleton may have two types of formats. One is that the node topology structures of the final target skeleton and the final source skeleton completely match. The other is that for every node in the final target skeleton, there is a corresponding node in the final source skeleton, but some nodes have no mapping relationship established in the final source skeleton. exists. That is, after the video is migrated, it is necessary to ensure that every node in the final target skeleton has corresponding video driving data.

本願のいくつかの実施例において、ノードマッピング関係は、初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含む。 In some embodiments of the present application, the node mapping relationships include mapping relationships between nodes in the initial source skeleton and the initial target skeleton.

ノード対応関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることは、以下の少なくとも１つを含む。 Updating the node topology structure of at least one of the initial source skeleton and the initial target skeleton based on the node correspondence to obtain the final source skeleton and the final target skeleton includes at least one of the following: include.

１つ目は、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、そのうちの１つの骨格のノードトポロジ構造を更新することである。ここで、２つの骨格は、初期ソース骨格と初期ターゲット骨格を含み、更新された２つの骨格間のノードは、一対一にマッピングされる。骨格のノードトポロジ構造を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードの一対一のマッピングに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。 The first is to update the node topology structure of one of the skeletons when there are multiple nodes mapped to the same node between the two skeletons. Here, the two skeletons include an initial source skeleton and an initial target skeleton, and nodes between the two updated skeletons are mapped one-to-one. By updating the node topology structure of the skeletons, we adjust the mapping of multiple nodes between two skeletons to the same node to a one-to-one mapping of nodes between two skeletons, and furthermore, we Reduce the occurrence of unreasonable situations in the video-driven process of the target skeleton.

本願のいくつかの実施例において、そのうちの１つの骨格のノードトポロジ構造を更新することは、更に、複数のケースに分けられる。第１ケースにおいて、複数のノードが同一の骨格分岐に位置する場合、複数のノードが位置する第１骨格を更新する。ここで、第１骨格と第２骨格のうちの１つは、初期ソース骨格であり、もう１つは、ターゲット骨格である。複数のノードが位置する第１骨格を更新することで、２つの骨格間の複数のノードが同一のノードにマッチングされることを２つの骨格間のノードが一対一にマッピングされることに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。 In some embodiments of the present application, updating the node topology structure of one of the skeletons is further divided into multiple cases. In the first case, if multiple nodes are located on the same skeleton branch, the first skeleton where the multiple nodes are located is updated. Here, one of the first skeleton and the second skeleton is an initial source skeleton, and the other is a target skeleton. By updating the first skeleton where multiple nodes are located, it is possible to adjust the fact that multiple nodes between two skeletons are matched to the same node to one-to-one mapping of nodes between two skeletons. , further reducing the occurrence of unreasonable situations in the subsequent final target skeleton animation driving process.

本願のいくつかの実施例において、複数のノードが位置する第１骨格を更新する方式は、１つの骨格における複数のノードを１つの第１ノードとしてマージすることであってもよい。ここで、第１ノードは、マージ前の複数のノードのマッピング関係を維持する。そして、第１ノードの位置は、全てのマージされるノードの位置の平均値である。それと同時に、図２を参照すると、図２は、本願の実施例による動画移行方法におけるマッピング関係の概略図である。図２に示すように、初期ターゲット骨格における２番目のノード２０１と３番目のノード２０２が同時に初期ソース骨格における２番目のノード２１１にマッピングされる場合、初期ターゲット骨格における２番目のノード２０１と３番目のノード２０２を１つの第１ノードにマージする。ここで、第１ノードの位置は、初期ターゲット骨格における２番目のノード２０１と３番目のノード２０２の位置の平均値である。ここで、第１骨格が初期ソース骨格である場合、初期ソース骨格におけるノードが動画駆動データを付帯しているため、ノードがマージされた後、第１ノードの動画駆動データを取得する必要がある。この場合、マージされる全てのノードの動画駆動データをマージしてもよい。本願のいくつかの実施例において、動画駆動データは、一般的には、行列で表される。行列のマージは、行列乗算によって表されてもよい。即ち、動画駆動データを乗算することで、第１ノードの動画駆動データを得ることができる。第２ケースにおいて、複数のノードが異なる骨格分岐に位置する場合、複数のノードを含まない第２骨格を更新する。ここで、第１骨格と第２骨格のうちの１つは、初期ソース骨格であり、もう１つのターゲット骨格である。本願のいくつかの実施例において、第１骨格から、複数のノードが位置する骨格分岐が合流する第２ノードを探し出す。具体的には、親ノードを順にトラバースし、第２ノードを得る。第２骨格から、第２ノードにマッピングされる第３ノードを探し出す。続いて、複数のノードに対応するノードトポロジ構造を探し、第３ノードに少なくとも１つの骨格分岐を新規追加する。本願の実施例において、１つのノードの親ノードは、１つの骨格分岐において、該ノードに隣接し、かつ該ノードよりもルートノードに近いノードである。ここで、複数のノードは、第３ノードで新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされる。ここで、新規追加された骨格分岐は、オリジナル骨格分岐をコピーしたものであってもよい。コピーしたコンテンツは、動画データ、及び該ノードとその親ノードとの間の変換関係を含む。例えば、オリジナル骨格分岐に３つのノードが含まれば、新規追加された骨格分岐にも３つのノードが含まれ、かつ新規追加された骨格分岐における３つのノードの動画駆動データは、オリジナル骨格分岐における対応するノードの動画データをコピーすることで得られたものである。それと同時に、図３を参照すると、図３は、本願の実施例による動画移行方法におけるマッピング関係の概略図である。図３に示すように、左側のノードトポロジ構造は、初期ソース骨格のノードトポロジ構造であり、右側のノードトポロジ構造は、初期ターゲット骨格のノードトポロジ構造である。図３において、初期ターゲット骨格の１番目のノード３０１は、初期ソース骨格の１番目のノード３１１にマッピングされ、初期ターゲット骨格の２番目のノード３０２は、初期ソース骨格の２番目のノード３１２にマッピングされ、初期ターゲット骨格の２番目のノード３０２では、２つの分岐、即ち左分岐と右分岐を含み、左分岐における１番目のノード３０２１と右分岐における１番目のノード３０２２は、初期ソース骨格の３番目のノード３１３にマッピングされ、左分岐における２番目のノード３０２３と右分岐における２番目のノード３０２４は、初期ソース骨格の４番目のノード３１４にマッピングされる。従って、初期ターゲット骨格における２つのノードが初期ソース骨格の３番目のノード３１３にマッピングされ、且つこれら２つのノードが異なる分岐に属し、そして、初期ターゲット骨格における２つのノードが初期ソース骨格の４番目のノード３１４にマッピングされ、且つこれ２つのノードが異なる分岐に属することが発生した。ここで、これら２つの分岐は、初期ターゲット骨格の２番目のノード３０２で合流する。初期ソース骨格から、初期ターゲット骨格にマッピングされる２番目のノード３０２を２番目のノードとして探し出す。初期ターゲット骨格のこれら２つのノードに対応するノードトポロジ構造に応じて、初期ソース骨格の２番目のノードで、１つの骨格分岐を新規追加する。ここで、新規追加された１つの骨格分岐におけるノードは、２つである。この場合、初期ターゲット骨格における全てのノードは、いずれも、初期ソース骨格におけるノードに一対一に対応する。従って、このような方式で、ノードの一対一のマッピングを実現する場合、第１骨格のノードトポロジ構造も最大限に維持できる。 In some embodiments of the present application, a way to update a first skeleton in which multiple nodes are located may be to merge multiple nodes in one skeleton as one first node. Here, the first node maintains the mapping relationship of the plurality of nodes before merging. The position of the first node is the average value of the positions of all nodes to be merged. At the same time, please refer to FIG. 2, which is a schematic diagram of a mapping relationship in a video migration method according to an embodiment of the present application. As shown in FIG. 2, if the second node 201 and the third node 202 in the initial target skeleton are simultaneously mapped to the second node 211 in the initial source skeleton, then the second node 201 and the third node 202 in the initial target skeleton 202 into one first node. Here, the position of the first node is the average value of the positions of the second node 201 and the third node 202 in the initial target skeleton. Here, if the first skeleton is the initial source skeleton, the nodes in the initial source skeleton are accompanied by video driving data, so after the nodes are merged, it is necessary to obtain the video driving data of the first node. . In this case, the video driving data of all nodes to be merged may be merged. In some embodiments of the present application, video driving data is generally represented as a matrix. Matrix merging may be represented by matrix multiplication. That is, by multiplying the moving image driving data, the moving image driving data of the first node can be obtained. In the second case, if multiple nodes are located in different skeleton branches, update a second skeleton that does not include multiple nodes. Here, one of the first skeleton and the second skeleton is an initial source skeleton and the other is a target skeleton. In some embodiments of the present application, a second node is located from a first skeleton where skeleton branches in which multiple nodes are located merge. Specifically, the parent nodes are traversed in order to obtain the second node. A third node that is mapped to the second node is found from the second skeleton. Next, a node topology structure corresponding to a plurality of nodes is searched, and at least one skeletal branch is newly added to the third node. In the embodiment of the present application, a parent node of a node is a node that is adjacent to the node in one skeletal branch and is closer to the root node than the node. Here, the plurality of nodes are mapped one-to-one with nodes in the skeleton branch newly added at the third node and the nodes in the original skeleton branch. Here, the newly added skeleton branch may be a copy of the original skeleton branch. The copied content includes video data and the transformation relationship between the node and its parent node. For example, if the original skeletal branch contains three nodes, the newly added skeletal branch also contains three nodes, and the video driving data of the three nodes in the newly added skeletal branch is This is obtained by copying the video data of the corresponding node. At the same time, referring to FIG. 3, FIG. 3 is a schematic diagram of a mapping relationship in a video migration method according to an embodiment of the present application. As shown in FIG. 3, the node topology structure on the left is the node topology structure of the initial source skeleton, and the node topology structure on the right is the node topology structure of the initial target skeleton. In FIG. 3, the first node 301 of the initial target skeleton is mapped to the first node 311 of the initial source skeleton, and the second node 302 of the initial target skeleton is mapped to the second node 312 of the initial source skeleton. and the second node 302 of the initial target skeleton contains two branches, namely a left branch and a right branch, and the first node 3021 in the left branch and the first node 3022 in the right branch are 302 of the initial source skeleton. The second node 3023 in the left branch and the second node 3024 in the right branch are mapped to the fourth node 314 of the initial source skeleton. Therefore, two nodes in the initial target skeleton are mapped to the third node 313 of the initial source skeleton, and these two nodes belong to different branches, and two nodes in the initial target skeleton are mapped to the fourth node 313 of the initial source skeleton. node 314, and these two nodes belong to different branches. Here, these two branches meet at the second node 302 of the initial target skeleton. From the initial source skeleton, a second node 302 that is mapped to the initial target skeleton is found as the second node. Depending on the node topology structure corresponding to these two nodes of the initial target skeleton, one new skeleton branch is added at the second node of the initial source skeleton. Here, there are two nodes in one newly added skeleton branch. In this case, every node in the initial target skeleton has a one-to-one correspondence with a node in the initial source skeleton. Therefore, when one-to-one mapping of nodes is achieved using this method, the node topology structure of the first skeleton can also be maintained to the maximum extent possible.

２つ目は、骨格にマッピング関係のないノードがある場合、マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することである。ここで、２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された２つの骨格間のノードが一対一にマッピングされる。マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することで、マッピング関係のないノードを減少させ、更新された２つの骨格間のノードを一対一にマッピングさせることによって、後続で最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。本願のいくつかの実施例において、マッピング関係のないノードを、マッピング関係のある隣接ノードにマージする。ここで、隣接ノードは、マッピング関係のないノードが位置する骨格における、マッピング関係のないノードの親ノード又は子ノードである。本願の実施例において、マッピング関係のないノードをその親ノードにマージする。図４を参照すると、図４は、本願の実施例による動画移行方法におけるマッピング関係の概略図である。図４に示すように、初期ターゲット骨格の１番目のノード４０１は、初期ソース骨格の１番目のノード４１１にマッピングされ、初期ターゲット骨格の２番目のノード４０２は、初期ソース骨格の３番目のノード４１３にマッピングされ、初期ターゲット骨格の３番目のノード４０３は、初期ソース骨格の４番目のノード４１４にマッピングされる。ここで、初期ソース骨格の２番目のノード４１２は、マッピング関係を有しない。初期ソース骨格の２番目のノード４１２をその親ノードにマージし、つまり、初期ソース骨格の１番目のノード４０１にマージしてもよい。無論、初期ソース骨格におけるノードマージは、いずれも、動画駆動データ間のマージを伴う。 The second step is to update the node topology structure of the skeleton where the node with no mapping relationship is located if the skeleton has a node with no mapping relationship. Here, the two skeletons include an initial source skeleton and an initial target skeleton, and nodes between the two updated skeletons are mapped one-to-one. By updating the node topology structure of the skeleton in which nodes that have no mapping relationship are located, the number of nodes that have no mapping relationship is reduced, and by mapping the nodes between the two updated skeletons one-to-one, the final Reduce the occurrence of unreasonable situations in the video-driven process of the target skeleton. In some embodiments of the present application, nodes that have no mapping relationship are merged with adjacent nodes that have a mapping relationship. Here, the adjacent node is a parent node or a child node of a node that has no mapping relationship in the skeleton where the node that has no mapping relationship is located. In an embodiment of the present application, a node with no mapping relationship is merged with its parent node. Referring to FIG. 4, FIG. 4 is a schematic diagram of a mapping relationship in a video migration method according to an embodiment of the present application. As shown in FIG. 4, the first node 401 of the initial target skeleton is mapped to the first node 411 of the initial source skeleton, and the second node 402 of the initial target skeleton is mapped to the third node of the initial source skeleton. 413, and the third node 403 of the initial target skeleton is mapped to the fourth node 414 of the initial source skeleton. Here, the second node 412 of the initial source skeleton has no mapping relationship. The second node 412 of the initial source skeleton may be merged with its parent node, ie, the first node 401 of the initial source skeleton. Of course, any node merging in the initial source skeleton involves merging between video driving data.

本願のいくつかの実施例において、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得る前に、最終的なソース骨格と最終的なターゲット骨格との第１位置姿勢変換関係を決定する必要がある。実施時、ルートソースノードからリーフソースノードへの順番に応じて、最終的なソース骨格における各ソースノードと最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得る。上記実施例に記載したように、ルートノードは、位置する骨格分岐の数が最も多いノードであるため、ルートソースノードは、最終的なソース骨格におけるルートノードである。同様に、ルートターゲットノードは、最終的なターゲット骨格のルートノードである。ここで、リーフノードは、親ノードを有するが、子ノードを有しないノードである。リーフソースノードは、最終的なソース骨格におけるリーフノードであり、リーフターゲットノードは、最終的なターゲット骨格におけるリーフノードである。即ち、まず、ルートソースノード及びルートソースノードとマッピング関係のあるルートターゲットノードを位置合わせする。続いて、ルートソースノードに接続されるリーフソースノード及び該リーフソースノードとはマッピング関係のあるリーフターゲットノードを位置合わせする。このように類推して、最終的なターゲット骨格における全てのノードと最終的なソース骨格のノードがいずれも一対一に位置合わせされるまで継続する。ここで、該ソースノードについて、ターゲット骨格において対応するターゲットノードが存在しない場合、該ソースノードをスキップし、直接的に次のソースノードの位置合わせを行ってもよい。無論、他の実施例において、該ソースノードについて、ターゲット骨格において対応するターゲットノードが存在しない場合、該ソースノードをその隣接する親ノード又は子ノードにマージし、該親ノード又は子ノードのマッピング関係を維持し、マージされたソースノードと対応するターゲットノードを位置合わせする。ソースノードとターゲットノードとの位置合わせを行うことで、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができ、それにより第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得ることを実現する。 In some embodiments of the present application, the first video driving data associated with the initial source skeleton is migrated to the final target skeleton, and the final source skeleton is transferred before obtaining the second video driving data of the final target skeleton. It is necessary to determine a first position/orientation transformation relationship between the skeleton and the final target skeleton. During implementation, each source node in the final source skeleton is aligned with the correspondingly mapped target node in the final target skeleton, according to the order from root source node to leaf source node, and each source node is A first position/orientation transformation relationship between the mapped target node and the mapped target node is obtained. As described in the above embodiment, the root node is the node with the largest number of located skeleton branches, so the root source node is the root node in the final source skeleton. Similarly, the root target node is the root node of the final target skeleton. Here, a leaf node is a node that has a parent node but no child nodes. Leaf source nodes are leaf nodes in the final source skeleton, and leaf target nodes are leaf nodes in the final target skeleton. That is, first, a root source node and a root target node that has a mapping relationship with the root source node are aligned. Subsequently, a leaf source node connected to the root source node and a leaf target node having a mapping relationship with the leaf source node are aligned. By analogy, this continues until all nodes in the final target skeleton and nodes in the final source skeleton are all aligned one-to-one. Here, if there is no corresponding target node in the target skeleton for the source node, the source node may be skipped and the next source node may be directly aligned. Of course, in other embodiments, if there is no corresponding target node in the target skeleton for the source node, the source node is merged with its adjacent parent node or child node, and the mapping relationship of the parent node or child node is determined. and align the merged source node and the corresponding target node. By aligning the source node and the target node, it is possible to obtain the first position/orientation transformation relationship between each source node and the mapped target node, and thereby the first video driving data and the first position/orientation transformation By using the relationship, it is possible to obtain the second moving image driving data of the final target skeleton.

本願のいくつかの実施例において、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進する。続いて、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードを位置合わせする。本願のいくつかの実施例において、最終的なターゲット骨格のルートターゲットノードを直接的に第１座標系の原点としてもよい。第１位置姿勢変換関係は、ソースノードとマッピングされるターゲットノードの、第１座標系における変換関係である。最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードがいずれも第１座標系の原点に並進することで、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードとのオフセットを取得することができる。 In some embodiments of the present application, the root source node of the final source skeleton and the root target node of the final target skeleton both translate to the origin of the first coordinate system. Next, the root source node of the final source skeleton and the root target node of the final target skeleton are aligned. In some embodiments of the present application, the root target node of the final target skeleton may be directly the origin of the first coordinate system. The first position and orientation transformation relationship is a transformation relationship in the first coordinate system between the source node and the mapped target node. The root source node of the final source skeleton and the root target node of the final target skeleton are both translated to the origin of the first coordinate system, so that the root source node of the final source skeleton and the root target node of the final target skeleton are You can get the offset to the root target node.

本願のいくつかの実施例において、最終的なソース骨格における各ソースノードについて、ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得する。ここで、オフセットは、並進成分と回転成分を含む。並進成分にスケーリング成分が含まれる。続いて、ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得る。オフセットが並進成分と回転成分を含むことによって、取得された第１位置姿勢変換関係をより正確にする。ここで、ソースノードに対応するオフセットは、ソースノードの第１親ノードが位置合わせされ、かつ第１親ノードが第２座標系の原点である場合、ソースノードとマッピングされるターゲットノードの、第２座標系におけるオフセットである。ここで、第１座標系及び第２座標系が出現した。ルートソースノードとルートターゲットノードが既に第１座標系の原点に移動しており、即ち、第１座標系がルートターゲットノードを原点とした座標系である。ノードトポロジ構造において、ルートソースノードとルートターゲットノード以外、全てのリーフソースノードとリーフターゲットノードは、いずれも対応する親ノードを有する。且つ各リーフノードは多くとも１つの親ノードを有する。１つのリーフノードが複数の親ノードに対応するというケースが存在しない。第２座標系は、リーフノードの親ノードを座標系の原点とした座標系である。ここで、第１座標系は、ワールドスペースと見なされてもよく、第２座標系は、ローカルスペースと見なされてもよい。最終的なソース骨格におけるあるノードにとって、ワールドスペースは、ルートソースノードを原点とした座標系であり、ローカルスペースは、該ノードの親ノードを原点とした座標系である。 In some embodiments of the present application, for each source node in the final source skeleton, the offset required to align the source node with the mapped target node is obtained. Here, the offset includes a translational component and a rotational component. A scaling component is included in the translational component. Subsequently, a first position and orientation transformation relationship of the source node is obtained based on the offset corresponding to the source node. Since the offset includes a translational component and a rotational component, the obtained first position/orientation transformation relationship is made more accurate. Here, the offset corresponding to the source node is the offset of the target node mapped to the source node if the first parent node of the source node is aligned and the first parent node is the origin of the second coordinate system. This is an offset in two coordinate systems. Here, a first coordinate system and a second coordinate system have appeared. The root source node and the root target node have already moved to the origin of the first coordinate system, that is, the first coordinate system is a coordinate system with the root target node as the origin. In the node topology structure, except for the root source node and the root target node, all leaf source nodes and leaf target nodes have corresponding parent nodes. And each leaf node has at most one parent node. There is no case where one leaf node corresponds to multiple parent nodes. The second coordinate system is a coordinate system in which the parent node of the leaf node is the origin of the coordinate system. Here, the first coordinate system may be considered world space, and the second coordinate system may be considered local space. For a node in the final source skeleton, world space is a coordinate system originating from the root source node, and local space is a coordinate system originating from the node's parent node.

本願のいくつかの実施例において、位置合わせされた第１親ノードとルートソースノードとの第２位置姿勢変換関係、及びソースノードがマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得する。ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、ソースノードに対応するオフセットを得る。ここで、ここの位置姿勢は、位置と回転を含む。 In some embodiments of the present application, a second pose transformation relationship between the aligned first parent node and the root source node and a second position transformation relationship between the second parent node of the target node to which the source node is mapped and the root target node is provided. A third position/orientation conversion relationship is obtained. An offset corresponding to the source node is obtained based on the position and orientation in the first coordinate system, the second position and orientation transformation relationship, and the third position and orientation transformation relationship of the source node and the mapped target node. Here, the position/orientation here includes position and rotation.

実施時、式（１）と（２）を用いて、最終的なソース骨格と最終的なターゲット骨格とのノードを位置合わせしてもよい。 In implementation, equations (1) and (2) may be used to align the nodes of the final source skeleton and the final target skeleton.

ここで、 here,

は、ソースノードｉの親ノードインデックスであり、 is the parent node index of source node i,

は、位置合わせされた第１親ノードとルートソースノードとの第２位置姿勢変換関係を表し、 represents the second position/orientation transformation relationship between the aligned first parent node and root source node,

は、ソースノードがマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を表し、 represents a third position/orientation transformation relationship between the second parent node of the target node to which the source node is mapped and the root target node,

は、ソースノードｉの、第１座標系における位置姿勢であり、 is the position and orientation of source node i in the first coordinate system,

は、ソースノードがマッピングされるターゲットノードの、第１座標系における位置姿勢であり、 is the position and orientation in the first coordinate system of the target node to which the source node is mapped,

は、括弧内のコンテンツを反転することであり、 is to invert the content inside the parentheses,

は、第２座標系において、ソースノードとターゲットノードとの位置合わせのオフセットである。 is the alignment offset between the source node and the target node in the second coordinate system.

は、ルートソースノードとルートターゲットノードとの位置合わせのオフセットである。上記式（１）と式（２）を交互に解く。ここで、公式（１）により求められれる is the alignment offset between the root source node and the root target node. Solve the above equation (1) and equation (2) alternately. Here, calculated by formula (1)

は、その子ノードの第２位置姿勢変換関係とする。即ち、上記式（２）により求められる is the second position/orientation transformation relation of its child node. That is, it is determined by the above formula (2)

を式（１）に代入して Substituting into equation (1),

を求め、続いて、式（１）により求められる is obtained, and then obtained by equation (1)

を式（２）に代入して次のノードの Substituting into equation (2), the next node's

を求めることによって、式（１）と式（２）を交互に解くことを実現させる。 By finding , it is possible to solve equations (1) and (2) alternately.

ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得る。本願のいくつかの実施例において、ソースノード及びソースノードの上位ノードのそれぞれに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得る。ここで、ソースノードの上位ノードは、最終的なソース骨格におけるソースノードの第１親ノード、ルートソースノード及び第１親ノードとルートソースノードとの間のノードである。ここで、オフセットはいずれも行列で表されてもよい。本願のいくつかの実施例において、ソースノード及びソースノードの上位ノードのそれぞれに対応するオフセットに対して行列乗算を行うことで、ソースノードの第１位置姿勢変換関係を得ることができる。 A first position and orientation transformation relationship of the source node is obtained based on the offset corresponding to the source node. In some embodiments of the present application, a first position-orientation transformation relationship of the source node is obtained based on offsets corresponding to each of the source node and the upper node of the source node. Here, the upper nodes of the source node are the first parent node of the source node, the root source node, and the nodes between the first parent node and the root source node in the final source skeleton. Here, all offsets may be represented by a matrix. In some embodiments of the present application, the first position and orientation transformation relationship of the source node can be obtained by performing matrix multiplication on the offsets corresponding to the source node and the upper nodes of the source node.

本願のいくつかの実施例において、最終的なターゲット骨格の第２動画駆動データは、第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものである。上記実施例に記載したように、第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係である。ここで、最終的なターゲット骨格は、ターゲット対象の骨格である。ここで、第１動画駆動データは、最終的なソース骨格と初期ソース骨格とのトポロジ構造差異に基づいて、初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものである。最終的なソース骨格のトポロジ構造と初期ソース骨格のトポロジ構造が一致する場合、初期ソース骨格に関連する第１動画駆動データは、初期ソース骨格の動画駆動データと同じである。最終的なソース骨格のトポロジ構造と初期ソース骨格が異なる場合、ソース骨格が更新されていても、最終的なソース骨格の第１動画駆動データは、初期ソース骨格の動画駆動データと異なる。ここで、最終的なソース骨格の第１動画駆動データは、最終的なソース骨格と初期ソース骨格とのトポロジ構造差異に基づいて決定されてもよい。つまり、最終的なソース骨格の第１動画駆動データは、そのトポロジ構造の変化に応じて、変わってもよい。例えば、初期ソース骨格のソースノードＡとその子ノードＢが１つのノードＣに融合され、最終的なソース骨格のトポロジ構造を得る場合、最終的なソース骨格におけるノードＣの動画データは、ソースノードＡとその子ノードＢの動画データの融合であってもよい。無論、他の実施例において、２つのソースノードがマージされる場合、２つのソースノードにおける子ノードの動画駆動データを削除してもよい。初期ソース骨格に関連する第１動画駆動データを得る方式について、ここで限定しない。 In some embodiments of the present application, the final second moving image driving data of the target skeleton is obtained based on the first moving image driving data and the first position and orientation transformation relationship. As described in the above embodiments, the first position/orientation transformation relationship is a transformation relationship between a source node in the final source skeleton and a mapped target node in the final target skeleton. Here, the final target skeleton is the skeleton of the target object. Here, the first video driving data is obtained by adjusting the original video data of the initial source skeleton based on the topological structure difference between the final source skeleton and the initial source skeleton. If the topological structure of the final source skeleton and the topological structure of the initial source skeleton match, the first video driving data associated with the initial source skeleton is the same as the video driving data of the initial source skeleton. If the topology structure of the final source skeleton is different from the initial source skeleton, the first video driving data of the final source skeleton is different from the video driving data of the initial source skeleton even if the source skeleton is updated. Here, the first video driving data of the final source skeleton may be determined based on a topological structure difference between the final source skeleton and the initial source skeleton. That is, the first video driving data of the final source skeleton may change according to changes in its topological structure. For example, when source node A and its child node B of the initial source skeleton are fused into one node C to obtain the topology structure of the final source skeleton, the video data of node C in the final source skeleton is It may also be a fusion of the video data of the node B and its child node B. Of course, in other embodiments, if two source nodes are merged, the video driving data of child nodes in the two source nodes may be deleted. The method of obtaining the first moving image driving data related to the initial source skeleton is not limited here.

ここで、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得る方式は、
ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係に基づいて、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることを含む。ここで、第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係は、行列で表されてもよい。行列乗算により、幾何学的メッシュ頂点の第２位置情報を得ることができる。ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係を結合することで、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることができ、プロセスが便利である。 Here, the method of transferring the first video driving data related to the initial source skeleton to the final target skeleton and obtaining the second video driving data of the final target skeleton is as follows.
Obtaining second position information regarding the geometric mesh vertices in the second moving image driving data based on the first position information of the geometric mesh vertices in the target object, the first moving image driving data, and the first position/orientation transformation relationship. including. Here, the first position information, the first moving image drive data, and the first position/orientation conversion relationship may be expressed in a matrix. The second position information of the geometric mesh vertices can be obtained by matrix multiplication. By combining the first position information of the geometric mesh vertices in the target object, the first moving image driving data, and the first position/orientation transformation relationship, the second position information regarding the geometric mesh vertices in the second moving image driving data is obtained. The process is convenient.

ここで、初期ソース骨格に関連する第１動画駆動データを利用して、最終的なターゲット骨格の動きを駆動する前に、骨格スキニングを行う必要がある。ここで、骨格スキニングの一般的な方法が多く、ここで一々列挙しない。本願のいくつかの実施例において、１つの幾何学的メッシュ頂点が複数のターゲットノードによる影響を受ける場合、幾何学的メッシュ頂点に対する各ターゲットノードの影響重みを計算する必要がある。ここで、線形ハイブリッドスキニング方法を用いてもよい。標準的な線形ハイブリッドスキニングにおいて、作成ツールを用いて、各頂点に対して、頂点に影響を及ぼすことができる１組のターゲットノードに対応する重みを割り当てる。無論、他の実施例において、ヒートバランス方法で重みを決定してもよい。例えば、頂点に影響を及ぼすノード温度を１とし、頂点に影響を及ぼさないノード温度を０とし、続いて、メッシュ表面のヒートバランスの問題を解決する。 Here, it is necessary to perform skeleton skinning before driving the movement of the final target skeleton using the first video driving data related to the initial source skeleton. Here, there are many common methods of skeleton skinning, and we will not list them one by one here. In some embodiments of the present application, if one geometric mesh vertex is influenced by multiple target nodes, it is necessary to calculate the influence weight of each target node on the geometric mesh vertex. Here, a linear hybrid skinning method may be used. In standard linear hybrid skinning, a creation tool is used to assign each vertex a weight that corresponds to a set of target nodes that can influence the vertex. Of course, in other embodiments, the weights may be determined using a heat balance method. For example, the node temperature that affects the vertices is set to 1, the node temperature that does not affect the vertices is set to 0, and then the problem of heat balance on the mesh surface is solved.

本願のいくつかの実施例において、幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、リファレンスノードの影響重みを得る。実施時、１つの頂点が複数のノードによる影響を受ける可能性があるが、現在のグラフィックスプロセッサ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＧＰＵ）により最終的にサポートされる、単一の頂点に影響を及ぼすノード数が４であり、即ち、１つの頂点は多くとも４つのノードによる影響を受ける。ここで、これら４つのノードの影響重みの和は、１である。頂点に影響を及ぼすリファレンスノードの数が４よりも大きいことが算出された場合、各影響重みを順序付け、最も高い４つの重みに対応するノードをリファレンスノードとして選択し、これら４つのリファレンスノードの影響重みを再計算し、これら４つのリファレンスノードの影響重みの和を１にする。 In some embodiments of the present application, at least one target node whose distance to a geometric mesh vertex satisfies a predetermined condition is obtained as a reference node, and the influence weight of the reference node is obtained. In implementation, one vertex can be affected by multiple nodes, but the number of nodes affecting a single vertex that is ultimately supported by current graphics processing units (GPUs). is 4, ie one vertex is influenced by at most 4 nodes. Here, the sum of the influence weights of these four nodes is 1. If it is calculated that the number of reference nodes that influence a vertex is greater than 4, order each influence weight, select the nodes corresponding to the highest 4 weights as reference nodes, and calculate the influence of these 4 reference nodes. Recalculate the weights and make the sum of the influence weights of these four reference nodes 1.

ここで、式（３）を用いて、メッシュ表面のヒートバランスの問題を解決することができる。 Here, the problem of heat balance on the mesh surface can be solved using equation (3).

ここで、ノードｉが所定の条件を満たす場合、ｐｉは１に等しく、そうでなければ、０である。 Here, if node i satisfies a predetermined condition, pi is equal to 1, otherwise it is 0.

は、離散表面におけるラプラス演算子である。Ｈは、対角行列である。ここで、Ｈは、一般的にはｃ／ｄに等しく、ｃの値は、０．２２又は１などであってもよく、ｄは、ノードｉと頂点との距離であり、Ｈの目的は、重み係数と、骨格と頂点との距離と、を反比例にすることである。このような方式で、リファレンスノードの重みを得ることができる。 is the Laplace operator on a discrete surface. H is a diagonal matrix. Here, H is generally equal to c/d, the value of c may be 0.22 or 1, etc., d is the distance between node i and the vertex, and the purpose of H is , the weighting coefficient and the distance between the skeleton and the vertex are made inversely proportional. With this method, the weight of the reference node can be obtained.

第１動画駆動データにおける、リファレンスノードに関する第４位置姿勢変換関係とリファレンスノードに対応する第１位置姿勢変換関係に基づいて、リファレンスノードに対応する第５位置姿勢変換関係を得る。続いて、第１位置姿勢変換関係及びソースノードの第４位置姿勢変換関係に基づいて、リファレンスノードの第５位置姿勢変換関係を得る。ここで、ここのリファレンスノードに関する第４位置姿勢変換関係は、動画キーフレームに付帯されているソース骨格の各ノードの変換関係であってもよく、例えば、ソースノードと其親ノードとの間の変換関係であってもよい。ソースノードとルートソースノードとの全ての隣接ノード間の変換関係を乗算し、ソースノードとターゲットノードとの第１位置姿勢変換関係を結び付けることで、ターゲットノードの第５位置姿勢変換関係を得ることができる。第４位置姿勢変換関係は、並進及び／又は回転を含む。 A fifth position and orientation conversion relationship corresponding to the reference node is obtained based on the fourth position and orientation conversion relationship regarding the reference node and the first position and orientation conversion relationship corresponding to the reference node in the first moving image drive data. Subsequently, a fifth position and orientation transformation relationship of the reference node is obtained based on the first position and orientation transformation relationship and the fourth position and orientation transformation relationship of the source node. Here, the fourth position/orientation transformation relationship regarding this reference node may be a transformation relationship of each node of the source skeleton attached to the video key frame, for example, a transformation relationship between the source node and its parent node. It may be a conversion relationship. Multiplying the transformation relationships between all adjacent nodes between the source node and the root source node and connecting the first position and orientation transformation relationships between the source node and the target node to obtain the fifth position and orientation transformation relationship of the target node. Can be done. The fourth position/orientation conversion relationship includes translation and/or rotation.

第１位置情報、各リファレンスノードに対応する第５位置姿勢変換関係及び影響重みを利用して、幾何学的メッシュ頂点の第２位置情報を得る。頂点に対するリファレンスノードの影響重みを考慮することで、取得された幾何学的メッシュ頂点の第２位置情報をより正確にする。 Second position information of the geometric mesh vertices is obtained using the first position information, the fifth position/orientation transformation relationship corresponding to each reference node, and the influence weight. By considering the influence weight of the reference node on the vertex, the obtained second position information of the geometric mesh vertex is made more accurate.

式（４）で幾何学的メッシュ頂点の第２位置情報Ｖ_２を決定してもよい。 The second position information _V2 of the geometric mesh vertices may be determined using equation (4).

は、リファレンスノードｊの影響重みであり、 is the influence weight of reference node j,

は、リファレンスノードｊの第５位置姿勢変換関係であり、Ｖ_１は、幾何学的メッシュ頂点の、静止姿勢時の第１位置情報である。 is the fifth position/orientation transformation relationship of the reference node j, and _V1 is the first position information of the geometric mesh vertex in a static attitude.

本願の実施例による動画移行方法をより良く理解するために、以下の例を参照する。図５を参照すると、図５は、本願の実施例による動画移行方法のフローチャートである。 To better understand the video migration method according to embodiments of the present application, reference is made to the following example. Referring to FIG. 5, FIG. 5 is a flowchart of a video migration method according to an embodiment of the present application.

図５に示すように、本願の実施例による動画移行方法は、以下のステップを含む。 As shown in FIG. 5, the video transition method according to the embodiment of the present application includes the following steps.

ステップＳ２１において、ターゲット対象を含む画像を取得する。 In step S21, an image containing the target object is acquired.

ここで、取得方式は、製図ツール、３Ｄモデリングツール又はカメラによる撮影、他の機器による通信伝送により得られることなどであってもよい。ターゲット対象を含む画像は、２Ｄ画像であってもよく、３Ｄ画像であってもよい。ここで限定しない。 Here, the acquisition method may be a drawing tool, a 3D modeling tool, photography using a camera, or communication transmission using another device. The image containing the target object may be a 2D image or a 3D image. It is not limited here.

ステップＳ２２において、ターゲット対象輪郭を抽出する。 In step S22, a target object contour is extracted.

ここで、ターゲット対象輪郭を抽出する方式は多く、例えば、ターゲット分割、又は、まずターゲット検出を行い、次にターゲット抽出を行うなどの方式であってもよい。画像から必要なターゲット対象を抽出できる如何なる方式であってもよく、ここで限定しない。 Here, there are many methods for extracting the target object contour, such as target segmentation, or methods such as first detecting the target and then extracting the target. Any method that can extract the necessary target object from the image may be used, and is not limited here.

ステップＳ２３において、三角形分割を行う。 In step S23, triangulation is performed.

ターゲット対象に対して三角形分割を行うことで、二次元の三角形メッシュを得ることができる。それにより、二次元の三角形メッシュを利用して三次元メッシュモデルを得ることができる。実現方式は、上記実施例における三次元メッシュの取得方式を参照する。 By performing triangulation on the target object, a two-dimensional triangular mesh can be obtained. Thereby, a three-dimensional mesh model can be obtained using a two-dimensional triangular mesh. For the implementation method, refer to the three-dimensional mesh acquisition method in the above embodiment.

ステップＳ２４において、初期ターゲット骨格を抽出する。 In step S24, an initial target skeleton is extracted.

ここで、三次元メッシュモデルから初期ターゲット骨格を抽出する方式は、上記実施例における記述を参照する。 Here, for the method of extracting the initial target skeleton from the three-dimensional mesh model, refer to the description in the above embodiment.

ステップＳ２５において、ターゲット対象を含む画像に対して分類を行う。 In step S25, classification is performed on the image containing the target object.

ここで、ターゲット対象を含む画像に対して分類を行う方式は、上記実施例における記述を参照する。ここで、動画移行にかかる時間を節約するために、ステップＳ２５とステップＳ２２は同期して実行してもよい。 Here, for the method of classifying an image including a target object, refer to the description in the above embodiment. Here, in order to save time required for video transition, step S25 and step S22 may be executed synchronously.

ステップＳ２６において、初期ソース骨格を選択する。 In step S26, an initial source skeleton is selected.

ここで、ターゲット対象を含む画像に対して分類を行うことで、ターゲット対象のクラスを得、該クラスから、初期ソース骨格を選択することができる。 Here, by performing classification on the image containing the target object, a class of the target object can be obtained, and an initial source skeleton can be selected from the class.

ステップＳ２７において、骨格マッピング及び骨格位置合わせを行う。 In step S27, skeleton mapping and skeleton positioning are performed.

ここで、骨格マッピングは、主に、初期ソース骨格と初期ターゲット骨格とのマッピング関係を取得するためのものであり、骨格位置合わせは、両者間のマッピング関係に基づいて、初期ソース骨格及び／又は初期ターゲット骨格を更新することである。 Here, skeleton mapping is mainly to obtain a mapping relationship between an initial source skeleton and an initial target skeleton, and skeleton alignment is performed based on the mapping relationship between the initial source skeleton and/or target skeleton. The goal is to update the initial target skeleton.

ステップＳ２８において、骨格スキニングを行う。 In step S28, skeleton skinning is performed.

ここで、骨格スキニングは、主に、幾何学的メッシュ頂点とターゲットノードとの関係を取得するためのものである。幾何学的メッシュ頂点とターゲットノードとの影響重みを決定する。影響重みの取得の実現プロセスは、上記実施例における記述を参照する。 Here, skeletal skinning is mainly used to obtain the relationship between geometric mesh vertices and target nodes. Determine the influence weights between the geometric mesh vertices and the target node. For the implementation process of obtaining influence weights, refer to the description in the above embodiment.

ステップＳ２９において、第１動画駆動データを取得する。 In step S29, first moving image drive data is acquired.

キーフレームに第１動画駆動データが記憶されている。キーフレームにおけるデータを読み取ることで、第１動画駆動データを得ることができる。ここで、ソース骨格のトポロジ構造が変更した場合、動画駆動データを変更する必要もある。動画駆動データの方式は、上記実施例に記載したとおりである。 First moving image driving data is stored in the key frame. The first moving image driving data can be obtained by reading the data in the key frame. Here, if the topology structure of the source skeleton changes, it is also necessary to change the video driving data. The method of moving image drive data is as described in the above embodiment.

ステップＳ３０において、動画移行後の各幾何学的メッシュ頂点の位置情報を決定する。 In step S30, position information of each geometric mesh vertex after the moving image transition is determined.

ここで、ここの位置情報は、上記第２位置情報である。ここで、動画移行後の各幾何学的メッシュ頂点の第２位置情報の取得プロセスは、上記実施例における記述を参照する。 Here, the location information here is the second location information. Here, for the process of acquiring the second position information of each geometric mesh vertex after moving to a moving image, refer to the description in the above embodiment.

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。 In the above method of the specific embodiment, the order of description of each step does not mean a strict order of execution and does not limit the implementation process in any way, and the specific order of execution of each step depends on its function and possible inherent Those skilled in the art should understand that it depends on logic.

動画移行方法の実行主体は、動画移行装置であってもよい。例えば、動画移行方法は、端末機器、サーバ又は他の処理機器により実行されてもよい。ここで、端末機器は、ユーザ機器（ＵｓｅｒＥｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器及び自動運転自動車、測位及びマッピング需要を有するロボット、レジストレーション需要を有する医療イメージングシステム、拡張実現又は仮想現実用のメガネ、ヘルメットなどの製品などであってもよい。いくつかの可能な実現形態において、該動画移行方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現してもよい。 The main body that executes the video migration method may be a video migration device. For example, the video migration method may be performed by a terminal device, a server, or other processing device. Here, the terminal equipment includes user equipment (UE), mobile equipment, user terminal, terminal, cellular phone, cordless phone, personal digital assistant (PDA), handheld device, computing device, and in-vehicle equipment. , wearable devices and self-driving cars, robots with positioning and mapping needs, medical imaging systems with registration needs, glasses for augmented reality or virtual reality, products such as helmets, etc. In some possible implementations, the video migration method may be implemented by a processor invoking computer readable instructions stored in memory.

図６を参照すると、図６は、本願の実施例による動画移行装置の構造概略図である。動画移行装置３０は、取得モジュール３１と、モデル更新モジュール３２と、動画移行モジュール３３とを備える。取得モジュール３１は、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得するように構成され、モデル更新モジュール３２は、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得るように構成され、ここで、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能であり、動画移行モジュール３３は、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得るように構成される。 Referring to FIG. 6, FIG. 6 is a structural schematic diagram of a video transition device according to an embodiment of the present application. The video migration device 30 includes an acquisition module 31, a model update module 32, and a video migration module 33. The acquisition module 31 is configured to acquire an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton, and the model update module 32 is configured to acquire an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton. is configured to update the node topology structure of at least one of the skeleton and the initial target skeleton to obtain a final source skeleton and a final target skeleton, where the target node in the final target skeleton is can also be mapped to source nodes in the final source skeleton, and the video migration module 33 migrates the first video driving data associated with the initial source skeleton to the final target skeleton, and 2 is configured to obtain moving image driving data.

本願のいくつかの実施例において、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、最終的なターゲット骨格と最終的なソース骨格とのノードが一対一にマッピングされる。 In some embodiments of the present application, the node topology structures of the final target skeleton and the final source skeleton match, and/or the nodes of the final target skeleton and the final source skeleton are one-to-one. mapped.

上記方案において、最終的なターゲット骨格におけるノードについて、最終的なソース骨格においてこれとマッピングしたノードがあり、且つマッピング関係が一対一マッピングであり、１つのターゲットノードが複数のソースノードに対応するというケースが存在しないことを確保することで、後続の最終的なターゲット骨格におけるノードに、いずれも対応する動画駆動データがあり、且つ各ノード上での動画駆動データの数が１である。１つのノードが複数の動画駆動データを有するケースが存在しないことにより、最終的なターゲット骨格の動画駆動をより自然にする。 In the above scheme, for each node in the final target skeleton, there is a node mapped to this node in the final source skeleton, and the mapping relationship is a one-to-one mapping, and one target node corresponds to multiple source nodes. By ensuring that there is no case, every node in the subsequent final target skeleton has corresponding video driving data, and the number of video driving data on each node is one. Since there is no case where one node has multiple video driving data, the video driving of the final target skeleton becomes more natural.

本願のいくつかの実施例において、ノードマッピング関係は、初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、モデル更新モジュール３２は更に、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、そのうちの１つの骨格のノードトポロジ構造を更新し、モデル更新モジュール３２は更に、骨格にマッピング関係のないノードがある場合、マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新するように構成され、ここで、２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された２つの骨格間のノードが一対一にマッピングされる。 In some embodiments of the present application, the node mapping relationship includes a mapping relationship between nodes in the initial source skeleton and the initial target skeleton, and the model update module 32 further includes mapping relationships between nodes in the If there are multiple nodes that have a mapping relationship, the model update module 32 updates the node topology structure of one of the skeletons, and if the skeleton has a node that has no mapping relationship, the model update module 32 updates the node topology of the skeleton where the node that has no mapping relationship is located. The method is configured to update a topological structure, where the two skeletons include an initial source skeleton and an initial target skeleton, and nodes between the two updated skeletons are mapped one-to-one.

上記方案において、骨格のノードトポロジ構造を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードの一対一のマッピングに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。 In the above scheme, by updating the node topology structure of the skeletons, the mapping of multiple nodes between two skeletons to the same node is adjusted to one-to-one mapping of nodes between the two skeletons, and further, Reduce the occurrence of unreasonable situations in the subsequent final target skeleton video-driven process.

本願のいくつかの実施例において、モデル更新モジュール３２は、マッピング関係のないノードを、マッピング関係のある隣接ノードにマージするように構成され、ここで、隣接ノードは、マッピング関係のないノードが位置する骨格における、マッピング関係のないノードの親ノード又は子ノードであり、及び／又は、モデル更新モジュール３２は、複数のノードが同一の骨格分岐に位置する場合、複数のノードが位置する第１骨格を更新し、複数のノードが異なる骨格分岐に位置する場合、複数のノードを含まない第２骨格を更新するように構成され、ここで、第１骨格と第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格である。 In some embodiments of the present application, the model update module 32 is configured to merge nodes with no mapping relationship into adjacent nodes with a mapping relationship, where the adjacent nodes are The model update module 32 is a parent node or a child node of a node that has no mapping relationship in a skeleton that has a mapping relationship, and/or the model update module 32 and the nodes are located in different skeleton branches, the second skeleton is configured to update the second skeleton that does not include the nodes, where one of the first skeleton and the second skeleton is , the initial source skeleton, and the other is the initial target skeleton.

上記方案において、複数のノードが位置する第１骨格を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードが一対一にマッピングされることに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。 In the above scheme, by updating the first skeleton in which multiple nodes are located, the nodes between the two skeletons are mapped one-to-one, such that multiple nodes between the two skeletons are mapped to the same node. In particular, it further reduces the occurrence of unreasonable situations in the subsequent final target skeleton animation driving process.

本願のいくつかの実施例において、モデル更新モジュール３２は更に、第１骨格における複数のノードを１つの第１ノードとしてマージするように構成され、ここで、第１ノードは、マージ前の複数のノードのマッピング関係を維持し、及び／又は、モデル更新モジュール３２は更に、第１骨格から、複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、第２骨格から、第２ノードにマッピングされる第３ノードを探し出し、複数のノードに対応するノードトポロジ構造に応じて、第３ノードに少なくとも１つの骨格分岐を新規追加するように構成され、ここで、複数のノードは、第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされる。 In some embodiments of the present application, the model update module 32 is further configured to merge the plurality of nodes in the first skeleton as one first node, where the first node is one of the plurality of nodes before merging. The model update module 32 maintains the mapping relationship of the nodes and/or further searches for a second node from the first skeleton where skeleton branches in which a plurality of nodes are located merges, and from the second skeleton to the second node. The configuration is configured to find a third node to be mapped and add at least one new skeletal branch to the third node according to a node topology structure corresponding to the plurality of nodes, wherein the plurality of nodes A node is mapped one-to-one with a newly added skeleton branch and a node in the original skeleton branch.

上記方案において、このような方式で、ノードの一対一のマッピングを実現する場合、第１骨格のノードトポロジ構造も最大限に維持できる。 In the above scheme, when one-to-one mapping of nodes is realized in this manner, the node topology structure of the first skeleton can also be maintained to the maximum extent.

本願のいくつかの実施例において、動画移行モジュール３３は更に、ルートソースノードからリーフソースノードへの順番に応じて、最終的なソース骨格における各ソースノードと最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得、第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得るように構成される。 In some embodiments of the present application, the video migration module 33 further includes mapping each source node in the final source skeleton to a corresponding one in the final target skeleton according to the order from the root source node to the leaf source nodes. The target nodes to be mapped are aligned, the first position and orientation transformation relationships are obtained between each source node and the mapped target nodes, and the final position and orientation transformation relationships are obtained by using the first video driving data and the first position and orientation transformation relationships. The apparatus is configured to obtain second animation driving data of the target skeleton.

上記方案において、ソースノードとターゲットノードとの位置合わせを行うことで、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができ、それにより第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得ることを実現する。 In the above scheme, by aligning the source node and the target node, it is possible to obtain the first position/orientation transformation relationship between each source node and the mapped target node. By using the first position/posture conversion relationship, it is possible to obtain the final second moving image drive data of the target skeleton.

本願のいくつかの実施例において、動画移行モジュール３３は更に、最終的なソース骨格における各ソースノードに対して、ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得し、ここで、オフセットは、並進成分と回転成分とのうちの少なくとも１つを含み、ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得るように構成される。 In some embodiments of the present application, video migration module 33 further obtains, for each source node in the final source skeleton, the offset necessary to align the source node with the mapped target node; Here, the offset includes at least one of a translational component and a rotational component, and is configured to obtain a first position and orientation transformation relationship of the source node based on the offset corresponding to the source node.

上記方案において、オフセットが並進成分と回転成分を含むことによって、取得された第１位置姿勢変換関係をより正確にする。 In the above scheme, the offset includes a translational component and a rotational component, thereby making the obtained first position and orientation transformation relationship more accurate.

本願のいくつかの実施例において、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、第１位置姿勢変換関係は、ソースノードとマッピングされるターゲットノードとの、第１座標系における変換関係であり、ソースノードに対応するオフセットは、ソースノードの第１親ノードが位置合わせされ、かつ第１親ノードが第２座標系の原点である場合、ソースノードとマッピングされるターゲットノードの、第２座標系におけるオフセットである。 In some embodiments of the present application, the root source node of the final source skeleton and the root target node of the final target skeleton are both translated to the origin of the first coordinate system, and the first position-orientation transformation relationship is A transformation relationship between a node and a mapped target node in a first coordinate system, where the offset corresponding to a source node is such that the first parent node of the source node is aligned and the first parent node is aligned in the second coordinate system. is the offset of the source node and the mapped target node in the second coordinate system.

上記方案において、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードがいずれも第１座標系の原点に並進することで、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードとのオフセットを取得することができる。 In the above scheme, the root source node of the final source skeleton and the root target node of the final target skeleton are both translated to the origin of the first coordinate system, so that the root source node of the final source skeleton and the root target node of the final target skeleton are both translated to the origin of the first coordinate system. It is possible to obtain the offset from the root target node of the target skeleton.

本願のいくつかの実施例において、動画移行モジュール３３は更に、位置合わせされた第１親ノードとルートソースノードとの第２位置姿勢変換関係、及びソースノードのマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得し、ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、ソースノードに対応するオフセットを得、及び／又は、ソースノード及びソースノードの上位ノードのそれぞれに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得るように構成され、ここで、ソースノードの上位ノードは、最終的なソース骨格におけるソースノードの第１親ノード、ルートソースノード及び第１親ノードとルートソースノードとの間のノードである。 In some embodiments of the present application, the video migration module 33 further includes a second position transformation relationship between the aligned first parent node and the root source node, and a second parent of the mapped target node of the source node. A third position and orientation transformation relationship between the node and the root target node is acquired, and the position and orientation of the source node and the mapped target node in the first coordinate system, a second position and orientation transformation relationship, and a third position and orientation transformation relationship are obtained. and/or to obtain a first position/orientation transformation relationship of the source node based on the offsets corresponding to the source node and each of the upper nodes of the source node. Here, the upper nodes of the source node are the first parent node of the source node, the root source node, and the nodes between the first parent node and the root source node in the final source skeleton.

上記方案において、ソースノード及びソースノードの上位ノードに対応するオフセットを結合することで、ソースノードの、第１座標系におけるマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができる。 In the above scheme, by combining the offsets corresponding to the source node and the upper nodes of the source node, the first position and orientation transformation relationship of the source node with the mapped target node in the first coordinate system can be obtained.

本願のいくつかの実施例において、第１動画駆動データは、最終的なソース骨格と初期ソース骨格とのトポロジ構造差異に基づいて、初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものであり、及び／又は、最終的なターゲット骨格の第２動画駆動データは、第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものであり、ここで、第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係であり、最終的なターゲット骨格は、ターゲット対象の骨格であり、動画移行モジュール３３は、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係に基づいて、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得るように構成される。 In some embodiments of the present application, the first video driving data is obtained by making adjustments to the original video data of the initial source skeleton based on topological structural differences between the final source skeleton and the initial source skeleton. and/or the final second moving image driving data of the target skeleton is obtained based on the first moving image driving data and the first position/orientation transformation relationship, where the first The position pose transformation relationship is the transformation relationship between the source node of the final source skeleton and the mapped target node in the final target skeleton, where the final target skeleton is the skeleton of the target object, and the video The transition module 33 is configured to transfer second position information regarding the geometric mesh vertices in the second video drive data based on the first position information of the geometric mesh vertices in the target object, the first video drive data, and the first position/orientation transformation relationship. Configured to obtain location information.

上記方案において、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係を結合することで、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることができ、プロセスが便利である。 In the above scheme, by combining the first position information of the geometric mesh vertices in the target object, the first moving image driving data, and the first position/orientation transformation relationship, the first position information of the geometric mesh vertices in the second moving image driving data is 2 location information can be obtained, the process is convenient.

本願のいくつかの実施例において、動画移行モジュール３３は更に、幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、リファレンスノードの影響重みを得、第１動画駆動データにおける、リファレンスノードに関する第４位置姿勢変換関係とリファレンスノードに対応する第１位置姿勢変換関係に基づいて、リファレンスノードに対応する第５位置姿勢変換関係を得、第１位置情報、各リファレンスノードに対応する第５位置姿勢変換関係及び影響重みを利用して、幾何学的メッシュ頂点の第２位置情報を得るように構成される。 In some embodiments of the present application, the video transition module 33 further obtains at least one target node whose distance to the geometric mesh vertex satisfies a predetermined condition as a reference node, and obtains the influence weight of the reference node; Based on the fourth position/posture conversion relationship regarding the reference node and the first position/posture conversion relationship corresponding to the reference node in the first video drive data, a fifth position/posture conversion relationship corresponding to the reference node is obtained, and the first position/posture conversion relationship is obtained. , is configured to obtain second position information of the geometric mesh vertices using the fifth position/orientation transformation relationship and influence weight corresponding to each reference node.

上記方案において、頂点に対するリファレンスノードの影響重みを考慮することで、取得された幾何学的メッシュ頂点の第２位置情報をより正確にする。 In the above scheme, the obtained second position information of the geometric mesh vertices is made more accurate by considering the influence weight of the reference node on the vertices.

本願のいくつかの実施例において、取得モジュール３１は更に、ターゲット対象を含む画像に対して分類を行い、ターゲット対象のクラスを得、クラスに合致した骨格モデルを初期ソース骨格として選択するように構成され、ここで、最終的なターゲット骨格は、ターゲット対象の骨格であり、及び／又は、取得モジュール３１は更に、ターゲット対象を含む画像に対して輪郭抽出を行い、ターゲット対象の輪郭を得、輪郭を利用して、ターゲット対象に対して、三次元メッシュモデルを生成し、三次元メッシュモデルから、初期ターゲット骨格を抽出するように構成され、及び／又は、取得モジュール３１は更に、初期ソース骨格と初期ターゲット骨格における各ノードが位置する骨格分岐の数を決定し、骨格分岐の数の多い順に応じて、初期ソース骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行い、ノードマッピング関係を得るように構成される。 In some embodiments of the present application, the acquisition module 31 is further configured to perform classification on the image containing the target object to obtain a class of the target object and select a skeletal model that matches the class as the initial source skeleton. where the final target skeleton is the skeleton of the target object, and/or the acquisition module 31 further performs contour extraction on the image containing the target object to obtain the contour of the target object and obtain the contour of the target object. and/or the acquisition module 31 is further configured to generate a three-dimensional mesh model for the target object using the method and extract an initial target skeleton from the three-dimensional mesh model; The number of skeletal branches in which each node is located in the initial target skeleton is determined, and the nodes in the initial source skeleton and initial target skeleton are mapped in order according to the order of the number of skeletal branches to obtain a node mapping relationship. It is composed of

上記方案において、ターゲット対象のクラスを取得し、クラスに合致した骨格モデルから、初期ソース骨格を選択することで、便利で迅速である。骨格分岐の数の多い順に応じて、初期骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行うことで、マッピングの正確度を向上させることができる。 In the above scheme, it is convenient and quick to obtain the target class and select the initial source skeleton from the skeleton models that match the class. Mapping accuracy can be improved by sequentially mapping nodes in the initial skeleton and the initial target skeleton according to the order of the number of skeleton branches.

図７を参照すると、図７は、本願の実施例による電子機器の構造概略図である。電子機器４０は、メモリ４１と、プロセッサ４２と、を備え、プロセッサ４２は、メモリ４１に記憶されているプログラム命令を実行し、上記動画移行方法の実施例におけるステップを実施する。１つの具体的な実施シーンにおいて、電子機器４０は、マイクロコンピュータ、サーバを含んでもよいが、それらに限らない。なお、電子機器４０は、ノートパソコン、タブレットなどの携帯機器を更に含んでもよい。ここで限定しない。 Referring to FIG. 7, FIG. 7 is a structural schematic diagram of an electronic device according to an embodiment of the present application. The electronic device 40 includes a memory 41 and a processor 42, and the processor 42 executes program instructions stored in the memory 41 to perform the steps in the embodiment of the video migration method described above. In one specific implementation scene, the electronic device 40 may include, but is not limited to, a microcomputer and a server. Note that the electronic device 40 may further include a portable device such as a notebook computer or a tablet. It is not limited here.

プロセッサ４２は、その自体及びメモリ４１を制御して、上記動画移行方法の実施例におけるステップを実施する。プロセッサ４２は、中央演算装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＣＰＵ）と呼ばれてもよい。プロセッサ４２は、信号処理能力を持つ集積回路チップであってもよい。プロセッサ４２は、汎用プロセッサ、デジタル信号プロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ：ＦＰＧＡ）又は他のプログラマブルゲートアレイ、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、該プロセッサは、如何なる従来のプロセッサなどであってもよい。なお、プロセッサ４２は、集積回路チップにより共同で実現してもよい。 Processor 42 controls itself and memory 41 to perform the steps in the embodiment of the video migration method described above. Processor 42 may be referred to as a central processing unit (CPU). Processor 42 may be an integrated circuit chip with signal processing capabilities. The processor 42 may be a general-purpose processor, a digital signal processor (DSP), an application-specific integrated circuit (ASIC), or a field-programmable gate array (Field-Programmable G). ate Array: FPGA) or other programmable gates It may be an array, a discrete gate or transistor logic device, a discrete hardware component. A general purpose processor may be a microprocessor, such as any conventional processor. Note that the processor 42 may be jointly implemented using an integrated circuit chip.

図８を参照すると、図８は、本願の実施例によるコンピュータ可読記憶媒体の構造概略図である。コンピュータ可読記憶媒体５０に、プロセッサにより実行可能なプログラム命令５０１が記憶されており、プログラム命令５０１は、プロセッサに上記動画移行方法の実施例におけるステップを実現させる。 Referring to FIG. 8, FIG. 8 is a structural schematic diagram of a computer-readable storage medium according to an embodiment of the present application. Stored on the computer readable storage medium 50 are program instructions 501 executable by the processor that cause the processor to perform the steps in the embodiment of the video migration method described above.

本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される時、プロセッサに上記動画移行方法のステップを実行させる。具体的には、上記方法の実施例を参照してもよい。 Embodiments of the present application further provide a computer program product. The computer program includes computer readable code that, when executed on an electronic device, causes a processor to perform the steps of the video migration method. In particular, reference may be made to the embodiments of the method described above.

該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。１つの選択可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現化され、もう１つの選択可能な実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ：ＳＤＫ）等のようなソフトウェア製品として具現化される。 The computer program product may be implemented in particular by hardware, software or a combination thereof. In one alternative embodiment, the computer program product is specifically embodied as a computer storage medium, and in another alternative embodiment, the computer program product is, for example, a software development kit. It is realized as a software product such as a Development Kit (SDK).

幾つかの実施例において、本願の実施例が提供する装置が有する機能又は含むモジュールは、上記方法の実施例に記載の方法を実行するように構成されてもよく、その具体的な実現は、上記方法の実施例の記述を参照することができる。 In some embodiments, the functions or modules included in the apparatus provided by the embodiments of the present application may be configured to perform the method described in the method embodiments above, and a specific implementation thereof may include: Reference may be made to the description of the method embodiments above.

上記各実施例に対する説明は、各実施例間の相違を強調し、その同じまたは類似な所は相互に参照されることができる。 The above description of each embodiment emphasizes the differences between the embodiments, and the same or similar parts thereof can be mutually referred to.

本願で提供する幾つかの実施例で開示したシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。以上に記載した装置の実施例はただ例示的なものであり、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。また例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかの通信インタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。 It should be understood that the systems, apparatus, and methods disclosed in the several embodiments provided herein may be implemented in other ways. The embodiment of the device described above is merely an example; for example, the division of the units is only division of logic functions, and other division methods may be used when actually implemented. Also, for example, multiple units or components may be combined or incorporated into separate systems. Alternatively, some features may be ignored or not implemented. Also, the couplings or direct couplings or communication connections shown or discussed between each other may be indirect couplings or communication connections through some communication interface, device or unit, electrical, mechanical or Other forms are also possible.

また、本願の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ又は２つ以上のユニットが１つのユニットに集積されてもよい。上記集積したユニットは、ハードウェアの形式で実現してもよく、ソフトウェア機能ユニットの形式で実現してもよい。 Further, each functional unit in each embodiment of the present application may be integrated into one processing unit, each unit may exist as physically separate units, or two or more units may be integrated into one processing unit. They may be integrated into one unit. The integrated unit may be realized in the form of hardware or in the form of a software functional unit.

集積したユニットは、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（パソコン、サーバ、又はネットワーク装置など）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる種々の媒体を含む。 It is noted that the integrated unit, when realized in the form of a software functional unit and sold or used as a separate product, may be stored in a computer-readable storage medium. With this understanding, the technical solutions of the embodiments of the present application may be essentially or partially contributed to the prior art in the form of software products. Such a computer software product may be stored in a storage medium, and may be implemented in a single computer device (such as a personal computer, server, or network device) or processor. Each embodiment includes a number of instructions for performing all or some of the steps of the method described in the example. The storage medium may be a variety of media capable of storing program codes, such as a USB memory, a removable hard disk, a read-only memory (ROM), a random access memory (RAM), a magnetic disk or an optical disk. including.

本願の実施例は、動画移行方法及び装置、機器、記憶媒体並びにコンピュータプログラム製品を提供する。動画移行方法は、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得することと、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることであって、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能である、ことと、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得ることと、を含む。本願の実施例によれば、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、それにより最終的なターゲット骨格の動きを駆動することができ、異なる骨格間の動画移行を実現する。また、移行待ちソース骨格とターゲット骨格の間の初期トポロジ構造が完全に一致する必要がないため、骨格間の動画移行の適用性を向上させる。 Embodiments of the present application provide video migration methods and apparatus, equipment, storage media, and computer program products. The video migration method includes obtaining an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton, and determining the relationship between the initial source skeleton and the initial target skeleton based on the node mapping relationship. to obtain a final source skeleton and a final target skeleton, wherein each target node in the final target skeleton becomes a source node in the final source skeleton. and migrating first animation driving data associated with the initial source skeleton to a final target skeleton to obtain second animation driving data of the final target skeleton. According to embodiments of the present application, the first video driving data associated with the initial source skeleton can be transferred to the final target skeleton, thereby driving the movement of the final target skeleton, and the video between different skeletons can be Make the transition happen. In addition, the initial topological structure between the migration-waiting source skeleton and the target skeleton does not need to completely match, which improves the applicability of video migration between skeletons.

本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令がコンピュータ機器のプロセッサにより実行される時、プロセッサに上記動画移行方法のステップを実現させる。
例えば、本願は以下の項目を提供する。
（項目１）
動画移行方法であって、
初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得することと、
前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることであって、前記最終的なターゲット骨格におけるターゲットノードはいずれも、前記最終的なソース骨格におけるソースノードにマッピング可能である、ことと、
前記初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることと、を含む、方法。
（項目２）
前記最終的なターゲット骨格と前記最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、前記最終的なターゲット骨格と前記最終的なソース骨格とのノードが一対一にマッピングされることを特徴とする
項目１に記載の方法。
（項目３）
前記ノードマッピング関係は、前記初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、前記ノード対応関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることは、
２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、前記骨格のうちの１つのノードトポロジ構造を更新することと、
前記骨格にマッピング関係のないノードがある場合、前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することと、のうちの少なくとも１つを含み、
前記２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された前記２つの骨格間のノードが一対一にマッピングされることを特徴とする
項目１又は２に記載の方法。
（項目４）
前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することは、
前記マッピング関係のないノードを、マッピング関係のある隣接ノードにマージすることであって、前記隣接ノードは、前記マッピング関係のないノードが位置する骨格における、前記マッピング関係のないノードの親ノード又は子ノードである、ことを含み、
及び／又は、
前記骨格のうちの１つのノードトポロジ構造を更新することは、
前記複数のノードが同一の骨格分岐に位置する場合、前記複数のノードが位置する第１骨格を更新することと、
前記複数のノードが異なる骨格分岐に位置する場合、前記複数のノードを含まない第２骨格を更新することと、を含み、
前記第１骨格と前記第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格であることを特徴とする
項目３に記載の方法。
（項目５）
前記複数のノードが位置する第１骨格を更新することは、
前記第１骨格における複数のノードを１つの第１ノードとしてマージすることであって、前記第１ノードは、マージ前の前記複数のノードのマッピング関係を維持する、ことを含み、
及び／又は、前記複数のノードを含まない第２骨格を更新することは、
前記第１骨格から、前記複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、前記第２骨格から、前記第２ノードにマッピングされる第３ノードを探し出すことと、
前記複数のノードに対応するノードトポロジ構造に応じて、前記第３ノードに少なくとも１つの骨格分岐を新規追加することと、を含み、前記複数のノードは、前記第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされることを特徴とする
項目４に記載の方法。
（項目６）
前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得る前に、前記方法は、
ルートソースノードからリーフソースノードへの順番に応じて、前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることを更に含み、
前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることは、
前記第１動画駆動データと前記第１位置姿勢変換関係を利用して、前記最終的なターゲット骨格の第２動画駆動データを得ることを含むことを特徴とする
項目１から５のうちいずれか一項に記載の方法。
（項目７）
前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることは、
前記最終的なソース骨格における各ソースノードに対して、前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することであって、前記オフセットは、並進成分と回転成分とのうちの少なくとも１つを含む、ことと、
前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることと、を含むことを特徴とする
項目６に記載の方法。
（項目８）
前記最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、前記第１位置姿勢変換関係は、前記ソースノードとマッピングされるターゲットノードとの、前記第１座標系における変換関係であり、前記ソースノードに対応するオフセットは、前記ソースノードの第１親ノードが位置合わせされ、かつ前記第１親ノードが第２座標系の原点である場合、前記ソースノードとマッピングされるターゲットノードの、前記第２座標系におけるオフセットであることを特徴とする
項目７に記載の方法。
（項目９）
前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することは、
位置合わせされた前記第１親ノードとルートソースノードとの第２位置姿勢変換関係、及び前記ソースノードのマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得し、前記ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、前記第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、前記ソースノードに対応するオフセットを得ることを含み、
及び／又は、
前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることは、
前記ソースノード及び前記ソースノードの上位ノードのそれぞれに対応する前記オフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることであって、前記ソースノードの上位ノードは、前記最終的なソース骨格における前記ソースノードの第１親ノード、ルートソースノード及び前記第１親ノードとルートソースノードとの間のノードである、ことを含むことを特徴とする
項目８に記載の方法。
（項目１０）
前記第１動画駆動データは、前記最終的なソース骨格と前記初期ソース骨格とのトポロジ構造差異に基づいて、前記初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものであり、
及び／又は、
前記最終的なターゲット骨格の第２動画駆動データは、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものであり、前記第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係であり、前記最終的なターゲット骨格は、ターゲット対象の骨格であり、前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることは、
前記ターゲット対象における幾何学的メッシュ頂点の第１位置情報、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて、前記第２動画駆動データにおける、前記幾何学的メッシュ頂点に関する第２位置情報を得ることを含むことを特徴とする
項目１から９のうちいずれか一項に記載の方法。
（項目１１）
前記ターゲット対象における幾何学的メッシュ頂点の第１位置情報、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて、前記第２動画駆動データにおける、前記幾何学的メッシュ頂点に関する第２位置情報を得ることは、
前記幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、前記リファレンスノードの影響重みを得ることと、
前記第１動画駆動データにおける、前記リファレンスノードに関する第４位置姿勢変換関係と前記リファレンスノードに対応する第１位置姿勢変換関係に基づいて、前記リファレンスノードに対応する第５位置姿勢変換関係を得ることと、
前記第１位置情報、各前記リファレンスノードに対応する第５位置姿勢変換関係及び前記影響重みを利用して、前記幾何学的メッシュ頂点の第２位置情報を得ることと、を含むことを特徴とする
項目１０に記載の方法。
（項目１２）
前記初期ソース骨格を取得することは、
ターゲット対象を含む画像に対して分類を行い、前記ターゲット対象のクラスを得、前記クラスに合致した骨格モデルを前記初期ソース骨格として選択することであって、前記最終的なターゲット骨格は、ターゲット対象の骨格である、ことを含み、
及び／又は、
初期ターゲット骨格を取得することは、
ターゲット対象を含む画像に対して輪郭抽出を行い、前記ターゲット対象の輪郭を得ることと、
前記輪郭を利用して、前記ターゲット対象に対して、三次元メッシュモデルを生成することと、
前記三次元メッシュモデルから、前記初期ターゲット骨格を抽出することと、を含むことを特徴とする
項目１から１１のうちいずれか一項に記載の方法。
（項目１３）
動画移行装置であって、
初期ソース骨格、初期ターゲット骨格及び前記初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得するように構成される取得モジュールと、
前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得るように構成されるモデル更新モジュールであって、前記最終的なターゲット骨格におけるターゲットノードはいずれも、前記最終的なソース骨格におけるソースノードにマッピング可能である、モデル更新モジュールと、
前記初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得るように構成される動画移行モジュールと、を備える、動画移行装置。
（項目１４）
前記ノードマッピング関係は、前記初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、前記モデル更新モジュールは更に、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、前記骨格のうちの１つのノードトポロジ構造を更新し、前記骨格にマッピング関係のないノードがある場合、前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新するように構成され、前記２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された前記２つの骨格間のノードが一対一にマッピングされることを特徴とする
項目１３に記載の装置。
（項目１５）
前記モデル更新モジュールは更に、
前記マッピング関係のないノードを、マッピング関係のある隣接ノードにマージし、前記隣接ノードは、前記マッピング関係のないノードが位置する骨格における、前記マッピング関係のないノードの親ノード又は子ノードであり、
及び／又は、前記複数のノードが同一の骨格分岐に位置する場合、前記複数のノードが位置する第１骨格を更新し、前記複数のノードが異なる骨格分岐に位置する場合、前記複数のノードを含まない第２骨格を更新するように構成され、前記第１骨格と前記第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格であることを特徴とする
項目１４に記載の装置。
（項目１６）
前記モデル更新モジュールは更に、
前記第１骨格における複数のノードを１つの第１ノードとしてマージし、前記第１ノードは、マージ前の前記複数のノードのマッピング関係を維持し、
及び／又は、前記第１骨格から、前記複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、前記第２骨格から、前記第２ノードにマッピングされる第３ノードを探し出し、前記複数のノードに対応するノードトポロジ構造に応じて、前記第３ノードに少なくとも１つの骨格分岐を新規追加するように構成され、前記複数のノードは、前記第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされることを特徴とする
項目１５に記載の装置。
（項目１７）
前記動画移行モジュールは更に、ルートソースノードからリーフソースノードへの順番に応じて、前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得、前記第１動画駆動データと前記第１位置姿勢変換関係を利用して、前記最終的なターゲット骨格の第２動画駆動データを得るように構成されることを特徴とする
項目１３から１６のうちいずれか一項に記載の装置。
（項目１８）
前記動画移行モジュールは更に、前記最終的なソース骨格における各ソースノードに対して、前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得し、前記オフセットは、並進成分と回転成分とのうちの少なくとも１つを含み、前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得るように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、前記第１位置姿勢変換関係は、前記ソースノードとマッピングされるターゲットノードとの、前記第１座標系における変換関係であり、前記ソースノードに対応するオフセットは、前記ソースノードの第１親ノードが位置合わせされ、かつ前記第１親ノードが第２座標系の原点である場合、前記ソースノードとマッピングされるターゲットノードの、前記第２座標系におけるオフセットであることを特徴とする
項目１８に記載の装置。
（項目２０）
メモリ及びプロセッサを備える電子機器であって、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行して、項目１から１２のうちいずれか一項に記載の方法を実施する、電子機器。
（項目２１）
プロセッサにより実行されるときに、前記プロセッサに項目１から１２のうちいずれか一項に記載の方法を実施させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。
（項目２２）
プログラムコードを記憶したコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、前記プログラムコードに含まれる命令がコンピュータ機器のプロセッサにより実行されるときに、前記プロセッサに項目１から１２のうちいずれか一項に記載の方法を実施させる、コンピュータプログラム製品。 Embodiments of the present application further provide a computer program product. The computer program product includes a computer readable storage medium having a program code stored thereon, and the instructions included in the program code, when executed by a processor of the computer device, cause the processor to implement the steps of the video migration method.
For example, this application provides the following items:
(Item 1)
A video migration method,
obtaining an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton;
updating a node topology structure of at least one of the initial source skeleton and the initial target skeleton based on the node mapping relationship to obtain a final source skeleton and a final target skeleton; any target node in the final target skeleton is mappable to a source node in the final source skeleton;
A method comprising migrating first animation driving data associated with the initial source skeleton to a final target skeleton and obtaining second animation driving data of the final target skeleton.
(Item 2)
The node topology structures of the final target skeleton and the final source skeleton match, and/or the nodes of the final target skeleton and the final source skeleton are mapped one-to-one. Features
The method described in item 1.
(Item 3)
The node mapping relationship includes a mapping relationship between nodes in the initial source skeleton and the initial target skeleton, and the node topology structure of at least one of the initial source skeleton and the initial target skeleton is determined based on the node correspondence relationship. To update and obtain the final source skeleton and final target skeleton,
If there are multiple nodes mapped to the same node between two skeletons, updating a node topology structure of one of the skeletons;
If the skeleton has a node that has no mapping relationship, updating a node topology structure of the skeleton in which the node that has no mapping relationship is located;
The two skeletons include an initial source skeleton and an initial target skeleton, and nodes between the two updated skeletons are mapped one-to-one.
The method described in item 1 or 2.
(Item 4)
Updating the node topology structure of the skeleton in which the nodes with no mapping relationship are located includes:
merging the node that has no mapping relationship with an adjacent node that has a mapping relationship, the adjacent node being a parent node or a child of the node that has no mapping relationship in a skeleton in which the node that has no mapping relationship is located; including being a node;
and/or
Updating the node topology structure of one of the skeletons comprises:
If the plurality of nodes are located in the same skeleton branch, updating a first skeleton in which the plurality of nodes are located;
If the plurality of nodes are located in different skeleton branches, updating a second skeleton that does not include the plurality of nodes,
One of the first skeleton and the second skeleton is an initial source skeleton, and the other is an initial target skeleton.
The method described in item 3.
(Item 5)
Updating the first skeleton in which the plurality of nodes are located includes:
merging a plurality of nodes in the first skeleton as one first node, the first node maintaining a mapping relationship of the plurality of nodes before merging;
and/or updating the second skeleton that does not include the plurality of nodes,
Searching from the first skeleton, a second node where skeleton branches where the plurality of nodes are located merge, and searching from the second skeleton, a third node mapped to the second node;
and adding at least one new skeleton branch to the third node according to a node topology structure corresponding to the plurality of nodes, wherein the plurality of nodes have a skeleton newly added to the third node. It is characterized by being mapped one-to-one with the nodes in the branch and the original skeleton branch.
The method described in item 4.
(Item 6)
Before migrating first animation driving data associated with the initial source skeleton to the final target skeleton and obtaining second animation driving data of the final target skeleton, the method comprises:
According to the order from the root source node to the leaf source nodes, each source node in the final source skeleton and the correspondingly mapped target node in the final target skeleton are respectively aligned, and each source node and further comprising obtaining a first position-orientation transformation relationship with the target node to be mapped;
migrating first video driving data associated with the initial source skeleton to the final target skeleton to obtain second video driving data of the final target skeleton;
The method further includes obtaining second moving image driving data of the final target skeleton by using the first moving image driving data and the first position/posture conversion relationship.
The method described in any one of items 1 to 5.
(Item 7)
each source node in the final source skeleton and the correspondingly mapped target node in the final target skeleton are respectively aligned, and a first position-orientation transformation relationship between each source node and the mapped target node is determined; What you get is
obtaining, for each source node in the final source skeleton, an offset necessary to align the source node with a mapped target node, the offset having a translational component and a rotational component; containing at least one of the following;
obtaining a first position and orientation transformation relationship of the source node based on an offset corresponding to the source node.
The method described in item 6.
(Item 8)
The root source node of the final source skeleton and the root target node of the final target skeleton are both translated to the origin of a first coordinate system, and the first position and orientation transformation relationship is between the source node and the mapped target. A transformation relationship with a node in the first coordinate system, and an offset corresponding to the source node is such that the first parent node of the source node is aligned and the first parent node is the origin of the second coordinate system. , it is an offset in the second coordinate system of the source node and the mapped target node.
The method described in item 7.
(Item 9)
Obtaining the offset necessary to align the source node to the mapped target node comprises:
a second position and orientation transformation relationship between the aligned first parent node and the root source node; and a third position and orientation transformation relationship between the second parent node of the mapped target node of the source node and the root target node. an offset corresponding to the source node based on the acquired position and orientation of the source node and the mapped target node in the first coordinate system, the second position and orientation transformation relationship, and the third position and orientation transformation relationship; including obtaining
and/or
Obtaining a first position and orientation transformation relationship of the source node based on an offset corresponding to the source node,
obtaining a first position and orientation transformation relationship of the source node based on the offset corresponding to each of the source node and an upper node of the source node, wherein the upper node of the source node A first parent node of the source node in a source skeleton, a root source node, and a node between the first parent node and the root source node.
The method described in item 8.
(Item 10)
The first video driving data is obtained by adjusting the original video data of the initial source skeleton based on a topological structural difference between the final source skeleton and the initial source skeleton. ,
and/or
The second moving image driving data of the final target skeleton is obtained based on the first moving image driving data and the first position/orientation conversion relationship, and the first position/orientation conversion relationship is based on the final source a transformation relationship between a source node of a skeleton and a mapped target node in a final target skeleton, the final target skeleton being a skeleton of a target object, and a first video associated with the initial source skeleton; Transferring the driving data to the final target skeleton and obtaining second video driving data of the final target skeleton,
A second position regarding the geometric mesh vertex in the second video drive data based on the first position information of the geometric mesh vertex in the target object, the first video drive data, and the first position/orientation transformation relationship. characterized by including obtaining information
The method described in any one of items 1 to 9.
(Item 11)
A second position regarding the geometric mesh vertex in the second video drive data based on the first position information of the geometric mesh vertex in the target object, the first video drive data, and the first position/orientation transformation relationship. Obtaining information is
Obtaining at least one target node whose distance from the geometric mesh vertex satisfies a predetermined condition as a reference node, and obtaining an influence weight of the reference node;
Obtaining a fifth position/posture conversion relationship corresponding to the reference node based on a fourth position/posture conversion relationship regarding the reference node and a first position/posture conversion relationship corresponding to the reference node in the first video drive data. and,
obtaining second position information of the geometric mesh vertices by using the first position information, a fifth position/orientation transformation relationship corresponding to each of the reference nodes, and the influence weight. do
The method described in item 10.
(Item 12)
Obtaining the initial source skeleton comprises:
performing classification on an image containing a target object to obtain a class of the target object, and selecting a skeleton model matching the class as the initial source skeleton; including that it is the skeleton of
and/or
Obtaining the initial target skeleton is
Performing contour extraction on an image containing a target object to obtain a contour of the target object;
Generating a three-dimensional mesh model for the target object using the contour;
extracting the initial target skeleton from the three-dimensional mesh model.
The method described in any one of items 1 to 11.
(Item 13)
A video transition device,
an acquisition module configured to acquire an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton;
model updating configured to update a node topology structure of at least one of the initial source skeleton and the initial target skeleton based on the node mapping relationship to obtain a final source skeleton and a final target skeleton; a model update module, wherein any target node in the final target skeleton is mappable to a source node in the final source skeleton;
a video migration module configured to migrate first video driving data associated with the initial source skeleton to a final target skeleton and obtain second video driving data of the final target skeleton. Transition device.
(Item 14)
The node mapping relationship includes a mapping relationship between nodes in the initial source skeleton and the initial target skeleton, and the model update module further determines that if there are multiple nodes mapped to the same node between the two skeletons, , is configured to update the node topology structure of one of the skeletons, and if the skeleton has a node with no mapping relationship, update the node topology structure of the skeleton in which the node with no mapping relationship is located; The two skeletons include an initial source skeleton and an initial target skeleton, and nodes between the two updated skeletons are mapped one-to-one.
The device according to item 13.
(Item 15)
The model update module further includes:
merging the node with no mapping relationship to an adjacent node with a mapping relationship, the adjacent node being a parent node or child node of the node with no mapping relationship in the skeleton where the node with no mapping relationship is located;
and/or, if the plurality of nodes are located in the same skeleton branch, update the first skeleton in which the plurality of nodes are located, and if the plurality of nodes are located in different skeleton branches, update the first skeleton in which the plurality of nodes are located; one of the first skeleton and the second skeleton is an initial source skeleton and the other is an initial target skeleton; do
The device according to item 14.
(Item 16)
The model update module further includes:
merging a plurality of nodes in the first skeleton as one first node, the first node maintaining a mapping relationship of the plurality of nodes before merging;
and/or from the first skeleton, find a second node where skeleton branches in which the plurality of nodes are located merge; from the second skeleton, find a third node mapped to the second node; At least one skeletal branch is newly added to the third node according to a node topology structure corresponding to the node, and the plurality of nodes are configured to add at least one skeletal branch newly added to the third node and the original skeletal branch. Characterized by one-to-one mapping with nodes in skeletal branches
The device according to item 15.
(Item 17)
The video migration module further positions each source node in the final source skeleton and the correspondingly mapped target node in the final target skeleton, respectively, according to the order from root source node to leaf source node. and obtain a first position/orientation transformation relationship between each source node and the mapped target node, and use the first video driving data and the first position/orientation transformation relationship to determine the first position/orientation transformation relationship of the final target skeleton. 2. The device is configured to obtain video driving data.
Apparatus according to any one of items 13 to 16.
(Item 18)
The video migration module further obtains, for each source node in the final source skeleton, an offset necessary to align the source node with a mapped target node, the offset comprising a translational component and and a rotational component, and is configured to obtain a first position and orientation transformation relationship of the source node based on an offset corresponding to the source node.
The device according to item 17.
(Item 19)
The root source node of the final source skeleton and the root target node of the final target skeleton are both translated to the origin of a first coordinate system, and the first position and orientation transformation relationship is between the source node and the mapped target. A transformation relationship with a node in the first coordinate system, and an offset corresponding to the source node is such that the first parent node of the source node is aligned and the first parent node is the origin of the second coordinate system. , it is an offset in the second coordinate system of the source node and the mapped target node.
The device according to item 18.
(Item 20)
13. An electronic device comprising a memory and a processor, the processor executing program instructions stored in the memory to implement the method according to any one of items 1 to 12.
(Item 21)
A computer-readable storage medium storing program instructions that, when executed by a processor, cause the processor to perform the method according to any one of items 1 to 12.
(Item 22)
A computer program product comprising a computer readable storage medium having a program code stored thereon, the computer program product comprising: a computer readable storage medium having a program code stored thereon; A computer program product that causes the method described in .

Claims

動画移行方法であって、
初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得することと、
前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることであって、前記最終的なターゲット骨格におけるターゲットノードはいずれも、前記最終的なソース骨格におけるソースノードにマッピング可能である、ことと、
前記初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることと、を含む、方法。 A video migration method,
obtaining an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton;
updating a node topology structure of at least one of the initial source skeleton and the initial target skeleton based on the node mapping relationship to obtain a final source skeleton and a final target skeleton; any target node in the final target skeleton is mappable to a source node in the final source skeleton;
A method comprising migrating first animation driving data associated with the initial source skeleton to a final target skeleton and obtaining second animation driving data of the final target skeleton.

前記最終的なターゲット骨格と前記最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、前記最終的なターゲット骨格と前記最終的なソース骨格とのノードが一対一にマッピングされることを特徴とする
請求項１に記載の方法。 The node topology structures of the final target skeleton and the final source skeleton match, and/or the nodes of the final target skeleton and the final source skeleton are mapped one-to-one. 2. The method of claim 1.

前記ノードマッピング関係は、前記初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、前記ノード対応関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることは、
２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、前記骨格のうちの１つのノードトポロジ構造を更新することと、
前記骨格にマッピング関係のないノードがある場合、前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することと、のうちの少なくとも１つを含み、
前記２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された前記２つの骨格間のノードが一対一にマッピングされることを特徴とする
請求項１又は２に記載の方法。 The node mapping relationship includes a mapping relationship between nodes in the initial source skeleton and the initial target skeleton, and the node topology structure of at least one of the initial source skeleton and the initial target skeleton is determined based on the node correspondence relationship. To update and obtain the final source skeleton and final target skeleton,
If there are multiple nodes mapped to the same node between two skeletons, updating a node topology structure of one of the skeletons;
If the skeleton has a node that has no mapping relationship, updating a node topology structure of the skeleton in which the node that has no mapping relationship is located;
3. The method according to claim 1, wherein the two skeletons include an initial source skeleton and an initial target skeleton, and nodes between the two updated skeletons are mapped one-to-one.

前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することは、
前記マッピング関係のないノードを、マッピング関係のある隣接ノードにマージすることであって、前記隣接ノードは、前記マッピング関係のないノードが位置する骨格における、前記マッピング関係のないノードの親ノード又は子ノードである、ことを含み、
及び／又は、
前記骨格のうちの１つのノードトポロジ構造を更新することは、
前記複数のノードが同一の骨格分岐に位置する場合、前記複数のノードが位置する第１骨格を更新することと、
前記複数のノードが異なる骨格分岐に位置する場合、前記複数のノードを含まない第２骨格を更新することと、を含み、
前記第１骨格と前記第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格であることを特徴とする
請求項３に記載の方法。 Updating the node topology structure of the skeleton in which the nodes with no mapping relationship are located includes:
merging the node that has no mapping relationship with an adjacent node that has a mapping relationship, the adjacent node being a parent node or a child of the node that has no mapping relationship in a skeleton in which the node that has no mapping relationship is located; including being a node;
and/or
Updating the node topology structure of one of the skeletons comprises:
If the plurality of nodes are located in the same skeleton branch, updating a first skeleton in which the plurality of nodes are located;
If the plurality of nodes are located in different skeleton branches, updating a second skeleton that does not include the plurality of nodes,
4. The method of claim 3, wherein one of the first skeleton and the second skeleton is an initial source skeleton and the other is an initial target skeleton.

前記複数のノードが位置する第１骨格を更新することは、
前記第１骨格における複数のノードを１つの第１ノードとしてマージすることであって、前記第１ノードは、マージ前の前記複数のノードのマッピング関係を維持する、ことを含み、
及び／又は、前記複数のノードを含まない第２骨格を更新することは、
前記第１骨格から、前記複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、前記第２骨格から、前記第２ノードにマッピングされる第３ノードを探し出すことと、
前記複数のノードに対応するノードトポロジ構造に応じて、前記第３ノードに少なくとも１つの骨格分岐を新規追加することと、を含み、前記複数のノードは、前記第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされることを特徴とする
請求項４に記載の方法。 Updating the first skeleton in which the plurality of nodes are located includes:
merging a plurality of nodes in the first skeleton as one first node, the first node maintaining a mapping relationship of the plurality of nodes before merging;
and/or updating the second skeleton that does not include the plurality of nodes,
Searching from the first skeleton, a second node where skeleton branches where the plurality of nodes are located merge, and searching from the second skeleton, a third node mapped to the second node;
and adding at least one new skeleton branch to the third node according to a node topology structure corresponding to the plurality of nodes, wherein the plurality of nodes have a skeleton newly added to the third node. 5. The method of claim 4, wherein the method is mapped one-to-one with nodes in the branch and the original skeletal branch.

前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得る前に、前記方法は、
ルートソースノードからリーフソースノードへの順番に応じて、前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることを更に含み、
前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることは、
前記第１動画駆動データと前記第１位置姿勢変換関係を利用して、前記最終的なターゲット骨格の第２動画駆動データを得ることを含むことを特徴とする
請求項１から５のうちいずれか一項に記載の方法。 Before migrating first animation driving data associated with the initial source skeleton to the final target skeleton and obtaining second animation driving data of the final target skeleton, the method comprises:
According to the order from the root source node to the leaf source nodes, each source node in the final source skeleton and the correspondingly mapped target node in the final target skeleton are respectively aligned, and each source node and further comprising obtaining a first position-orientation transformation relationship with the target node to be mapped;
migrating first video driving data associated with the initial source skeleton to the final target skeleton to obtain second video driving data of the final target skeleton;
Any one of claims 1 to 5, further comprising obtaining second moving image driving data of the final target skeleton by using the first moving image driving data and the first position/posture conversion relationship. The method described in paragraph 1.

前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることは、
前記最終的なソース骨格における各ソースノードに対して、前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することであって、前記オフセットは、並進成分と回転成分とのうちの少なくとも１つを含む、ことと、
前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることと、を含むことを特徴とする
請求項６に記載の方法。 each source node in the final source skeleton and the correspondingly mapped target node in the final target skeleton are respectively aligned, and a first position-orientation transformation relationship between each source node and the mapped target node is determined; What you get is
obtaining, for each source node in the final source skeleton, an offset necessary to align the source node with a mapped target node, the offset having a translational component and a rotational component; containing at least one of the following;
7. The method of claim 6, comprising: obtaining a first position and orientation transformation relationship for the source node based on an offset corresponding to the source node.

前記最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、前記第１位置姿勢変換関係は、前記ソースノードとマッピングされるターゲットノードとの、前記第１座標系における変換関係であり、前記ソースノードに対応するオフセットは、前記ソースノードの第１親ノードが位置合わせされ、かつ前記第１親ノードが第２座標系の原点である場合、前記ソースノードとマッピングされるターゲットノードの、前記第２座標系におけるオフセットであることを特徴とする
請求項７に記載の方法。 The root source node of the final source skeleton and the root target node of the final target skeleton are both translated to the origin of a first coordinate system, and the first position and orientation transformation relationship is between the source node and the mapped target. A transformation relationship with a node in the first coordinate system, and an offset corresponding to the source node is such that the first parent node of the source node is aligned and the first parent node is the origin of the second coordinate system. 8. The method of claim 7, wherein if , then the offset of the source node and the mapped target node in the second coordinate system.

前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することは、
位置合わせされた前記第１親ノードとルートソースノードとの第２位置姿勢変換関係、及び前記ソースノードのマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得し、前記ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、前記第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、前記ソースノードに対応するオフセットを得ることを含み、
及び／又は、
前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることは、
前記ソースノード及び前記ソースノードの上位ノードのそれぞれに対応する前記オフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることであって、前記ソースノードの上位ノードは、前記最終的なソース骨格における前記ソースノードの第１親ノード、ルートソースノード及び前記第１親ノードとルートソースノードとの間のノードである、ことを含むことを特徴とする
請求項８に記載の方法。 Obtaining the offset necessary to align the source node to the mapped target node comprises:
a second position and orientation transformation relationship between the aligned first parent node and the root source node; and a third position and orientation transformation relationship between the second parent node of the mapped target node of the source node and the root target node. an offset corresponding to the source node based on the acquired position and orientation of the source node and the mapped target node in the first coordinate system, the second position and orientation transformation relationship, and the third position and orientation transformation relationship; including obtaining
and/or
Obtaining a first position and orientation transformation relationship of the source node based on an offset corresponding to the source node,
obtaining a first position and orientation transformation relationship of the source node based on the offset corresponding to each of the source node and an upper node of the source node, wherein the upper node of the source node 9. The method of claim 8, comprising: a first parent node of the source node in a source skeleton, a root source node, and a node between the first parent node and the root source node.

前記第１動画駆動データは、前記最終的なソース骨格と前記初期ソース骨格とのトポロジ構造差異に基づいて、前記初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものであり、
及び／又は、
前記最終的なターゲット骨格の第２動画駆動データは、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものであり、前記第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係であり、前記最終的なターゲット骨格は、ターゲット対象の骨格であり、前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることは、
前記ターゲット対象における幾何学的メッシュ頂点の第１位置情報、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて、前記第２動画駆動データにおける、前記幾何学的メッシュ頂点に関する第２位置情報を得ることを含むことを特徴とする
請求項１から９のうちいずれか一項に記載の方法。 The first video driving data is obtained by adjusting the original video data of the initial source skeleton based on a topological structural difference between the final source skeleton and the initial source skeleton. ,
and/or
The second moving image driving data of the final target skeleton is obtained based on the first moving image driving data and the first position/orientation conversion relationship, and the first position/orientation conversion relationship is based on the final source a transformation relationship between a source node of a skeleton and a mapped target node in a final target skeleton, the final target skeleton being a skeleton of a target object, and a first video associated with the initial source skeleton; Transferring the driving data to the final target skeleton and obtaining second video driving data of the final target skeleton,
A second position regarding the geometric mesh vertex in the second video drive data based on the first position information of the geometric mesh vertex in the target object, the first video drive data, and the first position/orientation transformation relationship. 10. A method according to any one of claims 1 to 9, characterized in that it comprises obtaining information.

前記ターゲット対象における幾何学的メッシュ頂点の第１位置情報、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて、前記第２動画駆動データにおける、前記幾何学的メッシュ頂点に関する第２位置情報を得ることは、
前記幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、前記リファレンスノードの影響重みを得ることと、
前記第１動画駆動データにおける、前記リファレンスノードに関する第４位置姿勢変換関係と前記リファレンスノードに対応する第１位置姿勢変換関係に基づいて、前記リファレンスノードに対応する第５位置姿勢変換関係を得ることと、
前記第１位置情報、各前記リファレンスノードに対応する第５位置姿勢変換関係及び前記影響重みを利用して、前記幾何学的メッシュ頂点の第２位置情報を得ることと、を含むことを特徴とする
請求項１０に記載の方法。 A second position regarding the geometric mesh vertex in the second video drive data based on the first position information of the geometric mesh vertex in the target object, the first video drive data, and the first position/orientation transformation relationship. Obtaining information is
Obtaining at least one target node whose distance from the geometric mesh vertex satisfies a predetermined condition as a reference node, and obtaining an influence weight of the reference node;
Obtaining a fifth position/posture conversion relationship corresponding to the reference node based on a fourth position/posture conversion relationship regarding the reference node and a first position/posture conversion relationship corresponding to the reference node in the first video drive data. and,
obtaining second position information of the geometric mesh vertices by using the first position information, a fifth position/orientation transformation relationship corresponding to each of the reference nodes, and the influence weight. The method according to claim 10.

前記初期ソース骨格を取得することは、
ターゲット対象を含む画像に対して分類を行い、前記ターゲット対象のクラスを得、前記クラスに合致した骨格モデルを前記初期ソース骨格として選択することであって、前記最終的なターゲット骨格は、ターゲット対象の骨格である、ことを含み、
及び／又は、
初期ターゲット骨格を取得することは、
ターゲット対象を含む画像に対して輪郭抽出を行い、前記ターゲット対象の輪郭を得ることと、
前記輪郭を利用して、前記ターゲット対象に対して、三次元メッシュモデルを生成することと、
前記三次元メッシュモデルから、前記初期ターゲット骨格を抽出することと、を含むことを特徴とする
請求項１から１１のうちいずれか一項に記載の方法。 Obtaining the initial source skeleton comprises:
performing classification on an image containing a target object to obtain a class of the target object, and selecting a skeleton model matching the class as the initial source skeleton; including that it is the skeleton of
and/or
Obtaining the initial target skeleton is
Performing contour extraction on an image containing a target object to obtain a contour of the target object;
Generating a three-dimensional mesh model for the target object using the contour;
12. The method according to any one of claims 1 to 11, comprising: extracting the initial target skeleton from the three-dimensional mesh model.

動画移行装置であって、
初期ソース骨格、初期ターゲット骨格及び前記初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得するように構成される取得モジュールと、
前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得るように構成されるモデル更新モジュールであって、前記最終的なターゲット骨格におけるターゲットノードはいずれも、前記最終的なソース骨格におけるソースノードにマッピング可能である、モデル更新モジュールと、
前記初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得るように構成される動画移行モジュールと、を備える、動画移行装置。 A video transition device,
an acquisition module configured to acquire an initial source skeleton, an initial target skeleton, and a node mapping relationship between the initial source skeleton and the initial target skeleton;
model updating configured to update a node topology structure of at least one of the initial source skeleton and the initial target skeleton based on the node mapping relationship to obtain a final source skeleton and a final target skeleton; a model update module, wherein any target node in the final target skeleton is mappable to a source node in the final source skeleton;
a video migration module configured to migrate first video driving data associated with the initial source skeleton to a final target skeleton and obtain second video driving data of the final target skeleton. Transition device.

前記ノードマッピング関係は、前記初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、前記モデル更新モジュールは更に、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、前記骨格のうちの１つのノードトポロジ構造を更新し、前記骨格にマッピング関係のないノードがある場合、前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新するように構成され、前記２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された前記２つの骨格間のノードが一対一にマッピングされることを特徴とする
請求項１３に記載の装置。 The node mapping relationship includes a mapping relationship between nodes in the initial source skeleton and the initial target skeleton, and the model update module further determines that if there are multiple nodes mapped to the same node between the two skeletons, , is configured to update the node topology structure of one of the skeletons, and if the skeleton has a node with no mapping relationship, update the node topology structure of the skeleton in which the node with no mapping relationship is located; The apparatus according to claim 13, wherein the two skeletons include an initial source skeleton and an initial target skeleton, and nodes between the two updated skeletons are mapped one-to-one.

前記モデル更新モジュールは更に、
前記マッピング関係のないノードを、マッピング関係のある隣接ノードにマージし、前記隣接ノードは、前記マッピング関係のないノードが位置する骨格における、前記マッピング関係のないノードの親ノード又は子ノードであり、
及び／又は、前記複数のノードが同一の骨格分岐に位置する場合、前記複数のノードが位置する第１骨格を更新し、前記複数のノードが異なる骨格分岐に位置する場合、前記複数のノードを含まない第２骨格を更新するように構成され、前記第１骨格と前記第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格であることを特徴とする
請求項１４に記載の装置。 The model update module further includes:
merging the node with no mapping relationship to an adjacent node with a mapping relationship, the adjacent node being a parent node or child node of the node with no mapping relationship in the skeleton where the node with no mapping relationship is located;
and/or, if the plurality of nodes are located in the same skeleton branch, update the first skeleton in which the plurality of nodes are located, and if the plurality of nodes are located in different skeleton branches, update the first skeleton in which the plurality of nodes are located; one of the first skeleton and the second skeleton is an initial source skeleton and the other is an initial target skeleton; The apparatus according to claim 14.

前記モデル更新モジュールは更に、
前記第１骨格における複数のノードを１つの第１ノードとしてマージし、前記第１ノードは、マージ前の前記複数のノードのマッピング関係を維持し、
及び／又は、前記第１骨格から、前記複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、前記第２骨格から、前記第２ノードにマッピングされる第３ノードを探し出し、前記複数のノードに対応するノードトポロジ構造に応じて、前記第３ノードに少なくとも１つの骨格分岐を新規追加するように構成され、前記複数のノードは、前記第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされることを特徴とする
請求項１５に記載の装置。 The model update module further includes:
merging a plurality of nodes in the first skeleton as one first node, the first node maintaining a mapping relationship of the plurality of nodes before merging;
and/or from the first skeleton, find a second node where skeleton branches in which the plurality of nodes are located merge; from the second skeleton, find a third node mapped to the second node; At least one skeletal branch is newly added to the third node according to a node topology structure corresponding to the node, and the plurality of nodes are configured to add at least one skeletal branch newly added to the third node and the original skeletal branch. The device according to claim 15, characterized in that it is mapped one-to-one with nodes in a skeletal branch.

前記動画移行モジュールは更に、ルートソースノードからリーフソースノードへの順番に応じて、前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得、前記第１動画駆動データと前記第１位置姿勢変換関係を利用して、前記最終的なターゲット骨格の第２動画駆動データを得るように構成されることを特徴とする
請求項１３から１６のうちいずれか一項に記載の装置。 The video migration module further positions each source node in the final source skeleton and the correspondingly mapped target node in the final target skeleton, respectively, according to the order from root source node to leaf source node. and obtain a first position/orientation transformation relationship between each source node and the mapped target node, and use the first video driving data and the first position/orientation transformation relationship to determine the first position/orientation transformation relationship of the final target skeleton. 17. The device according to any one of claims 13 to 16, characterized in that it is configured to obtain two moving image driving data.

前記動画移行モジュールは更に、前記最終的なソース骨格における各ソースノードに対して、前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得し、前記オフセットは、並進成分と回転成分とのうちの少なくとも１つを含み、前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得るように構成されることを特徴とする
請求項１７に記載の装置。 The video migration module further obtains, for each source node in the final source skeleton, an offset necessary to align the source node with a mapped target node, the offset comprising a translational component and 18. The first position/orientation transformation relationship of the source node is obtained based on an offset corresponding to the source node, the first position/orientation transformation relationship being configured to include at least one rotational component. equipment.

前記最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、前記第１位置姿勢変換関係は、前記ソースノードとマッピングされるターゲットノードとの、前記第１座標系における変換関係であり、前記ソースノードに対応するオフセットは、前記ソースノードの第１親ノードが位置合わせされ、かつ前記第１親ノードが第２座標系の原点である場合、前記ソースノードとマッピングされるターゲットノードの、前記第２座標系におけるオフセットであることを特徴とする
請求項１８に記載の装置。 The root source node of the final source skeleton and the root target node of the final target skeleton are both translated to the origin of a first coordinate system, and the first position and orientation transformation relationship is between the source node and the mapped target. A transformation relationship with a node in the first coordinate system, and an offset corresponding to the source node is such that the first parent node of the source node is aligned and the first parent node is the origin of the second coordinate system. 19. The apparatus of claim 18, if , the offset of the source node and the mapped target node in the second coordinate system.

メモリ及びプロセッサを備える電子機器であって、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行して、請求項１から１２のうちいずれか一項に記載の方法を実施する、電子機器。 Electronic device comprising a memory and a processor, the processor executing program instructions stored in the memory to implement the method according to any one of claims 1 to 12. .

プロセッサにより実行されるときに、前記プロセッサに請求項１から１２のうちいずれか一項に記載の方法を実施させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。 A computer-readable storage medium storing program instructions for, when executed by a processor, causing the processor to implement the method according to any one of claims 1 to 12.

プログラムコードを記憶したコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、前記プログラムコードに含まれる命令がコンピュータ機器のプロセッサにより実行されるときに、前記プロセッサに請求項１から１２のうちいずれか一項に記載の方法を実施させる、コンピュータプログラム製品。 13. A computer program product comprising a computer-readable storage medium storing a program code, the computer program product comprising a computer readable storage medium storing a program code, said computer program product comprising a computer readable storage medium having a program code stored thereon, said computer program product having said program code, said computer program product, said computer program product comprising a computer readable storage medium storing said program code, said computer program product comprising said computer program product comprising a computer readable storage medium storing said program code; A computer program product that causes the method described in Section 1 to be carried out.