CN107845129A - 三维重构方法及装置、增强现实的方法及装置 - Google Patents

三维重构方法及装置、增强现实的方法及装置 Download PDF

Info

Publication number
CN107845129A
CN107845129A CN201711084000.4A CN201711084000A CN107845129A CN 107845129 A CN107845129 A CN 107845129A CN 201711084000 A CN201711084000 A CN 201711084000A CN 107845129 A CN107845129 A CN 107845129A
Authority
CN
China
Prior art keywords
feature point
motion
human body
personage
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711084000.4A
Other languages
English (en)
Inventor
宋亚楠
邱楠
万海
邓婧文
周游
程谦
刘海峡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Original Assignee
Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd filed Critical Shenzhen Green Bristlegrass Intelligence Science And Technology Ltd
Priority to CN201711084000.4A priority Critical patent/CN107845129A/zh
Publication of CN107845129A publication Critical patent/CN107845129A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种三维重构方法及装置、增强现实的方法及装置，其中增强现实的方法，用于对三维形象实现增强现实，包括，目标获取步骤，获取视频帧中的第二人物；运动捕捉步骤，捕捉第二人物的运动特征点；轨迹获取步骤，跟踪视频中运动特征点的运动，以获得每个运动特征点的运动轨迹；轨迹应用步骤，将每个运动特征点的运动轨迹，确定为三维形象中对应关键点的运动轨迹，并对每两个关键点之间的运动轨迹进行估计，以获取三维形象的整体运动轨迹，实现将视频中第二人物的运动状态应用到三维形象。本发明采用运动跟踪技术获取视频中人物的动作，继而实现虚拟人物重现视频中人物的动作，能够为用户提供较好的交互体验，且成本较低。

Description

三维重构方法及装置、增强现实的方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种三维重构方法及装置、增强现实的方法及装置。
背景技术
互联网文化产业在为消费者提供文化内容的同时，逐渐发展成为市场潜力巨大的产业。首先，根据二次元用户消费情况可以知道，随着核心二次元用户的稳定增长和泛二次元用户规模的日益庞大，和二者可支配资金的不断提升，二次元用户的消费能力得到了持续提升，从而推动二次元文化行业规模快速增长。其次，互联网普及率的提升和移动网络环境的完善使用户获取信息更加便捷，进一步促进了二次元文化的引入与快速传播。
用户接受内容的形式从漫画、游戏、动画等传统形式，逐渐发展到与虚拟现实和增强现实等新技术结合更加紧密的形式。
在用户的真实使用场景中，除了通过各种方式将二维的二次元人物(即，虚拟人物)做三维展示，还存在二次元人物进行更多动作和行为展示的需求。
目前，现有的对二维的虚拟人物进行三维展示的方式为采用全息投影技术对虚拟人物进行显示，以实现三维展示效果，但本质上显示的内容还是二维图像。
此外，目前一般是通过设计、渲染一系列新的动作、场景，以实现将现有的将三维的虚拟人物形象应用于各种场景为用户提供更好的体验，这种做法需要耗费较大的人力物力，成本高。
发明内容
本发明旨在提出一种三维重构方法及装置、增强现实的方法及装置，以解决上述问题之一。
第一方面，本发明提供一种三维重构方法，包括，
标注步骤，采用预先设定的人体特征点对第一人物的至少两个二维图像进行标注；
拼接步骤，根据人体特征点对多个标注后的二维图像进行拼接；
缝合步骤，采用人体特征点与人体特征点间的共同边对拼接后的图像进行缝合；
重构步骤，将缝合后的图像与预先构建的三维模型进行适配，以获得第一人物的三维形象。
进一步地，人体特征点有21个。
进一步地，拼接步骤具体为，根据人体特征点的ID对多个标注后的二维图像进行位置拼接，以及根据人体特征点的方向对多个标注后的二维图像进行方向拼接。
进一步地，缝合步骤具体为，采用人体特征点与人体特征点间的共同边，以及采用虚拟缝合技术按照三角网格缝合方式对拼接后的图像进行缝合。
进一步地，三维模型与第一人物对应。
第二方面，本发明提供一种三维重构装置，包括，
标注单元，用于采用预先设定的人体特征点对第一人物的至少两个二维图像进行标注；
拼接单元，用于根据人体特征点对标注后的多个二维图像进行拼接；
缝合单元，用于采用人体特征点与人体特征点间的共同边对拼接后的图像进行缝合；
重构单元，用于将缝合后的图像与预先构建的第一人物的三维模型进行适配，以获得第一人物的三维形象。
本发明提供的三维重构方法及装置，对虚拟人物的多个二维图像进行标注、拼接、缝合、重构，以获得虚拟人物的三维形象，继而实现对虚拟人物进行三维展示。
第三方面，本发明提供一种增强现实的方法，用于对三维重构方法获得的三维形象实现增强现实，包括，
目标获取步骤，获取视频帧中的第二人物；
运动捕捉步骤，捕捉第二人物的运动特征点；
轨迹获取步骤，跟踪视频中运动特征点的运动，以获得每个运动特征点的运动轨迹；
轨迹应用步骤，将每个运动特征点的运动轨迹，确定为三维形象中对应关键点的运动轨迹，并对每两个关键点之间的运动轨迹进行估计，以获取三维形象的整体运动轨迹，实现将视频中第二人物的运动状态应用到三维形象。
进一步地，采用贝塞尔曲线对每两个关键点之间的运动轨迹进行估计。
进一步地，关键点为三维形象中与运动特征点位置关系对应的人体特征点。
第四方面，本发明提供一种增强现实的装置，包括，
目标获取单元，用于获取视频帧中的第二人物；
运动捕捉单元，用于捕捉第二人物的运动特征点；
轨迹获取单元，用于跟踪视频中运动特征点的运动，以获得每个运动特征点的运动轨迹；
轨迹应用单元，用于将每个运动特征点的运动轨迹，确定为三维形象中对应关键点的运动轨迹，并对每两个关键点之间的运动轨迹进行估计，以获取三维形象的整体运动轨迹，实现将视频中第二人物的运动状态应用到三维形象。
本发明提供的增强现实的方法及装置，采用运动跟踪技术获取视频中人物的动作，继而实现虚拟人物重现视频中人物的动作。可以实现在原视频场景中用虚拟人物形象替代视频中已有的人物形象，能够为用户提供较好的交互体验，且成本较低。
附图说明
图1是本发明实施例提供的三维重构方法的流程图；
图2是本发明实施例提供的三维重构装置的框图；
图3是本发明实施例提供的增强现实的方法的流程图；
图4是本发明实施例提供的增强现实的装置的框图。
具体实施方式
下面通过具体的实施例进一步说明本发明，但是，应当理解为，这些实施例仅仅是用于更详细具体地说明之用，而不应理解为用于以任何形式限制本发明。
实施例一
结合图1，本实施例提供的三维重构方法，包括，
标注步骤S1，采用预先设定的人体特征点对第一人物的至少两个二维图像进行标注；
拼接步骤S2，根据人体特征点对多个标注后的二维图像进行拼接；
缝合步骤S3，采用人体特征点与人体特征点间的共同边对拼接后的图像进行缝合；
重构步骤S4，将缝合后的图像与预先构建的三维模型进行适配，以获得第一人物的三维形象。
本发明实施例提供的三维重构方法，对虚拟人物的多个二维图像进行标注、拼接、缝合、重构，以获得虚拟人物的三维形象，继而实现对虚拟人物进行三维展示。
需要说明的是，本实施例中，在对图像进行拼接后，继续对拼接后的图像采用缝合技术进行缝合，且经过缝合后，得到的整体图像可以在拉伸、压缩等操作中保持图像整体在形变上的一致性。此外，需要说明的是，在不对拼接后的图像进行缝合，即，只是单纯的拼接，在图片扭转、拉伸时，可能会出现不同部分形变不同或者会出现不同部分间出现裂变。
优选地，人体特征点有21个。
本实施例中，为了生成虚拟人物三维外观，采用预设的人体特征点分别对每个二维图像进行标注，之后在对二维图像进行拼接时，将每个图像上的人体特征点作为拼接的标志点(对应点)，继而实现对图像进行准确拼接。
需要说明的是，在动画、游戏领域为了保证虚拟人物动作的流畅性、美观、设计的便利性等，会根据生理学、医学的研究，结合人体动画制作的具体需求选择人体特征点。这些人体特征点是提前预设的(不是利用动作检测、机器学习等方法实时识别到的)，一般来说，会选择人体的关节点、眼鼻喉等视觉中心点及头顶脚跟等对齐关键点作为预设的人体特征点。且优选的，本实施例中，预设的人体特征点为21个，且这21个人体特征点对应的位置分别为：左脚跟、右脚跟、左膝盖、右膝盖、左腰、右腰、后腰、腹部、左掌心、右掌心、左掌背、右掌背、左手肘、右手肘、左肩、右肩、左耳、右耳、鼻尖、后脑、头顶。此外，需要说明的是，本实施例对人体特征点的具体个数和具***置不作具体限定，可以结合实际需要进行设定。
此外，在采用人体特征点对二维图像进行标注时，标注内容包括人体特征点的ID，以及人体特征点在二维图像中的方向。
需要说明的是，人体特征点的ID是为了唯一标识每一人体特征点而设定的。一般来说，不需要特别关注ID编号的顺序及编号规则。但是当涉及ID需要作为信息在网络上传输或者涉及编码工作的时候，为了保证信息传输的有效性并节省带宽和后续编码工作量，可以通过设定ID编号规则。例如，左后腰可以设定ID为WBL(waist back left)，也可以设定ID为WB_001(其中，WB为waist back的缩写，001表示左，002表示右，000表示中)，本实施例对编码规则不作具体限定，可以结合实际需要进行设定。
进一步优选地，拼接步骤S2具体为，根据人体特征点的ID对多个标注后的二维图像进行位置拼接，以及根据人体特征点的方向对多个标注后的二维图像进行方向拼接。
本实施例中，人体特征点的方向，是以人体直立时各关节点在右手坐标系的方向为各关节点的初始方向，在人体运动时，以运动过程中各关节点在右手坐标系的当前方向为该关节点的实时方向。本实施例中，设定关节点的方向可以保证在二维拼接和虚拟缝合的过程中不会出现相邻部位缝合错误的情况(缝合的时候，除了将人体特征点对齐，还要将对应的人体特征点的方向对齐)。此外，需要说明的是，本实施中，原点的选择是相对的(物体的位置是相对的)，行业内一般选择最高点、最低点、中心点作为原点，对应的可以认为是人体的头顶、足跟、肚脐，原点的位置可以根据实际需要进行选定，本实施例不作具体限定。
进一步优选地，缝合步骤S3具体为，采用人体特征点与人体特征点间的共同边，以及采用虚拟缝合技术按照三角网格缝合方式对拼接后的图像进行缝合。
本实施例中，采用虚拟人物的多个二维图像和预先构建的与虚拟人物对应的三维模型生成虚拟人物的三维形象时，将多个二维图像按照人体特征点的ID和方向进行拼接，且拼接后，对应点之间的共同边采用虚拟缝合技术按照三角网格的方法进行缝合，从而将图像拼接到一起，之后，再将缝合后的图像和三维模型进行适配，即，按照三维模型设定的参数和特征对图形进行调整，继而获得虚拟人物的三维形象。
需要说明的是，拼接所使用二维图像的数量本实施例不作具体限定。且一般地，所使用的二维图像越多缝合而成的效果会越精密。
进一步优选地，三维模型与第一人物对应。
本实施例中，对一个特定的虚拟人物(例如，某个二次元形象)，由于其完全是人为创造和设计的，这个虚拟人物的三维参数和特征都很容易获得。此外，目前人体模型已经在动画、游戏设计等领域较为成熟并得到普遍应用，只需要将虚拟形象创造者为虚拟形象设定的三维参数作为输入便能很容易地获得该虚拟形象对应的人体三维模型。
此外，需要说明的是，本实施例中，所述及的第一人物即为虚拟人物。且需要说明的是，对于真实人物的三维重建，需要预先检测和/或估计出特征点的位置及各特征点之间的对应关系。且，在真实人物的特征点以及各特征点间的对应关系已知的情形下，亦可使用本实施例的方法对真实人物的三维形象重构。
实施例二
结合图2，本实施例提供一种三维重构装置，包括，
标注单元1，用于采用预先设定的人体特征点对第一人物的至少两个二维图像进行标注；
拼接单元2，用于根据人体特征点对标注后的多个二维图像进行拼接；
缝合单元3，用于采用人体特征点与人体特征点间的共同边对拼接后的图像进行缝合；
重构单元4，用于将缝合后的图像与预先构建的第一人物的三维模型进行适配，以获得第一人物的三维形象。
本发明实施例提供的三维重构装置，对虚拟人物的多个二维图像进行标注、拼接、缝合、重构，以获得虚拟人物的三维形象，继而实现对虚拟人物进行三维展示。
优选地，人体特征点有21个。
本实施例中，为了生成虚拟人物三维外观，采用预设的人体特征点分别对每个二维图像进行标注，之后在对二维图像进行拼接时，将每个图像上的人体特征点作为拼接的标志点(对应点)，继而实现对图像进行准确拼接。
需要说明的是，在动画、游戏领域为了保证虚拟人物动作的流畅性、美观、设计的便利性等，会根据生理学、医学的研究，结合人体动画制作的具体需求选择人体特征点。这些人体特征点是提前预设的(不是利用动作检测、机器学习等方法实时识别到的)，一般来说，会选择人体的关节点、眼鼻喉等视觉中心点及头顶脚跟等对齐关键点作为预设的人体特征点。且优选的，本实施例中，预设的人体特征点为21个，且这21个人体特征点对应的位置分别为：左脚跟、右脚跟、左膝盖、右膝盖、左腰、右腰、后腰、腹部、左掌心、右掌心、左掌背、右掌背、左手肘、右手肘、左肩、右肩、左耳、右耳、鼻尖、后脑、头顶。此外，需要说明的是，本实施例对人体特征点的具体个数和具***置不作具体限定，可以结合实际需要进行设定。
此外，在采用人体特征点对二维图像进行标注时，标注内容包括人体特征点的ID，以及人体特征点在二维图像中的方向。
需要说明的是，人体特征点的ID是为了唯一标识每一人体特征点而设定的。一般来说，不需要特别关注ID编号的顺序及编号规则。但是当涉及ID需要作为信息在网络上传输或者涉及编码工作的时候，为了保证信息传输的有效性并节省带宽和后续编码工作量，可以通过设定ID编号规则。例如，左后腰可以设定ID为WBL(waist back left)，也可以设定ID为WB_001(其中，WB为waist back的缩写，001表示左，002表示右，000表示中)，本实施例对编码规则不作具体限定，可以结合实际需要进行设定。
进一步优选地，拼接单元2具体用于，根据人体特征点的ID对多个标注后的二维图像进行位置拼接，以及根据人体特征点的方向对多个标注后的二维图像进行方向拼接。
本实施例中，人体特征点的方向，是以人体直立时各关节点在右手坐标系的方向为各关节点的初始方向，在人体运动时，以运动过程中各关节点在右手坐标系的当前方向为该关节点的实时方向。本实施例中，设定关节点的方向可以保证在二维拼接和虚拟缝合的过程中不会出现相邻部位缝合错误的情况(缝合的时候，除了将人体特征点对齐，还要将对应的人体特征点的方向对齐)。此外，需要说明的是，本实施中，原点的选择是相对的(物体的位置是相对的)，行业内一般选择最高点、最低点、中心点作为原点，对应的可以认为是人体的头顶、足跟、肚脐，原点的位置可以根据实际需要进行选定，本实施例不作具体限定。
进一步优选地，缝合单元3具体用于，采用人体特征点与人体特征点间的共同边，以及采用虚拟缝合技术按照三角网格缝合方式对拼接后的图像进行缝合。
本实施例中，采用虚拟人物的多个二维图像和预先构建的与虚拟人物对应的三维模型生成虚拟人物的三维形象时，将多个二维图像按照人体特征点的ID和方向进行拼接，且拼接后，对应点之间的共同边采用虚拟缝合技术按照三角网格的方法进行缝合，从而将图像拼接到一起，之后，再将缝合后的图像和三维模型进行适配，即，按照三维模型设定的参数和特征对图形进行调整，继而获得虚拟人物的三维形象。
需要说明的是，拼接所使用二维图像的数量本实施例不作具体限定。且一般地，所使用的二维图像越多缝合而成的效果会越精密。
进一步优选地，三维模型与第一人物对应。
本实施例中，对一个特定的虚拟人物(例如，某个二次元形象)，由于其完全是人为创造和设计的，这个虚拟人物的三维参数和特征都很容易获得。此外，目前人体模型已经在动画、游戏设计等领域较为成熟并得到普遍应用，只需要将虚拟形象创造者为虚拟形象设定的三维参数作为输入便能很容易地获得该虚拟形象对应的人体三维模型。
实施例三
结合图3，本实施例提供一种增强现实的方法，用于对实施例一或实施例二构建的三维形象实现增强现实，包括，
目标获取步骤S10，获取视频帧中的第二人物；
运动捕捉步骤S20，捕捉第二人物的运动特征点；
轨迹获取步骤S30，跟踪视频中运动特征点的运动，以获得每个运动特征点的运动轨迹；
轨迹应用步骤S40，将每个运动特征点的运动轨迹，确定为三维形象中对应关键点的运动轨迹，并对每两个关键点之间的运动轨迹进行估计，以获取三维形象的整体运动轨迹，实现将视频中第二人物的运动状态应用到三维形象。
本发明实施例提供的增强现实的方法，采用运动跟踪技术获取视频中人物的动作，继而实现虚拟人物重现视频中人物的动作。可以实现在原视频场景中用虚拟人物形象替代视频中已有的人物形象，能够为用户提供新颖的交互体验，且成本较低。
需要说明的是，本实施例能够自动识别到视频帧中的人物，然后用虚拟人物的三维形象以相同的动作和位置替代视频中的原有人物。
具体地，本实施例采用人体跟踪技术获得视频开始帧中的第二人物(即，原有人物)；继而捕捉第二人物的运动特征点；之后采用运动目标跟踪技术跟踪视频中运动特征点的运动，以获取每个运动特征点的运动轨迹，最后，将获取到的运动轨迹应用到虚拟人物的三维形象的关键点，以获得每个关键点的运动轨迹，且优选地，采用贝塞尔曲线对每两个关键点之间的运动轨迹进行估计。
本实施例中，运动特征点为一般人体关节点，头顶，足跟等标志点，且需要说明的是，本实施例中，运动特征点的位置与人体特征点的位置可以相同也可以不同，本实施例不作具体限定，可以结合实际需要进行选定。
需要说明的是，关键点为三维形象中与运动特征点位置关系对应的人体特征点。
此外，需要说明的是，由于将每个运动特征点的运动轨迹，确定为三维形象中对应关键点的运动轨迹后，相当于只知道了三维形象运动关键点的运动轨迹，而三维形象其它部位应如何运动依然处于未知，故，通过贝塞尔曲线，估计两个运动关键点之间的部位该在对应的运动过程中做怎样的运动，可提高增强现实的精度。
此外，需要说明的是，采用贝塞尔曲线对每两个关键点之间的运动轨迹进行估计仅为本实施例的一个优选技术方案，且还可以采用其他的方式实现，例如，还可以采用对抗生成方法获取每两个关键点之间的运动轨迹，本实施例不作具体限定。
实施例四
结合图4,，本实施例提供一种增强现实的装置，包括，
目标获取单元10，用于获取视频帧中的第二人物；
运动捕捉单元20，用于捕捉第二人物的运动特征点；
轨迹获取单元30，用于跟踪视频中运动特征点的运动，以获得每个运动特征点的运动轨迹；
轨迹应用单元40，用于将每个运动特征点的运动轨迹，确定为三维形象中对应关键点的运动轨迹，并对每两个关键点之间的运动轨迹进行估计，以获取三维形象的整体运动轨迹，实现将视频中第二人物的运动状态应用到三维形象。
本发明实施例提供的增强现实的装置，采用运动跟踪技术获取视频中人物的动作，继而实现虚拟人物重现视频中人物的动作。可以实现在原视频场景中用虚拟人物形象替代视频中已有的人物形象，能够为用户提供新颖的交互体验，且成本较低。
需要说明的是，本实施例能够自动识别到视频帧中的人物，然后用虚拟人物的三维形象以相同的动作和位置替代视频中的原有人物。
具体地，本实施例采用人体跟踪技术获得视频开始帧中的第二人物(即，原有人物)；继而捕捉第二人物的运动特征点；之后采用运动目标跟踪技术跟踪视频中运动特征点的运动，以获取每个运动特征点的运动轨迹，最后，将获取到的运动轨迹应用到虚拟人物的三维形象的关键点，以获得每个关键点的运动轨迹，且优选地，采用贝塞尔曲线对每两个关键点之间的运动轨迹进行估计。
本实施例中，运动特征点为一般人体关节点，头顶，足跟等标志点，且需要说明的是，本实施例中，运动特征点的位置与人体特征点的位置可以相同也可以不同，本实施例不作具体限定，可以结合实际需要进行选定。
需要说明的是，关键点为三维形象中与运动特征点位置关系对应的人体特征点。
此外，需要说明的是，由于将每个运动特征点的运动轨迹，确定为三维形象中对应关键点的运动轨迹后，相当于只知道了三维形象运动关键点的运动轨迹，而三维形象其它部位应如何运动依然处于未知，故，通过贝塞尔曲线，估计两个运动关键点之间的部位该在对应的运动过程中做怎样的运动，可提高增强现实的精度。
此外，需要说明的是，采用贝塞尔曲线对每两个关键点之间的运动轨迹进行估计仅为本实施例的一个优选技术方案，且还可以采用其他的方式实现，例如，还可以采用对抗生成方法获取每两个关键点之间的运动轨迹，本实施例不作具体限定。
尽管本发明已进行了一定程度的描述，明显地，在不脱离本发明的精神和范围的条件下，可进行各个条件的适当变化。可以理解，本发明不限于所述实施方案，而归于权利要求的范围，其包括所述每个因素的等同替换。

Claims (10)

1.一种三维重构方法，其特征在于，包括，
标注步骤，采用预先设定的人体特征点对第一人物的至少两个二维图像进行标注；
拼接步骤，根据所述人体特征点对多个标注后的二维图像进行拼接；
缝合步骤，采用人体特征点与人体特征点间的共同边对拼接后的图像进行缝合；
重构步骤，将缝合后的图像与预先构建的三维模型进行适配，以获得所述第一人物的三维形象。
2.根据权利要求1所述的三维重构方法，其特征在于，所述人体特征点有21个。
3.根据权利要求2所述的三维重构方法，其特征在于，所述拼接步骤具体为，根据所述人体特征点的ID对多个标注后的二维图像进行位置拼接，以及根据所述人体特征点的方向对多个标注后的二维图像进行方向拼接。
4.根据权利要求1所述的三维重构方法，其特征在于，所述缝合步骤具体为，采用人体特征点与人体特征点间的共同边，以及采用虚拟缝合技术按照三角网格缝合方式对所述拼接后的图像进行缝合。
5.根据权利要求1所述的三维重构方法，其特征在于，所述三维模型与所述第一人物对应。
6.一种三维重构装置，其特征在于，包括，
标注单元，用于采用预先设定的人体特征点对第一人物的至少两个二维图像进行标注；
拼接单元，用于根据所述人体特征点对标注后的多个二维图像进行拼接；
缝合单元，用于采用人体特征点与人体特征点间的共同边对拼接后的图像进行缝合；
重构单元，用于将缝合后的图像与预先构建的所述第一人物的三维模型进行适配，以获得所述第一人物的三维形象。
7.一种增强现实的方法，用于对如权利要求1至6中任一项所述的三维形象实现增强现实，其特征在于，包括，
目标获取步骤，获取视频帧中的第二人物；
运动捕捉步骤，捕捉所述第二人物的运动特征点；
轨迹获取步骤，跟踪视频中所述运动特征点的运动，以获得每个所述运动特征点的运动轨迹；
轨迹应用步骤，将每个运动特征点的运动轨迹，确定为所述三维形象中对应关键点的运动轨迹，并对每两个所述关键点之间的运动轨迹进行估计，以获取三维形象的整体运动轨迹，实现将视频中第二人物的运动状态应用到所述三维形象。
8.根据权利要求7所述的增强现实的方法，其特征在于，采用贝塞尔曲线对每两个所述关键点之间的运动轨迹进行估计。
9.根据权利要求8所述的增强现实的方法，其特征在于，所述关键点为所述三维形象中与所述运动特征点位置关系对应的人体特征点。
10.一种增强现实的装置，其特征在于，包括，
目标获取单元，用于获取视频帧中的第二人物；
运动捕捉单元，用于捕捉所述第二人物的运动特征点；
轨迹获取单元，用于跟踪视频中所述运动特征点的运动，以获得每个所述运动特征点的运动轨迹；
轨迹应用单元，用于将每个运动特征点的运动轨迹，确定为所述三维形象中对应关键点的运动轨迹，并对每两个所述关键点之间的运动轨迹进行估计，以获取三维形象的整体运动轨迹，实现将视频中第二人物的运动状态应用到所述三维形象。
CN201711084000.4A 2017-11-07 2017-11-07 三维重构方法及装置、增强现实的方法及装置 Pending CN107845129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711084000.4A CN107845129A (zh) 2017-11-07 2017-11-07 三维重构方法及装置、增强现实的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711084000.4A CN107845129A (zh) 2017-11-07 2017-11-07 三维重构方法及装置、增强现实的方法及装置

Publications (1)

Publication Number Publication Date
CN107845129A true CN107845129A (zh) 2018-03-27

Family

ID=61682497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711084000.4A Pending CN107845129A (zh) 2017-11-07 2017-11-07 三维重构方法及装置、增强现实的方法及装置

Country Status (1)

Country Link
CN (1) CN107845129A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144252A (zh) * 2018-08-01 2019-01-04 百度在线网络技术（北京）有限公司 对象确定方法、装置、设备和存储介质
CN109191593A (zh) * 2018-08-27 2019-01-11 百度在线网络技术（北京）有限公司 虚拟三维模型的运动控制方法、装置及设备
CN110245638A (zh) * 2019-06-20 2019-09-17 北京百度网讯科技有限公司 视频生成方法和装置
CN111383313A (zh) * 2020-03-31 2020-07-07 歌尔股份有限公司 一种虚拟模型渲染方法、装置、设备及可读存储介质
CN114466202A (zh) * 2020-11-06 2022-05-10 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质
WO2022241583A1 (zh) * 2021-05-15 2022-11-24 电子科技大学 一种基于多目视频的家庭场景动作捕捉方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520902A (zh) * 2009-02-24 2009-09-02 上海大学 低成本动作捕捉与演示***及方法
CN101579238A (zh) * 2009-06-15 2009-11-18 吴健康 人体运动捕获三维再现***及其方法
US20110157306A1 (en) * 2009-12-29 2011-06-30 Industrial Technology Research Institute Animation Generation Systems And Methods
CN102929386A (zh) * 2012-09-16 2013-02-13 吴东辉 一种动感重现虚拟现实的方法及***
CN103049896A (zh) * 2012-12-27 2013-04-17 浙江大学 三维模型的几何数据和纹理数据自动配准算法
CN103218844A (zh) * 2013-04-03 2013-07-24 腾讯科技（深圳）有限公司 虚拟形象的配置方法、实现方法、客户端、服务器及***
CN104156995A (zh) * 2014-07-16 2014-11-19 浙江大学 一种针对敦煌飞天形象的飘带动画制作方法
CN105427369A (zh) * 2015-11-25 2016-03-23 努比亚技术有限公司 移动终端及其三维形象的生成方法
CN106297442A (zh) * 2016-10-27 2017-01-04 深圳市成真教育科技有限公司 一种体感互动教育实现方法及***
CN106502388A (zh) * 2016-09-26 2017-03-15 惠州Tcl移动通信有限公司 一种互动式运动方法及头戴式智能设备
CN107095393A (zh) * 2017-03-22 2017-08-29 青岛小步科技有限公司 一种基于图像识别及三维建模技术的定制鞋制作方法及***

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520902A (zh) * 2009-02-24 2009-09-02 上海大学 低成本动作捕捉与演示***及方法
CN101579238A (zh) * 2009-06-15 2009-11-18 吴健康 人体运动捕获三维再现***及其方法
US20110157306A1 (en) * 2009-12-29 2011-06-30 Industrial Technology Research Institute Animation Generation Systems And Methods
CN102929386A (zh) * 2012-09-16 2013-02-13 吴东辉 一种动感重现虚拟现实的方法及***
CN103049896A (zh) * 2012-12-27 2013-04-17 浙江大学 三维模型的几何数据和纹理数据自动配准算法
CN103218844A (zh) * 2013-04-03 2013-07-24 腾讯科技（深圳）有限公司 虚拟形象的配置方法、实现方法、客户端、服务器及***
CN104156995A (zh) * 2014-07-16 2014-11-19 浙江大学 一种针对敦煌飞天形象的飘带动画制作方法
CN105427369A (zh) * 2015-11-25 2016-03-23 努比亚技术有限公司 移动终端及其三维形象的生成方法
CN106502388A (zh) * 2016-09-26 2017-03-15 惠州Tcl移动通信有限公司 一种互动式运动方法及头戴式智能设备
CN106297442A (zh) * 2016-10-27 2017-01-04 深圳市成真教育科技有限公司 一种体感互动教育实现方法及***
CN107095393A (zh) * 2017-03-22 2017-08-29 青岛小步科技有限公司 一种基于图像识别及三维建模技术的定制鞋制作方法及***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109144252A (zh) * 2018-08-01 2019-01-04 百度在线网络技术（北京）有限公司 对象确定方法、装置、设备和存储介质
US11042730B2 (en) 2018-08-01 2021-06-22 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus and device for determining an object, and storage medium for the same
CN109191593A (zh) * 2018-08-27 2019-01-11 百度在线网络技术（北京）有限公司 虚拟三维模型的运动控制方法、装置及设备
CN110245638A (zh) * 2019-06-20 2019-09-17 北京百度网讯科技有限公司 视频生成方法和装置
CN111383313A (zh) * 2020-03-31 2020-07-07 歌尔股份有限公司 一种虚拟模型渲染方法、装置、设备及可读存储介质
CN114466202A (zh) * 2020-11-06 2022-05-10 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质
CN114466202B (zh) * 2020-11-06 2023-12-12 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质
WO2022241583A1 (zh) * 2021-05-15 2022-11-24 电子科技大学 一种基于多目视频的家庭场景动作捕捉方法

Similar Documents

Publication Publication Date Title
CN107845129A (zh) 三维重构方法及装置、增强现实的方法及装置
CN110245638A (zh) 视频生成方法和装置
CN107231531A (zh) 一种网络虚拟现实技术与实拍结合影视制作***
CN109815776B (zh) 动作提示方法和装置、存储介质及电子装置
CN107343225B (zh) 在视频图像中展示业务对象的方法、装置和终端设备
CN110348387A (zh) 一种图像数据处理方法、装置以及计算机可读存储介质
WO2011045768A2 (en) Animation of photo-images via fitting of combined models
CN110766776A (zh) 生成表情动画的方法及装置
Ping et al. Computer facial animation: A review
CN110009573A (zh) 模型训练、图像处理方法、装置、电子设备及计算机可读存储介质
CN109741438A (zh) 三维人脸建模方法、装置、设备及介质
CN112184886B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN112734946A (zh) 一种声乐表演教学方法及***
Wang et al. A survey of museum applied research based on mobile augmented reality
Jin et al. GAN-based pencil drawing learning system for art education on large-scale image datasets with learning analytics
Trajkova Designing ai-based feedback for ballet learning
Caudron et al. Blender 3D By Example
CN106530372A (zh) 一种帧动画的生成方法
CN111739134B (zh) 虚拟角色的模型处理方法、装置及可读存储介质
Ponton et al. Fitted avatars: automatic skeleton adjustment for self-avatars in virtual reality
Chen et al. Research on augmented reality system for childhood education reading
Yeo The theory of process augmentability
Hou et al. Real-time markerless facial motion capture of personalized 3D real human research
Li Construction and simulation on intelligent medical equipment system based on virtual reality technology and human-computer interaction model
Zeng et al. Highly fluent sign language synthesis based on variable motion frame interpolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180327