CN107705355A - 一种基于多张图片的3d人体建模方法及装置 - Google Patents

一种基于多张图片的3d人体建模方法及装置 Download PDF

Info

Publication number
CN107705355A
CN107705355A CN201710802979.8A CN201710802979A CN107705355A CN 107705355 A CN107705355 A CN 107705355A CN 201710802979 A CN201710802979 A CN 201710802979A CN 107705355 A CN107705355 A CN 107705355A
Authority
CN
China
Prior art keywords
pictures
textures
human body
face
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710802979.8A
Other languages
English (en)
Inventor
郭睿
明利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Feather Trace Technology Co Ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201710802979.8A priority Critical patent/CN107705355A/zh
Publication of CN107705355A publication Critical patent/CN107705355A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例公开了一种基于多张图片的3D人体建模方法及装置，方法包括：获取N张图片，分别识别各张图片的人体关键点，通过对比N张图片的中人体的角度、距离，计算获取的N张图片的结构顶点，根据结构顶点获取人体关键点的空间坐标；根据预先创建的标准人体模型中的骨骼点的空间坐标与人体关键点的空间坐标匹配对齐后，生成基础人体模型；获取N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；根据基础人体模型与基础贴图生成3D人体模型。本发明实施例生成的模型还原的相似度高，获取人体信息更准确，生成的纹理和结构建模更精确，建模速度快。

Description

一种基于多张图片的3D人体建模方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于多张图片的3D人体建模方法及装置。
背景技术
三维人体建模是目前计算机图形学和计算机视觉领域最基础的研究问题之一。三维人体模型在身份鉴别、医疗辅助、影视制作、游戏制作、数字艺术等方面均有广泛的应用。
现有技术中，通过多张图片建模技术通过视频建模和多角度图片3D建模的技术，通过手机或者双摄像头对物体进行绕一周甚至多次环绕拍摄，通过视频中的轮廓点进行计算，获取物体轮廓的相对关键点的空间坐标，实现3D建模。还有一种就是通过对物体进行多角度的拍照，获取更多的信息点，通过融合图片中的关键点从而生成3D模型。上面两种方法的缺点是生成速度慢，需要五分钟以上或者十几分钟；生成的模型是固定模型，不可编辑，数据量大，而且建立的3D模型不能实现表情和动作以及变换身体上的穿戴配饰，降低了人体3D建模的质量。
发明内容
针对上述技术问题，本发明实施例提供了一种基于多张图片的3D人体建模方法及装置，能够解决现有技术中的多张图片3D建模技术还原准确度差，建模数据量大，建模时间长的技术问题。
本发明实施例的第一方面提供一种基于多张图片的3D人体建模方法，包括：
获取N张图片，分别识别各张图片的人体关键点，其中，所述图片中包括人体数据，且所述N张图片对应为同一人体的N个角度的图片，N大于等于2；
通过对比所述N张图片的中人体的角度、距离，计算获取的所述N张图片的结构顶点，根据所述结构顶点获取所述人体关键点的空间坐标；
根据预先创建的标准人体模型中的骨骼点的空间坐标与所述人体关键点的空间坐标匹配对齐后，生成基础人体模型；
获取所述N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将所述融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；
根据所述基础人体模型与所述基础贴图生成3D人体模型。
可选地，所述获取N张图片，分别识别各张图片的人体关键点前，包括：
预先创建一个包含骨骼点的标准人体模型。
可选地，所述人体为人脸，
所述获取N张图片包括：
获取摄像设备拍摄的从所述人脸左侧到人脸右侧的视频；
提取所述视频中人脸N个角度的N张图片。
可选地，所述人体为人脸，
所述获取N张图片包括：
从摄像设备拍摄的所述人脸的图片中，获取N张所述人脸不同的角度的图片。
可选地，所述获取所述N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将所述融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图，包括：
根据获取所述N张图片的人脸的边缘信息点对齐所述N张图片；
将对齐后的所述N张图片进行拼接融合，生成融合贴图；
获取所述融合贴图的灰度的平均值，根据所述平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；
绘制人脸两侧的边缘通道，根据所述边缘通道将所述融合贴图与所述基本贴图融合后，生成基础贴图。
本发明实施例第二方面提供了一种基于多张图片的3D人体建模装置，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：：
获取N张图片，分别识别各张图片的人体关键点，其中，所述图片中包括人体数据，且所述N张图片对应为同一人体的N个角度的图片，N大于等于2；
通过对比所述N张图片的中人体的角度、距离，计算获取的所述N张图片的结构顶点，根据所述结构顶点获取所述人体关键点的空间坐标；
根据预先创建的标准人体模型中的骨骼点的空间坐标与所述人体关键点的空间坐标匹配对齐后，生成基础人体模型；
获取所述N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将所述融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；
根据所述基础人体模型与所述基础贴图生成3D人体模型。
可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
预先创建一个包含骨骼点的标准人体模型。
可选地，所述计算机程序被所述处理器执行时还实现以下步骤：所述人体为人脸时，
获取摄像设备拍摄的从所述人脸左侧到人脸右侧的视频；
提取所述视频中人脸N个角度的N张图片，或者；
从摄像设备拍摄的所述人脸的图片中，获取N张所述人脸不同的角度的图片。
可选地，所述计算机程序被所述处理器执行时还实现以下步骤：
根据获取所述N张图片的人脸的边缘信息点对齐所述N张图片；
将对齐后的所述N张图片进行拼接融合，生成融合贴图；
获取所述融合贴图的灰度的平均值，根据所述平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；
绘制人脸两侧的边缘通道，根据所述边缘通道将所述融合贴图与所述基本贴图融合后，生成基础贴图。
本发明实施例第三方面提供了一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于多张图片的3D人体建模方法。
本发明实施例提供的技术方案中，通过获取N张图片，分别识别各张图片的人体关键点，获取人体关键点的空间坐标；根据预先创建的标准人体模型中的骨骼点的空间坐标与人体关键点的空间坐标匹配对齐后，生成基础人体模型；获取N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；根据基础人体模型与基础贴图生成3D人体模型。因此相对于现有技术，本发明实施例可生成的3D人体模型还原的相似度高，获取人体信息更准确，纹理和结构相比单张图片建模更精确，而且建模速度快，建立的模型可编辑，为3D人体建模提供了方便。
附图说明
图1为本发明实施例中一种基于多张图片的3D人体建模方法的一个实施例的流程示意图；
图2为本发明实施例中一种基于多张图片的3D人体建模装置的另一实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例中一种基于多张图片的3D人体建模方法的一个实施例的流程示意图。如图1所示，包括：
步骤S100、获取N张图片，分别识别各张图片的人体关键点；
步骤S200、通过对比N张图片的中人体的角度、距离，计算获取的N张图片的结构顶点，根据结构顶点获取人体关键点的空间坐标；
步骤S300、根据预先创建的标准人体模型中的骨骼点的空间坐标与人体关键点的空间坐标匹配对齐后，生成基础人体模型；
步骤S400、获取N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；
步骤S500、根据基础人体模型与基础贴图生成3D人体模型。
具体实施时，步骤S100中获取N张图片，其中图片可以是从拍摄的视频中提取的N张图片或是拍摄的N张图片。N张图片中均包含人体数据。人体数据包括人脸或是人的身体。以人体为人脸为例进行介绍。N张图片对应人脸的N个角度，N是大于等于2的自然数。分别获取N张图片中的人脸信息，识别出人脸关键点。
步骤S200中通过对比角度，距离计算获取几张图的结构顶点，获取和定位准确的面部关键点空间位置关系，即坐标点，坐标点包括平面X轴和Y轴和深度Z轴信息。
步骤S300中获取准确的面部轮廓及五官等关键点后，然后让预先创建的标准人体模型骨骼的轮廓以及五官的顶点对应到从图片中获取的关键点，这样预先创建的标准人体模型就在空间上与关键点的坐标相重合，生成一个基础人体模型。标准人体模型应该为标准人脸模型。
步骤S400中先用每张图片的面部边缘信息点对齐，进行拼接融合，展开一张完整的人脸(包含的面)的融合贴图。将融合贴图再与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图。
步骤S500中通过模型和纹理数据构建真实的3D人脸模型，即通过在图片中识别的结构网格顶点信息，使模型和贴图的顶点适配，五官包括发际线等能准确的贴图，完成贴图工作，构建真实的3D人脸模型。
可选地，步骤S100之前，还包括：预先创建一个包含骨骼点的标准人体模型。具体地，可预先建立一个包括骨骼***和完整纹理贴图的基础模型。该基础模型可选用现有的一个标准人体模型或是一个标准人脸模型。
可选地，人体为人脸，步骤S100中获取N张图片包括：
获取摄像设备拍摄的从人脸左侧到人脸右侧的视频；
提取视频中人脸N个角度的N张图片。
具体地，用户对着手机转动头部，或者头部固定，用摄像设备或者手机绕着脸部正面从一边往另一边转动，拍摄一段面部的视频。例如：通过对着头部正面拍一段视频，也可以是手持手机从脸的一侧水平移动到脸的另一侧，大概是90度夹角，拍摄一段视频。通过计算获取中间和两侧的清晰图片，一共五张图。
进一步的实施例中，获取N张图片包括：
从摄像设备拍摄的人脸的图片中，获取N张人脸不同的角度的图片。
具体实施时，通过获取人脸的正面图片，还有人脸侧面一张图片或者多张图片。例如：使用两张不同角度的图片，至少两张图片，一张正面，一张侧面(偏侧，正侧都可以)。先通过面部识别技术分析出面部的关键点坐标。
可选地，步骤S400中包括：根据获取N张图片的人脸的边缘信息点对齐N张图片；将对齐后的N张图片进行拼接融合，生成融合贴图；获取融合贴图的灰度的平均值，根据平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；绘制人脸两侧的边缘通道，根据边缘通道将融合贴图与基本贴图融合后，生成基础贴图。
具体实施时，先用每张图片的面部边缘信息点对齐，进行拼接融合，展开一张完整的面部(包含的面)的融合贴图。通过获取图片中的色彩信息，去掉颜色，变成灰度贴图，分析灰度的深浅度，取大面积的平均值，变回彩色图。用取的平均值色彩信息与基本模型的基础纹理进行对比重叠，在photoshop中绘制出面部两侧的边缘通道，让两张重叠的贴图更自然的融合在一起，生成基础贴图，无缝衔接。
上面对本发明实施例中的基于多张图片的3D人体建模方法进行了描述，下面对本发明实施例中的基于多张图片的3D人体建模装置进行描述，请参阅图2，图2是本发明实施例中一种基于多张图片的3D人体建模装置的另一实施例程序模块示意图，包括：
装置10包括：存储器101、处理器102及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器101执行时实现以下步骤：
获取N张图片，分别识别各张图片的人体关键点，其中，图片中包括人体数据，且N张图片对应为同一人体的N个角度的图片，N大于等于2；
通过对比N张图片的中人体的角度、距离，计算获取的N张图片的结构顶点，根据结构顶点获取人体关键点的空间坐标；
根据预先创建的标准人体模型中的骨骼点的空间坐标与人体关键点的空间坐标匹配对齐后，生成基础人体模型；
获取N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；
根据基础人体模型与基础贴图生成3D人体模型。
具体实施时，获取N张图片，其中图片可以是从拍摄的视频中提取的N张图片或是拍摄的N张图片。N张图片中均包含人体数据。人体数据包括人脸或是人的身体。以人体为人脸为例进行介绍。N张图片对应人脸的N个角度，N是大于等于2的自然数。分别获取N张图片中的人脸信息，识别出人脸关键点。
通过对比角度，距离计算获取几张图的结构顶点，获取和定位准确的面部关键点空间位置关系，即坐标点，坐标点包括平面X轴和Y轴和深度Z轴信息。
获取准确的面部轮廓及五官等关键点后，然后让预先创建的标准人体模型骨骼的轮廓以及五官的顶点对应到从图片中获取的关键点，这样预先创建的标准人体模型就在空间上与关键点的坐标相重合，生成一个基础人体模型。标准人体模型应该为标准人脸模型。
先用每张图片的面部边缘信息点对齐，进行拼接融合，展开一张完整的人脸(包含的面)的融合贴图。将融合贴图再与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图。
通过模型和纹理数据构建真实的3D人脸模型，即通过在图片中识别的结构网格顶点信息，使模型和贴图的顶点适配，五官包括发际线等能准确的贴图，完成贴图工作，构建真实的3D人脸模型。
可选地，计算机程序被处理器101执行时还实现以下步骤：
预先创建一个包含骨骼点的标准人体模型。具体地，可预先建立一个包括骨骼***和完整纹理贴图的基础模型。该基础模型可选用现有的一个标准人体模型或是一个标准人脸模型。
可选地，计算机程序被处理器101执行时还实现以下步骤：人体为人脸时，
获取摄像设备拍摄的从人脸左侧到人脸右侧的视频；
提取视频中人脸N个角度的N张图片，或者；
从摄像设备拍摄的人脸的图片中，获取N张人脸不同的角度的图片。
具体地，若是通过视频中提取图片，具体为：用户对着手机转动头部，或者头部固定，用摄像设备或者手机绕着脸部正面从一边往另一边转动，拍摄一段面部的视频。例如：通过对着头部正面拍一段视频，也可以是手持手机从脸的一侧水平移动到脸的另一侧，大概是90度夹角，拍摄一段视频。通过计算获取中间和两侧的清晰图片，一共五张图。
若是直接获取拍摄的图片，则具体为：通过获取人脸的正面图片，还有人脸侧面一张图片或者多张图片。例如：使用两张不同角度的图片，至少两张图片，一张正面，一张侧面(偏侧，正侧都可以)。先通过面部识别技术分析出面部的关键点坐标。
可选地，计算机程序被处理器101执行时还实现以下步骤：
根据获取N张图片的人脸的边缘信息点对齐N张图片；
将对齐后的N张图片进行拼接融合，生成融合贴图；
获取融合贴图的灰度的平均值，根据平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；
绘制人脸两侧的边缘通道，根据边缘通道将融合贴图与基本贴图融合后，生成基础贴图。
具体实施时，先用每张图片的面部边缘信息点对齐，进行拼接融合，展开一张完整的面部(包含的面)的融合贴图。通过获取图片中的色彩信息，去掉颜色，变成灰度贴图，分析灰度的深浅度，取大面积的平均值，变回彩色图。用取的平均值色彩信息与基本模型的基础纹理进行对比重叠，在photoshop中绘制出面部两侧的边缘通道，让两张重叠的贴图更自然的融合在一起，生成基础贴图，无缝衔接。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S500。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于多张图片的3D人体建模方法，其特征在于，包括：
获取N张图片，分别识别各张图片的人体关键点，其中，所述图片中包括人体数据，且所述N张图片对应为同一人体的N个角度的图片，N大于等于2；
通过对比所述N张图片的中人体的角度、距离，计算获取的所述N张图片的结构顶点，根据所述结构顶点获取所述人体关键点的空间坐标；
根据预先创建的标准人体模型中的骨骼点的空间坐标与所述人体关键点的空间坐标匹配对齐后，生成基础人体模型；
获取所述N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将所述融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；
根据所述基础人体模型与所述基础贴图生成3D人体模型。
2.根据权利要求1所述的基于多张图片的3D人体建模方法，其特征在于，所述获取N张图片，分别识别各张图片的人体关键点前，包括：
预先创建一个包含骨骼点的标准人体模型。
3.根据权利要求2所述的基于多张图片的3D人体建模方法，其特征在于，所述人体为人脸，
所述获取N张图片包括：
获取摄像设备拍摄的从所述人脸左侧到人脸右侧的视频；
提取所述视频中人脸N个角度的N张图片。
4.根据权利要求2所述的基于多张图片的3D人体建模方法，其特征在于，
所述人体为人脸，
所述获取N张图片包括：
从摄像设备拍摄的所述人脸的图片中，获取N张所述人脸不同的角度的图片。
5.根据权利要求3或4所述的基于多张图片的3D人体建模方法，其特征在于，所述获取所述N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将所述融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图，包括：
根据获取所述N张图片的人脸的边缘信息点对齐所述N张图片；
将对齐后的所述N张图片进行拼接融合，生成融合贴图；
获取所述融合贴图的灰度的平均值，根据所述平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；
绘制人脸两侧的边缘通道，根据所述边缘通道将所述融合贴图与所述基本贴图融合后，生成基础贴图。
6.一种基于多张图片的3D人体建模装置，其特征在于，所述装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现以下步骤：
获取N张图片，分别识别各张图片的人体关键点，其中，所述图片中包括人体数据，且所述N张图片对应为同一人体的N个角度的图片，N大于等于2；
通过对比所述N张图片的中人体的角度、距离，计算获取的所述N张图片的结构顶点，根据所述结构顶点获取所述人体关键点的空间坐标；
根据预先创建的标准人体模型中的骨骼点的空间坐标与所述人体关键点的空间坐标匹配对齐后，生成基础人体模型；
获取所述N张图片的贴图纹理后进行贴图融合后，生成融合贴图，并将所述融合贴图与预先创建的标准人体模型中的基本贴图进行融合，生成基础贴图；
根据所述基础人体模型与所述基础贴图生成3D人体模型。
7.根据权利要求6所述的基于多张图片的3D人体建模装置，其特征在于，所述计算机程序被所述处理器执行时还实现以下步骤：
预先创建一个包含骨骼点的标准人体模型。
8.根据权利要求7所述的基于多张图片的3D人体建模装置，其特征在于，所述计算机程序被所述处理器执行时还实现以下步骤：所述人体为人脸时，
获取摄像设备拍摄的从所述人脸左侧到人脸右侧的视频；
提取所述视频中人脸N个角度的N张图片，或者；
从摄像设备拍摄的所述人脸的图片中，获取N张所述人脸不同的角度的图片。
9.根据权利要求8所述的基于多张图片的3D人体建模装置，其特征在于，所述计算机程序被所述处理器执行时还实现以下步骤：
根据获取所述N张图片的人脸的边缘信息点对齐所述N张图片；
将对齐后的所述N张图片进行拼接融合，生成融合贴图；
获取所述融合贴图的灰度的平均值，根据所述平均值与预先创建的标准人体模型中的基本贴图的基础纹理进行对比重叠；
绘制人脸两侧的边缘通道，根据所述边缘通道将所述融合贴图与所述基本贴图融合后，生成基础贴图。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-5任一项所述的基于多张图片的3D人体建模方法。
CN201710802979.8A 2017-09-08 2017-09-08 一种基于多张图片的3d人体建模方法及装置 Pending CN107705355A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710802979.8A CN107705355A (zh) 2017-09-08 2017-09-08 一种基于多张图片的3d人体建模方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710802979.8A CN107705355A (zh) 2017-09-08 2017-09-08 一种基于多张图片的3d人体建模方法及装置

Publications (1)

Publication Number Publication Date
CN107705355A true CN107705355A (zh) 2018-02-16

Family

ID=61172288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710802979.8A Pending CN107705355A (zh) 2017-09-08 2017-09-08 一种基于多张图片的3d人体建模方法及装置

Country Status (1)

Country Link
CN (1) CN107705355A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961369A (zh) * 2018-07-11 2018-12-07 厦门幻世网络科技有限公司 生成3d动画的方法和装置
CN109064550A (zh) * 2018-07-27 2018-12-21 北京花开影视制作有限公司 一种人体扫描建模方法
CN109285214A (zh) * 2018-08-16 2019-01-29 Oppo广东移动通信有限公司 三维模型的处理方法、装置、电子设备及可读存储介质
CN109584358A (zh) * 2018-11-28 2019-04-05 深圳市商汤科技有限公司 一种三维人脸重建方法及装置、设备和存储介质
CN109859306A (zh) * 2018-12-24 2019-06-07 青岛红创众投科技发展有限公司 一种基于机器学习的从照片中提取人体模型的方法
CN110074788A (zh) * 2019-04-18 2019-08-02 梦多科技有限公司 一种基于机器学习的身体数据获取方法和装置
CN110705448A (zh) * 2019-09-27 2020-01-17 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN111429585A (zh) * 2020-03-30 2020-07-17 北京字节跳动网络技术有限公司 图像生成方法、装置、电子设备及计算机可读存储介质
CN111435546A (zh) * 2019-01-15 2020-07-21 北京字节跳动网络技术有限公司 模型动作方法、装置、带屏音箱、电子设备及存储介质
CN111862305A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 处理图像的方法、装置和计算机存储介质
CN112116722A (zh) * 2020-11-20 2020-12-22 深圳羽迹科技有限公司 一种无序3d模型的有序转化方法及***
CN113240811A (zh) * 2021-04-28 2021-08-10 深圳羽迹科技有限公司 三维人脸模型创建方法、***、设备及存储介质
CN113298858A (zh) * 2021-05-21 2021-08-24 广州虎牙科技有限公司 一种虚拟形象的动作生成方法、装置、终端以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222363A (zh) * 2011-07-19 2011-10-19 杭州实时数码科技有限公司 从人脸图像快速构建高精度个性化人脸模型的方法
CN102663820A (zh) * 2012-04-28 2012-09-12 清华大学 三维头部模型重建方法
CN103942829A (zh) * 2014-04-02 2014-07-23 上海交通大学 单幅图像的人体三维姿态重构方法
CN105719326A (zh) * 2016-01-19 2016-06-29 华中师范大学 一种基于单张照片的真实感人脸生成方法
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222363A (zh) * 2011-07-19 2011-10-19 杭州实时数码科技有限公司 从人脸图像快速构建高精度个性化人脸模型的方法
CN102663820A (zh) * 2012-04-28 2012-09-12 清华大学 三维头部模型重建方法
CN103942829A (zh) * 2014-04-02 2014-07-23 上海交通大学 单幅图像的人体三维姿态重构方法
CN105719326A (zh) * 2016-01-19 2016-06-29 华中师范大学 一种基于单张照片的真实感人脸生成方法
CN106910247A (zh) * 2017-03-20 2017-06-30 厦门幻世网络科技有限公司 用于生成三维头像模型的方法和装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961369A (zh) * 2018-07-11 2018-12-07 厦门幻世网络科技有限公司 生成3d动画的方法和装置
CN109064550A (zh) * 2018-07-27 2018-12-21 北京花开影视制作有限公司 一种人体扫描建模方法
CN109285214A (zh) * 2018-08-16 2019-01-29 Oppo广东移动通信有限公司 三维模型的处理方法、装置、电子设备及可读存储介质
CN109584358A (zh) * 2018-11-28 2019-04-05 深圳市商汤科技有限公司 一种三维人脸重建方法及装置、设备和存储介质
CN109859306A (zh) * 2018-12-24 2019-06-07 青岛红创众投科技发展有限公司 一种基于机器学习的从照片中提取人体模型的方法
CN111435546A (zh) * 2019-01-15 2020-07-21 北京字节跳动网络技术有限公司 模型动作方法、装置、带屏音箱、电子设备及存储介质
CN110074788A (zh) * 2019-04-18 2019-08-02 梦多科技有限公司 一种基于机器学习的身体数据获取方法和装置
CN110074788B (zh) * 2019-04-18 2020-03-17 梦多科技有限公司 一种基于机器学习的身体数据获取方法和装置
CN110705448B (zh) * 2019-09-27 2023-01-20 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN110705448A (zh) * 2019-09-27 2020-01-17 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN111429585A (zh) * 2020-03-30 2020-07-17 北京字节跳动网络技术有限公司 图像生成方法、装置、电子设备及计算机可读存储介质
CN111862305A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 处理图像的方法、装置和计算机存储介质
CN112116722A (zh) * 2020-11-20 2020-12-22 深圳羽迹科技有限公司 一种无序3d模型的有序转化方法及***
CN112116722B (zh) * 2020-11-20 2022-03-01 深圳羽迹科技有限公司 一种无序3d模型的有序转化方法及***
CN113240811A (zh) * 2021-04-28 2021-08-10 深圳羽迹科技有限公司 三维人脸模型创建方法、***、设备及存储介质
CN113240811B (zh) * 2021-04-28 2022-06-07 深圳羽迹科技有限公司 三维人脸模型创建方法、***、设备及存储介质
CN113298858A (zh) * 2021-05-21 2021-08-24 广州虎牙科技有限公司 一种虚拟形象的动作生成方法、装置、终端以及存储介质

Similar Documents

Publication Publication Date Title
CN107705355A (zh) 一种基于多张图片的3d人体建模方法及装置
CN109377557B (zh) 基于单帧人脸图像的实时三维人脸重建方法
CN104781849B (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN110363858A (zh) 一种三维人脸重建方法及***
CN106503671A (zh) 确定人脸姿态的方法和装置
CN104616286B (zh) 快速的半自动多视图深度修复方法
CN104599317B (zh) 一种实现3d扫描建模功能的移动终端及方法
CN103606190A (zh) 单张人脸正面照片自动转换为三维人脸模型的方法
CN107862744A (zh) 航空影像三维建模方法及相关产品
CN109242954A (zh) 基于模板变形的多视角三维人体重建方法
CN110060329B (zh) 一种基于彩色深度视频流数据的移动端人体模型重建方法
WO2021063271A1 (zh) 人体模型重建方法、重建***及存储介质
CN107578469A (zh) 一种基于单张照片的3d人体建模方法及装置
CN106780573B (zh) 一种全景图特征匹配精度优化的方法及***
CN110175897A (zh) 一种3d合成试衣方法和***
CN109242960A (zh) 采用双Kinect和旋转平台的人体实时建模***及其建模方法
CN108154104A (zh) 一种基于深度图像超像素联合特征的人体姿态估计方法
CN110047131A (zh) 一种人体三维重建的点云融合方法
CN107067299A (zh) 虚拟试衣方法和***
CN108062788A (zh) 一种三维重建方法、装置、设备和介质
CN101794459A (zh) 一种立体视觉影像与三维虚拟物体的无缝融合方法
CN110473248A (zh) 一种利用图像构建人体三维模型的测量方法
WO2024103890A1 (zh) 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质
US10755476B2 (en) Image processing method and image processing device
KR100623666B1 (ko) 디지털 사진측량기술과 무타켓 토탈 스테이션을 이용한3차원 지리정보시스템용 수치영상도면 제작방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181019

Address after: 518000 B street, Taurus Plaza, Taoyuan Road, Nanshan District Nantou street, Shenzhen, Guangdong 2402

Applicant after: Shenzhen feather Trace Technology Co., Ltd.

Address before: 518000 B 2402, Taurus Plaza, Taoyuan Road, Nanshan, Shenzhen, Guangdong

Applicant before: Guo Rui

Applicant before: Ming Li

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180216

WD01 Invention patent application deemed withdrawn after publication