CN109697688B - 一种用于图像处理的方法和装置 - Google Patents

一种用于图像处理的方法和装置 Download PDF

Info

Publication number
CN109697688B
CN109697688B CN201710986057.7A CN201710986057A CN109697688B CN 109697688 B CN109697688 B CN 109697688B CN 201710986057 A CN201710986057 A CN 201710986057A CN 109697688 B CN109697688 B CN 109697688B
Authority
CN
China
Prior art keywords
image
dimensional
face
model
background area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710986057.7A
Other languages
English (en)
Other versions
CN109697688A (zh
Inventor
习文星
邓晖
杨红庄
林奶养
张龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rainbow Software Co ltd
Original Assignee
Rainbow Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rainbow Software Co ltd filed Critical Rainbow Software Co ltd
Priority to CN201710986057.7A priority Critical patent/CN109697688B/zh
Priority to US16/167,486 priority patent/US10909699B2/en
Publication of CN109697688A publication Critical patent/CN109697688A/zh
Priority to US17/136,739 priority patent/US11514593B2/en
Priority to US17/136,796 priority patent/US11468579B2/en
Application granted granted Critical
Publication of CN109697688B publication Critical patent/CN109697688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种用于图像处理的方法和装置，应用于图像处理领域，该方法包括：接收第一图像，所述第一图像包括人脸；检测所述第一图像中的人脸与背景区域，根据所述第一图像建立所述人脸的三维模型；将所述人脸的三维模型旋转第一角度；将旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下，并与处理后的所述背景区域融合，得到第二图像。本发明提供的一种用于图像处理的方法和装置，能够对于拍摄的图像中的人脸的角度进行调整，以达到人脸美化的效果。

Description

一种用于图像处理的方法和装置
技术领域
本发明涉及一种用于模式识别的方法和装置，具体地，涉及一种用于图像处理的方法和装置。
背景技术
目前，人物肖像编辑是个应用广泛的技术，包括人脸纹理编辑，如去除照片人脸上的斑纹和痘痘、皮肤美白、磨皮，调整环境灯光等，还包括人脸形状的编辑，如瘦脸、眼睛放大等。
现有技术中还没有对于拍摄的图像中的人脸角度进行调整的技术。
发明内容
本发明提供的一种用于图像处理的方法和装置，能够解决现有技术中缺少对于拍摄的图像中的人脸角度进行调整的技术的问题。
本发明的第一方面提供一种用于图像处理的方法，所述方法包括：接收第一图像，所述第一图像包括人脸；检测所述第一图像中的人脸与背景区域，根据所述第一图像建立所述人脸的三维模型；将所述人脸的三维模型旋转第一角度；将旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下，并与处理后的所述背景区域融合，得到第二图像。
根据本发明的第一方面，在本发明的第一方面的第一可执行方式中，所述处理所述背景区域，包括：获取所述背景区域对应的深度信息，根据所述背景区域对应的深度信息获取所述背景区域的三维模型；将所述背景区域的三维模型旋转所述第一角度；将旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下，得到所述处理后的所述第一图像的背景区域。
根据本发明的第一方面或本发明的第一方面的第一可执行方式，在本发明的第一方面的第二可执行方式中，所述第一图像包括第一二维图像；所述根据所述第一图像建立所述人脸的三维模型，包括：检测所述第一二维图像中人脸的特征点，根据所述特征点以及设定的拟合目标通过第一三维人脸模型数据库拟合所述人脸的三维模型；或，将所述第一二维图像通过深度卷积神经网络迭代计算出三维重建参数，根据所述三维重建参数建立所述人脸的三维模型。
根据本发明的第一方面的第二可执行方式，在本发明的第一方面的第三可执行方式中，所述拟合目标为拟合得到的所述人脸的三维模型的三维特征点在所述第一图像所在的图像坐标系下的投影与所述第一二维图像中人脸的特征点的距离最小或收敛。
根据本发明的第一方面或本发明的第一方面的第一可执行方式，在本发明的第一方面的第四可执行方式中，所述第一图像包括第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括所述人脸；所述根据所述第一图像建立所述人脸的三维模型，包括：根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第二三维人脸数据库拟合出所述人脸的三维模型。
根据本发明的第一方面的第四可执行方式，在本发明的第一方面的第五可执行方式中，第二三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量；所述根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第二三维人脸数据库拟合出所述人脸的三维模型，包括：估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，根据所述初始变换矩阵以及下述中的至少一个：形状特征向量以及表情特征向量，以下述条件中的至少一个为目标，由所述平均人脸模型拟合出所述人脸的三维模型：所述拟合出的所述人脸的三维模型的特征点在所述图像坐标系下的投影位置与对应的第一图像包括的二维图像的特征点的位置之间的距离最小；所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小。
根据本发明的第一方面的第五可执行方式，在本发明的第一方面的第六可执行方式中，所述估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，包括：根据所述第一二维图像中人脸特征点的位置以及所述第一二维图像对应的深度图计算所述人脸特征点的三维位置；根据所述人脸特征点的三维位置以及所述平均人脸模型的特征点的三维位置估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到本发明的第一方面的第六可执行方式中任一可执行方式，在本发明的第一方面的第七可执行方式中，所述方法还包括：获取所述人脸的外轮廓点；根据所述外轮廓点到所述人脸的中心的距离将所述背景区域分为与人脸相接背景区域以及远背景区域；所述远背景区域距离所述人脸的中心的距离大于所述与人脸相接背景区域距离所述人脸的中心的距离。
根据本发明的第一方面的第七可执行方式中，在本发明的第一方面的第八可执行方式中，所述获取所述背景区域对应的深度信息，包括：根据所述深度图获取所述与人脸相接背景区域以及所述远背景区域的深度信息；或，所述方法还包括：根据所述三维模型获取所述人脸中鼻子的深度信息；所述获取所述背景区域对应的深度信息，包括：根据所述人脸中鼻子的深度值，以及所述外轮廓点的深度信息与所述人脸中鼻子的深度值的差估计所述与人脸相接背景区域中的点的深度值以及所述远背景区域的深度值。
根据本发明的第一方面的第七或第八可执行方式中，在本发明的第一方面的第九可执行方式中，所述背景区域包括网格；所述方法还包括：对所述背景区域的深度值进行优化，所述优化包括：保持所述人脸的外轮廓点的深度值不变，并且相邻的网格点的深度值的变化值一致。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第一方面的第九可执行方式中任一可执行方式，在本发明的第一方面的第十可执行方式中，所述与处理后的所述背景区域融合，包括下述中的至少一个：所述第一图像的图像边界与所述处理后的所述背景区域的图像的边界一致；所述第一图像的人脸的外轮廓点与旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下的人脸的外轮廓点一致。
根据本发明的第一方面的第一可执行方式到第一方面的第十可执行方式中任一可执行方式，在本发明的第一方面的第十一可执行方式中，所述第一图像中的背景区域包括第一网格；所述方法还包括：获取旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下的区域中的，与所述第一图像中的背景区域的第一网格对应的第二网格的位置；根据所述第一网格中的纹理和/或颜色填充所述第二网格。
根据本发明的第一方面的第十一可执行方式，在本发明的第一方面的第十二可执行方式中，所述第一网格为三角化网格。
本发明的第二方面提供一种用于图像处理的方法，所述方法包括：接收第三二维图像以及与所述第三二维图像对应的深度图，所示第三二维图像和所述深度图包括人脸；根据所述深度图建立三维模型；将所述三维模型旋转第一角度；将旋转所述第一角度后的三维模型投影到所述第三二维图像所在的图像坐标系下；根据所述第三二维图像的背景区域对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，得到第四图像。
根据本发明的第二方面，在本发明的第二方面的第一可执行方式中，根据所述第三二维图像的背景对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，包括：根据所述第三二维图像中的背景中的下述至少一个对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，使得所述第四图像的边缘以及大小与所述第三二维图像的边缘以及大小一致：所述第三二维图像中的背景区域中的颜色、纹理以及背景边缘点的位置。
根据本发明的第二方面的第一可执行方式，在本发明的第二方面的第二可执行方式中，所述根据所述第三二维图像中的背景中的下述至少一个对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，使得所述第四图像的边缘以及大小与所述第三二维图像的边缘以及大小一致：所述第三二维图像中的背景区域中的颜色、纹理以及背景边缘点的位置，包括：根据所述第三二维图像的大小确定所述第三二维图像的第一边缘点，并确定投影到所述第三二维图像所在的图像坐标系下的图像的第二边缘点；根据所述第一边缘点以及第二边缘点对所述第三二维图像与所述投影到所述第三二维图像所在的图像坐标系下的图像偏差部分网格化，根据第三二维图像中的网格中的下述至少一个修补投影到所述第三二维图像所在的图像坐标系下的图像中对应的网格：所述第三二维图像中的背景区域中的颜色和纹理。
本发明的第三方面提供一种用于图像处理的装置，所述装置包括：接收模块，用于接收第一图像，所述第一图像包括人脸；检测与模型建立模块，用于检测所述第一图像中的人脸与背景区域，根据所述第一图像建立所述人脸的三维模型；旋转模块，用于将所述人脸的三维模型旋转第一角度；融合模块，用于将旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下，并与处理后的所述背景区域融合，得到第二图像。
根据本发明的第三方面，在本发明的第三方面的第一可执行方式中，所述装置还包括背景处理模块，所述背景处理模块，用于获取所述背景区域对应的深度信息，根据所述背景区域对应的深度信息获取所述背景区域的三维模型，将所述背景区域的三维模型旋转所述第一角度，将旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下，得到所述处理后的所述第一图像的背景区域。
根据本发明的第三方面或本发明的第三方面的第一可执行方式，在本发明的第三方面的第二可执行方式中，所述第一图像包括第一二维图像；所述检测与模型建立模块，具体用于测所述第一二维图像中人脸的特征点，根据所述特征点以及设定的拟合目标通过第一三维人脸模型数据库拟合所述人脸的三维模型；或，将所述第一二维图像通过深度卷积神经网络迭代计算出三维重建参数，根据所述三维重建参数建立所述人脸的三维模型。
根据本发明的第三方面的第二可执行方式，在本发明的第二方面的第三可执行方式中，所述拟合目标为拟合得到的所述人脸的三维模型的三维特征点在所述第一图像所在的图像坐标系下的投影与所述第一二维图像中人脸的特征点的距离最小或收敛。
根据本发明的第三方面或本发明的第三方面的第一可执行方式，在本发明的第三方面的第四可执行方式中，所述第一图像包括第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括所述人脸；所述检测与模型建立模块，具体用于根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第二三维人脸数据库拟合出所述人脸的三维模型。
根据本发明的第三方面的第四可执行方式，在本发明的第三方面的第五可执行方式中，第二三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量；所述检测与模型建立模块，具体用于：估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，根据所述初始变换矩阵以及下述中的至少一个：形状特征向量以及表情特征向量，以下述条件中的至少一个为目标，由所述平均人脸模型拟合出所述人脸的三维模型：所述拟合出的所述人脸的三维模型的特征点在所述图像坐标系下的投影位置与所述第一图像包括的二维图像的特征点的位置之间的距离最小；所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小。
根据本发明的第三方面的第五可执行方式，在本发明的第三方面的第六可执行方式中，所述检测与模型建立模块，具体用于：根据所述第一二维图像中人脸特征点的位置以及所述第一二维图像对应的深度图计算所述人脸特征点的三维位置；根据所述人脸特征点的三维位置以及所述平均人脸模型的特征点的三维位置估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵。
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第三方面的第七可执行方式中，所述装置还包括获取与背景划分模块，所述获取与背景划分模块，用于：获取所述人脸的外轮廓点；根据所述外轮廓点到所述人脸的中心的距离将所述背景区域分为与人脸相接背景区域以及远背景区域；所述远背景区域距离所述人脸的中心的距离大于所述与人脸相接背景区域距离所述人脸的中心的距离。
根据本发明的第三方面的第七可执行方式，在本发明的第三方面的第八可执行方式中，所述背景处理模块，用于根据所述深度图获取所述与人脸相接背景区域以及所述远背景区域的深度信息；或，所述装置还包括鼻子深度信息获取模块，鼻子深度信息获取模块，用于根据所述三维模型获取所述人脸中鼻子的深度信息；所述背景处理模块，用于根据所述人脸中鼻子的深度值，以及所述外轮廓点的深度信息与所述人脸中鼻子的深度值的差估计所述与人脸相接背景区域中的点的深度值以及所述远背景区域的深度值。
根据本发明的第三方面的第七可执行方式或第八可执行方式，在本发明的第三方面的第九可执行方式中，所述背景区域包括网格；所述装置还包括优化模块，所述优化模块用于：保持所述人脸的外轮廓点的深度值不变，并且相邻的网格点的深度值的变化值一致。
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第三方面的第九可执行方式中任一可执行方式，在本发明的第三方面的第十可执行方式中，所述融合模块，具体用于：所述第一图像的图像边界与所述处理后的所述背景区域的图像的边界一致；所述第一图像的人脸的外轮廓点与旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下的人脸的外轮廓点一致。
根据本发明的第三方面的第一可执行方式到第三方面的第十可执行方式中任一可执行方式，在本发明的第三方面的第十一可执行方式中，所述第一图像中的背景区域包括第一网格；所述装置还包括填充模块，所述填充模块用于：获取旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下的区域中的，与所述第一图像中的背景区域的第一网格对应的第二网格的位置；根据所述第一网格中的纹理和/或颜色填充所述第二网格。
根据本发明的第三方面的第十一可执行方式，在本发明的第三方面的第十二可执行方式中，所述第一网格为三角化网格。
本发明的第四方面提供一种用于图像处理的装置，包括：接收模块，用于接收第三二维图像以及与所述第三二维图像对应的深度图，所示第三二维图像和所述深度图包括人脸；模型建立模块，用于根据所述深度图建立三维模型；旋转模块，用于将所述三维模型旋转第一角度；投影模块，用于将旋转所述第一角度后的三维模型投影到所述第三二维图像所在的图像坐标系下；处理模块，用于根据所述第三二维图像的背景区域对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，得到第四图像。
根据本发明的第四方面，在本发明的第四方面的第一可执行方式中，所述处理模块，具体用于根据所述第三二维图像中的背景中的下述至少一个对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，使得所述第四图像的边缘以及大小与所述第三二维图像的边缘以及大小一致：所述第三二维图像中的背景区域中的颜色、纹理以及背景边缘点的位置。
根据本发明的第四方面的第一可执行方式，在本发明的第四方面的第二可执行方式中，所述处理模块，具体用于：根据所述第三二维图像的大小确定所述第三二维图像的第一边缘点，并确定投影到所述第三二维图像所在的图像坐标系下的图像的第二边缘点；根据所述第一边缘点以及第二边缘点对所述第三二维图像与所述投影到所述第三二维图像所在的图像坐标系下的图像偏差部分网格化，根据第三二维图像中的网格中的下述至少一个修补投影到所述第三二维图像所在的图像坐标系下的图像中对应的网格：所述第三二维图像中的背景区域中的颜色和纹理。
本发明的第五方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被第一处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第十二可执行方式中任一可执行方式、本发明的第二方面、或本发明的第二方面的第一可执行方式到本发明的第二方面的第二可执行方式中任一可执行方式所述方法的步骤。
本发明的第六方面提供一种用于图像处理的装置，包括存储器、第二处理器以及存储在所述存储器中并可在所述第二处理器上运行的计算机程序，所述计算机程序被处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第十二可执行方式中任一可执行方式、本发明的第二方面、本发明的第二方面的第一可执行方式到本发明第二方面的第二可执行方式中任一可执行方式所述方法的步骤。
本发明提供的一种用于图像处理的方法和装置，能够对于拍摄的图像中的人脸的角度进行调整，以达到人脸美化的效果。
附图说明
图1为本发明实施例一提供的一种用于图像处理的方法的流程图；
图2为本发明实施例二提供的用于图像处理的装置的结构示意图；
图3为本发明实施例三提供的用于图像处理的方法的流程图；
图4为本发明实施例四提供的用于图像处理的装置的结构示意图；
图5为本发明实施例五提供的用于图像处理的装置的结构示意图；
图6为本发明实施例六提供的用于图像处理的装置的结构示意图；
图7为本发明实施例一提供的一种用于图像处理的方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细地描述。
本发明的说明书和权利要求书中上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
其中，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是，为了图示的简洁和清楚起见，附图中所示的元件没有必要按照比例进行绘制。例如，为了清楚，可以相对于其他元件，增大一些元件的尺寸。另外，在认为合适的地方，可以在附图间重复附图标记，以指示相对应或类似的元件。
下面结合附图1对本发明实施例一提供的一种用于图像处理的方法进行详细阐述。如图1所示，该方法包括：
步骤101，接收第一图像，所述第一图像包括人脸。
可选的，该第一图像包括第一二维图像，该第一二维图像可以为二维的彩色图，如RGB(red green blue红绿蓝)图。
可选的，上述的接收第一图像可以包括从存储装置中获取所述第一图像。该存储装置可以是ROM(Read-Only Memory，只读存储器)、RAM(random access memory，随机存取存储器)或flash(闪存)。
步骤102，检测所述第一图像中的人脸与背景区域，根据所述第一图像建立所述人脸的三维模型。
可选的，该三维模型可以为世界坐标系下的三维点云。可选的，该背景区域可以为非人脸区域。
步骤103，将所述人脸的三维模型旋转第一角度。
可选的，该第一角度可以预先设置。
步骤104，将旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下，并与处理后的所述背景区域融合，得到第二图像。
所述处理后的所述背景区域，包括：获取所述背景区域对应的深度信息，根据所述背景区域对应的深度信息获取所述背景区域的三维模型；将所述背景区域的三维模型旋转所述第一角度；将旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下，得到所述处理后的所述第一图像的背景区域。可选的，上述的将所述背景区域的三维模型旋转所述第一角度的步骤可以与将所述人脸的三维模型旋转第一角度的步骤的执行顺序没有限制，可以先后执行，既可以是人脸的三维模型先旋转也可以是背景区域的三模模型先旋转，也可以是并行执行，也可以人脸的三维模型和背景区域的三维模型一起旋转。所述处理后的所述背景区域，还可以包括根据所述第一图像中的纹理和/或颜色填充所述投影到所述第一图像所在的图像坐标系的背景区域。
可选的，所述处理所述背景区域，也可以包括：不进行上述的投影旋转后的背景区域的三维模型的步骤，而是根据步骤104中得到的将人脸的三维模型投影后的二维图像，与将所述背景区域的三维模型投影后的二维图像相比较，得到重叠和/或空白等不平滑过渡的区域，使用背景的纹理和/或颜色处理上述的不平滑过渡区域，处理过程中不改变人脸的三维模型投影后的二维图像的形状与纹理。上述处理的步骤与旋转人脸三维模型并投影的步骤的执行顺序没有限制，可以先后执行，也可以是并行执行。
可选的，所述第一图像包括第一二维图像。所述根据所述第一图像建立所述人脸的三维模型，包括：检测所述第一二维图像中人脸的特征点，根据所述特征点以及设定的拟合目标通过第一三维人脸模型数据库拟合所述人脸的三维模型；或，将所述第一二维图像通过深度卷积神经网络迭代计算出三维重建参数，根据所述三维重建参数建立所述人脸的三维模型。所述拟合目标为拟合得到的所述人脸的三维模型的三维特征点在所述第一图像所在的图像坐标系下的投影与所述第一二维图像中人脸的特征点的距离最小或收敛或尽可能小。可选的，所述人脸的特征点可以为68个点，包括人脸轮廓、嘴巴、鼻子、眼睛、眉毛等。可选的，第一三维人脸模型数据库可以为Morphable Face Model数据库，在此基础上，可以进一步拟合光照、纹理以及形状细节。
可选的，所述第一图像包括第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括所述人脸；所述根据所述第一图像建立所述人脸的三维模型，包括：根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第二三维人脸数据库拟合出所述人脸的三维模型。
第二三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量。所述根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第二三维人脸数据库拟合出所述人脸的三维模型，包括：估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，根据所述初始变换矩阵以及下述中的至少一个：形状特征向量以及表情特征向量，以下述条件中的至少一个为目标，由所述平均人脸模型拟合出所述人脸的三维模型：所述拟合出的所述人脸的三维模型的特征点在所述图像坐标系下的投影位置与对应的所述第一图像包括的二维图像的特征点的位置之间距离最小或收敛或尽可能小；所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小或收敛或尽可能小。可选的，该第二三维人脸数据库可以预先存储于设备中，如手机、平板电脑等。
所述估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，包括：根据所述第一二维图像中人脸特征点的位置以及所述第一二维图像对应的深度图计算所述人脸特征点的三维位置；根据所述人脸特征点的三维位置以及所述平均人脸模型的特征点的三维位置估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵。
可选的，该第一二维图像可以为彩色图，可以是一张，该深度图也可以为一张。在上述的第二三维人脸数据库中，一个任意表情的三维人脸模型可以表示为： 其中，/>为第二三维人脸数据库中平均人脸模型，Aid为第二三维人脸数据库中主成分分析(Principal Components Analysis,PCA)的形状特征向量，Aexp为第二三维人脸数据库中PCA的表情特征向量，αid为形状参数，αexp为表情参数。
上述的对该彩色图进行人脸的特征点检测，得到人脸的特征点在所述彩色图中的二维位置(u,v)，根据所述彩色图与所述深度图的对应关系，以及透视投影模型得到人脸的特征点的三维位置，将其记为Q。在第二三维人脸数据库中找到与检测出的特征点对应的数据库特征点位置(眼角对应眼角，鼻尖对应鼻尖)，将其记为P。通过迭代最近点算法(Iterative Closest Point,ICP)，可得到P与Q之间的初始变换矩阵，即摄像装置的初始姿态T0。之后，利用第二三维人脸数据库及初始变换矩阵，迭代进行姿态T、形状参数αid、表情参数αexp的估计，直到拟合误差减少到给定的阈值δ。迭代过程中，以下述条件中的至少一个为目标，由所述平均人脸模型拟合出所述人脸的三维模型：所述拟合出的所述人脸的三维模型的特征点在所述图像坐标系下的投影位置与所述第一图像包括的二维图像的特征点的位置之间的距离最小或尽可能小或收敛，可以称为人脸特征拟合项，以及所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小或尽可能小或收敛，可以称为深度信息的拟合项。
其中，人脸特征拟合项：所述拟合出所述人脸的三维模型的特征点在所述图像坐标系下的投影位置与所述第一图像包括的二维图像的特征点的位置之间的误差最小，或收敛，使得这两个位置尽可能接近。假设k-1步拟合的三维人脸模型为Fk-1，摄像装置的姿态为Tk-1。获得Fk-1的人脸特征点Pk-1的三维坐标，对于Pk-1的每个点p(例如为眼角点)，可在姿态Tk-1下将其投影到彩色图像所在图像坐标系上，得到其投影坐标为(u′,v′)；在二维彩色图像中，取出与p对应的点(例如为眼角点)在图像上的位置(u,v)，则||(u′,v′)-(u,v)||2要尽可能小。
深度信息的拟合项：所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间相应的点对的距离最小或尽可能小，或收敛，使得拟合的三维人脸模型Fk-1与采集的深度图中的人脸模型尽可能接近。将深度图数据转化为三维点云数据，将其记为M。对于Fk-1中任何一点p，根据八叉树搜索算法(kd tree)，可在M搜索出最近点q，将(p,q)作为对应点对，目标使得上述对应点对接近，即||p-q||2要尽可能小。
可选的，迭代过程可以使用共轭梯度(Conjugate Gradient)算法进行求解。为了加速求解过程，在每一步迭代过程中独立求解摄像装置姿态、形状参数及表情参数，即求解摄像装置姿态时，保证形状参数及表情参数固定，求解形状参数及表情参数类似。
所述方法还包括：获取所述人脸的外轮廓点；根据所述外轮廓点到所述人脸的中心的距离将所述背景区域分为与人脸相接背景区域以及远背景区域；所述远背景区域距离所述人脸的中心的距离大于所述与人脸相接背景区域距离所述人脸的中心的距离。可选的，可以通过将获得的三维人脸模型投影到图像坐标系下，获取人脸的外轮廓点，可选的，可以通过三维人脸模型的轮廓特征点找出上述人脸的外轮廓点。上述的投影方式可以包括正交投影或透视投影。在人脸轮廓点外，是属于非人头区域或背景区域。上述的人脸的中心点的位置可以定义为人脸轮廓点的坐标的平均值Vmean＝mean(Vfacecontour)，人脸相接背景区域以及远背景区域的边界区域可以为Vmean+(Vfacecontour-Vmean)*(1+ri)，其中Vfacecontour为人脸轮廓点，ri为系数，该系数可以根据情况设定。可选的，还可以通过其他衡量人脸大小的参数确定，如人脸的长度和宽度，实质上上述参数均是所述外轮廓点到所述人脸的中心的距离的等同。
可选的，所述获取所述背景区域对应的深度信息，包括：根据所述深度图获取所述与人脸相接背景区域以及所述远背景区域的深度信息；或，所述方法还包括：根据所述三维模型获取所述人脸中鼻子的深度信息；所述获取所述背景区域对应的深度信息，包括：根据所述人脸中鼻子的深度值，以及所述外轮廓点的深度信息与所述人脸中鼻子的深度值的差估计所述与人脸相接背景区域中的点的深度值以及所述远背景区域的深度值。当深度图的质量比较好的时候，可以直接根据所述深度图获取所述背景区域的深度信息。当深度图的质量不好的时候，可以根据深度图获取人脸中鼻子的深度值或根据拟合得到的人脸三维模型得到人脸中鼻子的深度值以及人脸的外轮廓点的深度值，再根据上述得到的深度值估计述与人脸相接背景区域中的点的深度值以及所述远背景区域的深度值。示例性的，可以根据下述算法得到与人脸相接背景区域的深度值其中，/>为上述人脸中的鼻子的深度值，/>为人脸的外轮廓点的深度值，ri为系数。对于远背景区域的深度值，可以将所述与人脸相接背景区域以及所述远背景区域网格化后，在远背景区域中的网格的深度值的取值可以为与之相连的有深度值的网格中的点的平均值，循环迭代这个过程，直到所有背景网格点都有深度值。
可选的，所述背景区域包括网格；所述方法还包括：对所述背景区域的深度值进行优化，所述优化包括：保持所述人脸的外轮廓点的深度值不变，并且相邻的网格点的深度值的变化值一致。具体地，优化背景网格上点的深度，目标在保持人脸轮廓点(Vfacecontour)深度不变，其它网格点(记为Vother(j)＝{Vfacecontourexpanded(i)}+{Vimagecontour})与相邻点的深度值变化尽可能相近。其中，Vfacecontourexpanded(i)表示上述与人脸相接背景区域的网格上的点，Vimagecontour表示彩色图像边缘的点。上述的一致是指尽量接近或近似一致。
可选的，当所述背景区域包括上述的网格时，需要在世界坐标系下对该背景区域的三维模型进行旋转，或与三维人脸模型一起旋转，再投影到图像坐标系下。
可选的，上述的与处理后的所述背景区域融合，包括下述中的至少一个：所述第一图像的图像边界与所述处理后的所述背景区域的图像的边界一致，这样可以保证最终得到的二维图像和上述第一图像一样大；所述第一图像的人脸的外轮廓点与旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下的人脸的外轮廓点一致，这样可以保证背景区域和人脸区域平滑过渡。当所述背景区域包括上述的网格时，旋转前的背景网格点的位置尽量和旋转投影后的背景网格点的位置一致。具体地，上述的融合的过程也可以看作是优化的过程。需要说明的是，实际上受限于各种条件，上述的一致是指尽量接近，或近似一致。
所述第一图像中的背景区域包括第一网格；所述方法还包括：获取旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下的区域中的，与所述第一图像中的背景区域的第一网格对应的第二网格的位置；根据所述第一网格中的纹理和/或颜色填充所述第二网格。具体地，上述的背景区域可以划分有第一网格，同时，在重建人脸的三维模型时也可以生成网格，也就是说，上述的第一图像整体都进行了网格化，则在人脸的三维模型旋转并投影后，也具有和第一图像中的网格一一对应的网格。进一步，可以记录每个像素对应的网格及网格的质心坐标(Barycentric Coordinate)，在投影后的二维图像中找到对应的网格，用三维绘制算法(如z-buffer扫描线算法)根据所述第一网格中的纹理和/或颜色填充所述第二网格，完成栅格化。
可选的，所述第一网格为三角化网格。具体地，上述的背景区域的三角网格化的过程可以为：在人脸的外轮廓点向外确定N圈的轮廓点(记为{Vfacecontourexpanded(i),i＝1…N})，该轮廓点用于建立上述的与人脸相接背景区域。上述过程可以表示为：
Vmean＝mean(Vfacecontour)；
Vfacecontourexpanded(i)＝Vmean+(Vfacecontour-Vmean)*(1+ri)；
其中，ri取不同的值就可以建立不同轮廓点。
然后，在第一图像边界上加一圈轮廓点，(记为Vimagecontour)，这样得到了所有背景区域的网格点在图像坐标系上的位置。用Delaunay算法三角化添加的所有轮廓点(V＝{Vi})，形成背景区域的网格结构(记点与点之间的边为E＝{Eij})，使背景区域的网格结构可以与重建好的三维人脸模型中的三维人脸网络平滑衔接。
通过本发明实施例描述的方法，能够对于拍摄的图像中的人脸的角度进行调整，以达到人脸美化的效果。
下面结合附图2对本发明实施例二提供的一种用于图像处理的装置200进行详细阐述。如图2所示，该装置200包括：接收模块201，检测与模型建立模块202，旋转模块203，以及融合模块204，
所述接收模块201，用于接收第一图像，所述第一图像包括人脸。
可选的，该第一图像包括第一二维图像，该第一二维图像可以为二维的彩色图，如RGB(red green blue红绿蓝)图。
可选的，上述的接收第一图像可以包括从存储装置中获取所述第一图像。该存储装置可以是ROM(Read-Only Memory，只读存储器)、RAM(random access memory，随机存取存储器)或flash(闪存)。
所述检测与模型建立模块202，用于检测所述第一图像中的人脸与背景区域，根据所述第一图像建立所述人脸的三维模型；
可选的，该三维模型可以为世界坐标系下的三维点云。
所述旋转模块203，用于将所述人脸的三维模型旋转第一角度。
可选的，该第一角度可以预先设置。
所述融合模块204，用于将旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下，并与处理后的所述背景区域融合，得到第二图像。
所述装置还包括背景处理模块，所述背景处理模块，用于获取所述背景区域对应的深度信息，根据所述背景区域对应的深度信息获取所述背景区域的三维模型，将所述背景区域的三维模型旋转所述第一角度，将旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下，得到所述处理后的所述第一图像的背景区域。可选的，上述的将所述背景区域的三维模型旋转所述第一角度的动作可以与将所述人脸的三维模型旋转第一角度的动作的执行顺序没有限制，可以先后执行，既可以是人脸的三维模型先旋转也可以是背景区域的三模模型先旋转，也可以是并行执行，也可以人脸的三维模型和背景区域的三维模型一起旋转。所述处理后的所述背景区域，还可以包括根据所述第一图像中的纹理和/或颜色填充所述投影到所述第一图像所在的图像坐标系的背景区域。
所述背景处理模块，还可以用于不进行上述的投影旋转后的背景区域的三维模型的动作，而是根据得到的将人脸的三维模型投影后的二维图像，与将所述背景区域的三维模型投影后的二维图像相比较，得到重叠和/或空白等不平滑过渡的区域，使用背景的纹理和/或颜色处理上述的不平滑过渡区域，处理过程中不改变人脸的三维模型投影后的二维图像的形状与纹理。上述处理的动作与旋转人脸三维模型并投影的动作的执行顺序没有限制，可以先后执行，也可以是并行执行。
所述第一图像包括第一二维图像。所述检测与模型建立模块，具体用于测所述第一二维图像中人脸的特征点，根据所述特征点以及设定的拟合目标通过第一三维人脸模型数据库拟合所述人脸的三维模型；或，将所述第一二维图像通过深度卷积神经网络迭代计算出三维重建参数，根据所述三维重建参数建立所述人脸的三维模型。所述拟合目标为拟合得到的所述人脸的三维模型的三维特征点在所述第一图像所在的图像坐标系下的投影与所述第一二维图像中人脸的特征点的距离最小或尽可能小或收敛。可选的，所述人脸的特征点可以为68个点，包括人脸轮廓、嘴巴、鼻子、眼睛、眉毛等。可选的，第一三维人脸模型数据库可以为Morphable Face Model数据库，在此基础上，可以进一步拟合光照、纹理以及形状细节。
所述第一图像包括第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括所述人脸。所述检测与模型建立模块，具体用于根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第二三维人脸数据库拟合出所述人脸的三维模型。
第二三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量。所述检测与模型建立模块，具体用于：估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，根据所述初始变换矩阵以及下述中的至少一个：形状特征向量以及表情特征向量，以下述条件中的至少一个为目标，由所述平均人脸模型拟合出所述人脸的三维模型：所述拟合出的所述人脸的三维模型的特征点在所述图像坐标系下的投影位置与对应的所述第一图像包括的二维图像的特征点的位置之间的距离最小或收敛或尽可能小；所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小或尽可能小或收敛。可选的，该第二三维人脸数据库可以预先存储于设备中，如手机、平板电脑等。
所述检测与模型建立模块，具体用于：根据所述第一二维图像中人脸特征点的位置以及所述第一二维图像对应的深度图计算所述人脸特征点的三维位置；根据所述人脸特征点的三维位置以及所述平均人脸模型的特征点的三维位置估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵。
可选的，该第一二维图像可以为彩色图，可以是一张，该深度图也可以为一张。在上述的第二三维人脸数据库中，一个任意表情的三维人脸模型可以表示为： 其中，/>为第二三维人脸数据库中平均人脸模型，Aid为第二三维人脸数据库中主成分分析(Principal Components Analysis,PCA)的形状特征向量，Aexp为第二三维人脸数据库中PCA的表情特征向量，αid为形状参数，αexp为表情参数。
上述的对该彩色图进行人脸的特征点检测，得到人脸的特征点在所述彩色图中的二维位置(u,v)，根据所述彩色图与所述深度图的对应关系，以及透视投影模型得到人脸的特征点的三维位置，将其记为Q。在第二三维人脸数据库中找到与检测出的特征点对应的数据库特征点位置(眼角对应眼角，鼻尖对应鼻尖)，将其记为P。通过迭代最近点算法(Iterative Closest Point,ICP)，可得到P与Q之间的初始变换矩阵，即摄像装置的初始姿态T0。之后，利用第二三维人脸数据库及初始变换矩阵，迭代进行姿态T、形状参数αid、表情参数αexp的估计，直到拟合误差减少到给定的阈值δ。迭代过程中，以下述条件中的至少一个为目标，由所述平均人脸模型拟合出所述人脸的三维模型：所述拟合出的所述人脸的三维模型的特征点在所述图像坐标系下的投影位置与对应的所述第一图像包括的二维图像的特征点的位置之间的距离最小或收敛或尽可能小，可以称为人脸特征拟合项，以及所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小或收敛或尽可能小，可以称为深度信息的拟合项。
其中，人脸特征拟合项：所述拟合出所述人脸的三维模型的特征点在所述图像坐标系下的投影位置与所述第一图像包括的二维图像的特征点的位置之间的误差最小，或收敛，使得这两个位置尽可能接近。假设k-1步拟合的三维人脸模型为Fk-1，摄像装置的姿态为Tk-1。获得Fk-1的人脸特征点Pk-1的三维坐标，对于Pk-1的每个点p(例如为眼角点)，可在姿态Tk-1下将其投影到彩色图像所在图像坐标系上，得到其投影坐标为(u′,v′)；在二维彩色图像中，取出与p对应的点(例如为眼角点)在图像上的位置(u,v)，则||(u′,v′)-(u,v)||2要尽可能小。
深度信息的拟合项：所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间相应的点对的距离最小或尽可能小，或收敛，使得拟合的三维人脸模型Fk-1与采集的深度图中的人脸模型尽可能接近。将深度图数据转化为三维点云数据，将其记为M。对于Fk-1中任何一点p，根据八叉树搜索算法(kd tree)，可在M搜索出最近点q，将(p,q)作为对应点对，目标使得上述对应点对接近，即||p-q||2要尽可能小。
可选的，迭代过程可以使用共轭梯度(Conjugate Gradient)算法进行求解。为了加速求解过程，在每一步迭代过程中独立求解摄像装置姿态、形状参数及表情参数，即求解摄像装置姿态时，保证形状参数及表情参数固定，求解形状参数及表情参数类似。
所述装置还包括获取与背景划分模块，所述获取与背景划分模块，用于：获取所述人脸的外轮廓点；根据所述外轮廓点到所述人脸的中心的距离将所述背景区域分为与人脸相接背景区域以及远背景区域；所述远背景区域距离所述人脸的中心的距离大于所述与人脸相接背景区域距离所述人脸的中心的距离。可选的，可以通过将获得的三维人脸模型投影到图像坐标系下，获取人脸的外轮廓点，可选的，可以通过三维人脸模型的轮廓特征点找出上述人脸的外轮廓点。上述的投影方式可以包括正交投影或透视投影。在人脸轮廓点外，是属于非人头区域或背景区域。上述的人脸的中心点的位置可以定义为人脸轮廓点的坐标的平均值Vmean＝mean(Vfacecontour)，人脸相接背景区域以及远背景区域的边界区域可以为Vmean+(Vfacecontour-Vmean)*(1+ri)，其中Vfacecontour为人脸轮廓点，ri为系数，该系数可以根据情况设定。可选的，还可以通过其他衡量人脸大小的参数确定，如人脸的长度和宽度，实质上上述参数均是所述外轮廓点到所述人脸的中心的距离的等同。
所述背景处理模块，用于根据所述深度图获取所述与人脸相接背景区域以及所述远背景区域的深度信息；或，所述装置还包括鼻子深度信息获取模块，鼻子深度信息获取模块，用于根据所述三维模型获取所述人脸中鼻子的深度信息；所述背景处理模块，用于根据所述人脸中鼻子的深度值，以及所述外轮廓点的深度信息与所述人脸中鼻子的深度值的差估计所述与人脸相接背景区域中的点的深度值以及所述远背景区域的深度值。当深度图的质量比较好的时候，可以直接根据所述深度图获取所述背景区域的深度信息。当深度图的质量不好的时候，可以根据深度图获取人脸中鼻子的深度值或根据拟合得到的人脸三维模型得到人脸中鼻子的深度值以及人脸的外轮廓点的深度值，再根据上述得到的深度值估计述与人脸相接背景区域中的点的深度值以及所述远背景区域的深度值。示例性的，可以根据下述算法得到与人脸相接背景区域的深度值其中，/>为上述人脸中的鼻子的深度值，/>为人脸的外轮廓点的深度值，ri为系数。对于远背景区域的深度值，可以将所述与人脸相接背景区域以及所述远背景区域网格化后，在远背景区域中的网格的深度值的取值可以为与之相连的有深度值的网格中的点的平均值，循环迭代这个过程，直到所有背景网格点都有深度值。
所述背景区域包括网格；所述装置还包括优化模块，所述优化模块用于：保持所述人脸的外轮廓点的深度值不变，并且相邻的网格点的深度值的变化值一致。具体地，优化背景网格上点的深度，目标在保持人脸轮廓点(Vfacecontour)深度不变，其它网格点(记为Vother (j)＝{Vfacecontourexpanded(i)}+{Vimagecontour})与相邻点的深度值变化尽可能相近。其中，Vfacecontourexpanded(i)表示上述与人脸相接背景区域的网格上的点，Vimagecontour表示彩色图像边缘的点。上述的一致是指尽量接近或近似一致。
可选的，当所述背景区域包括上述的网格时，需要在世界坐标系下对该背景区域的三维模型进行旋转，或与三维人脸模型一起旋转，再投影到图像坐标系下。
可选的，所述融合模块，具体用于：所述第一图像的图像边界与所述处理后的所述背景区域的图像的边界一致，这样可以保证最终得到的二维图像和上述第一图像一样大；所述第一图像的人脸的外轮廓点与旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下的人脸的外轮廓点一致，这样可以保证背景区域和人脸区域平滑过渡。当所述背景区域包括上述的网格时，旋转前的背景网格点的位置尽量和旋转投影后的背景网格点的位置一致。具体地，上述的融合的过程也可以看作是优化的过程。需要说明的是，实际上受限于各种条件，上述的一致是指尽量接近，或近似一致。
所述第一图像中的背景区域包括第一网格；所述装置还包括填充模块，所述填充模块用于：获取旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下的区域中的，与所述第一图像中的背景区域的第一网格对应的第二网格的位置；根据所述第一网格中的纹理和/或颜色填充所述第二网格。
具体地，上述的背景区域可以划分有第一网格，同时，在重建人脸的三维模型时也可以生成网格，也就是说，上述的第一图像整体都进行了网格化，则在人脸的三维模型旋转并投影后，也具有和第一图像中的网格一一对应的网格。进一步，可以记录每个像素对应的网格及网格的质心坐标(Barycentric Coordinate)，在投影后的二维图像中找到对应的网格，用三维绘制算法(如z-buffer扫描线算法)根据所述第一网格中的纹理和/或颜色填充所述第二网格，完成栅格化。
可选的，所述第一网格为三角化网格。具体地，上述的背景区域的三角网格化的过程可以为：在人脸的外轮廓点向外确定N圈的轮廓点(记为{Vfacecontourexpanded(i),i＝1…N})，该轮廓点用于建立上述的与人脸相接背景区域。上述过程可以表示为：
Vmean＝mean(Vfacecontour)；
Vfacecontourexpanded(i)＝Vmean+(Vfacecontour-Vmean)*(1+ri)；
其中，ri取不同的值就可以建立不同轮廓点。
然后，在第一图像边界上加一圈轮廓点，(记为Vimagecontour)，这样得到了所有背景区域的网格点在图像坐标系上的位置。用Delaunay算法三角化添加的所有轮廓点(V＝{Vi})，形成背景区域的网格结构(记点与点之间的边为E＝{Eij})，使背景区域的网格结构可以与重建好的三维人脸模型中的三维人脸网络平滑衔接。
图7提供适合本发明实施例的较佳的实施流程。其具体的内容可以参考上面的介绍。
通过本发明实施例描述的装置，能够对于拍摄的图像中的人脸的角度进行调整，以达到人脸美化的效果。
下面结合附图3对本发明实施例三提供的一种用于图像处理的方法进行详细阐述。如图3所示，该方法包括：
步骤301，接收第三二维图像以及与所述第三二维图像对应的深度图，所示第三二维图像和所述深度图包括人脸。
可选的，该第三二维图像可以为彩色图，如RGB图。可选的，上述的接收第三二维图像可以包括从存储装置中获取所述第三二维图像。该存储装置可以是ROM(Read-OnlyMemory，只读存储器)、RAM(random access memory，随机存取存储器)或flash(闪存)。
步骤302，根据所述深度图建立所述三维模型。
可选的，该三维模型可以为世界坐标系下的三维点云。
步骤303，将所述三维模型旋转第一角度。
可选的，该第一角度可以预先设置。
步骤304，将旋转所述第一角度后的三维模型投影到所述第三二维图像所在的图像坐标系下。
该投影的方式可以为正交投影或透视投影。
步骤305，根据所述第三二维图像的背景区域对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，得到第四图像。
可选的，根据所述第三二维图像的背景对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，包括：根据所述第三二维图像中的背景中的下述至少一个对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，使得所述第四图像的边缘以及大小与所述第三二维图像的边缘以及大小一致：所述第三二维图像中的背景区域中的颜色、纹理以及背景边缘点的位置。具体地，在投影后形成的二维图像相对于上述的第三二维图像在边缘以及大小上会产生变化，这里的动作是对投影后形成的二维图像进行修补以使得看起来更自然，由于与第三二维图像的偏差部分位于图片的边缘部分，因此可以根据所述第三二维图像的大小确定所述第三二维图像的第一边缘点，并确定投影到所述第三二维图像所在的图像坐标系下的图像的第二边缘点，根据所述第一边缘点以及第二边缘点对所述第三二维图像与所述投影到所述第三二维图像所在的图像坐标系下的图像偏差部分网格化，根据第三二维图像中的网格中的下述至少一个修补投影到所述第三二维图像所在的图像坐标系下的图像中对应的网格：所述第三二维图像中的背景区域中的颜色和纹理。
对于网格化的具体实现可以参见实施例一或二中的相关描述。
下面结合附图4对本发明实施例四提供的一种用于图像处理的装置400进行详细阐述。如图4所示，该装置400包括：
接收模块401，用于接收第三二维图像以及与所述第三二维图像对应的深度图，所示第三二维图像和所述深度图包括人脸。
可选的，该第三二维图像可以为彩色图，如RGB图。可选的，上述的接收第三二维图像可以包括从存储装置中获取所述第三二维图像。该存储装置可以是ROM(Read-OnlyMemory，只读存储器)、RAM(random access memory，随机存取存储器)或flash(闪存)。
模型建立模块402，用于根据所述深度图建立三维模型。
可选的，该三维模型可以为世界坐标系下的三维点云。
旋转模块403，用于将所述三维模型旋转第一角度。
可选的，该第一角度可以预先设置。
投影模块404，用于将旋转所述第一角度后的三维模型投影到所述第三二维图像所在的图像坐标系下。
该投影的方式可以为正交投影或透视投影。
处理模块405，用于根据所述第三二维图像的背景区域对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，得到第四图像。
所述处理模块405，具体用于根据所述第三二维图像中的背景中的下述至少一个对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，使得所述第四图像的边缘以及大小与所述第三二维图像的边缘以及大小一致：所述第三二维图像中的背景区域中的颜色、纹理以及背景边缘点的位置。
所述处理模块405，具体用于：根据所述第三二维图像的大小确定所述第三二维图像的第一边缘点，并确定投影到所述第三二维图像所在的图像坐标系下的图像的第二边缘点；
根据所述第一边缘点以及第二边缘点对所述第三二维图像与所述投影到所述第三二维图像所在的图像坐标系下的图像偏差部分网格化，根据第三二维图像中的网格中的下述至少一个修补投影到所述第三二维图像所在的图像坐标系下的图像中对应的网格：所述第三二维图像中的背景区域中的颜色和纹理。
对于网格化的具体实现可以参见实施例一或二中的相关描述。
通过本发明实施例描述的装置，能够对于拍摄的图像中的人脸的角度进行调整，以达到人脸美化的效果。
下面结合图5具体描述本发明实施例五提供的一种用于图像处理的装置500，该装置包括一种计算机可读存储介质501，所述计算机可读存储介质501存储有计算机程序，所述计算机程序被第一处理器502执行时实现如实施例一或实施例三的方法的步骤。如图5所示，可选的，该装置500可以包括总线。
通过本发明实施例描述的装置，能够对于拍摄的图像中的人脸的角度进行调整，以达到人脸美化的效果。
下面结合图6具体描述本发明实施例六提供的一种用于图像处理的装置600，该装置包括存储器601、第二处理器602以及存储在所述存储器601中并可在所述第二处理器602上运行的计算机程序，所述计算机程序被第二处理器602执行时实现如实施例一或实施例三所述方法的步骤。可选的，如图所示，该装置600还包括总线。
通过本发明实施例描述的装置，能够对于拍摄的图像中的人脸的角度进行调整，以达到人脸美化的效果。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述装置/终端设备中的执行过程。
所述装置/终端设备可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述装置/终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本发明的示意图仅仅是装置/终端设备的示例，并不构成对装置/终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述装置/终端设备的控制中心，利用各种接口和线路连接整个装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述装置/终端设备的各种功能。所述存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述各个实施例中的目标物体的成像可以目标物体的局部成像，也可以整体成像。无论是局部成像，或整体成像都适用或对局部成像，或整体成像相应做出调整后适用本发明提供的方法或装置，上述调整本领域普通技术人员不需要付出创造性劳动，应属于本发明的保护范围。

Claims (30)

1.一种用于图像处理的方法，其特征在于，所述方法包括：
接收第一图像，所述第一图像包括人脸；
检测所述第一图像中的人脸与背景区域，根据所述第一图像建立所述人脸的三维模型；
将所述人脸的三维模型旋转第一角度；
将旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下，并与处理后的所述背景区域融合，得到第二图像；
其中，所述处理所述背景区域，包括：
获取所述背景区域对应的深度信息，根据所述背景区域对应的深度信息获取所述背景区域的三维模型；
将所述背景区域的三维模型旋转所述第一角度；
将旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下，得到所述处理后的所述第一图像的背景区域。
2.根据权利要求1所述的方法，其特征在于，
所述第一图像包括第一二维图像；
所述根据所述第一图像建立所述人脸的三维模型，包括：
检测所述第一二维图像中人脸的特征点，根据所述特征点以及设定的拟合目标通过第一三维人脸模型数据库拟合所述人脸的三维模型；或，将所述第一二维图像通过深度卷积神经网络迭代计算出三维重建参数，根据所述三维重建参数建立所述人脸的三维模型。
3.根据权利要求2所述的方法，其特征在于，
所述拟合目标为拟合得到的所述人脸的三维模型的三维特征点在所述第一图像所在的图像坐标系下的投影与所述第一二维图像中人脸的特征点的距离最小或收敛。
4.根据权利要求1所述的方法，其特征在于，
所述第一图像包括第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括所述人脸；
所述根据所述第一图像建立所述人脸的三维模型，包括：
根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第二三维人脸数据库拟合出所述人脸的三维模型。
5.根据权利要求4所述的方法，其特征在于，
第二三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量；
所述根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第二三维人脸数据库拟合出所述人脸的三维模型，包括：
估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，根据所述初始变换矩阵以及下述中的至少一个：形状特征向量以及表情特征向量，以下述条件中的至少一个为目标，由所述平均人脸模型拟合出所述人脸的三维模型：
所述拟合出的所述人脸的三维模型的特征点在所述图像坐标系下的投影位置与对应的所述第一图像包括的二维图像的特征点的位置之间的距离最小或收敛；
所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小或收敛。
6.根据权利要求5所述的方法，其特征在于，所述估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，包括：
根据所述第一二维图像中人脸特征点的位置以及所述第一二维图像对应的深度图计算所述人脸特征点的三维位置；
根据所述人脸特征点的三维位置以及所述平均人脸模型的特征点的三维位置估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵。
7.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述人脸的外轮廓点；
根据所述外轮廓点到所述人脸的中心的距离将所述背景区域分为与人脸相接背景区域以及远背景区域；
所述远背景区域距离所述人脸的中心的距离大于所述与人脸相接背景区域距离所述人脸的中心的距离。
8.根据权利要求7所述的方法，其特征在于，所述获取所述背景区域对应的深度信息，包括：
根据所述深度图获取所述与人脸相接背景区域以及所述远背景区域的深度信息；
或，
所述方法还包括：根据所述三维模型获取所述人脸中鼻子的深度信息；
所述获取所述背景区域对应的深度信息，包括：
根据所述人脸中鼻子的深度值，以及所述外轮廓点的深度信息与所述人脸中鼻子的深度值的差估计所述与人脸相接背景区域中的点的深度值以及所述远背景区域的深度值。
9.根据权利要求8所述的方法，其特征在于，
所述背景区域包括网格；
所述方法还包括：
对所述背景区域的深度值进行优化，所述优化包括：
保持所述人脸的外轮廓点的深度值不变，并且相邻的网格点的深度值的变化值一致。
10.根据权利要求1-9任一权利要求所述的方法，其特征在于，
所述与处理后的所述背景区域融合，包括下述中的至少一个：
所述第一图像的图像边界与所述处理后的所述背景区域的图像的边界一致；
所述第一图像的人脸的外轮廓点与旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下的人脸的外轮廓点一致。
11.根据权利要求10所述的方法，其特征在于，
所述第一图像中的背景区域包括第一网格；
所述方法还包括：
获取旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下的区域中的，与所述第一图像中的背景区域的第一网格对应的第二网格的位置；
根据所述第一网格中的纹理和/或颜色填充所述第二网格。
12.根据权利要求11所述的方法，其特征在于，
所述第一网格为三角化网格。
13.一种用于图像处理的方法，其特征在于，所述方法包括：
接收第三二维图像以及与所述第三二维图像对应的深度图，所示第三二维图像和所述深度图包括人脸；
根据所述深度图建立三维模型；
将所述三维模型旋转第一角度；
将旋转所述第一角度后的三维模型投影到所述第三二维图像所在的图像坐标系下；
根据所述第三二维图像的背景区域对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，得到第四图像；
其中，根据所述第三二维图像的背景对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，包括：
根据所述第三二维图像中的背景中的下述至少一个对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，使得所述第四图像的边缘以及大小与所述第三二维图像的边缘以及大小一致：所述第三二维图像中的背景区域中的颜色、纹理以及背景边缘点的位置。
14.根据权利要求13所述的方法，其特征在于，所述根据所述第三二维图像中的背景中的下述至少一个对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，使得所述第四图像的边缘以及大小与所述第三二维图像的边缘以及大小一致：所述第三二维图像中的背景区域中的颜色、纹理以及背景边缘点的位置，包括：
根据所述第三二维图像的大小确定所述第三二维图像的第一边缘点，并确定投影到所述第三二维图像所在的图像坐标系下的图像的第二边缘点；
根据所述第一边缘点以及第二边缘点对所述第三二维图像与所述投影到所述第三二维图像所在的图像坐标系下的图像偏差部分网格化，根据第三二维图像中的网格中的下述至少一个修补投影到所述第三二维图像所在的图像坐标系下的图像中对应的网格：所述第三二维图像中的背景区域中的颜色和纹理。
15.一种用于图像处理的装置，其特征在于，所述装置包括：
接收模块，用于接收第一图像，所述第一图像包括人脸；
检测与模型建立模块，用于检测所述第一图像中的人脸与背景区域，根据所述第一图像建立所述人脸的三维模型；
旋转模块，用于将所述人脸的三维模型旋转第一角度；
融合模块，用于将旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下，并与处理后的所述背景区域融合，得到第二图像；
背景处理模块，用于获取所述背景区域对应的深度信息，根据所述背景区域对应的深度信息获取所述背景区域的三维模型，将所述背景区域的三维模型旋转所述第一角度，将旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下，得到所述处理后的所述第一图像的背景区域。
16.根据权利要求15所述的装置，其特征在于，
所述第一图像包括第一二维图像；
所述检测与模型建立模块，具体用于测所述第一二维图像中人脸的特征点，根据所述特征点以及设定的拟合目标通过第一三维人脸模型数据库拟合所述人脸的三维模型；或，将所述第一二维图像通过深度卷积神经网络迭代计算出三维重建参数，根据所述三维重建参数建立所述人脸的三维模型。
17.根据权利要求16所述的装置，其特征在于，
所述拟合目标为拟合得到的所述人脸的三维模型的三维特征点在所述第一图像所在的图像坐标系下的投影与所述第一二维图像中人脸的特征点的距离最小或收敛。
18.根据权利要求15所述的装置，其特征在于，
所述第一图像包括第一二维图像以及与所述第一二维图像对应的深度图，所述第一二维图像以及所述深度图包括所述人脸；
所述检测与模型建立模块，具体用于根据所述第一二维图像中人脸的特征点的位置以及所述第一二维图像对应的深度图由第二三维人脸数据库拟合出所述人脸的三维模型。
19.根据权利要求18所述的装置，其特征在于，
第二三维人脸数据库包括平均人脸模型以及下述中的至少一个：形状特征向量以及表情特征向量；
所述检测与模型建立模块，具体用于：
估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵，根据所述初始变换矩阵以及下述中的至少一个：形状特征向量以及表情特征向量，以下述条件中的至少一个为目标，由所述平均人脸模型拟合出所述人脸的三维模型：
所述拟合出的所述人脸的三维模型的特征点在图像坐标系下的投影位置与对应的所述第一图像包括的二维图像的特征点的位置之间的距离最小；
所述拟合出的所述人脸的三维模型与由所述深度图映射得到的三维点云之间对应的点对的距离最小。
20.根据权利要求19所述的装置，其特征在于，
所述检测与模型建立模块，具体用于：
根据所述第一二维图像中人脸特征点的位置以及所述第一二维图像对应的深度图计算所述人脸特征点的三维位置；
根据所述人脸特征点的三维位置以及所述平均人脸模型的特征点的三维位置估计由所述平均人脸模型到所述深度图对应的三维点云模型的初始变换矩阵。
21.根据权利要求18所述的装置，其特征在于，所述装置还包括获取与背景划分模块，
所述获取与背景划分模块，用于：
获取所述人脸的外轮廓点；
根据所述外轮廓点到所述人脸的中心的距离将所述背景区域分为与人脸相接背景区域以及远背景区域；
所述远背景区域距离所述人脸的中心的距离大于所述与人脸相接背景区域距离所述人脸的中心的距离。
22.根据权利要求21所述的装置，其特征在于，
所述背景处理模块，用于根据所述深度图获取所述与人脸相接背景区域以及所述远背景区域的深度信息；
或，
所述装置还包括鼻子深度信息获取模块，
鼻子深度信息获取模块，用于根据所述三维模型获取所述人脸中鼻子的深度信息；
所述背景处理模块，用于根据所述人脸中鼻子的深度值，以及所述外轮廓点的深度信息与所述人脸中鼻子的深度值的差估计所述与人脸相接背景区域中的点的深度值以及所述远背景区域的深度值。
23.根据权利要求22所述的装置，其特征在于，
所述背景区域包括网格；
所述装置还包括优化模块，所述优化模块用于：
保持所述人脸的外轮廓点的深度值不变，并且相邻的网格点的深度值的变化值一致。
24.根据权利要求15-23任一权利要求所述的装置，其特征在于，
所述融合模块，具体用于：
所述第一图像的图像边界与所述处理后的所述背景区域的图像的边界一致；
所述第一图像的人脸的外轮廓点与旋转所述第一角度后的所述人脸的三维模型投影到所述第一图像所在的图像坐标系下的人脸的外轮廓点一致。
25.根据权利要求24所述的装置，其特征在于，
所述第一图像中的背景区域包括第一网格；
所述装置还包括填充模块，所述填充模块用于：
获取旋转所述第一角度后的所述背景区域的三维模型投影到所述第一图像所在的图像坐标系下的区域中的，与所述第一图像中的背景区域的第一网格对应的第二网格的位置；
根据所述第一网格中的纹理和/或颜色填充所述第二网格。
26.根据权利要求25所述的装置，其特征在于，
所述第一网格为三角化网格。
27.一种用于图像处理的装置，其特征在于，包括：
接收模块，用于接收第三二维图像以及与所述第三二维图像对应的深度图，所示第三二维图像和所述深度图包括人脸；
模型建立模块，用于根据所述深度图建立三维模型；
旋转模块，用于将所述三维模型旋转第一角度；
投影模块，用于将旋转所述第一角度后的三维模型投影到所述第三二维图像所在的图像坐标系下；
处理模块，用于根据所述第三二维图像的背景区域对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，得到第四图像；
其中，所述处理模块，具体用于根据所述第三二维图像中的背景中的下述至少一个对所述投影到所述第三二维图像所在的图像坐标系下的图像进行处理，使得所述第四图像的边缘以及大小与所述第三二维图像的边缘以及大小一致：所述第三二维图像中的背景区域中的颜色、纹理以及背景边缘点的位置。
28.根据权利要求27所述的装置，其特征在于，
所述处理模块，具体用于：
根据所述第三二维图像的大小确定所述第三二维图像的第一边缘点，并确定投影到所述第三二维图像所在的图像坐标系下的图像的第二边缘点；
根据所述第一边缘点以及第二边缘点对所述第三二维图像与所述投影到所述第三二维图像所在的图像坐标系下的图像偏差部分网格化，根据第三二维图像中的网格中的下述至少一个修补投影到所述第三二维图像所在的图像坐标系下的图像中对应的网格：所述第三二维图像中的背景区域中的颜色和纹理。
29.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被第一处理器执行时实现如权利要求1-14任一权利要求所述方法的步骤。
30.一种用于图像处理的装置，包括存储器、第二处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被第二处理器执行时实现如权利要求1-14任一权利要求所述方法的步骤。
CN201710986057.7A 2017-10-20 2017-10-20 一种用于图像处理的方法和装置 Active CN109697688B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710986057.7A CN109697688B (zh) 2017-10-20 2017-10-20 一种用于图像处理的方法和装置
US16/167,486 US10909699B2 (en) 2017-10-20 2018-10-22 Method and device for image processing
US17/136,739 US11514593B2 (en) 2017-10-20 2020-12-29 Method and device for image processing
US17/136,796 US11468579B2 (en) 2017-10-20 2020-12-29 Method and device for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710986057.7A CN109697688B (zh) 2017-10-20 2017-10-20 一种用于图像处理的方法和装置

Publications (2)

Publication Number Publication Date
CN109697688A CN109697688A (zh) 2019-04-30
CN109697688B true CN109697688B (zh) 2023-08-04

Family

ID=66170603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710986057.7A Active CN109697688B (zh) 2017-10-20 2017-10-20 一种用于图像处理的方法和装置

Country Status (2)

Country Link
US (3) US10909699B2 (zh)
CN (1) CN109697688B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105975935B (zh) * 2016-05-04 2019-06-25 腾讯科技（深圳）有限公司 一种人脸图像处理方法和装置
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
CN111340932A (zh) * 2018-12-18 2020-06-26 富士通株式会社 图像处理方法以及信息处理设备
CN109903326B (zh) * 2019-02-28 2022-02-22 北京百度网讯科技有限公司 用于确定工程机械设备的旋转角度的方法和装置
US11127166B2 (en) * 2019-03-01 2021-09-21 Tencent America LLC Method and apparatus for enhanced patch boundary identification for point cloud compression
CN110097506B (zh) * 2019-05-07 2023-06-16 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN112215050A (zh) * 2019-06-24 2021-01-12 北京眼神智能科技有限公司 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
CN110555812A (zh) * 2019-07-24 2019-12-10 广州视源电子科技股份有限公司 图像调整方法、装置和计算机设备
CN112348937A (zh) * 2019-08-09 2021-02-09 华为技术有限公司 人脸图像处理方法及电子设备
CN110619303A (zh) * 2019-09-16 2019-12-27 Oppo广东移动通信有限公司 注视点追踪方法、装置、终端及计算机可读存储介质
CN110826395B (zh) * 2019-09-18 2023-10-31 平安科技（深圳）有限公司 人脸旋转模型的生成方法、装置、计算机设备及存储介质
CN111105489A (zh) * 2019-12-23 2020-05-05 北京奇艺世纪科技有限公司 数据合成方法和装置、存储介质和电子装置
CN111160278B (zh) * 2019-12-31 2023-04-07 陕西西图数联科技有限公司 基于单个图像传感器的人脸纹理结构数据采集方法
CN111243020B (zh) * 2020-01-02 2023-07-25 东莞市一加创意数字科技有限公司 一种立体投影空间的音源位置的动态定位方法
CN111428579A (zh) * 2020-03-03 2020-07-17 平安科技（深圳）有限公司 人脸图像的获取方法与***
CN111462309B (zh) * 2020-03-31 2023-12-19 深圳市新镜介网络有限公司 三维人头的建模方法、装置、终端设备及存储介质
CN111626241B (zh) * 2020-05-29 2023-06-23 北京华捷艾米科技有限公司 一种人脸检测方法及装置
US11386633B2 (en) * 2020-06-13 2022-07-12 Qualcomm Incorporated Image augmentation for analytics
CN111915632B (zh) * 2020-07-26 2024-04-26 同济大学 一种基于机器学习的贫纹理目标物体真值数据库构建方法
CN111968048B (zh) * 2020-07-30 2024-03-26 国网智能科技股份有限公司 电力巡检少样本图像数据增强方法及***
CN112348965A (zh) * 2020-10-27 2021-02-09 维沃移动通信有限公司 成像方法、装置、电子设备及可读存储介质
CN112487922B (zh) * 2020-11-25 2024-05-07 奥比中光科技集团股份有限公司 一种多模态人脸活体检测方法及***
CN112651881B (zh) * 2020-12-30 2023-08-01 北京百度网讯科技有限公司 图像合成方法、装置、设备、存储介质以及程序产品
US12020497B2 (en) * 2021-04-09 2024-06-25 Georgetown University Facial recognition using 3D model
CN113223137B (zh) * 2021-05-13 2023-03-24 广州虎牙科技有限公司 透视投影人脸点云图的生成方法、装置及电子设备
CN113689539B (zh) * 2021-07-06 2024-04-19 清华大学 基于隐式光流场的动态场景实时三维重建方法
CN113609928B (zh) * 2021-07-19 2022-12-20 广州市雅天网络科技有限公司 基于云计算和图像识别的智慧城市管理***
CN113709515A (zh) * 2021-09-06 2021-11-26 广州麦田信息技术有限公司 一种新媒体直播和用户线上互动方法
US11810256B2 (en) * 2021-11-11 2023-11-07 Qualcomm Incorporated Image modification techniques
CN113792718B (zh) * 2021-11-18 2022-03-25 北京的卢深视科技有限公司 深度图中人脸区域定位方法、电子设备及存储介质
CN115082324B (zh) * 2022-07-27 2022-11-01 四川赛狄信息技术股份公司 一种视频图像局部旋转处理方法、***、终端及介质
CN117119307B (zh) * 2023-10-23 2024-03-08 珠海九松科技有限公司 一种基于深度学习的视频交互方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161821A (ja) * 1997-11-28 1999-06-18 Minolta Co Ltd ３次元形状データ処理装置及びモデリングシステム
CN101604387A (zh) * 2008-06-11 2009-12-16 索尼株式会社 图像处理装置和图像处理方法
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8026931B2 (en) * 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects
US20090132371A1 (en) * 2007-11-20 2009-05-21 Big Stage Entertainment, Inc. Systems and methods for interactive advertising using personalized head models
US9098930B2 (en) * 2011-09-30 2015-08-04 Adobe Systems Incorporated Stereo-aware image editing
TW201318424A (zh) * 2011-10-19 2013-05-01 Hon Hai Prec Ind Co Ltd 用於視頻通信系統的視頻通信裝置、圖像處理器及方法
CN104658034B (zh) * 2013-11-18 2019-03-01 清华大学 Ct图像数据的融合绘制方法
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method
CN105488371B (zh) * 2014-09-19 2021-04-20 中兴通讯股份有限公司 一种脸部识别方法和装置
US9959455B2 (en) * 2016-06-30 2018-05-01 The United States Of America As Represented By The Secretary Of The Army System and method for face recognition using three dimensions
WO2018030168A1 (ja) * 2016-08-10 2018-02-15 ソニー株式会社 画像処理装置および画像処理方法
CN109697688B (zh) * 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161821A (ja) * 1997-11-28 1999-06-18 Minolta Co Ltd ３次元形状データ処理装置及びモデリングシステム
CN101604387A (zh) * 2008-06-11 2009-12-16 索尼株式会社 图像处理装置和图像处理方法
CN106503684A (zh) * 2016-10-28 2017-03-15 厦门中控生物识别信息技术有限公司 一种人脸图像处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用几何度量的无监督实时面部动画生成算法;姜那 等;《计算机学报》;20160105;正文第3-4节，图1-10 *

Also Published As

Publication number Publication date
CN109697688A (zh) 2019-04-30
US10909699B2 (en) 2021-02-02
US11468579B2 (en) 2022-10-11
US11514593B2 (en) 2022-11-29
US20210118158A1 (en) 2021-04-22
US20190122376A1 (en) 2019-04-25
US20210118159A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN109697688B (zh) 一种用于图像处理的方法和装置
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
US11436802B2 (en) Object modeling and movement method and apparatus, and device
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
US20240046571A1 (en) Systems and Methods for 3D Facial Modeling
CN108305312B (zh) 3d虚拟形象的生成方法和装置
WO2021174939A1 (zh) 人脸图像的获取方法与***
CN109859098B (zh) 人脸图像融合方法、装置、计算机设备及可读存储介质
US20200058153A1 (en) Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media
CN107564080B (zh) 一种人脸图像的替换***
CN102663820A (zh) 三维头部模型重建方法
EP3756163B1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
US10169891B2 (en) Producing three-dimensional representation based on images of a person
US20200167893A1 (en) Propagation of spot healing edits from one image to multiple images
CN113628327A (zh) 一种头部三维重建方法及设备
CN113689578A (zh) 一种人体数据集生成方法及装置
US20200118333A1 (en) Automated costume augmentation using shape estimation
US20210241430A1 (en) Methods, devices, and computer program products for improved 3d mesh texturing
US20210074076A1 (en) Method and system of rendering a 3d image for automated facial morphing
US20230237753A1 (en) Dynamic facial hair capture of a subject
WO2024109267A1 (zh) 一种三维孪生方法以及装置
CN118247429A (zh) 一种空地协同快速三维建模方法及***
CN116934939A (zh) 一种基于先验模型的人脸稠密毛发皮肤区域网格修复方法
JP2024525703A (ja) 三次元動的追跡方法、装置、電子機器及び記憶媒体
CN113570702A (zh) 3d照片的生成方法与装置、终端及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant