CN113139913A - 一种面向人物肖像的新视图修正生成方法 - Google Patents
一种面向人物肖像的新视图修正生成方法 Download PDFInfo
- Publication number
- CN113139913A CN113139913A CN202110256677.1A CN202110256677A CN113139913A CN 113139913 A CN113139913 A CN 113139913A CN 202110256677 A CN202110256677 A CN 202110256677A CN 113139913 A CN113139913 A CN 113139913A
- Authority
- CN
- China
- Prior art keywords
- portrait
- person
- key points
- background
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012937 correction Methods 0.000 title claims abstract description 27
- 230000001815 facial effect Effects 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims abstract description 14
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 17
- 238000000926 separation method Methods 0.000 claims description 13
- 210000000697 sensory organ Anatomy 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 14
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 7
- 210000003739 neck Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向人物肖像的新视图修正生成方法。本发明步骤：步骤(1)任意源人物图像的目标前景与背景实时分离；步骤(2)面部遮挡部位的识别与分割处理；步骤(3)背景的随机光流计算与颜色缓存；步骤(4)人物肖像特征关键点的智能检测与匹配；步骤(5)交互式特征权重设置；步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像；步骤(7)根据步骤(3)的缓存信息进行背景补全。本发明在一定程度上实现了实时人物肖像的新视图生成，并能够同时提供各种修正角度影像，改善与解决了现有方法的低效性与非真实感，为线上人物肖像传播，特别是线上会议通信提供了较好的质量修正机制。
Description
技术领域
本发明属于计算机图形学、计算机视觉与多媒体技术领域，特别涉及一种面向人物肖像的新视图修正生成方法。
背景技术
现今，在讲求安全与效率的社会中，根据人们的现实通信需求，线上会议、视频或图片的线上分享等云信息交换方式迅速发展起来，打破了地域与时间限制，让人与人之间的沟通交流变得更加及时便利。然而，目前在实际通信中，由于受到硬件设备影像获取镜头(摄像机)位置的影响，经常出现通信目标——对方通信人(即图像主体目标)角度倾斜的现象，使得通信双方的感官体验欠佳，在一定程度上降低了通信的质量。因此，获取与显示正常视角下的图像，对于线上的及时信息交换具有很大的加成作用。
综合国内外研究现状和发展趋势，从新视图生成的角度来看，相对成熟的方法多集中于在平行平面上的平移或者变形操作，而新视图生成的内容所在的成像平面通常与源图像成一定的角度，这对重建或估计图像隐藏的3D几何结构要求更高。目前，专门针对视图变换的工作在伪影与空洞上存在较大的问题，且国内外的现有研究多分布在远焦大场景或者形状相对规则的物品，且由于受到有限数量图像的限制，在不匹配近似三维模型的前提下，这些方法通常仅集中在小范围的视角内变换，又该领域的很多研究会利用到物体的对称性先验，使得上述变换范围大多根据源图像的左右视角确定。然而，针对线上通信来讲，通常受到显示屏幕的影响而导致成像的角度置于俯仰位置，这使得现有的很多规则无法适用。另外，本发明所针对的人物肖像属于近景目标图像，与远景中的人物相比，需要对脸部、头发与肩颈部位进行更加细致清晰的处理与显示，且为了满足线上会议等实际应用需求还需保证实时性。
发明内容
本发明的目的是提出一种面向人物肖像的新视图修正生成方法，该方法能够根据现有用于通信影像获取的硬件设备拍摄得到的固定视角图像，提取具有高度代表性的可用特征信息，进行相应的特征理解、目标特性分析、变形及插值计算处理，最终生成可供用户自主选择显示视角的图像序列。
为实现上述目的，本发明的技术方案包括如下步骤：
步骤(1)任意源人物图像的目标前景与背景实时分离；
步骤(2)面部遮挡部位的识别与分割处理；
步骤(3)背景的随机光流计算与颜色缓存；
步骤(4)人物肖像特征关键点的智能检测与匹配；
步骤(5)交互式特征权重设置；
步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像；
步骤(7)根据步骤(3)的缓存信息进行背景补全。
进一步的，所述步骤(1)任意源人物肖像的目标前景与背景实时分离，具体实现如下：由于本发明所需的应用实时性，需要进行单帧人像的前景与背景分离，而背景相减法、光流法、时间差分法、高斯混合模型等面向视频的分离算法无法实现很好的实时性，且需要运动信息来辅助分离。针对这种实际应用情况，本发明提出了一种近似二值掩码与边缘检测相结合的实时分离算法，通过基本几何形状中的椭圆与梯形掩码快速确定目标前景的大致范围，需要特别注意的是，椭圆与梯形的尺寸设置需要比实际人物肖像稍大，以适配更大相机俯仰范围与不同个体的人像，而后使用边缘检测算法在上述掩码确定的范围内进一步精确提取出人像前景，从而在整体上实现人物肖像目标前景与背景的实时分离。
进一步的，所述步骤(2)面部遮挡部位的识别与分割处理，致力于解决人脸部位的遮挡干扰，由于人物面部的遮挡物如眼镜、口罩、围巾等非人体物品在物理性质与先验特征方面与人物面部存在较大差异，则其独立于人物肖像的变形及生成处理，在保证新视图生成效果上具有非常重要的影响。在所述步骤(1)的基础之上，由于人脸颜色与五官形状具有非常强的先验性，则通过颜色阈值与五官形状掩码设置可以较为准确的定位正常人脸区域，对该正常人脸区域取反得到遮挡人脸区域的掩码，即遮挡物掩码，也可称作反向掩码；利用得到的反向掩码与步骤(1)获取的原目标人像前景进行差值计算，实现遮挡人脸区域的识别与分割，并将识别得到的遮挡物颜色及位置信息存储在预先设定的遮挡模块中，作为后续人物肖像在新相机视角下生成的备用资源。
进一步的，所述步骤(3)背景的随机光流计算与颜色缓存，为了降低背景部分的计算时间复杂度，保证修正影像序列的背景部位相对稳定，本发明从给定的待修正视频影像中随机抽取两帧相邻图像，对其进行轻量级的稠密光流计算，并将光流变换对应的背景颜色信息缓存在预先申请的内存空间中备用，作为最后整体修正内容的背景补全依据。
进一步的，所述步骤(4)人物肖像的特征关键点的检测与匹配，是进行新视图修正生成的关键步骤，决定生成机制所获内容的准确度与真实感。由于人物肖像俯仰变化的新视图生成机制对人物肖像的特征关键点要求较高，因此需要在最小化计算时间复杂度的前提下，提取尽可能稠密的具备高度代表性的特征关键点。考虑上述关键点检测需求，本发明利用人脸的强先验特性通过人脸检测器进行面部轮廓与五官的特征关键点检测，得到正常人脸区域的特征关键点；而后通过结合颜色先验、步骤(1)所得目标前景的轮廓信息以及步骤(2)所得人脸区域的颜色与位置信息，设置皮肤颜色阈值，完成除面部轮廓与五官外的其他人物肖像特征关键点检测。将每个单帧图像的代表性关键点位置信息按照指定索引存储，完成人物肖像特征关键点的智能检测与匹配。
所述的皮肤颜色阈值的设置如下：R∈[235,254]，G∈[210,234]，B∈[194,230]。
进一步的，所述步骤(5)交互式特征权重设置是步骤(4)所得特征关键点的筛选机制。默认五官、面部轮廓、头发区域、遮挡人脸区域、颈部、肩部的特征权重设置相等。使用者可以依照实际应用情况与自身要求交互式地更改权重配比，以控制不同特征区域中关键点的数量。需要强调的是，步骤(5)为可选步骤，其中特征区域的权重比越高，则对应区域范围内的代表性关键点数量越多，能够修正生成的效果越好，但计算时间越长。
进一步的，所述步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像，是产生可用目标输出的关键步骤，特别面向实际通信影像获取的硬件设备拍摄所局限的俯仰视角与人物肖像俯仰角度的非对称性质而提出。利用步骤(4)的检测与步骤(5)的权重设置得到的成对特征关键点来计算基本矩阵；再通过计算两帧图像的投影矩阵而对图像进行预扭曲以将两帧图像对齐到同一平行平面空间；然后根据颜色信息插值生成中间系列视角的新图像序列；最后将生成的新图像序列反扭曲到目标视角平面空间，得到目标视角序列。
所述的成对特征关键点是由俯视角度对应的图像得到的特征关键点和仰视角度对应的图像得到的特征关键点组成。
所述的两帧图像是指俯视角度对应的图像和仰视角度对应的图像。
所述的预扭曲和反扭曲均是形变。
所述的基本矩阵的计算如下：p′Fp＝0，其中,所求基础矩阵F是一个3×3的矩阵,表达了各个相点之间的对应关系,p′＝(x′,y′,1)与p＝(x,y,1)T是成对特征关键点的齐次化坐标。
所述的投影矩阵就是转换实际相机平面空间与标准视图空间的变换矩阵，与上述基本矩阵形状一致，是一个3×3的矩阵，除主对角线元素外，元素值均为0，主对角线上的最后一个元素值为1，主对角线上的第一个与第二个元素值等于基本矩阵对应位置的元素值。
所述的根据颜色信息插值生成中间视角的新图像序列，具体实现如下：
M(xm,ym)＝(1-α)x1I(xi,yi)+α(xi,yi)
其中xm＝(1-α)x1+αx2与ym＝(1-α)y1+αy2是插值位置的横纵坐标,而(x1,y1)、(x2,y2)分别代表同一时刻输入的两个固定俯、仰视角所对应图像的特征关键点位置,代表插值位置的颜色值,是0～1范围内的浮点数,默认设置为0.5。
所述步骤(7)依照步骤(3)的缓存信息进行背景补全，即在非人物肖像位置将缓存的背景颜色信息填充上去，并将前景与背景的拼合边缘进行中值滤波处理，使得衔接更加自然真实，同时保证前景轮廓的合理清晰性。
进一步的，所述步骤(7)之前可以选择通过交互式目标修正影像选择，即从步骤(6)生成的目标视角序列中交互式地选择符合需求的视图，作为整个视频的修正视角，同时保存所选的修正视角信息，传播给其他帧以指导各帧的修正视角选择，从而得到该视角下所有帧的人物肖像前景修正序列。该步骤作为可选步骤。
与现有新视图生成方法相比，使用本发明面向人物肖像的新视图修正生成方法所带来的有益效果如下：
(1)真实感：通过将不同物理性质与先验特征的区域进行独立预处理，而后使用针对人物肖像俯仰变化的新视图生成机制将所有区域变换至所需的目标视角，最后通过中值滤波实现不同区域的拼合，能够较好地生成所需修正视角下的目标新视图，具有一定的真实感。
(2)实时性：为满足线上通信的及时性需求，快速生成趋近目标视角的新图像序列是相对重要的，本发明通过稠疏混合运动估计、粗细形状掩码检测及特征区域权重平衡三个方法，极大地降低了传统新视图生成的计算时间复杂度，在一定程度上很好地满足了线上人物肖像传播与线上视频会议的实时质量修正需求。
(3)可扩展性：本发明所提方法面向的问题解决场景是人物肖像的视角变换修正，但该方法不局限于人物肖像，针对整个人体或者动态物品对象的视角变换，也可以通过改变掩码、权重与检测目标的设置实现，具有较高的可行性，从侧面反映了本发明的可扩展性。
附图说明
图1是本发明面向人物肖像的新视图修正生成方法的功能实施模块构成图。
图2是本发明面向人物肖像的新视图修正生成方法的具体实施流程图。
具体实施方式
上述说明仅是本发明技术方案的概述，为了让本发明的上述和其它目的、特征与优点能够更明显易懂，以下特举本发明的具体实施方式。
本发明通过对不同物理性质及先验特征部分的识别、独立处理与自然拼合，以可控的交互形式实时获得受限于固定拍摄视角的人物肖像的新视图，创新性地提出了面部遮挡部位的识别与分割处理、针对人物肖像俯仰变化的新视图生成机制及可控的交互式关键点与目标修正影像选择，改善与解决了现有方法的低效性与非真实感，为线上人物肖像传播，特别是线上会议通信提供了较好的质量修正机制。
下面将参考附图并结合实施例，对本发明的技术方案进行清楚、完整地描述，进一步详细介绍本发明的具体功能实施模块、运行方式和实现方法。需要强调的是，以下实施例是本发明的优选实施例，而非全部实施例，仅用以解释本发明，而不是想要限制本发明的范围。
如图1所示，一直面向人物肖像的新视图修正生成方法所使用的***包括前景与背景分离模块、遮挡对象识别存储模块、随机背景缓存模块、特征关键点检测模、特征区域权重设置模块、人物肖像俯仰变化的新视图修正模块以及背景补全模块。其中
(1)前景与背景分离模块：用于任意源人物肖像的目标前景与背景实时分离；
(2)遮挡对象识别存储模块：致力于解决人脸部位的遮挡干扰；
(3)随机背景缓存模块：降低背景部分的计算时间复杂度，缓存合理稳定的背景信息；
(4)特征关键点检测模块：提取尽可能稠密的具备高度代表性的特征关键点；
(5)特征区域权重设置模块：依照实际应用情况交互式地设置各特征区域的权重配比；
(6)人物肖像俯仰变化的新视图修正模块：依照人物肖像俯仰变化的新视图生成机制计算目标影像，以产生可用目标输出；
(7)背景补全模块：实现缓存背景与修正目标视角下前景视图的合理拼合。
其中，所述前景与背景分离模块，是一种利用近似二值掩码与边缘检测相结合进行实时分离的算法，先通过基本几何形状中的椭圆与梯形掩码快速确定目标前景的大致范围，再利用边缘检测算法在上述掩码确定的范围内进一步精确提取出人像前景。在具体实施过程中，需要特别注意的是，基本几何形状椭圆与梯形的尺寸设置需要比实际人物肖像稍大，以适配更大相机俯仰范围与不同个体的人像。
其中，所述遮挡对象识别存储模块，致力于解决人脸部位的遮挡干扰。由于人物面部的遮挡物如眼镜、口罩、围巾等非人体物品在物理性质与先验特征方面与人物面部存在较大差异，则在具体实施中，独立识别与预处理人物肖像的不同组份在保证新视图生成效果上具有非常重要的影响，组份包括人脸、头发、肩颈、背景和面部遮挡物。依据人脸颜色与五官形状的强先验性，通过颜色阈值与五官形状掩码的设置可以较为准确的定位原本的人脸，对得到了人脸取反以获取非人脸部分的掩码，即合理的遮挡物掩码，也可称为反向掩码，再利用得到的合理遮挡物掩码与原目标人像的前景进行差值计算，实现遮挡对象的识别与分割，并在模块预先申请的内存空间中存储识别得到的遮挡物颜色及位置信息。
其中，所述随机背景缓存模块，是为了降低视频次要背景部分的计算时间复杂度，并缓存合理稳定的背景信息而设置的。具体实施是从给定的视频影像中随机抽取两帧相邻的图像，需要注意的是，抽取的两帧图像应当满足随机性，而后对抽取的图像对进行轻量级的稠密光流计算，并将光流变换对应的背景颜色信息缓存在该随机背景缓存模块中，缓存完成后立即保持该模块的冻结状态，即不对该模块进行任何操作，直到生成最终修正目标前景序列。
其中，所述特征关键点检测模块，提取尽可能稠密的具备高度代表性的特征关键点。具体实施时，需要利用人脸的强先验特性通过人脸检测器进行面部轮廓与五官的特征关键点检测，而后结合颜色特征先验、前景与背景分离模块所得的人物肖像轮廓及遮挡对象识别存储模块所得的遮挡对象信息，在头发、肩部、颈部、面部遮挡物四个特征区域上设置合理的权重阈值，完成除面部轮廓与五官外其他人物肖像部位的特征关键点检测，将每个单帧图像的代表性关键点位置信息按照指定索引存储，完成人物肖像特征关键点的智能检测与匹配。
其中，所述特征区域权重设置模块，是可选的交互控制模块，可以依照实际应用情况与用户的自主需求交互式地设置每个特征区域的权重配比，对智能获取的特征关键点进行重要性筛选，以加强特征关键点的适应性准确度。默认特征权重设置从大至小依次为五官、面部轮廓、头发区域、遮挡对象区域、颈部、肩部。不同的权重配置，可以控制不同特征区域中关键点的数量，具体实施中需要强调的是，特征区域的权重比越高，则对应区域范围内的代表性关键点数量越多，能够修正生成的效果越好，但计算时间越长。
其中，所述人物肖像俯仰变化的新视图修正模块，是产生可用目标输出的关键步骤，特别面向实际通信影像获取的硬件设备拍摄所局限的俯仰视角与人物肖像俯仰角度的非对称性质而提出。在具体实施中，其利用特征关键点检测模块所得的关键点与特征区域权重设置模块的权重筛选功能所得到的成对特征关键点来计算基本矩阵，再通过计算两帧的投影矩阵对图像进行预扭曲以将两帧图像对齐到同一平行平面空间，而后根据颜色信息插值生成中间目标视角的新图像序列，最后将生成的图像修序列正扭曲到目标视角平面空间。
其中，所述背景补全模块，作用于最后的组份拼合工作。在具体实施时，需要在非人物肖像位置将随机背景缓存模块存储的背景颜色信息填充上去，并将前景与背景的拼合边缘进行中值滤波处理，使得衔接更加自然真实，同时保证前景轮廓的合理清晰性。
如图2所示，本发明向人物肖像的新视图修正生成方法具体实施流程如下：
首先输入待修正的人物肖像图像或视频序列，然后在正式进行新视角下图像的修正工作之前，需要利用已知的图像或视频序列提取出检测人物肖像特征关键点所需的信息，包括目标前景与背景的形状特征信息、面部遮挡对象的颜色与形状特征信息及随机背景颜色信息。其中，目标前景与背景形状特征信息是通过前后景实时分离来提取的，具体实施时先使用近似二值形状掩码——稍大于实际人物肖像尺寸的椭圆与梯形掩码确定人物肖像的粗略位置范围，再于该范围内利用边缘检测算法确定前景轮廓的具***置，以粗细结合的方式在较短时间内完成人物肖像的前后景分离；面部遮挡对象的颜色与形状特征信息则是通过人脸反向掩码获取的，该反向掩码是利用人脸的颜色先验及五官的形状先验取反后得到的；随机背景颜色信息的获取需要在随机选取待修正序列中连续的两帧图像进行轻量级的稠密光流计算，而后将光流变换对应位置的颜色信息缓存在预先申请的内存空间中，且缓存完毕后需要暂时处于冻结状态直至前景修正视图生成。上述信息提取并存储完毕后，先通过现有的人脸检测器确定面部轮廓与五官的特征关键点，再利用上述前景形状特征信息与遮挡物品的颜色及形状信息结合其他各个特征区域(包括头发、颈部、肩部、遮挡物品)的权重配比检测并筛选对应的具备高度代表性的特征关键点，并将每一帧的关键点按照指定的索引进行存储。接着利用成对的特征关键点计算基本矩阵，再通过计算两帧的投影矩阵对这两帧图像进行预扭曲，以将这两帧图像对齐到同一平行平面空间，经过交互式的目标视角选择后，将目标视角下修正后的前景肖像新视图与缓存的背景颜色信息进行拼合。最后，使用中值滤波算法作用于前后景的拼合边缘，以得到自然真实且前景边缘合理清晰的目标新视图。
以上仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不偏离本发明的构思或者超越本权利要求书所定义范围的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种面向人物肖像的新视图修正生成方法，其特征在于包括如下步骤：
步骤(1)任意源人物图像的目标前景与背景实时分离；
步骤(2)面部遮挡部位的识别与分割处理；
步骤(3)背景的随机光流计算与颜色缓存；
步骤(4)人物肖像特征关键点的智能检测与匹配；
步骤(5)交互式特征权重设置；
步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像；
步骤(7)根据步骤(3)的缓存信息进行背景补全。
2.根据权利要求1所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(1)任意源人物肖像的目标前景与背景实时分离，具体实现如下：
提出一种近似二值掩码与边缘检测相结合的实时分离算法，通过基本几何形状中的椭圆与梯形掩码快速确定目标前景的大致范围，而后使用边缘检测算法在上述掩码确定的大致范围内进一步精确提取出人像前景，从而在实现人物肖像目标前景与背景的实时分离；
所述的椭圆与梯形的尺寸设置需要比实际人物肖像稍大，以适配更大相机俯仰范围与不同个体的人像。
3.根据权利要求1或2所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(2)面部遮挡部位的识别与分割处理具体实现如下：由于人脸颜色与五官形状具有非常强的先验性，则通过颜色阈值与五官形状掩码设置能够较为准确的定位正常人脸区域，对该正常人脸区域取反得到遮挡人脸区域的掩码，即遮挡物掩码，也称作反向掩码；利用得到的反向掩码与步骤(1)获取的原目标人像前景进行差值计算，实现遮挡人脸区域的识别与分割，并将识别得到的遮挡物颜色及位置信息存储在预先设定的遮挡模块中，作为后续人物肖像在新相机视角下生成的备用资源。
4.根据权利要求3所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(3)背景的随机光流计算与颜色缓存，具体实现如下：从给定的待修正视频影像中随机抽取两帧相邻图像，对其进行轻量级的稠密光流计算，并将光流变换对应的背景颜色信息缓存在预先申请的内存空间中备用，作为最后整体修正内容的背景补全依据。
5.根据权利要求4所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(4)人物肖像的特征关键点的检测与匹配，具体实现如下：
利用人脸的强先验特性通过人脸检测器进行面部轮廓与五官的特征关键点检测，得到正常人脸区域的特征关键点；而后通过结合颜色先验、步骤(1)所得目标前景的轮廓信息以及步骤(2)所得人脸区域的颜色与位置信息，设置皮肤颜色阈值，完成除面部轮廓与五官外的其他人物肖像特征关键点检测；将每个单帧图像的代表性关键点位置信息按照指定索引存储，完成人物肖像特征关键点的智能检测与匹配；所述的皮肤颜色阈值的设置如下：R∈[235,254]，G∈[210,234]，B∈[194,230]。
6.根据权利要求4或5所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(5)交互式特征权重设置是步骤(4)所得特征关键点的筛选机制，具体实现如下：默认五官、面部轮廓、头发区域、遮挡人脸区域、颈部、肩部的特征权重设置相等；使用者可依照实际应用情况与自身要求交互式地更改权重配比，以控制不同特征区域中关键点的数量。
7.根据权利要求6所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像，具体实现如下：利用步骤(4)的检测与步骤(5)的权重设置得到的成对特征关键点来计算基本矩阵；再通过计算两帧图像的投影矩阵而对图像进行预扭曲以将两帧图像对齐到同一平行平面空间；然后根据颜色信息插值生成中间系列视角的新图像序列；最后将生成的新图像序列反扭曲到目标视角平面空间，得到目标视角序列。
8.根据权利要求7所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述的成对特征关键点是由俯视角度对应的图像得到的特征关键点和仰视角度对应的图像得到的特征关键点组成；
所述的两帧图像是指俯视角度对应的图像和仰视角度对应的图像；
所述的预扭曲和反扭曲均是形变；
所述的基本矩阵的计算如下：p′Fp＝0，其中,所求基础矩阵F是一个3×3的矩阵,表达了各个相点之间的对应关系,p′＝(x′,y′,1)与p＝(x,y,1)T是成对特征关键点的齐次化坐标；
所述的投影矩阵就是转换实际相机平面空间与标准视图空间的变换矩阵，与上述基本矩阵形状一致，是一个3×3的矩阵，除主对角线元素外，元素值均为0，主对角线上的最后一个元素值为1，主对角线上的第一个与第二个元素值等于基本矩阵对应位置的元素值。
9.根据权利要求8所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述的根据颜色信息插值生成中间视角的新图像序列，具体实现如下：
M(xm,ym)＝(1-α)x1I(xi,yi)+α(xi,yi)
其中xm＝(1-α)x1+αx2与ym＝(1-α)y1+αy2是插值位置的横纵坐标,而(x1,y1)、(x2,y2)分别代表同一时刻输入的两个固定俯、仰视角所对应图像的特征关键点位置,代表插值位置的颜色值,是0～1范围内的浮点数,默认设置为0.5。
10.根据权利要求1或7或8所述的一种面向人物肖像的新视图修正生成方法，其特征在于所述步骤(7)依照步骤(3)的缓存信息进行背景补全，即在非人物肖像位置将缓存的背景颜色信息填充上去，并将前景与背景的拼合边缘进行中值滤波处理，使得衔接更加自然真实，同时保证前景轮廓的合理清晰性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110256677.1A CN113139913B (zh) | 2021-03-09 | 2021-03-09 | 一种面向人物肖像的新视图修正生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110256677.1A CN113139913B (zh) | 2021-03-09 | 2021-03-09 | 一种面向人物肖像的新视图修正生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113139913A true CN113139913A (zh) | 2021-07-20 |
| CN113139913B CN113139913B (zh) | 2024-04-05 |
Family
ID=76810941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110256677.1A Active CN113139913B (zh) | 2021-03-09 | 2021-03-09 | 一种面向人物肖像的新视图修正生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113139913B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023025085A1 (zh) * | 2021-08-24 | 2023-03-02 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备、介质及程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109951654A (zh) * | 2019-03-06 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 一种视频合成的方法、模型训练的方法以及相关装置 |
| CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播*** |
| CN110493630A (zh) * | 2019-09-11 | 2019-11-22 | 广州华多网络科技有限公司 | 虚拟礼物特效的处理方法和装置、直播*** |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播*** |
-
2021
- 2021-03-09 CN CN202110256677.1A patent/CN113139913B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109951654A (zh) * | 2019-03-06 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 一种视频合成的方法、模型训练的方法以及相关装置 |
| CN110475150A (zh) * | 2019-09-11 | 2019-11-19 | 广州华多网络科技有限公司 | 虚拟礼物特效的渲染方法和装置、直播*** |
| CN110493630A (zh) * | 2019-09-11 | 2019-11-22 | 广州华多网络科技有限公司 | 虚拟礼物特效的处理方法和装置、直播*** |
| CN110536151A (zh) * | 2019-09-11 | 2019-12-03 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播*** |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023025085A1 (zh) * | 2021-08-24 | 2023-03-02 | 北京字跳网络技术有限公司 | 视频处理方法、装置、设备、介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113139913B (zh) | 2024-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| TWI709107B (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
| CN107277491B (zh) | 生成图像的深度图的方法及相关存储介质 | |
| WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| Yang et al. | Eye gaze correction with stereovision for video-teleconferencing | |
| WO2022156626A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| CN107734268A (zh) | 一种结构保持的宽基线视频拼接方法 | |
| US11880935B2 (en) | Multi-view neural human rendering | |
| CN104850847B (zh) | 具有自动瘦脸功能的图像优化***和方法 | |
| CN110838084A (zh) | 一种图像的风格转移方法、装置、电子设备及存储介质 | |
| WO2022126674A1 (zh) | 立体全景图像的质量评价方法、*** | |
| CN105915892A (zh) | 全景视频质量判断方法及*** | |
| CN112712487A (zh) | 一种场景视频融合方法、***、电子设备及存储介质 | |
| Xu et al. | EPES: Point cloud quality modeling using elastic potential energy similarity | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| Do et al. | Immersive visual communication | |
| CN113139913A (zh) | 一种面向人物肖像的新视图修正生成方法 | |
| Liu et al. | Deep view synthesis via self-consistent generative network | |
| CN112102504A (zh) | 一种基于混合现实的三维场景和二维图像混合方法 | |
| GB2585197A (en) | Method and system for obtaining depth data | |
| CN106028018B (zh) | 面向裸眼3d显示的实拍双视点3d视频优化方法及*** | |
| Guo et al. | No-reference omnidirectional video quality assessment based on generative adversarial networks | |
| Huang et al. | Creating depth map from 2D scene classification | |
| WO2022036338A2 (en) | System and methods for depth-aware video processing and depth perception enhancement | |
| Diaz et al. | Region dependent mesh refinement for volumetric video workflows |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |