CN115376188B - 一种视频通话处理方法、***、电子设备及存储介质 - Google Patents

一种视频通话处理方法、***、电子设备及存储介质 Download PDF

Info

Publication number
CN115376188B
CN115376188B CN202210987630.7A CN202210987630A CN115376188B CN 115376188 B CN115376188 B CN 115376188B CN 202210987630 A CN202210987630 A CN 202210987630A CN 115376188 B CN115376188 B CN 115376188B
Authority
CN
China
Prior art keywords
video
model
super
resolution
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210987630.7A
Other languages
English (en)
Other versions
CN115376188A (zh
Inventor
肖冠正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iMusic Culture and Technology Co Ltd
Original Assignee
iMusic Culture and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iMusic Culture and Technology Co Ltd filed Critical iMusic Culture and Technology Co Ltd
Priority to CN202210987630.7A priority Critical patent/CN115376188B/zh
Publication of CN115376188A publication Critical patent/CN115376188A/zh
Application granted granted Critical
Publication of CN115376188B publication Critical patent/CN115376188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视频通话处理方法、***、电子设备及存储介质，其中，方法包括获取待处理通话视频；对所述待处理通话视频进行人脸检测处理，确定裁剪视频；对所述裁剪视频进行数据预处理，确定预处理数组；将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频；本发明能够通过人脸超分辨率模型将低分辨率视频还原为高清通话视频，提高了视频通话的清晰度，可广泛应用于计算机视觉技术领域。

Description

一种视频通话处理方法、***、电子设备及存储介质
技术领域
本发明涉及计算机视觉技术领域，尤其是一种视频通话处理方法、***、电子设备及存储介质。
背景技术
目前，随着互联网的普及，人与人的通信从语音通话向视频通话演进。而视频通话，由于通话双方均需要在传输自己的视频画面的同时接收对方传输过来的视频流，导致高清视频通话对网络质量有着极高的要求。相关技术通过检测网络状态，在网络质量优良的时候传输高清视频，在网络质量差的时候传输低清视频，接收端接收到后通过传统线性插值方法对画面进行放大。这种方式在传输高清视频时会带来很大流量及带宽消耗，传输低清视频时则会出现边缘模糊，画面存在马赛克等现象。
发明内容
有鉴于此，本发明实施例提供一种视频通话处理方法、***、电子设备及存储介质，以解决现有技术中存在的技术问题之一。
一方面，本发明提供了一种视频通话处理方法，包括：
获取待处理通话视频；
对所述待处理通话视频进行人脸检测处理，确定裁剪视频；
对所述裁剪视频进行数据预处理，确定预处理数组；
将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频。
可选地，所述对所述待处理通话视频进行人脸检测处理，确定裁剪视频，包括：
根据人脸检测算法对所述待处理通话视频进行人脸检测处理，确定人脸区域；
对所述人脸区域进行裁剪处理，确定裁剪视频。
可选地，所述对所述裁剪视频进行数据预处理，确定预处理数组，包括：
对所述裁剪视频进行逐帧解码处理，确定解码数据；
对所述解码数据进行数据转换处理，确定预处理数组。
可选地，所述人脸超分辨率模型包括生成器模型和鉴别器模型，所述鉴别器模型包括全局图像鉴别器、眼睛区域鉴别器和嘴巴区域鉴别器。
可选地，所述生成器模型包括普通卷积层、深度可分离卷积层、残差相加层和子像素卷积层。
可选地，在所述将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频之前，所述方法还包括预先训练所述人脸超分辨率模型，具体包括：
获取训练数据集；
将所述训练数据集输入到所述生成器模型，确定生成数据；
将所述生成数据输入到所述鉴别器模型，确定鉴别结果；
根据所述鉴别结果对所述人脸超分辨率模型的参数进行更新。
可选地，在所述根据所述鉴别结果对所述人脸超分辨率模型的参数进行更新之后，所述方法还包括：
对更新后的所述人脸超分辨率模型进行剪枝处理，确定剪枝模型；
对所述剪枝模型进行二次训练处理，确定训练模型；
对所述训练模型进行量化处理，确定所述人脸超分辨率模型。
另一方面，本发明实施例还提供了一种***，包括：
第一模块，用于获取待处理通话视频；
第二模型，用于对所述待处理通话视频进行人脸检测处理，确定裁剪视频；
第三模型，用于对所述裁剪视频进行数据预处理，确定预处理数组；
第四模型，用于将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频。
另一方面，本发明实施例还公开了一种电子设备，所述电子设备包括处理器201、存储器202、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如前面所述的方法。
另一方面，本发明实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述如前面所述的方法。
另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明通过获取待处理通话视频；对所述待处理通话视频进行人脸检测处理，确定裁剪视频，能够减少视频通话背景的干扰，在尽可能保留人脸信息的情况下，降低对网络带宽的要求；另外，本发明通过对所述裁剪视频进行数据预处理，确定预处理数组；将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频；能够通过人脸超分辨率模型将低分辨率视频还原为高清通话视频，提高了视频通话的清晰度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种视频通话处理方法的流程示意图；
图2是本申请实施例提供的一种视频通话处理方法的生成模型结构示意图；
图3是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
相关技术中，对视频通话的高清传输，一般是通过检测网络状态，在网络质量优良的时候传输高清视频，在网络质量差的时候传输低清视频，接收端接收到后通过传统线性插值方法对低清视频的画面进行放大。这种方式在传输高清视频时会带来很大流量及带宽消耗，传输低清视频时则会出现边缘模糊，画面存在马赛克等现象。另一方面，对于画面放大的操作，需要使用线性插值方法，但是这种方法没有针对人像场景做针对性优化，无法实现眼睛嘴巴纹理细节的精细还原。且由于在传输低清视频时仅对视频画面做整体缩放，当人脸在原视频中占比较小时，对整体画面再进行缩放，会使得最终传输的人脸区域的信息进一步被压缩，加剧了人像还原的难度，还原的结果容易出现人脸五官糅合成一团模糊不清的情况，从而导致接收方难以看清对方的人脸。
有鉴于此，本申请实施例中提供一种视频通话处理方法，本申请实施例中的方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。参照图1，该方法主要包括以下步骤：
S101、获取待处理通话视频；
S102、对所述待处理通话视频进行人脸检测处理，确定裁剪视频；
S103、对所述裁剪视频进行数据预处理，确定预处理数组；
S104、将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频。
在本发明实施例中，首先获取待处理通话视频，待处理通话视频为视频发送终端与视频接收终端建立视频通话连接后，视频发送终端通过摄像头获取到的视频流，其中，视频发送终端和视频接收终端可以为带有摄像头的设备，如笔记本、移动电话等。接着，本发明实施例对待处理通话视频进行人脸检测，通过人脸检测算法检测用户人脸在画面中的位置及大小，从待处理通话视频中裁剪出人像区域画面，得到裁剪视频。然后，本发明实施例对裁剪视频进行数据预处理，得到预处理数组，并将该预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，得到高清人像画面的超分辨率通话视频。本发明实施例通过裁剪出视频画面中的人像部分，能够在低分辨率下进行编码传输发送给视频接收端，减低了通话视频传输对网络带宽的要求。另外，本发明实施例通过人脸超分辨率模型代替传统线性插值方法将低分辨率人像视频恢复为高分辨率人像视频，解决传统线性插值方式进行视频放大导致的画面边缘不清晰，马赛克现象严重的问题，能够将低分辨率的人像还原为自然、真实、保留大量细节的高清人像，有效保障视频通话的视频画质。
进一步作为优选的实施方式，所述对所述待处理通话视频进行人脸检测处理，确定裁剪视频，包括：
根据人脸检测算法对所述待处理通话视频进行人脸检测处理，确定人脸区域；
对所述人脸区域进行裁剪处理，确定裁剪视频。
在本发明实施例中，基于人脸检测算法检测出待处理通话视频中的人脸区域，人脸检测算法可使用YOLO算法、SSD算法等目标检测算法。需要注意的是，在人脸检测算法训练时采用高宽为16：9的锚框进行标注及预测，使标注框内包含完整人脸。若画面中不存在人脸，则使用当前全局画面代替。最后，根据检测得到的人脸区域裁剪得到裁剪视频。
进一步作为优选的实施方式，所述对所述裁剪视频进行数据预处理，确定预处理数组，包括：
对所述裁剪视频进行逐帧解码处理，确定解码数据；
对所述解码数据进行数据转换处理，确定预处理数组。
在本发明实施例中，视频接收端获取到视频发送端传输过来的视频流后，逐帧进行解码得到解码数据。对解码数据进行数据转换处理，将解码数据转换成1*3*320*180四维数组，其中，1代表批大小，3代表RGB图像通道数，320代表图像的高，180代表图像的宽,数组元素数据类型为uint8，数组元素的值为对应RGB通道的像素值，取值范围为0～255。
进一步作为优选的实施方式，所述人脸超分辨率模型包括生成器模型和鉴别器模型，所述鉴别器模型包括全局图像鉴别器、眼睛区域鉴别器和嘴巴区域鉴别器。
在本发明实施例中，人脸超分辨率模型使用生成对抗网络训练方法进行模型训练得到。训练过程需要使用到全局图像鉴别器模型，眼睛区域鉴别器模型，嘴巴区域鉴别器模型，生成器模型。全局图像鉴别器模型，眼睛区域鉴别器模型，嘴巴区域鉴别器模型可采用VGG16、VGG19或ResNet34等经典分类网络结构。
进一步作为优选的实施方式，所述生成器模型包括普通卷积层、深度可分离卷积层、残差相加层和子像素卷积层。
参照图2，生成器模型可通过在VDSR残差学习网络的基础上，用深度可分离卷积代替普通卷积，同时减少通道数及卷积层数来构建轻量模型。本发明实施例的生成模型输入大小为1*3*320*180(批大小*通道数*高*宽)，输出大小为1*3*1280*720(批大小*通道数*高*宽)。
进一步作为优选的实施方式，在所述将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频之前，所述方法还包括预先训练所述人脸超分辨率模型，具体包括：
获取训练数据集；
将所述训练数据集输入到所述生成器模型，确定生成数据；
将所述生成数据输入到所述鉴别器模型，确定鉴别结果；
根据所述鉴别结果对所述人脸超分辨率模型的参数进行更新。
在本发明实施例中，训练的数据集为摄像头采集的高清人像视频，对人像视频逐帧读取后，使用人脸检测算法裁剪出高宽比为16:9人像区域图像后将人像图像缩放到1280*720分辨率后保存为PNG图片作为标签样本。对标签样本随机采用双线性插值、三线性插值、区域插值将图像高宽缩小到320*180。再随机进行高斯模糊、JPEG压缩，加入噪声，调节亮度，白平衡等操作，来模拟真实场景低分辨率图像，生成训练数据集。此外，为了提升模型的鲁棒性，训练中还引入了少量不含人像的真实场景数据，提升模型应对不含人像的场景图像的鲁棒性。基于生成对抗网络，将训练数据集输入生成器模型中得到生成数据，将生成数据输入鉴别器模型中进行鉴别得到鉴别结果，根据鉴别结果对人脸超分辨率模型的参数进行更新。需要注意的是，生成器模型的损失函数设计如下：
Ltotal＝αLcharbonnier+βLpercep+γLGAN+δLcomp_GAN+εLcomp_gram；
其中，α、β、γ、δ、ε分别为超参数，一个合适的取值方案为1.0、1.0、0.05、0.1、100。Lcharbonnier为全局画面的Charbonnier损失，它的表达式为其中Ipred为生成器输出的图像，Igt为标签样本图片，∈为常数，一个合适的取值为1e-4。Lpercep为全局画面的感知损失，感知网络采用在ImageNet数据集进行预训练的VGG19网络进行感知损失评估。LGAN为全局画面的最小二乘对抗损失。通过加入全局感知损失与全局对抗损失，可增强图像的整体细节恢复效果。Lcomp_GAN和Lcomp_gram分别为眼睛、嘴巴区域的最小二乘对抗损失及格拉姆矩阵特征L1损失。眼睛、嘴巴区域根据人脸关键点检测模型检测到的人脸关键点信息从图像中分离出来。通过引入格拉姆矩阵参与损失计算，来增强眼睛及嘴巴纹理细节的恢复效果。
进一步作为优选的实施方式，在所述根据所述鉴别结果对所述人脸超分辨率模型的参数进行更新之后，所述还方法包括：
对更细后的所述人脸超分辨率模型进行剪枝处理，确定剪枝模型；
对所述剪枝模型进行二次训练处理，确定训练模型；
对所述训练模型进行量化处理，确定所述人脸超分辨率模型。
在本发明实施例中，在对人脸超分辨模型进行训练到收敛状态，停止模型训练并保存权重，然后对模型进行剪枝将贡献较小的节点从模型计算图中移除，构建出剪枝后的网络模型。剪枝后模型精度下降，需要对模型使用较小的学习率进行二次训练，训练至收敛状态。对比剪枝前后模型精度差异，模型精度差异在一定阈值内保留剪枝结果，得到剪枝模型。最后对剪枝模型进行int8量化处理，得到人脸超分辨率模型。需要注意的是，本发明实施例的人脸超分辨率模型量化后可能精确度下降，可根据性能要求，再进行训练，直到满足要求。本发明实施例在二次训练后，对模型进行int8量化，降低生成器模型推理所需算力及内存占用，大幅降低生成器模型对设备性能的要求，使其能够部署在终端设备上实现实时视频超分处理。
在本发明一种实施例中，第一设备向第二设备发起视频通话请求。第二设备接收视频通话请求，第一设备与第二设备建立视频通话连接，分别打开摄像头，准备发送视频流给对方及接收对方传输过来的视频流。视频发送端逐帧读取摄像头视频画面，基于人脸检测算法，检测出人脸所在区域。根据人脸区域信息，从画面中裁剪出高宽比为16：9的包含完整人脸的人像区域，如画面中不存在人脸，则使用当前全局画面代替。将裁剪出来的人像区域缩放到320*180分辨率后发送到视频接收端。视频接收端接收到视频流后，逐帧解码，并进行预处理操作，将图像转换成1*3*320*180(批大小*通道数*高度*宽度)的四维数组，数组元素类型为uint8，数组元素的值为对应RGB通道的像素值，取值范围为0～255。将预处理后得到的四维数组输入人像超分辨率模型超分辨率处理后，输出大小为1*3*1280*720(批大小*通道数*高度*宽度)的四维数组，去除“批大小”维度后，得到分辨率为1280*720的高清图像。视频接收端对生成的高清人像图像进行逐帧渲染显示。
在本发明另一种实施例中，第一设备向第二设备发起视频通话请求，双方根据当前网络状态以及设备性能，约定发送的视频分辨率。第二设备接收视频通话请求，第一设备与第二设备建立视频通话连接，分别打开摄像头，准备发送视频流给对方及接收对方传输过来的视频流。视频发送端逐帧读取摄像头视频画面，基于人脸检测算法，检测出人脸所在区域。根据人脸区域信息，以人脸区域为中心，从画面中裁剪出高宽比为16：9的包含完整人脸的人像区域，如画面中不存在人脸，则使用当前全局画面代替。将裁剪出来的人像区域缩放至约定的视频分辨率。视频接收端接收到视频流后，逐帧解码，并进行预处理操作，将图像转换成1*3*H*W(批大小*通道数*约定的视频高度*约定的视频宽度)的四维数组，数组元素类型为uint8，数组元素的值为对应RGB通道的像素值，取值范围为0～255。根据当前设备性能选择合适倍率的超分模型，如2倍超分模型(将输入图像宽高均放大2倍)或4倍超分模型(将输入图像宽高均放大4倍)，将预处理后得到的四维数组输入人像超分辨率模型超分辨率处理后，对模型输出的四维数组去除“批大小”维度后，得到超分处理后的高清图像。
另一方面，本发明实施例还提供了一种***，包括：
第一模块，用于获取待处理通话视频；
第二模型，用于对所述待处理通话视频进行人脸检测处理，确定裁剪视频；
第三模型，用于对所述裁剪视频进行数据预处理，确定预处理数组；
第四模型，用于将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频。
参照图3，本发明实施例还提供了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如前面所述的方法。
与图1的方法相对应，本发明实施例还提供了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
综上所述，本发明实施例具有以下优点：
1、本发明实施例使用人脸检测算法，针对视频通话场景中人像属于画面核心主体这一特性，从视频通话画面中检测并裁剪出人像区域，通过移除视频通话场景属于非关键部分的背景，尽可能保留属于关键部分的人脸信息的情况下，降低对网络带宽的要求。
2、基于卷积神经网络的人像高清处理的超分辨率模型,引入全局平均绝对误差损失、全局感知损失、全局对抗损失，眼睛、嘴巴区域的对抗损失,实现低清人像恢复为高清人像时能嘴巴眼睛等人脸关键区域纹理的精细恢复。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种视频通话处理方法，其特征在于，所述方法包括：
获取待处理通话视频；
对所述待处理通话视频进行人脸检测处理，确定裁剪视频；
对所述裁剪视频进行数据预处理，确定预处理数组；
将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频；
所述人脸超分辨率模型包括生成器模型和鉴别器模型，所述鉴别器模型包括全局图像鉴别器、眼睛区域鉴别器和嘴巴区域鉴别器；
所述生成器模型包括普通卷积层、深度可分离卷积层、残差相加层和子像素卷积层；
所述生成器模型的损失函数设计如下：
Ltotal＝αLcharbonnier+βLpercep+γLGAN+δLcomp_GAN+εLcomp_gram；
其中，α、β、γ、δ、ε分别为超参数，Lcharbonnier为全局画面的Charbonnier损失，Ipred为生成器输出的图像，Igt为标签样本图片，∈为常数，Lpercep为全局画面的感知损失，LGAN为全局画面的最小二乘对抗损失，Lcomp_GAN和Lcomp_gram分别为眼睛、嘴巴区域的最小二乘对抗损失及格拉姆矩阵特征L1损失，所述全局感知损失与全局对抗损失用于增强图像的整体细节恢复效果，所述格拉姆矩阵特征L1损失用于增强眼睛及嘴巴纹理细节的恢复效果。
2.根据权利要求1所述的方法，其特征在于，所述对所述待处理通话视频进行人脸检测处理，确定裁剪视频，包括：
根据人脸检测算法对所述待处理通话视频进行人脸检测处理，确定人脸区域；
对所述人脸区域进行裁剪处理，确定裁剪视频。
3.根据权利要求1所述的方法，其特征在于，所述对所述裁剪视频进行数据预处理，确定预处理数组，包括：
对所述裁剪视频进行逐帧解码处理，确定解码数据；
对所述解码数据进行数据转换处理，确定预处理数组。
4.根据权利要求1所述的方法，其特征在于，在所述将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频之前，所述方法还包括预先训练所述人脸超分辨率模型，具体包括：
获取训练数据集；
将所述训练数据集输入到所述生成器模型，确定生成数据；
将所述生成数据输入到所述鉴别器模型，确定鉴别结果；
根据所述鉴别结果对所述人脸超分辨率模型的参数进行更新。
5.根据权利要求4所述的方法，其特征在于，在所述根据所述鉴别结果对所述人脸超分辨率模型的参数进行更新之后，所述方法还包括：
对更新后的所述人脸超分辨率模型进行剪枝处理，确定剪枝模型；
对所述剪枝模型进行二次训练处理，确定训练模型；
对所述训练模型进行量化处理，确定所述人脸超分辨率模型。
6.一种视频通话处理***，其特征在于，所述***包括：
第一模块，用于获取待处理通话视频；
第二模型，用于对所述待处理通话视频进行人脸检测处理，确定裁剪视频；
第三模型，用于对所述裁剪视频进行数据预处理，确定预处理数组；
第四模型，用于将所述预处理数组输入预先训练的人脸超分辨率模型进行超分辨率处理，确定超分辨率通话视频；
所述人脸超分辨率模型包括生成器模型和鉴别器模型，所述鉴别器模型包括全局图像鉴别器、眼睛区域鉴别器和嘴巴区域鉴别器；
所述生成器模型包括普通卷积层、深度可分离卷积层、残差相加层和子像素卷积层；
所述生成器模型的损失函数设计如下：
Ltotal＝αLcharbonnier+βLpercep+γLGAN+δLcomp_GAN+εLcomp_gram；
其中，α、β、γ、δ、ε分别为超参数，Lcharbonnier为全局画面的Charbonnier损失，Ipred为生成器输出的图像，Igt为标签样本图片，∈为常数，Lpercep为全局画面的感知损失，LGAN为全局画面的最小二乘对抗损失，Lcomp_GAN和Lcomp_gram分别为眼睛、嘴巴区域的最小二乘对抗损失及格拉姆矩阵特征L1损失，所述全局感知损失与全局对抗损失用于增强图像的整体细节恢复效果，所述格拉姆矩阵特征L1损失用于增强眼睛及嘴巴纹理细节的恢复效果。
7.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现如权利要求1至5任一项所述的方法的步骤。
8.一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至5中任一项所述的方法的步骤。
CN202210987630.7A 2022-08-17 2022-08-17 一种视频通话处理方法、***、电子设备及存储介质 Active CN115376188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210987630.7A CN115376188B (zh) 2022-08-17 2022-08-17 一种视频通话处理方法、***、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210987630.7A CN115376188B (zh) 2022-08-17 2022-08-17 一种视频通话处理方法、***、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN115376188A CN115376188A (zh) 2022-11-22
CN115376188B true CN115376188B (zh) 2023-10-24

Family

ID=84065885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210987630.7A Active CN115376188B (zh) 2022-08-17 2022-08-17 一种视频通话处理方法、***、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115376188B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711364A (zh) * 2018-12-29 2019-05-03 成都视观天下科技有限公司 一种人脸图像超分辨重建方法、装置及计算机设备
CN111709878A (zh) * 2020-06-17 2020-09-25 北京百度网讯科技有限公司 人脸超分辨率实现方法、装置、电子设备及存储介质
WO2021134872A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
CN113139915A (zh) * 2021-04-13 2021-07-20 Oppo广东移动通信有限公司 人像修复模型的训练方法和装置、电子设备
CN113554058A (zh) * 2021-06-23 2021-10-26 广东奥普特科技股份有限公司 视觉目标图像分辨率增强的方法、***、装置及存储介质
CN113869282A (zh) * 2021-10-22 2021-12-31 马上消费金融股份有限公司 人脸识别方法、超分模型训练方法及相关设备
CN114119874A (zh) * 2021-11-25 2022-03-01 华东师范大学 基于gan的单图重建高清3d面部纹理的方法
WO2022110638A1 (zh) * 2020-11-30 2022-06-02 深圳市慧鲤科技有限公司 人像修复方法、装置、电子设备、存储介质和程序产品

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711364A (zh) * 2018-12-29 2019-05-03 成都视观天下科技有限公司 一种人脸图像超分辨重建方法、装置及计算机设备
WO2021134872A1 (zh) * 2019-12-30 2021-07-08 深圳市爱协生科技有限公司 基于生成对抗网络的马赛克人脸图像超分辨率重建方法
CN111709878A (zh) * 2020-06-17 2020-09-25 北京百度网讯科技有限公司 人脸超分辨率实现方法、装置、电子设备及存储介质
WO2022110638A1 (zh) * 2020-11-30 2022-06-02 深圳市慧鲤科技有限公司 人像修复方法、装置、电子设备、存储介质和程序产品
CN113139915A (zh) * 2021-04-13 2021-07-20 Oppo广东移动通信有限公司 人像修复模型的训练方法和装置、电子设备
CN113554058A (zh) * 2021-06-23 2021-10-26 广东奥普特科技股份有限公司 视觉目标图像分辨率增强的方法、***、装置及存储介质
CN113869282A (zh) * 2021-10-22 2021-12-31 马上消费金融股份有限公司 人脸识别方法、超分模型训练方法及相关设备
CN114119874A (zh) * 2021-11-25 2022-03-01 华东师范大学 基于gan的单图重建高清3d面部纹理的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Adversarial-learning-based image-to-image transformation: A survey";Yuan Chen等;《Neurocomputing》;第411卷;第468-486页 *
基于级联生成对抗网络的人脸图像修复;陈俊周;王娟;龚勋;;电子科技大学学报(第06期);全文 *

Also Published As

Publication number Publication date
CN115376188A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
US11410275B2 (en) Video coding for machine (VCM) based system and method for video super resolution (SR)
TWI834087B (zh) 用於從位元流重建圖像及用於將圖像編碼到位元流中的方法及裝置、電腦程式產品
US20220021887A1 (en) Apparatus for Bandwidth Efficient Video Communication Using Machine Learning Identified Objects Of Interest
TWI805085B (zh) 基於機器學習的圖像解碼中色度子採樣格式的處理方法
CN113538287A (zh) 视频增强网络训练方法、视频增强方法及相关装置
US11854164B2 (en) Method for denoising omnidirectional videos and rectified videos
CN115442609A (zh) 特征数据编解码方法和装置
Afonso et al. Spatial resolution adaptation framework for video compression
TWI807491B (zh) 基於機器學習的圖像編解碼中的色度子採樣格式處理方法
Li et al. End-to-end optimized 360° image compression
Guleryuz et al. Sandwiched image compression: Increasing the resolution and dynamic range of standard codecs
Bonnineau et al. Multitask learning for VVC quality enhancement and super-resolution
CN117441333A (zh) 用于输入图像数据处理神经网络的辅助信息的可配置位置
CN115376188B (zh) 一种视频通话处理方法、***、电子设备及存储介质
Xia et al. Visual sensitivity-based low-bit-rate image compression algorithm
CN116847087A (zh) 视频处理方法、装置、存储介质及电子设备
Li et al. Pseudocylindrical convolutions for learned omnidirectional image compression
KR20240038779A (ko) 인코딩 및 디코딩 방법, 및 장치
Yang et al. Graph-convolution network for image compression
CN117321989A (zh) 基于神经网络的图像处理中的辅助信息的独立定位
Jia et al. Deep convolutional network based image quality enhancement for low bit rate image compression
US11854165B2 (en) Debanding using a novel banding metric
KR102604657B1 (ko) 영상 압축 성능 개선 방법 및 장치
US11948275B2 (en) Video bandwidth optimization within a video communications platform
CN114697709B (zh) 视频传输方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant