CN115002516A - 视频处理的***、方法、电子设备、存储介质及程序产品 - Google Patents

视频处理的***、方法、电子设备、存储介质及程序产品 Download PDF

Info

Publication number
CN115002516A
CN115002516A CN202210405125.7A CN202210405125A CN115002516A CN 115002516 A CN115002516 A CN 115002516A CN 202210405125 A CN202210405125 A CN 202210405125A CN 115002516 A CN115002516 A CN 115002516A
Authority
CN
China
Prior art keywords
video
video data
target
image quality
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210405125.7A
Other languages
English (en)
Inventor
莫原野
金宇林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kuangshi Technology Co Ltd
Original Assignee
Beijing Kuangshi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kuangshi Technology Co Ltd filed Critical Beijing Kuangshi Technology Co Ltd
Priority to CN202210405125.7A priority Critical patent/CN115002516A/zh
Publication of CN115002516A publication Critical patent/CN115002516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种视频处理的***、方法、电子设备、存储介质及程序产品，该***包括第一终端设备、服务器以及第二终端设备，第一终端设备，用于对采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器；服务器，用于接收目标视频数据，以及，响应于第二终端设备针对目标视频数据的视频播放请求，将目标视频数据发送给第二终端设备；第二终端设备，用于对目标视频数据进行画质增强处理，并进行播放。这样，提高了视频画质以及视频流畅性。

Description

视频处理的***、方法、电子设备、存储介质及程序产品
技术领域
本申请涉及视频技术领域，具体而言，涉及视频处理的***、方法、电子设备、存储介质及程序产品。
背景技术
随着互联网技术以及智能终端技术的发展，视频的传播也越来越普及。用户通常通过视频采集设备采集以及上传目标视频数据。其他用户可以通过视频播放设备下载以及播放目标视频数据。例如，在网络视频直播场景中，用户可以通过手机(即视频采集设备)实时拍摄并上传视频。其他用户可以通过电脑(即视频播放设备)下载并播放视频。
但是，现有技术下，视频画质以及视频流畅性通常都较差。
发明内容
本申请实施例的目的在于提供视频处理的***、方法、电子设备、存储介质及程序产品，用以在进行视频处理时，提高视频流畅性以及视频画质。
一方面，提供一种视频处理的***，包括第一终端设备、服务器以及第二终端设备，其中，第一终端设备，用于对采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器；服务器，用于接收目标视频数据，以及，响应于第二终端设备针对目标视频数据的视频播放请求，将目标视频数据发送给第二终端设备；第二终端设备，用于对目标视频数据进行画质增强处理，并进行播放。
一方面，提供一种视频处理的方法，方法包括：通过第一终端设备对其采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器；通过服务器接收目标视频数据，以及，响应于第二终端设备针对目标视频数据的视频播放请求，将目标视频数据发送给第二终端设备；通过第二终端设备对目标视频数据进行画质增强处理，并进行播放。
一方面，提供一种视频处理的方法，包括：响应于目标视频的播放操作，向服务器发送针对目标视频的视频播放请求；接收服务器返回的目标视频数据，目标视频数据是第一终端设备对采集的原始视频数据进行降噪处理并上传至服务器的；对目标视频数据进行画质增强处理，并进行播放。
一方面，提供一种视频处理的装置，包括：上传单元，用于通过第一终端设备对其采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器；发送单元，用于通过服务器接收目标视频数据，以及，响应于第二终端设备针对目标视频数据的视频播放请求，将目标视频数据发送给第二终端设备；播放单元，用于通过第二终端设备对目标视频数据进行画质增强处理，并进行播放。
一方面，提供一种视频处理的装置，包括：发送单元，用于响应于目标视频的播放操作，向服务器发送针对目标视频的视频播放请求；接收单元，用于接收服务器返回的目标视频数据，目标视频数据是第一终端设备对采集的原始视频数据进行降噪处理并上传至服务器的；播放单元，用于对目标视频数据进行画质增强处理，并进行播放。
一方面，提供了一种电子设备，包括：存储器以及处理器，存储器中存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行如上述任一种视频处理的各种可选实现方式中提供的方法的步骤。
一方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行如上述任一种视频处理的各种可选实现方式中提供的方法的步骤。
一方面，提供了一种计算机程序产品，包括计算机程序指令，计算机程序指令被处理器读取并运行时，执行如上述任一种视频处理的各种可选实现方式中提供的方法的步骤。
本申请实施例提供的视频处理的***、方法、电子设备、存储介质及程序产品中，通过第一终端设备对其采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器；通过服务器接收目标视频数据，以及，响应于第二终端设备针对目标视频数据的视频播放请求，将目标视频数据发送给第二终端设备；通过第二终端设备对目标视频数据进行画质增强处理，并进行播放。这样，仅通过第一终端设备进行视频采集、视频降噪、视频编码以及视频上传，以及通过第二终端设备对下载的视频进行画质增强处理，这样，不需要第一终端设备对视频进行画质增强处理，有效的平衡了第一终端设备和第二终端设备的计算开销的分布，以及减少了第一终端设备对画质增强处理后的视频进行视频编码的损失，提高了视频画质，同时兼顾了视频流畅性以及画面质量。
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种视频处理的***的架构示意图；
图2为本申请实施例提供的一种视频帧降噪的流程示意图；
图3为本申请实施例提供的一种画质增强处理方法的示意图；
图4为本申请实施例提供的一种视频处理的方法的实施流程图；
图5为本申请实施例提供的一种视频上传的方法的实施流程图；
图6为本申请实施例提供的一种视频播放的方法的实施流程图；
图7为本申请实施例提供的一种视频直播的方法的实施流程图；
图8为本申请实施例提供的一种视频处理的装置的结构示意图；
图9为本申请实施例提供的另一种视频处理的装置的结构示意图；
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像亮度调整、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，简称AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用***的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像亮度调整、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、三维重建、虚拟现实、增强现实、同步定位与地图构建、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安全防范、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。本申请实施例中的视频处理的方法也利用了人工智能等方面的技术。
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
首先对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
终端设备：可以是移动终端、固定终端或便携式终端，例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信***设备、个人导航设备、个人数字助理、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，终端设备能够支持任意类型的针对用户的接口(例如可穿戴设备)等。
服务器：可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。
通常的，在视频直播场景下，尤为关注视频的流畅性及画质两大性能指标，尤其是个人网络直播场景下，由于没有专用视频处理设备，因此，画面质量受直播场景、视频采集设备的影响较大，因此，如何兼顾视频的流畅性以及画质成为视频直播场景下亟需解决的问题。
为了在进行视频处理时，可以提高视频的流畅性以及画质，本申请实施例提供了视频处理的***、方法、电子设备、存储介质及程序产品。此外，需要说明的是，本申请实施例所提供的方法可以应用于视频录播场景，也可以应用于视频直播场景。
参阅图1所示，为本申请实施例提供的一种视频处理的***的架构示意图。视频处理的***包括第一终端设备、服务器以及第二终端设备。第一终端设备和第二终端设备均为电子设备。可选的，电子设备可以为服务器，也可以为终端设备。第一终端设备和第二终端设备均为至少一个。可选的，第一终端设备以及第二终端设备可以为同一设备，也可以为不同设备。
下面示例性阐述图1的各设备的相关功能。
在本申请的一些实施例中，第一终端设备用于：对采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器。具体的，第一终端设备基于用户的视频拍摄命令，进行视频拍摄，得到并存储原始视频数据，并对原始视频数据进行降噪处理，得到降噪视频数据，在一些示例中，第一终端设备中包括***接口以及视频录制装置，以及安装有视频软件(如，直播软件)，第一终端设备中的视频软件可以通过上述***接口获取视频录制装置采集的原始视频数据。服务器用于：接收目标视频数据，以及，响应于第二终端设备针对目标视频数据的视频播放请求，将目标视频数据发送给第二终端设备。第二终端设备用于：对目标视频数据进行画质增强处理，并进行播放。
在本申请的一些实施例中，对采集的原始视频数据进行降噪处理的实现过程可以包括：针对原始视频数据中的每个目标视频帧，确定目标视频帧相对相邻的前一视频帧的亮度变化信息；其中，目标视频帧为原始视频数据中的任一视频帧，亮度变化信息是根据两个视频帧的各像素点之间的亮度的差值得到的，用于指示各视频帧的明暗变化；基于亮度变化信息，确定目标视频帧的第一权重信息和前一视频帧的第二权重信息；基于第一权重信息和第二权重信息，对目标视频帧和前一视频帧进行融合处理，得到目标视频帧对应的降噪视频帧，其中，原始视频数据中的第目标视频帧对应的降噪视频帧为第一个视频帧。
一种实施方式中，针对原始视频数据中的每个目标视频帧，确定目标视频帧相对相邻的前一视频帧的亮度变化信息的实现过程可以包括：分别针对目标视频帧对应的每个目标像素点，确定目标像素点的第一亮度，以及目标像素点在上述前一视频帧中的匹配像素点的第二亮度，并确定第一亮度和第二亮度的亮度差值，以及将各像素点的亮度差值组成的矩阵，作为亮度变化信息。其中，目标像素点为目标视频帧中的任一像素点。目标像素点以及相应的匹配像素点位于不同视频帧中的同一位置。
在本申请的一些实施例中，第一终端设备还可以用于：对目标视频帧进行分辨率缩小处理，得到目标视频帧对应的分辨率缩小视频帧；根据目标视频帧对应的分辨率缩小视频帧，以及前一视频帧对应的降噪视频帧，得到亮度变化信息。
作为一个示例，缩小目标视频帧的分辨率时，可以采用以下任一方式：方式1：将目标视频帧的分辨率缩小至设定分辨率。方式2：按照设定缩小比例，将目标视频帧的分辨率进行缩小。实际应用中，设定分辨率以及设定缩小比例，可以根据实际应用场景进行设置，在此不作限制。这样，缩小视频帧的分辨率，就可以减少后续视频降噪处理耗费的***资源和时间成本，且对视频降噪的影响较小。
在本申请的一些实施例中，第一终端设备还可以用于：基于亮度变化信息，以及历史亮度变化累加信息，得到当前亮度变化累加信息，其中，历史亮度变化累加信息是基于至少一对相邻历史视频帧对应的亮度变化信息得到的；对当前亮度变化累加信息进行归一化，得到第一权重信息；基于第一权重信息，得到第二权重信息，第一权重信息与第二权重信息呈负相关。
需要说明的是，由于历史亮度变化累加信息是根据至少一个亮度变化信息确定的，而亮度变化信息是根据两个相邻视频帧之间的亮度差异确定的，因此，历史亮度变化累加信息是根据至少两个相邻历史视频帧(即一对相邻历史视频帧)对应的亮度变化信息确定的。一种实施方式中，历史亮度变化累加信息为至少一个亮度变化信息(即至少一对相邻历史视频帧对应的亮度变化信息)的和。
作为一个示例，历史亮度变化累加信息为目标视频帧之前的所有相邻历史视频帧对应的亮度变化信息的加和。作为另一个示例，历史亮度变化累加信息为目标视频帧之前的设定相邻数量的相邻历史视频帧对应的亮度变化信息的加和。
实际应用中，设定相邻数量可以根据实际应用场景进行设置，如5等，在此不作限制。进一步的，还可以采用存储器缓存当前亮度变化累加信息。
作为一个示例，基于亮度变化信息，以及历史亮度变化累加信息，得到当前亮度变化累加信息的实现过程可以包括：将该亮度变化信息，以及历史亮度变化累加信息进行加和，得到当前亮度变化累加信息。
作为一个示例，对当前亮度变化累加信息进行归一化，得到第一权重信息的实现过程可以包括：对当前亮度变化累加信息进行归一化，得到归一化处理后的当前亮度变化累加信息，即第一权重信息。作为一个示例，基于第一权重信息，得到第二权重信息的实现过程可以包括：确定单位矩阵与第一权重信息的差值，得到第二权重信息。其中，单位矩阵为各元素均为1的矩阵。
作为一个示例，基于第一权重信息和第二权重信息，对目标视频帧和前一视频帧进行融合处理，得到目标视频帧对应的降噪视频帧时可以采用以下公式：降噪视频帧＝视频帧对应的分辨率缩小视频帧*第一权重信息+前一视频帧对应的降噪视频帧*第二权重信息。
这是由于在基于视频帧之间的亮度变化，将视频帧与前一视频帧进行混合时，相邻视频帧中可能部分区域的亮度变化小，部分区域的亮度变化大，若部分区域的亮度变化小，则说明该部分区域的图像是静止的或者光照变化小，反之，则说明该部分区域的图像是运动的或者光照变化大。则对亮度变化小的部分区域A进行融合处理时，可以增大前一视频帧中的部分区域A的比例(即第二权重信息)，使得随机的颜色变化减少，可以有效的降低随机噪声。对亮度变化大的部分区域B进行融合时，可以增大目标视频帧中的部分区域B的比例(即第一权重信息)，以保证正常的运动和明暗变化能够正确显示。采用这种时域去噪的方式，对于不同设备所产生的特性不同噪声均有较好的降噪效果。
进一步的，为提高数据处理速度，还可以通过图形或者计算加速软件开发包等工具，进行时域去噪。可选的，可以采用以下任一工具：多媒体编程接口(Direct eXtension，directX)、开放图形库(Open Graphics Library，openGL)、绘图应用程序接口(vulkan)、开放运算语言(Open Computing Language，Opencl)、通用并行计算架构(Compute UnifiedDevice Architecture、CUDA)。
实际应用中，上述工具也可以根据实际应用场景进行设置，在此不作限制。
参阅图2所示，为本申请实施例提供的一种视频帧降噪的流程示意图。下面结合图2对图1中的视频降噪进行示例性说明。图2中，输入帧2为原始视频数据中当前待处理的目标视频帧，输入帧1为输入帧2的前一视频帧。将输入帧1和输入帧2进行融合处理，可以包括：对输入帧2进行缩小分辨率处理，得到输入帧2对应的分辨率缩小视频帧2，以及将输入帧1对应的降噪视频帧1与分辨率缩小视频帧2进行亮度变化信息计算，得到亮度变化信息；将亮度变化信息以及缓存的历史亮度变化累加信息进行累加计算，得到当前亮度变化累加信息；基于当前亮度变化累加信息，对降噪视频数据1和输入帧2进行融合处理，得到输入帧2对应的降噪视频帧2。
这样，就可以对原始视频数据进行时域降噪时，降低第一终端设备的计算开销。进一步的，第一终端设备还可以对降噪视频数据进行其它视频处理，如，图像锐化，明暗调节、美妆美型等，在此不做赘述。这样，第一终端设备对原始视频数据进行时域降噪以及视频编码，得到目标视频数据，并将目标视频数据上传至服务器。第二终端设备就可以从服务器中下载并播放视频。
在本申请的一些实施例中，服务器可以用于：接收并存储所第一终端设备上传的目标视频数据，以及确定接收到第二终端设备发送针对目标视频数据的视频播放请求时，向第二终端设备发送目标视频数据。
在本申请的一些实施例中，第二终端设备可以用于：对目标视频数据进行解码，得到解码视频数据；将解码视频数据输入至目标画质增强模型，得到目标画质增强模型输出的对解码视频数据进行画质增强处理后得到的目标播放视频；播放目标播放视频。
参阅图3所示，为一种画质增强处理方法的示意图。将解码视频数据作为目标画质增强模型的输入数据，得到目标画质增强模型输出的目标播放视频。
作为一个示例，对目标视频数据进行解码，得到解码视频数据的实现过程可以包括：第二终端设备根据用户的视频直播播放指令，向服务器发送视频播放请求。服务器根据接收的一个或多个第二终端设备的视频播放请求，将目标视频数据分发至相应的各第二终端设备。
一种实施方式中，画质增强模型对解码视频数据进行如下一种或者多种画质增强处理：用于恢复视频编码造成的画质损失的编码损失恢复处理、画质去模糊处理、画面超分辨率处理以及视频帧率提高处理。
其中，编码损失恢复处理用于恢复视频编码造成的画质损失，即将编码有损压缩过的图像损失的细节还原；画质去模糊处理用于在视频帧中添加高频信息，以将图像中模糊的细节还原；画面超分辨率处理用于增大视频帧的分辨率并增加提升后画面的细节；视频帧率提高处理用于生成连续视频帧之间的中间帧，以提高视频帧率。实际应用中，可以根据第二终端设备的计算能力或用户的付费服务选择目标画质增强模型中的画质增强的方式。
一种实施方式中，目标画质增强模型是根据以下参数中的至少一种从多个画质增强模型中选取的：第二终端设备的设备配置信息，第二终端设备的设备性能评分，以及各画质增强模型的画质增强处理耗时。
其中，设备配置信息为用于确定第二终端设备的数据处理性能的软硬件配置参数。例如，软硬件配置参数可以为CPU或者图形处理器(Graphics Processing Unit，GPU)的型号。实际应用中，设备配置信息可以根据实际应用场景进行设置，在此不作限制。
其中，选取目标画质增强模型时，可以采用以下任一方式或任意组合：
方式1：从多个画质增强模型中，选取针对设备配置信息中包含的至少一个软硬件参数设置的目标画质增强模型。具体的，获取预先设置的软硬件参数组合与画质增强模型之间的对应关系，并从多个画质增强模型中，根据该对应关系，以及设备配置信息中包含的至少一个软硬件参数，确定目标画质增强模型。
方式2：从多个画质增强模型中，获取针对设备性能评分设置的目标画质增强模型。一种实施方式中，确定设备性能评分时，可以采用以下步骤：获取分别针对设备配置信息中每一软硬件参数设置的参数评分，并根据设备配置信息中包含的至少一个软硬件参数分别对应的权重，对各参数评分进行融合处理，得到设备性能评分。
方式3：根据各画质增强模型分别对应的画质增强处理耗时，确定目标画质增强模型。一种实施方式中，确定各画质增强模型分别对应的画质增强处理耗时，可以包括：根据预先设置的软硬件参数组合、画质增强模型以及画质增强处理耗时三者之间的对应关系，以及设备配置信息中包含的至少一个软硬件参数，分别确定每一画质增强模型对应的画质增强处理耗时。
其中，确定软硬件参数组合、画质增强模型以及画质增强处理耗时三者之间的对应关系的实现过程可以包括：预先采用配置有各软硬件参数组合的第二终端设备，分别运行每一画质增强模型对同一视频样本集合进行画质增强处理，并分别统计配置有每一软硬件参数组合的第二终端设备分别采用每一画质增强模型进行画质增强处理的平均耗时即画质增强处理耗时，并建立软硬件参数组合、画质增强模型以及画质增强处理耗时三者之间的对应关系。
一种实施方式中，确定目标画质增强模型的实现过程可以包括：确定各画质增强处理耗时中的最小值，并将该最小值对应的画质增强模型，确定为目标画质增强模型。实际应用中，也可以根据实际应用场景采用其它方式确定目标画质增强模型，在此不作限制。这样，就可以采用与第二终端设备的计算能力匹配的目标画质增强模型进行画质增强处理，从而可以保证第二终端设备播放视频的流畅性。
其中，图像画质增强算法可以为一种轻量级编-解码器(encoder-decoder)，可以是基于全卷积神经网络(Fully Convolutional Networks，FCN)，或语义分割网络(UNet)构建的，也可以是基于其它原理构建的，在此不作限制。
其中，目标画质增强模型可以采用以下步骤训练得到：采用设备采集的方式，得到包含图像样本和相应验证图像的第一训练数据，第一训练数据中的图像样本和验证图像是分别基于不同图像采集性能的图像采集设备得到的；采用人工退化的方式，得到包含图像样本和相应验证图像的第二训练数据；基于第一训练数据和第二训练数据，对初始画质增强模型进行训练，得到训练好的目标画质增强模型。
作为一个示例，采用设备采集的方式，得到包含图像样本和相应验证图像的第一训练数据，可以包括：分别采用第一图像采集设备和第二图像采集设备对相同的一个或多个场景进行图像采集，得到第一图像采集设备采集的验证图像，以及第二图像采集设备采集的图像样本。
进一步的，在分别通过第一图像采集设备和第二图像采集设备对相同的一个或多个场景进行图像采集后，还可以将采集的图像样本和验证图像进行图像裁剪、镜头矫正以及图像缩放等处理，以使得每一图像样本以及相应的验证图像具有相同内容。
作为一个示例，采用人工退化的方式，得到包含图像样本和相应验证图像的第二训练数据的实现过程可以包括：采用第一图像采集设备进行图像采集，得到验证图像，并分别对每一验证图像进行人工退化处理，得到相应图像样本。
一种实施方式中，通常采用计算机图像处理的方式进行人工退化。其中，人工退化的操作可以包括但不限于以下至少一种：添加噪声、图像模糊、视频编码再解码以及图像编码有损压缩。
实际应用中，可以仅采用设备采集或人工退化的方式，获取训练数据。考虑到设备采集时通常需要准备多种图像采集设备对不同场景分别进行图像采集，这会耗费大量的硬件成本以及人力成本，因此，通常结合上述两种方式采集训练数据。其中，可以采用各方式分别采集对应的采集比例的训练数据。实际应用中，各方式分别对应的采集比例，可以根据实际应用场景进行设置，在此不作限制。
作为一个示例，基于第一训练数据和第二训练数据，对初始画质增强模型进行训练，得到训练好的目标画质增强模型的实现过程可以包括：将训练数据(即第一训练数据和第二训练数据)中的图像样本输入至初始画质增强模型，得到输出的画质增强图像，并根据各图像样本分别对应的画质增强图像和验证图像，确定训练损失，若训练损失不符合训练条件，则根据训练损失对初始画质增强模型中的模型参数进行调整，直至得到符合训练条件的目标画质增强模型。
一种实施方式中，若训练损失低于损失阈值，则确定训练损失符合训练条件。实际应用中，训练条件以及损失阈值均可以根据实际应用场景进行设置，在此不作限制。
这样，就可以迭代得到精度高且泛化性能好的画质增强模型。
参阅图4所示，为本申请实施例提供的一种视频处理的方法的实施流程图。下面结合图4阐述图1中的视频处理的***执行的视频处理的方法。
本申请实施例提供的由视频处理的***执行的视频处理的方法可以包括：步骤400：通过第一终端设备对其采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器。步骤401：通过服务器接收目标视频数据，以及，响应于第二终端设备针对目标视频数据的视频播放请求，将目标视频数据发送给第二终端设备。步骤402：通过第二终端设备对目标视频数据进行画质增强处理，并进行播放。
在步骤400中的通过第一终端设备对其采集的原始视频数据进行降噪处理，可以包括：针对原始视频数据中的每个目标视频帧，确定目标视频帧相对相邻的前一视频帧的亮度变化信息；其中，目标视频帧为原始视频数据中的任一视频帧；基于亮度变化信息，确定目标视频帧的第一权重信息和前一视频帧的第二权重信息；基于第一权重信息和第二权重信息，对目标视频帧和前一视频帧进行融合处理，得到目标视频帧对应的降噪视频帧，其中，原始视频数据中的第一个视频帧对应的降噪视频帧为第一个视频帧。
为减少后续的数据处理量，提高视频处理效率，在步骤400中的确定目标视频帧相对相邻的前一视频帧的亮度变化信息，可以包括：对目标视频帧进行分辨率缩小处理，得到目标视频帧对应的分辨率缩小视频帧；根据目标视频帧对应的分辨率缩小视频帧，以及前一视频帧对应的降噪视频帧，得到亮度变化信息。
为对视频帧进行亮度优化，在步骤400中的基于亮度变化信息，确定目标视频帧的第一权重信息和前一视频帧的第二权重信息，可以包括：基于亮度变化信息，以及历史亮度变化累加信息，得到当前亮度变化累加信息，历史亮度变化累加信息是基于至少一对相邻历史视频帧对应的亮度变化信息得到的；对当前亮度变化累加信息进行归一化，得到第一权重信息；基于第一权重信息，得到第二权重信息，第一权重信息与第二权重信息呈负相关。
为对视频进行画质增强处理，在步骤402中的对目标视频数据进行画质增强处理，并进行播放，可以包括：对目标视频数据进行解码，得到解码视频数据；将解码视频数据输入至目标画质增强模型，得到目标画质增强模型输出的对解码视频数据进行画质增强处理后得到的目标播放视频；播放目标播放视频。
一种实施方式中，画质增强模型对解码视频数据进行如下一种或者多种画质增强处理：用于恢复视频编码造成的画质损失的编码损失恢复处理、画质去模糊处理、画面超分辨率处理以及视频帧率提高处理。
其中，编码损失恢复处理用于恢复视频编码造成的画质损失；画质去模糊处理用于在视频帧中添加高频信息；画面超分辨率处理用于增大视频帧的分辨率；视频帧率提高处理用于生成连续视频帧之间的中间帧，以提高视频帧率。
一种实施方式中，目标画质增强模型是根据以下参数中的至少一种从多个画质增强模型中选取的：第二终端设备的设备配置信息，第二终端设备的设备性能评分，以及各画质增强模型的画质增强处理耗时。
参阅图5所示，为本申请实施例提供的一种视频上传的方法的实施流程图。下面结合图5阐述图1中的第一终端设备执行的视频上传的方法。
本申请实施例提供的由第一终端设备执行的视频上传的方法可以包括：步骤501：对采集的原始视频数据进行降噪处理；步骤502：将降噪后的目标视频数据上传至服务器。
为实现视频降噪，在步骤501中的对采集的原始视频数据进行降噪处理，可以包括：针对原始视频数据中的每个目标视频帧，确定目标视频帧相对相邻的前一视频帧的亮度变化信息；其中，目标视频帧为原始视频数据中的任一视频帧；基于亮度变化信息，确定目标视频帧的第一权重信息和前一视频帧的第二权重信息；基于第一权重信息和第二权重信息，对目标视频帧和前一视频帧进行融合处理，得到目标视频帧对应的降噪视频帧，其中，原始视频数据中的第一个视频帧对应的降噪视频帧为第一个视频帧。
为减少后续的数据处理量，提高视频处理效率，在步骤501中的确定目标视频帧相对相邻的前一视频帧的亮度变化信息，可以包括：对目标视频帧进行分辨率缩小处理，得到目标视频帧对应的分辨率缩小视频帧；根据目标视频帧对应的分辨率缩小视频帧，以及前一视频帧对应的降噪视频帧，得到亮度变化信息。
为对视频帧进行亮度优化，在步骤501中的基于亮度变化信息，确定目标视频帧的第一权重信息和前一视频帧的第二权重信息，可以包括：基于亮度变化信息，以及历史亮度变化累加信息，得到当前亮度变化累加信息，历史亮度变化累加信息是基于至少一对相邻历史视频帧对应的亮度变化信息得到的；对当前亮度变化累加信息进行归一化，得到第一权重信息；基于第一权重信息，得到第二权重信息，第一权重信息与第二权重信息呈负相关。
参阅图6所示，为本申请实施例提供的一种视频播放的方法的实施流程图。下面结合图6阐述图1中的第二终端设备执行的视频播放的方法。
本申请实施例提供的由第二终端设备执行的视频播放的方法可以包括：步骤601：响应于目标视频的播放操作，向服务器发送针对目标视频的视频播放请求；步骤602：接收服务器返回的目标视频数据，目标视频数据是第一终端设备对采集的原始视频数据进行降噪处理并上传至服务器的；步骤603：对目标视频数据进行画质增强处理，并进行播放。
为对视频进行画质增强处理，在步骤603中的对目标视频数据进行画质增强处理，并进行播放，可以包括：对目标视频数据进行解码，得到解码视频数据；将解码视频数据输入至目标画质增强模型，得到目标画质增强模型输出的对解码视频数据进行画质增强处理后得到的目标播放视频；播放目标播放视频。
一种实施方式中，目标画质增强模型是根据以下参数中的至少一种从多个画质增强模型中选取的：第二终端设备的设备配置信息，第二终端设备的设备性能评分，以及各画质增强模型的画质增强处理耗时。
一种实施方式中，画质增强模型对解码视频数据进行如下一种或者多种画质增强处理：用于恢复视频编码造成的画质损失的编码损失恢复处理、画质去模糊处理、画面超分辨率处理以及视频帧率提高处理。
其中，编码损失恢复处理用于恢复视频编码造成的画质损失；画质去模糊处理用于在视频帧中添加高频信息；画面超分辨率处理用于增大视频帧的分辨率；视频帧率提高处理用于生成连续视频帧之间的中间帧，以提高视频帧率。
参阅图7所示，为一种视频直播的方法的实施流程图，下面结合图7对图1中视频处理的***执行视频处理的方法进行举例说明，该视频直播的方法包括：
步骤700：第一终端设备基于用户的视频直播命令实时进行视频采集，得到原始视频数据。
步骤701：第一终端设备将原始视频数据进行分辨率缩小处理，得到分辨率缩小视频数据。
步骤702：第一终端设备对分辨率缩小视频数据进行时域降噪，得到降噪视频数据。
步骤703：第一终端设备对降噪视频数据进行视频编码，得到目标视频数据。
步骤704：第一终端设备将目标视频数据上传至服务器。
步骤705：第二终端设备向服务器发送视频播放请求，并接收服务器返回的目标视频数据。
步骤706：第二终端设备对目标视频数据进行视频解码，得到解码视频数据。
步骤707：第二终端设备采用目标画质增强模型，对解码视频数据进行画质增强处理，得到目标播放视频。
步骤708：第二终端设备播放目标播放视频。
具体的，执行步骤700-步骤708时，具体步骤可以参见上述实施例中的各个步骤，在此不做赘述。
传统技术中，通常通过第一终端设备进行视频降噪以及视频画质增强，第一终端设备的开销很大，受限于第一终端设备(如，手机)的计算能力、设备散热能力、功耗以及电池容量的限制，第一终端设备的负担过高，导致第一终端设备难以保证视频的及时处理和上传，进而难以保证后续视频播放(如，视频直播)的流畅性，以及由于视频编码会对图像的画面进行有损压缩，使得画质增强后的视频被视频编码后会有一定的损失，而有些丢失的细节是在后续的视频处理的步骤中是无法恢复的，这会导致视频的画质较差。
考虑到视频解码通常由硬件加速完成，第二终端设备的计算能力的利用率较低，因此，本申请实施例中，在通过第一终端设备进行视频降噪时，可以对各视频帧进行分辨率缩小处理，以减少第一终端设备耗费的***资源，保证第一终端设备视频的及时上传，再者，仅通过第一终端设备进行视频采集、视频降噪、视频编码以及视频上传，以及通过第二终端设备对下载的视频进行画质增强处理，这样，不需要第一终端设备对视频进行画质增强处理，有效的平衡了第一终端设备和第二终端设备的计算开销的分布，以及减少了第一终端设备对画质增强处理后的视频进行视频编码的损失，提高了视频画质，进一步的，还可以根据第二终端设备的计算能力选择匹配的画质增强算法对视频进行画质增强，保障了第二终端设备播放视频的流畅性。
基于同一发明构思，本申请实施例中还提供了一种视频处理的装置，由于上述装置解决问题的原理与一种视频处理的方法相似，因此，上述装置的实施可以参见方法的实施，重复之处不再赘述。
如图8所示，其为本申请实施例提供的一种视频处理的装置的结构示意图，包括：
上传单元801，用于通过第一终端设备对其采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器；发送单元802，用于通过服务器接收目标视频数据，以及，响应于第二终端设备针对目标视频数据的视频播放请求，将目标视频数据发送给第二终端设备；播放单元803，用于通过第二终端设备对目标视频数据进行画质增强处理，并进行播放。
一种实施方式中，上传单元810用于：针对原始视频数据中的每个目标视频帧，确定目标视频帧相对相邻的前一视频帧的亮度变化信息；其中，目标视频帧为原始视频数据中的任一视频帧；基于亮度变化信息，确定目标视频帧的第一权重信息和前一视频帧的第二权重信息；基于第一权重信息和第二权重信息，对目标视频帧和前一视频帧进行融合处理，得到目标视频帧对应的降噪视频帧，其中，原始视频数据中的第一个视频帧对应的降噪视频帧为第一个视频帧。
一种实施方式中，上传单元801用于：对目标视频帧进行分辨率缩小处理，得到目标视频帧对应的分辨率缩小视频帧；根据目标视频帧对应的分辨率缩小视频帧，以及前一视频帧对应的降噪视频帧，得到亮度变化信息。
一种实施方式中，上传单元801用于：基于亮度变化信息，以及历史亮度变化累加信息，得到当前亮度变化累加信息，历史亮度变化累加信息是基于至少一对相邻历史视频帧对应的亮度变化信息得到的；对当前亮度变化累加信息进行归一化，得到第一权重信息；基于第一权重信息，得到第二权重信息，第一权重信息与第二权重信息呈负相关。
一种实施方式中，播放单元803用于：对目标视频数据进行解码，得到解码视频数据；将解码视频数据输入至目标画质增强模型，得到目标画质增强模型输出的对解码视频数据进行画质增强处理后得到的目标播放视频；播放目标播放视频。
一种实施方式中，目标画质增强模型是根据以下参数中的至少一种从多个画质增强模型中选取的：第二终端设备的设备配置信息，第二终端设备的设备性能评分，以及各画质增强模型的画质增强处理耗时。
一种实施方式中，画质增强模型对解码视频数据进行如下一种或者多种画质增强处理：用于恢复视频编码造成的画质损失的编码损失恢复处理、画质去模糊处理、画面超分辨率处理以及视频帧率提高处理。
如图9所示，其为本申请实施例提供的另一种视频处理的装置的结构示意图，包括：
发送单元901，用于响应于目标视频的播放操作，向服务器发送针对目标视频的视频播放请求；接收单元902，用于接收服务器返回的目标视频数据，目标视频数据是第一终端设备对采集的原始视频数据进行降噪处理并上传至服务器的；播放单元903，用于对目标视频数据进行画质增强处理，并进行播放。
一种实施方式中，播放单元903用于：对目标视频数据进行解码，得到解码视频数据；将解码视频数据输入至目标画质增强模型，得到目标画质增强模型输出的对解码视频数据进行画质增强处理后得到的目标播放视频；播放目标播放视频。
一种实施方式中，目标画质增强模型是根据以下参数中的至少一种从多个画质增强模型中选取的：第二终端设备的设备配置信息，第二终端设备的设备性能评分，以及各画质增强模型的画质增强处理耗时。
一种实施方式中，画质增强模型对解码视频数据进行如下一种或者多种画质增强处理：用于恢复视频编码造成的画质损失的编码损失恢复处理、画质去模糊处理、画面超分辨率处理以及视频帧率提高处理。
本申请实施例提供的视频处理的***、方法、电子设备、存储介质及程序产品中，通过第一终端设备对其采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器；通过服务器接收目标视频数据，以及，响应于第二终端设备针对目标视频数据的视频播放请求，将目标视频数据发送给第二终端设备；通过第二终端设备对目标视频数据进行画质增强处理，并进行播放。这样，仅通过第一终端设备进行视频采集、视频降噪、视频编码以及视频上传，以及通过第二终端设备对下载的视频进行画质增强处理，这样，不需要第一终端设备对视频进行画质增强处理，有效的平衡了第一终端设备和第二终端设备的计算开销的分布，以及减少了第一终端设备对画质增强处理后的视频进行视频编码的损失，提高了视频画质。
图10示出了一种电子设备1000的结构示意图。参阅图10所示，电子设备1000包括：处理器1010以及存储器1020，可选的，还可以包括电源1030、显示单元1040、输入单元1050。
处理器1010是电子设备1000的控制中心，利用各种接口和线路连接各个部件，通过运行或执行存储在存储器1020内的软件程序和/或数据，执行电子设备1000的各种功能，从而对电子设备1000进行整体监控。
本申请实施例中，处理器1010调用存储器1020中存储的计算机程序时执行上述实施例中的各个步骤。
可选的，处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。在一些实施例中，处理器、存储器、可以在单一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、各种应用等；存储数据区可存储根据电子设备1000的使用所创建的数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件等。
电子设备1000还包括给各个部件供电的电源1030(比如电池)，电源可以通过电源管理***与处理器1010逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗等功能。
显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及电子设备1000的各种菜单等，本发明实施例中主要用于显示电子设备1000中各应用的显示界面以及显示界面中显示的文本、图片等对象。显示单元1040可以包括显示面板1041。显示面板1041可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置。
输入单元1050可用于接收用户输入的数字或字符等信息。输入单元1050可包括触控面板1051以及其他输入设备1052。其中，触控面板1051，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触摸笔等任何适合的物体或附件在触控面板1051上或在触控面板1051附近的操作)。
具体的，触控面板1051可以检测用户的触摸操作，并检测触摸操作带来的信号，将这些信号转换成触点坐标，发送给处理器1010，并接收处理器1010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1051。其他输入设备1052可以包括但不限于物理键盘、功能键(比如音量控制按键、开关机按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
当然，触控面板1051可覆盖显示面板1041，当触控面板1051检测到在其上或附近的触摸操作后，传送给处理器1010以确定触摸事件的类型，随后处理器1010根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中，触控面板1051与显示面板1041是作为两个独立的部件来实现电子设备1000的输入和输出功能，但是在某些实施例中，可以将触控面板1051与显示面板1041集成而实现电子设备1000的输入和输出功能。
电子设备1000还可包括一个或多个传感器，例如压力传感器、重力加速度传感器、接近光传感器等。当然，根据具体应用中的需要，上述电子设备1000还可以包括摄像头等其它部件，由于这些部件不是本申请实施例中重点使用的部件，因此，在图10中没有示出，且不再详述。
本领域技术人员可以理解，图10仅仅是电子设备的举例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
本申请实施例中，一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序指令，计算机程序指令被处理器读取并运行时，执行上述实施例中的各个步骤。
本申请实施例中，一种计算机程序产品，包括计算机程序指令，计算机程序指令被处理器读取并运行时，执行上述实施例中的各个步骤。
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种视频处理的***，其特征在于，包括第一终端设备、服务器以及第二终端设备，其中，
所述第一终端设备，用于对采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至所述服务器；
所述服务器，用于接收所述目标视频数据，以及，响应于所述第二终端设备针对所述目标视频数据的视频播放请求，将所述目标视频数据发送给所述第二终端设备；
所述第二终端设备，用于对所述目标视频数据进行画质增强处理，并进行播放。
2.如权利要求1所述的***，其特征在于，所述第一终端设备用于：
针对所述原始视频数据中的每个目标视频帧，确定所述目标视频帧相对相邻的前一视频帧的亮度变化信息；其中，所述目标视频帧为所述原始视频数据中的任一视频帧；
基于所述亮度变化信息，确定所述目标视频帧的第一权重信息和所述前一视频帧的第二权重信息；
基于所述第一权重信息和所述第二权重信息，对所述目标视频帧和所述前一视频帧进行融合处理，得到所述目标视频帧对应的降噪视频帧，其中，所述原始视频数据中的第一个视频帧对应的降噪视频帧为所述第一个视频帧。
3.如权利要求2所述的***，其特征在于，所述第一终端设备，还用于：
对所述目标视频帧进行分辨率缩小处理，得到所述目标视频帧对应的分辨率缩小视频帧；
根据所述目标视频帧对应的分辨率缩小视频帧，以及所述前一视频帧对应的降噪视频帧，得到所述亮度变化信息。
4.如权利要求2或3所述的***，其特征在于，所述第一终端设备，还用于：
基于所述亮度变化信息，以及历史亮度变化累加信息，得到当前亮度变化累加信息，所述历史亮度变化累加信息是基于至少一对相邻历史视频帧对应的亮度变化信息得到的；
对所述当前亮度变化累加信息进行归一化，得到所述第一权重信息；
基于所述第一权重信息，得到所述第二权重信息，所述第一权重信息与所述第二权重信息呈负相关。
5.如权利要求1-4任一项所述的***，其特征在于，所述第二终端设备，用于：
对所述目标视频数据进行解码，得到解码视频数据；
将所述解码视频数据输入至目标画质增强模型，得到所述目标画质增强模型输出的对所述解码视频数据进行画质增强处理后得到的目标播放视频；
播放所述目标播放视频。
6.如权利要求5所述的***，其特征在于，所述目标画质增强模型是根据以下参数中的至少一种从多个画质增强模型中选取的：
所述第二终端设备的设备配置信息，所述第二终端设备的设备性能评分，以及各画质增强模型的画质增强处理耗时。
7.如权利要求5所述的***，其特征在于，所述画质增强模型对所述解码视频数据进行如下一种或者多种画质增强处理：
用于恢复视频编码造成的画质损失的编码损失恢复处理、画质去模糊处理、画面超分辨率处理以及视频帧率提高处理。
8.一种视频处理的方法，其特征在于，所述方法包括：
通过第一终端设备对其采集的原始视频数据进行降噪处理，并将降噪后的目标视频数据上传至服务器；
通过服务器接收所述目标视频数据，以及，响应于第二终端设备针对所述目标视频数据的视频播放请求，将所述目标视频数据发送给所述第二终端设备；
通过第二终端设备对所述目标视频数据进行画质增强处理，并进行播放。
9.一种视频处理的方法，其特征在于，包括：
响应于目标视频的播放操作，向服务器发送针对所述目标视频的视频播放请求；
接收所述服务器返回的目标视频数据，所述目标视频数据是第一终端设备对采集的原始视频数据进行降噪处理并上传至所述服务器的；
对所述目标视频数据进行画质增强处理，并进行播放。
10.如权利要求9所述的方法，其特征在于，所述对所述目标视频数据进行画质增强处理，并进行播放，包括：
对所述目标视频数据进行解码，得到解码视频数据；
将所述解码视频数据输入至目标画质增强模型，得到所述目标画质增强模型输出的对所述解码视频数据进行画质增强处理后得到的目标播放视频；
播放所述目标播放视频。
11.如权利要求10所述的方法，其特征在于，所述目标画质增强模型是根据以下参数中的至少一种从多个画质增强模型中选取的：
所述第二终端设备的设备配置信息，所述第二终端设备的设备性能评分，以及各画质增强模型的画质增强处理耗时。
12.如权利要求10或11所述的方法，其特征在于，所述画质增强模型对所述解码视频数据进行如下一种或者多种画质增强处理：
用于恢复视频编码造成的画质损失的编码损失恢复处理、画质去模糊处理、画面超分辨率处理以及视频帧率提高处理。
13.一种电子设备，其特征在于，包括：存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行权利要求9-12中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求9-12中任一项所述的方法。
15.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令被处理器读取并运行时，执行如权利要求9-12中任一项所述的方法。
CN202210405125.7A 2022-04-18 2022-04-18 视频处理的***、方法、电子设备、存储介质及程序产品 Pending CN115002516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210405125.7A CN115002516A (zh) 2022-04-18 2022-04-18 视频处理的***、方法、电子设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210405125.7A CN115002516A (zh) 2022-04-18 2022-04-18 视频处理的***、方法、电子设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN115002516A true CN115002516A (zh) 2022-09-02

Family

ID=83024286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210405125.7A Pending CN115002516A (zh) 2022-04-18 2022-04-18 视频处理的***、方法、电子设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN115002516A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650958A (zh) * 2023-05-26 2023-08-29 启朔(深圳)科技有限公司 画质增强方法、终端、计算机设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210297734A1 (en) * 2018-11-27 2021-09-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for controlling video enhancement, device, electronic device and storage medium
CN113724398A (zh) * 2021-09-01 2021-11-30 北京百度网讯科技有限公司 增强现实方法、装置、设备以及存储介质
CN113852860A (zh) * 2021-09-26 2021-12-28 北京金山云网络技术有限公司 视频处理方法、装置、***及存储介质
CN114119413A (zh) * 2021-11-25 2022-03-01 Oppo广东移动通信有限公司 图像处理方法及装置、可读介质和移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210297734A1 (en) * 2018-11-27 2021-09-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for controlling video enhancement, device, electronic device and storage medium
CN113724398A (zh) * 2021-09-01 2021-11-30 北京百度网讯科技有限公司 增强现实方法、装置、设备以及存储介质
CN113852860A (zh) * 2021-09-26 2021-12-28 北京金山云网络技术有限公司 视频处理方法、装置、***及存储介质
CN114119413A (zh) * 2021-11-25 2022-03-01 Oppo广东移动通信有限公司 图像处理方法及装置、可读介质和移动终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116650958A (zh) * 2023-05-26 2023-08-29 启朔(深圳)科技有限公司 画质增强方法、终端、计算机设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
Fan et al. Fixation prediction for 360 video streaming in head-mounted virtual reality
CN110189246B (zh) 图像风格化生成方法、装置及电子设备
CN111340711A (zh) 一种超分辨率重建方法、装置、设备和存储介质
CN110188719B (zh) 目标跟踪方法和装置
CN105005777A (zh) 一种基于人脸的音视频推荐方法及***
CN110136144B (zh) 一种图像分割方法、装置及终端设备
CN111444826A (zh) 视频检测方法、装置、存储介质及计算机设备
CN116830158A (zh) 人类角色的音乐反应动画
CN112308977B (zh) 视频处理方法、视频处理装置和存储介质
CN115100334B (zh) 一种图像描边、图像动漫化方法、设备及存储介质
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN116250012A (zh) 用于图像动画的方法、***和计算机可读存储介质
CN111836073B (zh) 视频清晰度的确定方法、装置、设备及存储介质
CN113627402A (zh) 一种图像识别方法及相关装置
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN117218246A (zh) 图像生成模型的训练方法、装置、电子设备及存储介质
CN115002516A (zh) 视频处理的***、方法、电子设备、存储介质及程序产品
CN115082291A (zh) 图像亮度调整的方法、计算机程序产品、电子设备及介质
CN114758027A (zh) 图像处理方法、装置、电子设备及存储介质
Shao et al. Imagebeacon: Broadcasting color images over connectionless bluetooth le packets
CN110197459B (zh) 图像风格化生成方法、装置及电子设备
WO2023217138A1 (zh) 一种参数配置方法、装置、设备、存储介质及产品
CN117132515A (zh) 一种图像处理方法及电子设备
CN114677620A (zh) 对焦方法、电子设备和计算机可读介质
CN117011415A (zh) 一种特效文字的生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination