CN111010495A - 一种视频降噪处理方法及装置 - Google Patents

一种视频降噪处理方法及装置 Download PDF

Info

Publication number
CN111010495A
CN111010495A CN201911251050.6A CN201911251050A CN111010495A CN 111010495 A CN111010495 A CN 111010495A CN 201911251050 A CN201911251050 A CN 201911251050A CN 111010495 A CN111010495 A CN 111010495A
Authority
CN
China
Prior art keywords
frame
block
current
noise reduction
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911251050.6A
Other languages
English (en)
Other versions
CN111010495B (zh
Inventor
段争志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911251050.6A priority Critical patent/CN111010495B/zh
Publication of CN111010495A publication Critical patent/CN111010495A/zh
Priority to PCT/CN2020/119910 priority patent/WO2021114846A1/zh
Priority to US17/520,169 priority patent/US20220058775A1/en
Application granted granted Critical
Publication of CN111010495B publication Critical patent/CN111010495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本申请涉及图像处理技术领域，公开了一种视频降噪处理方法及装置，用于减小视频降噪的计算量，缓解网络带宽压力。方法包括：获取目标视频的当前帧；确定当前帧为目标视频中的P帧或B帧；从目标视频中确定当前帧的参考帧；从参考帧中确定当前块对应的参考块；当前块为当前帧中的任一块；根据参考块对当前块进行降噪处理。

Description

一种视频降噪处理方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种视频降噪处理方法及装置。
背景技术
随着数字媒体技术和计算机技术的发展，视频应用于各个领域，如移动通信、网络监控、网络电视等。由于受镜头和成本限制，导致单像素上的光通量较小，采集的视频中含有大量随机噪声，尤其在场景较暗弱的情况下更加明显。这种噪声极大的破坏了图像的清晰度和质量，另一方面使得编码时残差过大，导致码流增加，加剧了网络和存储的负担。
目前，一般采用基于BM3D(三维块匹配，Block Matching 3D)算法的视频降噪技术对视频进行降噪处理。然后，由于该算法的复杂性，视频的处理速度非常慢，尤其对于带宽受限的实时流媒体服务、移动可视电话、网络视频聊天等具有较大的影响。
发明内容
本申请实施例提供了一种视频降噪处理方法及装置，用于减小视频降噪的计算量，缓解网络带宽压力。
根据本申请实施例的第一方面，提供了一种视频降噪处理方法，包括：
获取目标视频的当前帧；
确定所述当前帧为所述目标视频中的P帧或B帧；
从所述目标视频中确定所述当前帧的参考帧；
从所述参考帧中确定当前块对应的参考块，所述当前块为所述当前帧中的任一块；
根据所述参考块对所述当前块进行降噪处理。
根据本申请实施例的第二方面，提供了一种视频降噪处理装置，所述装置包括：
获取单元，用于获取目标视频的当前帧；
判断单元，用于确定所述当前帧为所述目标视频中的P帧或B帧；
确定单元，用于从所述目标视频中确定所述当前帧的参考帧；
选取单元，用于从所述参考帧中确定当前块对应的参考块；所述当前块为所述当前帧中的任一块；
计算单元，用于根据所述参考块对所述当前块进行降噪处理。
一种可选的实施例中，所述选取单元，具体用于：
根据所述当前块对应的运动矢量，从所述参考帧中确定所述当前块的匹配块；
确定每一个匹配块与所述当前块之间的匹配度；
将匹配度大于匹配阈值的匹配块作为所述当前块的参考块。
一种可选的实施例中，所述计算单元，还用于：
确定所有匹配块与所述当前块之间的匹配度均小于或等于所述匹配阈值；
利用2D降噪算法对所述当前块进行降噪处理。
一种可选的实施例中，所述计算单元，具体用于：
依据3D降噪算法，根据参考块与所述当前块之间的匹配度，计算每一个参考块的权重矩阵；
利用所述当前块的像素、每一个参考块的像素以及对应的权重矩阵进行带权求和，得出所述当前块降噪后的输出像素。
一种可选的实施例中，所述计算单元，还用于：
利用2D降噪算法对所述当前块进行预降噪处理。
一种可选的实施例中，判断单元，还用于确定所述当前帧为所述目标视频中的I帧；
计算单元，还用于利用2D降噪算法对所述I帧进行降噪处理。
一种可选的实施例中，所述选取单元，用于：
将所述参考帧进行重构并恢复，得到重建帧；
从所述重建帧中确定所述当前块的参考块。
一种可选的实施例中，所述选取单元，还用于：
利用噪声监测算法，确定所述当前块的内部方差大于降噪阈值。
根据本申请实施例的第三方面，提供了一种计算设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行本申请实施例提供的视频降噪处理方法的步骤。
根据本申请实施例的第四方面，提供了一种存储介质，所述存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本申请实施例提供的视频降噪处理方法的步骤。
本申请实施例中，在编码器内部获取目标视频的当前帧，在确定当前帧为目标视频中的P帧或B帧后，利用编码器从目标视频中确定当前帧的参考帧。从参考帧中确定当前块对应的参考块，其中，当前块为当前帧中的任一块，并根据参考块对当前块进行降噪处理。由于在编码器内部为了进行视频编码需要建立当前帧与参考帧之间的参考关系，本申请实施例通过在编码器内部复用当前帧与参考帧之间的参考关系对当前帧进行噪声去除，从而可以减少计算量，缩短运算时间，缓解网络带宽压力，满足实时视频降噪的要求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。
图1为本申请实施例中的一种视频降噪处理***的***架构图；
图2为本申请实施例中的一种视频降噪处理方法的流程图；
图3a为本申请实施例中视频序列的示意图；
图3b为本申请实施例中目标在当前帧与参考帧之间的运动矢量的示意图；
图4为本申请实施例中3D滤波过程的示意图；
图5为本申请实施例中视频降噪前后的图像对比图；
图6为本申请实施例中一种视频降噪处理装置的结构方框图；
图7示出了本申请一个实施例提供的设备的结构方框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请技术方案的一部分实施例，而不是全部的实施例。基于本申请文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请技术方案保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请实施例中涉及的部分概念进行介绍。
视频编码：图像信息经采集后生成的原始视频数据，数据量非常大，对于某些采集后直接本地播放的应用场合，不需要考虑压缩技术。但现实中更多的应用场合，涉及视频的传输与存储，传输网络与存储设备无法容忍原始视频数据的巨大数据量，必须将原始视频数据经过编码压缩后，再进行传输与存储。
视频编码包括帧内编码和帧间编码，其中帧内编码是空间域编码，利用图像空间性冗余度进行图像压缩，处理的是一幅独立的图像，不会跨越多幅图像。空间域编码依赖于一幅图像中相邻像素间的相似性和图案区的主要空间域频率。帧间编码是时间域编码，是利用一组连续图像间的时间性冗余度进行图像压缩。如果某帧图像可被解码器使用，那么解码器只须利用两帧图像的差异即可得到下一帧图像。比如运动平缓的几帧图像的相似性大，差异性小，而运动剧烈的几幅图像则相似性小，差异性大。当得到一帧完整的图像信息后，可以利用与后一帧图像的差异值推算得到后一帧图像，这样就实现了数据量的压缩。时间域编码依赖于连续图像帧间的相似性，尽可能利用已接收处理的图像信息来“预测”生成当前图像。
帧：视频序列中的单幅影像画面。
I帧：(Intra-coded picture，帧内编码帧，常称为关键帧)包含一幅完整的图像信息，属于帧内编码图像，不含运动矢量，在编解码时不需要参考其它帧图像。I帧图像用于阻止误差的累积和扩散。
P帧：(Predictive-coded picture，预测编码图像帧)是帧间编码帧，在编码器编码过程中，利用之前的I帧或P帧进行预测编码。
B帧：(Bi-directionally predicted picture，双向预测编码图像帧)是帧间编码帧，在编码器编码过程中，利用之前和之后的I帧或P帧进行双向预测编码。
预分析：在正式编码帧数据之前，提前分析一定数量的帧，应用预分析数据来指导随后的编码过程。
重建帧：编码器中，源图像经过压缩后，一方面需要对各种编码信息进行打包(熵编码)输出码流，另一边需要根据各种编码信息进行编码过程的逆过程，即对图像进性重构恢复，以获得与解码器中一致的参考帧，供其它帧编码 /解码使用，这种重构恢复后的帧并不等于源图像，我们称之为重建帧。
参考帧：在视频编解码中，一种作为其它帧的参考数据，用于其它帧在编码/解码过程中获取帧间的参考数据的重建帧。
运动矢量：一个二维向量，用于描述编码器中一个编码块从其所在位置运动到另一个位置时，所发生的位置偏移。简单来说，一组连续图像记录了目标的运动，运动矢量用于衡量两帧图像间目标的运动程度。运动矢量由水平位移量和垂直位移量二者构成。
块：编码处理的基本单元，有宏块、亚宏块、块等类型。一个块是4×4像素，宏块和亚宏块由多个块组成。通常宏块大小为16×16像素，分为I、B、P 宏块。
BM3D:一种业界公认的效果较好的在图像内部通过搜索匹配块以及其它变换技术或滤波进行图像降噪的处理技术。
3D视频降噪：视频中一种利用本帧图像的自身信息(空域信息)以及其前后帧图像的参考信息(时域信息)进行降噪，以提高图像质量或清晰度的技术方法。
2D降噪：在一个帧内部通过分析本帧内部像素的空间相邻数据的关系进行噪声降噪，又称空域降噪。
双边滤波算法：一种2D邻域降噪算法，该算法取相邻像素的权重时综合考虑了待滤波像素与其周围像素的距离与像素差异。
SSD:(sum of squared difference，误差平方和)，常用于衡量两个块的匹配度，值越小，两个块的差异越小，匹配度越高。
本申请实施例中的视频降噪处理方法主要应用于实时视频通话、即使视频通讯、视频会议、实时视频采集、直播转码等场景。请参考图1，其示出了本申请一个实施例提供的视频降噪处理***架构图，包括服务器101、第一终端 102和第二终端103。
第一终端102和/或第二终端103可以是手机、平板电脑或者是专用的手持设备等具有无线通信功能的电子设备，也可以是个人计算机(personal computer，简称PC)，笔记本电脑，服务器等有线接入方式连接上网的设备。
服务器101可以是计算机等网络设备。服务器101可以是一个独立的设备，也可以是多个服务器所形成的服务器集群。优选地，服务器101可以采用云计算技术进行信息处理。
***中的网络可以为INTERNET网络，也可以为全球移动通信*** (GlobalSystem for Mobile Communications，简称GSM)、长期演进(long term evolution，简称LTE)***等移动通信***。
本申请实施例中的视频降噪处理方法可以由服务器101来执行。可选地，本申请实施例中的视频可以为第一终端102与第二终端103进行通讯的通讯视频流，如第一终端102向第二终端103传送的其采集设备所采集到的视频，或第二终端103向第一终端102传送的其采集设备所采集到的视频。
此时，服务器101可以是提供视频转发的服务器。视频采集设备可以集成在终端上，如为手机终端的前置摄像头或后置摄像头等，图像采集设备还可以为独立于终端存在但与终端通信连接的设备，如与电脑终端等连接的摄像头等。
本申请实施例中可以是服务器101对第一终端102向第二终端103传输的目标视频进行降噪处理，也可以是服务器101对第二终端103向第一终端102 传输的目标视频进行降噪处理，还可以是服务器101同时对第一终端102向第二终端103传输的目标视频流以及第二终端103向第一终端102传输的目标视频流进行降噪处理。
另一种可选的实施例中，视频降噪处理方法也可以由终端来执行，相对于前述实施例，其主要区别在于执行主体由服务器变更为了终端。如对于第一终端102而言，其可以对向第二终端103传输的目标视频进行降噪处理，也可对第二终端103向自己传输的目标视频进行降噪处理，还可同时对向第二终端 103传输的目标视频以及第二终端103向自己传输的目标视频进行降噪处理。对于第二终端103而言，与第一终端102类似。可选地，终端执行本申请实施例的视频降噪处理方法也可以是由安装在其上的客户端来执行。
又一种可选的实施例中，视频降噪处理方法还可以是由服务器101和终端共同执行。将主要降噪逻辑设置在用户终端上，而将如何配置编码器的逻辑设置在服务器上。例如，终端提供目标视频给服务器；由服务器根据所提供的目标视频生成对应的编码参数，其中包括P帧或B帧对应的参考帧，并传递给终端侧；终端控制编码器按照编码参数确定参考块，并利用参考块对当前块进行降噪。
需要注意的是，上文提及的应用场景仅是为了便于理解本申请的精神和原理而示出，本申请实施例在此方面不受任何限制。相反，本申请实施例可以应用于适用的任何场景。
下面结合图1所示的应用场景，对本申请实施例提供的视频降噪处理方法进行说明。
请参考图2，本申请实施例提供了一种视频降噪处理方法，如图2所示，方法包括：
步骤S201：获取目标视频的当前帧。
具体实施过程中，目标视频可以是终端通过其集成的采集设备所采集到的视频，也可以是由与终端通过有线或无线网络相连的独立的采集设备所采集到的视频。终端获取目标视频之后，可以由终端对目标视频进行降噪处理，也可以为终端将目标视频发送至服务器，由服务器对目标视频进行降噪处理。
步骤S202：确定当前帧为目标视频中的P帧或B帧。
在编码器内部，例如X264、X265(视频编解码标准的一个编码实现)等，会在预分析处理阶段，通过对每一帧进行预分析，具体为对每一帧对应的宽高缩小了的1/2倍的图像的复杂度、帧内预测、帧间预测分析、统计帧内/帧间成本(cost)代价对比、场景检测等结合一些指定的编码参数，如B帧数量或GOP (Group Of Pictures，图像组)大小来决定每一帧的帧类型。
具体来说，一个GOP是一段内容差别不是很大的图像组成的一串数据流。当运动变化比较少的时候，一个GOP可以很长，因为运动变化的少就代表图像画面的内容变动很小，所以可以设置一个I帧，之后设置多个P帧和B帧。当运动变化多时，可能一个GOP比较短，例如只包含一个I帧和3、4个P帧。I帧是最大去除图像空间冗余信息而压缩得到的帧，自带全部图像信息，不参考其他帧可独立解码，称为帧内编码帧。所有视频至少包含一个I帧，且作为视频的第一个帧，视频里的其他的I帧用来改善视频质量。P帧为利用本帧与之前的帧(I帧或P帧)的不同点来解编码本帧数据，B帧为利用本帧与之前的帧的差值、以及本帧与之后的帧的差值来解编码本帧数据。本申请实施例中的3D 降噪算法主要是针对目标视频中的P帧和B帧。
步骤S203：从目标视频中确定当前帧的参考帧。
具体地，对于当前帧为P帧或者B帧，编码器在预分析过程会确定当前帧的参考帧和运动矢量等时域参考关系，用于后续对当前帧进行编解码。本申请实施例复用编码器中用于对当前帧编解码的参考帧和运动矢量等时域参考关系，利用当前帧的参考帧对当前帧进行降噪。例如，编码器针对P帧会确定出前向两个参考帧；对于B帧会给出前向两个参考帧和后向两个参考帧，共四个参考帧。
举例来说，在如图3a所示的视频序列中，对于序号为5的P帧，对应的参考帧为序号为0的I帧以及序号为3的P帧；对于序号为4的B帧，对应的参考帧序号分别为0和3的两个前向的帧，以及序号分别为7和9的两个后向的帧。
其中，参考帧与当前帧之间可以相邻，也可以不相邻；同一个当前帧对应的不同参考帧之间可以相邻，也可以不相邻。此外，对于参考帧的数量以及与当前帧之间的位置关系，可以任意设置，本申请实施例不做限制。
步骤S204：从参考帧中确定当前块对应的参考块；当前块为当前帧中的任一块。
具体来说，本申请实施例以块为单位对目标视频的每一帧图像进行处理，一个参考块的大小与当前块的大小相同。这里的当前块的大小可以为8×8像素，相对应的参考块大小也为8×8像素；或者当前块的大小为16×16像素，相对应的参考块大小也为16×16像素。当然，本申请实施例对于块的大小不做限制。
步骤S205：根据参考块对当前块进行降噪处理。
本申请实施例中，在编码器内部获取目标视频的当前帧，在确定当前帧为目标视频中的P帧或B帧后，利用编码器从目标视频中确定当前帧的参考帧。从参考帧中确定当前块对应的参考块，其中，当前块为当前帧中的任一块，并根据参考块对当前块进行降噪处理。由于在编码器内部为了进行视频编码需要建立当前帧与参考帧之间的参考关系，本申请实施例通过在编码器内部复用当前帧与参考帧之间的参考关系对当前帧进行噪声去除，从而可以减少计算量，缩短运算时间，缓解网络带宽压力，满足实时视频降噪的要求。
由于视频序列中的I帧在编解码时不需要参考其它帧图像，因此，在本申请实施例中，针对I帧，不参考其它帧直接进行2D去噪，则获取目标视频的当前帧之后，还包括：
确定当前帧为目标视频中的I帧；
利用2D降噪算法对I帧进行降噪处理。
具体地，获取当前帧之后，若当前帧为I帧，则利用2D降噪算法进行降噪处理；若当前帧为P帧或B帧，则利用3D降噪算法进行降噪处理。下面分别对两种降噪算法详细介绍。
本申请实施例中的2D降噪算法可以为区域双边滤波算法、高斯滤波算法等。下面以区域双边滤波算法为例进行介绍。n×m区域双边滤波算法中，n×m 区域一般取3×3像素，或者5×5像素，或者7×7像素。以5×5为例，利用以下公式进行滤波计算：
Figure RE-GDA0002404364300000101
其中，denoised_pix[i][j]为像素点[i][j]降噪后的像素值；src为块 block[i+m][j+n]的像素值；coef[m][n]为滤波系数，是根据n×m区域内像素与中心像素差值的绝对值diffVal和位置关系以及双边滤波等级表来选择，具体可以根据以下公式确定：
Figure RE-GDA0002404364300000111
其中，coefTable[tnum]为2D滤波中基于滤波等级的双边滤波等级表；在一个实施例中，tnum为0～9，代表10个降噪等级；在一个实施例中，Table[tnum]取值分别为：{2,3,5,8,11,15,19,24,29,32}；diffval为当前像素值与滤波模板中的像素值的差异，实现过程中可以将过大的diffval进行限制处理(例如：0～31)； [m][n]为当前像素与n×m区域中参考像素的距离，取值为
Figure RE-GDA0002404364300000112
δ2用于衡量噪声等级，在一个实施例中，当tnum＜4时，δ2为4；当4≤tnum＜7时，δ2为6；当tnum≥7时，δ2为9。
进一步地，由于2D降噪算法是通过局部加权平均进行降噪，不可避免的在一定程度上会出现细节或者边界模糊。为了提高2D降噪效果，可以在降噪后加入一定量的锐化补偿，则加入锐化补偿后的像素值根据以下公式进行计算：
denoised_ed_pixl＝average+sharp_ratio*(denoised_ed_pixl-average)
……公式3
其中，average为当前像素值对应的n×m区域内像素的平均值；sharp_ratio 为锐化补偿参数，其类型为double，取值为-2.0到2.0。
针对目标视频中的P帧或者B帧，本申请实施例是以大小为8×8像素或者 16×16像素的当前块为单位进行滤波计算。具体过程如下：
可选地，在利用3D降噪算法进行降噪处理之前，也可以先通过2D降噪算法对当前块进行预降噪处理，从而进一步提高降噪效果。
可选地，在利用3D降噪算法对当前块进行降噪之前，还可以先利用噪声监测算法，计算当前块的内部方差，若当前块的内部方差大于降噪阈值，则进行后续的降噪处理；若当前块的内部方差小于或等于降噪阈值，则进行后续的降噪处理。其中当前块的内部方差可用于表示当前块的内部复杂度，内部方差小于或等于降噪阈值时，可以认为当前块的内部复杂度较小，可以省去降噪处理过程，从而进一步减少计算量，缩短视频的降噪时长。
可选地，若确定当前块的内部方差大于降噪阈值，则利用参考块对当前块进行3D降噪。关于参考块的确定，本申请实施例中，从参考帧中确定当前块对应的参考块，包括：
根据当前块对应的运动矢量，从参考帧中确定当前块的匹配块；
确定每一个匹配块与当前块之间的匹配度；
将匹配度大于匹配阈值的匹配块作为当前块的参考块。
具体实施过程中，可以利用大小为8×8像素，或者16×16像素的块为单位进行降噪，即当前块的大小可以为8×8像素，或者16×16像素。对应的，参考帧中与当前块相对应的匹配块的大小也为8×8像素，或者16×16像素。其中，当前块在当前帧中的位置与匹配块在参考帧中的位置关系利用运动矢量表示，该运动矢量为编码器在预分析过程中给出。
图3b示出了目标在当前帧与参考帧之间的运动矢量的示意图。由于视频中的图像一般是在变动的，当某一目标运动时，其位置会变化但形状颜色等基本不变，解码器利用运动矢量表示出目标从参考帧中的位置移动到当前帧中的位置即可。假设图3b中是理想情况，目标除移动位置外其他任何属性无任何变化，则两幅图像间的差值仅包含运动矢量这一数据量。
因此，针对当前块，可以利用运动矢量确定出一个参考帧中对应的唯一一个匹配块，直接利用编码器给出的运动矢量来确定匹配块，可以减少计算量。其中，匹配块的数量与参考帧的数量相同，即一个参考帧中可以确定出当前块的一个匹配块。又由于当前帧对应多个参考帧，因此，一个当前块可以确定出对应的多个匹配块。例如，对于P帧，其参考帧为2个，则P帧中的当前块存在2个匹配块；对于B帧，其参考帧为4个，则B帧中的当前块存在4个匹配块。
针对多个匹配块，需要计算每一个匹配块与当前块之间的匹配度，并根据匹配度从匹配块中选取当前块的参考块，将匹配度大于匹配阈值的匹配块作为参考块，匹配度小于或等于匹配阈值的匹配块丢弃。例如，匹配度算法可以为 SSD(sum of squareddifference，误差平方和)算法，用于衡量两个块的匹配度，其中，SSD的值越小则表明当前块与匹配块之间的差异越小，则匹配度越高。或者，利用相关匹配法，采用乘法操作，数值越大表明匹配度越高。或者采用相关系数匹配法，当值为1时匹配度最高，当值为-1时匹配度最低。再或者，通过SSE(residual sum of squares/sum squared residual，残差平方和)衡量匹配度，如果匹配块与当前块之间的SSE小于阈值，则将该匹配块作为参考块，否则舍弃该匹配块。
进一步的，若所有匹配块与当前块之间的匹配度均小于或等于匹配阈值，则利用2D降噪算法对当前块进行降噪处理，从而改善降噪的效果。
对于匹配度大于匹配阈值的参考块，根据参考块对当前块进行降噪处理，包括：
依据3D(三维)降噪算法，根据参考块与当前块之间的匹配度，计算每一个参考块的权重矩阵。
具体来说，一个参考块的权重矩阵可以依据以下公式进行计算：
Figure RE-GDA0002404364300000131
其中，wn[i][j]为第n个参考块的权重矩阵；n表示第n个参考块，当n为 0时表示当前块本身的权重；poc0为当前块所在的帧序号；pocrefn为第n个参考块所在帧的序号；α为基于参考帧距离的衰减因子，一个典型的值为0.95； diffVal为对应第n个参考块的第[i,j]个像素与当前块的第[i,j]个像素的绝对值差；coefTable[tnum]为2D滤波中基于滤波等级的双边滤波等级表；numref表示参考块的数量。另外，SSEn为参考块与当前块的匹配度；f(SSEn)表示基于匹配度的一个权重因子，可以按如下计算：
Figure RE-GDA0002404364300000141
其中，ref_th为匹配度，对于当前块大小为16×16像素(色度8×8)进行处理时，refweiht可以取值为经验参数：例如，亮度分量为225，色度分量为 256。ref_th取值为亮度为{40,120,320,500}，色度为{10,140,80,125}。
然后，利用当前块的像素、每一个参考块的像素以及对应的权重矩阵进行带权求和，得出当前块降噪后的输出像素。具体地，当前块降噪后的输出像素可以根据以下公式计算：
Figure RE-GDA0002404364300000142
其中，denoised_pixl[i][j]为像素点[i][j]降噪后的像素值；wn[i][j]为第n 个参考块的权重矩阵，blockn[i][j]为第n个参考块的输入像素；特殊的，当n 为0时表示当前块本身的权重矩阵，blockn[i][j]为当前块的输入像素。
较佳地，为了进一步改善降噪的质量，从参考帧中确定当前块的参考块，包括：
将参考帧进行重构并恢复，得到重建帧；
从重建帧中确定当前块的参考块。
具体实施过程中，所有的匹配块均来自于编码器中的重建帧，也就是说参考块也是均来自于编码器中的重建帧。其中，重建帧为编码器将源图像进行压缩后，根据各种编码信息进行编码过程的逆过程，即对图像进行重构恢复，以获得重建帧，并从重建帧中确定参考帧，供其它帧编解码使用。本申请实施例从编码中的重建帧确定参考帧，相比源图像，重建帧是已经经过滤波降噪后的帧，对于存在噪声污染的源视频而言，重建帧的图像质量更高，从而能得到更好的滤波效果。
下面以具体实施例对上述流程进行详细介绍，具体实施例包括以下步骤：
获取目标视频中的当前帧。
判断当前帧的帧类型，若当前帧为I帧，则利用双边滤波算法对当前帧进行降噪；若当前帧为P帧或B帧，则执行后续步骤。
将当前帧中大小为16×16的块作为当前块。
利用噪声监测算法，计算当前块的内部方差，若内部方差大于降噪阈值，则对当前块执行后续步骤；若内部方差小于或等于降噪阈值，则结束对当前块的操作，将下一个块作为当前块，重新计算内部方差。
利用双边滤波算法对当前块进行降噪。
获取编码器预分析阶段确定的当前帧对应的参考帧。若当前帧为P帧，则参考帧的数量为2个；若当前帧为B帧，则参考帧的数量为4个。同时，获取编码器确定的当前块针对每一个参考帧的运动矢量。
根据参考帧以及对应的运动矢量，确定当前块的匹配块。若当前块为P帧中的块，则当前块对应有2个匹配块；若当前块为B帧中的块，则当前块对应有4个匹配块。
计算每一个匹配块与当前块之间的SSE，将SSE小于公式5中ref_th[3]的匹配块作为当前块的参考块，将SSE大于或等于公式5中ref_th[3]的匹配块丢弃。
判断当前块对应的参考块个数，若个数为0，则结束对当前块的处理，继续处理当前帧中的下一个块；若个数不等于0，则利用参考块与当前块之间的匹配度，计算每一个参考块的权重矩阵。
利用当前块的像素、每一个参考块的像素以及对应的权重矩阵进行带权求和，得出当前块降噪后的输出像素。
依次对当前帧中的所有块进行降噪计算。
目前视频降噪算法有很多种，但每一类算法均具有局限性，一般计算量小的降噪方式得到的视频图像的清晰度、码率等较差，而降噪效果好的算法计算量大，不能很好地适应视频的实时需求。
图4示出了3D滤波过程的示意图。如图4所示，本申请实施例中，复用编码器内部的时域参考关系，极大的降低了视频降噪算法的复杂度，从而在保证视频清晰度的同时减少了计算时长，可以在实时编码或转码等应用场景下获得一个良好的效果与性能的平衡。该算法在X264中集成实现后，在Intel E5-2670 V4 cpu机器上对于1280×720p的视频，在快速档次的处理速度高达 200fps以上，满足直播转码需求，尤其适用于直播类场景。图5示出了视频降噪前后的图像对比，对应两幅图的左图为原始图像，右图为降噪后的图像。可以看出，本申请实施例中的视频降噪处理方法，可以有效去除在拍摄过程中产生的噪声，提高视频清晰度，极大的降低码率，对一些噪声较大的视频节约码率高达100％。
下述为本申请装置实施例，对于装置实施例中未详尽描述的细节，可以参考上述一一对应的方法实施例。
请参考图6，其示出了本申请一个实施例提供的视频降噪处理装置的结构方框图。该视频降噪处理装置通过硬件或者软硬件的结合实现成为图1中服务器的全部或者一部分，或者成为图1中终端的全部或者一部分。该装置包括：获取单元601、判断单元602、确定单元603、选取单元604、计算单元605。
获取单元601，用于获取目标视频的当前帧；
判断单元602，用于确定当前帧为目标视频中的P帧或B帧；
确定单元603，用于从目标视频中确定当前帧的参考帧；
选取单元604，用于从参考帧中确定当前块对应的参考块；当前块为当前帧中的任一块；
计算单元605，用于根据参考块对当前块进行降噪处理。
一种可选的实施例中，选取单元604，具体用于：
根据当前块对应的运动矢量，从参考帧中确定当前块的匹配块；
确定每一个匹配块与当前块之间的匹配度；
将匹配度大于匹配阈值的匹配块作为当前块的参考块。
一种可选的实施例中，计算单元605，还用于：
确定所有匹配块与当前块之间的匹配度均小于或等于匹配阈值；
利用2D降噪算法对当前块进行降噪处理。
一种可选的实施例中，计算单元605，具体用于：
依据3D降噪算法，根据参考块与当前块之间的匹配度，计算每一个参考块的权重矩阵；
利用当前块的像素、每一个参考块的像素以及对应的权重矩阵进行带权求和，得出当前块降噪后的输出像素。
一种可选的实施例中，计算单元605，还用于：
利用2D降噪算法对当前块预降噪。
一种可选的实施例中，判断单元602，还用于确定当前帧为目标视频中的 I帧；
计算单元，还用于利用2D降噪算法对I帧进行降噪处理。
一种可选的实施例中，选取单元604，用于：
将参考帧进行重构并恢复，得到重建帧；
从重建帧中确定当前块的参考块。
一种可选的实施例中，选取单元604，还用于：
利用噪声监测算法，确定当前块的内部方差大于降噪阈值。
请参考图7，其示出了本申请一个实施例提供的设备的结构方框图。该设备700可以实现为图1中的服务器或者终端。具体来讲：
设备700包括中央处理单元(CPU)701、包括随机存取存储器(RAM) 702和只读存储器(ROM)703的***存储器704，以及连接***存储器704 和中央处理单元701的***总线705。服务器700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O***)706，和用于存储操作***713、应用程序714和其它程序模块715的大容量存储设备707。
基本输入/输出***706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中显示器708和输入设备709 都通过连接到***总线705的输入输出控制器710连接到中央处理单元701。基本输入/输出***706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其它设备的输入。类似地，输入输出控制器 710还提供输出到显示屏、打印机或其它类型的输出设备。
大容量存储设备707通过连接到***总线705的大容量存储控制器(未示出)连接到中央处理单元701。大容量存储设备707及其相关联的计算机可读介质为服务器700提供非易失性存储。也就是说，大容量存储设备707可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其它固态存储其技术，CD-ROM、DVD或其它光学存储、磁带盒、磁带、磁盘存储或其它磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的***存储器704和大容量存储设备707可以统称为存储器。
根据本申请的各种实施例，服务器700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器700可以通过连接在***总线705上的网络接口单元711连接到网络712，或者说，也可以使用网络接口单元711 来连接到其它类型的网络或远程计算机***(未示出)。
存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，一个或者一个以上程序包含用于进行本申请实施例提供的视频降噪处理方法的指令。
本领域普通技术人员可以理解上述实施例的视频降噪处理方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
本领域普通技术人员可以理解上述实施例的视频降噪处理方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种视频降噪处理方法，其特征在于，所述方法包括：
获取目标视频的当前帧；
确定所述当前帧为所述目标视频中的P帧或B帧；
从所述目标视频中确定所述当前帧的参考帧；
从所述参考帧中确定当前块对应的参考块，所述当前块为所述当前帧中的任一块；
根据所述参考块对所述当前块进行降噪处理。
2.根据权利要求1所述的方法，其特征在于，所述从所述参考帧中确定当前块对应的参考块，包括：
根据所述当前块对应的运动矢量，从所述参考帧中确定所述当前块的匹配块；
确定每一个匹配块与所述当前块之间的匹配度；
将匹配度大于匹配阈值的匹配块作为所述当前块的参考块。
3.根据权利要求2所述的方法，其特征在于，所述确定所述匹配块与所述当前块之间的匹配度之后，还包括：
确定所有匹配块与所述当前块之间的匹配度均小于或等于所述匹配阈值；
利用2D(二维)降噪算法对所述当前块进行降噪处理。
4.根据权利要求2所述的方法，其特征在于，所述根据所述参考块对所述当前块进行降噪处理，包括：
依据3D(三维)降噪算法，根据参考块与所述当前块之间的匹配度，计算每一个参考块的权重矩阵；
利用所述当前块的像素、每一个参考块的像素以及对应的权重矩阵进行带权求和，得出所述当前块降噪后的输出像素。
5.根据权利要求4所述的方法，其特征在于，所述依据3D降噪算法，利用所述参考块对所述当前块进行降噪处理之前，还包括：
利用2D降噪算法对所述当前块进行预降噪处理。
6.根据权利要求4所述的方法，其特征在于，所述获取目标视频的当前帧之后，还包括：
确定所述当前帧为所述目标视频中的I帧；
利用2D降噪算法对所述I帧进行降噪处理。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述从所述参考帧中确定当前块的参考块，包括：
将所述参考帧进行重构并恢复，得到重建帧；
从所述重建帧中确定所述当前块的参考块。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述从所述参考帧中确定当前块的参考块之前，还包括：
利用噪声监测算法，确定所述当前块的内部方差大于降噪阈值。
9.一种视频降噪处理装置，其特征在于，所述装置包括：
获取单元，用于获取目标视频的当前帧；
判断单元，用于确定所述当前帧为所述目标视频中的P帧或B帧；
确定单元，用于从所述目标视频中确定所述当前帧的参考帧；
选取单元，用于从所述参考帧中确定当前块对应的参考块，所述当前块为所述当前帧中的任一块；
计算单元，用于根据所述参考块对所述当前块进行降噪处理。
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至8任一项所述的视频降噪处理方法。
11.一种存储介质所述存储介质存储有计算机指令，其特征在于，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1至8任一项所述的视频降噪处理方法。
CN201911251050.6A 2019-12-09 2019-12-09 一种视频降噪处理方法及装置 Active CN111010495B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911251050.6A CN111010495B (zh) 2019-12-09 2019-12-09 一种视频降噪处理方法及装置
PCT/CN2020/119910 WO2021114846A1 (zh) 2019-12-09 2020-10-09 一种视频降噪处理方法、装置及存储介质
US17/520,169 US20220058775A1 (en) 2019-12-09 2021-11-05 Video denoising method and apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911251050.6A CN111010495B (zh) 2019-12-09 2019-12-09 一种视频降噪处理方法及装置

Publications (2)

Publication Number Publication Date
CN111010495A true CN111010495A (zh) 2020-04-14
CN111010495B CN111010495B (zh) 2023-03-14

Family

ID=70114157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911251050.6A Active CN111010495B (zh) 2019-12-09 2019-12-09 一种视频降噪处理方法及装置

Country Status (3)

Country Link
US (1) US20220058775A1 (zh)
CN (1) CN111010495B (zh)
WO (1) WO2021114846A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111629262A (zh) * 2020-05-08 2020-09-04 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质
CN111787319A (zh) * 2020-07-22 2020-10-16 腾讯科技（深圳）有限公司 一种视频信息处理方法、多媒体信息处理方法及、装置
CN112037147A (zh) * 2020-09-02 2020-12-04 上海联影医疗科技有限公司 医学图像降噪方法和装置
WO2021114846A1 (zh) * 2019-12-09 2021-06-17 腾讯科技（深圳）有限公司 一种视频降噪处理方法、装置及存储介质
CN113115075A (zh) * 2021-03-23 2021-07-13 广州虎牙科技有限公司 一种视频画质增强的方法、装置、设备以及存储介质
CN113852860A (zh) * 2021-09-26 2021-12-28 北京金山云网络技术有限公司 视频处理方法、装置、***及存储介质
CN114401405A (zh) * 2022-01-14 2022-04-26 安谋科技（中国）有限公司 一种视频编码方法、介质及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109873953A (zh) * 2019-03-06 2019-06-11 深圳市道通智能航空技术有限公司 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机
CN114339031A (zh) * 2021-12-06 2022-04-12 深圳市金九天视实业有限公司 画面调节方法、装置、设备以及存储介质
CN116506732B (zh) * 2023-06-26 2023-12-05 浙江华诺康科技有限公司 一种图像抓拍防抖的方法、装置、***和计算机设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014365A1 (en) * 2005-07-18 2007-01-18 Macinnis Alexander Method and system for motion estimation
US20080056366A1 (en) * 2006-09-01 2008-03-06 Vasudev Bhaskaran In-Loop Noise Reduction Within an Encoder Framework
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
CN101540834A (zh) * 2009-04-16 2009-09-23 杭州华三通信技术有限公司 去除视频图像噪声的方法和视频编码装置
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video
CN101742290A (zh) * 2008-11-12 2010-06-16 北京中星微电子有限公司 视频编、解码降噪方法和视频编、解码降噪装置
CN101742288A (zh) * 2008-11-11 2010-06-16 北京中星微电子有限公司 视频降噪编码方法和视频降噪编码装置
CN102714718A (zh) * 2009-12-28 2012-10-03 索尼公司 图像处理装置、方法和程序
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置
US20170280073A1 (en) * 2012-09-19 2017-09-28 Ziilabs Inc., Ltd. Systems and Methods for Reducing Noise in Video Streams
US20180278849A1 (en) * 2017-03-24 2018-09-27 Axis Ab Controller, video camera, and method for controlling a video camera
US20180343448A1 (en) * 2017-05-23 2018-11-29 Intel Corporation Content adaptive motion compensated temporal filtering for denoising of noisy video for efficient coding
US20190089953A1 (en) * 2017-09-20 2019-03-21 Futurewei Technologies, Inc. Noise Suppression Filter Parameter Estimation For Video Coding
CN110087077A (zh) * 2019-06-05 2019-08-02 广州酷狗计算机科技有限公司 视频编码方法及装置、存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411651B1 (en) * 1998-06-26 2002-06-25 Compaq Information Technologies Group, L.P. Method and system for distributed video compression in personal computer architecture
CN102355556A (zh) * 2011-11-02 2012-02-15 无锡博视芯半导体科技有限公司 一种基于运动估计的视频和图像的三维降噪方法
CN102769722B (zh) * 2012-07-20 2015-04-29 上海富瀚微电子股份有限公司 时域与空域结合的视频降噪装置及方法
CN104023166B (zh) * 2014-06-20 2017-08-11 武汉烽火众智数字技术有限责任公司 一种环境自适应视频图像降噪方法及装置
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置
EP3364342A1 (en) * 2017-02-17 2018-08-22 Cogisen SRL Method for image processing and video compression
EP3656125A1 (en) * 2017-09-05 2020-05-27 Huawei Technologies Co., Ltd. Early termination of block-matching for collaborative filtering
US20190188829A1 (en) * 2017-12-14 2019-06-20 Multitek Inc. Method, Apparatus, and Circuitry of Noise Reduction
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014365A1 (en) * 2005-07-18 2007-01-18 Macinnis Alexander Method and system for motion estimation
US20080056366A1 (en) * 2006-09-01 2008-03-06 Vasudev Bhaskaran In-Loop Noise Reduction Within an Encoder Framework
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video
CN101742288A (zh) * 2008-11-11 2010-06-16 北京中星微电子有限公司 视频降噪编码方法和视频降噪编码装置
CN101742290A (zh) * 2008-11-12 2010-06-16 北京中星微电子有限公司 视频编、解码降噪方法和视频编、解码降噪装置
CN101540834A (zh) * 2009-04-16 2009-09-23 杭州华三通信技术有限公司 去除视频图像噪声的方法和视频编码装置
CN102714718A (zh) * 2009-12-28 2012-10-03 索尼公司 图像处理装置、方法和程序
US20170280073A1 (en) * 2012-09-19 2017-09-28 Ziilabs Inc., Ltd. Systems and Methods for Reducing Noise in Video Streams
CN103269412A (zh) * 2013-04-19 2013-08-28 华为技术有限公司 一种视频图像的降噪方法及装置
US20180278849A1 (en) * 2017-03-24 2018-09-27 Axis Ab Controller, video camera, and method for controlling a video camera
US20180343448A1 (en) * 2017-05-23 2018-11-29 Intel Corporation Content adaptive motion compensated temporal filtering for denoising of noisy video for efficient coding
US20190089953A1 (en) * 2017-09-20 2019-03-21 Futurewei Technologies, Inc. Noise Suppression Filter Parameter Estimation For Video Coding
CN110087077A (zh) * 2019-06-05 2019-08-02 广州酷狗计算机科技有限公司 视频编码方法及装置、存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114846A1 (zh) * 2019-12-09 2021-06-17 腾讯科技（深圳）有限公司 一种视频降噪处理方法、装置及存储介质
CN111629262A (zh) * 2020-05-08 2020-09-04 Oppo广东移动通信有限公司 视频图像处理方法和装置、电子设备及存储介质
CN111787319A (zh) * 2020-07-22 2020-10-16 腾讯科技（深圳）有限公司 一种视频信息处理方法、多媒体信息处理方法及、装置
CN111787319B (zh) * 2020-07-22 2021-09-14 腾讯科技（深圳）有限公司 一种视频信息处理方法、多媒体信息处理方法及装置
CN112037147A (zh) * 2020-09-02 2020-12-04 上海联影医疗科技有限公司 医学图像降噪方法和装置
CN112037147B (zh) * 2020-09-02 2024-05-14 上海联影医疗科技股份有限公司 医学图像降噪方法和装置
CN113115075A (zh) * 2021-03-23 2021-07-13 广州虎牙科技有限公司 一种视频画质增强的方法、装置、设备以及存储介质
CN113852860A (zh) * 2021-09-26 2021-12-28 北京金山云网络技术有限公司 视频处理方法、装置、***及存储介质
CN114401405A (zh) * 2022-01-14 2022-04-26 安谋科技（中国）有限公司 一种视频编码方法、介质及电子设备

Also Published As

Publication number Publication date
WO2021114846A1 (zh) 2021-06-17
CN111010495B (zh) 2023-03-14
US20220058775A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
CN111010495B (zh) 一种视频降噪处理方法及装置
CN105472205B (zh) 编码过程中的实时视频降噪方法和装置
US9414086B2 (en) Partial frame utilization in video codecs
US9602819B2 (en) Display quality in a variable resolution video coder/decoder system
US8571106B2 (en) Digital video compression acceleration based on motion vectors produced by cameras
US8989256B2 (en) Method and apparatus for using segmentation-based coding of prediction information
CN110324623B (zh) 一种双向帧间预测方法及装置
US20150312575A1 (en) Advanced video coding method, system, apparatus, and storage medium
US20100080287A1 (en) Adaptive Video Processing of an Interactive Environment
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
US8243117B2 (en) Processing aspects of a video scene
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
CN111837389A (zh) 适用于多符号位隐藏的块检测方法及装置
CN104125466A (zh) 一种基于gpu的hevc并行解码方法
JP2019068248A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113259671B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
CN108713318A (zh) 一种视频帧的处理方法及设备
WO2023092256A1 (zh) 一种视频编码方法及其相关装置
CN107409211A (zh) 一种视频编解码方法及装置
CN112218087B (zh) 图像编码和解码方法、编码和解码装置、编码器及解码器
CN111212288B (zh) 视频数据的编解码方法、装置、计算机设备和存储介质
US10856002B2 (en) Method, device and system for method of encoding a sequence of frames in a video stream
US9542611B1 (en) Logo detection for macroblock-based video processing
CN112351282A (zh) 图像数据的传输方法及装置、非易失性存储介质及处理器
KR101247024B1 (ko) 루프 내 전처리 필터링을 이용한 움직임 추정 및 보상 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021618

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant