CN111556227A - 一种视频去噪方法、装置、移动终端和存储介质 - Google Patents

一种视频去噪方法、装置、移动终端和存储介质 Download PDF

Info

Publication number
CN111556227A
CN111556227A CN202010425645.5A CN202010425645A CN111556227A CN 111556227 A CN111556227 A CN 111556227A CN 202010425645 A CN202010425645 A CN 202010425645A CN 111556227 A CN111556227 A CN 111556227A
Authority
CN
China
Prior art keywords
image data
original image
reference image
target
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010425645.5A
Other languages
English (en)
Other versions
CN111556227B (zh
Inventor
杨敏
杜凌霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202010425645.5A priority Critical patent/CN111556227B/zh
Publication of CN111556227A publication Critical patent/CN111556227A/zh
Priority to PCT/CN2021/085280 priority patent/WO2021232965A1/zh
Application granted granted Critical
Publication of CN111556227B publication Critical patent/CN111556227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种视频去噪方法、装置、移动终端和存储介质，该方法包括：获取视频数据中的原始图像数据、参考图像数据，原始图像数据为当前帧待去噪的图像数据，参考图像数据为上一帧已去噪的图像数据；以多种类型的尺度分别将原始图像数据划分为原始图像块、将参考图像数据划分为参考图像块；根据多种类型的尺度下、原始图像块与参考图像块计算原始图像数据与参考图像数据之间的目标运动概率；根据目标运动概率与参考图像数据对原始图像数据进行三维去噪处理，获得目标图像数据。本实施例兼顾了三维去噪处理的性能与效果，在如移动终端等性能受限的情况下，可以实现实时性的三维去噪处理。

Description

一种视频去噪方法、装置、移动终端和存储介质
技术领域
本发明实施例涉及视频处理技术，尤其涉及一种视频去噪方法、装置、移动终端和存储介质。
背景技术
随着移动互联网与移动终端的迅速发展，移动终端中的视频数据已成为人类活动中常用的信息载体，如直播、视频通话等，它们包含着物体的大量信息，成为人们获取外界原始信息的途径之一。
因传感器、传输、存储等因素，目前采集的视频数据多会出现噪声，在暗光的环境下噪声尤其明显，使得用户主观对视频数据的质量评价下降。
其中，噪声可以理解为妨碍人们感觉器官对所接收的信息理解的因素，表现为视频数据中像素点的亮度或色彩随机变动。
因此，通常会对视频数据进行去噪处理(Noise Reduction，NR)，尽可能的保持原始信息完整性(即主要特征)的同时，又能够去除视频数据中无用的信息。
3DNR(3D Noise Reduction，三维去噪)算法常用的去噪处理方法，3DNR考虑了时间和空间信息的特性，单点逐帧进行叠加去噪，即对于第t(t为正整数)帧，累积第1帧至第t-1帧的信息作为噪声抑制的参考。
由于视频数据中各帧在时间轴上是连续的，可以保持细节的清晰度和帧的一致性，与此同时，在相机或者是物体运动较大时容易叠加出伪影(ghost)。
针对伪影，目前通常采用运动估计或者是运动补偿的方法实现伪影消除(Deghost)，如光流法，但是，这些方法计算量大，在移动终端的性能受限的情况下，无法在移动终端中应用。
发明内容
本发明实施例提供一种视频去噪方法、装置、移动终端和存储介质，以解决在性能受限的情况下对视频数据进行3DNR，如何减缓或去除伪影的问题。
第一方面，本发明实施例提供了一种视频去噪方法，包括：
获取视频数据中的原始图像数据、参考图像数据，所述原始图像数据为当前帧待去噪的图像数据，所述参考图像数据为上一帧已去噪的图像数据；
以多种类型的尺度分别将所述原始图像数据划分为原始图像块、将所述参考图像数据划分为参考图像块；
根据多种类型的尺度下、所述原始图像块与所述参考图像块计算所述原始图像数据与参考图像数据之间的目标运动概率；
根据所述目标运动概率与所述参考图像数据对所述原始图像数据进行三维去噪处理，获得目标图像数据。
第二方面，本发明实施例还提供了一种视频去噪装置，包括：
图像数据获取模块，用于获取视频数据中的原始图像数据、参考图像数据，所述原始图像数据为当前帧待去噪的图像数据，所述参考图像数据为上一帧已去噪的图像数据；
图像数据分块模块，用于以多种类型的尺度分别将所述原始图像数据划分为原始图像块、将所述参考图像数据划分为参考图像块；
目标运动概率计算模块，用于根据多种类型的尺度下、所述原始图像块与所述参考图像块计算所述原始图像数据与参考图像数据之间的目标运动概率；
三维去噪处理模块，用于根据所述目标运动概率与所述参考图像数据对所述原始图像数据进行三维去噪处理，获得目标图像数据。
第三方面，本发明实施例还提供了一种移动终端，所述移动终端包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的视频去噪方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的视频去噪方法。
在本实施例中，获取视频数据中的原始图像数据、参考图像数据，原始图像数据为当前帧待去噪的图像数据，参考图像数据为上一帧已去噪的图像数据，以多种类型的尺度分别将原始图像数据划分为原始图像块、将参考图像数据划分为参考图像块，根据多种类型的尺度下、原始图像块与参考图像块计算原始图像数据与参考图像数据之间的目标运动概率，根据目标运动概率与参考图像数据对原始图像数据进行三维去噪处理，获得目标图像数据，一方面，基于多种类型的尺度进行分块，分块的计算量小，可以保证计算速度，另一方面，融合多种类型的尺度的块计算目标运动概率，丰富计算目标运动概率的维度，提高目标运动概率的准确性，准确地判断是否叠加相应的像素点，提高三维去噪处理的质量，减缓了伪影的现象，从而兼顾了三维去噪处理的性能与效果，在如移动终端等性能受限的情况下，可以实现实时性的三维去噪处理。
附图说明
图1为本发明实施例一提供的一种视频去噪方法的流程图；
图2为本发明实施例一提供的一种对视频数据去噪的场景示例图；
图3是本发明实施例二提供的一种视频去噪方法的流程图；
图4是本发明实施例二提供的一种分块处理的示例图；
图5A至图5C是本发明实施例二提供的一种特征区域的示例图；
图6是本发明实施例二提供的一种3DNR叠加处理的示意图；
图7A至图7B是本发明实施例二提供的一种3DNR的效果对比图；
图8为本发明实施例三提供的一种视频去噪装置的结构示意图；
图9为本发明实施例四提供的一种移动终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种视频去噪方法的流程图，本实施例可适用于通过多种类型的尺度对视频数据分块计算单点的运动概率，从而进行3DNR情况，该方法可以由视频去噪装置来执行，该视频去噪装置可以由软件和/或硬件实现，可配置在移动终端中，例如，手机、平板电脑、智能穿戴设备(如智能手表等)，等等，该方法具体包括如下步骤：
S101、获取视频数据中的原始图像数据、参考图像数据。
在本实施例中，所获取视频数据为等待去噪的视频数据，该等待去噪的视频数据一般指在具有实时性的业务场景中所生成、传输或播放的视频数据。
一般而言，在生成该视频数据的移动终端中对该视频数据进行去噪处理，此时，如图2所示，在S201中，开启移动终端的摄像头，在S202中，摄像头采集视频数据。
3DNR是假设视频数据中随机产生的噪声随着时间变化，以函数如下表示：
F(t)＝F+N(t)
其中，F(t)为存在噪声的图像数据，F为原始的图像数据，N(t)是随着时间变化的噪声，这个噪声服从均值为0的高斯分布，根据大数定理，若是将N(t)进行累加，随着时间累加的越多，那么该噪声就约接近于零。
针对3DNR，S202中的视频数据为原始的视频数据，即未经过其他处理(如白平衡、亮度调整等)的视频数据，通常为YUV格式，此时，视频数据带有的噪声最符合均值为0的高斯分布，可以保证3DNR的效果。
当然，若移动终端中的操作***限制，无法获取原始的视频数据，也可以对经其他处理(如白平衡、亮度调整等)的视频数据进行去噪处理，本实施例对此不加以限制。
此外，除了在生成该视频数据的移动终端中对该视频数据进行去噪处理之外，也可以在播放该视频数据的移动终端对该视频数据进行去噪处理，本实施例对此亦不加以限制。
例如，在直播的业务场景中，等待去噪处理的视频数据可以指用于承载直播内容的视频数据，主播用户所登录的移动终端产生视频数据，以及，将该视频数据通过直播平台分发到各个观众用户所登录的设备进行播放，此时，通常在主播用户所登录的移动终端对该视频数据进行去噪处理。
又例如，在视频通话的业务场景中，等待去噪处理的视频数据可以指用于承载通话内容的视频数据，发起通话的用户所登录的移动终端产生视频数据，以及，将该视频数据发送到各个被邀请通话的用户所登录的设备进行播放，此时，通常在发起通话的用户所登录的移动终端对该视频数据进行去噪处理。
又例如，在视频会议的业务场景中，等待去噪处理的视频数据可以指用于承载会议内容的视频数据，正在发言的用户所登录的移动终端产生视频数据，以及，将该视频数据发送到各个参与该会议的用户所登录的设备进行播放，此时，通常正在发言的用户所登录的移动终端对该视频数据进行去噪处理。
除了直播、视频通话等对实时性要求的视频数据之外，等待去噪的视频数据也可以指在实时性要求较低的业务场景中所生成的视频数据，如短视频等，本实施例对此不加以限制。
进一步而言，视频数据包括多帧图像数据，按照生成的顺序依次记为P1、P2、……、Pt-1、Pt、Pt+1、……、Pn，其中，t、n为正整数，t+1＜n，由于视频数据实时生成，因此，n随着视频数据的生成而不断增大，直至视频数据生成完毕。
在本实施例中，依次遍历视频数据中的每帧图像数据进行三维去噪处理，为了便于描述，将当前帧待去噪的图像数据称之为原始图像数据，将上一帧已去噪的图像数据称之为参考图像数据。
例如，如图2所示，在S203中，将当前输入的帧(t Frame)设置为原始图像数据，在S204中，将上一帧(t-1Frame)设置为参考图像数据，辅助对当前输入的帧(t Frame)进行三维去噪处理。
需要说明的是，在遍历视频数据的过程中，对于某一帧图像数据的属性存在变换，即在遍历至该帧图像数据时，该帧图像数据为原始图像数据，在遍历至下一帧图像数据时，该帧图像数据为参考图像数据。
例如，在对Pt进行三维去噪处理时，当前帧待去噪的原始图像数据为Pt，则上一帧已去噪的参考图像数据为Pt+1，在对Pt+1进行三维去噪处理时，当前帧待去噪的原始图像数据为Pt+1，则上一帧已去噪的参考图像数据为Pt。
S102、以多种类型的尺度分别将原始图像数据划分为原始图像块、将参考图像数据划分为参考图像块。
在本实施例中，可以预先设置多种(两种及两种以上)类型的尺度，其中，该类型表示将图像数据划分为多个(两个及两个以上)块(block)的方式，该尺度可以在该类型下，将图像数据为块的参数，例如，某个类型可以为数量，即将图像数据为指定数量(尺度)的块，又例如，某个类型可以为大小(宽高)，即将图像数据为指定大小(尺度)的块，等等。
需要说明的是，在同一种类型下，可以设置一个或多个尺度，例如，对于将图像数据为指定数量的块的类型，该数量可以指8×16、16×32等，对于将图像数据为指定大小的块的类型，该数量可以指5、9等，本实施例对此不加以限制。
在具体实现中，如图2所示，在S203与S204中，以多种类型的尺度将对原始图像数据进行分块处理，即将原始图像数据划分为块，作为原始图像块，以及，以多种类型的尺度对参考图像数据进行分块处理，即将参考图像数据划分为块，作为参考图像块，其中，划分原始图像块的类型及其尺度与划分参考图像块的类型及其尺度相同。
S103、根据多种类型的尺度下、原始图像块与参考图像块计算原始图像数据与参考图像数据之间的目标运动概率。
在不同类型的尺度下划分的原始图像块与参考图像块有所不同，原始图像块与参考图像块之间在相同位置的像素点所表征的运动情况也有所不同，可以分别对比不同类型的尺度下的原始图像块与参考图像块的运动情况，综合评价所有类型的尺度下的原始图像块与参考图像块的运动情况，更加真实地反映出像素点的运动情况，计算原始图像数据与参考图像数据之间在相同位置的像素点的目标运动概率，其中，该目标运动概率表示该像素点处于运动状态的概率。
S104、根据目标运动概率与参考图像数据对原始图像数据进行三维去噪处理，获得目标图像数据。
在本实施例中，如图2所示，在S205中，应用3DNR、使用目标运动概率与参考图像数据对视频数据中的原始图像数据进行三维去噪处理，对于去噪处理之后的视频数据，可以根据业务场景进行后续的处理，本实施例对此不加以限制。
例如，如图2所示，在S206中将三维去噪处理之后的视频数据显示在屏幕，以及，在S207中对去噪处理之后的视频数据进行编码，如按照H.264的格式编码，并封装为FLV(Flash Video，流媒体)格式，等待发送至播放该视频数据的设备。
在本实施例中，获取视频数据中的原始图像数据、参考图像数据，原始图像数据为当前帧待去噪的图像数据，参考图像数据为上一帧已去噪的图像数据，以多种类型的尺度分别将原始图像数据划分为原始图像块、将参考图像数据划分为参考图像块，根据多种类型的尺度下、原始图像块与参考图像块计算原始图像数据与参考图像数据之间的目标运动概率，根据目标运动概率与参考图像数据对原始图像数据进行三维去噪处理，获得目标图像数据，一方面，基于多种类型的尺度进行分块，分块的计算量小，可以保证计算速度，另一方面，融合多种类型的尺度的块计算目标运动概率，丰富计算目标运动概率的维度，提高目标运动概率的准确性，准确地判断是否叠加相应的像素点，提高三维去噪处理的质量，减缓了伪影的现象，从而兼顾了三维去噪处理的性能与效果，在如移动终端等性能受限的情况下，可以实现实时性的三维去噪处理。
实施例二
图3为本发明实施例二提供的一种视频去噪方法的流程图，本实施例以前述实施例为基础，进一步细化了分块处理、计算目标运动概率与3DNR的处理操作，该方法具体包括如下步骤：
S301、获取视频数据中的原始图像数据、参考图像数据。
其中，原始图像数据为当前帧待去噪的图像数据，参考图像数据为上一帧已去噪的图像数据。
S302、针对类型为数量的尺度，确定一个或多个第一目标值。
在本实施例中，以数量作为划分块的方式，即将图像数据(原始图像数据、参考图像数据)划分为指定数量的块(原始图像块、参考图像块)，针对该数量，可以确定一个或多个第一目标值，作为该类型下的尺度。
进一步而言，第一目标值可以以a×b的方式表示，其中，a、b均为正整数，对图像数据分块时，将宽划分为a等分，将高划分为b等分，从而将图像数据划分为a×b个块。
在图像数据的大小恒定的情况下，a×b越大，则划分的块421越小，反之，a×b越小，则划分的块421越大。
例如，如图4所示，以两个不同的a×b对图像数据410分块时，分别得到多个块421与多个块422，块421小于块422。
此外，该第一目标值可以为预先设置的数值，也可以为适配当前视频数据而设置的数值，本实施例对此不加以限制。
在一种适配视频数据的方式中，该可查询视频数据的分辨率，从而设置与分辨率呈正相关关系的数值为第一目标值，使得切分的块大小在适合的范围内，确保块与块之间运动信息的准确性，从而保证计算运动概率的准确性。
所谓正相关，可以指分辨率越大，第一目标值越大，使得划分的块越多，反之，分辨率越小，第一目标值越小，使得划分的块越少。
例如，若视频数据的分辨率为1920×1080，则可以设置16×32、8×16为第一目标值，使得划分的块大小约为120×34、240×68，若视频数据的分辨率为1280×720，则可以设置8×16、4×8为第一目标值，使得划分的块大小约为160×45、320×90。
当然，除了分辨率之外，还可以采用其他参数适配视频数据，例如，基于视频数据的连通区域设置第一目标值，使得第一目标值与连通区域的数量正相关，等等，本实施例对此不加以限制。
S303、将原始图像数据划分为数量为第一目标值的区域，作为原始图像块。
对于每个第一目标值，均可将原始图像数据划分为数量为该第一目标值的区域，并且，该区域的大小相等或相近，则该区域可视为原始图像块。
需要说明的是，在某些情况下，原始图像数据无法均分，此时，可以以第一目标值分别对分辨率的宽、高整除，将整除之后的整数作为每个块的宽、高，并将整除之后的余数分配到每个块的宽、高。
例如，若视频数据的分辨率为1920×1080，第一目标值为16×32、8×16，则将原始图像数据的宽划分为16等分(每个块的宽为120)，将原始图像数据的高划分为32等分(有8个块的高为33、有24个块的高为34)，划分之后的每个块为原始图像块；此外，将原始图像数据的宽划分为8等分(每个块的宽为240)，将原始图像数据的高划分为16等分(有8个块的高为67、有8个块的高为68)，划分之后的每个块为原始图像块。
S304、将参考图像数据划分为数量为第一目标值的区域，作为参考图像块。
对于每个第一目标值，均可将参考图像数据划分为数量为该第一目标值的区域，并且，该区域的大小相等或相近，则该区域可视为参考图像块。
需要说明的是，在某些情况下，参考图像数据无法均分，此时，可以以第一目标值分别对分辨率的宽、高整除，将整除之后的整数作为每个块的宽、高，并将整除之后的余数分配到每个块的宽、高。
S305、针对类型为大小的尺度，依次将视频数据中的每个位置设置为目标位置。
在本实施例中，以大小作为划分块的方式，即从图像数据(原始图像数据、参考图像数据)划分出指定大小的块(原始图像块、参考图像块)，则可以遍历视频数据中的每个像素点所处的位置，依次将每个位置设置为目标位置。
对于该目标位置，可以以(x，y)表示，其中，x表示X坐标，y为Y坐标，对图像数据划分块时，以目标位置作为基准点(如中心点、角点、某条边的中点等)划分出相应的范围(如矩形、圆等)，作为块。
例如，如图4所示，遍历图像数据410中的各个位置作为目标位置，如针对目标位置A，可以以目标位置A作为中心点，划分一个大小为5×5的范围作为块431，如针对目标位置B，可以以目标位置B作为中心点，划分一个大小为5×5的范围作为块432。
S306、在原始图像数据中，依次划分包含目标位置、且大小为第二目标值的区域，作为原始图像块。
对于每个目标位置，均可将原始图像数据划分包含该目标位置且大小为第二目标值的区域，则该区域可视为原始图像块。
其中，第二目标值可以为预先设置的数据，也可以也可以为适配当前视频数据而设置的数值，例如，可查询视频数据的分辨率，从而设置与分辨率呈正相关关系的数值为第二目标值，等等，本实施例对此不加以限制。
需要说明的是，在某些情况下，该区域的范围可能超过原始图像数据的边界，此时，可以以原始图像数据截取该范围，作为原始图像块。
S307、在参考图像数据中，依次划分包含目标位置、且大小为第二目标值的区域，作为参考图像块。
对于每个目标位置，均可将参考图像数据划分包含该目标位置且大小为第二目标值的区域，则该区域可视为参考图像块。
需要说明的是，在某些情况下，该区域的范围可能超过参考图像数据的边界，此时，可以以参考图像数据截取该范围，作为参考图像块。
当然，上述划分块的方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他划分块的方式，本实施例对此不加以限制。另外，除了上述划分划分块的方式外，本领域技术人员还可以根据实际需要采用其它划分块的方式，本实施例对此也不加以限制。
本实施例按照数量、大小的类型对原始图像数据、参考图像数据进行分块处理，通过不同尺度地划分块，使得运动信息的维度更加丰富，提高运动信息的准确性，从而提高后续计算目标运动概率的准确性。
S308、分别计算每种类型的尺度下、原始图像块与参考图像块之间的运动信息。
在本实施例中，可遍历每种类型中的每个尺度，针对同一类型的同一尺度，分别匹配处于相同区域的原始图像块与参考图像块，并计算该原始图像块与该参考图像块之间的运动信息，在原始图像块中每个像素点共同使用该运动信息。
例如，基于数量A(如8×16)划分块，将原始图像数据划分为多个原始图像块A、将参考图像数据划分为多个参考图像块A，则可以使用原始图像块A与参考图像块A计算运动信息A；基于数量B(如16×32)划分块，将原始图像数据划分为多个原始图像块B、将参考图像数据划分为多个参考图像块B，则可以使用原始图像块B与参考图像块B计算运动信息B；基于大小C(如5×5)划分块，将原始图像数据划分为多个原始图像块C、将参考图像数据划分为多个参考图像块C，则可以使用原始图像块C与参考图像块C计算运动信息C；此时，针对原始图像数据中的像素点，积累了运动信息A、运动信息B、运动信息C。
在具体实现中，针对每种类型、每种尺度划分的块，可以计算原始图像块与参考图像块之间的绝对残差和(Sum of Absolute Difference，SAD)，作为运动信息，从而加快计算速度。
对于类型为数量的情况，运动信息可表示为：
Figure BDA0002498551390000111
其中，i表示块(即原始图像块、参考图像块)，m为块中像素点的数量，k表示块中的像素点，F(t)表示原始图像数据、B(t-1)表示参考图像数据。
对于类型为数量的情况，运动信息可表示为：
Figure BDA0002498551390000112
其中，j表示块(即原始图像块、参考图像块)，n*r为块的大小，也表示块中像素点的数量，k表示块中的像素点，F(t)表示原始图像数据、B(t-1)表示参考图像数据。
当然，除了SAD之外，还可以使用其他参数作为运动信息，例如，SATD(Sum ofAbsolute Transformed Difference，Hadamard变换后再绝对值求和)、SSD(Sum ofSquared Difference，差值的平方和)、MAD(Mean Absolute Difference，平均绝对差值)、MSD(Mean Squared Difference，平均平方误差)，等等，本实施例对此不加以限制。
S309、分别基于每种类型的尺度下的运动信息计算原始图像数据与参考图像数据之间处于相同位置的像素点的候选运动概率。
在本实施例中，可以预先设置概率映射函数，该概率映射函数用于将运动信息映射为表征处于运动状态的概率。
以SAD为例，该概率表示为：
Pij＝fj(SADi)
其中，i表示块，j表示划分块的类型及其尺度，P表示处于运动状态的概率，P∈[0，1]，fj(·)表示在该类型及其尺度下的概率映射函数。
示例性地，概率映射函数可以为线性函数，如f(x)＝cx+d，其中，x为运动信息，c、d均为超参数，针对不同的类型、不同的尺度，c、d的值有所不同，当然，概率映射函数也可以为非线性函数，本实施例对此不加以限制。
在一种计算候选运动概率的方式中，若同一类型下存在一种尺度，则可将原始图像数据中每个像素点对应的运动信息代入该概率映射函数中，从而映射得到表征处于运动状态的概率，作为候选运动概率。
在另一种计算候选运动概率的方式中，若同一类型下存在多个尺度，则可计算每个尺度下表征处于运动状态的概率，并去除块效应，再融合不同的概率，从而得到候选运动概率。
在本方式中，S309包括如下步骤：
S3091、分别将多个尺度下的运动信息映射为原始图像数据与参考图像数据之间处于相同位置的像素点的第一中间运动概率。
将原始图像数据中每个像素点对应的运动信息代入概率映射函数中，从而映射得到表征处于运动状态的概率，作为第一中间运动概率。
S3092、针对同一尺度，以至少两个原始图像块中的部分区域组成连通的特征区域。
将图像数据切分成块(原始图像块、参考图像块)会带来块效应，即块包含了不同的物体，不同的物体或处于运动状态、或处于静止状态，但该块中所有像素点会应用同一个表征处于运动状态的概率，对此，本实施例使用重叠的方式减缓或消除块效应。
在具体实现中，可取出至少两个原始图像块中的部分区域，组合成连通的区域，作为特征区域。
所谓连通的区域，可以指该区域中任何两点都可以用完全属于该区域的一条折线连接起来。
在一个示例中，针对两个相邻的原始图像块，取出一半的区域，组成特征区域。
例如，如图5A所示，原始图像块511取下半部分的区域、原始图像块512取上半部分的区域，组成特征区域513。
又例如，如图5B所示，原始图像块521取右半部分的区域、原始图像块522取左半部分的区域，组成特征区域523。
在另一个示例中，针对四个相邻的原始图像块，取出四分之一的区域，组成特征区域。
例如，如图5C所示，原始图像块531取右下部分的区域、原始图像块532取左下部分的区域、原始图像块533取右上部分的区域、原始图像块534取左上部分的区域，组成特征区域535。
当然，上述组合连通区域的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他组合连通区域的方式，例如，在原始图像数据中随机确定一个位置，基于该位置确定一个连通的区域(如以该位置为圆心确定指定半径的圆形区域)，作为特征区域，等等，本发明实施例对此不加以限制。另外，除了上述组合连通区域的方式外，本领域技术人员还可以根据实际需要采用其它组合连通区域的方式，本发明实施例对此也不加以限制。
S3093、针对同一尺度，基于特征区域中所有的第一中间运动概率对特征区域中的像素点计算第二中间运动概率。
在特征区域中的像素点具有至少两个第一中间运动概率，融合这至少两个第一中间运动概率可计算特征区域中的各个像素点表征处于运动状态的概率，作为第二中间运动概率。
在一个示例中，可以通过线性融合的方式计算第二中间运动概率，表示如下：
Figure BDA0002498551390000131
其中，P1k表示第一中间运动概率，其数量为u，wk表示配置给P1k的权重，P2表示第二中间运动概率。
当然，上述计算第二中间运动概率的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他计算第二中间运动概率的方式，本发明实施例对此不加以限制。另外，除了上述计算第二中间运动概率的方式外，本领域技术人员还可以根据实际需要采用其它计算第二中间运动概率的方式，本发明实施例对此也不加以限制。
S3094、针对同一尺度，基于像素点对应的所有第一中间运动概率、第二中间运动概率计算像素点在每个尺度下的第三中间运动概率。
经过重叠之后，原始图像数据中的像素点在同一尺度下具有第一中间运动概率、第二中间运动概率，融合第一中间运动概率、第二中间运动概率可计算该像素点在该尺度下表征处于运动状态的概率，作为第三中间运动概率。
在一个示例中，可以通过线性融合的方式计算第三中间运动概率，表示如下：
Figure BDA0002498551390000141
其中，P0v表示第一中间运动概率、第二中间运动概率，其数量为v，wk表示配置给P0k的权重，P3表示第三中间运动概率。
在另一个示例中，可以直接融合第二中间运动概率，表示如下：
Figure BDA0002498551390000142
其中，P0v表示第一中间运动概率、第二中间运动概率，其数量为v，P3表示第三中间运动概率
当然，上述计算第三中间运动概率的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他计算第三中间运动概率的方式，本发明实施例对此不加以限制。另外，除了上述计算第三中间运动概率的方式外，本领域技术人员还可以根据实际需要采用其它计算第三中间运动概率的方式，本发明实施例对此也不加以限制。
S3095、针对所有尺度，基于像素点对应的所有第三中间运动概率计算像素点的候选运动概率。
原始图像数据中的像素点在不同的尺度下具有多个(两个或两个以上)第三中间运动概率，融合各个第三中间运动概率可计算该像素点在该尺度下表征处于运动状态的概率，作为候选运动概率。
在一个示例中，可以通过线性融合的方式计算候选运动概率，表示如下：
Figure BDA0002498551390000143
其中，P3v表示第三中间运动概率，其数量为v，wk表示配置给P3k的权重，P4表示候选运动概率。
在另一个示例中，可以直接融合第三中间运动概率，表示如下：
Figure BDA0002498551390000144
其中，P3v表示第三中间运动概率，其数量为v，P4表示候选运动概率。
当然，上述计算候选运动概率的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他计算候选运动概率的方式，本发明实施例对此不加以限制。另外，除了上述计算候选运动概率的方式外，本领域技术人员还可以根据实际需要采用其它计算候选运动概率的方式，本发明实施例对此也不加以限制。
此外，对于同一类型下存在多个尺度的情况，为了进一步去除块效应，可对于对候选运动概率进行滤波处理，如均值滤波、中值滤波等。
S310、结合所有类型的尺度下的所有候选运动概率计算原始图像数据与参考图像数据之间处于相同位置的像素点的目标运动概率。
原始图像数据中的像素点在不同的类型下具有多个(两个或两个以上)候选运动概率，融合各个候选运动概率可计算该像素点最终表征处于运动状态的概率，作为目标运动概率。
在一个示例中，可以通过线性融合的方式计算候选运动概率，具体而言，分别对各个类型的尺度下、原始图像数据与参考图像数据之间处于相同位置的像素点对应的候选运动概率配置权重，分别计算候选运动概率与该权重之间的乘积，计算所有乘积之间的和值，作为像素点的目标运动概率，则该线性融合的方式表示如下：
Figure BDA0002498551390000151
其中，P4v表示候选运动概率，其数量(即类型)为l，wk表示配置给P4k的权重，P5表示目标运动概率。
在另一个示例中，可以直接融合候选运动概率，表示如下：
Figure BDA0002498551390000152
其中，P4v表示候选运动概率，其数量(即类型)为l，P5表示目标运动概率。
当然，上述计算目标运动概率的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其他计算目标运动概率的方式，本发明实施例对此不加以限制。另外，除了上述计算目标运动概率的方式外，本领域技术人员还可以根据实际需要采用其它计算目标运动概率的方式，本发明实施例对此也不加以限制。
需要说明的是，在使用直接融合等式计算候选运动概率、目标运动概率时，可能会出现目标运动概率大于1的情况，因此，本实施例可对目标运动概率进行标准化，从而确保目标运动概率合理，使得三维去噪处理正常执行。
在一种标准化的方式中，可将目标运动概率与1进行比较，若目标运动概率大于1，则将目标运动概率设置为1，可以保证值较低的目标运动概率的分布情况，从而提高目标运动概率的准确性。
除了上述标准化的方式之外，还可以采用其他方式进行标准化，例如，min-max标准化(Min-max normalization)、log函数转换、atan函数转换，z-score标准化(zero-menanormalization)、模糊量化法，等等，本实施例对此不加以限制。
S311、将目标运动概率映射为第一混合系数，将第一混合系数配置给参考图像数据。
在本实施例中，可以预先设置系数映射函数，该系数映射函数用于将目标运动概率映射为适于进行3DNR的系数。
将目标运动概率代入该系数映射函数中，将输出的系数设置为第一混合系数，并配置给参考图像数据，其中，该第一混合系数可表示为：
wt＝fe(P5)
其中，wt表示第一混合系数，wt∈[0，1]，fe(·)表示概率映射函数,P5表示目标运动概率。
示例性地，系数映射函数可以为线性函数，如f(x)＝gx+h，其中，x为目标运动概率，g、h均为超参数。
当然，除了线性函数之外，系数映射函数也可以为非线性函数，本实施例对此不加以限制。
S312、基于第一混合系数计算第二混合系数，将第二混合系数配置给原始图像数据。
在本实施例中，第一混合系数与第二混合系数之间具有转换关系，可通过该转换关系计算第二混合系数，并第二混合系数配置给原始图像数据。
例如，可将1减去第一混合系数，即可得到第二混合系数。
S313、在配置第一混合系数的参考图像数据的基础上，叠加配置第二混合系数的原始图像数据，获得目标图像数据。
在本实施例中，在配置第一混合系数、第二混合系数之后，可以叠加参考图像数据与原始图像数据，叠加之后的图像数据为3DNR之后的图像数据，称之为目标图像数据。
此时，3DNR可表示为：
Bt＝Wt*Bt-1+(1-Wt)*Ft
其中，Bt为目标图像数据，wt为第一混合系数，(1-wt)为第二混合系数，Bt-1为参考图像数据，Ft为原始图像数据。
如图6所示，F(m,n；t)表示第t帧图像数据的坐标为(m,n)的像素点，该像素点在图像数据的序列中如箭头所示存在运动，那么在使用普通的3DNR去噪的过程中，该像素点会参考t-1帧图像数据去噪的结果，普通的3DNR表示为：
Bt(m，n)＝Wt(m，n)*Bt-1(m，n)+[1-Wt(m，n)]*Ft(m，n)
其中，t为视频数据当前帧图像数据所对应的时间，Bt-1为第t-1帧图像数据去噪的结果，Ft为视频数据的当前帧图像数据，Bt为当前帧图像数据去噪的结果，Wt(m,n)是通过单个像素点得出的系数，因此，在实际的使用场景中，3DNR如果遇到动态场景很容易叠加出来伪影。
如图7A所示，左边的图像数据701为原始的图像数据，中间的图像数据702为应用普通的3DNR去噪之后的图像数据，右边的图像数据703为应用本实施例的3DNR去噪之后的图像数据。
为便于观察，对图像数据701、图像数据702、图像数据703调整亮度、对比度，分别得到如图7B所示图像数据701＇、图像数据702＇、图像数据703＇。
如图7A与7B所示，图像数据701(图像数据701＇)在箭头方向存在运动的物体，应用普通的3DNR去噪之后，图像数据702(图像数据702＇)在箭头方向出现明显的伪影，而应用本实施例的3DNR去噪之后，图像数据703(图像数据703＇)在上半部分天空的区域保留了去噪效果，同时，在箭头方向对于伪影得到了明显的改善。
在配置Helio A22芯片的移动终端中，应用本实施例的3DNR对视频数据进行去噪处理，可以达到100FPS(Frames Per Second，每秒传输帧数)以上的速度。
其中，Helio A22芯片使用12nm的制程工艺制作，具有四个A53的架构设计(最高主频为2.0GHz)，集成PowerVR图形处理器，屏幕最高支持1600×720分辨率和20：9的比例，目前市面上属于性能较低的处理器。
实施例三
图8为本发明实施例三提供的一种视频去噪装置的结构示意图，该装置具体可以包括如下模块：
图像数据获取模块801，用于获取视频数据中的原始图像数据、参考图像数据，所述原始图像数据为当前帧待去噪的图像数据，所述参考图像数据为上一帧已去噪的图像数据；
图像数据分块模块802，用于以多种类型的尺度分别将所述原始图像数据划分为原始图像块、将所述参考图像数据划分为参考图像块；
目标运动概率计算模块803，用于根据多种类型的尺度下、所述原始图像块与所述参考图像块计算所述原始图像数据与参考图像数据之间的目标运动概率；
三维去噪处理模块804，用于根据所述目标运动概率与所述参考图像数据对所述原始图像数据进行三维去噪处理，获得目标图像数据。
在本发明的一个实施例中，所述图像数据分块模块802包括：
目标值确定子模块，用于针对类型为数量的尺度，确定一个或多个第一目标值；
第一数量划分子模块，用于将所述原始图像数据划分为数量为所述第一目标值的区域，作为原始图像块；
第二数量划分子模块，用于将所述参考图像数据划分为数量为所述第一目标值的区域，作为参考图像块。
在本发明的一个实施例中，所述目标值确定子模块包括：
分辨率查询单元，用于查询所述视频数据的分辨率；
目标值设置单元，用于设置与所述分辨率正相关的第一目标值。
在本发明的一个实施例中，所述图像数据分块模块802包括：
目标位置设置子模块，用于针对类型为大小的尺度，依次将所述视频数据中的每个位置设置为目标位置；
第一大小划分子模块，用于在所述原始图像数据中，依次划分包含所述目标位置、且大小为第二目标值的区域，作为原始图像块；
第二大小划分子模块，用于在所述参考图像数据中，依次划分包含所述目标位置、且大小为第二目标值的区域，作为参考图像块。
在本发明的一个实施例中，所述目标运动概率计算模块803包括：
运动信息计算子模块，用于分别计算每种类型的尺度下、所述原始图像块与所述参考图像块之间的运动信息；
候选运动概率计算子模块，用于分别基于每种类型的尺度下的所述运动信息计算所述原始图像数据与参考图像数据之间处于相同位置的像素点的候选运动概率；
尺度融合计算子模块，用于结合所有类型的尺度下的所有所述候选运动概率计算所述原始图像数据与参考图像数据之间处于相同位置的像素点的目标运动概率。
在本发明的一个实施例中，所述候选运动概率计算子模块包括：
第一中间运动概率计算单元，用于若同一类型下存在多个尺度，则分别将所述多个尺度下的运动信息映射为所述原始图像数据与参考图像数据之间处于相同位置的像素点的第一中间运动概率；
特征区域组成单元，用于针对同一尺度，以至少两个所述原始图像块中的部分区域组成连通的特征区域；
第二中间运动概率计算单元，用于针对同一尺度，基于所述特征区域中所有的第一中间运动概率对所述特征区域中的像素点计算第二中间运动概率；
第三中间运动概率计算单元，用于针对同一尺度，基于所述像素点对应的所有第一中间运动概率、第二中间运动概率计算所述像素点在每个尺度下的第三中间运动概率；
概率融合计算单元，用于针对所有尺度，基于所述像素点对应的所有第三中间运动概率计算所述像素点的候选运动概率。
在本发明的一个实施例中，所述候选运动概率计算子模块还包括：
滤波处理单元，用于对所述候选运动概率进行滤波处理。
在本发明的一个实施例中，所述尺度融合计算子模块包括：
权重配置单元，用于分别对各个类型的尺度下、所述原始图像数据与参考图像数据之间处于相同位置的像素点对应的所述候选运动概率配置权重；
乘积计算单元，用于分别计算所述候选运动概率与所述权重之间的乘积；
乘积和计算单元，用于计算所有所述乘积之间的和值，作为所述像素点的目标运动概率。
在本发明的一个实施例中，所述尺度融合计算子模块还包括：
标准化处理单元，用于若所述目标运动概率大于1，则将所述目标运动概率设置为1。
在本发明的一个实施例中，所述三维去噪处理模块804包括：
第一混合系数映射子模块，用于将所述目标运动概率映射为第一混合系数；
第一混合系数配置子模块，用于将所述第一混合系数配置给参考图像数据；
第二混合系数计算子模块，用于基于所述第一混合系数计算第二混合系数；
第二混合系数配置子模块，用于将所述第二混合系数配置给原始图像数据；
图像数据叠加子模块，用于在配置所述第一混合系数的参考图像数据的基础上，叠加配置所述第二混合系数的原始图像数据，获得目标图像数据。
本发明实施例所提供的视频去噪装置可执行本发明任意实施例所提供的视频去噪方法，具备执行方法相应的功能模块和有益效果。
实施例四
图9为本发明实施例四提供的一种移动终端的结构示意图。如图9所示，该移动终端包括处理器900、存储器901、通信模块902、输入装置903和输出装置904；移动终端中处理器900的数量可以是一个或多个，图9中以一个处理器900为例；移动终端中的处理器900、存储器901、通信模块902、输入装置903和输出装置904可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器901作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的视频去噪方法对应的模块(例如，如图8所示的视频去噪装置中的图像数据获取模块801、图像数据分块模块802、目标运动概率计算模块803与三维去噪处理模块804)。处理器900通过运行存储在存储器901中的软件程序、指令以及模块，从而执行移动终端的各种功能应用以及数据处理，即实现上述的视频去噪方法。
存储器901可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器901可进一步包括相对于处理器900远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块902，用于与显示屏建立连接，并实现与显示屏的数据交互。
输入装置903可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。
输出装置904可以包括扬声器等音频设备。
需要说明的是，输入装置903和输出装置904的具体组成可以根据实际情况设定。
处理器900通过运行存储在存储器901中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的电子白板的连接节点控制方法。
本实施例提供的移动终端，可执行本发明任一实施例提供的视频去噪方法，具体相应的功能和有益效果。
实施例五
本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种视频去噪方法，该方法包括：
获取视频数据中的原始图像数据、参考图像数据，所述原始图像数据为当前帧待去噪的图像数据，所述参考图像数据为上一帧已去噪的图像数据；
以多种类型的尺度分别将所述原始图像数据划分为原始图像块、将所述参考图像数据划分为参考图像块；
根据多种类型的尺度下、所述原始图像块与所述参考图像块计算所述原始图像数据与参考图像数据之间的目标运动概率；
根据所述目标运动概率与所述参考图像数据对所述原始图像数据进行三维去噪处理，获得目标图像数据。
当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的视频去噪方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述视频去噪装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种视频去噪方法，其特征在于，包括：
获取视频数据中的原始图像数据、参考图像数据，所述原始图像数据为当前帧待去噪的图像数据，所述参考图像数据为上一帧已去噪的图像数据；
以多种类型的尺度分别将所述原始图像数据划分为原始图像块、将所述参考图像数据划分为参考图像块；
根据多种类型的尺度下、所述原始图像块与所述参考图像块计算所述原始图像数据与参考图像数据之间的目标运动概率；
根据所述目标运动概率与所述参考图像数据对所述原始图像数据进行三维去噪处理，获得目标图像数据。
2.根据权利要求1所述的方法，其特征在于，所述以多种类型的尺度分别将所述原始图像数据划分为原始图像块、将所述参考图像数据划分为参考图像块，包括：
针对类型为数量的尺度，确定一个或多个第一目标值；
将所述原始图像数据划分为数量为所述第一目标值的区域，作为原始图像块；
将所述参考图像数据划分为数量为所述第一目标值的区域，作为参考图像块。
3.根据权利要求2所述的方法，其特征在于，所述确定一个或多个第一目标值，包括：
查询所述视频数据的分辨率；
设置与所述分辨率正相关的第一目标值。
4.根据权利要求1所述的方法，其特征在于，所述以多种类型的尺度分别将所述原始图像数据划分为原始图像块、将所述参考图像数据划分为参考图像块，包括：
针对类型为大小的尺度，依次将所述视频数据中的每个位置设置为目标位置；
在所述原始图像数据中，依次划分包含所述目标位置、且大小为第二目标值的区域，作为原始图像块；
在所述参考图像数据中，依次划分包含所述目标位置、且大小为第二目标值的区域，作为参考图像块。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据多种类型的尺度下、所述原始图像块与所述参考图像块计算所述原始图像数据与参考图像数据之间的目标运动概率，包括：
分别计算每种类型的尺度下、所述原始图像块与所述参考图像块之间的运动信息；
分别基于每种类型的尺度下的所述运动信息计算所述原始图像数据与参考图像数据之间处于相同位置的像素点的候选运动概率；
结合所有类型的尺度下的所有所述候选运动概率计算所述原始图像数据与参考图像数据之间处于相同位置的像素点的目标运动概率。
6.根据权利要求5所述的方法，其特征在于，所述分别基于每种类型的尺度下的所述运动信息计算所述原始图像数据与参考图像数据之间处于相同位置的像素点的候选运动概率，包括：
若同一类型下存在多个尺度，则分别将所述多个尺度下的运动信息映射为所述原始图像数据与参考图像数据之间处于相同位置的像素点的第一中间运动概率；
针对同一尺度，以至少两个所述原始图像块中的部分区域组成连通的特征区域；
针对同一尺度，基于所述特征区域中所有的第一中间运动概率对所述特征区域中的像素点计算第二中间运动概率；
针对同一尺度，基于所述像素点对应的所有第一中间运动概率、第二中间运动概率计算所述像素点在每个尺度下的第三中间运动概率；
针对所有尺度，基于所述像素点对应的所有第三中间运动概率计算所述像素点的候选运动概率。
7.根据权利要求6所述的方法，其特征在于，所述分别基于每种类型的尺度下的所述运动信息计算所述原始图像数据与参考图像数据之间处于相同位置的像素点的候选运动概率，还包括：
对所述候选运动概率进行滤波处理。
8.根据权利要求5所述的方法，其特征在于，所述结合所有类型的尺度下的所有所述候选运动概率计算所述原始图像数据与参考图像数据之间处于相同位置的像素点的目标运动概率，包括：
分别对各个类型的尺度下、所述原始图像数据与参考图像数据之间处于相同位置的像素点对应的所述候选运动概率配置权重；
分别计算所述候选运动概率与所述权重之间的乘积；
计算所有所述乘积之间的和值，作为所述像素点的目标运动概率。
9.根据权利要求5所述的方法，其特征在于，所述根据多种类型的尺度下、所述原始图像块与所述参考图像块计算所述原始图像数据与参考图像数据之间的目标运动概率，还包括：
若所述目标运动概率大于1，则将所述目标运动概率设置为1。
10.根据权利要求1或2或3或4或6或7或8或9所述的方法，其特征在于，所述根据所述目标运动概率与所述参考图像数据对所述原始图像数据进行三维去噪处理，获得目标图像数据，包括：
将所述目标运动概率映射为第一混合系数，将所述第一混合系数配置给参考图像数据；
基于所述第一混合系数计算第二混合系数，将所述第二混合系数配置给原始图像数据；
在配置所述第一混合系数的参考图像数据的基础上，叠加配置所述第二混合系数的原始图像数据，获得目标图像数据。
11.一种视频去噪装置，其特征在于，包括：
图像数据获取模块，用于获取视频数据中的原始图像数据、参考图像数据，所述原始图像数据为当前帧待去噪的图像数据，所述参考图像数据为上一帧已去噪的图像数据；
图像数据分块模块，用于以多种类型的尺度分别将所述原始图像数据划分为原始图像块、将所述参考图像数据划分为参考图像块；
目标运动概率计算模块，用于根据多种类型的尺度下、所述原始图像块与所述参考图像块计算所述原始图像数据与参考图像数据之间的目标运动概率；
三维去噪处理模块，用于根据所述目标运动概率与所述参考图像数据对所述原始图像数据进行三维去噪处理，获得目标图像数据。
12.一种移动终端，其特征在于，所述移动终端包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的视频去噪方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-10中任一所述的视频去噪方法。
CN202010425645.5A 2020-05-19 2020-05-19 一种视频去噪方法、装置、移动终端和存储介质 Active CN111556227B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010425645.5A CN111556227B (zh) 2020-05-19 2020-05-19 一种视频去噪方法、装置、移动终端和存储介质
PCT/CN2021/085280 WO2021232965A1 (zh) 2020-05-19 2021-04-02 视频去噪方法、装置、移动终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010425645.5A CN111556227B (zh) 2020-05-19 2020-05-19 一种视频去噪方法、装置、移动终端和存储介质

Publications (2)

Publication Number Publication Date
CN111556227A true CN111556227A (zh) 2020-08-18
CN111556227B CN111556227B (zh) 2022-04-15

Family

ID=72002016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010425645.5A Active CN111556227B (zh) 2020-05-19 2020-05-19 一种视频去噪方法、装置、移动终端和存储介质

Country Status (2)

Country Link
CN (1) CN111556227B (zh)
WO (1) WO2021232965A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021232965A1 (zh) * 2020-05-19 2021-11-25 百果园技术(新加坡)有限公司 视频去噪方法、装置、移动终端和存储介质
WO2022088022A1 (zh) * 2020-10-30 2022-05-05 深圳市大疆创新科技有限公司 三维图像处理方法、装置、可移动平台及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132714B (zh) * 2023-04-17 2023-06-30 深圳市路通网络技术有限公司 一种用于网络电视***的视频数据传输方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080204600A1 (en) * 2007-02-23 2008-08-28 Ning Xu System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
CN101980284A (zh) * 2010-10-26 2011-02-23 北京理工大学 基于两尺度稀疏表示的彩色图像降噪方法
CN102693426A (zh) * 2012-05-21 2012-09-26 清华大学深圳研究生院 一种图像显著区域检测方法
CN104680483A (zh) * 2013-11-25 2015-06-03 浙江大华技术股份有限公司 图像的噪声估计方法、视频图像去噪方法及装置
CN106412385A (zh) * 2016-10-17 2017-02-15 湖南国科微电子股份有限公司 一种视频图像3d降噪方法及装置
CN106803865A (zh) * 2016-12-23 2017-06-06 中国科学院自动化研究所 视频时域的去噪方法及***
US20170345131A1 (en) * 2016-05-30 2017-11-30 Novatek Microelectronics Corp. Method and device for image noise estimation and image capture apparatus
CN107437238A (zh) * 2016-05-25 2017-12-05 上海联影医疗科技有限公司 一种图像分块自适应递归降噪方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539895B (zh) * 2020-04-30 2023-04-18 广州市百果园信息技术有限公司 一种视频去噪方法、装置、移动终端和存储介质
CN111556227B (zh) * 2020-05-19 2022-04-15 广州市百果园信息技术有限公司 一种视频去噪方法、装置、移动终端和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080204600A1 (en) * 2007-02-23 2008-08-28 Ning Xu System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
CN101262559A (zh) * 2008-03-28 2008-09-10 北京中星微电子有限公司 一种序列图像噪声消除的方法及装置
CN101980284A (zh) * 2010-10-26 2011-02-23 北京理工大学 基于两尺度稀疏表示的彩色图像降噪方法
CN102693426A (zh) * 2012-05-21 2012-09-26 清华大学深圳研究生院 一种图像显著区域检测方法
CN104680483A (zh) * 2013-11-25 2015-06-03 浙江大华技术股份有限公司 图像的噪声估计方法、视频图像去噪方法及装置
CN107437238A (zh) * 2016-05-25 2017-12-05 上海联影医疗科技有限公司 一种图像分块自适应递归降噪方法及装置
US20170345131A1 (en) * 2016-05-30 2017-11-30 Novatek Microelectronics Corp. Method and device for image noise estimation and image capture apparatus
CN106412385A (zh) * 2016-10-17 2017-02-15 湖南国科微电子股份有限公司 一种视频图像3d降噪方法及装置
CN106803865A (zh) * 2016-12-23 2017-06-06 中国科学院自动化研究所 视频时域的去噪方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021232965A1 (zh) * 2020-05-19 2021-11-25 百果园技术(新加坡)有限公司 视频去噪方法、装置、移动终端和存储介质
WO2022088022A1 (zh) * 2020-10-30 2022-05-05 深圳市大疆创新科技有限公司 三维图像处理方法、装置、可移动平台及存储介质

Also Published As

Publication number Publication date
WO2021232965A1 (zh) 2021-11-25
CN111556227B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN111556227B (zh) 一种视频去噪方法、装置、移动终端和存储介质
Li et al. Multi-scale single image dehazing using Laplacian and Gaussian pyramids
JP4644669B2 (ja) マルチビュー画像の生成
US11127117B2 (en) Information processing method, information processing apparatus, and recording medium
CN107316286B (zh) 一种图像中雨雾同步合成、去除的方法和装置
CN111918095B (zh) 一种暗光增强方法、装置、移动终端和存储介质
CN111899197B (zh) 一种图像增亮去噪方法、装置、移动终端和存储介质
CN111539895B (zh) 一种视频去噪方法、装置、移动终端和存储介质
JP5225313B2 (ja) 画像生成装置、画像生成方法、及びプログラム
US20130279799A1 (en) Image processing device, image processing method, and image processing program
CN111614867A (zh) 一种视频去噪方法、装置、移动终端和存储介质
CN106709890B (zh) 用于低照度视频图像处理的方法及装置
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
CN112053417A (zh) 图像处理方法、装置和***以及计算机可读存储介质
CN110866882A (zh) 基于深度置信度的分层联合双边滤波深度图修复算法
CN111914938A (zh) 一种基于全卷积二分支网络的图像属性分类识别方法
CN115170637A (zh) 虚拟视角图像构建方法及装置、控制设备和可读存储介质
JP2010181951A (ja) 画像処理装置および画像処理プログラム
Huang et al. Image dehazing based on robust sparse representation
CN112435173A (zh) 一种图像处理和直播方法、装置、设备和存储介质
CN111915528B (zh) 一种图像增亮方法、装置、移动终端和存储介质
CN113256484B (zh) 一种对图像进行风格化处理的方法及装置
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN116208733A (zh) 视频会议交互的方法和装置
Kim et al. Real-time human segmentation from RGB-D video sequence based on adaptive geodesic distance computation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221208

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 5-13 / F, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou, Guangdong 510000

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right