CN104244015B - 用于移除视频数据中的编码伪影的方法和*** - Google Patents
用于移除视频数据中的编码伪影的方法和*** Download PDFInfo
- Publication number
- CN104244015B CN104244015B CN201410240571.2A CN201410240571A CN104244015B CN 104244015 B CN104244015 B CN 104244015B CN 201410240571 A CN201410240571 A CN 201410240571A CN 104244015 B CN104244015 B CN 104244015B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- pixel
- edge
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 51
- 230000002688 persistence Effects 0.000 claims abstract description 41
- 230000003044 adaptive effect Effects 0.000 claims abstract description 17
- 230000006835 compression Effects 0.000 claims abstract description 16
- 238000007906 compression Methods 0.000 claims abstract description 16
- 230000001186 cumulative effect Effects 0.000 claims abstract description 16
- 238000012805 post-processing Methods 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 11
- 238000013139 quantization Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims 4
- 230000000149 penetrating effect Effects 0.000 claims 1
- 235000015170 shellfish Nutrition 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 241000255925 Diptera Species 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007620 mathematical function Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000002045 lasting effect Effects 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供移除视频数据中的编码伪影的自适应滤波机制。方法包括通过处理器和/或硬件引擎在视频序列的解码或与解码相关联的后处理期间基于预定阈值确定视频序列的视频帧的边缘像素和平坦像素，以及量化视频帧的、其边缘周围的像素的空间相关性，以估计振铃伪影的强度以及其跨视频帧和其跨视频序列的视频帧的空间和时间持久性。方法还包括对视频帧的边缘周围的像素进行自适应地和空间地滤波、对视频帧进行自适应地和时间地滤波，以及将自适应空间滤波和自适应时间滤波的输出进行混合以生成具有经抑制的下列项的输出：振铃伪影、其空间和时间持久性以及来源于其中的压缩的累积效应的伪影。
Description
技术领域
本公开总地涉及视频处理，并且更具体地，涉及移除视频数据中的编码伪影(artifact)的自适应滤波机制。
背景技术
对具有视频处理能力的数据处理设备(例如膝上型计算机、移动设备)的用户体验可依赖于在其上的视频回放的质量。视频编码技术可能产生数字伪影，其基于诸如所选择的比特率的因素而令人不快地变化。因此，回放内容可能遭受在各种比特率上令人不快的数字伪影的组合的影响。因为还可在大的显示单元(例如高清电视(HDTV)机的显示单元)上观看视频内容，所以前述伪影甚至可能会更加容易察觉并且令人不快。特别是，视频帧上的对象的边缘附近的振铃(ringing)伪影和蚊式噪声伪影可能由于其存在于对象的边界附近而令人不快。
发明内容
公开了移除视频数据中的编码伪影的自适应滤波机制的方法、设备和/或***。
在一个方面，方法包括：通过数据处理设备的可通信地耦连到存储器的处理器和/或硬件引擎在视频序列的解码或与解码相关联的后处理期间基于预定阈值确定视频序列的视频帧的边缘像素和平坦像素。边缘像素与视频帧的一个或多个边缘相关联，在所述边缘周围存在高于其阈值的强度(intensity)级别的改变，并且平坦像素与视频帧的一个或多个区域相关联，在所述区域周围强度级别的改变低于阈值。
方法还包括通过处理器和/或硬件引擎量化视频帧的、一个或多个边缘周围的像素的空间相关性，以基于所确定的边缘像素和平坦像素以及解码的原始输出来估计其中的振铃伪影的强度、振铃伪影在视频帧内的持久性(persistence)以及其跨视频帧和视频序列的另一个视频帧的时间持久性。进一步地，方法包括通过边缘保留滤波器对视频帧的一个或多个边缘周围的像素进行自适应地和空间地滤波，所述边缘保留滤波器通过在处理器和/或硬件引擎上执行指令来实现，所述滤波基于与视频序列相关联的元数据、所估计的振铃伪影的强度、振铃伪影在视频帧内的持久性以及振铃伪影跨视频帧和另一个视频帧的时间持久性。
再进一步地，方法包括通过处理器和/或硬件引擎对视频帧进行自适应地和时间地滤波以减轻来源于视频序列的编码期间的压缩的累积效应的伪影，以及通过处理器和/或硬件引擎将自适应空间滤波和自适应时间滤波的输出进行混合以生成具有经抑制的下列项的输出：振铃伪影、其空间和时间持久性以及来源于其中的压缩的累积效应的伪影。
在另一方面，数据处理设备包括存储器和通信地耦连到存储器的处理器。处理器配置为执行指令以在视频序列的解码或与解码相关联的后处理期间基于预定阈值确定视频序列的视频帧的边缘像素和平坦像素。边缘像素与视频帧的一个或多个边缘相关联，在所述边缘周围存在高于其阈值的强度级别的改变，并且平坦像素与视频帧的一个或多个区域相关联，在所述区域周围强度级别的改变低于阈值。
处理器还配置为执行指令以量化视频帧的、一个或多个边缘周围的像素的空间相关性，以基于所确定的边缘像素和平坦像素以及解码的原始输出来估计其中的振铃伪影的强度、振铃伪影在视频帧内的持久性以及其跨视频帧和视频序列的另一个视频帧的时间持久性。进一步地，处理器配置为执行指令以通过边缘保留滤波器对视频帧的一个或多个边缘周围的像素进行自适应地和空间地滤波，所述滤波基于与视频序列相关联的元数据、所估计的振铃伪影的强度、振铃伪影在视频帧内的持久性以及振铃伪影跨视频帧和另一个视频帧的时间持久性。
再进一步地，处理器配置为执行指令以对视频帧进行自适应地和时间地滤波以减轻来源于视频序列的编码期间的压缩的累积效应的伪影，以及将自适应空间滤波和自适应时间滤波的输出进行混合以生成具有经抑制的下列项的输出：振铃伪影、其空间和时间持久性以及来源于其中的压缩的累积效应的伪影。
在又一方面，***包括配置为生成被编码为视频序列的视频数据的数据源，以及可通信地耦连到数据源的硬件引擎和/或客户端设备。硬件引擎和/或客户端设备配置为在视频序列的解码或与解码相关联的后处理期间基于预定阈值确定视频序列的视频帧的边缘像素和平坦像素。边缘像素与视频帧的一个或多个边缘相关联，在所述边缘周围存在高于其阈值的强度级别的改变，并且平坦像素与视频帧的一个或多个区域相关联，在所述区域周围强度级别的改变低于阈值。
硬件引擎和/或客户端设备还配置为量化视频帧的、一个或多个边缘周围的像素的空间相关性，以基于所确定的边缘像素和平坦像素以及解码的原始输出来估计其中的振铃伪影的强度、振铃伪影在视频帧内的持久性以及其跨视频帧和视频序列的另一个视频帧的时间持久性。硬件引擎和/或客户端设备进一步配置为通过边缘保留滤波器对视频帧的一个或多个边缘周围的像素进行自适应地和空间地滤波，所述滤波基于与视频序列相关联的元数据、所估计的振铃伪影的强度、振铃伪影在视频帧内的持久性以及振铃伪影跨视频帧和另一个视频帧的时间持久性。
再进一步地，硬件引擎和/或客户端设备配置为对视频帧进行自适应地和时间地滤波以减轻来源于视频序列的编码期间的压缩的累积效应的伪影，以及将自适应空间滤波和自适应时间滤波的输出进行混合以生成具有经抑制的下列项的输出：振铃伪影、其空间和时间持久性以及来源于其中的压缩的累积效应的伪影。
本文所公开的方法和***可以以用于达到各方面的任何手段加以实现，并且可以以具体化指令集的非暂时性机器可读介质的形式加以执行，所述指令集当由机器所执行时使机器实施本文所公开的操作中的任何操作。
其他特征根据附图和下面的详细描述将是显而易见的。
附图说明
本发明的实施例以示例而非限制的方式示出在附图的图中，其中相似的参考指示类似的元件，并且其中：
图1是根据一个或多个实施例的视频***的示意图。
图2是简化的视频帧中的示范性边缘的示意图。
图3是根据一个或多个实施例的、为加宽与视频帧相关联的边缘的轮廓而对其边缘像素周围的视频帧的像素进行标记的示意图。
图4是在图1的视频***的客户端设备上执行的后处理引擎的实现方案的示意图。
图5是根据一个或多个实施例的、详述移除图1的视频数据中的编码伪影的自适应滤波机制中所涉及的操作的流程图。
图6是根据一个或多个实施例的、详述移除图1的视频数据中的编码伪影的自适应滤波机制中所涉及的操作的过程流程图。
所呈现的实施例的其他特征根据附图和下面的详细描述将是显而易见的。
具体实施方式
可以使用如下文所描述的示范性实施例来提供移除视频数据中的编码伪影的自适应滤波机制的方法、设备和/或***。虽然所呈现的实施例已参照具体的示范性实施例进行描述，但是明显的是，可以对这些实施例做出各种修改和改变而不脱离各实施例的较宽精神和范围。
图1是根据一个或多个实施例的视频***100的示意图。在一个或多个实施例中，视频***100可包括服务器102，其(例如通过计算机网络106)可通信地耦连到客户端设备104。在一个或多个实施例中，服务器102(或数据源)可配置为生成被编码为视频序列并被传送到客户端设备104的视频数据。在一个或多个实施例中，所传送的视频数据可在客户端设备104处被解码并在与其相关联的显示单元120上被渲染。在一个或多个实施例中，客户端设备104可以是台式计算机、膝上型计算机、笔记本计算机、上网本、平板电脑或诸如移动电话的移动设备。其他形式的客户端设备104在本文所讨论的示例性实施例的范围内。在替代的示范性实施例中，服务器102和客户端设备104可以是同一数据处理设备。
在一个或多个实施例中，客户端设备104可包括处理器108(例如中央处理单元(CPU)、图形处理单元(GPU))，其可通信地耦连到存储器110(例如易失性存储器和/或非易失性存储器)；存储器110可包括可通过处理器108寻址的存储位置。在一个或多个实施例中，处理器108可在其上执行解码器引擎112(例如指令集)以解码所接收的视频数据(例如视频数据116)，以使能其在显示单元120上的渲染；显示单元120在图1中被示出为与处理器108接合。图1还将解码器引擎112示出为存储在存储器110中以通过处理器108加以执行；此外，图1将视频数据116示出为存储在存储器110(例如易失性存储器)中。
在一个或多个实施例中，处理器108还可在其上执行后处理引擎130(以将解码器引擎112的输出应用到其的方式也被示出为存储器110的一部分)。在一个或多个实施例中，后处理引擎130可处理解码器引擎112的输出(例如视频数据116)以抑制/减轻其中与编码相关的振铃/蚊式噪声伪影，如下文将讨论的。在一个或多个替代的实施例中，后处理引擎130可以是解码器引擎112的一部分。应该注意，视频***100可能要求实时处理以抑制/减轻前述伪影。因此，虽然本文所讨论的示例性实施例可优先针对于解决这类要求，但是更多运算量的解决方案也在其范围内。
在一个或多个实施例中，视频数据116可包括(例如通过处理器108)被扫描以保留其边缘的若干视频帧(例如视频帧1221-N)。在一个或多个实施例中，边缘可以是视频帧1221-N的在其周围存在高于阈值(例如存储在存储器110中的阈值172)的强度级别的改变的点。图2示出了简化的视频帧1221-N中的边缘202的示例。在一个或多个实施例中，可扫描每个视频帧1221-N以标识其与预期的伪影表现相关联的区域并丢弃其他区域。换句话说，在一个或多个实施例中，可以保留视频数据116的边缘。
在一个示范性实现方案中，可以利用索贝尔(Sobel)算子来计算视频帧1221-N的强度级别函数的近似梯度，作为上文所讨论的边缘检测的一部分。索贝尔算子对本领域技术人员来说是已知的；因此，与其相关联的详细讨论已出于便利和简洁的缘故而略过。近似梯度的其他方法在本文所讨论的示例性实施例的范围内。
视频压缩/编码方法可使伪影在视频数据116的渲染期间出现，其基于所选择的比特率而令人不快地变化。视频帧1221-N中强边缘对比平坦背景可能导致振铃伪影的出现。因此，在一个或多个实施例中，上文所讨论的过程可标识其中振铃伪影可能出现的视频帧1221-N的区域并丢弃所有其他区域，从而消除误报的可能性。
在一个或多个实施例中，基于上文所讨论的边缘计算，可依据与像素相关联的强度级别是否超过在前像素的强度级别阈值级别来将视频帧1221-N的像素分类为边缘像素和平坦像素。在一个或多个实施例中，对于每个边缘像素，可(例如通过处理器108)将所述边缘像素周边的像素也标记为边缘像素。因此，在一个或多个实施例中，视频帧1221-N内的边缘轮廓可被加宽。例如，就视频帧1221-N的中间部分中的像素来说，边缘轮廓可以是3像素宽。图3示出了示范性视频帧1221-N内的前述标记。应该注意，本文所描述的边缘加宽过程还可基于与视频序列相关联的元数据(例如显示单元120的大小)来调适(adapt)。
在一个或多个实施例中，后处理引擎130还可具有与在其中所实现的极差分析相关联的指令。在一个或多个实施例中，可针对视频帧1221-N的每个子块(例如8X8块)将极差计算为其内像素的强度值的最大和最小值之间的差。在一个或多个实施例中，可随后将极差与块的像素基于其被标记为平坦像素和边缘像素的(例如预设和基于实验所确定的)阈值进行比较。例如，如果所计算的极差小于阈值，则可将块的所有像素标记为平坦像素。如果所计算的极差大于阈值，则可将块的所有像素标记为边缘像素。
在一个或多个实施例中，可实施极差分析以通过减少误报和/或漏报的方式来使边缘检测过程达到绝无错误的程度。现在，在一个或多个实施例中，可针对视频帧1221-N的每个子块计算平坦像素百分比和边缘像素百分比。然后，在一个或多个实施例中，如果子块内的平坦像素百分比高于阈值(例如90％)，则可以保留子块并且不对其像素进行滤波。这么做可避免对视频帧1221-N的具有发生振铃伪影的低概率的平坦区进行滤波。在一个或多个实施例中，如果子块内的边缘像素百分比高于另一个阈值(例如40％)，则也可以保留子块并且不对其像素进行滤波。这么做可避免对视频帧1221-N的高度密集的边缘区进行滤波。在一个或多个实施例中，可将排除所保留的像素以外的像素分类为候选像素用于滤波。
在一个或多个实施例中，可随后基于对候选像素进行分析来量化可能的振铃伪影的强度和其持久性。在一个或多个实施例中，可通过视频帧1221-N的、“边缘”(例如边缘像素)周围的子块之间的归一化相关性来计算振铃的强度。此外，在一个或多个实施例中，计算考虑了由于空间相关性的持久性的振铃强度的修改。另外，在一个或多个实施例中，可跨多个视频帧1221-N跟踪振铃的时间持久性。
在一个或多个实施例中，跨视频帧1221-N的像素的空间相关性和其持久性可使能视频帧1221-N的与可能的振铃伪影相关联的区域(或像素)的标识以及对其强度进行量化。换句话说，可量化两个事物：跨视频帧1221-N的像素和跨视频帧1221-N的相关性的强度和其持久性。应该注意，可依据数学函数来量化视频帧1221-N之间的时间持久性和相关性。然而，考虑到其中涉及本文所讨论的概念的实现方案场景的实时性质，依据数学函数的时间相关性计算可能是运算量大和/或无法可靠实行的。不过，涉及这类数学函数的实现方案在本文所讨论的示例性实施例的范围内。
在一个或多个实施例中，可因此估计诸如本底噪声的参数。例如，本底噪声可在边缘像素处是低的并且在视频帧1221-N的中间部分中是高的。在一个或多个实施例中，可通过边缘保留滤波器(例如双边滤波器)对边缘周围的像素(或候选像素)进行滤波以移除振铃伪影。在一个或多个实施例中，还可采用时间滤波来移除来源于视频数据116的编码期间的压缩的累积效应的伪影(例如蚊式噪声伪影)。在一个或多个实施例中，可随后将视频帧1221-N的经滤波的像素与其未滤波的像素进行组合以生成最终输出，所述最终输出中具有减少的振铃/蚊式噪声伪影。
图4示出了根据一个或多个实施例的后处理引擎130的实现方案。在一个或多个实施例中，后处理引擎130可配置为接收解码器引擎112的输出(例如原始视频数据116)并处理所述输出以生成最终输出(例如输出402)，所述最终输出中具有减少的振铃/蚊式噪声伪影。在一个或多个实施例中，后处理器引擎130可包括配置为实施上文所讨论的边缘检测的边缘检测引擎404；边缘检测引擎404的输出可随后被馈送到分析引擎406，该分析引擎406配置为实施上文所讨论的边缘分析以生成视频帧1221-N的边缘像素和平坦像素。在一个或多个实施例中，可通过空间地以及时间地执行滤波器引擎408来对边缘周围的像素进行自适应地滤波，所述滤波器引擎408以来自解码器引擎112的元数据410(例如编码期间的量化参数(QP)、编码类型)作为其参考输入。
应该注意，如本文所讨论的元数据410可以是在一个或多个级别上的信息，其被适当地利用于本文所讨论的调适。在高级别上，元数据410可以是显示单元120的类型；与在小的显示单元120中相比，伪影可在大的显示单元120或HDTV机/4KTV机的显示单元120中出现更多。另外，元数据410可以是基于诸如帧速率、帧大小和比特率和/或编解码器类型的参数的视频数据116的分类器(例如低比特率，高比特率)。在较低级别上，元数据410可以是与解码器引擎112相关联的平均量化级别和/或类似物的参数。前述量化级别可理解为在视频帧1221-N级别上的调适因子。在最低级别上，可利用(例如通过分析引擎406的)视频像素分析来对滤波进行调适，以高级别元数据410作为参考。
在一个或多个实施例中，可随后(例如通过组合引擎412)将分析引擎406和滤波器引擎408的输出进行组合以生成输出402。在一个或多个实施例中，可通过边缘保留滤波器来实现滤波器引擎408的空间组件。边缘保留滤波器的示例是双边滤波器，它的输出可一般表示为：
用语言表达就是，对于输入视频帧1221-N I，针对像素p的输出BF[I]p可表达为示范性等式(1)。此处，σs和σr分别是空间偏差和辐射度偏差；Gσs是与空间位置相关联的高斯函数，并且Gσr是与像素强度(极差)相关联的高斯函数；并且归一化因子Wp给定为：
归一化因子可确保针对所有像素的滤波器权重总计为1。因此，双边滤波器的权重可取决于空间高斯函数和极差高斯函数这两者。双边滤波器可通过改变σs和/或σr来调适。在示范性实现方案中，可基于先前所计算的统计信息(statistics)来为亮度和色度值单独地调整σs。至于极差部分，σr可以平衡去振铃(de-ringing)和特征保留，并且也可基于先前所计算的统计信息被调整。随后可将双边滤波自适应地应用到边缘周围的像素(或候选像素)，如上文所讨论的。
在示范性实现方案中，可通过一阶无限脉冲响应(IIR)滤波器来实现时间滤波，以通过递归地应用当前视频帧1221-N x(t)和先前经时间滤波的视频帧1221-N y(t-1)的阿尔法(alpha)混合来生成输出y(t)。简言之，
y(t)＝∝y(t-1)+(1-∝)x(t), (3)
其中0＜∝＜1。
此外，可随后将经空间地(ys(t))和时间地(yt(t))滤波的图像混合在一起以生成最终输出(yo(t))为：
yo(t)＝βys(t)+(1-β)yt(t), (4)
其中0≤β≤1。很明显，β的下限和上限分别表示纯时间和纯空间的滤波。
应该注意，上文所讨论的双边滤波器和IIR滤波器仅为示范性目的而示出。其他边缘保留滤波器和时间滤波器在本文所讨论的示例性实施例的范围内。另外，上文所讨论的高斯函数和IIR滤波器的一阶性质也是出于示范性实现方案的目的。其他更简单或复杂的函数也在本文所讨论的示例性实施例的范围内。
图5示出了根据一个或多个实施例的、概述上文所讨论的移除视频数据116中的编码伪影的自适应滤波机制的流程图。在一个或多个实施例中，操作502可涉及(例如通过处理器108)读取解码器引擎112的输出。在一个或多个实施例中，操作504可涉及使用索贝尔算子来计算视频数据116的每个视频帧1221-N的边缘。在一个或多个实施例中，操作506可涉及将视频帧1221-N的像素分类为边缘像素和平坦像素。在一个或多个实施例中，操作508可涉及加宽边缘，如上文所讨论的。在一个或多个实施例中，操作510可涉及相关性计算和极差分析，又如上文所讨论的。
在一个或多个实施例中，操作512可涉及将针对视频帧1221-N的每个子块所计算的极差和阈值进行比较。在一个或多个实施例中，如果操作512的结果得出极差小于阈值，则操作514可涉及增量用于若干平坦像素的计数。另外，在一个或多个实施例中，操作514可涉及通过不对视频帧1221-N的边缘像素进行滤波而保留其边缘。在一个或多个实施例中，操作516可涉及计算基于视频帧1221-N的边缘的像素统计信息以及视频帧1221-N边缘周围的像素统计信息，以确定候选像素用于滤波，如上文所讨论的。在一个或多个实施例中，操作518可涉及基于统计信息和解码器引擎112的输出来估计与候选像素相关联的预期振铃伪影的强度及其在视频帧1221-N内和跨视频帧1221-N之间的持久性。
在一个或多个实施例中，操作520可涉及对边缘像素周围的候选像素进行自适应地和空间地滤波，如上文所讨论的。在一个或多个实施例中，操作522可随后涉及基于混合因子(示范性等式(4)的β)将空间滤波和时间滤波的输出进行组合。关于操作502的结果，在一个或多个实施例中，并行操作524可涉及就时间滤波是否被使能而进行检查。在一个或多个实施例中，如果时间滤波被使能，则操作526可涉及(例如通过一阶IIR滤波器)对当前视频帧1221-N应用时间滤波。另外，在一个或多个实施例中，操作526可涉及应用当前视频帧1221-N和先前经时间滤波的视频帧1221-N的阿尔法混合(示范性等式(3)的∝)。在一个或多个实施例中，可随后将控制传递到操作522，此处将空间滤波和时间滤波的输出进行组合。
应该注意，可通过在处理器108上执行的解码器引擎112和/或后处理引擎130来实施上文所讨论的过程。替代地，解码器引擎112和/或后处理引擎130可以是硬件引擎。硬件和软件的组合也可以是可能的。
在一个或多个实施例中，可基于来自解码器引擎112的元数据(例如量化步长、视频标准)、振铃伪影的强度和其持久性等来调适上文所讨论的边缘保留滤波器。调适的一些示例包括依据高量化步长的低比特率调适和反之亦然、视频标准调适、依据视频帧1221-N内的振铃强度的边缘保留滤波器(例如双边滤波器)的空间幅度和极差参数的调适以及随着跨多个视频帧1221-N的振铃伪影的持久性增加而增加去振铃强度。其他形式的元数据(例如关于图4所讨论的元数据410)在本文所讨论的示例性实施例的范围内。
可以为本文所讨论的示例性实施例预想数个实现方案场景。例如，可在改善多媒体回放体验的手持设备、耦连到手持设备的数字电视机、用于无噪声渲染的智能电视盒以及用于视频回放的游戏机中采用本文所讨论的概念。其他实现方案在本文所讨论的示例性实施例的范围内。
应该注意，虽然已在整个详细描述中讨论了视频帧，但是与示例性实施例相关联的概念也适用于图像。图6示出了根据一个或多个实施例的、详述移除视频数据116中的编码伪影的自适应滤波机制中所涉及的操作的过程流程图。在一个或多个实施例中，操作602可涉及通过处理器108和/或硬件引擎在视频序列的解码或与解码相关联的后处理期间基于预定阈值确定视频序列的视频帧1221-N的边缘像素和平坦像素。在一个或多个实施例中，边缘像素可与视频帧1221-N的一个或多个边缘相关联，在所述边缘周围存在高于其阈值的强度级别的改变，并且平坦像素与视频帧1221-N的一个或多个区域相关联，在所述区域周围强度级别的改变低于阈值。
在一个或多个实施例中，操作604可涉及通过处理器108和/或硬件引擎量化视频帧1221-N的、一个或多个边缘周围的像素的空间相关性，以基于所确定的边缘像素和平坦像素以及解码的原始输出来估计其中的振铃伪影的强度、振铃伪影在视频帧1221-N内的持久性以及其跨视频帧1221-N和视频序列的另一个视频帧1221-N的时间持久性。在一个或多个实施例中，操作606可涉及通过边缘保留滤波器对视频帧1221-N的一个或多个边缘周围的像素进行自适应地和空间地滤波，所述边缘保留滤波器通过在处理器108和/或硬件引擎上执行指令实现，所述滤波基于与视频序列相关联的元数据、所估计的振铃伪影的强度、振铃伪影在视频帧1221-N内的持久性以及振铃伪影跨视频帧1221-N和另一个视频帧1221-N的时间持久性。
在一个或多个实施例中，操作608可涉及通过处理器108和/或硬件引擎对视频帧1221-N进行自适应地和时间地滤波，以减轻来源于视频序列的编码期间的压缩的累积效应的伪影。在一个或多个实施例中，操作610可随后涉及通过处理器108和/或硬件引擎对自适应空间滤波和自适应时间滤波的输出进行混合以生成具有经抑制的下列项的输出：振铃伪影、其空间和时间持久性以及来源于其中的压缩的累积效应的伪影。
虽然已参照具体的示范性实施例对所呈现的实施例进行了描述，但是很明显可对这些实施例做出各种修改和改变而不脱离各实施例的较宽精神和范围。例如，可使用硬件电路(例如基于CMOS的逻辑电路)、固件、软件或硬件、固件和(例如具体化在非暂时性机器可读介质中的)软件的任何组合来使能并且操作本文所描述的各种设备和模块。例如，可使用晶体管、逻辑门以及电气电路(例如专用集成电路(ASIC)和/或数字信号处理器(DSP)电路)来具体化各种电气结构和方法。
此外，将理解的是，可将本文所公开的各种操作、过程以及方法具体化在与数据处理***(例如客户端设备104)相兼容的机器可读介质和/或机器可访问介质中。因此，说明书和附图将被视为例示性而非限制性的意义。
Claims (20)
1.一种用于移除视频数据中的编码伪影的方法，包括：
通过数据处理设备的可通信地耦连到存储器的处理器和硬件引擎中的至少一个在视频序列的解码和与所述解码相关联的后处理中的一个期间基于预定阈值确定所述视频序列的视频帧的边缘像素和平坦像素，所述边缘像素与所述视频帧的至少一个边缘相关联，在所述边缘周围存在高于其阈值的强度级别的改变，并且所述平坦像素与所述视频帧的至少一个区域相关联，在所述区域周围所述强度级别的所述改变低于所述阈值；
通过所述处理器和所述硬件引擎中的至少一个量化所述视频帧的、所述至少一个边缘周围的像素的空间相关性，以基于所确定的所述边缘像素和所述平坦像素以及所述解码的原始输出来估计其中的振铃伪影的强度、所述振铃伪影在所述视频帧内的持久性以及其跨所述视频帧和所述视频序列的另一个视频帧的时间持久性；
通过边缘保留滤波器对所述视频帧的所述至少一个边缘周围的所述像素进行自适应地和空间地滤波，所述边缘保留滤波器通过在所述处理器上执行指令和在所述硬件引擎上执行指令中的至少一个来实现，所述滤波基于与所述视频序列相关联的元数据、所估计的所述振铃伪影的强度、所述振铃伪影在所述视频帧内的所述持久性以及所述振铃伪影跨所述视频帧和所述另一个视频帧的所述时间持久性；
通过所述处理器和所述硬件引擎中的至少一个对所述视频帧进行自适应地和时间地滤波，以减轻来源于所述视频序列的编码期间的压缩的累积效应的伪影；以及
通过所述处理器和所述硬件引擎中的至少一个将所述自适应空间滤波和所述自适应时间滤波的输出进行混合以生成具有经抑制的下列项的输出：振铃伪影、其空间和时间持久性以及来源于其中的压缩的所述累积效应的伪影。
2.根据权利要求1所述的方法，其中确定所述边缘像素和所述平坦像素进一步包括下列中的至少一个：
估计所述视频帧的所述至少一个边缘；
将边缘像素周边的至少一个像素也标记为边缘像素，以加宽所述至少一个边缘的轮廓；
将针对所述视频帧的每个子块的极差计算为其内的像素的强度级别的最大值和最小值之间的差；
将针对所述每个子块的所述极差与另一个预定阈值进行比较，以确定其内的所述平坦像素和所述边缘像素；以及
保留所述每个子块内的所述边缘像素。
3.根据权利要求2所述的方法，进一步包括当所述每个子块的平坦像素百分比和边缘像素百分比分别高于第一阈值和第二阈值时阻止对其进行滤波。
4.根据权利要求2所述的方法，包括使用索贝尔算子来计算所述视频帧的强度级别函数的近似梯度作为其所述至少一个边缘的所述估计的一部分。
5.根据权利要求1所述的方法，包括下列中的至少一个：
实现具有空间滤波器组件和极差滤波器组件的双边滤波器作为所述边缘保留滤波器；以及
实现一阶无限脉冲响应滤波器作为实施所述自适应时间滤波的组件，所述无限脉冲响应滤波器配置为通过递归地应用所述视频帧和所述视频序列的先前的经时间滤波的视频帧的阿尔法混合来生成输出。
6.根据权利要求5所述的方法，进一步包括通过改变与所述空间滤波器组件相关联的偏差参数和与所述极差滤波器组件相关联的辐射度偏差参数中的至少一个来调适所述双边滤波器。
7.根据权利要求6所述的方法，包括将所述空间滤波器组件和所述极差滤波器组件实现为高斯函数。
8.一种数据处理设备，包括：
存储器；以及
处理器，其可通信地耦连到所述存储器，所述处理器配置为执行指令以：
在视频序列的解码和与所述解码相关联的后处理中的一个期间基于预定阈值确定所述视频序列的视频帧的边缘像素和平坦像素，所述边缘像素与所述视频帧的至少一个边缘相关联，在所述边缘周围存在高于其阈值的强度级别的改变，并且所述平坦像素与所述视频帧的至少一个区域相关联，在所述区域周围所述强度级别的所述改变低于所述阈值；
量化所述视频帧的、所述至少一个边缘周围的像素的空间相关性，以基于所确定的所述边缘像素和所述平坦像素以及所述解码的原始输出来估计其中的振铃伪影的强度、所述振铃伪影在所述视频帧内的持久性以及其跨所述视频帧和所述视频序列的另一个视频帧的时间持久性；
通过边缘保留滤波器对所述视频帧的所述至少一个边缘周围的所述像素进行自适应地和空间地滤波，所述滤波基于与所述视频序列相关联的元数据、所估计的所述振铃伪影的强度、所述振铃伪影在所述视频帧内的所述持久性以及所述振铃伪影跨所述视频帧和所述另一个视频帧的所述时间持久性；
对所述视频帧进行自适应地和时间地滤波，以减轻来源于所述视频序列的编码期间的压缩的累积效应的伪影；以及
将所述自适应空间滤波和所述自适应时间滤波的输出进行混合以生成具有经抑制的下列项的输出：振铃伪影、其空间和时间持久性以及来源于其中的压缩的所述累积效应的伪影。
9.根据权利要求8所述的数据处理设备，其中所述处理器配置为执行指令以基于下列项确定所述边缘像素和所述平坦像素：
估计所述视频帧的所述至少一个边缘；
将边缘像素周边的至少一个像素也标记为边缘像素，以加宽其所述至少一个边缘的轮廓；
将针对所述视频帧的每个子块的极差计算为其内的像素的强度级别的最大值和最小值之间的差；
将针对所述每个子块的所述极差与另一个预定阈值进行比较，以确定其内的所述平坦像素和所述边缘像素；以及
保留所述每个子块内的所述边缘像素。
10.根据权利要求9所述的数据处理设备，其中所述处理器进一步配置为执行指令以当所述每个子块的平坦像素百分比和边缘像素百分比分别高于第一阈值和第二阈值时阻止对其进行滤波。
11.根据权利要求9所述的数据处理设备，其中所述处理器配置为执行指令以使用索贝尔算子来计算所述视频帧的强度级别函数的近似梯度作为其所述至少一个边缘的所述估计的一部分。
12.根据权利要求8所述的数据处理设备，其中所述处理器配置为执行与下列中的至少一个相关联的指令：
具有空间滤波器组件和极差滤波器组件的双边滤波器作为所述边缘保留滤波器；以及
一阶无限脉冲响应滤波器作为实施所述自适应时间滤波的组件，所述无限脉冲响应滤波器配置为通过递归地应用所述视频帧和所述视频序列的先前的经时间滤波的视频帧的阿尔法混合来生成输出。
13.根据权利要求12所述的数据处理设备，其中所述处理器进一步配置为执行指令以通过改变与所述空间滤波器组件相关联的偏差参数和与所述极差滤波器组件相关联的辐射度偏差参数中的至少一个来调适所述双边滤波器。
14.根据权利要求13所述的数据处理设备，其中所述处理器配置为执行与所述空间滤波器组件和所述极差滤波器组件为高斯函数相关联的指令。
15.一种用于移除视频数据中的编码伪影的***，包括：
数据源，其配置为生成被编码为视频序列的视频数据；以及
硬件引擎和客户端设备中的至少一个，其可通信地耦连到所述数据源，所述硬件引擎和所述客户端设备中的所述至少一个配置为：
在所述视频序列的解码和与所述解码相关联的后处理中的一个期间基于预定阈值确定所述视频序列的视频帧的边缘像素和平坦像素，所述边缘像素与所述视频帧的至少一个边缘相关联，在所述边缘周围存在高于其阈值的强度级别的改变，并且所述平坦像素与所述视频帧的至少一个区域相关联，在所述区域周围所述强度级别的所述改变低于所述阈值；
量化所述视频帧的、所述至少一个边缘周围的像素的空间相关性，以基于所确定的所述边缘像素和所述平坦像素以及所述解码的原始输出来估计其中的振铃伪影的强度、所述振铃伪影在所述视频帧内的持久性以及其跨所述视频帧和所述视频序列的另一个视频帧的时间持久性；
通过边缘保留滤波器对所述视频帧的所述至少一个边缘周围的所述像素进行自适应地和空间地滤波，所述滤波基于与所述视频序列相关联的元数据、所估计的所述振铃伪影的强度、所述振铃伪影在所述视频帧内的所述持久性以及所述振铃伪影跨所述视频帧和所述另一个视频帧的所述时间持久性；
对所述视频帧进行自适应地和时间地滤波，以减轻来源于所述视频序列的编码期间的压缩的累积效应的伪影；以及
将所述自适应空间滤波和所述自适应时间滤波的输出进行混合以生成具有经抑制的下列项的输出：振铃伪影、其空间和时间持久性以及来源于其中的压缩的所述累积效应的伪影。
16.根据权利要求15所述的***，其中所述硬件引擎和所述客户端设备中的所述至少一个配置为基于下列项确定所述边缘像素和所述平坦像素：
估计所述视频帧的所述至少一个边缘；
将边缘像素周边的至少一个像素也标记为边缘像素，以加宽其所述至少一个边缘的轮廓；
将针对所述视频帧的每个子块的极差计算为其内的像素的强度级别的最大值和最小值之间的差；
将针对所述每个子块的所述极差与另一个预定阈值进行比较，以确定其内的所述平坦像素和所述边缘像素；以及
保留所述每个子块内的所述边缘像素。
17.根据权利要求16所述的***，其中所述硬件引擎和所述客户端设备中的所述至少一个进一步配置为当所述每个子块的平坦像素百分比和边缘像素百分比分别高于第一阈值和第二阈值时阻止对其进行滤波。
18.根据权利要求16所述的***，其中所述硬件引擎和所述客户端设备中的所述至少一个配置为使用索贝尔算子来计算所述视频帧的强度级别函数的近似梯度作为其所述至少一个边缘的所述估计的一部分。
19.根据权利要求15所述的***，其中下列项中的至少一个：
所述边缘保留滤波器是具有空间滤波器组件和极差滤波器组件的双边滤波器，以及
实施所述自适应时间滤波的组件是一阶无限脉冲响应滤波器，所述无限脉冲响应滤波器配置为通过递归地应用所述视频帧和所述视频序列的先前的经时间滤波的视频帧的阿尔法混合来生成输出。
20.根据权利要求19所述的***，其中所述硬件引擎和所述客户端设备中的所述至少一个进一步配置为通过改变与所述空间滤波器组件相关联的偏差参数和与所述极差滤波器组件相关联的辐射度偏差参数中的至少一个来调适所述双边滤波器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/917,669 US9118932B2 (en) | 2013-06-14 | 2013-06-14 | Adaptive filtering mechanism to remove encoding artifacts in video data |
| US13/917,669 | 2013-06-14 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104244015A CN104244015A (zh) | 2014-12-24 |
| CN104244015B true CN104244015B (zh) | 2017-12-19 |
Family
ID=52009572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410240571.2A Active CN104244015B (zh) | 2013-06-14 | 2014-05-30 | 用于移除视频数据中的编码伪影的方法和*** |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9118932B2 (zh) |
| CN (1) | CN104244015B (zh) |
| DE (1) | DE102013021991B4 (zh) |
| TW (1) | TWI519136B (zh) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140192266A1 (en) * | 2013-01-04 | 2014-07-10 | Qualcomm Incorporated | Method and apparatus of reducing compression noise in digital video streams |
| MX2017013988A (es) * | 2015-05-12 | 2018-03-23 | Samsung Electronics Co Ltd | Metodo de codificacion de imagen y dispositivo para compensacion de valor de muestra y metodo de decodificacion de imagen y dispositivo para compensacion de valor de muestra. |
| JP6619638B2 (ja) * | 2015-12-09 | 2019-12-11 | Eizo株式会社 | 画像処理装置及びプログラム |
| US10931974B2 (en) * | 2016-10-14 | 2021-02-23 | Mediatek Inc. | Method and apparatus of smoothing filter for ringing artefact removal |
| US10694202B2 (en) * | 2016-12-01 | 2020-06-23 | Qualcomm Incorporated | Indication of bilateral filter usage in video coding |
| US10694181B2 (en) * | 2017-01-27 | 2020-06-23 | Qualcomm Incorporated | Bilateral filters in video coding with reduced complexity |
| US10904535B2 (en) | 2017-04-01 | 2021-01-26 | Intel Corporation | Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio |
| US10506255B2 (en) | 2017-04-01 | 2019-12-10 | Intel Corporation | MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video |
| US10882453B2 (en) | 2017-04-01 | 2021-01-05 | Intel Corporation | Usage of automotive virtual mirrors |
| US11054886B2 (en) | 2017-04-01 | 2021-07-06 | Intel Corporation | Supporting multiple refresh rates in different regions of panel display |
| US10506196B2 (en) | 2017-04-01 | 2019-12-10 | Intel Corporation | 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics |
| US10574995B2 (en) | 2017-04-10 | 2020-02-25 | Intel Corporation | Technology to accelerate scene change detection and achieve adaptive content display |
| US10638124B2 (en) | 2017-04-10 | 2020-04-28 | Intel Corporation | Using dynamic vision sensors for motion detection in head mounted displays |
| US10453221B2 (en) | 2017-04-10 | 2019-10-22 | Intel Corporation | Region based processing |
| US10587800B2 (en) | 2017-04-10 | 2020-03-10 | Intel Corporation | Technology to encode 360 degree video content |
| US10456666B2 (en) | 2017-04-17 | 2019-10-29 | Intel Corporation | Block based camera updates and asynchronous displays |
| US10726792B2 (en) | 2017-04-17 | 2020-07-28 | Intel Corporation | Glare and occluded view compensation for automotive and other applications |
| US10623634B2 (en) | 2017-04-17 | 2020-04-14 | Intel Corporation | Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching |
| US10402932B2 (en) | 2017-04-17 | 2019-09-03 | Intel Corporation | Power-based and target-based graphics quality adjustment |
| US10547846B2 (en) | 2017-04-17 | 2020-01-28 | Intel Corporation | Encoding 3D rendered images by tagging objects |
| US10979728B2 (en) | 2017-04-24 | 2021-04-13 | Intel Corporation | Intelligent video frame grouping based on predicted performance |
| US10939038B2 (en) | 2017-04-24 | 2021-03-02 | Intel Corporation | Object pre-encoding for 360-degree view for optimal quality and latency |
| US10158833B2 (en) | 2017-04-24 | 2018-12-18 | Intel Corporation | High dynamic range imager enhancement technology |
| US10525341B2 (en) | 2017-04-24 | 2020-01-07 | Intel Corporation | Mechanisms for reducing latency and ghosting displays |
| US10475148B2 (en) | 2017-04-24 | 2019-11-12 | Intel Corporation | Fragmented graphic cores for deep learning using LED displays |
| US10565964B2 (en) | 2017-04-24 | 2020-02-18 | Intel Corporation | Display bandwidth reduction with multiple resolutions |
| US10908679B2 (en) | 2017-04-24 | 2021-02-02 | Intel Corporation | Viewing angles influenced by head and body movements |
| US10643358B2 (en) | 2017-04-24 | 2020-05-05 | Intel Corporation | HDR enhancement with temporal multiplex |
| US10424082B2 (en) | 2017-04-24 | 2019-09-24 | Intel Corporation | Mixed reality coding with overlays |
| US10979685B1 (en) | 2017-04-28 | 2021-04-13 | Apple Inc. | Focusing for virtual and augmented reality systems |
| CN110574375B (zh) | 2017-04-28 | 2023-06-02 | 苹果公司 | 视频流水线 |
| US10861142B2 (en) * | 2017-07-21 | 2020-12-08 | Apple Inc. | Gaze direction-based adaptive pre-filtering of video data |
| CN109257600B (zh) * | 2018-11-28 | 2020-11-17 | 福建帝视信息科技有限公司 | 一种基于深度学习的视频压缩伪影自适应去除方法 |
| KR20200140096A (ko) | 2019-06-05 | 2020-12-15 | 삼성전자주식회사 | 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치 |
| CN111698503B (zh) * | 2020-06-22 | 2022-09-09 | 深圳市迪威码半导体有限公司 | 一种基于预处理的视频高倍压缩方法 |
| CN111899171B (zh) * | 2020-07-10 | 2022-08-12 | 罗雄彪 | 一种医疗机器人手术视频运动放大方法 |
| CN112085755A (zh) * | 2020-09-14 | 2020-12-15 | 贝壳技术有限公司 | 物体轮廓检测方法、装置以及设备、存储介质 |
| US20230096874A1 (en) * | 2021-09-29 | 2023-03-30 | Ati Technologies Ulc | Content adaptive filtering via ringing estimation and suppression |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102150426A (zh) * | 2008-09-09 | 2011-08-10 | 马维尔国际贸易有限公司 | 减少数字图像噪声 |
| CN102870411A (zh) * | 2010-01-08 | 2013-01-09 | 诺基亚公司 | 用于视频处理的装置、方法和计算机程序 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR0165497B1 (ko) | 1995-01-20 | 1999-03-20 | 김광호 | 블럭화현상 제거를 위한 후처리장치 및 그 방법 |
| US6320905B1 (en) | 1998-07-08 | 2001-11-20 | Stream Machine Company | Postprocessing system for removing blocking artifacts in block-based codecs |
| US6993191B2 (en) | 2001-05-04 | 2006-01-31 | Pts Corporation | Methods and apparatus for removing compression artifacts in video sequences |
| US7426315B2 (en) | 2001-09-05 | 2008-09-16 | Zoran Microelectronics Ltd. | Method for reducing blocking artifacts |
| US7362810B2 (en) | 2003-05-13 | 2008-04-22 | Sigmatel, Inc. | Post-filter for deblocking and deringing of video data |
| US7397854B2 (en) | 2004-04-29 | 2008-07-08 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| US7539248B2 (en) | 2004-04-29 | 2009-05-26 | Mediatek Incorporation | Adaptive de-blocking filtering apparatus and method for MPEG video decoder |
| US7359565B2 (en) | 2004-05-03 | 2008-04-15 | International Business Machines Corporation | Method of filtering pixels in a video encoding process |
| US7724307B2 (en) * | 2004-07-28 | 2010-05-25 | Broadcom Corporation | Method and system for noise reduction in digital video |
| WO2006010276A1 (en) * | 2004-07-30 | 2006-02-02 | Algolith Inc | Apparatus and method for adaptive 3d artifact reducing for encoded image signal |
| US8537903B2 (en) * | 2005-09-23 | 2013-09-17 | Entropic Communications, Inc. | De-blocking and de-ringing systems and methods |
| US7760964B2 (en) * | 2006-11-01 | 2010-07-20 | Ericsson Television Inc. | Method and architecture for temporal-spatial deblocking and deflickering with expanded frequency filtering in compressed domain |
| US7952646B2 (en) * | 2006-12-27 | 2011-05-31 | Intel Corporation | Method and apparatus for content adaptive spatial-temporal motion adaptive noise reduction |
| US8063995B2 (en) * | 2007-02-23 | 2011-11-22 | Samsung Electronics Co., Ltd. | System and method for video noise reduction using a unified three-dimensional non-linear filtering |
| US8305497B2 (en) * | 2007-07-27 | 2012-11-06 | Lsi Corporation | Joint mosquito and aliasing noise reduction in video signals |
| US8447130B2 (en) * | 2007-12-31 | 2013-05-21 | Intel Corporation | History-based spatio-temporal noise reduction |
| US7894685B2 (en) * | 2008-07-01 | 2011-02-22 | Texas Instruments Incorporated | Method and apparatus for reducing ringing artifacts |
| US8265421B2 (en) | 2008-11-06 | 2012-09-11 | Sony Corporation | Video system with blocking artifact two-dimensional cross filtering |
| TWI413415B (zh) | 2009-06-17 | 2013-10-21 | Novatek Microelectronics Corp | 以ｈ２６４解方塊為基礎的多源過濾器以及多源過濾方法 |
| US8306355B2 (en) | 2009-07-13 | 2012-11-06 | Sharp Laboratories Of America, Inc. | Methods and systems for reducing compression artifacts |
| US8885969B2 (en) * | 2010-03-29 | 2014-11-11 | Sony Corporation | Method and apparatus for detecting coding artifacts in an image |
| US8564724B2 (en) * | 2010-04-04 | 2013-10-22 | Texas Instruments Incorporated | Ghosting artifact reduction in temporal noise filtering |
| US8811757B2 (en) * | 2012-01-05 | 2014-08-19 | Texas Instruments Incorporated | Multi-pass video noise filtering |
-
2013
- 2013-06-14 US US13/917,669 patent/US9118932B2/en active Active
- 2013-12-26 TW TW102148394A patent/TWI519136B/zh active
- 2013-12-28 DE DE102013021991.4A patent/DE102013021991B4/de active Active
-
2014
- 2014-05-30 CN CN201410240571.2A patent/CN104244015B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102150426A (zh) * | 2008-09-09 | 2011-08-10 | 马维尔国际贸易有限公司 | 减少数字图像噪声 |
| CN102870411A (zh) * | 2010-01-08 | 2013-01-09 | 诺基亚公司 | 用于视频处理的装置、方法和计算机程序 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20140369613A1 (en) | 2014-12-18 |
| US9118932B2 (en) | 2015-08-25 |
| DE102013021991A1 (de) | 2014-12-18 |
| DE102013021991B4 (de) | 2020-03-19 |
| CN104244015A (zh) | 2014-12-24 |
| TWI519136B (zh) | 2016-01-21 |
| TW201448571A (zh) | 2014-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104244015B (zh) | 用于移除视频数据中的编码伪影的方法和*** | |
| KR100754181B1 (ko) | 복호화된 비디오 시퀀스에서 모스퀴토 잡음을 제거하는방법 및 장치 | |
| Shao et al. | An overview and performance evaluation of classification-based least squares trained filters | |
| CN105096280B (zh) | 处理图像噪声的方法及装置 | |
| CN104871209B (zh) | 减少数字视频流中的随机噪声的方法和设备 | |
| JP5514338B2 (ja) | 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体 | |
| EP1771818A1 (en) | Apparatus and method for adaptive 3d artifact reducing for encoded image signal | |
| US9275440B2 (en) | Image processing device and image processing method | |
| US8594449B2 (en) | MPEG noise reduction | |
| JP2008508751A5 (zh) | ||
| US10013772B2 (en) | Method of controlling a quality measure and system thereof | |
| US20130022288A1 (en) | Image processing apparatus and method for reducing edge-induced artefacts | |
| JP2005354685A (ja) | パターン適応型フィルターリングによる映像信号の平滑化装置及びその平滑化方法 | |
| Kim et al. | A novel framework for extremely low-light video enhancement | |
| Vidal et al. | New adaptive filters as perceptual preprocessing for rate-quality performance optimization of video coding | |
| CN104994397B (zh) | 基于时域信息的自适应视频预处理方法 | |
| Nadernejad et al. | Enhancing perceived quality of compressed images and video with anisotropic diffusion and fuzzy filtering | |
| KR101967745B1 (ko) | 잡음 추정 장치 및 방법 | |
| Yoo et al. | Blind post-processing for ringing and mosquito artifact reduction in coded videos | |
| Dai et al. | Color video denoising based on adaptive color space conversion | |
| CN115280772A (zh) | 有损压缩的二重标准块分割启发法 | |
| JP2009095004A (ja) | 画像シーケンス中の画素をフィルタリングする方法 | |
| Yin et al. | A block based temporal spatial nonlocal mean algorithm for video denoising with multiple resolution | |
| Xu et al. | A simple and effective algorithm for false contour reduction in digital television | |
| GB2489233A (en) | Image Noise Reduction Resulting in Higher Noise and/or Texture in Image Parts Representing Human Skin |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |