CN106663310B - 频域去噪 - Google Patents
频域去噪 Download PDFInfo
- Publication number
- CN106663310B CN106663310B CN201580034561.6A CN201580034561A CN106663310B CN 106663310 B CN106663310 B CN 106663310B CN 201580034561 A CN201580034561 A CN 201580034561A CN 106663310 B CN106663310 B CN 106663310B
- Authority
- CN
- China
- Prior art keywords
- block
- denoising
- frequency domain
- source
- transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009466 transformation Effects 0.000 claims abstract description 62
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 21
- 230000001131 transforming effect Effects 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 36
- 238000001914 filtration Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 89
- 230000006835 compression Effects 0.000 description 30
- 238000007906 compression Methods 0.000 description 30
- 238000013139 quantization Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 230000009467 reduction Effects 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000352 storage cell Anatomy 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 229910052720 vanadium Inorganic materials 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
使用频域去噪的编码包括从来自源视频流的当前源帧识别当前源块,生成用于当前源块的预测块,通过将当前源块变换到频域中来生成源变换块,通过将预测块变换到频域中来生成预测变换块,基于源变换块和预测变换块来生成去噪变换块,通过对去噪变换块进行逆变换来生成去噪块,基于去噪块与预测块之间的差来生成残余块,通过对残余块进行编码来生成编码块,以及输出或存储编码块。
Description
背景技术
例如,可以将数字视频用于经由视频会议的远程商务会议、高清晰度视频娱乐、视频广告或者对用户所生成视频的共享。由于在视频数据中涉及到的大量数据,需要高性能压缩以用于传输和存储。因此,提供通过具有有限带宽的通信信道发射的高分辨率视频将是有利的。
发明内容
本申请涉及视频流数据的编码和解码以用于传输或存储。在本文中公开了用于使用频域去噪进行编码和解码的***、方法以及装置。
可以响应于存储在非暂时性计算机可读介质上的指令而由处理器执行的用于执行本文中所述的频域去噪的一个方法包括:从来自源视频流的当前源帧识别当前源块,生成用于所述当前源块的预测块,通过将所述当前源块变换到频域中来生成源变换块,以及通过将所述预测块变换到所述频域中来生成预测变换块。在某些实施方式中,频域去噪包括基于所述源变换块和所述预测变换块而生成去噪变换块,通过对所述去噪变换块进行逆变换来生成去噪块,基于所述去噪块与所述预测块之间的差来生成残余块,通过对所述残余块进行编码来生成编码块,以及输出或存储所述编码块。
也可以响应于存储在非暂时性计算机可读介质上的指令而由处理器执行的用于执行本文中所述的频域去噪的另一方法包括:从来自源视频流的当前源帧识别当前源块,通过使用频域去噪对所述当前源块进行编码来生成编码块,以及输出或存储所述编码块。
也可以响应于存储在非暂时性计算机可读介质上的指令而由处理器执行的用于执行本文中所述的频域去噪的另一方法包括:从来自源视频流的当前源帧识别当前源块,生成用于所述当前源块的预测块,通过将所述当前源块变换到频域中来生成源变换块,以及通过将所述预测块变换到所述频域中来生成预测变换块。在某些实施方式中,频域去噪包括通过基于所述预测变换块对所述源变换块应用去噪函数来生成去噪变换块,通过对所述去噪变换块进行逆变换来生成去噪块,基于所述去噪块与所述预测块之间的差来生成残余块,通过对所述残余块进行编码来生成编码块,以及输出或存储所述编码块。
下面将另外详细地描述这些及其它方面的变化。
附图说明
本文的描述对附图做出参考,在附图中相同的参考标号遍及多个图指代相同部分,并且其中:
图1是根据本公开的实施方式的计算设备的图;
图2是根据本公开的实施方式的计算和通信***的图;
图3是根据本公开的实施方式的供在编码和解码中使用的视频流的图;
图4是根据本公开的实施方式的编码器的框图;
图5是根据本公开的实施方式的解码器的框图;
图6是根据本公开的实施方式的帧的一部分的表示的框图;
图7是根据本公开的实施方式的使用时域去噪对视频流进行代码化的示例的图;以及
图8是根据本公开的实施方式的使用频域去噪对视频流进行代码化的示例的图。
具体实施方式
数字视频流可以使用帧或图像的序列来表示视频。每个帧可以包括许多块,所述块可以包括指示像素属性(诸如色值或亮度)的信息。视频的传输和存储可以使用相当多的计算或通信资源。可以使用压缩及其它代码化技术来减少视频流中的数据量。
视频代码器的实用性可以取决于压缩速度、压缩性能、压缩保真度以及已解码视觉质量。压缩速度指示被用来压缩视频的时间。压缩性能表示与源视频相比存储或发射已编码视频所需的带宽的差异。压缩保真度指示已解码视频与源视频匹配的有多好。已解码视觉质量表示已解码视频的视觉质量,其可以是主观的。在某些实施方式中,在输入视频信号中所捕获的噪声或其它非期望伪像可以降低视频代码器的实用性。例如,输入噪声(其可以是随机的不可预测的噪声)可以被传播到已解码视频并因此降低已解码视觉质量。在某些实施方式中,输入噪声可以降低压缩速度、压缩性能和/或压缩保真度。
在某些实施方式中,频域去噪可以通过在视频代码化之前或期间从输入视频流移除噪声来改善压缩速度、压缩性能、压缩保真度和/或已解码视觉质量。在某些实施方式中,频域去噪包括从源视频流的当前帧识别可变大小源块并使用频域去噪函数来生成用于每个源块的去噪块。在某些实施方式中,对块进行去噪包括生成用于源块的预测块,将源块和预测块变换到频域中,基于预测变换块使用频域去噪函数对源变换块进行去噪,以及对去噪块进行逆变换。
图1是根据本公开的实施方式的计算设备100的图。计算设备100可以包括通信接口110、通信单元120、用户界面(UI)130、处理器140、存储器150、指令160、电源170或其任何组合。如本文所使用的,术语“计算设备”包括能够执行本文中公开的任何方法或其任何部分的任何单元或单元的组合。
计算设备100可以是固定计算设备,诸如个人计算机(PC)、服务器、工作站、小型计算机或主计算机;或者移动计算设备,诸如移动电话、个人数字助理(PDA)、膝上型计算机或平板PC。虽然被示出为单个单元,但可以将通信设备100的任何一个或多个元件集成到任何数目的单独的物理单元内。例如,可以将UI 130和处理器140集成在第一物理单元中,并且可以将存储器150集成在第二物理单元中。
通信接口110可以是无线天线(如所示)、有线通信端口(诸如以太网端口、红外端口、串行端口)或能够与有线或无线电子通信介质180对接的任何其它有线或无线单元。
通信单元120可以被配置成经由有线或无线介质180来发射或接收信号。例如,如所示,通信单元120***作连接到被配置成经由无线信号通信的天线。虽然在图1中并未明确地示出,通信单元120可以被配置成经由任何有线或无线通信介质(诸如射频(RF)、紫外线(UV)、可见光、光纤、导线或其组合)进行发射、接收或发射和接收。虽然图1示出了单个通信单元120和单个通信接口110,但是可以使用任何数目的通信单元和任何数目的通信接口。
UI 130可以包括能够与用户对接的任何单元,诸如虚拟或物理小键盘、触控板、显示器、触摸显示器、扬声器、麦克风、视频相机、传感器或其任何组合。UI 130可以与处理器140(如所示)或者与通信设备100的任何其它元件(诸如电源170)操作耦合。虽然被示为单个单元,但UI 130可以包括一个或多个物理单元。例如,UI 130可以包括用于执行与用户的音频通信的音频接口以及用于执行与用户的基于视觉和触摸的通信的触摸显示器。虽然被示为单独的单元,但可以将通信接口110、通信单元120以及UI 130或其各部分配置为组合单元。例如,可以将通信接口110、通信单元120以及UI 130实现为能够与外部触摸屏设备对接的通信端口。
处理器140可以包括现在存在或以后开发的能够操纵或处理信号或其它信息的任何设备或***,包括光学处理器、量子处理器、分子处理前或其组合。例如,处理器140可以包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑阵列、可编程逻辑控制器、微代码、固件、任何类型的集成电路(IC)、状态机或其任何组合。如本文所使用的,术语“处理器”包括单个处理器或多个处理器。处理器140可以与通信接口110、通信单元120、UI 130、存储器150、指令160、电源170或其任何组合操作耦合。
存储器150可以包括任何非暂时性计算机可用或计算机可读介质,诸如可以例如包含、存储、通信、或传输指令160或与之相关联的任何信息以供处理器140使用或与处理器140相结合地使用的任何有形设备。非暂时性计算机可用或计算机可读介质可以是例如固态驱动、存储卡、可移动介质、只读存储器(ROM)、随机存取储器(RAM)、任何类型的磁盘(包括硬盘、软盘、光盘)、磁卡或光卡、专用集成电路(ASIC)或者适合于存储电子信息的任何类型的非暂时性介质或其任何组合。在示例中,存储器150可以例如通过存储器总线连接到处理器140。
指令160可以包括用于执行本文中所公开的任何方法或其任何部分的说明。可以用硬件、软件或其任何组合来实现指令160。例如,可以将指令160实现为存储在存储器150中的信息,诸如计算机程序,其可以被处理器140执行以执行如本文中所述的任何相应的方法、算法、方面或其组合。可以将指令160或其部分实现为专用处理器或电路,其可以包括用于执行如本文中所述的任何的方法、算法、方面或其组合的专用硬件。可以将指令160的部分跨相同机器或不同机器上的多个处理器或者跨诸如局域网、广域网、互联网或其组合的网络分布。
电源170可以是用于对通信接口110供电的任何适当设备。例如,电源170可以包括有线电源;一个或多个干电池,诸如镍镉(NiCd)、镍锌(NiZn)、镍金属氢化物(NiMH)、锂离子(Li离子);太阳能电池;燃料电池;或能够对通信接口110供电的任何其它设备。通信接口110、通信单元120、UI 130、处理器140、指令160、存储器150或其任何组合可以与电源170操作耦合。
虽然被示为单独的元件,但是可以将通信接口110、通信单元120、UI 130、处理器140、指令160、电源170、存储器150或其任何组合集成在一个或多个电子单元、电路或芯片中。
图2是根据本公开的实施方式的计算和通信***200的图。计算和通信***200可以包括一个或多个计算和通信设备100A/100B/100C、一个或多个接入点210A/210B、一个或多个网络220或其组合。例如,计算和通信***200可以是向一个或多个有线或无线通信设备(诸如语音、数据、视频、消息、广播或其组合)提供通信(诸如计算和通信设备100A/100B/100C)的多路访问***。虽然为了简单起见图2示出了三个计算和通信设备100A/100B/100C、两个接入点210A/210B以及一个网络220,但可以使用任何数目的计算和通信设备、接入点以及网络。
计算和通信设备100A/100B/100C可以是例如计算设备,诸如图1中所示的计算设备100。例如,如图示,计算和通信设备100A/100B可以是用户设备,诸如移动计算设备、膝上型计算机、瘦客户端或智能电话,并且计算和通信设备100C可以是服务器,诸如主机或集群。虽然计算和通信设备100A/100B被描述为用户设备且计算和通信设备100C被描述为服务器,但任何计算和通信设备都可以执行服务器的某些或所有功能、用户设备的某些或所有功能或者服务器和用户设备的某些或所有功能。
每个计算和通信设备100A/100B/100C可以被配置成执行有线或无线通信。例如,计算和通信设备100A/100B/100C可以被配置成发射或接收有线或无线通信信号,并且可以包括用户设备(UE)、移动站、固定或移动订户单元、蜂窝电话、个人计算机、平板计算机、服务器、消费者电子装置或任何类似设备。虽然每个计算和通信设备100A/100B/100C被示为单个单元,但计算和通信设备可以包括任何数目的互连元件。
每个接入点210A/210B可以是被配置成经由有线或无线通信链路180A/180B/180C与计算和通信设备100A/100B/100C、网络220或两者通信的任何类型的设备。例如,接入点210A/210B可以包括基站、基站收发信台(BTS)、节点B、增强型节点B(eNode-B)、主节点B(HNode-B)、无线路由器、有线路由器、集线器、中继器、交换机或任何类似的有线或无线设备。虽然每个接入点210A/210B被示为单个单元,但接入点可以包括任何数目的互连元件。
网络220可以是被配置成通过有线或无线通信链路来提供服务(诸如语音、数据、应用、网际协议语音(VoIP)或任何其它通信协议或通信协议的组合)的任何类型的网络。例如,网络220可以是局域网(LAN)、广域网(WAN)、虚拟专用网(VPN)、移动或蜂窝电话网、互联网或任何其它电子通信手段。网络220可以使用通信协议,诸如传输控制协议(TCP)、用户数据报协议(UDP)、网际协议(IP)、实时传输协议(RTP)、超文本传输协议(HTTP)或其组合。
计算和通信设备100A/100B/100C可以使用一个或多个有线或无线通信链路或经由有线和无线通信链路的组合而经由网络220相互通信。例如,如所示,计算和通信设备100A/100B可以经由无线通信链路180A/180B进行通信,并且计算和通信设备100C可以经由有线通信链路180C进行通信。任何的计算和通信设备100A/100B/100C可以使用任何有线或无线通信链路进行通信。例如,第一计算和通信设备100A可以使用第一类型的通信链路经由第一接入点210A进行通信,第二计算和通信设备100B可以使用第二类型的通信链路经由第二接入点210B进行通信,并且第三计算和通信设备100C可以使用第三类型的通信链路经由第三接入点(未示出)进行通信。同样地,接入点210A/210B可以经由一个或多个类型的有线或无线通信链路230A/230B与网络220通信。虽然图2示出了经由网络220进行通信的计算和通信设备100A/100B/100C,但计算和通信设备100A/100B/100C可以经由任何数目的通信链路(诸如直接有线或无线通信链路)相互通信。
计算和通信***200的其它实施方式是可能的。例如,在实施方式中,网络220可以是自组织网络,并且可以省略接入点210A/210B中的一个或多个。计算和通信***200可以包括图2中未示出的设备、单元或元件。例如,计算和通信***200可以包括更多的计算设备、网络以及接入点。
图3是根据本公开的实施方式的供在编码和解码中使用的视频流300的图。视频流300(诸如由视频相机所捕获的视频流或者由计算设备所生成的视频流)可以包括视频序列310。视频序列310可以包括相邻帧320的序列。虽然示出了三个相邻帧320,但视频序列310可以包括任何数目的相邻帧320。来自相邻帧320的每个帧330可以表示来自视频流的单个图像。每个帧330可以包括块340。虽然在图3中未示出,但块340可以包括像素。例如,块340可以包括16×16的像素群组、8×8的像素群组、8×16的像素组或任何其它像素群组。除非本文中另外指示,术语‘块’可以包括超级块、宏块、段、切片或帧的任何其它部分。帧、块、像素或其组合可以包括显示信息,诸如辉度(luminance)信息、色度信息或者可以用来存储、修改、通信或显示视频流或其一部分的任何其它信息。
图4是根据本公开的实施方式的编码器400的框图。编码器400可以在设备(诸如图1中所示的计算设备100或图2中所示的计算和通信设备100A/100B/100C)中被实现为例如存储在数据存储单元(诸如图1中所示的存储器150)中的计算机软件程序。计算机软件程序可以包括可以被处理器(诸如图1中所示的处理器160)执行且可以使得设备如本文所述地将视频数据编码的机器指令。例如,可以将编码器400实现为包括在计算设备100中的专用硬件。
编码器400可以将输入视频流402(诸如图3中所示的视频流300)编码而生成已编码(压缩)比特流404。在某些实施方式中,编码器400可以包括用于生成压缩比特流404的正向路径。正向路径可以包括帧内/帧间预测单元410、变换单元420、量子化单元430、熵编码单元440或其任何组合。在某些实施方式中,编码器400可以包括用以重构帧以用于进一步的块的编码的重构路径(用虚连接线指示)。所述重构路径可以包括去量子化单元450、逆变换单元460、重构单元470、环路滤波单元480或其任何组合。可以使用编码器400的其它结构变体来对视频流402进行编码。
为了将视频流402编码,可以以块为单位来处理视频流402内的每个帧。因此,可以从帧中的块识别当前块,并且可以将当前块编码。
在帧内/帧间预测单元410处,可以使用帧内预测(其可以是在单个帧内)或帧间预测(其可以是从帧至帧)对当前块进行编码。帧内预测可以包括从先前已被编码并重构的当前帧中的样本生成预测块。帧间预测可以包括从一个或多个先前构造参考帧中的样本生成预测块。针对当前帧中的当前块生成预测块可以包括执行运动估计以生成指示参考帧中的适当参考块的运动矢量。
帧内/帧间预测单元410可以从当前块(原始块(raw block))减掉预测块以产生残余块(residual block)。变换单元420可以执行基于块的变换,其包括将残余块变换成例如频域中的变换系数。基于块的变换的示例包括Karhunen-Loève变换(KLT)、离散余弦变换(DCT)以及奇异值分解变换(SVD)。在示例中,DCT包括基于空间频率使用变换系数值将块变换到频域中,其中,在矩阵的左上方处具有最低频(即,DC)系数且在矩阵的右下方处具有最高频系数。
量子化单元430可以将变换系数转换成离散量子值,其可以被称为量子化变换系数或量子水平。量子化变换系数可以被熵编码单元440进行熵编码而产生熵编码系数。熵编码可以包括使用概率分布度量。被用来对块进行解码的熵编码系数和信息(其可以包括所使用的预测类型、运动矢量以及量化器值)可以被输出到压缩比特流404。可以使用各种技术(诸如行程长度编码(RLE)和零行程编码)将压缩比特流404格式化。
可以使用重构路径来保持编码器400与对应解码器(诸如图5中所示的解码器500)之间的参考帧同步。重构路径可以类似于下面讨论的解码过程,并且可以包括在去量子化单元450处将量子化变换系数去量子化,并且在逆变换单元460处对去量子化变换系数进行逆变换以产生导数残余块。重构单元470可以将由帧内/帧间预测单元410所生成的预测块添加到导数残余块以创建重构块。可以将环路滤波单元480应用于重构块以减少失真,诸如块状伪像(blocking artifacts)。
可以使用编码器400的其它变体来对压缩比特流404进行编码。例如,非基于变换的编码器400可以在没有变换单元420的情况下直接地将残余块量子化。在某些实施方式中,可以将量子化单元430和去量子化单元450组合成单个单元。
图5是根据本公开的实施方式的解码器500的框图。解码器500可以在设备(诸如图1中所示的计算设备100或图2中所示的计算和通信设备100A/100B/100C)中被实现为例如存储在数据存储单元(诸如图1中所示的存储器150)中的计算机软件程序。计算机软件程序可以包括被处理器(诸如图1中所示的处理器160)执行且可以使得设备如本文所述地将视频数据解码的机器指令。例如,可以将解码器500实现为包括在计算设备100中的专用硬件。
解码器500接收压缩比特流502,诸如图4中所示的压缩比特流404,并且将压缩比特流502解码以生成输出视频流504。解码器500可以包括熵解码单元510、去量子化单元520、逆变换单元530、帧内/帧间预测单元540、重构单元550、环路滤波单元560、解块(deblocking)滤波单元570或其任何组合。可以使用解码器500的其它结构变体来对压缩比特流502进行解码。
熵解码单元510可以使用例如场境自适应二进制算术解码来对压缩比特流502内的数据元素进行解码,以产生量子化变换系数集。去量子化单元520可以将量子换变换系数去量子化,并且逆变换单元530可以对去量子化变换系数进行逆变换以产生导数残余块,其可以与由图4中所示的逆变换单元460所生成的导数残余块相对应。使用从压缩比特流502解码的报头信息,帧内/帧间预测单元540可以生成与在编码器400中所创建的预测块相对应的预测块。在重构单元550处,可以将预测块添加到导数残余块以创建重构块。可以将环路滤波单元560应用于重构块以减少块状伪像。可以将解块滤波单元570应用于重构块以减少块状失真,并且结果可以被输出作为输出视频流504。
可以使用解码器500的其它变体来对压缩比特流502进行解码。例如,解码器500可以在没有解块滤波单元570的情况下输出视频流504。
图6是根据本公开的实施方式的帧(诸如图3中所示的帧330)的部分600的表示的框图。如所示,部分600包括在笛卡尔平面的矩阵中的两行和两列中的四个64×64块610,可以将其称为超级块。在某些实施方式中,超级块可以是基本或最大代码化单元。一个或多个超级块可以包括四个32×32块620。一个或多个32×32块620可以包括四个16×16块630。一个或多个16×16块630可以包括四个8×8块640。一个或多个8×8块640可以包括四个4×4块650。一个或多个4×4块650可以包括16个像素,所述16个像素是在笛卡尔平面或矩阵中的每个相应的块中的四行和四列中表示的。像素可以包括表示在帧中所捕获的图像的信息,诸如辉度信息、色彩信息以及位置信息。在某些实施方式中,块(诸如所示的16×16像素块630)包括辉度块660,所述辉度块660包括辉度像素662;以及两个色度块670/680,诸如U或Cb色度块670以及V或Cr色度块680。色度块670/680包括色度像素690。例如,辉度块660包括16×16个辉度像素662,并且每个色度块670/680包括如所示的8×8个色度像素690。虽然示出了块的一个布置,但可以使用任何布置。例如,虽然图6示出了N×N块,但在某些实施方式中,可以使用N×M块,其中,N≠M。例如,可以使用32×64块、64×32块、16×32块、32×16块或任何其他大小的块。在某些实施方式中,以使用N×2N块、2N×N块或其组合。
在某些实施方式中,视频代码化可以包括有序块级别(block-level)代码化。有序块级别代码化包括按顺序(诸如光栅扫描顺序)对帧中的块进行代码化,其中,从帧或帧的一部分的左上角中的块开始识别并处理块,并且沿着从左至右的行且从顶行至底行继续进行,依次识别每个块以用于处理。例如,帧的顶行和左列中的超级块可以是被代码化的第一块,而直接紧挨着在第一块右侧的超级块可以是被代码化的第二块。从顶部算起的第二行可以是被代码化的第二行,使得第二行的左列中的超级块可以在第一行的最右列中的超级块之后被代码化。
在某些实施方式中,对块进行代码化可以包括使用四叉树代码化,其可以包括按照光栅扫描顺序对块内的较小块单元进行代码化。例如,可以使用四叉树代码化对图6中所示的帧的部分的左下角中所示的64×64超级块进行代码化,其中,对左上方的32×32块代码化,然后对右上方的32×32块代码化,然后对左下方的32×32块代码化,并且然后对右下方的32×32块代码化。可以使用四叉树代码化对每个32×32块代码化,其中,对左上方的16×16块代码化,然后对右上方的16×16块代码化,然后对左下方的16×16块代码化,并且然后对右下方的16×16块代码化。可以使用四叉树代码化对每个16×16块代码化,其中,对左上方的8×8块代码化,然后对右上方的8×8块代码化,然后对左下方的8×8块代码化,并且然后对右下方的8×8块代码化。可以使用四叉树代码化对每个8×8块代码化,其中,对左上方的4×4块代码化,然后对右上方的4×4块代码化,然后对左下方的4×4块代码化,并且然后对右下方的4×4块代码化。在某些实施方式中,针对16×16块可以省略8×8块,并且可以使用四叉树代码化对16×16块进行代码化,其中,对左上方的4×4块进行代码化,然后按照光栅扫描顺序对16×16块中的其它4×4块进行代码化。
在某些实施方式中,例如,视频代码化可以包括通过从对应的已编码帧省略原始帧中的某些信息来压缩包括在原始或输入帧中的信息。例如,代码化可以包括减少频谱冗余、减少空间冗余、减少时间冗余或其组合。
在某些实施方式中,减少频谱冗余包括使用基于辉度分量(Y)和两个色度分量(U和V或Cb和Cr)的色彩模型,其被称为YUV或YCbCr色彩模型或色彩空间。使用YUV色彩模型包括使用相对大量的信息来表示帧的一部分的辉度分量,并且使用相对少量的信息来表示用于所述帧的部分的每个对应的色度分量。在示例中,用高分辨率辉度分量(其可以包括16×16像素块)并且用两个较低分辨率色度分量(其中的每一个将帧的所述部分表示为8×8像素块)来表示帧的一部分。像素可以指示值,例如,从0至255范围中的值,并且可以使用例如八比特来存储或发射。虽然参考YUV色彩模型描述了本公开,但也可以使用任何色彩模型。
在某些实施方式中,减少空间冗余可以包括使用例如DCT将块变换到频域中。例如,编码器的单元(诸如图4中所示的变换单元420)可以基于空间频率使用变换系数值来执行DCT。
在某些实施方式中,减少时间冗余包括使用帧之间的相似性来基于一个或多个参考帧(其可以是视频流的先前经编码、经解码和经重构的帧)使用相对少量的数据对帧进行编码。例如,当前帧的块或像素可以类似于参考帧的空间上相对应的块或像素。在某些实施方式中,当前帧的块或像素可以类似于不同空间位置处的参考帧的块或相似,并且减少时间冗余可以包括生成指示当前帧中的块或像素的位置与参考帧中的块或像素的相应位置之间的空间差或平移的运动信息。
减少时间冗余还可以包括识别参考帧或参考帧的一部分中的块或像素,其与当前帧的当前块或像素相对应。例如,在可以被存储在存储器中的参考帧或参考帧的一部分中搜索最佳块或像素以用于对当前帧的当前块或像素进行编码。所述搜索可以识别对于其而言参考块与当前块之间的像素值的差被最小化的参考帧的块,并且被称为运动搜索。在某些实施方式中,可以限制被搜索的参考帧的部分。例如,可以称为搜索区的被搜索的参考帧的部分可以包括参考帧的有限数目的行。在示例中,识别参考块可以包括计算搜索区中的块的像素与当前块的像素之间的成本函数,诸如绝对误差和(SAD)(sum of absolutedifference)。
在某些实施方式中,将参考帧中的参考块的位置与当前帧中的当前块之间的空间差表示为运动矢量。可以将参考块与当前块之间的像素值的差称为差分数据、残余数据或者作为残余块。可以将生成运动矢量称为运动估计,并且可以基于使用笛卡儿坐标的位置将当前块的像素指示为fx,y。同样地,可以基于使用笛卡尔坐标的位置将参考帧的搜索区的像素指示为rx,y。例如,可以基于当前帧的像素与参考帧的对应像素之间的SAD来确定用于当前块的运动矢量(MV)。
虽然在本文中为了明了起见参考帧的矩阵或笛卡尔表示来描述频域去噪,但可以用任何数据结构对帧进行存储、发射、处理或其任意组合,使得可以针对帧或图像而高效地预测像素值。例如,可以在诸如所示的矩阵的二维数据结构中或者诸如向量数组的一维数据结构中对帧进行存储、发射、处理或其任何组合。帧的表示(诸如所示的二维表示)可以与帧作为图像的呈现中的物理位置相对应。例如,帧的左上角中的块的左上角中的位置与帧作为图像的呈现的左上角中的物理位置相对应。
在某些实施方式中,捕获或记录视频的过程可能经受噪声或其它非期望伪像。例如,诸如相机制造中的不完美、照明等的因素对输入、源或原始图像中的噪声有所贡献。源视频中的噪声可以降低所感知的视频质量,并且可以降低视频代码化效率。例如,输入噪声(其可以是随机的不可预测噪声)可以被传播到已解码视频并降低已解码视觉质量。输入噪声可以降低压缩速度、压缩性能和/或压缩保真度。
图7是根据本公开的实施方式的使用时域去噪对视频流进行代码化的示例的图。在某些实施方式中,诸如图4中所示的编码器400的编码器可以接收输入视频流,诸如图4中所示的输入视频流402,可以根据图4的描述对输入视频流进行编码,并且可以输出已编码视频流,诸如图4中所示的压缩比特流404。在某些实施方式中,对视频流进行编码可以包括时域去噪700。例如,编码器400可以包括去噪单元(未单独地示出),其可以基于源帧或源帧的一部分以及预测帧或预测帧的一部分(诸如由图4中所示的预测单元410所生成的预测帧)而生成去噪帧或去噪帧的一部分。在某些实施方式中,编码器可以包括组合预测和去噪单元。例如,图4中所示的编码器400的预测单元410可以包括去噪单元。
时域去噪700可以包括在710处识别源块、在720处生成预测块、在730处识别滤波器、在740处生成去噪块、在750处评估去噪块或其组合。在某些实施方式中,时域去噪700包括时间去噪,其中,去噪像素的值可以基于当前帧中的像素和参考帧中的对应像素的值。
在某些实施方式中,在710处识别源块。输入或源视频流的当前帧可以包括多个N×N块,诸如16×16块,并且来自源帧的块可以被识别为源块。在某些实施方式中,可以以逐个块为基础对来自源帧的每个块进行去噪。
在某些实施方式中,在720处生成预测块。例如,可以使用帧间预测(诸如图4中所示的帧间预测单元410)来基于参考帧生成预测块。
在某些实施方式中,在730处识别滤波器。滤波器可以生成已滤波像素,其具有在来自源块的源像素的值与来自预测块的对应预测像素的值之间的值。在某些实施方式中,滤波器具有可以指示源像素和预测像素的相对权重的强度。例如,强滤波器生成具有与源像素的值相比更接近于预测像素的值的值的已滤波像素,并且弱滤波器生成具有与预测像素的值相比更接近于源像素的值的值的已滤波像素。在某些实施方式中,从具有多种强度的候选时间去噪滤波器的集合中识别滤波器。可以在示例中选择最强可用滤波器。
在某些实施方式中,在740处生成去噪块。通过应用所选择的滤波器来基于预测块对源块进行滤波,可以生成去噪块。在某些实施方式中,可以基于来自预测块的对应像素在逐个像素的基础上对来自源块的每个像素进行滤波。例如,可以按照扫描顺序(诸如光栅扫描顺序)来处理来自源块的像素。
在某些实施方式中,在750处评估去噪块。评估去噪块可以包括确定去噪块与源块之间的差。在某些实施方式中,所述去噪块基于所述差是否在保真度阈值内而被拒绝或接受。例如,去噪块与源块之间的差可以在保真度阈值内,并且去噪块被接受。
可以使用连续较弱滤波器迭代地重复在730处识别滤波器、在740处生成去噪块以及在750处评估去噪块,直至识别到可接受的去噪块为止。在某些实施方式中,可以使用源块作为去噪块。在示例中,可用滤波器的集合包括强滤波器和弱滤波器。在730处识别强滤波器,在740处生成强滤波去噪块,在750处评估强滤波去噪块,强滤波去噪块与源块之间的差超过保真度阈值,强滤波去噪块被拒绝,在730处识别弱滤波器,在740处生成弱滤波去噪块,在750处评估弱滤波去噪块,弱滤波去噪块与源块之间的差超过保真度阈值,并且弱滤波去噪块被拒绝。结果,源块在没有去噪的情况下被用作去噪块。
虽然在图7中未单独地示出,可以诸如按照光栅扫描顺序以逐个块为基础对来自当前帧的每个块进行去噪。使用时域去噪的编码可以包括使用去噪块来生成残余块。例如,预测单元(诸如图4中所述的预测单元410)基于源帧与去噪帧之间的差而生成残余。
图8是根据本公开的实施方式的使用频域去噪对视频流进行代码化的示例的图。在某些实施方式中,诸如图4中所示的编码器400的编码器可以接收输入视频流,诸如图4中所示的输入视频流402,可以根据图4的描述对输入视频流进行编码,并且可以输出已编码视频流,诸如压缩比特流404。在某些实施方式中,对视频流进行编码可以包括频域去噪800。例如,图4中所示的编码器400可以包括去噪单元(未单独地示出),其基于基于源帧或源帧的一部分以及预测帧或预测帧的一部分(诸如由图4中所示的预测单元410所生成的预测帧)而生成去噪帧或去噪帧的一部分。在某些实施方式中,编码器可以包括组合预测和去噪单元、组合变换和去噪单元、或组合预测、变换和去噪单元。
在某些实施方式中,频域去噪800包括在810处识别源块、在820处生成预测块、在830处生成变换块、在840处生成去噪块、在850处对去噪块进行逆变换、或其组合。频域去噪800可以包括频率去噪,其可以包括组合空间和时间去噪,其中,去噪像素的值是基于当前帧中的像素的值、参考帧中的对应像素的值以及空间相关像素的值。
在某些实施方式中,在810处识别源块。输入或源视频流的当前帧包括多个N×N块或N×M块,诸如图6中所示的块。例如,源块可以是4×4块、64×64或任何其它大小的块。可以将来自源帧的块识别为源块。在某些实施方式中,可以以逐个块为基础对来自源帧的每个块进行去噪。例如,可以按照一定顺序(诸如光栅顺序)对来自当前帧的块进行去噪。
在某些实施方式中,在820处生成预测块。可以使用帧间预测(诸如图4中所示的帧间预测单元410)来基于参考帧生成预测块。
在某些实施方式中,在830处生成变换块。可以从源块生成源变换块,并且可以从预测块生成预测变换块。例如,变换单元(诸如图4中所示的变换单元420)从预测块生成预测变化块,并且从源块生成源变换块。生成变换块可以包括执行基于块的变换(诸如DCT变换)以从像素的块(诸如源块或预测块)生成频域变换系数。
在某些实施方式中,在840处生成去噪变换块。生成去噪块可以包括基于预测变换块对源变换块应用去噪函数。
在某些实施方式中,源变换块可以是对应的无噪声块(其可以被视为实际块)以及加性高斯噪声的函数。频域去噪可以将实际块恢复为去噪块。在某些实施方式中,预测变换块是与参考块和加性拉普拉斯创新相对应的实际块的函数。频域去噪函数可以基于源变换块和预测变换块来生成实际块的期望。
在示例中,B指示像素域中的源块的Y平面,Bx,y指示B的行x和列y中的像素的值,h指示以像素为单位的源块的高度,w指示以像素为单位的源块的宽度,β是B的离散变换域表示(β=dct(B)),β0指示DC系数,β1、β2、…,、βhw-1指示AC系数,P指示像素域中的B的预测的Y平面,并且π是P的离散变换域表示(π=dct(P))。
在某些实施方式中,是源块的变换域,β表示无噪声信号,其可以是与输入块相对应的真实或实际信号,n表示在源帧的生成期间添加到真实信号的噪声,并且被如下表示:
变量可以是预测块的变换域,π可以表示无噪声信号,其可以是与预测块相对应的真实或实际信号,并且e可以表示创新,使得被如下表示:
在某些实施方式中,去噪包括基于源块和预测块而生成β的估计E。其中,x表示积分变量且dx表示接近于零的积分变量x的量,可以如下表示估计E:
在某些实施方式中,f指示基于和的β的条件概率密度函数,其被如下表示:
在某些实施方式中,针对给定真实块,噪声块和预测块可以是独立的,其可以如下表示:
在某些实施方式中,f(n)指示噪声的函数,并且可以如下表示条件概率密度函数:
在某些实施方式中,用高斯分布对f(n)进行建模,其可以如下表示:
在某些实施方式中,f(e)指示创新的函数,并且可以如下表示条件概率密度函数:
在某些实施方式中,用拉普拉斯分布对f(e)进行建模,其可以如下表示:
在某些实施方式中,指示在点处噪声和创新函数的卷积并且可以如下表示估计:
在某些实施方式中,如下表示的近似:
在某些实施方式中,i可以编索引到从l至u的N个x值的列表xd,每个间隔开距离Δ,使得并且可以利用和来对积分进行近似,其可以如下表示:
可以利用和来对卷积进行近似,其中,积分的边界是相等的,其可以如下表示:
在某些实施方式中,被识别为下界,并且被识别为上界。在某些实施方式中,近似的准确度和计算的成本随着点N的数目而增加,并且N是基于度量(诸如可用的浮点精度、时间、像素精度或其组合)而确定的。可以使用积分表达式的另一近似。
虽然图8中未单独地示出,但可以应用一个或多个频域截止。例如,当前帧可以包括从先前的帧省略的对象,诸如进入所捕获场景的新对象。在这种情况下,用于包括新对象的帧部分的预测块可能被不准确地预测,或者可能是不可预测的,并且可以应用频域截止。
应用频域截止可以包括确定去噪系数值是否在频域中的源系数值与预测系数值之间的范围中。例如,源系数βi可以具有值30,对应的预测系数πi可以具有值26,对应的去噪系数可以具有在截止范围之外的值,诸如32,并且源系数βi的值被用作去噪值。在另一示例中,源系数βi可以具有值30,对应的预测系数πi可以具有值26,对应的去噪系数可以具有在截止范围内的值,诸如27,并且使用所述去噪系数值。
应用频域截止可以包括确定去噪系数值与对应的源系数值之间的差是否在去噪频域相似性阈值以下。例如,去噪频遇相似性阈值可以是百分比(诸如20%),去噪系数值与对应的源系数值之间的差可以大于去噪频域相似性阈值,并且使用所述源系数。在另一示例中,去噪系数值与对应的源系数值之间的差可以小于去噪频域相似性阈值,并且使用所述去噪系数。在另一示例中,去噪系数值与对应的源系数值之间的差可以大于去噪频域相似性阈值,并且使用用去噪频域相似性阈值(诸如源变换系数乘以一个(1)与去噪频域相似性阈值的和)所指示的值作为去噪值。
在某些实施方式中,生成去噪变换块包括在第一遍中生成去噪系数,并且在第二遍中应用截止。生成去噪变换块可以替选地包括在一遍中生成去噪系数并应用截止。
在某些实施方式中,生成去噪变换块包括应用一个或多个基于块的频域截止。使用基于块的频域截止来生成去噪变换可以包括识别基于块的频域截止阈值,其指示最大可靠地可预测频率,并且对在基于块的频域截止阈值内的源系数进行去噪。例如,源系数值可以在基于块的频域截止阈值以上,可以使用所述源系数值,并且省略去噪。在另一示例中,源系数值可以在基于块的频域截止阈值以下,并且生成去噪系数。
可以对去噪变换块进行逆变换以在850处生成去噪块。虽然在图8中未单独地示出,但编码器可以基于去噪块和预测块而生成残余。例如,编码器的预测单元(诸如图4中所示的帧内/帧间预测单元410)可以从去噪块减去预测块以产生残余块。可以诸如按照光栅扫描顺序以逐个块为基础对来自当前帧的每个块进行去噪。
虽然图8中未单独地示出,但可以应用一个或多个像素域截止。应用像素域截止可以包括确定去噪像素值是否在源像素值与预测像素值之间的范围中。例如,去噪像素值可以在源像素值与预测像素值之间,并且使用去噪像素值。在另一示例中,去噪像素值可以在源像素值与预测像素值之间的范围之外,并且将源像素值用于生成残余。
此外,可以应用一个或多个基于块的像素域截止。例如,源块与去噪块之间的总差可以超过基于块的像素域截止阈值,并且然后将源块用于生成残余。
虽然在图8中并未单独地示出,可以使用不同的启发式来确定预测块的准确度是否在去噪阈值以上,并且如果准确度在阈值以下,则省略去噪。例如,用于频率或频率组的预测块与源块之间的差可以在阈值以上,并且省略去噪。
虽然相对于单个参考帧描述了频域去噪,但可以使用多个参考帧,使得去噪块是源块和多个预测块的函数。
除图8中所示的之外的频域去噪的其它实施方式是可用的。可以添加频域去噪的附加元素,可以将某些元素组合和/或可以移除某些元素。
单词“示例”在本文中用来意指充当示例、实例或图示。在本文中描述为“示例”的任何方面或设计不一定要理解为相对于其它方面或设计而言是优选或有利的。相反地,单词“示例”的使用旨在以具体的方式提出概念。如在本申请中使用的术语“或”旨在意指包括性的“或”而不是排他性的“或”。也就是说,除非另外指定,或者从上下文显而易见,“X包括A或B”旨在意指任何的自然包括性排列。也就是说,如果X包括A;X包括B;或者X包括A和B两者,则根据任何前述实例,满足“X包括A或B”。另外,如在本申请和所附权利要求中使用的冠词“一(a)”和“一(an)”一般地应被理解成意指“一个或多个”,除非另外指明或者从上下文显而易见的是针对单数形式。此外,术语“实施例”或“一个实施例”或“实施方式”或“一个实施方式”遍及各处的使用并不旨在意指相同的实施例或实施方式,除非这样地描述。如本文中所使用的术语“确定”和“识别”或其任何变型包括使用图1中所示的设备中的一个或多个以无论任何方式来选择、查明、计算、查找、接收、确定、建立、获得或者以其他方式识别或确定。
进一步地,为了说明的简单起见,虽然本文中的图和描述可以包括步骤或阶段的序列或系列,但本文中公开的方法的元素可以按照各种顺序和/或同时地发生。另外,本文中公开的方法的元素可以与在本文中并未明确地呈现和描述的其它元素一起发生。此外,可能并非本文中所述的方法的所有元素都是实现根据公开主题的方法所需要的。
可以用硬件、软件或其任何组合来实现设备100A、100B、100C(以及存储在其上面和/或从而被执行的算法、方法、指令等)的实施方式。硬件可以包括例如计算机、知识产权(IP)核心、专用集成电路(ASIC)、可编程逻辑阵列、光学处理器、可编程逻辑控制器、微代码、微控制器、服务器、微处理器、数字信号处理器或任何其它适当电路。在权利要求中,应将术语“处理器”理解为包含任何前述硬件(单独地或以组合方式)。术语“信号”和“数据”被可互换地使用。进一步地,设备100A、100B、100C的部分不一定必须用相同的方式实现。
进一步地,在一个实施方式中,例如,可以使用具有计算机程序的通用计算机或通用处理器来实现100A、100B、100C,所述计算机程序在被执行时执行本文所述的任何的各方法、算法和/或指令。另外或替选地,例如,可以利用专用计算机/处理器,其可以包含用于执行本文中所述的任何方法、算法或指令的专用硬件。
例如,可以在实时视频***中的计算机上实现任何或所有设备100A、100B、100C。替选地,可以在服务器上将设备100A实现为发射站,并且可以在与服务器分离的设备(诸如手持式通信设备)上将设备100B、100C实现为一个或多个接收站。在这种情况下,设备100A可以使用编码器400将内容编码成已编码视频信号并将已编码视频信号发射到设备100B或100C。进而,设备100B/100C然后可以使用解码器500将已编码视频信号解码。替选地,设备100B/100C可以对本地存储的内容(例如并非由设备100A发射的内容)进行解码。用于发射站和接收站的其它适当布置是可用的。例如,设备100B或100C可以是大体上固定的个人计算机而不是便携式通信设备和/或包括编码器400的设备还可以包括解码器500。
进一步地,所有实施方式或其一部分可以采取从例如有形计算机可用或计算机可读介质可访问的计算机程序产品的形式。计算机可用或计算机可读介质可以是可以有形地包含、存储、通信或传输程序以供任何处理器使用或与之相结合地使用的任何设备。例如,所述介质可以是电子、磁性、光学、电磁或半导体设备。其它适当介质也是可用的。
描述上述实施方式是为了允许容易地理解本申请而不是进行限制。相反地,本申请涵盖包括在所附权利要求范围内的各种修改和等价布置,所述范围将是根据最宽泛的解释从而涵盖根据法律许可的所有此类修改和等价结构。
Claims (17)
1.一种用于频域去噪的方法,包括:
从来自源视频流的当前源帧识别当前源块;
生成所述当前源块的预测块;
通过将所述当前源块变换到频域中,来生成所述当前源块的源变换块;
通过将所述预测块变换到所述频域中,来生成预测变换块;
响应于存储在非暂时性计算机可读介质上的指令,由处理器在考虑所述源变换块和所述预测变换块的情况下,基于去噪变换块和所述去噪变换块的条件概率函数的乘积的积分的近似来生成所述去噪变换块;
通过对所述去噪变换块进行逆变换,来生成去噪块;
基于所述去噪块与所述预测块之间的差,来生成残余块;
通过对所述残余块进行编码来生成编码块;以及
输出或存储所述编码块。
2.根据权利要求1所述的方法,其中,所述当前源块包括噪声。
3.根据权利要求1所述的方法,其中,通过将所述当前源块变换到所述频域中来生成所述源变换块包括:对所述当前源块应用基于块的变换,使得所述源变换块包括多个源变换系数,并且其中,通过将所述预测块变换到所述频域中来生成所述预测变换块包括:对所述预测块应用所述基于块的变换,使得所述预测变换块包括多个预测变换系数。
4.根据权利要求3所述的方法,其中,所述基于块的变换是离散余弦变换。
5.根据权利要求1所述的方法,其中,生成所述去噪变换块包括基于所述预测变换块来对所述源变换块去噪。
6.根据权利要求1所述的方法,其中,生成所述去噪变换块包括:应用频域截止或像素域截止中的至少一个。
7.根据权利要求6所述的方法,其中,应用所述频域截止包括:应用基于块的频域截止。
8.根据权利要求6所述的方法,其中,应用所述像素域截止包括:应用基于块的像素域截止。
9.一种用于频域去噪的方法,包括:
从来自源视频流的当前源帧识别当前源块;
响应于存储在非暂时性计算机可读介质上的指令,由处理器通过使用频域去噪对所述当前源块进行编码使得所述当前源块中的输入噪声降低来生成编码块,其中所述频域去噪包括:
通过以下步骤基于与所述当前源块相对应的去噪块和预测块之间的差来生成第一残余块,其中,没有第二残余块是基于所述当前源块和任何预测块之间的差生成的:
生成所述当前源块的所述预测块;
通过将所述当前源块变换到所述频域中,来生成源变换块;
通过将所述预测块变换到所述频域中,来生成预测变换块;
通过在考虑所述源变换块和所述预测变换块的情况下,对去噪变换块和所述去噪变换块的条件概率函数的乘积进行积分,来生成所述去噪变换块;以及
通过对所述去噪变换块进行逆变换,来生成所述去噪块;以及
通过对所述第一残余块进行编码,来生成所述编码块;以及
输出或存储所述编码块。
10.根据权利要求9所述的方法,其中,所述当前源块包括噪声。
11.根据权利要求9所述的方法,其中,通过将所述当前源块变换到所述频域中来生成所述源变换块包括:对所述当前源块应用离散余弦变换,使得所述源变换块包括多个源变换系数,并且其中,通过将所述预测块变换到所述频域中来生成所述预测变换块包括:对所述预测块应用所述离散余弦变换,使得所述预测变换块包括多个预测变换系数。
12.根据权利要求9所述的方法,其中,生成所述去噪变换块包括:基于所述预测变换块来对所述源变换块去噪。
13.根据权利要求9所述的方法,其中,生成所述去噪变换块包括:应用基于系数的频域截止、应用基于块的频域截止、应用基于像素的像素域截止、或者应用基于块的像素域截止。
14.根据权利要求9所述的方法,其中,使用频域去噪来对所述当前源块进行编码省略了环路滤波。
15.根据权利要求14所述的方法,进一步包括:
基于所述编码块生成重构块,其中,基于所述编码块生成所述重构块包括环路滤波。
16.一种用于频域去噪的方法,包括:
从来自源视频流的当前源帧识别当前源块;
生成所述当前源块的预测块;
通过将所述当前源块变换到所述频域中,来生成所述当前源块的源变换块,其中,所述源变换块是去噪变换块和噪声的第一和;
通过将所述预测块变换到所述频域中,来生成所述预测块的预测变换块,其中,所述预测变换块是无噪声预测变换块和创新的第二和;
响应于存储在非暂时性计算机可读介质上的指令,由处理器基于所述噪声的条件概率密度函数的模型和所述创新的条件概率密度函数的模型的积分,来生成所述去噪变换块;
通过对所述去噪变换块进行逆变换,来生成去噪块;
基于所述去噪块与所述预测块之间的差,来生成残余块;
通过对所述残余块进行编码来生成编码块;以及
输出或存储所述编码块。
17.根据权利要求16所述的方法,其中,生成所述去噪变换块包括:应用基于系数的频域截止、应用基于块的频域截止、应用基于像素的像素域截止、或者应用基于块的像素域截止。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/496,563 US10102613B2 (en) | 2014-09-25 | 2014-09-25 | Frequency-domain denoising |
US14/496,563 | 2014-09-25 | ||
PCT/US2015/042599 WO2016048448A1 (en) | 2014-09-25 | 2015-07-29 | Frequency-domain denoising |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106663310A CN106663310A (zh) | 2017-05-10 |
CN106663310B true CN106663310B (zh) | 2019-09-17 |
Family
ID=53836839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580034561.6A Active CN106663310B (zh) | 2014-09-25 | 2015-07-29 | 频域去噪 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10102613B2 (zh) |
EP (1) | EP3198555B1 (zh) |
CN (1) | CN106663310B (zh) |
DE (1) | DE112015004399T5 (zh) |
GB (1) | GB2544902A (zh) |
WO (1) | WO2016048448A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10140689B2 (en) * | 2017-01-20 | 2018-11-27 | Sony Corporation | Efficient path-based method for video denoising |
EP3550834A1 (en) * | 2018-04-06 | 2019-10-09 | Comcast Cable Communications LLC | Encoding of video cross-fades using weighted inter-prediction |
US10491897B2 (en) * | 2018-04-13 | 2019-11-26 | Google Llc | Spatially adaptive quantization-aware deblocking filter |
CN111758260B (zh) * | 2018-09-02 | 2022-07-08 | Lg电子株式会社 | 用于处理图像信号的方法及设备 |
CN112801906B (zh) * | 2021-02-03 | 2023-02-21 | 福州大学 | 基于循环神经网络的循环迭代图像去噪方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1145710A (zh) * | 1995-01-24 | 1997-03-19 | 马特瑞通讯法国公司 | 具有一个带转入频域的变换的自适应滤波器的声回波消除器 |
CN1295310A (zh) * | 1999-11-08 | 2001-05-16 | 松下电器产业株式会社 | 正交变换图像的分辨率变换装置和方法 |
CN1578403A (zh) * | 2003-07-16 | 2005-02-09 | 三星电子株式会社 | 用于视频噪声抑制的方法和装置 |
WO2005045760A3 (en) * | 2003-10-29 | 2005-11-10 | Hewlett Packard Development Co | Transformations for denoising images |
CN101848181A (zh) * | 2009-03-25 | 2010-09-29 | 清华大学 | 一种基于时频域变换的数字信号发送方法 |
CN102045514B (zh) * | 2009-10-13 | 2012-12-05 | 原相科技股份有限公司 | 图像噪声滤除方法 |
Family Cites Families (316)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CH522330A (de) | 1971-06-03 | 1972-06-15 | Ibm | Verfahren und Einrichtung zur Codierung und Decodierung von Videosignalen |
US4729127A (en) | 1981-10-20 | 1988-03-01 | The United States Of America As Represented By The Secretary Of The Army | Method and system for compression and reconstruction of cultural data for use in a digital moving map display |
JPS6192073A (ja) | 1984-10-12 | 1986-05-10 | Hitachi Ltd | 画像デ−タ圧縮方式 |
US4719642A (en) | 1985-02-27 | 1988-01-12 | Scientific Atlanta, Inc. | Error detection and concealment using predicted signal values |
US4736446A (en) | 1985-03-29 | 1988-04-05 | Quad-Tech Inc. | Cutoff control system |
GB2189106B (en) | 1986-04-14 | 1990-02-14 | Philips Electronic Associated | Image display |
US4891748A (en) | 1986-05-30 | 1990-01-02 | Mann Ralph V | System and method for teaching physical skills |
DE3629472A1 (de) | 1986-08-29 | 1988-03-03 | Licentia Gmbh | Verfahren zur bewegungskompensierten bild-zu-bild-praediktionscodierung |
ATE74219T1 (de) | 1987-06-02 | 1992-04-15 | Siemens Ag | Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen. |
JP2743434B2 (ja) | 1989-02-17 | 1998-04-22 | 日本ビクター株式会社 | 動き補償フレーム間予測符号化回路 |
JPH02272970A (ja) | 1989-04-14 | 1990-11-07 | Sony Corp | データ処理回路 |
JPH03129987A (ja) | 1989-10-14 | 1991-06-03 | Sony Corp | 映像信号符号化装置及び映像信号符号化方法 |
US5136371A (en) | 1990-03-15 | 1992-08-04 | Thomson Consumer Electronics, Inc. | Digital image coding using random scanning |
US5091782A (en) | 1990-04-09 | 1992-02-25 | General Instrument Corporation | Apparatus and method for adaptively compressing successive blocks of digital video |
US5083214A (en) | 1990-05-02 | 1992-01-21 | Eastman Kodak Company | Apparatus and methods for extracting data from a scanned bit-mapped data strip |
US5068724A (en) | 1990-06-15 | 1991-11-26 | General Instrument Corporation | Adaptive motion compensation for digital television |
EP0466981B1 (en) | 1990-07-20 | 1997-02-26 | Koninklijke Philips Electronics N.V. | Motion vector processing device |
GB9015986D0 (en) | 1990-07-20 | 1990-09-05 | Philips Electronic Associated | Image display |
US5164819A (en) | 1991-04-03 | 1992-11-17 | Music John D | Method and system for coding and compressing color video signals |
US5457780A (en) | 1991-04-17 | 1995-10-10 | Shaw; Venson M. | System for producing a video-instruction set utilizing a real-time frame differential bit map and microblock subimages |
US5313306A (en) | 1991-05-13 | 1994-05-17 | Telerobotics International, Inc. | Omniview motionless camera endoscopy system |
US5640208A (en) | 1991-06-27 | 1997-06-17 | Sony Corporation | Video signal encoding in accordance with stored parameters |
US5341440A (en) | 1991-07-12 | 1994-08-23 | Earl Joseph G | Method and apparatus for increasing information compressibility |
EP0533195A2 (en) | 1991-09-20 | 1993-03-24 | Sony Corporation | Picture signal encoding and/or decoding apparatus |
JP3263960B2 (ja) | 1991-10-22 | 2002-03-11 | ソニー株式会社 | 動きベクトル符号器および復号器 |
JP2586260B2 (ja) | 1991-10-22 | 1997-02-26 | 三菱電機株式会社 | 適応的ブロッキング画像符号化装置 |
US6208805B1 (en) | 1992-02-07 | 2001-03-27 | Max Abecassis | Inhibiting a control function from interfering with a playing of a video |
US5434678A (en) | 1993-01-11 | 1995-07-18 | Abecassis; Max | Seamless transmission of non-sequential video segments |
US5461423A (en) | 1992-05-29 | 1995-10-24 | Sony Corporation | Apparatus for generating a motion vector with half-pixel precision for use in compressing a digital motion picture signal |
US5291281A (en) | 1992-06-18 | 1994-03-01 | General Instrument Corporation | Adaptive coding level control for video compression systems |
US5377018A (en) | 1992-06-22 | 1994-12-27 | Media Vision | Video compression and decompression using block selection and subdivision |
US5365280A (en) | 1992-06-26 | 1994-11-15 | U.S. Philips Corporation | Method and apparatus for discriminating between movie film and non-movie film and generating a picture signal processing mode control signal |
JPH0638197A (ja) | 1992-06-30 | 1994-02-10 | Sony Corp | 符号器、復号器、および符号化方法 |
US5278647A (en) | 1992-08-05 | 1994-01-11 | At&T Bell Laboratories | Video decoder using adaptive macroblock leak signals |
WO1994018799A1 (en) | 1993-02-03 | 1994-08-18 | Qualcomm Incorporated | Interframe video encoding and decoding system |
US5361105A (en) | 1993-03-05 | 1994-11-01 | Matsushita Electric Corporation Of America | Noise reduction system using multi-frame motion estimation, outlier rejection and trajectory correction |
US6327304B1 (en) | 1993-05-12 | 2001-12-04 | The Duck Corporation | Apparatus and method to digitally compress video signals |
US6181822B1 (en) | 1993-05-12 | 2001-01-30 | The Duck Corporation | Data compression apparatus and method |
US5432870A (en) | 1993-06-30 | 1995-07-11 | Ricoh Corporation | Method and apparatus for compressing and decompressing images of documents |
FI94306C (fi) | 1993-07-15 | 1995-08-10 | Nokia Technology Gmbh | Menetelmä televisiokuvan pienten kuvasegmenttien liikevektoreiden määrittämiseksi |
US5398068A (en) | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
US6285710B1 (en) | 1993-10-13 | 2001-09-04 | Thomson Licensing S.A. | Noise estimation and reduction apparatus for video signal processing |
US5999641A (en) | 1993-11-18 | 1999-12-07 | The Duck Corporation | System for manipulating digitized image objects in three dimensions |
US5488570A (en) | 1993-11-24 | 1996-01-30 | Intel Corporation | Encoding and decoding video signals using adaptive filter switching criteria |
US5579348A (en) | 1994-02-02 | 1996-11-26 | Gi Corporation | Method and apparatus for improving the apparent accuracy of a data receiver clock circuit |
JPH07288819A (ja) | 1994-04-19 | 1995-10-31 | Sony Corp | 動きベクトル検出装置 |
KR100213018B1 (ko) | 1994-07-30 | 1999-08-02 | 윤종용 | 동화상 부호화장치 |
FI97096C (fi) | 1994-09-13 | 1996-10-10 | Nokia Mobile Phones Ltd | Videonkompressiomenetelmä |
US5561477A (en) | 1994-10-26 | 1996-10-01 | Thomson Consumer Electronics, Inc. | System for coding a video signal in the presence of an image intensity gradient |
US5629736A (en) | 1994-11-01 | 1997-05-13 | Lucent Technologies Inc. | Coded domain picture composition for multimedia communications systems |
EP0712092A1 (en) | 1994-11-10 | 1996-05-15 | Agfa-Gevaert N.V. | Image contrast enhancing method |
US5706059A (en) | 1994-11-30 | 1998-01-06 | National Semiconductor Corp. | Motion estimation using a hierarchical search |
EP0721287A1 (en) | 1995-01-09 | 1996-07-10 | Daewoo Electronics Co., Ltd | Method and apparatus for encoding a video signal |
US5731840A (en) | 1995-03-10 | 1998-03-24 | Kabushiki Kaisha Toshiba | Video coding/decoding apparatus which transmits different accuracy prediction levels |
JPH08275160A (ja) | 1995-03-27 | 1996-10-18 | Internatl Business Mach Corp <Ibm> | 離散余弦変換方法 |
KR0178198B1 (ko) | 1995-03-28 | 1999-05-01 | 배순훈 | 영상 신호 부호화 장치 |
US5812197A (en) | 1995-05-08 | 1998-09-22 | Thomson Consumer Electronics, Inc. | System using data correlation for predictive encoding of video image data subject to luminance gradients and motion |
US5818969A (en) | 1995-05-12 | 1998-10-06 | Intel Corporation | Intelligent start for motion estimation search |
US5629778A (en) | 1995-05-15 | 1997-05-13 | Polaroid Corporation | Method and apparatus for reduction of image data compression noise |
US5936673A (en) | 1995-05-26 | 1999-08-10 | Intel Corporation | Temporal tile staggering for block based video compression |
US5930493A (en) | 1995-06-07 | 1999-07-27 | International Business Machines Corporation | Multimedia server system and method for communicating multimedia information |
US5568200A (en) | 1995-06-07 | 1996-10-22 | Hitachi America, Ltd. | Method and apparatus for improved video display of progressively refreshed coded video |
US5734744A (en) | 1995-06-07 | 1998-03-31 | Pixar | Method and apparatus for compression and decompression of color data |
JP3618833B2 (ja) | 1995-07-14 | 2005-02-09 | キヤノン株式会社 | 画像処理装置及び方法 |
US5623308A (en) | 1995-07-07 | 1997-04-22 | Lucent Technologies Inc. | Multiple resolution, multi-stream video system using a single standard coder |
MY121607A (en) | 1995-07-10 | 2006-02-28 | Hyundai Curitel Inc | Grid moving method of object image and apparatus using the same and compaction/motion estimation method using the same and apparatus thereof |
EP0838113A1 (en) | 1995-07-11 | 1998-04-29 | TELEFONAKTIEBOLAGET L M ERICSSON (publ) | Video coding |
US6119154A (en) | 1995-07-14 | 2000-09-12 | Oracle Corporation | Method and apparatus for non-sequential access to an in-progress video feed |
US5659539A (en) | 1995-07-14 | 1997-08-19 | Oracle Corporation | Method and apparatus for frame accurate access of digital audio-visual information |
US5721822A (en) | 1995-07-21 | 1998-02-24 | Intel Corporation | Run-length encoding/decoding video signals using scan patterns explicitly encoded into bitstreams |
US5774593A (en) | 1995-07-24 | 1998-06-30 | University Of Washington | Automatic scene decomposition and optimization of MPEG compressed video |
US5793647A (en) | 1995-08-15 | 1998-08-11 | Diffracto, Ltd. | System and method for graphical image data acquistion, storage, and retrieval |
US5748242A (en) | 1995-08-25 | 1998-05-05 | Lucent Technologies Inc. | Color video vector quantization with chrominance codebook bypass |
EP2129133A3 (en) | 1995-08-29 | 2012-02-15 | Sharp Kabushiki Kaisha | Video coding device and video decoding device with a motion compensated interframe prediction |
GB9519923D0 (en) | 1995-09-29 | 1995-11-29 | Philips Electronics Nv | Motion estimation for predictive image coding |
US5959672A (en) | 1995-09-29 | 1999-09-28 | Nippondenso Co., Ltd. | Picture signal encoding system, picture signal decoding system and picture recognition system |
WO1997017797A2 (en) | 1995-10-25 | 1997-05-15 | Sarnoff Corporation | Apparatus and method for quadtree based variable block size motion estimation |
US5929940A (en) | 1995-10-25 | 1999-07-27 | U.S. Philips Corporation | Method and device for estimating motion between images, system for encoding segmented images |
US6041145A (en) | 1995-11-02 | 2000-03-21 | Matsushita Electric Industrial Co., Ltd. | Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture |
KR0181069B1 (ko) | 1995-11-08 | 1999-05-01 | 배순훈 | 움직임 추정장치 |
JPH09163373A (ja) | 1995-12-08 | 1997-06-20 | Toshiba Corp | 雑音低減装置 |
KR100197368B1 (ko) | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
US5748247A (en) | 1996-04-08 | 1998-05-05 | Tektronix, Inc. | Refinement of block motion vectors to achieve a dense motion field |
US5828370A (en) | 1996-07-01 | 1998-10-27 | Thompson Consumer Electronics Inc. | Video delivery system and method for displaying indexing slider bar on the subscriber video screen |
KR100242637B1 (ko) | 1996-07-06 | 2000-02-01 | 윤종용 | 동보상된 영상의 블록화효과 및 링잉노이즈 감소를 위한 루프필터링방법 |
US5926226A (en) | 1996-08-09 | 1999-07-20 | U.S. Robotics Access Corp. | Method for adjusting the quality of a video coder |
JP3263807B2 (ja) | 1996-09-09 | 2002-03-11 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
US5963203A (en) | 1997-07-03 | 1999-10-05 | Obvious Technology, Inc. | Interactive video icon with designated viewing position |
US6014706A (en) | 1997-01-30 | 2000-01-11 | Microsoft Corporation | Methods and apparatus for implementing control functions in a streamed video display system |
US6188799B1 (en) | 1997-02-07 | 2001-02-13 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for removing noise in still and moving pictures |
US5991447A (en) | 1997-03-07 | 1999-11-23 | General Instrument Corporation | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video |
US6005980A (en) | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
JP3095140B2 (ja) | 1997-03-10 | 2000-10-03 | 三星電子株式会社 | ブロック化効果の低減のための一次元信号適応フィルター及びフィルタリング方法 |
US6115420A (en) | 1997-03-14 | 2000-09-05 | Microsoft Corporation | Digital video signal encoder and encoding method |
JP3351705B2 (ja) | 1997-04-25 | 2002-12-03 | 日本ビクター株式会社 | 動き補償符号化装置、動き補償符号化方法、及び記録媒体への記録方法 |
US6125229A (en) | 1997-06-02 | 2000-09-26 | Philips Electronics North America Corporation | Visual indexing system |
US6134270A (en) | 1997-06-13 | 2000-10-17 | Sun Microsystems, Inc. | Scaled forward and inverse discrete cosine transform and video compression/decompression systems employing the same |
US6112234A (en) | 1997-07-01 | 2000-08-29 | Leiper; Thomas W. | Method for transfer of radiographic images |
US6359929B1 (en) | 1997-07-04 | 2002-03-19 | Matsushita Electric Industrial Co., Ltd. | Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium |
US6108383A (en) | 1997-07-15 | 2000-08-22 | On2.Com, Inc. | Method and apparatus for compression and decompression of video images |
DE19730305A1 (de) | 1997-07-15 | 1999-01-21 | Bosch Gmbh Robert | Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion |
KR100243225B1 (ko) | 1997-07-16 | 2000-02-01 | 윤종용 | 블록화효과 및 링잉잡음 감소를 위한 신호적응필터링방법 및신호적응필터 |
KR100244291B1 (ko) | 1997-07-30 | 2000-02-01 | 구본준 | 동영상 움직임 벡터 코딩 방법 |
KR100244290B1 (ko) | 1997-09-09 | 2000-02-01 | 구자홍 | 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법 |
US5956431A (en) | 1997-10-02 | 1999-09-21 | S3 Incorporated | System and method for fixed-rate block-based image compression with inferred pixel values |
EP0911433B1 (de) | 1997-10-22 | 2002-06-05 | Zinser Textilmaschinen GmbH | Spinnverfahren mit Vorspinnmaschinen und mit Ringspinnmaschinen |
US6292837B1 (en) | 1997-10-30 | 2001-09-18 | Daniel Miller | Apparatus and method for non-sequential image data transmission and display |
EP0953254B1 (en) | 1997-11-17 | 2006-06-14 | Koninklijke Philips Electronics N.V. | Motion-compensated predictive image encoding and decoding |
JP2891253B1 (ja) | 1997-12-10 | 1999-05-17 | 日本電気株式会社 | 画像圧縮処理装置 |
KR100523908B1 (ko) | 1997-12-12 | 2006-01-27 | 주식회사 팬택앤큐리텔 | 격행주사 영상에 대한 영상신호 부호화 장치 및 그 방법 |
US6100940A (en) | 1998-01-21 | 2000-08-08 | Sarnoff Corporation | Apparatus and method for using side information to improve a coding system |
KR100328417B1 (ko) | 1998-03-05 | 2002-03-16 | 마츠시타 덴끼 산교 가부시키가이샤 | 화상부호화장치및화상복호화장치, 화상부보화방법 및 화상복호화방법, 및 데이터기억매체 |
JP3856262B2 (ja) | 1998-03-09 | 2006-12-13 | 日本ビクター株式会社 | 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 |
JPH11280032A (ja) | 1998-03-27 | 1999-10-12 | Kyodo Kumiai Gumma Prefecture Toubu Mokuzai Oroshi Center | ガードレール |
JPH11289544A (ja) | 1998-04-02 | 1999-10-19 | Sony Corp | 動き検出装置およびその方法 |
US6434196B1 (en) * | 1998-04-03 | 2002-08-13 | Sarnoff Corporation | Method and apparatus for encoding video information |
JPH11341496A (ja) | 1998-05-28 | 1999-12-10 | Matsushita Electric Ind Co Ltd | 画像処理方法,画像処理装置,及びデータ記憶媒体 |
US6285801B1 (en) | 1998-05-29 | 2001-09-04 | Stmicroelectronics, Inc. | Non-linear adaptive image filter for filtering noise such as blocking artifacts |
US5985526A (en) | 1998-06-19 | 1999-11-16 | Eastman Kodak Company | Imaging process based on change of optical covering power |
US6411651B1 (en) | 1998-06-26 | 2002-06-25 | Compaq Information Technologies Group, L.P. | Method and system for distributed video compression in personal computer architecture |
US5946414A (en) | 1998-08-28 | 1999-08-31 | Xerox Corporation | Encoding data in color images using patterned color modulated image regions |
US6621867B1 (en) | 1998-11-16 | 2003-09-16 | Hitachi America, Ltd | Methods and apparatus for detecting edges within encoded images |
US6418166B1 (en) | 1998-11-30 | 2002-07-09 | Microsoft Corporation | Motion estimation and block matching pattern |
US6389072B1 (en) | 1998-12-23 | 2002-05-14 | U.S. Philips Corp. | Motion analysis based buffer regulation scheme |
US6697061B1 (en) | 1999-01-21 | 2004-02-24 | Hewlett-Packard Development Company, L.P. | Image compression featuring selective re-use of prior compression data |
US6529638B1 (en) | 1999-02-01 | 2003-03-04 | Sharp Laboratories Of America, Inc. | Block boundary artifact reduction for block-based image compression |
US6400763B1 (en) | 1999-02-18 | 2002-06-04 | Hewlett-Packard Company | Compression system which re-uses prior motion vectors |
JP2000244921A (ja) | 1999-02-24 | 2000-09-08 | Matsushita Electric Ind Co Ltd | 映像符号化方法および装置 |
JP3302939B2 (ja) | 1999-03-12 | 2002-07-15 | アールシーエー トムソン ライセンシング コーポレイシヨン | 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置 |
JP2000270328A (ja) | 1999-03-17 | 2000-09-29 | Mitsubishi Electric Corp | 動きベクトル検出装置 |
US6904091B1 (en) | 1999-03-25 | 2005-06-07 | Imec Vzw | Methods and apparatus for progressive transmission of subband images |
FR2792798B1 (fr) | 1999-04-26 | 2001-05-25 | Thomson Multimedia Sa | Procede et dispositif de quantification pour compression video |
EP1120976A4 (en) | 1999-07-29 | 2006-03-29 | Mitsubishi Electric Corp | METHOD FOR DETECTING MOTION VECTOR |
US6735249B1 (en) | 1999-08-11 | 2004-05-11 | Nokia Corporation | Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding |
US6277075B1 (en) | 1999-11-26 | 2001-08-21 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for visualization of motion in ultrasound flow imaging using continuous data acquisition |
EP1161839A1 (en) | 1999-12-28 | 2001-12-12 | Koninklijke Philips Electronics N.V. | Snr scalable video encoding method and corresponding decoding method |
US6671319B1 (en) | 1999-12-28 | 2003-12-30 | Sony Corporation | Methods and apparatus for motion estimation using neighboring macroblocks |
US6522784B1 (en) | 2000-04-11 | 2003-02-18 | International Business Machines Corporation | Enhanced compression of gray-level images |
US6711211B1 (en) | 2000-05-08 | 2004-03-23 | Nokia Mobile Phones Ltd. | Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder |
US6707952B1 (en) | 2000-05-30 | 2004-03-16 | Sharp Laboratories Of America, Inc. | Method for removing ringing artifacts from locations near dominant edges of an image reconstructed after compression |
KR100708091B1 (ko) | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
JP2002077917A (ja) | 2000-06-13 | 2002-03-15 | Sony Corp | 画像データ処理装置及び画像データ処理方法 |
KR20020027548A (ko) | 2000-06-15 | 2002-04-13 | 요트.게.아. 롤페즈 | 이미지 시퀀스 노이즈 필터링 |
JP4641704B2 (ja) | 2000-09-12 | 2011-03-02 | パナソニック株式会社 | ノイズ低減化方法、ノイズ低減化装置、記録媒体、及びプログラム |
US6661842B1 (en) | 2000-09-22 | 2003-12-09 | General Dynamics Decision Systems, Inc. | Methods and apparatus for error-resilient video coding |
JP4607305B2 (ja) | 2000-09-27 | 2011-01-05 | 株式会社東芝 | 映像符号化装置及び映像符号化方法 |
JP2002141806A (ja) | 2000-10-31 | 2002-05-17 | Hitachi Ltd | 可変長符号復号装置 |
US6765964B1 (en) | 2000-12-06 | 2004-07-20 | Realnetworks, Inc. | System and method for intracoding video data |
WO2002063883A1 (en) | 2001-02-06 | 2002-08-15 | Koninklijke Philips Electronics N.V. | Preprocessing method applied to textures of arbitrarily shaped objects |
CN1167034C (zh) | 2001-02-27 | 2004-09-15 | 华为技术有限公司 | 图像预去噪的方法 |
US20020172431A1 (en) | 2001-03-07 | 2002-11-21 | Atkins C. Brian | Digital image appearance enhancement and compressibility improvement method and system |
US7929610B2 (en) | 2001-03-26 | 2011-04-19 | Sharp Kabushiki Kaisha | Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding |
US7450641B2 (en) | 2001-09-14 | 2008-11-11 | Sharp Laboratories Of America, Inc. | Adaptive filtering based upon boundary strength |
DE10120806B4 (de) | 2001-04-27 | 2005-12-15 | Fenkart Informatik & Telekommunikations Kg | Vorrichtung und Verfahren zur Übertragung von multimedialen Datenobjekten |
US20030023982A1 (en) | 2001-05-18 | 2003-01-30 | Tsu-Chang Lee | Scalable video encoding/storage/distribution/decoding for symmetrical multiple video processors |
JP3791003B2 (ja) | 2001-05-21 | 2006-06-28 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
US6987866B2 (en) | 2001-06-05 | 2006-01-17 | Micron Technology, Inc. | Multi-modal motion estimation for video sequences |
US7003174B2 (en) | 2001-07-02 | 2006-02-21 | Corel Corporation | Removal of block encoding artifacts |
JP2003046944A (ja) | 2001-08-02 | 2003-02-14 | Sony Corp | 信号処理装置および方法、記録装置および方法、再生装置および方法、記録再生装置および方法、ビデオカメラ、ならびに、映像モニタ装置 |
US7110455B2 (en) | 2001-08-14 | 2006-09-19 | General Instrument Corporation | Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering |
US7027654B1 (en) | 2001-08-16 | 2006-04-11 | On2 Technologies | Video compression system |
EP1294194B8 (en) | 2001-09-10 | 2010-08-04 | Texas Instruments Incorporated | Apparatus and method for motion vector estimation |
US6856701B2 (en) | 2001-09-14 | 2005-02-15 | Nokia Corporation | Method and system for context-based adaptive binary arithmetic coding |
WO2003026315A1 (en) | 2001-09-14 | 2003-03-27 | Ntt Docomo, Inc. | Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program |
US6983079B2 (en) | 2001-09-20 | 2006-01-03 | Seiko Epson Corporation | Reducing blocking and ringing artifacts in low-bit-rate coding |
CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
EP1470726A1 (en) * | 2001-12-31 | 2004-10-27 | STMicroelectronics Asia Pacific Pte Ltd. | Video encoding |
US7054367B2 (en) | 2001-12-31 | 2006-05-30 | Emc Corporation | Edge detection based on variable-length codes of block coded video |
JP3923898B2 (ja) | 2002-01-18 | 2007-06-06 | 株式会社東芝 | 画像符号化方法及び装置 |
JP2004007379A (ja) | 2002-04-10 | 2004-01-08 | Toshiba Corp | 動画像符号化方法及び動画像復号化方法 |
JP3864098B2 (ja) | 2002-02-08 | 2006-12-27 | 日本電信電話株式会社 | 動画像符号化方法、動画像復号方法、及びこれらの方法の実行プログラムとこれらの実行プログラムを記録した記録媒体 |
US6944222B2 (en) | 2002-03-04 | 2005-09-13 | Koninklijke Philips Electronics N.V. | Efficiency FGST framework employing higher quality reference frames |
US8401084B2 (en) | 2002-04-01 | 2013-03-19 | Broadcom Corporation | System and method for multi-row decoding of video with dependent rows |
US7110459B2 (en) | 2002-04-10 | 2006-09-19 | Microsoft Corporation | Approximate bicubic filter |
US7170937B2 (en) | 2002-05-01 | 2007-01-30 | Texas Instruments Incorporated | Complexity-scalable intra-frame prediction technique |
US6907079B2 (en) | 2002-05-01 | 2005-06-14 | Thomson Licensing S.A. | Deblocking filter conditioned on pixel brightness |
US7116721B1 (en) | 2002-05-20 | 2006-10-03 | Cirrus Logic, Inc. | Delta-sigma modulators with integral digital low-pass filtering |
US7236524B2 (en) | 2002-05-28 | 2007-06-26 | Sharp Laboratories Of America, Inc. | Methods and systems for image intra-prediction mode communication |
JP2005532725A (ja) | 2002-07-09 | 2005-10-27 | ノキア コーポレイション | ビデオ符号化における内挿フィルタタイプの選択方法および選択システム |
KR100943581B1 (ko) | 2002-07-11 | 2010-02-23 | 파나소닉 주식회사 | 필터링 강도의 결정 방법, 동화상 부호화 방법 및 동화상복호화 방법 |
KR100865034B1 (ko) | 2002-07-18 | 2008-10-23 | 엘지전자 주식회사 | 모션 벡터 예측 방법 |
CN1206864C (zh) | 2002-07-22 | 2005-06-15 | 中国科学院计算技术研究所 | 结合率失真优化的码率控制的方法及其装置 |
US7072512B2 (en) | 2002-07-23 | 2006-07-04 | Microsoft Corporation | Segmentation of digital video and images into continuous tone and palettized regions |
US7072394B2 (en) | 2002-08-27 | 2006-07-04 | National Chiao Tung University | Architecture and method for fine granularity scalable video coding |
AU2002951574A0 (en) | 2002-09-20 | 2002-10-03 | Unisearch Limited | Method of signalling motion information for efficient scalable video compression |
WO2004030369A1 (en) | 2002-09-27 | 2004-04-08 | Videosoft, Inc. | Real-time video coding/decoding |
US6807317B2 (en) | 2002-10-25 | 2004-10-19 | Motorola, Inc. | Method and decoder system for reducing quantization effects of a decoded image |
JP4756573B2 (ja) | 2002-12-04 | 2011-08-24 | トムソン ライセンシング | 重み付け予測を用いたビデオ・クロス・フェードの符号器および符号化方法 |
US7170934B2 (en) | 2002-12-20 | 2007-01-30 | Lsi Logic Corporation | Method and/or apparatus for motion estimation using a hierarchical search followed by a computation split for different block sizes |
JP2006512029A (ja) | 2002-12-20 | 2006-04-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメントベース動き推定 |
US8040949B2 (en) | 2003-01-09 | 2011-10-18 | The Regents Of The University Of California | Video encoding methods and devices |
US20040179610A1 (en) | 2003-02-21 | 2004-09-16 | Jiuhuai Lu | Apparatus and method employing a configurable reference and loop filter for efficient video coding |
US7088351B2 (en) | 2003-03-09 | 2006-08-08 | Lsi Logic Corporation | Real time image enhancement with adaptive noise reduction and edge detection |
US8516026B2 (en) | 2003-03-10 | 2013-08-20 | Broadcom Corporation | SIMD supporting filtering in a video decoding system |
US8824553B2 (en) | 2003-05-12 | 2014-09-02 | Google Inc. | Video compression method |
US7327786B2 (en) | 2003-06-02 | 2008-02-05 | Lsi Logic Corporation | Method for improving rate-distortion performance of a video compression system through parallel coefficient cancellation in the transform |
WO2004111789A2 (en) | 2003-06-10 | 2004-12-23 | Rensselaer Polytechnic Institute | A method for processing i-blocks used with motion compensated temporal filtering |
JP2005025696A (ja) | 2003-07-04 | 2005-01-27 | Japan Science & Technology Agency | 画像処理装置、画像処理方法及びプログラム及び記録媒体 |
CN1578477B (zh) | 2003-07-16 | 2011-05-04 | 三星电子株式会社 | 用于色彩图像的视频编码/解码装置和方法 |
US20050013494A1 (en) | 2003-07-18 | 2005-01-20 | Microsoft Corporation | In-loop deblocking filter |
CN1843038B (zh) | 2003-08-26 | 2010-09-22 | 汤姆森特许公司 | 用于解码混合内部-相互编码块的方法和装置 |
EP1511319A1 (en) | 2003-09-01 | 2005-03-02 | Matsushita Electric Industrial Co., Ltd. | Film Grain Extraction Filter |
US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7330509B2 (en) | 2003-09-12 | 2008-02-12 | International Business Machines Corporation | Method for video transcoding with adaptive frame rate control |
US7394856B2 (en) * | 2003-09-19 | 2008-07-01 | Seiko Epson Corporation | Adaptive video prefilter |
US7277592B1 (en) | 2003-10-21 | 2007-10-02 | Redrock Semiconductory Ltd. | Spacial deblocking method using limited edge differences only to linearly correct blocking artifact |
US7457362B2 (en) | 2003-10-24 | 2008-11-25 | Texas Instruments Incorporated | Loop deblock filtering of block coded video in a very long instruction word processor |
US7822286B2 (en) | 2003-11-07 | 2010-10-26 | Mitsubishi Electric Research Laboratories, Inc. | Filtering artifacts in images with 3D spatio-temporal fuzzy filters |
WO2005051000A1 (en) | 2003-11-21 | 2005-06-02 | Electronics And Telecommunications Research Institute | Interframe wavelet coding apparatus and method capable of adjusting computational complexity |
US7362809B2 (en) | 2003-12-10 | 2008-04-22 | Lsi Logic Corporation | Computational reduction in motion estimation based on lower bound of cost function |
US7373013B2 (en) | 2003-12-23 | 2008-05-13 | General Instrument Corporation | Directional video filters for locally adaptive spatial noise reduction |
KR20050072526A (ko) | 2004-01-06 | 2005-07-12 | 삼성전자주식회사 | 예측 부호화 장치, 예측 부호화 방법 및 상기 예측 부호화방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체 |
US7551793B2 (en) | 2004-01-14 | 2009-06-23 | Samsung Electronics Co., Ltd. | Methods and apparatuses for adaptive loop filtering for reducing blocking artifacts |
US7599435B2 (en) | 2004-01-30 | 2009-10-06 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Video frame encoding and decoding |
EP1564997A1 (en) | 2004-02-12 | 2005-08-17 | Matsushita Electric Industrial Co., Ltd. | Encoding and decoding of video images based on a quantization with an adaptive dead-zone size |
JP2005308623A (ja) | 2004-04-23 | 2005-11-04 | Pentax Corp | 光学部材検査装置 |
KR20050112445A (ko) | 2004-05-25 | 2005-11-30 | 경희대학교 산학협력단 | 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체 |
KR100694050B1 (ko) | 2004-06-11 | 2007-03-12 | 삼성전자주식회사 | 움직임 예측 방법 및 그 장치 |
WO2006007279A2 (en) | 2004-06-18 | 2006-01-19 | Thomson Licensing | Method and apparatus for video codec quantization |
US20050286629A1 (en) | 2004-06-25 | 2005-12-29 | Adriana Dumitras | Coding of scene cuts in video sequences using non-reference frames |
US7953152B1 (en) | 2004-06-28 | 2011-05-31 | Google Inc. | Video compression and encoding method |
US20060013315A1 (en) | 2004-07-19 | 2006-01-19 | Samsung Electronics Co., Ltd. | Filtering method, apparatus, and medium used in audio-video codec |
US8085846B2 (en) | 2004-08-24 | 2011-12-27 | Thomson Licensing | Method and apparatus for decoding hybrid intra-inter coded blocks |
US20060062311A1 (en) | 2004-09-20 | 2006-03-23 | Sharp Laboratories Of America, Inc. | Graceful degradation of loop filter for real-time video decoder |
US7447337B2 (en) | 2004-10-25 | 2008-11-04 | Hewlett-Packard Development Company, L.P. | Video content understanding through real time video motion analysis |
US7620103B2 (en) | 2004-12-10 | 2009-11-17 | Lsi Corporation | Programmable quantization dead zone and threshold for standard-based H.264 and/or VC1 video encoding |
EP1820351A4 (en) | 2004-12-10 | 2010-04-21 | Korea Electronics Telecomm | DEVICE FOR UNIVERSAL CODING FOR MULTI-VIEW VIDEO |
US8218634B2 (en) | 2005-01-13 | 2012-07-10 | Ntt Docomo, Inc. | Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression |
US20090003454A1 (en) | 2005-01-28 | 2009-01-01 | John William Richardson | Method and Apparatus for Real-Time Frame Encoding |
KR100695141B1 (ko) | 2005-02-15 | 2007-03-14 | 삼성전자주식회사 | 영상처리시스템에 있어서 메모리 억세스장치 및 방법, 데이터 기록장치 및 방법과 데이터 독출장치 및 방법 |
JP4064973B2 (ja) | 2005-03-23 | 2008-03-19 | 株式会社東芝 | ビデオエンコーダ及びこれを用いた携帯無線端末装置 |
US7657098B2 (en) | 2005-05-02 | 2010-02-02 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing mosquito noise in decoded video sequence |
US8422546B2 (en) | 2005-05-25 | 2013-04-16 | Microsoft Corporation | Adaptive video encoding using a perceptual model |
CN101189678A (zh) | 2005-05-30 | 2008-05-28 | 皇家飞利浦电子股份有限公司 | 具有最小存储要求的直接流数字音频 |
JP4686280B2 (ja) | 2005-07-06 | 2011-05-25 | 株式会社東芝 | 動画像符号化装置 |
EP1905244A4 (en) | 2005-07-18 | 2010-12-01 | Korea Electronics Telecomm | PREDICTIVE ENCODING / DECODING DEVICE THROUGH SPATIO-TEMPORAL DIMENSIONAL REFERENCE IMAGE PADS AND METHOD OF USE |
US7358881B2 (en) | 2005-07-22 | 2008-04-15 | Cirrus Logic, Inc. | Quantizer overload prevention for feed-back type delta-sigma modulators |
KR100678958B1 (ko) | 2005-07-29 | 2007-02-06 | 삼성전자주식회사 | 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 |
WO2007023706A1 (ja) | 2005-08-24 | 2007-03-01 | Jgc Corporation | 低級炭化水素の製造方法および製造装置 |
KR20080043342A (ko) | 2005-08-30 | 2008-05-16 | 팜드 메디케어 프리베이트 리미티드 | 소수성 친화 크로마토그래피에 따른 염소화 당 제조방법 |
US8218655B2 (en) * | 2005-09-19 | 2012-07-10 | Maxim Integrated Products, Inc. | Method, system and device for improving video quality through in-loop temporal pre-filtering |
KR100750136B1 (ko) | 2005-11-02 | 2007-08-21 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
JP4334533B2 (ja) | 2005-11-24 | 2009-09-30 | 株式会社東芝 | 動画像符号化/復号化方法および装置 |
US8170102B2 (en) | 2005-12-19 | 2012-05-01 | Seiko Epson Corporation | Macroblock homogeneity analysis and inter mode prediction |
US7506121B2 (en) | 2005-12-30 | 2009-03-17 | Intel Corporation | Method and apparatus for a guest to access a memory mapped device |
EP1982518A4 (en) | 2006-01-12 | 2010-06-16 | Lg Electronics Inc | PROCESSING MORE VIEW VIDEO |
US7903733B2 (en) | 2006-01-26 | 2011-03-08 | Qualcomm Incorporated | Adaptive filtering to enhance video encoder performance |
JP4825524B2 (ja) | 2006-01-31 | 2011-11-30 | 株式会社東芝 | 動画像復号装置および動画像復号方法 |
US7924925B2 (en) | 2006-02-24 | 2011-04-12 | Freescale Semiconductor, Inc. | Flexible macroblock ordering with reduced data traffic and power consumption |
EP1838108A1 (en) | 2006-03-23 | 2007-09-26 | Texas Instruments France | Processing video data at a target rate |
JP4384130B2 (ja) | 2006-03-28 | 2009-12-16 | 株式会社東芝 | 動画像復号方法及び装置 |
EP1840875A1 (en) | 2006-03-31 | 2007-10-03 | Sony Deutschland Gmbh | Signal coding and decoding with pre- and post-processing |
US7911538B2 (en) | 2006-04-06 | 2011-03-22 | Samsung Electronics Co., Ltd. | Estimation of block artifact strength based on edge statistics |
KR100781525B1 (ko) | 2006-04-06 | 2007-12-03 | 삼성전자주식회사 | 가중 평균합을 이용하여 fgs 계층을 인코딩 및디코딩하는 방법 및 장치 |
KR100745765B1 (ko) | 2006-04-13 | 2007-08-02 | 삼성전자주식회사 | 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법 |
JP4182442B2 (ja) | 2006-04-27 | 2008-11-19 | ソニー株式会社 | 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体 |
JP5002286B2 (ja) | 2006-04-27 | 2012-08-15 | キヤノン株式会社 | 画像符号化装置、画像符号化方法、プログラム及び記憶媒体 |
US20070274385A1 (en) | 2006-05-26 | 2007-11-29 | Zhongli He | Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame |
WO2008005124A2 (en) | 2006-07-05 | 2008-01-10 | Thomson Licensing | Methods and apparatus for multi-view video encoding and decoding |
US8559514B2 (en) | 2006-07-27 | 2013-10-15 | Qualcomm Incorporated | Efficient fetching for motion compensation video decoding process |
TW200808067A (en) | 2006-07-31 | 2008-02-01 | Univ Nat Cheng Kung | Prediction module |
US20080101469A1 (en) | 2006-10-31 | 2008-05-01 | Motorola, Inc. | Method and apparatus for adaptive noise filtering of pixel data |
US8121196B2 (en) | 2006-11-02 | 2012-02-21 | Corel Corporation | Method and apparatus for multi-threaded video decoding |
US8923393B2 (en) | 2006-11-02 | 2014-12-30 | Qualcomm Incorporated | Apparatus and method of reduced reference frame search in video encoding |
US7885476B2 (en) | 2006-12-14 | 2011-02-08 | Sony Corporation | System and method for effectively performing an adaptive encoding procedure |
KR100922275B1 (ko) | 2006-12-15 | 2009-10-15 | 경희대학교 산학협력단 | 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치 |
US20080159649A1 (en) | 2006-12-29 | 2008-07-03 | Texas Instruments Incorporated | Directional fir filtering for image artifacts reduction |
WO2008084996A1 (en) | 2007-01-11 | 2008-07-17 | Samsung Electronics Co, . Ltd. | Method and apparatus for deblocking-filtering video data |
US8630346B2 (en) | 2007-02-20 | 2014-01-14 | Samsung Electronics Co., Ltd | System and method for introducing virtual zero motion vector candidates in areas of a video sequence involving overlays |
KR101369224B1 (ko) | 2007-03-28 | 2014-03-05 | 삼성전자주식회사 | 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치 |
US8160150B2 (en) | 2007-04-10 | 2012-04-17 | Texas Instruments Incorporated | Method and system for rate distortion optimization |
JP4799477B2 (ja) | 2007-05-08 | 2011-10-26 | キヤノン株式会社 | 画像符号化装置及び画像符号化方法 |
US20080279279A1 (en) | 2007-05-09 | 2008-11-13 | Wenjin Liu | Content adaptive motion compensated temporal filter for video pre-processing |
US7751514B2 (en) | 2007-05-23 | 2010-07-06 | Mediatek Inc. | System and method of detecting burst noise and minimizing the effect of burst noise |
US20080298472A1 (en) | 2007-06-04 | 2008-12-04 | Texas Instruments Incorporated | Throughput Performance When Applying Deblocking Filters On Reconstructed Image Frames |
US8331444B2 (en) | 2007-06-26 | 2012-12-11 | Qualcomm Incorporated | Sub-band scanning techniques for entropy coding of sub-bands |
US8422803B2 (en) | 2007-06-28 | 2013-04-16 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method and image decoding method |
US8200028B2 (en) | 2007-12-07 | 2012-06-12 | Csr Technology Inc. | System and method for detecting edges in a video signal |
US8743972B2 (en) | 2007-12-20 | 2014-06-03 | Vixs Systems, Inc. | Coding adaptive deblocking filter and method for use therewith |
US8213502B2 (en) | 2007-12-31 | 2012-07-03 | Ceva D.S.P. Ltd. | Method and system for real-time adaptive quantization control |
US8295367B2 (en) | 2008-01-11 | 2012-10-23 | Csr Technology Inc. | Method and apparatus for video signal processing |
US8106972B2 (en) | 2008-01-18 | 2012-01-31 | Zoran Corporation | Apparatus and method for noise reduction with 3D LUT |
JP2009182623A (ja) | 2008-01-30 | 2009-08-13 | Panasonic Corp | 画像符号化方法 |
US8731062B2 (en) * | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
US20090316793A1 (en) | 2008-06-20 | 2009-12-24 | Yang Zhijie Michael | Method and system for adaptive deblocking for avs1-p2 |
US8280185B2 (en) * | 2008-06-27 | 2012-10-02 | Microsoft Corporation | Image denoising techniques |
US8625681B2 (en) | 2008-07-09 | 2014-01-07 | Intel Corporation | Rate-distortion cost reducing video encoding techniques |
JP5223702B2 (ja) | 2008-07-29 | 2013-06-26 | 株式会社リコー | 画像処理装置、ノイズ低減方法、プログラム、記憶媒体 |
US8326075B2 (en) | 2008-09-11 | 2012-12-04 | Google Inc. | System and method for video encoding using adaptive loop filter |
JP5542680B2 (ja) * | 2008-10-07 | 2014-07-09 | 株式会社Nttドコモ | 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法 |
EP2192786A1 (en) | 2008-11-27 | 2010-06-02 | Panasonic Corporation | Frequency domain filters for video coding |
WO2010077325A2 (en) | 2008-12-29 | 2010-07-08 | Thomson Licensing | Method and apparatus for adaptive quantization of subband/wavelet coefficients |
JP5179398B2 (ja) | 2009-02-13 | 2013-04-10 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム |
US8711930B2 (en) | 2009-07-09 | 2014-04-29 | Qualcomm Incorporated | Non-zero rounding and prediction mode selection techniques in video encoding |
US8259819B2 (en) | 2009-12-10 | 2012-09-04 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and apparatus for improving video quality by utilizing a unified loop filter |
US8610758B2 (en) | 2009-12-15 | 2013-12-17 | Himax Technologies Limited | Depth map generation for a video conversion system |
US8478064B2 (en) | 2010-01-19 | 2013-07-02 | Pixar | Selective diffusion of filtered edges in images |
EP2375747B1 (en) * | 2010-04-12 | 2019-03-13 | Sun Patent Trust | Filter positioning and selection |
US8798131B1 (en) | 2010-05-18 | 2014-08-05 | Google Inc. | Apparatus and method for encoding video using assumed values with intra-prediction |
GB2481856A (en) * | 2010-07-09 | 2012-01-11 | British Broadcasting Corp | Picture coding using weighted predictions in the transform domain |
US8396305B2 (en) | 2010-07-09 | 2013-03-12 | Sony Corporation | Image compression utilizing ring-tree entropy coding and directional transforms |
WO2012012582A1 (en) * | 2010-07-21 | 2012-01-26 | Dolby Laboratories Licensing Corporation | Reference processing using advanced motion models for video coding |
US20120039383A1 (en) | 2010-08-12 | 2012-02-16 | Mediatek Inc. | Coding unit synchronous adaptive loop filter flags |
US9819966B2 (en) * | 2010-09-01 | 2017-11-14 | Qualcomm Incorporated | Filter description signaling for multi-filter adaptive filtering |
US8503528B2 (en) | 2010-09-15 | 2013-08-06 | Google Inc. | System and method for encoding video using temporal filter |
US8629913B2 (en) | 2010-09-30 | 2014-01-14 | Apple Inc. | Overflow control techniques for image signal processing |
US8488055B2 (en) | 2010-09-30 | 2013-07-16 | Apple Inc. | Flash synchronization using image sensor interface timing signal |
JP5318062B2 (ja) | 2010-10-04 | 2013-10-16 | 株式会社神戸製鋼所 | スクリュ膨張機 |
RU2593213C2 (ru) | 2011-03-14 | 2016-08-10 | Хоум Контрол Сингапур Пте. Лтд. | Вложенный клавишный узел |
US8780971B1 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method of encoding using selectable loop filters |
US8780996B2 (en) | 2011-04-07 | 2014-07-15 | Google, Inc. | System and method for encoding and decoding video data |
US8885706B2 (en) | 2011-09-16 | 2014-11-11 | Google Inc. | Apparatus and methodology for a video codec system with noise reduction capability |
US9131073B1 (en) * | 2012-03-02 | 2015-09-08 | Google Inc. | Motion estimation aided noise reduction |
US9396732B2 (en) * | 2012-10-18 | 2016-07-19 | Google Inc. | Hierarchical deccorelation of multichannel audio |
US9171355B2 (en) * | 2013-04-12 | 2015-10-27 | Qualcomm Incorporated | Near infrared guided image denoising |
-
2014
- 2014-09-25 US US14/496,563 patent/US10102613B2/en active Active
-
2015
- 2015-07-29 CN CN201580034561.6A patent/CN106663310B/zh active Active
- 2015-07-29 DE DE112015004399.3T patent/DE112015004399T5/de not_active Withdrawn
- 2015-07-29 GB GB1621449.6A patent/GB2544902A/en not_active Withdrawn
- 2015-07-29 EP EP15750528.0A patent/EP3198555B1/en active Active
- 2015-07-29 WO PCT/US2015/042599 patent/WO2016048448A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1145710A (zh) * | 1995-01-24 | 1997-03-19 | 马特瑞通讯法国公司 | 具有一个带转入频域的变换的自适应滤波器的声回波消除器 |
CN1295310A (zh) * | 1999-11-08 | 2001-05-16 | 松下电器产业株式会社 | 正交变换图像的分辨率变换装置和方法 |
CN1578403A (zh) * | 2003-07-16 | 2005-02-09 | 三星电子株式会社 | 用于视频噪声抑制的方法和装置 |
WO2005045760A3 (en) * | 2003-10-29 | 2005-11-10 | Hewlett Packard Development Co | Transformations for denoising images |
CN101848181A (zh) * | 2009-03-25 | 2010-09-29 | 清华大学 | 一种基于时频域变换的数字信号发送方法 |
CN102045514B (zh) * | 2009-10-13 | 2012-12-05 | 原相科技股份有限公司 | 图像噪声滤除方法 |
Also Published As
Publication number | Publication date |
---|---|
US20160094843A1 (en) | 2016-03-31 |
EP3198555B1 (en) | 2020-01-01 |
US10102613B2 (en) | 2018-10-16 |
WO2016048448A1 (en) | 2016-03-31 |
EP3198555A1 (en) | 2017-08-02 |
GB201621449D0 (en) | 2017-02-01 |
GB2544902A (en) | 2017-05-31 |
DE112015004399T5 (de) | 2017-06-14 |
CN106663310A (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11689726B2 (en) | Hybrid motion-compensated neural network with side-information based video coding | |
US20200280717A1 (en) | Receptive-field-conforming convolution models for video coding | |
US10009625B2 (en) | Low-latency two-pass video coding | |
CN106663310B (zh) | 频域去噪 | |
US11496740B2 (en) | Efficient context handling in arithmetic coding | |
US11457239B2 (en) | Block artefact reduction | |
US10848787B2 (en) | Lossy image compression using palettization of locally mixed colors | |
US10652552B1 (en) | Efficient noise reduction coding | |
US11849113B2 (en) | Quantization constrained neural image coding | |
CN107302701B (zh) | 译码插值滤波器类型 | |
US20230308679A1 (en) | Motion prediction coding with coframe motion vectors | |
US11153588B2 (en) | Dual deblocking filter thresholds | |
US9998753B1 (en) | Prediction dependent transform coding | |
CN107079156B (zh) | 用于交替块约束决策模式代码化的方法 | |
US11695919B2 (en) | Lossy image compression using palettization of locally mixed colors | |
CN113382264A (zh) | 在图像转码中的阿尔法通道后处理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: American California Applicant after: Google limited liability company Address before: American California Applicant before: Google Inc. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |