CN111147804B - 一种视频帧重建方法 - Google Patents

一种视频帧重建方法 Download PDF

Info

Publication number
CN111147804B
CN111147804B CN201811303971.8A CN201811303971A CN111147804B CN 111147804 B CN111147804 B CN 111147804B CN 201811303971 A CN201811303971 A CN 201811303971A CN 111147804 B CN111147804 B CN 111147804B
Authority
CN
China
Prior art keywords
video
frame
image
short
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811303971.8A
Other languages
English (en)
Other versions
CN111147804A (zh
Inventor
张冲
叶荣华
刘松
韦梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Lingpai Technology Co ltd
Original Assignee
Guangzhou Lingpai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Lingpai Technology Co ltd filed Critical Guangzhou Lingpai Technology Co ltd
Priority to CN201811303971.8A priority Critical patent/CN111147804B/zh
Publication of CN111147804A publication Critical patent/CN111147804A/zh
Application granted granted Critical
Publication of CN111147804B publication Critical patent/CN111147804B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频帧重建方法,包括以下步骤：S1、输入原始视频A1，通过最大后验概率估计方法，将原始视频A1重构为较高分辨率的处理视频A2；S2、处理视频A2中噪音的消除；S3、短视频边界的检测和分割；S4、短视频的去模糊处理；S5、帧间配准S6、数据融合，本发明通过使用鲁棒自适应背景模型、Hog特征和轮廓特征融合的特征提取方法对视频进行处理，可以有效的消除视频中的噪音，使得最后的结果误差小。

Description

一种视频帧重建方法
技术领域
本发明涉及视频数据处理技术领域，尤其涉及一种视频帧重建方法。
背景技术
图像或视频中的信息对于人类来说是最直接的和最容易接触的，在视频监控方面，其摄像速度和存储容量是非常有限的，为了提高图像的分辨率，使其接近目标原型，人们利用改善硬件的方法来提高其图像的分辨率，其成本高，技术难度非常大，容易受到各种因素的影响，并且其提高有限，为了播放流式媒体的高质量视频，利用很窄的宽度，通过帧重建技术，来压缩和传输视频中的数据，为了达到使用最少的数据获得最佳的图像质量的技术，人们使用从软件方面入手，来提高图像的分辨率，考虑到计算量和重建质量，采用图像处理技术，在视频质量的提高过程中，视频帧重建是其中非常关键的一个过程，其影响着视频质量的高低。因此，我们提出了一种视频帧重建方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种视频帧重建方法。
为了实现上述目的，本发明采用了如下技术方案：
一种视频帧重建方法，包括以下步骤：
S1、输入原始视频A1，通过最大后验概率估计方法，将原始视频A1重构为较高分辨率的处理视频A2；
S2、处理视频A2中噪音的消除：建立复杂环境下鲁棒自适应背景模型，并对处理视频A2中的图像进行分割，采用Hog特征和轮廓特征融合的特征提取方法，将处理视频A2中的有效特征进行提取，并将提取后的有效特征利用多帧图像重建方法，得到消除噪音后的处理视频A3；
S3、短视频边界的检测和分割：使用直方图法来计算相邻两个帧之间的差值，直方图法的公式为：Dk,k+1＝∑|Hk(i)-Hk+1(i)|，HK(i)表示第K帧的直方图，i表示K个颜色子区间的灰度级，Dk,k+1表示第k帧和第k+1帧的帧间差，假设T为短视频分割点的阈值，如果Dk,k+1大于T，则第k帧和第k+1帧为两个短视频的分割点，通过直方图法来将处理视频A3分为多个短视频；
S4、短视频的去模糊处理：对短视频进行傅里叶变化到频域，并对短视频的频谱进行滤波修正，将修正后的短视频傅里叶变化到空域，从而增强短视频的画质，以此达到短视频的去模糊处理；
S5、帧间配准：使用傅里叶变换位移的特性，测定同一短视频图像中两个相邻帧之间的频域变化和滤波值，将滤波值的中值进行滤波后的连续两帧图像配准,配准时先在前一帧图像中选取背景,即背景图像,用区域相关法将后一帧图像与背景图像配准，接着将配准后的2帧图像差分得到帧间差分图像,即帧差图像,再用数学形态学的开运算去掉帧差图像中的一些细小噪声，最后将连续两帧去噪后的帧差图像逻辑与运算，并根据频域变化计算出其空域的位移变化，位移变化就是相邻帧之间的位移信息，位移变化的计算公式为：f2(x，y)＝f1(x-△x,y-△y),其中：
Figure GDA0003161715530000031
对f2(x)求傅里叶变化得F2(u)＝f2(x,y)×ej2Tπd(x，y)，F2(u)＝ej2TπF1(u)，其中x和y代表像素点的坐标位置；
S6、数据融合：当得到相邻帧的位移信息后，可以对多帧图像进行数据融合，通过在高精度的网格中将融合完成后的一组短视频内的各帧图像进行配准，并对配准数据进行加权求和得到高分辨率图像，且权值为S5中位移的倒数，从而达到视频帧重建的目的。
本发明的有益效果是：
1、本发明，通过在对视频帧重建之前，使用最大后验概率估计方法对原始视频进行重构，使得原始视频的质量可以进行初步提高，使得最后在进行帧重建的过程中，其使用的视频的质量较好，使得最后的视频帧的重建效果好。
2、本发明，通过使用鲁棒自适应背景模型、Hog特征和轮廓特征融合的特征提取方法对视频进行处理，可以有效的消除视频中的噪音，使得最后的结果误差小。
3、本发明，通过采用关键帧提取，将视频分为多个短视频，并对，且可以使用多个服务器对短视频进行分析，处理，可以明显提高视频帧重建的速度。
4、本发明，通过傅里叶变换位移的特性和加权求和的特性，可以得到具有高分辨率的图像，可以获得高质量的视频帧。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提出的一种视频帧重建方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例：参照图1，一种视频帧重建方法，包括以下步骤：
S1、输入原始视频A1，通过最大后验概率估计方法，将原始视频A1重构为较高分辨率的处理视频A2；
S2、处理视频A2中噪音的消除：建立复杂环境下鲁棒自适应背景模型，并对处理视频A2中的图像进行分割，采用Hog特征和轮廓特征融合的特征提取方法，将处理视频A2中的有效特征进行提取，并将提取后的有效特征利用多帧图像重建方法，得到消除噪音后的处理视频A3；
S3、短视频边界的检测和分割：使用直方图法来计算相邻两个帧之间的差值，直方图法的公式为：Dk,k+1＝∑|Hk(i)-Hk+1(i)|，HK(i)表示第K帧的直方图，i表示K个颜色子区间的灰度级，Dk,k+1表示第k帧和第k+1帧的帧间差，假设T为短视频分割点的阈值，如果Dk,k+1大于T，则第k帧和第k+1帧为两个短视频的分割点，通过直方图法来将处理视频A3分为多个短视频；
S4、短视频的去模糊处理：对短视频进行傅里叶变化到频域，并对短视频的频谱进行滤波修正，将修正后的短视频傅里叶变化到空域，从而增强短视频的画质，以此达到短视频的去模糊处理；
S5、帧间配准：使用傅里叶变换位移的特性，测定同一短视频图像中两个相邻帧之间的频域变化和滤波值，将滤波值的中值进行滤波后的连续两帧图像配准,配准时先在前一帧图像中选取背景,即背景图像,用区域相关法将后一帧图像与背景图像配准，接着将配准后的2帧图像差分得到帧间差分图像,即帧差图像,再用数学形态学的开运算去掉帧差图像中的一些细小噪声，最后将连续两帧去噪后的帧差图像逻辑与运算，并根据频域变化计算出其空域的位移变化，位移变化就是相邻帧之间的位移信息，位移变化的计算公式为：f2(x，y)＝f1(x-△x,y-△y),其中：
Figure GDA0003161715530000051
对f2(x)求傅里叶变化得F2(u)＝f2(x,y)×ej2Tπd(x，y)，F2(u)＝ej2TπF1(u)，其中x和y代表像素点的坐标位置；
S6、数据融合：当得到相邻帧的位移信息后，可以对多帧图像进行数据融合，通过在高精度的网格中将融合完成后的一组短视频内的各帧图像进行配准，并对配准数据进行加权求和得到高分辨率图像，且权值为S5中位移的倒数，从而达到视频帧重建的目的。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.一种视频帧重建方法，包括以下步骤：
S1、输入原始视频A1，通过最大后验概率估计方法，将原始视频A1重构为较高分辨率的处理视频A2；
S2、处理视频A2中噪音的消除：建立复杂环境下鲁棒自适应背景模型，并对处理视频A2中的图像进行分割，采用Hog特征和轮廓特征融合的特征提取方法，将处理视频A2中的有效特征进行提取，并将提取后的有效特征利用多帧图像重建方法，得到消除噪音后的处理视频A3；
S3、短视频边界的检测和分割：使用直方图法来计算相邻两个帧之间的差值，直方图法的公式为：Dk,k+1＝∑|Hk(i)-Hk+1(i)|，HK(i)表示第K帧的直方图，i表示K个颜色子区间的灰度级，Dk,k+1表示第k帧和第k+1帧的帧间差，假设T为短视频分割点的阈值，如果Dk,k+1大于T，则第k帧和第k+1帧为两个短视频的分割点，通过直方图法来将处理视频A3分为多个短视频；
S4、短视频的去模糊处理：对短视频进行傅里叶变化到频域，并对短视频的频谱进行滤波修正，将修正后的短视频傅里叶变化到空域，从而增强短视频的画质，以此达到短视频的去模糊处理；
S5、帧间配准：使用傅里叶变换位移的特性，测定同一短视频图像中两个相邻帧之间的频域变化和滤波值，将滤波值的中值进行滤波后的连续两帧图像配准,配准时先在前一帧图像中选取背景,即背景图像,用区域相关法将后一帧图像与背景图像配准，接着将配准后的2帧图像差分得到帧间差分图像,即帧差图像,再用数学形态学的开运算去掉帧差图像中的一些细小噪声，最后将连续两帧去噪后的帧差图像逻辑与运算，并根据频域变化计算出其空域的位移变化，位移变化就是相邻帧之间的位移信息；
S6、数据融合：当得到相邻帧的位移信息后，可以对多帧图像进行数据融合，通过在高精度的网格中将融合完成后的一组短视频内的各帧图像进行配准，并对配准数据进行加权求和得到高分辨率图像，且权值为S5中位移的倒数，从而达到视频帧重建的目的。
CN201811303971.8A 2018-11-03 2018-11-03 一种视频帧重建方法 Active CN111147804B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811303971.8A CN111147804B (zh) 2018-11-03 2018-11-03 一种视频帧重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811303971.8A CN111147804B (zh) 2018-11-03 2018-11-03 一种视频帧重建方法

Publications (2)

Publication Number Publication Date
CN111147804A CN111147804A (zh) 2020-05-12
CN111147804B true CN111147804B (zh) 2021-10-22

Family

ID=70516080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811303971.8A Active CN111147804B (zh) 2018-11-03 2018-11-03 一种视频帧重建方法

Country Status (1)

Country Link
CN (1) CN111147804B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898604B (zh) * 2020-08-10 2022-09-27 北京邮电大学 一种视频辐射信号的监测还原装置、***与方法
CN114845137B (zh) * 2022-03-21 2023-03-10 南京大学 一种基于图像配准的视频光路重建方法及其装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754056A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 支持海量数据自动处理的数字内容编目管理***及方法
CN101980289A (zh) * 2010-10-25 2011-02-23 上海大学 基于频域配准和凸集投影的多帧图像超分辨率重建方法
JP2012096055A (ja) * 2012-01-10 2012-05-24 Toshiba Corp 医用画像診断装置
CN106204438A (zh) * 2016-06-28 2016-12-07 北京航空航天大学 欠采样降质图像的超分辨率重建优化恢复方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227896B2 (en) * 2001-10-04 2007-06-05 Sharp Laboratories Of America, Inc. Method and apparatus for global motion estimation
EP1788937A4 (en) * 2004-09-16 2009-04-01 Brainscope Co Inc METHOD FOR THE ADAPTIVE, COMPLEX, WAVELET-BASED FILTERING OF EEG SIGNALS

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754056A (zh) * 2008-12-17 2010-06-23 中国科学院自动化研究所 支持海量数据自动处理的数字内容编目管理***及方法
CN101980289A (zh) * 2010-10-25 2011-02-23 上海大学 基于频域配准和凸集投影的多帧图像超分辨率重建方法
JP2012096055A (ja) * 2012-01-10 2012-05-24 Toshiba Corp 医用画像診断装置
CN106204438A (zh) * 2016-06-28 2016-12-07 北京航空航天大学 欠采样降质图像的超分辨率重建优化恢复方法

Also Published As

Publication number Publication date
CN111147804A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN108921800B (zh) 基于形状自适应搜索窗口的非局部均值去噪方法
Gu et al. Multiscale natural scene statistical analysis for no-reference quality evaluation of DIBR-synthesized views
CN101853497A (zh) 一种图像增强方法和装置
CN103369209A (zh) 视频降噪装置及方法
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
US20150123970A1 (en) Method for processing image data representing a three-dimensional volume
CN108109123B (zh) 一种图像去噪方法
CN103020898A (zh) 序列虹膜图像超分辨率重建方法
CN111147804B (zh) 一种视频帧重建方法
CN110349112A (zh) 一种基于自适应奇异值阈值的两阶段图像去噪方法
Shedbalkar et al. A comparative analysis of filters for noise reduction and smoothening of brain MRI images
Kumar et al. A new locally adaptive patch variation based CT image denoising
Maragatham et al. Contrast enhancement by object based histogram equalization
CN118097159A (zh) 基于三阶段特征提取的自监督图像去噪方法
CN103745442B (zh) 基于非局部小波系数收缩的图像去噪方法
CN111986102B (zh) 一种数字病理图像去模糊方法
CN116385312A (zh) 基于相位相关的低照度图像去噪方法
El Hassani et al. Efficient image denoising method based on mathematical morphology reconstruction and the Non-Local Means filter for the MRI of the head
CN111652810A (zh) 一种基于小波域奇异值差分模型的图像去噪方法
CN111047537A (zh) 一种图像去噪中恢复细节的***
CN109544477A (zh) 基于自适应字典学习稀疏表示的图像去噪算法
Peng et al. MND-GAN: A research on image deblurring algorithm based on generative adversarial network
Arya et al. Comparison on average, median and wiener filter using lung images
CN108198140A (zh) 基于ncsr模型的三维协同滤波去噪方法
CN104601861B (zh) 一种针对光纤监控视频序列的降噪方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant