CN104869287A - 基于移动设备gpu和角速度传感器的视频拍摄降噪方法 - Google Patents
基于移动设备gpu和角速度传感器的视频拍摄降噪方法 Download PDFInfo
- Publication number
- CN104869287A CN104869287A CN201510251716.3A CN201510251716A CN104869287A CN 104869287 A CN104869287 A CN 104869287A CN 201510251716 A CN201510251716 A CN 201510251716A CN 104869287 A CN104869287 A CN 104869287A
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- gpu
- motion compensation
- noise reduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
Abstract
本发明公开了一种基于移动设备GPU和角速度传感器的视频拍摄降噪方法,具体包括,利用摄像头采集获取高清视频,缓冲存储多个过去视频帧;将缓冲存储的当前视频帧进行视频单帧帧内降噪;将缓冲存储的多个过去视频帧进行帧间运动补偿;将多个已运动补偿的过去视频帧进行叠加,颜色距离在阈值内的像素以阈值计算选定与前帧的叠加混合比例进行叠加,颜色距离较大的像素直接按帧内空域降噪的结果叠加,之后输出视频。本发明能在移动设备上实现高清视频实时处理,利用角速度传感器和GPU的计算性能,结合帧间时域叠加降噪和帧内空域降噪,对静态和动态场景均有非常好的降噪效果。
Description
技术领域
本发明涉及视频处理,尤其涉及一种基于移动设备GPU和角速度传感器的视频拍摄降噪方法。
背景技术
现在手机或平板电脑等移动设备已经成为视频短片拍摄的常用工具。此类移动设备摄像头使用的感光器件噪点比较大,尤其是光线较暗需要高ISO的场景下,拍摄出来的视频噪点非常明显,使得拍摄效果大打折扣。对高清视频进行实时降噪需要比较大的计算量,常见的拍摄设备通常使用均值、中值、KNN、NLM等对每一帧图像进行降噪处理,处理速度虽然快但是会损失一些细节。同时,在性能比较低的移动设备上难以通过帧间运动补偿滤除拍摄场景的噪点。
发明内容
本发明的目的就在于提供一种基于移动设备GPU和角速度传感器的视频拍摄降噪方法,利用角速度传感器的数据,结合镜头和感光器件的物理参数,算得全局运动补偿参数,对视频帧进行运动补偿、叠加降噪,能有效解决上述现有技术中的不足。
本发明针对现有技术的不足,提供了以下技术方案:
本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法,其特征在于,具体步骤如下:
101、利用摄像头采集获取高清视频,缓冲存储多个过去视频帧;
102、将缓冲存储的当前视频帧进行视频单帧帧内降噪;
103、将缓冲存储的多个过去视频帧进行帧间运动补偿,包括以下步骤;
(a)利用角速度传感器采集获取角速度数据,并将角速度数据进行积分,计算得到帧间全局运动补偿参数,
(b)调取多个过去视频帧,根据全局运动补偿参数进行运动补偿;
104、将多个已运动补偿的过去视频帧进行叠加,颜色距离在阈值内的像素以阈值计算选定与前帧的叠加混合比例进行叠加,颜色距离较大的像素直接按帧内空域降噪的结果叠加,之后输出视频;
具体内容如下:
包括高清视频采集模块、帧缓冲模块、角速度采集模块、角速度积分模块、GPU帧间运动补偿模块、GPU帧内空域降噪模块和GPU帧间叠加模块。
进一步地,所述步骤103采用3轴角速度传感器采集3个方向上的角速度数据。
再进一步地,所述步骤103将角速度数据转换成四元数数据进行积分。
更进一步地,所述步骤103根据角速度数据和摄像头物理参数计算帧间全局运动补偿参数。
与现有技术相比,本发明的优点在于:
本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法,能在移动设备上实现高清视频实时处理,利用角速度传感器和GPU的计算性能,结合帧间时域叠加降噪和帧内空域降噪,对静态和动态场景均有非常好的降噪效果,实现大部分场景不损失细节,尤其是静态场景的降噪过程既不损失画质还增加了细节。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法的流程图;
图2是本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法的***框图。
具体实施方式
下面将结合附图对本发明作进一步说明。
实施例:
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
参见图1、图2所示。
本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法的***,包括高清视频采集模块、帧缓冲模块、角速度采集模块、角速度积分模块、GPU帧间运动补偿模块、GPU帧内空域降噪模块和GPU帧间叠加模块,所述高清视频采集模块与帧缓冲模块连接,所述帧缓冲模块还与GPU帧内空域降噪模块和GPU帧间运动补偿模块连接,所述角速度积分模块同时与角速度采集模块和GPU帧间运动补偿模块连接,所述GPU帧间运动补偿模块和GPU帧内空域降噪模块还均与GPU帧间叠加模块连接。
高清视频采集模块采集高清视频并输出到帧缓冲模块,帧缓冲模块存储多个过去视频帧,并将当前视频帧输出到GPU帧内空域降噪模块进行视频单帧帧内降噪,将多个过去视频帧输出到GPU帧间运动补偿模块,GPU帧间运动补偿模块根据角速度采集模块和角速度积分模块计算得到的帧间全局运动补偿参数,对多个过去视频帧进行帧间运动补偿并将结果输出到GPU帧间叠加模块,GPU帧间叠加模块结合多个已运动补偿的过去视频帧和已帧内降噪的当前视频帧进行叠加后输出视频。
本发明所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法的具体降噪步骤如下:
步骤101、利用摄像头采集获取高清视频,缓冲存储多个过去视频帧;
高清视频采集模块负责从摄像头采集高清视频并输出到帧缓冲模块,帧缓冲模块负责保存多个过去视频帧,并将当前视频帧输出到GPU帧内空域降噪模块,将多个过去视频帧输出到GPU帧间运动补偿模块。
步骤102、将缓冲存储的当前视频帧进行视频单帧帧内降噪;
GPU帧内空域降噪模块采用均值、中值、KNN和NLM等算法进行进行视频单帧帧内降噪。
步骤103、将缓冲存储的多个过去视频帧进行帧间运动补偿,包括以下步骤;
(a)利用角速度传感器采集获取角速度数据,并将角速度数据进行积分,计算得到帧间全局运动补偿参数,
角速度采集模块实时采集角速度传感器的数据,得到3个方向上的角速度数据,并在有必要时对数据进行插值。角速度积分模块得到3个方向上的角速度信息后,转换成四元数代表的局部坐标系进行积分,实现3个方向上的帧间运动方向和角度的预测,同时结合镜头和感光器件的物理参数,最终计算得到帧间全局运动补偿参数。
(b)调取多个过去视频帧,根据全局运动补偿参数进行运动补偿;
GPU帧间运动补偿模块根据帧间全局运动补偿参数,对多个过去视频帧进行帧间运动补偿,以对齐场景。
步骤104、将多个已运动补偿的过去视频帧进行叠加,颜色距离在阈值内的像素以阈值计算选定与前帧的叠加混合比例进行叠加,颜色距离较大的像素直接按帧内空域降噪的结果叠加,之后输出视频。
GPU帧间叠加模块将多个已运动补偿的过去视频帧进行叠加,考虑到场景内可能有快速运动的物体无法进行全局运动补偿,在叠加时,需比较像素的颜色距离,将距离在阈值内的像素认为是噪点产生的,并以此计算出一个因子来决定与前帧的叠加混合比例。对于颜色距离较大的像素,则直接叠加帧内空域降噪的结果,最终输出降噪视频。
本发明利用角速度传感器的数据,实时得知两帧之间镜头的运动角度和方向,结合镜头和感光器件的物理参数,可以直接算得全局运动补偿参数,再由GPU运动补偿及叠加平均计算完成帧间时域叠加降噪,同时结合视频单帧帧内空域降噪,对静态和动态场景均有非常好的降噪效果,尤其是静态场景的降噪过程既不损失画质还增加了细节。
本发明能在移动设备上实现高清视频实时处理,利用角速度传感器和GPU的计算性能,结合帧间时域叠加降噪和帧内空域降噪,对静态和动态场景均有非常好的降噪效果,实现大部分场景不损失细节。
最后说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于移动设备GPU和角速度传感器的视频拍摄降噪方法,其特征在于,具体步骤如下:
101、利用摄像头采集获取高清视频,缓冲存储多个过去视频帧;
102、将缓冲存储的当前视频帧进行视频单帧帧内降噪;
103、将缓冲存储的多个过去视频帧进行帧间运动补偿,包括以下步骤;
(a)利用角速度传感器采集获取角速度数据,并将角速度数据进行积分,计算得到帧间全局运动补偿参数,
(b)调取多个过去视频帧,根据全局运动补偿参数进行运动补偿;
104、将多个已运动补偿的过去视频帧进行叠加,颜色距离在阈值内的像素以阈值计算选定与前帧的叠加混合比例进行叠加,颜色距离较大的像素直接按帧内空域降噪的结果叠加,之后输出视频;
具体内容如下:
包括高清视频采集模块、帧缓冲模块、角速度采集模块、角速度积分模块、GPU帧间运动补偿模块、GPU帧内空域降噪模块和GPU帧间叠加模块。
2.根据权利要求1所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法,其特征在于:所述步骤103采用3轴角速度传感器采集3个方向上的角速度数据。
3.根据权利要求1或2所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法,其特征在于:所述步骤103将角速度数据转换成四元数数据进行积分。
4.根据权利要求3所述基于移动设备GPU和角速度传感器的视频拍摄降噪方法,其特征在于:所述步骤103根据角速度数据和摄像头物理参数计算帧间全局运动补偿参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510251716.3A CN104869287A (zh) | 2015-05-18 | 2015-05-18 | 基于移动设备gpu和角速度传感器的视频拍摄降噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510251716.3A CN104869287A (zh) | 2015-05-18 | 2015-05-18 | 基于移动设备gpu和角速度传感器的视频拍摄降噪方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104869287A true CN104869287A (zh) | 2015-08-26 |
Family
ID=53914777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510251716.3A Pending CN104869287A (zh) | 2015-05-18 | 2015-05-18 | 基于移动设备gpu和角速度传感器的视频拍摄降噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104869287A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018152977A1 (zh) * | 2017-02-27 | 2018-08-30 | 中兴通讯股份有限公司 | 一种图像降噪方法及终端和计算机存储介质 |
CN109672931A (zh) * | 2018-12-20 | 2019-04-23 | 北京百度网讯科技有限公司 | 用于处理视频帧的方法和装置 |
CN112788199A (zh) * | 2019-11-08 | 2021-05-11 | 海信视像科技股份有限公司 | 视频图像的空域降噪方法、装置及存储介质 |
CN112866506A (zh) * | 2019-11-08 | 2021-05-28 | 海信视像科技股份有限公司 | 视频图像的时域降噪方法、装置及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02248173A (ja) * | 1989-03-22 | 1990-10-03 | Canon Inc | 動画静止画変換方法 |
US20060132612A1 (en) * | 2004-11-26 | 2006-06-22 | Hideo Kawahara | Motion picture taking apparatus and method |
CN101262559A (zh) * | 2008-03-28 | 2008-09-10 | 北京中星微电子有限公司 | 一种序列图像噪声消除的方法及装置 |
CN101355644A (zh) * | 2007-09-11 | 2009-01-28 | 豪威科技有限公司 | 将图像稳定数据嵌入图像数据的图像传感器设备和方法 |
CN101379457A (zh) * | 2006-09-21 | 2009-03-04 | 索尼计算机娱乐公司 | 操作设备控制设备,操作设备控制方法,信息存储介质和操作设备 |
US20100053343A1 (en) * | 2008-08-26 | 2010-03-04 | Samsung Electro-Mechanics Co., Ltd. | Apparatus for correcting motion caused by hand shake |
US20100079605A1 (en) * | 2008-09-29 | 2010-04-01 | William Marsh Rice University | Sensor-Assisted Motion Estimation for Efficient Video Encoding |
CN101964863A (zh) * | 2010-05-07 | 2011-02-02 | 镇江唐桥微电子有限公司 | 一种自适应的时空域视频图像降噪方法 |
US20110109755A1 (en) * | 2009-11-12 | 2011-05-12 | Joshi Neel S | Hardware assisted image deblurring |
CN102289306A (zh) * | 2011-08-30 | 2011-12-21 | 江苏惠通集团有限责任公司 | 姿态感知设备及其定位、鼠标指针的控制方法和装置 |
US20130044228A1 (en) * | 2011-08-15 | 2013-02-21 | Apple Inc. | Motion-Based Video Stabilization |
CN103905692A (zh) * | 2012-12-26 | 2014-07-02 | 苏州赛源微电子有限公司 | 一种基于运动检测的简易3d降噪算法 |
-
2015
- 2015-05-18 CN CN201510251716.3A patent/CN104869287A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02248173A (ja) * | 1989-03-22 | 1990-10-03 | Canon Inc | 動画静止画変換方法 |
US20060132612A1 (en) * | 2004-11-26 | 2006-06-22 | Hideo Kawahara | Motion picture taking apparatus and method |
CN101379457A (zh) * | 2006-09-21 | 2009-03-04 | 索尼计算机娱乐公司 | 操作设备控制设备,操作设备控制方法,信息存储介质和操作设备 |
CN101355644A (zh) * | 2007-09-11 | 2009-01-28 | 豪威科技有限公司 | 将图像稳定数据嵌入图像数据的图像传感器设备和方法 |
CN101262559A (zh) * | 2008-03-28 | 2008-09-10 | 北京中星微电子有限公司 | 一种序列图像噪声消除的方法及装置 |
US20100053343A1 (en) * | 2008-08-26 | 2010-03-04 | Samsung Electro-Mechanics Co., Ltd. | Apparatus for correcting motion caused by hand shake |
US20100079605A1 (en) * | 2008-09-29 | 2010-04-01 | William Marsh Rice University | Sensor-Assisted Motion Estimation for Efficient Video Encoding |
US20110109755A1 (en) * | 2009-11-12 | 2011-05-12 | Joshi Neel S | Hardware assisted image deblurring |
CN101964863A (zh) * | 2010-05-07 | 2011-02-02 | 镇江唐桥微电子有限公司 | 一种自适应的时空域视频图像降噪方法 |
US20130044228A1 (en) * | 2011-08-15 | 2013-02-21 | Apple Inc. | Motion-Based Video Stabilization |
CN102289306A (zh) * | 2011-08-30 | 2011-12-21 | 江苏惠通集团有限责任公司 | 姿态感知设备及其定位、鼠标指针的控制方法和装置 |
CN103905692A (zh) * | 2012-12-26 | 2014-07-02 | 苏州赛源微电子有限公司 | 一种基于运动检测的简易3d降噪算法 |
Non-Patent Citations (1)
Title |
---|
JOSHI N.等: "Image deblurring using inertial measurement sensors", 《ACM TRANSACTIONS ON GRAPHICS (TOG)- PROCEEDINGS OF ACM SIGGRAPH 2010》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018152977A1 (zh) * | 2017-02-27 | 2018-08-30 | 中兴通讯股份有限公司 | 一种图像降噪方法及终端和计算机存储介质 |
CN108513043A (zh) * | 2017-02-27 | 2018-09-07 | 中兴通讯股份有限公司 | 一种图像降噪方法及终端 |
CN109672931A (zh) * | 2018-12-20 | 2019-04-23 | 北京百度网讯科技有限公司 | 用于处理视频帧的方法和装置 |
US11195248B2 (en) | 2018-12-20 | 2021-12-07 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing pixel data of a video frame |
CN112788199A (zh) * | 2019-11-08 | 2021-05-11 | 海信视像科技股份有限公司 | 视频图像的空域降噪方法、装置及存储介质 |
CN112866506A (zh) * | 2019-11-08 | 2021-05-28 | 海信视像科技股份有限公司 | 视频图像的时域降噪方法、装置及存储介质 |
CN112788199B (zh) * | 2019-11-08 | 2023-04-07 | 海信视像科技股份有限公司 | 视频图像的空域降噪方法、装置及存储介质 |
CN112866506B (zh) * | 2019-11-08 | 2023-08-15 | 海信视像科技股份有限公司 | 视频图像的时域降噪方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3216216B1 (en) | Methods and systems for multi-view high-speed motion capture | |
US9041834B2 (en) | Systems and methods for reducing noise in video streams | |
JP2022071177A (ja) | 多重化高ダイナミックレンジ画像 | |
CN108174057B (zh) | 一种利用视频图像帧间差异对画面快速降噪的方法及装置 | |
JP7319390B2 (ja) | ぼけた画像/ビデオを用いたsfm/slamへの適用を有する畳み込みニューラルネットワークを使用した画像/ビデオのボケ除去 | |
CN109978774B (zh) | 多帧连续等曝光图像的去噪融合方法及装置 | |
CN104869287A (zh) | 基于移动设备gpu和角速度传感器的视频拍摄降噪方法 | |
JP5281839B2 (ja) | 画像合成符号化方法、画像合成符号化装置、撮像システム | |
CN101626454B (zh) | 一种增强视频可视性的方法 | |
CN114586337B (zh) | 视频防抖优化处理方法和装置、电子设备 | |
WO2021232963A1 (zh) | 视频去噪方法、装置、移动终端和存储介质 | |
WO2011126968A2 (en) | Ghosting artifact reduction in temporal noise filtering | |
US11599974B2 (en) | Joint rolling shutter correction and image deblurring | |
TW201322765A (zh) | 影像處理裝置及其處理方法 | |
WO2021232965A1 (zh) | 视频去噪方法、装置、移动终端和存储介质 | |
WO2020117379A1 (en) | High dynamic range anti-ghosting and fusion | |
US20130279588A1 (en) | Using Depth Information to Assist Motion Compensation-Based Video Coding | |
CN111539895B (zh) | 一种视频去噪方法、装置、移动终端和存储介质 | |
CN104869310A (zh) | 基于移动设备gpu和角速度传感器的视频拍摄防抖方法 | |
WO2022111717A1 (zh) | 图像处理方法、装置及电子设备 | |
US20140355895A1 (en) | Adaptive motion instability detection in video | |
CN110351508A (zh) | 基于录像模式的防抖处理方法和装置、电子设备 | |
KR20130018899A (ko) | 단일 파이프라인 스테레오 이미지 캡처 | |
Kang et al. | Retinomorphic sensing: A novel paradigm for future multimedia computing | |
CN111147815A (zh) | 一种视频监控*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150826 |