CN103442161B - 基于3d空时图像估计技术的视频稳像方法 - Google Patents
基于3d空时图像估计技术的视频稳像方法 Download PDFInfo
- Publication number
- CN103442161B CN103442161B CN201310364748.5A CN201310364748A CN103442161B CN 103442161 B CN103442161 B CN 103442161B CN 201310364748 A CN201310364748 A CN 201310364748A CN 103442161 B CN103442161 B CN 103442161B
- Authority
- CN
- China
- Prior art keywords
- frame
- sigma
- delta
- jitter
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
- Television Systems (AREA)
Abstract
本发明公开了一种基于3D空时图像估计技术的视频稳像方法,通过摄像机采集原始数据,将采集到的原始数据预处理成连续的帧序列,利用当前帧与参考帧的空间相似性来估计帧间运动情况,利用最小距离准则得到每一帧的抖动量,经过多帧处理可以得到一个抖动矢量的集合,得到的抖动矢量的集合用来表示摄像机在时域内的移动情况;根据每帧内所有的抖动估计信息,综合得出当前帧的整体运动情况,由运动估计结果对原场景帧图像进行空间重构,消除抖动量,获得稳定的图像序列。本发明用来消除抖动影响,稳定视频内容,基于3D场景图像估计,能有效解决2D场景稳像中无法处理景深变化的缺陷。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于3D空时图像估计技术的视频稳像方法。
背景技术
随着摄录设备的发展与普及,监控***的覆盖范围也在迅速的扩大,无论是军用还是民用领域都有广泛的应用,搭载的平台(机载、室内监控等)和视频类型(可见光、红外等)都多种多样。无论何种平台和类型的视频数据,内容清晰稳定是获取兴趣信息的必要前提。在实际应用中由于受到内外界环境的各种影响,如空气流动、载体平台运动等等,会使拍摄的视频内容发生观察者所不希望的晃动,造成视觉效果退化,当抖动噪声严重时甚至无法获取任何有用信息。因此,稳像技术对于提高视频内容的辨识度、优化视觉效果至关重要。
当前,在稳像领域大量使用机械和光学手段使摄像视场内容保持稳定,当对成像结果有较高稳定度要求时,高精度机械和光学稳像器的成本十分昂贵。另外,受平台的载重与空间条件的约束,有些情况下机械与光学稳像器的使用受到了限制。电子稳像具有体积小、成本低、精度高等优点,利用电子稳像与传统稳像方法结合甚至完全替代是当前的发展趋势。
视频场景内容多种多样,当存在视差信息时,2D电子稳像***的结果会出现局部扭曲。
发明内容
本发明目的就是为了弥补已有技术的缺陷,解决视频采集时受***本身及外界因素影响造成的视频场景抖动问题,提供一种基于3D空时图像估计技术的视频稳像方法,用来消除抖动影响,稳定视频内容。
本发明是通过以下技术方案实现的:
一种基于3D空时图像估计技术的视频稳像方法,其特征在于:包括以下步骤:
(1)视频数据采集与预处理;
通过摄像机采集原始数据,将采集到的原始数据预处理成连续的帧序列,作为待处理视频的连续帧图像,同时为了对场景信号进行估计提供空间描述,对图像进行分解与空间特征拟合得到空间特征函数;
(2)抖动量估计;
根据场景的特性选取某一固定帧或动态的以当前帧的前一帧作为参考帧,利用当前帧与参考帧的空间相似性来估计帧间运动情况,依据最小距离准则得到每一帧的抖动量,经过多帧处理可以得到一个抖动矢量的集合,得到的抖动矢量的集合用来表示摄像机在时域内的移动情况;
(3)去除随机抖动干扰,输出稳定后的图像序列;
根据每帧内所有的抖动估计信息,综合得出当前帧的整体运动情况,由运动估计结果对原场景帧图像进行空间重构,消除抖动量,获得稳定的图像序列。
本发明的优点是:本发明用来消除抖动影响,稳定视频内容,基于3D场景图像估计,能有效解决2D场景稳像中无法处理景深变化的缺陷。
附图说明
图1为本发明稳像算法流程与功能模块图。
具体实施方式
一种基于3D空时图像估计技术的视频稳像方法,其特征在于:包括以下步骤:
(1)视频数据采集与预处理;
通过摄像机采集原始数据,将采集到的原始数据预处理成连续的帧序列,作为待处理视频的连续帧图像,同时为了对场景信号进行估计提供空间描述,对图像进行分解与空间特征拟合得到空间特征函数;
(2)抖动量估计;
根据场景的特性选取某一固定帧或动态的当前帧的前一帧作为参考帧,利用当前帧与参考帧的空间相似性来估计帧间运动情况,利用最小距离准则得到每一帧的抖动量,经过多帧处理可以得到一个抖动矢量的集合,得到的抖动矢量的集合用来表示摄像机在时域内的移动情况;
(3)去除随机抖动干扰,输出稳定后的图像序列;
根据每帧内所有的抖动估计信息,综合得出当前帧的整体运动情况,由运动估计结果对原场景帧图像进行空间重构,消除抖动量,获得稳定的图像序列。
下面结合附图和具体模型,进一步说明,此处所描述的实施例仅用于解释本发明,并不用于限定本发明。
由传感器收集光学信息,形成视频数据。本方法的处理过程均针对帧图像,故输入数据为待处理视频的连续帧图像。常见的数据类型包括可见光、红外图像等。
单帧图像可用模型Ik(rx,y)=Sk(rx,y)+nk来表示,这里Ik(rx,y)为视频帧序列第k帧的全部内容,rx,y指图像内坐标为(x,y)的点,Sk(rx,y)表示真实场景信号,nk为传感器加性噪声。通常噪声nk在时间空间上无相关性,为了简化模型,认为噪声服从高斯分布,均值为0,方差为信号强度被认为是区分场景信号与噪声信号的一个指标。
鉴于以上模型,稳像工作针对Sk(rx,y)信号,可建立该信号的空时模型该模型包含了杂波信号的时间与空间特性,其中fl(k)是与时间特性相关的参数,gl(r)是用来反应杂波信号空间特征的函数,维数D则根据具体应用所允许的估计误差来决定。关于估计量做准确性要求:这里c是由精度要求决定的一个常数,通常取1。
gl(r)函数可通过多种方式得出,例如二维傅里叶分解与图像小波分解、多项式或样条曲线估计,可根据场景内容特点进行选择。
反应信号时间特性的参数fl(k)的估计需要考虑到从当前帧开始向前τ帧的内容,并且认为总能找到这样的τ使得对于所有k和rx,y均成立。由此,参数估计的滤波窗口时域长度为τ。
我们用δ(rx,y)来表示帧间抖动量,不同环境下的平台抖动呈现不同的特点,具体包括平移、旋转、尺度以及视差等情况。最简单的情况是δ(rx,y)的情况与空间分布无关,即δ(rx,y)=δ,此时仅有平移抖动。复杂的情况下,相邻像素和区域之间的抖动量具有不一致性,即摄像***出现了旋转、缩放以及视差等情况中的至少一种。无论何种抖动,在某个小区域或像素上其运动情况可用一个具有方向和幅度的矢量表示,并且限定其幅度不会超过某个最大值δmax。
稳像过程的整体流程如图1所示,具体实现如下:
(1)初始处理
时间参数fl(k)的估计需要至少τ帧的信息,故在前τ帧,无法用标准步骤的准则估计fl(k)。前τ帧被称为初始化阶段。具体处理方式如下:
k表示当前帧数,当k=1时,令
当k=2时, 将τ=2代入 中得到(该帧图像大小为Nx×Ny像素);
k=3,...,τ时,抖动量的估计同一般情况,用以下准则进行估计, 并将τ=k代入 中得到
(2)标准步骤
在初始处理阶段结束后应得到 具体每一步可分成三个部分,初始处理部分也与之一一对应:
(a)抖动量估计
抖动估计基于最小化准则,具体表达式为:
用以上最小二乘解确定使得当前帧信号与参考帧场景估计信号间的重叠度最高的δ(rx,y),作为抖动量的估计值。
(b)时间参数gl(rx,y)估计
该参数估计归为是在τ帧窗口内的最小化问题,具体表达式为:
(c)场景信号估计
场景信号估计表达式为由之前步骤获得时间参数gl(rx,y)。
(3)抖动校正
获得各帧抖动估计信息后,根据模型I'k(rx,y)=Ik(rx,y-δk(rx,y))对原帧图像重新插值,消除抖动位移输出稳像结果。如图1为本发明稳像算法流程与功能模块图。
Claims (1)
1.一种基于3D空时图像估计技术的视频稳像方法,其特征在于:包括以下步骤:
(1)视频数据采集与预处理;
通过摄像机采集原始数据,将采集到的原始数据预处理成连续的帧序列,作为待处理视频的连续帧图像,同时为了对场景信号进行估计提供空间描述,对图像进行分解与空间特征拟合得到空间特征函数;
(2)抖动量估计;
根据场景的特性选取某一固定帧或动态的当前帧的前一帧作为参考帧,利用当前帧与参考帧的空间相似性来估计帧间运动情况,利用最小距离准则得到每一帧的抖动量,经过多帧处理可以得到一个抖动矢量的集合,得到的抖动矢量的集合用来表示摄像机在时域内的移动情况;
(3)去除随机抖动干扰,输出稳定后的图像序列;
根据每帧内所有的抖动估计信息,综合得出当前帧的整体运动情况,由运动估计结果对原场景帧图像进行空间重构,消除抖动量,获得稳定的图像序列;
稳像过程的整体流程,具体实现如下:
1)初始处理
时间参数fl(k)的估计需要至少τ帧的信息,故在前τ帧,无法用标准步骤的准则估计fl(k),前τ帧被称为初始化阶段,具体处理方式如下:
k表示当前帧数,当k=1时,令
当k=2时, 将τ=2代入 中得到该帧图像大小为Nx×Ny像素;
k=3,…,τ时,抖动量的估计用以下准则进行估计, 并将τ=k代入 中得到
2)标准步骤
在初始处理阶段结束后应得到 具体每一步分成三个部分,初始处理部分也与之一一对应:
(a)抖动量估计
抖动估计基于最小化准则,具体表达式为:
用以上最小二乘解确定使得当前帧信号与参考帧场景估计信号间的重叠度最高的δ(rx,y),作为抖动量的估计值,
(b)时间参数gl(rx,y)估计
该参数估计归为是在τ帧窗口内的最小化问题,具体表达式为:
(c)场景信号估计
场景信号估计表达式为由之前步骤获得时间参数gl(rx,y);
3)抖动校正
获得各帧抖动估计信息后,根据模型I'k(rx,y)=Ik(rx,y-δk(rx,y))对原帧图像重新插值,消除抖动位移输出稳像结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310364748.5A CN103442161B (zh) | 2013-08-20 | 2013-08-20 | 基于3d空时图像估计技术的视频稳像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310364748.5A CN103442161B (zh) | 2013-08-20 | 2013-08-20 | 基于3d空时图像估计技术的视频稳像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103442161A CN103442161A (zh) | 2013-12-11 |
CN103442161B true CN103442161B (zh) | 2016-03-02 |
Family
ID=49695823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310364748.5A Expired - Fee Related CN103442161B (zh) | 2013-08-20 | 2013-08-20 | 基于3d空时图像估计技术的视频稳像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103442161B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469086B (zh) * | 2014-12-19 | 2017-06-20 | 北京奇艺世纪科技有限公司 | 一种视频去抖动方法及装置 |
CN105965891A (zh) * | 2016-05-13 | 2016-09-28 | 佛山市云端容灾信息技术有限公司 | 用于3d打印的半立体扫描取材方法和*** |
CN106534833B (zh) * | 2016-12-07 | 2018-08-07 | 上海大学 | 一种联合空间时间轴的双视点立体视频稳定方法 |
CN109285122B (zh) * | 2017-07-20 | 2022-09-27 | 阿里巴巴集团控股有限公司 | 一种进行图像处理的方法和设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101208722A (zh) * | 2005-06-30 | 2008-06-25 | 诺基亚公司 | 用于视频稳定的运动滤波 |
CN101278551A (zh) * | 2005-09-30 | 2008-10-01 | 摩托罗拉公司 | 用于视频稳定化的***和方法 |
CN102474568A (zh) * | 2009-08-12 | 2012-05-23 | 英特尔公司 | 基于共同处理元件执行视频稳定化和检测视频镜头边界的技术 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012064106A2 (en) * | 2010-11-12 | 2012-05-18 | Samsung Electronics Co., Ltd. | Method and apparatus for video stabilization by compensating for view direction of camera |
-
2013
- 2013-08-20 CN CN201310364748.5A patent/CN103442161B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101208722A (zh) * | 2005-06-30 | 2008-06-25 | 诺基亚公司 | 用于视频稳定的运动滤波 |
CN101278551A (zh) * | 2005-09-30 | 2008-10-01 | 摩托罗拉公司 | 用于视频稳定化的***和方法 |
CN102474568A (zh) * | 2009-08-12 | 2012-05-23 | 英特尔公司 | 基于共同处理元件执行视频稳定化和检测视频镜头边界的技术 |
Also Published As
Publication number | Publication date |
---|---|
CN103442161A (zh) | 2013-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108352056B (zh) | 用于校正错误深度信息的***和方法 | |
EP3216216B1 (en) | Methods and systems for multi-view high-speed motion capture | |
US11315274B2 (en) | Depth determination for images captured with a moving camera and representing moving features | |
JP6016061B2 (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
KR102563750B1 (ko) | 영상 블러링 제거 방법 및 장치 | |
US10150485B2 (en) | Method and device for processing image data, and driver-assistance system for a vehicle | |
Gräter et al. | Robust scale estimation for monocular visual odometry using structure from motion and vanishing points | |
CN103442161B (zh) | 基于3d空时图像估计技术的视频稳像方法 | |
US20100309292A1 (en) | Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image | |
KR100931311B1 (ko) | 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법 | |
CN109564687B (zh) | 学习方法和记录介质 | |
KR101893771B1 (ko) | 3d 정보 처리 장치 및 방법 | |
US10062151B2 (en) | Image deblurring method and apparatus | |
CN109615596A (zh) | 一种深度图像的去噪方法、装置和电子设备 | |
CN104980651A (zh) | 图像处理设备及控制方法 | |
EP3480782A1 (en) | Method and device for reducing noise in a depth image | |
CN107862733B (zh) | 基于视线更新算法的大规模场景实时三维重建方法和*** | |
RU2020103459A (ru) | Устройство и способ для формирования изображения | |
CN107343145A (zh) | 一种基于鲁棒性特征点的视频相机电子稳像方法 | |
CN113240813A (zh) | 三维点云信息确定方法及装置 | |
CN108876807B (zh) | 一种实时星载卫星图像运动对象检测跟踪方法 | |
Hirata et al. | Real-time dense depth estimation using semantically-guided LIDAR data propagation and motion stereo | |
US9113142B2 (en) | Method and device for providing temporally consistent disparity estimations | |
CN107845108B (zh) | 一种光流值计算方法、装置及电子设备 | |
CN111033575A (zh) | 图像处理装置、显示装置、图像发送装置、图像处理方法、控制程序以及记录介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160302 Termination date: 20190820 |
|
CF01 | Termination of patent right due to non-payment of annual fee |