CN102096912A - 一种图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像处理方法，用于实现对图像进行校正，使得图像更稳定，减少摄像头抖动对图像的影响。所述方法包括：取相邻两帧图像上的像素点作为特征点；所述特征点为图像旋转和平移均保持不变的像素点；根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系；根据相邻两帧图像之间的位置关系对相邻两帧图像中的后一帧图像进行校正处理。本发明还公开了用于实现所述方法的装置。

Description

一种图像处理方法及装置

技术领域

本发明涉及计算机及图像领域，特别是涉及图像处理方法及装置

背景技术

智能交通监控***作为智能交通***的一个组成部分，在保证城市交通安全、畅通等方面发挥着巨大的作用。可以作为了解交通状况和治安状况的一个窗口，是公安交通指挥***不可缺少的子***。建立视频图像监控***目的就是及时准确地掌握所监视路口、路段周围的车辆、行人的流量、交通治安情况等。

智能交通监控***中的摄像头均安装在室外的固定支撑物上，当风力达到一定量级时，会吹得摄像头发生抖动。或者，当有载重车辆从附近经过时，可能会使固定支撑物发生震动，从而使摄像头发生抖动。以上情况都会影响摄像头的摄像效果，使得图像不稳定。不稳定图像产生的干扰误差将会在智能交通监控***的各种后期应用(如车速估计、运动分割、事件检测等)中继续传递扩散，可能会严重影响交通监控的效果。

现有技术是通过对图像滤波的方法来稳定图像。即，将相邻两帧之间的差异作为噪声，通过均值或中值等滤波方式对噪声进行过滤。该方法的处理量较大，并且校正效果不是特别好，只适用于比较简单的情况，难以广泛应用。

发明内容

本发明实施例提供一种图像处理方法及装置，用于实现对图像进行校正，使得图像更稳定，减少摄像头抖动对图像的影响。

一种图像处理方法，包括以下步骤：

取相邻两帧图像上的像素点作为特征点；所述特征点为图像旋转和平移均保持不变的像素点；

根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系；

根据相邻两帧图像之间的位置关系对相邻两帧图像中的后一帧图像进行校正处理。

一种用于图像处理的装置，包括：

特征点模块，用于取相邻两帧图像上的像素点作为特征点；所述特征点为图像旋转和平移均保持不变的像素点；

关系模块，用于根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系；

处理模块，用于根据相邻两帧图像之间的位置关系对相邻两帧图像中的后一帧图像进行校正处理。

本发明实施例通过相邻两帧图像之间的特征点的位置关系来确定这两帧图像之间的位置关系，并根据这两帧图像之间的位置关系对其中的后一帧图像进行处理，以校正后一帧图像，提高图像的稳定性，减少摄像头抖动对图像的影响，使图像的播放效果更流畅。

附图说明

图1为本发明实施例中图像处理的主要方法流程图；

图2为本发明实施例中图像处理的详细方法流程图；

图3为本发明实施例中通过多个特征点对确定旋转关系并进行图像处理的方法流程图；

图4为本发明实施例中装置的主要结构图；

图5为本发明实施例中装置的详细结构图。

具体实施方式

本发明实施例从相邻两帧图像中获得特征点，通过两帧图像之间的特征点的位置关系获得两帧图像之间的位置关系，并根据两帧图像之间的位置关系对两帧图像中后一帧图像进行处理，以实现对后一帧图像的校正，从而提高图像的稳定性。

参见图1，本实施例中图像处理的主要方法流程如下：

步骤101：取相邻两帧图像上的像素点作为特征点。所述特征点为图像旋转和平移均保持不变的像素点。可通过尺度不变特征变换(Scale InvariantFeature Transformation，SIFT)等手段从图像上提取特征点。

步骤102：根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系。

步骤103：根据相邻两帧图像之间的位置关系对相邻两帧图像中的后一帧图像进行校正处理。

本实施例中主要是根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的旋转关系，相邻两帧图像之间可能有平移关系等，但都可以通过旋转来校正。两帧图像的旋转关系为：前一帧图像的特征点I_t围绕参考点(x₀，y₀)旋转角度θ，对应到后一帧图像的特征点I_t+1。实际计算时，由于倾斜角度θ很小(小于10度)，则可以得到sinθ≈θ，cosθ≈1。设特征点I_t的坐标为(x_t，y_t)，特征点I_t+1的坐标为(x_t+1，y_t+1)，则旋转关系可表示为：

$\left[\begin{array}{c}{x}_{t+1}\\ y_{t+1}\end{array}\right]=\left[\begin{array}{cc}1& \mathrm{\θ}\\ -\mathrm{\θ}& 1\end{array}\right]\left[\begin{array}{c}{x}_t-x_0\\ y_t-y_0\end{array}\right]+\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]$ 公式1

对公式1进行变形可得：

$\left[\begin{array}{ccc}-y_t& 0& 1\\ x_t& -1& 0\end{array}\right]\left[\begin{array}{c}\mathrm{\θ}\\ \mathrm{\θ}{x}_0\\ \mathrm{\θ}{y}_0\end{array}\right]=\left[\begin{array}{c}{x}_{t+1}-x_t\\ y_{t+1}{-y}_t\end{array}\right]$ 公式2

将特征点I_t和I_t+1的坐标带入公式1或公式2，便可得到(x₀，y₀)和旋转角度θ。将后一帧图像围绕参考点(x₀，y₀)旋转-θ，即可得到校正后的图像。

下面对图像处理的过程进行详细介绍。

参见图2，本实施例中图像处理的详细方法流程如下：

步骤201：通过SIFT变换在相邻两帧图像上各取一个特征点。即，得到特征点的坐标。本实施例中图像的左上角第一个像素点的坐标为(0，0)。

步骤202：将特征点坐标带入公式2，得到参考点(x₀，y₀)和旋转角度θ。

步骤203：将后一帧图像围绕参考点(x₀，y₀)旋转-θ。

在步骤201之前，可以先从两帧图像中分别提取出背景区域。本实施例中的背景区域是指图像中车道以外的区域。车道上的车是运动的，不适合进行特征点提取，背景区域中的物体几乎是静止不动的，或者是运动的比较缓慢，适合提取特征点。并且，仅从背景区域提取特征点，可大幅度提高提取特征点的速度。确定车道区域的方式如：车道上有车道线，车道线通常为白色的四边形，可通过车道线确定车道的大致区域。

在步骤201中，可在相邻两帧图像上各取多个特征点，综合多个特征点间的位置关系确定相邻两帧图像的旋转关系，以减少偶然误差。下面对这种情况进行详细介绍。

参见图3，本实施例中通过多个特征点对确定旋转关系并进行图像处理的方法流程如下：

步骤301：从相邻两帧图像的背景区域中分别取多个特征点。

步骤302：将两帧图像之间的特征点进行匹配，得到多个特征点对。

步骤303：综合计算多个特征点对，得到一个特征点对。

步骤304：将得到的一个特征点对带入公式2，得到参考点(x₀，y₀)和旋转角度θ。

步骤305：将后一帧图像围绕参考点(x₀，y₀)旋转-θ。

本实施例中，也可以不执行步骤303，则在步骤304中，将多个特征点对分别带入公式2，得到多个参考点(x₀，y₀)和旋转角度θ，然后对多个参考点(x₀，y₀)和旋转角度θ进行综合计算，得到最终的一个参考点(x₀，y₀)和旋转角度θ，根据该参考点(x₀，y₀)和-θ对后一帧图像进行调整。

在步骤302中，将两帧图像之间的特征点进行匹配的过程包括：设前一帧图像中的特征点为P1...Pn，后一帧图像的特征点为Q1...Qn。前一帧图像与后一帧图像的特征点的数量可以相同也可以不同，如果不同，则得到的特征点对的数量以前一帧图像与后一帧图像中较少的数量为准。本实施例以两帧图像的特征点的数量相等为例进行说明。计算Pi与Qj的相似性值，得到相似性值d(Pi，Qj)，i＝1...n，j＝1...n，n为正整数。这样可得到n×n个相似性值。计算相似性的方式有多种，如计算Pi的特征向量与Qj的特征向量的相关性等。然后获得n×n个相似性值中的最大值dmax，并记录dmax对应的特征点对(如(P1，Q1))。可以直接将该特征点对带入步骤304和继续步骤305，但为了减少误差，较佳的方式是得到多个特征点对。记录dmax对应的(P1，Q1)后，删除与P1和Q1有关的相似性值，或者将与P1和Q1有关的相似性值设为0。再次获得最大值dmax，记录dmax对应的特征点对，如(P2，Q2)，重复该过程，可得到特征点对(P1，Q1)...(Pn，Qn)。

得到n个特征点对后，在步骤303中，综合计算也有多种实现方式，如对n个特征点对求平均，得到一个特征点对。即，对特征点对中的P1...n求平均，以及对特征点对中的Q1...n求平均。对多个参考点(x₀，y₀)和旋转角度θ的综合计算也可采用求平均的方式。即，对多个参考点中的多个x求平均，以及对多个y求平均，得到一个x和一个y，从而得到一个参考点(x，y)。综合计算还可以具体为最小二乘法等。

以上介绍了图像处理的实现过程，该过程可以由装置实现，下面对该装置的内部结构和功能进行介绍。

参见图4，本实施例中用于实现图像处理的装置包括特征点模块401、关系模块402和处理模块403。

特征点模块401用于取相邻两帧图像上的像素点作为特征点。

关系模块402用于根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系。关系模块402根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的旋转关系。

处理模块403用于根据相邻两帧图像之间的位置关系对相邻两帧图像中的后一帧图像进行校正处理。

具体的，关系模块402通过公式 $\left[\begin{array}{ccc}-y_t& 0& 1\\ x_t& -1& 0\end{array}\right]\left[\begin{array}{c}\mathrm{\θ}\\ \mathrm{\θ}{x}_0\\ \mathrm{\θ}{y}_0\end{array}\right]=\left[\begin{array}{c}{x}_{t+1}-x_t\\ y_{t+1}{-y}_t\end{array}\right]$ 获得(x₀，y₀)和θ；其中x₀和y₀为预设的参考点的坐标，x_t和y_t为相邻两帧图像中前一帧中特征点的坐标，x_t+1和y_t+1为后一帧中特征点的坐标，θ为预设的旋转角。相邻两帧图像之间的旋转关系为围绕参考点(x₀，y₀)旋转了θ。处理模块403对后一帧图像围绕参考点(x₀，y₀)旋转-θ。

该装置还包括：图像提取模块404，参见图5所示。图像提取模块404用于分别从相邻两帧图像中获得背景区域。特征点模块401取相邻两帧图像的背景区域上的像素点作为特征点。

特征点模块401分别在相邻两帧图像上取多个像素点作为特征点。

该装置还包括：匹配模块405，用于将相邻两帧图像中的一帧图像上的特征点与另一帧图像中的特征点进行匹配，根据特征点之间的相关性获得多个特征点对。关系模块402根据每个特征点对的位置关系确定该特征点对的位置关系，根据所有特征点对的位置关系确定相邻两帧图像之间的位置关系，参见步骤303和304。

用于实现本发明实施例的软件可以存储于软盘、硬盘、光盘和闪存等存储介质。

本发明实施例通过相邻两帧图像之间的特征点的位置关系来确定这两帧图像之间的位置关系，并根据这两帧图像之间的位置关系对其中的后一帧图像进行处理，以校正后一帧图像，提高图像的稳定性，减少摄像头抖动对图像的影响，使图像的播放效果更流畅。并且，本发明实施例中，摄像头抖动对图像的各种影响，均可以通过旋转图像来进行校正，实现过程简单，并且校正效果较好。本发明实施例还通过提取图像中的背景区域来提高获得特征点的速度和准确度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种图像处理方法，其特征在于，包括以下步骤：

取相邻两帧图像上的像素点作为特征点；所述特征点为图像旋转和平移均保持不变的像素点；

根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系；

根据相邻两帧图像之间的位置关系对相邻两帧图像中的后一帧图像进行校正处理。

2.如权利要求1所述的图像处理方法，其特征在于，在取相邻两帧图像上的像素点作为特征点之前，分别从相邻两帧图像中获得背景区域；

取相邻两帧图像上的像素点作为特征点的步骤包括：取相邻两帧图像的背景区域上的像素点作为特征点。

3.如权利要求1所述的图像处理方法，其特征在于，取相邻两帧图像上的像素点作为特征点的步骤包括：通过尺度不变特征变换取相邻两帧图像上的像素点作为特征点。

4.如权利要求1所述的图像处理方法，其特征在于，根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系的步骤包括：根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的旋转关系。

5.如权利要求4所述的图像处理方法，其特征在于，根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的旋转关系的步骤包括：

通过公式 $\left[\begin{array}{ccc}{-y}_t& 0& 1\\ x_t& -1& 0\end{array}\right]\left[\begin{array}{c}\mathrm{\θ}\\ {\mathrm{\θx}}_0\\ {\mathrm{\θy}}_0\end{array}\right]=\left[\begin{array}{c}{x}_{t+1}-x_t\\ y_{t+1}-y_t\end{array}\right]$ 获得(x₀，y₀)和θ；其中x₀和y₀为预设的参考点的坐标，x_t和y_t为相邻两帧图像中前一帧中特征点的坐标，x_t+1和y_t+1为后一帧中特征点的坐标，θ为预设的旋转角；

相邻两帧图像之间的旋转关系为围绕参考点(x₀，y₀)旋转了θ；

根据相邻两帧图像之间的位置关系对相邻两帧图像中的后一帧图像进行处理的步骤包括：对后一帧图像围绕参考点(x₀，y₀)旋转-θ。

6.如权利要求1至5中任一项所述的图像处理方法，其特征在于，取相邻两帧图像上的像素点作为特征点的步骤包括：分别在相邻两帧图像上取多个像素点作为特征点。

7.如权利要求6所述的图像处理方法，其特征在于，在根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系之前，将相邻两帧图像中的一帧图像上的特征点与另一帧图像中的特征点进行匹配，根据特征点之间的相关性获得多个特征点对。

8.如权利要求7所述的图像处理方法，其特征在于，根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系的步骤包括：根据每个特征点对的位置关系确定该特征点对的位置关系，根据所有特征点对的位置关系确定相邻两帧图像之间的位置关系。

9.一种用于图像处理的装置，其特征在于，包括：

特征点模块，用于取相邻两帧图像上的像素点作为特征点；所述特征点为图像旋转和平移均保持不变的像素点；

关系模块，用于根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的位置关系；

处理模块，用于根据相邻两帧图像之间的位置关系对相邻两帧图像中的后一帧图像进行校正处理。

10.如权利要求9所述的装置，其特征在于，还包括：图像提取模块，用于分别从相邻两帧图像中获得背景区域；

特征点模块取相邻两帧图像的背景区域上的像素点作为特征点。

11.如权利要求9所述的装置，其特征在于，特征点模块用于通过尺度不变特征变换取相邻两帧图像上的像素点作为特征点。

12.如权利要求9所述的装置，其特征在于，关系模块根据相邻两帧图像之间的特征点的位置关系确定相邻两帧图像之间的旋转关系。

13.如权利要求12所述的装置，其特征在于，关系模块通过公式 $\left[\begin{array}{ccc}{-y}_t& 0& 1\\ x_t& -1& 0\end{array}\right]\left[\begin{array}{c}\mathrm{\θ}\\ {\mathrm{\θx}}_0\\ {\mathrm{\θy}}_0\end{array}\right]=\left[\begin{array}{c}{x}_{t+1}-x_t\\ y_{t+1}-y_t\end{array}\right]$ 获得(x₀，y₀)和θ；其中x₀和y₀为预设的参考点的坐标，xt和yt为相邻两帧图像中前一帧中特征点的坐标，x_t+1和y_t+1为后一帧中特征点的坐标，θ为预设的旋转角；

相邻两帧图像之间的旋转关系为围绕参考点(x₀，y₀)旋转了θ；

处理模块对后一帧图像围绕参考点(x₀，y₀)旋转-θ。

14.如权利要求9至13中任一项所述的装置，其特征在于，特征点模块分别在相邻两帧图像上取多个像素点作为特征点。

15.如权利要求14所述的装置，其特征在于，还包括：匹配模块，用于将相邻两帧图像中的一帧图像上的特征点与另一帧图像中的特征点进行匹配，根据特征点之间的相关性获得多个特征点对。

16.如权利要求15所述的装置，其特征在于，关系模块根据每个特征点对的位置关系确定该特征点对的位置关系，根据所有特征点对的位置关系确定相邻两帧图像之间的位置关系。

Images