CN103955948B - 一种动态环境下的空间运动目标检测方法 - Google Patents

Abstract

本发明提供了一种动态环境下的空间运动目标检测方法，通过双目相机获取前后两帧四副图像，提取四副图像中可靠的特征点，然后对该特征点进行三维重建，计算图像的场景流，接着，将具有相似运动的特征点聚类，从而检测出场景中运动的物体。

Description

一种动态环境下的空间运动目标检测方法

技术领域

本发明属于图像处理与计算机视觉领域，具体涉及一种搭载在空间绳系机器人***上的双目立体相机对空间运动目标检测的方法。

背景技术

空间绳系机器人***由“绳系机器人+空间系绳+空间平台”组成，具有安全、灵活、操作距离远等特点，可广泛应用于包括在轨维修、在轨加注、辅助变轨及在轨空间站辅助组装等在轨服务中，已经成为空间操控技术领域的研究热点之一。这种新型的微型智能机器人，在空间可以自主逼近目标。在其逼近的过程中利用自身携带的双目视觉测量***对目标进行实时检测、跟踪与测量。其中最关键的步骤首先是动态背景下对运动目标进行自动检测提取，这涉及到运动目标检测技术。

目前运动目标检测广泛应用于机器人导航、武器制导、交通流量监测、人体运动分析、视频压缩等诸多方面，涉及到计算机视觉、模式识别、统计学、图像理解等诸多研究领域，是图像处理研究领域的热点和难点之一。由于空间绳系机器人的运动特性导致其携带的摄像机存在自主运动，与目标相对运动，使得问题变得更加难以解决，这将对后续的运动目标自动检测极为不利。

对于运动平台上运动目标检测问题，常用的一种方法需要先消除相机自身运动，即将同一场景的不同角度或位置拍摄的图像进行配准，然后检测运动目标。但是这种方法需要先消除相机自身运动，使得整个运动目标检测算法比较复杂，步骤较多，整个算法的稳定性和精度也难以保证。

本专利针对绳系机器人上搭载的摄像机发生自运动时检测运动目标的问题，提出了一种基于稀疏场景流的运动目标检测方法，实现动态背景下运动目标的自动检测。

发明内容

本发明的目的在于弥补现有运动目标检测技术的不足，提供一种动态环境下的空间运动目标检测方法，该方法具有良好的鲁棒性，且操作简单，计算速度快，检测结果准确。

为实现上述目的，本发明的技术方案为：

一种空间绳系机器人运动目标检测方法，通过双目相机获取前后两帧四副图像，提取四副图像中可靠的特征点，然后对该特征点进行三维重建，计算图像的场景流，接着，将具有相似运动的特征点聚类，从而检测出场景中运动的物体。

提取图像中可靠的特征点的方法为：首先检测出特征点，然后对得到的特征点进行筛选，保留匹配的特征点。

所述三维重建的方法为：

假定匹配特征点在双目相机图像中的坐标分别为：x＝[u_L,v_L]^T，x＝[u_R,v_R]^T，则该特征点映射到世界坐标系中的三维坐标X＝[X,Y,Z]^T∈R³为：

$X=\frac{(u_L-c_{u,L})\·b}{d},$ $Y=\frac{(v_L-c_{v,L})\·b}{d},$ $Z=\frac{b\·f}{d},$

其中，b为立体相机的基线，c_u,L和c_v,L是左相机的主点，f是焦距，d表示视差，d＝|u_L-u_R|。

假定特征点映射到世界坐标系的三维坐标点的速度V在5帧的时间段t内是恒定的，t=0.5s，则所述场景流根据以下公式计算： $f^{\′}\left(x\right)\≈\frac{137}{60}f\left(x\right)-5f(x-1)+5f(x-2)-\frac{10}{3}f(x-3)+\frac{5}{4}f(x-4)-\frac{1}{5}f(x-5),$

其中，f'(x)为场景流，f(x)，f(x-1)，f(x-2)，f(x-3)，f(x-4)，f(x-5)分别表示5帧图像中的匹配特征点在三维坐标系中的位置。

具有相似运动的特征点聚类的方法为：以检测到的匹配特征点为节点使用Delaunay三角剖分进行连接，得到Delaunay三角形集合T，对得到的三角形集合T中的每个三角形边线的两个顶点的场景流之差进行阈值判断，得到具有相似场景流的特征点的聚类。

具有相似运动的特征点聚类的方法为：对同一条边线上的两个节点i和j定义它们的场景流之差，比较同一条边线上的两节点的场景流之差，如果差值不超过给定的阈值，则保留该条边线，否则移除该边线。

检测出场景中运动的物体后，对错误检测到的静态物体进行剔除，以确保运动目标检测的可靠性和稳定性，剔除的具体方法为：检测得到物体的区域的尺度范围如果超出合理尺度范围，则从检测结果中剔除，所述尺度范围指物体在图像中占据的区域范围，所述合理尺度范围为120像素×30像素。

检测出场景中运动的物体后，对检测到的对象进行关联，以确保运动目标检测的可靠性和稳定性，关联的具体方法为：假设检测到的物体的速度在时间间隔Δt=0.5s内是不变的，根据物体在前一时刻检测出的位置和速度，预测出当前时刻的预测位置，再考虑到可接受范围内的测量误差和预测误差，在当前预测位置周围放置一个路径门限，然后在当前时刻判断物体的检测位置是否落在这个预测路径门限内，如果落在了预测路径门限内，那么认为该物体检测正常；否则，认为物体检测丢失；检测到的运动物体至少在两个连续的时间步骤Δt都被正确检测，并且在检测的过程中，至多丢失一次，那么才确定其为正确检测的运动物体，否则认为其为误检测，应予剔除，最终保留下来的，即为最终检测出的场景中的运动物体，所述路径门限以预测位置为中心，以1米为半径的空间球形区域。

与现有技术相比，本发明至少具有以下有益效果：本发明采用了稀疏场景流分割的算法检测动态场景中的运动目标，与以往技术相比，不需要先检测出相机的自身运动，克服了现有技术的步骤繁琐，实现复杂，实时性不好，精确度低等不足。本发明利用可靠特征点的稀疏场景流的计算，能显著提高运行速度，保证实时性。采用Delaunay三角剖分对场景流进行分割，能够高效地识别出场景中的运动目标。发明中对检测到的运动对象进行关联，保证了算法的精确性和可靠性。

附图说明

图1为本发明的算法总流程框图。

具体实施方式

本发明方法主要由三维重建算法、稀疏场景流算法、场景流聚类算法、对象关联算法等部分组成。该方法具体包括步骤如下：

步骤一：获取双目相机的前后两帧四幅图像；

步骤二：对这两帧连续的图像对进行特征点提取，保留那些在这四幅图像中相对应的可靠的特征点；

步骤三：利用左右图像的视差，对每个特征点进行三维重建，得到每个特征点在3D世界坐标系中的坐标；

步骤四：通过计算每个特征点在5个时间间隔中检测得到的5个3D位置的有限差分，近似得到场景流；

步骤五：以检测到的特征点为节点使用Delaunay三角剖分进行连接；

步骤六：判断同一条连线上两节点的场景流的差，如果差值不超过给定的阈值，则保留该边线，否则移除该边线，这样就把具有相似场景流的特征点聚类在了一起；

步骤七：去除误检测的静态物体；

步骤八：对检测到的运动对象进行关联，进一步确保检测结果的可靠性和稳定性。

以下结合附图对本发明进行详细的描述。应当指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明实施例提供的运动目标检测方法包括：

步骤一：获取左相机前一帧图像x_L,k-1,当前帧图像x_L,k，右相机前一帧图像x_R,k-1,当前帧图像x_R,k；

步骤二：立体图像中可靠特征点的提取，具体步骤分解如下：

（1）：对图像x_L,k-1,x_L,k,x_R,k-1,x_R,k分别进行特征点检测，得到四幅图像的特征点集，分别为P1={p11，p12，…，p1n}，P2={p21，p22，…，p2n}，P3={p31，p32，…，p3n}，P4={p41，p42，…，p4n}；

（2）：对步骤（1）得到的特征点进行筛选：首先对特征点集P1和P2中的特征点进行匹配，保留匹配的特征点，再用保留下来的特征点和P3中的特征点匹配，保留匹配的特征点，再用保留下来的特征点和P4中的特征点匹配，保留匹配的特征点。特征点集P1，P2，P3，P4中保留下来的那些特征点组成新的点集，称为匹配特征点集Q1={q11，q12，…，q1j}，Q2={q21，q22，…，q2j}，Q3={q31，q32，…，q3j}，Q4={q41，q42，…，q4j}；

其中特征点的检测，利用的是参考文献“A.Geiger,J.Ziegler,andC.Stiller.Stereoscan:Dense3d reconstruction in real-time.In IEEE IntelligentVehicles Symposium,Baden-Baden,Germany,June2011”中所提出的方法，此处不再赘述。

步骤三：对左右相机当前帧的两幅图像中的匹配特征点对集合Q2，Q4进行三维重建，得到每个特征点在3D世界坐标系中的坐标：

设匹配特征点在左相机图像中的坐标为x＝[u_L,v_L]^T，在右相机图像中的坐标为x＝[u_R,v_R]^T，那么该特征点映射到世界坐标系中的三维坐标X＝[X,Y,Z]^T∈R³为：

$X=\frac{(u_L-c_{u,L})\·b}{d}---\left(1\right)$

$Y=\frac{(v_L-c_{v,L})\·b}{d}---\left(2\right)$

$Z=\frac{b\·f}{d}---\left(3\right)$

其中b代表立体相机的基线，c_u,L和c_v,L是左相机的主点，f是焦距，d表示视差，d＝|u_L-u_R|。

步骤四：计算场景流，假设特征点映射到世界坐标系的三维坐标点的速度V在5帧的时间段（t=0.5s）内是恒定的，那么速度矢量可以看做是世界点X_k位置的一阶导数，其中，k为第k帧图像，k=1,……5：

$V=\frac{\mathrm{\Δ}{X}_k}{\mathrm{\Δt}}---\left(4\right)$

采样速率1/Δt＝10Hz恒定，其中，Δt代表前后两帧图像之间的采样时间间隔，ΔX_k表示世界点X_k在前后两帧图像中的对应三维位置之差。

为了计算的方便，使用向后差分近似求导，公式如下：

$f^{\′}\left(x\right)\≈\frac{137}{60}f\left(x\right)-5f(x-1)+5f(x-2)-\frac{10}{3}f(x-3)+\frac{5}{4}f(x-4)-\frac{1}{5}f(x-5)---\left(5\right)$

其中，f'(x)为场景流，f(x)，f(x-1)，f(x-2)，f(x-3)，f(x-4)，f(x-5)分别表示5帧图像中的匹配特征点在三维坐标系中的位置。

由公式（4）和（5）可以计算出场景的场景流。

步骤五：以检测到的匹配特征点为节点使用Delaunay三角剖分进行连接，得到Delaunay三角形集合T。

具体方法在参考文献“C.B.Barber,D.P.Dobkin,and H.Huhdanpaa.Thequickhull algorithm for convex hulls.ACM Transactions on MathematicalSoftware,22(4):469–483,1996”中有详细介绍，此处不再赘述。

步骤六：对上步中得到的三角形集合T中的每个三角形边线的两个顶点的场景流之差进行阈值判断，得到具有相似场景流的特征点的聚类，具体步骤如下：

（1）：对同一条边线上的两个节点i和j定义它们的场景流之差如下：

$\mathrm{\Δ}(V_i,V_j)=\sqrt{{(V_i-V_j)}^T{{\mathrm{\Σ}}_{i,j}}^{-1}(V_i-V_j)}---\left(6\right)$

其中，V_i，V_j分别表示两个节点i和j上的场景流；

场景流的协方差矩阵Σ如下:

Σ＝JSJ^T (7)

其中S为测量噪声为0.5像素的斜对角测量噪声矩阵。

矩阵J为场景流的雅克比矩阵，对于3D世界点X＝[X,Y,Z]^T，其雅克比矩阵J给出如下：

$J=\frac{\mathrm{dV}}{\mathrm{dx}}=\left[\begin{array}{ccc}\frac{{\∂V}_X}{\∂u_{L,k}}& \frac{\∂V_X}{{\∂u}_{R,k}}& \frac{\∂V_X}{\∂v_k}\\ \frac{{\∂V}_Y}{\∂u_{L,k}}& \frac{{\∂V}_Y}{{\∂u}_{R,k}}& \frac{\∂V_Y}{\∂v_k}\\ \frac{{\∂V}_Z}{{\∂u}_{L,k}}& \frac{\∂V_Z}{{\∂u}_{R,k}}& \frac{\∂V_Z}{{\∂v}_k}\end{array}\right],i=0...5---\left(8\right)$

（2）：比较同一条边线上的两节点的场景流之差Δ(V_i,V_j)，如果差值不超过给定的阈值（本实施例中设为30像素），则保留该条边线，否则移除该边线。这样就把具有相似场景流的特征点聚类在了一起，就初步检测出了场景中运动的物体O’₁，O’₂，…，O’_n。

步骤七：去除误检测的静态的物体：

对于误检测的静态的区域，其检测得到的区域的尺寸范围往往超出了目标合理的尺寸范围，因此可以判断，把尺度范围超过合理尺度范围(本实施例中设为120像素×30像素)的区域，从检测结果中剔除，保留下物体O₁，O₂，…，O_m。此处的尺度范围指物体在图像中占据的区域范围。

步骤八：对检测到的运动物体O₁，O₂，…，O_m进行关联，进一步确保检测结果的可靠性和稳定性，具体步骤如下：

（1）：对于检测到的物体O_i，假设其速度在时间Δt=0.5s内是不变的；

（2）：根据其前一时刻的位置以及其速度，预测出当前时刻位置

（3）：考虑到可接受范围内的测量误差和预测误差，在当前时刻预测位置周围放置一个路径门限(在本实施例中设置为以预测位置为中心，以1米为半径的空间球形区域)；

（4）：在当前时刻，检测物体O_i的位置为判断如果其落在了预测位置的路径门限内，那么认为该物体检测正常；如果检测位置落在了预测位置的路径门限外，那么认为物体检测丢失；

（5）：检测到的运动物体至少在两个连续的时间步骤Δt都被正确检测，并且在检测的过程中，至多丢失一次，那么才确定其为正确检测的运动物体，否则认为其为误检测，应予剔除，最终保留下来的，即为最终检测出的场景中的运动物体。

至此，就正确稳定地检测出场景中的运动目标了。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种动态环境下的空间运动目标检测方法，其特征在于：通过双目相机获取前后两帧四幅图像，提取四幅图像中可靠的特征点，然后对该特征点进行三维重建，计算图像的场景流，接着，将具有相似运动的特征点聚类，从而检测出场景中运动的物体；

所述的提取四幅图像中可靠的特征点的方法为：

获取左相机前一帧图像x_L,k-1,当前帧图像x_L,k，右相机前一帧图像x_R,k-1,当前帧图像x_R,k；

对图像x_L,k-1,x_L,k,x_R,k-1,x_R,k分别进行特征点检测，得到四幅图像的特征点集，分别为P1＝{p11，p12，…，p1n}，P2＝{p21，p22，…，p2n}，P3＝{p31，p32，…，p3n}，P4＝{p41，p42，…，p4n}；

对步骤(1)得到的特征点进行筛选：首先对特征点集P1和P2中的特征点进行匹配，保留匹配的特征点，再用保留下来的特征点和P3中的特征点匹配，保留匹配的特征点，再用保留下来的特征点和P4中的特征点匹配，保留匹配的特征点；特征点集P1，P2，P3，P4中保留下来的那些特征点组成新的点集，称为匹配特征点集Q1＝{q11，q12，…，q1j}，Q2＝{q21，q22，…，q2j}，Q3＝{q31，q32，…，q3j}，Q4＝{q41，q42，…，q4j}；

所述的对该特征点进行三维重建的方法为：设匹配特征点在左相机图像中的坐标为：x＝[u_L,v_L]^T，在右相机图像中的坐标为：x＝[u_R,v_R]^T，那么该特征点映射到世界坐标系中的三维坐标X＝[X,Y,Z]^T∈R³为：

$X=\frac{(u_L-c_{u,L})\·b}{d}---\left(1\right)$

$Y=\frac{(v_L-c_{v,L})\·b}{d}---\left(2\right)$

$Z=\frac{b\·f}{d}---\left(3\right)$

其中b为立体相机的基线，c_u,L和c_v,L是左相机的主点，f是焦距，d表示视差，d＝|u_L-u_R|；

所述的计算图像的场景流的方法为：假设特征点映射到世界坐标系的三维坐标点的速度V在5帧的时间段内是恒定的，那么速度矢量可以看做是世界点X_k位置的一阶导数，其中，k为第k帧图像，k＝1,……5：

$V=\frac{{\mathrm{\ΔX}}_k}{\mathrm{\Δ}t}---\left(4\right)$

采样速率1/Δt＝10Hz恒定，其中，Δt代表前后两帧图像之间的采样时间间隔，ΔX_k表示世界点X_k在前后两帧图像中的对应三维位置之差；

为了计算的方便，使用向后差分近似求导，公式如下：

$f^{\′}\left(x\right)\≈\frac{137}{60}f\left(x\right)-5f(x-1)+5f(x-2)-\frac{10}{3}f(x-3)+\frac{5}{4}f(x-4)-\frac{1}{5}f(x-5)---\left(5\right)$

其中，f'(x)为场景流，f(x)，f(x-1)，f(x-2)，f(x-3)，f(x-4)，f(x-5)分别表示5帧图像中的匹配特征点在三维坐标系中的位置；

由公式(4)和(5)可以计算出场景的场景流；

所述的将具有相似运动的特征点聚类的方法为：

以检测到的匹配特征点为节点使用Delaunay三角剖分进行连接，得到Delaunay三角形集合T；

对得到的三角形集合T中的每个三角形边线的两个顶点的场景流之差进行阈值判断，得到具有相似场景流的特征点的聚类，具体步骤如下：

对同一条边线上的两个节点i和j定义它们的场景流之差如下：

$\mathrm{\Δ}(V_i,V_j)=\sqrt{{(V_i-V_j)}^T{{\mathrm{\Σ}}_{i,j}}^{-1}(V_i-V_j)}---\left(6\right)$

其中，V_i，V_j分别表示两个节点i和j上的场景流；

场景流的协方差矩阵∑如下:

∑＝JSJ^T (7)

其中S为测量噪声为0.5像素的斜对角测量噪声矩阵；

矩阵J为场景流的雅克比矩阵，对于3D世界点X＝[X,Y,Z]^T，其雅克比矩阵J给出如下：

$J=\frac{dV}{dx}=\left[\begin{array}{ccc}\frac{\∂V_X}{\∂u_{L,k}}& \frac{\∂V_X}{\∂u_{R,k}}& \frac{\∂V_X}{\∂v_k}\\ \frac{\∂V_Y}{\∂u_{L,k}}& \frac{\∂V_Y}{\∂u_{R,k}}& \frac{\∂V_Y}{\∂v_k}\\ \frac{\∂V_Z}{\∂u_{L,k}}& \frac{\∂V_Z}{\∂u_{R,k}}& \frac{\∂V_Z}{\∂v_k}\end{array}\right],i=0...5---\left(8\right)$

比较同一条边线上的两节点的场景流之差Δ(V_i,V_j)，如果差值不超过给定的阈值，则保留该条边线，否则移除该边线；这样就把具有相似场景流的特征点聚类在了一起，初步检测出了场景中运动的物体O’₁，O’₂，…，O’_n；

所述方法进一步包括去除误检测的静态的物体，方法为：把尺度范围超过合理尺度范围的区域，从检测结果中剔除，保留下物体O₁，O₂，…，O_m，所述的尺度范围指物体在图像中占据的区域范围；

所述的方法进一步包括对检测到的运动物体O₁，O₂，…，O_m进行关联，进一步确保检测结果的可靠性和稳定性，具体方法为：

对于检测到的物体O_i，假设其速度在时间Δt＝0.5s内是不变的；

根据其前一时刻的位置以及其速度，预测出当前时刻位置

考虑到可接受范围内的测量误差和预测误差，在当前时刻预测位置周围放置一个路径门限；

在当前时刻，检测物体O_i的位置为判断如果其落在了预测位置的路径门限内，那么认为该物体检测正常；如果检测位置落在了预测位置的路径门限外，那么认为物体检测丢失；

检测到的运动物体至少在两个连续的时间步骤Δt都被正确检测，并且在检测的过程中，至多丢失一次，那么才确定其为正确检测的运动物体，否则认为其为误检测，应予剔除，最终保留下来的，即为最终检测出的场景中的运动物体。

2.根据权利要求1所述的一种动态环境下的空间运动目标检测方法，其特征在于：所述路径门限为以预测位置为中心，以1米为半径的空间球形区域。