CN103065329A - 一种空间绳系机器人相机自运动检测与补偿方法 - Google Patents
一种空间绳系机器人相机自运动检测与补偿方法 Download PDFInfo
- Publication number
- CN103065329A CN103065329A CN2013100133827A CN201310013382A CN103065329A CN 103065329 A CN103065329 A CN 103065329A CN 2013100133827 A CN2013100133827 A CN 2013100133827A CN 201310013382 A CN201310013382 A CN 201310013382A CN 103065329 A CN103065329 A CN 103065329A
- Authority
- CN
- China
- Prior art keywords
- point
- unique point
- image
- algorithm
- euclidean distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种空间绳系机器人相机自运动检测与补偿方法,技术特征在于:计算出前后帧图像中含有运动目标的区域;然后利用SURF算法在不含运动目标的区域进行特征点检测;其次采用的SURF特征描述向量不但具有尺度、旋转不变性,而且还具有较好的区分性,所以新算法可以有效地提高图像配准可靠性和准确性;同时还采用交叉匹配算法进一步降低了误匹配率,使得该算法鲁棒性更强,运动参数求解得更加精确。
Description
技术领域
本发明属于图像处理与计算机视觉领域,具体涉及一种搭载在空间绳系机器人***上的相机自运动检测与补偿的方法。
背景技术
空间绳系机器人***由“空间绳系机器人+空间系绳+空间平台”组成,具有安全、灵活、操作距离远等特点,可广泛应用于包括在轨维修、在轨加注、辅助变轨及在轨空间站辅助组装等在轨服务中,已经成为空间操控技术领域的研究热点之一。这种新型的微型智能机器人,在空间可以自主逼近目标。在其逼近的过程中利用自身携带的双目视觉测量***对目标进行实时检测、跟踪与测量。其中最关键的步骤首先是动态背景下对运动目标进行自动检测提取,这涉及到运动目标检测技术。
目前运动目标检测广泛应用于机器人导航、武器制导、交通流量监测、人体运动分析、视频压缩等诸多方面,涉及到计算机视觉、模式识别、统计学、图像理解等诸多研究领域,是图像处理研究领域的热点和难点之一。由于空间绳系机器人的运动特性导致其携带的摄像机存在自主运动,连续获取的前后帧图像存在仿射变换运动效应,使得问题变得更加难以解决,这将对后续的运动目标自动检测极为不利。
对于运动平台上运动目标检测问题,常用的一种方法需要先消除相机自身运动,即将同一场景的不同角度或位置拍摄的图像进行配准,然后检测运动目标。按照配准基元的不同,图像配准算法可以分为以下三类:基于区域的算法、基于特征的算法和基于结构关系的算法。其中,基于特征的算法因具有受几何变形和灰度变化影响小、可匹配特征类型多等优点而备受关注。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出一种空间绳系机器人相机自运动检测与补偿方法,针对空间绳系机器人上搭载的摄像机发生自运动时检测运动目标的问题,提出了一种基于稀疏光流和SURF特征描述的像机自运动检测与消除方法,为动态背景下的运动目标自动检测奠定基础。
技术方案
一种空间绳系机器人相机自运动检测与补偿方法,其特征在于步骤如下:
步骤1:采用金字塔L-K法计算前后两帧图像I1和I2的点集{p1i}和{p2i}中对应各点的光流矢量{Vxi,Vyi},遍历各点光流矢量{Vxi,Vyi},将符合Vxi>5并且Vyi>5的点形成点集{xi,yi};
同时,采用SURF算法分别提取前后两帧图像I1,I2的特征点,得到特征点簇{s1i},{s2i},各点的坐标为{x1i,y1i},{x2i,y2i};
步骤2:比较{x1i,y1i}中各点与{xi,yi}中各点的欧氏距离,将欧氏距离大于5的各点组成为{xt,yt};
步骤3:对位于{xt,yt}处的I1上的特征点簇{s1t}建立64位的SURF特征描述符{d1t},对位于{xt,yt}处的I2上的特征点簇{s2i}建立64位的SURF特征描述符{s2i};
步骤4:计算图像I1的任一特征点s1tm与图像I2中所有特征点{s2i}之间的欧氏距离,如果两个特征点s1tm和s2im之间的欧氏距离最短,则称点s2im是点s1tm的匹配点;
计算图像I2的任一特征点s2tm与图像I1中所有特征点{s1i}之间的欧氏距离,如果两个特征点s2tm和s1im之间的欧氏距离最短,则称点s1im是点s2tm的匹配点;
由此找出所有对应点对{s1m}和{s2m};
步骤5:对匹配好的特征点对{s1m}和{s2m},利用RANSAC算法估计出仿射变换模型A;
步骤6:获得两幅图像之间的仿射变换参数A后,根据仿射变换模型对应关系对其中一幅图像进行仿射变换,从而消除像机运动。
有益效果
本发明提出的一种空间绳系机器人相机自运动检测与补偿方法,计算出前后帧图像中含有运动目标的区域;然后利用SURF算法在不含运动目标的区域进行特征点检测;其次采用的SURF特征描述向量不但具有尺度、旋转不变性,而且还具有较好的区分性,所以新算法可以有效地提高图像配准可靠性和准确性;同时还采用交叉匹配算法进一步降低了误匹配率,使得该算法鲁棒性更强,运动参数求解得更加精确。
附图说明
图1为本发明的算法总流程框图;
图2为两幅图像对应点及估计点示意图。
具体实施方式
现结合实施例、附图对本发明作进一步描述:
建立摄像机的几何成像模型是消除相机自运动的基本前提。通常来说,摄像机几何成像模型可以用中心透视投影模型描述,在摄影测量学和计算机视觉等相关学科中,透视投影模型得到了充分研究,大多数算法都是基于透视投影模型开发的。但是,由于透视投影的非线性,这些算法相对比较复杂,算法数值稳定性较差,这一点在与图像测量相关的领域已经得到共识。
当拍摄过程中摄像机的内参数不发生变化、距离拍摄区域较远时,视场远远大于目标的尺度,不共面的特征物点在远场图像中可以被近似认为是共面的。此时仿射投影模型是透视投影模型的很好近似。事实上,基于仿射投影模型的像机自运动消除算法不仅能取得足够的精度,而且能在很大程度上克服基于透视投影算法的数值不稳定的缺点。
其中基于特征点的配准算法就需要基于如下仿射变换模型来计算出相机的自运动的仿射变换参数:
设x1和x2为同一平面或近似平面场景由不同视点拍摄的两幅图像中的对应两点,(x1,y1,1)、(x2,y2,1)分别为图像像素坐标系中x1和x2两点的齐次坐标。空间同名点在不同视角或不同距离拍摄的图像上,其对应像素坐标之间的变换关系可以用仿射变换模型进行描述,即
其中A称为仿射变换矩阵,{r0,r1,…,r5}为仿射变换参数。由式(1)可以看出,两幅图像中的每个匹配点对建立两个关于仿射变换参数{r0,r1,…,r5}方程,如果得到三对以上的正确匹配点,就可求出仿射变换参数,也即相机自运动参数。
如图1所示,本发明实施例提供的自运动检测与补偿方法包括:
在获取前后帧图像I1,I2后,
第一步:对获取的前后两帧图像I1,I2,其上各点分别组成点集{p1i},{p2i}。采用金字塔L-K法计算{p1i},{p2i}中对应各点的光流矢量{Vxi,Vyi}。将各点处的光流矢量{Vxi,Vyi}与阈值{5,5}进行比较,如果某点Vxi>5并且Vyi>5,则将此点的坐标(x,y)记录并保存,遍历各点后最终形成点集{xi,yi}。
其中关于如何用金字塔L-K法计算出前后帧图像间的稀疏光流场,为本领域公知技术,可参考文献1“Gary Bradski,Adrian Kaebler著,于仕琪,刘瑞祯译。学习OpenCV中文版。北京:清华大学出版社,2009:362-363。”,此处不再赘述。
同时对获取的前后两帧图像I1,I2,采用SURF算法分别提取其中的特征点,分别组成特征点簇{s1i},{s2i},并记录各点的坐标为{x1i,y1i},{x2i,y2i}。
其中关于如何用SURF算法提取特征点,为本领域公知技术,可参考文献2“Bay H,Tuytelaars T,and Gool L V.SURF:Speeded Up Robust Features.The9th EuropeanConference on Computer Vision,Austria,May2006.”和文献3“王永明,王贵锦著。图像局部不变性特征与描述。北京:国防工业出版社,2010。”89-100页,此处不再赘述。
第二步:将步骤一中得到的{x1i,y1i}中各点与{xi,yi}各点进行欧氏距离比较,将{x1i,y1i}中与{xi,yi}中每一点之间欧氏距离都大于5的各点保存记录为{xt,yt}。
第三步:对筛选后的位于{xt,yt}处的I1上的特征点簇{s1t}以及I2上的特征点簇{s2i}分别建立64位的SURF特征描述符{d1t}和{d2i}。
其中如何对筛选后的特征点建立SURF特征描述符,为本领域公知技术,可参考文献2“Bay H,Tuytelaars T,and Gool L V.SURF:Speeded Up Robust Features.The9thEuropean Conference on Computer Vision,Austria,May2006.”和文献3“王永明,王贵锦著。图像局部不变性特征与描述。北京:国防工业出版社,2010。”135-142页,此处不再赘述。
第四步:对{s1t}和{s2i}各点进行交叉匹配。计算图像I1的任一特征点(假设为s1tm)与图像I2中所有特征点{s2i}之间的欧氏距离,如果两个特征点s1tm和s2im之间的欧氏距离最短,则称点s2im是点s1tm的匹配点。首先以图像I1中的各特征点为参考,在第二幅图像中找寻最匹配的点;其次以图像I2中的特征点为参考,在第一幅图像中找寻最匹配的点;如果两幅图像上两个特征点s1tm和s2im互为最匹配点,则认为该点对为匹配点对。对两幅图像所有特征点做以上判断,找出所有对应点对{s1m}和{s2m}。
第五步:对匹配好的特征点对{s1m}和{s2m},利用RANSAC算法估计出仿射变换模型A。
其中关于具体用RANSAC迭代算法进行一致性提纯,求解出大部分匹配特征点对都能满足的仿射模型变换参数,为本领域公知技术,可参考相关文献3“王永明,王贵锦著。图像局部不变性特征与描述。北京:国防工业出版社,2010。”165-166页,此处不再赘述。
第六步:获得两幅图像之间的仿射变换参数A后,根据仿射变换模型对应关系对其中一幅图像进行仿射变换,从而消除像机运动。
Claims (1)
1.一种空间绳系机器人相机自运动检测与补偿方法,其特征在于步骤如下:
步骤1:采用金字塔L-K法计算前后两帧图像I1和I2的点集{p1i}和{p2i}中对应各点的光流矢量{Vxi,Vyi},遍历各点光流矢量{Vxi,Vyi},将符合Vxi>5并且Vyi>5的点形成点集{xi,yi};
同时,采用SURF算法分别提取前后两帧图像I1,I2的特征点,得到特征点簇{s1i},{s2i},各点的坐标为{x1i,y1i},{x2i,y2i};
步骤2:比较{x1i,y1i}中各点与{xi,yi}中各点的欧氏距离,将欧氏距离大于5的各点组成为{xt,yt};
步骤3:对位于{xt,yt}处的I1上的特征点簇{s1t}建立64位的SURF特征描述符{d1t},对位于{xt,yt}处的I2上的特征点簇{s2i}建立64位的SURF特征描述符{s2i};
步骤4:计算图像I1的任一特征点s1tm与图像I2中所有特征点{s2i}之间的欧氏距离,如果两个特征点s1tm和s2im之间的欧氏距离最短,则称点s2im是点s1tm的匹配点;
计算图像I2的任一特征点s2tm与图像I1中所有特征点{s1i}之间的欧氏距离,如果两个特征点s2tm和s1im之间的欧氏距离最短,则称点s1im是点s2tm的匹配点;
由此找出所有对应点对{s1m}和{s2m};
步骤5:对匹配好的特征点对{s1m}和{s2m},利用RANSAC算法估计出仿射变换模型A;
步骤6:获得两幅图像之间的仿射变换参数A后,根据仿射变换模型对应关系对其中一幅图像进行仿射变换,从而消除像机运动。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310013382.7A CN103065329B (zh) | 2013-01-15 | 2013-01-15 | 一种空间绳系机器人相机自运动检测与补偿方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310013382.7A CN103065329B (zh) | 2013-01-15 | 2013-01-15 | 一种空间绳系机器人相机自运动检测与补偿方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103065329A true CN103065329A (zh) | 2013-04-24 |
CN103065329B CN103065329B (zh) | 2015-05-06 |
Family
ID=48107946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310013382.7A Active CN103065329B (zh) | 2013-01-15 | 2013-01-15 | 一种空间绳系机器人相机自运动检测与补偿方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103065329B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105416616A (zh) * | 2015-11-19 | 2016-03-23 | 南京航空航天大学 | 新型空间站舱外巡检维修装置 |
CN106123865A (zh) * | 2016-06-22 | 2016-11-16 | 电子科技大学 | 面向虚拟图像的机器人导航方法 |
CN106548491A (zh) * | 2016-09-30 | 2017-03-29 | 深圳大学 | 一种图像配准方法、其图像融合方法及其装置 |
CN109483192A (zh) * | 2018-11-26 | 2019-03-19 | 北京卫星制造厂有限公司 | 一种基于机器人的空间桁架单元快速装配***及方法 |
CN111815667A (zh) * | 2020-06-23 | 2020-10-23 | 成都信息工程大学 | 一种相机移动条件下高精度检测运动目标的方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3364771B2 (ja) * | 1994-03-09 | 2003-01-08 | 本田技研工業株式会社 | 移動物体検出装置 |
US20040247028A1 (en) * | 2003-06-06 | 2004-12-09 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting improper area for motion compensation in video signal |
CN101350101A (zh) * | 2008-09-09 | 2009-01-21 | 北京航空航天大学 | 多幅深度图像自动配准方法 |
CN102004910A (zh) * | 2010-12-03 | 2011-04-06 | 上海交通大学 | 基于surf特征点图匹配和运动生成模型的视频目标跟踪方法 |
-
2013
- 2013-01-15 CN CN201310013382.7A patent/CN103065329B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3364771B2 (ja) * | 1994-03-09 | 2003-01-08 | 本田技研工業株式会社 | 移動物体検出装置 |
US20040247028A1 (en) * | 2003-06-06 | 2004-12-09 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting improper area for motion compensation in video signal |
CN101350101A (zh) * | 2008-09-09 | 2009-01-21 | 北京航空航天大学 | 多幅深度图像自动配准方法 |
CN102004910A (zh) * | 2010-12-03 | 2011-04-06 | 上海交通大学 | 基于surf特征点图匹配和运动生成模型的视频目标跟踪方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105416616A (zh) * | 2015-11-19 | 2016-03-23 | 南京航空航天大学 | 新型空间站舱外巡检维修装置 |
CN105416616B (zh) * | 2015-11-19 | 2017-08-25 | 南京航空航天大学 | 新型空间站舱外巡检维修装置 |
CN106123865A (zh) * | 2016-06-22 | 2016-11-16 | 电子科技大学 | 面向虚拟图像的机器人导航方法 |
CN106123865B (zh) * | 2016-06-22 | 2019-01-29 | 电子科技大学 | 面向虚拟图像的机器人导航方法 |
CN106548491A (zh) * | 2016-09-30 | 2017-03-29 | 深圳大学 | 一种图像配准方法、其图像融合方法及其装置 |
CN106548491B (zh) * | 2016-09-30 | 2019-09-27 | 深圳大学 | 一种图像配准方法、其图像融合方法及其装置 |
CN109483192A (zh) * | 2018-11-26 | 2019-03-19 | 北京卫星制造厂有限公司 | 一种基于机器人的空间桁架单元快速装配***及方法 |
CN111815667A (zh) * | 2020-06-23 | 2020-10-23 | 成都信息工程大学 | 一种相机移动条件下高精度检测运动目标的方法 |
CN111815667B (zh) * | 2020-06-23 | 2022-06-17 | 成都信息工程大学 | 一种相机移动条件下高精度检测运动目标的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103065329B (zh) | 2015-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110349250B (zh) | 一种基于rgbd相机的室内动态场景的三维重建方法 | |
CN108168539B (zh) | 一种基于计算机视觉的盲人导航方法、装置及*** | |
Geiger et al. | Are we ready for autonomous driving? the kitti vision benchmark suite | |
CN107610175A (zh) | 基于半直接法和滑动窗口优化的单目视觉slam算法 | |
CN103198477B (zh) | 一种采用苹果套袋机器人进行视觉定位的方法 | |
CN103065329B (zh) | 一种空间绳系机器人相机自运动检测与补偿方法 | |
CN105184274B (zh) | 一种基于深度图像获取客流速度和密度参数的方法 | |
CN102800126A (zh) | 基于多模态融合的实时人体三维姿态恢复的方法 | |
CN104408725A (zh) | 一种基于tld优化算法的目标重捕获***及方法 | |
CN113223045B (zh) | 基于动态物体语义分割的视觉与imu传感器融合定位*** | |
CN103997624A (zh) | 重叠域双摄像头目标跟踪***及方法 | |
CN104331901A (zh) | 一种基于tld的多视角目标跟踪装置及方法 | |
CN103745483A (zh) | 一种基于球场比赛视频图像的移动目标位置自动检测方法 | |
CN105160703A (zh) | 一种使用时域视觉传感器的光流计算方法 | |
CN104517095A (zh) | 一种基于深度图像的人头分割方法 | |
CN102075686A (zh) | 一种鲁棒的实时在线摄像机跟踪方法 | |
CN106875419A (zh) | 基于ncc匹配帧差的弱小动目标跟踪丢失重检方法 | |
CN103729620B (zh) | 一种基于多视角贝叶斯网络的多视角行人检测方法 | |
Wang | Research of vehicle speed detection algorithm in video surveillance | |
CN105303518A (zh) | 一种基于区域特征的视频帧间拼接方法 | |
CN108416798A (zh) | 一种基于光流的车辆距离估计方法 | |
CN111709982B (zh) | 一种动态环境三维重建方法 | |
CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
CN115375733A (zh) | 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法 | |
CN103700106A (zh) | 一种基于分布式摄像机的多视角运动目标统计与定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |