CN106652026A - 基于多传感器融合的三维空间自动标定的方法 - Google Patents
基于多传感器融合的三维空间自动标定的方法 Download PDFInfo
- Publication number
- CN106652026A CN106652026A CN201611206307.2A CN201611206307A CN106652026A CN 106652026 A CN106652026 A CN 106652026A CN 201611206307 A CN201611206307 A CN 201611206307A CN 106652026 A CN106652026 A CN 106652026A
- Authority
- CN
- China
- Prior art keywords
- dimensions
- sensor fusion
- kinect
- automatic calibration
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了基于多传感器融合的三维空间自动标定的方法，包括：步骤1，在移动平台上安装有一根支架，在所述支架上安装一个Kinect设备和多个网络摄像头；步骤2，使用Kinect设备的深度图像序列对三维空间进行标定；步骤3，对所述Kinect设备的深度图像和可见光图像进行匹配处理，并利用所述步骤2中的三维空间标定结果实现基于Kinect可见光图像的三维空间标定；步骤4，使用Kinect可见光图像标定的结果和图像匹配算法对所述网络摄像头进行标定；步骤5，使用标定好的所述网络摄像头对三维空间进行标定，即三维空间建模与重建。该方法克服现有技术中在对三维空间进行标定时，标定不准确，而且操作繁琐的问题。
Description
技术领域
本发明涉及三维空间标定领域，具体地，涉及基于多传感器融合的三维空间自动标定的方法。
背景技术
在机器人SLAM技术及应用过程中，机器人需要对其所处的三维环境空间进行重建，而这项工作主要需要依靠机器人的视觉***，即机器人上安装的若干个摄像头。在大多数三维空间重建工作中，需要提前对所使用的摄像头进行标定，即在某一特定PTZ状态下计算摄像头的参数矩阵，这些工作通常需要人工干预、需要使用棋盘格之类的已知目标辅助，因此，现有技术中在对三维空间进行标定时，标定不准确，而且操作繁琐。
为此，提供一种在使用过程中，可以对任意PTZ状态下的三维全空间进行自动标定，而且标定结果准确，操作方便的基于多传感器融合的三维空间自动标定的方法是本发明亟需解决的问题。
发明内容
针对上述技术问题，本发明的目的是克服现有技术中在对三维空间进行标定时，标定不准确，而且操作繁琐的问题，从而提供一种在使用过程中，可以对三维空间进行自动标定，而且标定结果准确，操作方便的基于多传感器融合的三维空间自动标定的方法。
为了实现上述目的，本发明提供了一种基于多传感器融合的三维空间自动标定的方法，所述方法包括：步骤1，在移动平台上安装有一根支架，在所述支架上安装一个Kinect设备和多个网络摄像头；步骤2，使用Kinect设备的深度图像序列对三维空间进行标定；步骤3，对所述Kinect设备的深度图像和可见光图像进行匹配处理，并利用所述步骤2中的三维空间标定结果实现基于Kinect可见光图像的三维空间标定；步骤4，使用Kinect可见光图像标定的结果和图像匹配算法对所述网络摄像头进行标定；步骤5，使用标定好的所述网络摄像头对三维空间进行标定，即三维空间建模与重建。
优选地，所述步骤3中的匹配处理采用变换矩阵计算和误差最小化方法进行处理。
优选地，所述步骤4所述图像匹配算法为基于特征匹配的算法。
优选地，所述图像匹配算法中的特征匹配基元包括点、线、区域。
优选地，所述图像匹配算法使用SIFT特征匹配算法。
优选地，所述支架上安装两个所述网络摄像头。
根据上述技术方案，本发明提供的基于多传感器融合的三维空间自动标定的方法通过所述Kinect设备的深度图像序列对三维空间进行标定，然后将所述Kinect设备的深度图像和可见光图像进行匹配处理，并实现基于Kinect可见光图像的三维空间标定，再使用图像匹配算法对所述网络摄像头进行标定，最后使用标定好的所述网络摄像头对三维空间进行标定。本发明提供的基于多传感器融合的三维空间自动标定的方法克服现有技术中在对三维空间进行标定时，标定不准确，而且操作繁琐的问题。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本发明在一种优选实施方式下基于多传感器融合的三维空间自动标定的方法的流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1，本发明提供了一种基于多传感器融合的三维空间自动标定的方法，其特征在于，所述方法包括：步骤1，在移动平台上安装有一根支架，在所述支架上安装一个Kinect设备和多个网络摄像头；步骤2，使用Kinect设备的深度图像序列对近距离、小范围的三维空间进行标定；步骤3，对所述Kinect设备的深度图像和可见光图像进行匹配处理，并利用所述步骤2中的三维空间标定结果实现基于Kinect可见光图像的大范围三维空间标定；步骤4，使用Kinect可见光图像标定的结果和图像匹配算法对所述网络摄像头进行不同PTZ参数下的全空间标定，同时在多摄像头之间进行标定以形成双目摄像头的特性；步骤5，使用标定好的所述网络摄像头对当前视场进行空间标定，即三维空间建模与重建。
根据上述技术方案，本发明提供的基于多传感器融合的三维空间自动标定的方法通过所述Kinect设备的深度图像序列对近距离、小范围的三维空间进行标定，然后将所述Kinect设备的深度图像和可见光图像进行匹配处理，并实现基于Kinect可见光图像的大范围三维空间标定，再使用图像匹配算法对所述网络摄像头进行不同PTZ参数下的全空间标定，同时在多摄像头之间进行标定以形成双目摄像头的特性，最后使用标定好的所述网络摄像头对当前视场进行空间标定。本发明提供的基于多传感器融合的三维空间自动标定的方法克服现有技术中在对三维空间进行标定时，标定不准确，而且操作繁琐的问题。
本发明中对于所述步骤3中的匹配处理，因Kinect上的传感器之间相对位置固定，而采用变换矩阵计算和误差最小化方法进行逼近。具体包括：对图像进行分割、目标匹配、坐标变换，并依靠误差最小化来对上述过程进行不断迭代。
本发明中对于所述步骤4中的图像匹配算法可以采用相关匹配算法，但是为了使得对所述网络摄像头能进行不同PTZ参数下的全空间标定，且结果更加的准确，操作更加的方便，在本发明的一种优选地实施方式中，所述图像匹配算法为基于特征匹配的算法。
在本发明的一种优选地实施方式中，所述图像匹配算法中的特征匹配基元包括点、线、区域，使用时，对比所述图像中的点、线、区域的特征，而且将所述图像进行对比匹配，再将匹配的结果和使用Kinect可见光图像标定的结果相结合来对所述网络摄像头进行标定。之后再对不同PTZ参数下的视场进行扩展与匹配，以完成对全空间的标定。最后，对机器人上所安装的网络摄像头之间进行标定，以形成多目摄像头的特性，供后续工作中使用。
本发明中对于所述支架上安装的网络摄像头的数量不作具体地限定，但是为了使得所述网络摄像头能够有效地对三维空间进行标定，在本发明的一种优选地实施方式中，所述支架上安装两个所述网络摄像头。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。
Claims (6)
1.一种基于多传感器融合的三维空间自动标定的方法，其特征在于，所述方法包括：
步骤1，在移动平台上安装有一根支架，在所述支架上安装一个Kinect设备和多个网络摄像头；
步骤2，使用Kinect设备的深度图像序列对三维空间进行标定；
步骤3，对所述Kinect设备的深度图像和可见光图像进行匹配处理，并利用所述步骤2中的三维空间标定结果实现基于Kinect可见光图像的三维空间标定；
步骤4，使用Kinect可见光图像标定的结果和图像匹配算法对所述网络摄像头进行标定；
步骤5，使用标定好的所述网络摄像头对当前视场进行空间标定，即三维空间建模与重建。
2.根据权利要求1所述的基于多传感器融合的三维空间自动标定的方法，其特征在于，所述步骤3中的匹配处理采用变换矩阵计算和误差最小化方法进行处理。
3.根据权利要求1所述的基于多传感器融合的三维空间自动标定的方法，其特征在于，所述步骤4中的所述图像匹配算法为基于特征匹配的算法。
4.根据权利要求3所述的基于多传感器融合的三维空间自动标定的方法，其特征在于，所述图像匹配算法中的特征匹配基元包括点、线、区域。
5.根据权利要求4所述的基于多传感器融合的三维空间自动标定的方法，其特征在于，所述图像匹配算法使用SIFT特征匹配算法。
6.根据权利要求1所述的基于多传感器融合的三维空间自动标定的方法，其特征在于，所述支架上安装两个所述网络摄像头。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611206307.2A CN106652026A (zh) | 2016-12-23 | 2016-12-23 | 基于多传感器融合的三维空间自动标定的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611206307.2A CN106652026A (zh) | 2016-12-23 | 2016-12-23 | 基于多传感器融合的三维空间自动标定的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106652026A true CN106652026A (zh) | 2017-05-10 |
Family
ID=58827225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611206307.2A Pending CN106652026A (zh) | 2016-12-23 | 2016-12-23 | 基于多传感器融合的三维空间自动标定的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106652026A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108838998A (zh) * | 2018-07-25 | 2018-11-20 | 安徽信息工程学院 | 新型机器人数据采集层结构 |
| CN108965812A (zh) * | 2018-07-25 | 2018-12-07 | 安徽信息工程学院 | 机器人全景数据采集层结构 |
| CN108983790A (zh) * | 2018-08-24 | 2018-12-11 | 安徽信息工程学院 | 基于视觉的自主定位机器人 |
| CN109015755A (zh) * | 2018-08-24 | 2018-12-18 | 安徽信息工程学院 | 基于Kinect的木制机器人 |
| CN109015588A (zh) * | 2018-07-25 | 2018-12-18 | 安徽信息工程学院 | 减震木质机器人 |
| CN109079855A (zh) * | 2018-07-25 | 2018-12-25 | 安徽信息工程学院 | 机器人数据采集层 |
| CN109079815A (zh) * | 2018-08-24 | 2018-12-25 | 安徽信息工程学院 | 基于视觉的智能机器人 |
| CN109079737A (zh) * | 2018-07-25 | 2018-12-25 | 安徽信息工程学院 | 机器人 |
| CN109108932A (zh) * | 2018-07-25 | 2019-01-01 | 安徽信息工程学院 | 木质机器人 |
| CN109129396A (zh) * | 2018-08-24 | 2019-01-04 | 安徽信息工程学院 | 基于视觉的木制机器人 |
| CN109129391A (zh) * | 2018-07-25 | 2019-01-04 | 安徽信息工程学院 | 可升降木质机器人 |
| CN109164800A (zh) * | 2018-07-25 | 2019-01-08 | 安徽信息工程学院 | 高效机器人数据采集层 |
| CN109176605A (zh) * | 2018-07-25 | 2019-01-11 | 安徽信息工程学院 | 机器人数据采集层结构 |
| CN109176539A (zh) * | 2018-08-24 | 2019-01-11 | 安徽信息工程学院 | 基于Kinect的自主定位机器人 |
| CN109764824A (zh) * | 2018-12-19 | 2019-05-17 | 武汉西山艺创文化有限公司 | 一种基于可拆卸套件的便携式三维模型扫描方法和装置 |
| CN109839827A (zh) * | 2018-12-26 | 2019-06-04 | 哈尔滨拓博科技有限公司 | 一种基于全空间位置信息的手势识别智能家居控制*** |
| CN110458897A (zh) * | 2019-08-13 | 2019-11-15 | 北京积加科技有限公司 | 多摄像头自动标定方法及***、监控方法及*** |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794448A (zh) * | 2010-04-07 | 2010-08-04 | 上海交通大学 | 主从摄像机***的全自动标定方法 |
| CN102638653A (zh) * | 2012-03-01 | 2012-08-15 | 北京航空航天大学 | 一种基于Kinect的自动面部追踪方法 |
| WO2013127418A1 (en) * | 2012-02-27 | 2013-09-06 | Eth Zurich | Method and system for image processing in video conferencing for gaze correction |
| CN103646394A (zh) * | 2013-11-26 | 2014-03-19 | 福州大学 | 一种基于Kinect摄像机的混合视觉***标定方法 |
| CN103824278A (zh) * | 2013-12-10 | 2014-05-28 | 清华大学 | 监控摄像机的标定方法和*** |
| CN104134188A (zh) * | 2014-07-29 | 2014-11-05 | 湖南大学 | 一种基于二维和三维摄像机融合的三维视觉信息获取方法 |
| CN104126989A (zh) * | 2014-07-30 | 2014-11-05 | 福州大学 | 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法 |
| CN105678734A (zh) * | 2014-11-21 | 2016-06-15 | 中国科学院沈阳自动化研究所 | 一种图像匹配***的异源测试图像标定方法 |
| CN105913489A (zh) * | 2016-04-19 | 2016-08-31 | 东北大学 | 一种利用平面特征的室内三维场景重构方法 |
-
2016
- 2016-12-23 CN CN201611206307.2A patent/CN106652026A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794448A (zh) * | 2010-04-07 | 2010-08-04 | 上海交通大学 | 主从摄像机***的全自动标定方法 |
| WO2013127418A1 (en) * | 2012-02-27 | 2013-09-06 | Eth Zurich | Method and system for image processing in video conferencing for gaze correction |
| CN102638653A (zh) * | 2012-03-01 | 2012-08-15 | 北京航空航天大学 | 一种基于Kinect的自动面部追踪方法 |
| CN103646394A (zh) * | 2013-11-26 | 2014-03-19 | 福州大学 | 一种基于Kinect摄像机的混合视觉***标定方法 |
| CN103824278A (zh) * | 2013-12-10 | 2014-05-28 | 清华大学 | 监控摄像机的标定方法和*** |
| CN104134188A (zh) * | 2014-07-29 | 2014-11-05 | 湖南大学 | 一种基于二维和三维摄像机融合的三维视觉信息获取方法 |
| CN104126989A (zh) * | 2014-07-30 | 2014-11-05 | 福州大学 | 一种基于多台rgb-d摄像机下的足部表面三维信息获取方法 |
| CN105678734A (zh) * | 2014-11-21 | 2016-06-15 | 中国科学院沈阳自动化研究所 | 一种图像匹配***的异源测试图像标定方法 |
| CN105913489A (zh) * | 2016-04-19 | 2016-08-31 | 东北大学 | 一种利用平面特征的室内三维场景重构方法 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109108932A (zh) * | 2018-07-25 | 2019-01-01 | 安徽信息工程学院 | 木质机器人 |
| CN109164800A (zh) * | 2018-07-25 | 2019-01-08 | 安徽信息工程学院 | 高效机器人数据采集层 |
| CN108838998A (zh) * | 2018-07-25 | 2018-11-20 | 安徽信息工程学院 | 新型机器人数据采集层结构 |
| CN108965812A (zh) * | 2018-07-25 | 2018-12-07 | 安徽信息工程学院 | 机器人全景数据采集层结构 |
| CN109015588A (zh) * | 2018-07-25 | 2018-12-18 | 安徽信息工程学院 | 减震木质机器人 |
| CN109079855A (zh) * | 2018-07-25 | 2018-12-25 | 安徽信息工程学院 | 机器人数据采集层 |
| CN109176605A (zh) * | 2018-07-25 | 2019-01-11 | 安徽信息工程学院 | 机器人数据采集层结构 |
| CN109079737A (zh) * | 2018-07-25 | 2018-12-25 | 安徽信息工程学院 | 机器人 |
| CN109129391A (zh) * | 2018-07-25 | 2019-01-04 | 安徽信息工程学院 | 可升降木质机器人 |
| CN109176539A (zh) * | 2018-08-24 | 2019-01-11 | 安徽信息工程学院 | 基于Kinect的自主定位机器人 |
| CN108983790A (zh) * | 2018-08-24 | 2018-12-11 | 安徽信息工程学院 | 基于视觉的自主定位机器人 |
| CN109079815A (zh) * | 2018-08-24 | 2018-12-25 | 安徽信息工程学院 | 基于视觉的智能机器人 |
| CN109015755A (zh) * | 2018-08-24 | 2018-12-18 | 安徽信息工程学院 | 基于Kinect的木制机器人 |
| CN109129396A (zh) * | 2018-08-24 | 2019-01-04 | 安徽信息工程学院 | 基于视觉的木制机器人 |
| CN109764824A (zh) * | 2018-12-19 | 2019-05-17 | 武汉西山艺创文化有限公司 | 一种基于可拆卸套件的便携式三维模型扫描方法和装置 |
| CN109839827B (zh) * | 2018-12-26 | 2021-11-30 | 哈尔滨拓博科技有限公司 | 一种基于全空间位置信息的手势识别智能家居控制*** |
| CN109839827A (zh) * | 2018-12-26 | 2019-06-04 | 哈尔滨拓博科技有限公司 | 一种基于全空间位置信息的手势识别智能家居控制*** |
| CN110458897A (zh) * | 2019-08-13 | 2019-11-15 | 北京积加科技有限公司 | 多摄像头自动标定方法及***、监控方法及*** |
| CN110458897B (zh) * | 2019-08-13 | 2020-12-01 | 北京积加科技有限公司 | 多摄像头自动标定方法及***、监控方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106652026A (zh) | 基于多传感器融合的三维空间自动标定的方法 | |
| CN107590835B (zh) | 一种核环境下机械臂工具快换视觉定位***与定位方法 | |
| CN104748683B (zh) | 一种数控机床工件在线自动测量装置及测量方法 | |
| KR101054736B1 (ko) | 3차원 물체 인식 및 자세 추정 방법 | |
| JP7343624B2 (ja) | レーザー切削縁部を評価するための方法、移動端末機器およびシステム | |
| US20140081459A1 (en) | Depth mapping vision system with 2d optical pattern for robotic applications | |
| CN105758426A (zh) | 移动机器人的多传感器的联合标定方法 | |
| CN103578109A (zh) | 一种监控摄像机测距方法及装置 | |
| CN106908064B (zh) | 一种基于Kinect2传感器的室内夜间视觉导航方法 | |
| CN105894511B (zh) | 标定靶设置方法、装置及停车辅助*** | |
| CN112785655A (zh) | 一种基于车道线检测的环视相机外参自动标定方法、装置、设备及计算机存储介质 | |
| CN207522229U (zh) | Cnc视觉定位*** | |
| JP2005201861A (ja) | ３次元視覚センサ | |
| CN112967344B (zh) | 相机外参标定的方法、设备、存储介质及程序产品 | |
| CN111345029A (zh) | 一种目标追踪方法、装置、可移动平台及存储介质 | |
| Jun | 3D modelling of small object based on the projector‐camera system | |
| CN112096454A (zh) | 隧道衬砌裂缝修复装置 | |
| CN109143167B (zh) | 一种障碍信息获取装置及方法 | |
| CN103994779A (zh) | 基于三维激光点云的全景相机标定方法 | |
| CN104123726B (zh) | 基于消隐点的大锻件测量***标定方法 | |
| CN109712197B (zh) | 一种机场跑道网格化标定方法及*** | |
| CN108981719B (zh) | 一种超高速飞行模型位姿变化测量装置及方法 | |
| CN116934871B (zh) | 一种基于标定物的多目***标定方法、***及存储介质 | |
| KR102064149B1 (ko) | 용접비드 비전 검사 장치 및 3d 캘리브레이션 방법 | |
| CN104537627A (zh) | 一种深度图像的后处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |