CN103996181B - 一种基于仿生双眼的大视场图像拼接***和方法 - Google Patents

一种基于仿生双眼的大视场图像拼接***和方法 Download PDF

Info

Publication number
CN103996181B
CN103996181B CN201410196649.5A CN201410196649A CN103996181B CN 103996181 B CN103996181 B CN 103996181B CN 201410196649 A CN201410196649 A CN 201410196649A CN 103996181 B CN103996181 B CN 103996181B
Authority
CN
China
Prior art keywords
image
devkit
carma
definition
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410196649.5A
Other languages
English (en)
Other versions
CN103996181A (zh
Inventor
罗均
刘恒利
李恒宇
赵重阳
谢少荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinghai Intelligent Equipment Co ltd
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN201410196649.5A priority Critical patent/CN103996181B/zh
Publication of CN103996181A publication Critical patent/CN103996181A/zh
Application granted granted Critical
Publication of CN103996181B publication Critical patent/CN103996181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Toys (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于仿生双眼的大视场图像拼接***和方法。包括高清摄像机，连接到机载快速处理器SECO CARMA DevKit；通过Zeroconf技术和机器人操作***ROS（Robot Operating System）将机载快速处理器SECO CARMA DevKit和高性能计算机组成分布式计算网络；高清摄像机摄入高清图像后，通过USB接口将图像传入到机载快速处理器SECO CARMA DevKit，对高清图像进行特征点提取，然后高性能计算机对图像匹配拼接。本发明的方法是将高性能计算机和图像快速处理器CARMA DevKit组建成分布式计算网络创建不同的节点，首先利用机载嵌入式CARMA DevKit进行特征点提取，然后在主机上完成图像拼接。本发明的实施例主要用于图像中的大视场拼接，特别是在移动机器人中的大视场环境感知。

Description

一种基于仿生双眼的大视场图像拼接***和方法
技术领域
本发明公开了一种基于仿生双眼的大视场图像拼接***和方法，涉及机器人视觉，特征点提取技术和CUDA并行计算领域。
背景技术
机器人视觉是感知周围环境最高效的手段，对移动机器人导航起着至关重要的作用。实时的、大视野的图像信息对于地面移动机器人的导航操作具有非常重要的意义。
图像拼接是指将多幅来自同一场景的具有一定重叠区域的小尺寸图像合成为一幅大尺寸，具有大视角的图像。图像拼接可以突破镜头拍摄角度的局限性，扩大视场，被广泛应用于遥感图像处理、医学图像分析、绘图学、计算机视觉、视频监控、虚拟现实，超分辨率重构和机器人导航等领域。目前由于图像拼接过程中涉及的数据量大、计算密集，因此许多串行处理方法在实际应用中都难以满足实时性要求。
目前，在机载平台上直接运算复杂的图像算法，此时机载平台需要搭载专属的FPGA或DSP硬件，并将算法固化在相关的硬件上，并进行相关的优化，降低经济性；或移动机器人机载平台的图像伺服***中，则将图像信息通过网络传递到上位服务器机器进行处理，对处理的上位服务器要求高。
机载平台上作图像处理的分辨率大多数是640×480，对于高清图像无法进行实时处理。由于计算量大，数据多，在移动机器人机载平台上搭载的工业控制计算机无法满足直接作图像拼接的计算。图像拼接过程主要分为图像获取、图像匹配和图像融合3个步骤，其中最核心的技术就是图像匹配。图像匹配的关键是精确确定两幅图像中重叠部分的位置，从而得到两张图像的变换关系。图像拼接有基于特征点的图像匹配算法，该过程特征点的提取计算复杂度较大，可采用GPU并行化加速。
2010年3月，Willow Garage（http://www.willowgarage.com/）公司发布机器人操作***Robot Operating System（ROS）。 机器人操作***ROS提供各种库和工具帮助软件开发者开发机器人应用，包括硬件抽象层，硬件驱动，虚拟化工具，消息传递，软件包管理。同时，嵌入式硬件方案提供商SECO(稀科)公司联合英伟达（NVIDIA）公司发布一款面向研究人员的嵌入式GPGPU平台解决方案产品CARMA DevKit，利用显卡并行计算技术提高运算的速度，组建成移动式高性能计算平台。
发明内容
为了克服上述现有技术的不足，本发明提供了一种基于仿生双眼的大视场图像拼接***和方法，解决了现有高清实时图像拼接处理速度慢或需要专属硬件设备的问题。
为了达到上述目的，本发明的构思是：首先由图像输入***采集高清的图像；然后将图像传送到SECO CARMA DevKit嵌入式CUDA软硬件平台对实时采集的高清图像进行实时特征点检测，然后将计算结果返回给上位机进行图像拼接的最后处理。
本发明的基于仿生双眼的大视场图像拼接***包括：
（1）高清图像输入，ARTAM-1400MI-USB3高清摄像机通过USB接口传入到处理器上；
（2）快速图像处理***：通过SECO CARMA DevKit嵌入式CUDA软硬件平台并行计算技术，对实时采集的高清图像进行实时图像特这点检测。
（3）上位机订阅SECO CARMA DevKit嵌入式CUDA软硬件并行计算平台的计算结果，进行最后的图像匹配和融合。
根据上述发明构思，本发明采用下述技术方案：
一种基于仿生双眼的大视场图像拼接***，包括所述两台高清摄像机，其特征在于：所述的两台高清摄像机分别连接到对应的图像快速处理器CARMA DevKit；所述的图像快速处理器CARMA DevKit通过网络连接到一个交换机；所述的交换机连接到一个主控机和一个DSP处理器。
一种基于仿生双眼的大视场图像拼接方法，采用上述的基于仿生双眼的大视场图像拼接***进行图像拼接，其特征在于，拼接步骤如下：
步骤①：将主控机设定为机器人操作***ROS的主机MASTER，由CARMA DevKit创建图像获取节点，由高清摄像机获取高清图像通过USB接口实时传入图像快速处理器CARMADevKit；
步骤②：由CARMA DevKit利用机器人操作***ROS分布式计算特点创建SURF算法节点对所获图像进行特征点提取；
步骤③：由利用CARMA DevKit的计算节点将特征点描述的数据发布到主控机的匹配节点进行特征点最佳匹配。
步骤④：主控机的匹配节点计算的特征点最佳匹配结果发布到仿射拼接计算节点进行仿射计算后，将左右摄像头的数据拼接为一幅图像。
所述的基于仿生双眼的大视场图像拼接方法，其特征在于，所述步骤①的图像获取的具体步骤如下：
步骤1-1：利用Zeroconf技术将主控机和两个CARMA DevKit互联为网络节点，再将主控机设为机器人操作***ROS分布式操作***的MASTER。
步骤1-2：用机器人操作***ROS***中集成的摄像头操作包uvc_camera创建摄像头打开节点，并将图像数据发布。
所述的基于仿生双眼的大视场图像拼接方法，其特征在于，所述步骤②的图像特征点检测的具体步骤如下：
步骤2-1：在CARMA DevKit中安装机器人操作***ROS，并将CARMA DevKit通过Zeroconf连接到主控机。
步骤2-2：利用ROS***中集成的OpenCV图像处理库，创建分布式SURF算法节点，对所获图像进行特征点提取，将计算结果发布到主机的匹配节点。
所述的基于仿生双眼的大视场图像拼接方法，其特征在于，所述步骤③的图像特征点匹配的具体步骤如下：
步骤3-1：在主控机中安装机器人操作***ROS，利用Zeroconf技术将主控机设为机器人操作***ROS整个分布式计算的MASTER。
步骤3-2：创建最佳匹配节点，订阅SURF算法节点发布的图像特征点提取的特征点描述信息并进行特征点最佳匹配。
所述的基于仿生双眼的大视场图像拼接方法，其特征在于，所述步骤④的图像仿射拼接的具体步骤如下：
步骤4-1：在主控机创建图像仿射拼接节点，订阅最佳匹配节点发布的特征点最佳匹配的信息和订阅CARMA DevKit图像获取节点发布的图像数据。
步骤4-2：将左右两幅图像根据特征点最佳匹配的信息找到单应矩阵后，进行仿射变换后拼接成一幅图像，并进行数据融合。
本发明与现有技术相比，具有如下显而易见的突出实质性特点和显著优点：本发明在机载平台上能够对输入的高清图像快速地检测出图像中的特征点。这样就不需要机载的专属的图像处理硬件和优化的硬件算法，并快速的将图像特征点检测和图像匹配***部署到移动机器人平台上。
附图说明
图1为本发明的***的硬件框图。
图2为本发明的***的方法流程图。
图3为图像拼接效果图。
具体实施方式
下面结合附图对本发明的优选实施例进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例。
实施例一：
参见图1，本基于仿生双眼的大视场图像拼接***，包括两个高清摄像机1、2，其特征在于：分别连接到对应的两个图像快速处理器CARMA DevKit 3、4（嵌入式硬件方案提供商SECO稀科公司联合英伟达（NVIDIA）公司发布一款面向研究人员的嵌入式GPGPU平台解决方案产品CARMA DevKit，利用显卡并行计算技术提高运算的速度，组建成移动式高性能计算平台）；所述的两个图像快速处理器CARMA DevKit 3、4通过网络连接到一个交换机5；所述的交换机5连接到一个主控机6和一个DSP 7处理器。两个高清摄像机1、2选用日本ARTRAY公司的ARTAM-1400MI-USB3 1400万USB3工业相机；两个图像快速处理器CARMA DevKit 3、4由美国西科（SECO）公司生产，主要用于嵌入式CUDA计算；交换机5 型号是普联公司TP-LINKTL-SF1008+ 8口百兆交换机；主控机6 型号为HP 8470w移动工作站，DSP 7处理器选用TMS320F2812 DSP2812开发板。
实施例二：
参见图1，图2和图3，本基于仿生双眼的大视场图像拼接方法，采用上述***进行图像拼接，拼接步骤如下：
步骤①：将主控机设定为机器人操作***ROS（2010年3月，Willow Garage公司发布机器人操作***Robot Operating System，简称ROS。机器人操作***ROS提供各种库和工具帮助软件开发者开发机器人应用，包括硬件抽象层，硬件驱动，虚拟化工具，消息传递，软件包管理）的主机MASTER，由CARMA DevKit创建图像获取节点，由高清摄像机获取高清图像通过USB接口实时传入图像快速处理器CARMA DevKit；
步骤②：由CARMA DevKit利用机器人操作***ROS分布式计算特点创建SURF算法节点对所获图像进行特征点提取；
步骤③：由利用CARMA DevKit的计算节点将特征点描述的数据发布到主控机的匹配节点进行特征点最佳匹配。
步骤④：主控机的匹配节点计算的特征点最佳匹配结果发布到仿射拼接计算节点进行仿射计算后，将左右摄像头的数据拼接为一幅图像。
实施例三：
本实施例与实施例二基本相同，特别之处在于，所述步骤①的图像获取的具体步骤如下：
步骤1-1：利用Zeroconf技术将主控机和两个CARMA DevKit互联为网络节点，再将主控机设为机器人操作***ROS分布式操作***的MASTER。
步骤1-2：用机器人操作***ROS***中集成的摄像头操作包uvc_camera创建摄像头打开节点，并将图像数据发布。
所述步骤②的图像特征点检测的具体步骤如下：
步骤2-1：在CARMA DevKit中安装机器人操作***ROS，并将CARMA DevKit通过Zeroconf连接到主控机。
步骤2-2：利用ROS***中集成的OpenCV图像处理库，创建分布式SURF算法节点，对所获图像进行特征点提取，将计算结果发布到主机的匹配节点。
所述步骤③的图像特征点匹配的具体步骤如下：
步骤3-1：在主控机中安装机器人操作***ROS，利用Zeroconf技术将主控机设为机器人操作***ROS整个分布式计算的MASTER。
步骤3-2：创建最佳匹配节点，订阅SURF算法节点发布的图像特征点提取的特征点描述信息并进行特征点最佳匹配。
所述步骤④的图像仿射拼接的具体步骤如下：
步骤4-1：在主控机创建图像仿射拼接节点，订阅最佳匹配节点发布的特征点最佳匹配的信息和订阅CARMA DevKit图像获取节点发布的图像数据。
步骤4-2：将左右两幅图像根据特征点最佳匹配的信息找到单应矩阵后，进行仿射变换后拼接成一幅图像，并进行数据融合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围不仅局限于此，任何熟悉本领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化和替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应为所述以权利要求的保护范围为准。

Claims (5)

1.一种基于仿生双眼的大视场图像拼接方法，采用基于仿生双眼的大视场图像拼接***进行图像拼接，该***包括两台高清摄像机，两台高清摄像机分别连接到对应的图像快速处理器CARMA DevKit(3、4)；所述的图像快速处理器CARMA DevKit(3、4)通过网络连接到一个交换机(5)；所述的交换机(5)连接到一个主控机和一个DSP(7)处理器；其特征在于，拼接步骤如下：
步骤①：将主控机设定为机器人操作***ROS的主机MASTER，由CARMA DevKit(3、4)创建图像获取节点，由左右两台高清摄像机获取高清图像通过USB接口实时传入图像快速处理器CARMA DevKit(3、4)；
步骤②：由CARMA DevKit(3、4)利用机器人操作***ROS分布式计算特点创建SURF算法节点对所获高清图像进行高清图像特征点检测；
步骤③：由利用由CARMA DevKit(3、4)利用机器人操作***ROS分布式计算特点创建SURF算法节点将特征点描述的数据发布到主控机的匹配节点(10)进行高清图像特征点最佳匹配；
步骤④：主控机的匹配节点(10)计算的特征点最佳匹配结果发布到仿射拼接计算节点进行仿射计算后，将左右两台高清摄像机的高清图像仿射拼接为一幅图像。
2.根据权利要求1所述的基于仿生双眼的大视场图像拼接方法，其特征在于，所述步骤①的获取高清图像的具体步骤如下：
步骤1-1：利用Zeroconf技术将主控机和两个CARMA DevKit(3、4)互联为网络节点，再将主控机设为机器人操作***ROS分布式操作***的MASTER；
步骤1-2：用机器人操作***ROS分布式操作***中集成的摄像头操作包uvc_camera创建摄像头打开节点，并将高清图像数据发布。
3.根据权利要求1所述的基于仿生双眼的大视场图像拼接方法，其特征在于，所述步骤②的高清图像特征点检测的具体步骤如下：
步骤2-1：在CARMA DevKit(3、4)中安装机器人操作***ROS分布式操作***，并将CARMA DevKit(3、4)通过Zeroconf技术连接到主控机；
步骤2-2：利用机器人操作***ROS分布式操作***中集成的OpenCV图像处理库，创建SURF算法节点，对所获高清图像进行特征点提取，将计算结果发布到主控机的匹配节点(10)。
4.根据权利要求1所述的基于仿生双眼的大视场图像拼接方法，其特征在于，所述步骤③的高清图像特征点最佳匹配的具体步骤如下：
步骤3-1：在主控机中安装机器人操作***ROS，利用Zeroconf技术将主控机设为机器人操作***ROS整个分布式计算的MASTER；
步骤3-2：创建匹配节点(10)，订阅SURF算法节点发布的高清图像特征点提取的特征点描述信息并进行特征点最佳匹配。
5.根据权利要求1所述的基于仿生双眼的大视场图像拼接方法，其特征在于，所述步骤④的高清图像仿射拼接的具体步骤如下：
步骤4-1：在主控机创建仿射拼接计算节点，订阅匹配节点(10)发布的特征点最佳匹配的信息和订阅CARMA DevKit(3、4)图像获取节点发布的高清图像数据；
步骤4-2：将左右两幅高清图像根据特征点最佳匹配的信息找到单应矩阵后，进行仿射变换后拼接成一幅图像，并进行数据融合。
CN201410196649.5A 2014-05-12 2014-05-12 一种基于仿生双眼的大视场图像拼接***和方法 Active CN103996181B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410196649.5A CN103996181B (zh) 2014-05-12 2014-05-12 一种基于仿生双眼的大视场图像拼接***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410196649.5A CN103996181B (zh) 2014-05-12 2014-05-12 一种基于仿生双眼的大视场图像拼接***和方法

Publications (2)

Publication Number Publication Date
CN103996181A CN103996181A (zh) 2014-08-20
CN103996181B true CN103996181B (zh) 2017-06-23

Family

ID=51310338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410196649.5A Active CN103996181B (zh) 2014-05-12 2014-05-12 一种基于仿生双眼的大视场图像拼接***和方法

Country Status (1)

Country Link
CN (1) CN103996181B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844202A (zh) * 2015-01-12 2016-08-10 芋头科技（杭州）有限公司 一种影像识别***及方法
CN105215998B (zh) * 2015-08-18 2017-05-24 长安大学 一种仿蜘蛛的多目视觉平台
CN106506464B (zh) * 2016-10-17 2019-11-12 武汉秀宝软件有限公司 一种基于增强现实的玩具交互方法和***
CN106989730A (zh) * 2017-04-27 2017-07-28 上海大学 一种基于双目鱼眼全景视觉进行水下潜水器控制的***和方法
CN110516531B (zh) * 2019-07-11 2023-04-11 广东工业大学 一种基于模板匹配的危险品标志的识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1490594A (zh) * 2003-08-22 2004-04-21 湖南大学 仿人多自由度立体双目视觉装置
CN1932841A (zh) * 2005-10-28 2007-03-21 南京航空航天大学 基于仿生复眼的运动目标检测装置及其方法
CN101316210A (zh) * 2008-06-26 2008-12-03 河海大学 多摄像头仿生物机制的智能感知宽带无线网状网络
CN202512133U (zh) * 2012-03-29 2012-10-31 河海大学 一种基于双摄像机视场拼接的大尺度粒子图像测速***
EP2332011B1 (en) * 2008-08-18 2012-12-26 Holakovszky, Làszló Device for displaying panorama
CN103473532A (zh) * 2013-09-06 2013-12-25 上海大学 机载平台快速行人检测***和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100796849B1 (ko) * 2006-09-04 2008-01-22 삼성전자주식회사 휴대 단말기용 파노라마 모자이크 사진 촬영 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1490594A (zh) * 2003-08-22 2004-04-21 湖南大学 仿人多自由度立体双目视觉装置
CN1932841A (zh) * 2005-10-28 2007-03-21 南京航空航天大学 基于仿生复眼的运动目标检测装置及其方法
CN101316210A (zh) * 2008-06-26 2008-12-03 河海大学 多摄像头仿生物机制的智能感知宽带无线网状网络
EP2332011B1 (en) * 2008-08-18 2012-12-26 Holakovszky, Làszló Device for displaying panorama
CN202512133U (zh) * 2012-03-29 2012-10-31 河海大学 一种基于双摄像机视场拼接的大尺度粒子图像测速***
CN103473532A (zh) * 2013-09-06 2013-12-25 上海大学 机载平台快速行人检测***和方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
High precision target tracking with a compound-eye image sensor;Krishnasamy R 等;《Electrical and Computer Engineering》;20040505;第4卷;第2319-2323页 *
仿生复眼视觉***标定和大视场图像拼接的技术研究;蔡梦颖;《中国优秀硕士学位论文全文数据库 信息科技辑》;20080115(第1期);参见正文第12-17页第2.2-2.3节，图2.5，图2.8 *
基于仿生双目机械云台的图像跟踪技术研究;刘治湘 等;《机械工程师》;20120610(第6期);第56-58页 *
基于仿生机械云台的声纳图像拼接;陈金波 等;《应用科学学报》;20120331;第30卷(第2期);第158-164页 *

Also Published As

Publication number Publication date
CN103996181A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
US20220075453A1 (en) Ar scenario-based gesture interaction method, storage medium, and communication terminal
CN103996181B (zh) 一种基于仿生双眼的大视场图像拼接***和方法
CN106327571B (zh) 一种三维人脸建模方法及装置
CN106355153B (zh) 一种基于增强现实的虚拟对象显示方法、装置以及***
CN107491174B (zh) 用于远程协助的方法、装置、***及电子设备
Straka et al. Skeletal Graph Based Human Pose Estimation in Real-Time.
JP6040882B2 (ja) 複数の３次元モデルをつなぎ合わせる装置、方法及びプログラム
CN104392045B (zh) 一种基于智能移动终端的实时增强虚拟现实***及方法
US20100277504A1 (en) Method and system for serving three dimension web map service using augmented reality
Andersen et al. Virtual annotations of the surgical field through an augmented reality transparent display
Yang The study and improvement of Augmented reality based on feature matching
CN104834379A (zh) 一种基于ar技术的维修向导***
US11099633B2 (en) Authoring augmented reality experiences using augmented reality and virtual reality
CN103942843A (zh) 一种基于视频的航道船舶三维模型动态呈现方法
CN102184342B (zh) 一种虚实融合的手功能康复训练***及方法
CN104656893A (zh) 一种信息物理空间的远程交互式操控***及方法
CN109445598B (zh) 一种基于视觉的增强现实***装置
CN113965550B (zh) 智能交互式远程辅助视频***
CN110308785A (zh) 基于ar技术的电子书实现方法
CN115953375A (zh) 多方法融合的手部穴位定位方法、***及电子设备
CN107707879A (zh) 一种分布式场景目标识别的增强现实方法及***
CN209746614U (zh) 一种虚拟机器人工作站的仿真互动可视化***
Liu et al. Thangka realization based on MR
Aliakbarpour et al. PhD forum: Volumetric 3D reconstruction without planar ground assumption
Wei et al. Real-time 3D human motion capture from binocular stereo vision and its use on human body animation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221129

Address after: 200444 Room 190, Building A, 5/F, Building 1, No. 1000 Zhenchen Road, Baoshan District, Shanghai

Patentee after: Jinghai Intelligent Equipment Co.,Ltd.

Address before: 200444 No. 99, upper road, Shanghai, Baoshan District

Patentee before: Shanghai University