CN107053184A - 基于私有云的多智能体协作处理***和方法 - Google Patents

基于私有云的多智能体协作处理***和方法 Download PDF

Info

Publication number
CN107053184A
CN107053184A CN201710482720.XA CN201710482720A CN107053184A CN 107053184 A CN107053184 A CN 107053184A CN 201710482720 A CN201710482720 A CN 201710482720A CN 107053184 A CN107053184 A CN 107053184A
Authority
CN
China
Prior art keywords
robot
private clound
image data
module
agent cooperation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710482720.XA
Other languages
English (en)
Inventor
王雪雁
黄民
刘相权
苏易衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN201710482720.XA priority Critical patent/CN107053184A/zh
Publication of CN107053184A publication Critical patent/CN107053184A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1682—Dual arm manipulator; Coordination of several manipulators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39146—Swarm, multiagent, distributed multitask fusion, cooperation multi robots

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种基于私有云的多智能体协作处理***，其用于Robocup中型组的多个足球机器人之间的协作任务，其特征在于包括：私有云平台模块，用于处理所述多个足球机器人获取并发送来的实时信息；机器人计算机视觉模块，用于通过全景视觉与体感交互式设备实时采集场景信息，所述体感交互式设备捕捉人体的动作并分析人体的姿态；机器人运动控制模块，用于检测所述足球机器人的位置信息和控制所述足球机器人的行为；显示内容更新模块，用于实时显示各所述足球机器人的状态。还提供了基于私有云的多智能体协作处理方法。

Description

基于私有云的多智能体协作处理***和方法
技术领域
本发明涉及基于私有云的多智能体协作处理***和方法。
背景技术
Seafile是国内团队开发、国际领先的开源企业云存储软件，为企业提供私有云环境下的网盘解决方案，满足文件集中管理、多终端访问、共享协作等需求。
Robocup是机器人世界杯，是目前世界上规模最大、参加国家和人数最多、最有影响力的机器人比赛。
Kinect是微软在2010年6月14日对XBOX360体感周边外设正式发布的名字。是一种体感交互式设备，可以捕捉人体的动作，分析人体的姿态。
OpenCV的全称是Open Source Computer Vision Library。OpenCV是一个基于(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作***上，实现了图像处理和计算机视觉方面的很多通用算法。
VS2015是Microsoft公司出品的集成开发环境。
与本申请相关的现有技术资料还包括：软件工程术语(GB/T 11457-1995)、计算机软件开发规范(GB 8566)、计算机软件产品开发文件编制指南(GB 8567)、软件包质量要求和测试(GB/T 17544-1998)。
发明内容
根据本发明的一个方面，提供了一种基于私有云的多智能体协作处理***，其用于Robocup中型组的多个足球机器人之间的协作任务，其特征在于包括：
私有云平台模块，用于处理所述多个足球机器人获取并发送来的实时信息，
机器人计算机视觉模块，用于通过全景视觉与体感交互式设备实时采集场景信息，所述体感交互式设备捕捉人体的动作并分析人体的姿态，
机器人运动控制模块，用于检测所述足球机器人的位置信息和控制所述足球机器人的行为，
显示内容更新模块，用于实时显示各所述足球机器人的状态。
根据本发明的一个进一步的方面，上述的多智能体协作处理***的特征在于：
所述体感交互式设备是Kinect。
根据本发明的另一个方面，提供了一种基于私有云的多智能体协作处理方法，其用于Robocup中型组的多个足球机器人之间的协作任务，其特征在于包括：
A)利用私有云平台模块，处理所述多个足球机器人获取并发送来的实时信息，
B)利用机器人计算机视觉模块，通过全景视觉与体感交互式设备实时采集场景信息，所述体感交互式设备捕捉人体的动作并分析人体的姿态，
C)利用机器人运动控制模块，检测所述足球机器人的位置信息和控制所述足球机器人的行为，
D)利用显示内容更新模块，实时显示各所述足球机器人的状态。
附图说明
图1显示了根据本发明的一个实施例的基于私有云的多智能体协作***。
图2是根据本发明的一个实施例的基于私有云的多智能体协作***的软件框图。
图3是根据本发明的一个实施例的基于私有云的多智能体协作***的云端程序流程图。
图4是根据本发明的一个实施例的基于私有云的多智能体协作***的决策核程序流程图。
图5是根据本发明的一个实施例的基于私有云的多智能体协作***的机器人程序流程图。
图6显示了根据本发明的一个实施例的私有云平台模块的运行。
图7显示了根据本发明的一个实施例的视觉模块的运行。
具体实施方式
本发明提供了一种适用于多智能体协作的私有云架构。经过本发明人在对Robocup中型组足球机器人的深入技术研究和结合对传统的多智能***的理解的基础上，对多机协作任务进行需求梳理，提出了本发明的适用于多智能体协作的私有云架构的解决方案，其包括计算机视觉算法、智能机器人的自定位算法、机器人平台升级，形成了私有云的架构。
根据本发明的适用于多智能体协作的私有云架构适用于如下的运行环境：
硬件环境：中型组足球机器人平台、云硬件平台、Intel(R)Core(TM)i7-2600K3.40GHz处理器、8G内存、专用的USB 3.0总线(英特尔和瑞萨控制器)、64位(x64)处理器；
软件环境：操作***MS Windows 8、Visual Studio 2015(C++)、Seafile、OpenCV库、Kinect for Windows SDK v2.0。
根据本发明的适用于多智能体协作的私有云架构满足了实时检测、反馈、云数据交互、显示的时间特性要求。
以下结合附图对本发明的实施例进行说明。
如图1所示，根据本发明的一个实施例的基于私有云的多智能体协作***包括显示层、逻辑层、数据层、设备层四大层，其中：
●设备层：云服务器、网络设备、存储设备；三轮全向移动平台、持球机构、击球机构、全景视觉结构、kinect。
●数据层：负责从硬件设备中获得程序运行所需要的机器周围环境图像数据和机器位置信息，随后将数据传送至私有云。
●逻辑层：私有云通过设计好的算法处理颜色深度图像数据中识别出其中的关键信息，判断环境中的障碍物信息等；交互逻辑，管理平台的键盘交互操作。
●显示层：在屏幕上显示机器人位置和环境信息。
软件平台模块及功能
如表1所示，根据本发明的一个实施例的基于私有云的多智能体协作***的软件平台包括私有云平台模块、机器人计算机视觉模块、机器人运动控制模块、显示内容更新模块。
表1软件平台模块组成说明
私有云平台模块
(1)功能
设计优化算法，处理机器人发送来的实时信息，减少单机运算复杂度，提高***运行效率。
(2)性能
每台机器减少20％的数据处理量。
(3)输入
比赛场上五台机器人的图像信息、位置信息。
(4)输出
处理、融合后的赛场实时信息。
图6显示了根据本发明的一个实施例的私有云平台模块的运行。如图6所示，私有云服务器(例如通过WiFi)接收来自多台机器人的彩色和深度图像数据，按照预先储存好的算法对图像进行处理，得到场地内的场线、场地、球、障碍物等信息。
机器人计算机视觉模块
(1)功能
通过全景视觉与Kinect2.0实时采集场景信息。
(2)性能
反应时间<0.1秒。
(3)输入
带有彩色信息和深度信息的图像。
(4)输出
场景内场地、场线、球、障碍物等信息。
图7显示了根据本发明的一个实施例的视觉模块的运行。如图7所示，Kinect通过彩色摄像机与红外摄像机获取(例如分辨率1280×960的)彩色图像与(例如分辨率640×480的)深度图像数据，得到场地的彩色图像信息与各个位置到相机的距离。
机器人运动控制模块
(1)功能
检测机器人位置信息、控制机器人行为
(2)性能
检测消耗时间<0.1秒。
(3)输入
机器人码盘信息、机器摄像头采集到的彩色图像。
(4)输出
标志值(表示是否存在体验者)；
用户位置信息。
显示内容更新模块
(1)功能
实时显示所有机器人状态
(2)性能
消耗时间<0.1秒。
(3)输入
所有机器的IP及端口。
(4)输出
显示融合过后的机器人位置信息与周围环境信息。
接口设计
人机接口：本***的人机接口的用MFC制作的人机交互界面。界面通过显示足球机器人在场地中位置与周围环境信息，清晰明确的告诉使用者场上情况。
内部接口：本***的内部接口主要包括数据传输协议、opencv函数、机器人控制函数等，详见软件文档资料。
运行设计
图2是根据本发明的一个实施例的基于私有云的多智能体协作***的软件框图。赛场上比赛的五台机器将各自收集到的视觉数据与位置信息等上传至云端数据站，随后云端数据站将数据传送至决策核，决策核中的算法将数据融合处理后返回给云端数据站，最后云端数据站将决策信息发送给每台机器。
图3是根据本发明的一个实施例的基于私有云的多智能体协作***的云端程序流程图。云端服务器启动后，首先加载历史数据、初始化通讯数据；之后等待机器发送的数据包，接收到数据包之后依次进行“多机数据融合”、“从历史数据筛选决策建议”、“数据打包”、“发送至决策核”；之后决策核判断是否已经产生结果，产生结果后“为数据标定结果”、“添加到历史数据”。
图4是根据本发明的一个实施例的基于私有云的多智能体协作***的决策核程序流程图。决策核启动后，首先加载决策模型、初始化通讯端口；之后等待云端服务器发送的融合数据包，接收到后分析当前态势、生成当前策略并与历史数据对比；如果当前决策存在于历史数据中，则执行策略，获取执行结果，打包数据并发送至云端；如果当前决策存在历史数据中不存在，若当前决策成功率在历史成功率中最高则执行，若不是则执行历史成功率最高的决策。
图5是根据本发明的一个实施例的基于私有云的多智能体协作***的机器人程序流程图。启动机器人以后，各个硬件设备开始工作。1.底盘通讯设备打开—>获取码盘数据—>解算机器运动方向和速度；2.打开工业摄像机通讯—>获取二值图像—>提取场线特征—>机器人自定位—>提取障碍物特征—>计算障碍物位置；3.Kinect通讯—>获取三维点云—>提取足球特征—>分析球飞行轨迹。之后将这些数据融合打包发送至云端服务器。
根据本发明的一个实施例的基于私有云的多智能体协作***的程序运行可以达到实时，可以稳定运行在20帧/秒。

Claims (8)

1.一种基于私有云的多智能体协作处理***，其用于Robocup中型组的多个足球机器人之间的协作任务，其特征在于包括：
私有云平台模块，用于处理所述多个足球机器人获取并发送来的实时信息，
机器人计算机视觉模块，用于通过全景视觉与体感交互式设备实时采集场景信息，所述体感交互式设备捕捉人体的动作并分析人体的姿态，
机器人运动控制模块，用于检测所述足球机器人的位置信息和控制所述足球机器人的行为，
显示内容更新模块，用于实时显示各所述足球机器人的状态。
2.根据权利要求1所述的多智能体协作处理***，其特征在于：
所述体感交互式设备是Kinect。
3.根据权利要求1所述的多智能体协作处理***，其特征在于：
私有云平台模块的私有云服务器接收来自各所述足球机器人的彩色图像数据和深度图像数据，按照预先储存好的算法对彩色图像数据和深度图像数据进行处理，得到场地内的相关信息，该相关信息包括场线、场地、球、障碍物。
4.根据权利要求2所述的多智能体协作处理***，其特征在于
所述机器人计算机视觉模块通过Kinect借助彩色摄像机获取彩色图像数据并借助红外摄像机获取深度图像数据，从而得到场地的彩色图像信息与各个位置到相机的距离。
5.一种基于私有云的多智能体协作处理方法，其用于Robocup中型组的多个足球机器人之间的协作任务，其特征在于包括：
A)利用私有云平台模块，处理所述多个足球机器人获取并发送来的实时信息，
B)利用机器人计算机视觉模块，通过全景视觉与体感交互式设备实时采集场景信息，所述体感交互式设备捕捉人体的动作并分析人体的姿态，
C)利用机器人运动控制模块，检测所述足球机器人的位置信息和控制所述足球机器人的行为，
D)利用显示内容更新模块，实时显示各所述足球机器人的状态。
6.根据权利要求5所述的多智能体协作处理方法，其特征在于：
所述体感交互式设备是Kinect。
7.根据权利要求6所述的多智能体协作处理方法，其特征在于所述步骤A)包括：
通过私有云平台模块的私有云服务器，接收来自各所述足球机器人的彩色图像数据和深度图像数据，按照预先储存好的算法对彩色图像数据和深度图像数据进行处理，得到场地内的相关信息，该相关信息包括场线、场地、球、障碍物。
8.根据权利要求6所述的多智能体协作处理***，其特征在于所述步骤B)包括：
通过Kinect借助彩色摄像机获取彩色图像数据并借助红外摄像机获取深度图像数据，从而得到场地的彩色图像信息与各个位置到相机的距离。
CN201710482720.XA 2017-06-22 2017-06-22 基于私有云的多智能体协作处理***和方法 Pending CN107053184A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710482720.XA CN107053184A (zh) 2017-06-22 2017-06-22 基于私有云的多智能体协作处理***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710482720.XA CN107053184A (zh) 2017-06-22 2017-06-22 基于私有云的多智能体协作处理***和方法

Publications (1)

Publication Number Publication Date
CN107053184A true CN107053184A (zh) 2017-08-18

Family

ID=59613236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710482720.XA Pending CN107053184A (zh) 2017-06-22 2017-06-22 基于私有云的多智能体协作处理***和方法

Country Status (1)

Country Link
CN (1) CN107053184A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109617968A (zh) * 2018-12-14 2019-04-12 启元世界(北京)信息技术服务有限公司 多智能体协作***及其智能体、智能体间的通信方法
CN110007671A (zh) * 2019-03-12 2019-07-12 南方科技大学 一种机器人集群协同定位***和方法
CN111131353A (zh) * 2018-10-31 2020-05-08 华为技术有限公司 一种协作方法和智能设备群
WO2020199690A1 (zh) * 2019-03-29 2020-10-08 深圳先进技术研究院 基于云平台共享学***台及方法、介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835059A (zh) * 2015-04-27 2015-08-12 东华大学 一种基于体感交互技术的智能广告投放***
CN106773768A (zh) * 2017-01-17 2017-05-31 张汇泉 机器人智慧生活服务***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104835059A (zh) * 2015-04-27 2015-08-12 东华大学 一种基于体感交互技术的智能广告投放***
CN106773768A (zh) * 2017-01-17 2017-05-31 张汇泉 机器人智慧生活服务***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王雪雁等: "《Water Team 秘密技术》", 《机器人技术与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131353A (zh) * 2018-10-31 2020-05-08 华为技术有限公司 一种协作方法和智能设备群
CN109617968A (zh) * 2018-12-14 2019-04-12 启元世界(北京)信息技术服务有限公司 多智能体协作***及其智能体、智能体间的通信方法
CN109617968B (zh) * 2018-12-14 2019-10-29 启元世界(北京)信息技术服务有限公司 多智能体协作***及其智能体、智能体间的通信方法
CN110007671A (zh) * 2019-03-12 2019-07-12 南方科技大学 一种机器人集群协同定位***和方法
WO2020199690A1 (zh) * 2019-03-29 2020-10-08 深圳先进技术研究院 基于云平台共享学***台及方法、介质

Similar Documents

Publication Publication Date Title
CN107053184A (zh) 基于私有云的多智能体协作处理***和方法
CN106598226A (zh) 一种基于双目视觉和深度学习的无人机人机交互方法
CN104820418B (zh) 一种针对机械臂的嵌入式视觉***及其使用方法
US11132845B2 (en) Real-world object recognition for computing device
CN111696216B (zh) 三维增强现实全景融合方法及***
CN105301971B (zh) 一种基于图像识别控制智能设备的方法及其***
CN109760045B (zh) 一种离线编程轨迹生成方法及基于该方法的双机器人协同装配***
CN108247637A (zh) 一种工业机器人手臂视觉防撞操控方法
CN105183269B (zh) 自动辨识游标所在屏幕的方法
Voulodimos et al. A threefold dataset for activity and workflow recognition in complex industrial environments
CN109407709A (zh) 一种基于Kinect骨骼跟踪算法的会议摄像自动追踪***
CN115903541A (zh) 一种基于孪生场景的视觉算法仿真数据集生成及验证方法
CN110275532B (zh) 机器人的控制方法及装置、视觉设备的控制方法及装置
CN106131407A (zh) 拍摄同步方法及同步装置
CN106468917A (zh) 一种可触摸现场实时视频图像的远程呈现交互方法和***
WO2024007485A1 (zh) 基于视觉特征的空地多机器人地图融合方法
WO2013025011A1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
CN113569849B (zh) 基于计算机视觉的汽车充电桩界面检测智能交互***
CN108460354A (zh) 无人机控制方法、装置、无人机及***
CN109760067B (zh) 会打纸牌的智能机器人***以及设备
CN106980371A (zh) 一种基于临近异构分布式结构的移动增强现实交互方法
CN108491759A (zh) 一种基于深度学习的工序检测装置及其工序检测方法
CN106078747A (zh) 一种基于虚拟现实的延时工业操作控制***
CN113472998B (zh) 图像处理方法、装置、电子设备和存储介质
CN107077393A (zh) 设备调用方法、装置、***和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818