CN112668687B - 云端机器人***、云服务器、机器人控制模块和机器人 - Google Patents
云端机器人***、云服务器、机器人控制模块和机器人 Download PDFInfo
- Publication number
- CN112668687B CN112668687B CN202011386136.2A CN202011386136A CN112668687B CN 112668687 B CN112668687 B CN 112668687B CN 202011386136 A CN202011386136 A CN 202011386136A CN 112668687 B CN112668687 B CN 112668687B
- Authority
- CN
- China
- Prior art keywords
- robot
- digital twin
- data
- module
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006399 behavior Effects 0.000 claims description 111
- 230000009471 action Effects 0.000 claims description 87
- 238000012549 training Methods 0.000 claims description 57
- 238000011156 evaluation Methods 0.000 claims description 34
- 230000033001 locomotion Effects 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 33
- 230000018109 developmental process Effects 0.000 claims description 30
- 238000011161 development Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 23
- 230000004438 eyesight Effects 0.000 claims description 19
- 230000001360 synchronised effect Effects 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 12
- 238000004088 simulation Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 230000003993 interaction Effects 0.000 claims description 11
- 238000011068 loading method Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 6
- 230000005284 excitation Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000010223 real-time analysis Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 description 90
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 238000007726 management method Methods 0.000 description 10
- 210000004556 brain Anatomy 0.000 description 8
- 238000013459 approach Methods 0.000 description 5
- 230000019771 cognition Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000000704 physical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000013486 operation strategy Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005293 physical law Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- -1 receiver Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Manipulator (AREA)
Abstract
本发明实施例涉及机器人技术领域，公开了一种云端机器人***、云服务器、机器人控制模块和机器人。云端机器人***包括云服务器和机器人控制模块，所述云服务器包括机器人接入与数据交换模块、知识和数据智能模块、人工增强机器智能模块、数字孪生运行核心模块和机器人大数据模块，所述机器人控制模块位于实体机器人，所述机器人控制模块和所述云服务器之间通过专用网络进行通信。通过上述方式，本发明实施例实现了动态闭环、持续进化的智能云端机器人***。
Description
技术领域
本发明实施例涉及机器人技术领域，具体涉及一种云端机器人***、云服务器、机器人控制模块和机器人。
背景技术
目前，在机器人的实现方式中，云端机器人得到了越来越广泛的应用。其中，在危险的、肮脏的、重复性的以及实现较为困难的一些应用场景中，对云端机器人的要求也更高，产生了功能上可以替代人类的智能机器人的市场需求。
现有技术中的云端机器人实现方案不够智能，尚不能满足市场需求。如何构建一种更为智能的云端机器人***架构，是目前亟待解决的问题。
发明内容
鉴于上述问题，本发明实施例提供了一种云端机器人***、云服务器、机器人控制模块和机器人，用于解决现有技术中存在的云端机器人实现方案不够智能的问题。
根据本发明实施例的一个方面，提供了一种云端机器人***，包括云服务器和机器人控制模块，所述云服务器包括机器人接入与数据交换模块、知识和数据智能模块、人工增强机器智能模块、数字孪生运行核心模块和机器人大数据模块，所述机器人控制模块位于实体机器人，所述机器人控制模块和所述云服务器之间通过专用网络进行通信；其中，
所述机器人接入与数据交换模块用于进行机器人服务进程注册和机器人接入认证，以及接收所述机器人控制模块发送的多源数据，并进行数据的交换、融合和分发；
所述知识和数据智能模块用于提供机器人服务的多领域知识图谱、机器人行为动作库和三维环境语义地图；
所述数字孪生运行核心模块包括数字孪生世界和数字孪生体，所述机器人控制模块包括数字孪生副本，其中，所述数字孪生世界基于所述三维环境语义地图构建，所述数字孪生体为与所述实体机器人物理属性相同的物理模型，所述数字孪生副本为运行在所述云服务器上的所述数字孪生体的副本；所述数字孪生体用于在所述数字孪生世界中基于所述机器人服务的多领域知识图谱、所述机器人行为动作库和所述多源数据执行机器人技能和应用的训练和在线运行，所述数字孪生副本根据所述数字孪生体执行的机器人技能和应用，同步控制所述实体机器人执行所述机器人技能和应用；
所述人工增强机器智能模块通过语言AI、视觉AI、运动AI、多模态AI和人工增强AI，支持所述数字孪生运行核心模块进行机器人技能和应用的训练和在线运行；
所述机器人大数据模块用于存储和分析所述多源数据，将分析后的多源数据反馈给所述数字孪生运行核心模块用于所述机器人技能和应用的训练和在线运行；
所述机器人控制模块还用于向所述机器人接入与数据交换模块发送多源数据。
在一种可选的方式中，所述云服务器还包括机器人业务应用服务平台，用于对所述实体机器人进行配置，以及提供机器人服务的下载。
在一种可选的方式中，所述对所述实体机器人进行配置，包括：
配置所述实体机器人的数字孪生体模型、机器人名称、角色、性格、应用场景及对话、语言参数、网络参数、待识别的用户人脸清单和对应的机器人服务中的一种或多种，其中所述应用场景根据所述三维环境语义地图配置。
在一种可选的方式中，所述云服务器还包括机器人开放平台，用于提供机器人服务开发接口以供开发者进行所述机器人服务开发。
在一种可选的方式中，所述机器人服务为基于所述数字孪生体开发和训练的应用，所述机器人服务开发包括数字孪生体开发、机器人行为和动作编辑和机器人业务行为蓝图编辑。
在一种可选的方式中，所述数字孪生运行核心模块还用于：在所述数字孪生体在所述数字孪生世界中执行所述机器人技能和应用的训练过程中，若所述数字孪生体执行所述机器人技能和应用的完成情况的数值化评价超过第一预设阈值时，确定所述机器人技能和应用的训练完成，若确定所述机器人技能和应用的训练完成，将训练完成的机器人技能和应用加载到所述机器人控制模块进行同步试运行；
所述机器人控制模块还用于：加载并同步试运行训练完成的机器人技能和应用；
所述数字孪生运行核心模块还用于：若所述机器人控制模块试运行训练完成的机器人技能和应用的完成情况的数值化评价超过第二预设阈值时，将所述机器人技能和应用所对应的服务发布至所述机器人业务应用服务平台。
在一种可选的方式中，所述数字孪生运行核心模块还包括第一游戏引擎，用于加载所述数字孪生体和所述数字孪生世界，运行和更新所述数字孪生世界，以及运行所述数字孪生体的行为和动作；
所述机器人控制模块还包括第二游戏引擎，用于运行所述数字孪生副本；
所述第一游戏引擎和所述第二游戏引擎用于共同驱动所述数字孪生体和所述数字孪生副本的行为和动作同步执行。
在一种可选的方式中，所述数字孪生运行核心模块进一步用于：将所述数字孪生体的行为和动作通过所述专用网络同步给所述机器人控制模块上的数字孪生副本；
所述数字孪生副本根据所述数字孪生体的行为和动作，同步控制所述实体机器人执行所述行为和动作。
在一种可选的方式中，所述机器人控制模块还用于：将所述实体机器人的传感器获取的当前环境变化信息和实体机器人自身行为和动作变化信息发送给所述数字孪生运行核心模块，以使所述数字孪生体与所述实体机器人保持行为和动作同步。
在一种可选的方式中，所述多领域知识图谱包括与机器人服务相关的实体之间关系的语义网络，所述语义网络包括信息和知识，所述信息用于描述外部客观事实，所述知识是外部客观规律的归纳和总结；
所述机器人行为动作库包括机器人通过模仿学习到的人类行为和动作；
所述三维环境语义地图是实体机器人所处的三维环境的语义数据，所述三维环境语义地图通过如下方式获得：将所述多源数据进行融合获得三维环境数据，基于所述三维环境数据通过语义分割进行地图建模，构建所述三维环境语义地图。
在一种可选的方式中，所述构建所述三维环境语义地图，包括：
结合基于深度学习的应用场景识别、物体检测识别、几何模型表示、空间语义关系和语义标注，构建多语义融合的三维环境语义地图。
在一种可选的方式中，所述语言AI包括自动语音识别、自然语言理解和语音合成；所述视觉AI包括人脸识别、人体识别、人像识别、物体识别和环境场景识别；所述运动AI包括外力传感感知、自主移动和导航、肢体动作；所述多模态AI是指具有所述语言AI、视觉AI和运动AI的能力，以及同时具有多因素结合输出的能力，其中所述多因素结合输出包括所述语言AI、视觉AI和运动AI的输入以及语音输出、运动输出；
所述人工增强AI用于：通过人工介入操作为***强化学习提供正向激励输入，在人工介入操作时，所述语言AI、视觉AI、运动AI和多模态AI均是在线运行状态。
在一种可选的方式中，所述人工增强AI进一步用于：若出现机器人服务异常情况，接收所述服务训练师在其操控权限内对所述数字孪生体的操作。
在一种可选的方式中，所述机器人大数据模块还用于存储和分析***运行和服务日志数据、用户数据、人工增强的操作数据和***性能数据中的一种或多种。
在一种可选的方式中，所述多源数据包括通过所述实体机器人的传感器获取的音视频数据、三维环境点云数据、机器人行为和动作数据和多模态交互数据中的一种或多种。
在一种可选的方式中，所述机器人大数据模块进一步用于：
对存储的数据进行数据抽取、数据转换、数据装载、数据分类、数据标注、异常检测和数据清洗，得到处理后的数据；
对所述处理后的数据进行实时分析和离线分析，对所述云端机器人***中各个所述机器人技能和应用的运行进行数值化评价，所述数值化评价用于确定所述机器人技能和应用的训练是否完成，以及触发所述数字孪生运行核心模块对所述机器人技能和应用进行重新训练和更新。
在一种可选的方式中，所述数值化评价包括AI算法和模型的实际识别率、人机对话回复的满意度、服务响应时长和机器人业务行为蓝图的高效性和稳定性；
所述机器人大数据模块进一步用于：对数值化评价的目标结论进行分类，形成先验知识、相关业务和相关数据。
根据本发明实施例的另一方面，提供了一种云服务器，用于控制实体机器人，包括机器人接入与数据交换模块、知识和数据智能模块、人工增强机器智能模块、数字孪生运行核心模块和机器人大数据模块，所述云服务器和所述实体机器人之间通过专用网络进行通信；其中，
所述机器人接入与数据交换模块用于进行机器人服务进程注册和机器人接入认证，以及接收所述实体机器人发送的多源数据，并进行数据交换、融合和分发；
所述知识和数据智能模块用于提供机器人服务的多领域知识图谱、机器人行为动作库和三维环境语义地图；
所述数字孪生运行核心模块包括数字孪生世界和数字孪生体，其中，所述数字孪生世界基于所述三维环境语义地图构建，所述数字孪生体为与所述实体机器人物理属性相同的物理模型；所述数字孪生体用于在所述数字孪生世界中基于所述机器人服务的多领域知识图谱、所述机器人行为动作库和所述多源数据执行机器人技能和应用的训练和在线运行，以同步控制所述实体机器人执行所述机器人技能和应用务；
所述人工增强机器智能模块通过语言AI、视觉AI、运动AI、多模态AI和人工增强AI，支持所述数字孪生运行核心模块进行机器人技能和应用的训练和在线运行；所述机器人大数据模块用于存储和分析所述多源数据，将分析后的多源数据反馈给所述数字孪生运行核心模块用于所述机器人技能和应用的训练和在线运行。
根据本发明实施例的另一方面，提供了一种机器人控制模块，所述机器人控制模块和云服务器之间通过专用网络进行通信；
所述机器人控制模块包括数字孪生副本，所述数字孪生副本为运行在所述云服务器上的数字孪生体的副本；所述数字孪生副本根据所述数字孪生体执行的机器人技能和应用，同步控制实体机器人执行所述机器人技能和应用；
所述机器人控制模块还用于向所述云服务器发送多源数据，以使所述数字孪生体在数字孪生世界中基于机器人服务的多领域知识图谱、机器人行为动作库和所述多源数据执行机器人技能和应用的训练和在线运行，以通过所述数字孪生副本同步控制所述实体机器人执行所述机器人技能和应用。
根据本发明实施例的另一方面，提供了一种机器人，所述机器人包括如上所述的机器人控制模块。
本发明实施例通过在云服务器构建数字孪生世界，在数字孪生世界中采用与实体机器人物理属性相同的数字孪生体进行机器人的训练和在线运行，通过对虚拟的数字孪生体的控制实现对实体机器人的同步控制，降低了对实体机器人完成业务应用的操控难度和成本，并采用人工增强AI引入人工操作作为***强化学习的正向激励输入，支持支持所述数字孪生体对机器人技能和应用的训练和在线运行，同时实体机器人采集的多源数据也反馈回云端服务器，用于机器人技能和应用的训练和在线运行，实现动态闭环、持续进化的智能云端机器人***。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的云端机器人***的应用示意图；
图2是本发明实施例提供的云端机器人***的结构示意图；
图3是本发明实施例提供的云端机器人***的框架示意图；
图4是本发明实施例提供的机器人服务运行的流程示意图；
图5是本发明实施例提供的机器人服务开发的流程示意图；
图6是本发明实施例提供的人工增强AI运行的流程示意图；
图7是本发明实施例提供的云服务器的结构示意图；
图8是本发明实施例提供的机器人控制模块的结构示意图；
图9是本发明实施例提供的机器人的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
从机器人向人类的智能化发展角度来看，如果要制造一个跟人脑一样聪明的电子大脑，该电子大脑将会是巨大的，不可能在单体机器人上实现。此外，由于单体机器人所能接触的数据有限，无法完成需要有大数据训练的机器学习和深度学习。人工智能的深度学习必须由大量机器人提供数据，汇聚到云端，由云端的巨大的“机器大脑”来完成，这进一步说明机器人的部分感知和认知***必须放在云端，这是智能机器人发展的必然方向。
基于此，本发明实施例提供了一种云端机器人***，图1是本发明实施例提供的云端机器人***的应用示意图。如图1所示，云服务器10和实体机器人20之间通过专用网络30进行通信。各项机器人服务在云服务器10训练完成，并由云服务器10控制实体机器人20执行训练好的各项机器人服务。其中，机器人服务是指在不同应用场景中执行预设动作，完成预设功能，例如迎宾接待、移动抓取、安防巡逻和配送等。服务需要由应用组成，而若干技能组合成应用的逻辑。例如，会打乒乓球入削球、拉球等，属于技能，应用是指由实体机器人实际去打乒乓球。服务是指实体机器人可以提供打乒乓球陪练的服务。再如，实体机器人抓物品属于技能，实体机器人使用抓物品的技能可以完成送咖啡给人的应用，则实体机器人可以完成端茶倒水的接待服务。
图2是本发明实施例提供的云端机器人***的结构示意图。如图2所示，该云端机器人***100包括云服务器10和机器人控制模块21。云服务器10包括机器人接入与数据交换模块11、知识和数据智能模块12、人工增强机器智能模块13、数字孪生运行核心模块14和机器人大数据模块15。机器人控制模块21位于实体机器人20。机器人控制模块21和云服务器10之间通过专用网络30进行通信。通过专用网络30通信可保证机器人控制模块21和云服务器10之间的通信安全。
机器人接入与数据交换模块11用于进行机器人服务进程注册和机器人接入认证，以及接收机器人控制模块21发送的多源数据，并进行数据的交换、融合和分发。这里，服务进程是指程序的服务进程，也即微服务。
知识和数据智能模块12用于提供机器人服务的多领域知识图谱、机器人行为动作库和三维环境语义地图。
数字孪生运行核心模块14包括数字孪生世界和数字孪生体，机器人控制模块21包括数字孪生副本。数字孪生世界基于三维环境语义地图构建，数字孪生体为与实体机器人物理属性相同的物理模型，数字孪生副本为运行在所述云服务器上的数字孪生体的副本。数字孪生体用于在数字孪生世界中基于机器人服务的多领域知识图谱、机器人行为动作库和多源数据执行机器人技能和应用的训练和在线运行。数字孪生副本根据数字孪生体执行的机器人技能和应用，同步控制实体机器人执行机器人技能和应用。
人工增强机器智能模块13通过多模态AI和人工增强AI，支持数字孪生运行核心模块14进行机器人技能和应用的训练和在线运行。
机器人大数据模块15用于存储和分析多源数据，将分析后的多源数据反馈给数字孪生运行核心模块14用于机器人技能和应用的训练和在线运行。
机器人控制模块21还用于向机器人接入与数据交换模块11发送多源数据。
本发明实施例通过在云服务器构建数字孪生世界，在数字孪生世界中采用与实体机器人物理属性相同的数字孪生体进行机器人的训练和在线运行，通过对虚拟的数字孪生体的控制实现对实体机器人的同步控制，降低了对实体机器人完成业务应用的操控难度和成本，并采用人工增强AI引入人工操作作为***强化学习的正向激励输入，支持支持数字孪生体对机器人技能和应用的训练和在线运行，同时实体机器人采集的多源数据也反馈回云端服务器，用于机器人技能和应用的训练和在线运行，实现动态闭环、持续进化的智能云端机器人***。
下面对云端机器人***进行进一步说明。图3是本发明实施例提供的云端机器人***的框架示意图。如图3所示，云端机器人***采用“云(大脑)-网(神经)-端(身体)”的分布式计算架构。其中，“云”位于云端服务器，网是指专用网络，“端”位于实体机器人。
其中，云端大脑的人工增强机器智能模块将机器人语言AI(ArtificialIntelligence，人工智能)能力、视觉AI能力、运动AI能力及环境认知能力等多模态融合的AI和人工增强AI进行有机融合，形成云端大脑的感知和认知能力，结合人类先验知识和数据智能，实现逻辑推理和智能决策等高级类人智能。通过数字孪生运行核心模块，让实体机器人的数字孪生体在虚拟的数字孪生世界中运行，并执行机器人技能和应用。数字孪生体的所有行为和动作会通过专用网络同步控制运行在实体机器人的机器人控制模块中的数字孪生副本，数字孪生副本执行的指令和数据序列将驱动实体机器人同步数字孪生体的所有行为和动作，完成该实体机器人在应用场景下的目标任务，从而让整个云端机器人***更加智能，让用户以简单、安全可靠的方式使用实体机器人为各行业提供智能化服务。其中，一个或多个机器人的动作构成一个有意义的行为。
在本实施例中，云服务器除了包括上述实施例的机器人接入与数据交换模块、知识和数据智能模块、人工增强机器智能模块、数字孪生运行核心模块和机器人大数据模块以外，还包括机器人业务应用服务平台和机器人开放平台。
下面分别对实体机器人以及云端服务器的各个模块和平台的功能进行进一步详细说明。
1.机器人接入与数据交换模块
机器人接入与数据交换模块用于进行机器人服务进程注册和机器人接入认证，以及接收机器人控制模块发送的多源数据，并进行数据的交换、融合和分发。多源数据包括通过实体机器人的传感器获取的音视频数据、三维环境点云数据、机器人行为和动作数据和多模态交互数据中的一种或多种。机器人行为和动作数据主要为机器人关节运动帧数据。机器人的传感器获取数据的方式包括视觉、超声波、激光等多种方式。多模态交互一般是指通过文字、语音、视觉、动作、环境等多种方式进行人机交互，充分模拟人与人之间的交互方式。
其中，数据的交换是指实体机器人上行的多源数据和从云服务器下行的数据(例如控制指令、语音数据、更新数据等)进行交换，例如将实体机器人上行的数据发送给机器人大数据模块，将云服务器下行的数据发送给实体机器人。
数据的分发是指将上行的数据在云服务器分发给一个或多个服务进行不同处理或分析。其中，服务是为其他程序提供各种功能调用的程序，例如运行于操作***后台的程序、例程或进程。比如音视频数据，可以分发给视觉处理服务，同时也需要由用户和运营方进行可视监控。
数据的融合是指将不同来源或者不同结构的数据，经过处理形成标准数据接口或者采用标准的数据结构表示。例如，对于不同来源和结构的数据，例如音视频类非结构化数据、机器人行为和动作数据、三维环境语义地图数据等，通过增加数据描述形成标准数据接口，添加的描述包括但不限于接口标识、SessionID(会话ID)、接口类型、接口序列、版本、发起方、接收方、发起模块、接收模块、数据标识ID等。对于同类别、不同来源的数据，例如激光雷达点云数据和视觉相机深度点云数据，可以采用标准的数据结构表示。
2.知识和数据智能模块
知识和数据智能模块用于提供机器人服务的多领域知识图谱、机器人行为动作库和三维环境语义地图。机器人服务的多领域知识图谱和机器人行为动作库属于人类先验知识库。三维环境语义地图由实体机器人通过各种传感器感知和认知到的。
其中，多领域知识图谱包括与机器人服务相关的实体之间关系的语义网络，语义网络包括信息和知识，信息用于描述外部客观事实，知识是外部客观规律的归纳和总结。具体而言，多领域知识图谱包括但不限于面向各个垂直领域和行业的知识图谱以及通用自然语言理解的语料库，例如人物关系知识图谱、酒店行业知识图谱、地产行业知识图谱、中国历史知识谱图等。
机器人行为动作库包括机器人通过模仿学习到的人类行为和动作，包括但不限于实体机器人可通过模仿学习到的人类动作，例如抓取目标物体、自主定位导航、举手、弯腰、握手等。
三维环境语义地图是实体机器人所处的三维环境的语义数据。三维环境语义地图是提供给实体机器人所处的三维环境的语义级数据服务，是用人类自然语言的方式来描述客观物理世界的环境及关系的，是实体机器人在各种应用场景下可认知理解的三维环境语义的数字化表示，帮助实体机器人感知和认知物理世界，并被用来训练虚拟的数字孪生体(也即数字孪生机器人，后文将详细阐述)。
在一些实施例中，三维环境语义地图可通过如下方式获得：将多源数据进行融合获得三维环境数据，基于三维环境数据通过语义分割进行地图建模，构建三维环境语义地图。其中，语义分割针对的是多特征融合的三维环境数据。
在一些实施例中，可通过如下方式构建三维环境语义地图：结合基于深度学习的应用场景识别、物体检测识别、几何模型表示、空间语义关系和语义标注，构建多语义融合的三维环境语义地图。三维环境语义地图通过数据库的方式存储和被访问。
3.数字孪生运行核心模块
数字孪生运行核心模块包括数字孪生世界和数字孪生体，相应的，位于实体机器人上的机器人控制模块包括数字孪生副本(后文将详细阐述)。其中，数字孪生世界基于三维环境语义地图构建，数字孪生体为与实体机器人物理属性相同的物理模型，数字孪生副本为运行在所述云服务器上的数字孪生体的副本。数字孪生体用于在数字孪生世界中基于机器人服务的多领域知识图谱、机器人行为动作库和多源数据执行机器人技能和应用的训练和在线运行，数字孪生副本根据数字孪生体执行的机器人技能和应用，同步控制实体机器人执行机器人技能和应用。
本发明实施例采用与实体机器人物理属性相同的数字孪生体，实现了机器人服务的低成本训练和试错过程。通过机器人多种传感器融合构建数字孪生世界，让机器人的数字孪生体在数字孪生世界中训练和实时在线运行，通过对虚拟的数字孪生体控制实现对实体机器人的同步控制，降低了对实体机器人完成机器人服务的操控要求。
具体的，数字孪生体的行为和动作通过专用网络同步给机器人控制模块上的数字孪生副本，数字孪生副本根据数字孪生体的行为和动作，同步控制实体机器人执行行为和动作。
对于机器人技能和应用的训练，可以预设一个第一预设阈值作为机器人技能和应用的训练完成情况的数值化评价阈值，并预设一个第二预设阈值作为机器人技能和应用的试运行完成情况的数值化评价阈值。在数字孪生体在数字孪生世界中执行机器人技能和应用的训练过程中，若数字孪生体执行机器人技能和应用的完成情况的数值化评价超过第一预设阈值时，确定机器人技能和应用的训练完成，若确定机器人技能和应用的训练完成，将训练完成的机器人技能和应用加载到机器人控制模块进行同步试运行。然后，由机器人控制模块加载并同步试运行训练完成的机器人技能和应用。若机器人控制模块试运行训练完成的机器人技能和应用的完成情况的数值化评价超过第二预设阈值时，数字孪生运行核心模块将机器人技能和应用所对应的服务发布。
数值化评价包括AI算法和模型的实际识别率、人机对话回复的满意度、服务响应时长和机器人业务行为蓝图的高效性和稳定性。所述机器人大数据模块进一步用于：对数值化评价的目标结论进行分类，形成先验知识、相关业务和相关数据。其中，数值化评价可由机器人大数据模块完成，将在后文详细阐述。数值化评价超过第一预设阈值时代表机器人技能和应用训练完成，训练完成后的机器人技能和应用将在实体机器人上同步试运行，若试运行训练完成的机器人技能和应用的完成情况的数值化评价超过第二预设阈值时，将机器人技能和应用所对应的服务发布，可投入线上运行。若训练完成并投入线上运行的机器人服务在后续的评价中，数值化评价未超过第二预设阈值，则将触发对该机器人技能和应用的重新训练和更新。
可以理解的是，数字孪生运行核心模块是一个在云端持续在线运行的环境服务。其中，数字孪生体是通过对实体机器人的几何形状、结构及外观进行1:1几何外观建模，对实体机器人每个可活动的智能关节的仿真(包括但不限于电机、加速器、阻尼参数等)构建的虚拟机器人，可支持设计模型更新、三维重建等方法实现物理模型。此外，还需要对实体机器人的传感器进行物理仿真。其中，物理仿真包括物理重力仿真，物理碰撞仿真，应用物理材质来表达摩擦力、光反射等自身物理属性，上述物理属性将影响机器人在特定环境下的行为。
数字孪生世界是实体机器人所处物理世界的虚拟镜像的三维语义地图数据服务，是实体机器人在各种应用场景下可认知理解的三维环境语义的数字化表示，帮助机器人感知、认知物理世界，为云服务器的机器人实时在线运行服务提供可交互的数字语义化环境。同时，实体机器人的各种传感器获取环境的变化，也将同步到数字孪生世界。数字孪生世界也被用于后台(离线)训练各种数字孪生体，保证在实体机器人上线运行时具有最佳运行策略和行为和动作。
4.人工增强机器智能模块
人工增强机器智能模块通过语言AI、视觉AI、运动AI、多模态AI和人工增强AI，支持数字孪生运行核心模块进行机器人技能和应用的训练和在线运行。
其中语言AI包括自动语音识别、自然语言理解和语音合成；视觉AI包括但不限于人脸识别、人体识别、人像识别以及各种物体识别、环境场景识别等视觉感知；运动AI包括外力传感感知、自主移动和导航以及各种肢体动作等；多模态AI是指在除上述单项AI能力以外，同时具有上述语言、视觉和外力感知的输入以及语音输出、运动输出等多因素结合输出的能力。人工增强AI用于通过人工介入操作为***强化学习提供正向激励输入，在人工介入操作时，所述语言AI、视觉AI、运动AI和多模态AI均是在线运行状态，是一种人机协同的方式，同时人工增强保证了当前AI不可解释性造成的不确定性，从根本上保证安全性和健壮性。上述各种单向AI能力以及多模态AI能力均以API(Application ProgrammingInterface，应用程序接口)或SDK(Software Development Kit，软件开发工具包)方式用于支撑数字孪生运行核心模块中数字孪生体和数字孪生世界，以及支撑机器人业务应用管理。通过人工增强AI使云端机器人***逐渐向人类智能逼近，云服务器的重要决策可以设定需由人工做出决策，使云端大脑接受人类控制。
其中，自然语言AI包括语音识别、自然语言理解、对话知识库、行业领域的知识图谱以及语音合成等AI能力。视觉AI支持人脸识别、人体识别、物体识别、视觉定位导航等AI能力。运动AI支持机器人自主定位、导航移动、自主避障、机器人自平衡、机器人视觉引导的抓取和招手等常用动作、跳舞、机器人的行为和动作训练和生成等能力。三维环境语义地图功能是指应用场景的识别认知、2D/3D物体识别、世界坐标系下的三维位姿、物理环境3D重建和语义分割、对场景语义描述等能力，共同形成对物理环境的三维语义认知能力。
在一些实施例中，可通过采用各种深度学习算法、机器学习算法、深度强化学习算法、运动学规划算法等，实现上述AI能力。其中深度学习算法可包括卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep Neural Networks，DNN)、基于快速区域卷积网络(FastR-CNN)、YOLO(You Only Look Once)、单级多框预测(Single Shot MultiBox Detector，SSD)、长短期记忆网络(LSTM，Long Short-Term Memory)、深层双向语言模型(Embeddings fromLanguage Models，ELMO)、Bidirectional Encoder Representation from Transformers，基于Transformers的双向编码器表示(Bidirectional Encoder Representation fromTransformers，BERT)、生成式预训练(Generative Pre-Training，GPT)等。
在一些实施例中，人工增强AI进一步用于：若出现机器人服务异常情况，接收服务训练师在其操控权限内对数字孪生体的操作。服务训练师的具体操作将在后文进一步详细阐述。
5.机器人大数据模块
机器人大数据模块用于存储和分析多源数据，将分析后的多源数据反馈给数字孪生运行核心模块用于机器人技能和应用的训练和在线运行。进一步的，机器人大数据模块还用于存储和分析***运行和服务日志数据、用户数据、人工增强的操作数据和***性能数据中的一种或多种。其中，用户数据是指用户身份信息、多维度画像属性等。人工增强的操作数据是指***记录的人工操作服务时的记录数据，或人工操作时产生的标识数据。
上述对数据的分析，主要是指对于存储的上述数据，机器人大数据模块进一步对存储的数据进行数据抽取、数据转换、数据装载、数据分类、数据标注、异常检测和数据清洗，得到处理后的数据；对处理后的数据进行实时分析和离线分析，对云端机器人***中各个机器人服务的运行进行数值化评价，数值化评价用于触发数字孪生运行核心模块对机器人技能和应用进行重新训练和更新。其中，数据抽取、数据转换和数据装载也被称为ETL(Extract-Transform-Load)，是指将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。
具体的，所述数值化评价包括AI算法和模型的实际识别率、人机对话回复的满意度、服务响应时长和机器人业务行为蓝图的高效性和稳定性。例如，对于实体机器人执行服务时，基于各个数据的反馈，判断该实体机器人的行为和动作不像人类，则评价AI算法和模型的实际识别率不高(例如计算出具体的识别率数值)，将该数值化评价结果反馈给数字孪生运行核心模块，以对机器人技能和应用进行重新训练和更新。此外，数值化评价还用于评价该机器人业务行为蓝图，判断机器人业务行为蓝图所代表的行为逻辑是否是最优的，若不是则反馈给数字孪生运行核心模块进行蓝图的优化。
对数据的分析还包括根据人机交互时的人机对话产生用户画像和相关的知识。
通过上述对数据的分析，以此形成对云端机器人***各个机器人服务的反馈信息，触发该机器人技能和应用(特别是其算法和模型)的重新训练和更新，从而使整个云端机器人***构成一个完整的、持续优化的闭环***。
6.机器人开放平台
机器人开放平台用于提供机器人服务开发接口以供开发者进行机器人服务开发。其中，机器人服务为基于数字孪生体开发和训练的应用，机器人服务开发包括数字孪生体开发、机器人行为和动作编辑和机器人业务行为蓝图编辑。机器人业务行为蓝图代表机器人的行为逻辑。
机器人开放平台上具有各种机器人开发套件，例如集成开发环境、数字孪生体模型构建、行为和动作编辑器、蓝图编辑器、行为任务编排等，并提供数字孪生体的机器人服务开发与训练。
通过机器人开放平台，让开发者可以基于实体机器人的数字孪生体进行机器人服务的开发和训练，以及机器人智能的持续进化。通过面向机器人服务开发者提供可视化编排的交互接口，来调用各种机器人、移动智能设备或者自动驾驶车等完成对应业务场景服务功能，让机器人服务开发变得简单和快捷。
7.机器人业务应用服务平台
机器人业务应用服务平台用于对实体机器人进行配置，以及提供机器人服务的下载。对实体机器人进行配置，主要是配置实体机器人的数字孪生体模型、机器人名称、角色、性格、应用场景及对话、语言参数、网络参数、待识别的用户人脸清单和对应的机器人服务中的一种或多种，其中应用场景根据三维环境语义地图配置。当机器人技能和应用在数字孪生运行核心模块训练完成后，机器人业务应用服务平台还用于发布完成训练的机器人技能和应用所对应的服务，以供实体机器人下载和应用。其中，角色包括接待员、巡逻员、配送员等，可根据实际应用需求配置，性格包括快、慢等，服务场所可预先根据该机器人的应用场景获取三维环境语义地图场景，如营业厅、社区、酒店等。
在一些实施例中，机器人业务应用服务平台包括机器人业务管理模块和机器人应用市场，机器人业务管理模块用于实现上述配置功能，也即面向各行业的机器人业务应用场景，通过机器人业务管理模块对机器人角色和对应的机器人服务等进行相关属性配置，其中机器人服务主要包括但不限于以下机器人服务，如迎宾接待、移动抓取、安防巡逻和配送技能等。机器人应用市场主要用于支持直接从其中下载机器人服务到数字孪生运行核心模块进行试运行或运行。
8.实体机器人
实体机器人包括机器人本体和机器人控制模块。
其中，机器人本体包括至少1个或多个智能柔性执行器、多种传感器和本地计算单元。
智能柔性执行器将高扭矩密度伺服电机、电机驱动器、高精度编码器、精密减速器高度集成为一个小巧灵活整体，用于机器人关节。
多种传感器包括但不限于：激光雷达、超声波雷达、毫米雷达、3D深度视觉相机，RGB相机，双目同步定位与地图构建(Simultaneous Localization And Mapping，SLAM)相机，惯性测量单元(Inertial Measurement Unit，IMU)，空气检测器、温湿度检测器等。
本地计算单元主要用于实现预处理、运动控制和执行，例如对多种传感器采集的环境数据(也即多源数据)进行预处理、感知检测和识别，同时对机器人关节进行运动控制，完成机器人移动、肢体动作等行为和动作的执行功能。
机器人控制模块位于实体机器人，机器人控制模块和云服务器之间通过专用网络进行通信。
在一些实施例中，机器人控制模块还用于：将实体机器人的传感器获取的当前环境变化信息和实体机器人自身行为和动作变化信息发送给数字孪生运行核心模块，以使数字孪生体与实体机器人保持行为和动作同步。
此外，机器人控制模块还将本地计算单元预处理后的多源数据发送给机器人接入与数据交换模块，供机器人接入与数据交换模块进行数据的交换、融合和分发。机器人控制模块也可以从机器人应用市场下载已发布的机器人服务，从而使实体机器人可以执行该机器人服务。
机器人控制模块包括相互关联的通信单元和计算处理单元。通信单元支持WiFi、4G、5G、Ethernet等网络通信方式，通过专用网络连接到云服务器，并形成与云服务器的安全连接通道和网络隔离域。机器人控制模块也与机器人本体连接，用于对机器人本体进行控制和数据传输。机器人控制模块上数字孪生副本的所有行为和动作将与机器人本体保持完全同步执行。机器人控制模块的屏幕上支持展示数字孪生副本的行为和动作。
在一些实施例中，在数字孪生运行核心模块中采用了游戏引擎技术。数字孪生运行核心模块还包括第一游戏引擎，用于加载数字孪生体和数字孪生世界，运行和更新数字孪生世界，以及运行数字孪生体的行为和动作。机器人控制模块还包括第二游戏引擎，用于运行数字孪生副本。第一游戏引擎和第二游戏引擎用于共同驱动数字孪生体和数字孪生副本的行为和动作同步执行。
游戏引擎是由多个子***共同构成的复杂***，包括建模、动画(数字孪生体映射的实体机器人的运动)、光影、特效、物理***、碰撞检测、文件管理、网络特性、编辑工具和插件等。
其中，动画包括两种：一种是角色的骨骼动画运动***，用内置的骨骼带动物体产生运动；一种是模型动画运动***，是在模型的基础上直接进行变形。
光影是指应用场景中的光源对处于其中的人和物的影响方式。折射、反射等基本光学原理以及动态光源、彩色光源等高级效果都通过游戏引擎实现。
游戏引擎提供物理***，使物体的运动遵循固定的物理规律，例如，当角色跳起的时候，***内定的重力值将决定他能跳多高，以及下落的速度有多快，物体的飞行轨迹、机器人移动的颠簸方式也都由物理***决定。
碰撞探测是物理***的核心部分，可以探测数字孪生世界中各物体的物理边缘。当两个3D物体撞在一起时，碰撞探测可以防止它们相互穿过，从而确保当物体撞在墙上的时候，不会穿墙而过，也不会把墙撞倒，因为碰撞探测会根据物体和墙之间的特性确定两者的位置和相互作用关系。通过上述物理***和碰撞探测，可以实现对数字孪生体物理特性及动力控制的仿真模拟。
渲染是指：当目标3D模型制作完毕后，会按照不同的面把材质贴图赋予模型，这相当于为机器人物理模型的骨骼蒙上皮肤，最后再通过渲染引擎把模型、动画、光影、特效等所有效果实时计算出来并展示在屏幕上。
本发明实施例中，通过采用游戏引擎提供各种工具和运行的服务器环境，加载数字孪生体和数字孪生世界，并运行数字孪生体的所有行为和动作，以及运行和更新数字孪生世界，可以使数字孪生体和数字孪生世界的运行仿真度更高，能较为真实的模拟实体机器人和其所处的应用场景的环境。这些机器人数字孪生体的行为和动作将通过机器人安全专用网络同步给机器人控制模块上的数字孪生副本，由数字孪生副本运行输出指令同步控制实体机器人。同时实体机器人通过传感器获得当前实际环境变化以及机器人自身状态的也将被采用上报到云端数字孪生体上来，使得让云端数字孪生体与实体机器人保持行为和状态同步。
下面对云端机器人***的运行机制和操作流程进行进一步详细说明。
1.机器人业务管理和机器人服务的运行机制和流程
图4是本发明实施例提供的机器人服务运行的流程示意图。如图4所示，包括如下步骤：
步骤401：配置管理和监控；
本步骤中，机器人服务的使用者(也即管理员)通过登录机器人业务管理模块进行实体机器人的配置和监控指定的机器人服务。并可以从机器人应用市场选择并配置机器人服务。
步骤402：机器人业务行为蓝图和行为和动作的试运行和下载；
本步骤中，将机器人业务行为蓝图和所有使用到的行为和动作数据在数字孪生运行核心模块上进行数字孪生体训练，若数字孪生体执行机器人技能和应用的完成情况的数值化评价超过第一预设阈值时，确定机器人技能和应用的训练完成，若确定机器人技能和应用的训练完成，将训练完成的机器人技能和应用加载到机器人控制模块进行同步试运行
当试运行过程和目标任务完成情况的数值化评价超过第二预设阈值时，可以发布涉及该机器人业务行为蓝图和所有使用到的行为和动作数据的机器人服务，并可以将发布后的蓝图和行为和动作数据下载到机器人控制模块上。
步骤403：数字孪生运行核心模块和实体机器人的行为和动作同步；
本步骤中，通过数字孪生运行核心模块的第一游戏引擎和机器人控制模块的第二游戏引擎，驱动数字孪生体和数字孪生副本的行为同步执行。
步骤404：人机交互和实体机器人与环境交互；
本步骤中，通过机器人控制模块上的数字孪生副本运行的指令驱动实体机器人基于机器人业务行为蓝图的逻辑运行，实体机器人与当前应用场景的用户和物理环境进行多模态的交互。
步骤405：实体机器人事件和状态反馈；
本步骤中，通过实体机器人的各种传感器接收用户的语音输入，和当前环境变化的引起的事件，以及实体机器人的状态变化。这些出现的事件和状态被反馈到云服务器的数字孪生运行核心模块的数字孪生体和数字孪生世界中。
步骤406：基于反馈的数字孪生运行核心模块和实体机器人的行为和动作同步。
本步骤中，云服务器基于时间序列化的事件和状态变化的智能决策响应，通过数字孪生运行核心模块影响数字孪生体，并将行为和动作同步到机器人控制模块的数字孪生副本，进而同步控制实体机器人完成响应行为。
2.机器人服务开发流程
图5是本发明实施例提供的机器人服务开发的流程示意图。如图5所示，包括如下步骤：
步骤501：开发者在机器人开放平台上进行注册并登陆；
其中，开发者是指机器人服务的开发者。
步骤502：通过机器人开发套件的集成开发环境创建指定实体机器人的数字孪生模型；
步骤503：基于机器人开发套件的行为和动作编辑器，通过导入或编辑开发数字孪生体的基础行为和动作；
开发数字孪生体的基础行为和动作时支持多次嵌套组合。
步骤504：基于机器人开发套件的蓝图编辑器，开发机器人业务行为蓝图；
开发机器人业务行为蓝图时支持导入子蓝图和多蓝图嵌套组合等。
步骤505：数字孪生体在数字孪生世界进行若干次机器人技能和应用的仿真训练不断试错，直到训练的运行过程和目标任务完成情况的数值化评价超过第一预设阈值；
步骤506：通过机器人开发套件的集成开发环境对机器人服务和蓝图进行打包；
步骤507：将数字孪生体、机器人业务行为蓝图推送或加载到机器人控制模块，进行同步试运行；
步骤508：当试运行过程和目标任务完成情况的数值化评价超过第二预设阈值时，将该机器人服务提交管理审核；
管理审核可由云端服务器的审核人员进行。特别是，可由机器人应用市场的审核人员进行。
步骤509：该机器人服务通过审核，则发布到机器人业务应用服务平台的机器人应用市场中。
在机器人应用市场，机器人服务可被实体机器人下载使用。
3.人工增强AI运行流程
图6是本发明实施例提供的人工增强AI运行的流程示意图。如图6所示，包括如下步骤：
步骤601：机器人服务客户端介入操控；
机器人的服务训练师通过服务客户端，在对当前处于服务状态中的实体机器人进行可视化监控，包括监控其数字孪生体和数字孪生世界。当出现服务异常情况时(如丢失定位、服务超时、本体过温等异常)，在当前服务训练师的操控权限以内，可以通过多模态融合AI和人工增强AI进行人工的介入操控，主要包括但不限于：通过语音输入设备、键盘鼠标、VR眼镜等设备直接操作数字孪生体。
步骤602：人类智能和人工智能操控；
服务训练师的人工介入操作将自动覆盖当前由机器人业务行为蓝图以及多模态融合AI驱动的在数字孪生体上的操作功能。因此，在人工介入操作时，云端机器人***将判断当前执行行为和动作是否可被人工替代，如不能被人工替代，则给出提示信息，由服务训练师根据该提示消息确定是否介入操作。当人工操作完成时，云端机器人***也会进入原有的蓝图的处理逻辑或多模态融合AI的响应过程，***也可以给出相应的提示信息。
可以理解的是，通过人工增强AI中人工介入完成的若干操作，并不是让实体机器人完全按照人工介入的操作完成目标任务，而仅仅是当前操作由人工替代。当人工操作结束，则需要回到原有的蓝图上，以使实体机器人按照原有的蓝图执行并完成目标任务。其中，人工介入操作的策略被称为人类智能(Human intelligence，HI)。
步骤603：人工介入操作存储、行为同步运行和事件、状态反馈；
基于人工介入操作也将通过数字孪生运行核心模块让数字孪生体和机器人控制模块上的数字孪生副本保持行为同步运行。云端机器人***将人工介入操作进行标识记录，接入到机器人大数据模块中。实体机器人与用户的人机交互以及环境变化引起的事件和状态变化也会同步反馈到数字孪生体，通过服务训练师的客户端进行可视化反馈，以此影响当前人工介入的操作行为。
步骤604：数据分析触发重新训练和优化，形成经验知识和数据积累；
基于机器人大数据模块的大数据分析能力，给出当前人工介入操作的数值化评价。对人工介入操作的数值化评价主要包括：对语言AI、视觉AI运动AI以及多模态融合AI相关的改进性评价，触发对应算法和模型的重新训练，以提升算法和模型能力。还可以通过大数据分析对完成服务功能的蓝图逻辑和流程的优化和改进建议。根据历史统计数据，大数据分析还可以获得机器人行为和动作的经验知识、数据和常规习惯。
步骤605：更新机器人业务行为蓝图、行为和动作数据；
基于上述对机器人业务行为蓝图的优化改进以及行为和动作数据的更新，将同步更新到数字孪生体和机器人控制模块的数字孪生副本上，也将驱动实体机器人在线服务。
步骤606：基于更新响应实时事件和状态变化。
基于更新后的语言AI、视觉AI、运动AI以及多模态融合AI的算法和模型，以及形成的经验知识、数据和常规习惯，来响应当前实体机器人的实时事件和状态变化等。
图7是本发明实施例提供的云服务器的结构示意图。如图7所示，该云服务器10用于控制实体机器人，其包括机器人接入与数据交换模块11、知识和数据智能模块12、人工增强机器智能模块13、数字孪生运行核心模块14和机器人大数据模块15，云服务器10和实体机器人之间通过专用网络进行通信。
其中，机器人接入与数据交换模块11用于进行机器人服务进程注册和机器人接入认证，以及接收实体机器人发送的多源数据，并进行数据交换、融合和分发；
知识和数据智能模块12用于提供机器人服务的多领域知识图谱、机器人行为动作库和三维环境语义地图；
数字孪生运行核心模块14包括数字孪生世界和数字孪生体，其中，数字孪生世界基于三维环境语义地图构建，数字孪生体为与实体机器人物理属性相同的物理模型；数字孪生体用于在数字孪生世界中基于机器人服务的多领域知识图谱、机器人行为动作库和多源数据执行机器人技能和应用的训练和在线运行，以同步控制实体机器人执行机器人技能和应用；
所述人工增强机器智能模块通过语言AI、视觉AI、运动AI、多模态AI和人工增强AI，支持所述数字孪生运行核心模块进行机器人技能和应用的训练和在线运行；机器人大数据模块15用于存储和分析多源数据，将分析后的多源数据反馈给数字孪生运行核心模块14用于机器人技能和应用的训练和在线运行。
该云服务器10的具体结构和功能和前述云端机器人***100中的云服务器10相同，可参考前文描述，此处不再赘述。
图8是本发明实施例提供的机器人控制模块的结构示意图。该机器人控制模块21和云服务器之间通过专用网络进行通信。如图8所示，机器人控制模块21包括数字孪生副本211，数字孪生副本211为云服务器上的数字孪生体的副本；数字孪生副本211根据数字孪生体执行的机器人技能和应用，同步控制实体机器人执行机器人技能和应用。
机器人控制模块21还用于向云服务器发送多源数据，以使数字孪生体在数字孪生世界中基于机器人服务的多领域知识图谱、机器人行为动作库和多源数据执行机器人技能和应用的训练和在线运行，以通过机器人控制模块21的数字孪生副本211同步控制实体机器人执行机器人技能和应用。
该机器人控制模块21的具体结构和功能和前述云端机器人***100中的机器人控制模块21相同，可参考前文描述，此处不再赘述。
图9是本发明实施例提供的机器人的结构示意图。如图9所示，该机器人40包括图8所示的实施例中的机器人控制模块21。该机器人控制模块21的具体结构和功能和前述云端机器人***100中的机器人控制模块21相同，可参考前文描述，此处不再赘述。
在此提供的算法或显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。
Claims (20)
1.一种云端机器人***，其特征在于，包括云服务器和机器人控制模块，所述云服务器包括机器人接入与数据交换模块、知识和数据智能模块、人工增强机器智能模块、数字孪生运行核心模块和机器人大数据模块，所述机器人控制模块位于实体机器人，所述机器人控制模块和所述云服务器之间通过专用网络进行通信；其中，
所述机器人接入与数据交换模块用于进行机器人服务进程注册和机器人接入认证，以及接收所述机器人控制模块发送的多源数据，并进行数据的交换、融合和分发；
所述知识和数据智能模块用于提供机器人服务的多领域知识图谱、机器人行为动作库和三维环境语义地图；
所述数字孪生运行核心模块包括数字孪生世界和数字孪生体，所述机器人控制模块包括数字孪生副本，其中，所述数字孪生世界基于所述三维环境语义地图构建，所述数字孪生体为与所述实体机器人物理属性相同的物理模型，所述数字孪生副本为运行在所述云服务器上的所述数字孪生体的副本；所述数字孪生体用于在所述数字孪生世界中基于所述机器人服务的多领域知识图谱、所述机器人行为动作库和所述多源数据执行机器人技能和应用的训练和在线运行，所述数字孪生副本根据所述数字孪生体执行的机器人技能和应用，同步控制所述实体机器人执行所述机器人技能和应用；
所述人工增强机器智能模块通过语言AI、视觉AI、运动AI、多模态AI和人工增强AI，支持所述数字孪生运行核心模块进行机器人技能和应用的训练和在线运行；
所述机器人大数据模块用于存储和分析所述多源数据，将分析后的多源数据反馈给所述数字孪生运行核心模块用于所述机器人技能和应用的训练和在线运行；
所述机器人控制模块还用于向所述机器人接入与数据交换模块发送多源数据。
2.根据权利要求1所述的***，其特征在于，所述云服务器还包括机器人业务应用服务平台，用于对所述实体机器人进行配置，以及提供机器人服务的下载。
3.根据权利要求2所述的***，其特征在于，所述对所述实体机器人进行配置，包括：
配置所述实体机器人的数字孪生体模型、机器人名称、角色、性格、应用场景及对话、语言参数、网络参数、待识别的用户人脸清单和对应的机器人服务中的一种或多种，其中所述应用场景根据所述三维环境语义地图配置。
4.根据权利要求1所述的***，其特征在于，所述云服务器还包括机器人开放平台，用于提供机器人服务开发接口以供开发者进行所述机器人服务开发。
5.根据权利要求4所述的***，其特征在于，所述机器人服务为基于所述数字孪生体开发和训练的应用，所述机器人服务开发包括数字孪生体开发、机器人行为和动作编辑和机器人业务行为蓝图编辑。
6.根据权利要求2所述的***，其特征在于，所述数字孪生运行核心模块还用于：在所述数字孪生体在所述数字孪生世界中执行所述机器人技能和应用的训练过程中，若所述数字孪生体执行所述机器人服务的完成情况的数值化评价超过第一预设阈值时，确定所述机器人技能和应用的训练完成，若确定所述机器人技能和应用的训练完成，将训练完成的机器人技能和应用加载到所述机器人控制模块进行同步试运行；
所述机器人控制模块还用于：加载并同步试运行训练完成的机器人技能和应用；
所述数字孪生运行核心模块还用于：若所述机器人控制模块试运行训练完成的机器人技能和应用的完成情况的数值化评价超过第二预设阈值时，将所述机器人技能和应用所对应的服务发布至所述机器人业务应用服务平台。
7.根据权利要求1所述的***，其特征在于，所述数字孪生运行核心模块还包括第一游戏引擎，用于加载所述数字孪生体和所述数字孪生世界，运行和更新所述数字孪生世界，以及运行所述数字孪生体的行为和动作；
所述机器人控制模块还包括第二游戏引擎，用于运行所述数字孪生副本；
所述第一游戏引擎和所述第二游戏引擎用于共同驱动所述数字孪生体和所述数字孪生副本的行为和动作同步执行。
8.根据权利要求1所述的***，其特征在于，所述数字孪生运行核心模块进一步用于：将所述数字孪生体的行为和动作通过所述专用网络同步给所述机器人控制模块上的数字孪生副本；
所述数字孪生副本根据所述数字孪生体的行为和动作，同步控制所述实体机器人执行所述行为和动作。
9.根据权利要求1所述的***，其特征在于，所述机器人控制模块还用于：将所述实体机器人的传感器获取的当前环境变化信息和实体机器人自身行为和动作变化信息发送给所述数字孪生运行核心模块，以使所述数字孪生体与所述实体机器人保持行为和动作同步。
10.根据权利要求1所述的***，其特征在于，所述多领域知识图谱包括与机器人服务相关的实体之间关系的语义网络，所述语义网络包括信息和知识，所述信息用于描述外部客观事实，所述知识是外部客观规律的归纳和总结；
所述机器人行为动作库包括机器人通过模仿学习到的人类行为和动作；
所述三维环境语义地图是实体机器人所处的三维环境的语义数据，所述三维环境语义地图通过如下方式获得：将所述多源数据进行融合获得三维环境数据，基于所述三维环境数据通过语义分割进行地图建模，构建所述三维环境语义地图。
11.根据权利要求10所述的***，其特征在于，所述构建所述三维环境语义地图，包括：
结合基于深度学习的应用场景识别、物体检测识别、几何模型表示、空间语义关系和语义标注，构建多语义融合的三维环境语义地图。
12.根据权利要求1所述的***，其特征在于，所述语言AI包括自动语音识别、自然语言理解和语音合成；所述视觉AI包括人脸识别、人体识别、人像识别、物体识别和环境场景识别；所述运动AI包括外力传感感知、自主移动和导航、肢体动作；所述多模态AI是指具有所述语言AI、视觉AI和运动AI的能力，以及同时具有多因素结合输出的能力，其中所述多因素结合输出包括所述语言AI、视觉AI和运动AI的输入以及语音输出、运动输出；
所述人工增强AI用于：通过人工介入操作为***强化学习提供正向激励输入，在人工介入操作时，所述语言AI、视觉AI、运动AI和多模态AI均是在线运行状态。
13.根据权利要求12所述的***，其特征在于，所述人工增强AI进一步用于：若出现机器人服务异常情况，接收服务训练师在其操控权限内对所述数字孪生体的操作。
14.根据权利要求1所述的***，其特征在于，所述机器人大数据模块还用于存储和分析***运行和服务日志数据、用户数据、人工增强的操作数据和***性能数据中的一种或多种。
15.根据权利要求1所述的***，其特征在于，所述多源数据包括通过所述实体机器人的传感器获取的音视频数据、三维环境点云数据、机器人行为和动作数据和多模态交互数据中的一种或多种。
16.根据权利要求1、14或15所述的***，其特征在于，所述机器人大数据模块进一步用于：
对存储的数据进行数据抽取、数据转换、数据装载、数据分类、数据标注、异常检测和数据清洗，得到处理后的数据；
对所述处理后的数据进行实时分析和离线分析，对所述云端机器人***中各个所述机器人服务的运行进行数值化评价，所述数值化评价用于确定所述机器人技能和应用的训练是否完成，以及触发所述数字孪生运行核心模块对所述机器人技能和应用进行重新训练和更新。
17.根据权利要求16所述的***，其特征在于，
所述数值化评价包括AI算法和模型的实际识别率、人机对话回复的满意度、服务响应时长和机器人业务行为蓝图的高效性和稳定性；
所述机器人大数据模块进一步用于：对数值化评价的目标结论进行分类，形成先验知识、相关业务和相关数据。
18.一种云服务器，用于控制实体机器人，其特征在于，包括机器人接入与数据交换模块、知识和数据智能模块、人工增强机器智能模块、数字孪生运行核心模块和机器人大数据模块，所述云服务器和所述实体机器人之间通过专用网络进行通信；其中，
所述机器人接入与数据交换模块用于进行机器人服务进程注册和机器人接入认证，以及接收所述实体机器人发送的多源数据，并进行数据交换、融合和分发；
所述知识和数据智能模块用于提供机器人服务的多领域知识图谱、机器人行为动作库和三维环境语义地图；
所述数字孪生运行核心模块包括数字孪生世界和数字孪生体，其中，所述数字孪生世界基于所述三维环境语义地图构建，所述数字孪生体为与所述实体机器人物理属性相同的物理模型；所述数字孪生体用于在所述数字孪生世界中基于所述机器人服务的多领域知识图谱、所述机器人行为动作库和所述多源数据执行机器人技能和应用的训练和在线运行，以同步控制所述实体机器人执行所述机器人技能和应用；
所述人工增强机器智能模块通过语言AI、视觉AI、运动AI、多模态AI和人工增强AI，支持所述数字孪生运行核心模块进行机器人技能和应用的训练和在线运行；
所述机器人大数据模块用于存储和分析所述多源数据，将分析后的多源数据反馈给所述数字孪生运行核心模块用于所述机器人技能和应用的训练和在线运行。
19.一种机器人控制模块，其特征在于，所述机器人控制模块和云服务器之间通过专用网络进行通信；
所述机器人控制模块包括数字孪生副本，所述数字孪生副本为运行在所述云服务器上的数字孪生体的副本；所述数字孪生副本根据所述数字孪生体执行的机器人服务，同步控制实体机器人执行所述机器人服务；
所述机器人控制模块还用于向所述云服务器发送多源数据，以使所述数字孪生体在数字孪生世界中基于机器人服务的多领域知识图谱、机器人行为动作库和所述多源数据执行机器人技能和应用的训练和在线运行，以通过所述数字孪生副本同步控制所述实体机器人执行所述服务。
20.一种机器人，其特征在于，所述机器人包括如权利要求19所述的机器人控制模块。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011386136.2A CN112668687B (zh) | 2020-12-01 | 2020-12-01 | 云端机器人***、云服务器、机器人控制模块和机器人 |
| PCT/CN2021/124506 WO2022116716A1 (zh) | 2020-12-01 | 2021-10-18 | 云端机器人***、云服务器、机器人控制模块和机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011386136.2A CN112668687B (zh) | 2020-12-01 | 2020-12-01 | 云端机器人***、云服务器、机器人控制模块和机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112668687A CN112668687A (zh) | 2021-04-16 |
| CN112668687B true CN112668687B (zh) | 2022-08-26 |
Family
ID=75400739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011386136.2A Active CN112668687B (zh) | 2020-12-01 | 2020-12-01 | 云端机器人***、云服务器、机器人控制模块和机器人 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112668687B (zh) |
| WO (1) | WO2022116716A1 (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668687B (zh) * | 2020-12-01 | 2022-08-26 | 达闼机器人股份有限公司 | 云端机器人***、云服务器、机器人控制模块和机器人 |
| CN115237113B (zh) * | 2021-08-02 | 2023-05-12 | 达闼机器人股份有限公司 | 机器人导航的方法、机器人、机器人***及存储介质 |
| CN113626003A (zh) * | 2021-08-16 | 2021-11-09 | 杭州群核信息技术有限公司 | 云端机器人解决方案*** |
| CN113687718A (zh) * | 2021-08-20 | 2021-11-23 | 广东工业大学 | 一种人-机集成的数字孪生***及其构建方法 |
| CN113959444A (zh) * | 2021-09-30 | 2022-01-21 | 达闼机器人有限公司 | 用于无人设备的导航方法、装置、介质及无人设备 |
| CN114310870A (zh) * | 2021-11-10 | 2022-04-12 | 达闼科技（北京）有限公司 | 智能体的控制方法、装置、电子设备及存储介质 |
| CN114080905B (zh) * | 2021-11-25 | 2022-12-06 | 杭州乔戈里科技有限公司 | 基于数字双胞胎的采摘方法及云采摘机器人*** |
| CN114371174A (zh) * | 2021-12-17 | 2022-04-19 | 中国电子科技集团公司第四十一研究所 | 一种用于工业产线的视觉孪生检测装置及方法 |
| CN114387643A (zh) * | 2021-12-28 | 2022-04-22 | 达闼机器人有限公司 | 机器人控制方法、***、计算机设备及存储介质 |
| CN114290333B (zh) * | 2021-12-29 | 2024-02-27 | 中国电信股份有限公司 | 一种泛在机器人***、构建方法及装置、设备、介质 |
| CN114372356B (zh) * | 2021-12-29 | 2023-02-28 | 达闼机器人股份有限公司 | 基于数字孪生的人工增强方法、装置及介质 |
| CN114559433B (zh) * | 2022-03-17 | 2024-01-12 | 达闼机器人股份有限公司 | 机器人控制方法、装置、存储介质、机器人及云端服务器 |
| CN114722050B (zh) * | 2022-06-10 | 2022-09-30 | 辰星（天津）自动化设备有限公司 | 机器人***的数据同步方法、及机器人*** |
| CN115080797B (zh) * | 2022-06-28 | 2023-03-07 | 电子科技大学 | 一种基于知识图谱的数字孪生车间多尺度关联方法 |
| CN115268667A (zh) * | 2022-07-18 | 2022-11-01 | 北京数字冰雹信息技术有限公司 | 一种网页端数字孪生三维场景控制方法及*** |
| CN117910188A (zh) * | 2022-10-10 | 2024-04-19 | 华为云计算技术有限公司 | 模拟训练方法、装置及计算设备集群 |
| CN115659838B (zh) * | 2022-11-14 | 2023-02-28 | 中国电力科学研究院有限公司 | 一种电力***主设备数字孪生混合模型构建方法及装置 |
| CN115860366B (zh) * | 2022-11-17 | 2024-05-14 | 桂林电子科技大学 | 一种社区机器人智慧协调管控方法、***和可读存储介质 |
| CN115994458B (zh) * | 2023-03-23 | 2023-07-18 | 华南理工大学 | 一种虚实集成的多智能体集群***仿真方法 |
| CN116704156B (zh) * | 2023-04-28 | 2024-07-02 | 北京优酷科技有限公司 | 模型生成方法、电子设备及模型生成*** |
| CN116214527B (zh) * | 2023-05-09 | 2023-08-11 | 南京泛美利机器人科技有限公司 | 一种增强人机协作适应性的三体协同智能决策方法和*** |
| CN116370954B (zh) * | 2023-05-16 | 2023-09-05 | 北京可以科技有限公司 | 游戏方法和游戏装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108235697A (zh) * | 2017-09-12 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 一种机器人动态学习方法、***、机器人以及云端服务器 |
| CN110430260A (zh) * | 2019-08-02 | 2019-11-08 | 哈工大机器人（合肥）国际创新研究院 | 一种基于大数据云计算支撑的机器人云平台及工作方法 |
| CN110866588A (zh) * | 2019-11-08 | 2020-03-06 | 中国科学院软件研究所 | 一种实现智能虚拟数字动物的可学习能力模型个性化的训练学习方法与*** |
| CN111273892A (zh) * | 2020-02-13 | 2020-06-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于云端技术和边缘计算实现智能机器人的方法 |
| CN111897332A (zh) * | 2020-07-30 | 2020-11-06 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200304375A1 (en) * | 2019-03-19 | 2020-09-24 | Microsoft Technology Licensing, Llc | Generation of digital twins of physical environments |
| CN112668687B (zh) * | 2020-12-01 | 2022-08-26 | 达闼机器人股份有限公司 | 云端机器人***、云服务器、机器人控制模块和机器人 |
-
2020
- 2020-12-01 CN CN202011386136.2A patent/CN112668687B/zh active Active
-
2021
- 2021-10-18 WO PCT/CN2021/124506 patent/WO2022116716A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108235697A (zh) * | 2017-09-12 | 2018-06-29 | 深圳前海达闼云端智能科技有限公司 | 一种机器人动态学习方法、***、机器人以及云端服务器 |
| CN110430260A (zh) * | 2019-08-02 | 2019-11-08 | 哈工大机器人（合肥）国际创新研究院 | 一种基于大数据云计算支撑的机器人云平台及工作方法 |
| CN110866588A (zh) * | 2019-11-08 | 2020-03-06 | 中国科学院软件研究所 | 一种实现智能虚拟数字动物的可学习能力模型个性化的训练学习方法与*** |
| CN111273892A (zh) * | 2020-02-13 | 2020-06-12 | 济南浪潮高新科技投资发展有限公司 | 一种基于云端技术和边缘计算实现智能机器人的方法 |
| CN111897332A (zh) * | 2020-07-30 | 2020-11-06 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及*** |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于ROS的机器人云平台架构设计;陈彬 等;《制造业自动化》;20190831;第41卷(第8期);第115-117页 * |
| 机器人云服务平台架构研究综述;陈彬 等;《制造业自动化》;20190430;第41卷(第4期);第169-172页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112668687A (zh) | 2021-04-16 |
| WO2022116716A1 (zh) | 2022-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112668687B (zh) | 云端机器人***、云服务器、机器人控制模块和机器人 | |
| CN111432989B (zh) | 人工增强基于云的机器人智能框架及相关方法 | |
| Xi et al. | The rise and potential of large language model based agents: A survey | |
| AU2020201118A1 (en) | Methods and systems for managing dialogs of a robot | |
| JP2020533708A (ja) | ロボットの動的学習方法、システム、ロボット及びクラウドサーバ | |
| CN106845624A (zh) | 与智能机器人的应用程序有关的多模态交互方法及*** | |
| AU2018202076A1 (en) | Activity monitoring of a robot | |
| CN111095170B (zh) | 虚拟现实场景及其交互方法、终端设备 | |
| CN110465089A (zh) | 基于图像识别的地图探索方法、装置、介质及电子设备 | |
| CN113199472A (zh) | 机器人控制方法、装置、存储介质、电子设备和机器人 | |
| US20220076099A1 (en) | Controlling agents using latent plans | |
| WO2021138939A1 (zh) | 一种云脑机器人*** | |
| US20220207831A1 (en) | Simulated control for 3- dimensional human poses in virtual reality environments | |
| WO2022140540A1 (en) | Simulated control for 3-dimensional human poses in virtual reality environments | |
| Scheutz et al. | Toward affective cognitive robots for human-robot interaction | |
| Temsamani et al. | A multimodal AI approach for intuitively instructable autonomous systems: a case study of an autonomous off-highway vehicle | |
| Gonçalves et al. | Defining behaviors for autonomous agents based on local perception and smart objects | |
| CN110177661A (zh) | 自动移动编排 | |
| Gebhardt et al. | Optimal Control to Support High-Level User Goals in Human-Computer Interaction | |
| Kasbo | Reducing the Sim-To-Real Gap in Reinforcement Learning for Robotic Grasping with Depth Observations | |
| US20240160888A1 (en) | Realistic, controllable agent simulation using guided trajectories and diffusion models | |
| Gebellí Guinjoan et al. | A multi-modal AI approach for intuitively instructable autonomous systems | |
| Meloni | Learning from Video Streams: Virtual Environments and Parallel Computation | |
| Thalmann et al. | Virtual and real humans interacting in the virtual world | |
| Panasiuk | Computer simulation of an automated robot grasping with object pose estimation: Software frameworks that are suitable to build a reliable computer simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai Applicant after: Dayu robot Co.,Ltd. Address before: 200000 second floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai Applicant before: Dalu Robot Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |