CN114789450A - 一种基于机器视觉的机器人运动轨迹数字孪生方法 - Google Patents

Abstract

本发明专利公开了一种基于机器视觉的机器人运动轨迹数字孪生方法，针对物理环境被加工物体多变导致机器人轨迹难以快速适应变化的难题，本方法设计了远程虚拟环境映射被加工物体的机器人物理环境以及基于3D机器视觉的被加工物体3D建模和机器人轨迹自动生成***，在虚拟环境通过远程获取本地物理环境基于机器视觉的物理环境机器人执行结果反馈，虚拟环境完成机器人轨迹的优化和仿真执行，并可实时控制物理环境的机器人完成对被加工物体的操作。

Description

一种基于机器视觉的机器人运动轨迹数字孪生方法

技术领域

本发明属于机器视觉、人工智能、智能制造装备和智慧医疗装备技术领域。

背景技术

目前，智能制造和智慧医疗等领域，针对复杂多变的被加工的物体，现场物理环境下如何减少工人的技术干预和操作，降低技术人工成本，让机器人可以快速生成正确的轨迹，这些已经成为阻碍智能制造发展的重要因素。

针对复杂多变的被加工物体的柔性自动制造，首先要对被加工物体做3D数字建模，如：深慧视的发明专利一种对复杂形状物体的3D坐标自动生成装置。在被加工物体的3D数字模型上由人工示教或用一定的规则自动生成机器人的工作运动轨迹。但通常情况下，上述方法生成的机器人轨迹在机器人的实际操作中，由于不同厂商生产的机器人本身的轨迹优化算法各异，会出现实际运动轨迹与上述方法生成轨迹的偏差，这就会造成被加工物体的不合格结果。目前的方案是，需要由工程师在物理环境现场对机器人轨迹进行示教或重新的编程。对于规模推广的智能制造设备来言，这会造成物理环境的企业人工成本的增加，或智能制造装备技术支持成本的增加。

由此可以看出，要解决上述问题，就必须使用远程虚拟物理环境对物理环境下的机器人进行轨迹的规划和优化调整，也就是数字孪生智能制造技术，设计远程虚拟的环境与物理环境各设备相互映射，并以工业制造云方式为物理环境的智能制造设备使用客户提供快速的支持和服务。

发明内容

本发明专利公开了一种基于机器视觉的机器人运动轨迹数字孪生方法，针对物理环境被加工物体多变导致机器人轨迹难以快速适应变化的难题，本方法设计了远程虚拟环境映射被加工物体的机器人物理环境以及基于3D机器视觉的被加工物体3D建模和机器人轨迹自动生成***，在虚拟环境通过远程获取本地物理环境基于机器视觉的物理环境机器人执行结果反馈，虚拟环境完成机器人轨迹的优化和仿真执行，并可实时控制物理环境的机器人完成对被加工物体的操作。在智能制造物理环境下的企业，可以提高智能制造设备对不同被加工产品的生产效率，减少智能制造设备的技术支持成本。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于机器视觉的机器人运动轨迹数字孪生方法，由3D相机数字建模与轨迹生成***、本地物理环境、远程虚拟化境和制造云服务组成，其特征在于，3D相机数字建模轨迹生成***对被加工物体进行3D点云提取和机器人工作轨迹信息生成，本地物理环境的机器人***按机器人轨迹信息对被加工物体进行加工操作，检测操作结果并将操作结果反馈给远程虚拟环境，通过物理环境和虚拟环境的交互模块，虚拟环境的轨迹规划和仿真***生成优化后的机器人轨迹发送到物理环境机器人***，物理环境的机器人***完成对被加工物体的正确操作。更进一步，本发明的主要工作还包括以下步骤：

a)3D相机对被加工物体拍照，提取3D点云信息，轨迹生成***按机器人加工规则生成机器人轨迹，远程虚拟环境仿真验证并优化机器人轨迹；

b)本地物理环境轨迹规划***按照步骤a)的机器人轨迹信息启动机器人***，对被加工物体进行操作；

c)检测被加工物体的操作结果，如果被加工物体的操作结果正确，则，用机器学习优化机器人轨迹，机器人轨迹信息上传制造云服务，转步骤b) 继续被加工物体的操作，否则，向远程虚拟环境反馈操作结果，转步骤 d)；

d)远程虚拟环境根据物理环境的反馈结果，通过轨迹规划***生成机器人优化轨迹，优化轨迹进入仿真***验证并传送给本地物理环境机器人***，对被加工物体进行操作，转步骤c)；

更进一步，本专利所述本地物理环境，其组成至少包含：机器人***、轨迹规划***、视觉装置和交互模块，完成被加工物体自动加工操作。本地物理环境的工作包含以下步骤：

a)从3D相机数字建模与轨迹生成***获得被加工物体的3D数字模型参数和机器人轨迹；

b)交互模块将3D数字模型参数转换成被加工物体3D图像，并将机器人轨迹与被加工物体的3D图像叠加显示；

c)轨迹规划***按实际情况在本地调整机器人轨迹；

d)机器人***按机器人轨迹对被加工物体进行加工操作；

e)视觉装置对步骤d)被加工物体的操作结果成像，检测结果，如果结果正确，则，机器学习优化轨迹，上传当前轨迹信息到制造云服务，转步骤d)继续加工操作，否则，将被加工物体的结果和相应的机器人轨迹传送给远程虚拟环境；

更进一步，本专利的远程虚拟环境，其特征在于远程虚拟环境直接映射本地物理环境对被加工物体的处理功能，组成至少包含：轨迹规划***、机器人仿真执行***和交互模块。远程虚拟环境的工作方法包含以下步骤：

a)接收本地物理环境被加工物体的操作结果、机器人轨迹和3D数字模型信息；

b)交互模块将3D数字模型参数转换成被加工物体3D图像，并将机器人轨迹与被加工物体的3D图像叠加显示；

c)轨迹规划***调整机器人轨迹；

d)仿真***运行机器人轨迹，检测仿真结果，如果结果正确，则将机器人轨迹传送到本地物理环境的机器人***，物理环境下的机器人用虚拟环境生成的轨迹完成对被加工物体的操作。

轨迹规划***调整机器人轨迹的方法，采用人工示教调整机器人轨迹；较佳地，采用机器学习方法根据当前被加工物体的型号和特征，自动获得需要调整的机器人轨迹。

远程虚拟环境，优化轨迹进入仿真***验证的方法，至少包含：1)按机器人轨迹参数仿真执行；2)仿真机器人末端加工机构的物理行为和特征；3)仿真结果3D图形输出；4)按机器学习的方法自动验证仿真结果；5)人工检查 3D图形验证仿真结果。

物理环境，机器人对被加工物体操作后，检测操作结果并将操作结果反馈和视觉检测被加工物体结果的方法，采用2D相机拍摄被加工物体结果；

较佳地，用3D相机获得被加工物体的3D点云信息，并做3D模型重建，输出被加工物体的结果；

较佳地，被加工物体2D图像结果与3D图像结果叠加，输出结果；

对于被加工物体的结果检测，可采用人工检查被加工物体的结果；

较佳地，用机器学习方法检测被加工物体的结果。

更进一步，3D相机数字建模与轨迹生成***和机器人加工规则的方法，通过3D相机生成被加工物体及其被加工的标记的3D点云坐标信息建立3D数字模型，按被加工的标记3D坐标和加工规则生成机器人轨迹，其方法至少包含： 1)人工利用交互模块在3D数字模型上设置机器人轨迹；2)机器学习方法，自动为被加工物体生成机器人轨迹；3)按事先制定的机器人对被加工物体加工的位置和动作生成机器人轨迹。

虚拟环境的交互模块，是远程对本地物理环境各工作模块和***的虚拟映射，其主要功能包含但不仅限于：a)接管控制本地物理环境的轨迹规划、机器人***和视觉装置；b)按不同的被加工物体生成、管理并运行各自独立的线程；c)对物理环境视觉装置采集的被加工物体的结果与远程虚拟生成的机器人轨迹进行图像叠加显示。

更进一步，为了使远程虚拟环境可以同时支持多个物理环境工作，远程虚拟环境为每个被虚拟的物理环境创建独立的线程，各自独立的线程是实现对某一个被加工物体机器人的机器视觉的机器人运动轨迹数字孪生方法的软件。

制造云服务为多个物理环境提供在线服务，包含但不仅限于：a)远程虚拟环境运行在云上；b)按被加工物体的产品型号信息建立相应的机器人轨迹数据库，本地物理环境可以根据需要获得被加工物体的机器人轨迹信息；c)机器人轨迹机器学习的训练***。

附图说明

图1所示为应用本发明的原理示意图

图2所示为应用本发明工作过程实施例

图3所示为应用本发明第一实施例

图4所示为应用本发明第二实施例

具体实施方式

本发明的思路是：

一种基于机器视觉的机器人运动轨迹数字孪生方法，由3D相机数字建模与轨迹生成***、本地物理环境、远程虚拟化境和制造云服务组成，其特征在于，3D相机数字建模轨迹生成***对被加工物体进行3D点云提取和机器人工作轨迹信息生成，本地物理环境的机器人***按机器人轨迹信息对被加工物体进行加工操作，检测操作结果并将操作结果反馈给远程虚拟环境，通过物理环境和虚拟环境的交互模块，虚拟环境的轨迹规划和仿真***生成优化后的机器人轨迹发送到物理环境机器人***，物理环境的机器人***完成对被加工物体的正确操作。本发明在智能制造领域可用于工业机器人、服务机器人、协作机器人、物流机器人以及AGV等机器人轨迹数字孪生仿真，在医疗领域可用于手术机器人的运动轨迹的数字孪生优化生成。

图1所示为应用本发明的原理图

本发明总体组成包括：由3D相机数字建模与轨迹生成***、本地物理环境、远程虚拟环境和制造云服务组成。

3D相机数字建模与轨迹生成***由一个或多个3D相机组成，对被加工物体及其需要机器人操作的标识做3D扫描，该机器人操作标识可以是点、线或面，生成被加工物体及其需要机器人操作的3D点云，轨迹生成***根据机器人操作标识3D点云坐标和被加工物体的操作规则生成机器人操作轨迹。

本地物理环境是由生产加工实际设备组成，包含机器人***、轨迹规划***、视觉装置和交互模块。轨迹规划***运行在计算机上的一个软件***，主要是从3D相机数字建模与轨迹生成***获取被加工物体的3D数字模型和机器人轨迹，提供在本地直接调整机器人轨迹功能，同时将机器人轨迹发送给机器人***。机器人***至少包括机器人本体和机器人控制设备，并完成被加工物体的加工操作。视觉装置由一组3D相机和2D相机组成，由计算机控制对被加工物体的结果进行图像采集，并检测结果是否正确，检测的方法，可以是人工查看计算机显示的结果图像，也可以用机器学习的方法实现自动的检测；如果检测的结果不合格，则调用远程的虚拟环境对机器人轨迹重新优化生成。

远程虚拟环境，其特征在于远程虚拟环境直接映射本地物理环境对被加工物体的处理功能，组成至少包含：轨迹规划***、机器人仿真执行***和交互模块，其中机器人仿真执行***对应物理环境的机器人***。虚拟环境轨迹规划***从3D相机数字建模与轨迹生成***获取被加工物体的3D数字模型和机器人轨迹，同时从本地物理***的视觉装置获得实际加工的结果和实际使用的机器人轨迹；虚拟环境轨迹规划***可以由工程师对接收到的被加工物体机器人轨迹进行优化调整，优化调整的方法至少包含：1)人工优化；2)调用轨迹优化软件算法进行优化。远程虚拟环境的仿真***与本地物理环境的机器人***功能一一对应，可按照优化后的轨迹对虚拟的被加工物体进行加工处理，在被加工物体3D数字模型的基础上生成虚拟的加工处理结果，由交互模块显示输出。

制造云服务主要功能至少包括：1)为本地物理环境提供获取被加工物体的机器人轨迹云服务；2)为机器学习提供训练计算算力；3)为远程虚拟环境的软件提供运行环境支持。

图2所示为应用本发明工作过程实施例

本发明的数字孪生***在实际工作时，按以下步骤工作

201 3D相机对被加工物体及其机器人加工标志进行拍照，提取3D点云信息；

202轨迹生成***按提取的加工标志的3D点云信息和机器人加工规则生成机器人轨迹，远程虚拟环境仿真验证并优化机器人轨迹；

203本地物理环境轨迹规划***按照步骤202的机器人轨迹信息启动机器人***，对被加工物体进行操作；

204视觉装置检测机器人操作结果，采集被加工物体的图像；

205检测被加工物体的操作结果，如果被加工物体的操作结果正确，则，转209；

206向远程虚拟环境反馈操作结果，远程虚拟环境轨迹规划***对不正确轨迹进行优化；

207仿真***运行执行优化后的轨迹，

208虚拟环境将仿真验证优化后的轨迹传送给物理环境，转步骤203物理环境对被加工物体按优化后的轨迹加工操作；

209将本次正确的机器人轨迹和结果进入机器学习学习***学习训练；

210将本次正确的机器人轨迹和结果上传制造云服务进行保存；

图3为应用本发明的第一实施例

本实施例为智慧医疗领域手术机器人运动轨迹数字孪生优化方法。在手术机器人物理场景中，病人体征和患处位置和形状多变复杂，多数情况下很难事先为机器人生成轨迹，而在手术前确定治疗方案时，可以用数字孪生虚拟环境仿真机器人生成手术过程中的机器人轨迹。下面是本实施例数字孪生实现方法。

301手术物理环境；

302手术物理环境机器人轨迹规划***，根据人体3D建模信息和视觉装置采集的治疗控制板坐标信息，生成机器人和手术器具的运动轨迹；

303医疗机器人，执行运动轨迹的实体，末端携带手术器具；

304手术器具，安装在机器人末端的医疗手术器具，离子束针；

305视觉装置，安装多种3D相机，其中：1)大视野3D相机，在为轨迹规划***提供全局图像和治疗控制板的位置坐标信息，生成医疗机器人运动到治疗控制板附近的轨迹；2)高精度3D相机，在机器人运动到治疗控制板附近后，为轨迹规划***提供高精度治疗控制板坐标信息，以生成高精度机器人轨迹对人体进行手术操作；

306人体3D扫描数字建模，对人体和治疗控制板用3D相机建模，其功能包括：1)生成治疗控制板的3D坐标；2)生成人体3D坐标，为机器人安全放触碰提供数据。

307远程虚拟环境，在手术前可以仿真手术机器人生成机器人轨迹，医生通过交互界面检查虚拟仿真手术的效果。在手术过程中，虚拟环境通过数字通信网络与本地医疗物理环境通信交互；

308交互操作界面，输出仿真结果，远程可以观察手术物理环境，控制手术机器人，并提供优化后的轨迹数据；

309仿真***，根据医生的治疗方案仿真执行手术过程，形成手术机器人轨迹；同时，在手术过程中，做实时的仿真优化，将优化后的医疗机器人轨迹发送给医疗物理环境；

310轨迹优化，根据人体3D模型信息和物理环境视觉装置实时采集的医疗机器人手术器具与治疗控制板的位置信息，以及医疗手术云同类手术的机器人轨迹信息，规划生成下一步机器人的运动轨迹；

311数字通信网络，为物理环境，3D建模***和远程虚拟环境提供数字通信服务；

312治疗控制板，安放在人体病患处，为医疗机器人手术器具提供支持；

313人体，患者本人

314医疗手术云，记录不同患病处的机器人轨迹信息，为轨迹规划***提供参考数据；

图4为应用本发明第二实施例

本实施例为制鞋生产机器人鞋面喷涂操作机器人轨迹数字孪生方法。首先人工标记鞋面成型加工胶线，3D数字建模***的3D相机对鞋帮面进行 3D建模，按规则在标记的轨迹线生成机器人轨迹。机器人轨迹信息包括3D 坐标和姿态。

本地物理环境由运行轨迹规划和交互模块的计算机***、配备在机器人末端的喷胶机构的机器人和机器人控制柜、3D相机视觉挨近侧装置组成。传送给远程虚拟环境的被加工物体结果信息包括：由视觉装置采集的被加工物体图像、喷胶机构的机械参数、喷胶机构的胶路压力和流量信息。

远程虚拟环境的仿真***，在仿真运行机器人轨迹的同时，也仿真机器人末端喷胶机构胶水流量和压力参数下的喷涂结果。虚拟环境优化后的结果包含：1)机器人轨迹；2)喷胶机构参数信息；

401制鞋机器人物理环境；

402物理环境机器人轨迹规划***，根据鞋3D建模信息和视觉装置采集的治疗控制板坐标信息，生成机器人运动轨迹；

403机器人，执行运动轨迹的实体，末端携带喷胶机构；

404喷胶机构，安装在机器人末端的胶阀及其运动机构，以及由管路连接胶桶；

405视觉装置，2D和3D相机，对喷胶效果进行成像；

406鞋3D扫描数字建模，3D相机采集鞋的3D点云信息，以及鞋帮面加工线标识线的坐标，对套楦的鞋帮面用3D相机建模，识别鞋帮面加工线标识，即为胶线，生成机器人加工的轨迹。

407远程虚拟环境，在物理换环境工作前可以仿真机器人生成机器人轨迹，通过交互界面检查虚拟仿真加工的效果。在制造过程中，虚拟环境通过数字通信网络与本地物理环境通信交互，优化制造过程中机器人轨迹；

408交互操作界面，输出仿真结果，远程可以观察制造物理环境，控制制鞋机器人，并提供优化后的轨迹数据；

409仿真***，根据工程师指定的加工规则和喷胶机构参数仿真执行机器人喷涂过程，形成机器人轨迹；同时，在物理环境制造过程中，做实时的仿真优化，将优化后的机器人轨迹发送给制造物理环境；

410轨迹优化，根据鞋的3D模型信息和物理环境视觉装置实时采集的机器人喷涂效果，以及制造云同类鞋型的机器人轨迹信息，规划生成下一步机器人的运动轨迹；

411数字通信网络，为物理环境，3D建模***和远程虚拟环境提供数字通信服务；

412鞋帮面加工线标识，在3D建模时，为机器人加工标记胶线位置；

413鞋楦，支撑鞋帮面的机构

414制造云服务，为不同的鞋型提供已经验证过的机器人轨迹。

Claims (10)

1.一种基于机器视觉的机器人运动轨迹数字孪生方法，由3D相机数字建模与轨迹生成***、本地物理环境、远程虚拟化境和制造云服务组成，其特征在于，3D相机数字建模轨迹生成***对被加工物体进行3D点云提取建模和机器人工作轨迹信息生成，本地物理环境的机器人***按机器人轨迹信息对被加工物体进行加工操作，检测操作结果并将操作结果反馈给远程虚拟环境，通过物理环境和虚拟环境的交互模块，虚拟环境的轨迹规划和仿真***生成优化后的机器人轨迹发送到物理环境机器人***，物理环境的机器人***完成对被加工物体的正确操作。该方法的工作还包括以下步骤：

a)3D相机对被加工物体拍照，提取3D点云信息，轨迹生成***按机器人加工规则生成机器人轨迹，远程虚拟环境仿真验证并优化机器人轨迹；

b)本地物理环境轨迹规划***按照步骤a)的机器人轨迹信息启动机器人***，对被加工物体进行操作；

c)检测被加工物体的操作结果，如果被加工物体的操作结果正确，则，用机器学习优化机器人轨迹，机器人轨迹信息上传制造云服务，转步骤b)继续被加工物体的操作，否则，向远程虚拟环境反馈操作结果，转步骤d)；

d)远程虚拟环境根据物理环境的反馈结果，通过轨迹规划***生成机器人优化轨迹，优化轨迹进入仿真***验证并传送给本地物理环境机器人***，对被加工物体进行操作，转步骤c)。

2.根据权利要求1所述的方法，其特征在于，所述本地物理环境，至少包含：机器人***、轨迹规划***、视觉装置和交互模块，完成被加工物体自动加工操作。该方法包含以下步骤：

a)从3D相机数字建模与轨迹生成***获得被加工物体的3D数字模型参数和机器人轨迹；

b)交互模块将3D数字模型参数转换成被加工物体3D图像，并将机器人轨迹与被加工物体的3D图像叠加显示；

c)轨迹规划***按实际情况在本地调整机器人轨迹；

d)机器人***按机器人轨迹对被加工物体进行加工操作；

e)视觉装置对步骤d)被加工物体的操作结果成像，检测结果，如果结果正确，则，机器学习优化轨迹，上传当前轨迹信息到制造云服务，转步骤d)继续加工操作，否则，将被加工物体的结果和相应的机器人轨迹传送给远程虚拟环境。

3.根据权利要求1所述的方法，其特征在于远程虚拟环境直接映射本地物理环境对被加工物体的处理功能，至少包含：轨迹规划***、仿真***和交互模块。该方法包含以下步骤：

a)接收本地物理环境被加工物体的操作结果、机器人轨迹和3D数字模型信息；

b)交互模块将3D数字模型参数转换成被加工物体3D图像，并将机器人轨迹与被加工物体的3D图像叠加显示；

c)轨迹规划***调整机器人轨迹；

d)仿真***运行执行机器人轨迹对虚拟的被加工物体进行加工处理，检测仿真结果，如果结果正确，则将机器人轨迹传送到本地物理环境的机器人***。

4.根据权利要求1和权利要求3所述的方法，其特征在于，优化轨迹进入仿真***验证的方法，至少包含：1)按机器人轨迹参数仿真；2)仿真物理环境机器人末端加工机构的物理行为和特征；3)仿真结果3D图形输出；4)按机器学习的方法自动验证仿真结果；5)人工检查3D图形验证仿真结果。

5.根据权利要求1所述的方法，其特征在于，检测操作结果并将操作结果反馈和视觉检测被加工物体结果的方法，至少包含：1)用2D相机拍摄被加工物体结果；2)用3D相机获得被加工物体的3D点云信息；3)用机器学习方法检测被加工物体的结果；4)人工检查被加工物体的结果。

6.根据权利要求1所述的方法，其特征在于，3D相机数字建模与轨迹生成***和机器人加工规则的方法，通过3D相机生成被加工物体及其机器人加工处理标记的3D点云坐标信息建立3D数字模型，生成机器人轨迹的方法至少包含：1)人工利用交互模块在3D数字模型上设置机器人轨迹；2)机器学习方法，自动为被加工物体生成机器人轨迹；3)按事先制定的机器人对被加工物体加工的位置和动作生成机器人轨迹。

7.根据权利要求1和权利要求4所述的装置，其特征在于，虚拟环境的交互模块包含但不仅限于：a)接管控制本地物理环境的轨迹规划、机器人***和视觉装置；b)按不同的被加工物体生成、管理并运行各自独立的线程；c)对物理环境视觉装置采集的被加工物体的结果与机器人轨迹进行图像叠加显示。

8.根据权利要求1和权利要求7所述的方法，其特征在于各自独立的线程是实现对某一个被加工物体机器人的机器视觉的机器人运动轨迹数字孪生方法的软件。

9.根据权利要求1所述方法，其特征在于制造云服务包含但不仅限于：a)远程虚拟环境运行在云上；b)按被加工物体的产品型号信息建立相应的机器人轨迹数据库；c)机器人轨迹机器学习的训练***。

10.根据权利要求2和权利要求3所述装置，其特征在于轨迹规划***调整机器人轨迹的方法，至少包含：1)机器学习方法自动获得需要调整的机器人轨迹；2)人工示教调整机器人轨迹。

Images