CN116629106A - 移动机器人运行场景的准数字孪生方法、***、设备及介质 - Google Patents

移动机器人运行场景的准数字孪生方法、***、设备及介质 Download PDF

Info

Publication number
CN116629106A
CN116629106A CN202310517881.3A CN202310517881A CN116629106A CN 116629106 A CN116629106 A CN 116629106A CN 202310517881 A CN202310517881 A CN 202310517881A CN 116629106 A CN116629106 A CN 116629106A
Authority
CN
China
Prior art keywords
positioning data
data
mobile robot
robot
airborne
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310517881.3A
Other languages
English (en)
Inventor
张建政
李洪涛
李方保
李亮华
韦鲲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sazhi Intelligent Technology Co ltd
Original Assignee
Shanghai Sazhi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sazhi Intelligent Technology Co ltd filed Critical Shanghai Sazhi Intelligent Technology Co ltd
Priority to CN202310517881.3A priority Critical patent/CN116629106A/zh
Publication of CN116629106A publication Critical patent/CN116629106A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/18—Manufacturability analysis or optimisation for manufacturability
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供一种移动机器人运行场景的准数字孪生方法、***、设备及介质，该方法包括：获取移动机器人的机载定位数据并进行解算；获取移动机器人的机载测距数据并进行解算；获取移动机器人接收到的无线信号强度并解算得到辅助定位数据；获取场景内相机的图像信号并解算得到图像定位数据；将解算后的机载定位和测距数据与辅助定位数据和图像定位数据进行融合，得到统一坐标系下机器人的唯一目标定位数据和目标测距数据；基于该目标定位和测距数据及场景地图，建立相应的准数字孪生模型。由此，本发明能够为上位机器人管理***提供一致性定位测距数据，并且该孪生模型相当于为机器人提供了除其机载测距模块外的额外测距***，增强了其移动安全性。

Description

移动机器人运行场景的准数字孪生方法、***、设备及介质
技术领域
本发明涉及移动机器人技术领域，具体涉及一种移动机器人运行场景的准数字孪生方法、***、设备及介质。
背景技术
在智能制造生产场景中，越来越多的移动机器人共处于同一场景中作业，如移动复合机器人、巡检机器人、物流转运配送机器人等。这些机器人与生产场景中的人、物料、其他设备等共存，这些机器人可能来自于多家供应商，如何让机器人在该复杂场景中能够有序、安全的运行而不产生潜在安全风险，如机器人与其他设备或者移动的对象之间发生可能的碰擦，是整个机器人管理***或平台需要考虑的问题，这是涉及到企业安全生产的关键问题。
这些问题的核心，是机器人要能够准确的定位与测距，包括机器人自身在场景中的定位，机器人与周围其他物体之间的距离的准确测定等。如何将机器人、障碍物(包括移动障碍物)等的位置信息以及彼此之间的距离数据在统一场景坐标中进行一致性获取，从而提供给上位机器人管理平台作为调度、监控的数据源和决策依据是一个重要的技术问题。
另外，随着智能制造场景复杂度和现场生产设备种类等因素的增多、以及临时移动障碍物(如运输设备或人等外来“物种”)加入作业现场，给移动机器人作业带来一定的潜在风险。机器人遇到此类“物种”，只能采取避让措施。因此，如何利用场景中布设的现有检测感知设备或设施，如安防监控摄像头、WIFI无线设备等完成场景因素全感知并识别出所在位置坐标，作为一种数据源提供给上位机器人管理***(群控调度平台)决策，也是一个技术问题。
发明内容
为了解决智能制造生产场景中，当运行有多机器人群、有多源测距和定位设备时造成上位机器人管理***基础定位测距数据获取的一致性问题，以及如何通过现场已经布设的感知设备对场景中运行的移动机器人进行实时定位和测距的问题，本发明提供一种移动机器人运行场景的准数字孪生方法、***、设备及介质。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种移动机器人运行场景的准数字孪生方法，包括：
针对目标场景内的多个移动机器人，获取每个移动机器人的机载定位模块(如GPRS定位模块)得到的机载定位数据，并对所述机载定位数据进行解算；
获取每个所述移动机器人的机载测距模块(如激光雷达或超声波传感器等)得到的机载测距数据，并对所述机载测距数据进行解算；
获取每个所述移动机器人接收到的来自于预设无线通信模块的无线信号，并对所述无线信号的强度进行解算得到辅助定位数据；
获取所述目标场景内预先已经布置的图像采集模块(如安防监控相机)输出的图像信号，并基于所述图像信号获取所述目标场景内移动对象的图像定位数据；
将解算后的全部所述机载定位数据和机载测距数据、与所述辅助定位数据和所述图像定位数据进行融合计算，得到统一坐标系下每个所述移动机器人对应的目标定位数据和目标测距数据；
基于每个所述移动机器人对应的目标定位数据和目标测距数据、以及预先生成的所述目标场景的场景地图，建立所述目标场景对应的准数字孪生模型。
本实施例之所以称为“准”数字孪生模型，是因为该模型并非是真正的传统意义上的数字孪生模型，其与数字孪生模型的区别点在于，在该模型中机器人、障碍物等都被标识为一个点，并非与其物理架构相对应的映射模型，而其余特征与数字孪生模型相同，所以称为“准”数字孪生模型。该准数字孪生模型与机器人运动现场的数据是实时交互的，模型中的机器人运动状态与现场机器人的运动状态实时同步。
可选地，所述通信模块包括WIFI路由器，所述无线信号为WIFI信号；
所述对所述无线信号的强度进行解算，包括：
根据获取到的WIFI信号的强度、以及预先建立的WIFI信号强度与相应的所述移动机器人距离该WIFI路由器的距离的对应关系，确定相应所述移动机器人与所述WIFI路由器之间的距离，并根据确定的距离以及所述WIFI路由器的位置信息获取所述移动机器人的辅助定位数据。
可选地，所述基于所述图像信号获取所述目标场景内移动对象的图像定位数据，包括：
识别所述图像信号中的移动对象；
基于所述图像信号以及所述图像采集模块的实际位置信息和参数信息，确定所述移动对象的图像定位数据。
可选地，当从多个图像信号中识别到某移动对象时，所述确定所述移动对象的图像定位数据，包括：
根据该移动对象的轮廓所包围的像素数量最多的两个图像信号，确定该移动对象与相应图像采集模块之间的距离信息，并根据该距离信息与相应图像采集模块的实际位置信息和参数信息确定该移动对象的图像定位数据。
可选地，所述移动对象包括移动障碍物，所述将解算后的全部所述机载定位数据和机载测距数据、与所述辅助定位数据和所述图像定位数据进行融合计算，包括采用以下步骤融合所述移动障碍物的图像定位数据与所述机载测距数据：
判断所述移动机器人是否存在与所述移动障碍物的图像定位数据对应的机载测距数据；
若不存在，则将所述移动障碍物的图像定位数据作为所述移动障碍物的目标定位数据；
若存在，则判断该存在的机载测距数据所对应的移动障碍物定位数据、与所述移动障碍物的图像定位数据的重合度是否高于预设重合度阈值；
若高于，则将该存在的机载测距数据与所述移动障碍物的图像定位数据进行融合计算，并将融合结果作为所述移动障碍物的目标定位数据；
若不高于，则将该存在的机载测距数据所对应的移动障碍物定位数据作为所述移动障碍物的目标定位数据；
根据所述移动障碍物的目标定位数据，确定所述移动机器人的目标测距数据。
可选地，所述方法还包括按照以下步骤预测所述移动机器人与所述移动障碍物是否可能发生碰撞：
基于所述移动障碍物的历史目标定位数据和对应的运行时间，获取所述移动障碍物的预估运动轨迹和预估运动速度；
获取所述移动机器人的规划运动轨迹与所述移动障碍物的预估运动轨迹的相交点；
基于所述移动障碍物当前的目标定位数据、预估运动轨迹和预估运动速度，计算所述移动障碍物到达所述相交点的时间，记为第一时间；
基于所述移动机器人当前的目标定位数据、规划运动轨迹和预设运动速度，计算所述移动机器人到达所述相交点的时间，记为第二时间；
基于所述第一时间和第二时间，预测所述移动机器人与所述移动障碍物是否可能发生碰撞。
可选地，当预测到有所述移动机器人与所述移动障碍物可能发生碰撞时，则向上位机器人管理***发出相应的预警信息。
可选地，当预测到某个所述移动机器人与多个所述移动障碍物可能发生碰撞时，则依据所述准数字孪生模型重新规划所述某个移动机器人的运动轨迹。
第二方面，本发明提供一种移动机器人运行场景的准数字孪生***，该***包括：
机载定位数据解算模块，用于获取每个移动机器人的机载定位模块得到的机载定位数据，并对所述机载定位数据进行解算；
机载测距数据解算模块，用于获取每个所述移动机器人的机载测距模块得到的机载测距数据，并对所述机载测距数据进行解算；
辅助定位数据解算模块，用于获取每个所述移动机器人接收到的来自于预设无线通信模块的无线信号，并对所述无线信号的强度进行解算得到辅助定位数据；
图像定位数据解算模块，用于获取所述目标场景内布置的图像采集模块输出的图像信号，并基于所述图像信号获取所述目标场景内移动对象的图像定位数据；
融合计算模块，用于将解算后的全部所述机载定位数据和机载测距数据、与所述辅助定位数据和所述图像定位数据进行融合计算，得到统一坐标系下每个所述移动机器人对应的目标定位数据和目标测距数据；
孪生模型建立模块，用于基于每个所述移动机器人对应的目标定位数据和目标测距数据、以及预先生成的所述目标场景的场景地图，建立所述目标场景对应的准数字孪生模型。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如前所述的准数字孪生方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如前所述的准数字孪生方法的步骤。
通过采用上述技术方案，本发明具有以下有益效果：
本发明通过将机载定位数据、机载测距数据、WIFI等辅助定位数据以及图像定位数据进行融合计算，得到统一坐标系下每个所述移动机器人对应的目标定位数据和目标测距数据；而后，基于每个所述移动机器人对应的目标定位数据和目标测距数据、以及预先生成的所述目标场景的场景地图，建立所述目标场景对应的准数字孪生模型。从而，一方面，能够为上位机器人管理***提供场景内现场运行的移动机器人的实时位置及其与周边障碍物之间实时距离的一致性数据，为上位机器人管理***提供了决策依据；另一方面，由于准数字孪生模型与移动机器人的数据是实时双向交互的，即该孪生模型中的数据也会实时下传到现场运行的各个机器人，因而各机器人能够基于本身的机载测距数据和接收到的来自准数字孪生模型的测距数据进行移动导航，相当于移动机器人额外增加了一套测距***，即使其自带的机载测距模块失效，也能保证移动的安全性，增强了可靠性。
附图说明
图1为本发明的移动机器人运行场景的准数字孪生方法的流程图；
图2为本发明的移动机器人运行场景的准数字孪生***的结构框图；
图3为本发明场景中进行定位测距的示意图；
图4为本发明基于图像信号对移动障碍物进行定位的流程示意图；
图5为本发明生成的准数字孪生模型的界面示意图；
图6为本发明进行潜在碰撞预测的示意图；
图7为本发明进行潜在碰撞预测的流程图；
图8为本发明的电子设备的硬件架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
实施例1
本实施例提供一种移动机器人运行场景的准数字孪生方法，如图1所示，该方法具体包括以下步骤：
S1，针对目标场景内的多个移动机器人(以下可简称机器人)，获取每个移动机器人的机载定位模块(如GPRS定位模块)得到的机载定位数据，并对所述机载定位数据进行解算；
S2，获取每个所述移动机器人的机载测距模块(如激光雷达或超声波传感器等)得到的机载测距数据，并对所述机载测距数据进行解算；
S3，获取每个所述移动机器人接收到的来自于预设无线通信模块(如WIFI路由器等)的无线信号，并对所述无线信号的强度(体现为其幅值)进行解算得到辅助定位数据；
S4，获取所述目标场景内布置的图像采集模块(如安防监控相机)输出的图像信号，并基于所述图像信号获取所述目标场景内移动对象(可以包括移动机器人和移动障碍物)的图像定位数据；
S5，将解算后的全部所述机载定位数据和机载测距数据、与所述辅助定位数据和所述图像定位数据进行融合计算，得到统一坐标系下每个所述移动机器人对应的目标定位数据和目标测距数据；
S6，基于每个所述移动机器人对应的目标定位数据和目标测距数据、以及预先生成的所述目标场景的场景地图，建立所述目标场景对应的准数字孪生模型。
本实施例之所以称为“准”数字孪生模型，是因为该模型并非是真正的传统意义上的数字孪生模型，其与数字孪生模型的区别点在于，在该模型中机器人、移动障碍物等都被标识为一个点，并非与其物理架构相对应的映射模型，而其余特征与数字孪生模型相同，所以称为“准”数字孪生模型。该准数字孪生模型与机器人运动现场的数据是实时交互的，模型中的机器人运动状态与现场机器人的运动状态实时同步。
应该理解，本实施例中的步骤S1～S4并行执行。
在一可实施的方式中，所述无线通信模块为WIFI路由器，所述无线信号为WIFI信号；步骤S3通过以下步骤对所述无线信号进行解算：根据获取到的WIFI信号的强度、以及预先建立的WIFI信号强度与相应的所述移动机器人距离该WIFI路由器的距离的对应关系，确定相应所述移动机器人与所述WIFI路由器之间的距离，并根据确定的距离以及所述WIFI路由器的位置信息获取所述移动机器人的辅助定位数据。
在一可实施的方式中，步骤S4基于所述图像信号获取所述目标场景内移动对象的图像定位数据的过程如下：首先识别所述图像信号中的移动对象；而后基于所述图像信号以及所述图像采集模块的实际位置信息和参数信息，确定所述移动对象的图像定位数据。优选地，当可以从多个图像信号中识别到某移动对象时，确定该移动对象的图像定位数据的过程如下：根据该移动对象的轮廓所包围的像素数量最多的两个图像信号(包含的像素数量越多，表明该移动对象距离该相机越近，在图像中显示尺寸较大，有利于更好的计算距离信息)，确定该移动对象与相应图像采集模块之间的距离信息，并根据该距离信息与相应图像采集模块的实际位置信息和参数信息确定该移动对象的图像定位数据。
在一可实施的方式中，所述移动对象包括移动障碍物，步骤S5采用以下步骤融合所述移动障碍物的图像定位数据与所述机载测距数据：首先判断所述移动机器人是否存在与所述移动障碍物的图像定位数据对应的机载测距数据；若不存在，则将所述移动障碍物的图像定位数据作为所述移动障碍物的目标定位数据；若存在，则判断该存在的机载测距数据所对应的移动障碍物定位数据、与所述移动障碍物的图像定位数据的重合度是否高于预设重合度阈值；若高于，则将该存在的机载测距数据与所述移动障碍物的图像定位数据进行融合计算，并将融合结果作为所述移动障碍物的目标定位数据；若不高于，则将该存在的机载测距数据所对应的移动障碍物定位数据作为所述移动障碍物的目标定位数据；根据所述移动障碍物的目标定位数据，可以确定所述移动机器人的目标测距数据。
在一可实施的方式中，本实施例的方法还包括按照以下步骤预测所述移动机器人与所述移动障碍物是否可能发生碰撞：基于所述移动障碍物的历史目标定位数据和对应的运行时间，获取所述移动障碍物的预估运动轨迹和预估运动速度；获取所述移动机器人的规划运动轨迹与所述移动障碍物的预估运动轨迹的相交点；基于所述移动障碍物当前的目标定位数据、预估运动轨迹和预估运动速度，计算所述移动障碍物到达所述相交点的时间，记为第一时间；基于所述移动机器人当前的目标定位数据、规划运动轨迹和预设运动速度，计算所述移动机器人到达所述相交点的时间，记为第二时间；基于所述第一时间和第二时间，预测所述移动机器人与所述移动障碍物是否可能发生碰撞。
在一可实施的方式中，当预测到有所述移动机器人与所述移动障碍物可能发生碰撞时，则向上位机器人管理***发出相应的预警信息。
在一可实施的方式中，当预测到某个所述移动机器人与多个所述移动障碍物可能发生碰撞时，则依据所述准数字孪生模型重新规划所述某个移动机器人的运动轨迹。
本实施例通过将机载定位数据、机载测距数据、WIFI等辅助定位数据以及图像定位数据进行融合计算，得到统一坐标系下每个所述移动机器人对应的目标定位数据和目标测距数据；而后，基于每个所述移动机器人对应的目标定位数据和目标测距数据、以及预先生成的所述目标场景的场景地图，建立所述目标场景对应的准数字孪生模型。从而，一方面，能够为上位机器人管理***提供场景内现场运行的移动机器人的实时位置及其与周边障碍物之间实时距离的一致性数据，为上位机器人管理***提供了决策依据；另一方面，由于准数字孪生模型与移动机器人的数据是实时双向交互的，即该孪生模型中的数据也会实时下传到现场运行的各个机器人，因而各机器人能够基于本身的机载测距数据和接收到的来自准数字孪生模型的测距数据进行移动导航，相当于移动机器人额外增加了一套测距***，即使其自带的机载测距模块失效，也能保证移动的安全性，增强了可靠性。
具体地，本实施例的方法可以通过图2所示的准数字孪生***10实现，下面结合图2～7，进一步对本实施例的技术方案进行详细描述：
如图2所示，目标场景中运行的移动机器人、WIFI路由器、安防监控相机通过无线通信方式与准数字孪生***10中的通信模块19进行通信，将机器人探测到的机载定位数据和距离数据传输至准数字孪生***10，同时机器人将接收到的WIFI信号幅值等信息数据传输到准数字孪生***10，安防监控相机也发送其采集的图像信号至准数字孪生***10。
准数字孪生***10可兼容3G/4G/5G或WIFI无线通信模块。准数字孪生***10接收到机载定位和测距数据之后，根据***中机器人的预设编号，通过相应的机载定位数据解算模块11和机载测距数据解算模块12分别对相应机器人的机载定位数据、机载测距数据进行解算。定位数据表示相应机器人在场景内的位置坐标数据，测距数据表示相应机器人的机载测距模块获得的与周边环境物体或前方障碍物之间的距离数据。每一台机器人都可获得这两类数据。对某台机器人而言，其探测得到的与某障碍物之间的测距数据，也可能是其与邻近的其他机器人之间的测距数据；而该邻近的机器人也同时可能获得了与该机器人之间的测距数据，具体示意图可见图3。每台机器人的机载定位数据和机载测距数据经过解算之后，共同输出到融合计算模块15；在该融合计算模块15中，将解算后的各机器人对应的定位数据和各机器人与障碍物之间的测距数据，在统一坐标系(基于目标场景的场景地图建立的全局坐标系)下进行融合计算，最终得到唯一的表示各机器人的当前的定位数据(即目标定位数据)，以及各机器人与周边环境物和邻近障碍物之间的实时测距数据(即目标测距数据)。
另外，智能生产场景预先布置有WIFI定位网络，机器人与WIFI路由器通信，以通过WIFI路由器与上位机器人管理***或孪生***进行数据交互，与此同时，机器人接收到的WIFI信号的强弱(即信号幅值)也反映了机器人与该WIFI路由器之间的距离信息。因此，准数字孪生***10还可以获取场景内机器人接收到的WIFI信号，通过辅助定位数据解算模块13，解算出场景中每一机器人的WIFI定位数据(即辅助定位数据)，并将该辅助定位数据输入至融合计算模块15。融合计算模块15将该辅助定位数据和机器人获取的机载定位数据进行融合计算，最终可得到唯一的机器人实时定位数据，即目标定位数据。
还有，优选地，准数字孪生***10可以根据接收到的图像信号，计算出图像中的物体对象的定位数据并和场景地图结合，从而定位到场景地图相对应的坐标系中。
在图2中，融合计算模块15输出目标定位数据和目标测距数据至孪生模型建立模块16，该模块依据场景地图数据以及更新的目标定位数据、测距数据，将机器人及机器人与环境物、障碍物等的测距数据、定位数据等实时映射到场景地图上，并建立相应的准数字孪生模型。本实施例可以通过显示器20对该准数字孪生模型进行显示。同时，还可以通过数据传输接口19，向上位机器人管理***或群控调度平台输出目标定位数据和目标测距数据，为其提供决策依据。
如图3所示为场景中移动机器人、移动障碍物(如人)、无线路由器等定位测距的示意图。以机器人A和机器人B为例说明。
机器人A与机器人B分别有机载测距模块，如激光雷达或超声波传感器等，用于测量与周边环境物或障碍物之间的距离。机器人A在行走过程中，依靠机载激光雷达，或其他测距模块，获得机器人与周边物体、障碍物之间的测距数据。
在该准数字孪生***10中，如何动态检测移动中的障碍物并准确定位是关键，也是机器人群可靠、安全运行的关键。
图3中示出了机器人A与B探测到前方的移动障碍物，比如行走中的人，并测量自身与人之间的距离数据。图中所示，机器人A探测到的其与人的距离为LA1，机器人2探测到的其与人的距离为LB1。两个测距数据经过计算融合模块进行计算处理，基于场景地图及坐标系，可得到移动障碍物的动态定位坐标数据，以及其与相邻机器人(如机器人A或者机器人B)的距离数据，并可实时显示。
另外，在实际场景中，会布置多台无线路由器，最主要目的是让无线网络覆盖机器人所在场景，以保证机器人的通信可靠性。如图3中示意性示出了3台无线路由器。
本实施例中，多台无线路由器的另一目的是被用于对场景中的WIFI终端设备(如机器人)进行定位，以提高***的定位冗余程度。
另外，如果场景中有机器人携带3D视觉传感器进行测距导航，则该传感器的测距数据也可以通过通信方式接入该准数字孪生***10的融合计算模块15进行融合处理。
如果场景中采用了UWB定位方式，则相关定位数据也可被输入至准数字孪生***10的融合计算模块15进行融合处理。
在本实施例的准数字孪生***10中，任何获测的测距数据涉及到的两个对象，如图2中机器人和行人，均可在前述准数字孪生模型中得到体现，并在显示器20的显示界面动态显示机器人的运动状态、以及机器人与周边其他机器人之间、障碍物之间的距离状态。
需要进一步说明的是，本实施例可以依据机载定位数据、机载测距数据和机器人接收到的WIFI信号的强度，结合场景地图及其全局坐标系，经融合计算获得机器人在场景中的定位。在此基础上，依据数据融合算法，还可以得到移动障碍物在场景中的定位数据以及测距数据。从而，在前述准数字孪生模型中，不仅具有机器人动态轨迹数据，也同时有移动障碍物，如行走的人，的移动轨迹数据，即使作为人体本身而言，自身并未携带任何可以探测得到定位数据的传感器，其位置信息也可以被实时地同步显示在数字孪生模型中，作为上位***的输入数据。之所以能做到这样，主要原因是本***中可接入安防监控相机的图像信号并在***中基于图像处理算法获得场景中移动障碍物的定位数据或测距数据。
应该理解，固定障碍物、以及机器人与固定障碍物的距离的实时变化数据也会体现在数字孪生模型中。
进一步地，机器人A可探测到与机器人B之间的距离LAB，机器人B可探测得到距离机器人A的距离值LBA。这两个数据经过数据融合处理之后，得到一致性的测距数据，以表征机器人A与机器人B之间的距离。
如果将基于WIFI的定位模式看作为在场景内的绝对位置定位，则机器人依据机载定位模块获得的定位数据可以看作为增量式定位，或者相对式定位。
本实施例中，可采取两种方式实施基于WIFI的定位。
一种是传统方式，即采取先离线采集数据并建立数据库，后在线比对数据方式。具体为，离线方式下，依据一定的行走路线规则，在场景中选取若干采样点，最好是将场景地图网格化，被测机器人处于网格节点坐标处时通过采样无线路由器接收到的来自机器人的信号，对机器人位置和采样数据进行离线标定，信号强度与无线路由器与该机器人的距离相关；距离越远，信号强度越弱；当全部测试点完成后，相当于建立了机器人接收到的无线信号强度、和无线路由器之间距离的关系的数据库；机器人在运营行走过程中，依据接收到的信号强度与数据库中网格点的数据进行比对，判断是否匹配从而判定机器人位置。这种方式需要大量的离线测试和数据采集，工作量较大，效率较低。
另一种方式，是本实施例提供的一种改进方案：
一般情况下，机器人在现场部署时，均需要首先建立场景地图；然后机器人运行过程中，依据该场景地图以及机载定位模块得到的传感点云数据确定自身所在位置，从而完成轨迹规划和导航行走的任务。
基于以上，本技术方案中，机器人在针对预定场景生成场景地图的过程中，规划设计了一些位置点，用于当机器人处于该点位时，对WIFI路由信号进行采样，进行处理后建立无线信号强度和位置点之间的关系数据库。信号采集过程中，机器人行走至场景中每一规划的采样点处时，准数字孪生***10会将采集到的来自各无线路由器的与对应的机器人通信的信号幅值进行存储，将采集到的来自于机器人发送的无线信号幅值数据与对应的机器人所在点位数值进行对应存储并将该幅值与当前的机器人的位置坐标(已知量；依据机器人自身机载定位数据与已建场景地图，由机器人自身判断出的当前所处位置坐标点)建立对应关系数据库。当全场景地图及规划采样点建立完毕，则对应的无线信号幅值与机器人位置坐标就建立了完整的对应关系数据库。机器人真正运行过程中，可据此无线信号幅值与数据库中的数据进行对比匹配，匹配点所在的场景位置即可判断为当前机器人所在位置。该技术方案中，可先建场景地图，然后机器人依据规划的采样点在场景内行走进行数据库的建立操作。需要说明的是，规划位置采样点越多越密集，越有利于更精确的定位。但是，在本技术方案中，在场景内事先设立了几条机器人可能的行走路线或设立机器人行走区域，机器人只需要在这几条行走路线上或该行走区域内行走一遍，即可建立起基于WIFI信号幅度与位置点之间的数据关系组成关系数据库。
需要指出的是，对每台机器人，均需要建立各自对应的WIFI定位关系数据库。
该技术方案，避免了传统WIFI定位方法的繁杂、任务量巨大的离线测试和采样工作。其工作机理既建立在WIFI信号定位的理论基础之上，也等效地提高了机器人在该种定位方式下的定位精度。
采用这种无线WIFI定位的方式的好处是，当机器人机载定位模块故障或自身定位出现问题时，仍然有WIFI定位功能存在，机器人依然能够正常运行。但一般而言，其定位精度低于基于机器人机载定位模块的定位精度。
在机器人作业场景内，布置一定数量的安防监控相机是通常的做法。这些监控相机通常用于安防目的，通常通过若干相机的组合，完成场景内无死角监控。如何利用这些相机获取到的图像信号对场景内的移动障碍物进行定位信息获取，也是本发明要解决的问题。简述如下：
分两种情况，一种情况是，当移动障碍物同时在某监控相机视野范围内和某机器人可测距范围内时，对相机图像信号进行处理，利用一定算法可估算出相机与移动障碍物之间的距离，然后由此测距数据以及相机在场景坐标系中的绝对位置可获得移动障碍物在场景坐标系中的坐标位置；该位置数据与由某机器人测得的机载测距数据进行融合获得移动障碍物的最终一致性定位数据。另一种情况是，当移动障碍物不在任一机器人的机载测距模块的测距范围内，但其仍然在某相机视线范围内时，则该移动障碍物的移动动态和坐标值依然能够通过与相机的距离计算得出。
因此，通过机载定位模块、机载测距模块、WIFI路由器、相机的结合，本实施例可对场景中任何移动的、非移动的障碍物位置坐标进行确定，从而为上位机器人管理***提供坚实可靠的定位数据基础服务。
在本实施例中，移动障碍物的定位、距离判断过程如图4所示
需要说明的是，一般情况下，移动障碍物在移动过程中，至少可同时被两台相机拍摄到，即可计算出相机与移动障碍物之间的距离。
在实际场景中，可能发生移动障碍物在某位置仅被一台相机拍摄到的情况，这种情况也可以由准数字孪生***10根据相机已知的位置信息和参数信息等计算出移动障碍物所在位置，但相对于同时依据两台相机拍摄的图像进行计算，精确度更低。因此，为提高计算准确性和定位精确度，相机在场景中部署时，移动障碍特在任意场景位置时，最好至少有两台相机视觉范围能够覆盖到。
在本实施例中，如图5所示，机器人在部署之初，即针对机器人的运行场景建立了场景地图并将地图进行了栅格化处理。场景地图建立了全局平面坐标系(具体为xy坐标系)。场景内的相机、固定位置障碍物、无线路由器安装点等的位置均在坐标系中标注出。机器人、移动障碍物(如人)等实时映射在场景地图上后得到机器人运行场景的准数字孪生模型，并实时更新动态坐标位置数据。
如图5所示，机器人运行场景的准数字孪生模型界面中，还可显示机器人规划的行走轨迹。
此外，可通过菜单或通过鼠标点击选择对象的方式，显示或输出选择的两对象之间的实时距离数值和对应的坐标值。可设定机器人距离某障碍物之间的最短距离门槛值，当机器人与该障碍物之间的测距数据小于该设定的门槛值时，***发出警告并可设定具体应对动作。
本实施例中，当经过融合处理生成了各机器人对应的唯一的定位数据和测距数据后，除了进行显示或输出至上位机器人管理***被作为决策依据外，相关的数据还被实时传输至对应的移动机器人。
以机器人A为例，除了其自身机载定位模块和机载测距模块得到的定位和测距数据而外，还接收到来自于准数字孪生***10发送过来的相应目标定位和测距数据，如移动机器人A与前方的移动障碍物和固定障碍物之间的测距数据以及其自身的定位坐标数据；以及位于机器人A所在的前方移动轨迹附近的，还没有被机器人A探测到的可能的障碍物位置信息，如移动障碍物B和C的当前位置信息以及移动速度和方向信息。
对于机器人A自身已经探测得到的障碍物测距数据，在机器人内部不作特别处理，按照机器人预定的处理算法执行。对于机器人A还未探测到的移动障碍物的定位数据，定位测试***将执行进一步的处理和决策过程，以下详述：
本实施例中，定位测试***根据移动机器人的规划路线，会根据场景内沿机器人A规划路线周边的移动障碍物移动速度、移动方向等数据，判断移动机器人A与这些移动障碍物潜在的碰撞可能性。
如图6所示，本实施例会依据移动障碍物历史数据，判断出与机器人A运动轨迹比较相关的移动障碍物的移动速度和移动方向，然后进行距离和运动时间的计算，以判断碰撞可能性。
如图6所示，从当前机器人A位置计算到达规划轨迹上B(XB,YB)位置点和C(XC,YC)位置点时需要的时间；以及从当前时刻，移动障碍物B沿着原移动方向(假设移动方向不变)到达与机器人轨迹路线的交点位置B(XB,YB)时的时间；同理移动障碍物沿着原移动方向到达与机器人轨迹路线的交点位置C(XC,YC)的时间。如果机器人A与其中之一障碍物到达同一点的时间相近，则意味着有相遇的可能。
如果在规划的轨迹路线上，有若干移动障碍物可能与机器人A相遇，则意味着机器人A不得不多次进行避障移动，这将会从一定程度上影响机器人A的运行效率。则算法程序依据一定的规则以及地图，重新规划一条后续的行走路线，以避开过多的移动障碍物。
或者，存在着另一种实施方法。对于该碰撞预测方法，孪生平台经过计算，针对机器人A可能产生潜在的碰撞风险(机器人A与移动障碍物相遇)，可以给上位机器人管理***产生预警信息，提示该***可调整机器人的行驶速度等以防范可能的相遇。
在本实施例中，如图7所示，主要是依据获取到的数据信息，如移动障碍物数量、方向、速度、距离、移动机器人速度、方向、规划轨迹等对潜在的相遇或碰撞风险做出预警，从而更合理的为上位机器人管理***提供数据支持或决策支持。具体可有多种实施方式，可采用基于人工神经网络算法的决策机制，或采用模糊理论获取相应的判断结果。本实施例对碰撞预测的具体实现方式和内容不作具体限定。
实施例2
本实施例提供一种移动机器人运行场景的准数字孪生***10，如图2所示，该***10主要包括：
机载定位数据解算模块11，用于获取每个移动机器人的机载定位模块得到的机载定位数据，并对所述机载定位数据进行解算；
机载测距数据解算模块12，用于获取每个所述移动机器人的机载测距模块得到的机载测距数据，并对所述机载测距数据进行解算；
辅助定位数据解算模块13，用于获取每个所述移动机器人接收到的来自于预设无线通信模块的无线信号，并对所述无线信号的强度进行解算得到辅助定位数据；
图像定位数据解算模块14，用于获取所述目标场景内布置的图像采集模块输出的图像信号，并基于所述图像信号获取所述目标场景内移动对象的图像定位数据；
融合计算模块15，用于将解算后的全部所述机载定位数据和机载测距数据、与所述辅助定位数据和所述图像定位数据进行融合计算，得到统一坐标系下每个所述移动机器人对应的目标定位数据和目标测距数据；
孪生模型建立模块16，用于基于每个所述移动机器人对应的目标定位数据和目标测距数据、以及预先生成的所述目标场景的场景地图，建立所述目标场景对应的准数字孪生模型。
在一可实施的方式中，所述无线通信模块为WIFI路由器，所述无线信号为WIFI信号；所述通信定位解算模块13通过以下步骤对所述无线信号的强度进行解算：根根获取到的WIFI信号的强度、以及预先建立的WIFI信号强度与相应的所述移动机器人距离该WIFI路由器的距离的对应关系，确定相应所述移动机器人与所述WIFI路由器之间的距离，并根据确定的距离以及所述WIFI路由器的位置信息获取所述移动机器人的辅助定位数据。
在一可实施的方式中，所述图像定位数据解算模块14包括：
图像识别单元，用于识别所述图像信号中的移动对象；
图像定位单元，用于基于所述图像信号以及所述图像采集模块的实际位置信息和参数信息，确定所述移动对象的图像定位数据。
在一可实施的方式中，当所述图像识别单元从多个图像信号中识别到某移动对象时，所述图像定位单元通过以下步骤确定所述移动对象的图像定位数据：
根据该移动对象的轮廓所包围的像素数量最多的两个图像信号，确定该移动对象与相应图像采集模块之间的距离信息，并根据该距离信息与相应图像采集模块的实际位置信息和参数信息确定该移动对象的图像定位数据。
在一可实施的方式中，所述移动对象包括移动障碍物，所述融合计算模块15采用以下步骤融合所述移动障碍物的图像定位数据与所述机载测距数据：
判断所述移动机器人是否存在与所述移动障碍物的图像定位数据对应的机载测距数据；
若不存在，则将所述移动障碍物的图像定位数据作为所述移动障碍物的目标定位数据；
若存在，则判断该存在的机载测距数据所对应的移动障碍物定位数据、与所述移动障碍物的图像定位数据的重合度是否高于预设重合度阈值；
若高于，则将该存在的机载测距数据与所述移动障碍物的图像定位数据进行融合计算，并将融合结果作为所述移动障碍物的目标定位数据；
若不高于，则将该存在的机载测距数据所对应的移动障碍物定位数据作为所述移动障碍物的目标定位数据；
根据所述移动障碍物的目标定位数据，确定所述移动机器人的目标测距数据。
在一可实施的方式中，所述方法还包括：碰撞预测模块17，用于按照以下步骤预测所述移动机器人与所述移动障碍物是否可能发生碰撞：
基于所述移动障碍物的历史目标定位数据和对应的运行时间，获取所述移动障碍物的预估运动轨迹和预估运动速度；
获取所述移动机器人的规划运动轨迹与所述移动障碍物的预估运动轨迹的相交点；
基于所述移动障碍物当前的目标定位数据、预估运动轨迹和预估运动速度，计算所述移动障碍物到达所述相交点的时间，记为第一时间；
基于所述移动机器人当前的目标定位数据、规划运动轨迹和预设运动速度，计算所述移动机器人到达所述相交点的时间，记为第二时间；
基于所述第一时间和第二时间，预测所述移动机器人与所述移动障碍物是否可能发生碰撞。
在一可实施的方式中，当碰撞预测模块17预测到有所述移动机器人与所述移动障碍物可能发生碰撞时，则向上位机器人管理***发出相应的预警信息。
在一可实施的方式中，当碰撞预测模块17预测到某个所述移动机器人与多个所述移动障碍物可能发生碰撞时，则依据所述准数字孪生模型重新规划所述某个移动机器人的运动轨迹。
本实施例通过将机载定位数据、机载测距数据、WIFI等辅助定位数据以及图像定位数据进行融合计算，得到统一坐标系下每个所述移动机器人对应的目标定位数据和目标测距数据；并基于每个所述移动机器人对应的目标定位数据和目标测距数据、以及预先生成的所述目标场景的场景地图，建立所述目标场景对应的准数字孪生模型。从而，一方面，能够为上位机器人管理***提供场景内现场运行的移动机器人的实时位置及其与周边障碍物之间实时距离的一致性数据，为上位机器人管理***提供了决策依据；另一方面，由于准数字孪生模型与移动机器人的数据是实时双向交互的，即该孪生模型中的数据也会实时下传到现场运行的各个机器人，因而各机器人能够基于本身的机载测距数据和接收到的来自准数字孪生模型的测距数据进行移动导航，相当于移动机器人额外增加了一套测距***，即使其自带的机载测距模块失效，也能保证移动的安全性，增强了可靠性。
对于本实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见***实施例的部分说明即可。
实施例3
本实施例提供一种电子设备，电子设备可以通过计算设备的形式表现(例如可以为服务器设备)，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中处理器执行计算机程序时可以实现实施例1提供的准数字孪生方法的步骤。
图8示出了本实施例的硬件结构示意图，如图8所示，电子设备30具体包括：
至少一个处理器31、至少一个存储器32以及用于连接不同***组件(包括处理器31和存储器32)的总线33，其中：
总线33包括数据总线、地址总线和控制总线。
存储器32包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1提供的准数字孪生方法的步骤。
电子设备30进一步可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，电子设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器36通过总线33与电子设备30的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1提供的准数字孪生方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1提供的准数字孪生方法的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (11)

1.一种移动机器人运行场景的准数字孪生方法，其特征在于，该方法包括：
针对目标场景内的多个移动机器人，获取每个移动机器人的机载定位模块得到的机载定位数据，并对所述机载定位数据进行解算；
获取每个所述移动机器人的机载测距模块得到的机载测距数据，并对所述机载测距数据进行解算；
获取每个所述移动机器人接收到的来自于预设无线通信模块的无线信号，并对所述无线信号的强度进行解算得到辅助定位数据；
获取所述目标场景内布置的图像采集模块输出的图像信号，并基于所述图像信号获取所述目标场景内移动对象的图像定位数据；
将解算后的全部所述机载定位数据和机载测距数据、与所述辅助定位数据和所述图像定位数据进行融合计算，得到统一坐标系下每个所述移动机器人对应的目标定位数据和目标测距数据；
基于每个所述移动机器人对应的目标定位数据和目标测距数据、以及预先生成的所述目标场景的场景地图，建立所述目标场景对应的准数字孪生模型。
2.如权利要求1所述的准数字孪生方法，其特征在于，所述通信模块为WIFI路由器，所述无线信号为WIFI信号；
所述对所述无线信号的强度进行解算，包括：
根据获取到的WIFI信号的强度、以及预先建立的WIFI信号强度与相应的所述移动机器人距离该WIFI路由器的距离的对应关系，确定相应所述移动机器人与所述WIFI路由器之间的距离，并根据确定的距离以及所述WIFI路由器的位置信息获取所述移动机器人的辅助定位数据。
3.如权利要求1所述的准数字孪生方法，其特征在于，所述基于所述图像信号获取所述目标场景内移动对象的图像定位数据，包括：
识别所述图像信号中的移动对象；
基于所述图像信号以及所述图像采集模块的实际位置信息和参数信息，确定所述移动对象的图像定位数据。
4.如权利要求3所述的准数字孪生方法，其特征在于，当从多个图像信号中识别到某移动对象时，所述确定所述移动对象的图像定位数据，包括：
根据该移动对象的轮廓所包围的像素数量最多的两个图像信号，确定该移动对象与相应图像采集模块之间的距离信息，并根据该距离信息与相应图像采集模块的实际位置信息和参数信息确定该移动对象的图像定位数据。
5.如权利要求1所述的准数字孪生方法，其特征在于，所述移动对象包括移动障碍物，所述将解算后的全部所述机载定位数据和机载测距数据、与所述辅助定位数据和所述图像定位数据进行融合计算，包括采用以下步骤融合所述移动障碍物的图像定位数据与所述机载测距数据：
判断所述移动机器人是否存在与所述移动障碍物的图像定位数据对应的机载测距数据；
若不存在，则将所述移动障碍物的图像定位数据作为所述移动障碍物的目标定位数据；
若存在，则判断该存在的机载测距数据所对应的移动障碍物定位数据、与所述移动障碍物的图像定位数据的重合度是否高于预设重合度阈值；
若高于，则将该存在的机载测距数据与所述移动障碍物的图像定位数据进行融合计算，并将融合结果作为所述移动障碍物的目标定位数据；
若不高于，则将该存在的机载测距数据所对应的移动障碍物定位数据作为所述移动障碍物的目标定位数据；
根据所述移动障碍物的目标定位数据，确定所述移动机器人的目标测距数据。
6.如权利要求5所述的准数字孪生方法，其特征在于，所述方法还包括按照以下步骤预测所述移动机器人与所述移动障碍物是否可能发生碰撞：
基于所述移动障碍物的历史目标定位数据和对应的运行时间，获取所述移动障碍物的预估运动轨迹和预估运动速度；
获取所述移动机器人的规划运动轨迹与所述移动障碍物的预估运动轨迹的相交点；
基于所述移动障碍物当前的目标定位数据、预估运动轨迹和预估运动速度，计算所述移动障碍物到达所述相交点的时间，记为第一时间；
基于所述移动机器人当前的目标定位数据、规划运动轨迹和预设运动速度，计算所述移动机器人到达所述相交点的时间，记为第二时间；
基于所述第一时间和第二时间，预测所述移动机器人与所述移动障碍物是否可能发生碰撞。
7.如权利要求6所述的准数字孪生方法，其特征在于，当预测到有所述移动机器人与所述移动障碍物可能发生碰撞时，则向上位机器人管理***发出相应的预警信息。
8.如权利要求6所述的准数字孪生方法，其特征在于，当预测到某个所述移动机器人与多个所述移动障碍物可能发生碰撞时，则依据所述准数字孪生模型重新规划所述某个移动机器人的运动轨迹。
9.一种移动机器人运行场景的准数字孪生***，其特征在于，该***包括：
机载定位数据解算模块，用于获取每个移动机器人的机载定位模块得到的机载定位数据，并对所述机载定位数据进行解算；
机载测距数据解算模块，用于获取每个所述移动机器人的机载测距模块得到的机载测距数据，并对所述机载测距数据进行解算；
辅助定位数据解算模块，用于获取每个所述移动机器人接收到的来自于预设无线通信模块的无线信号，并对所述无线信号的强度进行解算得到辅助定位数据；
图像定位数据解算模块，用于获取所述目标场景内布置的图像采集模块输出的图像信号，并基于所述图像信号获取所述目标场景内移动对象的图像定位数据；
融合计算模块，用于将解算后的全部所述机载定位数据和机载测距数据、与所述辅助定位数据和所述图像定位数据进行融合计算，得到统一坐标系下每个所述移动机器人对应的目标定位数据和目标测距数据；
孪生模型建立模块，用于基于每个所述移动机器人对应的目标定位数据和目标测距数据、以及预先生成的所述目标场景的场景地图，建立所述目标场景对应的准数字孪生模型。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-8中任一项所述的准数字孪生方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的准数字孪生方法的步骤。
CN202310517881.3A 2023-05-09 2023-05-09 移动机器人运行场景的准数字孪生方法、***、设备及介质 Pending CN116629106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310517881.3A CN116629106A (zh) 2023-05-09 2023-05-09 移动机器人运行场景的准数字孪生方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310517881.3A CN116629106A (zh) 2023-05-09 2023-05-09 移动机器人运行场景的准数字孪生方法、***、设备及介质

Publications (1)

Publication Number Publication Date
CN116629106A true CN116629106A (zh) 2023-08-22

Family

ID=87596531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310517881.3A Pending CN116629106A (zh) 2023-05-09 2023-05-09 移动机器人运行场景的准数字孪生方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN116629106A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117786147A (zh) * 2024-02-26 2024-03-29 北京飞渡科技股份有限公司 一种数字孪生模型视野范围内数据展示方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117786147A (zh) * 2024-02-26 2024-03-29 北京飞渡科技股份有限公司 一种数字孪生模型视野范围内数据展示方法及装置
CN117786147B (zh) * 2024-02-26 2024-05-28 北京飞渡科技股份有限公司 一种数字孪生模型视野范围内数据展示方法及装置

Similar Documents

Publication Publication Date Title
US11885910B2 (en) Hybrid-view LIDAR-based object detection
EP3759562B1 (en) Camera based localization for autonomous vehicles
US10310087B2 (en) Range-view LIDAR-based object detection
CN107015559B (zh) 使用散列加权积分和求和的目标跟踪的概率推理
US20190310651A1 (en) Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications
CN111958592B (zh) 一种变电站巡检机器人图像语义分析***及方法
US20180349746A1 (en) Top-View Lidar-Based Object Detection
US11092444B2 (en) Method and system for recording landmarks in a traffic environment of a mobile unit
CN112506222A (zh) 一种无人机智能化避障方法及装置
US20200233061A1 (en) Method and system for creating an inverse sensor model and method for detecting obstacles
CN111895989A (zh) 一种机器人的定位方法、装置和电子设备
CN112518739A (zh) 履带式底盘机器人侦察智能化自主导航方法
CN110936959B (zh) 车辆感知***在线诊断和预测
CN113189977A (zh) 一种用于机器人的智能导航路径规划***及方法
CN111947644B (zh) 一种室外移动机器人定位方法、***及其电子设备
Wang et al. Realtime wide-area vehicle trajectory tracking using millimeter-wave radar sensors and the open TJRD TS dataset
CN116629106A (zh) 移动机器人运行场景的准数字孪生方法、***、设备及介质
KR20180087519A (ko) 레이저 거리 센서의 측정 거리에 대해 추정된 거리 유형의 신뢰성을 평가하는 방법 및 이를 이용한 이동 로봇의 위치 추정 방법
CN111856499A (zh) 基于激光雷达的地图构建方法和装置
Hebel et al. Change detection in urban areas by direct comparison of multi-view and multi-temporal ALS data
Siddiqui UWB RTLS for construction equipment localization: experimental performance analysis and fusion with video data
CN115327571A (zh) 一种基于平面激光雷达的三维环境障碍物检测***及方法
US20220221585A1 (en) Systems and methods for monitoring lidar sensor health
CN111954188B (zh) 一种机器人控制方法、装置、终端和介质
CN113835428A (zh) 一种用于餐厅的机器人路径规划方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination