CN118035689A - 基于实时三维模型重建的智能设备线上操作*** - Google Patents

Abstract

本发明涉及工业智能技术领域，特别是指基于实时三维模型重建的智能设备线上操作***，该***包括：采集模块、识别模块、接收模块和执行模块，通过将信息合成后实时传送至后台，使得三维重建后生成虚拟操作环境，再现作业场景；经过对象识别、分割后，选取需要智能设备操作的对象。本发明通过结合视觉传感器和雷达传感器的数据，能够获得关于操作对象的详细和准确的实时信息，实现高度精确的对象识别，通过多模态分析处理提高了操作过程的智能水平；并通过反馈优化机制确保了快速准确的数据处理和智能决策支持，提高操作的效率和效果，减少资源浪费。

Description

基于实时三维模型重建的智能设备线上操作***

技术领域

本发明涉及工业智能技术领域，特别是指基于实时三维模型重建的智能设备线上操作***。

背景技术

传统工业机器人擅长完成固定位置控制和预定义轨迹的有限任务，需要投入大量部署维护工作。现有的协作机器人仍然是通过简易示教完成固定动作，智能认知能力有限。而视觉和语言是人类与外界信息交互的主要方式，所以基于机器视觉和自然语言的多模态大模型是工业机器人智能认知和通用协作能力的必备要素。基于多模态模型的自适应协作移动机器人兼具视觉、自然语言的多模态信息处理能力，能自主感知和重建物理世界，搭配丰富的末端夹具和视觉识别设备，可人机在线协同作业完成复杂任务，例如抓取、装配、分拣、上下料、移动、搬运、设备看护等。该方法主要用于小批量、多品种、产线柔性要求高的作业场景，或者劳动密集且生产流程难以标准化的场景。

中国专利公开号CN110983554A公开了一种基于 eID 的支持近端操作和远端指导施工的 sODN ***，包括智能管理***、智能管理终端、智能配线设备，所述智能管理***通过无线网络与现场操作的智能管理终端交互，所述智能配线设备是在传统 ODN 设备上增加智能组件，智能组件包括智能管理组件和电子标签 eID，eID 利用电子标签技术对智能 ODN 网络的节点和分支进行唯一性的标识，智能管理***通过识别 eID 中存储的内容，对智能 ODN 网络进行操作和管理，所述智能管理***、智能管理终端均与智能配线设备交互，均对智能配线设备下发命令，所述sODN ***提供近端操作和远端指导施工两种管理方式。

由此可见，当前的智能设备操作***中的操作过程智能水平低。

发明内容

为此，本发明提供基于实时三维模型重建的智能设备线上操作***，用以克服现有技术中智能设备操作***中的操作过程智能水平低的问题。

为实现上述目的，本发明提供一种基于实时三维模型重建的智能设备线上操作***，该***包括：

采集模块，用以采集若干图像，以通过图像融合获取第一操作图像；

识别模块，与所述采集模块连接，用以对所述第一操作图像中的操作对象进行分割识别，以确定所述操作对象的操作类型和动作参数；

接收模块，用以接收对所述操作对象的操作指令；

执行模块，根据所述操作指令在所述第一操作图像中确定对所述操作对象执行所述操作类型和所述动作参数。

进一步地，还包括第一判断模块，与所述识别模块连接，用以根据预设轮廓信息对所述操作对象进行判断，以确定对所述操作对象的识别是否准确。

进一步地，还包括标注模块，与所述第一判断模块连接，用以在确定对所述操作对象的识别错误时，对所述预设轮廓信息进行修正。

进一步地，还包括第二判断模块，与所述执行模块连接，用以确定对所述操作对象执行的操作类型或动作参数是否正确。

进一步地，还包括调整模块，与所述第二判断模块连接，用以在对所述操作对象执行错误的操作类型或动作参数时，调整所述操作指令，以形成修正指令，基于所述修正指令执行对应的操作类型和动作参数。

进一步地，所述采集模块包括：视觉传感单元、雷达传感单元和合成单元；

所述视觉传感单元用以获取实际操作环境中各操作对象的实际轮廓特征；

所述雷达传感单元用以获取各操作对象的实时位置特征；

所述合成单元用以利用即时定位与地图构建技术将所述实际轮廓特征和所述实时位置特征进行匹配和融合，进而形成所述第一操作图像。

进一步地，所述识别模块包括：识别单元、标记单元和分割单元；

对于任一所述操作对象，所述识别单元用以根据该操作对象的所述实际轮廓特征结合标准轮廓特征计算实际轮廓相似度，所述标记单元用以根据所述标准轮廓相似度对该操作对象进行标记，以得到标记结果，所述分割单元用以根据所述标记结果确定是否进行分割。

进一步地，所述接收模块包括数据接收单元、处理单元和调整单元，所述数据接收单元用以接收图像数据、视频数据、语音数据或文字数据中的一种或多种；

所述处理单元，用以对所述图像数据、视频数据、语音数据或文字数据进行处理，以得到辅助指令；

所述调整单元用以根据所述辅助指令对所述操作指令进行调整，以实现对所述操作指令的优化。

进一步地，所述执行模块包括多模态分析单元、需求获取单元和生成单元，

所述多模态分析单元用以确定所述操作对象的特征信息；

所述需求获取单元用以获取所述操作对象的操作注意事项；

所述生成单元用以根据所述特征信息和所述操作注意事项，通过多模态模型生成对所述操作对象的控制策略，并基于所述控制策略按照所述操作类型和所述动作参数进行执行。

进一步地，所述第一判断模块包括：比较单元和判断单元，所述比较单元用以将所述实际轮廓相似度与标准轮廓相似度继续比较，所述判断单元用以在实际轮廓相似度大于等于所述标准轮廓相似度时，判定该操作对象为有效识别，对该操作对象标记为分割类型；

在实际轮廓相似度小于所述标准轮廓相似度时，判定该操作对象为无效识别，不对该操作对象进行标记。

与现有技术相比，本发明的有益效果在于，本发明通过结合视觉传感器和雷达传感器的数据，能够获得关于操作对象的详细和准确的实时信息，实现高度精确的对象识别，通过多模态数据融合的方法提高了对操作对象轮廓和位置的识别精度，从而使得操作指令的生成更为精确和有效；通过识别模块、判断模块和调整模块的共同作用以实时处理数据并根据反馈进行调整，能够及时响应环境的变化和操作对象的特性变动，从而确保操作指令始终保持最优化状态，并能够根据操作的结果进行自我修正，若第一判断模块发现操作对象的识别不准确，标注模块可以对轮廓信息进行修正，而调整模块可以根据第二判断模块的反馈调整操作指令，这种自我优化机制确保了快速准确的数据处理和智能决策支持，能够在较短的时间内作出精确的操作决策，从而提高操作的效率和效果，减少资源浪费。

尤其，通过用于实现机器人、AGV智能设备的线上智能交互和柔性操控，在智能设备上或者设备作业环境中布置视觉传感器，将多个传感器的视觉信息合成后实时传送至后台，在软件终端三维重建后生成虚拟操作环境，再现作业场景；经过对象识别、分割后，可人工在视频选中需要智能设备操作的对象，然后在软件菜单中选择包括但不限于移动、巡视、导航、抓取、分拣、放置、码垛、按压、旋转等指令，在下达指令过程中可结合语音或文字辅助操作细节，多模态模型已针对常用指令进行预训练优化，在接收到指令后，可以结合所选对象的特征、操作要求细节、作业现场约束条件生成控制策略，下达给机器人、AGV等智能设备完成作业；同时，在软件操作终端可标注错误的视觉识别结果，修补有偏差的对象分割轮廓，改正不正确的控制策略，基于虚拟仿真学习作业动作，实现人机智能互动，在作业过程中实时迭代和完善多模态模型。

尤其，通过将视觉传感器捕获的轮廓特征与雷达传感器提供的位置特征相结合，以更高的精度识别和定位操作对象，这种多模态融合方法减少了依赖单一数据源可能引入的误差，从而提高了整体的识别可靠性；视觉传感器和雷达传感器的结合使得实现在各种环境条件下工作，包括低光照、恶劣天气或其他视觉障碍条件下，雷达传感器尤其在能见度不佳的情况下表现良好，确保了***的环境适应性；能够实时获取操作对象的位置特征，并与实际轮廓特征进行匹配和融合，这不仅适用于静态对象，也能有效追踪和分析动态对象，对于需要实时响应的应用场景至关重要；通过生成高度准确的第一操作图像，可以更好地支持复杂的操作决策过程，准确的操作图像为后续的识别、分割和操作执行提供了坚实的基础，从而提高了操作的效率和效果；通过自动匹配和融合多种传感器数据来形成操作图像，体现了高度的智能化处理能力，减轻了人工干预的需求，还能实现更快的处理速度和更高的操作精确度。

尤其，通过与生产标准外形信息进行对比，能够准确判断操作对象的识别是否正确，提高了识别的准确率，减少了误识别和漏识别的情况，确保了后续操作的正确性，根据识别错误的类型采用不同级别的修正措施，这种差异化的处理策略使得能够更加智能和有效地对错误进行纠正，提高了自适应能力和处理效率，通过对错误识别的操作对象进行级别化修正，能够在实际应用中持续学习和优化，不断调整和完善预设轮廓信息的数据库，这种动态学习机制有助于逐渐减少识别错误，提升长期运行的稳定性和可靠性，通过处理各种类型的识别错误，并根据实际情况调整预设轮廓信息，增强了对未知或变化操作对象的识别能力。这种泛化能力对于应对多变的操作环境和处理不同类型的操作对象至关重要，准确的识别和有效的错误修正直接影响到后续的操作决策和执行，通过确保操作对象的准确识别，可以更加精确地执行操作指令，减少无效操作和提高操作效率。

尤其，通过计算实际轮廓相似度，提供了一种量化的方法来评估识别的准确性，减少了主观判断的误差，实际轮廓相似度的计算和基于此的标记过程完全自动化，提高了处理速度和效率，通过与预设的标准轮廓特征进行比较，可以不断调整和优化这些标准特征，以适应新的或变化的操作对象，通过对实际轮廓相似度进行判断，能有效区分有效识别与无效识别，从而减少误识别和漏识别的情况，对操作对象进行有效的分割类型标记，为后续的处理流程提供了准确的输入信息，确保了整个处理流程的顺畅和高效。

尤其，通过接收模块接收来自不同源的数据，这些数据源可以是图像、视频、语音或文字数据，并根据数据接收单元接收和初步分类输入的数据，对于图像和视频数据，它可能涉及将数据流解码成可处理的格式；对于语音数据，它可能包括声音的捕捉和转换为数字信号；而对于文字数据，它可能需要从各种格式的文档或直接输入中提取文本，处理单元对接收到的数据进行分析和处理，以生成辅助指令，使用特定的算法对输入数据进行处理。例如，对于图像和视频数据，它可能应用计算机视觉技术来识别对象或场景；对于语音数据，它可能使用语音识别算法来转录或理解指令；对于文字数据，它可能采用自然语言处理技术来分析文本的含义，处理的结果是一组辅助指令，旨在提供对后续操作的指导，调整单元根据处理模块生成的辅助指令来调整最终的操作指令，调整过程是为了优化操作指令，确保它们更加精准、高效，基于辅助指令，调整单元对操作指令进行优化和调整包括改变操作的参数、调整执行的时间、选择最合适的执行路径，调整的目标是提高操作的准确性和效率，同时减少错误和延迟，调整单元能够实时响应辅助指令的变化，并据此更新操作指令，从而不仅提高了操作指令的准确性和响应速度，还增强了对复杂环境的适应能力，展现了高度的灵活性和智能化水平。

附图说明

图1为本发明实施例中基于实时三维模型重建的智能设备线上操作***的结构图；

图2为本发明实施例中基于实时三维模型重建的智能设备线上操作***中采集模块的结构图；

图3为本发明实施例中基于实时三维模型重建的智能设备线上操作***中识别模块的结构图；

图4为本发明实施例中基于实时三维模型重建的智能设备线上操作***中接收模块的结构图；

图中包括：采集模块1、识别模块2、第一判断模块3、标注模块4、接收模块5、执行模块6、第二判断模块7和调整模块8。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1-图4所示，图1为本发明实施例中基于实时三维模型重建的智能设备线上操作***的结构图；图2为本发明实施例中基于实时三维模型重建的智能设备线上操作***中采集模块的结构图；图3为本发明实施例中基于实时三维模型重建的智能设备线上操作***中识别模块的结构图；图4为本发明实施例中基于实时三维模型重建的智能设备线上操作***中接收模块的结构图。

本发明提供基于实时三维模型重建的智能设备线上操作***，包括：

采集模块1，用以采集若干图像，以通过图像融合获取第一操作图像；

所述采集模块1包括：视觉传感单元、雷达传感单元和合成单元；所述视觉传感单元用以获取实际操作环境中各操作对象的实际轮廓特征；所述雷达传感单元用以获取各操作对象的实时位置特征；所述合成单元用以利用即时定位与地图构建技术将所述实际轮廓特征和所述实时位置特征进行匹配和融合，进而形成所述第一操作图像；

识别模块2，与所述采集模块1连接，用以对所述第一操作图像中的操作对象进行分割识别，以确定所述操作对象的操作类型和动作参数；

所述识别模块2包括：识别单元、标记单元和分割单元；对于任一所述操作对象，所述识别单元用以根据该操作对象的所述实际轮廓特征结合所述标准轮廓特征计算实际轮廓相似度，所述标记单元用以根据所述标准轮廓相似度对该操作对象进行标记，以得到标记结果，所述分割单元用以根据所述标记结果确定是否进行分割；

接收模块5，用以接收对所述操作对象的操作指令；

所述接收模块5包括数据接收单元、处理单元和调整单元，所述数据接收单元用以接收图像数据、视频数据、语音数据或文字数据中的一种或多种；所述处理单元，用以对所述图像数据、所述视频数据、所述语音数据或所述文字数据进行处理，以得到辅助指令；所述调整单元用以根据所述辅助指令对所述操作指令进行调整，以实现对所述操作指令的优化；

执行模块6，根据所述操作指令在所述第一操作图像中确定对所述操作对象执行所述操作类型和所述动作参数；

所述执行模块6包括多模态分析单元、需求获取单元和生成单元；所述多模态分析单元用以确定所述操作对象的特征信息；所述需求获取单元用以获取所述操作对象的操作注意事项；所述生成单元用以根据所述特征信息和所述操作注意事项生成对所述操作对象的控制策略，并基于所述控制策略按照所述操作类型和所述动作参数进行执行；

第一判断模块3，与所述识别模块2连接，用以根据预设轮廓信息对所述操作对象进行判断，以确定对所述操作对象的识别是否准确

所述第一判断模块3包括：比较单元和判断单元，所述比较单元用以将所述实际轮廓相似度与标准轮廓相似度继续比较，所述判断单元用以在实际轮廓相似度大于等于所述标准轮廓相似度时，判定该操作对象为有效识别，对该操作对象标记为分割类型；在所述实际轮廓相似度小于所述标准轮廓相似度时，判定该操作对象为无效识别，不对该操作对象进行标记；

标注模块4，与所述第一判断模块3连接，用以在确定对所述操作对象的识别错误时，对所述轮廓信息进行修正

第二判断模块7，与所述执行模块6连接，用以确定对所述操作对象执行的所述操作类型或所述动作参数是否正确

调整模块8，与所述第二判断模块7连接，用以在对所述操作对象执行错误的操作类型或动作参数时，调整所述操作指令，以形成修正指令，基于所述修正指令执行对应的操作类型和动作参数。

本发明实施例通过结合视觉传感器和雷达传感器的数据，能够获得关于操作对象的详细和准确的实时信息，实现高度精确的对象识别，通过多模态数据融合的方法提高了对操作对象轮廓和位置的识别精度，从而使得操作指令的生成更为精确和有效；通过识别模块、判断模块和调整模块的共同作用以实时处理数据并根据反馈进行调整，能够即时响应环境的变化和操作对象的特性变动，从而确保操作指令始终保持最优化状态，并能够根据操作的结果进行自我修正，若第一判断模块发现操作对象的识别不准确，标注模块可以对轮廓信息进行修正，而调整模块可以根据第二判断模块的反馈调整操作指令，这种自我优化机制确保了快速准确的数据处理和智能决策支持，能够在较短的时间内作出精确的操作决策，从而提高操作的效率和效果，减少资源浪费。

具体而言，本实施例中所述视觉传感单元能够获取所述实际操作环境中各操作对象的所述实际轮廓特征，包括：第一实际轮廓特征Q1、第二实际轮廓特征Q2……第n实际轮廓特征Qn；

所述雷达传感单元能够获取各操作对象的所述实时位置特征，包括：第一实时位置特征Q1’、第二实时位置特征Q2’……第n实时位置特征Qn’；

对于任一实时位置特征Qi（A1i，A2i，A3i），i=1，2……n，所述合成单元将第i实际轮廓特征Qi与任一实时位置特征Qj’（B1j，B2j，B3j）进行计算相关度系数Kij，j=1，2……n；

若所述相关度系数Kij接近1，则所述合成单元判定所述第i实际轮廓特征Qi和第j实时位置特征Qj’相匹配；

若所述相关度系数Kij接近0，则所述合成单元判定所述第i实际轮廓特征Qi和第j实时位置特征Qj’不匹配；

其中，A1i为第i实际体积量，A2i为第i实际轮廓最大高度A2，A3i为第i实际轮廓最长宽度，所述雷达传感单元能够获取该操作对象的所述实时位置特征：B1j为x轴方向的距离值；B2j为y轴方向的距离值；B3j为z轴方向的距离值；

所述合成单元根据即时定位与地图构建技术将各实际轮廓特征和各实时位置特征进行对应的匹配和融合，进而形成所述第一操作图像。

本发明实施例通过将视觉传感器捕获的轮廓特征与雷达传感器提供的位置特征相结合，以更高的精度识别和定位操作对象，这种多模态融合方法减少了依赖单一数据源可能引入的误差，从而提高了整体的识别可靠性；视觉传感器和雷达传感器的结合使得实现在各种环境条件下工作，包括低光照、恶劣天气或其他视觉障碍条件下，雷达传感器尤其在能见度不佳的情况下表现良好，确保了***的环境适应性；能够实时获取操作对象的位置特征，并与实际轮廓特征进行匹配和融合，这不仅适用于静态对象，也能有效追踪和分析动态对象，对于需要实时响应的应用场景至关重要；通过生成高度准确的第一操作图像，可以更好地支持复杂的操作决策过程，准确的操作图像为后续的识别、分割和操作执行提供了坚实的基础，从而提高了操作的效率和效果；通过自动匹配和融合多种传感器数据来形成操作图像，体现了高度的智能化处理能力，减轻了人工干预的需求，还能实现更快的处理速度和更高的操作精确度。

具体而言，本实施例中所述预设轮廓信息为各操作对象的生产标准外形信息，包括：第一标准轮廓特征Q10、第二标准轮廓特征Q20……第n标准轮廓特征Qn0；

对于所述第一操作图像中的所述第i实际轮廓特征Qi（A1i，A2i，A3i），所述第一判断单元根据第i实际轮廓特征Qi对应的第i标准轮廓特征Qi0（A10，A20，A30）确定对第i实际轮廓特征Qi对应的操作对象的识别是否正确；

若所述第i实际轮廓特征Qi（A1i，A2i，A3i）与所述第i标准轮廓特征Qi0（A10，A20，A30）一致，则所述第一判断模块3判定对该操作对象的识别准确；

若所述第i实际轮廓特征Qi（A1i，A2i，A3i）与所述第i标准轮廓特征Qi0（A10，A20，A30）不一致，则所述第一判断模块3判定对该操作对象的识别不准确；

其中，A10为标准体积量，A20为标准轮廓最大高度，A30为标准轮廓最长宽度。

具体而言，本实施例中所述第一判断模块3判定对所述操作对象的识别不准确时，所述标注模块4根据所述实际轮廓信息确定操作对象的识别错误类型，

若所述识别错误对象为误识别，则所述标注模块4对所述操作对象的所述预设轮廓信息进行一级修正；

若所述识别错误对象为漏识别，则所述标注模块4对所述操作对象的所述预设轮廓信息进行二级修正；

若所述识别错误对象为定位错误，则所述标注模块4对所述操作对象的所述预设轮廓信息进行三级修正；

其中，所述误识别为将一个操作对象错误地识别为另一个操作对象，所述漏识别为未能识别出操作对象，所述定位错误为识别出操作对象但对其定位不准确。

本发明实施例通过与生产标准外形信息进行对比，能够准确判断操作对象的识别是否正确，提高了识别的准确率，减少了误识别和漏识别的情况，确保了后续操作的正确性，根据识别错误的类型采用不同级别的修正措施，这种差异化的处理策略使得能够更加智能和有效地对错误进行纠正，提高了自适应能力和处理效率，通过对错误识别的操作对象进行级别化修正，能够在实际应用中持续学习和优化，不断调整和完善预设轮廓信息的数据库，这种动态学习机制有助于逐渐减少识别错误，提升长期运行的稳定性和可靠性，通过处理各种类型的识别错误，并根据实际情况调整预设轮廓信息，增强了对未知或变化操作对象的识别能力。这种泛化能力对于应对多变的操作环境和处理不同类型的操作对象至关重要，准确的识别和有效的错误修正直接影响到后续的操作决策和执行，通过确保操作对象的准确识别，可以更加精确地执行操作指令，减少无效操作和提高操作效率。

具体而言，本实施例中对于任一所述操作对象，所述识别单元用以根据该操作对象的所述第i实际轮廓特征Qi（A1i，A2i，A3i）结合所述第i标准轮廓特征Qi0（A10，A20，A30）计算所述实际轮廓相似度R，

；

其中，b=1，2，3；

所述标记单元根据所述标准轮廓相似度对该操作对象进行判定；

若所述实际轮廓相似度大于等于所述标准轮廓相似度时，所述识别单元判定该操作对象为有效识别，所述标记单元对该操作对象标记为分割类型；

若实际轮廓相似度小于所述标准轮廓相似度时，所述识别单元判定该操作对象为无效识别，所述标记单元不对该操作对象进行标记。

本发明实施例通过计算实际轮廓相似度，提供了一种量化的方法来评估识别的准确性，减少了主观判断的误差，实际轮廓相似度的计算和基于此的标记过程完全自动化，提高了处理速度和效率，通过与预设的标准轮廓特征进行比较，可以不断调整和优化这些标准特征，以适应新的或变化的操作对象，通过对实际轮廓相似度进行判断，能有效区分有效识别与无效识别，从而减少误识别和漏识别的情况，对操作对象进行有效的分割类型标记，为后续的处理流程提供了准确的输入信息，确保了整个处理流程的顺畅和高效。

本发明实施例中所述多模态分析单元通过应用先进的数据分析技术，在本实施例中具体应用机器学习算法和模式识别技术，多模态分析单元能够根据所述机器学习算法和所述模式识别技术确定出所述操作对象的所述特征信息；例如，如果操作对象是一台机器，多模态分析单元可以识别出机器的工作状态、性能指标和可能存在的异常状况；

所述需求获取单元能够获取所述操作对象的所述操作注意事项，操作注意事项包括：操作限制、安全规则、性能参数，需求获取单元通过分析历史操作数据或其他相关信息源来确定操作注意事项，使得确保生成的控制策略不仅能够达到预期的操作效果，而且还能符合所有相关的操作标准和安全要求；

所述生成单元能够基于所述多模态分析单元提供的所述特征信息和需求获取单元确定的所述操作注意事项，制定具体的所述控制策略，控制策略包括：目标顺序、目标距离、目标速度、目标方向和目标抓取姿态；根据控制策略，自动执行相应的操作，从而实现调整参数、启动或停止某个过程或是向操作人员发送指令。

本发明实施例中通过接收模块接收来自不同源的数据，这些数据源可以是图像、视频、语音或文字数据，并根据数据接收单元接收和初步分类输入的数据，对于图像和视频数据，它可能涉及将数据流解码成可处理的格式；对于语音数据，它可能包括声音的捕捉和转换为数字信号；而对于文字数据，它可能需要从各种格式的文档或直接输入中提取文本，处理单元对接收到的数据进行分析和处理，以生成辅助指令，使用特定的算法对输入数据进行处理。例如，对于图像和视频数据，它可能应用计算机视觉技术来识别对象或场景；对于语音数据，它可能使用语音识别算法来转录或理解指令；对于文字数据，它可能采用自然语言处理技术来分析文本的含义，处理的结果是一组辅助指令，旨在提供对后续操作的指导，调整单元根据处理模块生成的辅助指令来调整最终的操作指令，调整过程是为了优化操作指令，确保它们更加精准、高效，基于辅助指令，调整单元对操作指令进行优化和调整包括改变操作的参数、调整执行的时间、选择最合适的执行路径，调整的目标是提高操作的准确性和效率，同时减少错误和延迟，调整单元能够实时响应辅助指令的变化，并据此更新操作指令，从而不仅提高了操作指令的准确性和响应速度，还增强了对复杂环境的适应能力，展现了高度的灵活性和智能化水平。

本发明公开了一种基于实时三维重建和多模态模型的智能设备线上柔性操作方法，用于实现机器人、AGV等智能设备的线上智能交互和柔性操控，在智能设备上或者设备作业环境中布置视觉传感器，将多个传感器的视觉信息合成后实时传送至后台，在软件终端三维重建后生成虚拟操作环境，再现作业场景；经过对象识别、分割后，可人工在视频选中需要智能设备操作的对象，然后在软件菜单中选择包括但不限于移动、巡视、导航、抓取、分拣、放置、码垛、按压、旋转等指令，在下达指令过程中可结合语音或文字辅助操作细节，多模态模型已针对常用指令进行预训练优化，在接收到指令后，可以结合所选对象的特征、操作要求细节、作业现场约束条件生成控制策略，下达给机器人、AGV等智能设备完成作业。同时，在软件操作终端可标注错误的视觉识别结果，修补有偏差对象分割轮廓，改正不正确的控制策略，基于虚拟仿真学习作业动作，实现人机智能互动，在作业过程中实时迭代和完善多模态模型。通过此方法，可以在线上实现对智能设备的柔性操作。

本发明提供两种具体的实施例，包括：

实施例1

一种基于实时三维重建和多模态模型的智能设备线上柔性操作方法，包括以下步骤：

1）小批量零部件组装车间，多种物料在传送带上混合传送，现拟生产20件产品A，产品A由零件1与零件2组装而成

2）带有电磁吸盘的可移动机器人在充电工位，且已充电完毕等待操作指令；

3）操作员甲远程登入智能设备柔性操作***，可以看到经过实时三维重建和对象分割的操作界面，左键选中机器人，然后点击指令栏的“移动”命令，再点击传送带旁的地面，完成移动指令下达，机器人自主导航移动至传送带附近；

4）当传送带上零件1和零件2经过时，操作员甲选中移动机器人，点击指令栏的“抓取”指令，然后选择零件1，机器人执行抓取指令，点击指令栏的放置命令，选择AGV，机器人将零件放置于AGV之上，重复以上操作直至将需要的零件抓取完毕；

5）选中AGV，点击指令栏的“移动”命令，点击装配工位附近地面，AGV将物料转移至装配工位；

6）选中装配工位的机械臂，切换至虚拟仿真环境，在虚拟仿真环境下手动引导机械臂完成零件1和零件2的组装示范，然后由机械臂自动完成剩余零件的组装。

实施例2

一种基于实时三维重建和多模态模型的智能设备线上柔性操作方法，包括以下步骤：

1）某通信检测实验室，设有环境与安全、抗震性能、天线与定位、物联技术、5G基站、电磁兼容等多个检测工位，现将采用可移动机器人集群来完成检测任务；

2）选中可移动机器人集群，点击“抓取”指令，点击环境与安全工位的待测物体，通过语音输入设置抓取力度和调整抓取姿势，***自动筛选出合适的机器人执行抓取任务；

3）点击“放置”命令，选中检测台，将待测物体放在检测台上；

4）切换至虚拟仿真环境，引导机械臂调整待测物体姿态；

5）点击“按压”指令，选择启动按钮，机器人按下检测启动开关，开始检测；

6）选中可移动机器人集群，点击“抓取”指令，点击抗震性能工位的待测物体，此时发现待测物体分割不完整，无法识别，点击工具栏的修补命令，画出待测物体轮廓，再点击识别命令，手动标注待测物体信息。然后，操作机器人完成抗震性能工位的检测任务；

7）重复类似步骤，在现场无人值守的情况下完成其余工位的检测任务。

本发明中各所述计算补偿参数、计算调节参数的作用有两个，一是平衡公式左右纲量，二是调节数值结果，在本实施例中不进行具体赋值，且，本实施例中各计算公式用于直观反应各数值间的调节关系，例如正相关，负相关，在无特殊说明的前提下，未具体限定数值的参数数值均取正。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。 凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于实时三维模型重建的智能设备线上操作***，其特征在于，包括：

采集模块，用以采集若干图像，以通过图像融合获取第一操作图像；

识别模块，与所述采集模块连接，用以对所述第一操作图像中的操作对象进行分割识别，以确定所述操作对象的操作类型和动作参数；

接收模块，用以接收对所述操作对象的操作指令；

执行模块，根据所述操作指令在所述第一操作图像中确定对所述操作对象执行所述操作类型和所述动作参数；

还包括第一判断模块，与所述识别模块连接，用以根据预设轮廓信息对所述操作对象进行判断，以确定对所述操作对象的识别是否准确。

2.根据权利要求1所述的基于实时三维模型重建的智能设备线上操作***，其特征在于，还包括标注模块，与所述第一判断模块连接，用以在确定对所述操作对象的识别错误时，对所述预设轮廓信息进行修正。

3.根据权利要求1所述的基于实时三维模型重建的智能设备线上操作***，其特征在于，还包括第二判断模块，与所述执行模块连接，用以确定对所述操作对象执行的操作类型或动作参数是否正确。

4.根据权利要求3所述的基于实时三维模型重建的智能设备线上操作***，其特征在于，还包括调整模块，与所述第二判断模块连接，用以在对所述操作对象执行错误的操作类型或动作参数时，调整所述操作指令，以形成修正指令，基于所述修正指令执行对应的操作类型和动作参数。

5.根据权利要求1所述的基于实时三维模型重建的智能设备线上操作***，其特征在于，所述采集模块包括：视觉传感单元、雷达传感单元和合成单元；

所述视觉传感单元用以获取实际操作环境中各操作对象的实际轮廓特征；

所述雷达传感单元用以获取各操作对象的实时位置特征；

所述合成单元用以利用即时定位与地图构建技术将所述实际轮廓特征和所述实时位置特征进行匹配和融合，进而形成所述第一操作图像。

6.根据权利要求1所述的基于实时三维模型重建的智能设备线上操作***，其特征在于，所述识别模块包括：识别单元、标记单元和分割单元；

对于任一所述操作对象，所述识别单元用以根据该操作对象的实际轮廓特征结合标准轮廓特征计算实际轮廓相似度，所述标记单元用以根据标准轮廓相似度对该操作对象进行标记，以得到标记结果，所述分割单元用以根据所述标记结果确定是否进行分割。

7.根据权利要求1所述的基于实时三维模型重建的智能设备线上操作***，其特征在于，所述接收模块包括数据接收单元、处理单元和调整单元，所述数据接收单元用以接收图像数据、视频数据、语音数据或文字数据中的一种或多种；

所述处理单元，用以对所述图像数据、视频数据、语音数据或文字数据进行处理，以得到辅助指令；

所述调整单元用以根据所述辅助指令对所述操作指令进行调整，以实现对所述操作指令的优化。

8.根据权利要求1所述的基于实时三维模型重建的智能设备线上操作***，其特征在于，所述执行模块包括多模态分析单元、需求获取单元和生成单元，

所述多模态分析单元用以确定所述操作对象的特征信息；

所述需求获取单元用以获取所述操作对象的操作注意事项；

所述生成单元用以根据所述特征信息和所述操作注意事项，通过多模态模型生成对所述操作对象的控制策略，并基于所述控制策略按照所述操作类型和所述动作参数进行执行。

9.根据权利要求2所述的基于实时三维模型重建的智能设备线上操作***，其特征在于，所述第一判断模块包括：比较单元和判断单元，所述比较单元用以将实际轮廓相似度与标准轮廓相似度继续比较，所述判断单元用以在所述实际轮廓相似度大于等于所述标准轮廓相似度时，判定该操作对象为有效识别，对该操作对象标记为分割类型；

在所述实际轮廓相似度小于所述标准轮廓相似度时，判定该操作对象为无效识别，不对该操作对象进行标记。