CN109032348A - 基于增强现实的智能制造方法与设备 - Google Patents

基于增强现实的智能制造方法与设备 Download PDF

Info

Publication number
CN109032348A
CN109032348A CN201810743981.7A CN201810743981A CN109032348A CN 109032348 A CN109032348 A CN 109032348A CN 201810743981 A CN201810743981 A CN 201810743981A CN 109032348 A CN109032348 A CN 109032348A
Authority
CN
China
Prior art keywords
task instruction
next step
instruction information
user equipment
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810743981.7A
Other languages
English (en)
Other versions
CN109032348B (zh
Inventor
韦莎
程雨航
王伟忠
赵学斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
China Electronics Standardization Institute
Original Assignee
Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
China Electronics Standardization Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bright Wind Taiwan (shanghai) Mdt Infotech Ltd, China Electronics Standardization Institute filed Critical Bright Wind Taiwan (shanghai) Mdt Infotech Ltd
Publication of CN109032348A publication Critical patent/CN109032348A/zh
Application granted granted Critical
Publication of CN109032348B publication Critical patent/CN109032348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/20—Packaging, e.g. boxes or containers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请的目的是提供一种基于增强现实的智能制造方法，其中，该方法包括：获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息；根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息；获取所述目标物件对应的作业指导信息；根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。本申请通过向持有增强现实设备的用户呈现当前操作区域中工件组装相关的一些辅助信息，如工件的安装位置、顺序等，引导工人完成工件的组装，有效地降低装配维修成本、降低安装过程中出错的概率，改善生产效率，实现生产环节的快速响应和精准干预。

Description

基于增强现实的智能制造方法与设备
技术领域
本申请涉及通信领域，尤其涉及一种基于增强现实的智能制造的技术。
背景技术
在工业生产过程中，虽然现在很多生产线都实现了自动化生产，但仍有一些环节需要人工装配。工业设备的组装流程一般较为复杂，涉及很多的零部件，这对工人的技艺要求非常高，工人不仅要花费大量的时间和精力进行专业培训，而且装配成功的关键还在于工人的记忆力。目前存在很多依靠纸质说明书进行辅助装配作业的情况，这导致了工人的工作量大、培训成本高、装配效率不高，且错误率不容乐观。
发明内容
本申请的一个目的是提供一种基于增强现实的智能制造方法与设备。
根据本申请的一个方面，提供了一种在第一用户设备端基于增强现实的智能制造方法，该方法包括：
获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息；
根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息；
获取所述目标物件对应的作业指导信息；
根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。
根据本申请的另一个方面，提供了一种在网络设备端基于增强现实的智能制造方法，该方法包括：
向对应第一用户设备发送作业指导信息对应的下一步作业指导信息。
根据本申请的又一个方面，提供了一种在第二用户设备端基于增强现实的智能制造方法，该方法包括：
获取用户通过所述第二用户设备提交的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
将所述下一步操作请求发送至对应的网络设备；
接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息；
将所述下一步作业指导信息发送至所述作业指导信息对应的第一用户设备。
根据本申请的一个方面，提供了一种基于增强现实的智能制造方法，其中，该方法包括：
第一用户设备获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息，根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息，获取所述目标物件对应的作业指导信息，并根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件；
网络设备向所述第一用户设备发送作业指导信息对应的下一步作业指导信息；
所述第一用户设备接收所述下一步作业指导信息，并将所述下一步作业指导信息叠加显示于所述目标物件。
根据本申请的另一个方面，提供了一种基于增强现实的智能制造方法，其中，该方法包括：
第一用户设备获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息，根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息，获取所述目标物件对应的作业指导信息，并根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件；
第二用户设备获取用户通过所述第二用户设备提交的、与所述第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
所述第二用户设备将所述下一步操作请求发送至对应的网络设备；
所述网络设备接收所述下一步操作请求，确定所述作业指导信息对应的下一步作业指导信息，并将所述下一步作业指导信息发送至所述第二用户设备。
所述第二用户设备接收所述下一步作业指导信息，并将所述下一步作业指导信息发送至所述第一用户设备。
所述第一用户设备接收所述下一步作业指导信息，并将所述下一步作业指导信息叠加显示于所述目标物件。
根据本申请的一个方面，提供了一种基于增强现实的智能制造的第一用户设备，其中，该设备包括：
第一位置获取模块，用于获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息；
第二位置获取模块，用于根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息；
指导信息获取模块，用于获取所述目标物件对应的作业指导信息；
指导信息叠加模块，用于根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。
根据本申请的另一个方面，提供了一种基于增强现实的智能制造的网络设备，其中，该设备包括：
下一步指导发送模块，用于向对应第一用户设备发送作业指导信息对应的下一步作业指导信息。
根据本申请的又一个方面，提供了一种种基于增强现实的智能制造的第二用户设备，其中，该设备包括：
下一步请求获取模块，用于获取用户通过所述第二用户设备提交的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
下一步请求发送模块，用于将所述下一步操作请求发送至对应的网络设备；
下一步指导接收模块，用于接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息；
下一步指导发送模块，用于将所述下一步作业指导信息发送至所述作业指导信息对应的第一用户设备。
根据本申请的一个方面，提供了一种基于增强现实的智能制造***，其中，该***包括如上所述的第一用户设备及如上所述的网络设备。
根据本申请的另一个方面，提供了一种基于增强现实的智能制造***，其中，该***如上所述的第一用户设备、如上所述的网络设备以及如上所述的第二用户设备。
根据本申请的一个方面，提供了一种基于增强现实的智能制造设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息；
根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息；
获取所述目标物件对应的作业指导信息；
根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。
根据本申请的另一个方面，提供了一种基于增强现实的智能制造设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
向对应第一用户设备发送作业指导信息对应的下一步作业指导信息。
根据本申请的又一个方面，提供了一种基于增强现实的智能制造设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行：
获取用户通过所述第二用户设备提交的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
将所述下一步操作请求发送至对应的网络设备；
接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息；
将所述下一步作业指导信息发送至所述作业指导信息对应的第一用户设备。
根据本申请的一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得***进行：
获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息；
根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息；
获取所述目标物件对应的作业指导信息；
根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。
根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得***进行：
向对应第一用户设备发送作业指导信息对应的下一步作业指导信息。
根据本申请的又一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得***进行：
获取用户通过所述第二用户设备提交的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
将所述下一步操作请求发送至对应的网络设备；
接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息；
将所述下一步作业指导信息发送至所述作业指导信息对应的第一用户设备。
与现有技术相比，本申请通过向持有增强现实设备的用户呈现当前操作区域中工件组装相关的一些辅助信息，如工件的安装位置、安装顺序等，引导工人完成工件的组装工作，有效地降低装配维修成本、降低安装过程中出错的概率，改善生产效率，实现生产环节的快速响应和精准干预。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种基于增强现实的智能制造方法的***拓扑图；
图2示出根据本申请一个实施例的一种在第一用户设备端基于增强现实的智能制造方法的方法流程图；
图3示出了摄像机的基本成像模型或基本针孔模型；
图4示出了一个三维点在世界坐标系与相机屏幕坐标系之间转换关系；
图5示出根据本申请另一个实施例的一种在网络设备端基于增强现实的智能制造方法的方法流程图；
图6示出根据本申请又一个实施例的一种在第二用户设备端基于增强现实的智能制造方法的方法流程图；
图7示出根据本申请一个方面的一种基于增强现实的智能制造方法的方法流程图；
图8示出根据本申请又一个方面的一种基于增强现实的智能制造方法的方法流程图；
图9示出根据本申请一个实施例的一种在第一用户设备端基于增强现实的智能制造方法的设备结构图；
图10示出根据本申请另一个实施例的一种在网络设备端基于增强现实的智能制造方法的设备结构图；
图11示出根据本申请一个方面的一种基于增强现实的智能制造方法的设备结构图；
图12示出根据本申请一个方面的一种基于增强现实的智能制造方法的***实例图；
图13示出根据本申请又一个方面的一种基于增强现实的智能制造方法的***实例图；
图14示出可被用于实施本申请中所述的各个实施例的示例性***。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作***，如android操作***、iOS操作***等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了本申请的一个典型场景，用户持有第一用户设备(如增强现实设备等)，通过第一用户设备将作业指导信息叠加显示于操作区域中的目标物件对应位置，辅助用户完成目标物件的装配等；其中，该方案可以由第一用户设备独立完成，也可以由第一用户设备与网络设备(如MES生产执行***)配合完成，还可以由第一用户设备、第二用户设备(如人机交互设备)以及网络设备配合完成；另，第一用户设备还可以将当前作业指导信息发送至第三用户设备(如PC设备)，供第三用户设备叠加显示于目标物件对应位置。其中，增强现实设备包括但不限于增强现实眼镜、增强现实头盔等增强现实设备，此处以增强现实眼镜为例阐述以下实施例，本领域技术人员应能理解，该等实施例同样适用于增强现实头盔等其他现有的或今后出现的增强现实设备；网络设备包括但不限于云端服务器、MES(Manufacturing execution system)生产执行***，此处以MES生产执行***为例阐述以下实施例，本领域技术人员应能理解，该等实施例同样适用于云端服务器等其他现有的或今后可能会出现的网络设备；第三用户设备包括但不限于用于叠加显示当前作业指导信息的增强现实设备、平板电脑、移动设备、PC设备等设备，此处以PC设备为例阐述以下实施例，本领域技术人员应能理解，该等实施例同样适用于增强现实设备、平板电脑、移动设备等其他现有的或以后可能会出现的第三用户设备。
图2示出根据本申请一个方面的一种在第一用户设备端基于增强现实的智能制造方法，其中，该方法包括步骤S11、步骤S12、步骤S13以及步骤S14。在步骤S11中，第一用户设备获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息；在步骤S12中，第一用户设备根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息；在步骤S13中，第一用户设备获取所述目标物件对应的作业指导信息；在步骤S14中，第一用户设备根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。
具体而言，在步骤S11中，第一用户设备获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息。其中，操作区域包括但不限于用于操作的工作台、流水线上的操作区域以及可用于操作的平面区域等。例如，操作区域中放置有与桌面保持水平的二维的识别图，第一用户设备扫描到该识别图，并以该识别图的中心为原点建立世界坐标系，将识别图的中心作为整个世界坐标系的中心，同时利用识别图建立世界坐标系的尺度，第一用户设备将该世界坐标系作为第一坐标系，并通过计算机视觉算法，计算目标物件在该第一坐标系中的第一位置信息(如坐标位置信息等)。
当然，本领域技术人员应能理解上述操作区域仅为举例，其他现有的或今后可能出现的操作区域如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在步骤S12中，第一用户设备根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息。例如，我们可以假设，目标物件有个第一坐标系(假设为世界坐标系)，眼镜实体摄像头有个三维摄像坐标系，人眼和眼镜屏幕组成一个虚拟的相机坐标系，眼镜屏幕有个第二坐标系(如二维坐标系)。目标物件本身在世界坐标系中的坐标是已知的，首先将其转换到眼镜实体摄像头的三维相机坐标系下，转换矩阵通过识别跟踪算法得出。再根据标定参数的外参(已知)转换到人眼和眼镜屏幕组成的虚拟相机坐标系上，最后根据虚拟相机内参(已知)得到眼镜屏幕上第二坐标系的坐标。因此可以计算出目标物件最终在第二坐标系中的第二位置信息。
在步骤S13中，第一用户设备获取所述目标物件对应的作业指导信息。其中，作业指导信息包括对目标物件的装配位置、装配顺序等信息。例如，第一用户设备通过识别目标物件，并在本地或云端数据库中进行匹配，获取该目标物件对应的作业指导信息；又如第一用户设备根据用户的操作等读取该目标物件对应的作业指导信息；又如，第一用户设备拍摄目标物件对应的图像，并将图像发送至网络设备，接收网络设备基于图像识别的该目标物件对应的作业指导信息。在此步骤S11与步骤S13没有必然的顺序关系。
在步骤S14中，第一用户设备根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。例如，第一用户设备根据目标物件在第二坐标系中的位置信息，并根据作业指导信息中叠加显示的虚拟叠加信息(如目标物件中装配的零件等信息)与目标物件的位置关系，在对应的位置叠加显示作业指导信息中的虚拟叠加信息。
例如，第一用户持有增强现实眼镜，增强现实眼镜通过摄像头拍摄当前操作区域相关的图像信息。增强现实眼镜根据操作区域中对应的二维识别图建立世界坐标系，并计算出目标物件在世界坐标系下的位置。我们可以假设，眼镜实体摄像头有个三维摄像坐标系，人眼和眼镜屏幕组成一个虚拟的相机坐标系，眼镜屏幕有个二维坐标系。目标物件(如电控盒外盒和电路板等零件)本身在世界坐标系中的坐标是已知的，首先将其转换到眼镜实体摄像头的三维摄像坐标系下，转换矩阵通过识别跟踪算法得出。再根据标定参数的外参(已知)转换到人眼和眼镜屏幕组成的虚拟相机坐标系上，最后根据虚拟相机内参(已知)得到眼镜屏幕上第二坐标系的坐标。因此可以计算出目标物件最终在眼镜屏幕中的第二位置信息。增强现实眼镜根据目标物件相关的信息，在数据库中查询该物件相关的作业指导信息，或者增强现实眼镜基于第一用户的选择操作等读取该目标物件的作业指导信息，其中，作业指导信息包括但不限于电路板等在电控盒外盒中的安装位置以及安装顺序。增强现实眼镜根据该目标物件在眼镜屏幕中的实时位置，在该位置实时叠加显示该目标物件对应的作业指导信息，如在电控盒外盒中电路板的建议安装位置虚拟呈现虚拟的电路板等。
当然，本领域技术人员应能理解上述作业指导信息仅为举例，其他现有的或今后可能出现的作业指导信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，该方法还包括步骤S15(未示出)。在步骤S15中，第一用户设备将所述作业指导信息发送至对应的第三用户设备，以供所述第三用户设备将所述作业指导信息叠加显示于关于所述目标物件的图像。例如，第三用户设备包括第三摄像装置，通过该第三摄像装置拍摄操作区域相关的图像信息。第一用户设备将作业指导信息发送至该第三摄像装置，第三设备装置将该接收到的作业指导信息实时叠加至当前呈现的目标物件的图像中。
例如，第三用户持有PC设备，该PC设备安装有相对固定的摄像头，PC设备通过该摄像头拍摄关于操作区域的电控盒外盒的图像信息。增强现实眼镜获取到关于电控盒外盒的作业指导信息后，将该作业指导信息发送至PC设备。PC设备接收该作业指导信息，并通过计算机视觉算法在当前呈现的关于电控盒外盒的图像信息中对应位置叠加显示虚拟的电路板等作业指导信息。此处，我们假设操作区域的电控盒外盒有一个世界坐标系，PC设备的摄像头有一个三维的摄像坐标系，PC设备的屏幕有一个二维的图像坐标系，电控盒外盒在世界坐标系中的坐标是已知的，我们先将电控盒外盒在世界坐标系中的坐标信息，根据摄像坐标系与世界坐标系的坐标变换，得到电控盒外盒在摄像坐标系中的位置信息，随后，根据摄像坐标系与图像坐标系的坐标变化，确定电控盒外盒在屏幕中的位置信息；PC设备根据电控盒外盒在屏幕中的位置，在该电控盒内部对应位置叠加显示电路板等零件的安装位置、安装顺序等作业指导信息，其中，安装顺序可以通过不同颜色、或者同一种颜色的不同深浅程度等来区分。
在一些实施例中，该方法还包括方法S16(未示出)。在步骤S16中，第一用户设备通过所述第一用户设备的拍摄装置拍摄所述目标物件在所述操作区域的图像信息；其中，在步骤S11中，第一用户设备通过所述图像信息获取所述目标物件在所述操作区域对应的第一坐标系中的第一位置信息。在一些实施例中，在步骤S13中，第一用户设备根据所述图像信息获取所述目标物件对应的作业指导信息。例如，第一用户设备通过摄像装置拍摄目标物件在操作区域的图像信息，通过图像信息建立第一坐标系，并计算目标物件在该第一坐标系下的第一位置信息；第一用户设备根据该图像信息对目标物件进行图像识别，通过计算机视觉算法与预存数据库中的模型进行匹配，将匹配到的模型对应的作业指导信息作为目标物件对应的作业指导信息。
例如，增强现实眼镜通过摄像头拍摄当前操作台上关于电控盒外盒的图像信息，该图像信息还包括操作台所在平面。该平面中存在一张第一用户放置的二维识别图，增强现实眼镜根据拍摄的图像信息以及图像信息中二维识别图，以二维识别图中心为原点建立三维的世界坐标系，并根据电控盒外盒与二维识别图中心的距离，计算当前电控盒外盒在世界坐标系中的位置信息。增强现实眼镜根据该电控盒外盒的图像信息，在数据库中进行匹配，确定该图像信息匹配的电控盒外盒模型，以及该模型对应的作业指导信息。
在一些实施例中，该方法还包括步骤S17(未示出)和步骤S18(未示出)。在步骤S17中，第一用户设备获取所述作业指导信息对应的下一步作业指导信息；在步骤S18中，第一用户设备将所述下一步作业指导信息叠加显示于所述目标物件。例如，第一用户在完成当前作业指导信息相关作业后，第一用户设备获取该作业指导信息对应的下一步作业指导信息，如第一用户设备通过用户的选择/点击下一步等操作读取下一步作业指导信息。第一用户设备根据目标物件在设备屏幕中的实时位置，在该位置将下一步作业指导信息叠加显示于目标物件。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，在数据库中读取关于目标物件对应的下一步作业指导信息，如在电路板对应位置固定对应的螺钉等。
当然，本领域技术人员应能理解上述下一步作业指导信息仅为举例，其他现有的或今后可能出现的下一步作业指导信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，在步骤S17中，第一用户设备接收对应网络设备所发送的、所述作业指导信息对应的下一步作业指导信息。在一些实施例中，所述下一步作业指导信息是所述网络设备基于所接收到的下一步操作请求发送的。在一些实施例中，所述下一步作业指导信息是所述网络设备基于所接收到的下一步操作请求发送的。例如，用户在完成当前作业指导信息后，第一用户设备基于用户的操作或者通过识别当前目标物件确定已完成当前作业时，第一用户设备向网络设备发送下一步操作请求。网络设备接收该下一步操作请求，基于该下一步操作请求在数据库中确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向MES生产执行***发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导信息发送至增强现实眼镜。
当然，本领域技术人员应能理解上述下一步操作请求仅为举例，其他现有的或今后可能出现的下一步操作请求如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，在步骤S17中，第一用户设备接收对应第二用户设备所发送的、所述作业指导信息对应的下一步作业指导信息，其中，所述下一步作业指导信息由所述网络设备发送至所述第二用户设备。例如，第二用户设备包括与第一用户设备建立通信连接的人机交互设备，第二用户设备还可以与网络设备建立了通信连接，第二用户设备可以呈现关于第一用户操作的目标对象当前的作业指导信息，第二用户可以基于该作业指导信息在第二用户设备上选择进入下一步操作信息等。又如，第二用户设备接收到第一用户设备的下一步指导信息，将该下一步作业指导信息发送至第一用户设备，其中，该下一步指导信息包括网络设备根据第二用户设备发送的下一步操作请求返回的。
例如，第二用户持有人机交互设备(如平板电脑等)，该人机交互设备与增强现实眼镜、网络设备建立了通信连接，且第一用户与第二用户在执行同一生产执行任务。人机交互设备与增强现实眼镜呈现的作业指导信息相同，如人机交互设备在屏幕上呈现作业指导信息，增强现实在屏幕上叠加显示对应的作业指导信息。第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向人机交互设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。人机交互设备接收该下一步操作请求，并将该下一步操作请求发送至MES生产执行***，MES生产执行***根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。
又如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第二用户在人机交互设备屏幕选择进行下一步的操作，人机交互设备根据该操作，向网络设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。
在一些实施例中，在步骤S17中，第一用户设备获取用户通过所述第一用户设备提交的关于所述作业指导信息的下一步操作请求，将所述下一步操作请求发送至所述网络设备，接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息。例如，用户在完成当前作业指导信息后，用户在第一用户设备上选择进入下一步作业的操作，第一用户设备基于用户的操作向网络设备发送下一步操作请求。网络设备接收该下一步操作请求，基于该下一步操作请求在数据库中确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向MES生产执行***发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导信息发送至增强现实眼镜。
在一些实施例中，该方法包括步骤S19(未示出)。在步骤S19中，第一用户设备通过所述第一用户设备中的拍摄装置拍摄被作业的所述目标物件，并将所拍摄的图像信息发送至对应的网络设备；其中，在步骤S17中，第一用户设备接收所述网络设备在根据所述图像信息确定所述作业指导信息已完成后所发送的、所述作业指导信息对应的下一步作业指导信息。例如，第一用户设备实时拍摄当前用户正在作业时的目标物件相关的图像信息，并将该图像信息发送至网络设备。网络设备接收该图像信息，并根据计算机视觉算法与作业完成的预设图像进行匹配，若拍摄的图像信息中目标物件相关的图像与预设图像匹配，网络设备确定当前目标物件相关作业已完成，确定当前作业指导信息对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，增强现实眼镜拍摄该电路板已安装在电控盒外盒中对应位置的图像信息，并将该图像信息发送至MES生产执行***。MES生产执行***接收该图像信息，并在数据库中与该执行任务中预设的已完成模型进行匹配，匹配到该作业指导信息已完成的预设模型，确定当前作业指导信息已完成，MES生产执行***根据当前作业指导已完成，获取对应的下一步作业指导信息，如在电路板对应位置固定对应的螺钉等。随后，MES生产执行***将该下一步作业指导信息发送至增强现实设备。
在一些实施例中，该方法包括步骤S20(未示出)。在步骤S20中，第一用户设备确定作业后的所述目标物件在所述第二坐标系中的当前位置信息；其中，在步骤S18中，第一用户设备根据所述当前位置信息将所述下一步作业指导信息叠加显示于所述目标物件。例如，第一用户设备根据拍摄的作业后的图像信息，实时确定目标物件在第二坐标系中的当前位置信息，并根据该位置信息将下一步作业指导信息叠加显示在该位置的目标物件上。
例如，增强现实眼镜实时确定电控盒外盒在世界坐标系中的位置，并根据坐标转换关系，获取该电控盒外盒在眼镜屏幕上的位置。增强现实眼镜接收到电控盒外盒中已安装的电路板对应位置固定螺钉的下一步作业指导信息，在当前屏幕中电控盒外盒中电路板对应位置叠加显示对应的需固定的螺钉等信息，如各螺钉将固定的位置、顺序以及型号等。
在一些实施例中，该方法包括步骤S01(未示出)。在步骤S01中，第一用户设备通过所述第一用户设备中的拍摄装置拍摄被作业的所述目标物件，根据所述图像信息确定所述第一用户设备中的作业指导信息是否已完成。例如，第一用户设备实时拍摄当前用户正在作业时的目标物件相关的图像信息，根据该图像信息确定当前作业是否已完成，如根据计算机视觉算法与作业完成的预设图像进行匹配，若拍摄的图像信息中目标物件相关的图像与预设图像匹配，第一用户设备确定当前目标物件相关作业已完成，在数据库中读取当前作业指导信息对应的下一步作业指导信息。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，增强现实眼镜拍摄该电路板已安装在电控盒外盒中对应位置的图像信息，并在数据库中与该执行任务中预设的已完成模型进行匹配，匹配到该作业指导信息已完成的预设模型，确定当前作业指导信息已完成，增强现实眼镜根据当前作业指导已完成，获取对应的下一步作业指导信息，如在电路板对应位置固定对应的螺钉等。
在一些实施例中，在步骤S12中，第一用户设备根据所述第一用户设备对应的第二坐标系与人眼坐标系的第一坐标映射关系、所述人眼坐标系与摄像坐标系的第二坐标映射关系以及所述摄像坐标系与所述第一坐标系的第三坐标映射关系，确定所述第一用户对应的第二坐标系与所述第一坐标系的坐标映射关系，并基于所述第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息。
例如，我们可以假设，目标物件本身有个第一坐标系(假设为世界坐标系)，增强现实眼镜实体摄像头有个三维摄像坐标系，人眼和眼镜屏幕组成一个虚拟的相机坐标系，眼镜屏幕有个二维的第二坐标系(图像坐标系)。目标物件本身在世界坐标系中的坐标是已知的，首先将其转换到眼镜实体摄像头的三维摄像坐标系下，转换矩阵通过识别跟踪算法得出。再根据标定参数的外参(已知)转换到人眼和眼镜屏幕组成的虚拟相机坐标系上，最后根据虚拟相机内参(已知)得到眼镜屏幕上的坐标。因此可以计算出目标物件最终在眼镜屏幕中的位置。此处我们将目标物件在世界坐标系下的坐标转换到眼镜上的实体相机坐标系(眼镜摄像头对应的坐标系)下，其中，该转换矩阵通过识别跟踪算法得出。增强现实眼镜确定世界坐标系到图像坐标系的坐标映射关系后，根据目标物件在世界坐标系的位置得到目标物件在眼镜屏幕中的位置信息。其中，从世界坐标转换到图像坐标的具体摄像机模型如下：
1、理想模型
图3示出了摄像机的基本成像模型，通常称为基本针孔模型，由三维空间到平面的中心投影变换所给出。
如图3，Oc是摄像机中心，它到摄像机像平面π的距离为f，f称为摄像机的焦距。空间点Xc在平面π上的投影(或像)m是以点Oc为端点并经过点Xc的射线与平面π的交点,以点Oc为端点且垂直于像平面的射线称为光轴或主轴，主轴与像平面的交点p称为摄像机的主点。为了从代数上描述这种投影关系，需要建立摄像机坐标系和图像平面坐标系。在图像平面上，以主点p为像平面坐标系的坐标原点，以水平线与铅直线分别为x轴和y轴，建立图像坐标系o-xy。在空间中，以摄像机中心Oc为摄像机坐标系的坐标原点，建立摄像机坐标系O-xcyczc，如图3(b)所示。空间点Xc在摄像机坐标系中的齐次坐标记为Xc＝(xc,yc,zc,1)T，它的像点m在图像坐标系中的齐次坐标记m＝(x,y,1)T，称(Xc,m)为一组对。根据三角形相似原理，可推知空间点Xc与它的像点m满足下述关系：
转换成矩阵形式：
其中，Xc＝(xc,yc,zc,1)T，m＝(x,y,1)T分别是空间点和图像点的齐次坐标，是从空间到像平面的一个齐次线性变换。记P＝diag(f,f,1)(I,0),则上式可以表示为更简单形式：
m＝PXc (3)
注意：(3)是一个齐次等式，表示在相差一个非零常数因子的意义下相等。通常称矩阵P为摄像机矩阵。这就是基本成像模型的代数表示。
2、实际模型
上面讨论的是理论情况(主点就是图像坐标系的原点)，但实际情况中，
一、图像平面的坐标原点可能不在主点上；
二、用于计算机处理的图像通常都是用CCD摄像机所获取的数字图像，将图像平面的点进行数字离散化。
在以上推导的理想模型中，假设的图像坐标在两个轴上的尺度不相等，这样CCD摄像机数字离散化后的像素不是一个正方形，因此有必要引入非等量尺度因子；第三，一般摄像有扭曲参数的存在。
在以上三种条件的限制下，理想的中心投影模型可以对应改写为五个参数的模型：
同样，则摄像机的投影关系可以写成：
m＝K(I,0)Xc＝PXc (5)
其中：是摄像机内参数矩阵，fx,fy称为CCD摄像机在u轴和v轴方向上的尺度因子，(u0,v0)T称为CCD摄像机的主点。s称为CCD摄像机的畸变因子或倾斜因子。摄像机的内部参数共有五个。
3、一般模型
我们一般描述一个三维点，由于相机可能一直在运动，所以我们并不是基于摄像机坐标系下对其描述，而是在世界坐标系下进行描述。世界坐标系与相机坐标系之间的关系可以用旋转矩阵和平移向量来描述，如图4所示。
令空间点在世界坐标系与摄像机坐标系的坐标分别为X＝(x,y,z,1)T，Xc＝(xc,yc,zc,1)T，则二者之间的关系：
将(6)带入(5)，得到：
其中，表示摄像机中心在世界坐标系中的坐标，摄像机矩阵 为摄像机的外参数矩阵。其中，R＝(α,β,γ)是旋转矩阵，α,β,γ分别是绕摄像机坐标系x,y,z轴的旋转角度。
是平移矩阵,Tx,Ty,Tz分别是绕摄像机坐标系x,y,z轴的平移量，所以摄像机外参由6个参数组成(α,β,γ,Tx,Ty,Tz)。
图5示出根据本申请的另一个方面的一种在网络设备端基于增强现实的智能制造方法，其中，该方法包括步骤S21。在步骤S21中，网络设备向对应第一用户设备发送作业指导信息对应的下一步作业指导信息。
例如，第一用户持有增强现实眼镜，增强现实眼镜通过摄像装置拍摄当前操作区域相关的图像信息，增强现实眼镜与网络设备建立了通信连接。网络设备基于通信确定当前第一用户当前作业指导信息，在数据库中确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。第一用户设备接收该下一步作业指导信息，并根据目标物件在当前屏幕中的位置，在该位置实时将下一步作业指导信息实时叠加于目标物件。
在一些实施例中，在步骤S21中，网络设备接收对应第二用户设备所发送的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务，确定所述作业指导信息对应的下一步作业指导信息，并将所述下一步作业指导信息发送至所述第二用户设备。例如，第二用户设备包括与第一用户设备建立通信连接的人机交互设备，第二用户设备还可以与网络设备建立了通信连接。第二用户设备获取当前第一用户设备的作业指导信息对应的下一步操作请求，如第二用户基于第二用户的操作，获取目标物件当前作业信息对应的下一步操作请求，又如，第二用户设备接收第一用户设备发送的下一步操作请求；第二用户设备将该下一步操作请求发送至网络设备。网络设备根据接收到的下一步操作请求确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第二用户设备。
例如，第二用户持有人机交互设备(如平板电脑等)，该人机交互设备与增强现实眼镜、网络设备建立了通信连接，且第一用户与第二用户在执行统一生产执行任务。人机交互设备与增强现实眼镜呈现的作业指导信息相同，如人机交互设备在屏幕上呈现作业指导信息，增强现实在屏幕上叠加显示对应的作业指导信息。第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向人机交互设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。人机交互设备接收该下一步操作请求，并将该下一步操作请求发送至MES生产执行***，MES生产执行***根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。
又如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第二用户在人机交互设备屏幕选择进行下一步的操作，人机交互设备根据该操作，向网络设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。
在一些实施例中，在步骤S21中，网络设备接收对应第一用户设备发送的关于作业指导信息的下一步操作请求，确定所述作业指导信息对应的下一步作业指导信息，并将所述下一步作业指导信息发送至所述第二用户设备。例如，用户在完成当前作业指导信息后，用户在第一用户设备上选择进入下一步作业的操作或者第一用户通过拍摄的关于作业指导的图像确定当前作业指导已完成，第一用户设备基于用户的操作向网络设备发送下一步操作请求。网络设备接收该下一步操作请求，基于该下一步操作请求在数据库中确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第二用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向MES生产执行***发送下一步操作请求；又如，增强现实眼镜通过摄像装置拍摄当前操作台上电控盒相关作业指导的图像信息，并根据该作业指导信息确定当前作业指导信息已完成，增强现实眼镜向MES生产执行***发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导信息发送至增强现实眼镜。
在一些实施例中，该方法还包括步骤S22(未示出)。在步骤S22中，网络设备接收对应第一用户设备发送的关于目标物件的图像信息，其中所述图像信息通过所述第一用户设备中的拍摄装置对被作业的所述目标物件拍摄所得，根据所述图像信息确定所述第一用户设备中的作业指导信息是否已完成；其中，在步骤S21中，若所述作业指导信息已完成，网络设备向所述第一用户设备发送所述作业指导信息对应的下一步作业指导信息。例如，第一用户设备实时拍摄当前用户正在作业时的目标物件相关的图像信息，并将该图像信息发送至网络设备。网络设备接收该图像信息，并根据计算机视觉算法与作业完成的预设图像进行匹配，若拍摄的图像信息中目标物件相关的图像与预设图像匹配，网络设备确定当前目标物件相关作业已完成，确定当前作业指导信息对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，增强现实眼镜拍摄该电路板已安装在电控盒外盒中对应位置的图像信息，并将该图像信息发送至MES生产执行***。MES生产执行***接收该图像信息，并在数据库中与该执行任务中预设的已完成模型进行匹配，匹配到该作业指导信息已完成的预设模型，确定当前作业指导信息已完成，MES生产执行***根据当前作业指导已完成，获取对应的下一步作业指导信息，如在电路板对应位置固定对应的螺钉等。随后，MES生产执行***将该下一步作业指导信息发送至增强现实设备。
图6示出根据本申请又一个方面的一种在第二用户设备端基于增强现实的智能制造方法，其中，该方法包括步骤S31、步骤S32、步骤S33以及步骤S34。在步骤S31中，第二用户设备获取用户通过所述第二用户设备提交的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；在步骤S32中，第二用户设备将所述下一步操作请求发送至对应的网络设备；在步骤S33中，第二用户设备接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息；在步骤S34中，第二用户设备将所述下一步作业指导信息发送至所述作业指导信息对应的第一用户设备。例如，第一用户持有第一用户设备，第二用户持有人机交互设备(如PC设备等)，第一用户设备通过摄像装置拍摄当前操作区域目标物件相关的图像信息，第一用户设备与第二用户设备、网络设备建立了通信连接。若用户当前的作业指导已完成，第二用户设备基于第二用户的操作向网络设备发送下一步操作请求，网络设备接收该请求，在数据库中确定该请求对应的下一步作业指导信息，并将该下一步作业指导信息发送至第二用户设备。第二用户接收该下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。第一用户设备接收该下一步作业指导信息，并根据目标物件在当前屏幕中的位置，在该位置实时将下一步作业指导信息实时叠加于目标物件。
例如，第一用户持有增强现实眼镜，第二用户设备持有人机交互设备，增强现实设备与人机交互设备建立了通信连接，人机交互设备与MES生产执行***建立了通信连接。人机交互设备与增强现实眼镜呈现相同的作业指导信息，如当前操作台上电控盒外盒相关的安装指导信息等。第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第二用户在人机交互设备屏幕选择进行下一步的操作，人机交互设备根据该操作，向网络设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。增强现实眼镜接收到电控盒外盒中已安装的电路板对应位置固定螺钉的下一步作业指导信息，在当前屏幕中电控盒外盒中电路板对应位置叠加显示对应的需固定的螺钉等信息，如各螺钉将固定的位置、顺序以及型号等。
在一些实施例中，在步骤S31中，第二用户设备接收第一用户设备发送的与所述第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向人机交互设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。人机交互设备接收该下一步操作请求，人机交互设备将该下一步操作请求发送至MES生产执行***确定对应的下一步作业指导信息，并将该下一步作业指导信息由MES生产执行***转发至增强现实眼镜。
图7示出根据本申请一个方面的一种基于增强现实的智能制造方法，其中，该方法包括：
第一用户设备获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息，根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息，获取所述目标物件对应的作业指导信息，并根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件；
网络设备向所述第一用户设备发送作业指导信息对应的下一步作业指导信息；
所述第一用户设备接收所述下一步作业指导信息，并将所述下一步作业指导信息叠加显示于所述目标物件。
图8示出根据本申请另一个方面的一种基于增强现实的智能制造方法，其中，该方法包括：
第一用户设备获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息，根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息，获取所述目标物件对应的作业指导信息，并根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件；
第二用户设备获取用户通过所述第二用户设备提交的、与所述第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
所述第二用户设备将所述下一步操作请求发送至对应的网络设备；
所述网络设备接收所述下一步操作请求，确定所述作业指导信息对应的下一步作业指导信息，并将所述下一步作业指导信息发送至所述第二用户设备。
所述第二用户设备接收所述下一步作业指导信息，并将所述下一步作业指导信息发送至所述第一用户设备。
所述第一用户设备接收所述下一步作业指导信息，并将所述下一步作业指导信息叠加显示于所述目标物件。
图9示出根据本申请一个方面的一种基于增强现实的智能制造的第一用户设备，其中，该设备包括第一位置获取模块11、第二位置获取模块12、指导信息获取模块13以及指导信息叠加模块14。第一位置获取模块11，用于获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息；第二位置获取模块12，用于根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息；指导信息获取模块13，用于获取所述目标物件对应的作业指导信息；指导信息叠加模块14，用于根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。
具体而言，第一位置获取模块11，用于获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息。其中，操作区域包括但不限于用于操作的工作台、流水线上的操作区域以及可用于操作的平面区域等。例如，操作区域中放置有与桌面保持水平的二维的识别图，第一用户设备扫描到该识别图，并以该识别图的中心为原点建立世界坐标系，将识别图的中心作为整个世界坐标系的中心，同时利用识别图建立世界坐标系的尺度，第一用户设备将该世界坐标系作为第一坐标系，并通过计算机视觉算法，计算目标物件在该第一坐标系中的第一位置信息(如坐标位置信息等)。
当然，本领域技术人员应能理解上述操作区域仅为举例，其他现有的或今后可能出现的操作区域如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
第二位置获取模块12，用于根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息。例如，我们可以假设，目标物件有个第一坐标系(假设为世界坐标系)，眼镜实体摄像头有个三维摄像坐标系，人眼和眼镜屏幕组成一个虚拟的相机坐标系，眼镜屏幕有个第二坐标系(如二维坐标系)。目标物件本身在世界坐标系中的坐标是已知的，首先将其转换到眼镜实体摄像头的三维摄像坐标系下，转换矩阵通过识别跟踪算法得出。再根据标定参数的外参(已知)转换到人眼和眼镜屏幕组成的虚拟相机坐标系上，最后根据虚拟相机内参(已知)得到眼镜屏幕上第二坐标系的坐标。因此可以计算出目标物件最终在第二坐标系中的第二位置信息。
指导信息获取模块13，用于获取所述目标物件对应的作业指导信息。其中，作业指导信息包括对目标物件的装配位置、装配顺序等信息。例如，第一用户设备通过识别目标物件，并在本地或云端数据库中进行匹配，获取该目标物件对应的作业指导信息；又如第一用户设备根据用户的操作等读取该目标物件对应的作业指导信息；又如，第一用户设备拍摄目标物件对应的图像，并将图像发送至网络设备，接收网络设备基于图像识别的该目标物件对应的作业指导信息。
指导信息叠加模块14根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。例如，第一用户设备根据目标物件在第二坐标系中的位置信息，并根据作业指导信息中叠加显示的虚拟叠加信息(如目标物件中装配的零件等信息)与目标物件的位置关系，在对应的位置叠加显示作业指导信息中的虚拟叠加信息。
例如，第一用户持有增强现实眼镜，增强现实眼镜通过摄像头拍摄当前操作区域相关的图像信息。增强现实眼镜根据操作区域中对应的二维识别图建立世界坐标系，并计算出目标物件在世界坐标系下的位置。我们可以假设，眼镜实体摄像头有个三维摄像坐标系，人眼和眼镜屏幕组成一个虚拟的相机坐标系，眼镜屏幕有个二维坐标系。目标物件(如电控盒外盒和电路板等零件)本身在世界坐标系中的坐标是已知的，首先将其转换到眼镜实体摄像头的三维摄像坐标系下，转换矩阵通过识别跟踪算法得出。再根据标定参数的外参(已知)转换到人眼和眼镜屏幕组成的虚拟相机坐标系上，最后根据虚拟相机内参(已知)得到眼镜屏幕上第二坐标系的坐标。因此可以计算出目标物件最终在眼镜屏幕中的第二位置信息。增强现实眼镜根据目标物件相关的信息，在数据库中查询该物件相关的作业指导信息，或者增强现实眼镜基于第一用户的选择操作等读取该目标物件的作业指导信息，其中，作业指导信息包括但不限于电路板等在电控盒外盒中的安装位置以及安装顺序。增强现实眼镜根据该目标物件在眼镜屏幕中的实时位置，在该位置实时叠加显示该目标物件对应的作业指导信息，如在电控盒外盒中电路板的建议安装位置虚拟呈现虚拟的电路板等。
当然，本领域技术人员应能理解上述作业指导信息仅为举例，其他现有的或今后可能出现的作业指导信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，该设备还包括作业指导发送模块15(未示出)。作业指导发送模块15，用于将所述作业指导信息发送至对应的第三用户设备，以供所述第三用户设备将所述作业指导信息叠加显示于关于所述目标物件的图像。例如，第三用户设备包括第三摄像装置，通过该第三摄像装置拍摄操作区域相关的图像信息。第一用户设备将作业指导信息发送至该第三摄像装置，第三设备装置将该接收到的作业指导信息实时叠加至当前呈现的目标物件的图像中。
例如，第三用户持有PC设备，该PC设备安装有相对固定的摄像头，PC设备通过该摄像头拍摄关于操作区域的电控盒外盒的图像信息。增强现实眼镜获取到关于电控盒外盒的作业指导信息后，将该作业指导信息发送至PC设备。PC设备接收该作业指导信息，并通过计算机视觉算法在当前呈现的关于电控盒外盒的图像信息中对应位置叠加显示虚拟的电路板等作业指导信息。此处，我们假设操作区域的电控盒外盒有一个世界坐标系，PC设备的摄像头有一个三维的摄像坐标系，PC设备的屏幕有一个二维的图像坐标系，电控盒外盒在世界坐标系中的坐标是已知的，我们先将电控盒外盒在世界坐标系中的坐标信息，根据摄像坐标系与世界坐标系的坐标变换，得到电控盒外盒在摄像坐标系中的位置信息，随后，根据摄像坐标系与图像坐标系的坐标变化，确定电控盒外盒在屏幕中的位置信息；PC设备根据电控盒外盒在屏幕中的位置，在该电控盒内部对应位置叠加显示电路板等零件的安装位置、安装顺序等作业指导信息，其中，安装顺序可以通过不同颜色、或者同一种颜色的不同深浅程度等来区分。
在一些实施例中，该设备还包括图像拍摄模块16(未示出)。图像拍摄模块16，用于通过所述第一用户设备的拍摄装置拍摄所述目标物件在所述操作区域的图像信息；其中，第一位置获取模块，用于通过所述图像信息获取所述目标物件在所述操作区域对应的第一坐标系中的第一位置信息。在一些实施例中，指导信息获取模块13，用于根据所述图像信息获取所述目标物件对应的作业指导信息。例如，第一用户设备通过摄像装置拍摄目标物件在操作区域的图像信息，通过图像信息建立第一坐标系，并计算目标物件在该第一坐标系下的第一位置信息；第一用户设备根据该图像信息对目标物件进行图像识别，通过计算机视觉算法与预存数据库中的模型进行匹配，将匹配到的模型对应的作业指导信息作为目标物件对应的作业指导信息。
例如，增强现实眼镜通过摄像头拍摄当前操作台上关于电控盒外盒的图像信息，该图像信息还包括操作台所在平面。该平面中存在一张第一用户放置的二维识别图，增强现实眼镜根据拍摄的图像信息以及图像信息中二维识别图，以二维识别图中心为原点建立三维的世界坐标系，并根据电控盒外盒与二维识别图中心的距离，计算当前电控盒外盒在世界坐标系中的位置信息。增强现实眼镜根据该电控盒外盒的图像信息，在数据库中进行匹配，确定该图像信息匹配的电控盒外盒模型，以及该模型对应的作业指导信息。
在一些实施例中，该设备还包括下一步指导获取模块17(未示出)和下一步指导叠加模块18(未示出)。括下一步指导获取模块17，用于获取所述作业指导信息对应的下一步作业指导信息；下一步指导叠加模块18，用于将所述下一步作业指导信息叠加显示于所述目标物件。例如，第一用户在完成当前作业指导信息相关作业后，第一用户设备获取该作业指导信息对应的下一步作业指导信息，如第一用户设备通过用户的选择/点击下一步等操作读取下一步作业指导信息。第一用户设备根据目标物件在设备屏幕中的实时位置，在该位置将下一步作业指导信息叠加显示于目标物件。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，在数据库中读取关于目标物件对应的下一步作业指导信息，如在电路板对应位置固定对应的螺钉等。
当然，本领域技术人员应能理解上述下一步作业指导信息仅为举例，其他现有的或今后可能出现的下一步作业指导信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，下一步指导获取模块17，用于接收对应网络设备所发送的、所述作业指导信息对应的下一步作业指导信息。在一些实施例中，所述下一步作业指导信息是所述网络设备基于所接收到的下一步操作请求发送的。在一些实施例中，所述下一步作业指导信息是所述网络设备基于所接收到的下一步操作请求发送的。例如，用户在完成当前作业指导信息后，第一用户设备基于用户的操作或者通过识别当前目标物件确定已完成当前作业时，第一用户设备向网络设备发送下一步操作请求。网络设备接收该下一步操作请求，基于该下一步操作请求在数据库中确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向MES生产执行***发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导信息发送至增强现实眼镜。
当然，本领域技术人员应能理解上述下一步操作请求仅为举例，其他现有的或今后可能出现的下一步操作请求如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施例中，下一步指导获取模块17，用于接收对应第二用户设备所发送的、所述作业指导信息对应的下一步作业指导信息，其中，所述下一步作业指导信息由所述网络设备发送至所述第二用户设备。例如，第二用户设备包括与第一用户设备建立通信连接的人机交互设备，第二用户设备还可以与网络设备建立了通信连接，第二用户设备可以呈现关于第一用户操作的目标对象当前的作业指导信息，第二用户可以基于该作业指导信息在第二用户设备上选择进入下一步操作信息等。又如，第二用户设备接收到第一用户设备的下一步指导信息，将该下一步作业指导信息发送至第一用户设备，其中，该下一步指导信息包括网络设备根据第二用户设备发送的下一步操作请求返回的。
例如，第二用户持有人机交互设备(如平板电脑等)，该人机交互设备与增强现实眼镜、网络设备建立了通信连接，且第一用户与第二用户在执行同一生产执行任务。人机交互设备与增强现实眼镜呈现的作业指导信息相同，如人机交互设备在屏幕上呈现作业指导信息，增强现实在屏幕上叠加显示对应的作业指导信息。第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向人机交互设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。人机交互设备接收该下一步操作请求，并将该下一步操作请求发送至MES生产执行***，MES生产执行***根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。
又如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第二用户在人机交互设备屏幕选择进行下一步的操作，人机交互设备根据该操作，向网络设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。
在一些实施例中，下一步指导获取模块17，用于获取用户通过所述第一用户设备提交的关于所述作业指导信息的下一步操作请求，将所述下一步操作请求发送至所述网络设备，接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息。例如，用户在完成当前作业指导信息后，用户在第一用户设备上选择进入下一步作业的操作，第一用户设备基于用户的操作向网络设备发送下一步操作请求。网络设备接收该下一步操作请求，基于该下一步操作请求在数据库中确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向MES生产执行***发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导信息发送至增强现实眼镜。
在一些实施例中，该设备包括拍摄作业模块19(未示出)。拍摄作业模块19，用于通过所述第一用户设备中的拍摄装置拍摄被作业的所述目标物件，并将所拍摄的图像信息发送至对应的网络设备；其中，下一步指导获取模块17，用于接收所述网络设备在根据所述图像信息确定所述作业指导信息已完成后所发送的、所述作业指导信息对应的下一步作业指导信息。例如，第一用户设备实时拍摄当前用户正在作业时的目标物件相关的图像信息，并将该图像信息发送至网络设备。网络设备接收该图像信息，并根据计算机视觉算法与作业完成的预设图像进行匹配，若拍摄的图像信息中目标物件相关的图像与预设图像匹配，网络设备确定当前目标物件相关作业已完成，确定当前作业指导信息对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，增强现实眼镜拍摄该电路板已安装在电控盒外盒中对应位置的图像信息，并将该图像信息发送至MES生产执行***。MES生产执行***接收该图像信息，并在数据库中与该执行任务中预设的已完成模型进行匹配，匹配到该作业指导信息已完成的预设模型，确定当前作业指导信息已完成，MES生产执行***根据当前作业指导已完成，获取对应的下一步作业指导信息，如在电路板对应位置固定对应的螺钉等。随后，MES生产执行***将该下一步作业指导信息发送至增强现实设备。
在一些实施例中，该设备包括位置确定模块20(未示出)。位置确定模块20，用于确定作业后的所述目标物件在所述第二坐标系中的当前位置信息；其中，下一步指导叠加模块18，用于根据所述当前位置信息将所述下一步作业指导信息叠加显示于所述目标物件。例如，第一用户设备根据拍摄的作业后的图像信息，实时确定目标物件在第二坐标系中的当前位置信息，并根据该位置信息将下一步作业指导信息叠加显示在该位置的目标物件上。
例如，增强现实眼镜实时确定电控盒外盒在世界坐标系中的位置，并根据坐标转换关系，获取该电控盒外盒在眼镜屏幕上的位置。增强现实眼镜接收到电控盒外盒中已安装的电路板对应位置固定螺钉的下一步作业指导信息，在当前屏幕中电控盒外盒中电路板对应位置叠加显示对应的需固定的螺钉等信息，如各螺钉将固定的位置、顺序以及型号等。
在一些实施例中，该设备包括下一步读取模块01(未示出)。下一步读取模块01，用于通过所述第一用户设备中的拍摄装置拍摄被作业的所述目标物件，根据所述图像信息确定所述第一用户设备中的作业指导信息是否已完成。例如，第一用户设备实时拍摄当前用户正在作业时的目标物件相关的图像信息，根据该图像信息确定当前作业是否已完成，如根据计算机视觉算法与作业完成的预设图像进行匹配，若拍摄的图像信息中目标物件相关的图像与预设图像匹配，第一用户设备确定当前目标物件相关作业已完成，在数据库中读取当前作业指导信息对应的下一步作业指导信息。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，增强现实眼镜拍摄该电路板已安装在电控盒外盒中对应位置的图像信息，并在数据库中与该执行任务中预设的已完成模型进行匹配，匹配到该作业指导信息已完成的预设模型，确定当前作业指导信息已完成，增强现实眼镜根据当前作业指导已完成，获取对应的下一步作业指导信息，如在电路板对应位置固定对应的螺钉等。
在一些实施例中，第二位置获取模块12，用于根据所述第一用户设备对应的第二坐标系与人眼坐标系的第一坐标映射关系、所述人眼坐标系与摄像坐标系的第二坐标映射关系以及所述摄像坐标系与所述第一坐标系的第三坐标映射关系，确定所述第一用户对应的第二坐标系与所述第一坐标系的坐标映射关系，并基于所述第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息。
例如，我们可以假设，目标物件本身有个第一坐标系(假设为世界坐标系)，增强现实眼镜实体摄像头有个三维摄像坐标系，人眼和眼镜屏幕组成一个虚拟的相机坐标系，眼镜屏幕有个二维的第二坐标系(图像坐标系)。目标物件本身在世界坐标系中的坐标是已知的，首先将其转换到眼镜实体摄像头的三维摄像坐标系下，转换矩阵通过识别跟踪算法得出。再根据标定参数的外参(已知)转换到人眼和眼镜屏幕组成的虚拟相机坐标系上，最后根据虚拟相机内参(已知)得到眼镜屏幕上的坐标。因此可以计算出目标物件最终在眼镜屏幕中的位置。此处我们将目标物件在世界坐标系下的坐标转换到眼镜上的实体相机坐标系(眼镜摄像头对应的坐标系)下，其中，该转换矩阵通过识别跟踪算法得出。增强现实眼镜确定世界坐标系到图像坐标系的坐标映射关系后，根据目标物件在世界坐标系的位置得到目标物件在眼镜屏幕中的位置信息。其中，从世界坐标转换到图像坐标的具体摄像机模型如下：
1、理想模型
图3示出了摄像机的基本成像模型，通常称为基本针孔模型，由三维空间到平面的中心投影变换所给出。
如图3，Oc是摄像机中心，它到摄像机像平面π的距离为f，f称为摄像机的焦距。空间点Xc在平面π上的投影(或像)m是以点Oc为端点并经过点Xc的射线与平面π的交点,以点Oc为端点且垂直于像平面的射线称为光轴或主轴，主轴与像平面的交点p称为摄像机的主点。为了从代数上描述这种投影关系，需要建立摄像机坐标系和图像平面坐标系。在图像平面上，以主点p为像平面坐标系的坐标原点，以水平线与铅直线分别为x轴和y轴，建立图像坐标系o-xy。在空间中，以摄像机中心Oc为摄像机坐标系的坐标原点，建立摄像机坐标系O-xcyczc，如图3(b)所示。空间点Xc在摄像机坐标系中的齐次坐标记为Xc＝(xc,yc,zc,1)T，它的像点m在图像坐标系中的齐次坐标记m＝(x,y,1)T，称(Xc,m)为一组对。根据三角形相似原理，可推知空间点Xc与它的像点m满足下述关系：
转换成矩阵形式：
其中，Xc＝(xc,yc,zc,1)T，m＝(x,y,1)T分别是空间点和图像点的齐次坐标，是从空间到像平面的一个齐次线性变换。记P＝diag(f,f,1)(I,0),则上式可以表示为更简单形式：
m＝PXc (11)
注意：(11)是一个齐次等式，表示在相差一个非零常数因子的意义下相等。通常称矩阵P为摄像机矩阵。这就是基本成像模型的代数表示。
2、实际模型
上面讨论的是理论情况(主点就是图像坐标系的原点)，但实际情况中，
一、图像平面的坐标原点可能不在主点上；
二、用于计算机处理的图像通常都是用CCD摄像机所获取的数字图像，将图像平面的点进行数字离散化。
在以上推导的理想模型中，假设的图像坐标在两个轴上的尺度不相等，这样CCD摄像机数字离散化后的像素不是一个正方形，因此有必要引入非等量尺度因子；第三，一般摄像有扭曲参数的存在。
在以上三种条件的限制下，理想的中心投影模型可以对应改写为五个参数的模型：
同样，则摄像机的投影关系可以写成：
m＝K(I,0)Xc＝PXc (13)
其中：是摄像机内参数矩阵，fx,fy称为CCD摄像机在u轴和v轴方向上的尺度因子，(u0,v0)T称为CCD摄像机的主点。s称为CCD摄像机的畸变因子或倾斜因子。摄像机的内部参数共有五个。
3、一般模型
我们一般描述一个三维点，由于相机可能一直在运动，所以我们并不是基于摄像机坐标系下对其描述，而是在世界坐标系下进行描述。世界坐标系与相机坐标系之间的关系可以用旋转矩阵和平移向量来描述，如图4所示。
令空间点在世界坐标系与摄像机坐标系的坐标分别为X＝(x,y,z,1)T，Xc＝(xc,yc,zc,1)T，则二者之间的关系：
将(14)带入(13)，得到：
其中，表示摄像机中心在世界坐标系中的坐标，摄像机矩阵 为摄像机的外参数矩阵。其中，R＝(α,β,γ)是旋转矩阵，α,β,γ分别是绕摄像机坐标系x,y,z轴的旋转角度。
是平移矩阵,Tx,Ty,Tz分别是绕摄像机坐标系x,y,z轴的平移量，所以摄像机外参由6个参数组成(α,β,γ,Tx,Ty,Tz)。
图10示出根据本申请的另一个方面的一种基于增强现实的智能制造的网络设备，其中，该设备包括下一步指导发送模块21。下一步指导发送模块21，用于向对应第一用户设备发送作业指导信息对应的下一步作业指导信息。
例如，第一用户持有增强现实眼镜，增强现实眼镜通过摄像装置拍摄当前操作区域相关的图像信息，增强现实眼镜与网络设备建立了通信连接。网络设备基于通信确定当前第一用户当前作业指导信息，在数据库中确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。第一用户设备接收该下一步作业指导信息，并根据目标物件在当前屏幕中的位置，在该位置实时将下一步作业指导信息实时叠加于目标物件。
在一些实施例中下一步指导发送模块21，用于接收对应第二用户设备所发送的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务，确定所述作业指导信息对应的下一步作业指导信息，并将所述下一步作业指导信息发送至所述第二用户设备。例如，第二用户设备包括与第一用户设备建立通信连接的人机交互设备，第二用户设备还可以与网络设备建立了通信连接。第二用户设备获取当前第一用户设备的作业指导信息对应的下一步操作请求，如第二用户基于第二用户的操作，获取目标物件当前作业信息对应的下一步操作请求，又如，第二用户设备接收第一用户设备发送的下一步操作请求；第二用户设备将该下一步操作请求发送至网络设备。网络设备根据接收到的下一步操作请求确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第二用户设备。
例如，第二用户持有人机交互设备(如平板电脑等)，该人机交互设备与增强现实眼镜、网络设备建立了通信连接，且第一用户与第二用户在执行统一生产执行任务。人机交互设备与增强现实眼镜呈现的作业指导信息相同，如人机交互设备在屏幕上呈现作业指导信息，增强现实在屏幕上叠加显示对应的作业指导信息。第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向人机交互设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。人机交互设备接收该下一步操作请求，并将该下一步操作请求发送至MES生产执行***，MES生产执行***根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。
又如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第二用户在人机交互设备屏幕选择进行下一步的操作，人机交互设备根据该操作，向网络设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。
在一些实施例中，下一步指导发送模块21，用于接收对应第一用户设备发送的关于作业指导信息的下一步操作请求，确定所述作业指导信息对应的下一步作业指导信息，并将所述下一步作业指导信息发送至所述第二用户设备。例如，用户在完成当前作业指导信息后，用户在第一用户设备上选择进入下一步作业的操作或者第一用户通过拍摄的关于作业指导的图像确定当前作业指导已完成，第一用户设备基于用户的操作向网络设备发送下一步操作请求。网络设备接收该下一步操作请求，基于该下一步操作请求在数据库中确定对应的下一步作业指导信息，并将该下一步作业指导信息发送至第二用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向MES生产执行***发送下一步操作请求；又如，增强现实眼镜通过摄像装置拍摄当前操作台上电控盒相关作业指导的图像信息，并根据该作业指导信息确定当前作业指导信息已完成，增强现实眼镜向MES生产执行***发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导信息发送至增强现实眼镜。
在一些实施例中，该设备还包括作业完成确定模块22(未示出)。作业完成确定模块22，用于接收对应第一用户设备发送的关于目标物件的图像信息，其中所述图像信息通过所述第一用户设备中的拍摄装置对被作业的所述目标物件拍摄所得，根据所述图像信息确定所述第一用户设备中的作业指导信息是否已完成；其中，下一步指导发送模块21，若所述作业指导信息已完成，用于向所述第一用户设备发送所述作业指导信息对应的下一步作业指导信息。例如，第一用户设备实时拍摄当前用户正在作业时的目标物件相关的图像信息，并将该图像信息发送至网络设备。网络设备接收该图像信息，并根据计算机视觉算法与作业完成的预设图像进行匹配，若拍摄的图像信息中目标物件相关的图像与预设图像匹配，网络设备确定当前目标物件相关作业已完成，确定当前作业指导信息对应的下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，增强现实眼镜拍摄该电路板已安装在电控盒外盒中对应位置的图像信息，并将该图像信息发送至MES生产执行***。MES生产执行***接收该图像信息，并在数据库中与该执行任务中预设的已完成模型进行匹配，匹配到该作业指导信息已完成的预设模型，确定当前作业指导信息已完成，MES生产执行***根据当前作业指导已完成，获取对应的下一步作业指导信息，如在电路板对应位置固定对应的螺钉等。随后，MES生产执行***将该下一步作业指导信息发送至增强现实设备。
图11示出根据本申请又一个方面的一种基于增强现实的智能制造的第二用户设备，其中，该设备包括下一步请求获取模块31、下一步请求发送模块32、下一步指导接收模块33以及下一步指导发送模块34。下一步请求获取模块31，用于获取用户通过所述第二用户设备提交的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；下一步请求发送模块32，用于将所述下一步操作请求发送至对应的网络设备；下一步指导接收模块33，用于接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息；下一步指导发送模块34，用于将所述下一步作业指导信息发送至所述作业指导信息对应的第一用户设备。例如，第一用户持有第一用户设备，第二用户持有人机交互设备(如PC设备等)，第一用户设备通过摄像装置拍摄当前操作区域目标物件相关的图像信息，第一用户设备与第二用户设备、网络设备建立了通信连接。若用户当前的作业指导已完成，第二用户设备基于第二用户的操作向网络设备发送下一步操作请求，网络设备接收该请求，在数据库中确定该请求对应的下一步作业指导信息，并将该下一步作业指导信息发送至第二用户设备。第二用户接收该下一步作业指导信息，并将该下一步作业指导信息发送至第一用户设备。第一用户设备接收该下一步作业指导信息，并根据目标物件在当前屏幕中的位置，在该位置实时将下一步作业指导信息实时叠加于目标物件。
例如，第一用户持有增强现实眼镜，第二用户设备持有人机交互设备，增强现实设备与人机交互设备机建立了通信连接，人机交互设备与MES生产执行***建立了通信连接。人机交互设备与增强现实眼镜呈现相同的作业指导信息，如当前操作台上电控盒外盒相关的安装指导信息等。第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第二用户在人机交互设备屏幕选择进行下一步的操作，人机交互设备根据该操作，向网络设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。MES生产执行***接收该下一步操作请求，根据该下一步操作请求在数据库中确定关于目标物件对应的下一步作业指导信息，如根据电路板已安装在电控盒外盒的图像信息确定下一步作业指导信息如在电路板对应位置固定对应的螺钉等。MES生产执行***将该下一步作业指导设备发送至人机交互设备，经由人机交互设备转发至增强现实眼镜。增强现实眼镜接收到电控盒外盒中已安装的电路板对应位置固定螺钉的下一步作业指导信息，在当前屏幕中电控盒外盒中电路板对应位置叠加显示对应的需固定的螺钉等信息，如各螺钉将固定的位置、顺序以及型号等。
在一些实施例中，下一步请求获取模块31，用于接收第一用户设备发送的与所述第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务。
例如，第一用户在操作台上对电控盒进行安装，第一用户已经按照作业指导信息中虚拟电路板的呈现位置将电路板安装在对应位置，第一用户点击进行下一步的操作，增强现实眼镜根据该操作，向人机交互设备发送下一步操作请求，其中，该下一步操作请求包括当前作业指导信息的相关信息(如当前作业指导信息或者作业指导完成时对应的图像信息等)。人机交互设备接收该下一步操作请求，人机交互设备将该下一步操作请求发送至MES生产执行***确定对应的下一步作业指导信息，并将该下一步作业指导信息由MES生产执行***转发至增强现实眼镜。
图12示出根据本申请一个方面的一种基于增强现实的智能制造***，其中，该***如上所述的第一用户设备及如上所述的网络设备。
图13示出根据本申请一个方面的一种基于增强现实的智能制造***，其中，该***如上所述的第一用户设备、如上所述的网络设备以及如上所述的第二用户设备。
本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图14示出了可被用于实施本申请中所述的各个实施例的示例性***；
如图14所示在一些实施例中，***300能够作为各所述实施例中的任意一个基于增强现实的智能制造设备。在一些实施例中，***300可包括具有指令的一个或多个计算机可读介质(例如，***存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，***控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与***控制模块310通信的任意适当的设备或组件提供任意适当的接口。
***控制模块310可包括存储器控制器模块330，以向***存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
***存储器315可被用于例如为***300加载和存储数据和/或指令。对于一个实施例，***存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，***存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，***控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为***300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为***300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。***300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。
在各个实施例中，***300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，***300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，***300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个***传送到另一***的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机***使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (34)

1.一种在第一用户设备端基于增强现实的智能制造方法，其中，该方法包括：
获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息；
根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息；
获取所述目标物件对应的作业指导信息；
根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。
2.根据权利要求1所述的方法，其中，所述方法还包括：
将所述作业指导信息发送至对应的第三用户设备，以供所述第三用户设备将所述作业指导信息叠加显示于关于所述目标物件的图像。
3.根据权利要求1或2所述的方法，其中，所述方法还包括：
通过所述第一用户设备的拍摄装置拍摄所述目标物件在所述操作区域的图像信息；
其中，所述获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息，包括：
通过所述图像信息获取所述目标物件在所述操作区域对应的第一坐标系中的第一位置信息。
4.根据权利要求3所述的方法，其中，所述获取所述目标物件对应的作业指导信息，包括：
根据所述图像信息获取所述目标物件对应的作业指导信息。
5.根据权利要求1至3中任一项所述的方法，其中，所述方法还包括：
获取所述作业指导信息对应的下一步作业指导信息；
将所述下一步作业指导信息叠加显示于所述目标物件。
6.根据权利要求5所述的方法，其中，所述获取所述作业指导信息对应的下一步作业指导信息，包括：
接收对应网络设备所发送的、所述作业指导信息对应的下一步作业指导信息。
7.根据权利要求6所述的方法，其中，所述下一步作业指导信息是所述网络设备基于所接收到的下一步操作请求发送的。
8.根据权利要求7所述的方法，其中，所述接收对应网络设备所发送的、所述作业指导信息对应的下一步作业指导信息，包括：
接收对应第二用户设备所发送的、所述作业指导信息对应的下一步作业指导信息，其中，所述下一步作业指导信息由所述网络设备发送至所述第二用户设备。
9.根据权利要求7所述的方法，其中，所述接收对应网络设备所发送的、所述作业指导信息对应的下一步作业指导信息，包括：
获取用户通过所述第一用户设备提交的关于所述作业指导信息的下一步操作请求；
将所述下一步操作请求发送至所述网络设备；
接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息。
10.根据权利要求6所述的方法，其中，所述方法还包括：
通过所述第一用户设备中的拍摄装置拍摄被作业的所述目标物件，并将所拍摄的图像信息发送至对应的网络设备；
其中，所述接收对应网络设备所发送的、所述作业指导信息对应的下一步作业指导信息，包括：
接收所述网络设备在根据所述图像信息确定所述作业指导信息已完成后所发送的、所述作业指导信息对应的下一步作业指导信息。
11.根据权利要求5至10中任一项所述的方法，其中，所述方法还包括：
确定作业后的所述目标物件在所述第二坐标系中的当前位置信息；
其中，所述将所述下一步作业指导信息叠加显示于所述目标物件，包括：
根据所述当前位置信息将所述下一步作业指导信息叠加显示于所述目标物件。
12.根据权利要求5所述的方法，其中，所述方法还包括：
通过所述第一用户设备中的拍摄装置拍摄被作业的所述目标物件；
根据所述图像信息确定所述第一用户设备中的作业指导信息是否已完成；
其中，所述获取所述作业指导信息对应的下一步作业指导信息，包括：
若所述作业指导信息已完成，读取所述作业指导信息对应的下一步作业指导信息。
13.根据权利要求1至12中任一项所述的方法，其中，所述根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息，包括：
根据所述第一用户设备对应的第二坐标系与人眼坐标系的第一坐标映射关系、所述人眼坐标系与摄像坐标系的第二坐标映射关系以及所述摄像坐标系与所述第一坐标系的第三坐标映射关系，确定所述第一用户对应的第二坐标系与所述第一坐标系的坐标映射关系；
基于所述第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息。
14.一种在网络设备端基于增强现实的智能制造方法，其中，该方法包括：
向对应第一用户设备发送作业指导信息对应的下一步作业指导信息。
15.根据权利要求14所述的方法，其中，所述向对应第一用户设备发送作业指导信息对应的下一步作业指导信息，包括：
接收对应第二用户设备所发送的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
确定所述作业指导信息对应的下一步作业指导信息；
将所述下一步作业指导信息发送至所述第二用户设备。
16.根据权利要求14所述的方法，其中，所述向对应第一用户设备发送作业指导信息对应的下一步作业指导信息，包括：
接收对应第一用户设备发送的关于作业指导信息的下一步操作请求；
确定所述作业指导信息对应的下一步作业指导信息；
将所述下一步作业指导信息发送至所述第二用户设备。
17.根据权利要求14所述的方法，其中，所述方法还包括：
接收对应第一用户设备发送的关于目标物件的图像信息，其中所述图像信息通过所述第一用户设备中的拍摄装置对被作业的所述目标物件拍摄所得；
根据所述图像信息确定所述第一用户设备中的作业指导信息是否已完成；
其中，所述向对应第一用户设备发送作业指导信息对应的下一步作业指导信息，包括：
若所述作业指导信息已完成，向所述第一用户设备发送所述作业指导信息对应的下一步作业指导信息。
18.一种在第二用户设备端基于增强现实的智能制造方法，其中，该方法包括：
获取用户通过所述第二用户设备提交的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
将所述下一步操作请求发送至对应的网络设备；
接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息；
将所述下一步作业指导信息发送至所述作业指导信息对应的第一用户设备。
19.根据权利要求18所述的方法，其中，所述获取用户通过所述第二用户设备提交的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务，包括：
接收第一用户设备发送的与所述第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务。
20.一种基于增强现实的智能制造方法，其中，该方法包括：
第一用户设备获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息，根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息，获取所述目标物件对应的作业指导信息，并根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件；
网络设备向所述第一用户设备发送作业指导信息对应的下一步作业指导信息；
所述第一用户设备接收所述下一步作业指导信息，并将所述下一步作业指导信息叠加显示于所述目标物件。
21.一种基于增强现实的智能制造方法，其中，该方法包括：
第一用户设备获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息，根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息，获取所述目标物件对应的作业指导信息，并根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件；
第二用户设备获取用户通过所述第二用户设备提交的、与所述第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
所述第二用户设备将所述下一步操作请求发送至对应的网络设备；
所述网络设备接收所述下一步操作请求，确定所述作业指导信息对应的下一步作业指导信息，并将所述下一步作业指导信息发送至所述第二用户设备。
所述第二用户设备接收所述下一步作业指导信息，并将所述下一步作业指导信息发送至所述第一用户设备。
所述第一用户设备接收所述下一步作业指导信息，并将所述下一步作业指导信息叠加显示于所述目标物件。
22.一种基于增强现实的智能制造的第一用户设备，其中，该设备包括：
第一位置获取模块，用于获取操作区域中目标物件在所述操作区域对应的第一坐标系中的第一位置信息；
第二位置获取模块，用于根据所述第一用户设备对应的第二坐标系与所述第一坐标系的坐标映射关系，确定所述目标物件在所述第二坐标系中的第二位置信息；
指导信息获取模块，用于获取所述目标物件对应的作业指导信息；
指导信息叠加模块，用于根据所述第二位置信息将所述目标物件对应的作业指导信息叠加显示于所述目标物件。
23.根据权利要求22所述的设备，其中，所述设备还包括：
作业指导发送模块，用于将所述作业指导信息发送至对应的第三用户设备，以供所述第三用户设备将所述作业指导信息叠加显示于关于所述目标物件的图像。
24.根据权利要求22或23所述的设备，其中，所述设备还包括：
下一步指导获取模块，用于获取所述作业指导信息对应的下一步作业指导信息；
下一步指导叠加模块，用于将所述下一步作业指导信息叠加显示于所述目标物件。
25.根据权利要求24所述的设备，其中，所述下一步指导获取模块用于：
接收对应网络设备所发送的、所述作业指导信息对应的下一步作业指导信息。
26.根据权利要求25所述的设备，其中，所述下一步指导获取模块用于：
获取用户通过所述第一用户设备提交的关于所述作业指导信息的下一步操作请求；
将所述下一步操作请求发送至所述网络设备；
接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息。
27.根据权利要求25所述的设备，其中，所述设备还包括：
拍摄作业模块，用于通过所述第一用户设备中的拍摄装置拍摄被作业的所述目标物件，并将所拍摄的图像信息发送至对应的网络设备；
其中，所述下一步指导获取模块用于：
接收所述网络设备在根据所述图像信息确定所述作业指导信息已完成后所发送的、所述作业指导信息对应的下一步作业指导信息。
28.根据权利要求25所述的设备，其中，所述设备还包括下一步读取模块，该下一步读取模块用于：
通过所述第一用户设备中的拍摄装置拍摄被作业的所述目标物件；
根据所述图像信息确定所述第一用户设备中的作业指导信息是否已完成；
其中，所述第六模块用于：
若所述作业指导信息已完成，读取所述作业指导信息对应的下一步作业指导信息。
29.一种基于增强现实的智能制造的网络设备，其中，该设备包括：
下一步指导发送模块，用于向对应第一用户设备发送作业指导信息对应的下一步作业指导信息。
30.一种基于增强现实的智能制造的第二用户设备，其中，该设备包括：
下一步请求获取模块，用于获取用户通过所述第二用户设备提交的、与对应第一用户设备中作业指导信息相对应的下一步操作请求，其中，所述第一用户设备与所述第二用户设备服务于同一智能制造任务；
下一步请求发送模块，用于将所述下一步操作请求发送至对应的网络设备；
下一步指导接收模块，用于接收所述网络设备基于所述下一步操作请求发送的、所述作业指导信息对应的下一步作业指导信息；
下一步指导发送模块，用于将所述下一步作业指导信息发送至所述作业指导信息对应的第一用户设备。
31.一种基于增强现实的智能制造***，其中，该***包括如权利要求22至28中任一项所述的第一用户设备及权利要求29所述的网络设备。
32.根据权利要求31所述的***，其中，该***还包括如权利要求30所述的第二用户设备。
33.一种基于增强现实的智能制造设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至19中任一项所述方法的操作。
34.一种包括指令的计算机可读介质，所述指令在被执行时使得***进行如权利要求1至19中任一项所述方法的操作。
CN201810743981.7A 2018-06-26 2018-07-09 基于增强现实的智能制造方法与设备 Active CN109032348B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810667860 2018-06-26
CN2018106678609 2018-06-26

Publications (2)

Publication Number Publication Date
CN109032348A true CN109032348A (zh) 2018-12-18
CN109032348B CN109032348B (zh) 2021-09-14

Family

ID=64641502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810743981.7A Active CN109032348B (zh) 2018-06-26 2018-07-09 基于增强现实的智能制造方法与设备

Country Status (1)

Country Link
CN (1) CN109032348B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196580A (zh) * 2019-05-29 2019-09-03 中国第一汽车股份有限公司 装配指导方法、***、服务器及存储介质
CN110728756A (zh) * 2019-09-30 2020-01-24 亮风台（上海）信息科技有限公司 一种基于增强现实的远程指导的方法与设备
CN111462341A (zh) * 2020-04-07 2020-07-28 江南造船(集团)有限责任公司 增强现实的建造辅助方法、装置、终端和介质
CN111583419A (zh) * 2020-05-25 2020-08-25 重庆忽米网络科技有限公司 一种基于5g的现实增强辅助装配方法及***
CN112288882A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 一种信息展示方法、装置、计算机设备及存储介质
CN112365607A (zh) * 2020-11-06 2021-02-12 北京市商汤科技开发有限公司 一种增强现实ar交互的方法、装置、设备及存储介质
CN112365574A (zh) * 2020-11-06 2021-02-12 北京市商汤科技开发有限公司 增强现实ar信息展示的方法、装置、设备及存储介质
CN112734588A (zh) * 2021-01-05 2021-04-30 新代科技(苏州)有限公司 扩增实境加工辅助***及其使用方法
CN113191717A (zh) * 2020-01-14 2021-07-30 海尔数字科技(青岛)有限公司 数据处理方法、装置、设备和介质
CN114063512A (zh) * 2021-11-15 2022-02-18 中国联合网络通信集团有限公司 维保业务指导与监控方法、云平台、ar眼镜与***
WO2024022288A1 (zh) * 2022-07-29 2024-02-01 华为技术有限公司 安装智能设备的方法及电子设备

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578414A (zh) * 2003-07-08 2005-02-09 佳能株式会社 位置姿势测量方法及装置
US20070027591A1 (en) * 2005-07-27 2007-02-01 Rafael-Armament Development Authority Ltd. Real-time geographic information system and method
US20100268451A1 (en) * 2009-04-17 2010-10-21 Lg Electronics Inc. Method and apparatus for displaying image of mobile communication terminal
US20110140994A1 (en) * 2009-12-15 2011-06-16 Noma Tatsuyoshi Information Presenting Apparatus, Method, and Computer Program Product
CN102789514A (zh) * 2012-04-20 2012-11-21 青岛理工大学 一种机械设备拆装3d在线诱导***的诱导方法
US20130194110A1 (en) * 2012-02-01 2013-08-01 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
US20130257907A1 (en) * 2012-03-30 2013-10-03 Sony Mobile Communications Inc. Client device
CN103797472A (zh) * 2011-07-12 2014-05-14 谷歌公司 用于在多个设备之间访问交互状态的***和方法
US20140300775A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修***的实现设备与方法
US20150170256A1 (en) * 2008-06-05 2015-06-18 Aisle411, Inc. Systems and Methods for Presenting Information Associated With a Three-Dimensional Location on a Two-Dimensional Display
CN104820585A (zh) * 2014-01-30 2015-08-05 卡雷风险投资有限责任公司 用于计算机生成的内容的多用户编辑的设备以及方法
CN106817568A (zh) * 2016-12-05 2017-06-09 网易（杭州）网络有限公司 一种增强现实显示方法和装置
CN106814457A (zh) * 2017-01-20 2017-06-09 杭州青杉奇勋科技有限公司 增强现实眼镜及使用该眼镜进行家居展示的方法
CN106993181A (zh) * 2016-11-02 2017-07-28 大辅科技（北京）有限公司 多vr/ar设备协同***及协同方法
CN107065810A (zh) * 2017-06-05 2017-08-18 深圳增强现实技术有限公司 一种增强现实工业操作辅助的方法及***
CN107168537A (zh) * 2017-05-19 2017-09-15 山东万腾电子科技有限公司 一种协同式增强现实的可穿戴作业指导方法及***
CN207319184U (zh) * 2017-10-23 2018-05-04 北京华锐同创***技术有限公司 一种现场设备维修维护及日常检查用***

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1578414A (zh) * 2003-07-08 2005-02-09 佳能株式会社 位置姿势测量方法及装置
US20070027591A1 (en) * 2005-07-27 2007-02-01 Rafael-Armament Development Authority Ltd. Real-time geographic information system and method
US20150170256A1 (en) * 2008-06-05 2015-06-18 Aisle411, Inc. Systems and Methods for Presenting Information Associated With a Three-Dimensional Location on a Two-Dimensional Display
US20100268451A1 (en) * 2009-04-17 2010-10-21 Lg Electronics Inc. Method and apparatus for displaying image of mobile communication terminal
US20110140994A1 (en) * 2009-12-15 2011-06-16 Noma Tatsuyoshi Information Presenting Apparatus, Method, and Computer Program Product
CN103797472A (zh) * 2011-07-12 2014-05-14 谷歌公司 用于在多个设备之间访问交互状态的***和方法
US20130194110A1 (en) * 2012-02-01 2013-08-01 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
US20130257907A1 (en) * 2012-03-30 2013-10-03 Sony Mobile Communications Inc. Client device
CN102789514A (zh) * 2012-04-20 2012-11-21 青岛理工大学 一种机械设备拆装3d在线诱导***的诱导方法
US20140300775A1 (en) * 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
CN104820585A (zh) * 2014-01-30 2015-08-05 卡雷风险投资有限责任公司 用于计算机生成的内容的多用户编辑的设备以及方法
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修***的实现设备与方法
CN106993181A (zh) * 2016-11-02 2017-07-28 大辅科技（北京）有限公司 多vr/ar设备协同***及协同方法
CN106817568A (zh) * 2016-12-05 2017-06-09 网易（杭州）网络有限公司 一种增强现实显示方法和装置
CN106814457A (zh) * 2017-01-20 2017-06-09 杭州青杉奇勋科技有限公司 增强现实眼镜及使用该眼镜进行家居展示的方法
CN107168537A (zh) * 2017-05-19 2017-09-15 山东万腾电子科技有限公司 一种协同式增强现实的可穿戴作业指导方法及***
CN107065810A (zh) * 2017-06-05 2017-08-18 深圳增强现实技术有限公司 一种增强现实工业操作辅助的方法及***
CN207319184U (zh) * 2017-10-23 2018-05-04 北京华锐同创***技术有限公司 一种现场设备维修维护及日常检查用***

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196580A (zh) * 2019-05-29 2019-09-03 中国第一汽车股份有限公司 装配指导方法、***、服务器及存储介质
CN110728756A (zh) * 2019-09-30 2020-01-24 亮风台（上海）信息科技有限公司 一种基于增强现实的远程指导的方法与设备
CN110728756B (zh) * 2019-09-30 2024-02-09 亮风台（上海）信息科技有限公司 一种基于增强现实的远程指导的方法与设备
CN113191717A (zh) * 2020-01-14 2021-07-30 海尔数字科技(青岛)有限公司 数据处理方法、装置、设备和介质
CN111462341A (zh) * 2020-04-07 2020-07-28 江南造船(集团)有限责任公司 增强现实的建造辅助方法、装置、终端和介质
CN111583419A (zh) * 2020-05-25 2020-08-25 重庆忽米网络科技有限公司 一种基于5g的现实增强辅助装配方法及***
CN112288882A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 一种信息展示方法、装置、计算机设备及存储介质
CN112365574A (zh) * 2020-11-06 2021-02-12 北京市商汤科技开发有限公司 增强现实ar信息展示的方法、装置、设备及存储介质
CN112365607A (zh) * 2020-11-06 2021-02-12 北京市商汤科技开发有限公司 一种增强现实ar交互的方法、装置、设备及存储介质
CN112734588A (zh) * 2021-01-05 2021-04-30 新代科技(苏州)有限公司 扩增实境加工辅助***及其使用方法
CN114063512A (zh) * 2021-11-15 2022-02-18 中国联合网络通信集团有限公司 维保业务指导与监控方法、云平台、ar眼镜与***
CN114063512B (zh) * 2021-11-15 2023-09-19 中国联合网络通信集团有限公司 维保业务指导与监控方法、云平台、ar眼镜与***
WO2024022288A1 (zh) * 2022-07-29 2024-02-01 华为技术有限公司 安装智能设备的方法及电子设备

Also Published As

Publication number Publication date
CN109032348B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN109032348A (zh) 基于增强现实的智能制造方法与设备
Sahu et al. Artificial intelligence (AI) in augmented reality (AR)-assisted manufacturing applications: a review
US11100649B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
US20180075652A1 (en) Server and method for producing virtual reality image about object
Mariottini et al. EGT for multiple view geometry and visual servoing: robotics vision with pinhole and panoramic cameras
EP3857451A1 (en) Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
CN108769517A (zh) 一种基于增强现实进行远程辅助的方法与设备
Ahn et al. 2D drawing visualization framework for applying projection-based augmented reality in a panelized construction manufacturing facility: Proof of concept
CN109887003A (zh) 一种用于进行三维跟踪初始化的方法与设备
CN110109535A (zh) 增强现实生成方法及装置
CN110443154A (zh) 关键点的三维坐标定位方法、装置、电子设备和存储介质
US20210374978A1 (en) Capturing environmental scans using anchor objects for registration
CN104656893A (zh) 一种信息物理空间的远程交互式操控***及方法
CN109615664A (zh) 一种用于光学透视增强现实显示器的标定方法与设备
WO2017147909A1 (zh) 目标设备的控制方法和装置
CN109656363A (zh) 一种用于设置增强交互内容的方法与设备
Marchand Control camera and light source positions using image gradient information
CN112950759B (zh) 基于房屋全景图的三维房屋模型构建方法及装置
Lovi et al. Predictive display for mobile manipulators in unknown environments using online vision-based monocular modeling and localization
KR101683763B1 (ko) 360도 카메라를 이용한 증강현실 로봇 시뮬레이션 시스템 및 방법
CN106600691B (zh) 多路二维视频图像在三维地理空间中融合校正方法、***
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN111107307A (zh) 基于单应性变换的视频融合方法、***、终端及介质
Li et al. Light field SLAM based on ray-space projection model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Patentee after: CHINA ELECTRONICS STANDARDIZATION INSTITUTE

Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd.

Patentee before: CHINA ELECTRONICS STANDARDIZATION INSTITUTE

CP02 Change in the address of a patent holder