CN113566864A - 一种基于5g和边缘计算的分布式机器视觉*** - Google Patents
一种基于5g和边缘计算的分布式机器视觉*** Download PDFInfo
- Publication number
- CN113566864A CN113566864A CN202111032544.2A CN202111032544A CN113566864A CN 113566864 A CN113566864 A CN 113566864A CN 202111032544 A CN202111032544 A CN 202111032544A CN 113566864 A CN113566864 A CN 113566864A
- Authority
- CN
- China
- Prior art keywords
- plug
- detection
- instruction
- module
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 113
- 230000002093 peripheral effect Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 46
- 230000000875 corresponding effect Effects 0.000 claims description 32
- 230000007547 defect Effects 0.000 claims description 22
- 238000004458 analytical method Methods 0.000 claims description 13
- 230000001276 controlling effect Effects 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 12
- 238000010801 machine learning Methods 0.000 claims description 10
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012797 qualification Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 27
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008571 general function Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000009517 secondary packaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D11/00—Component parts of measuring arrangements not specially adapted for a specific variable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Factory Administration (AREA)
Abstract
本发明公开了一种基于5G和边缘计算的分布式机器视觉***，包括：云服务器、本地主机、用户终端以及n个检测***节点上的边缘计算盒；且每个边缘计算盒与***的检测设备相连；并将工业相机模块、光源控制器模块、运动控制模块以及机器视觉算法模块独立成单独的插件，用于连接/控制***设备和算法部署，只需用户选择与***检测设备相符合的插件即可组建一套完整的视觉检测***。本发明能提高边缘计算机器视觉***的灵活性和适应性，降低项目开发难度，减短项目开发周期，降低项目开发成本和开发难度。
Description
技术领域
本发明涉及机器视觉领域，具体为一种边缘计算的分布式机器视觉***。
背景技术
当前市面上已经有许多5G相关的边缘计算产品，每套边缘计算产品可以搭建一套机器视觉检测***，但大部分产品的功能都是单一的，只针对当前项目，当进行其他不同的任务时，又需要从头开始对项目进行开发，甚至当前项目需求发生变化时，也需要对本***做出巨大调整，开发难度大，灵活性低，开发周期长，项目成果复用率低。比如，现有的边缘计算***，当切换不同厂家的工业相机时，需要重新根据新产品的sdk进行二次开发，重新编译软件，这其中可能会带来如sdk兼容性等许多开发过程中会出现的问题，加大开发难度，延长开发周期，再者，目前深度学习模型多重多样(如yolo系列、R-CNN系列以及mobilenet等系列)，部署方式也各有不同(如libtorch、Tensorrt、Openvino等知名部署框架)，若采用市面上现有的边缘计算视觉检测***，每次因为项目需求切换模型时，都得做出大量调整，中途还会由于开发包之间的版本冲突或者兼容性问题导致开发周期延长，开发难度较大、适应性低、开发周期长，灵活性差，开发人员二次开发体验性差。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于5G和边缘计算的分布式机器视觉***，只需用户选择与***检测设备相符合的插件即可完成对***设备的控制及视觉检测***的组建，从而能提高边缘计算机器视觉***的灵活性和适应性，降低项目开发难度，减短项目开发周期。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于5G和边缘计算的分布式机器视觉***的特点是应用于工业产品的流水线上，并包括：云服务器、本地主机、用户终端以及n个检测***节点上的边缘计算盒；且每个边缘计算盒与***的检测设备相连；
所述用户终端通过4G/5G或者以太网向所述云服务器发送控制指令，所述云服务器通过4G/5G或以太网将所述控制指令发送给所述本地主机；所述控制指令的内容包括：远程开关机指令、检测开始指令、检测暂停指令、检测停止指令、更换插件指令、参数设置指令以及查询指令；
所述本地主机对所述控制指令进行解析，得到控制对象和指令内容并通过4G/5G或以太网向所述控制对象指定的1个或者多个边缘计算盒发送相应指令内容；
任一个边缘计算盒包括：中央处理单元、工业相机模块、光源控制器模块、运动控制模块、机器视觉算法模块、网络模块以及显示模块；
所述工业相机模块包括：USB2.0接口插件、USB3.0接口插件、GIGE千兆网接口插件以及CameraLink接口插件，用于连接并控制***的检测设备中的一个或多个工业相机；
所述光源控制器模块包括：准直光源插件、环形光源插件以及条形光源插件，用于连接并控制***的检测设备中的一个或多个光源控制器；
所述运动控制模块包括：PLC控制单元插件和运动控制卡插件，用于连接并控制***的检测设备中的一个或多个PLC控制器和运动控制卡；
所述机器视觉算法模块包括：传统图像处理算法插件、机器学习算法插件以及深度学习模型插件，用于对自身边缘计算盒所连接的***的检测设备中数据进行视觉检测和图像处理；
所述网络模块包括：4G/5G，以太网和WiFi，用于与本地主机之间进行数据交互；
相应的边缘计算盒根据所接收到指令内容，利用中央处理单元进行解析，若是所述远程开关机指令，则得到指令操作对象，以远程对自身所边缘计算盒通过插件所连接的***的检测设备以及本地主机进行开机和关机操作；
若是所述更换插件指令，则得到插件信息，以更换或选择对应的工业相机插件、光源控制器插件和/或运动控制单元插件来连接相应的***的检测设备；
若是所述参数设置指令，则得到参数信息，以设置相应插件的参数；
若是所述检测开始指令、检测暂停指令及检测停止指令，则得到指令操作对象，以控制自身边缘计算盒通过插件所连接的***的检测设备的开始、暂停和停止；
若是所述查询指令，则得到查询对象，以获取相应查询对象的***参数、插件参数、检测参数、以及检测结果；
所述中央处理单元根据检测开始指令的指令操作对象，调用工业相机模块和光源控制器模块中相应的插件以控制***的检测设备中的工业相机和光源控制器对流水线上的工业产品进行图像采集，并将所采集的图像发送到显示模块用于原图显示；同时将所述采集的图像发送给所述机器视觉算法模块；
所述机器视觉算法模块利用自身的插件对所采集的图像进行处理，得到处理结果后发送给显示模块用于结果显示，同时发送给所述运动控制模块；
所述运动控制模块根据处理结果调用相应的插件来控制***的检测设备中的PLC控制器和/或运动控制卡执行相应动作；
所述n个边缘计算盒将当前工业产品检测结果通过4G/5G或者以太网发送到本地主机；
所述本地主机对所有执行结果进行汇总和分析后，得到分析结果，把分析结果进行本地存储，并通过4G/5G或以太网把分析结果发送到云服务器；由所述云服务器将所述分析结果分发给各个用户终端，以完成实时反馈。
本发明所述的基于5G和边缘计算的分布式机器视觉***的特点也在于：所述处理结果包括：当前所检测的工业产品的编号、检测时间、缺陷数量、每种缺陷的种类、尺寸、形状和位置；若处理结果中的缺陷数量为0或缺陷的数量、尺寸、种类和形状都在工业产品所允许的合格标准以内，则判断当前所检测的工业产品为良品，反之则判断为次品，并将是否为良品的判断结果加到所述处理结果中，从而得到当前工业产品的检测结果并发送给显示模块，同时将当前所检测的工业产品的编号和判断结果发送给运动控制模块；
所述显示模块根据所获得的当前工业产品的检测结果对当前工业产品的编号、检测时间、缺陷数量、每种缺陷的种类、尺寸、形状、位置以及判断结果进行显示，并更新工业产品的合格率和已检工业产品的总数；
所述运动控制模块根据所获得的当前工业产品的编号和判断结果，调用当前的PLC控制单元插件或运动控制卡插件，控制所连接的***设备中的PLC控制器或运动控制卡，对当前工业产品进行筛选动作，即：若当前工业工件为良品，则PLC控制器和/或运动控制卡控制***设备中的电汽设备和/或机械结构将其放入良品的流水线，反之则，放入次品的流水线。
与现有技术相比，本发明的有益效果在于：
1、本发明通过5G工业互联网技术，实现了设备灵活组网，跨平台数据融合处理，方便管理；其中的边缘计算盒既可以单独使用，每台边缘计算盒控制一台相机、一个光源控制器以及一个运动控制单元，配合显示器，构成了一套机器视觉检测***；也可以利用多台边缘计算盒替换掉传统成本较高的下位PC机，与汇总主机一起，构成主从分布式***，融合不同节点的检测数据，综合了评价检测结果，实现了分布式检测，可以有效节约成本，解决了布线困难问题。
2、本发明将工业相机模块、光源控制器模块、运动控制模块以及机器视觉算法模块独立成单独的插件，用于连接/控制***设备和算法部署，只需选择与***检测设备相符合的插件即可组建一套完整的视觉检测***，使得用户可以像搭积木一样，灵活利用现有的模块搭建自己的检测***，完成项目开发，使用灵活，开发周期短，适应性强，降低了项目开发成本和开发难度。
3、本发明将多个厂家的工业相机sdk或传输协议做成插件形式嵌入到边缘计算盒的控制软件当中，使得检测***可以使用不同厂家的相机，方便根据不同的项目需求来选择合适的相机及其软件插件，成本灵活可控，不因相机厂家的供货短缺受限；
4、本发明将多个厂家的运动控制单元(如PLC运动控制***和运动控制卡等)及光源控制器等单元的指令通讯协议做成插件形式嵌入到边缘计算盒的软件当中，使得检测***可以使用不同厂家的控制设备，用户可根据实际情况自由搭配，极大程度上降低了开发难度，减少了开发周期；
5、本发明将多个机器视觉算法编写为插件，嵌入到边缘计算盒的软件当中，使得用户可以根据实际情况选择合适的图像处理算法，同时，还可以根据项目需求，选择合适的深度学习模型部署插件(如libtorch、Tensorrt等)，部署灵活，简易，便捷，实用性和适应性强，极大程度上减小了神经网络模型的部署难度。
附图说明
图1是基于5G和边缘计算的分布式机器视觉***的通信组成示意图；
图2是本发明提供的5G边缘计算盒控制软件的模块组成示意图；
图3是本发明的边缘计算盒子***整体架构图；
图4是本发明中边缘计算盒的***主板结构图。
具体实施方式
本实施例中，基于5G和边缘计算的分布式机器视觉***，是一种将5G工业网络、边缘计算、主从分布式以及机器视觉相结合并应用于工业的分布式机器视觉***，主要应用于磁环工业产品的检测流水线上。整个分布式***主要由云服务器、本地主机、用户终端以及n个检测***节点上的边缘计算盒组成；且每个边缘计算盒与***的检测设备相连；如图1所示，n个边缘计算盒与本地主机之间通过5G工业网络进行连接，本地主机将边缘计算盒的处理结果汇总以后发到云服务器上，用于用户终端的访问和实时控制。
用户终端通过4G/5G或者以太网向云服务器发送控制指令，云服务器通过4G/5G或以太网将控制指令发送给本地主机；其中，控制指令的内容包括：远程开关机指令、检测开始指令、检测暂停指令、检测停止指令、更换插件指令、参数设置指令以及查询指令；
本地主机对控制指令进行解析，得到控制对象和指令内容并通过4G/5G或以太网向控制对象指定的1个或者多个边缘计算盒发送相应指令内容；
如图2所示，任一个边缘计算盒包括：中央处理单元、工业相机模块、光源控制器模块、运动控制模块、机器视觉算法模块、网络模块和显示模块；在本实施案例中，利用Qt跨平台框架编写边缘计算盒控制软件来作为中央处理单元，在控制软件上完成图片显示、数据存储、数据传输、人机交互等基本功能，在控制软件上编写统一的工业相机插件接口、光源控制器插件接口、PLC运动控制单元插件接口以及机器视觉算法插件接口，并利用Qt框架编写插件管理器，用于识别、管理和加载工业相机插件、光源控制器插件、PLC运动控制单元插件以及机器视觉算法插件；最后，利用Qt框架编写插件类，相应插件类组合构成工业相机模块、光源控制器模块、运动控制模块和机器视觉算法模块；其中，各插件类分别继承于上述的四种接口类，并将通用功能编写为函数接口，方便用户调用，实现对应目的，
工业相机模块包括：USB2.0接口插件、USB3.0接口插件、GIGE千兆网接口插件以及CameraLink接口插件，用于连接并控制***的检测设备中的一个或多个工业相机；在本实施案例中，利用Qt跨平台框架，将多款工业相机对应的sdk开发包进行二次开发，编写为上述插件类，多款插件类都继承于工业相机接口类，并将工业相机的通用功能编写为函数接口，用于实现对不同厂家、不同类型、不同接口的工业相机的连接和控制；
光源控制器模块包括：准直光源插件、环形光源插件以及条形光源插件，用于连接并控制***的检测设备中的一个或多个光源控制器；在本实施案例中，利用Qt跨平台框架，将不同光源控制器的以太网指令协议进行封装，编写为光源控制器插件，并按照光源的种类分为上述三类插件，用于实现对不同厂家的光源控制器的连接和控制；
运动控制模块包括：PLC控制单元插件和运动控制卡插件，用于连接并控制***的检测设备中的一个或多个PLC控制器和运动控制卡；在本实施案例中，利用Qt跨平台框架，将多种不同的PLC控制器的以太网指令协议进行封装，编写为PLC控制单元插件，用于实现对不同厂家的PLC控制器的连接和控制；并利用Qt跨平台框架，将不同厂家的运动控制卡sdk进行二次开发，编写为多个运动控制卡插件，用于实现对相应厂家的运动控制卡的连接和控制；
机器视觉算法模块包括：传统图像处理算法插件、机器学***台框架，将多种OpenCV基本图像处理算法进行组合/封装，编写为传统图像处理算法插件，用于完成简单的图像处理任务；将OpenCV里面的机器学***台框架，用统一的接口将多种深度学习模型的Tensorrt部署和/或libtorch部署进行二次封装，编写为对应的深度学习模型插件，用于实现多种深度学习模型算法的部署和使用；
网络模块包括：4G/5G，以太网和WiFi，用于与本地主机之间进行数据交互。
如图3所示，边缘计算盒的硬件由显示器、***主板、外部接口、外部卡槽和5G模块五部分构成；
显示器用于显示人机交互软件界面，方便用户操作。
如图4所示，边缘计算盒的***主板包括：ARM架构核心板和FPGA核心板。ARM架构核心板以NVIDIA公司的Jetson TX2超算模组为核心，包括CPU和GPU处理单元，用于部署算法、对工业相机采集的图像数据进行处理、对PLC和光源控制器、用户终端的请求和云端处理器的控制指令进行处理；以Jetson TX2为核心，扩展多个外设接口，用于连接多种***设备；FPGA核心板用于扩展CameraLink接口，使边缘计算盒能使用CameraLink接口的相机。
如图3所示，边缘计算盒能使用的工业相机接口类型为GIGE千兆网接口、USB和CameraLink接口，用于将获取到的工件图片发送到边缘计算盒。
如图4所示，边缘控制盒的外部接口包括：USB接口、以太网口、CameraLink接口、RS485接口、RS23接口以及TTL串口，分别用于与云端处理器、本地主机、PLC、光源控制器和服务终端之间进行数据交互。
如图4所示，边缘控制盒的外设卡槽包括：Wifi卡槽、4G卡槽和扩展卡槽，并采用热插拔、可替换的使用方式***相应协议板卡，用于完成对多种传输协议下采集节点上传的各类数据、云端处理器、本地主机、PLC、光源控制器和服务终端的数据进行解析。
边缘控制盒的5G模块为网口或USB3.0接口5G模块，用于与本地主机之间进行数据交互。
相应的边缘计算盒根据所接收到指令内容，利用中央处理单元进行解析，若是远程开关机指令，则得到指令操作对象，以远程对自身所边缘计算盒通过插件所连接的***的检测设备以及本地主机进行开机和关机操作；
若是更换插件指令，则得到插件信息，以更换或选择对应的工业相机插件、光源控制器插件和/或运动控制单元插件来连接相应的***的检测设备；
若是参数设置指令，则得到参数信息，以设置相应插件的参数；
若是检测开始指令、检测暂停指令及检测停止指令，则得到指令操作对象，以控制自身边缘计算盒通过插件所连接的***的检测设备的开始、暂停和停止；
若是查询指令，则得到查询对象，以获取相应查询对象的***参数、插件参数、检测参数、以及检测结果；
中央处理单元根据检测开始指令的指令操作对象，调用工业相机模块和光源控制器模块中相应的插件以控制***的检测设备中的工业相机和光源控制器对流水线上的磁环工业产品进行图像采集。
在每个边缘计算盒组成的检测子节点中，当每个磁环工业产品到达检测流水线指定位置时，会触发***设备中的光电传感器的脉冲信号，并被***设备中的工业相机和/或光源控制器检测到，触发工业相机进行图像采集；每次触发采集，工业相机插件都会从工业相机里获得本次的磁环工业产品图片并将获取到的磁环工业产品图片发送给边缘计算盒的显示模块和机器视觉算法模块中的深度学习模型插件；其中，显示模块用于原图显示，并记录当前磁环工业产品编号。
机器视觉算法模块中的深度学习模型插件对所采集的图像进行处理，得到本次磁环工件的缺陷数量、每种缺陷的种类、大小、形状和位置，若结果中缺陷数量为0或缺陷的数量、大小、种类和形状都在工业产品所允许的合格标准以内，则将当前所检测的工业产品视为良品，反之则视为次品，并将是否为良品这一信息加到处理结果中，得到当前工业产品的检测结果，并将检测结果发送给显示模块，将磁环工业产品编号和是否为良品两个信息发送给运动控制模块；
显示模块获得当前工业产品的检测结果以后，根据当前磁环产品的检测结果的具体内容，显示当前磁环工业产品的编号、检测时间、缺陷数量、每种缺陷的种类、大小、形状和位置以及产品是否合格，并更新产品合格率和已检磁环工业产品总数；
运动控制模块根据当前工业产品的产品编号和是否为良品这一信息后，调用当前的PLC控制单元插件，控制所连接的***设备中的PLC控制器，进行筛选动作；若当前工件为良品，则PLC控制器控制***设备中的机械挡板开启，令其进入良品的流水线；反之，若为次品，则关闭机械挡板，对次品进行拦截，换到次品流水线进行剔除。
最后，n个边缘计算盒分别将磁环工业产品最终的检测结果通过4G/5G或者以太网发送到本地主机；
本地主机对所有执行结果进行汇总和分析后，得到分析结果，把分析结果进行本地存储，并通过4G/5G或以太网把分析结果发送到云服务器；由云服务器将分析结果分发给各个用户终端进行显示，如电脑客户端软件、网站、手机APP等，最终完成整个分布式磁环缺陷检测***中磁环缺陷检测和服务用户的功能。用户终端若对检测结果无异议，则实时观测检测数据。用户终端若对检测结果有异议，则通过3G/4G/5G协议或以太网向云服务器发送控制指令，用于调整和/或控制检测结果有异议的边缘计算盒检测子节点。云服务器拿到指令以后，向本地主机进行交互，并由本地主机向存有异议的边缘计算盒发送控制指令，所指定的边缘计算盒收到控制指令以后，根据指令做出相应动作，完成用户终端对存有异议的边缘计算盒的调整和/或控制。
本发明将机器视觉检测中所需的工业相机模块、光源控制器模块、运动控制模块以及机器视觉算法模块独立成单独的插件，用于连接/控制***设备和算法部署，使得用户可以像搭积木一样，灵活利用现有的模块搭建自己的检测***，完成项目开发。当任务量较大、任务复杂、一台边缘计算盒组成的子***难以进行实时处理时，还可以将任务分解，利用5G工业互联网技术，建立多台边缘计算设备以及云服务器的连接与通信，融合不同节点的检测数据，综合评价检测结果，组成分布式检测***，完成了分布式缺陷检测，方便在产线推广应用，完成了项目的整体管理，使用灵活，开发周期短，适应性强，降低了项目开发成本和开发难度，加强了边缘计算盒和检测***的可复用性，节约了项目开发成本。
Claims (2)
1.一种基于5G和边缘计算的分布式机器视觉***，其特征是应用于工业产品的流水线上，并包括：云服务器、本地主机、用户终端以及n个检测***节点上的边缘计算盒；且每个边缘计算盒与***的检测设备相连；
所述用户终端通过4G/5G或者以太网向所述云服务器发送控制指令，所述云服务器通过4G/5G或以太网将所述控制指令发送给所述本地主机；所述控制指令的内容包括：远程开关机指令、检测开始指令、检测暂停指令、检测停止指令、更换插件指令、参数设置指令以及查询指令；
所述本地主机对所述控制指令进行解析，得到控制对象和指令内容并通过4G/5G或以太网向所述控制对象指定的1个或者多个边缘计算盒发送相应指令内容；
任一个边缘计算盒包括：中央处理单元、工业相机模块、光源控制器模块、运动控制模块、机器视觉算法模块、网络模块以及显示模块；
所述工业相机模块包括：USB2.0接口插件、USB3.0接口插件、GIGE千兆网接口插件以及CameraLink接口插件，用于连接并控制***的检测设备中的一个或多个工业相机；
所述光源控制器模块包括：准直光源插件、环形光源插件以及条形光源插件，用于连接并控制***的检测设备中的一个或多个光源控制器；
所述运动控制模块包括：PLC控制单元插件和运动控制卡插件，用于连接并控制***的检测设备中的一个或多个PLC控制器和运动控制卡；
所述机器视觉算法模块包括：传统图像处理算法插件、机器学习算法插件以及深度学习模型插件，用于对自身边缘计算盒所连接的***的检测设备中数据进行视觉检测和图像处理；
所述网络模块包括：4G/5G，以太网和WiFi，用于与本地主机之间进行数据交互；
相应的边缘计算盒根据所接收到指令内容，利用中央处理单元进行解析，若是所述远程开关机指令，则得到指令操作对象，以远程对自身所边缘计算盒通过插件所连接的***的检测设备以及本地主机进行开机和关机操作；
若是所述更换插件指令，则得到插件信息，以更换或选择对应的工业相机插件、光源控制器插件和/或运动控制单元插件来连接相应的***的检测设备；
若是所述参数设置指令，则得到参数信息，以设置相应插件的参数；
若是所述检测开始指令、检测暂停指令及检测停止指令，则得到指令操作对象，以控制自身边缘计算盒通过插件所连接的***的检测设备的开始、暂停和停止；
若是所述查询指令，则得到查询对象，以获取相应查询对象的***参数、插件参数、检测参数、以及检测结果；
所述中央处理单元根据检测开始指令的指令操作对象，调用工业相机模块和光源控制器模块中相应的插件以控制***的检测设备中的工业相机和光源控制器对流水线上的工业产品进行图像采集，并将所采集的图像发送到显示模块用于原图显示；同时将所述采集的图像发送给所述机器视觉算法模块；
所述机器视觉算法模块利用自身的插件对所采集的图像进行处理，得到处理结果后发送给显示模块用于结果显示，同时发送给所述运动控制模块；
所述运动控制模块根据处理结果调用相应的插件来控制***的检测设备中的PLC控制器和/或运动控制卡执行相应动作；
所述n个边缘计算盒将当前工业产品检测结果通过4G/5G或者以太网发送到本地主机；
所述本地主机对所有执行结果进行汇总和分析后，得到分析结果，把分析结果进行本地存储，并通过4G/5G或以太网把分析结果发送到云服务器；由所述云服务器将所述分析结果分发给各个用户终端，以完成实时反馈。
2.根据权利要求1所述的基于5G和边缘计算的分布式机器视觉***，其特征是：所述处理结果包括：当前所检测的工业产品的编号、检测时间、缺陷数量、每种缺陷的种类、尺寸、形状和位置；若处理结果中的缺陷数量为0或缺陷的数量、尺寸、种类和形状都在工业产品所允许的合格标准以内，则判断当前所检测的工业产品为良品，反之则判断为次品，并将是否为良品的判断结果加到所述处理结果中，从而得到当前工业产品的检测结果并发送给显示模块，同时将当前所检测的工业产品的编号和判断结果发送给运动控制模块；
所述显示模块根据所获得的当前工业产品的检测结果对当前工业产品的编号、检测时间、缺陷数量、每种缺陷的种类、尺寸、形状、位置以及判断结果进行显示，并更新工业产品的合格率和已检工业产品的总数；
所述运动控制模块根据所获得的当前工业产品的编号和判断结果，调用当前的PLC控制单元插件或运动控制卡插件，控制所连接的***设备中的PLC控制器或运动控制卡，对当前工业产品进行筛选动作，即：若当前工业工件为良品，则PLC控制器和/或运动控制卡控制***设备中的电汽设备和/或机械结构将其放入良品的流水线，反之则，放入次品的流水线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111032544.2A CN113566864A (zh) | 2021-09-03 | 2021-09-03 | 一种基于5g和边缘计算的分布式机器视觉*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111032544.2A CN113566864A (zh) | 2021-09-03 | 2021-09-03 | 一种基于5g和边缘计算的分布式机器视觉*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113566864A true CN113566864A (zh) | 2021-10-29 |
Family
ID=78173594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111032544.2A Pending CN113566864A (zh) | 2021-09-03 | 2021-09-03 | 一种基于5g和边缘计算的分布式机器视觉*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113566864A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821009A (zh) * | 2021-11-24 | 2021-12-21 | 北京和利时***工程有限公司 | 一种边缘控制器和质量检测*** |
| CN114363368A (zh) * | 2021-12-17 | 2022-04-15 | 中国电子科技集团公司第四十一研究所 | 一种多视觉检测组网集中管理方法 |
| CN114826869A (zh) * | 2022-03-04 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 设备管理方法和设备管理*** |
| WO2024007206A1 (zh) * | 2022-07-06 | 2024-01-11 | 宁德时代新能源科技股份有限公司 | 产线设备的调试方法、装置和产线*** |
| CN117427892A (zh) * | 2023-12-21 | 2024-01-23 | 福州城投德正数字科技有限公司 | 基于边缘协同计算的机器视觉垃圾分类回收*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030139848A1 (en) * | 2002-01-18 | 2003-07-24 | Christopher Cifra | System and method for invoking execution of a sequence of operations that includes motion control, machine vision, and data acquisition (DAQ) functionality |
| CN107310795A (zh) * | 2017-07-04 | 2017-11-03 | 上海烟草机械有限责任公司 | 基于机器视觉技术的产品外包装检测器及检测*** |
| US20180052815A1 (en) * | 2016-08-19 | 2018-02-22 | Cognex Corporation | Apparatuses, systems, and methods for providing a visual program for machine vision systems |
| CN108322548A (zh) * | 2018-03-07 | 2018-07-24 | 浙江大学 | 一种基于云计算的工业过程数据解析平台 |
| CN110221558A (zh) * | 2019-06-05 | 2019-09-10 | 镇江四联机电科技有限公司 | 一种基于边缘计算技术的电液伺服阀在线故障诊断网关 |
| CN111273550A (zh) * | 2020-03-12 | 2020-06-12 | 成都英孚克斯科技有限公司 | 一种猪舍环境智能控制*** |
| CN111816252A (zh) * | 2020-07-21 | 2020-10-23 | 腾讯科技（深圳）有限公司 | 一种药物筛选方法、装置及电子设备 |
| EP3798817A1 (en) * | 2019-09-27 | 2021-03-31 | Rockwell Automation Technologies, Inc. | User interface logical and execution view navigation and shifting |
| CN112671898A (zh) * | 2020-12-23 | 2021-04-16 | 浙江工业大学 | 一种基于嵌入式设备的远程通信控制*** |
| CN113310897A (zh) * | 2021-05-31 | 2021-08-27 | 广东骏亚电子科技股份有限公司 | 基于5g算法的ai视觉检测***应用 |
-
2021
- 2021-09-03 CN CN202111032544.2A patent/CN113566864A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030139848A1 (en) * | 2002-01-18 | 2003-07-24 | Christopher Cifra | System and method for invoking execution of a sequence of operations that includes motion control, machine vision, and data acquisition (DAQ) functionality |
| US20180052815A1 (en) * | 2016-08-19 | 2018-02-22 | Cognex Corporation | Apparatuses, systems, and methods for providing a visual program for machine vision systems |
| CN107310795A (zh) * | 2017-07-04 | 2017-11-03 | 上海烟草机械有限责任公司 | 基于机器视觉技术的产品外包装检测器及检测*** |
| CN108322548A (zh) * | 2018-03-07 | 2018-07-24 | 浙江大学 | 一种基于云计算的工业过程数据解析平台 |
| CN110221558A (zh) * | 2019-06-05 | 2019-09-10 | 镇江四联机电科技有限公司 | 一种基于边缘计算技术的电液伺服阀在线故障诊断网关 |
| EP3798817A1 (en) * | 2019-09-27 | 2021-03-31 | Rockwell Automation Technologies, Inc. | User interface logical and execution view navigation and shifting |
| CN111273550A (zh) * | 2020-03-12 | 2020-06-12 | 成都英孚克斯科技有限公司 | 一种猪舍环境智能控制*** |
| CN111816252A (zh) * | 2020-07-21 | 2020-10-23 | 腾讯科技（深圳）有限公司 | 一种药物筛选方法、装置及电子设备 |
| CN112671898A (zh) * | 2020-12-23 | 2021-04-16 | 浙江工业大学 | 一种基于嵌入式设备的远程通信控制*** |
| CN113310897A (zh) * | 2021-05-31 | 2021-08-27 | 广东骏亚电子科技股份有限公司 | 基于5g算法的ai视觉检测***应用 |
Non-Patent Citations (1)
| Title |
|---|
| 俞庆平: "影像测量设备软件框架构建技术的研究", CNKI优秀硕士学位论文全文库, vol. 2013, no. 3 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821009A (zh) * | 2021-11-24 | 2021-12-21 | 北京和利时***工程有限公司 | 一种边缘控制器和质量检测*** |
| CN114363368A (zh) * | 2021-12-17 | 2022-04-15 | 中国电子科技集团公司第四十一研究所 | 一种多视觉检测组网集中管理方法 |
| CN114826869A (zh) * | 2022-03-04 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 设备管理方法和设备管理*** |
| CN114826869B (zh) * | 2022-03-04 | 2023-11-28 | 阿里巴巴（中国）有限公司 | 设备管理方法和设备管理*** |
| WO2024007206A1 (zh) * | 2022-07-06 | 2024-01-11 | 宁德时代新能源科技股份有限公司 | 产线设备的调试方法、装置和产线*** |
| CN117427892A (zh) * | 2023-12-21 | 2024-01-23 | 福州城投德正数字科技有限公司 | 基于边缘协同计算的机器视觉垃圾分类回收*** |
| CN117427892B (zh) * | 2023-12-21 | 2024-04-12 | 福州城投德正数字科技有限公司 | 基于边缘协同计算的机器视觉垃圾分类回收*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113566864A (zh) | 一种基于5g和边缘计算的分布式机器视觉*** | |
| CN110399642B (zh) | 一种针对生产流水线的数字孪生体及其构建方法和应用 | |
| CN105045970B (zh) | 基于Unity动态生成三维场景的仿真***及其实现方法 | |
| CN109933035A (zh) | 一种基于数字孪生的生产线控制***、方法及生产*** | |
| CN111797521B (zh) | 一种自动化生产线三维仿真调试及监控方法 | |
| CN108108403B (zh) | 基于间隔层设备逻辑组态可视化平台***及其构建方法 | |
| CN112051750A (zh) | 一种四旋翼无人机数字孪生*** | |
| KR102536763B1 (ko) | 인공 지능을 위한 프로그래밍가능 로직 제어기-기반 모듈식 가속 모듈 | |
| CN104009882B (zh) | 基于分布式架构的等效卫星电源***的测试方法及*** | |
| CN106295081A (zh) | 柔性制造***决策仿真*** | |
| CN113176759A (zh) | 应用于中低放核废液水泥固化体处置的信息管理*** | |
| CN116127821A (zh) | 一种运维数据的三维可视化呈现方法及平台 | |
| CN106487595A (zh) | 变电运维大数据网络管控平台 | |
| CN108227520A (zh) | 一种基于全景界面的智能设备的控制***及控制方法 | |
| Lu et al. | A general asset administration shell platform for production line design | |
| CN219351760U (zh) | 一种可编程智能工控网关 | |
| CN107450528A (zh) | 固定节点手机自动化测试设备 | |
| CN106774178A (zh) | 一种自动化控制***及方法、机械设备 | |
| Hu et al. | The scheme and system architecture of product quality inspection based on software-defined edge intelligent controller (SD-EIC) in industrial internet of things | |
| CN109784156A (zh) | 一种基于人工智能的全智能无人营业厅安全监控*** | |
| CN111660294B (zh) | 一种液压重载机械臂增强现实操控*** | |
| CN104932467A (zh) | 一种用于程控设备集中控制的方法 | |
| CN202230379U (zh) | 基于终端触摸屏的数据采集和监控*** | |
| CN115439006A (zh) | 一种基于Unity3D的智能生产线仿真***及方法 | |
| Xiao et al. | STEP-NC enabled edge–cloud collaborative manufacturing system for compliant CNC machining |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |