CN114682520A - 一种基于国产cpu和人工智能加速卡的次品分拣装置 - Google Patents
一种基于国产cpu和人工智能加速卡的次品分拣装置 Download PDFInfo
- Publication number
- CN114682520A CN114682520A CN202210380732.2A CN202210380732A CN114682520A CN 114682520 A CN114682520 A CN 114682520A CN 202210380732 A CN202210380732 A CN 202210380732A CN 114682520 A CN114682520 A CN 114682520A
- Authority
- CN
- China
- Prior art keywords
- module
- data
- service processing
- video
- processing module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013473 artificial intelligence Methods 0.000 title description 6
- 230000002950 deficient Effects 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 52
- 238000004458 analytical method Methods 0.000 claims description 33
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 238000004806 packaging method and process Methods 0.000 abstract description 2
- 235000013361 beverage Nutrition 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000013049 sediment Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
Landscapes
- Sorting Of Articles (AREA)
Abstract
本发明提供一种基于国产CPU和人工智能加速卡的次品分拣装置，属于产品检测技术领域，通过视频流模块，业务处理模块，算法分析模块，可视化界面模块，传送带和机器臂装置模块各个模块的配合来对产品进行分析，检测和分拣。首先在传送带上随机摆放合格产品和次品，然后由摄像头采集传送带上的视频流信息，再使用国产CPU对视频流里的信息进行分析和封装，国产人工智能加速卡主要负责使用训练好的次品检测模型对视频流进行分析。
Description
技术领域
本发明涉及产品检测技术领域，尤其涉及一种基于国产CPU和人工智能加速卡的次品分拣装置。
背景技术
随着计算机技术逐渐应用于工业化，人工智能也在工业生产中得到了实际应用。在厂商对产品进行质量检测时，次品检测是不可或缺的一个环节，随着对产品质量和生产效率的要求越来越高，外观检验和产品标识正变得越来越重要，如：饮料瓶的瓶盖封盖情况，瓶盖是否破损、是否无盖等，以及瓶身外部的条码是否模糊，是否漏喷等，且饮料瓶内的罐装液的质量更加至关重要，如液位、有无异物、有无沉淀等。
传统的次品检测方法在面对这些复杂的次品情况时往往会出现各种缺点，如人工检测效率低下，进口检测设备成本高昂，重量检测无法检测到一些外观缺陷，以及大多数检测方法都无法统计次品率和检测个数等可视化数据。
发明内容
为了解决以上技术问题，本发明提供了一种基于国产CPU和人工智能加速卡的次品分拣装置。
本发明的技术方案是：
一种基于国产CPU和人工智能加速卡的次品分拣装置，包括：视频流模块、算法分析模块、业务处理模块、可视化界面模块、传送带和机器臂装置模块。
其中，
视频流模块负责从摄像头拉取视频流，将数据解码后交给业务处理模块。在传送数据的过程中，视频流模块要控制图片数据的传送速率，具体实现方法是建立缓冲池，将解码后的图片缓存进缓冲池，缓冲池负责维持图片的发送速率和单批次的大小。在遇到网络延迟等情况导致不能及时发送图片数据时，缓冲池则可以将超时的数据丢弃，向业务处理模块发送新收到的视频帧。在视频流模块发送视频帧的同时，它还需要接收业务处理模块传回的数据信息，根据图片的时间戳匹配对应的视频帧，将信息标注在视频帧上，最后将标注完成的视频图像发送到可视化平台。
算法分析模块负责调用国产人工智能加速卡对业务处理模块传来的图片进行分析。由于本方法中使用的国产人工智能加速卡的特性，可以选择四张或单张作为一批次进行处理，然后运用训练好的模型对传入的图片进行检测，分类等操作，对模型处理好的数据进行初步的解析和封装，最后业务处理模块再调用封装好的接口获得返回数据。
业务处理模块负责将各个模块的功能组合起来，利用国产CPU对数据进行处理和分析，然后将数据发送给各个模块。与各个模块的通信方式有：通过队列与视频流模块进行数据交互，通过算法分析模块封装的接口和算法分析模块进行通信，通过HTTP请求与传送带与机器臂装置通信。主要任务有：将视频流模块传来的图片和时间戳发送给算法分析模块，待算法分析模块计算完成后，业务处理模块对算法分析模块返回的的信息进行处理和解析，最后根据实际应用需要将其转化成可视化数据以及发送夹取信号给传送带和机器臂装置模块。在本方法中这些操作具体体现为分类产品，检测次品，根据分类结果夹取次品，根据次品的信息返回统计数据。
可视化界面模块负责展示业务处理模块处理完成的数据以及视频流模块编码过的视频流。视频流会展示图像分析结果，在视频上直接标注产品合格情况。结合视频流和可视化数据，用户能够直接观察和统计场景中的次品检测效果。
传送带和机器臂装置模块主要由可变速传送带、可编程的机器臂装置，以及摄像头组成。可变速传送带负责匀速传送产品，传送带的速度可调节。摄像头可以采集产品图像，在可视化界面的视频流中有标注检测区域，在检测区域内检测到次品在传送带上稳定传输时，业务处理模块则发送信号给机器臂装置，机器臂装置接受到信号后将次品分拣出来。
本发明通过视频流模块，业务处理模块，算法分析模块，可视化界面模块，传送带和机器臂装置模块各个模块的配合来对产品进行分析，检测和分拣。
使用国产CPU和人工智能加速卡对产品进行监测分析，并对检测分析出的数据进行处理，主要是为了适配国产CPU和人工智能加速卡的性能，本发明对业务处理模块进行了逻辑优化，采用多进程和多线程对任务和操作进行分割。对模型分析模块的模型进行了量化处理。
对传送带和机器臂装置模块和可视化界面模块进行了一体化，从产品的分类识别到次品夹取再到数据统计实现了自动化分析。
视频流中央划定检测区域，通过缩小检测区域来获得更准确的检测结果，减少实际运行时因为光线角度以及摄像头畸变造成的误差。
本发明的有益效果是
本发明为了能在国产CPU和人工智能加速卡的较低性能下对产品进行分析，通过各种方法来降低处理延迟，如四张图片作为一批处理，对模型进行量化，在尽可能减小模型精度损失的情况下减小模型大小从而加快分析速度。算法分析模块采用多进程使任务能够并发执行。采用线程池来将IO操作和CPU计算操作分隔开，减少因阻塞造成的效率损失。
本发明实现了通过实时图像对产品进行分析，解决了传统的产品检测难以检测产品外观，质量，成分是否正常的问题，避开了造价高昂的外国设备，节约了成本。
本发明通过各模块之间的组合自动化地实现了产品的检测，分类，夹取，统计等一系列处理，节约了人工成本。便于对次品进行分拣，对产品质量可以更好的把控。
附图说明
图1是各个模块间的信息传递关系和功能结构示意图；
图2是国产CPU和人工智能加速卡主要作用示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种基于国产CPU和视频加速卡的次品分拣方法和装置。首先在传送带上随机摆放合格产品和次品，然后由摄像头采集传送带上的视频流信息，再使用国产CPU对视频流里的信息进行分析和封装，国产人工智能加速卡主要负责使用训练好的次品检测模型对视频流进行分析。
国产CPU主要负责对加速卡的返回的结果进行处理整合，然后将信息发送至可视化平台和数据库。根据得到的结果决定是否向机器臂装置发送信号，若检测到次品则发送信号至机器臂。机器臂则预先摆放在合适的夹取位置和角度，在机器臂接收到夹取信号后对匀速传送带上的次品进行抓取然后放置在次品淘汰区域。由于国产CPU的性能有限，因此在对数据进行处理时要采取各种优化方案。而国产人工智能加速卡主要负责对图片进行分析，同样由于性能原因，要在模型层面和逻辑层面都做一些优化。
如图1所示，本发明提出的基于国产CPU和人工智能加速卡的次品分拣方法的结构主要包括：摄像头、视频流模块、业务处理模块、算法分析模块、可视化界面模块和传送带和机器臂装置模块。
视频流模块将摄像头传来的视频进行编码，如图2所示，可以选择由国产CPU 或者国产人工智能加速卡来进行视频流的拉取和推送，通过RTSP协议传送的视频信息转化另一种格式的图片。考虑到国产人工智能加速卡的性能问题，采用每三帧中采用一帧的策略，然后缓存四帧后和图片对应的时间戳封装好后发送给业务处理模块，平均一秒大约发送八帧图片。
本发明在摄像头中央划定了一个检测区域，当产品进入检测区域后才会根据产品的运动状态和分类结果对其进行数据存取和是否夹取的判断处理，这样是为了尽量避免由于过亮或者过暗的光线或者摄像头边缘畸变等原因导致的产品检测误差。
业务处理模块在一开始要首先建立起TCP/IP连接，保证模型分析模块能够向国产人工智能加速卡发送信息。如果连接出现问题，那么业务处理模块会优先重置连接，保证TCP/IP连接的稳定性，确保国产人工智能加速卡的正常工作。
业务处理模块采用队列来接受和发送信息，给队列设置一个最大长度，采用阻塞式来获取数据，最大超时时间为两秒。如果摄像头没有正常工作导致队列为空，在队列等待超时的两秒的过程中仍没有数据，那么队列在获取数据时会警告队列为空。而如果国产人工智能加速卡不能及时处理图片导致队列中数据积压，则每次在往队列中存放数据时会等待队列两秒超时时间，若在期间有空缺则可以存放，超过超时时间后则发出警告。
业务处理模块从队列中取出数据后，通过模型分析模块提供的接口向模型分析模块发送数据，模型分析模块获得数据之后，通过建立TCP/IP连接来让存放在国产人工智能加速卡中的模型分析图像数据，分析完成后模型分析模块再对数据进行封装，业务处理模块再通过接口请求返回数据。业务处理模块在得到模型处理结果后，根据分析结果进行进一步处理。
模型分析模块返回信息需要根据时间戳对应上图片，然后将检测信息通过字典方式封装后用于后续的判断处理，图片则用时间戳命名后存入对象存储服务器。这样便于可视化平台读取数据库中的信息并展示。
算法分析模块的主要功能为对业务处理模块发来的消息进行处理，将其改变成符合模型需要的数据格式，然后通过业务处理模块建立起的TCP/IP协议向国产人工智能加速卡发送数据，等待模型处理完成后，在对模型返回的数据进行封装，封装好后再通过连接向业务处理模块发送数据。
算法分析模块在进行模型分析的过程中，由于国产人工智能加速卡的性能较慢，它在运行离线模型时耗时较长。针对这种情况，本发明对模型进行了量化处理，在尽可能不降低模型精度的情况下优化模型的大小和运行时间。
可视化平台在展示视频流时会在视频流中间标注一个检测区域，当产品进入检测区域时，会根据视频的连续帧之间的检测框重合比例判断产品的运动状态是否适合夹取。如果检测到产品为次品且其运动状态适合夹取，那么业务处理模块向机器臂装置发送HTTP请求，机器臂在收到请求后运行提前编程好的代码模块，这部分代码主要负责控制机器臂的夹取角度和夹取位置，实际使用中可以根据传送带，摄像头以及机器臂的摆放位置实时调整。
可视化平台展示的数据主要有视频流模块返回的带有监测信息的视频流，对通过检测区域的产品的数量统计，有检测总数，次品率，正品数等。还有折线统计图来记录每小时的检测量。还可以查询过去监测到的次品图像的记录，记录中包含检测到次品时的时间和图像以及标注好的缺陷信息。
如图2所示，本发明的主要数据分析和数据处理由国产CPU和国产人工智能加速卡完成，由于性能限制，本发明对业务处理模块，视频流模块以及算法分析模块做了优化，如：对模型进行量化，采用多进程并发，使用多线程将IO操作和计算操作分离开等等。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (9)
1.一种基于国产CPU和人工智能加速卡的次品分拣装置，其特征在于，
包括：
视频流模块，负责从摄像头拉取视频流，将数据解码后交给业务处理模块；
算法分析模块，负责调用国产人工智能加速卡对业务处理模块传来的图片进行分析；
业务处理模，块负责将各个模块的功能组合起来，利用国产CPU对数据进行处理和分析，然后将数据发送给各个模块；
可视化界面模块，负责展示业务处理模块处理完成的数据以及视频流模块编码过的视频流；
传送带和机器臂装置模块。包括可变速传送带、可编程的机器臂装置，以及摄像头。
2.根据权利要求1所述的装置，其特征在于，
在传送数据的过程中，视频流模块要控制图片数据的传送速率，具体实现方法是建立缓冲池，将解码后的图片缓存进缓冲池，缓冲池负责维持图片的发送速率和单批次的大小。
3.根据权利要求2所述的装置，其特征在于，
在遇到网络延迟情况导致不能及时发送图片数据时，缓冲池则可以将超时的数据丢弃，向业务处理模块发送新收到的视频帧；在视频流模块发送视频帧的同时，它还需要接收业务处理模块传回的数据信息，根据图片的时间戳匹配对应的视频帧，将信息标注在视频帧上，最后将标注完成的视频图像发送到可视化平台。
4.根据权利要求1所述的装置，其特征在于，
算法分析模块选择四张或单张作为一批次进行处理，然后运用训练好的模型对传入的图片进行检测，分类操作，对模型处理好的数据进行初步的解析和封装，最后业务处理模块再调用封装好的接口获得返回数据。
5.根据权利要求1所述的装置，其特征在于，
业务处理模块与各个模块的通信方式有：通过队列与视频流模块进行数据交互，通过算法分析模块封装的接口和算法分析模块进行通信，通过HTTP请求与传送带与机器臂装置通信。
6.根据权利要求5所述的装置，其特征在于，
主要任务有：将视频流模块传来的图片和时间戳发送给算法分析模块，待算法分析模块计算完成后，业务处理模块对算法分析模块返回的的信息进行处理和解析，最后根据实际应用需要将其转化成可视化数据以及发送夹取信号给传送带和机器臂装置模块。
7.根据权利要求6所述的装置，其特征在于，
这些操作包括分类产品，检测次品，根据分类结果夹取次品，根据次品的信息返回统计数据。
8.根据权利要求1所述的装置，其特征在于，
视频流会展示图像分析结果，在视频上直接标注产品合格情况；结合视频流和可视化数据，用户能够直接观察和统计场景中的次品检测效果。
9.根据权利要求1所述的装置，其特征在于，
可变速传送带负责匀速传送产品，传送带的速度可调节；
摄像头采集产品图像，在可视化界面的视频流中有标注检测区域，在检测区域内检测到次品在传送带上稳定传输时，业务处理模块则发送信号给机器臂装置，机器臂装置接受到信号后将次品分拣出来。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210380732.2A CN114682520A (zh) | 2022-04-12 | 2022-04-12 | 一种基于国产cpu和人工智能加速卡的次品分拣装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210380732.2A CN114682520A (zh) | 2022-04-12 | 2022-04-12 | 一种基于国产cpu和人工智能加速卡的次品分拣装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114682520A true CN114682520A (zh) | 2022-07-01 |
Family
ID=82143140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210380732.2A Pending CN114682520A (zh) | 2022-04-12 | 2022-04-12 | 一种基于国产cpu和人工智能加速卡的次品分拣装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114682520A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764023A (zh) * | 2018-04-04 | 2018-11-06 | 浙江大学 | 一种基于深度学习的传送带上物料检测*** |
| CN109013405A (zh) * | 2018-08-02 | 2018-12-18 | 常州大学 | 一种具有铸件表面自主检测及次品分拣功能的机器人*** |
| CN109248868A (zh) * | 2018-10-10 | 2019-01-22 | 东华大学 | 基于机器视觉与plc技术的纽扣次品剔除*** |
| CN110252674A (zh) * | 2019-07-11 | 2019-09-20 | 重庆时代云英科技有限公司 | 一种基于机器视觉的包装盒质量检测的方法及*** |
| WO2020248386A1 (zh) * | 2019-06-14 | 2020-12-17 | 平安科技（深圳）有限公司 | 视频分析方法、装置、计算机设备及存储介质 |
| CN112580627A (zh) * | 2020-12-16 | 2021-03-30 | 中国科学院软件研究所 | 基于国产智能芯片K210的yolov3目标检测方法及电子装置 |
| CN113225537A (zh) * | 2021-05-10 | 2021-08-06 | 合肥中科类脑智能技术有限公司 | 一种视频图像分析***及方法 |
| CN113835876A (zh) * | 2021-08-19 | 2021-12-24 | 浪潮软件集团有限公司 | 一种基于国产cpu和os的人工智能加速卡调度方法及装置 |
-
2022
- 2022-04-12 CN CN202210380732.2A patent/CN114682520A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764023A (zh) * | 2018-04-04 | 2018-11-06 | 浙江大学 | 一种基于深度学习的传送带上物料检测*** |
| CN109013405A (zh) * | 2018-08-02 | 2018-12-18 | 常州大学 | 一种具有铸件表面自主检测及次品分拣功能的机器人*** |
| CN109248868A (zh) * | 2018-10-10 | 2019-01-22 | 东华大学 | 基于机器视觉与plc技术的纽扣次品剔除*** |
| WO2020248386A1 (zh) * | 2019-06-14 | 2020-12-17 | 平安科技（深圳）有限公司 | 视频分析方法、装置、计算机设备及存储介质 |
| CN110252674A (zh) * | 2019-07-11 | 2019-09-20 | 重庆时代云英科技有限公司 | 一种基于机器视觉的包装盒质量检测的方法及*** |
| CN112580627A (zh) * | 2020-12-16 | 2021-03-30 | 中国科学院软件研究所 | 基于国产智能芯片K210的yolov3目标检测方法及电子装置 |
| CN113225537A (zh) * | 2021-05-10 | 2021-08-06 | 合肥中科类脑智能技术有限公司 | 一种视频图像分析***及方法 |
| CN113835876A (zh) * | 2021-08-19 | 2021-12-24 | 浪潮软件集团有限公司 | 一种基于国产cpu和os的人工智能加速卡调度方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11213860B2 (en) | Automatic magnetic core sorting system based on machine vision | |
| CN2828808Y (zh) | 玻璃瓶身照相检验机 | |
| CN110333242A (zh) | 一种pet瓶质量的检测方法及其*** | |
| US11657599B2 (en) | Method for detecting appearance of six sides of chip multi-layer ceramic capacitor based on artificial intelligence | |
| CN216622191U (zh) | 一种基于机器视觉的锂电池外观缺陷检测*** | |
| CN104118609A (zh) | 贴标质量检测方法和装置 | |
| CN104132945A (zh) | 一种基于光纤传导的棒材表面质量在线视觉检测装置 | |
| CN114694064A (zh) | 一种基于目标识别的切图方法与*** | |
| CN114359818B (zh) | 稼动率分析方法、装置、计算机设备及存储介质 | |
| CN113588653A (zh) | 一种检测和追踪铝用阳极炭块质量的***及方法 | |
| CN114682520A (zh) | 一种基于国产cpu和人工智能加速卡的次品分拣装置 | |
| CN113449701B (zh) | 一种工业物联网下基于视觉的轻量级产能管控方法 | |
| US20230409010A1 (en) | Industrial internet of things with sensor network platform in front sub platform type and control method thereof | |
| CN213403068U (zh) | 基于边缘服务的视频及物联网综合智能分析*** | |
| CN207340057U (zh) | 一种图像采集*** | |
| CN112927170B (zh) | 半导体制造工艺中的自动缺陷去除方法 | |
| CN109051629A (zh) | 物料掉落的确定方法、装置及*** | |
| CN114202720A (zh) | 一种基于目标识别的实时检测鸡蛋数量的***及方法 | |
| CN115138596A (zh) | 一种视觉检测的方法及装置 | |
| CN115100454A (zh) | 一种铁前皮带运输海量数据实时感知存储的方法与*** | |
| CN114820461A (zh) | 基于图像识别算法的表面瑕疵质检平台及方法 | |
| CN115187086A (zh) | 一种应急管理智能化管控*** | |
| CN113916895B (zh) | 棒棒奶酪缺残检测处理方法及装置 | |
| CN112069984A (zh) | 一种物品边框匹配显示方法及装置 | |
| CN112577960A (zh) | 烟叶中的杂质检测方法、***及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |