CN112847321B - 基于人工智能的工业机器人视觉图像识别*** - Google Patents

基于人工智能的工业机器人视觉图像识别*** Download PDF

Info

Publication number
CN112847321B
CN112847321B CN202110002755.5A CN202110002755A CN112847321B CN 112847321 B CN112847321 B CN 112847321B CN 202110002755 A CN202110002755 A CN 202110002755A CN 112847321 B CN112847321 B CN 112847321B
Authority
CN
China
Prior art keywords
image
module
coordinate
acquiring
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110002755.5A
Other languages
English (en)
Other versions
CN112847321A (zh
Inventor
李斌
江兆银
洪亮
沈渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Juqun Construction Engineering Co ltd
Original Assignee
Yangzhou Polytechnic College Yangzhou Radio and TV University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou Polytechnic College Yangzhou Radio and TV University filed Critical Yangzhou Polytechnic College Yangzhou Radio and TV University
Priority to CN202110002755.5A priority Critical patent/CN112847321B/zh
Publication of CN112847321A publication Critical patent/CN112847321A/zh
Application granted granted Critical
Publication of CN112847321B publication Critical patent/CN112847321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/08Programme-controlled manipulators characterised by modular constructions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于人工智能的工业机器人视觉图像识别***,涉及图像识别技术领域,解决了现有方案中工业机器人的视觉识别***功能较为单一,不能够充分利用数据和硬件的技术问题;本发明设置了物联终端模块,该设置通过边缘计算方法筛选出第一图像,有助于提高第一图像的质量,同时提高本发明的工作效率;本发明设置了缺陷检测模块,该设置对零件的缺陷进行检测,利用图像分析技术,能够保证零件的质量,有助于提高产品的良品率;本发明设置了坐标分析模块,该设置通过极坐标之间的转换,在校验机器人精度的同时,为机器人的精准快速操作奠定了基础。

Description

基于人工智能的工业机器人视觉图像识别***
技术领域
本发明属于图像识别领域,涉及人工智能技术,具体是基于人工智能的工业机器人视觉图像识别***。
背景技术
机器人及自动化装备有着广阔的应用市场,以机器人为例,机器人技术作为先进制造技术的典型代表,是集机械、电子、控制、计算机、传感器、人工智能等多学科先进技术于一体的重要的现代制造业自动化装备。具有高度的柔性和适应性,它满足了现代生产模式——一小批量、多品种以及产品生命周期短和更新换代快的特点,可改变传统生产模式,提高产品质量和生产效率,实现文明生产和柔性生产。工业机器人已在汽车及零部件、摩托车、工程机械、机床模具、低压电器、烟草、化工、军工等领域得到广泛应用。
公开号为CN109664333A的发明专利提供了一种适用于工业机器人的视觉识别***,包括依次连接的视觉传感器、图像采集模块和图像处理模块;所述图像处理模块上设置有照明模块;还包括与图像处理器模块相连接的数据库处理***,所述数据库处理***包括云储存服务器、图像整合模块和数据对比模块,所述图像整合模块分别于所述云储存服务器和数据对比模块相连。
上述方案中图像整合模块分别与所述云储存服务器和数据对比模块相连,实现对接收的图像进行整合和储存,图像扫描模块对物件进行扫面,在通过数据库处理***进行识别;但是,上述方案中工业机器人的视觉识别***功能较为单一,不能够充分利用数据和硬件;因此,上述方案仍需进一步改进。
发明内容
为了解决上述方案存在的问题,本发明提供了基于人工智能的工业机器人视觉图像识别***。
本发明的目的可以通过以下技术方案实现:基于人工智能的工业机器人视觉图像识别***,包括处理器、坐标分析模块、维修维护模块、数据存储模块、物联终端模块、产线连接模块和缺陷检测模块;
所述物联终端模块与图像采集单元通信连接;所述图像采集单元包括两个图像视觉传感器和照明单元;所述照明单元包括至少一个LED照明灯和至少一个光强传感器;
所述坐标分析模块用于建立零件位置与工业机器人之间的坐标关系,包括:
当坐标分析模块接收到坐标分析信号之后,以工业机器人底座的基点为极点建立极坐标系,并标记为第一坐标系;获取图像视觉传感器的极坐标标记为第一极坐标组;
通过图像视觉传感器获取零件图像;所述零件图像至少为两幅图像;
以零件图像中零件的中心位置为极点建立第二坐标系;获取图像视觉传感器在第二极坐标系中的极坐标标记为第二极坐标组;
第二极坐标组结合第二坐标系确定以图像视觉传感器为极点的坐标系中零件中心位置的极坐标并标记为第三极坐标组;
第三极坐标组结合第一坐标系确定零件中心位置在第一坐标系中的极坐标并标记为第四极坐标组;所述第一极坐标组、第二极坐标组、第三极坐标组和第四极坐标组中至少包括两个极坐标;
获取第四极坐标组中的极坐标之间的距离,并将距离标记为
Figure DEST_PATH_IMAGE001
当距离
Figure 248226DEST_PATH_IMAGE001
满足
Figure 100002_DEST_PATH_IMAGE002
时,则判定第四极坐标组满足要求;否则,判定第四极坐标组不满足要求,发送机器人维护信号至维修维护模块;其中
Figure DEST_PATH_IMAGE003
Figure 100002_DEST_PATH_IMAGE004
为距离阈值,且
Figure 352317DEST_PATH_IMAGE003
Figure 663213DEST_PATH_IMAGE004
均为大于0的实数;
当第四极坐标组满足要求时,则获取第四极坐标组中极坐标的均值并标记为目标坐标;
通过处理器将目标坐标和机器人维护信号的发送记录发送至数据存储模块进行存储。
优选的,所述目标坐标为机器人操作部件提供操作位置;所述操作部件包括机器手和喷嘴。
优选的,所述维修维护模块用于派遣值班人员对机器人进行维修维护,包括:
当维修维护模块接收到维修信号时,通过数据存储模块获取值班人员统计库;所述维修信号包括机器人维护信号和零件缺陷信号;
获取维修信号发送的位置并标记为目标位置;通过值班人员统计库获取值班人员的状态;所述状态包括忙碌和空闲;
筛选出空闲的值班人员组成候选人员库;获取候选人员库的位置并标记为初始位置;
通过第三方平台规划初始位置到目标位置的路线并标记为标准路线;所述第三方平台包括百度地图和高德地图;
选取标准路线中长度最短的路线对应的值班人员并标记为目标人员;
将目标位置和维修信号发送至目标人员,目标人员接收到目标位置和维修信号之后到达目标位置进行处理;
通过处理器将目标人员的派遣记录发送至数据存储模块进行存储;所述派遣记录包括派遣时间和目标位置。
优选的,所述物联终端模块用于对原始图像进行初步筛选获取第一图像,包括:
通过图像视觉传感器采集到原始图像之后传送至物联终端模块;
实时获取物联终端模块CPU表面的温度均值,并将温度均值标记为
Figure DEST_PATH_IMAGE005
实时获取物联终端模块CPU的工作频率,并将工作频率标记为
Figure 100002_DEST_PATH_IMAGE006
通过公式
Figure DEST_PATH_IMAGE007
获取CPU过载系数
Figure 100002_DEST_PATH_IMAGE008
;其中
Figure DEST_PATH_IMAGE009
Figure 100002_DEST_PATH_IMAGE010
为比例系数,且
Figure 42111DEST_PATH_IMAGE009
Figure 387641DEST_PATH_IMAGE010
均为大于0的实数,
Figure DEST_PATH_IMAGE011
为物联终端模块CPU的主频;
当CPU过载系数
Figure 100002_DEST_PATH_IMAGE012
满足
Figure DEST_PATH_IMAGE013
时,则判定物联终端模块的GPU过载,则通过处理器为物联终端模块的CPU配置GPU;否则,不为物联终端模块的CPU配置GPU;
物联终端模块接收到原始图像之后,对原始图像进行图像预处理获取验证图像;所述图像预处理包括图像分割、图像去噪和灰度变换;
获取验证图像中像素点的灰度均值、灰度最大值和灰度最小值,并将灰度均值、灰度最大值和灰度最小值分别标记为
Figure 100002_DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE015
Figure 100002_DEST_PATH_IMAGE016
通过公式
Figure DEST_PATH_IMAGE017
获取图像评估系数
Figure 100002_DEST_PATH_IMAGE018
;其中
Figure 100002_DEST_PATH_IMAGE019
Figure DEST_PATH_IMAGE020
为比例系数,且
Figure 52847DEST_PATH_IMAGE019
Figure 851039DEST_PATH_IMAGE020
均为大于0的实数;
当图像评估系数
Figure 581097DEST_PATH_IMAGE018
满足
Figure 100002_DEST_PATH_IMAGE021
时,则判定验证图像的质量满足要求,同时将验证图像标记为第一图像;当图像评估系数
Figure 312293DEST_PATH_IMAGE018
满足
Figure DEST_PATH_IMAGE022
时,则判定验证图像的质量不满足要求,通过图像视觉传感器重新采集原始图像;其中
Figure 100002_DEST_PATH_IMAGE023
为图像评估系数阈值,且
Figure 899132DEST_PATH_IMAGE023
为大于0的实数;
将第一图像分别发送至产线连接模块和数据存储模块。
优选的,所述产线连接模块用于对生产工序进行监督,包括:
提取第一图像提取零部件图像并标记为零件图像;
获取数据存储模块中的标准图像;所述标准图像为图像采集单元对应位置的零件参考图像;
将零件图像与标准图像中的零件尺寸进行匹配,当零件尺寸匹配一致时,则判定生产工序正常;当零件尺寸匹配不一致时,则判定生产工序异常,通过处理器发送工序异常信号至维修维护模块;所述零件尺寸包括零件的长、宽和高,所述匹配一致是指零件尺寸的差别在允许误差内;
通过处理器将工序异常信号的发送记录发送至数据存储模块;同时将第一图像发送至缺陷检测模块。
优选的,所述缺陷检测模块用于检测第一图像中零件的缺陷,包括:
获取零件图像的特征数据;所述特征数据包括灰度值特征、灰度差特征、直方图特征、变换系数特征、灰度边缘特征和纹理特征;
通过降维方法对特征数据进行降维处理获取主体特征;所述降维方法包括主成分分析法、随机映射法和非负矩阵分解法;
将主体特征与图像形态学方法结合对零件图像中的零件缺陷进行检测获取缺陷检测结果;当缺陷检测结果为空时,则判定零件没有缺陷,通过处理器发送坐标分析信号至坐标分析模块;当缺陷检测结果为非空时,则判定零件有缺陷,则通过处理器发送零件缺陷信号至维修维护模块;
通过处理器将零件缺陷信号的发送记录发送至数据存储模块进行存储。
优选的,所述照明单元用于保证图像采集单元采集到清晰的原始图像,包括:
通过光强传感器获取光强度并标记为当前光强;
获取数据存储模块中的LED电流变化曲线;所述LED电流变化曲线通过历史数据生成,所述历史数据为光强和LED照明灯的最佳电流的对应关系,其中最佳电流为图像采集单元采集到清晰原始图像时的供电电流;
将当前光强带入LED亮度变化曲线中获取LED照明灯的供电电流;根据供电电流调节LED照明灯的亮度。
与现有技术相比,本发明的有益效果是:
1、本发明设置了物联终端模块,该设置用于对原始图像进行初步筛选获取第一图像;通过图像视觉传感器采集到原始图像之后传送至物联终端模块;实时获取物联终端模块CPU表面的温度均值
Figure 184620DEST_PATH_IMAGE005
;实时获取物联终端模块CPU的工作频率
Figure DEST_PATH_IMAGE024
;获取CPU过载系数
Figure 983948DEST_PATH_IMAGE012
;当CPU过载系数
Figure 38492DEST_PATH_IMAGE012
满足
Figure 999495DEST_PATH_IMAGE013
时,则判定物联终端模块的GPU过载,则通过处理器为物联终端模块的CPU配置GPU;否则,不为物联终端模块的CPU配置GPU;物联终端模块接收到原始图像之后,对原始图像进行图像预处理获取验证图像;获取验证图像中像素点的灰度均值、灰度最大值和灰度最小值,并获取图像评估系数
Figure 795716DEST_PATH_IMAGE018
;当图像评估系数
Figure 100002_DEST_PATH_IMAGE025
满足
Figure 398736DEST_PATH_IMAGE021
时,则判定验证图像的质量满足要求,同时将验证图像标记为第一图像;当图像评估系数
Figure 573365DEST_PATH_IMAGE018
满足
Figure 439690DEST_PATH_IMAGE022
时,则判定验证图像的质量不满足要求,通过图像视觉传感器重新采集原始图像;物联终端模块通过边缘计算方法筛选出第一图像,有助于提高第一图像的质量,同时提高本发明的工作效率;
2、本发明设置了缺陷检测模块,该设置用于检测第一图像中零件的缺陷;获取零件图像的特征数据;通过降维方法对特征数据进行降维处理获取主体特征;将主体特征与图像形态学方法结合对零件图像中的零件缺陷进行检测获取缺陷检测结果;当缺陷检测结果为空时,则判定零件没有缺陷,通过处理器发送坐标分析信号至坐标分析模块;当缺陷检测结果为非空时,则判定零件有缺陷,则通过处理器发送零件缺陷信号至维修维护模块;缺陷检测模块对零件的缺陷进行检测,利用图像分析技术,能够保证零件的质量,有助于提高产品的良品率;
3、本发明设置了坐标分析模块,该设置用于建立零件位置与工业机器人之间的坐标关系;当坐标分析模块接收到坐标分析信号之后,以工业机器人底座的基点为极点建立极坐标系,并标记为第一坐标系;获取图像视觉传感器的极坐标标记为第一极坐标组;通过图像视觉传感器获取零件图像;以零件图像中零件的中心位置为极点建立第二坐标系;获取图像视觉传感器在第二极坐标系中的极坐标标记为第二极坐标组;第二极坐标组结合第二坐标系确定以图像视觉传感器为极点的坐标系中零件中心位置的极坐标并标记为第三极坐标组;第三极坐标组结合第一坐标系确定零件中心位置在第一坐标系中的极坐标并标记为第四极坐标组;获取第四极坐标组中的极坐标之间的距离
Figure 699770DEST_PATH_IMAGE001
;当距离
Figure 575322DEST_PATH_IMAGE001
满足
Figure 604458DEST_PATH_IMAGE002
时,则判定第四极坐标组满足要求;否则,判定第四极坐标组不满足要求,发送机器人维护信号至维修维护模块;当第四极坐标组满足要求时,则获取第四极坐标组中极坐标的均值并标记为目标坐标;坐标分析模块通过极坐标之间的转换,在校验机器人精度的同时,为机器人的精准快速操作奠定了基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的原理示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,基于人工智能的工业机器人视觉图像识别***,包括处理器、坐标分析模块、维修维护模块、数据存储模块、物联终端模块、产线连接模块和缺陷检测模块;
物联终端模块与图像采集单元通信连接;图像采集单元包括两个图像视觉传感器和照明单元;照明单元包括至少一个LED照明灯和至少一个光强传感器;
坐标分析模块用于建立零件位置与工业机器人之间的坐标关系,包括:
当坐标分析模块接收到坐标分析信号之后,以工业机器人底座的基点为极点建立极坐标系,并标记为第一坐标系;获取图像视觉传感器的极坐标标记为第一极坐标组;
通过图像视觉传感器获取零件图像;零件图像至少为两幅图像;
以零件图像中零件的中心位置为极点建立第二坐标系;获取图像视觉传感器在第二极坐标系中的极坐标标记为第二极坐标组;
第二极坐标组结合第二坐标系确定以图像视觉传感器为极点的坐标系中零件中心位置的极坐标并标记为第三极坐标组;
第三极坐标组结合第一坐标系确定零件中心位置在第一坐标系中的极坐标并标记为第四极坐标组;第一极坐标组、第二极坐标组、第三极坐标组和第四极坐标组中至少包括两个极坐标;
获取第四极坐标组中的极坐标之间的距离,并将距离标记为
Figure 641684DEST_PATH_IMAGE001
当距离
Figure 123481DEST_PATH_IMAGE001
满足
Figure 802724DEST_PATH_IMAGE002
时,则判定第四极坐标组满足要求;否则,判定第四极坐标组不满足要求,发送机器人维护信号至维修维护模块;
当第四极坐标组满足要求时,则获取第四极坐标组中极坐标的均值并标记为目标坐标;
通过处理器将目标坐标和机器人维护信号的发送记录发送至数据存储模块进行存储。
进一步地,目标坐标为机器人操作部件提供操作位置;操作部件包括机器手和喷嘴。
进一步地,维修维护模块用于派遣值班人员对机器人进行维修维护,包括:
当维修维护模块接收到维修信号时,通过数据存储模块获取值班人员统计库;维修信号包括机器人维护信号和零件缺陷信号;
获取维修信号发送的位置并标记为目标位置;通过值班人员统计库获取值班人员的状态;状态包括忙碌和空闲;
筛选出空闲的值班人员组成候选人员库;获取候选人员库的位置并标记为初始位置;
通过第三方平台规划初始位置到目标位置的路线并标记为标准路线;第三方平台包括百度地图和高德地图;
选取标准路线中长度最短的路线对应的值班人员并标记为目标人员;
将目标位置和维修信号发送至目标人员,目标人员接收到目标位置和维修信号之后到达目标位置进行处理;
通过处理器将目标人员的派遣记录发送至数据存储模块进行存储;派遣记录包括派遣时间和目标位置。
进一步地,物联终端模块用于对原始图像进行初步筛选获取第一图像,包括:
通过图像视觉传感器采集到原始图像之后传送至物联终端模块;
实时获取物联终端模块CPU表面的温度均值,并将温度均值标记为
Figure 686367DEST_PATH_IMAGE005
实时获取物联终端模块CPU的工作频率,并将工作频率标记为
Figure 160073DEST_PATH_IMAGE006
通过公式
Figure 129166DEST_PATH_IMAGE007
获取CPU过载系数
Figure 80942DEST_PATH_IMAGE008
;其中
Figure 84670DEST_PATH_IMAGE009
Figure 729278DEST_PATH_IMAGE010
为比例系数,且
Figure 185667DEST_PATH_IMAGE009
Figure 941133DEST_PATH_IMAGE010
均为大于0的实数,
Figure 533789DEST_PATH_IMAGE011
为物联终端模块CPU的主频;
当CPU过载系数
Figure 349298DEST_PATH_IMAGE012
满足
Figure 292983DEST_PATH_IMAGE013
时,则判定物联终端模块的GPU过载,则通过处理器为物联终端模块的CPU配置GPU;否则,不为物联终端模块的CPU配置GPU;
物联终端模块接收到原始图像之后,对原始图像进行图像预处理获取验证图像;图像预处理包括图像分割、图像去噪和灰度变换;
获取验证图像中像素点的灰度均值、灰度最大值和灰度最小值,并将灰度均值、灰度最大值和灰度最小值分别标记为
Figure 852141DEST_PATH_IMAGE014
Figure 564882DEST_PATH_IMAGE015
Figure 285713DEST_PATH_IMAGE016
通过公式
Figure 716694DEST_PATH_IMAGE017
获取图像评估系数
Figure 813963DEST_PATH_IMAGE018
;其中
Figure 646790DEST_PATH_IMAGE019
Figure 538523DEST_PATH_IMAGE020
为比例系数,且
Figure 456800DEST_PATH_IMAGE019
Figure 623339DEST_PATH_IMAGE020
均为大于0的实数;
当图像评估系数
Figure 310673DEST_PATH_IMAGE018
满足
Figure 638886DEST_PATH_IMAGE021
时,则判定验证图像的质量满足要求,同时将验证图像标记为第一图像;当图像评估系数
Figure 44459DEST_PATH_IMAGE018
满足
Figure 483531DEST_PATH_IMAGE022
时,则判定验证图像的质量不满足要求,通过图像视觉传感器重新采集原始图像;其中
Figure 290950DEST_PATH_IMAGE023
为图像评估系数阈值,且
Figure 790064DEST_PATH_IMAGE023
为大于0的实数;
将第一图像分别发送至产线连接模块和数据存储模块。
进一步地,产线连接模块用于对生产工序进行监督,包括:
提取第一图像提取零部件图像并标记为零件图像;
获取数据存储模块中的标准图像;标准图像为图像采集单元对应位置的零件参考图像;
将零件图像与标准图像中的零件尺寸进行匹配,当零件尺寸匹配一致时,则判定生产工序正常;当零件尺寸匹配不一致时,则判定生产工序异常,通过处理器发送工序异常信号至维修维护模块;零件尺寸包括零件的长、宽和高,匹配一致是指零件尺寸的差别在允许误差内;
通过处理器将工序异常信号的发送记录发送至数据存储模块;同时将第一图像发送至缺陷检测模块。
进一步地,缺陷检测模块用于检测第一图像中零件的缺陷,包括:
获取零件图像的特征数据;特征数据包括灰度值特征、灰度差特征、直方图特征、变换系数特征、灰度边缘特征和纹理特征;
通过降维方法对特征数据进行降维处理获取主体特征;降维方法包括主成分分析法、随机映射法和非负矩阵分解法;
将主体特征与图像形态学方法结合对零件图像中的零件缺陷进行检测获取缺陷检测结果;当缺陷检测结果为空时,则判定零件没有缺陷,通过处理器发送坐标分析信号至坐标分析模块;当缺陷检测结果为非空时,则判定零件有缺陷,则通过处理器发送零件缺陷信号至维修维护模块;
通过处理器将零件缺陷信号的发送记录发送至数据存储模块进行存储。
进一步地,照明单元用于保证图像采集单元采集到清晰的原始图像,包括:
通过光强传感器获取光强度并标记为当前光强;
获取数据存储模块中的LED电流变化曲线;LED电流变化曲线通过历史数据生成,历史数据为光强和LED照明灯的最佳电流的对应关系,其中最佳电流为图像采集单元采集到清晰原始图像时的供电电流;
将当前光强带入LED亮度变化曲线中获取LED照明灯的供电电流;根据供电电流调节LED照明灯的亮度。
进一步地,处理器分别与坐标分析模块、维修维护模块、数据存储模块、物联终端模块、产线连接模块和缺陷检测模块通信连接;数据存储模块与维修维护模块通信连接,维修维护模块与坐标分析模块通信连接;产线连接模块分别与物联终端模块和缺陷检测模块通信连接。
上述公式均是去除量纲取其数值计算,公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式,公式中的预设参数由本领域的技术人员根据实际情况设定。
本发明的工作原理:
通过图像视觉传感器采集到原始图像之后传送至物联终端模块;实时获取物联终端模块CPU表面的温度均值
Figure 417355DEST_PATH_IMAGE005
;实时获取物联终端模块CPU的工作频率
Figure 660117DEST_PATH_IMAGE024
;获取CPU过载系数
Figure 56464DEST_PATH_IMAGE012
;当CPU过载系数
Figure 726479DEST_PATH_IMAGE008
满足
Figure 841066DEST_PATH_IMAGE013
时,则判定物联终端模块的GPU过载,则通过处理器为物联终端模块的CPU配置GPU;否则,不为物联终端模块的CPU配置GPU;物联终端模块接收到原始图像之后,对原始图像进行图像预处理获取验证图像;获取验证图像中像素点的灰度均值、灰度最大值和灰度最小值,并获取图像评估系数
Figure 621940DEST_PATH_IMAGE018
;当图像评估系数
Figure 138372DEST_PATH_IMAGE018
满足
Figure DEST_PATH_IMAGE026
时,则判定验证图像的质量满足要求,同时将验证图像标记为第一图像;当图像评估系数
Figure 510448DEST_PATH_IMAGE018
满足
Figure 100002_DEST_PATH_IMAGE027
时,则判定验证图像的质量不满足要求,通过图像视觉传感器重新采集原始图像;
提取第一图像提取零部件图像并标记为零件图像;获取数据存储模块中的标准图像;将零件图像与标准图像中的零件尺寸进行匹配,当零件尺寸匹配一致时,则判定生产工序正常;当零件尺寸匹配不一致时,则判定生产工序异常,通过处理器发送工序异常信号至维修维护模块;
获取零件图像的特征数据;通过降维方法对特征数据进行降维处理获取主体特征;将主体特征与图像形态学方法结合对零件图像中的零件缺陷进行检测获取缺陷检测结果;当缺陷检测结果为空时,则判定零件没有缺陷,通过处理器发送坐标分析信号至坐标分析模块;当缺陷检测结果为非空时,则判定零件有缺陷,则通过处理器发送零件缺陷信号至维修维护模块;
当坐标分析模块接收到坐标分析信号之后,以工业机器人底座的基点为极点建立极坐标系,并标记为第一坐标系;获取图像视觉传感器的极坐标标记为第一极坐标组;通过图像视觉传感器获取零件图像;以零件图像中零件的中心位置为极点建立第二坐标系;获取图像视觉传感器在第二极坐标系中的极坐标标记为第二极坐标组;第二极坐标组结合第二坐标系确定以图像视觉传感器为极点的坐标系中零件中心位置的极坐标并标记为第三极坐标组;第三极坐标组结合第一坐标系确定零件中心位置在第一坐标系中的极坐标并标记为第四极坐标组;获取第四极坐标组中的极坐标之间的距离
Figure 643489DEST_PATH_IMAGE001
;当距离
Figure 228054DEST_PATH_IMAGE001
满足
Figure 598992DEST_PATH_IMAGE002
时,则判定第四极坐标组满足要求;否则,判定第四极坐标组不满足要求,发送机器人维护信号至维修维护模块;当第四极坐标组满足要求时,则获取第四极坐标组中极坐标的均值并标记为目标坐标。
在本说明书的描述中,参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

Claims (7)

1.基于人工智能的工业机器人视觉图像识别***,其特征在于,包括处理器、坐标分析模块、维修维护模块、数据存储模块、物联终端模块、产线连接模块和缺陷检测模块;
所述物联终端模块与图像采集单元通信连接;所述图像采集单元包括两个图像视觉传感器和照明单元;所述照明单元包括至少一个LED照明灯和至少一个光强传感器;
所述坐标分析模块用于建立零件位置与工业机器人之间的坐标关系,包括:
当坐标分析模块接收到坐标分析信号之后,以工业机器人底座的基点为极点建立极坐标系,并标记为第一坐标系;获取图像视觉传感器的极坐标标记为第一极坐标组;
通过图像视觉传感器获取零件图像;所述零件图像至少为两幅图像;
以零件图像中零件的中心位置为极点建立第二坐标系;获取图像视觉传感器在第二极坐标系中的极坐标标记为第二极坐标组;
第二极坐标组结合第二坐标系确定以图像视觉传感器为极点的坐标系中零件中心位置的极坐标并标记为第三极坐标组;
第三极坐标组结合第一坐标系确定零件中心位置在第一坐标系中的极坐标并标记为第四极坐标组;所述第一极坐标组、第二极坐标组、第三极坐标组和第四极坐标组中至少包括两个极坐标;
获取第四极坐标组中的极坐标之间的距离,并将距离标记为
Figure DEST_PATH_IMAGE002
当距离
Figure 84774DEST_PATH_IMAGE002
满足
Figure DEST_PATH_IMAGE004
时,则判定第四极坐标组满足要求;否则,判定第四极坐标组不满足要求,发送机器人维护信号至维修维护模块;
当第四极坐标组满足要求时,则获取第四极坐标组中极坐标的均值并标记为目标坐标;
通过处理器将目标坐标和机器人维护信号的发送记录发送至数据存储模块进行存储。
2.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别***,其特征在于,所述目标坐标为机器人操作部件提供操作位置;所述操作部件包括机器手和喷嘴。
3.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别***,其特征在于,所述维修维护模块用于派遣值班人员对机器人进行维修维护,包括:
当维修维护模块接收到维修信号时,通过数据存储模块获取值班人员统计库;所述维修信号包括机器人维护信号和零件缺陷信号;
获取维修信号发送的位置并标记为目标位置;通过值班人员统计库获取值班人员的状态;所述状态包括忙碌和空闲;
筛选出空闲的值班人员组成候选人员库;获取候选人员库的位置并标记为初始位置;
通过第三方平台规划初始位置到目标位置的路线并标记为标准路线;所述第三方平台包括百度地图和高德地图;
选取标准路线中长度最短的路线对应的值班人员并标记为目标人员;
将目标位置和维修信号发送至目标人员,目标人员接收到目标位置和维修信号之后到达目标位置进行处理;
通过处理器将目标人员的派遣记录发送至数据存储模块进行存储;所述派遣记录包括派遣时间和目标位置。
4.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别***,其特征在于,所述物联终端模块用于对原始图像进行初步筛选获取第一图像,包括:
通过图像视觉传感器采集到原始图像之后传送至物联终端模块;
实时获取物联终端模块CPU表面的温度均值,并将温度均值标记为
Figure DEST_PATH_IMAGE006
实时获取物联终端模块CPU的工作频率,并将工作频率标记为
Figure DEST_PATH_IMAGE008
通过公式
Figure DEST_PATH_IMAGE010
获取CPU过载系数
Figure DEST_PATH_IMAGE012
;其中
Figure DEST_PATH_IMAGE014
Figure DEST_PATH_IMAGE016
为比例系数,且
Figure 399253DEST_PATH_IMAGE014
Figure 975728DEST_PATH_IMAGE016
均为大于0的实数,
Figure DEST_PATH_IMAGE018
为物联终端模块CPU的主频;
当CPU过载系数
Figure DEST_PATH_IMAGE019
满足
Figure DEST_PATH_IMAGE021
时,则判定物联终端模块的GPU过载,则通过处理器为物联终端模块的CPU配置GPU;否则,不为物联终端模块的CPU配置GPU;
物联终端模块接收到原始图像之后,对原始图像进行图像预处理获取验证图像;所述图像预处理包括图像分割、图像去噪和灰度变换;
获取验证图像中像素点的灰度均值、灰度最大值和灰度最小值,并将灰度均值、灰度最大值和灰度最小值分别标记为
Figure DEST_PATH_IMAGE023
Figure DEST_PATH_IMAGE025
Figure DEST_PATH_IMAGE027
通过公式
Figure DEST_PATH_IMAGE029
获取图像评估系数
Figure DEST_PATH_IMAGE031
;其中
Figure DEST_PATH_IMAGE033
Figure DEST_PATH_IMAGE035
为比例系数,且
Figure 400631DEST_PATH_IMAGE033
Figure 11741DEST_PATH_IMAGE035
均为大于0的实数;
当图像评估系数
Figure 630941DEST_PATH_IMAGE031
满足
Figure DEST_PATH_IMAGE037
时,则判定验证图像的质量满足要求,同时将验证图像标记为第一图像;当图像评估系数
Figure 491450DEST_PATH_IMAGE031
满足
Figure DEST_PATH_IMAGE039
时,则判定验证图像的质量不满足要求,通过图像视觉传感器重新采集原始图像;其中
Figure DEST_PATH_IMAGE041
为图像评估系数阈值,且
Figure 346142DEST_PATH_IMAGE041
为大于0的实数;
将第一图像分别发送至产线连接模块和数据存储模块。
5.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别***,其特征在于,所述产线连接模块用于对生产工序进行监督,包括:
提取第一图像提取零部件图像并标记为零件图像;
获取数据存储模块中的标准图像;所述标准图像为图像采集单元对应位置的零件参考图像;
将零件图像与标准图像中的零件尺寸进行匹配,当零件尺寸匹配一致时,则判定生产工序正常;当零件尺寸匹配不一致时,则判定生产工序异常,通过处理器发送工序异常信号至维修维护模块;所述零件尺寸包括零件的长、宽和高,所述匹配一致是指零件尺寸的差别在允许误差内;
通过处理器将工序异常信号的发送记录发送至数据存储模块;同时将第一图像发送至缺陷检测模块。
6.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别***,其特征在于,所述缺陷检测模块用于检测第一图像中零件的缺陷,包括:
获取零件图像的特征数据;所述特征数据包括灰度值特征、灰度差特征、直方图特征、变换系数特征、灰度边缘特征和纹理特征;
通过降维方法对特征数据进行降维处理获取主体特征;所述降维方法包括主成分分析法、随机映射法和非负矩阵分解法;
将主体特征与图像形态学方法结合对零件图像中的零件缺陷进行检测获取缺陷检测结果;当缺陷检测结果为空时,则判定零件没有缺陷,通过处理器发送坐标分析信号至坐标分析模块;当缺陷检测结果为非空时,则判定零件有缺陷,则通过处理器发送零件缺陷信号至维修维护模块;
通过处理器将零件缺陷信号的发送记录发送至数据存储模块进行存储。
7.根据权利要求1所述的基于人工智能的工业机器人视觉图像识别***,其特征在于,所述照明单元用于保证图像采集单元采集到清晰的原始图像,包括:
通过光强传感器获取光强度并标记为当前光强;
获取数据存储模块中的LED电流变化曲线;所述LED电流变化曲线通过历史数据生成,所述历史数据为光强和LED照明灯的最佳电流的对应关系,其中最佳电流为图像采集单元采集到清晰原始图像时的供电电流;
将当前光强带入LED亮度变化曲线中获取LED照明灯的供电电流;根据供电电流调节LED照明灯的亮度。
CN202110002755.5A 2021-01-04 2021-01-04 基于人工智能的工业机器人视觉图像识别*** Active CN112847321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110002755.5A CN112847321B (zh) 2021-01-04 2021-01-04 基于人工智能的工业机器人视觉图像识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110002755.5A CN112847321B (zh) 2021-01-04 2021-01-04 基于人工智能的工业机器人视觉图像识别***

Publications (2)

Publication Number Publication Date
CN112847321A CN112847321A (zh) 2021-05-28
CN112847321B true CN112847321B (zh) 2021-12-28

Family

ID=76001484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110002755.5A Active CN112847321B (zh) 2021-01-04 2021-01-04 基于人工智能的工业机器人视觉图像识别***

Country Status (1)

Country Link
CN (1) CN112847321B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469560B (zh) * 2021-07-19 2022-05-10 北京东华博泰科技有限公司 一种基于工业大数据的云平台数据管理***
CN117197133B (zh) * 2023-11-06 2024-01-30 湖南睿图智能科技有限公司 一种复杂工业环境下视觉机器人的控制***及方法
CN117549314B (zh) * 2024-01-09 2024-03-19 承德石油高等专科学校 一种基于图像识别的工业机器人智能控制***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5744587B2 (ja) * 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
CN105234943B (zh) * 2015-09-09 2018-08-14 大族激光科技产业集团股份有限公司 一种基于视觉识别的工业机器人示教装置及方法
CN105965519A (zh) * 2016-06-22 2016-09-28 江南大学 一种视觉引导下的离合器下料定位方法
CN106607907B (zh) * 2016-12-23 2017-09-26 西安交通大学 一种移动视觉机器人及其测控方法
CN106938463A (zh) * 2017-05-02 2017-07-11 上海贝特威自动化科技有限公司 一种大型板料定位抓取的方法
CN110125926B (zh) * 2018-02-08 2021-03-26 比亚迪股份有限公司 自动化的工件取放方法及***
CN111452034A (zh) * 2019-01-21 2020-07-28 广东若铂智能机器人有限公司 一种双相机机器视觉智能工业机器人控制***及控制方法

Also Published As

Publication number Publication date
CN112847321A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112847321B (zh) 基于人工智能的工业机器人视觉图像识别***
CN105956618B (zh) 基于图像动静态特征的转炉炼钢吹炼状态识别***及方法
CN108537154A (zh) 基于hog特征和机器学习的输电线路鸟巢识别方法
CN109977808A (zh) 一种晶圆表面缺陷模式检测与分析方法
CN107804514B (zh) 一种基于图像识别的牙刷分拣方法
CN113324864B (zh) 一种基于深度学习目标检测的受电弓碳滑板磨耗检测方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及***
CN110910350A (zh) 一种用于风电塔筒的螺母松动检测方法
JP2021515885A (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN111242057A (zh) 产品分拣***、方法、计算机设备和存储介质
CN115993366B (zh) 基于传感设备的加工件表面检测方法及***
CN110567383A (zh) 基于结构森林和亚像素的受电弓磨耗预警***及检测方法
CN114092478B (zh) 一种异常检测方法
CN113706455B (zh) 一种330kV电缆瓷瓶套管的破损快速检测方法
CN107944453A (zh) 基于Hu不变矩和支持向量机SVM的高压套管检测方法
CN109492544B (zh) 一种通过增强光学显微镜对动物纤维进行分类的方法
CN114387262A (zh) 一种基于机器视觉的螺母定位检测方法、装置及***
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控***和方法
CN110246131A (zh) 基于卷积神经网络的导线分股缺陷图像识别方法
CN116843615B (zh) 一种基于柔性光路的引线框架智能全检方法
CN117351472A (zh) 烟叶信息检测方法、装置及电子设备
CN107121063A (zh) 检测工件的方法
CN115855961B (zh) 一种用于运行中的配电箱故障检测方法
CN112989881A (zh) 一种无监督可迁移的3d视觉物体抓取方法
CN113643352B (zh) 一种自然覆冰在线监测运行导线图像覆冰程度评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230523

Address after: Room 303, Building 5, No. 93 Yunhe South Road (Zhonggang Metal Trading City), Guangling District, Yangzhou City, Jiangsu Province, 225000

Patentee after: Jiangsu Juqun Construction Engineering Co.,Ltd.

Address before: 225000 Wenchang West Road, Yangzhou City, Jiangsu Province

Patentee before: Yangzhou Vocational University (Yangzhou Radio and TV University)