CN117086519B - 基于工业互联网的联网设备数据分析及评估***、方法 - Google Patents

基于工业互联网的联网设备数据分析及评估***、方法 Download PDF

Info

Publication number
CN117086519B
CN117086519B CN202311059220.7A CN202311059220A CN117086519B CN 117086519 B CN117086519 B CN 117086519B CN 202311059220 A CN202311059220 A CN 202311059220A CN 117086519 B CN117086519 B CN 117086519B
Authority
CN
China
Prior art keywords
workpiece
module
model
welding
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311059220.7A
Other languages
English (en)
Other versions
CN117086519A (zh
Inventor
杨艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingmin Mathematical Technology Beijing Co ltd
Original Assignee
Jingmin Mathematical Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingmin Mathematical Technology Beijing Co ltd filed Critical Jingmin Mathematical Technology Beijing Co ltd
Priority to CN202311059220.7A priority Critical patent/CN117086519B/zh
Publication of CN117086519A publication Critical patent/CN117086519A/zh
Application granted granted Critical
Publication of CN117086519B publication Critical patent/CN117086519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • B23K37/02—Carriages for supporting the welding or cutting element
    • B23K37/0252—Steering means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及工业生产技术领域，具体涉及基于工业互联网的联网设备数据分析及评估***、方法，包括采集层、控制层及检测层；产品规格参数及工件规格参数通过采集层输入，采集层基于产品规格参数及工件规格参数构建产品模型及工件模型，进一步分析产品模型与工件模型的相似性，控制层同步接收产品模型及工件模型，本发明通过产品及工件的规格参数输入完成了产品及工件的模型构建，进一步的以产品模型作为工件与安装板面焊接所用的参照，智能化的实现焊接工件的目标抓取、校正，从而以此进一步服务于自动寻缝焊接设备，使得产品的焊接操作过程，完全机械智能化，基于此，进一步降低产品焊接过程中所使用的人力资源，提高生产效率，缩减生产成本。

Description

基于工业互联网的联网设备数据分析及评估***、方法
技术领域
本发明涉及工业生产技术领域，具体涉及基于工业互联网的联网设备数据分析及评估***、方法。
背景技术
工业设备指的是工业生产设备和各类机床，比如车床、铣床、磨床、刨床等机器。
申请号为202211370846.5的发明专利中公开了一种基于工业互联网的数据分析方法，其特征在于，包括：采集预设端口的待处理的工业数据，根据所述待处理的工业数据中的数据来源获取目标工业数据：根据预设有效时间对所述目标工业数据进行数据清洗；根据当前所述目标工业数据匹配对应的工业设备并生成所述工业设备的产能预测：获取实际产能报告，并结合所述产能预测进行数据分析并生成数据分析结果；根据所述数据分析结果确定关键目标事件，并生成所述关键目标事件对应的数据分析报告，所述采集预设端口的待处理的工业数据，根据所述待处理的工业数据中的数据来源获取目标工业数据的步骤，包括：采集预设端口的待处理的工业数据；在所述待处理的工业数据中判断数据是否有效以进行数据筛选并更新所述待处理的工业数据；在当前所述待处理的工业数据中获取所有数据的数据来源信息；根据所述数据来源信息在所述待处理的工业数据中获取目标工业数据。
该申请在于解决：“在企业生产的过程中，往往无法在生产车间产生的庞大数据中获取有效数据并通过有效数据进行产能异常分析和预测，在这种现象下影响了企业生产效率的提高和异常事故的及时监测，”的问题。
自动寻缝焊接机就是工业联网设备中的一种，其智能程度较高，能够自主完成金属构件的自动寻缝及焊接工作，然而，目前的自动寻缝焊接机虽能够完成自动寻缝及焊接操作，但对于金属构件的摆放拼接阶段，仍需要人工来操作，继而为自动寻缝焊接机的自动寻缝及焊接提供操作条件，由此，可以看出自动寻缝焊接机在使用过程中的金属构件摆放拼接阶段，仍存在一定的优化空间。
发明内容
针对现有技术所存在的上述缺点，本发明提供了基于工业互联网的联网设备数据分析及评估***、方法，解决了上述背景技术中提出的技术问题。
为实现以上目的，本发明通过以下技术方案予以实现：
第一方面，基于工业互联网的联网设备数据分析及评估***，包括采集层、控制层及检测层；
产品规格参数及工件规格参数通过采集层输入，采集层基于产品规格参数及工件规格参数构建产品模型及工件模型，进一步分析产品模型与工件模型的相似性，控制层同步接收产品模型及工件模型，同步基于两组模型相似性控制工件模型进行搁置状态协调，并在协调后由焊接设备执行焊接操作，检测层后置运行捕捉焊接位置图像，进一步基于焊接位置图像对焊缝进行安全评估；
控制层包括接收模块、捕捉模块及机械臂模组，接收模块用于接收采集层中设定的拾取面及模型图像相似度比对结果，捕捉模块用于捕捉最佳模型图像相似度比对结果中工件模型对应图像的模型上相对面，机械臂模组用于获取接收模块中接收的拾取面，基于拾取面由机械臂模组对焊接设备上传输的工件进行抓取，并接收捕捉模块中捕捉到的相对面，以相对面对于工件上的对应面作为接触面控制机械臂模组抓取工件向产品安装板面移动，进一步完成搁置状态协调；
所述机械臂模组在对抓取工件进行搁置状态协调阶段，进一步捕捉工件与安装板面接触面垂直方向视角的图像，应用安装板面相对工件的视角在产品模型上采集相同视角的图像，对两组图像进行连续的相似度比对；
连续相似度比对逻辑为包括：
I：
II：
式中：LTSSncc第一次相似度比对结果、LTSSncc′第二次相似度比对结果；hp(k)、hq(k)分别为以p、q为中心点的窗口内LTSS描述符；均为特征描述符均值；n为窗口的集合；LTSSncc1、LTSSncc2、LTSSncc3、LTSSncc4为四组窗口的相似度；
机械臂模组在对抓取工件进行搁置状态协调时，持续捕捉工件与安装板面接触面垂直方向视角的图像，并基于连续相似度比对逻辑对机械臂模组抓取的工件搁置状态进行监测，直至LTSSncc′≥LTSSncc时，机械臂模组停止运行，焊接设备对工件及安装面板进行寻缝焊接，***进一步跳转检测层运行；
其中，对于抓取工件的搁置状态协调包括：抓取工件旋转控制；所述产品由安装板面及工件组成，工件根据指定位置及姿态焊接于安装板面上，组成产品成品。
更进一步地，采集层包括储存模块、构建模块及标记模块，储存模块用于接收产品规格参数及工件规格参数，对产品规格参数及工件规格参数进行区分储存，构建模块用于获取产品规格参数及工件规格参数，通过产品规格参数及工件规格参数构建产品模型的工件模型，设定模块用于设定工件在焊接时，焊接设备的拾取面；
其中，所述构建模块在构建工件模型及产品模型后，进一步对两组模型上任意视角的图像进行采集，并基于采集的工件图像及产品图像进行相似度比对，对相似度最高的两组图像进行捕捉，同步获取两组图像的来源视角，并对获取到的来源视角进行储存。
更进一步地，所述构建模块对模型进行任意视角的图像进行采集时，采集的图像包含对应模型上任意位置的形态，所述设定模块在设定拾取面时，构建模块中捕捉到的相似度最高的两组图像对应来源视角，相对方向的模型面不作为拾取面可设定目标；
其中，工件图像及产品图像的相似度通过下式进行求取，公式为：
式中：d(x,y)为图像x、y的距离；nx、ny为图像x、y的特征向量集合；xi、yi为图像x、y的两组相似度比对窗口i、j，d(x,y)越小，则表示图像x、y的相似度越高，反之，则越低。
更进一步地，所述设定模块在设定拾取面时，对排除面以外的模型上各面进行平面大小识别，应用最大的一组平面所在的模型上表面作为拾取面。
更进一步地，所述LTSSncc1、LTSSncc2、LTSSncc3、LTSSncc4分别来源于图像的左上、左下、右上、右下位置，且LTSSncc1、LTSSncc2、LTSSncc3、LTSSncc4的窗口大小相等。
更进一步地，所述机械臂模组对抓取工件进行搁置状态协调时，协调直径为1cm、协调精度上限为1mm。
更进一步地，所述检测层包括识别模块及判定模块，识别模块用于捕捉焊接位置图像，对焊接位置图像进行纹理特征评估，判定模块用于设定判定阈值，基于判定阈值判定焊接位置图像纹理特征是否安全；
其中，识别模块捕捉焊接位置图像阶段，焊接位置图像捕捉有若干组，若干组焊接位置图像包括焊接设备对于工件及安装面板的所有焊接路径。
更进一步地，所述焊接位置图像的纹理特征评估结果通过下式进行输出，公式为：
式中：UNI为焊接位置图像的角二阶矩；C为焊接位置图像尺寸；(i,j)为焊接位置图像中有序数对；
其中，i为图像中任意位置像素灰度值，j为i在求取时应用位置的偏离点的灰度值，则，通过i在求取时应用位置即可获得若干组(i,j)，将(i,j)应用到上述公式中，求取UNI，由各UNI组成集合，判定UNI组成集合是否处于判定阈值内，判定结果为是，则表示工件焊接安全，反之，则不安全。
更进一步地，所述储存模块通过介质电性连接有构建模块及设定模块，所述设定模块通过介质电性连接有接收模块，所述接收模块通过介质电性连接有捕捉模块及机械臂模组，所述机械臂模组通过介质电性连接有识别模块，所述识别模块通过介质电性连接有判定模块。
第二方面，基于工业互联网的联网设备数据分析及评估方法，包括以下步骤：
步骤1：采集产品规格参数及工件规格参数，构建产品模型及工件模型；
步骤11：产品模型与工件模型的储存阶段；
步骤2：接收产品模型及工件模型，分析产品模型与工件模型的基于任意视角的相似度；
步骤3：获取分析结果中相似度最高的产品模型与工件模型分析视角；
步骤31：在工件模型设定拾取面，应用机械臂模组通过工件模型上设定拾取面对工件表面对应面进行抓取；
步骤4：接收S3中获取的视角，于工件模型上获取视角对应面的相对面，进一步获取工件上工件模型相对面的对应面；
步骤5：应用机械臂模组在抓取工件后，以S4中获取的对应面作为贴近面控制工件向安装板面移动；
步骤51：在工件贴近安装板面过程中，进一步应用机械臂模组对抓取工件进行姿态协调；
步骤6：焊接设备自动寻缝焊接阶段；
步骤61：焊接位置图像采集；
其中，焊接位置图像采集阶段，同步基于采集图像，对焊接设备的焊接误差进行求取，焊接误差表示公式为：
式中：λcoord为以坐标表示的误差求取应用图像范围，λcoord取值为5；S2为应用图像范围包含像素单元数量数；B为应用图像范围边界框关联像素数量；为应用图像范围边界框关联像素属于焊接设备图像的概率；(xi、yi)为图像中心坐标；/>为应用图像范围中心坐标到图像中心坐标的距离；xi、hi为图像宽、高；/>为应用图像范围的宽、高；
步骤7：焊接位置的焊接效果安全评估。
采用本发明提供的技术方案，与已知的公有技术相比，具有如下
有益效果：
1、本发明提供一种基于工业互联网的联网设备数据分析及评估***，该***在运行过程中，通过产品及工件的规格参数输入完成了产品及工件的模型构建，进一步的以产品模型作为工件与安装板面焊接所用的参照，智能化的实现焊接工件的目标抓取、校正，从而以此进一步服务于自动寻缝焊接设备，使得产品的焊接操作过程，完全机械智能化，基于此，进一步降低产品焊接过程中所使用的人力资源，提高生产效率，缩减生产成本。
2、本发明中***在运行过程中，在提供焊接设备运行指令前，能够对控制贴合的工件及安装板面进行精度较高的相似度判定，确保工件与安装板面能够按照产品的指定形态相贴拼接，进而以此使得焊接设备的焊接操作更加可靠，由该***服务焊接设备所焊接得到的成品品质更佳。
3、本发明中***在运行过程中，于***运行结束阶段，进一步为焊接设备完成的焊接位置带来了安全评估功能，从而以此使***功能性更加全面，使焊接设备的最终制得的成品综合品质更加，且对残次产品提供了分拣了条件。
4、本发明提供一种基于工业互联网的联网设备数据分析及评估方法，通过该方法中的步骤执行，能够进一步维护***运行的稳定，且在该方法的步骤执行过程中，进一步细化了***运行逻辑，以便于该方法在具体实施阶段，实施用户能够更加快捷知悉***运行逻辑，达到降低***操作难度的效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为基于工业互联网的联网设备数据分析及评估***的结构示意图；
图2为基于工业互联网的联网设备数据分析及评估方法的流程示意图；
图3为本发明在进行连续相似度求取时应用的比对窗口展示示意图；
图4为本发明中***中搁置状态协调操作逻辑示意图；
图5为本发明中呈现技术方案所要达到技术效果概念示意图；
图中的标号分别代表：1、产品图像；2、安装板面图像；3、工件图像；4、相似度比对窗口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合实施例对本发明作进一步的描述。
实施例一
本实施例的基于工业互联网的联网设备数据分析及评估***，如图1所示，包括采集层、控制层及检测层；
产品规格参数及工件规格参数通过采集层输入，采集层基于产品规格参数及工件规格参数构建产品模型及工件模型，进一步分析产品模型与工件模型的相似性，控制层同步接收产品模型及工件模型，同步基于两组模型相似性控制工件模型进行搁置状态协调，并在协调后由焊接设备执行焊接操作，检测层后置运行捕捉焊接位置图像，进一步基于焊接位置图像对焊缝进行安全评估；
控制层包括接收模块、捕捉模块及机械臂模组，接收模块用于接收采集层中设定的拾取面及模型图像相似度比对结果，捕捉模块用于捕捉最佳模型图像相似度比对结果中工件模型对应图像的模型上相对面，机械臂模组用于获取接收模块中接收的拾取面，基于拾取面由机械臂模组对焊接设备上传输的工件进行抓取，并接收捕捉模块中捕捉到的相对面，以相对面对于工件上的对应面作为接触面控制机械臂模组抓取工件向产品安装板面移动，进一步完成搁置状态协调；
机械臂模组在对抓取工件进行搁置状态协调阶段，进一步捕捉工件与安装板面接触面垂直方向视角的图像，应用安装板面相对工件的视角在产品模型上采集相同视角的图像，对两组图像进行连续的相似度比对；
连续相似度比对逻辑为包括：
I：
II：
式中：LTSSncc第一次相似度比对结果、LTSSncc′第二次相似度比对结果；hp(k)、hq(k)分别为以p、q为中心点的窗口内LTSS描述符；均为特征描述符均值；n为窗口的集合；LTSSncc1、LTSSncc2、LTSSncc3、LTSSncc4为四组窗口的相似度；
机械臂模组在对抓取工件进行搁置状态协调时，持续捕捉工件与安装板面接触面垂直方向视角的图像，并基于连续相似度比对逻辑对机械臂模组抓取的工件搁置状态进行监测，直至LTSSncc′≥LTSSncc时，机械臂模组停止运行，焊接设备对工件及安装面板进行寻缝焊接，***进一步跳转检测层运行；
其中，对于抓取工件的搁置状态协调包括：抓取工件旋转控制；产品由安装板面及工件组成，工件根据指定位置及姿态焊接于安装板面上，组成产品成品；
采集层包括储存模块、构建模块及标记模块，储存模块用于接收产品规格参数及工件规格参数，对产品规格参数及工件规格参数进行区分储存，构建模块用于获取产品规格参数及工件规格参数，通过产品规格参数及工件规格参数构建产品模型的工件模型，设定模块用于设定工件在焊接时，焊接设备的拾取面；
其中，构建模块在构建工件模型及产品模型后，进一步对两组模型上任意视角的图像进行采集，并基于采集的工件图像及产品图像进行相似度比对，对相似度最高的两组图像进行捕捉，同步获取两组图像的来源视角，并对获取到的来源视角进行储存；
检测层包括识别模块及判定模块，识别模块用于捕捉焊接位置图像，对焊接位置图像进行纹理特征评估，判定模块用于设定判定阈值，基于判定阈值判定焊接位置图像纹理特征是否安全；
其中，识别模块捕捉焊接位置图像阶段，焊接位置图像捕捉有若干组，若干组焊接位置图像包括焊接设备对于工件及安装面板的所有焊接路径；
焊接位置图像的纹理特征评估结果通过下式进行输出，公式为：
式中：UNI为焊接位置图像的角二阶矩；C为焊接位置图像尺寸；(i,j)为焊接位置图像中有序数对；
其中，i为图像中任意位置像素灰度值，j为i在求取时应用位置的偏离点的灰度值，则，通过i在求取时应用位置即可获得若干组(i,j)，将(i,j)应用到上述公式中，求取UNI，由各UNI组成集合，判定UNI组成集合是否处于判定阈值内，判定结果为是，则表示工件焊接安全，反之，则不安全；
储存模块通过介质电性连接有构建模块及设定模块，设定模块通过介质电性连接有接收模块，接收模块通过介质电性连接有捕捉模块及机械臂模组，机械臂模组通过介质电性连接有识别模块，识别模块通过介质电性连接有判定模块。
在本实施例中，储存模块运行接收产品规格参数及工件规格参数，对产品规格参数及工件规格参数进行区分储存，构建模块同步获取产品规格参数及工件规格参数，通过产品规格参数及工件规格参数构建产品模型的工件模型，设定模块后置运行设定工件在焊接时，焊接设备的拾取面，再由接收模块接收采集层中设定的拾取面及模型图像相似度比对结果，捕捉模块运行捕捉最佳模型图像相似度比对结果中工件模型对应图像的模型上相对面，机械臂模组实时运行获取接收模块中接收的拾取面，基于拾取面由机械臂模组对焊接设备上传输的工件进行抓取，并接收捕捉模块中捕捉到的相对面，以相对面对于工件上的对应面作为接触面控制机械臂模组抓取工件向产品安装板面移动，进一步完成搁置状态协调，最后识别模块运行捕捉焊接位置图像，对焊接位置图像进行纹理特征评估，判定模块同步设定判定阈值，基于判定阈值判定焊接位置图像纹理特征是否安全。
通过上述记载的连续相似度比对逻辑公式，为工件与安装板面在相贴拼接时，提供了必要的数据支持，确保工件与安装板面相贴拼接准确，并通过对焊接设备焊接后的图像采集，及进一步的采集图像纹理特征评估来判定工件与安装板面焊接成品是否安全，进一步为产品的合格判定提供了必要的数据支持；
参见图3所示，图中标号示出了产品图像1、安装板面图像2、工件图像3及相似度比对窗口4，由该图可以表示连续相似度比对逻辑在执行时II式中所用到的图像窗口；
参见图4所示，图中示出了工件与安装板面的正确拼接与错误拼接状态，由于二者为独立个体，且采用拼接的方式提供以焊接设备操作条件，因而在焊接的相似度分析，不仅要考虑到相似性，还要考虑到图像的一致性，由该图也可解释机械臂模组对抓取工件进行搁置状态协调阶段；
参见图5所示，图中以A、B、C表示工件，D表示安装板面，三组工件在焊接前呈自由散状搁置，在与安装板面焊接阶段，由该***完成了协调及相贴拼接，进而完成焊接，已组成由A、B、C、D所组成的E。
实施例2
在具体实施层面，在实施例1的基础上，本实施例参照图1对实施例1中基于工业互联网的联网设备数据分析及评估***做进一步具体说明：
构建模块对模型进行任意视角的图像进行采集时，采集的图像包含对应模型上任意位置的形态，设定模块在设定拾取面时，构建模块中捕捉到的相似度最高的两组图像对应来源视角，相对方向的模型面不作为拾取面可设定目标；
其中，工件图像及产品图像的相似度通过下式进行求取，公式为：
式中：d(x,y)为图像x、y的距离；nx、ny为图像x、y的特征向量集合；xi、yi为图像x、y的两组相似度比对窗口i、j，d(x,y)越小，则表示图像x、y的相似度越高，反之，则越低。
通过上述公式计算，为***中工件图像及产品图像的匹配阶段相似度进行了计算，进而使***在设定工件拾取面时，更具逻辑性，保障了***的稳定运行。
如图1所示，设定模块在设定拾取面时，对排除面以外的模型上各面进行平面大小识别，应用最大的一组平面所在的模型上表面作为拾取面。
通过上述设置，为***在对工件进行拾取面的选择时带来了更进一步的限定，确保***拾取的工件上拾取面能够被机械臂模组更好的抓取。
如图1所示，LTSSncc1、LTSSncc2、LTSSncc3、LTSSncc4分别来源于图像的左上、左下、右上、右下位置，且LTSSncc1、LTSSncc2、LTSSncc3、LTSSncc4的窗口大小相等。
通过上述设置，能够提供以II式在执行计算时具备有效且精准的数据支持。
如图1所示，机械臂模组对抓取工件进行搁置状态协调时，协调直径为1cm、协调精度上限为1mm。
通过上述设置，为机械臂模组在对抓取工件进行搁置状态协调时带来更进一步的协调逻辑，以便于通过该***控制的机械臂模组能够更加高效的对工件与安装板面完成相贴拼接。
实施例3
在具体实施层面，在实施例1的基础上，本实施例参照图2对实施例1中基于工业互联网的联网设备数据分析及评估***做进一步具体说明：
基于工业互联网的联网设备数据分析及评估方法，包括以下步骤：
步骤1：采集产品规格参数及工件规格参数，构建产品模型及工件模型；
步骤11：产品模型与工件模型的储存阶段；
步骤2：接收产品模型及工件模型，分析产品模型与工件模型的基于任意视角的相似度；
步骤3：获取分析结果中相似度最高的产品模型与工件模型分析视角；
步骤31：在工件模型设定拾取面，应用机械臂模组通过工件模型上设定拾取面对工件表面对应面进行抓取；
步骤4：接收S3中获取的视角，于工件模型上获取视角对应面的相对面，进一步获取工件上工件模型相对面的对应面；
步骤5：应用机械臂模组在抓取工件后，以S4中获取的对应面作为贴近面控制工件向安装板面移动；
步骤51：在工件贴近安装板面过程中，进一步应用机械臂模组对抓取工件进行姿态协调；
步骤6：焊接设备自动寻缝焊接阶段；
步骤61：焊接位置图像采集；
其中，焊接位置图像采集阶段，同步基于采集图像，对焊接设备的焊接误差进行求取，焊接误差表示公式为：
式中：λcoord为以坐标表示的误差求取应用图像范围，λcoord取值为5；S2为应用图像范围包含像素单元数量数；B为应用图像范围边界框关联像素数量；为应用图像范围边界框关联像素属于焊接设备图像的概率；(xi、yi)为图像中心坐标；/>为应用图像范围中心坐标到图像中心坐标的距离；xi、hi为图像宽、高；/>为应用图像范围的宽、高；
步骤7：焊接位置的焊接效果安全评估。
通过上述方法中记载公式能够提供以用户端对焊接设备进行校正调试的依据。
综上而言，上述实施例中***通过产品及工件的规格参数输入完成了产品及工件的模型构建，进一步的以产品模型作为工件与安装板面焊接所用的参照，智能化的实现焊接工件的目标抓取、校正，从而以此进一步服务于自动寻缝焊接设备，使得产品的焊接操作过程，完全机械智能化，基于此，进一步降低产品焊接过程中所使用的人力资源，提高生产效率，缩减生产成本；且该***在运行过程中，在提供焊接设备运行指令前，能够对控制贴合的工件及安装板面进行精度较高的相似度判定，确保工件与安装板面能够按照产品的指定形态相贴拼接，进而以此使得焊接设备的焊接操作更加可靠，由该***服务焊接设备所焊接得到的成品品质更佳；此外，本***在运行过程中，于***运行结束阶段，进一步为焊接设备完成的焊接位置带来了安全评估功能，从而以此使***功能性更加全面，使焊接设备的最终制得的成品综合品质更佳，且对残次产品提供了分拣了条件；同时，实施例中提供的方法能够进一步维护***运行的稳定，且在该方法的步骤执行过程中，进一步细化了***运行逻辑，以便于该方法在具体实施阶段，实施用户能够更加快捷知悉***运行逻辑，达到降低***操作难度的效果。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.基于工业互联网的联网设备数据分析及评估***，其特征在于，包括采集层、控制层及检测层；
产品规格参数及工件规格参数通过采集层输入，采集层基于产品规格参数及工件规格参数构建产品模型及工件模型，进一步分析产品模型与工件模型的相似性，控制层同步接收产品模型及工件模型，同步基于两组模型相似性控制工件模型进行搁置状态协调，并在协调后由焊接设备执行焊接操作，检测层后置运行捕捉焊接位置图像，进一步基于焊接位置图像对焊缝进行安全评估；
控制层包括接收模块、捕捉模块及机械臂模组，接收模块用于接收采集层中设定的拾取面及模型图像相似度比对结果，捕捉模块用于捕捉最佳模型图像相似度比对结果中工件模型对应图像的模型上相对面，机械臂模组用于获取接收模块中接收的拾取面，基于拾取面由机械臂模组对焊接设备上传输的工件进行抓取，并接收捕捉模块中捕捉到的相对面，以相对面对于工件上的对应面作为接触面控制机械臂模组抓取工件向产品安装板面移动，进一步完成搁置状态协调；
所述机械臂模组在对抓取工件进行搁置状态协调阶段，进一步捕捉工件与安装板面接触面垂直方向视角的图像，应用安装板面相对工件的视角在产品模型上采集相同视角的图像，对两组图像进行连续的相似度比对；
连续相似度比对逻辑为包括：
I：
II：
式中：LTSSncc第一次相似度比对结果、LTSSncc′第二次相似度比对结果；hp(k)、hq(k)分别为以p、q为中心点的窗口内LTSS描述符；均为特征描述符均值；n为窗口的集合；LTSSncc1、LTSSncc2、LTSSncc3、LTSSncc4为四组窗口的相似度；
机械臂模组在对抓取工件进行搁置状态协调时，持续捕捉工件与安装板面接触面垂直方向视角的图像，并基于连续相似度比对逻辑对机械臂模组抓取的工件搁置状态进行监测，直至LTSSncc′≥LTSSncc时，机械臂模组停止运行，焊接设备对工件及安装面板进行寻缝焊接，***进一步跳转检测层运行；
其中，对于抓取工件的搁置状态协调包括：抓取工件旋转控制；所述产品由安装板面及工件组成，工件根据指定位置及姿态焊接于安装板面上，组成产品成品；
所述检测层包括识别模块及判定模块，识别模块用于捕捉焊接位置图像，对焊接位置图像进行纹理特征评估，判定模块用于设定判定阈值，基于判定阈值判定焊接位置图像纹理特征是否安全；
其中，识别模块捕捉焊接位置图像阶段，焊接位置图像捕捉有若干组，若干组焊接位置图像包括焊接设备对于工件及安装面板的所有焊接路径；
所述焊接位置图像的纹理特征评估结果通过下式进行输出，公式为：
式中：UNI为焊接位置图像的角二阶矩；C为焊接位置图像尺寸；(i,j)为焊接位置图像中有序数对；
其中，i为图像中任意位置像素灰度值，j为i在求取时应用位置的偏离点的灰度值，则，通过i在求取时应用位置即可获得若干组(i,j)，将(i,j)应用到上述公式中，求取UNI，由各UNI组成集合，判定UNI组成集合是否处于判定阈值内，判定结果为是，则表示工件焊接安全，反之，则不安全。
2.根据权利要求1所述的基于工业互联网的联网设备数据分析及评估***，其特征在于，采集层包括储存模块、构建模块及标记模块，储存模块用于接收产品规格参数及工件规格参数，对产品规格参数及工件规格参数进行区分储存，构建模块用于获取产品规格参数及工件规格参数，通过产品规格参数及工件规格参数构建产品模型的工件模型，设定模块用于设定工件在焊接时，焊接设备的拾取面；
其中，所述构建模块在构建工件模型及产品模型后，进一步对两组模型上任意视角的图像进行采集，并基于采集的工件图像及产品图像进行相似度比对，对相似度最高的两组图像进行捕捉，同步获取两组图像的来源视角，并对获取到的来源视角进行储存。
3.根据权利要求2所述的基于工业互联网的联网设备数据分析及评估***，其特征在于，所述构建模块对模型进行任意视角的图像进行采集时，采集的图像包含对应模型上任意位置的形态，所述设定模块在设定拾取面时，构建模块中捕捉到的相似度最高的两组图像对应来源视角，相对方向的模型面不作为拾取面可设定目标；
其中，工件图像及产品图像的相似度通过下式进行求取，公式为：
式中：d(x,y)为图像x、y的距离；nx、ny为图像x、y的特征向量集合；xi、yi为图像x、y的两组相似度比对窗口i、j，d(x,y)越小，则表示图像x、y的相似度越高，反之，则越低。
4.根据权利要求2或3所述的基于工业互联网的联网设备数据分析及评估***，其特征在于，所述设定模块在设定拾取面时，对排除面以外的模型上各面进行平面大小识别，应用最大的一组平面所在的模型上表面作为拾取面。
5.根据权利要求1所述的基于工业互联网的联网设备数据分析及评估***，其特征在于，所述LTSSncc1、LTSSncc2、LTSSncc3、LTSSncc4分别来源于图像的左上、左下、右上、右下位置，且LTSSncc1、LTSSncc2、LTSSncc3、LTSSncc4的窗口大小相等。
6.根据权利要求2所述的基于工业互联网的联网设备数据分析及评估***，其特征在于，所述机械臂模组对抓取工件进行搁置状态协调时，协调直径为1cm、协调精度上限为1mm。
7.根据权利要求2所述的基于工业互联网的联网设备数据分析及评估***，其特征在于，所述储存模块通过介质电性连接有构建模块及设定模块，所述设定模块通过介质电性连接有接收模块，所述接收模块通过介质电性连接有捕捉模块及机械臂模组，所述机械臂模组通过介质电性连接有识别模块，所述识别模块通过介质电性连接有判定模块。
8.基于工业互联网的联网设备数据分析及评估方法，所述方法是对如权利要求1-7中任意一项所述基于工业互联网的联网设备数据分析及评估***的实施方法，其特征在于，包括以下步骤：
步骤1：采集产品规格参数及工件规格参数，构建产品模型及工件模型；
步骤11：产品模型与工件模型的储存阶段；
步骤2：接收产品模型及工件模型，分析产品模型与工件模型的基于任意视角的相似度；
步骤3：获取分析结果中相似度最高的产品模型与工件模型分析视角；
步骤31：在工件模型设定拾取面，应用机械臂模组通过工件模型上设定拾取面对工件表面对应面进行抓取；
步骤4：接收S3中获取的视角，于工件模型上获取视角对应面的相对面，进一步获取工件上工件模型相对面的对应面；
步骤5：应用机械臂模组在抓取工件后，以S4中获取的对应面作为贴近面控制工件向安装板面移动；
步骤51：在工件贴近安装板面过程中，进一步应用机械臂模组对抓取工件进行姿态协调；
步骤6：焊接设备自动寻缝焊接阶段；
步骤61：焊接位置图像采集；
其中，焊接位置图像采集阶段，同步基于采集图像，对焊接设备的焊接误差进行求取，焊接误差表示公式为：
式中：λcoord为以坐标表示的误差求取应用图像范围，λcoord取值为5；S2为应用图像范围包含像素单元数量数；B为应用图像范围边界框关联像素数量；为应用图像范围边界框关联像素属于焊接设备图像的概率；(xi、yi)为图像中心坐标；/>为应用图像范围中心坐标到图像中心坐标的距离；xi、hi为图像宽、高；/>为应用图像范围的宽、高；
步骤7：焊接位置的焊接效果安全评估。
CN202311059220.7A 2023-08-22 2023-08-22 基于工业互联网的联网设备数据分析及评估***、方法 Active CN117086519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311059220.7A CN117086519B (zh) 2023-08-22 2023-08-22 基于工业互联网的联网设备数据分析及评估***、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311059220.7A CN117086519B (zh) 2023-08-22 2023-08-22 基于工业互联网的联网设备数据分析及评估***、方法

Publications (2)

Publication Number Publication Date
CN117086519A CN117086519A (zh) 2023-11-21
CN117086519B true CN117086519B (zh) 2024-04-12

Family

ID=88782949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311059220.7A Active CN117086519B (zh) 2023-08-22 2023-08-22 基于工业互联网的联网设备数据分析及评估***、方法

Country Status (1)

Country Link
CN (1) CN117086519B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015120734A1 (zh) * 2014-02-17 2015-08-20 华南理工大学 基于机器视觉的焊接轨迹校正专用测试装置及方法
CN108637435A (zh) * 2018-05-16 2018-10-12 华南理工大学 一种基于视觉与弧压传感的三维焊缝跟踪***及方法
WO2020020113A1 (zh) * 2018-07-25 2020-01-30 同高先进制造科技（太仓）有限公司 一种主动激光视觉焊缝跟踪***及焊缝位置检测方法
WO2021174697A1 (zh) * 2020-03-06 2021-09-10 平安科技（深圳）有限公司 人体姿态评估方法、装置、计算机设备及存储介质
CN114167830A (zh) * 2021-12-14 2022-03-11 中国计量大学 基于机器视觉与边缘智能的焊接过程监测及质量诊断方法
CN115070298A (zh) * 2022-07-20 2022-09-20 神华准格尔能源有限责任公司 一种高效双丝焊接路径生成***及路径生成方法
CN115290001A (zh) * 2022-10-09 2022-11-04 江门健维自动化设备有限公司 一种产品测试方法及***
CN115526431A (zh) * 2022-11-03 2022-12-27 深圳市计通智能技术有限公司 基于工业互联网的数据分析方法及相关装置
CN115903669A (zh) * 2022-11-11 2023-04-04 广东理工学院 一种高稳定性智能机械制造用***
CN116184915A (zh) * 2023-04-24 2023-05-30 长通智能(深圳)有限公司 一种工业互联网设备运行状态监控方法及***

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015120734A1 (zh) * 2014-02-17 2015-08-20 华南理工大学 基于机器视觉的焊接轨迹校正专用测试装置及方法
CN108637435A (zh) * 2018-05-16 2018-10-12 华南理工大学 一种基于视觉与弧压传感的三维焊缝跟踪***及方法
WO2020020113A1 (zh) * 2018-07-25 2020-01-30 同高先进制造科技（太仓）有限公司 一种主动激光视觉焊缝跟踪***及焊缝位置检测方法
WO2021174697A1 (zh) * 2020-03-06 2021-09-10 平安科技（深圳）有限公司 人体姿态评估方法、装置、计算机设备及存储介质
CN114167830A (zh) * 2021-12-14 2022-03-11 中国计量大学 基于机器视觉与边缘智能的焊接过程监测及质量诊断方法
CN115070298A (zh) * 2022-07-20 2022-09-20 神华准格尔能源有限责任公司 一种高效双丝焊接路径生成***及路径生成方法
CN115290001A (zh) * 2022-10-09 2022-11-04 江门健维自动化设备有限公司 一种产品测试方法及***
CN115526431A (zh) * 2022-11-03 2022-12-27 深圳市计通智能技术有限公司 基于工业互联网的数据分析方法及相关装置
CN115903669A (zh) * 2022-11-11 2023-04-04 广东理工学院 一种高稳定性智能机械制造用***
CN116184915A (zh) * 2023-04-24 2023-05-30 长通智能(深圳)有限公司 一种工业互联网设备运行状态监控方法及***

Also Published As

Publication number Publication date
CN117086519A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
WO2015120734A1 (zh) 基于机器视觉的焊接轨迹校正专用测试装置及方法
CN113146172B (zh) 一种基于多视觉的检测与装配***及方法
CN113643280B (zh) 一种基于计算机视觉的板材分拣***及方法
CN103759648A (zh) 一种基于激光双目视觉的复杂角焊缝位置检测方法
CN114571153A (zh) 一种基于3d点云的焊缝识别与机器人焊缝跟踪方法
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
CN111645111A (zh) 一种基于工业机器人的智能制造***及方法
CN113689509A (zh) 基于双目视觉的无序抓取方法、***及存储介质
CN115131268A (zh) 一种基于图像特征提取与三维模型匹配的自动化焊接***
CN113369761A (zh) 一种基于视觉引导机器人焊缝定位的方法及***
CN114581368B (zh) 一种基于双目视觉的棒材焊牌方法及装置
CN113469991B (zh) 一种锂电池极耳激光焊点视觉在线检测方法
Geng et al. A method of welding path planning of steel mesh based on point cloud for welding robot
CN117086519B (zh) 基于工业互联网的联网设备数据分析及评估***、方法
CN117506931A (zh) 一种基于机器视觉的坡口切割路径规划及校正设备与方法
CN116909208B (zh) 基于人工智能的壳体加工路径优化方法及***
Xu et al. Industrial robot base assembly based on improved Hough transform of circle detection algorithm
CN112801959A (zh) 一种基于视觉特征识别的辅助装配***
CN116542914A (zh) 基于3d点云的焊缝提取与拟合方法
CN116475563A (zh) 一种深度学习三维焊缝跟踪方法及装置
CN206416179U (zh) 一种基于双目视觉的运动目标跟踪定位与抓取***
CN114663400A (zh) 一种基于视觉定位座椅坐垫的打钉控制方法及***
Qian et al. The autonomous detection of sheet metal parts using imageprocessing
CN116902559B (zh) 传送片状物的视觉定位矫正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: B202, Room 201, 2nd Floor, No.1 Wangjing East Road, Chaoyang District, Beijing, 100102

Applicant after: Jingmin Mathematical Technology (Beijing) Co.,Ltd.

Country or region after: China

Address before: Building 1-8, 8th Floor, No. 296 Jingxi Middle Road, Yicheng Street, Yixing City, Wuxi City, Jiangsu Province, 214200

Applicant before: Jiangsu Kailida Data Technology Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant