CN116718600B - 一种用于对线束产品进行智能化检测的检测装置 - Google Patents

一种用于对线束产品进行智能化检测的检测装置 Download PDF

Info

Publication number
CN116718600B
CN116718600B CN202310683214.2A CN202310683214A CN116718600B CN 116718600 B CN116718600 B CN 116718600B CN 202310683214 A CN202310683214 A CN 202310683214A CN 116718600 B CN116718600 B CN 116718600B
Authority
CN
China
Prior art keywords
detection
wire harness
image
product
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310683214.2A
Other languages
English (en)
Other versions
CN116718600A (zh
Inventor
肖东岳
张莉
李佳斌
吴广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yingkou Abe Harness Co ltd
Dalian Abe Wiring Co ltd
Original Assignee
Yingkou Abe Harness Co ltd
Dalian Abe Wiring Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yingkou Abe Harness Co ltd, Dalian Abe Wiring Co ltd filed Critical Yingkou Abe Harness Co ltd
Priority to CN202310683214.2A priority Critical patent/CN116718600B/zh
Publication of CN116718600A publication Critical patent/CN116718600A/zh
Application granted granted Critical
Publication of CN116718600B publication Critical patent/CN116718600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C3/00Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
    • G07C3/14Quality control systems
    • G07C3/143Finished product quality control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种用于对线束产品进行智能化检测的检测装置,包括:线束身份识别标签,其被设置在所述待测线束产品上,用于表征该待测线束产品的产品批号以及该线束产品在本产品批号中的编号;线束身份识别检测枪,用于对设置在待测线束产品上的线束身份识别标签进行身份识别,并将识别结果发送至检测台;检测台,其能够确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的操作进程,并基于所述操作进程对待测线束产品进行产品合格检测以及机械手;本发明不仅能够最大限度避免人工操作带来的漏检错检弊端,降低了对于操作员的经验要求,且能够及时发现和剔除接触不良断路、瞬断绝缘不良短路及装配错误误配线等不合格失效产品。

Description

一种用于对线束产品进行智能化检测的检测装置
技术领域
本发明涉及线束检测技术领域,尤其涉及一种线束产品的智能化检测***。
背景技术
线束(circuit group)的主要功能是把一系列的插接件、绝缘材料以及线路板等电子元件连接在一起,构成完整的连接线端,线束产品的应用涉及到当今人们日常工作生活的各个方面,如汽车、家电、计算机和其他电子产品的制造与使用多种场景中,因此线束的质量和可靠性也会间接影响上述产品的性能以及使用寿命,因此对其的检测评定的就显得尤为重要。
线束测试是对电路中连接各电器设备的接线部件以及绝缘包扎材料等进行测试,以找出可能的问题,因此保证线束的安全可靠地使用必须按产品标准在线束生产线上或用户使用前对其进行严格的工艺筛选和补充筛选,以便及时发现和剔除接触不良断路、瞬断绝缘不良短路及装配错误误配线等不合格失效产品,进而筛选出符合设计需求的线束产品进行应用。
但目前线束检测存在不仅速度慢、效率低、工人易疲劳,而其还十分容易造成错检和漏检的问题,究其主要原因则发现,其一是因为有许多单位在生产或使用时候,对于各个线束产品的多道检测过程所涉及的检测数据不能及时进行记录,且记录过程中也易存在错记、漏记的问题,其二是仍多需要人工进行检测,使用人工手段进行检测除了人工易疲劳还十分容易造成错检或漏检的固有问题外,还对人工的个人对于线束产品型号与检测需求提出较高要求,新人并不能快速准确确定该型号线束所需的检测工序以及对应的合格参数。
综上所述,现有检测技术准确率低,质量不可靠,成本高,无法满足线束大批量生产和检测的高效性、实时性需求。
发明内容
基于此,为解决现有技术所存在的不足,特提出了一种用于对线束产品进行智能化检测的检测装置。
一种用于对线束产品进行智能化检测的检测装置,其特征在于,包括:
线束身份识别标签,其被设置在所述待测线束产品上,用于表征该待测线束产品的产品批号以及该线束产品在本产品批号中的编号;所述产品批号包括产品编号总数A以及用户识别码;所述用户识别码包括:用户所需的线束型号基本测试信息以及线束使用环境测试信息;
线束身份识别检测枪,具有显示屏,用于对设置在待测线束产品上的线束身份识别标签进行身份识别,并将所获得的产品批号以及该线束产品在本产品批号中的编号发送至检测台;
检测台,其能够根据所获得的产品批号确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的操作进程,并基于所述操作进程对输送至检测区域的待测线束产品进行产品合格检测;
以及机械手,所述机械手受控于所述检测台,并在接到取件通知后将测试产品自检测台的检测区域拿起并放置至指定位置。
可选的,在其中一个实施例中,所述检测台包括工作台组件、图像采集单元、检测控制器以及显示单元;
所述工作台组件用于为待测线束产品提供进行产品合格检测的检测区域;
所述图像采集单元用于对进入检测区域的待测线束产品进行图像信息采样以获取待测线束产品的采样图像;
所述检测控制器用于根据所获得的产品批号确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的缺陷检测操作进程;同时所述检测控制器还能够基于所述检测数据包,为所述缺陷检测操作进程提供并行仿真检测环境并基于所述并行仿真检测环境对所述采样图像进行图像特征提取以及缺陷识别以完成产品合格检测过程,并输出检测结果至显示单元进行显示。
可选的,在其中一个实施例中,所述检测控制器包括:仿***控制器以及网络控制器;
所述仿***控制器用于根据所获得的产品批号确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的缺陷检测操作进程;同时基于各个并行仿真检测环境对所述采样图像进行图像特征提取以及缺陷识别以完成产品合格检测过程,并输出检测结果至显示单元进行显示;所述检测数据包具有检测数据类型列表,所述检测数据类型列表用于表征与待测线束产品相匹配的产品批号对应的检测项,每一检测项对应一个线束检测类型;
所述网络控制器用于基于所述检测数据包,为所述缺陷检测操作进程配置所需数量的并行的仿真检测环境,所述仿真检测环境的数量依据检测数据类型列表内包含的检测类型数量确定。
可选的,在其中一个实施例中,所述检测项包括但不限于线缆外观信息、线缆尺寸信息、接线信息,所述接线信息包括接线颜色信息以及插接件型号信息。
可选的,在其中一个实施例中,
所述仿***控制器设置图像处理策略,通过所述图像处理策略完成基于各个并行仿真检测环境对所述采样图像进行图像特征提取以及缺陷识别以完成产品合格检测过程,图像处理策略具体包括:
首先,对所述采样图像进行图像预处理;
其次,对预处理后的图像进行图像关键区域分割并形成多个关键区域分割图样,所述图像关键区域依据对应的检测项设定,所述图像关键区域包括线缆外观图像关键区域、单个线缆尺寸图像关键区域、接线颜色图像关键区域以及两端插接件图像关键区域;
再次,基于检测数据类型列表调用各自对应的仿真验证进程包,在各个仿真检测环境下对各关键区域分割图样并行进行图像特征提取以及缺陷识别;所述仿真验证进程包预置在仿***控制器的数据库内,并以检测数据类型列表内的线束检测类型作为调用查询条件。
可选的,在其中一个实施例中,所述检测数据类型列表还包括环境测试项,所述环境测试项包括但不限于线束耐温测试项、线束耐湿测试项以及线束耐振动测试项。
可选的,在其中一个实施例中,所述仿***控制器的数据库预置环境测试项仿真验证进程包,以在网络控制器所配置的仿真检测环境下对待测线束产品进行环境测试仿真并给出评价结果。
可选的,在其中一个实施例中,所述检测项对应的仿真验证进程包具有第一顺位执行权限,所述环境测试项仿真验证进程包具有第二顺位执行权限,即仿***控制器在完成采样图像进行图像特征提取以及缺陷识别后开始执行环境测试项仿真验证进程。
可选的,在其中一个实施例中,所述线束身份识别标签为二维码标签形式。
实施本发明实施例,将具有如下有益效果:
本发明不仅能够最大限度避免人工操作带来的漏检错检弊端,降低了对于操作员的经验要求,及时发现和剔除接触不良断路、瞬断绝缘不良短路及装配错误误配线等不合格失效产品。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本发明对应的模块结构框架图;
图2为本发明所述检测台对应的一个实施例结构框架图;
图3为本发明所述检测台的具体操作执行分布图;
图中:1、送线皮带组;2、光电传感器;3、光源;4、工业相机的摄像头;5、检测控制器;6、工控机;7、显示单元;8、良品放置区;9、机械手。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本发明。可以理解,本发明所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一元件称为第二元件,且类似地,可将第二元件为第一元件。第一元件和第二元件两者都是元件,但其不是同一元件。
近年来,国外相继研制出多种新型的线束检测仪,配上相应的检测工装,能够满足线束检测的基本使用需求,但是此类产品共同存在一个弊端,对于线束产品的检测仅仅是基于现有产品进行基础检测,且人工参与度高,难免存在前述背景技术所描述的问题,因此需要设计一款新型的智能化的检测***。
在本实施例中,如图1-图3,特提出了一种用于对线束产品进行智能化检测的检测装置,该智能化检测装置,其特征在于,包括:
线束身份识别标签,其被设置在所述待测线束产品上,用于表征该待测线束产品的产品批号以及该线束产品在本产品批号中的编号;所述产品批号包括产品编号总数A以及用户识别码;所述用户识别码包括:用户所需的线束型号基本测试信息,依据使用测试需求也可以添加线束使用环境测试信息;
线束身份识别检测枪,具有显示屏以实时显示识别信息,其设置在检测员侧(也可以设置在检测台进料端侧形成入口处的扫描枪以进行自动扫描),用于对设置在待测线束产品上的线束身份识别标签进行身份识别,并将所获得的产品批号以及该线束产品在本产品批号中的编号发送至检测台;
检测台,其能够根据所获得的产品批号确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的操作进程,并基于所述操作进程对输送至检测区域的待测线束产品进行产品合格检测;
以及机械手9,所述机械手9受控于所述检测台,并在接到取件通知后将测试产品自检测台的检测区域拿起并放置至指定位置。
基于上述技术内容可知,本案所述的***首先为待测线束产品配置了线束身份识别标签来描述其对应的用户产品测试需求,检测台以线束身份识别标签所记载的信息来形成本次测试相关进程以及测试信息,将机器作为主动信息发布主体,人工参与变为被动执行主体,排除了人工参与的弊端(如遗漏问题以及经验需求问题);其次,除了常规测试步骤外,所述的***还通过设置线并行的仿真验证进程进行多个检测项的并行同步缺陷检测过程,提交了检测效率以及检测精度。最后通知机械手执行取件操作,实现全自动化测试过程。
其中,在一些具体的实施例中,所述线束身份识别标签,其被设置在所述待测线束产品上,用于表征该待测线束产品的产品批号以及该线束产品在本产品批号中的编号;优选的,所述线束身份识别标签为二维码标签形式,以二维码标签形式为每件产品赋予的身份识别码,实现"一物一码”相对应,每一件产品都可以通过编码软件为其赋予唯一的身份信息以表征用户所需的测试需求,同时在检测完成后也可以随时进行二次验证或者复核,有效防止窜货的可能性。可选的,所述线束身份识别标签也可为条形码标签形式。
在更具体的实施例中,所述二维码标签记载该待测线束产品的产品批号以及该线束产品在本产品批号中的编号I(I&1100),所述产品批号包括产品编号总数A(这一批次总计检测100个产品)以及用户识别码(9501234);如所述用户识别码为***内为某一用户B公司生产的汽车线束产品--主电源线用线束所对应的本批次的编码信息,以该编码信息为身份辨识符号,后台所配置的线束型号线束型号基本测试信息(和或线束使用环境测试信息)均以此码为标识进行调用提取以及记录,即9501234实际代表了用户名称B公司、线束用途-主电源线用线束代码、用户所需的线束型号基本测试信息代码、线束使用环境测试信息代码等,所述包括但不限于单根线缆外观信息(如有无破损、有无污渍)、单根线缆尺寸信息(如主电源线用线束对应的型号即电线规格-标称截面等)、线缆总数、接线信息;优选的,所述接线信息包括接线颜色信息(如黑色专用于搭铁线,红色用于电源线,通过颜色初步判断是否存在错接问题)以及插接件型号信息(按照该用户识别码对应的线束用途确定安装的插接件是否存在错装问题,如用于线束与线束之间连接则需要保证插接件采用联插件相接,线束与电气件之间的连接用联插件或线耳);
其中,在一些具体的实施例中,所述线束身份识别检测枪其设置在检测员侧,具有彩色显示屏,通过该线束身份识别检测枪对设置在待测线束产品上的线束身份识别标签进行身份识别,并将所获得的产品批号以及该线束产品在本产品批号中的编号(配置编号能够更好的自动统计检测进度以及统计产品合格率等)发送至云台服务器(与检测控制器进行实时通讯)以便于云台服务器进行后续分析统计操作。在更具体的实施例中,所述线束身份识别检测枪预置二维码及条形码智能检测软件,以对线束身份识别标签进行精确识别、记录并显示检测结果,同时还可以进行登录注册管理,便于识别当前进行检测操作的检测员身份;并将每次检测的结果记录在表格中。
其中,在一些具体的实施例中,所述检测台主要包括硬件模组以及软件***设计,其中硬件模组主要负责采集图像,软件***搭载于高性能控制芯片上,主要负责图像处理,两者互相配合,协同完成缺陷视觉检测任务,即所述检测台主要功能是图像获取、图像处理和良品不良品分类三个基础功能,图3所示,图像获取由图像采集单元获取被测图像,图像处理由检测控制器的多个并行运算的具体处理模型获取检测图像特征,以判断产品是否合格;良品不良品分类由机械手完成分拣操作。
具体的:
所述检测台包括工作台组件、图像采集单元、检测控制器以及显示单元;
所述工作台组件用于为待测线束产品提供进行产品合格检测的检测区域;
所述图像采集单元用于对进入检测区域的待测线束产品进行图像信息采样以获取待测线束产品的采样图像;
所述检测控制器用于根据所获得的产品批号确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的缺陷检测操作进程;同时所述检测控制器还能够基于所述检测数据包,为所述缺陷检测操作进程提供并行仿真检测环境并基于所述并行仿真检测环境对所述采样图像进行图像特征提取以及缺陷识别以完成产品合格检测过程,并输出检测结果至显示单元7进行显示。
在一些具体的实施例中,工作台组件包括送线皮带组1、工作台;所述送线皮带组1设置若干送线皮带以将各个该待测线束产品逐一送至检测区域;所述工作台设置3个区域,主要包括检测区域、良品区域即良品放置区8以及次品区域,并由机械手9完成选品操作。
在一些具体的实施例中,图像采集单元包括光源3以及工业相机;其中所述工业相机的摄像头4可选用微距放大拍摄的300万像素相机清晰成像,其自动识别时间<0.5S。同时可以设置语音报警模块进行语音自动报告识别结果。为将待测线束的线缆边缘、边界、瑕疵等关键特征突显,所述光源采用环形光源灯带以尽量避免因为光线分布不均,对图像采样所造成的噪声影响,这是由于环形光源的优点是性能稳定,使用寿命长,使用环形光源照射被测物体可以避免照射区域出现暗影,可以更好的凸显成像特征,而且搭配合适的配色板可以使成像均匀柔和。
优选的,还可以利用光电传感器2对待测线束产品是否达到指定的检测区域进行精确感知,如电传感器检测到待测线束产品到达预设位置后,将达到工位信息发送给工业相机的相机控制器,相机控制器形成控制信号,控制摄像头获取待测线束产品图像。
在一些具体的实施例中,所述检测控制器5包括:仿***控制器以及网络控制器;
所述仿***控制器用于根据所获得的产品批号确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的缺陷检测操作进程;同时基于各个并行仿真检测环境对所述采样图像进行图像特征提取以及缺陷识别以完成产品合格检测过程,并输出检测结果至显示单元进行显示;所述检测数据包具有检测数据类型列表,所述检测数据类型列表用于表征与待测线束产品相匹配的产品批号对应的检测项,每一检测项对应一个线束检测类型;所述检测项包括但不限于线缆外观信息、线缆尺寸信息、接线信息,所述接线信息包括接线颜色信息以及插接件型号信息;
所述网络控制器用于基于所述检测数据包,为所述缺陷检测操作进程配置所需数量的并行的仿真检测环境,所述仿真检测环境的数量依据检测数据类型列表内包含的检测类型数量确定。
基于上述方案,所述仿***控制器应设置图像处理策略,通过所述图像处理策略完成基于各个并行仿真检测环境对所述采样图像进行图像特征提取以及缺陷识别以完成产品合格检测过程,图像处理策略具体包括:
首先,对所述采样图像进行图像预处理;由于工业环境和图像传输等外界环境因素影响,采集的图像难免存在噪声干扰,需要进行图像预处理如滤波处理(图像中值滤波)以减少干扰并突出图像特征,以便于更好的获取各个关键区域的边缘信息进行边缘分割,使目标边缘轮廓更突出。
其次,对预处理后的图像进行图像关键区域分割并形成多个关键区域分割图样,所述图像关键区域依据对应的检测项设定,所述图像关键区域包括线缆外观图像关键区域、单个线缆尺寸图像关键区域、接线颜色图像关键区域以及两端插接件图像关键区域;优先的,针对同一帧采样图像,可以用同一图像分割算法获取关键区域分割图样,如ROI提取算法,将感兴趣目标(如插接件外形)与背景区块(其他区域)分隔开,生成关键区域分割图样,也可以针对不同的关键区域类型选择不同的算法,如线缆尺寸图像采用边缘检测算法,线缆外观图像关键区域采用ROI提取算法;依据具体使用场景进行设置即可;
再次,基于检测数据类型列表调用各自对应的仿真验证进程包,在各个仿真检测环境下对各关键区域分割图样并行进行图像特征提取以及缺陷识别;所述仿真验证进程包预置在仿***控制器的数据库内,并以检测数据类型列表内的线束检测类型作为调用查询条件。
优选的,所述线缆外观图像的图像特征提取以及识别、单个线缆尺寸图像图像特征提取以及识别、接线颜色图像图像特征提取以及识别以及两端插接件外形的图像特征提取以及识别均采用机器视觉算法进行特征提取。
优选的,线缆外观图像的图像特征提取以及识别对应的仿真验证进程包内预置聚类识别模型对线缆外观图像进行图像特征提取以及识别处理,具体的过程为由于线缆外观图像的缺陷边缘或者存在异物不清洁的区域都与周围非缺陷缆面存在较大的灰度差,使图像处理过程中更有效地凸显缺陷特征,通过下述公式进行自适应滤波处理,即首先设定变差系数CV(i),通过该定变差系数对线缆外观图像进行结构区域与平坦区域的划分;
其中,Ωi表示以i为中心中心固定尺寸的方形邻域,SD(Ωi)、Ave(Ωi)分别表示表示邻域内像素灰度的标准差和均值;此处的结构区域为缺陷区域,其包含较多纹理等局部特征,像素灰度变化剧烈,SD(Ωi)较大,CV(i)也较大,反之,平坦区域为非缺陷缆面区域,灰度分布相对均匀,SD(Ωi)较小,CV(i)也较小;
设置对应的适应滤波窗口N,对应的设置为
其中,SR为图像的结构区域;USR为平坦区域;最后将适应滤波窗口处理后的图像与其背景图像相减,得到差分图像F(通常差分图像F中,高灰度部分几乎都为结构区域即缺陷区域,低灰度部分为平坦区域即非缺陷区域)
F=|P-Q|
因此,通过设置自适应阈值即可自得到差分图像确定疑似缺陷的位置进而给出是否外观存在缺陷的识别结果。
优选的,单个线缆尺寸的图像特征提取以及识别对应的仿真验证进程包内预置尺寸识别模型对线缆尺寸图像进行图像特征提取以及识别处理,具体的过程为所述模型可以采用现有的SOBEL边缘检测模型也可以采用Hough变换圆检测模型进行尺寸识别并与设置的阈值进行比较分析。
优选的,接线颜色图像的图像特征提取以及识别对应的仿真验证进程包内预置颜色识别模型对接线颜色图像进行图像特征提取以及识别处理,具体的过程为
接线颜色识别的基本原理是比较被测线缆颜色的RGB平均值与标准颜色库中的各种线缆的基准颜色值。但是由于环境光照非绝对均匀以及线缆不同部位的反射光线存在差异等原因,同一颜色线缆的不同位置成像有明显区别,因此颜色识别模型的识别过程为:
将关键区域分割图样彩色图像(记为f(x,y))转换为灰度图,记为g(x,y),得到的二值图像gb(x,y);
T为给定阈值,如240;
对二值图像gb(x,y)进行连通域分析(如保留面积大于阈值的联通区域以去除小的噪点),得到二值图gC(x,y);通过此图像后续相应位置导线颜色识别的掩码区域;
对二值图gC(x,y)进行膨胀处理(采用矩形结构化元素)根据待测线束应有的线缆标准数目N,保留面积最大的N个联通区域获取图记为gN(x,y);gN(x,y)的各连通域即为各导线的位置;
对gN(x,y)的每个连通域,求取gC(x,y)中为前景的所有像素点在f(x,y)中对应像素的R、G、B三个通道的平均值;并与预设的标准颜色库中的各种线缆的基准颜色值进行比对,任意一个线缆的颜色值超出阈值则存在缺陷。
优选的,标准颜色库,针对每个线束型号均有对应的标准颜色阈值数据组,其的创建过程包括:
对于每个线束型号的线缆颜色图片创建若干颜色样本数据集,所述颜色样本为在一定时间段内所采集到所拍摄到的每个线束型号的线缆颜色图片;将各个线缆颜色图片转化为灰度图像;根据灰度图像包含的特征信息进行特征抽取:
创建并训练特征提取器;
特征提取器公式为:
其中,Fij表示第i个灰度图像图样中第j个颜色特征的提取结果,Iij(t)表示灰度图像图样中第j个特征在时间t的取值,μij和σij分别表示该特征在该关键区域中的均值和标准差,kij为预置的色度参数值;
如特征值序列Iij(t),时间范围为0到T,该特征在该灰度图像中的均值为μij=10,标准差为σij=2,形状参数为kij=3,则公式改为
对特征提取器进行识别性能评价可通过下述公式进行,若合格则保留该提取器,否则重新进行样本选择以及模型创建,所述的评价公式为
其中,Dij表示第i个图样中第j个颜色特征的缺陷识别结果,表示第n个检测数据类型中对应的颜色特征提取结果,/>表示该颜色特征的合格阈值,/>为权重,N为颜色类型数量。假设我们有红蓝两个颜色类型,对应的特征提取结果/>和/>合格阈值/>和/>权重/>和/>假设/>
通过Dij可确定当前识别效果。
优选的,两端插接件外形的图像特征提取以及识别对应的仿真验证进程包内预置识别模型分别对插接件外形的图像进行图像特征提取以及识别处理,具体的过程为
由于线缆的柔性作用以及由于芯线颜色与插接件端子有可能颜色相近,导致两端插接件图像样图(该图像在前一级的分割时候,并没有区别目标图像以及背景图像,即背景图像中有可能包括了)不能直接进行特征提取需要图像再次预处理,其具体流程步骤包括:
S1、感兴趣区域提取过程:由于前一级的分割时候已经完成了图像的灰度化(减少了原始图像的数据量,)以及滤波处理,如中值滤波(有效去除图像噪声并保护插件的图像边缘),因此本过程主要涉及边缘检测与轮廓提取过程,优选采用Canny算子对图像进行边缘检测并进行轮廓提取,以提取出所有可能是插接件即插接件的轮廓区域,此步骤的关键是设置合适的阈值,实验发现阈值上下限分别为0.2~0.5之间为宜;
S2、第一次特征提取过程:由于Hough检测具有对噪声不敏感,算法效率高等特点,因此可以快速有效的对不同外形的插接件进行初步分类,因此结合Hough变换方法对电插接件图像进行几何形状的预分类;
S3、第二次特征提取过程:由于图像特征提取的核心问题是鲁棒性和可区分性,结合插接件型号多样、外形相似的特点,采用SIFT特征提取方法对S2处理后的图像进行特征提取以获得对应的SIFT特征并将SIFT特征聚类成相应的特征矩阵,即采用聚类的方法构建视觉特征词袋模型,将图像的特征转换成视觉词,以便于进行后续的图像的分类识别具体步骤包括:
构建预分类后的图像集合;
提取所有图像的SIFT特征并确定确定视觉词个数S,同时基于K-means聚类算法构造词汇表;即将提取到的N张插接件图像特征通过聚类形成视觉词汇并构造包含K个词汇的词汇表,每幅图像都由这K个视觉词汇组合描述;
将SIFT特征点用词汇表中单词近似代替即将每幅图像表述为一个K维的数值向量;
基于各个图像构建视觉词汇直方图并归一化以获得图像特征矩阵M1,通过SVM模型进行分类识别以输出分类结果,实现通过使用计算机代替装配工人自动完成插接件的型号识别;即统计每个单词在每幅图像中出现的次数,构建视觉词汇直方图并归一化,所有图像的数值向量就组成了图像的特征矩阵M,该矩阵为N行K列的矩阵,矩阵的行代表插接件图像,列代表对应的特征向量。
在一些具体的实施例中,所述检测控制器还包括工控机6,所述工控机用于实时控制调整摄像头的采样位置以及采样角度;同时所述摄像头设置在环形轨道上,由受控于工控机的小型转台带动摄像头改变采样位置。
在一些具体的实施例中,所述检测数据类型列表还包括环境测试项,所述环境测试项包括但不限于线束耐温测试项、线束耐湿测试项以及线束耐振动测试项;所述线束使用环境测试信息属于用户定制化信息,相同的线束产品,在面对不同的用户使用需求时候,其环境条件也是各不相同的,因此线束使用环境测试也需要因“人”而异,包括但不限于线束耐温信息、线束耐湿信息以及线束耐振动信息。同时可以考虑线束耐热老化信息、线束耐油液信息等。
在一些具体的实施例中,所述仿***控制器的数据库预置环境测试项仿真验证进程包,以在网络控制器所配置的仿真检测环境下对待测线束产品进行环境测试仿真并给出评价结果。即,检测台也能够基于数字孪生技术为所述仿真验证进程所生成的环境仿真测试子进程提供各自独立的仿真测试环境,缩短检测周期;所述仿真测试子进程至少包括线束耐温仿真测试程序、线束耐湿仿真测试程序以及线束耐振动仿真测试程序。通过云孪生***对线束实验过程中的历史数据进行分析,生成多个可判定线束物理模型的真实状态的孪生仿真模型,快速实现对不同运行状态线束的同步分类仿真,及时发现在用户给定的环境下,线束材料、结构等方面的不足。
在一些具体的实施例中,所述检测项对应的仿真验证进程包具有第一顺位执行权限,所述环境测试项仿真验证进程包具有第二顺位执行权限,即仿***控制器在完成采样图像进行图像特征提取以及缺陷识别后开始执行环境测试项仿真验证进程。
在一些具体的实施例中,鉴于若线束因自身的输电线与线束端子间的连接不够紧密,则易出现线束断裂的现象,且尽管线束输电线外表完好,但内部铜芯已和接线端子断开或工艺过程中的漏焊,锡渣,亦或是接插器造成的线束接触不良,均会导致线路功能性故障,因此对于线束进行性能测试也是有一定需求的;即用户所需的线束型号基本测试信息还包括性能信息,所述性能信息包括但不限于线束拉力信息(如果输电线与线束端子间的连接不够紧密,就会出现线束断裂的现象,同时线束输电线外表完好,但内部铜芯已和接线端子断开,这两种情况都会导致汽车线路功能性故障)、线束内部缺陷信息(线束内部焊点的工艺缺陷,比如漏焊,锡渣等缺陷会直接导致线束的短路)以及线束电气性能信息(额定电压、额定电流、温升、接触电阻、绝缘电阻、抗电强度、耐电流循环等按照实际需求选择);对应的所述装置还可以集成有若干检测仪器,其也可以是汽车线束拉力测试仪、汽车线束X光检测仪以及汽车线束碰触测试仪,或综合型线束检测仪器以获得线束性能信息。优选的,所述线束拉力测试仪可使用配置数显工控机、表盘推拉力计和夹具等测量器件的测试仪。所述汽车线束X光检测仪以及汽车线束碰触测试仪可使用线束导通测试台,其配置有数据对比分析程序、自动记录测试报告、智能化测试软件(汽车线束碰触测试以及线束X光检测程序)、大型数据库等程序,通过线束X光检测直观的观测到线束内部焊点的工艺缺陷,比如漏焊,锡渣等。除了上述的检测内容外,线束导通测试台还能对线束的内部电气性能进行检测,一般检测项目有导通、电阻、绝缘、耐压等。
进一步的,上述检测仪器可以与检测台的控制器进行完整的生产检测线网络,如结合现场总线工业以太网技术及IO硬接点信号交互,实现各控制器/检测仪器的控制。如使用工业RJ45接口网线通过交换机将整个网络内的各通讯设备相连,设置IP地址,将所有通讯设备置为同一个网段,实现全联机。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种用于对线束产品进行智能化检测的检测装置,其特征在于,包括:
线束身份识别标签,其被设置在所述待测线束产品上,用于表征该待测线束产品的产品批号以及该线束产品在本产品批号中的编号;所述产品批号包括产品编号总数A以及用户识别码;所述用户识别码包括:用户所需的线束型号基本测试信息;
线束身份识别检测枪,具有显示屏,用于对设置在待测线束产品上的线束身份识别标签进行身份识别,并将所获得的产品批号以及该线束产品在本产品批号中的编号发送至检测台;
检测台,其能够根据所获得的产品批号确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的操作进程,并基于所述操作进程对输送至检测区域的待测线束产品进行产品合格检测;
以及机械手,所述机械手受控于所述检测台,并在接到取件通知后将测试产品自检测台的检测区域拿起并放置至指定位置;
所述检测台包括工作台组件、图像采集单元、检测控制器以及显示单元;
所述工作台组件用于为待测线束产品提供进行产品合格检测的检测区域;
所述图像采集单元用于对进入检测区域的待测线束产品进行图像信息采样以获取待测线束产品的采样图像;
所述检测控制器用于根据所获得的产品批号确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的缺陷检测操作进程;同时所述检测控制器还能够基于所述检测数据包,为所述缺陷检测操作进程提供并行仿真检测环境并基于所述并行仿真检测环境对所述采样图像进行图像特征提取以及缺陷识别以完成产品合格检测过程,并输出检测结果至显示单元进行显示;
所述检测控制器包括:仿***控制器以及网络控制器;
所述仿***控制器用于根据所获得的产品批号确定与所述产品批号相匹配的检测数据包,基于所述检测数据包生成相应的缺陷检测操作进程;同时基于各个并行仿真检测环境对所述采样图像进行图像特征提取以及缺陷识别以完成产品合格检测过程,并输出检测结果至显示单元进行显示;所述检测数据包具有检测数据类型列表,所述检测数据类型列表用于表征与待测线束产品相匹配的产品批号对应的检测项,每一检测项对应一个线束检测类型;
所述网络控制器用于基于所述检测数据包,为所述缺陷检测操作进程配置所需数量的并行的仿真检测环境,所述仿真检测环境的数量依据检测数据类型列表内包含的检测类型数量确定;
所述检测项包括但不限于线缆外观信息、线缆尺寸信息、接线信息,所述接线信息包括接线颜色信息以及插接件型号信息;
所述仿***控制器设置图像处理策略,通过所述图像处理策略完成基于各个并行仿真检测环境对所述采样图像进行图像特征提取以及缺陷识别以完成产品合格检测过程,图像处理策略具体包括:
首先,对所述采样图像进行图像预处理;
其次,对预处理后的图像进行图像关键区域分割并形成多个关键区域分割图样,所述图像关键区域依据对应的检测项设定,所述图像关键区域包括线缆外观图像关键区域、单个线缆尺寸图像关键区域、接线颜色图像关键区域以及两端插接件图像关键区域;
再次,基于检测数据类型列表调用各自对应的仿真验证进程包,在各个仿真检测环境下对各关键区域分割图样并行进行图像特征提取以及缺陷识别;所述仿真验证进程包预置在仿***控制器的数据库内,并以检测数据类型列表内的线束检测类型作为调用查询条件;其中,接线颜色图像的图像特征提取以及识别对应的仿真验证进程包内预置颜色识别模型对接线颜色图像进行图像特征提取以及识别处理,具体的过程为
将关键区域分割图样彩色图像f(x,y)转换为灰度图,记为g(x,y),得到的二值图像gb(x,y);
T为给定阈值;
对二值图像gb(x,y)进行连通域分析得到二值图gC(x,y);
对二值图gC(x,y)进行膨胀处理根据待测线束应有的线缆标准数目N,保留面积最大的N个联通区域获取图记为gN(x,y);gN(x,y)的各连通域即为各导线的位置;
对gN(x,y)的每个连通域,求取gC(x,y)中为前景的所有像素点在f(x,y)中对应像素的R、G、B三个通道的平均值;并与预设的标准颜色库中的各种线缆的基准颜色值进行比对,任意一个线缆的颜色值超出阈值则存在缺陷;标准颜色库,针对每个线束型号均有对应的标准颜色阈值数据组,其的创建过程包括:
对于每个线束型号的线缆颜色图片创建若干颜色样本数据集,所述颜色样本为在一定时间段内所采集到所拍摄到的每个线束型号的线缆颜色图片;将各个线缆颜色图片转化为灰度图像;根据灰度图像包含的特征信息进行特征抽取:创建并训练特征提取器;
特征提取器公式为:
其中,Fij表示第i个灰度图像图样中第j个颜色特征的提取结果,特征值序列Iij(t)表示灰度图像图样中第j个特征在时间t的取值,μij和σij分别表示该特征在该关键区域中的均值和标准差,kij为预置的色度参数值;时间范围为0到T,
对特征提取器进行识别性能评价通过下述公式进行,若合格则保留该提取器,否则重新进行样本选择以及模型创建,所述的评价公式为
其中,Dij表示第i个图样中第j个颜色特征的缺陷识别结果,表示第n个检测数据类型中对应的颜色特征提取结果,/>表示该颜色特征的合格阈值,/>为权重,N为颜色类型数量;即通过Dij确定当前识别效果。
2.根据权利要求1所述的用于对线束产品进行智能化检测的检测装置,其特征在于,
所述检测数据类型列表还包括环境测试项,所述环境测试项包括但不限于线束耐温测试项、线束耐湿测试项以及线束耐振动测试项。
3.根据权利要求2所述的用于对线束产品进行智能化检测的检测装置,其特征在于,
所述仿***控制器的数据库预置环境测试项仿真验证进程包,以在网络控制器所配置的仿真检测环境下对待测线束产品进行环境测试仿真并给出评价结果。
4.根据权利要求3所述的用于对线束产品进行智能化检测的检测装置,其特征在于,
所述检测项对应的仿真验证进程包具有第一顺位执行权限,所述环境测试项仿真验证进程包具有第二顺位执行权限,即仿***控制器在完成采样图像进行图像特征提取以及缺陷识别后开始执行环境测试项仿真验证进程。
5.根据权利要求1所述的用于对线束产品进行智能化检测的检测装置,其特征在于,
所述线束身份识别标签为二维码标签形式。
CN202310683214.2A 2023-06-09 2023-06-09 一种用于对线束产品进行智能化检测的检测装置 Active CN116718600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310683214.2A CN116718600B (zh) 2023-06-09 2023-06-09 一种用于对线束产品进行智能化检测的检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310683214.2A CN116718600B (zh) 2023-06-09 2023-06-09 一种用于对线束产品进行智能化检测的检测装置

Publications (2)

Publication Number Publication Date
CN116718600A CN116718600A (zh) 2023-09-08
CN116718600B true CN116718600B (zh) 2024-03-29

Family

ID=87865472

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310683214.2A Active CN116718600B (zh) 2023-06-09 2023-06-09 一种用于对线束产品进行智能化检测的检测装置

Country Status (1)

Country Link
CN (1) CN116718600B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117368223B (zh) * 2023-10-10 2024-04-26 广州君华检测认证有限公司 一种基于机器视觉的汽车线束质量检测方法及***
CN117665221B (zh) * 2024-02-01 2024-05-24 江苏镨赛精工科技有限公司 一种复合材料制品的性能检测方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007144986A1 (ja) * 2006-06-12 2007-12-21 Sumitomo Wiring Systems, Ltd. ワイヤーハーネスの外観検査装置及び外観検査方法
CN102297867A (zh) * 2011-07-20 2011-12-28 上海元一电子有限公司 线束装配质量检测***
CN112964723A (zh) * 2021-02-01 2021-06-15 苏州百迈半导体技术有限公司 一种双面多目标等间距阵列视觉检测方法及检测***
CN214334702U (zh) * 2020-12-23 2021-10-01 苏州斯穹精密科技有限公司 基于视觉检测的线束外观智能识别设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007144986A1 (ja) * 2006-06-12 2007-12-21 Sumitomo Wiring Systems, Ltd. ワイヤーハーネスの外観検査装置及び外観検査方法
CN102297867A (zh) * 2011-07-20 2011-12-28 上海元一电子有限公司 线束装配质量检测***
CN214334702U (zh) * 2020-12-23 2021-10-01 苏州斯穹精密科技有限公司 基于视觉检测的线束外观智能识别设备
CN112964723A (zh) * 2021-02-01 2021-06-15 苏州百迈半导体技术有限公司 一种双面多目标等间距阵列视觉检测方法及检测***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张相胜等.基于机器视觉的汽车线束压接缺陷检测***.仪表技术与传感器.2020,(第3期),第73-77页. *

Also Published As

Publication number Publication date
CN116718600A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN116718600B (zh) 一种用于对线束产品进行智能化检测的检测装置
US7127099B2 (en) Image searching defect detector
US11657599B2 (en) Method for detecting appearance of six sides of chip multi-layer ceramic capacitor based on artificial intelligence
KR102378186B1 (ko) 와이어링 하네스용 인공지능 외관검사 시스템
JP5168215B2 (ja) 外観検査装置
CN109870463B (zh) 一种电子芯片故障检测装置
CN107895362A (zh) 一种微型接线端子质量检测的机器视觉方法
CN117172624B (zh) 一种线束生产线智能化监测管理***
CN113996556B (zh) 一种融合云端的产品分拣***及方法
CN115170497A (zh) 一种基于ai视觉检测技术的pcba在线检测平台
Londe et al. Automatic PCB defects detection and classification using MATLAB
Jarvis Visual inspection automation
CN111307817B (zh) 一种智能产线pcb生产过程的在线检测方法及***
CN116993725B (zh) 一种柔性电路板智能贴片信息处理***
Suhasini et al. PCB defect detection using image subtraction algorithm
CN116626542A (zh) 一种线束产品的智能化检测***
CN116993654B (zh) 摄像头模组缺陷检测方法、装置、设备、存储介质及产品
CN114782431B (zh) 一种印刷电路板缺陷检测模型训练方法及缺陷检测方法
CN115170476B (zh) 基于图像处理的印制线路板缺陷检测方法
CN116245810A (zh) 排线焊点缺陷检测方法、设备、存储介质及装置
JP7423368B2 (ja) 不良検出装置及び不良検出方法
CN213749668U (zh) 一种柔性电路板外观测试装置
CN105548210B (zh) 基于机器视觉的美标电源延长线的检测方法
Supriya et al. Automatic Optical Inspection System for wiring harness using Computer Vision
CN113327237A (zh) 一种适用于电源电路板的视觉检测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant