CN110909735A - 基于卷积神经网络的智能电能表芯片视觉识别比对***及方法 - Google Patents
基于卷积神经网络的智能电能表芯片视觉识别比对***及方法 Download PDFInfo
- Publication number
- CN110909735A CN110909735A CN201911083294.8A CN201911083294A CN110909735A CN 110909735 A CN110909735 A CN 110909735A CN 201911083294 A CN201911083294 A CN 201911083294A CN 110909735 A CN110909735 A CN 110909735A
- Authority
- CN
- China
- Prior art keywords
- character
- image
- camera
- chip
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 title claims abstract description 26
- 230000001681 protective effect Effects 0.000 claims abstract description 21
- 238000005516 engineering process Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 13
- 238000007726 management method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 8
- 238000007689 inspection Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明是属于视觉识别及深度学***台的台面上设有相对的两条导轨,两块电路板卡槽通过滑块安装在导轨上,电路板放置在两块电路板卡槽中;在工作平台上连接有支架,支架顶端通过安装板连接相机防护壳,相机防护壳内连接相机;相机防护壳前部连接光源连接板,光源连接板与环形光源相连接,匀光板连接在环形光源的前端;光源控制器通过电缆与环形光源相连接,相机通过千兆网与计算机相连。本发明实现了对不同厂家智能电能表上不同型号、及不同大小的电子元器件型号自动识别,使电子元器件比对流程管理规范化、高效化及智能化,工作效率得到显著提高。
Description
技术领域
本发明是属于视觉识别及深度学习技术领域,尤其涉及一种基于卷积神经网络的智能电能表芯片视觉识别比对***及方法。
背景技术
智能电能表计量的准确性、稳定性具有重要的社会意义。根据《国网国家电网公司电能表质量监督管理办法》,要严格实施电能表设计方案、主要元器件和程序软件备案管理,加强电能表样品备案和比对管控。各省公司计量中心在供货前抽样、到货后抽样、到货后验收等环节应严格按照备案文件和备案样品进行比对。智能电能表样品比对试验过程管控作为其中关键环节具有重要意义。该环节主要为了确保供货智能电能表PCB板上IC芯片型号与招标列表清单一致。
目前智能电能表供货前和到货后PCB上的IC芯片型号一致性比对的主要检测方法是人工抽检,存在以下问题。
1、随着半导体制造行业的发展,电子元器件逐渐微型化,其上印刷字体尺寸逐渐变小,加之智能电能表有多个电子元器件待识别,人工抽检难度越来越大,存在人为误判及检测效率低下;
2、人工检测比对数据保存不完整,无法追溯比对状态;
3、比对结果需人工录入质检业务管理***智能化程度低。
发明内容
针对以上现有技术中存在的问题,本发明提出了一种基于卷积神经网络的智能电能表芯片视觉识别比对***及方法。是一种基于机器学习技术及图像处理技术完成智能电能表PCB电子元器件型号识别技术,其目的是借助于高分辨率工业CCD相机及大环形光源相配合获取清晰稳定的电子元器件图像,通过图像处理算法完成大部分智能电子元器件的自动定位,通过人机协作方式完成无法自动定位元器件区域,通过图像分割技术完成字符区域的自动分割,通过机器学习方法实现元器件上字符自动识别,使用滑轨定位完成不同厂家及不同大小电路板的粗定位。
基于上述发明目的,本发明是通过以下技术方案来实现的:
基于卷积神经网络的智能电能表芯片视觉识别比对***,包括:在工作平台的台面上设有相对的两条导轨,两块电路板卡槽通过滑块安装在导轨上,电路板放置在两块电路板卡槽中;在工作平台上还连接有支架,支架的顶端通过安装板连接相机防护壳,相机防护壳内连接有相机;相机防护壳前部连接有光源连接板,光源连接板与环形光源相连接,匀光板连接在环形光源的前端;光源控制器通过电缆与环形光源相连接,相机通过千兆网与计算机相连。
所述相机的机身上设有相机固定孔,通过螺丝将相机安装连接在相机防护壳上;光源连接板与相机防护壳为一体结构,光源连接板通过螺丝与环形光源相连接;匀光板通过匀光板安装孔通过螺丝安装连接在环形光源的前端;所述环形光源安装在相机的下方,且中心与相机的镜头中心同轴。
所述电路板卡槽为纵向条形板状结构,下部纵向条形边带有纵向凸台,用于将电路板卡于两个相对的电路板卡槽之间。
所述相机防护壳通过与工作平台上的安装板由螺丝经过安装孔相连接;所述相机防护壳设在相机的外部,与相机的外形相吻合。
所述工作平台是在四个支腿上部固定连接有方形的框架结构台面,其中台面的两个相对的框架为相互平行;在框架台面的边上连接有直角形支架;所述支腿的最下端连接有脚杯,用来调节工作平台台面的高度。
所述的基于卷积神经网络的智能电能表芯片视觉识别比对***,包括:
智能电能表PCB电路板定位模块:用于实现将电路板放置在CCD相机正下方;
图像采集模块:用于实现PCB电路板图像采集,去噪声;
IC芯片字符识别模块:用于将采集的PCB电路板图像作为输入到IC芯片识别模块;
数据处理模块:用于将识别的芯片型号进行对比,并将芯片型号及电路板图像输入到数据存储模块。
基于卷积神经网络的智能电能表芯片视觉识别比对方法,包括以下步骤:
步骤1.智能电能表PCB电路板定位;
步骤2.智能电能表PCB电路板电子元器件背景及电子元器件字符型号图像采集;
步骤3.芯片候选区域定位及单个字符提取;
步骤4.芯片型号的识别;
步骤5.数据处理及存储。
所述步骤3.芯片候选区域定位及单个字符提取,包括以下步骤:
(1)采集电子元器件图像,将曝光设置为采集电子元器件字符图像的曝光时间,使电子元器件上面的字符型号与电子元器件背景对比度明显,获取清晰的电子元器件字符图像;
(2)然后对所获取的候选区域图像进行自适应阈值;所述自适应阈值采用局部二值化,降低光照不均匀产生的影响,获取更好的字符图像二值化效果;
(3)然后对自适应阈值图像进行形态学滤波,删除面积小的噪声点;
(4)对芯片区域二值化图像进行行投影,利用投影结果得到每行字符在图像上的行起点跟行终点,从而将芯片区域上的多行字符分割成多个行图像;
(5)对行字符图像进行垂直投影分割,从而分割得到多个字符区域,计算每个字符区域的宽度、长宽比及相邻字符间距,根据先验知识确定这个字符区域是否是单个字符区域;如果单个字符区域宽度过小及相邻的字符区域宽度过小,同时字符间距过小这种情况为字符断裂情况将这两个相邻区域进行合并;如果单个字符区域过大,大于两个字符区域宽度,这种情况是字符粘连情况;单独对这个字符区域进行二次分割,将列投影最小的位置作为分割位置;
(6)将处理后的单个字符区域图像进行归一化,得到单个字符归一化图像。
所述步骤4.芯片型号的识别是将归一化的单个字符图像输入训练好的卷积神经网络模型实现数字及字母的识别;包括以下步骤:
第一:离线训练:
(1)采集电子元器件型号样本字符图像,包括数字1-9,大写字母A-Z;每个字符需要50个原始样本归一化图像,大小为28X20;
(2)使用样本扩增技术,包括将样本图像平移、旋转、图像缩放、使用膨胀腐蚀改变字体粗细及添加噪声技术使单个字符样本数量拓展至每种字符10000个;
(3)将拓展之后样本图像输入卷积神经网络模型,卷积神经网络提取每种样本图像的卷积层特征;将卷积层特征作为输入,完成卷积神经网络模型参数训练;
第二:在线识别:
(1)将单个字符图像进行归一化处理得到归一化图像,归一化单个字符的图像大小为28X20;
(2)将归一化图像作为输入,提取卷积特征输入到已经离线训练好的卷积神经网络模型分类器得到字符的种类完成字符识别。
所述步骤5.数据处理及存储,包括:
将识别芯片型号数据的结果与招标列表清单型号进行对比,如果对招标文件列表清单型号不一致,则报警,并进行人工确认;如果型号一致,则自动将识别的芯片型号数据及电路板原始图像进行本地存储,并将识别芯片型号通过UDP通信技术录入质检业务管理***。
本发明具有以下优点及有益技术效果:
本发明使用计算机视觉及机器学习技术相结合实现智能电能表PCB板上主要电子元器件型号检测,实现对不同厂家智能电能表上面不同型号、及不同大小的电子元器件型号自动识别。通过人机合作方式完成电路板元器件型号识别及比对数据存储整个流程的管理,使电子元器件比对流程管理规范化、高效化及智能化。
本发明适用于电网计量中心对智能电能表主要元器件备案管理工作,可以快速对电能表供货前抽样、到货后抽样、到货后验收等环节的主要电子元器件型号进行识别和备用样品型号进行比对,提高工作效率。
附图说明
下面将结合本发明实施例中的附图,对本发明实例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的其他实施例,都属于本发明保护的范围。
图1是本发明***结构原理示意图;
图2是本发明***工作流程结构图;
图3是本发明***组成模块示意图;
图4是本发明中电路板芯片区域提取结构框图;
图5是本发明中芯片单个字符提取算法流程图;
图6是本发明中基于卷积神经网络训练及识别流程图;
图7是本发明中卷积神经网络ILeNet-5框图;
图8是本发明***结构示意图;
图9是本发明相机防护壳及环形光源安装示意图;
图10是本发明相机防护壳安装板示意图;
图11是图10的侧视图;
图12是本发明电路板卡槽单侧示意图;
图13是图12的侧视图。
图中:相机1,环形光源2,匀光板3,光源控制器4,导轨5,千兆网6,工控机7,电路板卡槽8,滑块9,相机外壳安装沉孔10,相机防护壳11,光源连接板12,工作平台13,支架14,安装板15,电路板16,元器件17,相机固定孔18,防护壳安装螺纹孔19,匀光板安装孔20,安装孔21。
具体实施方式
本发明是一种基于卷积神经网络的智能电能表芯片视觉识别比对***及方法,是基于机器视觉技术及机器学习技术实现智能电能表PCB电子元器件型号识别及比对的***及方法。
如图8所示,图8是本发明一种基于卷积神经网络的智能电能表芯片视觉识别比对***的结构示意图。导轨5固定连接在工作平台13的台面上,在台面相对的两边上各设有一根。所述导轨5为线性导轨,为市售普通的直线导轨。电路板卡槽8通过滑块9放置在线性导轨5上,这样可以通过手动移动电路板卡槽8在线性导轨5上的位置来调节两块电路板卡槽之间的宽度。电路板16放置在两块电路板卡槽8中,电路板16上设有电子元器件17。
所述电路板卡槽8如图12和图13所示,为纵向条形板状结构,下部纵向条形边带有纵向凸台,用于将电路板16卡于两个相对的电路板卡槽8之间。
电路板卡槽的X方向和电路板卡槽的Y方向具体是:平行于平台左右方向为X方向,平行于平台前后方向为Y方向。
如图9所示,图9是本发明相机防护壳及环形光源安装示意图。相机机身具有相机固定孔18,通过M3螺丝将面阵相机1安装固定在相机防护壳11上,光源连接板12与相机防护壳11通过机械加工为一个整体,光源连接板12通过M3螺丝与环形光源2相连接。匀光板3通过匀光板安装孔20用螺丝安装连接在环形光源2的前端。相机防护壳11通过与工作平台13上的安装板15由螺丝经过安装孔21相连接。所述环形光源2为市售CCS光源。所述匀光板3为市售产品,与环形光源配套使用。所述相机防护壳11设在相机1的外部,与相机1的外形相吻合,如图9所示。
所述工作平台13是在四个支腿上部固定连接有方形的框架结构台面,其中台面的两个相对的框架为相互平行。在框架台面的一个边上的中间位置连接有直角形支架14,在支架14的顶端通过安装板15连接有相机1。在相对的两个框架结构的台面上分别通过螺栓固定连接有导轨5。所述支腿的最下端通过螺丝连接有脚杯,可以调节高度,用来解决地面不平问题。具体使用时通过调节脚杯上的螺丝,调节平台支架距离地面高度。
所述安装板15的具体结构如图10和图11所示,安装板15的四个角部设有安装孔21,用来将螺栓通过安装孔21,使安装板15与支架14相连接。安装板15上还设有四个相机外壳安装沉孔10,通过螺栓将相机1安装连接在安装板15上。
智能电能表芯片视觉识别比对***结构原理图如图1所示。包括高分辨率CCD相机1、光学镜头、环形光源2、匀光板3、光源控制器4、导轨5、千兆网6、工控机7、基于机器学习的智能电能表芯片视觉识别比对软件。
所述相机1选用2000万像素高分辨率相机。
所述环形光源2是高密度LED阵列,具有亮度高且可调,低温,均衡,无闪烁等优点。
所述匀光板3配合环形光源使照明均匀性更好,可以缓解反光问题。
如图1所示,图1是本发明***结构原理示意图。电子元器件17为电路板16上面待识别型号的电子元器件。电路板16放置在两块电路板卡槽8中,两块电路板卡槽8通过滑块安装在线性导轨10上。调节两块电路板卡槽8在线性导轨5上的位置,使电路板16放置在CCD相机1正下方。环形光源2固定安装在相机1的下方,且中心与相机1的镜头中心同轴。匀光板3固定在环形光源2的前端。光源控制器4通过电缆与环形光源2相连接。CCD相机1通过千兆网与计算机7相连。
如图3所示,图3是本发明***组成模块示意图。本发明包括智能电能表PCB电路板定位模块、图像采集模块、IC芯片字符识别模块以及数据处理模块。智能电能表PCB电路板定位模块用于实现电路板放置在CCD相机正下方,然后图像采集模块实现PCB电路板图像采集。将采集的PCB电路板图像作为输入到IC芯片识别模块,实现IC芯片字符型号识别。将识别的芯片型号作为输入到数据存储模块。
所述智能电能表PCB电路板定位模块包括滑轨,用于实现不同大小电路板放置在CCD相机正下方。
所述图像采集模块包括:相机、环形光源以及匀光板,用于实现电路板16上的电子元器件17字符型号图像清晰采集。
所述IC芯片字符识别模块包括:图像预处理模块、芯片区域定位模块、字符分割模块以及字符识别模块,图像预处理模块用于实现电路板图像噪声去除。芯片区域定位模块用于实现电子元器件图像区域定位。字符分割模块用于实现芯片区域图像的单个字符分割,字符识别模块用于实现单个字符的识别。
所述数据处理模块包括:型号比对模块和数据存储模块,型号比对模块用于实现IC芯片型号与招标列表清单对比。数据存储模块用于实现芯片型号及电路板图像本地存储。
如图2所示,图2是本发明***工作流程结构图,具体包括如下步骤:
步骤1.智能电能表PCB电路板定位。
首先根据不同厂家供货的智能电能表PCB电路板尺寸,调整导轨上电路板卡槽Y方向位置和两个电路板卡槽之间的宽度,打开视觉识别比对软件实时显示功能,调整智能电能表PCB电路板在电路板卡槽的X方向放置位置,使智能电能表PCB电路板放置在高分率相机1的中心的正下方。
步骤2.智能电能表PCB电路板电子元器件背景及电子元器件字符型号图像采集。
首先采集电子元器件背景图像,软件自动设置采集智能电能表PCB电路板电子元器件背景时的电流大小及相机曝光视觉,通过光源驱动器控制环形光源2照明强度,高分辨相机获取智能电能表PCB电路板上电子元器件的高清晰图像信息采集,所述电流大小及曝光时间设置目的是为了增强芯片与PCB电路板之间的图像对比度,为后续芯片定位提供保证。
然后***自动设置调节光源驱动器电流大小及曝光时间获取智能电能表电子元器件上字符型号的高清晰图像信息采集,所述的电流大小及曝光时间设置目的是为了增强字符型号与芯片背景对比度,为字符提取与识别提供保证。相机采集的图像是通过千兆网传输至工控机上。
步骤3.芯片候选区域定位及单个字符提取。
如图4所示,图4是本发明中电路板芯片区域提取结构框图。采用基于版面分析和边缘检测的方法实现芯片矩形区域的定位。首先对PCB板图像进行滤波,滤除噪声。然后对图像进行二值化处理得到二值化图像,然后使用形态学技术删除小面积噪声,然后使用边缘提取技术提取图像中符合面积条件的区域的轮廓,计算轮廓的矩形度及长宽比等参数得到芯片矩形区域的定位。
接下来将曝光时间设置为采集电子元器件图像的曝光时间,并对芯片区域上单个字符图像进行分割提取,如图5所示,图5是本发明中芯片定位及单个字符提取算法流程图。包括以下步骤:
(1)采集电子元器件图像,将曝光设置为采集电子元器件字符图像的曝光时间,使电子元器件上面的字符型号与电子元器件背景对比度明显,获取清晰的电子元器件字符图像。
(2)然后对所获取的候选区域图像进行自适应阈值;所述自适应阈值采用局部二值化,降低光照不均匀产生的影响,获取更好的字符图像二值化效果。
(3)然后对自适应阈值图像进行形态学滤波,删除面积小的噪声点。
(4)对芯片区域二值化图像进行行投影,利用投影结果得到每行字符在图像上的行起点跟行终点,从而将芯片区域上的多行字符分割成多个行图像。
(5)对行字符图像进行垂直投影分割,从而分割得到多个字符区域,计算每个字符区域的宽度、长宽比及相邻字符间距,根据先验知识确定这个字符区域是否是单个字符区域。如果单个字符区域宽度过小及相邻的字符区域宽度过小,同时字符间距过小这种情况为字符断裂情况将这两个相邻区域进行合并。如果单个字符区域过大,大于两个字符区域宽度,这种情况是字符粘连情况。单独对这个字符区域进行二次分割,将列投影最小的位置作为分割位置。
(6)将处理后的单个字符区域图像进行归一化,得到单个字符归一化图像。归一化处理的目的主要是为了适应不同型号电子元器件上面字符大小不一致问题。
步骤4.芯片型号的识别。
将归一化的单个字符图像输入训练好的卷积神经网络模型实现数字及字母的识别。卷积神经网络模型在使用之前需要离线训练。如图6所示,图6是本发明中基于卷积神经网络训练及识别流程图。
包括以下步骤:
第一:离线训练。
(1)采集电子元器件型号样本字符图像,包括数字1-9,大写字母A-Z。每个字符需要50个原始样本归一化图像,大小为28X20。
(2)使用样本扩增技术,包括将样本图像平移、旋转、图像缩放、使用膨胀腐蚀改变字体粗细及添加噪声技术使单个字符样本数量拓展至每种字符10000个。
(3)将拓展之后样本图像输入卷积神经网络模型,卷积神经网络提取每种样本图像的卷积层特征。将卷积层特征作为输入,完成卷积神经网络模型参数训练。
第二:在线识别。
①将单个字符图像进行归一化处理得到归一化图像,归一化单个字符的图像大小为28X20。
②将归一化图像作为输入,提取卷积特征输入到已经离线训练好的卷积神经网络模型分类器得到字符的种类完成字符识别。
如图7所示,图7是本发明中卷积神经网络ILeNet-5框图。卷积神经网络模型采用改进LeNet-5模型ILeNet-5模型,由于卷积神经网络训练需要大量的样本图像,智能电能表上面芯片型号是标准印刷体。所以本发明采用样本扩充技术,实现大量样本图像数据的获取。首先通过智能电能表原始图像得到字符原始样本库,每个字母50个;然后采用小样本数据扩增技术,主要通过仿射变换公式1、形态学及随机噪声添加技术、双线性插值技术,实现样本扩增,将每个字符扩充至10000个。
其中:u表示仿射变化后图像水平坐标u,v表示仿射变化后图像垂直方向坐标v,us表示原始图像水平方向us坐标,vs表示原始图竖直方向vs坐标,m表示仿射变化矩阵参数。
将扩充之后的样本数据作输入实现卷积神经网络模型训练。
步骤5.数据处理及存储。
将识别芯片型号数据的结果与招标列表清单型号进行对比,如果对招标文件列表清单型号不一致,则报警,并进行人工确认。如果对招标文件列表清单型号型号一致,则自动将识别的芯片型号数据及电路板原始图像进行本地存储,并将识别芯片型号通过UDP通信技术录入质检业务管理***。所述质检业务管理***为现有***。
虽然以上描述了本发明的具体实施方式,但是本领域内的熟练技术人员应当理解,这些仅是举例说明,可以对这些实施方式做出多种变更或修改,而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。
Claims (10)
1.基于卷积神经网络的智能电能表芯片视觉识别比对***,其特征是:包括
在工作平台(13)的台面上设有相对的两条导轨(5),两块电路板卡槽(8)通过滑块(9)安装在导轨(5)上,电路板(16)放置在两块电路板卡槽(8)中;在工作平台(13)上还连接有支架(14),支架(14)的顶端通过安装板(15)连接相机防护壳(11),相机防护壳(11)内连接有相机(1);相机防护壳(11)前部连接有光源连接板(12),光源连接板(12)与环形光源(2)相连接,匀光板(3)连接在环形光源(2)的前端;光源控制器(4)通过电缆与环形光源(2)相连接,相机(1)通过千兆网与计算机(7)相连。
2.根据权利要求1所述的基于卷积神经网络的智能电能表芯片视觉识别比对***,其特征是:所述相机(1)的机身上设有相机固定孔(18),通过螺丝将相机(1)安装连接在相机防护壳(11)上;光源连接板(12)与相机防护壳(11)为一体结构,光源连接板(12)通过螺丝与环形光源(2)相连接;匀光板(3)通过匀光板安装孔(20)通过螺丝安装连接在环形光源(2)的前端;所述环形光源(2)安装在相机(1)的下方,且中心与相机(1)的镜头中心同轴。
3.根据权利要求1所述的基于卷积神经网络的智能电能表芯片视觉识别比对***,其特征是:所述电路板卡槽(8)为纵向条形板状结构,下部纵向条形边带有纵向凸台,用于将电路板(16)卡于两个相对的电路板卡槽(8)之间。
4.根据权利要求1所述的基于卷积神经网络的智能电能表芯片视觉识别比对***,其特征是:所述相机防护壳(11)通过与工作平台(13)上的安装板(15)由螺丝经过安装孔(21)相连接;所述相机防护壳(11)设在相机(1)的外部,与相机(1)的外形相吻合。
5.根据权利要求1所述的基于卷积神经网络的智能电能表芯片视觉识别比对***,其特征是:所述工作平台(13)是在四个支腿上部固定连接有方形的框架结构台面,其中台面的两个相对的框架为相互平行;在框架台面的边上连接有直角形支架(14);所述支腿的最下端连接有脚杯,用来调节工作平台台面的高度。
6.根据权利要求1所述的基于卷积神经网络的智能电能表芯片视觉识别比对***,其特征是:包括:
智能电能表PCB电路板定位模块:用于实现将电路板放置在CCD相机正下方;
图像采集模块:用于实现PCB电路板图像采集,去噪声;
IC芯片字符识别模块:用于将采集的PCB电路板图像作为输入到IC芯片识别模块;
数据处理模块:用于将识别的芯片型号进行对比,并将芯片型号及电路板图像输入到数据存储模块。
7.基于卷积神经网络的智能电能表芯片视觉识别比对方法,其特征是:包括以下步骤:
步骤1.智能电能表PCB电路板定位;
步骤2.智能电能表PCB电路板电子元器件背景及电子元器件字符型号图像采集;
步骤3.芯片候选区域定位及单个字符提取;
步骤4.芯片型号的识别;
步骤5.数据处理及存储。
8.根据权利要求7所述的基于卷积神经网络的智能电能表芯片视觉识别比对方法,其特征是:所述步骤3.芯片候选区域定位及单个字符提取,包括以下步骤:
(1)采集电子元器件图像,将曝光设置为采集电子元器件字符图像的曝光时间,使电子元器件上面的字符型号与电子元器件背景对比度明显,获取清晰的电子元器件字符图像;
(2)然后对所获取的候选区域图像进行自适应阈值;所述自适应阈值采用局部二值化,降低光照不均匀产生的影响,获取更好的字符图像二值化效果;
(3)然后对自适应阈值图像进行形态学滤波,删除面积小的噪声点;
(4)对芯片区域二值化图像进行行投影,利用投影结果得到每行字符在图像上的行起点跟行终点,从而将芯片区域上的多行字符分割成多个行图像;
(5)对行字符图像进行垂直投影分割,从而分割得到多个字符区域,计算每个字符区域的宽度、长宽比及相邻字符间距,根据先验知识确定这个字符区域是否是单个字符区域;如果单个字符区域宽度过小及相邻的字符区域宽度过小,同时字符间距过小这种情况为字符断裂情况将这两个相邻区域进行合并;如果单个字符区域过大,大于两个字符区域宽度,这种情况是字符粘连情况;单独对这个字符区域进行二次分割,将列投影最小的位置作为分割位置;
(6)将处理后的单个字符区域图像进行归一化,得到单个字符归一化图像。
9.根据权利要求7所述的基于卷积神经网络的智能电能表芯片视觉识别比对方法,其特征是:所述步骤4.芯片型号的识别是将归一化的单个字符图像输入训练好的卷积神经网络模型实现数字及字母的识别;包括以下步骤:
第一:离线训练:
(1)采集电子元器件型号样本字符图像,包括数字1-9,大写字母A-Z;每个字符需要50个原始样本归一化图像,大小为28X20;
(2)使用样本扩增技术,包括将样本图像平移、旋转、图像缩放、使用膨胀腐蚀改变字体粗细及添加噪声技术使单个字符样本数量拓展至每种字符10000个;
(3)将拓展之后样本图像输入卷积神经网络模型,卷积神经网络提取每种样本图像的卷积层特征;将卷积层特征作为输入,完成卷积神经网络模型参数训练;
第二:在线识别:
(1)将单个字符图像进行归一化处理得到归一化图像,归一化单个字符的图像大小为28X20;
(2)将归一化图像作为输入,提取卷积特征输入到已经离线训练好的卷积神经网络模型分类器得到字符的种类完成字符识别。
10.根据权利要求7所述的基于卷积神经网络的智能电能表芯片视觉识别比对方法,其特征是:所述步骤5.数据处理及存储,包括:
将识别芯片型号数据的结果与招标列表清单型号进行对比,如果对招标文件列表清单型号不一致,则报警,并进行人工确认;如果型号一致,则自动将识别的芯片型号数据及电路板原始图像进行本地存储,并将识别芯片型号通过UDP通信技术录入质检业务管理***。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911083294.8A CN110909735B (zh) | 2019-11-07 | 2019-11-07 | 基于卷积神经网络的智能电能表芯片视觉识别比对***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911083294.8A CN110909735B (zh) | 2019-11-07 | 2019-11-07 | 基于卷积神经网络的智能电能表芯片视觉识别比对***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110909735A true CN110909735A (zh) | 2020-03-24 |
CN110909735B CN110909735B (zh) | 2023-12-19 |
Family
ID=69816686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911083294.8A Active CN110909735B (zh) | 2019-11-07 | 2019-11-07 | 基于卷积神经网络的智能电能表芯片视觉识别比对***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110909735B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327237A (zh) * | 2021-06-09 | 2021-08-31 | 合肥中科星翰科技有限公司 | 一种适用于电源电路板的视觉检测*** |
CN117058241A (zh) * | 2023-10-10 | 2023-11-14 | 轩创(广州)网络科技有限公司 | 一种基于人工智能的电子元件定位方法及*** |
GB2626249A (en) * | 2023-01-11 | 2024-07-17 | Skyworks Solutions Inc | A circuit board processing system using local threshold value image analysis |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102331232A (zh) * | 2011-05-19 | 2012-01-25 | 苏州千兆自动化科技有限公司 | 一种基于机器视觉的手机卡勾检测装置及检测方法 |
CN103197599A (zh) * | 2013-03-25 | 2013-07-10 | 东华大学 | 基于机器视觉的数控工作台误差自校正***及方法 |
JP2014228310A (ja) * | 2013-05-20 | 2014-12-08 | 財団法人精密機械研究発展中心 | リニア案内装置の位置検出方法 |
CN105953729A (zh) * | 2016-06-09 | 2016-09-21 | 佛山市勾股动力信息技术有限公司 | 一种移动式图像速测仪 |
-
2019
- 2019-11-07 CN CN201911083294.8A patent/CN110909735B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102331232A (zh) * | 2011-05-19 | 2012-01-25 | 苏州千兆自动化科技有限公司 | 一种基于机器视觉的手机卡勾检测装置及检测方法 |
CN103197599A (zh) * | 2013-03-25 | 2013-07-10 | 东华大学 | 基于机器视觉的数控工作台误差自校正***及方法 |
JP2014228310A (ja) * | 2013-05-20 | 2014-12-08 | 財団法人精密機械研究発展中心 | リニア案内装置の位置検出方法 |
CN105953729A (zh) * | 2016-06-09 | 2016-09-21 | 佛山市勾股动力信息技术有限公司 | 一种移动式图像速测仪 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113327237A (zh) * | 2021-06-09 | 2021-08-31 | 合肥中科星翰科技有限公司 | 一种适用于电源电路板的视觉检测*** |
GB2626249A (en) * | 2023-01-11 | 2024-07-17 | Skyworks Solutions Inc | A circuit board processing system using local threshold value image analysis |
CN117058241A (zh) * | 2023-10-10 | 2023-11-14 | 轩创(广州)网络科技有限公司 | 一种基于人工智能的电子元件定位方法及*** |
CN117058241B (zh) * | 2023-10-10 | 2024-03-29 | 轩创(广州)网络科技有限公司 | 一种基于人工智能的电子元件定位方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110909735B (zh) | 2023-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110119680B (zh) | 一种基于图像识别的电气柜接线自动查错*** | |
CN110909735B (zh) | 基于卷积神经网络的智能电能表芯片视觉识别比对***及方法 | |
CN105894036B (zh) | 一种应用于手机屏幕缺陷检测的图像特征模板匹配方法 | |
CN106570511B (zh) | 基于计算机视觉的键盘字符缺陷在线检测***和方法 | |
CN103163155B (zh) | 一种键盘缺陷检测装置及方法 | |
CN106370671A (zh) | 基于机器视觉的pcb上元器件检测***及方法 | |
CN107389701A (zh) | 一种基于图像的pcb表观缺陷自动检测***及方法 | |
CN104655641A (zh) | 一种高精密全自动fpc缺陷检测装置及检测工艺 | |
CN112053318A (zh) | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 | |
CN108460344A (zh) | 屏幕中的动态区域智能识别***及智能识别方法 | |
CN113256598B (zh) | 一种用于芯片生产的视觉检测*** | |
CN106846313A (zh) | 工件表面缺陷检测方法和装置 | |
CN108918093B (zh) | 一种滤光片镜面缺陷检测方法、装置及终端设备 | |
CN110047063B (zh) | 一种物料掉落的检测方法、装置、设备及存储介质 | |
CN109816627B (zh) | 平面玻璃元件油墨区弱小缺陷目标检测方法 | |
CN108802052A (zh) | 一种关于拉链缺陷的检测***及其检测方法 | |
CN104749801B (zh) | 高精度自动光学检测方法和*** | |
CN115866502A (zh) | 一种麦克风零件表面缺陷在线检测流程 | |
CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
CN111307817B (zh) | 一种智能产线pcb生产过程的在线检测方法及*** | |
CN112763496A (zh) | 一种手机电池表面缺陷检测装置及其检测方法 | |
CN116958052A (zh) | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 | |
CN113820322B (zh) | 一种用于种子外观品质的检测装置及方法 | |
CN115035118A (zh) | 一种基于识别模型的pcb生产线残缺检测方法及*** | |
CN111832565B (zh) | 一种基于决策树的数码管识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |