CN112528845B - 一种基于深度学习的物理电路图识别方法及其应用 - Google Patents
一种基于深度学习的物理电路图识别方法及其应用 Download PDFInfo
- Publication number
- CN112528845B CN112528845B CN202011442651.8A CN202011442651A CN112528845B CN 112528845 B CN112528845 B CN 112528845B CN 202011442651 A CN202011442651 A CN 202011442651A CN 112528845 B CN112528845 B CN 112528845B
- Authority
- CN
- China
- Prior art keywords
- component
- edge
- circuit diagram
- physical circuit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010586 diagram Methods 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013135 deep learning Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 19
- 238000000547 structure data Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 239000002131 composite material Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000003909 pattern recognition Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000007619 statistical method Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims 4
- 230000000875 corresponding effect Effects 0.000 claims 3
- 230000006872 improvement Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
- G06V30/422—Technical drawings; Geographical maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/28—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet
- G06V30/287—Character recognition specially adapted to the type of the alphabet, e.g. Latin alphabet of Kanji, Hiragana or Katakana characters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的物理电路图识别方法及其应用,其通过获取待识别物理电路图的图像并对其进行图像增强处理;利用训练好的元器件识别神经网络模型对二值图像进行识别,以获取待识别物理电路图的所有元器件,其中,每个元器件对应一个标识ID和元件名称;生成与待识别物理电路图对应的Graph结构数据,Graph结构数据包括顶点集和边集,其中,顶点集为元器件连接线的交点集合,边集为顶点之间的连接线集合;对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列,其中,关联后的组件序列包括组件连接类型和元器件ID,利用关联后的组件序列计算目标元器件的物理属性,以实现对电路图的所有电路元器件的分类识别,以及各元器件之间的连接关系抽取。
Description
技术领域
本发明属于图像识别技术领域,具体涉及一种基于深度学习的物理电路图识别方法及其应用。
背景技术
物理电路图识别是指的通过机器对电路习题图形中的关键信息进行提取从而进一步分析图形中的知识属性。作为物理电路题自动解技术的重要前提,电路图识别的准确与否,直接影响到后续推理解答的准确率。电路图识别技术的研究是电路分析领域与模式识别领域的交叉方向。在近几十年的发展过程中来看,大多采用也也是计算机视觉领域中的图像识别方法。早期是手工设计电路单元特征,机器学习领域的分类器,近些年由于深度学习算法的快速发展,各种各样的卷积神经网络被大量运用图形识别任务上。
在深度学习方法被引入物理电路解答后,由深层神经网络的网络结构复杂、参数量大,对运行设备也产生了一些新问题,目前大多的网络都运行在无高性能图形处理器的设备上时,面临计算量过大导致处理器即使满载也无法快速迭代与运行,同时高耗电量与模型过大对于设备的续航也提出了挑战。
目前专注习题图形的识别研究尚处于起步阶段,由于不同学科的习题配图形式各不相同,其内在的知识结构往往也差别很大。在物理图文电路题的机器解答中,需要对习题中的电路图形进行识别,包括对电路图的所有电路元器件的分类识别,以及各元器件之间的连接关系抽取。面临的技术挑战表现在:(1)在元器件识别上,目前仍存在精度不高、算法规模大等问题,难以在有限计算能力的设备上进行应用;(2)在元件的知识语义理解上,传统的模式识别任务的输出无法直接参与知识计算,导致难以提取深层的知识语义。由此,导致基于该技术构建的相关机器解答***、智能导学***等无法在移动智能终端上大规模应用。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种基于深度学习的物理电路图识别方法及其应用,可以实现对电路图的所有电路元器件的分类识别,以及各元器件之间的连接关系抽取。
为实现上述目的,按照本发明的一个方面,提供了一种基于深度学习的物理电路图识别方法,该方法包括:
获取待识别物理电路图的图像并对其进行图像增强处理;
利用训练好的元器件识别神经网络模型对二值图像进行识别,以获取待识别物理电路图的所有元器件,其中,每个元器件对应一个标识ID和元件名称;
生成与待识别物理电路图对应的Graph结构数据,Graph结构数据包括顶点集和边集,其中,顶点集为元器件连接线的交点集合,边集为顶点之间的连接线集合;
对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列,其中,关联后的组件序列包括组件连接类型和元器件ID,利用关联后的组件序列计算目标元器件的物理属性。
作为本发明的进一步改进,图像增强过程包括:
色彩增强,对待识别物理电路图的图像进行直方图均衡化处理,基于对像素值统计分析结果确定二值化阈值,通过二值化处理将待识别物理电路图的图像变为二值图像;
畸变矫正,对二值图像进行直线段检测,提取横向和纵向两个方向上的长线段簇,并分别为两个方向上的长线段簇建立对应的直线方程,通过直线方程获取电路图畸变矫正参数,以实现二值图像的径向畸变矫正。
作为本发明的进一步改进,元器件识别神经网络模型的训练过程包括:
通过多个物理电路图样本图像和元器件标准图像实现元器件识别神经网络模型的训练,在训练过程中对元器件标准图像同样进行图像增强处理以提高图像识别的准确度,通过验证集的验证结果调整神经网络模型的参数和判断神经网络模型是否训练好。
作为本发明的进一步改进,元器件识别神经网络模型的结构为基于通道***和通道重组单元的图形识别网络,图形识别网络包括输入层、特征提取卷积网络和输出层,特征提取卷积网络包括图像特征基本运算单元、池化层和特征张量输出层,特征张量输出层包括中等尺寸输出通道和小尺寸输出通道。
作为本发明的进一步改进,元器件识别神经网络模型的损失函数为预测框坐标的误差值、预测结果的置信度值和预测的分类结果计算误差的总和。
作为本发明的进一步改进,顶点集的生成过程为:
移除待识别物理电路图的图像中已识别的元器件,使用直线段检测算法获得每一条连接线的起点和终点坐标,对直线段进行缺口检测并修复,统计所有与其他直线段存在交点的直线段对应的终点,以形成所述顶点集。
作为本发明的进一步改进,边集的生成过程为:
边集E为边eij的集合,边eij的起点为vi和终点vj,vi、vj均来自顶点集V,通过直线段端点的连通性分析来确定边eij,将分布在该组直线段序列上的所有元件作为边eij的属性。
作为本发明的进一步改进,对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列包括:
遍历所有边,若检测到开关,需根据开关的状态确定该边是否处于连通状态,若开关处于闭合状态,则从边属性中移除该开关,使该边处于连通状态;若开关处于断开状态,则将该边从边集E中移出;
检测可计算组件时,首先进行串联单元检测,即遍历所有边,若该边不存在开关且属性中存在多个元件,则标记该边构成一个串联单元;再进行并联单元检测,即再次遍历所有边,将所有起点和终点相同,但包含不同属性的边组成一个集合,记录该集合为一个并联单元。
作为本发明的进一步改进,对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列还包括:
对简单路径检测中标记为串联单元的边,将该边上的多个元件替换为一个虚拟的复合元件,使用该复合元件达标该边上的多个初始元件,并该复合元件更新到边集中;
对简单路径检测中标记为并联单元的边集,将该边集用一条新的复合边替换,该复合边的属性为该边集属性的并集,并该复合边更新到边集中。
为实现上述目的,按照本发明的另一个方面,提供了一种计算机可读介质其存储有可由终端设备执行的计算机程序,当该程序在终端设备上运行时,使得该终端设备执行上述方法的步骤。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
本发明的一种基于深度学习的物理电路图识别方法及其应用,其通过对待识别电路图的主要元器件进行检测及识别,再进一步地通过将待识别电路图表示为包括顶点集V和边集E的Graph结构,在此基础上对其拓扑结构进行进一步的识别,将输出包含组件连接类型和元件ID的组件,得到元件集合中不同元件相同属性之间的数学公式,从而可以利用关联后的组件序列计算目标元器件的物理属性,如通过元件ID,获取题目文本中给定的元件属性值(如电压、电流、阻值等)并带入该数学公式,从而得到题目解答所需的数学表达式。
本发明的一种基于深度学***板流行移动终端上,为机器解答技术在移动设备上部署提供技术解决思路,拓宽了电路自动分析领域的应用场景,也为当前其他基于深度神经网络的移动学习应用轻量化部署与推广。
附图说明
图1为本发明技术方案的一种基于深度学习的物理电路图识别方法的示意图;
图2为本发明技术方案的元器件类型的示意图;
图3为本发明技术方案的元器件识别神经网络模型的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面结合具体实施方式对本发明进一步详细说明。
在一个实施例中,如图1所示,提供了一种基于深度学习的物理电路图识别方法,具体包括如下步骤:
获取待识别物理电路图的图像并对其进行图像增强处理,如通过移动相机或其他图像获取设备拍摄得到相应的图像数据,图像增强处理的目的是为了减少后续电路图元器件识别过程中的图像噪声,具体地,图像增强处理包括对识别物理电路图的图像的色彩增强及畸变矫正,色彩增强即,首先对待识别图像进行直方图均衡化处理,基于对像素值统计分析结果确定二值化阈值,通过二值化处理将待识别图像变为二值图像;畸变矫正的目的是为了消除图像拍摄过程中所产生的径向畸变,首先对二值图像进行直线段检测,提取横向和纵向两个方向上的长线段簇,并分别为两个方向上的长线段簇建立对应的直线方程。对于水平分布的标准电路图来说,其在两个方向上的直线簇方程应该分别对应水平直线和垂直直线。基于该假设,电路图横向上的直线簇方程对应水平直线,电路图纵向上的直线簇方程对应垂直直线,通过直线方程获取电路图畸变矫正参数,以实现二值图像的径向畸变矫正。
利用训练好的元器件识别神经网络模型对二值图像进行识别,以获取待识别物理电路图的所有元器件。图2为本发明技术方案的元器件类型的示意图,如图2所示,每个元器件对应一个标识ID和元件名称,该ID由元器件识别统一分配,元件名称采用OCR技术直接从电路图中获取,具体地,该元器件识别神经网络模型的训练过程包括,通过多个物理电路图样本图像和元器件标准图像实现元器件识别神经网络模型的训练,优选的,在训练过程中对元器件标准图像同样进行上述的图像增强处理,以提高图像识别的准确度,和常规神经网络训练过程类似,通过验证集的验证结果调整神经网络模型的参数和判断神经网络模型是否训练好。
图3为本发明技术方案的元器件识别神经网络模型的结构示意图。如图3所示,作为一个优选的方案,为了解决深度神经网络在移动终端上的轻量化部署问题,基于网络轻量化策略,在元器件识别神经网络结构上引入通道***与通道重组单元,代替了传统的特征卷积网络,同时将多尺度输出改进为双尺度融合单输出,形成一套适用于移动终端的电路元器件图形识别网络YSNet,从而极大提升了算法实时性。其中,YSnet的网络整体结构上采用卷积特征提取层和多维度输出层的两步设计,但在特征提取部分,舍弃了含有大量运算的多层卷积残差结构,设计了一个深度为25层的卷积网络,并命名为S-lite net,其卷积基本模块为通道***单元与通道重组单元,其包括DBL层(图像特征基本运算单元)、Pooling层和DB层,DBL模块包括卷积层(卷积核为3*3,步长为2)、归一化层、ReLU(激活函数)层。DBL处理结果Pooling层,经过最大池化处理后输入DB层,由DB层实现不同尺度的特征张量输出。在输出层,针对小目标识别中的漏检问题,采用双尺度融合输出,强化中等尺寸与小尺寸通道并融合输出,降低图形目标漏检率。由于电路元器件在图形普遍占比较中等,没有必要对大尺度与小尺寸输出进行特别关注,因此在输出网络部分,只保留两个尺度输出和结构,并将13*13的特征输出进行上采样扩增至26*26,直接与输出进行通道连接。
作为另一个优选的方案,元器件识别神经网络模型选取交叉熵相加最为损失函数。具体公式如下,其中该损失函数中,针对预测与实际标签的计算全部转为在特征图的高度、宽度的偏移量,通过计算特征偏移量之差来导出损失值。其中包含三部分:第一部分是预测框坐标,包括中心坐标与高宽两项误差;第二部是对置信度进行损失计算;第三部分是对于判定类别计算损失。损失函数计算公式具体如下:
预测结果的置信度值的计算式为:
预测的分类结果计算误差的计算式为:
其中,λcoord是用于调节类别不平衡的超参数;S表示滑动网格的大小,S2表示取值为n×n,n为网格大小;B表示预测框数量;表示(i,j)处的预测框内有目标,其值为1,否则为0;(xi,yi)表示第i个预测框的中心坐标;第i个预测框内目标的中心坐标;Ci为第i个预测框内含有目标物体的概率得分,表示真实值;w,h表示预测框的宽度和高度;表示预测框内目标的宽度和高度;表示(i,j)处预测框内没有目标,其值为1,否则为0;pi(c)表示第i个预测框对应的目标类别预测概率,为第i个预测框对应的目标类别实际概率。
生成与待识别物理电路图对应的Graph结构数据,Graph结构数据包括顶点集V和边集E,其生成过程包括:
计算顶点集V,基于元器件识别结果移除待识别物理电路图中所有已识别的元器件,此时仅剩下连接线,使用直线段检测算法获得每一条连接线的起点和终点坐标。为了消除因移除元器件带来的直线段缺口,首先进行缺口检测并修复。修复后的直线段端点分为两种类型:(1)类型1,是连接线的方向转折点(如连接线由水平方向转为垂直方向);(2)类型2,是连接线的交点。至此,统计所有属于类型2的直线段终点,这些终点构成Graph的顶点集V;
计算边集E,定义边eij的起点为vi和终点vj,vi、vj均来自顶点集V,通过直线段端点的连通性分析来确定边eij,即从起点为vi到终点vj结束,搜索一条仅包含类型1端点直线段序列,从而得到边eij,将分布在该组直线段序列上的所有元件作为边eij的属性。
通过上述方式将待识别物理电路图表示为用顶点vi∈V和边eij∈E表示的Graph结构,将元器件连接线的交点作为顶点,将连接线作为边,由于元器件分布在连接线上,可以将元器件作为边的属性,以便于将元器件识别结果引入后续的知识计算。
对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列,其中,关联后的组件序列包括组件连接类型和元器件ID,利用关联后的组件序列计算目标元器件的物理属性。
其中,组件检测,即检测边eij是否包含状态组件和可计算组件。状态组件的检测方法为,遍历所有边,若检测到开关,需根据开关的状态(根据图像识别出的开关断开/闭合状态或者题目文本给定的断开/闭合信息)确定该边是否处于连通状态,若开关处于闭合状态,则从边属性中移除该开关,使该边处于连通状态;若开关处于断开状态,则将该边从边集E中移出。检测可计算组件时,首先进行串联单元检测,即遍历所有边,若该边不存在开关且属性中存在多个元件,则标记该边构成一个串联单元;然后进行并联单元检测,即再次遍历所有边,将所有起点和终点相同,但包含不同属性的边组成一个集合,记录该集合为一个并联单元;
Graph简化,其目的是为了进一步检测Graph结构中嵌套的可计算组件。Graph简化分为串联单元简化和并联单元简化。串联单元简化方法为,对简单路径检测中标记为串联单元的边,将该边上的多个元件替换为一个虚拟的复合元件,使用该复合元件达标该边上的多个初始元件,并该复合元件更新到边集中。并联单元简化方法为,对简单路径检测中标记为并联单元的边集,将该边集用一条新的复合边替换,该复合边的属性为该边集属性的并集,并该复合边更新到边集中。
通过Graph简化后的Graph结构需再次简单组件检测,构成一个处理回路,直到没有新的简单组件可以检出,并且Graph简化时没有新的串联标记和并联标记,此时退出循环,进入组件输出阶段。
组件输出,即将上述步骤的组件检测结果与原始电路图中的元器件建立关联,并输出关联后的组件序列,每个组件包含组件连接类型和元件ID。其中,组件连接类型的取值范围[1,2,3,4],分别表示开关断开、开关闭合、串联和并联四种基本类型。每个元件对应一个标识ID和元件名称,该ID由元器件识别统一分配,元件名称采用OCR技术直接从电路图中获取。
所述组件序列表示为一个二元组序列,每个二元组表示为:
comp=(connType,[eid_1,eid_2,…]),
其中,comp代表一个待输出组件,connType代表该组件连接类型,[eid_1,eid_2,…]为元件集合。
进一步,根据每个二元组comp的连接类型connType,结合物理学定理、定律等,可得到元件集合中不同元件相同属性之间的数学公式,从而可以利用待识别电路图的二元组comp计算单个元器件的物理属性,以进行物理电路图求解为示例,通过元件ID,获取需要求解的物理电路图题目文本中给定的元件属性值(如电压、电流、阻值等)并带入该数学公式,从而得到题目解答所需的数学表达式。
本发明的上述***的实现原理、技术效果与上述挖掘方法类似,此处不再赘述。
与上述挖掘方法相对应地,本发明还公开了一种计算机可读介质,其存储有可由终端设备执行的计算机程序,当程序在终端设备上运行时,使得终端设备执行上述基于深度学习的物理电路图识别方法的步骤。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
与上述挖掘方法相对应地,本发明还公开了一种终端设备,包括至少一个处理单元、以及至少一个存储单元,其中,存储单元存储有计算机程序,当程序被处理单元执行时,使得处理单元执行上述基于深度学习的物理电路图识别方法的步骤。该终端设备包括通过***总线连接的处理器、存储器和网络接口。其中,该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述基于深度学习的物理电路图识别方法。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的物理电路图识别方法,其特征在于,该方法包括:
获取待识别物理电路图的图像并对其进行图像增强处理;所述图像增强处理的过程包括:
色彩增强,对待识别物理电路图的图像进行直方图均衡化处理,基于对像素值统计分析结果确定二值化阈值,通过二值化处理将待识别物理电路图的图像变为二值图像;
畸变矫正,对二值图像进行直线段检测,提取横向和纵向两个方向上的长线段簇,并分别为两个方向上的长线段簇建立对应的直线方程,通过直线方程获取电路图畸变矫正参数,以实现二值图像的径向畸变矫正;
利用训练好的元器件识别神经网络模型对二值图像进行识别,以获取待识别物理电路图的所有元器件,其中,每个元器件对应一个标识ID和元件名称;
所述元器件识别神经网络模型的结构为基于通道***和通道重组单元的图形识别网络,所述图形识别网络包括输入层、特征提取卷积网络和输出层,所述特征提取卷积网络包括图像特征基本运算单元、池化层和特征张量输出层,所述特征张量输出层包括中等尺寸输出通道和小尺寸输出通道;
生成与待识别物理电路图对应的Graph结构数据,Graph结构数据包括顶点集和边集,其中,顶点集为元器件连接线的交点集合,边集为顶点之间的连接线集合;
对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列,其中,关联后的组件序列包括组件连接类型和元器件ID,利用关联后的组件序列计算目标元器件的物理属性;
所述对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列包括:
遍历所有边,若检测到开关,需根据开关的状态确定该边是否处于连通状态,若开关处于闭合状态,则从边属性中移除该开关,使该边处于连通状态;若开关处于断开状态,则将该边从边集E中移出;
检测可计算组件时,首先进行串联单元检测,即遍历所有边,若该边不存在开关且属性中存在多个元件,则标记该边构成一个串联单元;然后进行并联单元检测,即再次遍历所有边,将所有起点和终点相同,但包含不同属性的边组成一个集合,记录该集合为一个并联单元。
2.根据权利要求1所述的一种基于深度学习的物理电路图识别方法,其中,所述元器件识别神经网络模型的训练过程包括:
通过多个物理电路图样本图像和元器件标准图像实现元器件识别神经网络模型的训练,在训练过程中对元器件标准图像同样进行图像增强处理以提高图像识别的准确度,通过验证集的验证结果调整神经网络模型的参数和判断神经网络模型是否训练好。
3.根据权利要求1所述的一种基于深度学习的物理电路图识别方法,其中,所述元器件识别神经网络模型的损失函数为预测框坐标的误差值、预测结果的置信度值和预测的分类结果计算误差的总和。
4.根据权利要求1所述的一种基于深度学习的物理电路图识别方法,其中,所述顶点集的生成过程为:
移除待识别物理电路图的图像中已识别的元器件,使用直线段检测算法获得每一条连接线的起点和终点坐标,对直线段进行缺口检测并修复,统计所有与其他直线段存在交点的直线段对应的终点,以形成所述顶点集。
5.根据权利要求4所述的一种基于深度学习的物理电路图识别方法,其中,所述边集的生成过程为:
边集E为边eij的集合,边eij的起点为vi和终点vj,vi、vj均来自顶点集V,通过直线段端点的连通性分析来确定边eij;具体的,从起点vi到终点vj搜索一条仅包含直线段端点类型为连接线的方向转折点的直线段序列,从而得到边eij,将分布在该组直线段序列上的所有元件作为边eij的属性。
6.根据权利要求1所述的一种基于深度学习的物理电路图识别方法,其中,对生成的Graph结构数据进行组件检测和Graph简化以输出关联后的组件序列还包括:
对简单路径检测中标记为串联单元的边,将该边上的多个元件替换为一个虚拟的复合元件,使用该复合元件代替该边上的多个串联元件,并将该复合元件更新到边集中;
对简单路径检测中标记为并联单元的边集,将该边集用一条新的复合边替换,该复合边的属性为该边集属性的并集,并将该复合边更新到边集中。
7.一种计算机可读介质,其特征在于,其存储有可由终端设备执行的计算机程序,当所述程序在终端设备上运行时,使得所述终端设备执行权利要求1~6任一权利要求所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011442651.8A CN112528845B (zh) | 2020-12-11 | 2020-12-11 | 一种基于深度学习的物理电路图识别方法及其应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011442651.8A CN112528845B (zh) | 2020-12-11 | 2020-12-11 | 一种基于深度学习的物理电路图识别方法及其应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112528845A CN112528845A (zh) | 2021-03-19 |
CN112528845B true CN112528845B (zh) | 2022-09-20 |
Family
ID=75000139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011442651.8A Active CN112528845B (zh) | 2020-12-11 | 2020-12-11 | 一种基于深度学习的物理电路图识别方法及其应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112528845B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113378593B (zh) * | 2021-06-09 | 2023-05-23 | 上海闻泰信息技术有限公司 | 射频通路自动配置方法、装置、电子设备及存储介质 |
CN113255260B (zh) * | 2021-07-07 | 2021-11-09 | 北京芯愿景软件技术股份有限公司 | 简化电路图生成的方法、装置、设备及存储介质 |
CN114062894A (zh) * | 2021-10-21 | 2022-02-18 | 深圳市共进电子股份有限公司 | 电路元器件检测方法、检测装置、终端设备和存储介质 |
CN115935890B (zh) * | 2022-12-19 | 2024-05-31 | 海光集成电路设计(北京)有限公司 | 电路识别方法、装置、电子设备及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5455870A (en) * | 1991-07-10 | 1995-10-03 | Raytheon Company | Apparatus and method for inspection of high component density printed circuit board |
CN107192939A (zh) * | 2017-06-08 | 2017-09-22 | 京东方科技集团股份有限公司 | 一种电路的工作状态的检测方法及检测*** |
CN107330434A (zh) * | 2017-06-22 | 2017-11-07 | 电子科技大学 | 一种基于phog特征的电路图中电气符号识别方法 |
CN107526888A (zh) * | 2017-08-22 | 2017-12-29 | 珠海泓芯科技有限公司 | 电路拓扑结构的生成方法及生成装置 |
CN109242817A (zh) * | 2018-06-27 | 2019-01-18 | 南京富士通南大软件技术有限公司 | 基于字符串的电路元器件知识点创建与检索方法 |
CN110517260A (zh) * | 2019-08-30 | 2019-11-29 | 北京地平线机器人技术研发有限公司 | 电路板的检测方法和装置、存储介质、电子设备 |
-
2020
- 2020-12-11 CN CN202011442651.8A patent/CN112528845B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5455870A (en) * | 1991-07-10 | 1995-10-03 | Raytheon Company | Apparatus and method for inspection of high component density printed circuit board |
CN107192939A (zh) * | 2017-06-08 | 2017-09-22 | 京东方科技集团股份有限公司 | 一种电路的工作状态的检测方法及检测*** |
CN107330434A (zh) * | 2017-06-22 | 2017-11-07 | 电子科技大学 | 一种基于phog特征的电路图中电气符号识别方法 |
CN107526888A (zh) * | 2017-08-22 | 2017-12-29 | 珠海泓芯科技有限公司 | 电路拓扑结构的生成方法及生成装置 |
CN109242817A (zh) * | 2018-06-27 | 2019-01-18 | 南京富士通南大软件技术有限公司 | 基于字符串的电路元器件知识点创建与检索方法 |
CN110517260A (zh) * | 2019-08-30 | 2019-11-29 | 北京地平线机器人技术研发有限公司 | 电路板的检测方法和装置、存储介质、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112528845A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528845B (zh) | 一种基于深度学习的物理电路图识别方法及其应用 | |
CN107563381B (zh) | 基于全卷积网络的多特征融合的目标检测方法 | |
CN110796186A (zh) | 基于改进的YOLOv3网络的干湿垃圾识别分类方法 | |
CN111444821A (zh) | 一种城市道路标志自动识别方法 | |
CN109670405B (zh) | 一种基于深度学习的复杂背景行人检测方法 | |
CN109508675B (zh) | 一种针对复杂场景的行人检测方法 | |
CN105809672A (zh) | 一种基于超像素和结构化约束的图像多目标协同分割方法 | |
CN111652329B (zh) | 一种图像分类方法、装置、存储介质和电子设备 | |
CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
CN112766170B (zh) | 基于簇类无人机图像的自适应分割检测方法及装置 | |
CN110599459A (zh) | 基于深度学习的地下管网风险评估云*** | |
CN113111804B (zh) | 一种人脸检测的方法、装置、电子设备及存储介质 | |
Giang et al. | TopicFM: Robust and interpretable topic-assisted feature matching | |
JP2015036939A (ja) | 特徴抽出プログラム及び情報処理装置 | |
CN111626120A (zh) | 工业环境下基于改进的yolo-6d算法的目标检测方法 | |
CN113487610A (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
CN114333062B (zh) | 基于异构双网络和特征一致性的行人重识别模型训练方法 | |
CN113592894A (zh) | 一种基于边界框和同现特征预测的图像分割方法 | |
Cheng et al. | Water quality monitoring method based on TLD 3D fish tracking and XGBoost | |
CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
Li et al. | Underwater Target Detection Based on Improved YOLOv4 | |
Lou et al. | Research on edge detection method based on improved HED network | |
Li et al. | PaFPN-SOLO: A SOLO-based image instance segmentation algorithm | |
CN115170599A (zh) | 通过图神经网络的链路预测进行血管分割的方法和装置 | |
CN114882303A (zh) | 一种基于帧过滤和目标检测的牲畜计数方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |