CN115100657A - 电气cad图纸扫描图的字符与带宽度的线条识别方法 - Google Patents

Abstract

本发明涉及一种电气CAD图纸扫描图的字符与带宽度的线条识别方法，属于电气CAD图纸识别技术领域。该方法将待识别的图片进行等大小的图片切割后，依次传入OCR模型进行字符检测；按字符检测结果坐标进行裁剪；将裁剪下来的字符图片送入OCR模型进行识别与筛选，对识别获得的字符区域进行坐标转换，获得字符区域在整张原图上的真实对应坐标；之后对字符、元件进行遮盖；对遮盖后的图片进行线条检测并对检测得到的线条进行分类；对纵向线条、横向线条分别进行连接合并；分别对纵向线条、横向线条、斜线进行聚类，得到线条的坐标和对应的线条宽度。本发明解决了电气CAD图纸扫描图的字符识别准确率低及无法识别线宽的问题，易于推广应用。

Description

电气CAD图纸扫描图的字符与带宽度的线条识别方法

技术领域

本发明属于电气CAD图纸识别技术领域，具体涉及一种电气CAD图纸扫描图的字符与带宽度的线条识别方法。

背景技术

在纸质电气CAD图纸扫描图转为电子版的CAD图纸的过程中，字符识别和线条识别是其中最为重要的两个部分。但当前对电气CAD图纸扫描图字符识别的效果并不是很理想，字符识别不准确，存在识别错误的问题。而对于电气CAD图的线条识别来说，图中的线条宽度是具有一定意义的，其对该电气CAD图的理解与运用存在至关重要的影响，但是当前已有的电气CAD图纸扫描图线条识别的方法并不能识别出线条的宽度。

因此，如何提高电气CAD图纸扫描图的字符识别准确率、在识别线条时对线条宽度进行处理显得尤为重要。

发明内容

本发明的目的是为了解决上述电气CAD图纸扫描图的字符识别准确率低及无法识别线宽的问题，提供一种电气CAD图纸扫描图的字符与带宽度的线条识别方法，利用OCR模型字符检测功能，结合条件筛选与传统机器学习的字符识别算法，提高字符识别的正确率；运用边缘检测的方法，结合聚类算法来对线条识别的基础上获得线条的线宽。

为实现上述目的，本发明采用的技术方案如下：

电气CAD图纸扫描图的字符与带宽度的线条识别方法，包括如下步骤：

将待识别的图片进行等大小的图片切割；

将切割后的图片依次传入OCR模型进行字符检测；

按字符检测结果坐标进行裁剪，将一个个字符图片裁剪下来；

将裁剪下来的字符图片送入OCR模型进行识别，并根据识别的正确率进行筛选，得到识别结果；所述的识别结果包括字符区域和字符内容；

对字符区域进行坐标转换，获得字符区域在整张原图上的真实对应坐标；

根据字符识别结果在原图上对字符进行遮盖，并对元件进行遮盖；

遮盖后的图片进行线条检测；

对检测得到的线条进行分类，将线条分为纵向线条、横向线条、斜线；

对纵向线条、横向线条分别进行连接合并；

分别对纵向线条、横向线条、斜线这三种线条进行聚类，得到线条的坐标和对应的线条宽度。

进一步，优选的是，将待识别的图片进行等大小的图片切割，切割成边长为550～850像素的正方形。

进一步，优选的是，将裁剪下来的字符图片送入OCR模型进行识别，当准确率低于阈值时，将识别结果删除；当识别准确率高于阈值的，则将识别结果保留；所述的阈值不小于80%。

进一步，优选的是，遮盖后的图片采用基于OpenCV的快速线条检测来获取线条数据，包括线条的起始坐标的x、y值和终点坐标的x、y值。

进一步，优选的是，将值小的x判定为起始坐标x值，将值大的x值判定为终点坐标x值，y值按对应关系进行修改。

进一步，优选的是，对检测得到的线条进行分类时，首先计算得到x和y值的偏移量；将线条的终点坐标x值减去起始坐标的x值，即可得到x值的偏移量，将线条的终点坐标y值减去起始坐标y值，即可得到y值的偏移量；

若x坐标偏移量大于阈值，且y坐标偏移量小于阈值，则线条为横向线条；

若y坐标偏移量大于阈值，且x坐标偏移量小于阈值，则线条为纵向线条；

若x坐标和y坐标的偏移量都大于阈值，则线条是一条斜线；将分类后的线条数据分开存储。

进一步，优选的是，阈值取值在5～30之间。

进一步，优选的是，分别对纵向线条、横向线条、斜线这三种线条进行聚类，得到线条的坐标和对应的线条宽度；其具体方法为：

纵向线条根据x坐标来进行聚类，并计算两线x坐标之间的差值确定线宽，横向线条根据y坐标来进行聚类，并计算两线y之间的差值确定线宽；斜线进行聚类时，计算线条的中心点坐标，并以此坐标来进行聚类与线宽的计算。

进一步，优选的是，聚类时，以线条的质心间的距离为聚类的判断依据，当线条质心间的距离小于阈值时，将两条线条认定其为一条线的两个边，即将其聚类为一条线，质心间的距离即为该聚类后线的宽度，阈值设为10～20。

本发明中线条的坐标由线条在图片上对应的像素坐标来进行表示。

本发明与现有技术相比，其有益效果为：

针对字符识别准确率低的问题，本发明提出了一种电气CAD图纸扫描图的字符与带宽度的线条识别方法，该方法基于OCR模型字符检测功能的字符框选技术，并对字符选框进行处理，将框选后的字符裁剪以后再结合机器学习（OCR模型）来进行字符识别，将字符识别算法自带的准确率做为字符识别的筛选指标进行识别结果筛选。在识别字符的基础上针对线条宽度问题，提出基于线条边缘检测，并结合阈值筛选聚类的方法进行处理，从而得到线条宽度的方法，在识别线条的基础上快速获取识别线条的线宽。本发明方法可以大大提高字符识别的准确率，可将准确率提高到93%，比现有识别技术可以提高3%的准确率。本发明方法还在提高字符识别准确率的基础上，提高线条的检测准确率，降低字符对短线条的检测干扰。

通过对本发明的运用，为实现低人工干预的纸质电气CAD扫描图转为电子版的CAD图纸提供了在字符和线条方面的必要条件。提高了纸质电气图纸的运用率，为电子化电气CAD图纸的管理与运用打下了基础。在字符和线条方面提高了识别转化的准确率与效率。

附图说明

图1是本发明电气CAD图纸扫描图的字符与带宽度的线条识别方法架构图；

图2是本发明电气CAD图纸扫描图的字符与带宽度的线条识别方法时序图；

图3是本发明电气CAD图纸扫描图的字符与带宽度的线条识别方法中基于字符识别的流程图；

图4是本发明电气CAD图纸扫描图的字符与带宽度的线条识别方法中线条识别及线条宽度计算的流程图；

图5是应用实例中字符检测结果标注图；

图6是应用实例中字符剪切图；

图7是应用实例中字符识别结果在原图上的标注图；

图8是应用实例中字符及元件遮盖后的图；

图9是应用实例中线条聚类结果表；

图10是应用实例中线条识别结果在原图上的标注图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。

电气CAD图纸扫描图的字符与带宽度的线条识别方法，包括如下步骤：

将待识别的图片进行等大小的图片切割；

将切割后的图片依次传入OCR模型进行字符检测；

按字符检测结果坐标进行裁剪，将一个个字符图片裁剪下来；

将裁剪下来的字符图片送入OCR模型进行识别，并根据识别的正确率进行筛选，得到识别结果；所述的识别结果包括字符区域和字符内容；

对字符区域进行坐标转换，获得字符区域在整张原图上的真实对应坐标；

根据字符识别结果在原图上对字符进行遮盖，并对元件进行遮盖；

遮盖后的图片进行线条检测；

对检测得到的线条进行分类，将线条分为纵向线条、横向线条、斜线；

对纵向线条、横向线条分别进行连接合并；

分别对纵向线条、横向线条、斜线这三种线条进行聚类，得到线条的坐标和对应的线条宽度。

优选方案，将待识别的图片进行等大小的图片切割，切割成边长为550～850像素的正方形。

优选方案，将裁剪下来的字符图片送入OCR模型进行识别，当准确率低于阈值时，将识别结果删除；当识别准确率高于阈值的，则将识别结果保留；所述的阈值不小于80%。

优选方案，遮盖后的图片采用基于OpenCV的快速线条检测来获取线条数据，包括线条的起始坐标的x、y值和终点坐标的x、y值。

优选方案，将值小的x判定为起始坐标x值，将值大的x值判定为终点坐标x值，y值按对应关系进行修改。

优选方案，对检测得到的线条进行分类时，首先计算得到x和y值的偏移量；将线条的终点坐标x值减去起始坐标的x值，即可得到x值的偏移量，将线条的终点坐标y值减去起始坐标y值，即可得到y值的偏移量；

若x坐标偏移量大于阈值，且y坐标偏移量小于阈值，则线条为横向线条；

若y坐标偏移量大于阈值，且x坐标偏移量小于阈值，则线条为纵向线条；

若x坐标和y坐标的偏移量都大于阈值，则线条是一条斜线；将分类后的线条数据分开存储。

优选方案，阈值取值在5～30之间。

优选方案，分别对纵向线条、横向线条、斜线这三种线条进行聚类，得到线条的坐标和对应的线条宽度；其具体方法为：

纵向线条根据x坐标来进行聚类，并计算两线x坐标之间的差值确定线宽，横向线条根据y坐标来进行聚类，并计算两线y之间的差值确定线宽；斜线进行聚类时，计算线条的中心点坐标，并以此坐标来进行聚类与线宽的计算。

优选方案，聚类时，以线条的质心间的距离为聚类的判断依据，当线条质心间的距离小于阈值时，将两条线条认定其为一条线的两个边，即将其聚类为一条线，质心间的距离即为该聚类后线的宽度，阈值设为10～20。

本发明所述的OCR模型为现有的的开源模型，可由识别所需来提供训练数据进行再次训练，从而获得更高的识别准确率，也可之间使用OCR模型进行识别，但识别准确率会有所不足。OpenCV为现有开放的python函数库。

对图片进行裁剪处理，使得图片长宽的像素大小处于550～850之间，这样能够减少字符检测漏检情况，从而提高字符检测的准确率。

将需要进行文字识别的区域进行等大小切割处理，运用OCR模型对固定大小切割后的图片进行字符检测，根据字符检测得到的坐标进行字符切割，并按切割的顺序自动进行命名，再对切割后的每一个字符图片进行单独字符识别，通过减少其余的干扰因素（将待识别字符从原图剪切下来，以减少图上其他内容，如线条、元件对字符识别的干扰），以此来减小其他因素对字符识别结果的影响。最后利用OCR自带的识别准确率来对识别结果进行筛选，当识别准确率小于阈值时，则认为识别错误，将字符识别结果从识别表中删除，当识别的准确率大于阈值时，则认为字符识别结果正确，对结果进行保留。其中，识别表的结构为字符对应图片编号、识别结果、字符在原图左上角坐标、字符在原图右下角坐标。若保留则将整条数据进行保留，若删除则删除整条数据。

本发明是通过下列技术方案来提升字符识别准确率的：

（1）图片切割处理。为了达到缩小字符识别区域的目的，需要运用OCR模型对图片进行字符检测，但字符检测的结果与进入模型的图片大小有关，所以需要对图片进行统一大小的切割。为达到较好的字符检测结果需对待识别图片进行固定大小切割，当图片的像素大小设置在550～850之间（边长为550～850像素的正方形）时，可以获得最好的检测效果，根据设定的像素将图片运用OpenCV进行等大小的切割，并将切割好的图片进行保存，以便传入OCR模型进行字符检测。

（2）字符检测。将切割后的图片传入OCR模型进行字符检测，根据模型检测的坐标结果来对字符进行剪切，因OpenCV可根据像素点进行剪切，故检测坐标也设定为像素点坐标，即可按坐标进行剪切，将剪切后的字符图片进行保存，保存后的结果留待后续步骤进行字符识别。

（3）字符识别。将剪切后的字符图片批量传入OCR模型中进行字符识别，将识别的结果和识别的准确率存贮进外切矩形坐标表中（该表在字符检测后根据字符的检测结果进行自动创建，存储了字符的编号、字符的左上角坐标、字符的右下角坐标。）。并根据准确率对识别结果进行筛选，当准确率低于阈值时，将其识别结果删除，而识别准确率高于阈值的，则将其保留。该阈值设置在80以上时，才可起到筛选的作用。

（4）字符区域坐标转换。因整张图被切割为多个等大小的区域，故每一个字符区域的坐标为每个小图所对应的坐标，需将坐标进行转换，根据切割的图像大小，以此在横坐标加上倍数所设定的切割图片长和在纵坐标上依次加上倍数所设定的切割图片宽，才可获得字符区域在整张图上的真实对应坐标。

本发明在进行线条识别时，是基于线条的边缘来进行线条识别的，根据线条的边缘生成的识别线，将线条夹在了中间，只需根据线条的边缘坐标即可计算获得线条的宽度。

本发明是通过下列技术方案来进行线条识别并获得线宽的：

（1）字符内容及元件内容遮盖。针对图片上的线条检测，需要将图片中的字符部分和元件部分的内容进行遮盖，以此来减少字符与元件中的线条对我们识别结果的干扰。

（2）线条检测。在对图片上的字符及元件进行遮盖的基础上，运用基于OpenCV的快速线条检测来获取线条数据。创建快速线条检测器类（该检测器可由OpenCV中的createFastLineDetector函数来进行创建），运用检测器类获得图像中的线条向量。在这一部分需要对线条向量进行遍历，获得线条的坐标信息并保存线条的起始坐标的x、y值和终点坐标的x、y值。在保存时需注意线条的坐标顺序，将值小的x判定为起始坐标x值，将值大的x值判定为终点坐标x值，y值按对应关系进行修改。

（3）线条信息筛选分类。根据坐标运算，得到x和y值的偏移量；根据获得的偏移量来确定线条的横纵关系，若x坐标偏移量大于阈值，且y坐标偏移量小于阈值，则线条为横向线条；若y坐标偏移量大于阈值，且x坐标偏移量小于阈值，则线条为纵向线条；若x坐标和y坐标的偏移量都大于阈值，则线条是一条斜线。将分类后的线条数据分开存储。该处阈值取值应该在5～30之间，若阈值小于5，则可能导致线条分类不明确，大于30也可能影响分类的结果。

（4）线条连接合并处理。分别对各个线条存储表（该线条存储表在线条信息筛选分类时，根据分类进行自动创建，里面存储了线条的坐标信息和线条的x和y 值偏移量）进行处理，将断开的短线条进行连接合并，使之成为一根较长的线条，其中对横向线条进行连接合并时，需要根据其x轴坐标进行处理；当对纵向线条进行连接合并时，需根据其y轴坐标进行处理，因电力CAD图的斜线一般为短斜线，故对于斜线就不需进行连接合并操作。

（5）线条数据聚类。因为存储的线条数据皆是线条检测得到的数据，所以我们需要分别对连接处理后的横向线条、纵向线条、斜线进行聚类操作，得到原有的线条的真实数据，以及待识别线条的宽度。在进行线条聚类时根据已知的线宽进行阈值的设置，该阈值根据最大线宽进行设置，若使用的是标准线宽的图片，则阈值设置在10～20可得到较好的聚类效果，纵向线条根据x坐标来进行聚类，并计算两线x坐标之间的差值确定线宽，横向线条根据y坐标来进行聚类，并计算两线y之间的差值确定线宽。当对斜线进行聚类时，就需计算线条的中心点坐标，并以此坐标来进行聚类与线宽的计算（线宽等于两个质心的差值的绝对值）。其中，聚类时，以线条的质心间的距离为聚类的判断依据，当线条质心间的距离小于阈值时，将两条线条认定其为一条线的两个边，即将其聚类为一条线，质心间的距离即为该聚类后线的宽度，阈值设为10～20。

本发明方法步骤为：

（1）将待识别的图片进行等大小的图片切割；

（2）将切割后的图片依次传入OCR模型进行字符检测；

（3）按字符检测结果坐标进行裁剪，将一个个字符图片裁剪下来；

（4）将裁剪下来的字符图片送入OCR模型进行识别，并根据识别的正确率进行筛选，得到识别结果；所述的识别结果包括字符区域和字符内容；

（5）对字符区域进行坐标转换，获得字符区域在整张原图上的真实对应坐标；

（6）根据字符识别结果在原图上对字符进行遮盖，并对元件进行遮盖；

（7）遮盖后的图片进行线条检测；

（8）对检测得到的线条进行分类，将线条分为纵向线条、横向线条、斜线；

（9）对纵向线条、横向线条分别进行连接合并；

（10）分别对纵向线条、横向线条、斜线这三种线条进行聚类，得到线条的坐标和对应的线条宽度。

应用实例

对电气CAD图纸进行等大小的切割，得到多张等大小的图片，将其中一张图片传入OCR模型进行字符检测，将检测结果进行标注，得到如图5所示的内容。

按字符检测结果对图片进行字符剪切，即可获得如图6所示的一系列图片；

将裁剪下来的字符图片送入OCR模型进行识别，并根据识别的正确率进行筛选，得到识别结果；图7为识别结果在原图上的标注；

根据字符识别结果在原图上对字符进行遮盖，并对元件进行遮盖，可获得如图8所示图片；

遮盖后的图片进行线条检测，并对检测得到的线条进行分类，将线条分为纵向线条、横向线条、斜线，可获得对应线条信息表，分别对纵向线条、横向线条、斜线这三种线条进行聚类，得到线条的坐标和对应的线条宽度。线条聚类结果表如图9所示；图9中x0为线条起始点x坐标，y0为线条起始点y坐标，x1为线条末尾x坐标，y1为线条末尾y坐标，w为线条的宽度。

线条识别结果在原图上的标注如图10所示。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.电气CAD图纸扫描图的字符与带宽度的线条识别方法，其特征在于，包括如下步骤：

将待识别的图片进行等大小的图片切割；

将切割后的图片依次传入OCR模型进行字符检测；

按字符检测结果坐标进行裁剪，将一个个字符图片裁剪下来；

将裁剪下来的字符图片送入OCR模型进行识别，并根据识别的正确率进行筛选，得到识别结果；所述的识别结果包括字符区域和字符内容；

对字符区域进行坐标转换，获得字符区域在整张原图上的真实对应坐标；

根据字符识别结果在原图上对字符进行遮盖，并对元件进行遮盖；

遮盖后的图片进行线条检测；

对检测得到的线条进行分类，将线条分为纵向线条、横向线条、斜线；

对纵向线条、横向线条分别进行连接合并；

分别对纵向线条、横向线条、斜线这三种线条进行聚类，得到线条的坐标和对应的线条宽度。

2.根据权利要求1所述电气CAD图纸扫描图的字符与带宽度的线条识别方法，其特征在于：将待识别的图片进行等大小的图片切割，切割成边长为550～850像素的正方形。

3.根据权利要求1所述电气CAD图纸扫描图的字符与带宽度的线条识别方法，其特征在于：将裁剪下来的字符图片送入OCR模型进行识别，当准确率低于阈值时，将识别结果删除；当识别准确率高于阈值的，则将识别结果保留；所述的阈值不小于80%。

4.根据权利要求1所述电气CAD图纸扫描图的字符与带宽度的线条识别方法，其特征在于：遮盖后的图片采用基于OpenCV的快速线条检测来获取线条数据，包括线条的起始坐标的x、y值和终点坐标的x、y值。

5.根据权利要求4所述电气CAD图纸扫描图的字符与带宽度的线条识别方法，其特征在于：将值小的x判定为起始坐标x值，将值大的x值判定为终点坐标x值，y值按对应关系进行修改。

6.根据权利要求1所述电气CAD图纸扫描图的字符与带宽度的线条识别方法，其特征在于：对检测得到的线条进行分类时，首先计算得到x和y值的偏移量；将线条的终点坐标x值减去起始坐标的x值，即可得到x值的偏移量，将线条的终点坐标y值减去起始坐标y值，即可得到y值的偏移量；

若x坐标偏移量大于阈值，且y坐标偏移量小于阈值，则线条为横向线条；

若y坐标偏移量大于阈值，且x坐标偏移量小于阈值，则线条为纵向线条；

若x坐标和y坐标的偏移量都大于阈值，则线条是一条斜线；将分类后的线条数据分开存储。

7.根据权利要求6所述电气CAD图纸扫描图的字符与带宽度的线条识别方法，其特征在于：阈值取值在5～30之间。

8.根据权利要求1所述电气CAD图纸扫描图的字符与带宽度的线条识别方法，其特征在于：分别对纵向线条、横向线条、斜线这三种线条进行聚类，得到线条的坐标和对应的线条宽度；其具体方法为：

纵向线条根据x坐标来进行聚类，并计算两线x坐标之间的差值确定线宽，横向线条根据y坐标来进行聚类，并计算两线y之间的差值确定线宽；斜线进行聚类时，计算线条的中心点坐标，并以此坐标来进行聚类与线宽的计算。

9.根据权利要求8所述电气CAD图纸扫描图的字符与带宽度的线条识别方法，其特征在于：聚类时，以线条的质心间的距离为聚类的判断依据，当线条质心间的距离小于阈值时，将两条线条认定其为一条线的两个边，即将其聚类为一条线，质心间的距离即为该聚类后线的宽度，阈值设为10～20。

Images