CN112733735B - 一种采用机器学习进行图纸布局分类识别的方法 - Google Patents
一种采用机器学习进行图纸布局分类识别的方法 Download PDFInfo
- Publication number
- CN112733735B CN112733735B CN202110040792.5A CN202110040792A CN112733735B CN 112733735 B CN112733735 B CN 112733735B CN 202110040792 A CN202110040792 A CN 202110040792A CN 112733735 B CN112733735 B CN 112733735B
- Authority
- CN
- China
- Prior art keywords
- layout
- image
- training
- classifying
- lines
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000010801 machine learning Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000012795 verification Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
- G06V30/422—Technical drawings; Geographical maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种采用机器学习进行图纸布局分类识别的方法,通过步骤1图纸布局特征提取,步骤2机器学习模型训练,步骤3图纸区域布局分类,从而获得图纸要素布局的分类结果,图纸要素布局的分类结果可在匹配相应布局参数后,供后续做图形边界,表格文字等处理使用。本发明能够实现对于图纸的快速分类。
Description
技术领域
本发明涉及一种用于图纸处理领域的采用机器学习进行图纸布局分类识别的方法。
背景技术
图纸是一种市政规划、工程建筑、机械设计等诸多领域的常用技术文件。在图纸打印输出为图纸电子文件后,图纸内容以图像或图形形式存在,其中所包含的大量原始要素信息就丢失了。如市政规划的详细控制图纸是电网建设规划中的重要依据和资料来源,它们在公开发布/发行时,图纸中的文字,图层,图形,色块等都已转换为图形或图像。这给使用中图纸要素信息的识别和提取带来极大不便。
由于图纸要素复杂,根据图纸中所包含的要素内容,图纸要素区域可分为图形区域、表格文字区域、标题区域、图例区域等。图纸要素布局的边界可根据图框及分割线进行划定,图纸中要素区域形状为矩形。不同来源图纸的要素布局不统一,相同类别的图纸,图框及分割线的布局位置相对固定。由于不同图纸要素区域中的内容识别和信息提取方法具有显著差异,图纸布局结构的分类识别是后续图纸要素区域内容识别和信息提取的基础,也是技术人员的主要目标。
发明内容
本发明的目的是为了克服现有技术的不足,提供一种采用机器学习进行图纸布局分类识别的方法,能够对图纸进行快速分类。
实现上述目的的一种技术方案是:一种采用机器学习进行图纸布局分类识别的方法,包括如下步骤:
步骤1,图纸布局特征提取,具体步骤如下;
步骤1.1,图形文件的图像化转换,将不同类型的图纸文件,分页转换为图纸图像;
步骤1.2,对图纸图像进行灰度化处理后,使用OTSU算法完成二值化处理,得到二值化图纸图像;
步骤1.3,二值化图纸图像,提取图纸边框及分割线的线条,通过腐蚀ERODE及膨胀DILATE算法,去除无关图像、线条噪声后,使用水平及垂直的单像素宽度矩形形态转换方法,提取图形中的水平集垂直线条,合并形成图纸的线图图像;
步骤1.4,对线图图像进行归一化处理,将不同大小的图纸线条图像缩放为统一大小;
步骤1后得到统一大小的灰度图像,即为图纸布局特征图像;
步骤2,机器学习模型训练,具体步骤如下;
步骤2.1,训练及验证数据集的准备,选择一定数量的各类型图纸文件,执行第一步的图纸布局特征提取处理,并进行人工布局分类标签;通过擦除图像中部分线条,修改线条颜色灰度的方法,生成扩展训练及验证图像集;得到满足模型训练及验证的一定规模的图纸布局特征图像集合;
步骤2.2,模型的选择与训练,使用训练图像集,测试图像集数据,基于InceptionResNetV2卷积神经网络基础模型,通过多次训练和验证,生成模型权重数据,参数如下:
优化器:RMSProp算法;
LOSS函数:Categorical Crossentropy;
步骤3,图纸区域布局分类,具体步骤如下;
步骤3.1,对待分类的图纸集合,执行第一步图纸布局特征提取的预处理过程,得到归一化的图纸要素特征图像集合;
步骤3.2,使用经第二步训练得到的模型参数,对待分类的图纸要素特征图像集合进行分类,获得图纸要素布局的分类结果;
图纸要素布局的分类结果可在匹配相应布局参数后,供后续做图形边界,表格文字等处理使用。
本发明的一种采用机器学习进行图纸布局分类识别的方法,通过图像特征提取及深度机器学习方法,为图纸要素布局分类识别提供了一种灵活、快速的方法,通过调整训练数据,该方法对通用类型图纸进行快速分类。
具体实施方式
为了能更好地对本发明的技术方案进行理解,下面通过具体地实施例进行详细地说明:
本发明的一种采用机器学习进行图纸布局分类识别的方法,包括如下步骤:
步骤1,图纸布局特征提取。图纸可以抽象化为一种格式化图像,图纸要素布局的边界是由图框及分割线组成的。特征提取过程是去除图纸中的无关图形,将图纸中的边框、分割线提取出来的过程。具体步骤如下:
步骤1.1,图形文件的图像化转换,将不同类型的图纸文件,分页转换为图纸图像;
步骤1.2,对图纸图像进行灰度化处理后,使用OTSU算法完成二值化处理,得到二值化图纸图像;
步骤1.3,二值化图纸图像,提取图纸边框及分割线的线条,通过腐蚀ERODE及膨胀DILATE算法,去除无关图像、线条噪声后,使用水平及垂直的单像素宽度矩形形态转换方法,提取图形中的水平集垂直线条,合并形成图纸的线图图像;
步骤1.4,对线图图像进行归一化处理,将不同大小(宽,高)的图纸线条图像缩放为统一大小;
步骤1后得到统一大小的灰度图像,即为图纸布局特征图像。
步骤2,机器学习模型训练。对不同应用领域的图纸布局,可以通过制定应用场景相关的训练、验证图纸布局特征图像集,利用机器学习方法,训练出相应的模型权重参数,满足通用化图纸布局分类识别需求。具体步骤如下:
步骤2.1,训练及验证数据集的准备,选择一定数量的各类型图纸文件,执行第一步的图纸布局特征提取处理,并进行人工布局分类标签;通过擦除图像中部分线条,修改线条颜色灰度的方法,生成扩展训练及验证图像集;得到满足模型训练及验证的一定规模的图纸布局特征图像集合;
步骤2.2,模型的选择与训练,使用训练图像集,测试图像集数据,基于InceptionResNetV2卷积神经网络基础模型,通过多次训练和验证,生成模型权重数据,参数如下:
优化器:RMSProp算法;
LOSS函数:Categorical Crossentropy。
以规划图纸场景为例,使用小规模图像数据(小于100份图纸)经10次epoch训练,训练结果为loss:0.0699-val_loss:0.0320,较直接使用原图纸进行机器学习训练的结果,识别率大幅提高。
步骤3,图纸区域布局分类,具体步骤如下;
步骤3.1,对待分类的图纸集合,执行第一步图纸布局特征提取的预处理过程,得到归一化的图纸要素特征图像集合;
步骤3.2,使用经第二步训练得到的模型参数,对待分类的图纸要素特征图像集合进行分类,获得图纸要素布局的分类结果。
图纸要素布局的分类结果可在匹配相应布局参数后,供后续做图形边界,表格文字等处理使用。
本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本发明,而并非用作为对本发明的限定,只要在本发明的实质精神范围内,对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
Claims (1)
1.一种采用机器学习进行图纸布局分类识别的方法,其特征在于,包括如下步骤:
步骤1,图纸布局特征提取,具体步骤如下;
步骤1.1,图形文件的图像化转换,将不同类型的图纸文件,分页转换为图纸图像;
步骤1.2,对图纸图像进行灰度化处理后,使用OTSU算法完成二值化处理,得到二值化图纸图像;
步骤1.3,二值化图纸图像,提取图纸边框及分割线的线条,通过腐蚀ERODE及膨胀DILATE算法,去除无关图像、线条噪声后,使用水平及垂直的单像素宽度矩形形态转换方法,提取图形中的水平及垂直线条,合并形成图纸的线图图像;
步骤1.4,对线图图像进行归一化处理,将不同大小的图纸线条图像缩放为统一大小;
步骤1后得到统一大小的灰度图像,即为图纸布局特征图像;
步骤2,机器学习模型训练,具体步骤如下;
步骤2.1,训练及验证数据集的准备,选择一定数量的各类型图纸文件,执行第一步的图纸布局特征提取处理,并进行人工布局分类标签;通过擦除图像中部分线条,修改线条颜色灰度的方法,生成扩展训练及验证图像集;得到满足模型训练及验证的一定规模的图纸布局特征图像集合;
步骤2.2,模型的选择与训练,使用训练图像集,测试图像集数据,基于InceptionResNetV2卷积神经网络基础模型,通过多次训练和验证,生成模型权重数据,参数如下:
优化器:RMSProp算法;
LOSS函数:Categorical Crossentropy;
步骤3,图纸区域布局分类,具体步骤如下;
步骤3.1,对待分类的图纸集合,执行第一步图纸布局特征提取的预处理过程,得到归一化的图纸要素特征图像集合;
步骤3.2,使用经第二步训练得到的模型参数,对待分类的图纸要素特征图像集合进行分类,获得图纸要素布局的分类结果;
图纸要素布局的分类结果可在匹配相应布局参数后,供后续做图形边界,表格文字处理使用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110040792.5A CN112733735B (zh) | 2021-01-13 | 2021-01-13 | 一种采用机器学习进行图纸布局分类识别的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110040792.5A CN112733735B (zh) | 2021-01-13 | 2021-01-13 | 一种采用机器学习进行图纸布局分类识别的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112733735A CN112733735A (zh) | 2021-04-30 |
CN112733735B true CN112733735B (zh) | 2024-04-09 |
Family
ID=75592819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110040792.5A Active CN112733735B (zh) | 2021-01-13 | 2021-01-13 | 一种采用机器学习进行图纸布局分类识别的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112733735B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109002841A (zh) * | 2018-06-27 | 2018-12-14 | 淮阴工学院 | 一种基于Faster-RCNN模型的建筑构件提取方法 |
CN109034159A (zh) * | 2018-05-28 | 2018-12-18 | 北京捷通华声科技股份有限公司 | 图像信息提取方法和装置 |
CN109947967A (zh) * | 2017-10-10 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质和计算机设备 |
CN110334346A (zh) * | 2019-06-26 | 2019-10-15 | 京东数字科技控股有限公司 | 一种pdf文件的信息抽取方法和装置 |
CN111242024A (zh) * | 2020-01-11 | 2020-06-05 | 北京中科辅龙科技股份有限公司 | 基于机器学习识别图纸内图例及文字的方法及*** |
CN111273905A (zh) * | 2020-01-17 | 2020-06-12 | 南京大学 | 基于界面草图的应用检索方法和装置 |
CN111401312A (zh) * | 2020-04-10 | 2020-07-10 | 深圳新致软件有限公司 | Pdf图纸文字识别方法、***以及设备 |
CN112036519A (zh) * | 2020-11-06 | 2020-12-04 | 中科创达软件股份有限公司 | 基于多位sigmoid的分类处理方法、装置及电子设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104517106B (zh) * | 2013-09-29 | 2017-11-28 | 北大方正集团有限公司 | 一种列表识别方法与*** |
-
2021
- 2021-01-13 CN CN202110040792.5A patent/CN112733735B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109947967A (zh) * | 2017-10-10 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置、存储介质和计算机设备 |
CN109034159A (zh) * | 2018-05-28 | 2018-12-18 | 北京捷通华声科技股份有限公司 | 图像信息提取方法和装置 |
CN109002841A (zh) * | 2018-06-27 | 2018-12-14 | 淮阴工学院 | 一种基于Faster-RCNN模型的建筑构件提取方法 |
CN110334346A (zh) * | 2019-06-26 | 2019-10-15 | 京东数字科技控股有限公司 | 一种pdf文件的信息抽取方法和装置 |
CN111242024A (zh) * | 2020-01-11 | 2020-06-05 | 北京中科辅龙科技股份有限公司 | 基于机器学习识别图纸内图例及文字的方法及*** |
CN111273905A (zh) * | 2020-01-17 | 2020-06-12 | 南京大学 | 基于界面草图的应用检索方法和装置 |
CN111401312A (zh) * | 2020-04-10 | 2020-07-10 | 深圳新致软件有限公司 | Pdf图纸文字识别方法、***以及设备 |
CN112036519A (zh) * | 2020-11-06 | 2020-12-04 | 中科创达软件股份有限公司 | 基于多位sigmoid的分类处理方法、装置及电子设备 |
Non-Patent Citations (1)
Title |
---|
油气长输管道检漏技术综述;苏欣;袁宗明;范小霞;谢英;;石油化工安全技术;20050725(第04期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112733735A (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Karatzas et al. | ICDAR 2011 robust reading competition-challenge 1: reading text in born-digital images (web and email) | |
Kadam et al. | Detection and localization of multiple image splicing using MobileNet V1 | |
CN106610969A (zh) | 基于多模态信息的视频内容审查***及方法 | |
CN104123550A (zh) | 基于云计算的文本扫描识别方法 | |
CN109409384A (zh) | 基于细粒度图像的图像识别方法、装置、介质及设备 | |
CN113537227B (zh) | 一种结构化文本识别方法及*** | |
CN111242024A (zh) | 基于机器学习识别图纸内图例及文字的方法及*** | |
CN112069900A (zh) | 基于卷积神经网络的票据文字识别方法及*** | |
CN113378815B (zh) | 一种场景文本定位识别的***及其训练和识别的方法 | |
CN104299009A (zh) | 基于多特征融合的车牌字符识别方法 | |
Fernandes et al. | Kannada handwritten script recognition using machine learning techniques | |
CN110738201B (zh) | 基于融合形态特征的自适应多卷积神经网络文字识别方法 | |
CN113221711A (zh) | 一种信息提取方法及装置 | |
CN110956167A (zh) | 一种基于定位字符的分类判别强化分离的方法 | |
Karanje et al. | Survey on text detection, segmentation and recognition from a natural scene images | |
CN112733735B (zh) | 一种采用机器学习进行图纸布局分类识别的方法 | |
CN112200789A (zh) | 一种图像识别的方法及装置、电子设备和存储介质 | |
CN111079742A (zh) | 一种扫描试卷中作文区域图像文本块精准定位方法 | |
CN116541912A (zh) | 一种基于cad图像识别生成接线图的方法及装置 | |
CN115965987A (zh) | 基于异构架构的表格文字结构化识别方法 | |
Ajao et al. | Yoruba handwriting word recognition quality evaluation of preprocessing attributes using information theory approach | |
Zeng et al. | Zero-Shot Chinese Character Recognition with Stroke-and Radical-Level Decompositions | |
Hukkeri et al. | Machine Learning in OCR Technology: Performance Analysis of Different OCR Methods for Slide-to-Text Conversion in Lecture Videos | |
Koundal et al. | Punjabi optical character recognition: a survey | |
CN117237971B (zh) | 基于多模态信息抽取的食品类质检报告数据抽取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |