CN115273061B - 一种基于主成分分析的图像内容层级提取方法及*** - Google Patents
一种基于主成分分析的图像内容层级提取方法及*** Download PDFInfo
- Publication number
- CN115273061B CN115273061B CN202211169113.5A CN202211169113A CN115273061B CN 115273061 B CN115273061 B CN 115273061B CN 202211169113 A CN202211169113 A CN 202211169113A CN 115273061 B CN115273061 B CN 115273061B
- Authority
- CN
- China
- Prior art keywords
- preset
- convex
- component
- gray
- principal component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 49
- 238000000513 principal component analysis Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000012847 principal component analysis method Methods 0.000 claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012216 screening Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于主成分分析的图像内容层级提取方法及***，包括：采用主成分分析的方法，将预设图片的RGB三通道变换为预设数量的新通道图片；根据预设数量的新通道图片进行灰度处理，进而生成灰度图；根据灰度图进行轮廓部件处理，生成第一部件、第二部件、第三部件；根据第一部件进行预设层级提取，获取第一预设部件，进而将第一预设部件与预设数据库存储的模板部件进行匹配，且判断是否匹配成功；若是，则将预设数据库中匹配部件的内容进行提取，若否，则采用OCR文字识别的方法对第一预设部件进行识别，且提取识别内容。本发明能够根据提供的每类指示牌的单张模板图片，提取指示牌内容。
Description
技术领域
本发明属于图像内容识别领域，特别涉及一种基于主成分分析的图像内容层级提取方法、***、计算机介质及计算机。
背景技术
近几年在交通场景中，使用图像对于指示牌内容进行识别的算法主要以深度学习为主，通常通过采集大量数据、对指示牌类别及分类进行标注从而训练深度学习的方法，可以在一定程度上做到指示牌的内容识别；但是其识别效果强烈依赖于训练所用到的数据集，只有当数据集数量足够大，图片的光照、角度、场景泛化性足够高，每种指示牌的样本均衡时，才能达到相对比较好的识别效果；目前，现有的指示牌内容识别算法，其存在只能够识别有限类型的指示牌，对于新出现的指示牌类型难以进行扩展的缺陷。
因此，目前亟需一种能够根据提供的每类指示牌的单张模板图片，提取指示牌内容的图像内容层级提取方法。
发明内容
发明目的：为了克服以上不足，本发明的目的是提供一种基于主成分分析的图像内容层级提取方法及***，其不需要样本进行训练，每类指示牌只需提供一张模板图片，就可以提取指示牌内容进行比对，从而提高指示牌内容的识别准确率，且对光照、角度、场景以及不同指示牌类型都有较强的鲁棒性。
为解决上述技术问题，本发明提供了一种基于主成分分析的图像内容层级提取方法，包括：
步骤S1：采用主成分分析的方法，将预设图片的RGB三通道变换为预设数量的新通道图片；
步骤S2：根据预设数量的新通道图片进行灰度处理，进而生成灰度图，所述灰度处理包括：灰度直方图统计，确定灰度值分割的位置，进行灰度值分割；
步骤S3：根据灰度图进行轮廓部件处理，生成第一部件、第二部件、第三部件；
步骤S4：对所有的第一部件重复执行步骤S1-步骤S3，进行预设层级的部件提取，进而获取第一预设部件，进而将第一预设部件与预设数据库存储的模板部件进行匹配，且判断是否匹配成功；
步骤S5：若是，则将预设数据库中匹配部件的内容进行提取，若否，则采用OCR文字识别的方法对第一预设部件进行识别，且提取识别内容。
优选地，将预设图片的RGB三通道变换为预设数量的新通道图片的方法为：
步骤S10：采用主成分分析的方法，将预设图片的线性相关的数据映射到线性无关的通道中；
步骤S11：使用预设图片的RGB三通道的像素值，计算主成分分析的映射矩阵，进而将图像像素转换到三个新通道图片中。
优选地，计算主成分分析的映射矩阵方法为：
步骤S100：计算预设图片
的尺寸：
，其中，
为高度，
为宽度，3为RGB三通道；
步骤S101：将预设图片
进行矩阵变换，生成原始图片像素：
，其中
，进而计算平均值：
步骤S102：计算协方差矩阵：
，其中，
步骤S103：计算协方差矩阵的特征值：
，其中
为一个特征值，同时计算协方差矩阵的特征向量：
，其中
是一个长度为3的特征向量，进而根据特征向量生成PCA矩阵：
步骤S104：将PCA矩阵作用于原始图片像素上：
，其中，
分别为三个新通道的值；
步骤S105：将三个新通道图片变换为原始图片尺寸：
，其中，
为
。
优选地，所述灰度处理的方法为：
步骤S20：对预设数量的新通道图片进行灰度直方图的统计；
步骤S21：识别灰度直方图的峰值；
步骤S22：筛选峰值，进而生成灰度分割值；
步骤S23：根据灰度分割值，将预设数量的新通道图片分割成不同灰度值范围的二值化图片。
优选地，进行轮廓部件处理的方法为：
步骤S300：将分割后的二值化图片进行轮廓搜索，生成封闭轮廓部件；
步骤S301：将封闭轮廓部件进行筛选，生成第一部件、第二部件、第三部件。
优选地，生成第一部件、第二部件、第三部件的方法为：
步骤S3010：采用轮廓提取的方法，对每个二值化图片，提取出一组封闭轮廓；
步骤S3011：过滤封闭轮廓内的第二预设部件；
步骤S3012：计算第三预设部件占各自凸型包络的面积占比，进而保留超过预设阈值的第一部件，且计算第三预设部件的周长以及拐点数，进而保留超过预设阈值的第二部件；
步骤S3013：将存在重叠区域的第一部件进行合并，且将第二部件的重叠区域进行剔除；
步骤S3014：将封闭轮廓内所有除第一部件与第二部件以外的部件提取，形成第三部件。
优选地，将第一预设部件与预设数据库存储的模板部件进行匹配的方法为：
步骤S500：采用SIFT特征匹配的方法，计算第一预设部件的第一SIFT特征，计算模板部件的第二SIFT特征；
步骤S501：将第一SIFT特征与第二SIFT特征进行预设要求的匹配，且判断第一预设部件的内容与模板部件的内容是否一致；
步骤S502：若是，则反馈模板部件的内容，若否，则采用OCR文字识别的方法进行第一预设部件的文字内容识别，进而反馈OCR文字识别后的文字内容。
本发明还提供一种基于主成分分析的图像内容层级提取***，使用一种基于主成分分析的图像内容层级提取方法对预设图片进行内容提取，包括：
转换模块，用于采用主成分分析的方法，将预设图片的RGB三通道变换为预设数量的新通道图片；
图像处理模块，用于根据预设数量的新通道图片进行灰度处理，进而生成灰度图，所述灰度处理包括：灰度直方图统计，确定灰度值分割的位置，进行灰度值分割；根据灰度图进行轮廓部件处理，生成第一部件、第二部件、第三部件；对所有的第一部件进行预设层级的部件提取，进而获取第一预设部件；
图像判断模块，用于将第一预设部件与预设数据库存储的模板部件进行匹配，且判断是否匹配成功；若是，则将预设数据库中匹配部件的内容进行提取；
文字识别模块，用于采用OCR文字识别的方法对第一预设部件进行识别，且提取识别内容。
本发明还提供一种计算机介质，所述计算机介质上存储有计算机程序，所述计算机程序被处理器执行实现所述的一种基于主成分分析的图像内容层级提取方法。
本发明还提供一种计算机，包括所述的一种计算机介质。
本发明的上述技术方案相比现有技术具有以下优点：
1、本发明所述的一种基于主成分分析的图像内容层级提取方法及***，能够基于PCA颜色变换以及灰度直方图分割的方法，使得指示牌部件提取能够抗光照、颜色的变化；且对于低对比度的图像或是颜色差异不明显的图像，在PCA转换之后颜色仍然可以有明显的区分，进而使用直方图分割后对应部件能够分别被提取出来，有效提升了部件提取的成功率；
2、通过将部件分类为凸型部件、非凸型规则部件与反色部件进行提取，可以涵盖指示牌中几乎所有的有意义的内容，可以滤去噪声和冗余的部件；且基于指示牌外形几乎均为凸型部件的特点，只需要对凸型部件进行后续的层级提取，就可以确保提取到所有需要的部件；
3、使用层级提取的方式，以获得单次提取中难以提取到的小型部件、颜色差异不大的部件；在层级较高时，由于提取范围被限定在了上一层的凸型部件内，凸型部件以外的颜色都将被排除在外，此时再计算PCA以及直方图统计时，原先RGB通道颜色相近的部件也能够得到很好的区分，有效提升了部件提取的成功率；
4、采用SIFT方法进行部件的特征匹配，其匹配结果抗角度、尺寸的变化，有效提升了部件匹配的成功率。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明的图像内容层级提取方法的流程图。
图2是本发明的封闭轮廓部件筛选方法的流程图。
图3是本发明的部件提取方法的流程图。
图4是本发明的特征匹配方法的流程图。
图5是本发明的图像内容层级提取***的模块连接图。
图6是本发明的预设图片的示意图。
图7a是本发明的预设图片的B通道示意图。
图7b是本发明的预设图片的G通道示意图。
图7c是本发明的预设图片的R通道示意图。
图7d是本发明的预设图片变换后的新B通道示意图。
图7e是本发明的预设图片变换后的新G通道示意图。
图7f是本发明的预设图片变换后的新R通道示意图。
图8a是本发明的直方图初步峰值识别的示意图。
图8b是本发明的直方图峰值筛选的示意图。
图8c是本发明的直方图分割的示意图。
图9a是本发明的灰度值分割后的第一区域二值化图片。
图9b是本发明的灰度值分割后的第二区域二值化图片。
图9c是本发明的灰度值分割后的第三区域二值化图片。
图9d是本发明的灰度值分割后的第四区域二值化图片。
图10a是本发明的凸型部件的提取示意图。
图10b是本发明的非凸型规则部件的提取示意图。
图11a是本发明的第一层提取到的凸型部件的示意图。
图11b是本发明的第一层未提取到非凸型规则部件的示意图。
图11c是本发明的第一层提取到的反色部件的示意图。
图12a是本发明的第二层未提取到凸型部件的示意图。
图12b是本发明的第二层提取到的非凸型规则部件的示意图。
图12c是本发明的第二层提取到的反色部件的示意图。
图13是本发明的第一预设部件与模板部件的匹配示意图。
说明书附图标记说明：100、转换模块，101、图像处理模块，102、图像判断模块，103、文字识别模块。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
在本发明的描述中，需要理解的是，术语“包括”意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、***、产品或设备，没有限定于已列出的步骤或单元而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
实施例一
参照图1-图2，图6-图13所示，本发明提供一种基于主成分分析的图像内容层级提取方法的实施例，包括：
步骤S1：采用主成分分析的方法，将预设图片的RGB三通道变换为预设数量的新通道图片；
在步骤S1中，具体的PCA（Principal Component Analysis，主成分分析）方法是一种数据分析方式，可以将通道间线性相关的数据映射到线性无关的通道中；所述预设图片包括但不仅限于作业人员指定的图片、指示牌图片，在本实施例中参考指示牌图片；通过PCA的方法，根据指示牌图片的RGB三个通道的像素值，计算PCA映射矩阵，将图像像素转换到三个新的通道中；且变换后，不同通道的像素值互不相关，进而使得各通道内部像素差异性增大、对比度变强。
步骤S2：根据预设数量的新通道图片进行灰度处理，进而生成灰度图，所述灰度处理包括：灰度直方图统计，确定灰度值分割的位置，进行灰度值分割；
在步骤S2中，具体的所述预设数量由作业人员根据指定需求设定，在本实施例中参考为三个，即将三个线性无关的新通道图片进行灰度处理，其包括：进行灰度直方图统计后，根据灰度直方图中峰值所在位置确定分割区域，将每个峰值对应的不同颜色的图片分别提取出来。其具体步骤包括：
步骤S200：进行各个新通道图片的灰度直方图统计，即计算灰度值范围0~255内每一阶灰度的像素数量；
步骤S201：初步寻找灰度直方图的峰值，即将每个灰度值与左右预设半径范围的灰度值比较，若其是范围内最大的灰度值，则作为初步选定的峰值位置，其中所述预设半径范围由作业人员根据实际使用需求设定；
步骤S202：进行峰值的筛选，即任选两个相邻的峰值，若两个峰值间有区域低于较高峰值一半的，则保留靠左的峰，否则去除较低峰值，直到所有峰值都被筛选过；其中，所述较高峰值、较低峰值由作业人员根据实际使用需求设定；
步骤S203：确定灰度分割值，所述灰度分割值为步骤S23筛选后的，每两个相邻峰值之间最小值对应的灰度值；
步骤S204：将新通道图片根据灰度分割值，分割成一组不同灰度值范围的二值化图片；且每张二值化图片中，像素值为1的区域为属于所分配的灰度值范围的像素，像素值为0的区域为位于所分配的灰度值范围以外的像素。
步骤S3：根据灰度图进行轮廓部件处理，生成第一部件、第二部件、第三部件；
在步骤S3中，具体所述第一部件、第二部件、第三部件由作业人员根据实际需求设定，在本实施例中，所述第一部件参考凸型部件，所述第二部件参考非凸型规则部件，所述第三部件参考反色部件；
具体的，进行轮廓部件处理的步骤为：
步骤S300：将分割后的二值化图片进行轮廓搜索，生成封闭轮廓部件；
步骤S301：将封闭轮廓部件进行筛选，提取凸型部件、非凸型规则部件、反色部件。
步骤S4：对所有的第一部件重复执行步骤S1-步骤S3，进行预设层级的部件提取，进而获取第一预设部件，进而将第一预设部件与预设数据库存储的模板部件进行匹配，且判断是否匹配成功；
在步骤S4中，首先，对于首次提取的所有凸型部件，进行下一层的提取，具体为：在首次提取的凸型部件内，再次执行步骤S1-步骤S3，并将PCA使用、直方图统计、部件筛选的范围都限制为该凸型部件内，得到新的凸型部件、非凸型规则部件、反色部件；
然后，对新的所有凸型部件进行下一层的提取，以此类推，重复对凸型部件的层级提取，直至该层没有新的凸型部件为止；
所述第一预设部件由作业人员根据实际需求设定，在本实施例中参考第一部件包含的所有凸型部件、非凸型规则部件、反色部件，所述预设数据库由作业人员根据实际需求设定，在本实施例中参考存储模板部件的模板数据库；
进而将提取的所有凸型部件与模板数据库中的模板部件进行匹配，其中，模板数据库中的模板部件包括：使用步骤S1-步骤S4应用在所有指示牌模板图上得到的部件、作业人员录入的部件；且匹配方法使用现有SIFT算法中的特征匹配。
步骤S5：若是，则将预设数据库中匹配部件的内容进行提取，若否，则采用OCR文字识别的方法对第一预设部件进行识别，且提取识别内容。
在步骤S5中，具体的，在提取的凸型部件与模板数据库中的模板部件匹配成功后，执行步骤S50：将预设数据库中匹配部件的内容进行提取，进而反馈给作业人员指定的终端设备；具体的，在提取的凸型部件与模板数据库中的模板部件匹配失败后，即执行上述步骤S1-步骤S4后，若对现有只包含文字或以文字为主的指示牌，无法识别该指示牌所包含的文字内容，则执行步骤S51：采用现有的OCR文字识别的方法对所有的第一预设部件进行识别，进而将识别内容反馈给作业人员指定的终端设备。
优选地，计算PCA映射矩阵的方法为：
步骤S100：计算预设图片
的尺寸：
，其中，
为高度，
为宽度，3为RGB三通道；
步骤S101：将预设图片
进行矩阵变换，生成原始图片像素：
，其中
，进而计算平均值：
步骤S102：计算协方差矩阵：
，其中，
为一个标量值的方差，且
步骤S103：计算协方差矩阵的特征值：
，其中
为一个特征值，同时计算协方差矩阵的特征向量：
，其中
是一个长度为3的特征向量，进而根据特征向量生成PCA矩阵：
步骤S104：将PCA矩阵作用于原始图片像素上：
，其中，
分别为三个新通道的值；
步骤S105：将三个新通道图片变换为原始图片尺寸：
，其中，
为
。
其中，图7a、图7b、图7c是图片原始的BGR三通道，可以看出图7b的G通道与图7c的R通道关联性较强，有着接近的灰度值；图7d、图7e、图7f是变换后新的三个通道，三个通道彼此相关性较弱，且各通道都有较强的明暗差异；
图8a是对第一个通道进行直方图识别峰值与分割的结果，其包含的点是初步寻峰得到的峰值点，图8a既包含了明显突出的峰值，也包含了许多较小较低的峰值；图8b是峰值筛选后的结果，过滤了相对较低和不明显的峰值；图8c是根据峰值计算的分割位置，为两峰之间的最小值位置；
图9a、图9b、图9c、图9d是将通道图片根据灰度分割位置进行分割的结果，从坐标0至坐标255依次被分为了第一区域二值化图片、第二区域二值化图片、第三区域二值化图片、第四区域二值化图片，每张二值化图片的白色区域是属于所分配的灰度值范围的像素，黑色区域是位于所分配的灰度值范围以外的像素；
图10a、图10b是将二值化图片进行部件提取，图10a中箭头1所指的线条为提取到的某个部件的外轮廓，箭头2所指的线条为计算得到的该部件的凸型包络，此部件的面积占其外接凸型包络面积较大，因此会被作为凸型部件保留；图10b中，箭头3所指的线条为另一部件的外轮廓，箭头4所指的线条是其凸型包络，由于此部件的面积占其外接凸型包络面积较小，因此会被当作非凸型规则部件保留；
图11a是提取到的所有凸型部件的结果，图11b是未提取到非凸型规则部件的结果，其中，有重叠部分的部件已经进行相关处理，例如指示牌中的箭头之前作为非凸型规则部件被提取出来，但由于与三角形指示牌重叠，因此被剔除，其可以在下一层凸型部件中进行提取；图11c是这一层级的反色部件；
图12a、图12b、图12c是对凸型部件的下一层提取结果，图12a表示未提取到凸型部件，图12b表示非凸型规则部件，所述非凸型规则部件在本层中被提取出转向箭头，图12c是这一层级的反色部件；由于这一层没有提取到新的凸型部件，因此层级提取终止；至此两层共提取出4个部件，为第一层提取到的凸型部件和反色部件、第二层提取到的非凸型规则部件和反色部件；
图13是提取部件与模板数据库中模板部件匹配的结果，图13中坐标0至100的区域是当前提取到的部件，图13中坐标200至400的区域是模板数据库中的某个已知模板部件“向左急转”，点是两者各自提取到的SIFT特征点，连线是SIFT特征点的匹配结果，其数量与一致性满足条件，因此该部件与模板部件匹配；由于模板“向左急转”仅此一个部件，因此得出预设图片的内容即是“向左急转”。
实施例二
参照图3，图9a-图12c所示，实施例二与实施例一基本相同，不同之处在于：
优选地，所述提取凸型部件、非凸型规则部件、反色部件的步骤包括：
步骤S3010：使用OpenCV轮廓提取的方法，对于每个灰度分割后的二值化图片，提取出一组封闭轮廓，且使得每个封闭轮廓对应一个部件；其中，所述提取出一组封闭轮廓，采用OpenCV轮廓提取中的findcontours函数；
步骤S3011：根据部件的面积进行过滤，去除第二预设部件，其中，所述第二预设部件包括面积占画幅比超过预设范围的部件，具体预设范围由作业人员根据实际需求设定，在本实施例中参考面积占画幅比小于0.05至面积占画幅比大于0.85的范围；
步骤S3012：采用OpenCV轮廓提取的convexhull函数，进行凸型部件的筛选，计算第三预设部件占各自凸型包络的面积占比，进而保留超过预设阈值的凸型部件；其中凸型包络是一个部件的外接最小凸多边形，进而使得整块指示牌、内部的小指示牌、部分标示内容都将被作为凸型部件保留下来；
同时进行非凸型规则部件的筛选，即计算第三预设部件的周长以及拐点数，进而保留超过预设阈值的非凸型规则部件；
其中，所述第三预设部件即指经由步骤S3011的面积过滤后，保留的部件。
步骤S3013：进行凸型部件、非凸型规则部件的组合，即对于筛选后保留的所有凸型、非凸型规则部件，将有重叠区域的凸型部件进行合并，将有重叠区域的非凸型规则部件进行重叠区域的剔除；
步骤S3014：获取反色部件，其中反色部件为画幅内所有除凸型部件、非凸型规则部件以外的部分。
实施例三
参照图4，图13所示，实施例三与实施例一基本相同，不同之处在于：
将第一预设部件与预设数据库存储的模板部件进行匹配的方法为：
步骤S500：采用现有的SIFT特征匹配的方法，计算第一预设部件的第一SIFT特征，计算模板部件的第二SIFT特征；
步骤S501：将第一SIFT特征与第二SIFT特征进行预设要求的匹配，且判断第一预设部件的内容与模板部件的内容是否一致；
步骤S502：当特征描述子匹配数量与一致性满足作业人员设定的要求时，即可认为第一预设部件与模板部件匹配；即若当前指示牌部件与模板数据库中某一模板部件的所有部件匹配，则执行步骤S5020：当前指示牌的内容与此模板部件的内容一致，将模板部件的内容反馈给作业人员指定的终端设备；
对于难以提取到的纯文字或以文字为主的指示牌部件，执行步骤S5021：采用现有的OCR文字识别方法对包含有纯文字或以文字为主的指示牌的部件，进行文字内容的识别，进而将OCR文字识别后的文字内容反馈给作业人员指定的终端设备。
实施例四
参照图1-图13所示，本发明还提供一种基于主成分分析的图像内容层级提取***的实施例，使用所述的一种基于主成分分析的图像内容层级提取方法对预设图片进行内容提取，包括：
转换模块100，用于采用主成分分析的方法，将预设图片的RGB三通道变换为预设数量的新通道图片；
图像处理模块101，用于根据预设数量的新通道图片进行灰度处理，进而生成灰度图，所述灰度处理包括：灰度直方图统计，确定灰度值分割的位置，进行灰度值分割；根据灰度图进行轮廓部件处理，生成第一部件、第二部件、第三部件；根据第一部件进行预设层级提取，获取第一预设部件；
图像判断模块102，用于将第一预设部件与预设数据库存储的模板部件进行匹配，且判断是否匹配成功；若是，则将预设数据库中匹配部件的内容进行提取；
文字识别模块103，用于采用OCR文字识别的方法对第一预设部件进行识别，且提取识别内容。
实施例五
本发明还提供一种计算机介质，所述计算机介质上存储有计算机程序，所述计算机程序被处理器执行实现所述的一种基于主成分分析的图像内容层级提取方法。
本发明还提供一种计算机，包括所述的一种计算机介质。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于主成分分析的图像内容层级提取方法，其特征在于，包括以下步骤：
步骤S1：采用主成分分析的方法，将预设图片的RGB三通道变换为预设数量的新通道图片；
步骤S2：根据预设数量的新通道图片进行灰度处理，进而生成灰度图，所述灰度处理包括：灰度直方图统计，确定灰度值分割的位置，进行灰度值分割；
步骤S3：根据灰度图进行轮廓部件处理，生成凸型部件、非凸型规则部件、反色部件；
步骤S4：对所有的凸型部件重复执行步骤S1-步骤S3，进行预设层级的部件提取，进而获取第一预设部件，进而将第一预设部件与预设数据库存储的模板部件进行匹配，且判断是否匹配成功；
步骤S5：若是，则将预设数据库中匹配部件的内容进行提取，若否，则采用OCR文字识别的方法对第一预设部件进行识别，且提取识别内容。
2.根据权利要求1所述的一种基于主成分分析的图像内容层级提取方法，其特征在于，将预设图片的RGB三通道变换为预设数量的新通道图片的方法为：
步骤S10：采用主成分分析的方法，将预设图片的线性相关的数据映射到线性无关的通道中；
步骤S11：使用预设图片的RGB三通道的像素值，计算主成分分析的映射矩阵，进而将图像像素转换到三个新通道图片中。
3.根据权利要求2所述的一种基于主成分分析的图像内容层级提取方法，其特征在于，计算主成分分析的映射矩阵方法为：
步骤S100：计算预设图片
的尺寸：
，其中，
为高度，
为宽度，3为RGB三通道；
步骤S101：将预设图片
进行矩阵变换，生成原始图片像素：
，其中
，进而计算平均值：
步骤S102：计算协方差矩阵：
，其中，
为一个标量值的方差，且
步骤S103：计算协方差矩阵的特征值：
，其中
为一个特征值，同时计算协方差矩阵的特征向量：
，其中
是一个长度为3的特征向量，进而根据特征向量生成PCA矩阵：
步骤S104：将PCA矩阵作用于原始图片像素上：
，其中，
分别为三个新通道的值；
步骤S105：将三个新通道图片变换为原始图片尺寸：
，其中，
为
。
4.根据权利要求1所述的一种基于主成分分析的图像内容层级提取方法，其特征在于，所述灰度处理的方法为：
步骤S20：对预设数量的新通道图片进行灰度直方图的统计；
步骤S21：识别灰度直方图的峰值；
步骤S22：筛选峰值，进而生成灰度分割值；
步骤S23：根据灰度分割值，将预设数量的新通道图片分割成不同灰度值范围的二值化图片。
5.根据权利要求4所述的一种基于主成分分析的图像内容层级提取方法，其特征在于，进行轮廓部件处理的方法为：
步骤S300：将分割后的二值化图片进行轮廓搜索，生成封闭轮廓部件；
步骤S301：将封闭轮廓部件进行筛选，生成凸型部件、非凸型规则部件、反色部件。
6.根据权利要求5所述的一种基于主成分分析的图像内容层级提取方法，其特征在于，生成凸型部件、非凸型规则部件、反色部件的方法为：
步骤S3010：采用轮廓提取的方法，对每个二值化图片，提取出一组封闭轮廓；
步骤S3011：过滤封闭轮廓内的第二预设部件；
步骤S3012：计算第三预设部件占各自凸型包络的面积占比，进而保留超过预设阈值的凸型部件，且计算第三预设部件的周长以及拐点数，进而保留超过预设阈值的非凸型规则部件；
步骤S3013：将存在重叠区域的凸型部件进行合并，且将非凸型规则部件的重叠区域进行剔除；
步骤S3014：将封闭轮廓内所有除凸型部件与非凸型规则部件以外的部件提取，形成反色部件。
7.根据权利要求1所述的一种基于主成分分析的图像内容层级提取方法，其特征在于，将第一预设部件与预设数据库存储的模板部件进行匹配的方法为：
步骤S50：采用SIFT特征匹配的方法，计算第一预设部件的第一SIFT特征，计算模板部件的第二SIFT特征；
步骤S51：将第一SIFT特征与第二SIFT特征进行预设要求的匹配，且判断是否匹配成功；
步骤S52：若是，则第一预设部件的内容与模板部件的内容一致，反馈模板部件的内容，若否，则采用OCR文字识别的方法进行第一预设部件的文字内容识别，反馈OCR文字识别后的文字内容。
8.一种基于主成分分析的图像内容层级提取***，其特征在于，使用权利要求1-7任一项所述的一种基于主成分分析的图像内容层级提取方法对预设图片进行内容提取，包括：
转换模块（100），用于采用主成分分析的方法，将预设图片的RGB三通道变换为预设数量的新通道图片；
图像处理模块（101），用于根据预设数量的新通道图片进行灰度处理，进而生成灰度图，所述灰度处理包括：灰度直方图统计，确定灰度值分割的位置，进行灰度值分割；根据灰度图进行轮廓部件处理，生成凸型部件、非凸型规则部件、反色部件；对所有的凸型部件进行预设层级的部件提取，进而获取第一预设部件；
图像判断模块（102），用于将第一预设部件与预设数据库存储的模板部件进行匹配，且判断是否匹配成功；若是，则将预设数据库中匹配部件的内容进行提取；
文字识别模块（103），用于采用OCR文字识别的方法对第一预设部件进行识别，且提取识别内容。
9.一种计算机介质，其特征在于，所述计算机介质上存储有计算机程序，所述计算机程序被处理器执行实现根据权利要求1-7中任一项所述的一种基于主成分分析的图像内容层级提取方法。
10.一种计算机，其特征在于，包括根据权利要求9所述的一种计算机介质。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211169113.5A CN115273061B (zh) | 2022-09-26 | 2022-09-26 | 一种基于主成分分析的图像内容层级提取方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211169113.5A CN115273061B (zh) | 2022-09-26 | 2022-09-26 | 一种基于主成分分析的图像内容层级提取方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115273061A CN115273061A (zh) | 2022-11-01 |
| CN115273061B true CN115273061B (zh) | 2023-01-17 |
Family
ID=83755992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211169113.5A Active CN115273061B (zh) | 2022-09-26 | 2022-09-26 | 一种基于主成分分析的图像内容层级提取方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115273061B (zh) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2411338C (en) * | 2002-11-07 | 2011-05-31 | Mcmaster University | Method for on-line machine vision measurement, monitoring and control of product features during on-line manufacturing processes |
| CN107103317A (zh) * | 2017-04-12 | 2017-08-29 | 湖南源信光电科技股份有限公司 | 基于图像融合和盲反卷积的模糊车牌图像识别算法 |
| CN110569833A (zh) * | 2019-09-06 | 2019-12-13 | 上海应用技术大学 | 车牌定位方法 |
-
2022
- 2022-09-26 CN CN202211169113.5A patent/CN115273061B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115273061A (zh) | 2022-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210407076A1 (en) | Multi-sample Whole Slide Image Processing in Digital Pathology via Multi-resolution Registration and Machine Learning | |
| US11282185B2 (en) | Information processing device, information processing method, and storage medium | |
| CN107609549B (zh) | 一种自然场景下证件图像的文本检测方法 | |
| CN111401372A (zh) | 一种扫描文档图文信息提取与鉴别的方法 | |
| CN110678901A (zh) | 信息处理设备、信息处理方法和程序 | |
| US8320665B2 (en) | Document image segmentation system | |
| US9965695B1 (en) | Document image binarization method based on content type separation | |
| Harraj et al. | OCR accuracy improvement on document images through a novel pre-processing approach | |
| CA2502529A1 (en) | Model of documents and method for automatically classifying a document | |
| US8189917B2 (en) | Methods and systems for locating text in a digital image | |
| US11151402B2 (en) | Method of character recognition in written document | |
| CN113158977B (zh) | 改进FANnet生成网络的图像字符编辑方法 | |
| CN111507344A (zh) | 从图像中识别出文字的方法和装置 | |
| CN110956167A (zh) | 一种基于定位字符的分类判别强化分离的方法 | |
| CN111259893A (zh) | 一种基于深度学习的智能工具管理方法 | |
| CN113392819B (zh) | 一种批量化学术图像自动分割标注装置和方法 | |
| CN113688838A (zh) | 红色笔迹提取方法、***、可读存储介质及计算机设备 | |
| CN108877030B (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
| CN117351001A (zh) | 一种再生铝合金模板表面缺陷识别方法 | |
| CN115273061B (zh) | 一种基于主成分分析的图像内容层级提取方法及*** | |
| CN108133205B (zh) | 复制图像中文本内容的方法及装置 | |
| CN115393748A (zh) | 一种基于Logo识别的侵权商标检测方法 | |
| Garain et al. | On foreground-background separation in low quality color document images | |
| Gaceb et al. | A new mixed binarization method used in a real time application of automatic business document and postal mail sorting. | |
| Lang et al. | Physical layout analysis of partly annotated newspaper images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system for extracting hierarchical image content based on principal component analysis Granted publication date: 20230117 Pledgee: Jiangsu Taicang Rural Commercial Bank Co.,Ltd. Yuewang Branch Pledgor: Fuya Intelligent Technology (Taicang) Co.,Ltd. Registration number: Y2024980017265 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |