CN115393861A - 一种手写体文本精准分割方法 - Google Patents
一种手写体文本精准分割方法 Download PDFInfo
- Publication number
- CN115393861A CN115393861A CN202211342704.8A CN202211342704A CN115393861A CN 115393861 A CN115393861 A CN 115393861A CN 202211342704 A CN202211342704 A CN 202211342704A CN 115393861 A CN115393861 A CN 115393861A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- column
- mutation
- points
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000011218 segmentation Effects 0.000 claims abstract description 333
- 230000035772 mutation Effects 0.000 claims abstract description 186
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 7
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/15—Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
- G06V30/244—Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Character Input (AREA)
Abstract
本发明涉及图像数据处理领域,具体涉及一种手写体文本精准分割方法,包括:获取手写体文本灰度图中的行区域及行区域中列像素点中的突变点;利用行区域中列像素点中的突变点个数获取行区域中的分割列;利用行区域中各子区域的分割列和突变点构建初始分割框;利用初始分割框中分割列中的突变点、分割列的邻域内的突变点获取分割列的相似突变点连线,进而得到初始分割框中分割列的调整必要性;利用个人书写特征框的宽度、初始分割框中分割列的列序号和调整必要性,得到初始分割框的宽度调整后的大小;根据初始分割框的宽度调整后的大小得到第二分割框,利用第二分割框对手写体文本进行分割。上述方法用于分割手写体文本,可提高分割准确性。
Description
技术领域
本发明涉及图像数据处理领域,具体涉及一种手写体文本精准分割方法。
背景技术
传统的教育中,通过老师线下布置作业,学生完成作业后交给老师由老师来进行作业的批改,或者将完成的作业拍成图片发给老师由老师进行审阅,该种方式给老师带来极大的工作量,同时当学生遇到疑难问题时,老师也没有办法进行第一时间的辅导,给学生的学习带来一定的困扰。
随着互联网的发展,为了解决线下批改作业带来的不便,出现了大量在线批改作业或者在线回答问题的技术,该技术在使用时,学生将完成的作业或遇到的疑难问题拍成照片,上传到终端,终端会自动的对拍照中的文字或者符号进行识别和匹配,利用匹配的结果获得学生拍照中的内容,然后根据获得的文字内容进行答案匹配来完成线上辅导工作或线上批改作业的工作。
在对拍照中的文字或者符号进行识别时,为了能够识别的更加精确,首先对照片中的手写体文字进行分割,将其分割为单独的块,然后进行单独的匹配,完成每个单体的识别,来提高对手写体文字的识别效果,方便后期能够完整准确的答案匹配或者完成的答案与准确答案的匹配。
目前在对拍摄的照片及手写作业照片中的文字进行分割,采用的是聚类分割方法:首先获取作业图像的图形矩阵参数,然后基于图形矩阵参数对作业图像进行切分,获取作业图像的图形块,最后基于聚类算法对切分后的图形块进行图像分割处理。然而由于手写体文本可能存在连笔情况,利用聚类算法对手写体文本进行分割的时候,可能把连笔的文字分割为同一个文字,导致手写体文本的分割准确度不高,进而影响了手写体文本的识别效果,为后期作业的批改或辅导带来极大的不便。
发明内容
本发明提供一种手写体文本精准分割方法,以解决现有的手写体文本分割方法准确度低的问题。
为达到上述目的,本发明采用如下技术方案,一种手写体文本精准分割方法,包括:
获取去噪后的手写体文本灰度图中的每一个行区域;
利用行区域中列像素点的灰度值与背景灰度值的差值获取行区域中每一列像素点中的突变点;
利用行区域中每一列像素点中的突变点个数获取疑似分割列,利用疑似分割列在行区域中的位置获取行区域中的分割列;
根据分割列在行区域中的位置获取行区域中的分割列的列序号;
将所有分割列中任意相邻的两个分割列作为边界,将行区域划分为多个子区域;
利用各子区域中的分割列和各子区域中每一列像素点中突变点的位置构建行区域中的初始分割框;
利用初始分割框中分割列中突变点的位置和灰度值、分割列的邻域内突变点的位置和灰度值,获取分割列的相似突变点连线;
计算分割列的相似突变点连线中位于初始分割框外的连线中突变点的数量占分割列的相似突变点连线中突变点的数量的比例,得到初始分割框中分割列的调整必要性;
获取个人书写特征框的宽度,利用个人书写特征框的宽度、初始分割框中分割列的列序号、初始分割框中分割列的调整必要性,计算得到初始分割框的宽度调整后的大小;
根据初始分割框的宽度调整后的大小得到第二分割框,利用第二分割框对行区域中的手写体文本进行分割。
所述一种手写体文本精准分割方法,所述行区域中每一列像素点中的突变点是按照如下方式获取:
统计去噪后的手写体文本灰度图中所有像素点的灰度值的频数;
将所有频数按照从大到小的方式进行排序,获取序列中前5个频数对应的灰度值;
计算序列中前5个频数对应的灰度值的均值,将该灰度值均值作为背景灰度值;
计算行区域中列像素点的灰度值与背景灰度值的差值;
设置灰度值差值第一阈值,对行区域中列像素点的灰度值与背景灰度值的差值进行判断:当行区域中列像素点的灰度值与背景灰度值的差值大于等于灰度值差值第一阈值时,则该列像素点为突变点;当行区域中列像素点的灰度值与背景灰度值的差值小于灰度值差值第一阈值时,则该列像素点不为突变点。
所述一种手写体文本精准分割方法,所述行区域中的分割列是按照如下方式获取:
统计行区域中每一列像素点中的突变点个数;
设置突变点个数阈值范围,对行区域中每一列像素点中的突变点个数进行判断:当行区域中列像素点中的突变点个数处于突变点个数阈值范围时,则该列为疑似分割列;当行区域中列像素点中的突变点个数不处于突变点个数阈值范围时,则该列不是疑似分割列;
将每个疑似分割列作为第一分割列,对每个第一分割列进行判断:当第一分割列的相邻列不是疑似分割列时,则将第一分割列确定为分割列;
当第一分割列的相邻列是疑似分割列时,则进行如下步骤:
将第一分割列及其相邻列划分为一个集合,得到第一集合;
将第一分割列的相邻列作为第二分割列,判断第二分割列的相邻列是否为疑似分割列,若第二分割列的相邻列是疑似分割列时,则将第二分割列的相邻列划分到第一集合,得到更新后的第一集合;
按照得到更新后的第一集合的方式对更新后的第一集合中的疑似分割列的相邻列进行迭代判断,直至更新后的第一集合中的所有疑似分割列的相邻列都不是疑似分割列时,迭代停止,得到第二集合;
将第二集合中位置最靠右的列确定为分割列。
所述一种手写体文本精准分割方法,所述行区域中的初始分割框是按照如下方式构建:
将所有分割列中任意相邻的两个分割列作为边界,将行区域划分为多个子区域;
计算每个子区域中两个分割列之间的横向距离,将横向距离作为初始分割框的宽度;
获取每个子区域中突变点的纵坐标最小值和纵坐标最大值,将该子区域中突变点的纵坐标最小值和纵坐标最大值进行作差,将差值作为初始分割框的长度;
利用初始分割框的宽度和长度、每个子区域中的分割列、每个子区域中突变点的纵坐标最小值和纵坐标最大值构建行区域中的初始分割框。
所述一种手写体文本精准分割方法,所述分割列的相似突变点连线是按照如下方式获取:
选取初始分割框的右分割列中的任意一个突变点作为第一突变点;
计算第一突变点与右分割列的相邻列中的每个突变点之间的欧式距离;
将右分割列的相邻列中与第一突变点之间的欧式距离最小的突变点作为第一突变点的匹配点;
计算第一突变点与其匹配点的灰度值差值;
设置灰度值差值第二阈值,对第一突变点与其匹配点的灰度值差值进行判断:当第一突变点与其匹配点的灰度值差值小于灰度值差值第二阈值时,则第一突变点与其匹配点相似,将两点进行连接;反之则不进行连接;
将与第一突变点相似的匹配点作为第二突变点,计算第二突变点与右侧相邻列中的每个突变点之间的欧式距离,将右侧相邻列中与第二突变点之间的欧式距离最小的突变点作为第二突变点的匹配点;
对第二突变点与其匹配点的灰度值差值进行判断:当第二突变点与其匹配点的灰度值差值小于灰度值差值第二阈值时,则第二突变点与其匹配点相似,将两点进行连接;
按照对第二突变点与其匹配点判断的方式对初始分割框外的突变点是否与右分割列中的突变点相似进行迭代判断,直至不存在初始分割框外的突变点与右分割列中的突变点相似时,迭代停止,获取过右分割列的右侧相似突变点连线;
按照获取过右分割列的右侧相似突变点连线的方法获取过右分割列的左侧相似突变点连线;
将过右分割列的右侧相似突变点连线和过右分割列的左侧相似突变点连线进行连接,获取过右分割列的相似突变点连线;
按照获取过右分割列的相似突变点连线的方法获取过左分割列的相似突变点连线。
所述一种手写体文本精准分割方法,所述初始分割框中分割列的调整必要性是按照如下方式得到:
统计初始分割框的右分割列中每一个突变点对应的过右分割列的相似突变点连线上突变点的数量,获取数量最多对应的突变点,将数量最多对应的突变点作为第三突变点;
统计第三突变点对应的过右分割列的右侧相似突变点连线上突变点的数量;
利用第三突变点对应的过右分割列的右侧相似突变点连线上突变点的数量和过右分割列的相似突变点连线上突变点的数量,计算得到初始分割框中右分割列的调整必要性;
按照得到右分割列的调整必要性的方法得到初始分割框中左分割列的调整必要性。
所述一种手写体文本精准分割方法,所述初始分割框的宽度调整后的大小是按照如下方式得到:
统计所有初始分割框的宽度的频数;
将所有频数按照从大到小的方式进行排序,获取序列中前5个频数对应的初始分割框的宽度;
计算序列中前5个频数对应的初始分割框的宽度的均值,获取个人书写特征框的宽度;
利用个人书写特征框的宽度、初始分割框中分割列的列序号、初始分割框中分割列的调整必要性,计算得到初始分割框的宽度调整后的大小。
所述一种手写体文本精准分割方法,所述去噪后的手写体文本灰度图中的每一个行区域是按照如下方式获取:
采集手写体文本图像;
对手写体文本图像进行灰度化处理,得到手写体文本灰度图;
对手写体文本灰度图进行去噪处理,得到去噪后的手写体文本灰度图;
对去噪后的手写体文本灰度图进行语义分割,得到去噪后的手写体文本灰度图中的机打划线区域;
将机打划线区域作为遮罩,对去噪后的手写体文本灰度图进行遮罩处理,获取去噪后的手写体文本灰度图中的每一个行区域。
本发明的有益效果是:本发明根据采集的图像特征,通过作业背景与手写体文字之间的灰度差异,确定初始分割框的大小。相较于聚类分割方法,该方法更加快速。本发明结合不同待测目标的个人书写特征框,以及每个初始分割框的左端分割列和右端分割列的调整必要性,对初始分割框进行调整。该方法相较于聚类分割方法,可以提高存在连笔情况时手写体文本的分割准确度,并且结合了不同待测目标的个人的书写特征对初始分割框进行调整,更具有鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种手写体文本精准分割方法流程示意图;
图2为本发明实施例提供的一种初始分割框示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的主要目的是:根据机打划线进行分割,得到每个行区域,并根据作业本的背景区域和待测目标的手写体文本之间的灰度差异,确定每列突变点,并根据突变点的位置以及数量进行分割列的确定,进而得到每个初始分割框的位置。计算每个初始分割框的左右端分割列的调整必要性,结合待测目标的个人手写体特征进行自适应调整,从而实现手写体文本的精准分割。
在学生拍摄作业上传的过程中,由于学生字迹潦草,并且每个手写字体挨的过近,可能会对分割效果产生影响。并且由于每个待测目标的手写体风格众多,随意性大,很难进行字体的精确分割。因此,本发明提供一种手写体文本精准分割方法,用于提高手写体文本的分割准确度。
本发明的一种手写体文本精准分割方法的实施例,如图1所示,包括:
S101、获取去噪后的手写体文本灰度图中的每一个行区域。
首先通过布置相机进行学生作业手写体文本图像的采集。然后对采集的图像进行加权平均灰度化处理,并对该图像进行平滑去噪,去除图像噪声。
需要说明的是,在实现学生作业的手写体文本精准分割过程中,由于学生作业的手写字体中出现字体紧挨的情况,会影响文字的分割识别,因此需要进行自适应分割手写文本。本实施例中首先需要确定初始分割框,并根据每个初始分割框中的字体内容特性,自适应调整初始分割框的大小。
本实施例根据学生的作业本含有的机打划线对行区域进行划分,其中行区域表示的是每条机打划线中间的区域,不是图像的每一行。然后根据每个行区域进行初始分割框的构建。采用语义分割对行区域进行划分,语义分割网络的具体内容为:
语义分割网络采用DNN网络,使用的数据集为采集的学生作业图像数据集;
图像数据需要分割为划线类和其他背景类,对图像集以人工标准的形式进行标签标注,其中机打划线像素属于划线类,人工标注为0;作业本其他区域属于背景类,人工标注为1;
DNN网络的主要任务是分类,因此采用的损失函数为交叉熵函数。
至此,得到了学生作业本上的机打划线区域。将机打划线区域作为遮罩,对去噪后的手写体文本灰度图进行遮罩处理,即得到了去噪后的手写体文本灰度图中的行区域,其中第i个行区域记为A。
S102、利用行区域中列像素点的灰度值与背景灰度值的差值获取行区域中每一列像素点中的突变点。
根据机打划线得到每个行区域,并根据作业本的背景区域和待测目标的手写体文本之间的灰度差异,确定每列突变点,并根据突变点的位置以及数量进行分割列的确定,进而得到每个初始分割框的位置。
通过突变点检测以及突变点分布,确定每个行区域中的分割列,从而确定初始分割框,其中分割列用于确定初始分割框的横向大小。由于行区域中包含的仅为作业本表面以及学生书写的文字,学生书写的文字相较于作业本表面,属于灰度值差值较大的突变点。作业本表面即为机打划线两两组合包含的中间作业本表面区域。
因此对第i个行区域A进行每列的突变点识别,并记录每列突变点的个数。第i个行区域A中第j列的第a个像素点的灰度值为g,该像素点是否为突变点采用下列表达式进行确定:
式中,g表示第i个行区域A中第j列的第a个像素点的灰度值;表示作业本表面不含文字区域的灰度值均值,可通过下述计算获得:在灰度图的所有像素点中,满足灰度值出现次数最多的前五个灰度值,计算这些灰度值的均值;T表示灰度值差值第一阈值,主要表征作业本中空白表面的像素点与手写文字像素点的灰度值差值阈值,可根据具体实施情况而定,本实施例给出经验值T=60。由于作业本表面不含文字区域的灰度值与手写文字像素点的灰度值差值较大,因此通过比较两者的差异,可以得到每列的突变点。然后确定每列突变点的个数,根据突变点的个数确定分割列,从而确定初始分割框大小。
S103、利用行区域中每一列像素点中的突变点个数获取疑似分割列,利用疑似分割列在行区域中的位置获取行区域中的分割列。
获取第i个行区域A中第j列的突变点的个数B。由于在文字书写的过程中,文字笔划往往在最后几笔,因此对应到初始分割框内,初始分割框的左右边界对应着突变点个数少的位置。基于此,结合第i个行区域A中第j列的突变点的个数B进行初始分割框的确定,本实施例设定分割列的确定条件:当第i个行区域A中第j列的突变点的个数B满足1≤B≤4时,第j列属于第i个行区域A中的疑似分割列。综合考虑一些文字的特殊性,比如说“一”,“二”等,若按照上述条件来分,会出现连续性的分割列,这种情况下,显然该连续的分割列不是我们想要的分割框的边界,因此通过引入连续性检测,具体如下:
将每个疑似分割列作为第一分割列,对每个第一分割列进行判断:当第一分割列的相邻列不是疑似分割列时,则将第一分割列确定为分割列;
当第一分割列的相邻列是疑似分割列时,则进行如下步骤:
将第一分割列及其相邻列划分为一个集合,得到第一集合;
将第一分割列的相邻列作为第二分割列,判断第二分割列的相邻列是否为疑似分割列,若第二分割列的相邻列是疑似分割列时,则将第二分割列的相邻列划分到第一集合,得到更新后的第一集合;
按照得到更新后的第一集合的方式对更新后的第一集合中的疑似分割列的相邻列进行迭代判断,直至更新后的第一集合中的所有疑似分割列的相邻列都不是疑似分割列时,迭代停止,得到第二集合;
将第二集合中位置最靠右的列确定为分割列。
至此,得到第i个行区域A中的所有分割列,分割列即为每个初始分割框的边界。
S104、根据分割列在行区域中的位置获取行区域中的分割列的列序号。
获取每个分割列在行区域中的位置,将其所在的列序号作为该分割列的列序号。例如:分割列在行区域中的第5列,则该分割列的列序号就是5。
S105、将所有分割列中任意相邻的两个分割列作为边界,将行区域划分为多个子区域。
将分割列按顺序两两组合,即为将任意相邻的两个分割列作为边界,将行区域划分为多个子区域。
S106、利用各子区域中的分割列和各子区域中每一列像素点中突变点的位置构建行区域中的初始分割框。
计算每个子区域中两个分割列之间的横向距离,将横向距离作为初始分割框的宽度,记第i个行区域A中第k个初始分割框的宽度为Wk。
获取每个子区域中突变点的纵坐标最小值lmin和纵坐标最大值lmax,将该子区域中突变点的纵坐标最小值和纵坐标最大值进行作差,将差值作为初始分割框的长度Lk;
至此,得到第i个行区域A中第k个初始分割框的大小为Wk×Lk。
如图2所示,第3个行区域中满足突变点个数条件的疑似分割列为第4列、第8列、第13列、第16列、第17列、第18列、第19列,第24列,则将第4列和第8列作为组合1,第8列和第13列作为组合2。在第13列与第16列中,由于第16列和第17列相差一列,则第16列不是分割列,类似此操作,直到第19列时,满足分割列条件要求,则第13列和第19列作为组合3,第19列和第24列作为组合4,分割区间结束。则在组合1中,选取第4、5、6、7、8列的最小突变点的纵坐标:5、7、5、3、8,在这些最小突变点的纵坐标中再一次选取最小的纵坐标3;类似此操作,选取第4、5、6、7、8列的最大突变点的纵坐标:15、17、20、23、18,在这些最大突变点的纵坐标中再一次选取最大的纵坐标23,则组合1对应的初始分割框的长度L=23-3=20,而构成组合1的分割列间隔为W=8-4=4,则第3个行区域中第1个初始分割框的大小为4×20。
S107、利用初始分割框中分割列中突变点的位置和灰度值、分割列的邻域内突变点的位置和灰度值,获取分割列的相似突变点连线。
根据每个初始分割框的左端分割列的突变点的分布特性以及右端分割列的突变点的分布特性,计算每个初始分割框的左端分割列的调整必要性和右端分割列的调整必要性。
对于每个行区域中所有的初始分割框,这些初始分割框仅为最初的分割大小,其中还包括一些异常的初始分割框,而这些异常初始分割框分割的文字会发生错误,因此需要对这些异常的初始分割框进行调整大小。本实施例中通过计算每个初始分割框的左端分割列与右端分割列的内容信息来表征每个初始分割框的调整必要性,并根据每个初始分割框的调整必要性进行初始分割框的调整。
每个初始分割框的调整必要性通过突变点进行分析,检测出来的每个突变点都是手写的文本像素点,由于初始分割框的两端分割列上的突变点是每个手写文本的边缘区域,若为正确的分割框,则每个左端主要为每个手写文本的偏旁部首或初始笔划处,而右端主要为每个手写文本的结尾笔划处,并且每个手写字体的笔划的灰度变化方向是相似的,即手写文本的每个笔划都是具有方向性的。基于此,本实施例通过每个初始分割框的两端分割列的突变点的特性,计算分割列上的突变点的灰度变化趋势得到每个初始分割框的调整必要性。
记第i个行区域A中第k个初始分割框的左端分割列为R,右端分割列为Z,计算两端分割列的突变点与其周围邻域突变点的分布关系。以右端分割列Z的第h个突变点Ph为例,得到该点的灰度值G,计算与右端分割列Z的左右相邻列上的突变点的灰度值差值。在计算右端分割列与相邻列的突变点的灰度值差值时,由于列上的突变点不是一一对应的,因此需要先对右端分割列与相邻列的突变点进行一一匹配,结合手写笔划的特性,进行相邻列突变点的匹配计算:计算右端分割列的突变点与相邻列的突变点之间的欧式距离,其中与右端分割列的突变点的欧式距离最近的相邻列的突变点即为Ph的匹配点Ph`,右端列的左右列都计算,右端分割列的左右列都有对应匹配的突变点,本实施例以右列为例。
计算Ph和Ph`之间的灰度值差值,设置灰度值差值第二阈值t,可根据具体实施情况而定,本实施例给出经验值t=5。
当Ph和Ph`之间的灰度值差值小于t时,则Ph和Ph`相似,属于同一个笔划,将两点进行连接;反之则不进行连接;
将Ph`作为第二突变点,计算Ph`与右侧相邻列中的每个突变点之间的欧式距离,将右侧相邻列中与Ph`之间的欧式距离最小的突变点作为Ph`的匹配点;
对Ph`与其匹配点的灰度值差值进行判断:当Ph`与其匹配点的灰度值差值小于t时,则Ph`及其匹配点相似,将两点进行连接;
依次对初始分割框外的突变点是否与右分割列中的突变点相似进行迭代判断,直至不存在初始分割框外的突变点与右分割列中的突变点相似时,迭代停止,获取过右分割列的右侧相似突变点连线;
按照获取过右分割列的右侧相似突变点连线的方法获取过右分割列的左侧相似突变点连线;
将过右分割列的右侧相似突变点连线和过右分割列的左侧相似突变点连线进行连接,获取过右分割列的相似突变点连线;
按照获取过右分割列的相似突变点连线的方法获取过左分割列的相似突变点连线;
至此,获取初始分割框的分割列中每一个突变点对应的相似突变点连线。
S108、计算分割列的相似突变点连线中位于初始分割框外的连线中突变点的数量占分割列的相似突变点连线中突变点的数量的比例,得到初始分割框中分割列的调整必要性。
需要说明的是,过右分割列的相似突变点连线,即存在过初始分割框的笔划,若过右分割列的右侧相似突变点连线上的突变点的数量占整个连线的突变点数量越多,则初始分割框的调整必要性越大;反之则初始分割框的右端分割列分割准确。
统计初始分割框的分割列中每一个突变点对应的过右分割列的相似突变点连线上突变点的数量,获取数量最多对应的突变点,将数量最多对应的突变点记为pc;
统计突变点pc对应的过右分割列的右侧相似突变点连线上突变点的数量;
利用突变点pc对应的过右分割列的右侧相似突变点连线上突变点的数量和过右分割列的相似突变点连线上突变点的数量,得到初始分割框中右分割列的调整必要性;
初始分割框中右分割列的调整必要性的计算表达式如下:
式中,D表示初始分割框中右分割列的调整必要性,n表示突变点pc对应的过右分割列的右侧相似突变点连线上突变点的数量,N表示突变点pc对应的过右分割列的相似突变点连线上突变点的数量, 表示第i个行区域A中第k个初始分割框的超过右端分割列的突变点的数量比例阈值,其中S表示为整数,用于表征比例数,可根据具体实施情况而定,本实施例给出经验参考值S=6;[·]表示取整函数。其中, 表示过右分割列的右侧相似突变点连线上突变点的数量占整个连线的突变点数量的比例,来表示初始分割框右端分割列的调整必要性,即对于连线中,超过右端分割列的突变点数量越多,表明连线构成的笔划在框外的越多。若仅有很少部分超过右端分割列,即n很小,则表明超过右端分割列的笔划为很小一部分,可以忽略,因此该初始分割框右端分割列的调整必要性为0。由于分析的为右端分割列,则仅需考虑右端分割列的右边的突变点的数量,而左端分割列与其相反,考虑的为左端分割列的左边的突变点的数量。若有很大一部分超过右端分割列,即n很大,则n越大,其占整体连线的比例越大,相应的调整必要性越大。
按照得到右分割列的调整必要性的方法得到初始分割框中左分割列的调整必要性。计算左端分割列的调整必要性时,需要计算左端分割列的过左列的连线上占整个连线上的比例。同样,可以得到所有初始分割框的左端分割列的调整必要性以及右端分割列的调整必要性。
S109、获取个人书写特征框的宽度,利用个人书写特征框的宽度、初始分割框中分割列的列序号、初始分割框中分割列的调整必要性,计算得到初始分割框的宽度调整后的大小。
根据每个初始分割框的左端分割列的调整必要性以及右端分割列的调整必要性,并根据待测目标的个人书写特征框,对每个初始分割框的大小进行调整。调整必要性越大,对应的调整权重越大,进而调整量就越大。
为了充分考虑待测目标的手写体文本的特征习惯,因此本实施例通过统计每个初始分割框的宽度出现的频数,通过确定频数最多的前5个宽度的均值,作为待测目标手写体文本的个人书写特征框的宽度。其中待测目标手写体文本的个人书写特征框的宽度的计算表达式为:
式中, E表示待测目标手写体文本的个人书写特征框的宽度,Mf表示频数最多的前5个宽度中的第f个初始分割框的宽度,[·]表示取整函数。其中,本实施例根据每个待测目标的手写体文本的书写特点,即通过统计前5个出现频数最多的初始分割框的宽度得到个人书写特征框的宽度,结合了个人书写风格,可以适用各种手写体文本风格。此处利用频数最多的初始分割框的宽度是因为出现频数越大,越能表示个人书写特征。
初始分割框的宽度调整后的大小的计算表达式为:
式中,Wk`表示第i个行区域A中第k个初始分割框的宽度调整后的大小,r表示第i个行区域A中第k个初始分割框的左端分割列的列序号,d表示第i个行区域A中第k个初始分割框的左端分割列的调整必要性,E表示待测目标手写体文本的个人书写特征框的宽度,z表示第i个行区域A中第k个初始分割框的右端分割列的列序号,D表示第i个行区域A中第k个初始分割框的右端分割列的调整必要性。[·]表示取整函数。[dE]表示将调整必要性作为左端分割列的调整权重,与待测目标手写体文本的个人书写特征框的宽度进行乘积运算,计算得到的为分割框左端分割列的调整大小;[DE]表示将调整必要性作为右端分割列的调整权重,与待测目标手写体文本的个人书写特征框的宽度进行乘积运算,计算得到的为分割框右端分割列的调整大小。此处结合了不同待测目标的个人的书写特征对初始分割框进行调整,更具有鲁棒性。(r-[dE])表示第i个行区域A中第k个初始分割框的左端分割列调整后的列序号;(z+[DE])表示第i个行区域A中第k个初始分割框的右端分割列调整后的列序号。其中,利用个人书写特征框的宽度、初始分割框中分割列的列序号、初始分割框中分割列的调整必要性,对初始分割框的宽度进行调整。将初始分割框的宽度分为左框大小、右框大小,进行调整量计算,调整必要性越大,相应的调整权重就越大。
S110、根据初始分割框的宽度调整后的大小得到第二分割框,利用第二分割框对行区域中的手写体文本进行分割。
根据初始分割框的宽度调整后的大小得到第二分割框,利用第二分割框对待测目标的手写体文本进行分割提取,对每个分割框提取的文字进行识别分析,利用模板匹配的方法,与服务器云端中的数据库文字集进行模板匹配,利用OCR算法技术,对每个分割框内的文字进行识别处理,输出的为识别的字符。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种手写体文本精准分割方法,其特征在于,包括:
获取去噪后的手写体文本灰度图中的每一个行区域;
利用行区域中列像素点的灰度值与背景灰度值的差值获取行区域中每一列像素点中的突变点;
利用行区域中每一列像素点中的突变点个数获取疑似分割列,利用疑似分割列在行区域中的位置获取行区域中的分割列;
根据分割列在行区域中的位置获取行区域中的分割列的列序号;
将所有分割列中任意相邻的两个分割列作为边界,将行区域划分为多个子区域;
利用各子区域中的分割列和各子区域中每一列像素点中突变点的位置构建行区域中的初始分割框;
利用初始分割框中分割列中突变点的位置和灰度值、分割列的邻域内突变点的位置和灰度值,获取分割列的相似突变点连线;
计算分割列的相似突变点连线中位于初始分割框外的连线中突变点的数量占分割列的相似突变点连线中突变点的数量的比例,得到初始分割框中分割列的调整必要性;
获取个人书写特征框的宽度,利用个人书写特征框的宽度、初始分割框中分割列的列序号、初始分割框中分割列的调整必要性,计算得到初始分割框的宽度调整后的大小;
根据初始分割框的宽度调整后的大小得到第二分割框,利用第二分割框对行区域中的手写体文本进行分割。
2.根据权利要求1所述的一种手写体文本精准分割方法,其特征在于,所述行区域中每一列像素点中的突变点是按照如下方式获取:
统计去噪后的手写体文本灰度图中所有像素点的灰度值的频数;
将所有频数按照从大到小的方式进行排序,获取序列中前5个频数对应的灰度值;
计算序列中前5个频数对应的灰度值的均值,将该灰度值均值作为背景灰度值;
计算行区域中列像素点的灰度值与背景灰度值的差值;
设置灰度值差值第一阈值,对行区域中列像素点的灰度值与背景灰度值的差值进行判断:当行区域中列像素点的灰度值与背景灰度值的差值大于等于灰度值差值第一阈值时,则该列像素点为突变点;当行区域中列像素点的灰度值与背景灰度值的差值小于灰度值差值第一阈值时,则该列像素点不为突变点。
3.根据权利要求1所述的一种手写体文本精准分割方法,其特征在于,所述行区域中的分割列是按照如下方式获取:
统计行区域中每一列像素点中的突变点个数;
设置突变点个数阈值范围,对行区域中每一列像素点中的突变点个数进行判断:当行区域中列像素点中的突变点个数处于突变点个数阈值范围时,则该列为疑似分割列;当行区域中列像素点中的突变点个数不处于突变点个数阈值范围时,则该列不是疑似分割列;
将每个疑似分割列作为第一分割列,对每个第一分割列进行判断:当第一分割列的相邻列不是疑似分割列时,则将第一分割列确定为分割列;
当第一分割列的相邻列是疑似分割列时,则进行如下步骤:
将第一分割列及其相邻列划分为一个集合,得到第一集合;
将第一分割列的相邻列作为第二分割列,判断第二分割列的相邻列是否为疑似分割列,若第二分割列的相邻列是疑似分割列时,则将第二分割列的相邻列划分到第一集合,得到更新后的第一集合;
按照得到更新后的第一集合的方式对更新后的第一集合中的疑似分割列的相邻列进行迭代判断,直至更新后的第一集合中的所有疑似分割列的相邻列都不是疑似分割列时,迭代停止,得到第二集合;
将第二集合中位置最靠右的列确定为分割列。
4.根据权利要求1所述的一种手写体文本精准分割方法,其特征在于,所述行区域中的初始分割框是按照如下方式构建:
将所有分割列中任意相邻的两个分割列作为边界,将行区域划分为多个子区域;
计算每个子区域中两个分割列之间的横向距离,将横向距离作为初始分割框的宽度;
获取每个子区域中突变点的纵坐标最小值和纵坐标最大值,将该子区域中突变点的纵坐标最小值和纵坐标最大值进行作差,将差值作为初始分割框的长度;
利用初始分割框的宽度和长度、每个子区域中的分割列、每个子区域中突变点的纵坐标最小值和纵坐标最大值构建行区域中的初始分割框。
5.根据权利要求1所述的一种手写体文本精准分割方法,其特征在于,所述分割列的相似突变点连线是按照如下方式获取:
选取初始分割框的右分割列中的任意一个突变点作为第一突变点;
计算第一突变点与右分割列的相邻列中的每个突变点之间的欧式距离;
将右分割列的相邻列中与第一突变点之间的欧式距离最小的突变点作为第一突变点的匹配点;
计算第一突变点与其匹配点的灰度值差值;
设置灰度值差值第二阈值,对第一突变点与其匹配点的灰度值差值进行判断:当第一突变点与其匹配点的灰度值差值小于灰度值差值第二阈值时,则第一突变点与其匹配点相似,将两点进行连接;反之则不进行连接;
将与第一突变点相似的匹配点作为第二突变点,计算第二突变点与右侧相邻列中的每个突变点之间的欧式距离,将右侧相邻列中与第二突变点之间的欧式距离最小的突变点作为第二突变点的匹配点;
对第二突变点与其匹配点的灰度值差值进行判断:当第二突变点与其匹配点的灰度值差值小于灰度值差值第二阈值时,则第二突变点与其匹配点相似,将两点进行连接;
按照对第二突变点与其匹配点判断的方式对初始分割框外的突变点是否与右分割列中的突变点相似进行迭代判断,直至不存在初始分割框外的突变点与右分割列中的突变点相似时,迭代停止,获取过右分割列的右侧相似突变点连线;
按照获取过右分割列的右侧相似突变点连线的方法获取过右分割列的左侧相似突变点连线;
将过右分割列的右侧相似突变点连线和过右分割列的左侧相似突变点连线进行连接,获取过右分割列的相似突变点连线;
按照获取过右分割列的相似突变点连线的方法获取过左分割列的相似突变点连线。
6.根据权利要求1所述的一种手写体文本精准分割方法,其特征在于,所述初始分割框中分割列的调整必要性是按照如下方式得到:
统计初始分割框的右分割列中每一个突变点对应的过右分割列的相似突变点连线上突变点的数量,获取数量最多对应的突变点,将数量最多对应的突变点作为第三突变点;
统计第三突变点对应的过右分割列的右侧相似突变点连线上突变点的数量;
利用第三突变点对应的过右分割列的右侧相似突变点连线上突变点的数量和过右分割列的相似突变点连线上突变点的数量,计算得到初始分割框中右分割列的调整必要性;
按照得到右分割列的调整必要性的方法得到初始分割框中左分割列的调整必要性。
7.根据权利要求1所述的一种手写体文本精准分割方法,其特征在于,所述初始分割框的宽度调整后的大小是按照如下方式得到:
统计所有初始分割框的宽度的频数;
将所有频数按照从大到小的方式进行排序,获取序列中前5个频数对应的初始分割框的宽度;
计算序列中前5个频数对应的初始分割框的宽度的均值,获取个人书写特征框的宽度;
利用个人书写特征框的宽度、初始分割框中分割列的列序号、初始分割框中分割列的调整必要性,计算得到初始分割框的宽度调整后的大小。
8.根据权利要求1所述的一种手写体文本精准分割方法,其特征在于,所述去噪后的手写体文本灰度图中的每一个行区域是按照如下方式获取:
采集手写体文本图像;
对手写体文本图像进行灰度化处理,得到手写体文本灰度图;
对手写体文本灰度图进行去噪处理,得到去噪后的手写体文本灰度图;
对去噪后的手写体文本灰度图进行语义分割,得到去噪后的手写体文本灰度图中的机打划线区域;
将机打划线区域作为遮罩,对去噪后的手写体文本灰度图进行遮罩处理,获取去噪后的手写体文本灰度图中的每一个行区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211342704.8A CN115393861B (zh) | 2022-10-31 | 2022-10-31 | 一种手写体文本精准分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211342704.8A CN115393861B (zh) | 2022-10-31 | 2022-10-31 | 一种手写体文本精准分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115393861A true CN115393861A (zh) | 2022-11-25 |
CN115393861B CN115393861B (zh) | 2023-01-31 |
Family
ID=84114961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211342704.8A Active CN115393861B (zh) | 2022-10-31 | 2022-10-31 | 一种手写体文本精准分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115393861B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620333A (zh) * | 2022-12-05 | 2023-01-17 | 蓝舰信息科技南京有限公司 | 基于人工智能的试卷自动纠错方法 |
CN117475438A (zh) * | 2023-10-23 | 2024-01-30 | 北京点聚信息技术有限公司 | 基于ocr技术的扫描文件矢量化转换方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10124289A (ja) * | 1996-06-27 | 1998-05-15 | Xerox Corp | バイナリデータエンコード方法 |
CN102663378A (zh) * | 2012-03-22 | 2012-09-12 | 杭州新锐信息技术有限公司 | 连笔手写字符的识别方法 |
CN105374015A (zh) * | 2015-10-27 | 2016-03-02 | 湖北工业大学 | 基于局部对比度和笔画宽度估计的低质量文档图像二值化方法 |
CN107622271A (zh) * | 2016-07-15 | 2018-01-23 | 科大讯飞股份有限公司 | 手写文本行提取方法及*** |
US20180089525A1 (en) * | 2016-09-29 | 2018-03-29 | Konica Minolta Laboratory U.S.A., Inc. | Method for line and word segmentation for handwritten text images |
CN109727363A (zh) * | 2018-11-16 | 2019-05-07 | 恒银金融科技股份有限公司 | 一种在票据中识别大写金额的方法 |
CN109740605A (zh) * | 2018-12-07 | 2019-05-10 | 天津大学 | 一种基于cnn的手写中文文本识别方法 |
US20210365708A1 (en) * | 2020-05-25 | 2021-11-25 | Northwest Minzu University | Method and system for segmenting touching text lines in image of uchen-script *** historical document |
CN115171124A (zh) * | 2022-09-07 | 2022-10-11 | 江苏巨信众汇数字科技有限公司 | 用于手写汉字识别的文本分割方法 |
-
2022
- 2022-10-31 CN CN202211342704.8A patent/CN115393861B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10124289A (ja) * | 1996-06-27 | 1998-05-15 | Xerox Corp | バイナリデータエンコード方法 |
CN102663378A (zh) * | 2012-03-22 | 2012-09-12 | 杭州新锐信息技术有限公司 | 连笔手写字符的识别方法 |
CN105374015A (zh) * | 2015-10-27 | 2016-03-02 | 湖北工业大学 | 基于局部对比度和笔画宽度估计的低质量文档图像二值化方法 |
CN107622271A (zh) * | 2016-07-15 | 2018-01-23 | 科大讯飞股份有限公司 | 手写文本行提取方法及*** |
US20180089525A1 (en) * | 2016-09-29 | 2018-03-29 | Konica Minolta Laboratory U.S.A., Inc. | Method for line and word segmentation for handwritten text images |
CN109727363A (zh) * | 2018-11-16 | 2019-05-07 | 恒银金融科技股份有限公司 | 一种在票据中识别大写金额的方法 |
CN109740605A (zh) * | 2018-12-07 | 2019-05-10 | 天津大学 | 一种基于cnn的手写中文文本识别方法 |
US20210365708A1 (en) * | 2020-05-25 | 2021-11-25 | Northwest Minzu University | Method and system for segmenting touching text lines in image of uchen-script *** historical document |
CN115171124A (zh) * | 2022-09-07 | 2022-10-11 | 江苏巨信众汇数字科技有限公司 | 用于手写汉字识别的文本分割方法 |
Non-Patent Citations (2)
Title |
---|
ROHAN VAIDYA等: "Handwritten Character Recognition Using Deep-Learning", 《2018 SECOND INTERNATIONAL CONFERENCE ON INVENTIVE COMMUNICATION AND COMPUTATIONAL TECHNOLOGIES (ICICCT)》 * |
张文强: "基于光流校正的端到端场景文本识别方法的研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115620333A (zh) * | 2022-12-05 | 2023-01-17 | 蓝舰信息科技南京有限公司 | 基于人工智能的试卷自动纠错方法 |
CN115620333B (zh) * | 2022-12-05 | 2023-03-10 | 蓝舰信息科技南京有限公司 | 基于人工智能的试卷自动纠错方法 |
CN117475438A (zh) * | 2023-10-23 | 2024-01-30 | 北京点聚信息技术有限公司 | 基于ocr技术的扫描文件矢量化转换方法 |
CN117475438B (zh) * | 2023-10-23 | 2024-05-24 | 北京点聚信息技术有限公司 | 基于ocr技术的扫描文件矢量化转换方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115393861B (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325203B (zh) | 一种基于图像校正的美式车牌识别方法及*** | |
CN115393861B (zh) | 一种手写体文本精准分割方法 | |
CN108764074B (zh) | 基于深度学习的主观题智能阅卷方法、***及存储介质 | |
WO2020259060A1 (zh) | 试卷信息提取方法、***及计算机可读存储介质 | |
CN110210413B (zh) | 一种基于深度学习的多学科试卷内容检测与识别***及方法 | |
CN108918536B (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
CN108960245B (zh) | 轮胎模具字符的检测与识别方法、装置、设备及存储介质 | |
CN106446896B (zh) | 一种字符分割方法、装置及电子设备 | |
JP5379085B2 (ja) | スキャンされた文書画像内の前景画素群の連結グループをマーキング種類に基づき分類する方法及びシステム | |
CN111626190A (zh) | 基于聚类分区进行刻度识别的水位监测方法 | |
CN110647829A (zh) | 一种票据的文本识别方法及*** | |
CN105046200B (zh) | 基于直线检测的电子阅卷方法 | |
US20120099792A1 (en) | Adaptive optical character recognition on a document with distorted characters | |
CN108921163A (zh) | 一种基于深度学习的包装喷码检测方法 | |
CN106033535B (zh) | 电子阅卷方法 | |
CN113158808A (zh) | 中文古籍字符识别、组段与版面重建方法、介质和设备 | |
CN110598566A (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
CN110443235B (zh) | 一种智能纸质试卷总分识别方法及*** | |
CN112507782A (zh) | 文本图像的识别方法及装置 | |
CN113033558B (zh) | 一种用于自然场景的文本检测方法及装置、存储介质 | |
CN112446259A (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
CN110659637A (zh) | 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法 | |
CN106033534B (zh) | 基于直线检测的电子阅卷方法 | |
CN113160185A (zh) | 一种利用生成边界位置指导宫颈细胞分割的方法 | |
CN113221956A (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |