CN107832756B - 快递单信息提取方法及装置、存储介质、电子设备 - Google Patents
快递单信息提取方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN107832756B CN107832756B CN201711002755.5A CN201711002755A CN107832756B CN 107832756 B CN107832756 B CN 107832756B CN 201711002755 A CN201711002755 A CN 201711002755A CN 107832756 B CN107832756 B CN 107832756B
- Authority
- CN
- China
- Prior art keywords
- column
- rectangular
- line segment
- image block
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Character Input (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开提供一种快递单信息提取方法及装置、存储介质、电子设备。该方法包括：获取快递单图像，并对快递单图像进行分栏处理，得到至少2个栏目，每个栏目表示一种信息类型；将每个栏目中的文本行转换为矩形图像块；根据每个栏目在快递单图像中的位置、以及每个栏目包括的矩形图像块，在预设模板库中查找相似模板；如果查找到相似模板，则获取相似模板对应的栏目集合，并根据栏目集合，从快递单图像中确定出对应的待提取栏目；将待提取栏目包括的矩形图像块转换为文字信息，并确定出每个矩形图像块对应的文本行的类别；快递单信息包括：待提取栏目的信息类型、文本行的类别、文字信息。如此方案，有助于提高快递单信息提取的准确率。
Description
技术领域
本公开涉及数据处理领域，具体地，涉及一种快递单信息提取方法及装置、存储介质、电子设备。
背景技术
随着物流行业信息化水平的不断提高，越来越多的物流企业开始利用摄像机等设备对包裹进行拍照，获得包含快递单的原始图像，再通过图像识别技术从中提取快递单信息，例如，收件人姓名、收件地址等，以此实现包裹自动分拣和快递单数字化。
目前，大多通过以下图像识别技术提取快递单信息：
首先，可以从原始图像中提取出快递单图像；然后，对快递单图像区域进行逐行扫描，获取快递单图像的水平投影，并检测投影中波峰对应的文本行位置，计算出每行的行距，进行文本行切分；接着，对行切分后的快递单图像进行垂直投影，切分出文字图像，即，通过行切分和列切分，可以将快递单图像分割成多个文字图像；最后，调用识别***将文字图像转换为文字信息，以此实现快递单信息提取。如此方案，在实际的快递分拣、流通过程中，受包裹背景、光照等因素的影响，可能会影响投影切分的效果，致使信息提取过程效率低，准确率不高。
发明内容
本公开的主要目的是提供一种快递单信息提取方法及装置、存储介质、电子设备，有助于提高快递单信息提取的准确率。
为了实现上述目的，本公开提供一种快递单信息提取方法，所述方法包括：
获取快递单图像，并对所述快递单图像进行分栏处理，得到至少2个栏目，每个栏目表示一种信息类型；
将每个栏目中的文本行转换为矩形图像块；
根据每个栏目在所述快递单图像中的位置、以及每个栏目包括的矩形图像块，在预设模板库中查找相似模板；
如果查找到相似模板，则获取所述相似模板对应的栏目集合，并根据所述栏目集合，从所述快递单图像中确定出对应的待提取栏目；
将所述待提取栏目包括的矩形图像块转换为文字信息，并确定出每个矩形图像块对应的文本行的类别；
所述快递单信息包括：所述待提取栏目的信息类型、所述文本行的类别、所述文字信息。
可选地，获取所述快递单图像的方式为：
在原始图像中进行预设图案检测，获得所述预设图案的倾斜角度，所述预设图案为表示快递单号的条形码和/或表示物流公司的logo；
根据所述预设图案的倾斜角度，对所述原始图像进行角度校正，并将校正后的原始图像转换为边缘图像；
获取所述边缘图像中的线段，并从中确定出表示快递单边界的边界线段；
根据所述边界线段从所述校正后的原始图像中提取所述快递单图像。
可选地，如果还获得所述预设图案的位置、以及所述预设图案的大小，则
所述根据所述边界线段从所述校正后的原始图像中提取所述快递单图像，包括：
根据所述边界线段、所述预设图案的位置、以及所述预设图案的大小，从所述校正后的原始图像中提取所述快递单图像。
可选地，所述对所述快递单图像进行分栏处理，包括：
在所述快递单图像中进行线段检测，判断快递单是否以线段方式分割；
如果快递单以线段方式分割，则利用所述快递单图像中的横向线段和纵向线段，将所述快递单图像划分为至少2个栏目。
可选地，所述判断快递单是否以线段方式分割，包括：
判断所述快递单图像中是否存在至少2条第一线段，所述第一线段为横向线段或者纵向线段，所述第一线段不属于所述快递单图像的边界线段，且所述第一线段的线长不小于第一阈值L1＝K1D1，D1表示快递单在所述第一线段的延伸方向上的长度，2/3≤K1≤ 1；
如果所述快递单图像中存在至少2条第一线段，则判定快递单以线段方式分割。
可选地，所述利用所述快递单图像中的横向线段和纵向线段，将所述快递单图像划分为至少2个栏目，包括：
判断所述快递单图像中是否存在第二线段，所述第二线段为所述横向线段或者所述纵向线段中的一种，所述第二线段不属于所述快递单图像的边界线段，且所述第二线段的线长不小于第二阈值L2＝K2D2，D2表示快递单在所述第二线段的延伸方向上的长度， 2/3≤K2≤1；
如果所述快递单图像中存在第二线段，则利用所述第二线段将所述快递单图像划分为至少2个主栏目；
判断每个主栏目中是否存在第三线段，所述第三线段为所述横向线段或者所述纵向线段中的另一种，所述第三线段不属于所述快递单图像的边界线段，且所述第三线段的线长不小于第三阈值L3＝K3D3，D3表示主栏目在所述第三线段的延伸方向上的长度，2/3 ≤K3≤1；
如果主栏目中不存在第三线段，则将所述主栏目确定为所述快递单图像包括的栏目；
如果主栏目中存在第三线段，则利用所述第三线段继续在对应的主栏目中进行栏目划分，得到所述快递单图像包括的栏目。
可选地，所述方法还包括：
如果快递单不以线段方式分割，则对所述快递单图像进行二值化处理；
在水平方向以及垂直方向上，采用直方图投影的方式，将二值化处理后的快递单图像划分为至少2个栏目。
可选地，所述在预设模板库中查找相似模板，包括：
查找相似栏目：利用当前栏目在所述快递单图像中的位置，在当前模板中确定出待比对栏目；判断所述待比对栏目包括的预设关键词，能否匹配到所述当前栏目包括的矩形图像块；如果能匹配到所述当前栏目包括的矩形图像块，且(P/N)不小于预设比值，则将所述待比对栏目确定为所述相似栏目，P表示匹配中的预设关键词的数量，N表示所述待比对栏目包括的预设关键词的总量；
如果查找到相似栏目，且所述相似栏目的数量不小于预设值，则将所述当前模板确定为所述相似模板。
可选地，在所述判断所述待比对栏目包括的预设关键词，能否匹配到所述当前栏目包括的矩形图像块之前，所述方法还包括：
判断预设图案在所述当前模板、所述快递单图像中的大小是否一致，所述预设图案为表示快递单号的条形码和/或表示物流公司的logo；
如果不一致，则对所述快递单图像进行等比例缩放，使缩放处理后的快递单图像中的预设图案与所述当前模板中的预设图案的大小一致。
可选地，所述确定出每个矩形图像块对应的文本行的类别，包括：
利用所述矩形图像块转换的文字信息，与预设类别规则进行匹配；
将匹配中的预设类别规则对应的类别，确定为该矩形图像块对应的文本行的类别。
可选地，如果文本行的类别是姓名，则对应的预设类别规则为：包括至少2个文字且首个文字为姓氏；
如果文本行的类别是地址，则对应的预设类别规则为：包括行政区关键词和/或住址关键词；
如果文本行的类别是电话，则对应的预设类别规则为：包括预定位数的数字且起始数字为特定数字或者特定数字的组合；
如果文本行的类别是地点，则对应的预设类别规则为：包括至少2个文字且文字内容为行政区。
可选地，如果所述待提取栏目包括至少2个矩形图像块，所述方法还包括：
提取所述待提取栏目中每个矩形图像块的外接矩形，得到各矩形图像块对应的文本行矩形区域；
在所述待提取栏目中查找至少两个待合并文本行矩形区域，每个待合并文本行矩形区域满足第一预设条件，且相邻待合并文本行矩形区域之间满足第二预设条件；
如果查找到至少两个待合并文本行矩形区域，则在所述将所述待提取栏目包括的矩形图像块转换为文字信息之后，所述方法还包括：将所述至少两个待合并文本行矩形区域对应的文字信息进行合并处理，得到一条文字信息；
所述第一预设条件为：所述待合并文本行矩形区域的宽度不大于第一预设宽度W1＝K4W0，且所述待合并文本行矩形区域的高度不大于第一预设高度
W0表示所述待提取栏目的宽度，
表示所述待提取栏目包括的文本行矩形区域的平均高度， 1/100≤K4≤1/10，1≤K5≤2；
所述第二预设条件为：所述相邻待合并文本行矩形区域的宽度之差不大于第二预设宽度W2＝K6W0，所述相邻待合并文本行矩形区域的高度之差不大于第二预设高度 H2＝K7H0，所述相邻待合并文本行矩形区域之间的距离不大于预设间距
H0表示所述待提取栏目的高度，1/40≤K6≤1/20，1/20≤K7≤1/10，1≤K8≤2。
可选地，所述在所述待提取栏目中查找至少两个待合并文本行矩形区域，包括：
在所述待提取栏目中查找参照文本行矩形区域，所述参照文本行矩形区域满足所述第一预设条件；
如果查找到参照文本行矩形区域，则在所述待提取栏目的剩余文本行矩形区域中查找目标文本行矩形区域，所述目标文本行矩形区域满足所述第一预设条件，且所述目标文本行矩形区域与所述参照文本行矩形区域之间满足所述第二预设条件；
如果查找到目标文本行矩形区域，则将所述目标文本行矩形区域作为新的参照文本行矩形区域，从相邻的文本行矩形区域中查找新的目标文本行矩形区域，直至查找不到新的目标文本行矩形区域为止，所述新的目标文本行矩形区域满足所述第一预设条件，且所述新的目标文本行矩形区域与所述新的参照文本行矩形区域之间满足所述第二预设条件；
将所述参照文本行矩形区域、所述目标文本行矩形区域、以及所述新的目标文本行矩形区域，确定为所述待合并文本行矩形区域。
可选地，预先针对不同信息类型的栏目设置有对应的栏目关键词列表，所述栏目关键词列表包括从对应栏目中提取出的至少一个关键词，所述方法还包括：
如果查找不到相似模板，则查找可用栏目：将当前栏目包括的矩形图像块转换为文字信息，利用所述文字信息与各栏目关键词列表进行匹配；如果能为所述当前栏目确定出一个对应的栏目关键词列表，则将所述当前栏目确定为可用栏目，所述对应的栏目关键词列表被所述文字信息匹配中的关键词数量最多，且不小于预设数量；
如果查找到可用栏目，且所述可用栏目的数量不小于预定值，则根据各可用栏目的位置和大小、各可用栏目的信息类型、以及各可用栏目包括的矩形图像块的位置和大小，生成新的模板，所述可用栏目的信息类型由所述对应的栏目关键词列表确定；
从所述可用栏目中选取待提取栏目，获得栏目集合，并建立所述栏目集合与所述新的模板之间的对应关系。
可选地，如果所述待提取栏目包括至少2个矩形图像块，所述方法还包括：
在所述待提取栏目中查找参照矩形图像块，所述参照矩形图像块的宽度不小于第三预设宽度W3＝K9W0，W0表示所述待提取栏目的宽度，2/3≤K9≤1；
如果查找到参照矩形图像块，则从所述参照矩形图像块的相邻矩形图像块中查找目标矩形图像块，所述目标矩形图像块与所述参照矩形图像块之间的距离小于预设阈值Dt＝K10Ht，Ht表示所述参照矩形图像块的高度，1≤K10≤2；
如果查找到目标矩形图像块，则将所述目标矩形图像块作为新的参照矩形图像块，从相邻的矩形图像块中查找新的目标矩形图像块，直至查找不到新的目标矩形图像块为止，所述新的目标矩形图像块与所述新的参照矩形图像块之间的距离小于所述预设阈值；
将所述参照矩形图像块、所述目标矩形图像块、以及所述新的目标矩形图像块，确定为所述待合并矩形图像块；
在所述将所述待提取栏目包括的矩形图像块转换为文字信息之后，所述方法还包括：将所述待合并矩形图像块对应的文字信息进行合并处理，得到一条文字信息。
本公开提供一种快递单信息提取装置，所述装置包括：
快递单图像获取模块，用于获取快递单图像；
分栏处理模块，用于对所述快递单图像进行分栏处理，得到至少2个栏目，每个栏目表示一种信息类型；
图像块转换模块，用于将每个栏目中的文本行转换为矩形图像块；
相似模板查找模块，用于根据每个栏目在所述快递单图像中的位置、以及每个栏目包括的矩形图像块，在预设模板库中查找相似模板；
待提取栏目确定模块，用于在查找到相似模板时，获取所述相似模板对应的栏目集合，并根据所述栏目集合，从所述快递单图像中确定出对应的待提取栏目；
文字信息转换模块，用于将所述待提取栏目包括的矩形图像块转换为文字信息；
文本行类别确定模块，用于确定出每个矩形图像块对应的文本行的类别；
所述快递单信息包括：所述待提取栏目的信息类型、所述文本行的类别、所述文字信息。
可选地，所述快递单图像获取模块包括：
倾斜角度获得模块，用于在原始图像中进行预设图案检测，获得所述预设图案的倾斜角度，所述预设图案为表示快递单号的条形码和/或表示物流公司的logo；
角度校正模块，用于根据所述预设图案的倾斜角度，对所述原始图像进行角度校正，并将校正后的原始图像转换为边缘图像；
边界线段确定模块，用于获取所述边缘图像中的线段，并从中确定出表示快递单边界的边界线段；
快递单图像提取模块，用于根据所述边界线段从所述校正后的原始图像中提取所述快递单图像。
可选地，如果还获得所述预设图案的位置、以及所述预设图案的大小，则
所述快递单图像提取模块，用于根据所述边界线段、所述预设图案的位置、以及所述预设图案的大小，从所述校正后的原始图像中提取所述快递单图像。
可选地，所述分栏处理模块包括：
分割方式判断模块，用于在所述快递单图像中进行线段检测，判断快递单是否以线段方式分割；
栏目划分模块，用于在快递单以线段方式分割时，利用所述快递单图像中的横向线段和纵向线段，将所述快递单图像划分为至少2个栏目。
可选地，所述分割方式判断模块，用于判断所述快递单图像中是否存在至少2条第一线段，如果所述快递单图像中存在至少2条第一线段，则判定快递单以线段方式分割；
所述第一线段为横向线段或者纵向线段，所述第一线段不属于所述快递单图像的边界线段，且所述第一线段的线长不小于第一阈值L1＝K1D1，D1表示快递单在所述第一线段的延伸方向上的长度，2/3≤K1≤1。
可选地，所述栏目划分模块包括：
第二线段判断模块，用于判断所述快递单图像中是否存在第二线段，所述第二线段为所述横向线段或者所述纵向线段中的一种，所述第二线段不属于所述快递单图像的边界线段，且所述第二线段的线长不小于第二阈值L2＝K2D2，D2表示快递单在所述第二线段的延伸方向上的长度，2/3≤K2≤1；
主栏目划分模块，用于在所述快递单图像中存在第二线段时，利用所述第二线段将所述快递单图像划分为至少2个主栏目；
第三线段判断模块，用于判断每个主栏目中是否存在第三线段，所述第三线段为所述横向线段或者所述纵向线段中的另一种，所述第三线段不属于所述快递单图像的边界线段，且所述第三线段的线长不小于第三阈值L3＝K3D3，D3表示主栏目在所述第三线段的延伸方向上的长度，2/3≤K3≤1；
栏目确定模块，用于在主栏目中不存在第三线段时，将所述主栏目确定为所述快递单图像包括的栏目。
可选地，所述栏目划分模块还包括：
主栏目划分模块，用于在主栏目中存在第三线段时，利用所述第三线段继续在对应的主栏目中进行栏目划分，得到所述快递单图像包括的栏目。
可选地，所述装置还包括：
二值化处理模块，用于在快递单不以线段方式分割时，对所述快递单图像进行二值化处理；
直方图投影模块，用于在水平方向以及垂直方向上，采用直方图投影的方式，将二值化处理后的快递单图像划分为至少2个栏目。
可选地，所述相似模板查找模块包括：
相似栏目查找模块，用于查找相似栏目：利用当前栏目在所述快递单图像中的位置，在当前模板中确定出待比对栏目；判断所述待比对栏目包括的预设关键词，能否匹配到所述当前栏目包括的矩形图像块；如果能匹配到所述当前栏目包括的矩形图像块，且(P/N)不小于预设比值，则将所述待比对栏目确定为所述相似栏目，P表示匹配中的预设关键词的数量，N表示所述待比对栏目包括的预设关键词的总量；
相似模板确定模块，用于在查找到相似栏目，且所述相似栏目的数量不小于预设值时，将所述当前模板确定为所述相似模板。
可选地，所述相似模板查找模块还包括：
预设图案判断模块，用于判断预设图案在所述当前模板、所述快递单图像中的大小是否一致，所述预设图案为表示快递单号的条形码和/或表示物流公司的logo；
缩放处理模块，用于在大小不一致时，对所述快递单图像进行等比例缩放，使缩放处理后的快递单图像中的预设图案与所述当前模板中的预设图案的大小一致。
可选地，所述文本行类别确定模块，用于利用所述矩形图像块转换的文字信息，与预设类别规则进行匹配；将匹配中的预设类别规则对应的类别，确定为该矩形图像块对应的文本行的类别。
可选地，如果所述待提取栏目包括至少2个矩形图像块，所述装置还包括：
外接矩形提取模块，用于提取所述待提取栏目中每个矩形图像块的外接矩形，得到各矩形图像块对应的文本行矩形区域；
矩形区域查找模块，用于在所述待提取栏目中查找至少两个待合并文本行矩形区域，每个待合并文本行矩形区域满足第一预设条件，且相邻待合并文本行矩形区域之间满足第二预设条件；
所述文字信息转换模块，用于在查找到至少两个待合并文本行矩形区域时，将所述至少两个待合并文本行矩形区域对应的文字信息进行合并处理，得到一条文字信息；
所述第一预设条件为：所述待合并文本行矩形区域的宽度不大于第一预设宽度W1＝K4W0，且所述待合并文本行矩形区域的高度不大于第一预设高度
W0表示所述待提取栏目的宽度，
表示所述待提取栏目包括的文本行矩形区域的平均高度， 1/100≤K4≤1/10，1≤K5≤2；
所述第二预设条件为：所述相邻待合并文本行矩形区域的宽度之差不大于第二预设宽度W2＝K6W0，所述相邻待合并文本行矩形区域的高度之差不大于第二预设高度 H2＝K7H0，所述相邻待合并文本行矩形区域之间的距离不大于预设间距
H0表示所述待提取栏目的高度，1/40≤K6≤1/20，1/20≤K7≤1/10，1≤K8≤2。
可选地，所述矩形区域查找模块包括：
参照文本行矩形区域查找模块，用于在所述待提取栏目中查找参照文本行矩形区域，所述参照文本行矩形区域满足所述第一预设条件；
目标文本行矩形区域查找模块，用于在查找到参照文本行矩形区域时，在所述待提取栏目的剩余文本行矩形区域中查找目标文本行矩形区域，所述目标文本行矩形区域满足所述第一预设条件，且所述目标文本行矩形区域与所述参照文本行矩形区域之间满足所述第二预设条件；
新的目标文本行矩形区域查找模块，用于在查找到目标文本行矩形区域时，将所述目标文本行矩形区域作为新的参照文本行矩形区域，从相邻的文本行矩形区域中查找新的目标文本行矩形区域，直至查找不到新的目标文本行矩形区域为止，所述新的目标文本行矩形区域满足所述第一预设条件，且所述新的目标文本行矩形区域与所述新的参照文本行矩形区域之间满足所述第二预设条件；
待合并文本行矩形区域确定模块，用于将所述参照文本行矩形区域、所述目标文本行矩形区域、以及所述新的目标文本行矩形区域，确定为所述待合并文本行矩形区域。
可选地，预先针对不同信息类型的栏目设置有对应的栏目关键词列表，所述栏目关键词列表包括从对应栏目中提取出的至少一个关键词，所述装置还包括：
可用栏目查找模块，用于在查找不到相似模板时，查找可用栏目：将当前栏目包括的矩形图像块转换为文字信息，利用所述文字信息与各栏目关键词列表进行匹配；如果能为所述当前栏目确定出一个对应的栏目关键词列表，则将所述当前栏目确定为可用栏目，所述对应的栏目关键词列表被所述文字信息匹配中的关键词数量最多，且不小于预设数量；
模板生成模块，用于在查找到可用栏目，且所述可用栏目的数量不小于预定值时，根据各可用栏目的位置和大小、各可用栏目的信息类型、以及各可用栏目包括的矩形图像块的位置和大小，生成新的模板，所述可用栏目的信息类型由所述对应的栏目关键词列表确定；
栏目选取模块，用于从所述可用栏目中选取待提取栏目，获得栏目集合，并建立所述栏目集合与所述新的模板之间的对应关系。
可选地，如果所述待提取栏目包括至少2个矩形图像块，所述装置还包括：
参照矩形图像块查找模块，用于在所述待提取栏目中查找参照矩形图像块，所述参照矩形图像块的宽度不小于第三预设宽度W3＝K9W0，W0表示所述待提取栏目的宽度， 2/3≤K9≤1；
目标矩形图像块查找模块，用于在查找到参照矩形图像块时，从所述参照矩形图像块的相邻矩形图像块中查找目标矩形图像块，所述目标矩形图像块与所述参照矩形图像块之间的距离小于预设阈值Dt＝K10Ht，Ht表示所述参照矩形图像块的高度，1≤K10≤2；
新的目标矩形图像块查找模块，用于在查找到目标矩形图像块时，将所述目标矩形图像块作为新的参照矩形图像块，从相邻的矩形图像块中查找新的目标矩形图像块，直至查找不到新的目标矩形图像块为止，所述新的目标矩形图像块与所述新的参照矩形图像块之间的距离小于所述预设阈值；
待合并矩形图像块确定模块，用于将所述参照矩形图像块、所述目标矩形图像块、以及所述新的目标矩形图像块，确定为所述待合并矩形图像块；
所述文字信息转换模块，用于在将所述待合并矩形图像块对应的文字信息进行合并处理，得到一条文字信息。
本公开提供一种存储介质，其中存储有多条指令，所述指令由处理器加载，执行上述快递单信息提取方法的步骤。
本公开提供一种电子设备，所述电子设备包括；
上述的存储介质；以及
处理器，用于执行所述存储介质中的指令。
本公开方案中，可以先对快递单图像进行分栏处理，得到其中包括的栏目，然后将栏目中的文本行转换为矩形图像块，通过图像比对的方式，在预设模板库中查找到相似模板，如此，便可根据相似模板对应的栏目集合，确定出快递单图像中的待提取栏目，识别出待提取栏目中的文字信息，以及对应的文本行的类别。如此方案，受包裹背景、光照等因素的影响较小，有助于提高快递单信息提取的准确率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为本公开方案快递单信息提取方法实施例1的流程示意图；
图2为本公开方案中快递单图像的示意图；
图3为本公开方案中获取快递单图像的流程示意图；
图4为本公开方案中查找相似模板的流程示意图；
图5为本公开方案快递单信息提取方法实施例2的流程示意图；
图6为本公开方案中分栏处理实施例1的流程示意图；
图7为本公开方案中利用横向线段和纵向线段进行栏目划分的流程示意图；
图8为本公开方案中分栏处理实施例2的流程示意图；
图9为本公开方案快递单信息提取装置的构成示意图；
图10为本公开方案用于快递单信息提取的电子设备的结构示意图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
参见图1，示出了本公开快递单信息提取方法实施例1的流程示意图。可以包括以下步骤：
S101，获取快递单图像，并对所述快递单图像进行分栏处理，得到至少2个栏目，每个栏目表示一种信息类型。
通常，不同类型的信息，会设置在不同的栏目中，参见图2所示快递单图像，至少可以包括以下栏目：寄件人信息栏目、快递物品信息栏目、寄件人签名栏目、揽/派件业务员签名栏目、收件人信息栏目、服务与费用栏目、收件人签名栏目、条形码栏目。针对于此，本公开方案可以在需要提取快递单信息时，先对快递单图像进行分栏处理，确定出快递单图像中的栏目，为后续快递单信息提取过程做好准备。
作为一种示例，可以预设拍照选择框，在图像采集时，使快递单的边界与拍照选择框相符，准确识别并拍摄得到快递单图像。或者，为了简化操作，可以不对拍摄做具体限定，只要能拍摄到包括快递单的原始图像即可，然后再结合图3所示方法，从中提取出快递单图像。
参见图3，示出了本公开中获取快递单图像的流程示意图。可以包括以下步骤：
S201，在原始图像中进行预设图案检测，获得所述预设图案的倾斜角度，所述预设图案为表示快递单号的条形码和/或表示物流公司的logo。
S202，根据所述预设图案的倾斜角度，对所述原始图像进行角度校正，并将校正后的原始图像转换为边缘图像。
S203，获取所述边缘图像中的线段，并从中确定出表示快递单边界的边界线段。
S204，根据所述边界线段从所述校正后的原始图像中提取所述快递单图像。
为了简化操作，本公开方案可以不对拍摄原始图像的方式做具体限定，故在实际拍摄过程中，可能会出现原始图像倾斜的情况，致使原始图像中的快递单图像也随之倾斜。为了准确提取快递单图像，可以先对原始图像进行角度校正，例如，可以依据条形码、 logo等预设图案在原始图像中的倾斜角度，对原始图像进行角度校正，本公开方案对此可不做具体限定。
作为一种示例，得到校正后的原始图像后，可以采用Canny边缘检测方法，将校正后的原始图像转换为边缘图像，并从边缘图像中确定出表示快递单边界的边界线段，进而根据边界线段从校正后的原始图像中提取出快递单图像。
通常，快递单是粘贴在包裹上的，在拍摄原始图像时，包裹会作为快递单的背景色存在，考虑到包裹与快递单相比，二者在颜色上有明显的差别，故很容易从边缘图像中确定出边界线段，并根据边界线段提取出快递单图像。
此外，结合实际应用可知，预设图案在快递单中的位置相对固定，且预设图案的大小、快递单的大小之间亦存在一定的比例关系，故在进行预设图案检测时，除预设图案的倾斜角度之外，还可以获得预设图案的位置、预设图案的大小，如此，在边界线段的基础上，还可以结合预设图案与快递单在位置、大小方面的关系，提取出快递单图像。
可以理解地，预设图案的大小可以体现为预设图案的宽度和高度。通常，在图像处理领域中，可以将横坐标方向视为宽，将纵坐标方向视为高。
作为一种示例，本公开方案提供了两种分栏处理的实现方式，具体可参见下文图6、图8处所做介绍，此处暂不详述。
S102，将每个栏目中的文本行转换为矩形图像块。
提取出快递单图像后，可以采用图像形态学算法，例如膨胀、腐蚀等，将每个栏目中的文本行转换为矩形图像块，方便后续通过图像比对的方式，查找相似模板。
可以理解地，栏目中有文字的地方，即可视为一个文本行。以寄件人信息栏目为例，至少可以得到以下矩形图像块：包含“寄件人姓名”的矩形图像块、包含“张三”的矩形图像块、包含“始发地”的矩形图像块、包含“单位名称”的矩形图像块，等等，此处不再举例说明。
S103，根据每个栏目在所述快递单图像中的位置、以及每个栏目包括的矩形图像块，在预设模板库中查找相似模板。
S104，如果查找到相似模板，则获取所述相似模板对应的栏目集合，并根据所述栏目集合，从所述快递单图像中确定出对应的待提取栏目。
本公开方案中，可以预先针对已知快递单，构建对应的快递单模板，存入预设模板库中。例如，可以根据已知快递单包括的已知栏目、各已知栏目分布的位置、各已知栏目包括的关键词，构建快递单模板。
此外，还可以为快递单模板设置对应的栏目集合，用于指定需要进行信息提取的栏目。例如，根据业务需求，在进行包裹分拣时，栏目集合中可以包括条形码栏目、收件人信息栏目等；在进行物流跟踪时，栏目集合中可以包括条形码栏目、收件人信息栏目、寄件人信息栏目等。
综上，在进行快递单信息提取时，可以先在预设模板库中查找相似模板，进而根据相似模板对应的栏目集合，确定出需要从快递单图像中提取哪些栏目的信息，即确定出待提取栏目。
可以理解地，已知栏目可以是已知快递单包括的所有栏目，也可以是已知快递单包括的部分栏目。关键词可以是已知栏目包括的所有关键词，也可以是已知栏目包括的部分关键词，例如，已知栏目为寄件人信息栏目，包括的关键词可以为：寄件人姓名、始发地、寄件地址、联系电话。栏目集合中的栏目可以是对应的快递单模板包括的所有已知栏目，也可以是对应的快递单模板包括的部分已知栏目。本公开方案对已知栏目、关键词、栏目集合的选取可不做具体限定。
参见图4，示出了本公开中查找相似模板的流程示意图。可以包括以下步骤：
S301，查找相似栏目。
可以利用快递单图像中的栏目，一一与模板库中的快递单模板进行关键词匹配，确定出快递单图像相对于各快递单模板的相似栏目。
具体地，可以利用当前栏目在所述快递单图像中的位置，在当前模板中确定出待比对栏目；判断所述待比对栏目包括的预设关键词，能否匹配到所述当前栏目包括的矩形图像块；如果能匹配到所述当前栏目包括的矩形图像块，且(P/N)不小于预设比值，则将所述待比对栏目确定为所述相似栏目，P表示匹配中的预设关键词的数量，N表示所述待比对栏目包括的预设关键词的总量。
举例来说，快递单图像划分出5个栏目，可以先将栏目1作为当前栏目，分别与各快递单模板进行关键词匹配。可以理解地，目前正在进行关键词匹配的模板可以称为当前模板，例如，利用栏目1与快递单模板1进行关键词匹配时，快递单模板1即为当前模板。
作为一种示例，本公开方案查找相似栏目的过程可以体现如下：
(1)如果第K个待比对栏目中的关键词Xi，能够在对应位置处的矩形图像块中匹配到，则可记为1，否则记为0。
(2)如果第K个待比对栏目包括Nk个关键词，可以按照以下公式计算第K个待比对栏目匹配中的关键词的数量Pk：
(3)如果Pk与Nk的比值不小于预设比值，可以将第K个待比对栏目确定为相似栏目，并记为1，否则记为0。作为一种示例，预设比值
的取值可以为
如
S302，如果查找到相似栏目，且所述相似栏目的数量不小于预设值，则将所述当前模板确定为所述相似模板。
查找到当前模板具有的相似栏目后，便可根据相似栏目的数量，判断快递单图像与当前模板之间的相似程度。例如，当前模板包括M个栏目，可以通过
计算出当前模板具有的相似栏目的数量。
可以理解地，相似栏目的数量不小于预设值，可以是当前模板具有的相似栏目的数量不小于预设数量值，即，预设值体现为预设数量值，举例来说，预设数量值E的取值可以为2≤E≤M，如E＝3。或者，相似栏目的数量不小于预设值，可以是相似栏目的数量与当前模板包括的栏目总量的比值不小于预设比例值，即，预设值为预设比例值，举例来说，预设比例值F的取值可以为0.7≤F≤1，如F＝0.8。本公开方案对预设值的表现形式、预设值的具体取值可不做具体限定。
作为一种示例，为了提高本公开方案查找相似模板的准确性，可以在进行图像比对之前，利用预设图案的大小，对快递单图像进行等比例缩放。具体地，可以判断预设图案在所述当前模板、所述快递单图像中的大小是否一致；如果不一致，则对所述快递单图像进行等比例缩放，使缩放处理后的快递单图像中的预设图案与所述当前模板中的预设图案的大小一致。如此，基于缩放处理后的快递单图像进行图像比对，有助于提高比对准确性。
S105，将所述待提取栏目包括的矩形图像块转换为文字信息，并确定出每个矩形图像块对应的文本行的类别。
查找到相似模板，并根据相似模板对应的栏目集合确定出待提取栏目后，可以调用识别引擎，将待提取栏目中的矩形图像块转换为文字信息。本公开方案中，快递单信息可以包括：待提取栏目的信息类型、文本行的类别、文字信息。
一、对于待提取栏目的信息类型来说，可以根据待提取栏目在快递单图像中的位置，确定出其在相似模板中的对应栏目，进而将对应栏目的信息类型确定为待提取栏目的信息类型。
二、对于文字信息来说，可以体现为识别引擎转换得到的文字信息；或者，识别引擎转换得到的文字信息后，还可以进行如下处理：
(1)通常，识别引擎转换得到的文字信息中会包含一些提示关键词。例如，待识别栏目为寄件人信息栏目，针对该栏目转换出的文字信息中，“寄件人姓名”、“单位名称”等属于提示关键词。
提示关键词在实际使用过程中作用不大，故可剔除提示关键词，只输出用户需要的文字信息，例如图2所示示例中，可以输出“张三”。
(2)对于地址、单位名称等较长信息，在打印或书写过程中可能会拆成多行，即同一类别的文字信息被拆分到至少2个矩形图像块中，针对于此，可以按照以下方式进行文字信息合并。
(21)在所述待提取栏目中查找参照矩形图像块，所述参照矩形图像块的宽度不小于第三预设宽度W3＝K9W0，W0表示所述待提取栏目的宽度，2/3≤K9≤1。作为一种示例， K9的取值可以为K9＝2/3，即W3＝2/3*W0。
文字信息被拆分成多行时，通常至少有一行文字的长度较长，且与所在栏目的宽度大致相当。故在进行文字信息合并时，可以将待提取栏目中宽度不小于W3的矩形图像块，确定为参照矩形图像块，进而基于该参照矩形图像块查找出所有的待合并矩形图像块。作为一种示例，K9的取值可以为K9＝2/3，即W3＝2/3*W0。
(22)如果查找到参照矩形图像块，则从所述参照矩形图像块的相邻矩形图像块中查找目标矩形图像块，所述目标矩形图像块与所述参照矩形图像块之间的距离小于预设阈值Dt＝K10Ht，Ht表示所述参照矩形图像块的高度，1≤K10≤2。作为一种示例，K10的取值可以为K10＝1.5，即Dt＝1.5*Ht。
(23)如果查找到目标矩形图像块，则将所述目标矩形图像块作为新的参照矩形图像块，从相邻的矩形图像块中查找新的目标矩形图像块，直至查找不到新的目标矩形图像块为止，所述新的目标矩形图像块与所述新的参照矩形图像块之间的距离小于所述预设阈值。
确定出参照矩形图像块后，可以将其相邻矩形图像块中，距离小于预设阈值的矩形图像块，确定为目标矩形图像块。然后，再将目标矩形图像块视为新的参照矩形图像块，在其相邻矩形图像块中查找新的目标矩形图像块，如此循环往复，直至查找不到新的目标矩形图像块为止。
可以理解地，新的参照矩形图像块与新的目标矩形图像块之间的距离亦小于预设阈值。
本公开方案中，可以将参照矩形图像块、目标矩形图像块、以及新的目标矩形图像块，确定为待合并矩形图像块。如此，将待提取栏目包括的矩形图像块转换为文字信息之后，可以将待合并矩形图像块对应的文字信息进行合并处理，得到一条文字信息。
三、对于文本行的类别来说，至少可以通过以下方式识别文本行的类别。
方式一，识别引擎将待提取栏目中的矩形图像块转换为文字信息后，可以利用矩形图像块转换的文字信息，与预设类别规则进行匹配，从而将匹配中的预设类别规则对应的类别，确定为该矩形图像块对应的文本行的类别。
具体地，针对不同类别的文本行，可以设置如下预设类别规则。
如果文本行的类别是姓名，对应的预设类别规则可以为：包括至少2个文字且首个文字为姓氏。
如果文本行的类别是地址，对应的预设类别规则可以为：包括行政区关键词和/或住址关键词。举例来说，可以是省、市、县、区、乡、镇、村等行政区关键词，也可以是企业、公司、大厦、楼、栋等住址关键词。具体可由实际应用需求而定，本公开方案对此可不做限定。
如果文本行的类别是电话，对应的预设类别规则可以为：包括预定位数的数字且起始数字为特定数字或者特定数字的组合。举例来说，如果电话是国内手机号码，特定数字可以是1；如果电话是固话，特定数字的组合可以是区号。此外，结合具体的实际应用情况，起始数字还可以体现为其他数字，例如国际电话区号，本公开方案对此可不做具体限定。
如果文本行的类别是地点，对应的预设类别规则可以为：包括至少2个文字且文字内容为行政区。举例来说，文字内容可以是北京、安徽等行政区。
方式二，从所述矩形图像块转换的文字信息中提取提示关键词，将所述提示关键词表示的类别，确定为所述提示关键词相邻的文本行的类别。
本公开方案中，可以预先建立文本行类别与提示关键词之间的对应关系，例如，如果文本行的类别为姓名，对应的提示关键词可以为：姓名、名字、收件人、收件人姓名、寄件人、寄件人姓名等；如果文本行的类别是地址，对应的提示关键词可以为：地址、寄件地址、收件地址等；如果文本行的类别为电话，对应的提示关键词可以为：电话、固话、手机号码、联系方式、联系电话等；如果文本行的类别是地点，对应的提示关键词可以为：始发地、目的地、城市等。
如此，从矩形图像块转换的文字信息中提取出提示关键词后，可以根据提示关键词表示的类别，确定出提示关键词相邻的文本行的类别。作为一种示例，提示关键词与对应的内容可能水平排列，如图2所示，提示关键词“寄件人姓名”、对应的内容“张三”呈水平方式排列，故，提示关键词相邻的文本行可以理解为在水平方向上，位于提示关键词右方的文本行。或者，提示关键词与对应的内容可能垂直排列，此时，提示关键词相邻的文本行可以理解为在垂直方向上，位于提示关键词下方的文本行。本公开方案对确定提示关键词相邻的文本行的方式，可不做具体限定，可以结合实际应用情况而定。
可以理解地，为了提高文本行类别的识别准确性，在实际应用过程中，还可以将上述两种方式进行组合使用。
如上文所做介绍，可以在模板库中查找相似模板，完成信息提取。考虑到实际应用过程中快递单样式较多，可能存在查找不到相似模板的情况，对应于此，为了提高信息提取的灵活性，本公开方案可以预先针对不同信息类型的栏目设置对应的栏目关键词列表。如此，在查找不到相似模板时，可以基于栏目关键词列表，识别出快递单图像包括的栏目的信息类型，完成快递单信息提取；同时，还可以基于识别结果生成新的模板，保存入模板库中，这样，下次针对这种样式的快递单进行信息提取时，便可通过查找相似模板的方式实现，有助于提高信息提取效率。
可以理解地，栏目关键词列表包括的关键词，均提取自快递单中。例如，寄件人信息栏目对应的栏目关键词列表，可以包括：寄件人姓名、始发地、寄件地址、联系电话，收件人信息栏目对应的栏目关键词列表，可以包括：收件人姓名、收件地址、联系电话，服务与费用栏目对应的栏目关键词列表，可以包括：当日达、次日达、隔日达、付款方式，等等，本公开方案对需要构建栏目关键词列表的栏目、栏目关键词列表包括的关键词等，可不做具体限定。
参见图5，示出了本公开快递单信息提取方法实施例2的流程示意图。可以包括以下步骤：
S401，获取快递单图像，并对所述快递单图像进行分栏处理，得到至少2个栏目，每个栏目表示一种信息类型。
S402，将每个栏目中的文本行转换为矩形图像块。
S403，根据每个栏目在所述快递单图像中的位置、以及每个栏目包括的矩形图像块，在预设模板库中查找相似模板。
S401～S403的实现过程，可参照上文S101～S103处所做介绍，此处不再赘述。
S404，如果查找不到相似模板，则查找可用栏目。
如果查找不到相似模板，则可利用栏目关键词列表进行关键词匹配，识别出快递单图像包括的栏目的信息类型，完成快递单信息提取。
具体地，可以将当前栏目包括的矩形图像块转换为文字信息，利用所述文字信息与各栏目关键词列表进行匹配；如果能为所述当前栏目确定出一个对应的栏目关键词列表，则将所述当前栏目确定为可用栏目，所述对应的栏目关键词列表被所述文字信息匹配中的关键词数量最多，且不小于预设数量。
举例来说，快递单图像划分出5个栏目，可以先将栏目1作为当前栏目，利用栏目 1中的文字信息，分别与各栏目关键词列表进行关键词匹配。如果预先设置了10个栏目的栏目关键词列表，栏目1在栏目关键词列表j中匹配到的关键词数量为Bj，1≤j≤10，若最大的Bj值不小于预设数量，则可将当前栏目确定为可用栏目，可用栏目的信息类型为Bj值最大的栏目关键词列表对应的栏目的信息类型。例如，栏目1被判定为可用栏目，若与栏目1匹配到的关键词数量最多的是收件人信息栏目对应的栏目关键词列表，则栏目1的信息类型可以确定为收件人信息。
S405，如果查找到可用栏目，且所述可用栏目的数量不小于预定值，则根据各可用栏目的位置和大小、各可用栏目的信息类型、以及各可用栏目包括的矩形图像块的位置和大小，生成新的模板，所述可用栏目的信息类型由所述对应的栏目关键词列表确定。
如果可用栏目的数量不小于预定值，则可针对快递单图像表示的快递单样式，生成新的模板。作为一种示例，所述预定值可以为3，本公开方案对此可不做具体限定。
如此，下次针对这种样式的快递单进行信息提取时，便可通过查找相似模板的方式实现，有助于提高信息提取效率。此外，结合上文介绍可知，在查找相似模板时，可以根据预设图案的大小对快递单图像进行缩放处理，故新的模板中还可以包括预设图案。
S406，从所述可用栏目中选取待提取栏目，获得栏目集合，并建立所述栏目集合与所述新的模板之间的对应关系。
如上文所做介绍，每个模板都对应设置有一个栏目集合，用于指定需要进行信息提取的栏目。故，可从可用栏目中选取出待提取栏目，生成栏目集合，再建立栏目集合与新的模板之间的对应关系，以便下次信息提取时使用。
S407，确定出每个矩形图像块对应的文本行的类别。
S407的实现过程，可参照上文S105处所做介绍，此处不再赘述。
参见图6，示出了本公开中分栏处理实施例1的流程示意图。可以包括以下步骤：
S501，在所述快递单图像中进行线段检测，判断快递单是否以线段方式分割。
作为一种示例，可以采用线段检测算法，如Hough、LSD(英文：Line SegmentDetector，中文：线段检测算法)，在快递单图像中进行线段检测，得到其中的横向线段、纵向线段。
虽然实际应用过程中，快递单的样式很多，但可整体分为两类：以线段分割的快递单、不以线段分割的快递单。针对两种类型的快递单，本公开方案提供两种分栏处理方式。
作为一种示例，可以按照以下方法识别快递单的类型：判断所述快递单图像中是否存在至少2条第一线段；如果所述快递单图像中存在至少2条第一线段，则判定快递单以线段方式分割。所述第一线段为横向线段或者纵向线段，所述第一线段不属于所述快递单图像的边界线段，且所述第一线段的线长不小于第一阈值L1＝K1D1，D1表示快递单在所述第一线段的延伸方向上的长度，2/3≤K1≤1。
可以理解地，如果第一线段为横向线段，则D1表示快递单的宽度W；如果第一线段为纵向线段，则D1表示快递单的高度H。
需要说明的是，在实际应用过程中，有些快递单不存在纵向线段，或者纵向线段不明显，例如电子面单，故第一选段优选为横向线段。也即，除快递单的上下边界线段之外，如果存在至少2条线长不小于L1的横向线段，便可判定快递单以线段方式分割。作为一种示例，K1的取值可以为K1＝2/3，即L1＝2/3*W。
S502，如果快递单以线段方式分割，则利用所述快递单图像中的横向线段和纵向线段，将所述快递单图像划分为至少2个栏目。
参见图7，示出了本公开中利用横向线段和纵向线段进行栏目划分的流程示意图。可以包括以下步骤：
S601，判断所述快递单图像中是否存在第二线段。
S602，如果所述快递单图像中存在第二线段，则利用所述第二线段将所述快递单图像划分为至少2个主栏目。
本公开方案中，可以先利用第二线段进行主栏目划分。具体地，第二线段可以为所述横向线段或者所述纵向线段中的一种，所述第二线段不属于所述快递单图像的边界线段，且所述第二线段的线长不小于第二阈值L2＝K2D2，D2表示快递单在所述第二线段的延伸方向上的长度，2/3≤K2≤1。
可以理解地，如果第二线段为横向线段，则D2表示快递单的宽度W；如果第二线段为纵向线段，则D2表示快递单的高度H。
作为一种示例，除快递单图像的左右边界线段之外，可以将线长不小于L2的纵向线段，确定为第二线段，并利用第二线段将快递单切分成至少2个纵向主栏目。在实际应用过程中，可以沿着第二线段从快递单的上边界切分到下边界；或者，可以沿着第二线段从第二线段的起点切分到终点，本公开方案对此可不做具体限定。作为一种示例，K2的取值可以为K2＝2/3，即L2＝2/3*H。
在实际应用过程中，可能会切分出一些无用栏目，例如，快递单的左右边界可能会被切分成小条的栏目，如图2中左边界的版本号栏目、右边界的名址联栏目；和/或，快递单内部可能包含一些宽度较小的栏目，如图2中寄件人信息栏目与收件人信息栏目之间的栏目。为了简化处理，可以剔除这部分无用栏目。举例来说，宽度较小的栏目可以为宽度小于当前栏目宽度1/40的栏目，本公开方案对此可不做具体限定。
S603，判断每个主栏目中是否存在第三线段。
S604，如果主栏目中不存在第三线段，则将所述主栏目确定为所述快递单图像包括的栏目。
S605，如果主栏目中存在第三线段，则利用所述第三线段继续在对应的主栏目中进行栏目划分，得到所述快递单图像包括的栏目。
本公开方案中，第三线段可以为所述横向线段或者所述纵向线段中的另一种，所述第三线段不属于所述快递单图像的边界线段，且所述第三线段的线长不小于第三阈值L3＝K3D3，D3表示主栏目在所述第三线段的延伸方向上的长度，2/3≤K3≤1。
可以理解地，如果第三线段为横向线段，则D3表示主栏目的宽度；如果第三线段为纵向线段，则D3表示主栏目的高度。
根据第三线段的检测情况，后续处理可以分为如下两种情况：
(1)各主栏目中均未检测到第三线段，故可将主栏目确定为快递单图像包括的栏目。
(2)在主栏目中检测到第三线段，故可利用第三线段继续对主栏目进行栏目切分，得到快递单图像包括的栏目。
仍以上文所举示例为例，切分出纵向主栏目后，可以在每个纵向主栏目中进行横向线段检测，判断是否存在线长不小于L3的横向线段，即第三线段。如果不存在，则停止切分，即，快递单图像包括的栏目就是上文切分得到的纵向主栏目。如果存在，则利用第三线段继续进行横向切分，将第三线段所在的纵向主栏目切分成至少2个横向栏目。作为一种示例，K3的取值可以为K3＝2/3。
同样地，在实际应用过程中，亦可能会切分出一些无用栏目，例如，快递单的上下边界可能会被切分成小条的栏目；和/或，快递单内部可能包含一些高度较小的栏目。为了简化处理，可以剔除这部分无用栏目。举例来说，高度较小的栏目可以为高度小于当前栏目高度1/20的栏目，本公开方案对此可不做具体限定。
在实际应用过程中，也可以先切分横向主栏目，再在横向主栏目中检测第三线段，进行纵向切分，具体实现过程可参照上文所做介绍，此处不再进行举例说明。
参见图8，示出了本公开中分栏处理实施例2的流程示意图。可以包括以下步骤：
S701，在所述快递单图像中进行线段检测，判断快递单是否以线段方式分割。
S702，如果快递单不以线段方式分割，则对所述快递单图像进行二值化处理。
S703，在水平方向以及垂直方向上，采用直方图投影的方式，将二值化处理后的快递单图像划分为至少2个栏目。
如果快递单不以线段方式分割，则可通过直方图投影的方式，进行栏目划分。具体地，可以对快递单图像进行二值化处理，将图像转换成只有黑、白两种颜色信息的图像，作为一种示例，可以将文字、Logo转换成前景，用黑色像素表示，当然在实际应用过程中也可以采用白色像素表示前景，本公开方案对此可不做具体限定。然后，在水平方向上采用直方图投影的方式将黑白图像横向切分成多个横向主栏目，再对每个横向主栏目，在垂直方向上采用直方图投影的方式切分成多个纵向栏目。如此，便可得到快递单图像包括的栏目。
在实际应用过程中，有些快递单中的文字存在竖排的情况，按照上文介绍的方案进行信息提取时，可能会将竖排文字切分到不同的行，分属不同的矩形图像块。为了提高本公开方案提取的文字信息的完整度，可以按照以下方式对竖排文字进行合并。
首先，提取所述待提取栏目中每个矩形图像块的外接矩形，得到各矩形图像块对应的文本行矩形区域。
具体地，可以根据矩形图像块中高度最高的文字，提取出矩形图像块的外接矩形，使矩形图像块中的文字全部包含于外接矩形形成的文本行矩形区域内。
其次，在所述待提取栏目中查找至少两个待合并文本行矩形区域，每个待合并文本行矩形区域满足第一预设条件，且相邻待合并文本行矩形区域之间满足第二预设条件。
本公开方案中，每个待合并文本行矩形区域都应满足第一预设条件：所述待合并文本行矩形区域的宽度不大于第一预设宽度W1＝K4W0，且所述待合并文本行矩形区域的高度不大于第一预设高度
W0表示所述待提取栏目的宽度，
表示所述待提取栏目包括的文本行矩形区域的平均高度，1/100≤K4≤1/10，1≤K5≤2。作为一种示例，K4的取值可以为K4＝1/20，即W1＝1/20*W0；K5的取值可以为K5＝1.5，即
本公开方案中，相邻待合并文本行矩形区域之间都应满足第二预设条件：所述相邻待合并文本行矩形区域的宽度之差不大于第二预设宽度W2＝K6W0，所述相邻待合并文本行矩形区域的高度之差不大于第二预设高度H2＝K7H0，所述相邻待合并文本行矩形区域之间的距离不大于预设间距
H0表示所述待提取栏目的高度，1/40≤K6≤1/20， 1/20≤K7≤1/10，1≤K8≤2。作为一种示例，K6的取值可以为K6＝1/40，即W2＝1/40*W0； K7的取值可以为K7＝1/20，即H2＝1/20*H0；K8的取值可以为K8＝1.5，即
如果查找到至少两个待合并文本行矩形区域，则将待提取栏目包括的矩形图像块转换为文字信息之后，可以将至少两个待合并文本行矩形区域对应的文字信息进行合并处理，得到一条文字信息。
作为一种示例，可以按照以下方式确定待合并文本行矩形区域：
(1)在所述待提取栏目中查找参照文本行矩形区域，所述参照文本行矩形区域满足所述第一预设条件。
(2)如果查找到参照文本行矩形区域，则在所述待提取栏目的剩余文本行矩形区域中查找目标文本行矩形区域，所述目标文本行矩形区域满足所述第一预设条件，且所述目标文本行矩形区域与所述参照文本行矩形区域之间满足所述第二预设条件。
(3)如果查找到目标文本行矩形区域，则将所述目标文本行矩形区域作为新的参照文本行矩形区域，从相邻的文本行矩形区域中查找新的目标文本行矩形区域，直至查找不到新的目标文本行矩形区域为止，所述新的目标文本行矩形区域满足所述第一预设条件，且所述新的目标文本行矩形区域与所述新的参照文本行矩形区域之间满足所述第二预设条件。
进行合并处理时，可以先根据第一预设条件，在待提取栏目中确定出一个参照文本行矩形区域；然后根据第二预设条件，确定出参照文本行矩形区域对应的目标文本行矩形区域；最后可以将目标文本行矩形区域视为新的参照文本行矩形区域，在其相邻的文本行矩形区域中查找新的目标文本行矩形区域，如此循环往复，直至查找不到新的目标文本行矩形区域为止。
本公开方案中，可以将参照文本行矩形区域、目标文本行矩形区域、以及新的目标文本行矩形区域，确定为待合并文本行矩形区域。
参见图9，示出了本公开快递单信息提取装置的构成示意图。所述装置可以包括：
快递单图像获取模块801，用于获取快递单图像；
分栏处理模块802，用于对所述快递单图像进行分栏处理，得到至少2个栏目，每个栏目表示一种信息类型；
图像块转换模块803，用于将每个栏目中的文本行转换为矩形图像块；
相似模板查找模块804，用于根据每个栏目在所述快递单图像中的位置、以及每个栏目包括的矩形图像块，在预设模板库中查找相似模板；
待提取栏目确定模块805，用于在查找到相似模板时，获取所述相似模板对应的栏目集合，并根据所述栏目集合，从所述快递单图像中确定出对应的待提取栏目；
文字信息转换模块806，用于将所述待提取栏目包括的矩形图像块转换为文字信息；
文本行类别确定模块807，用于确定出每个矩形图像块对应的文本行的类别；
所述快递单信息包括：所述待提取栏目的信息类型、所述文本行的类别、所述文字信息。
可选地，所述快递单图像获取模块包括：
倾斜角度获得模块，用于在原始图像中进行预设图案检测，获得所述预设图案的倾斜角度，所述预设图案为表示快递单号的条形码和/或表示物流公司的logo；
角度校正模块，用于根据所述预设图案的倾斜角度，对所述原始图像进行角度校正，并将校正后的原始图像转换为边缘图像；
边界线段确定模块，用于获取所述边缘图像中的线段，并从中确定出表示快递单边界的边界线段；
快递单图像提取模块，用于根据所述边界线段从所述校正后的原始图像中提取所述快递单图像。
可选地，如果还获得所述预设图案的位置、以及所述预设图案的大小，则
所述快递单图像提取模块，用于根据所述边界线段、所述预设图案的位置、以及所述预设图案的大小，从所述校正后的原始图像中提取所述快递单图像。
可选地，所述分栏处理模块包括：
分割方式判断模块，用于在所述快递单图像中进行线段检测，判断快递单是否以线段方式分割；
栏目划分模块，用于在快递单以线段方式分割时，利用所述快递单图像中的横向线段和纵向线段，将所述快递单图像划分为至少2个栏目。
可选地，所述分割方式判断模块，用于判断所述快递单图像中是否存在至少2条第一线段，如果所述快递单图像中存在至少2条第一线段，则判定快递单以线段方式分割；
所述第一线段为横向线段或者纵向线段，所述第一线段不属于所述快递单图像的边界线段，且所述第一线段的线长不小于第一阈值L1＝K1D1，D1表示快递单在所述第一线段的延伸方向上的长度，2/3≤K1≤1。
可选地，所述栏目划分模块包括：
第二线段判断模块，用于判断所述快递单图像中是否存在第二线段，所述第二线段为所述横向线段或者所述纵向线段中的一种，所述第二线段不属于所述快递单图像的边界线段，且所述第二线段的线长不小于第二阈值L2＝K2D2，D2表示快递单在所述第二线段的延伸方向上的长度，2/3≤K2≤1；
主栏目划分模块，用于在所述快递单图像中存在第二线段时，利用所述第二线段将所述快递单图像划分为至少2个主栏目；
第三线段判断模块，用于判断每个主栏目中是否存在第三线段，所述第三线段为所述横向线段或者所述纵向线段中的另一种，所述第三线段不属于所述快递单图像的边界线段，且所述第三线段的线长不小于第三阈值L3＝K3D3，D3表示主栏目在所述第三线段的延伸方向上的长度，2/3≤K3≤1；
栏目确定模块，用于在主栏目中不存在第三线段时，将所述主栏目确定为所述快递单图像包括的栏目。
可选地，所述栏目划分模块还包括：
主栏目划分模块，用于在主栏目中存在第三线段时，利用所述第三线段继续在对应的主栏目中进行栏目划分，得到所述快递单图像包括的栏目。
可选地，所述装置还包括：
二值化处理模块，用于在快递单不以线段方式分割时，对所述快递单图像进行二值化处理；
直方图投影模块，用于在水平方向以及垂直方向上，采用直方图投影的方式，将二值化处理后的快递单图像划分为至少2个栏目。
可选地，所述相似模板查找模块包括：
相似栏目查找模块，用于查找相似栏目：利用当前栏目在所述快递单图像中的位置，在当前模板中确定出待比对栏目；判断所述待比对栏目包括的预设关键词，能否匹配到所述当前栏目包括的矩形图像块；如果能匹配到所述当前栏目包括的矩形图像块，且(P/N)不小于预设比值，则将所述待比对栏目确定为所述相似栏目，P表示匹配中的预设关键词的数量，N表示所述待比对栏目包括的预设关键词的总量；
相似模板确定模块，用于在查找到相似栏目，且所述相似栏目的数量不小于预设值时，将所述当前模板确定为所述相似模板。
可选地，所述相似模板查找模块还包括：
预设图案判断模块，用于判断预设图案在所述当前模板、所述快递单图像中的大小是否一致，所述预设图案为表示快递单号的条形码和/或表示物流公司的logo；
缩放处理模块，用于在大小不一致时，对所述快递单图像进行等比例缩放，使缩放处理后的快递单图像中的预设图案与所述当前模板中的预设图案的大小一致。
可选地，所述文本行类别确定模块，用于利用所述矩形图像块转换的文字信息，与预设类别规则进行匹配；将匹配中的预设类别规则对应的类别，确定为该矩形图像块对应的文本行的类别。
可选地，如果所述待提取栏目包括至少2个矩形图像块，所述装置还包括：
外接矩形提取模块，用于提取所述待提取栏目中每个矩形图像块的外接矩形，得到各矩形图像块对应的文本行矩形区域；
矩形区域查找模块，用于在所述待提取栏目中查找至少两个待合并文本行矩形区域，每个待合并文本行矩形区域满足第一预设条件，且相邻待合并文本行矩形区域之间满足第二预设条件；
所述文字信息转换模块，用于在查找到至少两个待合并文本行矩形区域时，将所述至少两个待合并文本行矩形区域对应的文字信息进行合并处理，得到一条文字信息；
所述第一预设条件为：所述待合并文本行矩形区域的宽度不大于第一预设宽度W1＝K4W0，且所述待合并文本行矩形区域的高度不大于第一预设高度
W0表示所述待提取栏目的宽度，
表示所述待提取栏目包括的文本行矩形区域的平均高度， 1/100≤K4≤1/10，1≤K5≤2；
所述第二预设条件为：所述相邻待合并文本行矩形区域的宽度之差不大于第二预设宽度W2＝K6W0，所述相邻待合并文本行矩形区域的高度之差不大于第二预设高度 H2＝K7H0，所述相邻待合并文本行矩形区域之间的距离不大于预设间距
H0表示所述待提取栏目的高度，1/40≤K6≤1/20，1/20≤K7≤1/10，1≤K8≤2。
可选地，所述矩形区域查找模块包括：
参照文本行矩形区域查找模块，用于在所述待提取栏目中查找参照文本行矩形区域，所述参照文本行矩形区域满足所述第一预设条件；
目标文本行矩形区域查找模块，用于在查找到参照文本行矩形区域时，在所述待提取栏目的剩余文本行矩形区域中查找目标文本行矩形区域，所述目标文本行矩形区域满足所述第一预设条件，且所述目标文本行矩形区域与所述参照文本行矩形区域之间满足所述第二预设条件；
新的目标文本行矩形区域查找模块，用于在查找到目标文本行矩形区域时，将所述目标文本行矩形区域作为新的参照文本行矩形区域，从相邻的文本行矩形区域中查找新的目标文本行矩形区域，直至查找不到新的目标文本行矩形区域为止，所述新的目标文本行矩形区域满足所述第一预设条件，且所述新的目标文本行矩形区域与所述新的参照文本行矩形区域之间满足所述第二预设条件；
待合并文本行矩形区域确定模块，用于将所述参照文本行矩形区域、所述目标文本行矩形区域、以及所述新的目标文本行矩形区域，确定为所述待合并文本行矩形区域。
可选地，预先针对不同信息类型的栏目设置有对应的栏目关键词列表，所述栏目关键词列表包括从对应栏目中提取出的至少一个关键词，所述装置还包括：
可用栏目查找模块，用于在查找不到相似模板时，查找可用栏目：将当前栏目包括的矩形图像块转换为文字信息，利用所述文字信息与各栏目关键词列表进行匹配；如果能为所述当前栏目确定出一个对应的栏目关键词列表，则将所述当前栏目确定为可用栏目，所述对应的栏目关键词列表被所述文字信息匹配中的关键词数量最多，且不小于预设数量；
模板生成模块，用于在查找到可用栏目，且所述可用栏目的数量不小于预定值时，根据各可用栏目的位置和大小、各可用栏目的信息类型、以及各可用栏目包括的矩形图像块的位置和大小，生成新的模板，所述可用栏目的信息类型由所述对应的栏目关键词列表确定；
栏目选取模块，用于从所述可用栏目中选取待提取栏目，获得栏目集合，并建立所述栏目集合与所述新的模板之间的对应关系。
可选地，如果所述待提取栏目包括至少2个矩形图像块，所述装置还包括：
参照矩形图像块查找模块，用于在所述待提取栏目中查找参照矩形图像块，所述参照矩形图像块的宽度不小于第三预设宽度W3＝K9W0，W0表示所述待提取栏目的宽度， 2/3≤K9≤1；
目标矩形图像块查找模块，用于在查找到参照矩形图像块时，从所述参照矩形图像块的相邻矩形图像块中查找目标矩形图像块，所述目标矩形图像块与所述参照矩形图像块之间的距离小于预设阈值Dt＝K10Ht，Ht表示所述参照矩形图像块的高度，1≤K10≤2；
新的目标矩形图像块查找模块，用于在查找到目标矩形图像块时，将所述目标矩形图像块作为新的参照矩形图像块，从相邻的矩形图像块中查找新的目标矩形图像块，直至查找不到新的目标矩形图像块为止，所述新的目标矩形图像块与所述新的参照矩形图像块之间的距离小于所述预设阈值；
待合并矩形图像块确定模块，用于将所述参照矩形图像块、所述目标矩形图像块、以及所述新的目标矩形图像块，确定为所述待合并矩形图像块；
所述文字信息转换模块，用于在将所述待合并矩形图像块对应的文字信息进行合并处理，得到一条文字信息。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
参见图10，示出了本公开用于快递单信息提取的电子设备900的结构示意图。参照图10，电子设备900包括处理组件901，其进一步包括一个或多个处理器，以及由存储介质902所代表的存储设备资源，用于存储可由处理组件901的执行的指令，例如应用程序。存储介质902中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件901被配置为执行指令，以执行上述快递单信息提取方法。
电子设备900还可以包括一个电源组件903，被配置为执行电子设备900的电源管理；一个有线或无线网络接口904 ，被配置为将电子设备900连接到网络；和一个输入输出(I/O)接口905。电子设备900可以操作基于存储在存储介质902的操作***，例如 WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (19)
1.一种快递单信息提取方法，其特征在于，所述方法包括：
获取快递单图像，并对所述快递单图像进行分栏处理，得到至少2个栏目，每个栏目表示一种信息类型；其中，获取快递单图像包括：在原始图像中检测预设图案的特征，预设图案包括运单码和/或物流企业标志；预设图案的特征包括如下一种或多种：倾斜角度、在快递单上的位置、与快递单的比例关系；根据预设图案的特征提取出快递单图像；
将每个栏目中的文本行转换为矩形图像块；
根据每个栏目在所述快递单图像中的位置、以及每个栏目包括的矩形图像块，在预设模板库中查找相似模板；
如果查找到相似模板，则获取所述相似模板对应的栏目集合，并根据所述栏目集合，从所述快递单图像中确定出对应的待提取栏目；
将所述待提取栏目包括的矩形图像块转换为文字信息，并确定出每个矩形图像块对应的文本行的类别；
所述快递单信息包括：所述待提取栏目的信息类型、所述文本行的类别、所述文字信息。
2.根据权利要求1所述的方法，其特征在于，所述对所述快递单图像进行分栏处理，包括：
在所述快递单图像中进行线段检测，判断快递单是否以线段方式分割；
如果快递单以线段方式分割，则利用所述快递单图像中的横向线段和纵向线段，将所述快递单图像划分为至少2个栏目。
3.根据权利要求2所述的方法，其特征在于，所述判断快递单是否以线段方式分割，包括：
判断所述快递单图像中是否存在至少2条第一线段，所述第一线段为横向线段或者纵向线段，所述第一线段不属于所述快递单图像的边界线段，且所述第一线段的线长不小于第一阈值L1＝K1D1，D1表示快递单在所述第一线段的延伸方向上的长度，2/3≤K1≤1；
如果所述快递单图像中存在至少2条第一线段，则判定快递单以线段方式分割。
4.根据权利要求2所述的方法，其特征在于，所述利用所述快递单图像中的横向线段和纵向线段，将所述快递单图像划分为至少2个栏目，包括：
判断所述快递单图像中是否存在第二线段，所述第二线段为所述横向线段或者所述纵向线段中的一种，所述第二线段不属于所述快递单图像的边界线段，且所述第二线段的线长不小于第二阈值L2＝K2D2，D2表示快递单在所述第二线段的延伸方向上的长度，2/3≤K2≤1；
如果所述快递单图像中存在第二线段，则利用所述第二线段将所述快递单图像划分为至少2个主栏目；
判断每个主栏目中是否存在第三线段，所述第三线段为所述横向线段或者所述纵向线段中的另一种，所述第三线段不属于所述快递单图像的边界线段，且所述第三线段的线长不小于第三阈值L3＝K3D3，D3表示主栏目在所述第三线段的延伸方向上的长度，2/3≤K3≤1；
如果主栏目中不存在第三线段，则将所述主栏目确定为所述快递单图像包括的栏目；
如果主栏目中存在第三线段，则利用所述第三线段继续在对应的主栏目中进行栏目划分，得到所述快递单图像包括的栏目。
5.根据权利要求1所述的方法，其特征在于，所述确定出每个矩形图像块对应的文本行的类别，包括：
利用所述矩形图像块转换的文字信息，与预设类别规则进行匹配；
将匹配中的预设类别规则对应的类别，确定为该矩形图像块对应的文本行的类别。
6.根据权利要求5所述的方法，其特征在于，
如果文本行的类别是姓名，则对应的预设类别规则为：包括至少2个文字且首个文字为姓氏；
如果文本行的类别是地址，则对应的预设类别规则为：包括行政区关键词和/或住址关键词；
如果文本行的类别是电话，则对应的预设类别规则为：包括预定位数的数字且起始数字为特定数字或者特定数字的组合；
如果文本行的类别是地点，则对应的预设类别规则为：包括至少2个文字且文字内容为行政区。
7.根据权利要求1至6任一项所述的方法，其特征在于，如果所述待提取栏目包括至少2个矩形图像块，所述方法还包括：
提取所述待提取栏目中每个矩形图像块的外接矩形，得到各矩形图像块对应的文本行矩形区域；
在所述待提取栏目中查找至少两个待合并文本行矩形区域，每个待合并文本行矩形区域满足第一预设条件，且相邻待合并文本行矩形区域之间满足第二预设条件；
如果查找到至少两个待合并文本行矩形区域，则在所述将所述待提取栏目包括的矩形图像块转换为文字信息之后，所述方法还包括：将所述至少两个待合并文本行矩形区域对应的文字信息进行合并处理，得到一条文字信息；
所述第一预设条件为：所述待合并文本行矩形区域的宽度不大于第一预设宽度W1＝K4W0，且所述待合并文本行矩形区域的高度不大于第一预设高度
W0表示所述待提取栏目的宽度，
表示所述待提取栏目包括的文本行矩形区域的平均高度，1/100≤K4≤1/10，1≤K5≤2；
所述第二预设条件为：所述相邻待合并文本行矩形区域的宽度之差不大于第二预设宽度W2＝K6W0，所述相邻待合并文本行矩形区域的高度之差不大于第二预设高度H2＝K7H0，所述相邻待合并文本行矩形区域之间的距离不大于预设间距
H0表示所述待提取栏目的高度，1/40≤K6≤1/20，1/20≤K7≤1/10，1≤K8≤2。
8.根据权利要求7所述的方法，其特征在于，所述在所述待提取栏目中查找至少两个待合并文本行矩形区域，包括：
在所述待提取栏目中查找参照文本行矩形区域，所述参照文本行矩形区域满足所述第一预设条件；
如果查找到参照文本行矩形区域，则在所述待提取栏目的剩余文本行矩形区域中查找目标文本行矩形区域，所述目标文本行矩形区域满足所述第一预设条件，且所述目标文本行矩形区域与所述参照文本行矩形区域之间满足所述第二预设条件；
如果查找到目标文本行矩形区域，则将所述目标文本行矩形区域作为新的参照文本行矩形区域，从相邻的文本行矩形区域中查找新的目标文本行矩形区域，直至查找不到新的目标文本行矩形区域为止，所述新的目标文本行矩形区域满足所述第一预设条件，且所述新的目标文本行矩形区域与所述新的参照文本行矩形区域之间满足所述第二预设条件；
将所述参照文本行矩形区域、所述目标文本行矩形区域、以及所述新的目标文本行矩形区域，确定为所述待合并文本行矩形区域。
9.根据权利要求1至6任一项所述的方法，其特征在于，预先针对不同信息类型的栏目设置有对应的栏目关键词列表，所述栏目关键词列表包括从对应栏目中提取出的至少一个关键词，所述方法还包括：
如果查找不到相似模板，则查找可用栏目：将当前栏目包括的矩形图像块转换为文字信息，利用所述文字信息与各栏目关键词列表进行匹配；如果能为所述当前栏目确定出一个对应的栏目关键词列表，则将所述当前栏目确定为可用栏目，所述对应的栏目关键词列表被所述文字信息匹配中的关键词数量最多，且不小于预设数量；
如果查找到可用栏目，且所述可用栏目的数量不小于预定值，则根据各可用栏目的位置和大小、各可用栏目的信息类型、以及各可用栏目包括的矩形图像块的位置和大小，生成新的模板，所述可用栏目的信息类型由所述对应的栏目关键词列表确定；
从所述可用栏目中选取待提取栏目，获得栏目集合，并建立所述栏目集合与所述新的模板之间的对应关系。
10.根据权利要求1至6任一项所述的方法，其特征在于，如果所述待提取栏目包括至少2个矩形图像块，所述方法还包括：
在所述待提取栏目中查找参照矩形图像块，所述参照矩形图像块的宽度不小于第三预设宽度W3＝K9W0，W0表示所述待提取栏目的宽度，2/3≤K9≤1；
如果查找到参照矩形图像块，则从所述参照矩形图像块的相邻矩形图像块中查找目标矩形图像块，所述目标矩形图像块与所述参照矩形图像块之间的距离小于预设阈值Dt＝K10Ht，Ht表示所述参照矩形图像块的高度，1≤K10≤2；
如果查找到目标矩形图像块，则将所述目标矩形图像块作为新的参照矩形图像块，从相邻的矩形图像块中查找新的目标矩形图像块，直至查找不到新的目标矩形图像块为止，所述新的目标矩形图像块与所述新的参照矩形图像块之间的距离小于所述预设阈值；
将所述参照矩形图像块、所述目标矩形图像块、以及所述新的目标矩形图像块，确定为待合并矩形图像块；
在所述将所述待提取栏目包括的矩形图像块转换为文字信息之后，所述方法还包括：将所述待合并矩形图像块对应的文字信息进行合并处理，得到一条文字信息。
11.一种快递单信息提取装置，其特征在于，所述装置包括：
快递单图像获取模块，用于获取快递单图像；其中，获取快递单图像包括：在原始图像中检测预设图案的特征，预设图案包括运单码和/或物流企业标志；预设图案的特征包括如下一种或多种：倾斜角度、在快递单上的位置、与快递单的比例关系；根据预设图案的特征提取出快递单图像；
分栏处理模块，用于对所述快递单图像进行分栏处理，得到至少2个栏目，每个栏目表示一种信息类型；
图像块转换模块，用于将每个栏目中的文本行转换为矩形图像块；
相似模板查找模块，用于根据每个栏目在所述快递单图像中的位置、以及每个栏目包括的矩形图像块，在预设模板库中查找相似模板；
待提取栏目确定模块，用于在查找到相似模板时，获取所述相似模板对应的栏目集合，并根据所述栏目集合，从所述快递单图像中确定出对应的待提取栏目；
文字信息转换模块，用于将所述待提取栏目包括的矩形图像块转换为文字信息；
文本行类别确定模块，用于确定出每个矩形图像块对应的文本行的类别；
所述快递单信息包括：所述待提取栏目的信息类型、所述文本行的类别、所述文字信息。
12.根据权利要求11所述的装置，其特征在于，所述分栏处理模块包括：
分割方式判断模块，用于在所述快递单图像中进行线段检测，判断快递单是否以线段方式分割；
栏目划分模块，用于在快递单以线段方式分割时，利用所述快递单图像中的横向线段和纵向线段，将所述快递单图像划分为至少2个栏目。
13.根据权利要求12所述的装置，其特征在于，
所述分割方式判断模块，用于判断所述快递单图像中是否存在至少2条第一线段，如果所述快递单图像中存在至少2条第一线段，则判定快递单以线段方式分割；
所述第一线段为横向线段或者纵向线段，所述第一线段不属于所述快递单图像的边界线段，且所述第一线段的线长不小于第一阈值L1＝K1D1，D1表示快递单在所述第一线段的延伸方向上的长度，2/3≤K1≤1。
14.根据权利要求12所述的装置，其特征在于，所述栏目划分模块包括：
第二线段判断模块，用于判断所述快递单图像中是否存在第二线段，所述第二线段为所述横向线段或者所述纵向线段中的一种，所述第二线段不属于所述快递单图像的边界线段，且所述第二线段的线长不小于第二阈值L2＝K2D2，D2表示快递单在所述第二线段的延伸方向上的长度，2/3≤K2≤1；
主栏目划分模块，用于在所述快递单图像中存在第二线段时，利用所述第二线段将所述快递单图像划分为至少2个主栏目；
第三线段判断模块，用于判断每个主栏目中是否存在第三线段，所述第三线段为所述横向线段或者所述纵向线段中的另一种，所述第三线段不属于所述快递单图像的边界线段，且所述第三线段的线长不小于第三阈值L3＝K3D3，D3表示主栏目在所述第三线段的延伸方向上的长度，2/3≤K3≤1；
栏目确定模块，用于在主栏目中不存在第三线段时，将所述主栏目确定为所述快递单图像包括的栏目；
主栏目划分模块，用于在主栏目中存在第三线段时，利用所述第三线段继续在对应的主栏目中进行栏目划分，得到所述快递单图像包括的栏目。
15.根据权利要求11至14任一项所述的装置，其特征在于，如果所述待提取栏目包括至少2个矩形图像块，所述装置还包括：
外接矩形提取模块，用于提取所述待提取栏目中每个矩形图像块的外接矩形，得到各矩形图像块对应的文本行矩形区域；
矩形区域查找模块，用于在所述待提取栏目中查找至少两个待合并文本行矩形区域，每个待合并文本行矩形区域满足第一预设条件，且相邻待合并文本行矩形区域之间满足第二预设条件；
所述文字信息转换模块，用于在查找到至少两个待合并文本行矩形区域时，将所述至少两个待合并文本行矩形区域对应的文字信息进行合并处理，得到一条文字信息；
所述第一预设条件为：所述待合并文本行矩形区域的宽度不大于第一预设宽度W1＝K4W0，且所述待合并文本行矩形区域的高度不大于第一预设高度
W0表示所述待提取栏目的宽度，
表示所述待提取栏目包括的文本行矩形区域的平均高度，1/100≤K4≤1/10，1≤K5≤2；
所述第二预设条件为：所述相邻待合并文本行矩形区域的宽度之差不大于第二预设宽度W2＝K6W0，所述相邻待合并文本行矩形区域的高度之差不大于第二预设高度H2＝K7H0，所述相邻待合并文本行矩形区域之间的距离不大于预设间距
H0表示所述待提取栏目的高度，1/40≤K6≤1/20，1/20≤K7≤1/10，1≤K8≤2。
16.根据权利要求11至14任一项所述的装置，其特征在于，预先针对不同信息类型的栏目设置有对应的栏目关键词列表，所述栏目关键词列表包括从对应栏目中提取出的至少一个关键词，所述装置还包括：
可用栏目查找模块，用于在查找不到相似模板时，查找可用栏目：将当前栏目包括的矩形图像块转换为文字信息，利用所述文字信息与各栏目关键词列表进行匹配；如果能为所述当前栏目确定出一个对应的栏目关键词列表，则将所述当前栏目确定为可用栏目，所述对应的栏目关键词列表被所述文字信息匹配中的关键词数量最多，且不小于预设数量；
模板生成模块，用于在查找到可用栏目，且所述可用栏目的数量不小于预定值时，根据各可用栏目的位置和大小、各可用栏目的信息类型、以及各可用栏目包括的矩形图像块的位置和大小，生成新的模板，所述可用栏目的信息类型由所述对应的栏目关键词列表确定；
栏目选取模块，用于从所述可用栏目中选取待提取栏目，获得栏目集合，并建立所述栏目集合与所述新的模板之间的对应关系。
17.根据权利要求11至14任一项所述的装置，其特征在于，如果所述待提取栏目包括至少2个矩形图像块，所述装置还包括：
参照矩形图像块查找模块，用于在所述待提取栏目中查找参照矩形图像块，所述参照矩形图像块的宽度不小于第三预设宽度W3＝K9W0，W0表示所述待提取栏目的宽度，2/3≤K9≤1；
目标矩形图像块查找模块，用于在查找到参照矩形图像块时，从所述参照矩形图像块的相邻矩形图像块中查找目标矩形图像块，所述目标矩形图像块与所述参照矩形图像块之间的距离小于预设阈值Dt＝K10Ht，Ht表示所述参照矩形图像块的高度，1≤K10≤2；
新的目标矩形图像块查找模块，用于在查找到目标矩形图像块时，将所述目标矩形图像块作为新的参照矩形图像块，从相邻的矩形图像块中查找新的目标矩形图像块，直至查找不到新的目标矩形图像块为止，所述新的目标矩形图像块与所述新的参照矩形图像块之间的距离小于所述预设阈值；
待合并矩形图像块确定模块，用于将所述参照矩形图像块、所述目标矩形图像块、以及所述新的目标矩形图像块，确定为所述待合并矩形图像块；
所述文字信息转换模块，用于在将所述待合并矩形图像块对应的文字信息进行合并处理，得到一条文字信息。
18.一种存储介质，其中存储有多条指令，其特征在于，所述指令由处理器加载，执行权利要求1至10任一项所述方法的步骤。
19.一种电子设备，其特征在于，所述电子设备包括；
权利要求18所述的存储介质；以及
处理器，用于执行所述存储介质中的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711002755.5A CN107832756B (zh) | 2017-10-24 | 2017-10-24 | 快递单信息提取方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711002755.5A CN107832756B (zh) | 2017-10-24 | 2017-10-24 | 快递单信息提取方法及装置、存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107832756A CN107832756A (zh) | 2018-03-23 |
| CN107832756B true CN107832756B (zh) | 2021-09-07 |
Family
ID=61649177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711002755.5A Active CN107832756B (zh) | 2017-10-24 | 2017-10-24 | 快递单信息提取方法及装置、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107832756B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740606B (zh) * | 2018-12-20 | 2021-02-05 | 上海众源网络有限公司 | 一种图像识别方法及装置 |
| CN110060317A (zh) * | 2019-03-16 | 2019-07-26 | 平安城市建设科技(深圳)有限公司 | 海报自动配置方法、设备、存储介质及装置 |
| CN110443538A (zh) * | 2019-06-20 | 2019-11-12 | 苏州视印智能***有限公司 | 一种收件自动信息识别***及方法 |
| CN110442719B (zh) * | 2019-08-09 | 2022-03-04 | 北京字节跳动网络技术有限公司 | 一种文本处理方法、装置、设备及存储介质 |
| CN110942061A (zh) * | 2019-10-24 | 2020-03-31 | 泰康保险集团股份有限公司 | 文字识别方法、装置、设备和计算机可读介质 |
| CN112633193A (zh) * | 2020-12-28 | 2021-04-09 | 深圳壹账通智能科技有限公司 | 地址信息的提取方法、装置、设备及介质 |
| CN112732955A (zh) * | 2021-03-31 | 2021-04-30 | 国网浙江省电力有限公司 | 标准成本核算中的财务凭证存储记录方法 |
| CN113221754A (zh) * | 2021-05-14 | 2021-08-06 | 深圳前海百递网络有限公司 | 快递单图像检测方法、装置、计算机设备和存储介质 |
| CN115082919B (zh) * | 2022-07-22 | 2022-11-29 | 平安银行股份有限公司 | 一种地址识别方法、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6542635B1 (en) * | 1999-09-08 | 2003-04-01 | Lucent Technologies Inc. | Method for document comparison and classification using document image layout |
| CN102567300A (zh) * | 2011-12-29 | 2012-07-11 | 方正国际软件有限公司 | 图片文档的处理方法及装置 |
| CN103593642A (zh) * | 2012-08-16 | 2014-02-19 | 阿里巴巴集团控股有限公司 | 一种卡信息获取方法和*** |
| CN105989366A (zh) * | 2015-01-30 | 2016-10-05 | 深圳市思路飞扬信息技术有限责任公司 | 文本图像的倾斜角矫正、版面分析方法和助视装置、*** |
| CN106056114A (zh) * | 2016-05-24 | 2016-10-26 | 腾讯科技（深圳）有限公司 | 名片内容识别方法和装置 |
| CN106991416A (zh) * | 2017-03-14 | 2017-07-28 | 浙江大学 | 一种基于手动拍照的化验单识别方法 |
-
2017
- 2017-10-24 CN CN201711002755.5A patent/CN107832756B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6542635B1 (en) * | 1999-09-08 | 2003-04-01 | Lucent Technologies Inc. | Method for document comparison and classification using document image layout |
| CN102567300A (zh) * | 2011-12-29 | 2012-07-11 | 方正国际软件有限公司 | 图片文档的处理方法及装置 |
| CN103593642A (zh) * | 2012-08-16 | 2014-02-19 | 阿里巴巴集团控股有限公司 | 一种卡信息获取方法和*** |
| CN105989366A (zh) * | 2015-01-30 | 2016-10-05 | 深圳市思路飞扬信息技术有限责任公司 | 文本图像的倾斜角矫正、版面分析方法和助视装置、*** |
| CN106056114A (zh) * | 2016-05-24 | 2016-10-26 | 腾讯科技（深圳）有限公司 | 名片内容识别方法和装置 |
| CN106991416A (zh) * | 2017-03-14 | 2017-07-28 | 浙江大学 | 一种基于手动拍照的化验单识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107832756A (zh) | 2018-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107832756B (zh) | 快递单信息提取方法及装置、存储介质、电子设备 | |
| US10943105B2 (en) | Document field detection and parsing | |
| CN110569832B (zh) | 基于深度学习注意力机制的文本实时定位识别方法 | |
| CN109657665B (zh) | 一种基于深度学习的***批量自动识别*** | |
| CN106056114B (zh) | 名片内容识别方法和装置 | |
| CN107093172B (zh) | 文字检测方法及*** | |
| US10743035B2 (en) | Coordinated piecewise Bezier vectorization | |
| US9230383B2 (en) | Document image compression method and its application in document authentication | |
| CN101908136B (zh) | 一种表格识别处理方法及*** | |
| CN111814722A (zh) | 一种图像中的表格识别方法、装置、电子设备及存储介质 | |
| EP2650821B1 (en) | Text image trimming method | |
| CN104298982A (zh) | 一种文字识别方法及装置 | |
| CN110569341A (zh) | 配置聊天机器人的方法、装置、计算机设备和存储介质 | |
| KR101078086B1 (ko) | 문자 인식 장치, 문자 인식 프로그램, 및 문자 인식 방법 | |
| CN112712014B (zh) | 表格图片结构解析方法、***、设备和可读存储介质 | |
| US20150371100A1 (en) | Character recognition method and system using digit segmentation and recombination | |
| JP2016159245A (ja) | 配達物処理装置、および配達物処理プログラム | |
| CN111858977B (zh) | 票据信息采集方法、装置、计算机设备和存储介质 | |
| CN108090728B (zh) | 一种基于智能终端的快递信息录入方法及录入*** | |
| CN115731554A (zh) | 快件面单识别方法、装置、计算机设备及存储介质 | |
| CN111213157A (zh) | 一种基于智能终端的快递信息录入方法及录入*** | |
| CN106611171A (zh) | 一种扫描录单的方法及装置 | |
| CN115147852A (zh) | 一种古籍识别方法、装置、存储介质及设备 | |
| JP2018067096A (ja) | 文字認識装置及び文字認識方法 | |
| CN117115844B (zh) | 用于实体文档的智能数据录入方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |