CN106897732A - 一种基于连接文字段的自然图片中多方向文本检测方法 - Google Patents

Abstract

本发明公开了一种基于连接文字段的自然图片中多方向文本检测方法，文字段和连接是该检测方法中关键的两个步骤，定义如下：文字段指的是在图片上划分出许多单个多方向的包围盒区域，它们包围着一个文字条或者单词的一部分；连接指的是将相邻的字段连接起来，意味着它们属于同一个单词或同一句话。文字段和连接合起来使用一个端到端训练的全卷积神经网络以多种尺度进行等间隔地检测。最后的检测结果是先连接多个文字段组成新区域，然后对这些新区域进行组合而得到的。本发明提出的检测方法相对于现有技术在准确率、速度和模型简易度这些方面都取得了卓越的效果，效率高且鲁棒性强，能克服复杂的图片背景，另外也能检测图像中非拉丁文字的长文本。

Description

一种基于连接文字段的自然图片中多方向文本检测方法

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种基于连接文字段的自然图片中多方向文本检测方法。

背景技术

读取自然图片中的文本是一个充满挑战的热门任务，在照片光学识别、地理定位和图像检索方面都有许多实际的应用。在文本读取***中，文字检测就是在单词级别或文字条级别上以包围盒来定位文字区域，它通常都作为非常关键的第一步。从某种意义上而言，文字检测也可以视为一种特殊的物体检测，即将单词、字符或文字条作为检测的目标。

尽管已有的技术已经在将物体检测方法应用于文字检测上取得了极大的成功，但是物体检测方法在定位文字区域方面仍有几点明显的不足。第一，单词或文字条的长宽比通常都比一般物体要大的多，之前的方法难以产生这种比例的包围盒；第二，一些非拉丁语的文本在相邻单词之间并不包含空格，比如中文汉字。已有的技术都只能检测到单词，在检测这种文本时就会不适用，因为这种不包含空格的文本无法提供划分不同单词的视觉信息。第三，在大型自然场景图片中，文字可能是任意方向的，然而现有的技术绝大多数都只能检测水平方向的文字。因此自然场景图片中的文本检测仍然是计算机视觉技术领域的难点之一。

发明内容

本发明的目的在于提供一种基于连接文字段的自然图片中多方向文本检测方法，该方法检测文本准确率高，速度快，模型简易，且鲁棒性强，能克服复杂的图片背景，另外也能检测非拉丁文字的长文本。

为实现上述目的，本发明从一个全新的视角来解决场景文字检测问题，提供了一种基于连接文字段的自然图片中多方向文本检测方法，包括下述步骤：

(1)训练文字段连接检测网络模型，包括如下子步骤：

(1.1)以词条级别标记训练图像集中所有文本图像的文本内容，标签为词条的矩形初始包围盒的四个点坐标，得到训练数据集；

(1.2)定义用于根据词条标签可以预测输出文字段和连接的文字段检测模型，所述网络模型由级联卷积神经网络和卷积预测器组成，根据上述训练数据集计算得到文字段和连接的标签，设计损失函数，结合在线扩增和在线负样本难例挖掘技术手段，利用反向传导方法训练该网络，得到文字段检测模型，包括如下子步骤：

(1.2.1)构建文字段检测卷积神经网络模型：提取特征的前几层卷积单元来自预训练的VGG-16网络，前几层卷积单元为卷积层1到池化层5，全连接层6和全连接层7分别转换为卷积层6和卷积层7，连接在其后的是一些额外加入的卷积层，用于提取更深度的特征进行检测，包括卷积层8、卷积层9、卷积层10，最后一层是卷积层11；后6个不同的卷积层分别输出不同尺寸的特征图，便于提取出多种尺度的高质量特征，检测文字段和连接是在这六个不同尺寸的特征图上进行的；对于这6个卷积层，每一层之后都添加尺寸为3×3的滤波器作为卷积预测器，来共同检测文字段和连接；

(1.2.2)从标注的词包围盒产生文字段包围盒标签：对于原始训练图像集Itr，记缩放后的训练图像集为Itr′，w_I、h_I分别为Itr′的宽度和高度，可以取384×384或512×512像素，第i张图片Itr_i′作为模型输入，Itr_i′上标注的所有词包围盒记作W_i＝[W_i1，...，W_ip]，其中W_ij为第i张图片上的第j个词包围盒，词包围盒可以是单词级别也可以是词条级别，j＝1，...，p，p为第i张图片上词包围盒的总数量；记后6层卷积层分别输出的特征图构成集合Itro_i′＝[Itro_i1′，...，Itro_i6′]，其中Itro_il′为后6层卷积层中第l层输出的特征图，w_l、h_l分别为该特征图的宽度和高度，Itro_il′上的坐标(x，y)对应Itr_i′上以(x_a，y_a)为中心点坐标的水平初始包围盒B_ilq，它们满足下列公式：

初始包围盒B_ilq的宽和高都被设置成一个常数a_l，用于控制输出文字段的比例，l＝1，...，6；记第l层输出的特征图Itro_il′对应的初始包围盒集合为B_il＝[B_il1，...，B_ilm]，q＝1，...，m，其中m为第l层输出的特征图上初始包围盒的数目；只要初始包围盒B_ilq的中心被包含在Itr′上任一标注的词包围盒W_ij内部，且B_ilq的尺寸a_l和该标注的词包围盒W_ij的高度h满足：那么这个初始包围盒B_ilq被标记为正类，标签取值为1，并与高度最为接近的那个词包围盒W_ij匹配；否则，当B_ilq与所有词包围盒W_i都不满足上述两个条件时，B_ilq就被标记为负类，标签取值为0；文字段在初始包围盒上产生，与初始包围盒标签类别相同；其中，比例常数1.5为经验值；

(1.2.3)在所述步骤(1.2.2)产生的带标签的初始包围盒上产生文字段并计算正类文字段偏移量：负类文字段包围盒s^-为负类初始包围盒B^-；正类文字段包围盒s⁺由正类初始包围盒B⁺经过以下步骤得到：a)记正类初始包围盒B⁺匹配到的标注词包围盒W与水平方向夹角为θ_s，以B⁺的中心点为中心，将W顺时针旋转θ_s角；b)裁剪W，去除超出B⁺左边和右边的部分；c)以B⁺的中心点为中心，将裁剪后的词包围盒W′逆时针旋转θ_s角，得到文字段s⁺真实标签的几何参数x_s、y_s、w_s、h_s、θ_s；d)计算得到文s⁺相对于B⁺的偏移量(Δx_s，Δy_s，Δw_s，Δh_s，Δθ_s)，计算公式如下：

x_s＝a_lΔx_s+x_a

y_s＝a_lΔy_s+y_a

w_s＝a_lexp(Δw_s)

h_s＝a_lexp(Δh_s)

θ_s＝Δθ_s

其中，x_s、y_s、w_s、h_s、θ_s分别为文字段包围盒s⁺的中心点横坐标、中心点纵坐标、宽度、高度以及与水平方向之间的夹角；x_a、y_a、w_a、h_a分别为水平初始包围盒B⁺的中心点横坐标、中心点纵坐标、宽度、高度；Δx_s、Δy_s、Δw_s、Δh_s、Δθ_s分别为文字段包围盒s⁺中心点横坐标x_s相对初始包围盒B⁺的偏移量、纵坐标y_s相对初始包围盒的偏移量、宽度w_s的偏移变化量、高度h_s的偏移变化量、角度θ_s的偏移量；

(1.2.4)对于步骤(1.2.3)产生的文字段包围盒计算连接标签：文字段s是在初始包围盒B上产生的，因此s之间的连接标签和它们对应的初始包围盒B之间的连接标签相同；对于特征图集合Itro_i′＝[Itro_i1′，...，Itro_i6′]，如果在同一张特征图Itro_il′的初始包围盒集合B_il里，两个初始包围盒的标签都是正类，且匹配到同一个词，那么之间的层内连接被标记为正类，否则标记为负类；如果在特征图Itro_il′对应的初始包围盒集合B_il里的初始包围盒和Itro_i(l-1)′对应的的初始包围盒集合B_i(l-1)里的初始包围盒的标签都是正类且匹配到同一个词包围盒W_ij，那么之间的跨层连接被标记为正类，否则标记为负类；

(1.2.5)以缩放后的训练图像集Itr′作为文字段检测模型输入，预测文字段s输出：对模型初始化权重和偏置，前6万次训练迭代步骤学习率设置为10^-3，之后学习率衰减到10^-4；对于后6层卷积层，在第l层特征图Itro_il′上的坐标(x，y)处，(x，y)对应到输入图像Itr_i′上以(x_a，y_a)为中心点坐标、以a_l为尺寸的初始包围盒B_ilq，3×3的卷积预测器都会预测出B_ilq被分别划分成正、负类的得分c_s，c_s为二维向量，取值范围为0-1之间的小数。同时也预测出5个数字作为被划分到正类文字段s⁺时的几何偏移量，其中分别为预测的文字段包围盒s⁺中心点横坐标相对正类初始包围盒B⁺的偏移量、纵坐标的相对正类初始包围盒B⁺的偏移量、高度的偏移变化量、宽度的偏移变化量、角度偏移量；

(1.2.6)在已预测的文字段基础上预测层内连接和跨层连接输出：对于层内连接，在同一张特征图Itro_il′上坐标点(x，y)处，取x-1≤x′≤x+1、y-1≤y′≤y+1范围内近邻的点(x′，y′)，这8个点对应到输入图像Itr_i′时，便获得了与(x，y)对应的基准文字段s^(x，y，l)相连接的层内近邻文字段s^{(x′，y′，l)}，8个层内近邻文字段可表示为集合：

3×3卷积预测器会预测出s^(x，y，l)与层内近邻集合的连接的正、负得分c_l1，c_l1为16维向量，其中，w为上标，表示层内连接；

对于跨层连接，一个跨层连接将两个连续卷积层输出的特征图上两个点处对应的文字段相连；由于每经过一层卷积层，特征图的的宽度和高度都会缩小一半，第l层输出特征图Itro_il′的宽度w_l和高度h_l是第l-1层特征图Itro_i(l-1)′的宽度w_l-1和高度h_l-1的一半，而Itro_il′对应的初始包围盒尺度a_l是Itro_i(l-1)′对应的初始包围盒尺度a_l-1的2倍，对于在第l层输出特征图Itro_il′上的(x，y)，在特征图Itro_i(l-1)′上取2x≤x′≤2x+1、2y≤y′≤2y+1范围内的4个跨层近邻点(x′，y′)，Itro_il′上(x，y)对应到输入图像Itr_i′上的初始包围盒刚好与Itro_i(l-1)′上4个跨层近邻点对应到输入图像Itr_i′上的4个初始包围盒空间位置重合，4个跨层近邻文字段s^{(x′，y′，l-1)}可表示为集合：

3×3卷积预测器会预测出第l层基准文字段s^(x，y，l)与第l-1层上近邻文字段集合之间跨层连接的正、负得分c_l2，c_l2为8维向量：

其中，表示预测器预测出s^(x，y，l)与其所有4个近邻文字段之间的连接的正、负得分，c为上标，表示跨层连接；

所有的层内连接和所有的跨层连接构成连接集合N_s；

(1.2.7)以步骤(1.2.3)和步骤(1.2.4)获得的文字段标签、正类文字段真实偏移量、连接标签作为输出基准，以步骤(1.2.5)预测的文字段类别及得分、预测的文字段偏移量、步骤(1.2.6)预测的连接得分为预测输出，设计预测输出与输出基准之间的目标损失函数，对文字段连接检测模型利用反向传导法进行不断地训练，来最小化文字段分类、文字段偏移回归和连接分类的损失，针对所述文字段连接检测模型设计目标损失函数，目标损失函数是三个损失的加权和：

其中y_s是所有文字段的标签，c_s是预测的文字段得分，y_l是预测的连接标签，c_l是预测的连接得分，由层内连接得分c_l1和跨层得分c_l2组成；如果第i个初始包围盒标记为正类，那么y_s(i)＝1，否则为0；L_conf(y_s，c_s)是预测的文字段得分c_s的softmax损失，L_conf(y_s，c_l)是预测的连接得分c_l的softmax损失，是预测的文字段几何参数s和真实标签之间的平滑L₁回归损失；n_s是正类初始包围盒的数量，用来对文字段分类和回归损失进行归一化；n_l是正类连接总数，用来对连接分类损失进行归一化；λ₁和λ₂为权重常数，在实际中取1；

(1.2.8)在步骤(1.2.7)的训练过程中，采用在线扩增方法对训练数据I_tr进行在线扩增，并采用在线负样本难例挖掘策略来平衡正样本和负样本。在训练图片I_tr被缩放到相同的尺寸并批量加载之前，它们被随机地裁剪成一个个图像块，每个图像块与文字段的真实包围盒的jaccard重叠系数o最小；对于多方向文字，数据扩增是在多方向文字包围盒的最小包围矩形上进行的，每个样本的重叠系数o从0、0.1、0.3、0.5、0.7和0.9中随机选择，图像块的大小为原始图片尺寸的0.1-1倍之间；训练图像不水平翻转；另外，文字段和连接负样本占据训练样本的大部分，采用在线负样本难例挖掘策略来平衡正样本和负样本，对文字段和连接分开进行挖掘，控制负样本与正样本之间的比例不超过3∶1。

(2)利用上述训练好的卷积神经网络对待检测文本图像进行文字段和连接检测，包括如下子步骤：

(2.1)对待检测文本图像进行文字段检测，由不同卷积层输出的特征图可以预测出不同尺度的文字段，由同一卷积层输出的特征图预测出相同尺度的文字段：对待检测图像集Itst中的第i张待检测文本图像Itst_i，缩放到统一尺寸，具体尺寸可随待检测文本图像的情况人为设定，记缩放后的待检测文本图像为Itst_i′。将图像Itst_i′输入到步骤(1.2)中训练好的文字段连接检测模型，得到后6层卷积层分别输出的特征图构成的集合Itsto_i′＝[Itsto_i1′，...，Itsto_i6′]，其中Itsto_il′为后6层卷积层中第l层输出的特征图，l＝1，...，6，在每张输出特征图Itsto_il′上的坐标(x，y)处，3×3的卷积预测器都会预测出(x，y)对应的初始包围盒B_ilq被预测为正、负类文字段的得分c_s，同时也预测出5个数字作为被预测为正类文字段s⁺时的几何偏移量；

(2.2)对待检测文本图像检测出的所有特征层上的文字段进行连接检测，所述连接包括层内连接和跨层连接：在(2.1)预测的文字段基础上预测层内连接和跨层连接，对于层内连接，在同一张特征图Itsto_il′上坐标点(x，y)处，3×3卷积预测器预测出s^(x，y，l)与它8个近邻文字段之间层内连接的正、负得分c_l1；对于跨层连接，3×3卷积预测器会预测出第l层基准文字段s^(x，y，l)与第l-1层上4个近邻文字段的跨层连接正、负得分c_l2，c_l1和c_l2构成预测的连接得分c_l；

(2.3)将检测得到的文字段置信度得分和连接置信度得分组合，其中文字段置信度得分包括文字段正负类别得分和偏移量得分，利用卷积预测器输出softmax标准化得分：在(2.1)预测的文字段基础上预测层内连接和跨层连接，对于层内连接，在同一张特征图Itsto_il′上坐标点(x，y)处，3×3卷积预测器预测出s^(x，y，l)与8个近邻文字段之间层内连接的正、负得分c_l1；对于跨层连接，3×3卷积预测器会预测出第l层基准文字段s^(x，y，l)与第l-1层上4个近邻文字段的跨层连接正、负得分c_l2，c_l1和c_l2构成预测的连接得分c_l。

(3)组合文字段和连接，得到输出包围盒，包括如下子步骤：

(3.1)根据(2.3)中检测得到的标准化得分，过滤卷积预测器输出的文字段和连接，以过滤后的文字段作为节点，以连接作为边，构建连接图：对于步骤(2)待检测文本图像输入到文字段检测模型而产生的固定数量的文字段s和连接N_s，通过它们的得分进行过滤；为文字段s和连接N_s设置不同的过滤阈值，分别为α和β；过滤阈值可以根据不同的数据人为设定不同的值，在实际中进行多方向文本图像检测时，可以取α＝0.9，β＝0.7，进行多语种长文本图像检测时，可以取α＝0.9，β＝0.5，进行水平文本检测时，可以取α＝0.6，β＝0.3；将过滤后的文字段s′作为节点，过滤后的连接N_s′作为边，利用它们构建一个图；

(3.2)在图上执行深度优先搜索以找到相互连接的组件，每个组件记作集合B，包含由连接相连起来的文字段；

(3.3)对步骤(3.2)在图上进行深度优先搜索得到的文字段集合S，通过下述步骤组合成一个完整的词，包括：

(3.3.1)输入：|S|为集合S里的文字段数量，其中为第i个文字段，i为上标，分别为第i个文字段包围盒s⁽ⁱ⁾的中心横坐标和纵坐标，分别为文字段包围盒s⁽ⁱ⁾的宽度和高度，为文字段包围盒s⁽ⁱ⁾与水平方向之间的夹角；

(3.3.2)其中θ_b为输出包围盒的偏移角度，为集合里第i个文字段包围盒s的偏移角度，由集合S里所有文字段的平均偏移角度得到；

(3.3.3)找到直线tan(θ_b)x+b的截距b，使得集合S中所有的文字段到中心点的距离的总和最小；

(3.3.4)找到直线的两个端点(x_p，y_p)和(x_q，y_q)，p表示第一个端点，q表示第二个端点，x_p、y_p分别为第一个端点的横、纵坐标，x_q、y_q分别为第二个端点的横、纵坐标；

(3.3.5)b表示输出包围盒，x_b、y_b分别为输出包围盒中心的横、纵坐标；

(3.3.6)其中w_b为输出包围盒的宽度，w_p、w_q分别为以点p为中心的包围盒的宽度和以q为中心的包围盒的宽度；

(3.3.7)h_b为输出包围盒的高度，为集合里第i个文字段包围盒s的高度，由由文字段集合S里所有文字段的平均高度得到；

(3.3.8)b：＝(x_b，y_b，w_b，h_b，θ_b)，b为输出包围盒，由坐标参数、尺寸参数、角度参数表示；

(3.3.9)输出组合而成的包围盒b。

通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下技术效果：

(1)可以检测多方向文字：自然场景图片里的文本通常是任意方向或者扭曲的，本发明方法文字区域可以通过文字段包围盒进行局部描述，文字段包围盒可以被设置成任意方向，因此可以包含多方向或扭曲形状的文字。

(2)灵活度高：本发明方法也可以检测任意长度的文字条，因为组合文字段只依赖于预测的连接，因此既可以检测单词，也可以检测文字条；

(3)鲁棒性强：本发明方法采用的是以文字段包围盒进行局部描述，这种局部描述的方法能克服复杂的自然图片背景，从图片里捕获文本特征；

(4)效率高：本发明方法的文字段检测模型是端到端进行训练的，每秒能够处理超过20张大小为512x512图像，因为文字段和连接都是通过在全卷积CNN模型进行一次正向传播获得，不需要对输入图像进行离线的缩放和旋转；

(5)通用性强：一些非拉丁语的文本在相邻单词之间并不包含空格，比如中文汉字。已有的技术都只能检测到单词，在检测这种文本时就会不适用，因为这种不包含空格的文本无法提供划分不同单词的视觉信息。除了拉丁文字，本发明也能够检测非拉丁文字的长文本，因为本发明方法不需要利用空格来提供视觉划分信息。

附图说明

图1是本发明基于文字段连接的自然图片中多方向文本检测的流程图；

图2是本发明计算文字段真实标签各项参数的示意图；

图3是本发明卷积预测器的输出组成示意图；

图4是本发明文字段连接检测模型网络连接图；

图5是本发明一实施例中利用训练好的文字段连接检测网络模型对待检测文本图像进行检测文字段和连接输出包围盒的结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

以下首先就本发明的技术术语进行解释和说明：

卷积神经网络(Concolutional Neural Network，CNN)：一种可用于图像分类、回归等任务的神经网络。网络通常由卷积层、降采样层和全连接层构成。卷积层和降采样层负责提取图像的特征，全连接层负责分类或回归。网络的参数包括卷积核以及全连接层的参数及偏置，参数可以通过反向传导算法，从数据中学习得到；

VGG16：2014年ILSVRC的亚军是VGGNet，包含16个CONV/FC层，具有非常均匀的架构，颇具吸引力，从开始到结束只执行3x3卷积和2x2池化层，成为经典的卷积神经网络模型。他们的预训练模型可用于Caffe的即插即用。它证明了网络的深度是良好性能的关键组成部分。

深度优先搜索(DFS)：它是一种用于遍历或搜索树或图的算法。沿着树的深度遍历树的节点，尽可能深的搜索树的分支。当节点v的所在边都己被探寻过，搜索将回溯到发现节点v的那条边的起始节点。这一过程一直进行到已发现从源节点可达的所有节点为止。如果还存在未被发现的节点，则选择其中一个作为源节点并重复以上过程，整个进程反复进行直到所有节点都被访问为止。属于图论中的经典算法，利用深度优先搜索算法可以产生目标图的相应拓扑排序表，利用拓扑排序表可以方便的解决很多相关的图论问题，如最大路径问题等等。

如图1所示，本发明基于空间变换的自然场景下文本检测方法包括以下步骤：

(1)训练文字段连接检测网络模型，包括如下子步骤：

(1.1)以词条级别标记训练图像集中所有文本图像的文本内容，标签为词条的矩形初始包围盒的四个点坐标，得到训练数据集；

(1.2)定义用于根据词条标注可以预测输出文字段和连接的文字段检测模型，所述网络模型由级联卷积神经网络和卷积预测器组成，根据上述训练数据集计算得到文字段和连接的标签，设计损失函数，结合在线扩增和在线负样本难例挖掘技术手段，利用反向传导方法训练该网络，得到文字段检测模型，包括如下子步骤：

(1.2.1)构建文字段检测卷积神经网络模型：提取特征的前几层卷积单元来自预训练的VGG-16网络，前几层卷积单元为卷积层1到池化层5，全连接层6和全连接层7分别转换为卷积层6和卷积层7，连接在其后的是一些额外加入的卷积层，用于提取更深度的特征进行检测，包括卷积层8、卷积层9、卷积层10，最后一层是卷积层11；后6个不同的卷积层分别输出不同尺寸的特征图，便于提取出多种尺度的高质量特征，检测文字段和连接是在这六个不同尺寸的特征图上进行的；对于这6个卷积层，每一层之后都添加尺寸为3×3的滤波器作为卷积预测器，来共同检测文字段和连接；

(1.2.2)从标注的词包围盒产生文字段包围盒标签：对于原始训练图像集Itr，记缩放后的训练图像集为Itr′，w_I、h_I分别为Itr′的宽度和高度，可以取384×384或512×512像素，第i张图片Itr_i′作为模型输入，Itr_i′上标注的所有词包围盒记作W_i＝[W_i1，...，W_ip]，其中W_ij为第i张图片上的第j个词包围盒，词包围盒可以是单词级别也可以是词条级别，j＝1，...，p，p为第i张图片上词包围盒的总数量；记后6层卷积层分别输出的特征图构成集合Itro_i′＝[Itro_i1′，...，Itro_i6′]，其中Itro_il′为后6层卷积层中第l层输出的特征图，w_l、h_l分别为该特征图的宽度和高度，Itro_il′上的坐标(x，y)对应Itr_i′上以(x_a，y_a)为中心点坐标的水平初始包围盒B_ilq，它们满足下列公式：

初始包围盒B_ilq的宽和高都被设置成一个常数a_l，用于控制输出文字段的比例，l＝1，...，6；记第l层输出的特征图Itro_il′对应的初始包围盒集合为B_il＝[B_il1，...，B_ilm]，q＝1，...，m，其中m为第l层输出的特征图上初始包围盒的数目；只要初始包围盒B_ilq的中心被包含在Itr′上任一标注的词包围盒W_ij内部，且B_ilq的尺寸a_l和该标注的词包围盒W_ij的高度h满足：那么这个初始包围盒B_ilq被标记为正类，标签取值为1，并与高度最为接近的那个词包围盒W_ij匹配；否则，当B_ilq与所有词包围盒W_i都不满足上述两个条件时，B_ilq就被标记为负类，标签取值为0；文字段在初始包围盒上产生，与初始包围盒标签类别相同；其中，比例常数1.5为经验值；

(1.2.3)在所述步骤(1.2.2)产生的带标签的初始包围盒上产生文字段并计算正类文字段偏移量：负类文字段包围盒s^-为负类初始包围盒B^-；正类文字段包围盒s⁺由正类初始包围盒B⁺经过以下步骤得到：a)记正类初始包围盒B⁺匹配到的标注词包围盒W与水平方向夹角为θ_s，以B⁺的中心点为中心，将W顺时针旋转θ_s角；b)裁剪W，去除超出B⁺左边和右边的部分；c)以B⁺的中心点为中心，将裁剪后的词包围盒W′逆时针旋转θ_s角，得到文字段s⁺真实标签的几何参数x_s、y_s、w_s、h_s、θ_s；d)计算得到文s⁺相对于B⁺的偏移量(Δx_s，Δy_s，Δw_s，Δh_s，Δθ_s)，计算公式如下：

x_s＝a_lΔx_s+x_a

y_s＝a_lΔy_s+y_a

w_s＝a_lexp(Δw_s)

h_s＝a_lexp(Δh_s)

θ_s＝Δθ_s

其中，x_s、y_s、w_s、h_s、θ_s分别为文字段包围盒s⁺的中心点横坐标、中心点纵坐标、宽度、高度以及与水平方向之间的夹角；x_a、y_a、w_a、h_a分别为水平初始包围盒B⁺的中心点横坐标、中心点纵坐标、宽度、高度；Δx_s、Δy_s、Δw_s、Δh_s、Δθ_s分别为文字段包围盒s⁺中心点横坐标x_s相对初始包围盒B⁺的偏移量、纵坐标y_s相对初始包围盒的偏移量、宽度w_s的偏移变化量、高度h_s的偏移变化量、角度θ_s的偏移量；

(1.2.4)对于步骤(1.2.3)产生的文字段包围盒计算连接标签：文字段s是在初始包围盒B上产生的，因此s之间的连接标签和它们对应的初始包围盒B之间的连接标签相同；对于特征图集合Itro_i′＝[Itro_i1′，...，Itro_i6′]，如果在同一张特征图Itro_il′的初始包围盒集合B_il里，两个初始包围盒的标签都是正类，且匹配到同一个词，那么之间的层内连接被标记为正类，否则标记为负类；如果在特征图Itro_il′对应的初始包围盒集合B_il里的初始包围盒和Itro_i(l-1)′对应的的初始包围盒集合B_i(l-1)里的初始包围盒的标签都是正类且匹配到同一个词包围盒W_ij，那么之间的跨层连接被标记为正类，否则标记为负类；

(1.2.5)以缩放后的训练图像集Itr′作为文字段检测模型输入，预测文字段s输出：对模型初始化权重和偏置，前6万次训练迭代步骤学习率设置为10^-3，之后学习率衰减到10^-4；对于后6层卷积层，在第l层特征图Itro_il′上的坐标(x，y)处，(x，y)对应到输入图像Itr_i′上以(x_a，y_a)为中心点坐标、以a_l为尺寸的初始包围盒B_ilq，3×3的卷积预测器都会预测出B_ilq被分别划分成正、负类的得分c_s，c_s为二维向量，取值范围为0-1之间的小数。同时也预测出5个数字作为被划分到正类文字段s⁺时的几何偏移量，其中分别为预测的文字段包围盒s⁺中心点横坐标相对正类初始包围盒B⁺的偏移量、纵坐标的相对正类初始包围盒B⁺的偏移量、高度的偏移变化量、宽度的偏移变化量、角度偏移量；

(1.2.6)在已预测的文字段基础上预测层内连接和跨层连接输出：对于层内连接，在同一张特征图Itro_il′上坐标点(x，y)处，取x-1≤x′≤x+1、y-1≤y′≤y+1范围内近邻的点(x′，y′)，这8个点对应到输入图像Itr_i′时，便获得了与(x，y)对应的基准文字段s^(x，y，l)相连接的8个层内近邻文字段s^{(x′，y′，l)}，8个层内近邻文字段可表示为集合：

3×3卷积预测器会预测出s^(x，y，l)与层内近邻集合的连接的正、负得分c_l1，c_l1为16维向量，其中，w为上标，表示层内连接；

对于跨层连接，一个跨层连接将两个连续卷积层输出的特征图上两个点处对应的文字段相连；由于每经过一层卷积层，特征图的的宽度和高度都会缩小一半，第l层输出特征图Itro_il′的宽度w_l和高度h_l是第l-1层特征图Itro_i(l-1)′的宽度w_l-1和高度h_l-1的一半，而Itro_il′对应的初始包围盒尺度a_l是Itro_i(l-1)′对应的初始包围盒尺度a_l-1的2倍，对于在第l层输出特征图Itro_il′上的(x，y)，在特征图Itro_i(l-1)′上取2x≤x′≤2x+1、2y≤y′≤2y+1范围内的4个跨层近邻点(x′，y′)，Itro_il′上(x，y)对应到输入图像Itr_i′上的初始包围盒刚好与Itro_i(l-1)′上4个跨层近邻点对应到输入图像Itr_i′上的4个初始包围盒空间位置重合，4个跨层近邻文字段s^{(x′，y′，l-1)}可表示为集合：

3×3卷积预测器会预测出第l层基准文字段s^(x，y，l)与第l-1层上近邻文字段集合之间跨层连接的正、负得分c_l2，c_l2为8维向量：

其中，表示预测器预测出s^(x，y，l)与其所有4个近邻文字段之间的连接的正、负得分，c为上标，表示跨层连接；

所有的层内连接和所有的跨层连接构成连接集合N_s；

(1.2.7)以步骤(1.2.3)和步骤(1.2.4)获得的文字段标签、正类文字段真实偏移量、连接标签作为输出基准，以步骤(1.2.5)预测的文字段类别及得分、预测的文字段偏移量、步骤(1.2.6)预测的连接得分为预测输出，设计预测输出与输出基准之间的目标损失函数，对文字段连接检测模型利用反向传导法进行不断地训练，来最小化文字段分类、文字段偏移回归和连接分类的损失，针对所述文字段连接检测模型设计目标损失函数，目标损失函数是三个损失的加权和：

其中y_s是所有文字段的标签，c_s是预测的文字段得分，y_l是预测的连接标签，c_l是预测的连接得分，由层内连接得分c_l1和跨层得分c_l2组成；如果第i个初始包围盒标记为正类，那么y_s(i)＝1，否则为0；L_conf(y_s，c_s)是预测的文字段得分c_s的softmax损失，L_conf(y_s，c_l)是预测的连接得分c_l的softmax损失，是预测的文字段几何参数s和真实标签之间的平滑L₁回归损失；n_s是正类初始包围盒的数量，用来对文字段分类和回归损失进行归一化；n_l是正类连接总数，用来对连接分类损失进行归一化；λ₁和λ₂为权重常数，在实际中取1。

(1.2.8)在步骤(1.2.7)的训练过程中，采用在线扩增方法对训练数据I_tr进行在线扩增，并采用在线负样本难例挖掘策略来平衡正样本和负样本。在训练图片I_tr被缩放到相同的尺寸并批量加载之前，它们被随机地裁剪成一个个图像块，每个图像块与文字段的真实包围盒的jaccard重叠系数o最小；对于多方向文字，数据扩增是在多方向文字包围盒的最小包围矩形上进行的，每个样本的重叠系数o从0、0.1、0.3、0.5、0.7和0.9中随机选择，图像块的大小为原始图片尺寸的0.1-1倍之间；训练图像不水平翻转；另外，文字段和连接负样本占据训练样本的大部分，采用在线负样本难例挖掘策略来平衡正样本和负样本，对文字段和连接分开进行挖掘，控制负样本与正样本之间的比例不超过3∶1。

(2)利用上述训练好的卷积神经网络对待检测文本图像进行文字段和连接检测，包括如下子步骤：

(2.1)对待检测文本图像进行文字段检测，由不同卷积层输出的特征图可以预测出不同尺度的文字段，由同一卷积层输出的特征图预测出相同尺度的文字段：对待检测图像集Itst中的第i张待检测文本图像Itst_i，缩放到统一尺寸，具体尺寸可随待检测文本图像的情况人为设定，记缩放后的待检测文本图像为Itst_i′。将图像Itst_i′输入到步骤(1.2)中训练好的文字段连接检测模型，得到后6层卷积层分别输出的特征图构成的集合Itsto_i′＝[Itsto_i1′，...，Itsto_i6′]，其中Itsto_il′为后6层卷积层中第l层输出的特征图，l＝1，...，6，在每张输出特征图Itsto_il′上的坐标(x，y)处，3×3的卷积预测器都会预测出(x，y)对应的初始包围盒B_ilq被预测为正、负类文字段的得分c_s，同时也预测出5个数字作为被预测为正类文字段s⁺时的几何偏移量；

(2.2)对待检测文本图像检测出的所有特征层上的文字段进行连接检测，所述连接包括层内连接和跨层连接：在(2.1)预测的文字段基础上预测层内连接和跨层连接，对于层内连接，在同一张特征图Itsto_il′上坐标点(x，y)处，3×3卷积预测器预测出s^(x，y，l)与它8个近邻文字段之间层内连接的正、负得分c_l1；对于跨层连接，3×3卷积预测器会预测出第l层基准文字段s^(x，y，l)与第l-1层上4个近邻文字段的跨层连接正、负得分c_l2，c_l1和c_l2构成预测的连接得分c_l；

(2.3)将检测得到的文字段置信度得分和连接置信度得分组合，其中文字段置信度得分包括文字段正负类别得分和偏移量得分，利用卷积预测器输出softmax标准化得分：在(2.1)预测的文字段基础上预测层内连接和跨层连接，对于层内连接，在同一张特征图Itsto_il′上坐标点(x，y)处，3×3卷积预测器预测出s^(x，y，l)与8个近邻文字段之间层内连接的正、负得分c_l1；对于跨层连接，3×3卷积预测器预测出第l层基准文字段s^(x，y，l)与第l-1层上4个近邻文字段的跨层连接正、负得分c_l2，c_l1和c_l2构成预测的连接得分c_l。

(3)组合文字段和连接，得到输出包围盒，包括如下子步骤：

(3.1)根据(2.3)中检测得到的标准化得分，过滤卷积预测器输出的文字段和连接，以过滤后的文字段作为节点，以连接作为边，构建连接图：对于步骤(2)待检测文本图像输入到文字段检测模型而产生的固定数量的文字段s和连接N_s，通过它们的得分进行过滤；为文字段s和连接N_s设置不同的过滤阈值，分别为α和β；过滤阈值可以根据不同的数据人为设定不同的值，在实际中进行多方向文本图像检测时，可以取α＝0.9，β＝0.7，进行多语种长文本图像检测时，可以取α＝0.9，β＝0.5，进行水平文本检测时，可以取α＝0.6，β＝0.3；将过滤后的文字段s′作为节点，过滤后的连接N_s′作为边，利用它们构建一个图；

(3.2)在图上执行深度优先搜索以找到相互连接的组件，每个组件记作集合B，包含由连接相连起来的文字段；

(3.3)对步骤(3.2)在图上进行深度优先搜索得到的文字段集合S，通过下述步骤组合成一个完整的词，包括：

(3.3.1)输入：|S|为集合S里的文字段数量，其中为第i个文字段，i为上标，分别为第i个文字段包围盒s⁽ⁱ⁾的中心横坐标和纵坐标，分别为文字段包围盒s⁽ⁱ⁾的宽度和高度，为文字段包围盒s⁽ⁱ⁾与水平方向之间的夹角；

(3.3.2)其中θ_b为输出包围盒的偏移角度，为集合里第i个文字段包围盒s的偏移角度，由集合S里所有文字段的平均偏移角度得到；

(3.3.3)找到直线tan(θ_b)x+b的截距b，使得集合S中所有的文字段到中心点的距离的总和最小；

(3.3.4)找到直线的两个端点(x_p，y_p)和(x_q，y_q)，p表示第一个端点，q表示第二个端点，x_p、y_p分别为第一个端点的横、纵坐标，x_q、y_q分别为第二个端点的横、纵坐标；

(3.3.5)b表示输出包围盒，x_b、y_b分别为输出包围盒中心的横、纵坐标；

(3.3.6)其中w_b为输出包围盒的宽度，w_p、w_q分别为以点p为中心的包围盒的宽度和以q为中心的包围盒的宽度；

(3.3.7)h_b为输出包围盒的高度，为集合里第i个文字段包围盒s的高度，由由文字段集合S里所有文字段的平均高度得到；

(3.3.8)b：＝(x_b，y_b，w_b，h_b，θ_b)，b为输出包围盒，由坐标参数、尺寸参数、角度参数表示；

(3.3.9)输出组合而成的包围盒b。

Claims (7)

1.一种基于连接文字段的自然图片中多方向文本检测方法，其特征在于，所述方法包括下述步骤：

(1)训练文字段连接检测网络模型，包括如下子步骤：

(1.1)以词条级别标记训练图像集中所有文本图像的文本内容，标签为词条的矩形初始包围盒的四个点坐标，得到训练数据集；

(1.2)定义用于根据词条标签可以预测输出文字段和连接的文字段连接检测网络模型，所述文字段连接检测网络模型由级联卷积神经网络和卷积预测器组成，根据上述训练数据集计算得到文字段和连接的标签，设计损失函数，结合在线扩增和在线负样本难例挖掘方法，利用反向传导方法训练该文字段连接检测网络，得到文字段连接检测网络模型；

(2)利用上述训练好的文字段连接检测网络模型对待检测文本图像进行文字段和连接检测，包括如下子步骤：

(2.1)对待检测文本图像进行文字段检测，由不同卷积层输出的特征图预测出不同尺度的文字段，由同一卷积层输出的特征图预测出相同尺度的文字段；

(2.2)对待检测文本图像检测出的所有特征层上的文字段进行连接检测，所述连接包括层内连接和跨层连接；

(2.3)将检测得到的文字段的置信度得分和连接置信度得分组合，其中文字段置信度得分包括文字段正负类别得分和偏移量得分，利用卷积预测器输出softmax标准化得分；

(3)组合文字段和连接，得到输出包围盒，包括如下子步骤：

(3.1)根据(2.3)中检测得到的标准化得分，过滤卷积预测器输出的文字段和连接，以过滤后的文字段作为节点，以连接作为边，构建连接图；

(3.2)在图上执行深度优先搜索以找到相互连接的组件，每个组件记作集合S，包含由连接相连起来的文字段；

(3.3)将一个集合中的文字段组合成一个完整的词条，计算完整的词条包围盒并输出。

2.根据权利要求1所述的基于连接文字段的自然图片中多方向文本检测方法，其特征在于，所述步骤(1.2)具体为：

(1.2.1)构建文字段检测卷积神经网络模型：提取特征的前几层卷积单元来自预训练的VGG-16网络，前几层卷积单元为卷积层1到池化层5，全连接层6和全连接层7分别转换为卷积层6和卷积层7，连接在其后的是一些额外加入的卷积层，用于提取更深度的特征进行检测，包括卷积层8、卷积层9、卷积层10，最后一层是卷积层11；后6个不同的卷积层分别输出不同尺寸的特征图，便于提取出多种尺度的高质量特征，检测文字段和连接是在这六个不同尺寸的特征图上进行的；对于这6个卷积层，每一层之后都添加尺寸为3×3的滤波器作为卷积预测器，来共同检测文字段和连接；

(1.2.2)从标注的词包围盒产生文字段包围盒标签：对于原始训练图像集Itr，记缩放后的训练图像集为Itr′，w_I、h_I分别为Itr′的宽度和高度，以第i张图片Itr_i′作为模型输入，Itr_i′上标注的所有词包围盒记作W_i＝[W_i1，...，W_ip]，其中W_ij为第i张图片上的第j个词包围盒，词包围盒是单词级别或者词条级别，j＝1，...，p，p为Itr_i′上词包围盒的总数量；记后6层卷积层分别输出的特征图构成集合Itro_i′＝[Itro_i1′，...，Itro_i6′]，其中Itro_il′为后6层卷积层中第l层输出的特征图，w_l、h_l分别为该特征图的宽度和高度，Itro_il′上的坐标(x，y)对应Itr_i′上以(x_a，y_a)为中心点坐标的水平初始包围盒B_ilq，它们满足下列公式：

初始包围盒B_ilq的宽和高都被设置成一个常数a_l，用于控制输出文字段的比例，l＝1，...，6；记第l层输出的特征图Itro_il′对应的初始包围盒集合为B_il＝[B_il1，...，B_ilm]，q＝1，...，m，其中m为第l层输出的特征图上初始包围盒的数目；只要初始包围盒B_ilq的中心被包含在Itr′上任一标注的词包围盒W_ij内部，且B_ilq的尺寸a_l和该标注的词包围盒W_ij的高度h满足：那么这个初始包围盒B_ilq被标记为正类，标签取值为1，并与高度最为接近的那个词包围盒W_ij匹配；否则，当B_ilq与所有词包围盒W_i都不满足上述两个条件时，B_ilq就被标记为负类，标签取值为0；文字段在初始包围盒上产生，与初始包围盒标签类别相同；

(1.2.3)在所述步骤(1.2.2)产生的带标签的初始包围盒上产生文字段并计算正类文字段偏移量：负类文字段包围盒s^-为负类初始包围盒B^-；正类文字段包围盒s⁺由正类初始包围盒B⁺经过以下步骤得到：a)记正类初始包围盒B⁺匹配到的标注词包围盒W与水平方向夹角为θ_s，以B⁺的中心点为中心，将W顺时针旋转θ_s角；b)裁剪W，去除超出B⁺左边和右边的部分；c)以B⁺的中心点为中心，将裁剪后的词包围盒W′逆时针旋转θ_s角，得到文字段s⁺真实标签的几何参数x_s、y_s、w_s、h_s、θ_s；d)计算得到文s⁺相对于B⁺的偏移量(Δx_s，Δy_s，Δw_s，Δh_s，Δθ_s)，计算公式如下：

x_s＝a_lΔx_s+x_a

y_s＝a_lΔy_s+y_a

w_s＝a_lexp(Δw_s)

h_s＝a_lexp(Δh_s)

θ_s＝Δθ_s

其中，x_s、y_s、w_s、h_s、θ_s分别为文字段包围盒s⁺的中心点横坐标、中心点纵坐标、宽度、高度以及与水平方向之间的夹角；x_a、y_a、w_a、h_a分别为水平初始包围盒B⁺的中心点横坐标、中心点纵坐标、宽度、高度；Δx_s、Δy_s、Δw_s、Δh_s、Δθ_s分别为文字段包围盒s⁺中心点横坐标x_s相对初始包围盒B⁺的偏移量、纵坐标y_s相对初始包围盒的偏移量、宽度w_s的偏移变化量、高度h_s的偏移变化量、角度θ_s的偏移量；

(1.2.4)对于步骤(1.2.3)产生的文字段包围盒计算连接标签：文字段s是在初始包围盒B上产生的，因此s之间的连接标签和它们对应的初始包围盒B之间的连接标签相同；对于特征图集合Itro_i′＝[Itro_i1′，...，Itro_i6′]，如果在同一张特征图Itro_il′的初始包围盒集合B_il里，两个初始包围盒的标签都是正类，且匹配到同一个词，那么之间的层内连接被标记为正类，否则标记为负类；如果在特征图Itro_il′对应的初始包围盒集合B_il里的初始包围盒和Itro_i(l-1)′对应的的初始包围盒集合B_i(l-1)里的初始包围盒的标签都是正类且匹配到同一个词包围盒那么之间的跨层连接被标记为正类，否则标记为负类；

(1.2.5)以缩放后的训练图像集Itr′作为文字段检测模型输入，预测文字段s输出：对模型初始化权重和偏置，前6万次训练迭代步骤学习率设置为10^-3，之后学习率衰减到10^-4；对于后6层卷积层，在第l层特征图Itro_il′上的坐标(x，y)处，(x，y)对应到输入图像Itr_i′上以(x_a，y_a)为中心点坐标、以a_l为尺寸的初始包围盒B_ilq，3×3的卷积预测器都会预测出B_ilq被分别划分成正、负类的得分c_s，c_s为二维向量，取值范围为0-1之间的小数；同时也预测出5个数字作为被划分到正类文字段s⁺时的几何偏移量，其中分别为预测的文字段包围盒s⁺中心点横坐标相对正类初始包围盒B⁺的偏移量、纵坐标的相对正类初始包围盒B⁺的偏移量、高度的偏移变化量、宽度的偏移变化量、角度偏移量；

(1.2.6)在已预测的文字段基础上预测层内连接和跨层连接输出：对于层内连接，在同一张特征图Itro_il′上坐标点(x，y)处，取x-1≤x′≤x+1、y-1≤y′≤y+1范围内近邻的点(x′，y′)，这8个点对应到输入图像Itr_i′时，便获得了与(x，y)对应的基准文字段s^(x，y，l)相连接的层内近邻文字段s^{(x′，y′，l)}，8个层内近邻文字段可表示为集合：

3×3卷积预测器会预测出s^(x，y，l)与层内近邻集合的连接的正、负得分c_l1，c_l1为16维向量，其中，w为上标，表示层内连接；

对于跨层连接，一个跨层连接将两个连续卷积层输出的特征图上两个点处对应的文字段相连；由于每经过一层卷积层，特征图的的宽度和高度都会缩小一半，第l层输出特征图Itro_il′的宽度w_l和高度h_l是第l-1层特征图Itro_i(l-1)′的宽度w_l-1和高度h_l-1的一半，而Itro_il′对应的初始包围盒尺度a_l是Itro_i(l-1)′对应的初始包围盒尺度a_l-1的2倍，对于在第l层输出特征图Itro_il′上的(x，y)，在特征图Itro_i(l-1)′上取2x≤x′≤2x+1、2y≤y′≤2y+1范围内的4个跨层近邻点(x′，y′)，Itro_il′上(x，y)对应到输入图像Itr_i′上的初始包围盒刚好与Itro_i(l-1)′上4个跨层近邻点对应到输入图像Itr_i′上的4个初始包围盒空间位置重合，4个跨层近邻文字段s^{(x′，y′，l-1)}可表示为集合：

3×3卷积预测器会预测出第l层基准文字段s^(x，y，l)与第l-1层上近邻文字段集合之间跨层连接的正、负得分c_l2，c_l2为8维向量：

其中，表示预测器预测出s^(x，y，l)与其所有4个近邻文字段之间的连接的正、负得分，c为上标，表示跨层连接；

所有的层内连接和所有的跨层连接构成连接集合N_s；

(1.2.7)以步骤(1.2.3)和步骤(1.2.4)获得的文字段标签、正类文字段真实偏移量、连接标签作为输出基准，以步骤(1.2.5)预测的文字段类别及得分、预测的文字段偏移量、步骤(1.2.6)预测的连接得分为预测输出，设计预测输出与输出基准之间的目标损失函数，对文字段连接检测模型利用反向传导法进行不断地训练，来最小化文字段分类、文字段偏移回归和连接分类的损失，针对所述文字段连接检测模型设计目标损失函数，目标损失函数是三个损失的加权和：

其中y_s是所有文字段的标签，c_s是预测的文字段得分，y_l是预测的连接标签，c_l是预测的连接得分，由层内连接得分c_l1和跨层得分c_l2组成；如果第i个初始包围盒标记为正类，那么y_s(i)＝1，否则为0；L_conf(y_s，c_s)是预测的文字段得分c_s的softmax损失，L_conf(y_s，c_l)是预测的连接得分c_l的softmax损失，是预测的文字段几何参数s和真实标签之间的平滑L₁回归损失；n_s是正类初始包围盒的数量，用来对文字段分类和回归损失进行归一化；n_l是正类连接总数，用来对连接分类损失进行归一化；λ₁和λ₂为权重常数；

(1.2.8)在步骤(1.2.7)的训练过程中，采用在线扩增方法对训练数据I_tr进行在线扩增，并采用在线负样本难例挖掘策略来平衡正样本和负样本。在训练图片I_tr被缩放到相同的尺寸并批量加载之前，它们被随机地裁剪成一个个图像块，每个图像块与文字段的真实包围盒的jaccard重叠系数o最小；对于多方向文字，数据扩增是在多方向文字包围盒的最小包围矩形上进行的，每个样本的重叠系数o从0、0.1、0.3、0.5、0.7和0.9中随机选择，图像块的大小为原始图片尺寸的0.1-1倍之间；训练图像不水平翻转；另外，文字段和连接负样本占据训练样本的大部分，采用在线负样本难例挖掘策略来平衡正样本和负样本，对文字段和连接分开进行挖掘，控制负样本与正样本之间的比例不超过3∶1。

3.根据权利要求1或2所述的基于连接文字段的自然图片中多方向文本检测方法，其特征在于，所述步骤(2.1)具体为：

对待检测图像集Itst中的第i张待检测文本图像Itst_i，缩放到统一尺寸，具体尺寸可随待检测文本图像的情况人为设定，记缩放后的待检测文本图像为Itst_i′。将图像Itst_i′输入到步骤(1.2)中训练好的文字段连接检测模型，得到后6层卷积层分别输出的特征图构成的集合Itsto_i′＝[Itsto_i1′，...，Itsto_i6′]，其中Itsto_il′为后6层卷积层中第l层输出的特征图，l＝1，...，6，在每张输出特征图Itsto_il′上的坐标(x，y)处，3×3的卷积预测器都会预测出(x，y)对应的初始包围盒B_ilq被预测为正、负类文字段的得分c_s，同时也预测出5个数字作为被预测为正类文字段s⁺时的几何偏移量。

4.根据权利要求1或2所述的基于连接文字段的自然图片中多方向文本检测方法，其特征在于，所述步骤(2.2)具体为：

在(2.1)预测的文字段基础上预测层内连接和跨层连接，对于层内连接，在同一张特征图Itsto_il′上坐标点(x，y)处，3×3卷积预测器预测出s^(x，y，l)与它8个近邻文字段之间层内连接的正、负得分c_l1；对于跨层连接，3×3卷积预测器会预测出第l层基准文字段s^(x，y，l)与第l-1层上4个近邻文字段的跨层连接正、负得分c_l2，c_l1和c_l2构成预测的连接得分c_l。

5.根据权利要求1或2所述的基于连接文字段的自然图片中多方向文本检测方法，其特征在于，所述步骤(2.3)具体为：

根据步骤(2.1)和步骤(2.2)的结果，在每一张特征图Itsto_il′上坐标(x，y)处，将预测的文字段的得分c_s、文字段的偏移层内连接得分c_l1、跨层连接得分c_l2这四项串接成一个33维的向量，卷积预测器的输出通道后增加一层额外的softmax层以分别标准化文字段得分和连接得分。

6.根据权利要求1或2所述的基于连接文字段的自然图片中多方向文本检测方法，其特征在于，所述步骤(3.1)具体为；

对于步骤(2)待检测文本图像输入到文字段检测模型而产生的固定数量的文字段s和连接N_s，通过它们的得分进行过滤；为文字段s和连接N_s设置不同的过滤阈值，分别为α和β；将过滤后的文字段s′作为节点，过滤后的连接N_s′作为边，利用它们构建一个图。

7.根据权利要求1或2所述的基于连接文字段的自然图片中多方向文本检测方法，其特征在于，所述步骤(3.3)具体为：对步骤(3.2)在图上进行深度优先搜索得到的文字段集合S，通过下述步骤组合成一个完整的词，包括：

(3.3.1)输入：|S|为集合S里的文字段数量，其中为第i个文字段，i为上标，分别为第i个文字段包围盒s⁽ⁱ⁾的中心横坐标和纵坐标，分别为文字段包围盒s⁽ⁱ⁾的宽度和高度，为文字段包围盒s⁽ⁱ⁾与水平方向之间的夹角；

(3.3.2)其中θ_b为输出包围盒的偏移角度，为集合里第i个文字段包围盒s的偏移角度，由集合S里所有文字段的平均偏移角度得到；

(3.3.3)找到直线tan(θ_b)x+b的截距b，使得集合S中所有的文字段到中心点的距离的总和最小；

(3.3.4)找到直线的两个端点(x_p，y_p)和(x_q，y_q)，p表示第一个端点，q表示第二个端点，x_p、y_p分别为第一个端点的横、纵坐标，x_q、y_q分别为第二个端点的横、纵坐标；

(3.3.5)b表示输出包围盒，x_b、y_b分别为输出包围盒中心的横、纵坐标；

(3.3.6)其中w_b为输出包围盒的宽度，w_p、w_q分别为以点p为中心的包围盒的宽度和以q为中心的包围盒的宽度；

(3.3.7)h_b为输出包围盒的高度，为集合里第i个文字段包围盒s的高度，由由文字段集合S里所有文字段的平均高度得到；

(3.3.8)b：＝(x_b，y_b，w_b，h_b，θ_b)，b为输出包围盒，由坐标参数、尺寸参数、角度参数表示；

(3.3.9)输出组合而成的包围盒b。