CN112200181B - 一种基于粒子群优化算法的文字形状逼近方法 - Google Patents

Abstract

本发明公开了一种基于粒子群优化算法的文字形状逼近方法，首先采用基于回归的自然场景文字检测算法对场景文字图像实现快速的文本框检测；其次用MSER提取算法把场景文字图像中的各个字符框提取出来；再统计得到各扩展文本框中包含的字符框集合；最后利用本发明方法对定位的文字框进行调整得到更准确的文字多边形，本发明克服了基于回归的CNN检测器对任意形状文字定位的局限性，使定位的文本框充分包含并贴紧文字内容，改善了弱检测器的性能，和现有先进的文字检测方法相比在任意形状文字检测上取得了竞争力的结果。

Description

一种基于粒子群优化算法的文字形状逼近方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于粒子群优化算法的文 字形状逼近方法。

背景技术

近年来，自然场景文字信息提取已越来越广泛地用于多语言翻译，自主 导航，信息检索，产品和对象识别中。文字提取包括文本检测和文本识别， 作为文本识别的重要前提，文本检测在很大程度上吸引了众多学者和行业研 究人员的关注。基于回归的文本检测方法通常在单词或行级注释的监督下对 文字所在的矩形或四边形进行位置回归。EAST、DeconvNet和Deep Regression算法是近年来性能比较出色的基于回归的自然场景文本检测算 法，具有较高的检测率和召回率，然而由于文本的形状，大小和方向的差异 以及相应的CNN模型的结构限制，基于回归的方法无法处理任意形状的长 文本实例，定位的文字框也常常不能完全包含文字，这是基于回归的目标检 测方法难以解决的问题。

发明内容

本发明的目的是提供一种基于粒子群优化算法的文字形状逼近方法，克 服了基于回归的CNN检测器对任意形状文本定位的局限性，并使定位的文 本框充分包含并贴紧文字内容。

本发明所采用的技术方案是，一种基于粒子群优化算法的文字形状逼近 方法，具体按照以下步骤实施：

步骤1、在官方场景文字数据集中任意下载或拍摄一张自然场景文字图 像Img，图像的宽为W，高为H；

步骤2、将场景文字图像Img输入至文本检测网络模型Model_EAST，得到和 场景文字图像Img大小相同的文本置信度图M_W×H和检测的文本框集合 R'＝{r’_t|t∈[1,T]}，其中r’_t是场景文字图像Img中检测的第t个文本框，T是文本框 总个数，文本框r’_t中心点不变，向外进行a倍大小的尺度扩展得到扩展文本 框r_t，扩展文本框集合为R＝{r_t|t∈[1,T]}；对文本置信度图M_W×H进行阈值分割， 得到由黑白像素组成的场景文字图像Img对应的文字二值图B_W×H；

步骤3、把场景文字图像Img作为输入，调用开源的求取最大稳定极值 区域的Opencv库函数mser.detectRegions()，计算得到最大稳定极值区域集合, 即连通成分集合C^s＝{c_j|j＝1,2,…J}，c_j表示第j个连通成分，J表示连通成分 总个数；

步骤4、定义粒子群；

步骤5、定义场景文字图像Img中逼近的文字多边形集合变量PS，定义 扩展文本框个数计数器变量为t，PS初始化为空，即PS＝NULL，t初始化为 1，即t＝1；

步骤6、统计扩展文本框r_t中的包含的连通成分集合，记为 表示r_t中包含的第m个连通成分；M表示r_t中包含 的连通成分总个数；

步骤7、把C_t的所有的中心点坐标作为输入，送入开源的求拟合曲线 的numpy库函数polyfit()，生成拟合的一条字符中心线L_t；

步骤8、在拟合的字符中心线L_t上均匀采样N个点以采样点 />n∈[1,N]为中心，以长度r1为半径构建粒子第n维位置的变化范围 />n∈[1,N]；以一维变量d₁和d₂分别为上下限构建粒子第n维等距值的变 化范围[d1,d2]；

步骤9、对粒子群初始化；

步骤10、执行提出的粒子群文字形状逼近算法,输出最优粒子对应的逼 近文字形状的多边形,把/>加入文字多边形集合变量PS中；

步骤11、如果t≥T，执行步骤12；否则，t累加1，即t＝t+1；返回步 骤6；

步骤12、在场景文字图像Img上显示PS中的各个文字多边形。

本发明的特点还在于：

步骤1数据集为官方场景文字数据集ICDAR2015、ICDAR2017-MLT、 CTW1500、TOTAL-TEXT和MSRA-TD500中的任意一个。

步骤2中对文本置信度图M_W×H进行阈值分割具体过程为：

对文本置信度图M_W×H＝{m_w×h|w∈[1,W],h∈[1,H]}进行阈值分割，设置分隔 阈值变量为Thr，任取M_W×H中一个元素m_w×h，如果元素m_w×h大于等于阈值Thr， 即m_w×h≥Thr，则b_w×h为白像素，取值为1，即b_w×h＝1；否则，b_w×h为黑像素， 取值为0，即b_w×h＝0，得到由黑白像素组成的场景文字图像Img对应的文字 二值图B_W×H，B_W×H＝{b_w×h|w∈[1,W],h∈[1,H]}。

步骤4定义粒子群具体过程为：粒子群变量定义为XS， XS＝{X₁,...,X_i,...,X_I}，粒子的总个数为I，X_i表示粒子群XS中的第i个粒子， 在原有粒子特性的描述上增加等距信息，故X_i由N维速度矢量X_i·v、N维位 置矢量X_i·p和N维等距值矢量X_i·d表示，即X_i＝{X_i·v,X_i·p,X_i·d}， 定义粒子X_i的个体 历史最优变量为Pbest_i。

步骤9中，粒子群XS的初始化具体步骤如下：

步骤9.1、定义粒子个数计数器变量为i，定义第i个粒子的维度计数器 变量为n，i初始化为1,即i＝1；

步骤9.2、n初始化为1，即n＝1；

步骤9.3、采用开源的随机采样的numpy库函数random.uniform()在粒子 第n维位置的变化范围中随机采样一个点/>把/>的点坐标赋给第i 个粒子的第n维位置变量/>即/>在粒子第n维等距值的 变化范围[d1,d2]中随机采样一个等距值/>把/>赋给第i个粒子的距离变量 />即/>第i个粒子的第n维速度变量初始化为零矢量，即/>

步骤9.4、如果n≥N，进入步骤9.5；否则，n累加1，即n＝n+1，返回 步骤9.3；

步骤9.5、如果i≥I，结束粒子群初始化，输出初始化后的粒子群XS； 否则，i累加1，即i＝i+1，返回步骤9.2。

步骤10中具体如下：

步骤10.1、输入初始化后的粒子群XS；

步骤10.2、定义粒子群优化过程中的迭代绝对误差变量为Δε，Δε初始 化为最大值E_max；定义迭代次数计数器变量为k，定义粒子群的历史最优变 量为Gbest^k，k初始化为1；

步骤10.3、粒子个数计数器变量为i初始化为1；

步骤10.4、把粒子X_i中所有位置点的坐标作为输入，送入开源的求取 拟合曲线的numpy库函数polyfit()，拟合生成一条文本的近似中心线L_S；

步骤10.5、根据粒子X_i的第n维的位置信息和距离信息/>按照公式(1)和(2)分别计算粒子X_i第n维位置点/>处法线L_n方向上的上下两个等 距点/>和/>

其中，θn是文本的近似中心线L_S上点处的切线L_q与水平正半轴之间 的夹角，即θ_n＝arctan(k_n)；k_n是文本的近似中心线L_S上/>点处的切线L_q的斜 率，k_n由开源的计算导数的numpy库函数polyval()计算得到；

步骤10.6、把X_i的上等距点和下等距点/>按顺时针顺序相连组成逼近文字的多边形S_i，即 />

步骤10.7、将文字二值图B_W×H、扩展文字框r_t、扩展文字框r_t中包含的 字符候选集C_t、粒子X_i对应的多边形S_i作为输入，送入到适应度函数 f(M_W×H,r_t,C_t,S_i)，计算得到粒子X_i对应的适应度值f_Xi；

步骤10.8、如果迭代次数k＝1，初始化粒子X_i的个体历史最优Pbest_i， Pbest_i＝X_i，初始化粒子个体最优位置Pbest_i对应的适应度值 初始化粒子群的历史最优位置Gbest^k，Gbest^k为/>对应的最优 个体粒子，其中max()是开源的numpy中求最大值的库函数；如果迭代次数 k＞1，判断当前粒子的适应度值/>是否大于粒子个体最优位置对应的适应度 值/>即是否满足/>如果满足，则更新粒子个体历史最优位置 Pbest_i为Pbest_i＝X_i，更新粒子个体历史最优Pbest_i对应的适应度值为如果不满足，执行步骤10.9；

步骤10.9、如果i≥I，进入步骤10.10；否则，i累加1，即i＝i+1，返回 步骤10.4；

步骤10.10、更新粒子群的历史全局最优粒子Gbest^k，采用开源的求最 大值的numpy库函数max()，求取粒子群历史全局最优粒子Gbest^k对应的适 应度值 用/>对应的粒子更新Gbest^k；更 新迭代绝对误差Δε，

步骤10.11、定义粒子个数计数器变量为i，即i＝1；

步骤10.12、更新粒子X_i的速度位置/>和等距值/> 其中c₁,c₂代表加速度系数，μ₁,μ₂是 服从[0,1]上均匀分布的随机数；Δδ是一个高斯白噪声。

步骤10.13、如果i≥I，进入步骤10.14；否则，i累加1，即i＝i+1，返 回步骤10.12；

步骤10.14、如果迭代次数k≥K或者迭代绝对误差Δε≤ε_min，停止迭代， 迭代结束时得到粒子群中的历史全局最优粒子Gbest^k，把Gbest^k对应的多边 形追加进PS中；否则，k累加1，即k＝k+1，返回步骤10.3。

步骤10.7中计算得到粒子X_i对应的适应度值具体过程为：

调用开源的Opencv中统计非零像素个数的库函数countNonZero()，统计 文字二值图B_W×H中多边形S_i对应区域里的白像素个数，记为统计B_W×H中 扩展文字框r_t区域里的白像素个数，记为/>

调用开源的Opencv中计算区域面积的库函数contourArea()，计算扩展文 字框r_t的面积，记为计算多边形S_i的面积，记为/>

计算扩展文字框r_t区域里的文字聚合度 计算多边形S_i区域里的文字聚合度/>

统计多边形S_i中包含的字符框个数

计算粒子X_i的适应度值 其中M表示扩 展文字框r_t中包含的字符框个数。

本发明的有益效果是：

本发明一种基于粒子群优化算法的文字形状逼近方法，在EAST算法检 测结果的基础上，无需预先训练或学习，就能逼近文本形状，实现对多方向 文字和曲线文字的快速定位，本发明方法在任意形状文字检测上取得了竞争 力的结果，对快速弱检测器的文本定位性能有很大程度的改善。

附图说明

图1是本发明基于粒子群优化算法的文本形状逼近方法的流程图；

图2是本发明基于粒子群优化算法的文字形状逼近方法的粒子群初始化 流程图；

图3是本发明基于粒子群优化算法的文字形状逼近方法的文字形状逼近 多边形求取流程图；

图4是本发明基于粒子群优化算法的文字形状逼近方法的等距点求取示 意图；

图5是本发明基于粒子群优化算法的文字形状逼近方法的适应度函数求 取流程图；

图6是本发明实施例中的一幅场景文字图像；

图7是EAST文本检测网络实施例中对图6检测的文本框结果图；

图8是本发明实施例中对图6检测的文本框结果图；

图9是本发明实施例中的另一幅场景文字图像；

图10是EAST文本检测网络实施例中对图9检测的文本框结果图；

图11是本发明实施例中对图9检测的文本框结果图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于粒子群优化算法的文字形状逼近方法，如图1所示，具 体按照以下步骤实施：

步骤1、在官方场景文字数据集ICDAR2015、ICDAR2017-MLT、 CTW1500、TOTAL-TEXT和MSRA-TD500中的任意一个中任意下载或拍摄 一张自然场景文字图像Img,图像的宽为W，高为H；

步骤2、将场景文字图像Img输入至现有的文本检测网络模型Model_EAST， 得到和场景文字图像Img大小相同的文本置信度图M_W×H和检测的文本框集 合R'＝{r’_t|t∈[1,T]}，其中r’_t是场景文字图像Img中检测的第t个文本框，T是文本 框总个数，模型Model_EAST采用Xinyu Zhou等人2017年在IEEE Conference on Computer Vision and PatternRecognition(CVPR)会议上提出的名为“East:an efficient and accurate scene textdetector”一文中的文本检测网络模型；文本框 r_t'中心点不变，向外进行a倍大小的尺度扩展得到扩展文本框r_t，扩展文本框 集合为R＝{r_t|t∈[1,T]}；对文本置信度图M_W×H进行阈值分割，得到由黑白像素 组成的场景文字图像Img对应的文字二值图B_W×H；

对文本框r’_t进行a倍大小的尺度扩展具体过程为：

文本框r’_t的中心点记为center^s，center^s＝{x,y}，其中，x,y表示center^s在

场景文字图像Img上的水平和垂直坐标；在场景文字图像Img上以center^s为中心对文本框r’_t进行a倍大小的尺度扩展，得到扩展文本框r_t，扩展文本框 r_t的中心点是center^s，扩展文本框r_t的宽和高分别为w^t,h^t，w^t＝aw^r,h^t＝ah^r， 其中w^r,h^r为文本框r’_t的宽和高，本发明方法中a＝1.2；

对文本置信度图M_W×H进行阈值分割具体过程为：

对文本置信度图M_W×H＝{m_w×h|w∈[1,W],h∈[1,H]}进行阈值分割，设置分割 阈值变量为Thr，任取M_W×H中一个元素m_w×h，如果元素m_w×h大于等于阈值Thr， 即m_w×h≥Thr，则b_w×h为白像素，取值为1，即b_w×h＝1；否则，b_w×h为黑像素， 取值为0，即b_w×h＝0，由所有黑白像素组成场景文字图像Img对应的文字二 值图B_W×H，B_W×H＝{b_w×h|w∈[1,W],h∈[1,H]}。

步骤3、把场景文字图像Img作为输入，调用开源的求取最大稳定极值 区域的Opencv库函数mser.detectRegions()，计算得到最大稳定极值区域 (Maximally StableExtremal Region，简称MSER)集合,即连通成分集合 C^s＝{c_jj＝1,2,…J}，c_j表示Img中的第j个连通成分，J表示连通成分总个数；

步骤4、定义粒子群；定义粒子群具体过程为：粒子群变量定义为XS， XS＝{X₁,...,X_i,...,X_I}，粒子的总个数I＝20，X_i表示粒子群XS中的第i个粒子， 在原有粒子特性的描述上增加等距信息，故X_i由N维速度矢量X_i·v、N维位 置矢量X_i·p和N维等距值矢量X_i·d表示，即X_i＝{X_i·v,X_i·p,X_i·d}， 本发明方法中，N＝7； 定义粒子X_i的个体历史最优变量为Pbest_i；

步骤5、定义场景文字图像Img中逼近的文字多边形集合变量为PS，定 义扩展文本框个数计数器变量为t，PS初始化为空，即PS＝NULL，t初始化 为1，即t＝1；

步骤6、统计扩展文本框r_t中的包含的连通成分集合，记为 表示r_t中包含的第m个连通成分；M表示r_t中包含的连通成分总个数；

步骤7、把C_t的所有的中心点坐标作为输入，送入开源的求拟合曲线 的numpy库函数polyfit()，生成拟合的一条字符中心线L_t；

步骤8、在拟合的字符中心线L_t上均匀采样N个点以采样点 />n∈[1,N]为中心，以长度r1为半径构建粒子第n维位置的变化范围 />n∈[1,N]；以一维变量d₁和d₂分别为上下限构建粒子第n维等距值的变 化范围[d1,d2]；

步骤9、粒子群初始化；粒子群XS的初始化具体步骤如下，如图2所示：

步骤9.1、定义粒子个数计数器变量为i，定义第i个粒子的维度计数器 变量为n，i初始化为1,即i＝1；

步骤9.2、n初始化为1，即n＝1；

步骤9.3、采用开源的随机采样的numpy库函数random.uniform()在粒子 第n维位置的变化范围中随机采样一个点/>把/>的点坐标赋给第i 个粒子的第n维位置变量/>即/>在粒子第n维等距值的 变化范围[d1,d2]中随机采样一个等距值/>把/>赋给第i个粒子的距离变量 />即/>第i个粒子的第n维速度变量初始化为零矢量，即/>

步骤9.4、如果n≥N，进入步骤9.5；否则，n累加1，即n＝n+1，返回 步骤9.3；

步骤9.5、如果i≥I，结束粒子群初始化，输出初始化后的粒子群XS； 否则，i累加1，即i＝i+1，返回步骤9.2。

步骤10、执行提出的粒子群文字形状逼近算法,输出最优粒子对应的逼 近文字形状的多边形把/>加入PS中，如图3所示；具体如下：

步骤10.1、输入初始化后的粒子群XS；

步骤10.2、定义粒子群优化过程中的迭代绝对误差变量、迭代次数计数 器变量和总迭代次数变量分别为Δε、k和K，定义粒子群的历史最优变量为 Gbest^k；Δε初始化为最大值E_max，E_max＝9999；k初始化为1，即k＝1；K＝20； 迭代绝对误差最小值ε_min＝1e-3；

步骤10.3、粒子个数计数器变量为i初始化为1；

步骤10.4、把粒子X_i中所有位置点的坐标作为输入，送入开源的求取 拟合曲线的numpy库函数polyfit()，拟合生成一条文本的近似中心线L_S；

步骤10.5、如图4所示，根据粒子X_i的第n维的位置信息和距离信息 />按照公式(1)和(2)分别计算粒子X_i第n维位置点/>处法线L_n方向上 的上下两个等距点/>和

其中，θ_n是文本的近似中心线L_S上点处的切线L_q与水平正半轴之间 的夹角，即θ_n＝arctan(k_n)；k_n是文本的近似中心线L_S上/>点处的切线L_q的斜 率，k_n由开源的计算导数的numpy库函数polyval()计算得到；

步骤10.6、把X_i的上等距点和下等距点/>按顺时针顺序相连组成逼近文字的多边形S_i，即 />

步骤10.7、如图5所示，将文字二值图B_W×H、扩展文字框r_t、扩展文字 框r_t中包含的字符候选集C_t、粒子X_i对应的多边形S_i作为输入，送入到适应 度函数f(M_W×H,r_t,C_t,S_i)，计算得到粒子X_i对应的适应度值

计算得到粒子X_i对应的适应度值具体过程为：

调用开源的Opencv中统计非零像素个数的库函数countNonZero()，统计 文字二值图B_W×H中多边形S_i对应区域里的白像素个数，记为统计B_W×H中 扩展文字框r_t区域里的白像素个数，记为/>

调用开源的Opencv中计算区域面积的库函数contourArea()，计算扩展文 字框r_t的面积，记为计算多边形S_i的面积，记为/>

计算扩展文字框r_t区域里的文字聚合度 计算多边形S_i区域里的文字聚合度/>

统计多边形S_i中包含的字符框个数

计算粒子X_i的适应度值 其中M表示扩 展文字框r_t中包含的字符框个数。

步骤10.8、如果迭代次数k＝1，初始化粒子X_i的个体历史最优Pbest_i， Pbest_i＝X_i，初始化粒子个体最优位置Pbest_i对应的适应度值 初始化粒子群的历史最优位置Gbest^k，Gbest^k为/>对应的最优 个体粒子，其中max()是开源的numpy中求最大值的库函数；如果迭代次数 k＞1，判断当前粒子的适应度值/>是否大于粒子个体最优位置对应的适应度 值/>即是否满足/>如果满足，则更新粒子个体历史最优位置 Pbest_i为Pbest_i＝X_i，更新粒子个体历史最优Pbest_i对应的适应度值为如果不满足，执行步骤10.9；

步骤10.9、如果i≥I，进入步骤10.10；否则，i累加1，即i＝i+1，返回 步骤10.4；

步骤10.10、更新粒子群的历史全局最优粒子Gbest^k，采用开源的求最 大值的numpy库函数max()，求取粒子群历史全局最优粒子Gbest^k对应的适 应度值 用/>对应的粒子更新Gbest^k；更 新迭代绝对误差Δε，

步骤10.11、定义粒子个数计数器变量为i，即i＝1；

步骤10.12、更新粒子X_i的速度位置/>和等距值/> 其中c₁,c₂代表加速度系数，本发 明中c₁＝c₂＝1.2；μ₁,μ₂是服从[0,1]上均匀分布的随机数，采用开源的numpy 库函数random.rand()函数得到；Δδ是一个高斯白噪声；

步骤10.13、如果i≥I，进入步骤10.14；否则，i累加1，即i＝i+1，返 回步骤10.12；

步骤10.14、如果迭代次数k≥K或者迭代绝对误差Δε≤ε_min，停止迭代， 迭代结束时得到粒子群中的历史全局最优粒子Gbest^k，把Gbest^k对应的多边 形追加进PS中；否则，k累加1，即k＝k+1，返回步骤10.3。

步骤11、如果t≥T，执行步骤12；否则，t累加1，即t＝t+1；返回步 骤6；

步骤12、在场景文字图像Img上显示PS中的各个文字多边形。

本发明基于粒子群优化算法的文字形状逼近方法，首先采用基于回归的 文字检测方法对场景文字图像中的文字所在矩形或四边形进行检测定位；其 次，用MSER检测算法把场景图像中的各个连通成分提取出来，从而得到一 系列的字符框，再统计得到各扩展文本框中包含的字符框集合；最后，进行 基于粒子群的场景图像中各定位文字框的调整使其逼近文字形状。在原有粒 子群算法的基础上，在粒子的特征描述方面引入一个粒子的等距信息，采用 粒子群的优化迭代过程，使由粒子计算得到的多边形逐渐逼近文字形状最终得到最优的文字***框。具体过程为：利用各扩展文本框中包含的字符框中 心点拟合一条字符中心线；在字符中心线上均匀采样N个点，以各采样点为 中心以固定长度为半径构建粒子的位置活动范围，以一维区间构建粒子的等 距范围，由粒子的位置和等距值计算得到粒子对应的最初的文字逼近多边 形；通过粒子群的优化过程最终得到文字的最佳逼近多边形。本发明克服了 基于回归的CNN检测器对任意形状文字定位的局限性，并使定位的文本框充 分包含并贴紧文字内容，改善了弱检测器的性能，相对现有先进的文字检测 方法，本发明方法在任意形状文字检测上取得了竞争力的结果。

实施例

本发明从场景文字数据集中取出任意一张图片，分别采用EAST文本检 测网络和本发明的方法进行文字定位，图6表示一幅场景文字图像，图7表 示EAST文本检测网络在图6中检测到的文本框结果图，白色框是文本框， 图8表示本发明的方法在图6中检测到的文本框结果图，白色框是文本框； 图9表示另一幅场景文字图像，图10表示EAST文本检测网络在图9中检 测到的文本框结果图，白色框是文本框，图11表示本发明的方法在图9中 检测到的文本框结果图，白色框是文本框。通过主观效果图对比可以看到 EAST文本检测网络检测到的文本框往往无法包全文字，并且无法适应弯曲 文本的形状，而本发明的方法有效解决了这些问题，既能完整包含文字，又 实现了任意方向文字形状的逼近，保证了文字内容的紧凑型，对EAST弱检 测器的性能在一定程度上进行了改善。

通过文字检测率对本发明的文字逼近效果进行评价，评价结果如表1和 表2所示：

①准确率(Precision，P)。准确率表示检测出的正确目标个数占检测 出的总目标个数的比例。

②召回率(Recall，R)。召回率表示是检测出的正确目标个数占所有 标注的真值框总数目的比例。

③调和平均值(F-measure，F)。调和平均值是对召回率和准确率的 加权平均值，因此F-measure是检测算法性能的综合度量，其值越高即算法 性能越好，其计算表达式为：

表1在多方向文字数据集上的文字检测对比结果表

表2在曲线文字数据集上的文字检测对比结果表

由表1、表2可知，本发明在多个多方向文字数据集和曲线文字数据集 上的文字检测率结果都很高，并且通过表1和表2的客观数据可以看到，本 发明方法在各个数据集上的调和平均值相比EAST方法有了显著提高；由此 可以得出，本发明对快速弱检测器的文本定位性能有很大程度的改善。本发 明可以应用于不同场景、不同远近、不同方向、不同大小、不同颜色的多方 向文字和曲线文字的检测。

通过上述方式，本发明提出了一种基于粒子群优化算法的文字形状逼近 方法，在EAST算法检测结果的基础上，无需预先训练或学习，就能逼近文 字形状，实现对多方向和曲线文字的快速定位，实验验证本发明在任意方向 和任意形状文字检测上取得了竞争力的结果，对快速弱检测器的文本定位性 能有很大程度的改善。

Claims (5)

1.一种基于粒子群优化算法的文字形状逼近方法，其特征在于，具体按照以下步骤实施：

步骤1、在官方场景文字数据集中任意下载或拍摄一张自然场景文字图像Img，图像的宽为W，高为H；

步骤2、将场景文字图像Img输入至文本检测网络模型Model_EAST，得到和场景文字图像Img大小相同的文本置信度图M_W×H和检测的文本框集合R'＝{r′_t|t∈[1,T]}，其中r′_t是场景文字图像Img中检测的第t个文本框，T是文本框总个数，文本框r′_t中心点不变，向外进行a倍大小的尺度扩展得到扩展文本框r_t，扩展文本框集合为R＝{r_t|t∈[1,T]}；对文本置信度图M_W×H进行阈值分割，得到由黑白像素组成的场景文字图像Img对应的文字二值图B_W×H；

步骤3、把场景文字图像Img作为输入，调用开源的求取最大稳定极值区域的Opencv库函数mser.detectRegions()，计算得到最大稳定极值区域集合,即连通成分集合C^s＝{c_j|j＝1,2,…J}，c_j表示第j个连通成分，J表示连通成分总个数；

步骤4、定义粒子群；所述定义粒子群具体过程为：粒子群变量定义为XS，XS＝{X₁,...,X_i,...,X_I}，粒子的总个数为I，X_i表示粒子群XS中的第i个粒子，在原有粒子特性的描述上增加等距信息，故X_i由N维速度矢量X_i·v、N维位置矢量X_i·p和N维等距值矢量X_i·d表示，即X_i＝{X_i·v,X_i·p,X_i·d}，定义粒子X_i的个体历史最优变量为Pbest_i；

步骤5、定义场景文字图像Img中逼近的文字多边形集合变量PS，定义扩展文本框个数计数器变量为t，PS初始化为空，即PS＝NULL，t初始化为1，即t＝1；

步骤6、统计扩展文本框r_t中的包含的连通成分集合，即字符候选集，记为表示r_t中包含的第m个连通成分；M表示r_t中包含的连通成分总个数；

步骤7、把C_t的所有的中心点坐标作为输入，送入开源的求拟合曲线的numpy库函数polyfit()，生成拟合的一条字符中心线L_t；

步骤8、在拟合的字符中心线L_t上均匀采样N个点以采样点/>为中心，以长度r1为半径构建粒子第n维位置的变化范围/>以一维变量d₁和d₂分别为上下限构建粒子第n维等距值的变化范围[d₁,d₂]；

步骤9、对粒子群初始化；

步骤10、执行提出的粒子群文字形状逼近算法,输出最优粒子对应的逼近文字形状的多边形把/>加入文字多边形集合变量PS中；具体如下：

步骤10.1、输入初始化后的粒子群XS；

步骤10.2、定义粒子群优化过程中的迭代绝对误差变量为Δε，Δε初始化为最大值E_max；定义迭代次数计数器变量为k，定义粒子群的历史最优变量为Gbest^k，k初始化为1；

步骤10.3、粒子个数计数器变量为i初始化为1；

步骤10.4、把粒子X_i中所有位置点的坐标作为输入，送入开源的求取拟合曲线的numpy库函数polyfit()，拟合生成一条文本的近似中心线L_S；

步骤10.5、根据粒子X_i的第n维的位置信息和等距值/>按照公式(1)和(2)分别计算粒子X_i第n维位置点/>处法线L_n方向上的上下两个等距点/>和/>

其中，θ_n是文本的近似中心线L_S上点处的切线L_q与水平正半轴之间的夹角，即θ_n＝arctan(k_n)；k_n是文本的近似中心线L_S上/>点处的切线L_q的斜率，k_n由开源的计算导数的numpy库函数polyval()计算得到；

步骤10.6、把X_i的上等距点和下等距点/>按顺时针顺序相连组成逼近文字的多边形S_i，即/>

步骤10.7、将文字二值图B_W×H、扩展文字框r_t、扩展文字框r_t中包含的字符候选集C_t、粒子X_i对应的多边形S_i作为输入，送入到适应度函数f(M_W×H,r_t,C_t,S_i)，计算得到粒子X_i对应的适应度值

步骤10.8、如果迭代次数k＝1，初始化粒子X_i的个体历史最优Pbest_i，Pbest_i＝X_i，初始化粒子个体最优位置Pbest_i对应的适应度值初始化粒子群的历史最优位置Gbest^k，Gbest^k为/>对应的最优个体粒子，其中max()是开源的numpy中求最大值的库函数；如果迭代次数k>1，判断当前粒子的适应度值/>是否大于粒子个体最优位置对应的适应度值/>即是否满足/>如果满足，则更新粒子个体历史最优位置Pbest_i为Pbest_i＝X_i，更新粒子个体历史最优Pbest_i对应的适应度值为如果不满足，执行步骤10.9；

步骤10.9、如果i≥I，进入步骤10.10；否则，i累加1，即i＝i+1，返回步骤10.4；

步骤10.10、更新粒子群的历史全局最优粒子Gbest^k，采用开源的求最大值的numpy库函数max()，求取粒子群历史全局最优粒子Gbest^k对应的适应度值用/>对应的粒子更新Gbest^k；更新迭代绝对误差Δε，/>

步骤10.11、定义粒子个数计数器变量为i，即i＝1；

步骤10.12、更新粒子X_i的速度位置/>和等距值/> 其中c₁,c₂代表加速度系数，μ₁,μ₂是服从[0,1]上均匀分布的随机数；Δδ是一个高斯白噪声；

步骤10.13、如果i≥I，进入步骤10.14；否则，i累加1，即i＝i+1，返回步骤10.12；

步骤10.14、如果迭代次数k≥K或者迭代绝对误差Δε≤ε_min，停止迭代，迭代结束时得到粒子群中的历史全局最优粒子Gbest^k，把Gbest^k对应的多边形追加进PS中；否则，k累加1，即k＝k+1，返回步骤10.3；

步骤11、如果t≥T，执行步骤12；否则，t累加1，即t＝t+1；返回步骤6；

步骤12、在场景文字图像Img上显示PS中的各个文字多边形。

2.根据权利要求1所述的一种基于粒子群优化算法的文字形状逼近方法，其特征在于，步骤1所述数据集为官方场景文字数据集ICDAR2015、ICDAR2017-MLT、CTW1500、TOTAL-TEXT和MSRA-TD500中的任意一个。

3.根据权利要求1所述的一种基于粒子群优化算法的文字形状逼近方法，其特征在于，所述步骤2中对文本置信度图M_W×H进行阈值分割具体过程为：

对文本置信度图M_W×H＝{m_w×h|w∈[1,W],h∈[1,H]}进行阈值分割，设置分割阈值变量为Thr，任取M_W×H中一个元素m_w×h，如果元素m_w×h大于等于阈值Thr，即m_w×h≥Thr，则b_w×h为白像素，取值为1，即b_w×h＝1；否则，b_w×h为黑像素，取值为0，即b_w×h＝0，得到由黑白像素组成的场景文字图像Img对应的文字二值图B_W×H，B_W×H＝{b_w×h|w∈[1,W],h∈[1,H]}。

4.根据权利要求1所述的一种基于粒子群优化算法的文字形状逼近方法，其特征在于，所述步骤9中，粒子群XS的初始化具体步骤如下：

步骤9.1、定义粒子个数计数器变量为i，定义第i个粒子的维度计数器变量为n，i初始化为1,即i＝1；

步骤9.2、n初始化为1，即n＝1；

步骤9.3、采用开源的随机采样的numpy库函数random.uniform()在粒子第n维位置的变化范围中随机采样一个点/>把/>的点坐标赋给第i个粒子的第n维位置变量即/>在粒子第n维等距值的变化范围[d₁，d₂]中随机采样一个等距值/>把/>赋给第i个粒子的距离变量/>即/>第i个粒子的第n维速度变量/>初始化为零矢量，即/>

步骤9.4、如果n≥N，进入步骤9.5；否则，n累加1，即n＝n+1，返回步骤9.3；

步骤9.5、如果i≥I，结束粒子群初始化，输出初始化后的粒子群XS；否则，i累加1，即i＝i+1，返回步骤9.2。

5.根据权利要求1所述的一种基于粒子群优化算法的文字形状逼近方法，其特征在于，步骤10.7中所述计算得到粒子X_i对应的适应度值具体过程为：

调用开源的Opencv中统计非零像素个数的库函数countNonZero()，统计文字二值图B_W×H中多边形S_i对应区域里的白像素个数，记为统计B_W×H中扩展文字框r_t区域里的白像素个数，记为/>

调用开源的Opencv中计算区域面积的库函数contourArea()，计算扩展文字框r_t的面积，记为计算多边形S_i的面积，记为/>

计算扩展文字框r_t区域里的文字聚合度计算多边形S_i区域里的文字聚合度/>

统计多边形S_i中包含的字符框个数

计算粒子X_i的适应度值