CN111859893B - 图文排版方法、装置、设备及介质 - Google Patents

Abstract

本发明提供一种图文排版方法、装置、设备及介质，包括有：获取图像，确定所述图像内每一处文字的文字位置；语义识别所述图像得到所述图像主体的至少一个标签；计算每一处所述文字与每个所述标签的相关性，得到每一处所述文字的相关值；根据所述文字与所述标签的相关值遍历所有文字，得到所有文字大小顺序来调节所述图像文字大小。通过语义识别图像主体的标签，利用每一处文字与标签的相关性排列文字大小顺序，按照所述文字大小顺序调节所述图像文字大小；不仅可以降低编辑者的工作量，达到迅速设置图像文字的目的，同时，避免人工调节，实现节省人力，提高了排版速度，实现快速准确的图文排版。

Description

图文排版方法、装置、设备及介质

技术领域

本发明涉及人工智能技术领域，特别是涉及一种图文排版方法、装置、设备及介质。

背景技术

图文排版可用于制作海报广告、杂志封面、PPT、网站页面等，传统的图文排版由编辑者人工完成，用以满足个性化和定制化的需求。

然而，在平面排版时，往往会有图像和文字，文字的排版位置会因为图像中内容的不同而有所不同，相对于人工排版人为设置图像内文字大小，如何根据图像的位置、比例以及观赏性智能调整文字大小，是本领域亟需开发的一种新的图文排版方法。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图文排版办法、***、设备及介质，用于解决现有技术中图文排版时，无法智能调节图像内文字大小的问题。

为实现上述目的及其他相关目的，本发明提供一种图文排版方法，包括以下步骤：

获取图像，确定所述图像内每一处文字的文字位置；

语义识别所述图像得到所述图像主体的至少一个标签；

计算每一处所述文字与每个所述标签的相关性，得到每一处所述文字的相关值；

根据所述文字与所述标签的相关值遍历所有文字，得到所有文字大小顺序来调节所述图像文字大小。

本发明还提供一种图文排版装置，包括：

获取模块，用于获取图像，确定所述图像内每一处文字的文字位置；

语义识别模块，用于语义识别所述图像得到所述图像主体的至少一个标签；

相关性计算模块，用于计算每一处所述文字与每个所述标签的相关性，得到每一处所述文字的相关值；

第一文字调节模块，用于根据所述文字与所述标签的相关值遍历所有文字，得到所有文字大小顺序来调节所述图像文字大小。

本发明还提供一种设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如上述中一个或多个所述的方法。

本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如上述中一个或多个所述的方法。

如上所述，本发明提供的一种图文排版方法、装置、设备及介质，具有以下有益效果：

通过语义识别图像主体的标签，利用每一处文字与标签的相关性排列文字大小顺序，按照所述文字大小顺序调节所述图像文字大小；不仅可以降低编辑者的工作量，达到迅速设置图像文字的目的，同时，避免人工调节，实现节省人力，提高了排版速度，实现快速准确的图文排版。

附图说明

图1为一实施例提供的图文排版方法的流程示意图；

图2为另一实施例提供的图文排版方法的流程示意图；

图3为另一实施例提供的图文排版方法的流程示意图；

图4为一实施例提供的图文排版装置的硬件结构示意图；

图5为一实施例提供的终端设备的硬件结构示意图；

图6为另一实施例提供的终端设备的硬件结构示意图。

元件标号说明

M10 转换模块

M20 管理模块

1100 输入设备

1101 第一处理器

1102 输出设备

1103 第一存储器

1104 通信总线

1200 处理组件

1201 第二处理器

1202 第二存储器

1203 通信组件

1204 电源组件

1205 多媒体组件

1206 语音组件

1207 输入/输出接口

1208 传感器组件

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在本领域的相关技术中，传统的图文排版总是无法很好地满足用户根据图像内文字位置、图像比例、观赏性来不断调整文字大小的需求，需要编辑者人工调整海报广告、杂志封面、PPT、网站页面等图像内的图文排版(特别是对图像内文字大小的设置)，例如，图像数据量大时，采用现有技术方式，极大的增加了编辑者工作量，降低了编辑者的工作效率，无法提高图文排版的效率。

基于以上方案存在的问题，本发明公开提供了一种图文排版方法、图文排版装置、电子设备以及存储介质。

语义识别：指图像的语义，表示计算机模拟人类对图像的理解，比如，计算机本身是不能理解一幅图像的场景，经过语义识别后可以识别出图像场景如“游乐场”、“草地”等信息。其中图像最可能表达的场景或者物体叫做图像主体信息。

区域生长：图像从某个像素开始根据规则发展成一个更大区域的过程。

相关性，是指两个变量的关联程度。

请参阅图1，本发明提供一种图文排版方法，包括以下步骤：

S1，获取图像，确定所述图像内每一处文字的文字位置；

其中，每一处文字可为图像内每个文字，也可为图像内指定段落语句，在此，选择以每个文字进行说明。

需要说明的是，通过上述方式，不仅可确定图像每一处文字的文字位置，还能够统计图像中文字的数目(数量)。

S2，语义识别所述图像得到所述图像主体的至少一个标签；

其中，由于图像内主体可能有一种或多种标签，例如，图像为风景图像，通过语义识别该图像，得到沙滩、大海、人三个主体的标签。

S3，计算每一处所述文字与每个所述标签的相关性，得到每一处所述文字的相关值；

其中，采用数值量化的形式表达每一处文字与每个所述标签的相关值，根据数值高低表示相关程度。

S4，根据所述文字与所述标签的相关性遍历所有文字，得到所有文字大小顺序来调节所述图像文字大小。

在本实施例中，通过语义识别图像主体的标签，利用每一处文字与标签的相关性排列文字大小顺序，按照所述文字大小顺序调节所述图像文字大小；不仅可以降低编辑者的工作量，达到迅速设置图像文字的目的，同时，避免人工调节，实现节省人力，提高了排版速度，实现快速准确的图文排版。

在一示例性实施例中，在样本集内，通过神经网络训练图像语义识别模块，使用训练好的图像语义识别模块识别图像得到图像内主体的标签。

由于图像可能为任意场景的图像，比如室内场景(卧室、客厅等)或者室外场景(林间、街道等)，本实施例的具体实现不做限定，为了描述场景，存在多种可能的语义层次。示例性的，对于室内场景来说，语义层次可以包括房间布局、对象，场景属性(例如场景的光照条件和开放性)等。其中，空间布局可决定空间结构，图像中出现的物体可决定场景类别，例如，如果我们把电视和沙发搬出来并移动床和灯在里面，客厅就会变成卧室。同时，可能与材料、表面特性、光照等相关的各种属性是更细化的场景描述元素。因此，图像语义识别模块还可以是训练成合成真实场景的神经网络模型，其深层的神经表示法可以通过学习编码上述类似的多层次的语义。

例如，上述多种语义层次可以包括但不限于以下一种或几种：场景空间布局、物体类别、场景属性。其中，每种语义层次所对应的预测语义可以包含一种或几种，本实施例对此不作限制，比如，场景空间布局层次对应的预测语义可以包括对室内空间结构的描述，比如是否存在室内空间结构，确定结构布局线(layout线)位置；物体类别层次对应的预测语义可以包括任意物体名称，比如沙发、台灯、云朵、数木、杯子、桥梁等；场景属性层次对应的语义可包括对图像中场景的描述，如卧室、客厅、照明属性为明亮/暗淡，场景中主要材料属性为木质等等。

通过上述方式，能够精准的识别出图像内主体，得到图像主体的相应标签，有利于根据图像主体所示场景调节图像内字体大小。

在一示例性实施例中，根据所述文字与所述标签的相关性遍历所有文字，得到所有文字大小顺序来调节所述图像文字大小，详述如下：

比较任意两处所述文字相关值大小，遍历所有文字按照比较结果对每一处文字大小顺序排列，根据所述文字大小顺序调节所述图像文字大小。

在本实施例中，通过任意选择两处文字，如，di和dj，比较两处文字各自与图像内主体标签的相关性，例如，di和dj各自对应的相关值为Ii和Ij，如果相关值Ii大于相关值Ij，则文字大小顺序di对应的顺序Si大于dj对应的顺序Sj；如果相关值Ii小于相关值Ij，则文字大小顺序di对应的顺序Si小于dj对应的顺序Sj；如果相关值Ii等于相关值Ij，则文字大小顺序di对应的顺序Si等于dj对应的顺序Sj；将文字大小顺序排列出来，表达为seq(1,n)。

通过按照图像内文字与图像主体的相关度紧密程序(即，文字越大，代表与主体标签关联度更紧密)，对图像内文字按文字大小排序，得到文字大小顺序，利用该文字大小顺序智能调节图像内文字大小，避免人为参与，提高了文字优化设计效率，从而提高了排版速度，实现快速准确的图文排版。

在一示例性实施例中，请参阅图2，为本发明提供一种图文排版方法，还包括以下步骤：

步骤S5，利用每一处文字在所述图像内的相应区域确定所述文字大小范围，根据所述文字大小范围调节所述图像文字大小；或

步骤S5，利用每一处文字在所述图像内的相应区域确定所述文字大小范围，根据所述文字大小范围与文字大小顺序来调节所述图像文字大小。

一种方式，在上述实施例步骤S1基础上，通过所述文字大小范围在该文字大小范围内调节所述图像文字大小，防止只根据图像大小顺序调节图像文字大小，造成图像内文字大小调节不合理，如，文字过大、文字过小，例如，图像文字过大影响到图像显著性。

另一种方式，在上述实施例步骤S1～S4的基础上，通过文字大小范围与文字大小顺序共同来调节图像文字大小，防止只根据图像大小顺序调节图像文字大小，造成图像内文字大小调节不合理，如，文字过大、文字过小，例如，图像文字过大影响到图像显著性。而采用两方面相结合的方式，在图像文字大小范围内根据文字大小顺序调节文字大小，能够合理优化的控制图像文字大小，避免图像文字显示大小与图像主体相关度不高的现象，从而影响图像显著性。

在一示例性实施例中，获取图像内文字大小范围的具体步骤，包括：

利用区域生长法划分所述图像，得到若干具有某些共同特征且互不相交的区域，根据所述区域确定每一处所述文字所在的最邻近分割区域；

根据所述最邻近分割区域确定每一处文字的文字大小范围。

通过图像内确定图像文字大小范围，有效防止图像文字调节过大或过小的现象，有利于优化后续文字排版设计。

在上述实施例中，利用区域生长法划分所述图像，包括：

步骤a，从每一处所述文字的文字位置随机选取背景像素点放入生长集合；

步骤b，逐一选取所述生长集合内每一个像素点，计算所述像素点在K领域内其他所有像素的直方图；

步骤c，检测到某个像素点的直方图度量小于预设的直方图特征差异阈值时，则将该个像素点与随机选取的背景像素点归为同类，并将该个像素点用于更新生长集合；

步骤d，重复所述步骤b和c，直到检测完所述生长集合内所有像素点为止。

在本实施例中，由于文字的大小小于划分的该区域的范围，使用区域生长法划分这个区域范围，从而得到文字大小限定阈值，有利于后续在大小限定阈值范围内调节图像文字大小。

需要说明的是，设图像上任一点a的k邻域为：

式(1)中，a，b为像素点，a_x和a_y表示a点的横坐标和纵坐标，b_x和b_y表示a点的横坐标和纵坐标。令H(a)为a点的颜色直方图，定义为a在k邻域

中关于RGB分量的统计直方图。像素的直方图反映了该点局部颜色的统计分布特征和基本色调。

还需要说明是，每一处文字所在图像分割区域，令区域大小为Area，文字di的大小Si应该小于Area；具体地，根据每一处文字在图像内的最邻近分割区域，结合图像与文字的美学关系，采用以下公式确定每一处文字的文字大小范围：

w1*Area(i)≤di≤w2*Area(i) (2)

式(1)中，w1和w2分别为预设阈值，Are(i)为第i处文字所在图像区域大小，di为第i处文字大小。

在本实施例中，采用区域生长法划分所述图像，均匀划分图像内各个区域，通常能将具有相同特征(文字)的联通区域分割出来，并能提供很好的边界信息和分割结果。即使在没有先验知识时也可以使用，从而准确确定出图像内文字区域大小。

在一示例性实施例中，请参阅图3，为本发明提供一种图文排版方法，还包括以下步骤：

步骤S6，根据所述文字大小顺序在所述文字大小范围内随机化取值，以所述随机化取值调节所述图像内文字大小。

例如，采用以下公式调节图像内文字大小：

式(3)中，seq(1,n)代表文字大小顺序，结合公式(2)在文字大小范围内按照文字大小顺序随机取值，通过随机取值的方式调节图像内文字大小，无需人为参与，简单方便，使用随机取值实现了智能化调节文字大小。

在一示例性实施例中，根据所述文字与所述标签的相关性校验所述图像内文字位置是否恰当。具体地，检测到图像内文字与图像主体标签相关性低于预设阈值时，显示图文不匹配，更改该图像内主体的不匹配的文字。例如，当检测到图像为“室内场景”，且语义识别该图像的主体为“电视”物件，而不匹配的相关性较低的文字为“电灯”，则将文字为“电视”与图像内主体为“电视”相匹配，如，使用文字为“电视”替换原有图像原有文字位置为“电灯”的文字，从而有效避免了图文不匹配、不相关的排版设计，确保了排版准确性。

在一示例性实施例中，还包括：将所述图像和文字使用相同的线框，或，使用相同的颜色，或，缩短图像和文字之间的间距来增加图文排版的关联度。

在本实施例中，不论是指示对应图像的文字，或者对应的图像，都可以根据识别的方位关系和指示箭头，建立起图像和文字之间的对应。例如，当识别到图片和文字的方位关系后，也可以不是添加指示箭头，而是通过其他方式增强图片和文字的对应，比如，可以通过对图片和文字进行用于增强关联的排版方面的格式处理。所述的排版方面的格式处理可以包括：将所述图片和文字使用相同的线框，或者使用相同的颜色，或者缩短图片和文字之间的间距，使得用户能够很容易区分出对应的图文。

请参阅图4，为本发明提供的一种图文排版装置，包括：

获取模块1，用于获取图像，确定所述图像内每一处文字的文字位置；

语义识别模块2，用于语义识别所述图像得到所述图像主体的至少一个标签；

相关性计算模块3，用于计算每一处所述文字与每个所述标签的相关性，得到每一处所述文字的相关值；

第一文字调节模块4，用于根据所述文字与所述标签的相关值遍历所有文字，得到所有文字大小顺序来调节所述图像文字大小。

在一示例性实施例中，所述获取模块，还用于统计每一处文字确定所述图像内文字数目。

在一示例性实施例中，述第一文字调节模块还包括：

比较任意两处所述文字相关值大小，遍历所有文字按照比较结果对每一处文字大小顺序排列，根据所述文字大小顺序调节所述图像文字大小。

在一示例性实施例中，图文排版装置还包括：

第二文字调节模块5，用于利用每一处文字在所述图像内的相应区域确定所述文字大小范围，根据所述文字大小范围调节所述图像文字大小；或

第二文字调节模块5，用于利用每一处文字在所述图像内的相应区域确定所述文字大小范围，根据所述文字大小范围与文字大小顺序来调节所述图像文字大小。

在一示例性实施例中，第二文字调节模块包括：

图像区域生长单元，利用区域生长法划分所述图像，得到若干具有某些共同特征且互不相交的区域，根据所述区域确定每一处所述文字所在的最邻近分割区域；

图像区域确定单元，用于根据所述最邻近分割区域确定每一处文字的文字大小范围。

其中，需要说明的是，所述利用区域生长法划分所述图像包括：

步骤a，从每一处所述文字的文字位置随机选取背景像素点放入生长集合；

步骤b，逐一选取所述生长集合内每一个像素点，计算所述像素点在K领域内其他所有像素的直方图；

步骤c，检测到某个像素点的直方图度量小于预设的直方图特征差异阈值时，则将该个像素点与随机选取的背景像素点归为同类，并将该个像素点用于更新生长集合；

步骤d，重复所述步骤b和c，直到检测完所述生长集合内所有像素点为止。

还需要说明的是，所述图像区域确定单元，还用于根据每一处文字在图像内的最邻近分割区域，结合图像与文字的美学关系，采用以下公式确定每一处文字的文字大小范围：

w1*Area(i)≤di≤w2*Area(i)

式中，w1和w2分别为预设阈值，Are(i)为第i处文字所在图像区域大小，di为第i处文字大小。

在一示例性实施例中，图文排版装置还包括：

第三文字调节模块，用于根据所述文字大小顺序在所述文字大小范围内随机化取值，以所述随机化取值调节所述图像内文字大小。

在一示例性实施例中，图文排版装置还包括：

位置校验模块，用于根据所述文字与所述标签的相关性校验所述图像内文字位置是否恰当。

在一示例性实施例中，图文排版装置还包括：

关联度增强模块，用于将所述图像和文字使用相同的线框，或，使用相同的颜色，或，缩短图像和文字之间的间距来增加图文排版的关联度。

在本实施例中，该图文排版装置与图文排版方法为一一对应关系，详细技术细节、技术功能和技术效果请参照上述实施例，此处不再一一赘述。

综上所述，本发明提供一种图文排版装置，通过语义识别图像主体的标签，利用每一处文字与标签的相关性排列文字大小顺序，按照所述文字大小顺序调节所述图像文字大小；不仅可以降低编辑者的工作量，达到迅速设置图像文字的目的，同时，避免人工调节，实现节省人力，提高了排版速度，实现快速准确的图文排版。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中所述方法所包含步骤的指令(instructions)。

图5为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件***接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图6为本申请的一个实施例提供的终端设备的硬件结构示意图。图6是对图5在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理***，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和***接口模块之间提供接口，上述***接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于***SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图6实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图5实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (20)

1.一种图文排版方法，其特征在于，包括以下步骤：

获取图像，确定所述图像内每一处文字的文字位置；

语义识别所述图像得到所述图像主体的至少一个标签；

计算每一处所述文字与每个所述标签的相关性，得到每一处所述文字的相关值；

比较任意两处所述文字相关值大小，遍历所有文字按照比较结果对每一处文字大小顺序排列，根据所述文字大小顺序调节所述图像文字大小。

2.根据权利要求1所述的图文排版方法，其特征在于，还包括：统计每一处文字确定所述图像内文字数目。

3.根据权利要求1所述的图文排版方法，其特征在于，还包括：

利用每一处文字在所述图像内的相应区域确定所述文字大小范围，根据所述文字大小范围调节所述图像文字大小；或

利用每一处文字在所述图像内的相应区域确定所述文字大小范围，根据所述文字大小范围与文字大小顺序来调节所述图像文字大小。

4.根据权利要求3所述的图文排版方法，其特征在于，所述利用每一处文字在所述图像内的相应区域确定所述文字大小范围的步骤，包括：

利用区域生长法划分所述图像，得到若干具有某些共同特征且互不相交的区域，根据所述区域确定每一处所述文字所在的最邻近分割区域；

根据所述最邻近分割区域确定每一处文字的文字大小范围。

5.根据权利要求4所述的图文排版方法，其特征在于，所述利用区域生长法划分所述图像的步骤，包括：

步骤a，从每一处所述文字的文字位置随机选取背景像素点放入生长集合；

步骤b，逐一选取所述生长集合内每一个像素点，计算所述像素点在K领域内其他所有像素的直方图；

步骤c，检测到某个像素点的直方图度量小于预设的直方图特征差异阈值时，则将该个像素点与随机选取的背景像素点归为同类，并将该个像素点用于更新生长集合；

步骤d，重复所述步骤b和c，直到检测完所述生长集合内所有像素点为止。

6.根据权利要求4所述的图文排版方法，其特征在于，根据每一处文字在图像内的最邻近分割区域，结合图像与文字的美学关系，采用以下公式确定每一处文字的文字大小范围：

w1*Area(i)≤di≤w2*Area(i)

式中，w1和w2分别为预设阈值，Area (i)为第i处文字所在图像区域大小，di为第i处文字大小。

7.根据权利要求3所述的图文排版方法，其特征在于，根据所述文字大小顺序在所述文字大小范围内随机化取值，以所述随机化取值调节所述图像内文字大小。

8.根据权利要求1所述的图文排版方法，其特征在于，还包括：根据所述文字与所述标签的相关性校验所述图像内文字位置是否恰当。

9.根据权利要求1所述的图文排版方法，其特征在于，还包括：将所述图像和文字使用相同的线框，或，使用相同的颜色，或，缩短图像和文字之间的间距来增加图文排版的关联度。

10.一种图文排版装置，其特征在于，包括：

获取模块，用于获取图像，确定所述图像内每一处文字的文字位置；

语义识别模块，用于语义识别所述图像得到所述图像主体的至少一个标签；

相关性计算模块，用于计算每一处所述文字与每个所述标签的相关性，得到每一处所述文字的相关值；

第一文字调节模块，用于比较任意两处所述文字相关值大小，遍历所有文字按照比较结果对每一处文字大小顺序排列，根据所述文字大小顺序调节所述图像文字大小。

11.根据权利要求10所述的图文排版装置，其特征在于，所述获取模块，还用于统计每一处文字确定所述图像内文字数目。

12.根据权利要求10所述的图文排版装置，其特征在于，还包括：

第二文字调节模块，利用每一处文字在所述图像内的相应区域确定所述文字大小范围，根据所述文字大小范围调节所述图像文字大小；或

第二文字调节模块，利用每一处文字在所述图像内的相应区域确定所述文字大小范围，根据所述文字大小范围与文字大小顺序来调节所述图像文字大小。

13.根据权利要求12所述的图文排版装置，其特征在于，所述第二文字调节模块包括：

图像区域生长单元，利用区域生长法划分所述图像，得到若干具有某些共同特征且互不相交的区域，根据所述区域确定每一处所述文字所在的最邻近分割区域；

图像区域确定单元，用于根据所述最邻近分割区域确定每一处文字的文字大小范围。

14.根据权利要求13所述的图文排版装置，其特征在于，所述利用区域生长法划分所述图像包括：

步骤a，从每一处所述文字的文字位置随机选取背景像素点放入生长集合；

步骤b，逐一选取所述生长集合内每一个像素点，计算所述像素点在K领域内其他所有像素的直方图；

步骤c，检测到某个像素点的直方图度量小于预设的直方图特征差异阈值时，则将该个像素点与随机选取的背景像素点归为同类，并将该个像素点用于更新生长集合；

步骤d，重复所述步骤b和c，直到检测完所述生长集合内所有像素点为止。

15.根据权利要求13所述的图文排版装置，其特征在于，所述图像区域确定单元，还用于根据每一处文字在图像内的最邻近分割区域，结合图像与文字的美学关系，采用以下公式确定每一处文字的文字大小范围：

w1*Area(i)≤di≤w2*Area(i)

式中，w1和w2分别为预设阈值，Area (i)为第i处文字所在图像区域大小，di为第i处文字大小。

16.根据权利要求12所述的图文排版装置，其特征在于，还包括：

第三文字调节模块，用于根据所述文字大小顺序在所述文字大小范围内随机化取值，以所述随机化取值调节所述图像内文字大小。

17.根据权利要求10所述的图文排版装置，其特征在于，还包括：位置校验模块，用于根据所述文字与所述标签的相关性校验所述图像内文字位置是否恰当。

18.根据权利要求10所述的图文排版装置，其特征在于，还包括：关联度增强模块，用于将所述图像和文字使用相同的线框，或，使用相同的颜色，或，缩短图像和文字之间的间距来增加图文排版的关联度。

19.一种图文排版设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-9中一个或多个所述的图文排版方法。

20.一种机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-9中一个或多个所述的图文排版方法。

Images