CN115659852A - 一种基于离散潜在表示的布局生成方法及装置 - Google Patents

Abstract

本发明公开了一种基于离散潜在表示的布局生成方法，包括：步骤1、构建训练集，包括用于生成布局的元素边框序列和约束条件；步骤2、构建基于元素约束的布局生成网络，包括特征提取模块，离散潜在变量生成模块以及重构模块；步骤3、采用训练集，对布局生成网络进行训练，获得布局生成模型；步骤4、以约束条件作为输入约束，以对应的布局离散潜在表示作为输出构建单向Transformer模型；步骤5、将获得的单向Transformer模型作为约束条件的输入端，将单向Transformer模型输出结果作为布局生成模型的输入，获得满足输入约束条件的元素边框序列。本发明还提供的一种布局生成装置。本发明的方法可以根据平面设计要求，输出符合要求且高质量的设计图布局。

Description

一种基于离散潜在表示的布局生成方法及装置

技术领域

本发明涉及图像生成领域，尤其涉及一种基于离散潜在表示的布局生成方法及装置。

背景技术

平面设计是一个非常重要的视觉交流工具，它将丰富多彩的图像与简洁可读的文字结合在一起，形成特定的、具有美学倾向的视觉表达来吸引人们的注意力并传递信息。布局设计是平面设计的基础，其核心内容是在给定的画布范围内对若干需要在其中展示的设计元素进行合理地排布，通常设计师会通过调整设计元素的大小尺寸（宽度、高度）以及其位置（横坐标、纵坐标）来实现。此外，为了使平面设计能够快速、准确地传达信息，吸引用户注意力，设计师在对设计元素进行排布时通常会考虑布局的应用场景以及设计元素的类型。例如，时尚杂志的布局追求灵活多变，图像信息占据大幅的面积，科技杂志的布局更加整齐严谨，主要以文字信息为主。

学术文献Layout Generation and Completion with Self-attention[J].2020. 首先对布局中设计元素的类型信息和几何参数都进行离散化处理，随后将所有的元素信息拼接为一个序列，利用Transformer模型的自注意力机制来学习元素信息之间的关系，并根据上述关系来逐步预测剩余的元素信息，最终预测出整个元素信息序列，得到一个全新的布局。该方案能够从一个空序列或一个包含部分元素信息的序列生成一个新的布局，并且可以扩展到UI布局、文档布局、空间布局等多种布局生成任务中。但该方案在实施过程缺少指定约束，且十分依赖训练集质量和体量。因此最终生成的模型非常依赖启发式规则，无法保证输出结果的多样性。

专利文献CN110706315A公开了一种平面设计的布局生成方法、装置、电子设备及存储介质，该方法包括：获取平面设计中的元素种类，以及每类元素对应的元素个数，根据所述元素种类和元素个数随机生成多个初始平面布局；利用预设评分规则对每一所述初始平面布局进行评分，根据评分结果将每一初始平面布局归类为优质平面布局或劣质平面布局；利用多个初始平面布局中的优质平面布局对预设的生成式对抗网络GAN进行训练，获得训练后GAN，通过训练后GAN获得新的优质平面布局。该方法无法根据给定场景进行生成缺乏实际应用能力，同时存在“后验坍塌”现象，无法完成模型的训练收敛工作。

专利文献CN1584930A公开了图像要素的布局装置、布局程序以及布局方法，该方法包括根据图像要素之间获取的时间差，计算布局图像要素之间的配置间隔，沿所选择路径信息的路径来配置所选择的布局图像要素的图像要素配配置。该方法基于图像要素与时间之间的关系，对布局图像要素之间的配置间隔进行分析，但仅根据时间先后顺序会存在图层堆叠或则重复配置的问题。

发明内容

为了解决上述问题，本发明提供了一种基于离散潜在表示的布局生成方法，该方法可以根据平面设计要求，输出符合要求且高质量的高质量设计图布局。

一种基于离散潜在表示的布局生成方法，包括：

步骤1、构建训练集，包括用于生成布局的元素边框序列和对应的约束条件，所述约束条件包括元素类别序列和应用场景；

步骤2、构建基于元素约束的布局生成网络，所述布局生成网络包括特征提取模块，离散潜在变量生成模块以及重构模块，所述特征提取模块包括自注意力编码器，用于将输入的元素类别序列，元素边框序列和应用场景隐射到d维空间中生成对应的布局潜在表示，所述离散潜在变量生成模块，用于对生成的布局潜在表示进行离散化处理，获得对应的布局离散潜在表示，所述重构模块用于根据输入的元素类别序列，应用场景和布局离散潜在表示，输出真实布局对应的元素边框序列；

步骤3、采用训练集，对步骤2构建的布局生成网络进行训练，获得布局生成模型；

步骤4、以元素类别序列和应用场景作为输入约束构建单向Transformer模型，利用训练集和步骤2中的布局离散潜在表示对单向Transformer模型进行训练，获得满足输入约束条件的布局离散潜在表示；

步骤5、将步骤4训练获得的单向Transformer模型作为约束条件的输入端，将单向Transformer模型的输出结果布局离散潜在表示作为布局生成模型中重构模块的输入，通过对布局离散潜在表示解码获得满足输入约束条件的元素边框序列。

本发明提出一种全新的LayoutVQ-VAE模型，通过学习布局的离散潜在表示来生成布局，同时采用非自然回归解码器对元素的边框序列进行重构，从而获得满足输入约束对应的元素边框序列，利用获得的元素边框序列生成高质量设计图布局。

具体的，在步骤2中，所述自注意力编码器的表达公式如下：

式中，与表示多层感知器，

表示第

个元素边框参数，

表示第

个元素类别，表示布局的第应用场景，

表示每个输入项的隐藏表示，

表示位置嵌入，

表示第

个可学习嵌入，

，

表示对应

的隐藏输出，表示布局头的数量，

表示自注意力编码器的参数，表示Transformer模型中的多头自注意力机制。

具体的，在步骤2中，所述布局潜在表示的表达式如下：

式中，

，，

表示布局头的数量，

表示元素边框序列，

表示元素类别序列，

表示应用场景。

具体的，在步骤2中，所述离散潜在变量生成模块依据VQ-VAE理论，采用映射函数将布局潜在表示转换为空间中最接近的元素，所述映射函数的表达式如下：

式中，表示布局离散潜在表示，表示离散化，，。

优选的，在步骤2中，所述重构模块采用非自然回归解码器对元素的边框序列进行重构，可以让模型更好了解前后元素之间的关系，使得最终重构获得的布局更加接近真实布局。

具体的，所述非自然回归解码器的表达式如下：

式中，表示一个被重构的元素边框参数，表示非自然回归解码器的参数，表示每个输入项的隐藏表示，表示对应的隐藏输出，表示第个元素类别，表示布局的第应用场景。

具体的，在步骤3中，训练过程中采用交叉熵函数与承诺损失对布局生成网络进行参数调整，其具体表达式如下：

式中，表示使用交叉熵方法计算模型的重构损失，表示承诺损失的权重系数，表示停止梯度运算符，表示重构元素的边框序列。

具体的，所述停止梯度运算符的具体表示如下：

本发明还提供了一种布局生成装置，包括计算机存储器、计算机处理器以及在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器采用上述的布局生成模型和单向Transformer模型；

所述计算机处理器执行所述计算机程序时实现以下步骤：将平面设计图的元素类别序列和应用场景要求输入单向Transformer模型中，并将单向Transformer模型输出的布局离散潜在表示作为布局生成模型中重构模块的输入，获得满足元素类别和场景约束的高质量设计图布局。

与现有技术相比，本发明的有益效果：

（1）提出一种全新的生成模型，该模型能够生成满足用户约束条件的布局，该约束条件包括布局内部的设计元素标签（元素类型和数量）和布局外部的应用场景。

（2）通过预构建的单向Transformer模型为生成部分提供准确且全面的数据分布，从而在一方面可以保证生成布局的多样性，另一方面可以保证模型直接生成的布局的质量，避免复杂的后处理优化操作，降低算法的时间和空间复杂度。

附图说明

图1为本发明提出的布局生成模型的整体架构；

图2为在元素类别序列约束下，布局生成模型与现有模型的布局生成结果对比图；

图3为在元素类别序列的约束下，布局生成模型与现有模型的布局重构结果图对比图；

图4为在不同应用场景的约束下，布局生成模型的布局重构结果图对比图；

图5为元素类别序列和应用场景约束下，布局生成模型的布局重构结果图示意图。

具体实施方式

平面设计布局由一系列设计元素组成。为了生成一个全新的布局，我们需要根据给定的约束条件（布局应用场景和元素标签）来预测这些元素的几何参数，包括元素的位置坐标、宽度和高度。因此，一个布局可以被定义为 ，其中表示布局的应用场景，

表示布局的第

个元素，

表示布局中元素的个数。对于每一个元素，我们使用

表示，其中

表示元素的类别（例如，图像或标题），表示元素边框的中心坐标、宽度和高度。在实际训练中，我们将所有元素边框的几何参数拼接成一个序列 , 并使用7位均匀量化方法对参数值进行了离散化处理。布局的约束条件由两个被重复值填充为和

长度相同的序列

和表示。

为了简洁起见，我们使用来表示序列中的每个项。

为了解决现有技术面对平面设计图生成问题，本实施例提出了一种基于离散潜在表示的布局生成方法。

如图1所示，步骤1、构建训练集，包括用于生成布局的元素边框序列和对应的约束条件，其中约束条件包括元素类别序列和应用场景；

步骤2、构建基于元素约束的布局生成网络，该布局生成网络包括特征提取模块，离散潜在变量生成模块以及重构模块，该特征提取模块包括自注意力编码器，用于将输入的元素类别序列，元素边框序列和应用场景隐射到d维空间中生成对应的布局潜在表示，而离散潜在变量生成模块，用于对生成的布局潜在表示进行离散化处理，获得对应的布局离散潜在表示，最后的重构模块用于根据输入的元素类别序列，应用场景和布局离散潜在表示，输出真实布局中对应的元素边框序列；

其中，自注意力编码器首先使用一个多层多层感知器将每一个输入项隐射到d维空间中并与位置嵌入相加，得到对应的隐藏输入序列，该编码器的最终输出被限制为与可学习嵌入相对应的输出向量，这些向量为布局的多头潜在表示，包含了整个布局的特征信息，其表达式如下：

式中，与表示多层感知器，表示第

个元素边框参数，表示第

个元素类别，表示布局的第应用场景，表示每个输入项的隐藏表示，表示位置嵌入，表示第个可学习嵌入，，表示对应的隐藏输出，表示布局头的数量，

表示自注意力编码器的参数，表示Transformer模型中的多头自注意力机制。

通过编码器输出的布局潜在表示的表达式如下：

式中，

，，

表示布局头的数量，

表示元素边框序列，表示元素类别序列，表示应用场景。

离散潜在变量生成模块依据VQ-VAE理论，采用映射函数将布局潜在表示转换为空间中最接近的元素，该映射函数的表达式如下：

式中，表示布局离散潜在表示，表示离散化，，；

而重构模型选用了非自然回归解码器对元素的边框序列进行重构，其重构获得的结果可以更加接近与真实序列，根据如输入的布局离散潜在表示和响应的约束条件，输出重构后的元素边框序列，其具体表达式如下：

式中，

表示一个被重构的元素边框参数，表示非自然回归解码器的参数，表示每个输入项的隐藏表示，表示对应的隐藏输出，

表示第

个元素类别，

表示布局的第

应用场景。

步骤3、采用训练集，对步骤2构建的布局生成网络进行训练，获得布局生成模型，训练过程中采用交叉熵函数与承诺损失对布局生成网络进行参数调整，其具体表达式如下：

式中，

表示使用交叉熵方法计算模型的重构损失，

表示承诺损失的权重系数，

表示停止梯度运算符，

表示重构元素的边框序列，其中的表达式如下：

因此，解码器仅通过重构损失进行优化，编码器通过重构损失和承诺损失进行优化，映射空间通过指数移动平均算法(Exponentially Moving Averages，EMA)进行优化。

步骤4、以元素类别序列和应用场景作为输入约束构建单向Transformer模型，利用训练集和步骤2中的布局离散潜在表示对单向Transformer模型进行训练，获得满足输入约束条件的布局离散潜在表示；

离散潜在表示的先验分布被定义为一个均匀的多类分布，因此在完成步骤4的训练后，接入一个单向Transformer模型来自回归预测布局的离散潜在表示，在训练单向Transformer模型时仅需优化模型对于离散潜在标记的预测，忽略条件约束表示对应的输出即可，对于符合输入约束条件的布局离散潜在表示进行自回归采样，然后将该表示和条件约束一起输入至重构模块中，生成满足约束条件的元素边框序列，从而获得高质量的设计图布局。

步骤5、将步骤4训练获得的单向Transformer模型作为约束条件的输入端，将单向Transformer模型输出的布局离散潜在表示作为布局生成模型中重构模块的输入，通过对布局离散潜在表示解码获得满足输入约束条件的元素边框序列。

基于指定的元素边框序列生成设计图布局的过程为现有公知技术，因此不再赘述。

本实施例还提供了一种布局生成装置，包括计算机存储器、计算机处理器以及在计算机存储器中并可在计算机处理器上执行的计算机程序，该计算机存储器采用上述实施例所提出的布局生成模型和单向Transformer模型，当计算机处理器执行计算机程序时实现以下步骤：

将平面设计图的元素类别序列和应用场景要求输入单向Transformer模型中，并将单向Transformer模型输出的布局离散潜在表示作为布局生成模型中重构模块的输入，获得满足元素类别和场景约束的高质量设计图布局。

为了说明本模型与现有模型的区别，本实施例还提出实际应用过程中效果对比评估。

第一种情况，我们采用LayoutTransformer模型和LayoutGAN++模型作为基准，评估了本实施例提出的布局生成模型在元素类别序列约束下的布局生成任务中的性能，具体结果如表1所示。

由表1可知，本实施例提出的布局生成模型在FID和MaxIoU指标中均取得最好的结果，从而证明了离散布局表示方法在概括布局特征的能力强于传统的连续布局表示；而在美学质量方面，基于元素几何参数的离散化处理，使得最终模型能实现更好的对齐效果，从而获得最佳的对齐评分。

如图2所示，分别展示了布局生成模型和两种对比模型的布局生成结果，从图中可以了解到，由于缺少后处理优化导致LayoutGAN++模型生成的布局存在元素不对齐、重叠的问题；而LayoutTransformer模型由于使用了单向Transformer, 模型仅能学习已经预测出的元素之间的关系，无法预知还未出现的元素类型和数量，因此在它生成的布局中元素分布不均匀，会出现元素重叠以及大面积留白的现象。

因此本实施例提供的布局生成模型输出的结果更加贴近实际布局，能够合理地排布各种类型的元素并实现良好的对齐效果；此外，相较于LayoutTransformer模型，本实施例提供的布局生成模型选用的单向Transformer模型仅用于生成布局的离散潜在表示，在对布局的离散潜在表示进行解码时采用的是双向Transformer，能够建模所有元素之间的关系并同时预测所有元素边框的几何参数，这有效地解决LayoutTransformer模型存在的问题。

由于LayoutTransformer模型无法实现布局重构功能，因此在实施例1中仅以布局生成模型与LayoutGAN++模型进行比较，具体比较结果如表2所示。

由表2可知，布局生成模型生成的布局在特征分布(采用FID评估)和元素边框距离(采用MaxIoU和𝑊𝑏𝑏𝑜𝑥评估)上都更接近真实布局。

如图3所示，可以看出我们的模型不仅可以重建真实布局的结构，还可以精确地还原元素的详细位置和大小，LayoutGAN++模型虽然可以大致捕捉布局结构，但在预测边界框时不够精确，并且存在严重的不对齐和重叠问题。

第二种情况，由于现有技术中均未考虑应用场景约束下的布局生成，且应用场景对于布局的影响难以进行量化评估，因此本实施例中通过对比布局生成模型在相同元素类别序列但不同场景的约束下生成布局来定性评估模型的性能（基于PDCard和Magazine数据集）。

如图4所示，展示了基于PDCard数据集生成的布局重构结果图，其中场景一为商品推荐场景，场景二为商品分类展示场景，场景三维商品搜索场景，通过比较同一行的布局可以清楚发现即使使用相同的元素类别序列，也可以生成相应场景对应的布局：

在应用于商品推荐场景的布局中，图像元素占据较大的区域，这是因为图片表现形式能够更快地传递商品信息和吸引消费者；

在应用于商品分类展示场景的布局中，图像元素对应的描述元素占比增大，从而在看到图像元素时也能看到对应的描述元素；

而在应用于商品搜索场景的布局中，图像元素通常占据较小的区域，信息主要以文本形式进行呈现，这能够帮助消费者进一步考察商品细节。

如图5所示，展示了基于Magazine数据集生成的布局重构结果图，对于科学杂志和新闻杂志的版面更加注重文本的结构化和整齐性，需要体现出严肃且严谨的布局，而时尚杂志和美食杂志偏向于娱乐休闲，需要更多图像创意和非常规的布局，从而可以抓住读者的眼球。

Claims (8)

1.一种基于离散潜在表示的布局生成方法，其特征在于，包括：

步骤1、构建训练集，包括用于生成布局的元素边框序列和对应的约束条件，所述约束条件包括元素类别序列和应用场景；

步骤2、构建基于元素约束的布局生成网络，所述布局生成网络包括特征提取模块，离散潜在变量生成模块以及重构模块，所述特征提取模块包括自注意力编码器，用于将输入的元素类别序列，元素边框序列和应用场景隐射到d维空间中生成对应的布局潜在表示，所述离散潜在变量生成模块，用于对生成的布局潜在表示进行离散化处理，获得对应的布局离散潜在表示，所述重构模块用于根据输入的元素类别序列，应用场景和布局离散潜在表示，输出真实布局中对应的元素边框序列；

步骤3、采用训练集，对步骤2构建的布局生成网络进行训练，获得布局生成模型；

步骤4、以元素类别序列和应用场景作为输入约束构建单向Transformer模型，利用训练集和步骤2中的布局离散潜在表示对单向Transformer模型进行训练，获得满足输入约束条件的布局离散潜在表示；

步骤5、将步骤4训练获得的单向Transformer模型作为约束条件的输入端，将单向Transformer模型输出的布局离散潜在表示作为布局生成模型中重构模块的输入，通过对布局离散潜在表示解码获得满足输入约束条件的元素边框序列。

2.根据权利要求1所述的基于离散潜在表示的布局生成方法，其特征在于，在步骤2中，所述自注意力编码器的表达公式如下：

式中，

与

表示多层感知器，

表示第

个元素边框参数，

表示第

个元素类别，

表示布局的第

应用场景，

表示每个输入项的隐藏表示，

表示位置嵌入，

表示第

个可学习嵌入，

，

表示对应

的隐藏输出，

表示布局头的数量，

表示自注意力编码器的参数，

表示Transformer模型中的多头自注意力机制。

3.根据权利要求1所述的基于离散潜在表示的布局生成方法，其特征在于，在步骤2中，所述布局潜在表示的表达式如下：

式中，

，

，

表示布局头的数量，

表示元素边框序列，

表示元素类别序列，

表示应用场景。

4.根据权利要求1所述的基于离散潜在表示的布局生成方法，其特征在于，在步骤2中，所述离散潜在变量生成模块依据VQ-VAE理论，采用映射函数将布局潜在表示转换为空间

中最接近的元素，所述映射函数的表达式如下：

式中，

表示布局离散潜在表示，

表示离散化，

，

。

5.根据权利要求1所述的基于离散潜在表示的布局生成方法，其特征在于，在步骤2中，所述重构模块采用非自然回归解码器对元素的边框序列进行重构。

6.根据权利要求5所述的基于离散潜在表示的布局生成方法，其特征在于，所述非自然回归解码器的表达式如下：

式中，

表示一个被重构的元素边框参数，

表示非自然回归解码器的参数，

表示每个输入项的隐藏表示，

表示对应的

隐藏输出，

表示第

个元素类别，

表示布局的第

应用场景。

7.根据权利要求1所述的基于离散潜在表示的布局生成方法，其特征在于，在步骤3中，训练过程中采用交叉熵函数与承诺损失对布局生成网络进行参数调整，其具体表达式如下：

式中，

表示使用交叉熵方法计算模型的重构损失，

表示承诺损失的权重系数，

表示停止梯度运算符，

表示重构元素的边框序列。

8.一种布局生成装置，包括计算机存储器、计算机处理器以及在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器采用如权利要求1所述的布局生成模型和单向Transformer模型；所述计算机处理器执行所述计算机程序时实现以下步骤：

将平面设计图的元素类别序列和应用场景要求输入单向Transformer模型中，并将单向Transformer模型输出的布局离散潜在表示作为布局生成模型中重构模块的输入，获得满足元素类别和场景约束的高质量设计图布局。

Images