CN115269901A - 拓展图像生成方法、装置和设备 - Google Patents

拓展图像生成方法、装置和设备 Download PDF

Info

Publication number
CN115269901A
CN115269901A CN202110486627.2A CN202110486627A CN115269901A CN 115269901 A CN115269901 A CN 115269901A CN 202110486627 A CN202110486627 A CN 202110486627A CN 115269901 A CN115269901 A CN 115269901A
Authority
CN
China
Prior art keywords
label
dimension
elements
combination
tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110486627.2A
Other languages
English (en)
Inventor
赵奕涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110486627.2A priority Critical patent/CN115269901A/zh
Publication of CN115269901A publication Critical patent/CN115269901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种拓展图像生成方法、装置和设备，涉及计算机及通信技术领域。该方法包括：获取参考图像，并获取参考图像中的参考元素；对参考元素进行多维度分类，得到参考元素的标签分类结果，标签分类结果用于确定参考元素的参考标签组合，参考标签组合包括参考元素在多个维度中的参考标签；将标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从多个素材元素中确定与参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，素材元素的素材标签组合由在至少一个维度中的素材标签组成；基于目标素材元素生成参考图像对应的拓展图像，能够自动生成拓展图像。

Description

拓展图像生成方法、装置和设备
技术领域
本申请涉及计算机及通信技术领域，特别涉及一种拓展图像生成方法、装置和设备。
背景技术
随着社会的日益进步，人们对设计图的要求越来越高，针对同一个设计要求，设计人员需要提供很多内容相似的设计图。
现有技术中，设计人员通常先设计出参考图像或者从客户处得到参考图像，再根据参考图像拓展出与参考图像内容相似的拓展图像，拓展过程不需要太多的创造力，工作机械重复，但是需要花费大量的时间和精力。
发明内容
本申请旨在提供一种拓展图像生成方法、装置、设备和存储介质，能够自动生成拓展图像。
根据本申请实施例的一个方面，提供了一种拓展图像生成方法，包括：获取参考图像，并获取所述参考图像中的参考元素；对所述参考元素进行多维度分类，得到所述参考元素的标签分类结果，所述标签分类结果用于确定所述参考元素的参考标签组合，所述参考标签组合包括所述参考元素在多个维度中的参考标签；将所述标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从所述多个素材元素中确定与所述参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，所述素材元素的素材标签组合由在至少一个维度中的素材标签组成；基于所述目标素材元素生成所述参考图像对应的拓展图像。
根据本申请实施例的一个方面，提供了一种拓展图像生成装置，包括：获取模块，配置为获取参考图像，并获取所述参考图像中的参考元素；分类模块，配置为对所述参考元素进行多维度分类，得到所述参考元素的标签分类结果，所述标签分类结果用于确定所述参考元素的参考标签组合，所述参考标签组合包括所述参考元素在多个维度中的参考标签；匹配模块，配置为将所述标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从所述多个素材元素中确定与所述参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，所述素材元素的素材标签组合由在至少一个维度中的素材标签组成；生成模块，配置为基于所述目标素材元素生成所述参考图像对应的拓展图像。
在本申请的一个实施例中，基于前述方案，所述标签分类结果包括所述参考元素的参考标签组合，所述匹配模块配置为：针对每个素材元素的素材标签组合，比较所述参考标签组合与所述素材标签组合在同一维度中的标签；确定所述素材标签组合与所述参考标签组合具有相同标签的目标维度及对应的目标维度数量，其中，所述素材元素与所述参考元素的参考标签匹配度由所述目标维度数量确定；当所述素材元素对应的目标维度数量达到第一预定数量阈值时，判定所述素材元素与所述参考元素的参考标签匹配度满足第一预定匹配条件；基于所述多个素材元素中各个素材元素的素材标签组合对应的目标维度数量，将目标维度数量达到第一预定数量阈值的素材元素确定为所述目标素材元素。
在本申请的一个实施例中，基于前述方案，所述匹配模块还配置为：分别对所述参考标签组合中的各个参考标签进行语义拓展，得到所述参考元素的拓展标签组合，其中，所述拓展标签组合由所述多个维度中的拓展标签组成；将所述拓展标签组合与所述素材标签组合按维度进行匹配，从所述多个素材元素中确定与所述参考元素的拓展标签匹配度满足第二预定匹配条件的拓展素材元素；所述生成模块配置为：基于所述目标素材元素和所述拓展素材元素生成所述参考图像对应的拓展图像。
在本申请的一个实施例中，基于前述方案，所述匹配模块配置为：获取各个参考标签的文本对应的词向量；计算所述各个参考标签的文本对应的词向量与候选标签的文本对应的词向量之间的距离；从所述候选标签中选取所述距离在设定范围内的拓展标签进行组合，得到所述拓展标签组合。
在本申请的一个实施例中，基于前述方案，所述标签分类结果包括所述参考元素在多个维度中的参考标签概率分布，所述参考标签概率分布包括所述参考元素在各个维度中对应多个维度标签的参考标签概率，所述参考标签为各个维度中参考标签概率最高的维度标签；所述匹配模块配置为：获取所述参考标签组合在所述多个维度中对应各个维度的参考标签概率分布；获取所述素材标签组合在所述多个维度中对应各个维度的素材标签概率分布，各个维度对应的素材标签概率分布包括所述素材元素在各个维度中对应多个维度标签的素材标签概率，所述素材标签为各个维度中素材标签概率最高的维度标签；按维度将所述参考标签概率分布和所述素材标签概率分布进行匹配，从所述多个素材元素中确定与所述参考元素的参考标签匹配度满足所述第一预定匹配条件的目标素材元素。
在本申请的一个实施例中，基于前述方案，所述匹配模块配置为：计算同一维度中对应同一维度标签的参考标签概率和素材标签概率的第一差值，基于所述第一差值确定所述参考标签组合与所述素材标签组合在各个维度中对应各个标签的第一标签差异度；基于所述各个维度中对应各个维度标签的第一标签差异度，确定所述参考元素与所述素材元素的第一元素差异度，其中，所述素材元素与所述参考元素的参考标签匹配度由所述第一元素差异度确定；当所述素材元素对应的第一元素差异度达到第一差异度阈值时，判定所述素材元素与所述参考元素的参考标签匹配度满足第一预定匹配条件；基于所述多个素材元素中各个素材元素对应的第一元素差异度，将第一元素差异度低于第一差异度阈值的素材元素，确定为所述目标素材元素。
在本申请的一个实施例中，基于前述方案，所述匹配模块配置为：将各个维度中对应各个维度标签的所述第一标签差异度求和，得到所述参考元素与所述素材元素对应各个维度的第一维度差异度；将所述素材元素对应各个维度的所述第一维度差异度求和，作为所述参考元素与所述素材元素的第一元素差异度。
在本申请的一个实施例中，基于前述方案，所述生成模块配置为：将所述参考图像中的所述参考元素替换为所述目标素材元素，得到所述拓展图像。
根据本申请实施例的一个方面，提供了一种计算机程序存储介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上任一项所述的方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上任一项所述的方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
在本申请的一些实施例所提供的技术方案中，通过获取参考图像，并获取参考图像中的参考元素；对参考元素进行多维度分类，得到参考元素的标签分类结果，标签分类结果用于确定参考元素的参考标签组合，参考标签组合包括参考元素在多个维度中的参考标签；将标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从多个素材元素中确定与参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，素材元素的素材标签组合由在至少一个维度中的素材标签组成；基于目标素材元素生成参考图像对应的拓展图像，由此，能够自动生成参考图像的拓展图像，且由于是通过按维度匹配到多维度相似的素材元素来生成参考图像对应的拓展图像，生成的拓展图像也与参考图像在多维度上相似，从而既能保证图像拓展质量，又能大大提高图像产出效率。在一种实际应用中，例如在设计领域，通过本申请可以自动将一幅设计图转化为多幅设计图，在丰富设计图的同时极大减少了设计师的参与，降低人力成本；同时又通过多维度分类沉淀设计师设计规则和规范，不仅提高了设计产出效率，而且也保证了符合设计规则和规范的较高质量的图像质量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。
图1示出了可以应用本申请实施例的技术方案的示例性***架构的示意图；
图2A示出了可以应用本申请一个实施例的技术方案的数据共享***的示意图；
图2B示出了可以应用本申请一个实施例的区块链示意图；
图2C示出了可以应用本申请一个实施例的区块链中新区块生成的示意图；
图3示意性示出了根据本申请的一个实施例的拓展图像生成方法的流程图；
图4A示意性示出了根据本申请的一个实施例的参考图像示意图；
图4B示意性示出了根据本申请的图4A作为参考图像得到的拓展图像示意图；
图5示意性示出了根据本申请的一个实施例的拓展图像生成方法的流程图；
图6示意性示出了根据本申请的一个实施例的CNN算法分类流程示意图；
图7示意性示出了根据本申请的一个实施例的拓展图像生成方法的流程图；
图8示意性示出了根据本申请的一个实施例的拓展图像生成装置的框图；
图9是根据一示例性实施例示出的一种电子设备的硬件图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了可以应用本申请实施例的技术方案的示例性***架构100的示意图。
如图1所示，***架构100可以包括客户端101、网络102和服务器103。网络102用以在客户端101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等，本申请在此不做限制。
应该理解，图1中的客户端101、网络102和服务器103的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端101、网络102和服务器103。比如服务器103可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。客户端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
在本申请的一个实施例中，服务器103通过获取参考图像，并获取参考图像中的参考元素；对参考元素进行多维度分类，得到参考元素的标签分类结果，标签分类结果用于确定参考元素的参考标签组合，参考标签组合包括参考元素在多个维度中的参考标签；将标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从多个素材元素中确定与参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，素材元素的素材标签组合由在至少一个维度中的素材标签组成；基于目标素材元素生成参考图像对应的拓展图像，能够自动生成拓展图像。
需要说明的是，本申请实施例所提供的拓展图像生成方法一般由服务器103执行，相应地，拓展图像生成装置一般设置于服务器103中。但是，在本申请的其它实施例中，客户端101也可以与服务器103具有相似的功能，从而执行本申请实施例所提供的拓展图像生成方法。
图2A示出了可以应用本发明实施例的技术方案的示例性数据共享***200的示意图。
参见图2A所示的数据共享***200，数据共享***200是指用于进行节点与节点之间数据共享的***。每个节点201在进行正常工作可以接收到输入信息，并基于接收到的输入信息维护该数据共享***200内的共享数据。为了保证数据共享***200内的信息互通，数据共享***200中的每个节点201之间可以存在信息连接，节点201之间可以通过上述信息连接进行信息传输。例如，当数据共享***200中的任意节点201接收到输入信息时，数据共享***200中的其他节点201便根据共识算法获取该输入信息，将该输入信息作为共享数据中的数据进行存储，使得数据共享***200中全部节点201上存储的数据均一致。
对于数据共享***200中的每个节点201，均具有与其对应的节点标识，而且数据共享***200中的每个节点201均可以存储有数据共享***200中其他节点201的节点标识，以便后续根据其他节点201的节点标识，将生成的区块广播至数据共享***200中的其他节点201。每个节点201中可维护一个如下表所示的节点标识列表，将节点名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为IP(Internet Protocol，网络之间互联的协议)地址以及其他任一种能够用于标识该节点的信息，表1中仅以IP地址为例进行说明。
节点名称 节点标识
节点1 117.114.151.174
节点2 117.116.189.145
… …
节点N 119.123.789.258
表1
图2B示出了可以应用本申请一个实施例的区块链的示意图。
数据共享***200中的每个节点均存储一条相同的区块链。区块链由多个区块组成，参见图2B，区块链由多个区块组成，创始块中包括区块头和区块主体，区块头中存储有输入信息特征值、版本号、时间戳和难度值，区块主体中存储有输入信息；创始块的下一区块以创始块为父区块，下一区块中同样包括区块头和区块主体，区块头中存储有当前区块的输入信息特征值、父区块的区块头特征值、版本号、时间戳和难度值，并以此类推，使得区块链中每个区块中存储的区块数据均与父区块中存储的区块数据存在关联，保证了区块中输入信息的安全性。
图2C示出了可以应用本申请一个实施例的区块链中新区块生成的示意图。
在生成区块链中的各个区块时，参见图2C，区块链所在的节点在接收到输入信息时，对输入信息进行校验，完成校验后，将输入信息存储至内存池中，并更新其用于记录输入信息的哈希树；之后，将更新时间戳更新为接收到输入信息的时间，并尝试不同的随机数，多次进行特征值计算，使得计算得到的特征值可以满足下述公式：
SHA256(SHA256(version+prev_hash+merkle_root+ntime+nbits+x))＜TARGET
其中，SH256为计算特征值所用的特征值算法；version(版本号)为区块链中相关区块协议的版本信息；prev_hsh为当前区块的父区块的区块头特征值；merkle_root为输入信息的特征值；ntime为更新时间戳的更新时间；nbits为当前难度，在一段时间内为定值，并在超出固定时间段后再次进行确定；x为随机数；TRGET为特征值阈值，该特征值阈值可以根据nbits确定得到。
这样，当计算得到满足上述公式的随机数时，便可将信息对应存储，生成区块头和区块主体，得到当前区块。随后，区块链所在节点根据数据共享***200中其他节点201的节点标识，将新生成的区块分别发送给其所在的数据共享***200中的其他节点201，由其他节点201对新生成的区块进行校验，并在完成校验后将新生成的区块添加至其存储的区块链中。
在本申请的一个实施例中，数据共享***200中存储的输入信息可以是素材元素，还可以是用于选取拓展标签的候选标签。使用区块链基础处理本申请的拓展图像生成方法，能够提高获取到数据的准确性，从而提高拓展图像生成的准确性。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图3示意性示出了根据本申请的一个实施例的拓展图像生成方法的流程图，该拓展图像生成方法的执行主体可以是服务器，比如可以是图1中所示的服务器103。
参照图3所示，该拓展图像生成方法至少包括步骤S310至步骤S340，详细介绍如下：
在步骤S310中，获取参考图像，并获取参考图像中的参考元素。
在本申请的一个实施例中，参考图像可以是客户端101上传的图像。参考图像中可以包含一个或多个参考元素，参考元素可以是文字、图形、图片或表格等，比如，图4A示意性示出了根据本申请的一个实施例的参考图像示意图，图4A中参考元素可以是图4A中的401A热狗、402A披萨、403A甜甜圈、404A饮料、405A文字或406A背景等。
在本申请的一个实施例中，可以通过设计图源文件中获取参考图像及参考图像中的参考元素，设计图源文件可以是使用Photoshop或Sketch等设计软件设计的源文件，其中包含各个图层的元素及其位置、大小等信息。
在本申请的一个实施例中，参考元素可以是参考图像包含的所有元素，在本申请的其他实施例中，参考元素可以是在参考图像包含的元素中选取的，可以基于用户指令选取，也可以基于预设规则选取。
在步骤S320中，对参考元素进行多维度分类，得到参考元素的标签分类结果，标签分类结果用于确定参考元素的参考标签组合，参考标签组合包括参考元素在多个维度中的参考标签。
在本申请的一个实施例中，多个维度可以包括图片质量维度、色彩明艳程度维度、风格维度、情绪维度、手法维度、对象维度等，其中，图片质量维度中的标签可以包括高清、中等、低清等；色彩明艳程度维度中的标签可以包括高度明艳、中度明艳、低度明艳等；风格维度中的标签可以包括现代、古典、流行、极简、插画等；情绪维度中的标签可以包括热血、暗黑、可爱等；手法维度中的标签可以包括水彩、油画、国画等；对象维度的标签可以根据元素实际表达的内容设定，比如可以是汉堡、薯条、甜甜圈、热狗等。
在该实施例中，由于对参考元素进行分类不止考虑到了图片质量维度、色彩明艳程度维度等图像维度，还考虑到了风格维度、情绪维度、手法维度、对象维度等内容维度，能够在更多维度上对参考元素进行解读，能够更准确的找到目标素材元素。
在本申请的一个实施例中，标签分类结果可以包括参考元素的参考标签组合，可以将参考元素的特征图使用多个不同的卷积核进行卷积计算，得到多个卷积图像；将多个卷积图像进行组合，得到组合特征图；基于组合特征图，确定参考元素在各个维度中的参考标签，将参考元素在各个维度中的参考标签进行组合，得到参考元素的参考标签组合。
在本申请的一个实施例中，可以使用神经网络模型确定参考元素在多个维度中的参考标签，其中，神经网络模型可以是卷积神经网络(Convolutional Neural Networks，CNN)，比如可以是移动端神经网络(MobileNet)、深度残差网络(ResNet)卷积神经网络模型、开端神经网络(Inception)等。
在本申请的一个实施例中，在得到神经网络模型输出的参考元素在各个维度中的标签后，可以对神经网络模型输出的标签进行去重处理，将去重处理后的神经网络模型输出的标签，作为参考标签。
在本申请的一个实施例中，在使用神经网络模型之前，可以使用训练图像集训练神经网络模型，训练图像集中的训练图像对应于各个维度中的训练标签已知。将训练图像输入神经网络模型中得到神经网络模型输出的预测标签，若对应于同一训练图像的预测标签与训练标签不一致，则调整神经网络模型，直至对应于同一训练图像的预测标签与训练标签一致。
在本申请的一个实施例中，标签分类结果包括参考元素在多个维度中的参考标签概率分布，参考标签概率分布包括参考元素在各个维度中对应多个维度标签的参考标签概率，比如，参考元素在手法维度的参考标签概率分布为：现代80％，古典10％，插画10％，参考元素在手法维度中对应现代维度标签的参考标签概率为80％，参考元素在手法维度中对应古典维度标签的参考标签概率为10％，参考元素在手法维度中对应插画维度标签的参考标签概率为10％；参考元素在情绪维度的参考标签概率分布为：热血90％，暗黑8％，可爱2％，参考元素在情绪维度中对应热血维度标签的参考标签概率为90％，参考元素在情绪维度中对应暗黑维度标签的参考标签概率为8％，参考元素在情绪维度中对应可爱维度标签的参考标签概率为2％；参考元素在绘画类型维度的参考标签概率分布为：水彩75％，油画20％，国画5％等，参考元素在会话类型维度中对应水彩维度标签的参考标签概率为75％，参考元素在会话类型维度中对应油画维度标签的参考标签概率为20％，参考元素在会话类型维度中对应国画维度标签的参考标签概率为5％。
在本申请的一个实施例中，可以通过神经网络模型确定参考元素在多个维度中的参考标签概率分布。
在本申请的一个实施例中，可以将各个维度中参考标签概率最高的维度标签作为参考标签。
在本申请的一个实施例中，可以将参考元素在各个维度的参考标签概率分布进行组合，作为参考元素的参考标签组合，比如，参考元素的参考标签组合可以是【(现代80％，古典10％，插画10％)(热血90％，暗黑8％，可爱2％)(水彩75％，油画20％，国画5％)】。
在本申请的一个实施例中，可以将参考元素对应参考标签的参考标签概率进行组合，作为参考元素的参考标签组合，比如，参考元素的参考标签组合可以是(现代80％，热血90％，水彩75％)。
在本申请的一个实施例中，参考元素在每个维度中的参考标签可以是一个或多个，可以根据参考元素对应各个维度标签的参考标签概率，从维度标签中选取参考标签。
继续参照图3，在步骤S330中，将标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从多个素材元素中确定与参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，素材元素的素材标签组合由在至少一个维度中的素材标签组成。
在本申请的一个实施例中，可以将与参考标签组合完全一致的素材标签组合对应的素材元素，作为目标素材元素。
在本申请的一个实施例中，可以比较参考标签组合与素材标签组合，得到参考标签组合与素材标签组合中相同标签的数量，将相同标签的数量最多的素材元素，作为目标素材元素，或者将相同标签的数量达到设定比例的素材元素，作为目标素材元素。
在本申请的一个实施例中，可以针对每个素材元素的素材标签组合，比较参考标签组合与素材标签组合在同一维度中的标签；确定素材标签组合与参考标签组合具有相同标签的目标维度及对应的目标维度数量；基于各个素材元素的素材标签组合对应的目标维度数量，将目标维度数量达到第一预定数量阈值的素材元素确定为目标素材元素。
在本申请的一个实施例中，素材标签组合可以通过将素材元素经过神经网络模型处理得到。
在本申请的一个实施例中，可以获取参考标签组合在多个维度中对应各个维度的参考标签概率分布；获取素材标签组合在多个维度中对应各个维度的素材标签概率分布，各个维度对应的素材标签概率分布包括素材元素在各个维度中对应多个维度标签的素材标签概率，素材标签为各个维度中素材标签概率最高的维度标签；按维度将参考标签概率分布和素材标签概率分布进行匹配，从多个素材元素中确定与参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素。
在本申请的一个实施例中，可以计算同一维度中对应同一维度标签的参考标签概率和素材标签概率的第一差值，基于第一差值确定参考标签组合与素材标签组合在各个维度中对应各个标签的第一标签差异度；基于各个维度中对应各个维度标签的第一标签差异度，确定参考元素与素材元素的第一元素差异度；基于第一元素差异度低于第一差异度阈值的素材元素，确定目标素材元素，其中，对应同一维度标签的参考标签分布概率和素材标签分布概率，是指当参考标签与素材标签相同时，参考标签对应该相同标签的参考标签分布概率，以及素材标签对应该相同标签的素材标签分布概率。
在本申请的一个实施例中，可以将第一元素差异度低于第一差异度阈值且第一元素差异度最低的素材元素，作为目标素材元素。
在本申请的一个实施例中，可以在第一元素差异度低于第一差异度阈值的素材元素中选取目标素材元素。
在本申请的一个实施例中，可以将同一维度中对应多个维度标签的参考标签概率和素材标签概率的第一差值做绝对值，得到参考标签组合与素材标签组合在各个维度中对应各个标签的第一标签差异度。
在本申请的其他实施例中，可以将同一维度中对应多个维度标签的参考标签概率和素材标签概率的第一差值做平方，得到参考标签组合与素材标签组合在各个维度中对应各个标签的第一标签差异度。
在本申请的其他实施例中，可以将同一维度中对应多个维度标签的参考标签概率和素材标签概率的第一差值做绝对值后再做平均，得到参考标签组合与素材标签组合在各个维度中对应各个标签的第一标签差异度。
在本申请的一个实施例中，可以将各个维度中对应多个维度标签的第一标签差异度求和，得到参考元素与素材元素对应各个维度的第一维度差异度；将多个维度的第一维度差异度求和，作为参考元素与素材元素的第一元素差异度。
在本申请的一个实施例中，素材标签分布概率可以通过将素材元素经过神经网络模型处理得到。
在本申请的一个实施例中，可以将素材元素对应各个维度的第一维度差异度求加权和，得到参考元素与素材元素的第一元素差异度，其中，权重可以与维度对应设置。
在本申请的一个实施例中，参考标签与素材标签除了使用机器学习等手段得到，还可以在入库时直接由设计师输入，参考元素在人工输入维度对应于人工输入的参考标签概率可以为100％。素材元素在人工输入维度对应于人工输入的素材标签概率可以为100％。
继续参照图3，在步骤S350中，基于目标素材元素生成参考图像对应的拓展图像。
在本申请的一个实施例中，可以将参考元素替换为目标素材元素，得到拓展图像。
在本申请的一个实施例中，若不能找到满足第一预定匹配条件的素材元素，或不能找到与满足第一预定匹配条件上下浮动低于设定误差的素材元素，如超过第一预定数量阈值的10％，则表示不能找到目标素材元素，则不替换参考元素。
在本申请的一个实施例中，素材元素与参考元素的参考标签匹配度由目标维度数量确定；当素材元素对应的目标维度数量达到第一预定数量阈值时，判定素材元素与参考元素的参考标签匹配度满足第一预定匹配条件。
在本申请的一个实施例中，可以通过将参考图像中不同的元素作为参考元素，生成不同的拓展图像。
在本申请的一个实施例中，图4B示意性示出了根据本申请的图4A作为参考图像得到的拓展图像示意图，如图4B所示，401A热狗可以替换为401B三明治、402A披萨可以替换为402B鸡腿、403A甜甜圈可以替换为403B肉卷、404A饮料可以替换为404B咖啡。在本申请的其他实施例中，406A背景中的浅色颜色如黄绿色可以更换为406B背景中的深色颜色如橙色等。
在图3的实施例中，通过获取参考图像，并获取参考图像中的参考元素；对参考元素进行多维度分类，得到参考元素的标签分类结果，标签分类结果用于确定参考元素的参考标签组合，参考标签组合包括参考元素在多个维度中的参考标签；将标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从多个素材元素中确定与参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，素材元素的素材标签组合由在至少一个维度中的素材标签组成；基于目标素材元素生成参考图像对应的拓展图像，能够自动生成拓展图像，能够自动生成拓展图像。
在图3的实施例中，在步骤S350，基于目标素材元素生成参考图像对应的拓展图像之前，还可以分别对参考标签组合中的各个参考标签进行语义拓展，得到用于表示参考元素语义特征的拓展标签组合，其中，拓展标签组合由多个维度中的拓展标签组成；将拓展标签组合与素材标签组合按维度进行匹配，从多个素材元素中确定与参考元素的拓展标签匹配度满足第二预定匹配条件的目标素材元素。
在本申请的一个实施例中，可以获取各个参考标签的文本对应的词向量；计算各个参考标签的文本对应的词向量与候选标签的文本对应的词向量之间的距离；从候选标签中选取距离在设定范围内的拓展标签进行组合，得到拓展标签组合。
在本申请的一个实施例中，可以使用神经网络语言模型确定参考标签的文本对应的词向量和候选标签的文本对应的词向量。
在本申请的一个实施例中，可以计算参考标签的文本对应的词向量与参考标签的文本对应的词向量之间的余弦距离或欧式距离等，作为参考标签的文本对应的词向量与候选标签的文本对应的词向量之间的距离。
在本申请的一个实施例中，分别对参考标签组合中的各个参考标签进行语义拓展得到拓展标签之后，可以在每个维度中分别选取一个或几个参考标签对应的拓展标签，组成拓展标签组合。
在本申请的一个实施例中，拓展标签可以与参考标签相同。
在本申请的一个实施例中，可以根据各个参考标签的字形进行拓展得到拓展标签。
在本申请的一个实施例中，在对参考标签进行拓展时，可以根据参考标签分布概率对参考标签进行筛选，只拓展参考标签分布概率达到设定概率阈值的参考标签。
在本申请的一个实施例中，可以通过人工输入的参考标签进行拓展，比如水果。通过词向量等技术可以将该词汇进行拓展，通过水果可以拓展出西瓜、苹果等等一些列相关词。该技术首先需要词向量库，如腾讯词向量资料集(Tencent_AILab_ChineseEmbedding)。词向量库可以通过计算词之间的相似性获得相关词，如余弦相似性算法等，也可以使用提取语义主题库(Gensim)和Annoy等现有自然语言处理(Natural Langunge Possns，NLP)框架载入词向量库后获取。相似词之间有可量化的距离大小。距离可以是归一化的，比如汉堡与可乐的距离0.8，汉堡与薯条为0.75。
在本申请的一个实施例中，可以针对每个素材元素的素材标签组合，比较拓展标签组合与素材标签组合在同一维度中的标签；确定素材标签组合与参考标签组合具有相同标签的拓展维度及对应的拓展维度数量；基于各个素材元素的素材标签组合对应的拓展维度数量，将目标维度数量达到第二预定数量阈值的素材元素确定为目标素材元素。
在本申请的一个实施例中，可以获取拓展标签组合在多个维度中对应各个维度的拓展标签概率分布；获取素材标签组合在多个维度中对应各个维度的素材标签概率分布，各个维度对应的素材标签概率分布包括素材元素在各个维度中对应多个维度标签的素材标签概率，素材标签为各个维度中素材标签概率最高的维度标签；按维度将拓展标签概率分布和素材标签概率分布进行匹配，从多个素材元素中确定与拓展元素的拓展标签匹配度满足第二预定匹配条件的拓展素材元素，基于目标素材元素和拓展素材元素生成参考图像对应的拓展图像。
在本申请的一个实施例中，可以计算同一维度中对应同一维度标签的拓展标签概率和素材标签概率的第二差值，基于第二差值确定拓展标签组合与素材标签组合在各个维度中对应各个标签的第二标签差异度；基于各个维度中对应各个维度标签的第二标签差异度，确定拓展元素与素材元素的第二元素差异度；基于第二元素差异度低于第二差异度阈值的素材元素，确定目标素材元素，其中，对应同一维度标签的拓展标签分布概率和素材标签分布概率，是指当拓展标签与素材标签相同时，拓展标签对应该相同标签的拓展标签分布概率，以及素材标签对应该相同标签的素材标签分布概率。
在本申请的一个实施例中，可以将第二元素差异度低于第二差异度阈值且第二元素差异度最低的素材元素，作为目标素材元素。
在本申请的一个实施例中，可以在第二元素差异度低于第二差异度阈值的素材元素中选取目标素材元素。
在本申请的一个实施例中，可以将同一维度中对应多个维度标签的拓展标签概率和素材标签概率的第二差值做绝对值，得到拓展标签组合与素材标签组合在各个维度中对应各个标签的第二标签差异度。
在本申请的其他实施例中，可以将同一维度中对应多个维度标签的拓展标签概率和素材标签概率的第二差值做平方，得到拓展标签组合与素材标签组合在各个维度中对应各个标签的第二标签差异度。
在本申请的其他实施例中，可以将同一维度中对应多个维度标签的拓展标签概率和素材标签概率的第二差值做绝对值后再做平均，得到拓展标签组合与素材标签组合在各个维度中对应各个标签的第二标签差异度。
在本申请的一个实施例中，可以将各个维度中对应多个维度标签的第二标签差异度求和，得到拓展元素与素材元素对应各个维度的第二维度差异度；将多个维度的第二维度差异度求和，作为拓展元素与素材元素的第二元素差异度。
在本申请的一个实施例中，可以将素材元素对应各个维度的第二维度差异度求加权和，得到拓展元素与素材元素的第二元素差异度，其中，权重可以与维度对应设置。
在本申请的一个实施例中，可以将拓展标签对应的参考标签的参考标签概率分布，作为拓展标签的拓展标签概率分布。
在本申请的一个实施例中，可以基于拓展标签对应的参考标签的参考标签概率分布，以及拓展标签对应的参考标签的词向量与拓展标签的词向量之间的距离，确定拓展标签组合在各个维度中的拓展标签概率分布。具体的，可以基于拓展标签对应的参考标签的词向量与拓展标签的词向量之间的向量差异度，确定用于表示拓展标签对应的参考标签与拓展标签之间相似度的拓展标签还原概率，计算拓展标签对应的参考标签概率与拓展标签还原概率的乘积，得到拓展标签概率分布。
在本申请的一个实施例中，可以预设向量差异度与拓展标签还原概率之间的对应关系，从而可以基于对应关系确定向量差异对应的拓展标签还原概率。
在本申请的一个实施例中，可以计算参考标签的词向量与拓展标签的词向量之间的向量距离，作为向量差异度。
图5示意性示出了根据本申请的一个实施例的拓展图像生成方法的流程图，主要流程分为1)读取设计图源文件的各个元素信息；2)通过算法对元素图像进行多维度的分类；3)从预先处理好的素材库中匹配与元素图像各个维度一致的素材进行替换；4)将替换后的扩展图进行输出。其中辅助流程分为1)将素材图片使用机器学习算法进行多维度分类；2)将分好类的图片按各个维度的类型进行打标，存入素材库。下面分步进行说明。该拓展图像生成方法的执行主体可以是服务器，比如可以是图1中所示的服务器103。
参照图5所示，该拓展图像生成方法至少包括步骤S510至步骤S580，详细介绍如下：
在步骤S510中，获取设计图；
在步骤S520中，获取设计图元素信息；
在步骤S530中，使用CNN算法对设计图元素进行既定维度的分类；
在步骤S540中，获取素材图片；
在步骤S550中，使用CNN算法通过设计师既定维度，对素材库内素材进行分类，将维度标签存储；
在步骤S560中，获取素材库
在步骤S570中，从素材库中匹配相同分类维度标签的素材元素进行替换；
在步骤S580中，输出拓展图。
在图5的实施例中，通过将设计图作为参考图像，将设计图元素作为参考元素，将素材库中的素材作为素材元素，从素材库中查找设计图元素对应的目标素材元素，输出的拓展图即是拓展图像。其中，步骤S540可以在步骤S510之前执行，也可以在步骤S530之后执行，本申请在此不做限制。
在本申请的一个实施例中，步骤S530中，使用CNN算法对设计图元素进行既定维度的分类时，CNN算法分类器的输入为图片自身。也可以追加图片的其他信息如在设计图上的尺寸等进行更精确的构建。
在本申请的一个实施例中，设计图源文件的图层、图层上的设计图元素，以及其他相关信息如尺寸、位置等均可以通过相应插件或使用代码读取并解析文件的方式获取到。
在图5的实施例中，素材图片的匹配可以通过对各个维度的标签进行匹配。比如设计图中的参考元素在各个维度的分类为(现代、热血、水彩)，则从素材库中查找各个维度对应各个标签的概率差异度最相近的，如果素材库中有(现代、热血、水彩)的素材图片，则可选用；如果没有，可以用(现代、热血、油画)替换，按一致的维度多少进行选择，一直的维度越多越好。另外匹配也可以基于元素在各个维度中各个标签的参考标签概率分布，这样更加精确。比如素材库中有多个(现代、热血、水彩)的素材图片。进而比较各个标签的参考标签概率分布。原设计图上的概率分布为(现代80％，古典10％，插画10％)，(热血90％，暗黑8％，可爱2％)，(水彩75％，油画20％，国画5％)，则从素材库中寻找每个维度下概率分布也最一致的素材图片即可，一致性通过计算各个概率的差值的绝对值，并求和，求得元素差异度，然后选取误差值最小值的素材图片元素作为目标素材图片元素。例如，素材库中的素材图片为(现代70％，古典20％，插画10％)，(热血80％，暗黑18％，可爱2％)，(水彩80％，油画15％，国画5％)。则元素差异度为:(|80％-70％|+|10％-20％|+|10％-10％|)+(|90％-80％|+|8％-18％|+|2％-2％|)+(|75％-80％|+|20％-15％|+|5％-10％|)＝0.55，其中，元素差异度的算法有非常多种，比如绝对值距离可以用平方和替代。
在本申请的一个实施例中，在步骤S550中，将素材标签与素材图片一起存入***，构成素材库。素材标签可以是具体的(古典，水彩，热血)，也可以是素材标签和素材标签概率分布组合存储，后者的精确度更高。通过对素材库进行前述合理的预处理后，可以有效、充分的利用到未来的设计图中，提升设计素材的利用率。
图6示意性示出了根据本申请的一个实施例的CNN算法分类流程示意图，该CNN算法分类方法的执行主体可以是服务器，比如可以是图1中所示的服务器103。
在图6中，设计师按既定维度分类，每个类型准备示例图片对网络进行预训练，用以进一步训练网络以达到按照设计师确定的风格维度分类的目的。预训练后的网络包括具有预训练权重的MobileNet、池化层(Polling)及分类层(Softmax)，获取海量素材输入具有预训练权重的MobileNet，将MobileNet的输出结果输入池化层，将池化层的结构输入分类层，得到分类概率分布，作为素材标签分布概率，以将海量素材图通过已经实现的算法分类器由机器自动进行分类。如一张素材图片可以在风格维度分类为古典风，在手法维度确定为水彩，在情绪维度为热血。除了可以得到确定的分类，也可以每个维度得到的是一种概率分布，比如在风格维度，80％机器推断为古典风，10％推断为流行风，10％推断为极简风，其他维度类似。
在图6的实施例中，本技术方案实现了：根据机器学习分类算法，按照设计师预先既定的多个设计维度的及对每个维度的分类，对设计图上的参考元素进行分析，并从素材库中匹配相同设计维度的图片进行替换，从而自动生成更多拓展图。
在本申请的一个实施例中，可以使用CNN对参考元素分类。使用算法对设计图元素进行分析：采用的算法与辅助流程中构建设计图素材库的算法一致。分析出设计图的背景和参考元素在各个维度中的参考标签。结果可以是参考标签也可以是在各个参考标签的参考标签概率分布。维度和标签的设定可以尽量细致，根据不同的需求，可以不同。比如所有的拓展图如果都只需要动漫的，则只需要以动漫为基础，进行维度和分类的设置。
图7示意性示出了根据本申请的一个实施例的拓展图像生成方法的流程图，该拓展图像生成方法的执行主体可以是服务器，比如可以是图1中所示的服务器103。
参照图7所示，该拓展图像生成方法相比于图6的实施例中的拓展图像生成方法增加了步骤S710至步骤S740，详细介绍如下：
在读取设计图元素信息之后，在步骤S710中，对设计图元素内容进行识别；
在步骤S720中，使用词向量技术对识别内容词汇进行拓展；
在步骤S730中，对设计图元素内容进行识别，形成内容标签入库；
在步骤S740中，从素材库中匹配相同分类维度，将具有拓展词汇的内容进行替换，以输出拓展图。
在图7的实施例中，通过将设计图作为参考图像，将设计图元素作为参考元素，将识别内容词汇形成内容标签作为参考标签，将拓展词汇作为拓展标签，以对内容维度的内容词汇进行拓展，能够得到更多内容相似的拓展图作为拓展图像。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的拓展图像生成方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的拓展图像生成方法的实施例。
图8示意性示出了根据本申请的一个实施例的拓展图像生成装置的框图。
参照图8所示，根据本申请的一个实施例的拓展图像生成装置800，包括获取模块801、分类模块802、匹配模块803和生成模块804。
根据本申请实施例的一个方面，基于前述方案，获取模块801配置为获取参考图像，并获取参考图像中的参考元素；分类模块802配置为对参考元素进行多维度分类，得到参考元素的标签分类结果，标签分类结果用于确定参考元素的参考标签组合，参考标签组合包括参考元素在多个维度中的参考标签；匹配模块803配置为将标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从多个素材元素中确定与参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，素材元素的素材标签组合由在至少一个维度中的素材标签组成；生成模块804配置为基于目标素材元素生成参考图像对应的拓展图像。
在本申请的一个实施例中，基于前述方案，标签分类结果包括参考元素的参考标签组合，匹配模块803配置为：针对每个素材元素的素材标签组合，比较参考标签组合与素材标签组合在同一维度中的标签；确定素材标签组合与参考标签组合具有相同标签的目标维度及对应的目标维度数量；其中，素材元素与参考元素的参考标签匹配度由目标维度数量确定；当素材元素对应的目标维度数量达到第一预定数量阈值时，判定素材元素与参考元素的参考标签匹配度满足第一预定匹配条件；基于多个素材元素中各个素材元素的素材标签组合对应的目标维度数量，将目标维度数量达到第一预定数量阈值的素材元素确定为目标素材元素。
在本申请的一个实施例中，基于前述方案，匹配模块803还配置为：分别对参考标签组合中的各个参考标签进行语义拓展，得到参考元素的拓展标签组合，其中，拓展标签组合由多个维度中的拓展标签组成；将拓展标签组合与素材标签组合按维度进行匹配，从多个素材元素中确定与参考元素的拓展标签匹配度满足第二预定匹配条件的拓展素材元素；生成模块804配置为：基于目标素材元素和拓展素材元素生成参考图像对应的拓展图像。
在本申请的一个实施例中，基于前述方案，匹配模块803配置为：获取各个参考标签的文本对应的词向量；计算各个参考标签的文本对应的词向量与候选标签的文本对应的词向量之间的距离；从候选标签中选取距离在设定范围内的拓展标签进行组合，得到拓展标签组合。
在本申请的一个实施例中，基于前述方案，标签分类结果包括参考元素在多个维度中的参考标签概率分布，参考标签概率分布包括参考元素在各个维度中对应多个维度标签的参考标签概率，参考标签为各个维度中参考标签概率最高的维度标签；匹配模块803配置为：获取参考标签组合在多个维度中对应各个维度的参考标签概率分布；获取素材标签组合在多个维度中对应各个维度的素材标签概率分布，各个维度对应的素材标签概率分布包括素材元素在各个维度中对应多个维度标签的素材标签概率，素材标签为各个维度中素材标签概率最高的维度标签；按维度将参考标签概率分布和素材标签概率分布进行匹配，从多个素材元素中确定与参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素。
在本申请的一个实施例中，基于前述方案，匹配模块803配置为：计算同一维度中对应同一维度标签的参考标签概率和素材标签概率的第一差值，基于第一差值确定参考标签组合与素材标签组合在各个维度中对应各个标签的第一标签差异度；基于各个维度中对应各个维度标签的第一标签差异度，确定参考元素与素材元素的第一元素差异度，其中，素材元素与参考元素的参考标签匹配度由第一元素差异度确定；当素材元素对应的第一元素差异度达到第一差异度阈值时，判定素材元素与参考元素的参考标签匹配度满足第一预定匹配条件；基于多个素材元素中各个素材元素对应的第一元素差异度，将第一元素差异度低于第一差异度阈值的素材元素，确定为目标素材元素。
在本申请的一个实施例中，基于前述方案，匹配模块803配置为：将各个维度中对应多个维度标签的第一标签差异度求和，得到参考元素与素材元素对应各个维度的第一维度差异度；将素材元素对应各个维度的第一维度差异度求和，作为参考元素与素材元素的第一元素差异度。
在本申请的一个实施例中，基于前述方案，生成模块804配置为：将参考图像中的参考元素替换为目标素材元素，得到拓展图像。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为***、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。
下面参照图9来描述根据本申请的这种实施方式的电子设备90。图9显示的电子设备90仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，电子设备90以通用计算设备的形式表现。电子设备90的组件可以包括但不限于：上述至少一个处理单元91、上述至少一个存储单元92、连接不同***组件(包括存储单元92和处理单元91)的总线93、显示单元94。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元91执行，使得所述处理单元91执行本说明书上述“实施例方法”部分中描述的根据本申请各种示例性实施方式的步骤。
存储单元92可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(ROM)923。
存储单元92还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线93可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备90也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备90交互的设备通信，和/或与使得该电子设备90能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且，电子设备90还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器96通过总线93与电子设备90的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备90使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
根据本申请一个实施例，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。
根据本申请一个实施例，用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种拓展图像生成方法，其特征在于，包括：
获取参考图像，并获取所述参考图像中的参考元素；
对所述参考元素进行多维度分类，得到所述参考元素的标签分类结果，所述标签分类结果用于确定所述参考元素的参考标签组合，所述参考标签组合包括所述参考元素在多个维度中的参考标签；
将所述标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从所述多个素材元素中确定与所述参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，所述素材元素的素材标签组合由在至少一个维度中的素材标签组成；
基于所述目标素材元素生成所述参考图像对应的拓展图像。
2.根据权利要求1所述的拓展图像生成方法，其特征在于，所述标签分类结果包括所述参考元素的参考标签组合，所述将所述标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从所述多个素材元素中确定与所述参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素，包括：
针对每个素材元素的素材标签组合，比较所述参考标签组合与所述素材标签组合在同一维度中的标签；确定所述素材标签组合与所述参考标签组合具有相同标签的目标维度及对应的目标维度数量；其中，所述素材元素与所述参考元素的参考标签匹配度由所述目标维度数量确定；当所述素材元素对应的目标维度数量达到第一预定数量阈值时，判定所述素材元素与所述参考元素的参考标签匹配度满足第一预定匹配条件；
基于所述多个素材元素中各个素材元素的素材标签组合对应的目标维度数量，将目标维度数量达到第一预定数量阈值的素材元素确定为所述目标素材元素。
3.根据权利要求2所述的拓展图像生成方法，其特征在于，在基于所述目标素材元素生成所述参考图像对应的拓展图像之前，所述方法还包括：分别对所述参考标签组合中的各个参考标签进行语义拓展，得到所述参考元素的拓展标签组合，其中，所述拓展标签组合由所述多个维度中的拓展标签组成；将所述拓展标签组合与所述素材标签组合按维度进行匹配，从所述多个素材元素中确定与所述参考元素的拓展标签匹配度满足第二预定匹配条件的拓展素材元素；
所述基于所述目标素材元素生成所述参考图像对应的拓展图像，包括：
基于所述目标素材元素和所述拓展素材元素生成所述参考图像对应的拓展图像。
4.根据权利要求3所述的拓展图像生成方法，其特征在于，所述分别对所述参考标签组合中的各个参考标签进行语义拓展，得到用于表示所述参考元素语义特征的拓展标签组合，包括：
获取各个参考标签的文本对应的词向量；
计算所述各个参考标签的文本对应的词向量与候选标签的文本对应的词向量之间的距离；
从所述候选标签中选取所述距离在设定范围内的拓展标签进行组合，得到所述拓展标签组合。
5.根据权利要求1所述的拓展图像生成方法，其特征在于，所述标签分类结果包括所述参考元素在多个维度中的参考标签概率分布，所述参考标签概率分布包括所述参考元素在各个维度中对应多个维度标签的参考标签概率，所述参考标签为各个维度中参考标签概率最高的维度标签；
所述将所述标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从所述多个素材元素中确定与所述参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素，包括：
获取所述参考标签组合在所述多个维度中对应各个维度的参考标签概率分布；
获取所述素材标签组合在所述多个维度中对应各个维度的素材标签概率分布，各个维度对应的素材标签概率分布包括所述素材元素在各个维度中对应多个维度标签的素材标签概率，所述素材标签为各个维度中素材标签概率最高的维度标签；
按维度将所述参考标签概率分布和所述素材标签概率分布进行匹配，从所述多个素材元素中确定与所述参考元素的参考标签匹配度满足所述第一预定匹配条件的目标素材元素。
6.根据权利要求5所述的拓展图像生成方法，其特征在于，所述按维度将所述参考标签分布概率和所述素材标签分布概率进行匹配，从所述多个素材元素中确定与所述参考元素的参考标签匹配度满足所述第一预定匹配条件的目标素材元素，包括：
计算同一维度中对应同一维度标签的参考标签概率和素材标签概率的第一差值，基于所述第一差值确定所述参考标签组合与所述素材标签组合在各个维度中对应各个标签的第一标签差异度；
基于所述各个维度中对应各个维度标签的第一标签差异度，确定所述参考元素与所述素材元素的第一元素差异度，其中，所述素材元素与所述参考元素的参考标签匹配度由所述第一元素差异度确定；当所述素材元素对应的第一元素差异度达到第一差异度阈值时，判定所述素材元素与所述参考元素的参考标签匹配度满足第一预定匹配条件；
基于所述多个素材元素中各个素材元素对应的第一元素差异度，将第一元素差异度低于第一差异度阈值的素材元素确定为所述目标素材元素。
7.根据权利要求6所述的拓展图像生成方法，其特征在于，所述基于所述各个维度中对应各个维度标签的第一标签差异度，确定所述参考元素与所述素材元素的第一元素差异度，包括：
将各个维度中对应各个维度标签的所述第一标签差异度求和，得到所述参考元素与所述素材元素对应各个维度的第一维度差异度；
将所述素材元素对应各个维度的所述第一维度差异度求和，作为所述参考元素与所述素材元素的第一元素差异度。
8.根据权利要求1所述的拓展图像生成方法，其特征在于，所述基于所述目标素材元素生成所述参考图像对应的拓展图像，包括：
将所述参考图像中的所述参考元素替换为所述目标素材元素，得到所述拓展图像。
9.一种拓展图像生成装置，其特征在于，包括：
获取模块，配置为获取参考图像，并获取所述参考图像中的参考元素；
分类模块，配置为对所述参考元素进行多维度分类，得到所述参考元素的标签分类结果，所述标签分类结果用于确定所述参考元素的参考标签组合，所述参考标签组合包括所述参考元素在多个维度中的参考标签；
匹配模块，配置为将所述标签分类结果对应的参考标签组合与多个素材元素的素材标签组合按维度进行匹配，从所述多个素材元素中确定与所述参考元素的参考标签匹配度满足第一预定匹配条件的目标素材元素；其中，所述素材元素的素材标签组合由在至少一个维度中的素材标签组成；
生成模块，配置为基于所述目标素材元素生成所述参考图像对应的拓展图像。
10.一种电子设备，其特征在于，包括:
存储器，存储有计算机可读指令；
处理器，读取存储器存储的计算机可读指令，以执行权利要求1-8中的任一项所述的方法。
CN202110486627.2A 2021-05-01 2021-05-01 拓展图像生成方法、装置和设备 Pending CN115269901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110486627.2A CN115269901A (zh) 2021-05-01 2021-05-01 拓展图像生成方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110486627.2A CN115269901A (zh) 2021-05-01 2021-05-01 拓展图像生成方法、装置和设备

Publications (1)

Publication Number Publication Date
CN115269901A true CN115269901A (zh) 2022-11-01

Family

ID=83745448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110486627.2A Pending CN115269901A (zh) 2021-05-01 2021-05-01 拓展图像生成方法、装置和设备

Country Status (1)

Country Link
CN (1) CN115269901A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475210A (zh) * 2023-10-27 2024-01-30 广州睿狐科技有限公司 一种用于api调试的随机图像生成方法及其***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117475210A (zh) * 2023-10-27 2024-01-30 广州睿狐科技有限公司 一种用于api调试的随机图像生成方法及其***

Similar Documents

Publication Publication Date Title
US9218364B1 (en) Monitoring an any-image labeling engine
US9037600B1 (en) Any-image labeling engine
CN111582409B (zh) 图像标签分类网络的训练方法、图像标签分类方法及设备
Huang et al. Identifying disaster related social media for rapid response: a visual-textual fused CNN architecture
CN109478204A (zh) 非结构化文本的机器理解
CN111159409B (zh) 基于人工智能的文本分类方法、装置、设备、介质
US9129216B1 (en) System, method and apparatus for computer aided association of relevant images with text
CN111930915B (zh) 会话信息处理方法、装置、计算机可读存储介质及设备
CN111506794A (zh) 一种基于机器学习的谣言管理方法和装置
US20240177506A1 (en) Method and Apparatus for Generating Captioning Device, and Method and Apparatus for Outputting Caption
CN113642481A (zh) 识别方法、训练方法、装置、电子设备以及存储介质
CN114492669B (zh) 关键词推荐模型训练方法、推荐方法和装置、设备、介质
CN117635275B (zh) 基于大数据的智能电商运营商品管理平台及方法
CN115269901A (zh) 拓展图像生成方法、装置和设备
Bie et al. Facial expression recognition from a single face image based on deep learning and broad learning
CN110309355A (zh) 内容标签的生成方法、装置、设备及存储介质
CN116543798A (zh) 基于多分类器的情感识别方法和装置、电子设备、介质
CN115186085A (zh) 回复内容处理方法以及媒体内容互动内容的交互方法
CN111566665B (zh) 在自然语言处理中应用图像编码识别的装置和方法
CN115690276A (zh) 虚拟形象的视频生成方法、装置、计算机设备和存储介质
CN111193795B (zh) 信息推送方法及装置、电子设备和计算机可读存储介质
CN114579876A (zh) 虚假信息检测方法、装置、设备及介质
CN113688938A (zh) 确定对象情感的方法、训练情感分类模型的方法及装置
Chai et al. An artistic analysis model based on sequence cartoon images for scratch
Wu [Retracted] Art Product Recognition Model Design and Construction of VR Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination