CN116935057A - 目标评价方法、电子设备和计算机可读存储介质 - Google Patents

目标评价方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN116935057A
CN116935057A CN202310664064.0A CN202310664064A CN116935057A CN 116935057 A CN116935057 A CN 116935057A CN 202310664064 A CN202310664064 A CN 202310664064A CN 116935057 A CN116935057 A CN 116935057A
Authority
CN
China
Prior art keywords
style
feature extraction
structural
image
extraction network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310664064.0A
Other languages
English (en)
Inventor
刘卓异
王若楠
杨学迅
孙志亮
黄鹏
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202310664064.0A priority Critical patent/CN116935057A/zh
Publication of CN116935057A publication Critical patent/CN116935057A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/19007—Matching; Proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标评价方法、电子设备和计算机可读存储介质，该方法包括：获得临摹图像和模板图像，分别提取临摹图像和模板图像在多个维度的特征；其中，多个维度的特征至少包括结构特征和风格特征，结构特征表征图像中的目标对应的组成结构，风格特征表征图像中的目标对应的外在形式；基于临摹图像对应的多个维度的特征，以及模板图像对应的多个维度的特征，确定临摹图像中的目标对应的评分。上述方案，能够提高临摹评价的效率和准确率。

Description

目标评价方法、电子设备和计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种目标评价方法、电子设备和计算机可读存储介质。
背景技术
临摹是一种重要的学***愈发得到关注，常规的临摹评价方法依托于相关领域的专业人士进行评价，但这样的评价方式效率低下，或者基于单一的算法进行评价，但这样的评价方式准确率较低。有鉴于此，如何提高临摹评价的效率和准确率成为了亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种目标评价方法、电子设备和计算机可读存储介质，能够提高临摹评价的效率和准确率。
为解决上述技术问题，本申请第一方面提供一种目标评价方法，包括：获得临摹图像和模板图像，分别提取所述临摹图像和所述模板图像在多个维度的特征；其中，多个维度的特征至少包括结构特征和风格特征，所述结构特征表征图像中的目标对应的组成结构，所述风格特征表征图像中的目标对应的外在形式；基于所述临摹图像对应的多个维度的特征，以及所述模板图像对应的多个维度的特征，确定所述临摹图像中的目标对应的评分。
为解决上述技术问题，本申请第二方面提供一种电子设备，该电子设备包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行上述第一方面所述的方法。
为解决上述技术问题，本申请第三方面提供一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述第一方面所述的方法。
上述方案，获得临摹图像和模板图像后，分别从多个维度提取临摹图像和模板图像的特征，得到临摹图像和模板图像各自对应的多个维度的特征，其中，多个维度的特征至少包括结构特征和风格特征，结构特征表征图像中的目标对应的组成结构，风格特征表征图像中的目标对应的外在形式，从而得到至少两个维度的特征，提高特征提取的全面性，基于临摹图像对应的多个维度的特征，以及模板图像对应的多个维度的特征，对临摹图像中的目标进行评价，确定临摹图像中的目标对应的评分，从而基于全面的特征进行临摹评价，提高临摹评价的准确率，而整个评价过程只需要采集到目标对应的图像即可从图像上提取多个维度的特征从而进行评价，提高临摹评价的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请目标评价方法一实施方式的流程示意图；
图2是本申请目标评价方法另一实施方式的流程示意图；
图3是本申请风格特征提取网络对应的一实施方式的结构示意图；
图4是本申请结构特征提取网络对应的一实施方式的结构示意图；
图5是本申请电子设备一实施方式的结构示意图；
图6是本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
本申请所提供的目标评价方法用于对临摹图像中的目标进行评价，其应用场景至少包括书法临摹和绘画临摹，本申请所提供的目标评价方法对应的执行主体为能够调用图像的处理器。
请参阅图1，图1是本申请目标评价方法一实施方式的流程示意图，该方法包括：
S101：获得临摹图像和模板图像，分别提取临摹图像和模板图像在多个维度的特征，其中，多个维度的特征至少包括结构特征和风格特征，结构特征表征图像中的目标对应的组成结构，风格特征表征图像中的目标对应的外在形式。
具体地，获得临摹图像和模板图像后，分别从多个维度提取临摹图像和模板图像的特征，得到临摹图像和模板图像各自对应的多个维度的特征，其中，多个维度的特征至少包括结构特征和风格特征，从而得到至少两个维度的特征，提高特征提取的全面性。
进一步地，模板图像中的目标为参考对象，临摹图像中的目标为临摹对象。
在一应用方式中，获得目标对应的临摹图像和模板图像，分别提取临摹图像和模板图像对应的结构特征和风格特征，得到临摹图像和模板图像各自对应的多个维度的特征。
在另一应用方式中，获得目标对应的临摹图像和模板图像，分别提取临摹图像和模板图像对应的结构特征、风格特征和其他特征，得到临摹图像和模板图像各自对应的多个维度的特征，其中，其他特征区别于结构特征和风格特征。
在一应用场景中，将临摹图像输入至训练后的特征提取模型，以使特征提取模型提取临摹图像中的目标对应的结构特征和风格特征，将模板图像输入至训练后的特征提取模型，以使特征提取模型提取模板图像中的目标对应的结构特征和风格特征，其中，特征提取模型包括结构特征提取网络和风格特征提取网络，结构特征提取网络用于提取目标的结构特征，风格特征提取网络用于提取目标的风格特征。
在另一应用场景中，将临摹图像和模板图像分别输入至训练后的结构特征提取网络，以使结构特征提取网络提取临摹图像中的目标对应的结构特征，以及模板图像中的目标对应的结构特征，将临摹图像和模板图像分别输入至训练后的风格特征提取网络，以使风格特征提取网络提取临摹图像中的目标对应的风格特征，以及模板图像中的目标对应的风格特征。
在一具体应用场景中，临摹图像和模板图像中的目标为字符，字符的组成结构对应字符的文字笔画，字符的外在形式对应字符的字体风格，提取临摹图像中的字符对应的结构特征和风格特征，以及模板图像中的字符对应的结构特征和风格特征，得到临摹图像和模板图像对应的多个维度的特征，从而适配书法临摹的应用场景。
在另一具体应用场景中，临摹图像和模板图像中的目标为画作，画作的组成结构对应画作的绘画构图，画作的外在形式对应画作的绘画风格，提取临摹图像中的画作对应的结构特征和风格特征，以及模板图像中的画作对应的结构特征、风格特征和颜色特征，得到临摹图像和模板图像对应的多个维度的特征，其中，颜色特征表征图像中的目标对应的颜色空间分布，从而适配绘画临摹的应用场景。
S102：基于临摹图像对应的多个维度的特征，以及模板图像对应的多个维度的特征，确定临摹图像中的目标对应的评分。
具体地，基于临摹图像对应的多个维度的特征，以及模板图像对应的多个维度的特征，对临摹图像中的目标进行评价，确定临摹图像中的目标对应的评分，从而基于全面的特征进行临摹评价，提高临摹评价的准确率。
可以理解的是，整个评价过程只需要采集到目标对应的图像即可从图像上提取多个维度的特征从而进行评价，提高临摹评价的效率。
在一应用方式中，对临摹图像对应的多个维度的特征进行融合，得到第一融合特征，对模板图像对应的多个维度的特征进行融合，得到第二融合特征，比对第一融合特征和第二融合特征，得到融合特征比对结果，基于融合特征比对结果确定临摹图像中的目标对应的评分。
在另一应用方式中，对临摹图像对应的多个维度的特征以及模板图像对应的多个维度的特征，按特征所表征的类型依次进行比对，得到多个子特征比对结果，基于多个子特征对比结果确定临摹图像中的目标对应的评分。
在一应用场景中，对临摹图像对应的多个维度的特征进行融合，得到第一融合特征，对模板图像对应的多个维度的特征进行融合，得到第二融合特征，获取第一融合特征和第二融合特征的欧式距离，基于欧式距离确定第一融合特征和第二融合特征的相似度，利用相似度确定临摹图像中的目标对应的评分。
在另一应用场景中，对临摹图像对应的多个维度的特征以及模板图像对应的多个维度的特征，按特征所表征的类型依次进行比对，得到多个子特征比对评分，基于特征所表征的类型确定子特征比对结果的权重，对多个子特征比对评分进行加权求和，得到目标比对评分，利用目标比对评分确定临摹图像中的目标对应的评分。
上述方案，获得临摹图像和模板图像后，分别从多个维度提取临摹图像和模板图像的特征，得到临摹图像和模板图像各自对应的多个维度的特征，其中，多个维度的特征至少包括结构特征和风格特征，结构特征表征图像中的目标对应的组成结构，风格特征表征图像中的目标对应的外在形式，从而得到至少两个维度的特征，提高特征提取的全面性，基于临摹图像对应的多个维度的特征，以及模板图像对应的多个维度的特征，对临摹图像中的目标进行评价，确定临摹图像中的目标对应的评分，从而基于全面的特征进行临摹评价，提高临摹评价的准确率，而整个评价过程只需要采集到目标对应的图像即可从图像上提取多个维度的特征从而进行评价，提高临摹评价的效率。
请参阅图2，图2是本申请目标评价方法另一实施方式的流程示意图，该方法包括：
S201：获得临摹图像和模板图像，分别提取临摹图像和模板图像在多个维度的特征，其中，多个维度的特征至少包括结构特征和风格特征，结构特征表征图像中的目标对应的组成结构，风格特征表征图像中的目标对应的外在形式。
具体地，获得临摹图像和模板图像，至少从组成结构和外在形式两个维度提取临摹图像和模板图像的特征，得到临摹图像和模板图像各自对应的多个维度的特征。
在一应用场景中，分别提取临摹图像和模板图像在多个维度的特征，包括：将临摹图像和模板图像分别输入至特征提取模型，得到临摹图像对应的第一结构特征和第一风格特征，以及模板图像对应的第二结构特征和第二风格特征；其中，特征提取模型包括用于提取结构特征的结构特征提取网络，以及用于提取风格特征的风格特征提取网络，且结构特征提取网络利用多个第一训练样本对训练得到，风格特征提取网络利用多个第二训练样本对训练得到，第一训练样本对包括两个相同组成结构的样本，第二训练样本对包括两个相同外在形式的样本。
具体地，将临摹图像输入至特征提取模型，以使特征提取模型中的结构特征提取网络提取临摹图像对应的第一结构特征，风格特征提取网络提取临摹图像对应的第一风格特征，将模板图像输入至特征提取网络，以使特征提取模型中的结构特征提取网络提取模板图像对应的第二结构特征，风格特征提取网络提取模板图像对应的第二风格特征，从而提高特征提取的效率，且避免了使用单一的网络对特征进行提取，得到多种特征，提高特征的全面性。
可以理解的是，结构特征提取网络利用多个第一训练样本对训练得到，风格特征提取网络利用多个第二训练样本对训练得到，第一训练样本对包括两个相同组成结构的样本，第二训练样本对包括两个相同外在形式的样本，从而训练后的结构特征提取网络，能够在目标的结构相同时无论风格是否相同均能够提取到相同的结构特征，同理，训练后的风格特征提取网络，能够在目标的风格相同时无论结构是否相同均能够提取到相同的风格特征。
在一实施场景中，风格特征提取网络包括依次级联的预设数值个卷积层和至少一个残差网络层，结构特征提取网络包括预设数值个卷积层组，且每个卷积层组包括至少两个卷积层。
具体地，风格特征提取网络包括预设数值个卷积层，结构特征提取网络包括预设数值个卷积层组，且每个卷积层组包括至少两个卷积层，因此，结构特征提取网络总的卷积层的数量多于风格特征提取网络的卷积层的数量，从而结构特征提取网络能够提取到更深度的特征，而风格特征提取网络能够提取到简略的特征并通过残差网络层以强化浅层特征的提取。
进一步地，风格特征所表征的是目标对应的外在形式，结构特征所表征的是目标对应的组成结构，例如，当目标为字符时，字符的外在形式对应字符的字体风格，字符的组成结构对应字符的文字笔画，而字体风格是一个抽象的概念，文字笔画则是一个具象的概念，因此，风格特征需要基于浅层特征进行分析，以降低特征过拟合无法获取的概率，而结构特征需要基于深度特征进行分析，以使结构特征具象化。故此，通过上述结构设计，能够使风格特征提取网络所提取到的风格特征更加精确，使结构特征提取网络所提取到的结构特征更加精确。
可选地，风格特征提取网络中级联的卷积层的通道数递增，结构特征提取网络中同一卷积层组中的卷积层的通道数相同，且级联的卷积层组对应的通道数递增，卷积层组中的卷积层的数量与卷积层组对应的通道数正相关。
具体地，风格特征提取网络中级联的卷积层的通道数递增，结构特征提取网络中级联的卷积层组对应的通道数递增，从而风格特征提取网络和结构特征提取网络均能够逐层输出更多的子特征，而同一卷积层组中的卷积层的通道数相同，从而使每个卷积层组内的输出保持一致，并且，卷积层组中的卷积层的数量与卷积层组对应的通道数正相关，从而当卷积层组对应的通道数增多时，卷积层组内的卷积层的数量增多，从而提高卷积层组在输出当前通道数的子特征时更加精确。
需要说明的是，风格特征提取网络中第一个卷积层的卷积核尺寸大于其他卷积层的卷积核尺寸，且第一个卷积层的滑动步长小于其他卷积层的滑动步长，所有卷积层组中的卷积层的卷积核尺寸相同，且同一卷积层组中第一个卷积层的滑动步长小于最后一个卷积层的滑动步长。
具体地，风格特征提取网络中的第一卷积层的卷积核尺寸大于风格特征提取网络中其他卷积层的卷积核尺寸，从而在风格特征提取网络的第一个卷积层中较为粗略地提取目标的特征，而且第一个卷积层的滑动步长小于其他卷积层的滑动步长，从而将滑动步长与卷积核尺寸相匹配，当卷积核尺寸较大时，利用较小的滑动步长从目标上提取特征，当卷积核尺寸较小时，利用较大的滑动步长从目标上提取特征，提高特征提取的合理性，并且适配风格特征提取网络所需的提取浅层特征的需求。
进一步地，结构特征提取网络中所有卷积核具有相同的尺寸，以保持卷积核提取的特征的精度一致，且同一卷积层组中第一个卷积层的滑动步长小于最后一个卷积层的滑动步长，从而至少在同一卷积层组中的第一个卷积层中进行一次相对精确的特征提取过程，并在该卷积层组中的最后一个卷积层中进行一次相对粗略的特征提取过程，从而对之前的卷积层输出的特征进行补偿。
在一具体实施方式中，预设数值为四，风格特征提取网络包括依次级联的第一卷积层、第二卷积层、第三卷积层和第四卷积层，以及级联于第四卷积层之后的残差网络层，其中，第一卷积层、第二卷积层、第三卷积层和第四卷积层中的通道数指数级增长，第一卷积层的卷积核尺寸大于第二卷积层、第三卷积层和第四卷积层的卷积尺寸，第一卷积层的滑动步长小于第二卷积层、第三卷积层和第四卷积层的滑动步长，且第二卷积层、第三卷积层和第四卷积层的卷积核尺寸以及滑动步长相同，从而实现上述风格特征提取网络的组成形式，以便于提取更精确的风格特征。
进一步地，结构特征网络包括依次级联的第一卷积层组、第二卷积层组、第三卷积层组和第四卷积层组，其中，第一卷积层组、第二卷积层组、第三卷积层组和第四卷积层组的通道数指数级增长，且卷积核的尺寸相同。第一卷积层组和第二卷积层组中卷积层的数量相同，第三卷积层组中卷积层的数量大于第二卷积层组中卷积层的数量，第四卷积层组中卷积层的数量大于第三卷积层组中卷积层的数量，从而实现上述结构特征提取网络的组成形式，以便于提取更精确的结构特征。
可以理解的是，风格特征网络和结构特征网络对应的预设数值可以是其他自定义的数值，且风格特征网络中残差网络层的数量，以及结构特征网络中的卷积层组中卷积层的数量均可以基于上述关系设置为其他组成形式，本申请对此不做具体限制。
在一具体实施场景中，请参阅图3和图4，图3是本申请风格特征提取网络对应的一实施方式的结构示意图，图4是本申请结构特征提取网络对应的一实施方式的结构示意图，以预设数值为四为例，如图3所示，风格特征提取网络中第一卷积层的卷积核尺寸为7*7、通道数为64、滑动步长为1，第二卷积层的卷积核尺寸为3*3、通道数为128、滑动步长为2，第三卷积层的卷积核尺寸为3*3、通道数为256、滑动步长为2，第四卷积层的卷积核尺寸为3*3、通道数为128、滑动步长为2，与第四卷积层级联的包括多个残差网络层。如图4所示，结构特征网络中所有卷积层的卷积核尺寸均为3*3，同一虚线框内对应一个卷积层组，第一卷积层组的通道数为64、第二卷积层组的通道数为128、第三卷积层组的通道数为256、第四卷积层组的通道数为512，第一卷积层组和第二卷积层组中卷积层的数量相同均为2，第三卷积层组中卷积层的数量为3，第四卷积层组中卷积层的数量为6，共13层卷积层，其中，第三卷积层组中前两个卷积层相同，且滑动步长为1，最后一个卷积层滑动步长为2，第四卷积层组中包括两个相同的子结构，每个子结构包括三个卷积层，其中，子结构中前两个卷积层相同，且滑动步长为1，最后一个卷积层滑动步长为2，从而当通道数逐渐增多时，通过卷积层组成方式的增加，提高特征提取的精度。
需要说明的是，第一训练样本对匹配有结构标签，第二训练样本对匹配有风格标签，特征提取模型的训练过程包括：将结构特征提取网络及其对应的结构分类网络级联，得到结构分类模型，将风格特征提取网络及其对应的风格分类网络级联，得到风格分类模型；利用第一训练样本对及其匹配的结构标签训练结构分类模型，利用第二训练样本对及其匹配的风格标签训练风格分类模型，直至满足第一收敛条件，得到预训练后的结构特征提取网络，以及预训练后的风格特征提取网络；利用第一训练样本对训练预训练后的结构特征提取网络，利用第二训练样本对训练预训练后的风格特征提取网络，直至满足第二收敛条件，得到训练后的特征提取模型。
具体地，首先对结构特征提取网络和风格特征提取网络进行预训练，将结构特征提取网络与结构分类网络级联，得到结构分类模型，将第一训练样本对输入至结构分类模型，以使结构分类网络输出第一训练样本对中的样本对应的预测结构类别，将预测结构类别与第一训练样本对的结构标签比对，确定第一预训练损失，从而基于第一预训练损失对结构特征提取网络进行调整。
同理，将风格特征提取网络与风格分类网络级联，得到风格分类模型，将第二训练样本对输入至风格分类模型，以使风格分类网络输出第二训练样本对中的样本对应的预测风格类别，将预测风格类别与第二训练样本对的风格标签比对，确定第二预训练损失，从而基于第二预训练损失对风格特征提取网络进行调整，直至满足第一收敛条件后，得到预训练后的结构特征提取网络和风格特征提取网络，以使预训练后的结构特征提取网络具备特征提取能力，且提取到的特征与目标的组成结构相匹配，以及预训练后的风格特征提取网络具备特征提取能力，且提取到的特征与目标的外在形式相匹配，提高训练效率和训练精度。
可选地，第一收敛条件包括第一预训练损失和第二预训练损失均小于第一损失阈值，或者循环次数大于第一次数阈值且第一预训练损失和第二预训练损失分别小于各自对应的损失阈值。
在一具体应用场景中，结构分类网络和风格分类网络对应有相同的结构，包括一个最大池化层、三个全连接层和一个输出层，从而对提取到的特征进行整合，并基于输出整合后的特征对应的概率最高的类别。在其他具体应用场景中，结构分类网络和风格分类网络也可以对应其他组成结构，且结构分类网络和风格分类网络也可以对应不同的结构，本申请对此不做具体限制。
进一步地，在获得预训练后的结构特征提取网络和风格特征提取网络后，将第一训练样本对输入至预训练后的结构特征提取网络，得到第一训练样本对中两个样本各自对应的预测结构特征，从而比对两个样本各自对应的预测结构特征，确定第一预测损失，从而基于第一预测损失对结构特征提取网络进行调整。
可选地，基于欧式距离确定两个样本各自对应的预测结构特征，得到第一预测损失，确定上述比对过程利用公式表示如下：
其中，C表示特征对应的通道数，M1(c)和M2(c)分别表示第一样本对中两个样本各自对应的预测结构特征中的元素。
可以理解的是，对预训练后的风格特征提取网络进行训练的过程与结构特征提取网络相似，将第二训练样本对输入至预训练后的风格特征提取网络，得到第二训练样本对中两个样本各自对应的预测风格特征，从而比对两个样本各自对应的预测风格特征，确定第二预测损失，从而基于第二预测损失对风格特征提取网络进行调整。
可选地，第二收敛条件包括第一预测损失和第二预测损失均小于第二损失阈值，或者循环次数大于第二次数阈值且第一预测损失和第二预测损失分别小于各自对应的损失阈值。
进一步地，训练完成后的结构特征提取网络具备对目标的结构特征进行精确提取的能力，且在目标变换各类组成结构时仍能提取到准确的结构特征，训练完成后的风格特征提取网络具备对目标的风格特征进行精确提取的能力，且当目标新增其他外在形式时仍能提取到准确的风格特征。
S202：对临摹图像对应的多个维度的特征进行融合，得到第一融合特征，对模板图像对应的多个维度的特征进行融合，得到第二融合特征。
具体地，将临摹图像对应的多个维度的特征融合得到第一融合特征，从而提高第一融合特征表征的精度，将模板图像对应的多个维度的特征融合得到第二融合特征，从而提高第二融合特征表征的精度。
可以理解的是，当临摹图像对应的多个维度的特征为第一结构特征和第一风格特征时，对第一结构特征和第一风格特征进行融合得到第一融合特征，当模板图像对应的多个维度的特征为第二结构特征和第二风格特征时，对第二结构特征和第二风格特征进行融合得到第二融合特征。
在一应用场景中，将临摹图像对应的第一结构特征和第一风格特征输入至特征融合模块，得到第一融合特征，将模板图像对应的第二结构特征和第二风格特征输入至特征融合模型，得到第二融合特征；其中，特征融合模型包括双线性注意力网络，第一融合特征和第二融合特征对应的通道数相同。其中，特征融合模型通过双线性注意力网络对多个维度的特征进行融合，从而提高特征融合的精度。
S203：基于第一融合特征和第二融合特征，得到临摹图像中的目标对应的评分。
具体地，将第一融合特征和第二融合特征进行比对，从而确定第一融合特征和第二融合特征之间的相似度，利用相似度确定临摹图像中的目标对应的评分。
在一应用场景中，将第一融合特征和第二融合特征进行比对，得到第一融合特征和第二融合特征之间的欧式距离，上述过程利用公式标识如下：
其中，C表示特征对应的通道数，f1(c)表示第一融合特征中的元素，f2(c)表示第二融合特征中的元素。
进一步地，基于欧式距离，确定第一融合特征和第二融合特征的相似度，上述过程利用公式表示如下：
其中，e为自然常数，a、b为权重值，可根据实际情况进行调节，默认情况a等于1，b等于0。经过上述计算得到区间为0到1的相似度数值。
可选地，临摹图像和模板图像中的目标为字符，字符的组成结构对应字符的文字笔画，字符的外在形式对应字符的字体风格，从而适配于书法临摹的场景，以提高书法临摹评分的效率和准确率。
在实施例中，利用特征提取模型对临摹图像和模板图像的多个维度的特征进行提取，其中，特征提取模型包括结构特征提取网络和风格特征提取网络，避免了使用单一的网络对特征进行提取，得到多种特征，提高特征的全面性，且结构特征提取网络和风格特征提取网络对应有各自的组成形式从而适配各自所需提取的特征，使风格特征提取网络所提取到的风格特征更加精确，使结构特征提取网络所提取到的结构特征更加精确，进而将临摹图像对应的多个维度的特征融合得到第一融合特征，从而提高第一融合特征表征的精度，将模板图像对应的多个维度的特征融合得到第二融合特征，从而提高第二融合特征表征的精度，通过比对第一融合特征和第二融合特征，确定临摹图像中的目标对应的评分，提高临摹评分的准确率。
请参阅图5，图5是本申请电子设备一实施方式的结构示意图，该电子设备50包括相互耦接的存储器501和处理器502，其中，存储器501存储有程序数据(图未示)，处理器502调用程序数据以实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
请参阅图6，图6是本申请计算机可读存储介质一实施方式的结构示意图，该计算机可读存储介质60存储有程序数据600，该程序数据600被处理器执行时实现上述任一实施例中的方法，相关内容的说明请参见上述方法实施例的详细描述，在此不再赘叙。
需要说明的是，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种目标评价方法，其特征在于，所述方法包括：
获得临摹图像和模板图像，分别提取所述临摹图像和所述模板图像在多个维度的特征；其中，多个维度的特征至少包括结构特征和风格特征，所述结构特征表征图像中的目标对应的组成结构，所述风格特征表征图像中的目标对应的外在形式；
基于所述临摹图像对应的多个维度的特征，以及所述模板图像对应的多个维度的特征，确定所述临摹图像中的目标对应的评分。
2.根据权利要求1所述的目标评价方法，其特征在于，所述分别提取所述临摹图像和所述模板图像在多个维度的特征，包括：
将所述临摹图像和所述模板图像分别输入至特征提取模型，得到所述临摹图像对应的第一结构特征和第一风格特征，以及所述模板图像对应的第二结构特征和第二风格特征；
其中，所述特征提取模型包括用于提取结构特征的结构特征提取网络，以及用于提取风格特征的风格特征提取网络，且所述结构特征提取网络利用多个第一训练样本对训练得到，所述风格特征提取网络利用多个第二训练样本对训练得到，所述第一训练样本对包括两个相同组成结构的样本，所述第二训练样本对包括两个相同外在形式的样本。
3.根据权利要求2所述的目标评价方法，其特征在于，所述风格特征提取网络包括依次级联的预设数值个卷积层和至少一个残差网络层，所述结构特征提取网络包括所述预设数值个卷积层组，且每个所述卷积层组包括至少两个卷积层。
4.根据权利要求3所述的目标评价方法，其特征在于，所述风格特征提取网络中级联的卷积层的通道数递增，所述结构特征提取网络中同一所述卷积层组中的卷积层的通道数相同，且级联的卷积层组对应的通道数递增，所述卷积层组中的卷积层的数量与所述卷积层组对应的通道数正相关。
5.根据权利要求3或4所述的目标评价方法，其特征在于，所述风格特征提取网络中第一个卷积层的卷积核尺寸大于其他卷积层的卷积核尺寸，且第一个卷积层的滑动步长小于其他卷积层的滑动步长，所有所述卷积层组中的卷积层的卷积核尺寸相同，且同一所述卷积层组中第一个卷积层的滑动步长小于最后一个卷积层的滑动步长。
6.根据权利要求2所述的目标评价方法，其特征在于，所述第一训练样本对匹配有结构标签，所述第二训练样本对匹配有风格标签，所述特征提取模型的训练过程包括：
将所述结构特征提取网络及其对应的结构分类网络级联，得到结构分类模型，将所述风格特征提取网络及其对应的风格分类网络级联，得到风格分类模型；
利用所述第一训练样本对及其匹配的所述结构标签训练所述结构分类模型，利用所述第二训练样本对及其匹配的所述风格标签训练所述风格分类模型，直至满足第一收敛条件，得到预训练后的所述结构特征提取网络，以及预训练后的所述风格特征提取网络；
利用所述第一训练样本对训练预训练后的所述结构特征提取网络，利用所述第二训练样本对训练预训练后的风格特征提取网络，直至满足第二收敛条件，得到训练后的所述特征提取模型。
7.根据权利要求1所述的目标评价方法，其特征在于，所述基于所述临摹图像对应的多个维度的特征，以及所述模板图像对应的多个维度的特征，确定所述临摹图像中的目标对应的评分，包括：
对所述临摹图像对应的多个维度的特征进行融合，得到第一融合特征，对所述模板图像对应的多个维度的特征进行融合，得到第二融合特征；
基于所述第一融合特征和所述第二融合特征，得到所述临摹图像中的目标对应的评分。
8.根据权利要求1-7任一项所述的目标评价方法，其特征在于，所述临摹图像和模板图像中的目标为字符，所述字符的组成结构对应所述字符的文字笔画，所述字符的外在形式对应所述字符的字体风格。
9.一种电子设备，其特征在于，包括：相互耦接的存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如权利要求1-8中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有程序数据，其特征在于，所述程序数据被处理器执行时实现如权利要求1-8中任一项所述的方法。
CN202310664064.0A 2023-06-06 2023-06-06 目标评价方法、电子设备和计算机可读存储介质 Pending CN116935057A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310664064.0A CN116935057A (zh) 2023-06-06 2023-06-06 目标评价方法、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310664064.0A CN116935057A (zh) 2023-06-06 2023-06-06 目标评价方法、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116935057A true CN116935057A (zh) 2023-10-24

Family

ID=88374536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310664064.0A Pending CN116935057A (zh) 2023-06-06 2023-06-06 目标评价方法、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116935057A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456208A (zh) * 2023-11-07 2024-01-26 广东新裕信息科技有限公司 一种基于显著性检测的双流法素描质量评价方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456208A (zh) * 2023-11-07 2024-01-26 广东新裕信息科技有限公司 一种基于显著性检测的双流法素描质量评价方法
CN117456208B (zh) * 2023-11-07 2024-06-25 广东新裕信息科技有限公司 一种基于显著性检测的双流法素描质量评价方法

Similar Documents

Publication Publication Date Title
CN110162593B (zh) 一种搜索结果处理、相似度模型训练方法及装置
CN106649542B (zh) 用于视觉问答的***和方法
CN110188223B (zh) 图像处理方法、装置及计算机设备
CN110287328B (zh) 一种文本分类方法、装置、设备及计算机可读存储介质
EP3779774A1 (en) Training method for image semantic segmentation model and server
US8131786B1 (en) Training scoring models optimized for highly-ranked results
CN110851645B (zh) 一种基于深度度量学习下相似性保持的图像检索方法
JP4618098B2 (ja) 画像処理システム
US20230385409A1 (en) Unstructured text classification
WO2020253063A1 (zh) 一种相似图片的检索方法及装置
CN109213853B (zh) 一种基于cca算法的中文社区问答跨模态检索方法
CN111950728B (zh) 图像特征提取模型的构建方法、图像检索方法及存储介质
CN109829478B (zh) 一种基于变分自编码器的问题分类方法和装置
CN108734159B (zh) 一种图像中敏感信息的检测方法及***
CN109710804B (zh) 一种教学视频图像知识点降维分析方法
CN111160229A (zh) 基于ssd网络的视频目标检测方法及装置
CN111694977A (zh) 一种基于数据增强的车辆图像检索方法
CN116935057A (zh) 目标评价方法、电子设备和计算机可读存储介质
CN115270752A (zh) 一种基于多层次对比学习的模板句评估方法
CN109597906B (zh) 图像检索方法及装置
CN113380360B (zh) 一种基于多模态病历图的相似病历检索方法及***
CN112417845A (zh) 一种文本评价方法、装置、电子设备及存储介质
CN114547273B (zh) 问题回答方法及相关装置、电子设备、存储介质
CN116129189A (zh) 一种植物病害识别方法、设备、存储介质及装置
CN113177603B (zh) 分类模型的训练方法、视频分类方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination