CN114154003A - 图片的获取方法、装置及电子设备 - Google Patents

Abstract

本公开提出一种图片的获取方法、装置、电子设备及存储介质，涉及计算机技术领域。其中，方法包括：获取待上传的音频数据对应的第一音频特征；根据所述第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频；根据预设的参考音频与图片的对应关系，确定所述目标参考音频对应的第一参考图片；在图片推荐界面，展示所述第一参考图片。由此，可以根据音频数据与参考音频间的匹配度，先确定出匹配的目标参考音频，之后再根据参考音频与图片的对应关系，即可确定出对应的第一参考图片，不仅考虑到了音频间的匹配度，而且也结合了音频与图片间的对应关系，从而提高了参考图片获取的准确性。

Description

图片的获取方法、装置及电子设备

技术领域

本公开涉及计算机技术领域，具体涉及一种图片的获取方法、装置及电子设备。

背景技术

随着信息时代的发展，越来越多的用户***台上分享自己的K歌作品。通常，用户在上传自己录制的K歌作品时，会为该作品设置封面图片。

相关技术中，音乐平台会提前设置多张候选图片，用户可以从多张候选图片中选取某一候选图片作为封面图片，但候选图片类型较为单一，可能会不符合用户需求，从而用户可能需要自己拍摄图片，并进行制作，从而需要花费大量时间。由此，如何提高图片获取的准确性，成为当前亟待解决的问题

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

本公开第一方面实施例提出了一种图片的获取方法，包括：

获取待上传的音频数据对应的第一音频特征；

根据所述第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频；

根据预设的参考音频与图片的对应关系，确定所述目标参考音频对应的第一参考图片；

在图片推荐界面，展示所述第一参考图片。

根据本公开的一个实施例，在所述第一参考图片的数量小于阈值的情况下，确定每个所述第一参考图片对应的第一图片特征；

根据每个所述第一图片特征与图片库中每个候选图片对应的第二图片特征间的第二匹配度，从所述图片库中，获取第二参考图片；

在图片推荐界面，展示所述第一参考图片及所述第二参考图片。

根据本公开的一个实施例，所述在图片推荐界面，展示所述第一参考图片及所述第二参考图片，包括：

根据每个所述目标参考音频对应的第一匹配度，确定与每个所述目标参考音频对应的每个所述第一参考图片的第三匹配度；

将每个所述第二参考图片的第二匹配度及其对应的第一参考图片的第三匹配度进行融合，以确定每个所述第二参考图片对应的融合后的匹配度；

根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，在图片推荐界面，展示所述第一参考图片及所述第二参考图片。

根据本公开的一个实施例，所述根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，在图片推荐界面，展示所述第一参考图片及所述第二参考图片，包括：

确定所述待上传的音频数据所属的终端设备的类型；

根据所述终端设备的类型，确定待展示的图片数量N；

根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，将每个所述第一参考图片及每个所述第二参考图片按照匹配度由高至低的顺序进行排序；

将排序后的前N张参考图片，展示在图片推荐界面。

根据本公开的一个实施例，任一目标参考音频对应的参考图片数量为多张，所述方法还包括：

在所述第一参考图片的数量小于阈值的情况下，将所述任一目标参考音频对应的多张第一参考图片分别对应的多个第一图片特征进行融合，以确定所述任一目标参考音频对应的总图片特征；

根据所述任一目标参考音频对应的总图片特征与图片库中每个候选图片对应的第二图片特征间的第四匹配度，从所述图片库中，获取第三参考图片；

在图片推荐界面，展示所述第一参考图片及所述第三参考图片。

本公开第二方面实施例提出了一种图片的获取装置，包括：

获取模块，用于获取待上传的音频数据对应的第一音频特征；

第一确定模块，用于根据所述第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频；

第二确定模块，用于根据预设的参考音频与图片的对应关系，确定所述目标参考音频对应的第一参考图片；

展示模块，用于在图片推荐界面，展示所述第一参考图片。

根据本公开的一个实施例，所述第一确定模块，还用于在所述第一参考图片的数量小于阈值的情况下，确定每个所述第一参考图片对应的第一图片特征；

所述获取模块，还用于根据每个所述第一图片特征与图片库中每个候选图片对应的第二图片特征间的第二匹配度，从所述图片库中，获取第二参考图片；

所述展示模块，还用于在图片推荐界面，展示所述第一参考图片及所述第二参考图片。

根据本公开的一个实施例，所述展示模块，包括：

第一确定单元，用于根据每个所述目标参考音频对应的第一匹配度，确定与每个所述目标参考音频对应的每个所述第一参考图片的第三匹配度；

第二确定单元，用于将每个所述第二参考图片的第二匹配度及其对应的第一参考图片的第三匹配度进行融合，以确定每个所述第二参考图片对应的融合后的匹配度；

展示单元，用于根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，在图片推荐界面，展示所述第一参考图片及所述第二参考图片。

根据本公开的一个实施例，所述展示单元，具体用于：

确定所述待上传的音频数据所属的终端设备的类型；

根据所述终端设备的类型，确定待展示的图片数量N；

根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，将每个所述第一参考图片及每个所述第二参考图片按照匹配度由高至低的顺序进行排序；

将排序后的前N张参考图片，展示在图片推荐界面。

根据本公开的一个实施例，任一目标参考音频对应的参考图片数量为多张，

所述第一确定模块，还用于在所述第一参考图片的数量小于阈值的情况下，将所述任一目标参考音频对应的多张第一参考图片分别对应的多个第一图片特征进行融合，以确定所述任一目标参考音频对应的总图片特征；

所述获取模块，还用于根据所述任一目标参考音频对应的总图片特征与图片库中每个候选图片对应的第二图片特征间的第四匹配度，从所述图片库中，获取第三参考图片；

所述展示模块，还用于在图片推荐界面，展示所述第一参考图片及所述第三参考图片。

本公开第三方面实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的图片的获取方法。

本公开第四方面实施例提出了一种非临时性计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如本公开第一方面实施例提出的图片的获取方法。

本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本公开第一方面实施例提出的图片的获取方法。

本公开提供的图片的获取方法、装置及电子设备，可以先获取待上传的音频数据对应的第一音频特征，之后可以根据第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频，再根据预设的参考音频与图片的对应关系，确定目标参考音频对应的第一参考图片，之后即可在图片推荐界面，展示第一参考图片。由此，可以根据音频数据与参考音频间的匹配度，先确定出匹配的目标参考音频，之后再根据参考音频与图片的对应关系，即可确定出对应的第一参考图片，不仅考虑到了音频间的匹配度，而且也结合了音频与图片间的对应关系，从而提高了参考图片获取的准确性，也节省了制作参考图片的时间，提高了效率。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

图1为本公开一实施例所提供的图片的获取方法的流程示意图；

图2为本公开另一实施例所提供的图片的获取方法的流程示意图；

图3为本公开又一实施例所提供的图片的获取方法的流程示意图；

图4为本公开再一实施例所提供的图片的获取方法的流程示意图；

图5为本公开一实施例所提供的图片的获取装置的结构示意图；

图6示出了适于用来实现本公开实施方式的示例性电子设备的框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

下面参考附图描述本公开实施例的图片的获取方法、装置及电子设备。本公开实施例的图片的获取方法，可由本公开实施例提供的图片的获取装置执行，该装置可配置于电子设备中。

为方便说明，本公开实施例中，图片的获取装置可以简记为“获取装置”。

图1为本公开实施例所提供的图片的获取方法的流程示意图。如图1所示，该图片的获取方法可以包括以下步骤：

步骤101，获取待上传的音频数据对应的第一音频特征。

其中，可以获取待上传的音频数据对应的第一音频特征，或者也可以先获取待上传的音频数据，之后通过对该音频数据进行处理，以确定该音频数据对应的第一音频特征等等，本公开对此不做限定。

可选的，可以在接收到终端设备发送的音频数据上传请求之后，获取该上传请求中包含的待上传的音频数据对应的第一音频特征；或者也可以在确定有处于待上传状态的音频数据的情况下，获取待上传的音频数据对应的第一音频特征等等，本公开对此不做限定。

可以理解的是，第一音频特征可以表征该音频数据的特点，其可以为向量形式，比如可以为反映该音频数据部分特点的数值向量、或者也可以为反映该音频数据全部特点的数值向量等等；或者也可以为其他形式，如矩阵形式等等，本公开对此不做限定。

另外，确定第一音频特征的方式可以有多种。比如可以通过卷积网络对音频数据进行处理，即可确定该音频数据对应的第一音频特征；或者也可以利用预先训练好的音频特征提取模型，通过将音频数据输入其中，经过该音频特征提取模型的处理，即可确定对应的第一音频特征等等，本公开对此不做限定。

步骤102，根据第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频。

可选的，参考音频可以为音频库中的音频，从而音频库中可以存储有大量参考音频及每个参考音频对应的第二音频特征。或者，也可以为参考音频特征库中第二音频特征对应的参考音频等等，本公开对此不做限定。

可以理解的是，第一匹配度越高，该第一匹配度对应的第二音频特征与该第一音频特征间的相似度越高，也即该参考音频与待上传的音频数据间的相似度越高；相应的，第一匹配度越低，该第一匹配度所对应的第二音频特征与该第一音频特征间的相似度越低。

另外，确定第一匹配度的方式有多种，比如可以使用余弦相似度、欧氏距离公式、曼哈顿距离公式等等，本公开对此不做限定。

可以理解的是，在确定出第一音频特征与参考音频对应的第二音频特征间的第一匹配度后，可以根据每个参考音频对应的第一匹配度，从多个参考音频中抽取目标参考音频。其中，目标参考音频可以是一个，也可以是多个，本公开对此不做限定。

比如，可以从多个参考音频中抽取第一匹配度最高的参考音频作为目标参考音频。或者，也可以将第一匹配度大于阈值的参考音频作为目标参考音频。又或者，按照第一匹配度的大小对多个参考音频进行排序，可将前预设数量的参考音频作为目标参考音频等等，本公开对此不做限定。

步骤103，根据预设的参考音频与图片的对应关系，确定目标参考音频对应的第一参考图片。

其中，可以提前确定出参考音频及其匹配的图片，之后将参考音频与图片按照对应关系进行存储，比如可以存储在音频库中、或参考音频特征库中等等，本公开对此不做限定。从而在确定出目标参考音频之后，通过遍历预设的参考音频与图片的对应关系，即可确定与该目标参考音频对应的第一参考图片。

可以理解的是，任一参考音频对应的图片可能为一张，或者也可能为多张，本公开对此不做限定。

举例来说，若确定出参考音频1为目标参考音频，该参考音频1对应的图片有十张，则可以将这十张图片作为该目标参考音频对应的第一参考图片，或者也可以将其中的部分图片，比如一张、两张、八张图片等等，确定为该目标参考音频对应的第一参考图片等等。本公开对此不做限定。

可选的，可以通过用户点赞和评论量等策略筛选出参考音频及其匹配的图片，或者也可以通过在已有的视频作品中查找被分类为壁纸且包含背景音乐的作品，从而确定给出参考音频及其对应的图片，或者也可以采用任何可取的方式确定参考音频及其对应的图片，本公开对此不做限定。

步骤104，在图片推荐界面，展示第一参考图片。

其中，展示第一参考图片时，可以有多种情况。

比如，第一参考图片为一张时，可以将该第一参考图片居中展示在图片推荐界面。或者，第一参考图片为多张时，可以将多张第一参考图片按照横向排列，或者纵向排列，或者其他方式等进行展示，本公开对此不做限定。

本公开实施例，可以先获取待上传的音频数据对应的第一音频特征，之后可以根据第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频，再根据预设的参考音频与图片的对应关系，确定目标参考音频对应的第一参考图片，之后即可在图片推荐界面，展示第一参考图片。由此，可以根据音频数据与参考音频间的匹配度，先确定出匹配的目标参考音频，之后再根据参考音频与图片的对应关系，即可确定出对应的第一参考图片，不仅考虑到了音频间的匹配度，而且也结合了音频与图片间的对应关系，从而提高了参考图片获取的准确性，也节省了制作参考图片的时间，提高了效率。

上述实施例，可以先根据音频数据与参考音频间的第一匹配度，确定出匹配的目标参考音频，之后再根据参考音频与图片的对应关系，确定出对应的第一参考图片，并将第一参考图片进行展示。可以理解的是，在实际实现过程中，第一参考图片的数量可能较少，则可以再根据第一参考图片从图片库中获取第二参考图片，以使得参考图片数量足够多，下面结合图2对上述过程进行详细说明。

图2为本公开实施例所提供的图片的获取方法的流程示意图。如图2所示，该图片的获取方法可以包括以下步骤：

步骤201，获取待上传的音频数据对应的第一音频特征。

步骤202，根据第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频。

步骤203，根据预设的参考音频与图片的对应关系，确定目标参考音频对应的第一参考图片。

需要说明的是，步骤201至步骤203的具体内容及实现方式，可以参照本公开其他各实施例的说明，此处不再赘述。

步骤204，在第一参考图片的数量小于阈值的情况下，确定每个第一参考图片对应的第一图片特征。

其中，阈值可以为提前设定好的数值，比如可以为5、8、12等等，本公开对此不做限定。

可以理解的是，确定第一图片特征的方式有多种。比如可以通过分类模型中的全连接层(full connect，FC)以及主成分分析(principal component analysis，PCA)的输出，确定出第一图片特征。或者也可以利用预先训练好的图片特征提取模型，通过将第一参考图片输入其中，经过该图片特征提取模型的处理，即可确定对应的第一图片特征；或者也可以采用其他任意可取的方式确定第一图片特征，本公开对此不做限定。

步骤205，根据每个第一图片特征与图片库中每个候选图片对应的第二图片特征间的第二匹配度，从图片库中，获取第二参考图片。

其中，图片库中存储有大量候选图片，其可以包含任意风格、任意类型、任意格式的图片，本公开对此不做限定。

可以理解的是，第二匹配度越高，第二图片特征与第一图片特征间的相似度越高，也即该候选图片与第一参考图片间的相似度越高；相应的，第二匹配度越低，第二图片特征与该第一图片特征间的相似度越低，也即该候选图片与第一参考图片间的相似度越低。

另外，确定第二匹配度的方式有多种，比如可以使用余弦相似度、欧氏距离公式、曼哈顿距离公式等等，本公开对此不做限定。

可以理解的是，在确定出第一图片特征与图片库中每个候选图片对应的第二图片特征间的第二匹配度后，可以根据每个候选图片对应的第二匹配度，从多个候选图片中抽取第二参考图片。其中，第二参考图片可以是一张，也可以是多张，本公开对此不做限定。

比如，可以从多个候选图片中抽取第二匹配度最高的候选图片作为第二参考图片。或者，也可以将第二匹配度大于阈值的候选图片作为第二参考图片。又或者，按照第二匹配度的大小对多个候选图片进行排序，可将前预设数量的候选图片作为第二参考图片等等，本公开对此不做限定。

步骤206，在图片推荐界面，展示第一参考图片及第二参考图片。

其中，可以将确定出的第一参考图片以及第二参考图片共同展示在图片推荐界面。

比如，可以按照第一参考图片在前第二参考图片在后的顺序进行展示；或者也可以按照第二参考图片在前第一参考图片在后的顺序进行展示；或者也可以将第一参考图片及第二参考图片按照随机顺序进行展示等等，本公开对此不做限定。

本公开实施例中，可以先根据音频数据与参考音频间的第一匹配度，确定出匹配的目标参考音频，之后再根据参考音频与图片的对应关系，确定出对应的第一参考图片，在第一参考图片的数量小于阈值的情况下，确定每个第一参考图片对应的第一图片特征，根据每个第一图片特征与图片库中每个候选图片对应的第二图片特征间的第二匹配度，从图片库中，获取第二参考图片，在图片推荐界面，展示第一参考图片及第二参考图片。由此，可以先根据音频数据与参考音频间的匹配度，确定出匹配的目标参考音频，之后再根据参考音频与图片的对应关系，确定出对应的第一参考图片，并根据图片间的匹配度获取更多的第二参考图片，既考虑到了音频特征，又结合了图片特征，从而既保证了参考图片的数量，又提高了获取的参考图片的准确性和可靠性。

在一种可能的实现方式中，在图片推荐界面展示参考图片时，可以根据各个参考图片对应的匹配度，确定待展示的参考图片，下面结合图3对上述过程进行进一步说明。

图3为本公开实施例所提供的图片的获取方法的流程示意图。如图3所示，该图片的获取方法可以包括以下步骤：

步骤301，获取待上传的音频数据对应的第一音频特征。

步骤302，根据第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频。

步骤303，根据预设的参考音频与图片的对应关系，确定目标参考音频对应的第一参考图片。

步骤304，在第一参考图片的数量小于阈值的情况下，确定每个第一参考图片对应的第一图片特征。

步骤305，根据每个第一图片特征与图片库中每个候选图片对应的第二图片特征间的第二匹配度，从图片库中，获取第二参考图片。

需要说明的是，步骤301至步骤305的具体内容及实现方式，可以参照本公开其他各实施例的说明，此处不再赘述。

步骤306，根据每个目标参考音频对应的第一匹配度，确定与每个目标参考音频对应的每个第一参考图片的第三匹配度。

其中，确定第一参考图片的第三匹配度的方式有多种，本公开对此不做限定。

比如，对于第一参考图片1来说，其对应的第三匹配度，可以为与其对应的目标参考音频1的第一匹配度。

或者，任一目标参考音频与其对应的每个第一参考图片间的匹配度可能不同，即存在多个子匹配度，可以将子匹配度与第一匹配度进行融合，以确定每个第一参考图片的第三匹配度。

比如，对于第一参考图片1来说，与其对应的目标参考音频1的第一匹配度为a，又确定出该第一参考图片1与目标参考音频1间的子匹配度为b，之后将该子匹配度b与第一匹配度a进行融合，即为该第一参考图片的第三匹配度。

其中，融合方式有多种，比如可以将子匹配度与对应的第一匹配度相乘，或者也可以将子匹配度与对应的第一匹配度相乘，或者还可以将二者进行加权融合等等，本公开对此不做限定。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中确定第一参考图片的第三匹配度的方式等的限定。

步骤307，将每个第二参考图片的第二匹配度及其对应的第一参考图片的第三匹配度进行融合，以确定每个第二参考图片对应的融合后的匹配度。

其中，根据第一参考图片，确定出的第二参考图片可能为一张，或者也可能为多张。

从而，对于任一第二参考图片来说，其对应的匹配度可以其与对应的第一参考图片间的第二匹配度、及该第一参考图片对应的第三匹配度。可以将该第二匹配度与对应的第三匹配度进行融合，从而确定出第二参考图片对应的融合后的匹配度。

比如，可以将第二匹配度与对应的第三匹配度相乘，或者也可以将二者进行加权融合等等，本公开对此不做限定。

步骤308，根据每个第一参考图片对应的第三匹配度及每个第二参考图片对应的融合后的匹配度，在图片推荐界面，展示第一参考图片及第二参考图片。

其中，在图片推荐界面，展示第一参考图片及第二参考图片时，可能有多种情况。

比如，可以将全部第一参考图片均进行展示，及选取部分第二参考图片进行展示。其中，在选取第二参考图片时，可以将融合后的匹配度中匹配度大于阈值p的第二参考图片进行展示；按照融合后的匹配度的大小对多个第二参考图片进行排序，将前预设数量q的第二参考图片进行展示等等，本公开对此不做限定。

或者，也可将每个第一参考图片对应的第三匹配度及每个第二参考图片对应的融合后的匹配度进行排序，将匹配度大于阈值m的参考图片进行展示；或者将前预设数量n的参考图片进行展示等等，本公开对此不做限定。

需要说明的是，p、q、m、n的取值可以相同，或者也可以不同，或者也可以部分相同等等，本公开对此不做限定。

比如，将第一参考图片与第二参考图片按照各自对应的匹配度进行排序，确定出匹配度大于设定值的参考图片分别为：第一参考图片2、第二参考图片5、第二参考图片1、第一参考图片3、第一参考图片4，则可以将第一参考图片2、第二参考图片5、第二参考图片1、第一参考图片3、第一参考图片4展示在图片推荐界面中，本公开对此不做限定。

可以理解的是，不同的终端设备，其对应的图片推荐界面也可能不同，从而图片推荐界面中可展示的参考图片的数量也不同，对应的展示方式可能也不同。

可选的，可以先确定待上传的音频数据所属的终端设备的类型，之后可以根据终端设备的类型，确定待展示的图片数量N，再根据每个第一参考图片对应的第三匹配度及每个第二参考图片对应的融合后的匹配度，将每个第一参考图片及每个第二参考图片按照匹配度由高至低的顺序进行排序，之后可以将排序后的前N张参考图片，展示在图片推荐界面。

可以理解的是，终端设备不同，其对应的待展示的图片数量N可能也不同。

比如，终端设备为移动手机，待展示的图片数量N取值可能较小，比如可以为10、8等等，终端设备为平板电脑，待展示的图片数量N取值可能较大，比如可以为20、30等等，本公开对此不做限定。

举例来说，待上传的音频数据所属的终端设备的类型为移动手机，其对应的待展示的图片数量N为4。若第一参考图片1对应的第三匹配度为0.83、第一参考图片2对应的第三匹配度为0.81、第一参考图片3对应的第三匹配度为0.82、第二参考图片1对应的融合后的匹配度为0.85、第二参考图片3对应的融合后的匹配度为0.82、第二参考图片4对应的融合后的匹配度为0.8。之后可以将上述第一参考图片及第二参考图片按照匹配度由高至低进行排序，排序结果为：第二参考图片1、第一参考图片1、第一参考图片3、第二参考图片3、第一参考图片2、第二参考图片4。从而可以将匹配度最大的前4张参考图片展示在图片推荐界面，也即将第二参考图片1、第一参考图片1、第一参考图片3、第一参考图片3展示在图片推荐界面。

需要说明的是，上述示例只是举例说明，不能作为对本公开实施例中待上传的音频数据所属的终端设备的类型、待展示的图片数量N等的限定。

从而，本公开实施例中，可以为不同类型的终端设备设置对应的待展示的图片数量，从而可以方便用户操作，节省了用户时间，提高了效率，给予用户更好的体验。

本公开实施例，在获取待展示的图片时，既充分考虑到了音频数据间的匹配度，又关注了参考音频与图片间的对应关系以及各参考图片的匹配度，从而不仅提高了获取的参考图片的准确性和可靠性，而且满足了不同的用户需求，节省了用户制作参考图片的时间，提高了效率，可以给予用户良好的体验。

图4为本公开实施例所提供的图片的获取方法的流程示意图。如图4所示，该图片的获取方法可以包括以下步骤：

步骤401，获取待上传的音频数据对应的第一音频特征。

步骤402，根据第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频。

步骤403，根据预设的参考音频与图片的对应关系，确定目标参考音频对应的第一参考图片。

需要说明的是，步骤401至步骤403的具体内容及实现方式，可以参照本公开其他各实施例的说明，此处不再赘述。

步骤404，在第一参考图片的数量小于阈值的情况下，将任一目标参考音频对应的多张第一参考图片分别对应的多个第一图片特征进行融合，以确定任一目标参考音频对应的总图片特征。

其中，阈值可以为提前设定好的数值，比如可以为3、5、8等等，本公开对此不做限定。

比如，任一目标参考音频对应5张参考图片，则可以确定出5张参考图片分别对应的第一图片特征1、第一图片特征2、第一图片特征3、第一图片特征4、第一图片特征5，之后可以将第一图片特征1、第一图片特征2、第一图片特征3、第一图片特征4、第一图片特征5进行融合，比如依次进行拼接、或者进行叠加等等，以确定出该任一目标参考音频对应的总图片特征。本公开对此不做限定。

步骤405，根据任一目标参考音频对应的总图片特征与图片库中每个候选图片对应的第二图片特征间的第四匹配度，从图片库中，获取第三参考图片。

可以理解的是，第四匹配度越高，第二图片特征与任一目标参考音频对应的总图片特征间的相似度越高；相应的，第四匹配度越低，第二图片特征与该任一目标参考音频对应的总图片特征间的相似度越低。

另外，确定第四匹配度的方式有多种，比如可以使用余弦相似度、欧氏距离公式、曼哈顿距离公式等等，本公开对此不做限定。

可以理解的是，在确定出任一目标参考音频对应的总图片特征与图片库中每个候选图片对应的第二图片特征间的第四匹配度后，可以根据每个候选图片对应的第二匹配度，从多个候选图片中抽取第三参考图片。其中，第三参考图片可以是一张，也可以是多张，本公开对此不做限定。

比如，可以从多个候选图片中抽取第四匹配度最高的候选图片作为第三参考图片。或者，也可以将第四匹配度大于阈值的候选图片作为第三参考图片。又或者，按照第四匹配度的大小对多个候选图片进行排序，可将前预设数量的候选图片作为第三参考图片等等，本公开对此不做限定。

步骤406，在图片推荐界面，展示第一参考图片及第三参考图片。

其中，可以将确定出的第一参考图片及第三参考图片均展示在图片推荐界面，或者也可以根据第一参考图片及第三参考图片各自对应的匹配度，选取满足条件的参考图片，展示在图片推荐界面，本公开对此不做限定。

本公开实施例，在获取待展示的参考图片的过程中，可以先根据音频特征间的匹配度确定出目标参考音频，之后再根据目标参考音频对应的总图片特征与图片库中候选图片对应的第二图片特征间的匹配度，确定出第三参考图片，由此通过采用音频特征和图片特征相结合的方式，不仅提高了参考图片获取的准确性和可靠性，而且节省了时间，提高了效率，有利于提高用户需求，改善用户体验。

为了实现上述实施例，本公开还提出一种图片的获取装置。

图5为本公开实施例所提供的图片的获取装置的结构示意图。

如图5所示，该图片的获取装置100可以包括：获取模块110、第一确定模块120、第二确定模块130及展示模块140。

获取模块110，用于获取待上传的音频数据对应的第一音频特征。

第一确定模块120，用于根据所述第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频。

第二确定模块130，用于根据预设的参考音频与图片的对应关系，确定所述目标参考音频对应的第一参考图片。

展示模块140，用于在图片推荐界面，展示所述第一参考图片。

在一个实施例中，所述第一确定模块120，还用于在所述第一参考图片的数量小于阈值的情况下，确定每个所述第一参考图片对应的第一图片特征。

所述获取模块110，还用于根据每个所述第一图片特征与图片库中每个候选图片对应的第二图片特征间的第二匹配度，从所述图片库中，获取第二参考图片。

所述展示模块140，还用于在图片推荐界面，展示所述第一参考图片及所述第二参考图片。

在一个实施例中，所述展示模块140，包括：

第一确定单元，用于根据每个所述目标参考音频对应的第一匹配度，确定与每个所述目标参考音频对应的每个所述第一参考图片的第三匹配度；

第二确定单元，用于将每个所述第二参考图片的第二匹配度及其对应的第一参考图片的第三匹配度进行融合，以确定每个所述第二参考图片对应的融合后的匹配度；

展示单元，用于根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，在图片推荐界面，展示所述第一参考图片及所述第二参考图片。

在一个实施例中，所述展示单元，具体用于：

确定所述待上传的音频数据所属的终端设备的类型；

根据所述终端设备的类型，确定待展示的图片数量N；

根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，将每个所述第一参考图片及每个所述第二参考图片按照匹配度由高至低的顺序进行排序；

将排序后的前N张参考图片，展示在图片推荐界面。

在一个实施例中，任一目标参考音频对应的参考图片数量为多张，

所述第一确定模块120，还用于在所述第一参考图片的数量小于阈值的情况下，将所述任一目标参考音频对应的多张第一参考图片分别对应的多个第一图片特征进行融合，以确定所述任一目标参考音频对应的总图片特征。

所述获取模块110，还用于根据所述任一目标参考音频对应的总图片特征与图片库中每个候选图片对应的第二图片特征间的第四匹配度，从所述图片库中，获取第三参考图片。

所述展示模块，还用于在图片推荐界面，展示所述第一参考图片及所述第三参考图片。

本公开实施例中的上述各模块的功能及具体实现原理，可参照上述各方法实施例，此处不再赘述。

本公开实施例所提供的图片的获取装置，可以先获取待上传的音频数据对应的第一音频特征，之后可以根据第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频，再根据预设的参考音频与图片的对应关系，确定目标参考音频对应的第一参考图片，之后即可在图片推荐界面，展示第一参考图片。由此，根据音频数据与参考音频间的匹配度，可以先确定出匹配的目标参考音频，之后再根据参考音频与图片的对应关系，即可确定出对应的第一参考图片，不仅考虑到了音频间的匹配度，而且也结合了音频与图片间的对应关系，从而提高了参考图片获取的准确性，也节省了制作参考图片的时间，提高了效率。

为了实现上述实施例，本公开还提出一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的图片的获取方法。

为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现如本公开前述实施例提出的图片的获取方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的图片的获取方法。

图6示出了适于用来实现本公开实施方式的示例性电子设备的框图。图6显示的电子设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及***组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

电子设备12典型地包括多种计算机***可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。

处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

根据本公开实施例的技术方案，可以先获取待上传的音频数据对应的第一音频特征，之后可以根据第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频，再根据预设的参考音频与图片的对应关系，确定目标参考音频对应的第一参考图片，之后即可在图片推荐界面，展示第一参考图片。由此，可以根据音频数据与参考音频间的匹配度，先确定出匹配的目标参考音频，之后再根据参考音频与图片的对应关系，即可确定出对应的第一参考图片，不仅考虑到了音频间的匹配度，而且也结合了音频与图片间的对应关系，从而提高了参考图片获取的准确性，也节省了制作参考图片的时间，提高了效率，且有利于满足用户的需求，改善了用户的体验。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图片的获取方法，其特征在于，包括：

获取待上传的音频数据对应的第一音频特征；

根据所述第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频；

根据预设的参考音频与图片的对应关系，确定所述目标参考音频对应的第一参考图片；

在图片推荐界面，展示所述第一参考图片。

2.如权利要求1所述的方法，其特征在于，还包括：

在所述第一参考图片的数量小于阈值的情况下，确定每个所述第一参考图片对应的第一图片特征；

根据每个所述第一图片特征与图片库中每个候选图片对应的第二图片特征间的第二匹配度，从所述图片库中，获取第二参考图片；

在图片推荐界面，展示所述第一参考图片及所述第二参考图片。

3.如权利要求2所述的方法，其特征在于，所述在图片推荐界面，展示所述第一参考图片及所述第二参考图片，包括：

根据每个所述目标参考音频对应的第一匹配度，确定与每个所述目标参考音频对应的每个所述第一参考图片的第三匹配度；

将每个所述第二参考图片的第二匹配度及其对应的第一参考图片的第三匹配度进行融合，以确定每个所述第二参考图片对应的融合后的匹配度；

根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，在图片推荐界面，展示所述第一参考图片及所述第二参考图片。

4.如权利要求3所述的方法，其特征在于，所述根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，在图片推荐界面，展示所述第一参考图片及所述第二参考图片，包括：

确定所述待上传的音频数据所属的终端设备的类型；

根据所述终端设备的类型，确定待展示的图片数量N；

根据每个所述第一参考图片对应的第三匹配度及每个所述第二参考图片对应的融合后的匹配度，将每个所述第一参考图片及每个所述第二参考图片按照匹配度由高至低的顺序进行排序；

将排序后的前N张参考图片，展示在图片推荐界面。

5.如权利要求1所述的方法，其特征在于，任一目标参考音频对应的参考图片数量为多张，所述方法还包括：

在所述第一参考图片的数量小于阈值的情况下，将所述任一目标参考音频对应的多张第一参考图片分别对应的多个第一图片特征进行融合，以确定所述任一目标参考音频对应的总图片特征；

根据所述任一目标参考音频对应的总图片特征与图片库中每个候选图片对应的第二图片特征间的第四匹配度，从所述图片库中，获取第三参考图片；

在图片推荐界面，展示所述第一参考图片及所述第三参考图片。

6.一种图片的获取装置，其特征在于，包括：

获取模块，用于获取待上传的音频数据对应的第一音频特征；

第一确定模块，用于根据所述第一音频特征与参考音频对应的第二音频特征间的第一匹配度，确定目标参考音频；

第二确定模块，用于根据预设的参考音频与图片的对应关系，确定所述目标参考音频对应的第一参考图片；

展示模块，用于在图片推荐界面，展示所述第一参考图片。

7.如权利要求6所述的装置，其特征在于，

所述第一确定模块，还用于在所述第一参考图片的数量小于阈值的情况下，确定每个所述第一参考图片对应的第一图片特征；

所述获取模块，还用于根据每个所述第一图片特征与图片库中每个候选图片对应的第二图片特征间的第二匹配度，从所述图片库中，获取第二参考图片；

所述展示模块，还用于在图片推荐界面，展示所述第一参考图片及所述第二参考图片。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器的可执行指令的存储器；

其中，所述处理器被配置为调用并执行所述存储器存储的可执行指令，以实现如权利要求1-5中任一项所述的方法。

9.一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1-5中任一项所述的方法。

10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现如权利要求1-5中任一项所述的方法。

Images