CN114117212A - 媒体数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种媒体数据处理方法、装置、电子设备及存储介质，属于网络技术领域。本公开实施例中，可以获取第一媒体数据的内容标签对应的向量，以作为第一向量，以及，获取第二媒体数据的内容标签对应的向量，以作为第二向量，第一媒体数据与第二媒体数据的媒体类型不同。根据第一向量以及各第二媒体数据的第二向量，确定与第一媒体数据相关的第二媒体数据，以作为候选媒体数据。基于候选媒体数据，进行媒体数据推荐。这样，从其他媒体类型的媒体数据中获取相关的媒体数据进行推荐，可以使得推荐的内容更加丰富，从而一定程度上可以提高推荐效果。

Description

媒体数据处理方法、装置、电子设备及存储介质

技术领域

本公开属于网络技术领域，特别是涉及一种媒体数据处理方法、装置、电子设备及存储介质。

背景技术

随着网络技术的不断发展，网络平台中的信息越来的越多，例如，用户可以基于网络平台查看视频、文章、图片、文本等信息。

相关技术中，为了提高用户的查看效率，往往会针对用户选择查看的信息，推荐类似的同类型信息，推荐效果较差。

发明内容

为克服相关技术中存在的问题，本公开提供一种媒体数据处理方法、装置、电子设备及存储介质。

依据本公开的第一方面，提供了一种媒体数据处理方法，该方法包括：

获取第一媒体数据的内容标签对应的向量，以作为第一向量，以及，获取第二媒体数据的内容标签对应的向量，以作为第二向量；所述第一媒体数据与所述第二媒体数据的媒体类型不同；

根据所述第一向量以及各所述第二媒体数据的第二向量，确定与所述第一媒体数据相关的第二媒体数据，以作为候选媒体数据；

基于所述候选媒体数据，进行媒体数据推荐。

可选的，所述基于所述候选媒体数据，进行媒体数据推荐，包括：

分别获取所述第一媒体数据以及所述候选媒体数据包括的文本信息，得到第一文本信息以及第二文本信息；

对于任一所述候选媒体数据，计算所述第一文本信息与各所述候选媒体数据的第二文本信息之间的重复度；

将重复度小于等于预设重复度阈值对应的候选媒体数据，确定为目标媒体数据；

推荐所述目标媒体数据。

可选的，所述推荐所述目标媒体数据，包括：

根据各所述目标媒体数据与所述第一媒体数据之间的语义相关度、所述目标媒体数据的发布时间以及所述目标媒体数据的信息丰富度，确定各所述目标媒体数据的推荐值；所述推荐值与所述语义相关度、所述发布时间及所述信息丰富度正相关；

基于各所述目标媒体数据的推荐值，将确定的目标媒体数据推荐给用户。

可选的，所述基于各所述目标媒体数据的推荐值，将确定的目标媒体数据推荐给用户，包括：

在所述第一媒体数据的显示界面中，显示所述目标媒体数据中推荐值最大的媒体数据以及推荐展示元素，所述推荐展示元素用于指示展示至少包括所述目标媒体数据中部分媒体数据；

在检测到对所述推荐展示元素的触发操作的情况下，显示所述目标媒体数据中至少部分媒体数据的查看选项。

可选的，所述根据所述第一向量以及各所述第二媒体数据的第二向量，确定与所述第一媒体数据相关的第二媒体数据，以作为候选媒体数据，包括：

根据所述第一向量与各所述第二向量，计算所述第一媒体数据与各所述第二媒体数据之间的语义相关度；

将语义相关度大于预设相关度阈值的第二媒体数据，确定为所述候选媒体数据。

可选的，所述方法还包括：

获取所述第一媒体数据的所属类别，以作为第一类别；

确定所属类别与所述第一类别相匹配的第三媒体数据，以作为所述第二媒体数据；所述第三媒体数据与所述第二媒体数据的媒体类型相同。

可选的，在所述第一媒体数据为视频的情况下，所述第二媒体数据为文章；在所述第一媒体数据为文章的情况下，所述第二媒体数据为视频。

依据本公开的第二方面，提供了一种媒体数据处理装置，该装置包括：

第一获取模块，被配置为获取第一媒体数据的内容标签对应的向量，以作为第一向量，以及，获取第二媒体数据的内容标签对应的向量，以作为第二向量；所述第一媒体数据与所述第二媒体数据的媒体类型不同；

第一确定模块，被配置为根据所述第一向量以及各所述第二媒体数据的第二向量，确定与所述第一媒体数据相关的第二媒体数据，以作为候选媒体数据；

推荐模块，被配置为基于所述候选媒体数据，进行媒体数据推荐。

可选的，所述推荐模块，具体被配置为：

分别获取所述第一媒体数据以及所述候选媒体数据包括的文本信息，得到第一文本信息以及第二文本信息；

对于任一所述候选媒体数据，计算所述第一文本信息与各所述候选媒体数据的第二文本信息之间的重复度；

将重复度小于等于预设重复度阈值对应的候选媒体数据，确定为目标媒体数据；

推荐所述目标媒体数据。

可选的，所述推荐模块，还具体被配置为：

根据各所述目标媒体数据与所述第一媒体数据之间的语义相关度、所述目标媒体数据的发布时间以及所述目标媒体数据的信息丰富度，确定各所述目标媒体数据的推荐值；所述推荐值与所述语义相关度、所述发布时间及所述信息丰富度正相关；

基于各所述目标媒体数据的推荐值，将确定的目标媒体数据推荐给用户。

可选的，所述推荐模块，还具体被配置为：

在所述第一媒体数据的显示界面中，显示所述目标媒体数据中推荐值最大的媒体数据以及推荐展示元素，所述推荐展示元素用于指示展示至少包括所述目标媒体数据中部分媒体数据；

在检测到对所述推荐展示元素的触发操作的情况下，显示所述目标媒体数据中至少部分媒体数据的查看选项。

可选的，所述第一确定模块，具体被配置为

根据所述第一向量与各所述第二向量，计算所述第一媒体数据与各所述第二媒体数据之间的语义相关度；

将语义相关度大于预设相关度阈值的第二媒体数据，确定为所述候选媒体数据。

可选的，所述装置还包括：

第二获取模块，被配置为获取所述第一媒体数据的所属类别，以作为第一类别；

第二确定模块，被配置为确定所属类别与所述第一类别相匹配的第三媒体数据，以作为所述第二媒体数据；所述第三媒体数据与所述第二媒体数据的媒体类型相同。

可选的，在所述第一媒体数据为视频的情况下，所述第二媒体数据为文章；在所述第一媒体数据为文章的情况下，所述第二媒体数据为视频。

依据本公开的第三方面，提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如第一方面中任一项所述的媒体数据处理方法。

依据本公开的第四方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备执行如第一方面中任一项所述的媒体数据处理方法。

依据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括可读性程序指令，所述可读性程序指令由电子设备的处理器执行时，使得所述电子设备执行如第一方面中任一项所述的媒体数据处理方法。

本公开相比于相关技术，具有如下的优点和积极效果：

本公开实施例提供的媒体数据处理方法，获取第一媒体数据的内容标签对应的向量，以作为第一向量，以及，获取第二媒体数据的内容标签对应的向量，以作为第二向量，第一媒体数据与第二媒体数据的媒体类型不同。根据第一向量以及各第二媒体数据的第二向量，确定与第一媒体数据相关的第二媒体数据，以作为候选媒体数据。基于候选媒体数据，进行媒体数据推荐。这样，从其他媒体类型的媒体数据中获取相关的媒体数据进行推荐，可以使得推荐的内容更加丰富，从而一定程度上可以提高推荐效果。

同时，本公开实施例中跨媒体类型确定媒体数据，即，跨模态匹配相关的媒体数据，并进行推荐，一定程度上可以提高其他媒体类型的媒体数据的利用率，从而提高网络平台的整体资源利用率。

上述说明仅是本公开技术方案的概述，为了能够更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂，以下特举本公开的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本公开的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本公开实施例提供的一种媒体数据处理方法的步骤流程图；

图2是本公开实施例提供的一种界面示意图；

图3是本公开实施例提供的一种流程示意图；

图4是本公开实施例提供的一种媒体数据处理装置的框图；

图5是根据一示例性实施例示出的一种用于媒体数据处理的装置的框图；

图6是根据一示例性实施例示出的一种用于媒体数据处理的装置的框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是本公开实施例提供的一种媒体数据处理方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、获取第一媒体数据的内容标签对应的向量，以作为第一向量，以及，获取第二媒体数据的内容标签对应的向量，以作为第二向量；所述第一媒体数据与所述第二媒体数据的媒体类型不同。

本公开实施例中，第一媒体数据可以为第一媒体类型的媒体数据、第二媒体数据可以为第二媒体类型的媒体数据，其中，第一媒体类型以及第二媒体类型的具体类型可以根据实际需求设定，不同媒体类型可以对应表征一种模态，其中，不同媒体类型的媒体数据传递信息时的形态不同。示例的，媒体类型可以包括视频、图像、文本、等等。

媒体数据的内容标签对应的向量可以是对媒体数据的内容标签进行向量化(Embedding)得到的。媒体数据的内容标签可以是预先为媒体数据设置的，内容标签的标注体系可以根据实际需求设置，内容标签可以表征该媒体数据所涉及的内容。示例的，以媒体数据为视频为例，假设该视频为张三参加AA歌唱节目并获得第一名的娱乐新闻视频，那么该视频的内容标签可以包括：“张三”、“AA歌唱节目”、“冠军”、“娱乐”。假设该视频为李四教学传统绣花技艺的视频，那么该视频的内容标签可以包括：“李四”、“科普”、“传统文化”、“绣花”。

进一步地，可以基于各媒体类型对应的预设内容理解模型，预先对该媒体类型的媒体数据进行识别，从而得到该媒体类型的各个媒体数据的内容标签。相应地，获取内容标签对应的向量时，可以获取预先识别的内容标签，然后对内容标签进行向量化，得到内容标签对应的向量。当然，也可以预先进行向量化，这样，可以直接读取内容标签对应的向量。

步骤102、根据所述第一向量以及各所述第二媒体数据的第二向量，确定与所述第一媒体数据相关的第二媒体数据，以作为候选媒体数据。

由于不同媒体类型的媒体数据的内容形态、内容标签设置方式、往往存在差异，直接采用显式的内容标签召回其他媒体类型中相关的媒体数据的方式，或者，直接对媒体数据本身向量化，基于得到的高维向量召回其他媒体类型中相关的媒体数据的方式，可能会导致召回的媒体数据不够准确。本步骤中，基于内容标签对应的向量跨模态确定相关的媒体数据，由于内容标签往往较为较短，相对整个媒体数据而言内容标签更加精炼，且内容标签对应的向量可以表征媒体数据涉及的内容。因此，基于内容标签对应的向量召回候选媒体数据，一定程度上可以确保所召回的候选媒体数据的准确性。

步骤103、基于所述候选媒体数据，进行媒体数据推荐。

本公开实施例，可以直接向用户推荐候选媒体数据，或者，也可以进一步对候选媒体数据进行筛选之后，再进行推荐，本公开对此不作限制。

本公开实施例提供的媒体数据处理方法，获取第一媒体数据的内容标签对应的向量，以作为第一向量，以及，获取第二媒体数据的内容标签对应的向量，以作为第二向量，第一媒体数据与第二媒体数据的媒体类型不同。根据第一向量以及各第二媒体数据的第二向量，确定与第一媒体数据相关的第二媒体数据，以作为候选媒体数据。基于候选媒体数据，进行媒体数据推荐。这样，从其他媒体类型的媒体数据中获取相关的媒体数据进行推荐，可以使得推荐的内容更加丰富，从而一定程度上可以提高推荐效果。

同时，本公开实施例中跨媒体类型确定媒体数据，即，跨模态匹配相关的媒体数据，并进行推荐，一定程度上可以提高其他媒体类型的媒体数据的利用率，从而提高网络平台的整体资源利用率。

可选的，在一种实现场景中，上述第一媒体数据可以为视频，第二媒体数据可以为文章，即，图文资讯。或者，第一媒体数据可以为文章，第二媒体数据可以为视频。在当前内容应用程序(APP)行业的应用中，视频和图文资讯作为两种不同形态的内容，技术体系上往往更多的是去关注每种形态内容的内在联系，即分别去解决视频内容的相关性、图文资讯内容的相关性，并在实际的推荐信息流中应用。即，针对视频推荐内容相关的视频，针对图文资讯推荐内容相关的图文资讯。示例的，当用户观看一个视频后，相关技术中会结合视频的相关性分析，给用户推荐更多的相关视频。当用户浏览一个图文资讯后，结合对文本的分析，给用户推荐相关的图文资讯。但视频和图文资讯作为两种不同的内容形态，在信息传达时各有其优劣。例如，在观看视频时，如果用户想对视频内容的相关主体进行深度了解和一些媒体观点的认知，则需要能够快速地查看相关的图文资讯，仅依靠视频本身往往无法满足该需求。

本公开实施例中，以视频作为第一媒体数据，图文资讯作为第二媒体数据，或者，以图文资讯作为第一媒体数据，视频作为第二媒体数据，可以实现基于视频向用户推荐相关的图文资讯，或者是基于图文资讯向用户推荐相关的视频。这样，使得用户可以在查看视频时，结合与视频相关的图文资讯进行更多拓展阅读以及探索用户更多兴趣。在查看图文资讯时，结合与图文视频相关的视频，使得用户可得让用户更直观的了解相关信息，从而提高用户体验，提高用户的信息获取效率。

可选的，上述根据所述第一向量以及各所述第二媒体数据的第二向量，确定与所述第一媒体数据相关的第二媒体数据，以作为候选媒体数据的操作，可以具体包括：

步骤S21、根据所述第一向量与各所述第二向量，计算所述第一媒体数据与各所述第二媒体数据之间的语义相关度。

本步骤中，对于任一第二媒体数据，可以计算第一向量与该第二媒体数据的第二向量之间的向量距离。然后根据该向量距离确定第一媒体数据与该第二媒体数据之间的语义相关度。其中，向量距离可以是基于预设的距离计算方式计算得到。语义相关度可以与向量距离负相关。即，向量距离越近，语义相关度可以越大。反之，向量距离越远，语义相关度可以越小。

进一步地，内容标签作为显性特征，向量作为隐性特征，本公开中基于内容标签对应的第一向量以及第二向量，计算语义相关度，即，通过显性\隐性特征结合的方式，实现语义相关度的计算，从而一定程度上确保计算的准确性。

步骤S22、将语义相关度大于预设相关度阈值的第二媒体数据，确定为所述候选媒体数据。

本步骤中，预设相关度阈值可以是根据实际需求设置，本公开对此不作限制。进一步地，如果语义相关度越大，则可以确定第二媒体数据与第一媒体数据的相关程度越高。反之，如果语义相关度越小，则可以确定第二媒体数据与第一媒体数据的相关程度越低。因此，本公开实施例可以将语义相关度较大的第二媒体数据，即，语义相关度大于预设相关度阈值的第二媒体数据作为候选媒体数据，从而确保后续推荐的媒体数据具备足够的相关性。

本公开实施例中，根据第一向量与各第二向量，计算第一媒体数据与各第二媒体数据之间的语义相关度，将语义相关度大于预设相关度阈值的第二媒体数据，才作为候选媒体数据。这样，可以一定程度上使得最终确定的候选媒体数据是与第一媒体数据强相关的媒体数据，从而确保媒体数据的推荐效果。同时，基于内容标签对应的向量计算语义相关度，实现不同模态内容的相关度匹配，使得后续推荐时，可以挖掘到更多符合用户需求的高效信息，提供便捷的信息拓展能力，从而提高信息获取效率。

可选的，本公开实施例中第二媒体数据与第一媒体数据的所属类别可以相同。相应地，上述第二媒体数据可以通过下述步骤确定：

步骤S31、获取所述第一媒体数据的所属类别，以作为第一类别。

本步骤中，可以读取预先为第一媒体数据确定的所属类别，从而实现获取第一类别。示例的，可以在离线阶段，基于第一媒体类型对应的内容理解模型，对第一媒体数据进行识别，从而得到第一媒体数据的所属类别。

步骤S33、确定所属类别与所述第一类别相匹配的第三媒体数据，以作为所述第二媒体数据；所述第三媒体数据与所述第二媒体数据的媒体类型相同。

本步骤中，第三媒体数据可以为网络平台中第二媒体类型的所有媒体数据。可以读取预先为第三媒体数据确定的所属类别，示例的，第三媒体数据的所属类别可以是在离线阶段，基于第二媒体类型对应的内容理解模型对第三媒体数据进行识别得到。进一步地，可以将第三媒体数据的所属类别与第一类别进行比对，如果该第三媒体数据的所属类别与第一类别相匹配，即，所属类别相同，则可以将该第三媒体数据确定为第二媒体数据。

需要说明的是，本公开实施例中还可以在上述步骤101之前，进行标签匹配，示例的，可以检测第二媒体数据的内容标签与第一媒体数据的内容标签的数量、种类之间的差异度，如果差异度大于预设阈值，则剔除该第二媒体数据，从而进一步缩小选择范围，提高选择效率。

本公开实施例中，获取第一媒体数据的所属类别，以作为第一类别。然后确定所属类别与第一类别相匹配的第三媒体数据，以作为第二媒体数据，其中，第三媒体数据与第二媒体数据的媒体类型相同。这样，通过预先进行类别匹配，选择其他媒体类型中所属类别与第一媒体数据的所属类别相匹配的媒体数据作为第二媒体数据，一定程度上可以在确保参与选择的第二媒体数据较大概率与第一媒体数据存在关联，即，为选择操作提供优质的备选对象的同时，缩小选择范围，从而可以节省选择成本，提高选择效率。

可选的，本公开实施例还可以在上述基于所述候选媒体数据，进行媒体数据推荐的操作，可以包括下述步骤：

步骤S41、分别获取所述第一媒体数据以及所述候选媒体数据包括的文本信息，得到第一文本信息以及第二文本信息。

具体的，在媒体数据为文本的情况下，可以直接提取媒体数据的内容作为文本信息。在媒体数据为文章的情况下，可以提取媒体数据中包含的文本部分，以及，基于光学字符识别(Optical Character Recognition，OCR)算法，提取文章内图片上的字符，进而得到文本信息。进一步地，在媒体数据为图片的情况下，可以直接基于OCR算法提取图片上的字符，进而得到文本信息。进一步地，在媒体数据为视频的情况下，可以基于OCR算法提取每帧视频画面上的字符，以及，基于自动语音识别(Automatic Speech Recognition，ASR)算法，将视频内的音频流转换为文本，从而得到文本信息。进一步地，从第一媒体数据提取的文本信息即为第一文本信息，从候选媒体数据提取的文本信息即为第二文本信息。

步骤S42、对于任一所述候选媒体数据，计算所述第一文本信息与所述候选媒体数据的第二文本信息之间的重复度。

本步骤中，可以将第一文本信息与该第二文本信息中的字符进行比对，以确定第二文本信息中与第一文本信息重复的字符数量，即，第二文本中出现的属于第一文本信息的字符的数量。然后计算该字符数量与第二文本信息的字符总数量的比值，从而得到重复度。该重复度可以衡量第二文本信息中存在的重复信息比重，重复度越高，则可以确定重复信息越多。反之，重复度越低，则可以确定重复信息越少。

步骤S43、将重复度小于等于预设重复度阈值对应的候选媒体数据，确定为目标媒体数据。

本步骤中，预设重复度阈值可以是根据实际需求预先设置的，示例的，预设重复度阈值可以为70％。相应地，如果候选媒体数据的重复度大于预设重复度阈值，则可以确定该候选媒体数据中有大量的重复信息，该候选媒体数据是与第一媒体数据高度重复的相似信息，因此，可以对该候选媒体数据进行过滤。进一步地，可以将剩余的重复度小于等于预设重复度阈值对应的候选媒体数据确定为目标媒体数据。

本公开实施例中，分别获取第一媒体数据以及候选媒体数据包括的文本信息，得到第一文本信息以及第二文本信息。对于任一候选媒体数据，计算第一文本信息与候选媒体数据的第二文本信息之间的重复度。将重复度小于等于预设重复度阈值对应的候选媒体数据，确定为目标媒体数据。这样，可以在推荐之前，识别并过滤与第一媒体数据高度重复的候选媒体数据，可以确保最终推荐的目标媒体数据是与第一媒体数据相关的数据，而非重合的相似数据，进而可以提高推荐效果。

可选的，上述推荐所述目标媒体数据的操作，可以具体包括：

步骤S51、根据各所述目标媒体数据与所述第一媒体数据之间的语义相关度、所述目标媒体数据的发布时间以及所述目标媒体数据的信息丰富度，确定各所述目标媒体数据的推荐值；所述推荐值与所述语义相关度、所述发布时间及所述信息丰富度正相关。

本公开实施例中，语义相关度越高，可以确定目标媒体数据与所述第一媒体数据的相关程度更高。具体的，可以通过获取上述计算的语义相关度以计算推荐值。发布时间越早，可以确定该目标媒体数据的时效性越强。具体的，可以获取目标媒体数据的相关信息，并从中查找该目标媒体数据的发布时间。其中发布时间可以包括年月日，示例的，发布时间可以为20200815，20210112。进一步地，信息丰富度越高，可以确定该目标媒体数据拓展相关信息的能力越强。具体的，可以统计该目标媒体数据中涉及的主题的数量，根据主题的数量确定信息丰富度。其中，涉及的主题的数量越多，信息丰富度可以越高。相应地，本公开实施例中按照与语义相关度、发布时间以及信息丰富度正相关的方式确定推荐值的方式，一定程度上可以使得与第一媒体数据的相关程度越高、时效性越强、拓展相关信息的能力越强的目标媒体数据可以在优先推荐，从而确保推荐效果。具体的，计算推荐值时，可以计算语义相关度、发布时间以及信息丰富度计算加权值，从而得到目标媒体数据的推荐值。

需要说明的是，本公开还可以在进行计算之前，剔除发布时间距离当前时刻的时长大于预设时长阈值的目标媒体数据，即，尽对距离当前时刻一定时间窗口内的目标媒体数据进行计算，从而可以在避免后续推荐的目标媒体数据的时效较弱的同时，降低计算量。

步骤S52、基于各所述目标媒体数据的推荐值，将确定的目标媒体数据推荐给用户。

在一种实现方式中，可以将推荐值最大的前M个目标媒体数据推荐给用户。示例的，可以先按照推荐值对目标媒体数据按照由大至小/由小至大的方式，对目标媒体数据进行排序，从而得到排序结果。在由大至小排序的情况下，获取排序结果中的前M个目标媒体数据，从而得到推荐值最大的前M个目标媒体数据。在由小至大排序的情况下，获取排序结果中的后M个目标媒体数据，从而得到推荐值最大的前M个目标媒体数据。其中，M可以是根据实际需求设置的整数，示例的，M可以为5。进一步地，在另一可选实现方式中，也可以是将推荐值大于预设推荐值阈值的目标媒体数据推荐给用户。其中，预设推荐值阈值可以是根据实际需求设置的，本公开对此不作限制。

本公开实施例中，根据各目标媒体数据与第一媒体数据之间的语义相关度、目标媒体数据的发布时间以及目标媒体数据的信息丰富度，确定各目标媒体数据的推荐值，推荐值与语义相关度、发布时间及信息丰富度正相关。基于各目标媒体数据的推荐值，将确定的目标媒体数据推荐给用户。这样，可以将与第一媒体数据相关程度更高、时效性更强以及所能提供的信息更丰富的目标媒体数据优先推荐的给用户。同时，可以避免所推荐的目标媒体数据数量过多，导致，用户选择难度增大的问题。

可选的，上述基于各所述目标媒体数据的推荐值，将确定的目标媒体数据推荐给用户的操作，可以具体包括：

步骤S61、在所述第一媒体数据的显示界面中，显示所述目标媒体数据中推荐值最大的媒体数据以及推荐展示元素，所述推荐展示元素用于指示展示至少包括所述目标媒体数据中部分媒体数据。

本公开实施例中，第一媒体数据的显示界面可以是显示有第一媒体数据的界面，示例的，以第一媒体数据为视频为例，第一媒体数据的显示界面可以为该第一媒体数据的播放界面。推荐展示元素可以为指定标识，指定标识可以是预先设置的，用于对目标媒体数据中部分媒体数据进行缩略显示的标识，示例的，可以是对剩余的M-1个目标媒体数据进行缩略显示的标识。示例的，指定标识可以为“更多”选项。示例的，图2是本公开实施例提供的一种界面示意图，如图2所示，该界面中显示有第一媒体数据a、M个目标媒体数据中推荐值最大目标媒体数据b以及指定标识c。即，在具体应用时，采用推荐值最大目标媒体数据强外显，对整体TOPM的目标媒体数据，通过点击更多来查看的产品形态，可以在提高数据查看效率的同时，提高用户操作的灵活性。

需要说明的是，本公开实施例中可以在第一媒体数据被显示时，例如，视频被播放时，自动为第一媒体数据匹配目标媒体数据，并进行推荐，从而可以提高用户的查看体验。

步骤S62、在检测到对所述推荐展示元素的触发操作的情况下，显示所述目标媒体数据中至少部分媒体数据的查看选项。

本公开实施例中，触发操作可以是预先定义的，示例的，触发操作可以为点击操作、长按操作、语音触发操作，等等。相应地，在接收到对推荐展示元素的触发操作的情况下，可以确定用户需要查看目标媒体数据中至少部分媒体数据，进而可以显示目标媒体数据中至少部分媒体数据的查看选项。其中，目标媒体数据中至少部分媒体数据可以包括所有目标媒体数据，也可以仅包括除推荐值最大的目标媒体数据之外的其他目标媒体数据，查看选项可以包括目标媒体数据的标题，用户可以通过点击查看选项，控制终端显示该目标媒体数据。

本公开实施例中，在第一媒体数据的显示界面中，显示目标媒体数据中推荐值最大的媒体数据以及推荐展示元素，推荐展示元素用于指示展示至少包括目标媒体数据中部分媒体数据。在检测到对推荐展示元素的触发操作的情况下，显示目标媒体数据中至少部分媒体数据的查看选项。通过在第一媒体数据的显示界面中直接显示推荐值最大的目标媒体数据，可以确保用户能够直接查看到相关性最高的目标媒体数据，从而使得用户可以实现快速的跨模态内容消费，提高数据查看效率。同时，在检测到对推荐展示元素的触发操作的情况下，显示目标媒体数据中至少部分媒体数据的查看选项，可以使得用户能够更加灵活地按需获取信息，从而提高灵活性。

进一步地，针对第一媒体数据为视频，第二媒体数据为图文资讯的场景，图3是本公开实施例提供的一种流程示意图，如图3所示，可以基于视频内容理解模型获取视频库中视频的所属类别、视频内容标签，基于图文内容理解模型获取图文库中图文资讯的所属类别、图文内容标签。进一步地，在需要针对某视频召回相关的图文资讯时，可以获取该视频的所属类别、视频内容标签，并进行类别匹配，从而确定所属类别相同的图文资讯。接着，进行标签向量化相关性计算，即，对该视频的视频内容标签向量化，以得到第一向量。对所属类别相同的图文资讯的图文内容标签向量化，以得到第二向量。基于第一向量以及第二向量，计算语义相关性。接着，可以召回相关图文资讯列表，即，基于语义相关性选择目标媒体数据。进一步地，可以过滤高重复度内容。接着，可以基于时效性、多样性，进行排序以返回相关性top5的图文资讯(即，推荐值最高的前5个图文资讯)。即，基于语义相关度、发布时间以及信息丰富度，返回推荐值最大的前5个图文资讯。最后，可以对top1图文资讯(即，推荐值最大的图文资讯)强外显，top5图文资讯以查看更多的方式显示。

本公开实施例中通过基于内容标签对应的向量，进行跨模态内容匹配，可以较为快速实现以图文资讯召回相关视频/以视频召回相关图文资讯，更为充分的将不同模态的数据提供给用户，使得用户在产品体验上打破内容形态的限制，获取融合性的数据查看体验。同时，可以实现对内容资源的充分利用，提升网络平台内长尾图文资讯/长尾视频的曝光率和消费率。

图4是本公开实施例提供的一种媒体数据处理装置的框图，如图4所示，该装置20可以包括：

第一获取模块201，被配置为根据所述第一向量以及各所述第二媒体数据的第二向量，确定与所述第一媒体数据相关的第二媒体数据，以作为候选媒体数据；

第一确定模块202，被配置为根据所述第一向量以及各所述第二媒体数据的第二向量，选择与所述第一媒体数据相关的第二媒体数据，以作为目标媒体数据；

推荐模块203，被配置为基于所述候选媒体数据，进行媒体数据推荐。

本公开实施例提供的媒体数据处理装置，获取第一媒体数据的内容标签对应的向量，以作为第一向量，以及，获取第二媒体数据的内容标签对应的向量，以作为第二向量，第一媒体数据与第二媒体数据的媒体类型不同。根据第一向量以及各第二媒体数据的第二向量，确定与第一媒体数据相关的第二媒体数据，以作为候选媒体数据。基于候选媒体数据，进行媒体数据推荐。这样，从其他媒体类型的媒体数据中获取相关的媒体数据进行推荐，可以使得推荐的内容更加丰富，从而一定程度上可以提高推荐效果。

同时，本公开实施例中跨媒体类型确定媒体数据，即，跨模态匹配相关的媒体数据，并进行推荐，一定程度上可以提高其他媒体类型的媒体数据的利用率，从而提高网络平台的整体资源利用率。

可选的，所述推荐模块203，具体被配置为：

分别获取所述第一媒体数据以及所述候选媒体数据包括的文本信息，得到第一文本信息以及第二文本信息；

对于任一所述候选媒体数据，计算所述第一文本信息与各所述候选媒体数据的第二文本信息之间的重复度；

将重复度小于等于预设重复度阈值对应的候选媒体数据，确定为目标媒体数据；

推荐所述目标媒体数据。

可选的，所述推荐模块203，还具体被配置为：

根据各所述目标媒体数据与所述第一媒体数据之间的语义相关度、所述目标媒体数据的发布时间以及所述目标媒体数据的信息丰富度，确定各所述目标媒体数据的推荐值；所述推荐值与所述语义相关度、所述发布时间及所述信息丰富度正相关；

基于各所述目标媒体数据的推荐值，将确定的目标媒体数据推荐给用户。

可选的，所述推荐模块203，还具体被配置为：

在所述第一媒体数据的显示界面中，显示所述目标媒体数据中推荐值最大的媒体数据以及推荐展示元素，所述推荐展示元素用于指示展示至少包括所述目标媒体数据中部分媒体数据；

在检测到对所述推荐展示元素的触发操作的情况下，显示所述目标媒体数据中至少部分媒体数据的查看选项。

可选的，所述第一确定模块202，具体被配置为

根据所述第一向量与各所述第二向量，计算所述第一媒体数据与各所述第二媒体数据之间的语义相关度；

将语义相关度大于预设相关度阈值的第二媒体数据，确定为所述候选媒体数据。

可选的，所述装置20还包括：

第二获取模块，被配置为获取所述第一媒体数据的所属类别，以作为第一类别；

第二确定模块，被配置为确定所属类别与所述第一类别相匹配的第三媒体数据，以作为所述第二媒体数据；所述第三媒体数据与所述第二媒体数据的媒体类型相同。

可选的，在所述第一媒体数据为视频的情况下，所述第二媒体数据为文章；在所述第一媒体数据为文章的情况下，所述第二媒体数据为视频。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

根据本公开的一个实施例，提供了一种电子设备，包括：处理器、用于存储处理器可执行指令的存储器，其中，处理器被配置为执行时实现如上述任一个实施例中的媒体数据处理方法中的步骤。

根据本公开的一个实施例，还提供了一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述任一个实施例中的媒体数据处理方法中的步骤。

根据本公开的一个实施例，还提供了一种计算机程序产品，该计算机程序产品包括可读性程序指令，可读性程序指令由电子设备的处理器执行时，使得电子设备能够执行如上述任一个实施例中的媒体数据处理方法中的步骤。

图5是根据一示例性实施例示出的一种用于媒体数据处理的装置的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图5，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。

处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的媒体数据处理方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。

存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件706为装置700的各种组件提供电力。电源组件706可以包括电源管理***，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。

多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当装置700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。

I/O接口712为处理组件702和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到装置700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述媒体数据处理方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述媒体数据处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图6是根据一示例性实施例示出的一种用于媒体数据处理的装置的框图。例如，装置800可以被提供为一服务器。参照图6，装置800包括处理组件822，其进一步包括一个或多个处理器，以及由存储器832所代表的存储器资源，用于存储可由处理组件822的执行的指令，例如应用程序。存储器832中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件822被配置为执行指令，以执行上述媒体数据处理方法。

装置800还可以包括一个电源组件826被配置为执行装置800的电源管理，一个有线或无线网络接口850被配置为将装置800连接到网络，和一个输入输出(I/O)接口858。装置800可以操作基于存储在存储器832的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种媒体数据处理方法，其特征在于，所述方法包括：

获取第一媒体数据的内容标签对应的向量，以作为第一向量，以及，获取第二媒体数据的内容标签对应的向量，以作为第二向量；所述第一媒体数据与所述第二媒体数据的媒体类型不同；

根据所述第一向量以及各所述第二媒体数据的第二向量，确定与所述第一媒体数据相关的第二媒体数据，以作为候选媒体数据；

基于所述候选媒体数据，进行媒体数据推荐。

2.根据权利要求1所述的方法，其特征在于，所述基于所述候选媒体数据，进行媒体数据推荐，包括：

分别获取所述第一媒体数据以及所述候选媒体数据包括的文本信息，得到第一文本信息以及第二文本信息；

对于任一所述候选媒体数据，计算所述第一文本信息与各所述候选媒体数据的第二文本信息之间的重复度；

将重复度小于等于预设重复度阈值对应的候选媒体数据，确定为目标媒体数据；

推荐所述目标媒体数据。

3.根据权利要求2所述的方法，其特征在于，所述推荐所述目标媒体数据，包括：

根据各所述目标媒体数据与所述第一媒体数据之间的语义相关度、所述目标媒体数据的发布时间以及所述目标媒体数据的信息丰富度，确定各所述目标媒体数据的推荐值；所述推荐值与所述语义相关度、所述发布时间及所述信息丰富度正相关；

基于各所述目标媒体数据的推荐值，将确定的目标媒体数据推荐给用户。

4.根据权利要求3所述的方法，其特征在于，所述基于各所述目标媒体数据的推荐值，将确定的目标媒体数据推荐给用户，包括：

在所述第一媒体数据的显示界面中，显示所述目标媒体数据中推荐值最大的媒体数据以及推荐展示元素，所述推荐展示元素用于指示展示至少包括所述目标媒体数据中部分媒体数据；

在检测到对所述推荐展示元素的触发操作的情况下，显示所述目标媒体数据中至少部分媒体数据的查看选项。

5.根据权利要求1至4任一所述的方法，其特征在于，所述根据所述第一向量以及各所述第二媒体数据的第二向量，确定与所述第一媒体数据相关的第二媒体数据，以作为候选媒体数据，包括：

根据所述第一向量与各所述第二向量，计算所述第一媒体数据与各所述第二媒体数据之间的语义相关度；

将语义相关度大于预设相关度阈值的第二媒体数据，确定为所述候选媒体数据。

6.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

获取所述第一媒体数据的所属类别，以作为第一类别；

确定所属类别与所述第一类别相匹配的第三媒体数据，以作为所述第二媒体数据；所述第三媒体数据与所述第二媒体数据的媒体类型相同。

7.一种媒体数据处理装置，其特征在于，所述装置包括：

第一获取模块，被配置为获取第一媒体数据的内容标签对应的向量，以作为第一向量，以及，获取第二媒体数据的内容标签对应的向量，以作为第二向量；所述第一媒体数据与所述第二媒体数据的媒体类型不同；

第一确定模块，被配置为根据所述第一向量以及各所述第二媒体数据的第二向量，确定与所述第一媒体数据相关的第二媒体数据，以作为候选媒体数据；

推荐模块，被配置为基于所述候选媒体数据，进行媒体数据推荐。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的媒体数据处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1至6中任一项所述的媒体数据处理方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括可读性程序指令，所述可读性程序指令由电子设备的处理器执行时，使得所述电子设备执行如权利要求1至6中任一项所述的媒体数据处理方法。

Images