CN114491272A - 一种多媒体内容推荐方法及装置 - Google Patents

一种多媒体内容推荐方法及装置 Download PDF

Info

Publication number
CN114491272A
CN114491272A CN202210133881.9A CN202210133881A CN114491272A CN 114491272 A CN114491272 A CN 114491272A CN 202210133881 A CN202210133881 A CN 202210133881A CN 114491272 A CN114491272 A CN 114491272A
Authority
CN
China
Prior art keywords
multimedia
content
contents
multimedia content
pushed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210133881.9A
Other languages
English (en)
Other versions
CN114491272B (zh
Inventor
李勇志
迟禄
袁泽寰
赵修影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Youzhuju Network Technology Co Ltd
Original Assignee
Beijing Youzhuju Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Youzhuju Network Technology Co Ltd filed Critical Beijing Youzhuju Network Technology Co Ltd
Priority to CN202210133881.9A priority Critical patent/CN114491272B/zh
Publication of CN114491272A publication Critical patent/CN114491272A/zh
Application granted granted Critical
Publication of CN114491272B publication Critical patent/CN114491272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Library & Information Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种多媒体内容推荐方法，可以获取待推送多媒体内容以及第一用户有过交互行为的N个多媒体内容，N为大于或者等于1的整数，而后，可以基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性。并且，在所述第一用户与所述待推送多媒体内容交互的可能性符合预设条件时，为所述第一用户推荐所述待推送多媒体内容。由此可见，利用本方案，在为用户推荐多媒体内容时，结合了待推送多媒体内容的内容、以及用户历史有过交互行为的多媒体内容的内容。因此，利用本方案，用户与为用户推荐的多媒体内容交互的可能性较高，从而有效提升了为用户推荐多媒体内容的效果。

Description

一种多媒体内容推荐方法及装置
技术领域
本申请涉及计算机技术领域，特别是涉及一种多媒体内容推荐方法及装置。
背景技术
为了为用户提供较好的服务质量，客户端可以为用户推荐对应的多媒体内容，例如，为用户推荐广告。
但是，目前客户端为用户推荐多媒体内容的效果并不好，例如，客户端为用户推荐某一多媒体内容之后，用户并未与该多媒体内容交互。
因此，急需一种方案，能够解决上述问题。
发明内容
本申请所要解决的技术问题是如何提升为用户推荐多媒体内容的效果，提供一种多媒体内容推荐方法及装置。
第一方面，本申请实施例提供了一种多媒体内容推荐方法，所述方法包括：
获取待推送多媒体内容以及第一用户有过交互行为的N个多媒体内容，N为大于或者等于1的整数；
基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性；
在所述第一用户与所述待推送多媒体内容交互的可能性符合预设条件时，为所述第一用户推荐所述待推送多媒体内容。
可选的，所述多媒体内容的内容，包括以下任意一项或者多项：
文本内容，图像内容以及音频内容。
可选的，所述基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性，通过机器学习模型实现。
可选的，所述机器学习模型，包括：特征融合模块、特征提取模块和相似度计算模块；
所述特征融合模块，用于基于所述N个多媒体内容的内容，得到所述N个多媒体内容的融合特征；
所述特征提取模块，用于基于所述待推送多媒体内容的内容，得到所述待推送多媒体内容的多媒体内容特征；
所述相似度计算模块，用于计算所述融合特征和所述待推送多媒体内容的多媒体内容特征的相似度，得到所述第一用户与所述待推送多媒体内容交互的可能性。
可选的，所述特征提取模块，还用于基于所述N个多媒体内容中每个多媒体内容，得到所述N个多媒体内容中每个多媒体内容的多媒体内容特征；
所述特征融合模块，用于：
基于所述特征提取模块输出的所述N个多媒体内容中每个多媒体内容的多媒体内容特征，得到所述融合特征。
可选的，所述特征提取模块包括：第一特征提取子模块、第二特征提取子模块和特征融合子模块；
所述第一特征提取子模块用于对多媒体内容的内容中的非文本内容进行特征提取；
所述第二特征提取子模块用于对多媒体内容的内容中的文本内容进行特征提取；
所述特征融合子模块用于对所述第一特征提取子模块输出的特征和所述第二特征提取子模块输出的特征进行融合，得到多媒体内容特征。
可选的，所述特征融合模块采用自注意力机制和全局池化策略。
可选的，所述机器学习模型，通过如下方式训练得到：
获取第一网络用户历史有过交互行为的M个多媒体内容以及所述第一网络用户并未有过交互行为的S个多媒体内容，M为大于2的整数，S为大于或者等于1的整数；
基于所述M个多媒体内容以及所述S个多媒体内容，训练得到所述机器学习模型。
可选的，所述机器学习模型，包括：特征提取模块和特征融合模块；所述基于所述M个多媒体内容以及所述S个多媒体内容，训练得到所述机器学习模型，包括：
利用所述特征提取模块，提取所述M个多媒体内容和所述S个多媒体内容的多媒体内容特征，其中：所述特征提取模块，用于基于所述M个多媒体内容的内容得到所述M个多媒体内容的多媒体内容特征，以及基于所述S个多媒体内容的内容得到所述S个多媒体内容的多媒体内容特征；
利用所述特征融合模块计算所述M个多媒体内容中的N个多媒体内容的融合特征；
基于所述融合特征、所述S个多媒体内容的多媒体内容特征以及所述M个多媒体内容中其它(M-N)个多媒体内容的多媒体内容特征，调整所述特征提取模块和所述特征融合模块的参数。
可选的，所述方法还包括：
输出所述N个多媒体内容中每个多媒体内容的多媒体内容特征。
第二方面，本申请实施例提供了一种多媒体内容推荐装置，所述装置包括：
获取单元，用于获取待推送多媒体内容以及第一用户有过交互行为的N个多媒体内容，N为大于或者等于1的整数；
确定单元，用于基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性；
推荐单元，用于在所述第一用户与所述待推送多媒体内容交互的可能性符合预设条件时，为所述第一用户推荐所述待推送多媒体内容。
可选的，所述多媒体内容的内容，包括以下任意一项或者多项：
文本内容，图像内容以及音频内容。
可选的，所述基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性，通过机器学习模型实现。
可选的，所述机器学习模型，包括：特征融合模块、特征提取模块和相似度计算模块；
所述特征融合模块，用于基于所述N个多媒体内容的内容，得到所述N个多媒体内容的融合特征；
所述特征提取模块，用于基于所述待推送多媒体内容的内容，得到所述待推送多媒体内容的多媒体内容特征；
所述相似度计算模块，用于计算所述融合特征和所述待推送多媒体内容的多媒体内容特征的相似度，得到所述第一用户与所述待推送多媒体内容交互的可能性。
可选的，所述特征提取模块，还用于基于所述N个多媒体内容中每个多媒体内容，得到所述N个多媒体内容中每个多媒体内容的多媒体内容特征；
所述特征融合模块，用于：
基于所述特征提取模块输出的所述N个多媒体内容中每个多媒体内容的多媒体内容特征，得到所述融合特征。
可选的，所述特征提取模块包括：第一特征提取子模块、第二特征提取子模块和特征融合子模块；
所述第一特征提取子模块用于对多媒体内容的内容中的非文本内容进行特征提取；
所述第二特征提取子模块用于对多媒体内容的内容中的文本内容进行特征提取；
所述特征融合子模块用于对所述第一特征提取子模块输出的特征和所述第二特征提取子模块输出的特征进行融合，得到多媒体内容特征。
可选的，所述特征融合模块采用自注意力机制和全局池化策略。
可选的，所述机器学习模型，通过如下方式训练得到：
获取第一网络用户历史有过交互行为的M个多媒体内容以及所述第一网络用户并未有过交互行为的S个多媒体内容，M为大于2的整数，S为大于或者等于1的整数；
基于所述M个多媒体内容以及所述S个多媒体内容，训练得到所述机器学习模型。
可选的，所述机器学习模型，包括：特征提取模块和特征融合模块；所述基于所述M个多媒体内容以及所述S个多媒体内容，训练得到所述机器学习模型，包括：
利用所述特征提取模块，提取所述M个多媒体内容和所述S个多媒体内容的多媒体内容特征，其中：所述特征提取模块，用于基于所述M个多媒体内容的内容得到所述M个多媒体内容的多媒体内容特征，以及基于所述S个多媒体内容的内容得到所述S个多媒体内容的多媒体内容特征；
利用所述特征融合模块计算所述M个多媒体内容中的N个多媒体内容的融合特征；
基于所述融合特征、所述S个多媒体内容的多媒体内容特征以及所述M个多媒体内容中其它(M-N)个多媒体内容的多媒体内容特征，调整所述特征提取模块和所述特征融合模块的参数。
可选的，所述装置还包括：
输出单元，用于输出所述N个多媒体内容中每个多媒体内容的多媒体内容特征。
第三方面，本申请实施例提供了一种设备，所述设备包括处理器和存储器；
所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行如以上第一方面中任一项所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，包括指令，所述指令指示设备执行如以上第一方面中任一项所述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行以上第一方面任一项所述的方法。
与现有技术相比，本申请实施例具有以下优点：
本申请实施例提供了一种多媒体内容推荐方法，在该方法中，可以获取待推送多媒体内容以及第一用户有过交互行为的N个多媒体内容，N为大于或者等于1的整数，而后，考虑到所述N个多媒体内容的内容，能够体现第一用户的偏好，因此，基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，可以确定所述待推送多媒体内容是否符合所述第一用户的偏好。因此，可以基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性。并且，在所述第一用户与所述待推送多媒体内容交互的可能性符合预设条件时，例如，在基于所述可能性确定第一用户与所述待推送多媒体内容交互的可能性较大时，为所述第一用户推荐所述待推送多媒体内容。由此可见，利用本方案，在为用户推荐多媒体内容时，结合了待推送多媒体内容的内容、以及用户历史有过交互行为的多媒体内容的内容。因此，利用本方案，用户与为用户推荐的多媒体内容交互的可能性较高，从而有效提升了为用户推荐多媒体内容的效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种多媒体内容推荐方法的流程示意图；
图2为本申请实施例提供的一个机器学习模型的结构示意图；
图3为本申请实施例提供的一种模型训练方法的流程示意图；
图4为本申请实施例提供的一种多媒体内容推荐装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的发明人经过研究发现，目前，为用户推荐多媒体内容时，可以结合多媒体内容的标识(identifier，ID)和用户的ID为用户推荐多媒体内容。但是，由于多媒体内容的ID所携带的语义是有限的，尤其是对于一个新多媒体内容而言，其ID所携带的语义更少。类似的，用户的ID所携带的语义也是有限的。因此，基于多媒体内容的ID和用户的ID为用户推荐多媒体内容，推荐效果并不是很好。
为了解决上述问题，本申请实施例提供了一种多媒体内容推荐方法及装置。
下面结合附图，详细说明本申请的各种非限制性实施方式。
示例性方法
参见图1，该图为本申请实施例提供的一种多媒体内容推荐方法的流程示意图。本申请实施例提供的多媒体内容推荐方法，可以由客户端执行，也可以由服务端执行，此处不做限定。在本实施例中，所述多媒体内容推荐方法例如可以包括以下步骤：S101-S103。
S101：获取待推送多媒体内容以及第一用户有过交互行为的N个多媒体内容，N为大于或者等于1的整数。
本申请实施例不具体限定所述多媒体内容，所述多媒体内容包括但不限于广告、音频、视频等。
在本申请实施例中，考虑到用户历史有过交互行为的多媒体内容，可以体现用户的偏好。因此，可以获取第一用户有过交互行为的N个多媒体内容，所述N个多媒体内容用于确定第一用户的偏好。本申请实施例不具体限定N的具体取值，N的具体取值可以根据实际情况确定，例如，所述N的值可以等于10。
在本申请实施例中，交互行为可以是浏览、点赞、收藏、评论或者购买等行为中的其中一项或者多项。
在一个示例中。考虑到用户的偏好可能会随着时间发生改变。因此，为了能够基于所述N个多媒体内容准确的确定出用户偏好，所述N个多媒体内容可以是第一用户最近有过交互行为的N个多媒体内容。
S102：基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性。
在一个示例中，考虑到对于用户而言，其与某一多媒体内容交互的原因是其对多媒体内容的内容感兴趣。因此，前述N个多媒体内容的内容，可以体现所述第一用户的偏好。而所述待推送多媒体内容的内容和用户偏好的匹配度，则可以体现第一用户与所述待推送多媒体内容交互的可能性。因此，可以基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性。
其中，第一用户与所述待推送多媒体内容交互，可以是第一用户浏览、点赞、收藏、评论或者购买所述待推送多媒体内容。
关于多媒体内容的内容以及待推送对媒体内容的内容，需要说明的是，在本申请实施例中，所述内容可以包括文本内容、图像内容以及音频内容中的其中一项或者多项。其中：
文本内容可以包括：多媒体内容的标题、对多媒体内容中的音频进行识别得到的结果、对多媒体内容视频的视频帧中的文字进行识别得到的结果等中的其中一项或者多项。其中，可以利用自动语音识别(Automatic Speech Recognition，ASR)技术对音频进行识别；可以利用光学字符识别技术(Optical Character Recognition，OSR)识别视频帧中的文字。
图像内容包括：多媒体内容视频的视频帧。
音频内容包括：多媒体内容视频中的音乐、多媒体内容视频中的伴奏以及多媒体内容视频中的人物语音等中的其中一项或者多项。
S102在具体实现时，可以基于所述N个多媒体内容的内容，得到所述N个多媒体内容的融合特征，并根据所述待推送多媒体内容的内容，得到所述待推送多媒体内容的多媒体内容特征，而后，根据所述融合特征和所述待推送多媒体内容的多媒体内容特征的相似度，确定所述第一用户与所述待推送多媒体内容交互的可能性。
在一个示例中，S102可以由预先训练得到的机器学习模型实现。关于所述机器学习模型的训练过程，可以参考下文的相关描述部分，此处不做详述。
在一个示例中，所述机器学习模型，可以包括特征融合模块、特征提取模块和相似度计算模块。其中：
所述特征融合模块，用于基于所述N个多媒体内容的内容，得到所述N个多媒体内容的融合特征。
作为一个示例中，所述特征融合模块可以基于所述N个多媒体内容的内容得到所述N个多媒体内容的多媒体内容特征，并进一步对所述N个多媒体内容的多媒体内容特征进行融合，从而得到所述融合特征。在一些实施例中，所述特征融合模块可以利用自注意力(self-attention)机制和全局均值池化(global average pooling)策略对所述N个多媒体内容的多媒体内容特征进行融合，从而得到所述融合特征。
作为又一个示例，可以由所述特征提取模块提取所述N个多媒体内容的多媒体内容特征，并由所述特征融合模块对所述特征提取模块输出的所述N个多媒体内容的多媒体内容特征进行融合，得到所述融合特征。其中，所述特征提取模块可以包括：
第一特征提取子模块、第二特征提取子模块和特征融合子模块，其中，第一特征提取子模块可以用于对内容中的非文本内容进行特征提取，第二特征提取子模块可以用于对内容中的文本内容进行特征提取，特征融合子模块用于对第一特征提取子模块输出的特征和第二特征提取子模块输出的特征进行融合，得到多媒体内容特征。
在一个示例中，所述第一特征提取子模块可以采用卷积神经网络(例如resnet)结构，第二特征提取子模块可以是一个bert模型，所述特征融合子模块可以采用跨模态注意力机制和模态均值两种策略对第一特征提取子模块输出的特征和第二特征提取子模块输出的特征进行融合。
所述特征提取模块，还可以基于所述待推送多媒体内容的内容，得到所述待推送多媒体内容的多媒体内容特征。关于特征提取模块提取待推送多媒体内容的多媒体内容特征的具体实现，可以参考上文对于特征提取模块的描述部分，此处不再详述。
所述相似度计算模块，用于计算所述融合特征和所述待推送多媒体内容的多媒体内容特征的相似度，从而得到所述第一用户与所述待推送多媒体内容交互的可能性。其中，所述相似度计算模块可以计算所述融合特征和所述待推送多媒体内容的多媒体内容特征的余弦相似度，并将计算得到的余弦相似度作为所述第一用户与所述待推送多媒体内容交互的可能性。
S103：在所述第一用户与所述待推送多媒体内容交互的可能性符合预设条件时，为所述第一用户推荐所述待推送多媒体内容。
在一个示例中，S103在具体实现时，可以在所述第一用户与所述待推送多媒体内容交互的可能性大于预设阈值(例如0.8)时，为所述第一用户推荐所述推送多媒体内容。其中，为所述第一用户推荐所述待推送多媒体内容，可以是在所述第一用户的客户端上播放所述待推送多媒体内容。
在又一个示例中，可以对多个待推送多媒体内容均执行S101-S102。对于这种情况，S103在具体实现时，可以将第一用户交互可能性最高的待推送多媒体内容推荐给所述第一用户。即：若所述第一用户与第一待推送多媒体内容交互(多个待推送多媒体内容中的其中一个待推送多媒体内容)的可能性，大于所述第一用户与所述多个待推送多媒体内容中其它待推送多媒体内容交互的可能性，则将第一待推送多媒体内容推送给所述第一用户。
在一个示例中，利用前述特征提取模块得到所述N个多媒体内容的多媒体内容特征之后，可以输出所述N个多媒体内容的多媒体内容特征，以便于将所述N个多媒体内容的多媒体内容特征应用在于多媒体内容处理相关的其它场景中。例如，可以将所述N个多媒体内容的多媒体内容特征应用在传统的多媒体内容投放点击率(Click-through Rate，CTR)预测模型中，又如，可以将所述N个多媒体内容的多媒体内容特征应用在传统的多媒体内容投放转化率(Conversion Rate，CVR)预测模型中。
由此可见，利用本方案，在为用户推荐多媒体内容时，结合了待推送多媒体内容的内容、以及用户历史有过交互行为的多媒体内容的内容。因此，利用本方案，用户与为用户推荐的多媒体内容交互的可能性较高，从而有效提升了为用户推荐多媒体内容的效果。
关于所述机器学习模型，先结合图2举例说明。图2为本申请实施例提供的一个机器学习模型的结构示意图。
如图2所示，所述机器学习模型200，可以包括特征提取模块210、特征融合模块220和相似度计算模块230。所述特征提取模块210，包括：第一特征提取子模块211、第二特征提取子模块212和特征融合子模块213。
获取待推送多媒体内容之后，可以由所述第一特征提取子模块211，对所述待推送多媒体内容的内容中的非文本内容进行特征提取，由所述第二特征提取子模块212，对所述待推送多媒体内容的内容中的文本内容进行特征提取，进一步地，由所述特征融合子模块213对所述第一特征提取子模块211的输出和所述第二特征提取子模块212的输出进行融合，得到所述待推送多媒体内容的多媒体内容特征。
类似的，利用所述特征提取模块210，可以得到所述N个多媒体内容的多媒体内容特征。得到所述N个多媒体内容的多媒体内容特征之后，所述特征融合模块220可以对所述N个多媒体内容的多媒体内容特征进行融合，得到融合特征。进一步地，由所述相似度计算模块230计算所述融合特征和所述待推送多媒体内容的多媒体内容特征的相似度，从而得到所述第一用户与所述待推送多媒体内容交互的可能性。
接下来，对所述机器学习模型的训练过程进行介绍。
参见图3，该图为本申请实施例提供的一种模型训练方法的流程示意图。在本实施例中，所述方法可以由客户端执行，也可以由服务器执行，本申请实施例不做具体限定。
图3所示的方法，例如可以包括以下步骤：S301-S302。
需要说明的是，模型训练的过程是一个多次迭代计算的过程，每一次迭代都可以对模型的参数进行调整，调整后的参数参与下一轮迭代计算。
图3以第一网络用户对应的多媒体内容(历史有过交互行为的多媒体内容以及并未有过交互行为的多媒体内容)为例，对该机器学习模型中的某一轮迭代过程进行介绍。可以理解的是，训练所述机器学习可以使用多个网络用户对应的多媒体内容，在训练所述机器学习模型时，每个网络用户对应的多媒体内容的处理方式类似。
S301：获取第一网络用户历史有过交互行为的M个多媒体内容以及所述第一网络用户并未有过交互行为的S个多媒体内容，M为大于2的整数，S为大于或者等于1的整数。
其中，所述第一网络用户并未有过交互行为的S个多媒体内容，可以包括推送给所述第一网络用户、但所述第一网络用户并未有过交互行为的多媒体内容，也可以包括并未推送给所述第一网络用户的多媒体内容，此处不做限定。
S302：基于所述M个多媒体内容以及所述S个多媒体内容，训练得到所述机器学习模型。
如上所述，所述机器学习模型，包括：特征提取模块、特征融合模块和相似度计算模块。在本申请实施例中，在所述模型计算的过程中，所述特征提取模块的参数和特征融合模块的参数得以更新，所述相似度计算模块的参数保持不变。
在模型训练的过程中：
可以利用所述特征提取模块，提取所述M个多媒体内容和所述S个多媒体内容的多媒体内容特征。其中，所述特征提取模块，用于基于所述M个多媒体内容的内容得到所述M个多媒体内容的多媒体内容特征，以及基于所述S个多媒体内容的内容得到所述S个多媒体内容的多媒体内容特征。关于所述特征提取模块，可以参考上文的相关描述部分，此处不再详述。
另外，可以利用所述特征融合模块计算所述M个多媒体内容中的N个多媒体内容的融合特征。其中，M大于N。关于所述特征融合模块，可以参考上文的相关描述部分，此处不再详述。
而后，基于所述融合特征、以及所述S个多媒体内容的多媒体内容特征以及所述M个多媒体内容中其它(M-N)个多媒体内容的多媒体内容特征，调整所述特征提取模块和所述特征融合模块的参数。
在一个示例中，可以基于所述融合特征和所述S个多媒体内容的多媒体内容特征，计算噪声压缩估计损失(Noise-Constrastive Estimation Loss，NCE loss)，可以基于所述融合特征以及所述M个多媒体内容中其它(M-N)个多媒体内容的多媒体内容特征计算二元交叉熵损失(binary Cross Entropy Loss，BCE loss)，而后，基于所述NCE loss和BCEloss，调整所述特征提取模块和所述特征融合模块的参数。在一个示例中，所述BCE loss可以基于所述融合特征以及所述(M-N)个多媒体内容中的若干个多媒体内容的多媒体内容特征计算得到。其中，所述若干个多媒体内容为推送给所述第一网络用户、但所述第一网络用户并未有过交互行为的多媒体内容。
示例性设备
基于以上实施例提供的方法，本申请实施例还提供了一种装置，以下结合附图介绍该装置。
参见图4，该图为本申请实施例提供的一种多媒体内容推荐装置的结构示意图。所述装置400例如可以具体包括：获取单元401、确定单元402和推荐单元403。
获取单元401，用于获取待推送多媒体内容以及第一用户有过交互行为的N个多媒体内容，N为大于或者等于1的整数；
确定单元402，用于基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性；
推荐单元403，用于在所述第一用户与所述待推送多媒体内容交互的可能性符合预设条件时，为所述第一用户推荐所述待推送多媒体内容。
可选的，所述多媒体内容的内容，包括以下任意一项或者多项：
文本内容，图像内容以及音频内容。
可选的，所述基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性，通过机器学习模型实现。
可选的，所述机器学习模型，包括：特征融合模块、特征提取模块和相似度计算模块；
所述特征融合模块，用于基于所述N个多媒体内容的内容，得到所述N个多媒体内容的融合特征；
所述特征提取模块，用于基于所述待推送多媒体内容的内容，得到所述待推送多媒体内容的多媒体内容特征；
所述相似度计算模块，用于计算所述融合特征和所述待推送多媒体内容的多媒体内容特征的相似度，得到所述第一用户与所述待推送多媒体内容交互的可能性。
可选的，所述特征提取模块，还用于基于所述N个多媒体内容中每个多媒体内容，得到所述N个多媒体内容中每个多媒体内容的多媒体内容特征；
所述特征融合模块，用于：
基于所述特征提取模块输出的所述N个多媒体内容中每个多媒体内容的多媒体内容特征，得到所述融合特征。
可选的，所述特征提取模块包括：第一特征提取子模块、第二特征提取子模块和特征融合子模块；
所述第一特征提取子模块用于对多媒体内容的内容中的非文本内容进行特征提取；
所述第二特征提取子模块用于对多媒体内容的内容中的文本内容进行特征提取；
所述特征融合子模块用于对所述第一特征提取子模块输出的特征和所述第二特征提取子模块输出的特征进行融合，得到多媒体内容特征。
可选的，所述特征融合模块采用自注意力机制和全局池化策略。
可选的，所述机器学习模型，通过如下方式训练得到：
获取第一网络用户历史有过交互行为的M个多媒体内容以及所述第一网络用户并未有过交互行为的S个多媒体内容，M为大于2的整数，S为大于或者等于1的整数；
基于所述M个多媒体内容以及所述S个多媒体内容，训练得到所述机器学习模型。
可选的，所述机器学习模型，包括：特征提取模块和特征融合模块；所述基于所述M个多媒体内容以及所述S个多媒体内容，训练得到所述机器学习模型，包括：
利用所述特征提取模块，提取所述M个多媒体内容和所述S个多媒体内容的多媒体内容特征，其中：所述特征提取模块，用于基于所述M个多媒体内容的内容得到所述M个多媒体内容的多媒体内容特征，以及基于所述S个多媒体内容的内容得到所述S个多媒体内容的多媒体内容特征；
利用所述特征融合模块计算所述M个多媒体内容中的N个多媒体内容的融合特征；
基于所述融合特征、所述S个多媒体内容的多媒体内容特征以及所述M个多媒体内容中其它(M-N)个多媒体内容的多媒体内容特征，调整所述特征提取模块和所述特征融合模块的参数。
可选的，所述装置还包括：
输出单元，用于输出所述N个多媒体内容中每个多媒体内容的多媒体内容特征。
由于所述装置400是与以上方法实施例提供的方法对应的装置，所述装置400的各个单元的具体实现，均与以上方法实施例为同一构思，因此，关于所述装置400的各个单元的具体实现，可以参考以上方法实施例的描述部分，此处不再赘述。
本申请实施例还提供了一种设备，所述设备包括处理器和存储器；
所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行以上方法实施例提供的多媒体内容推荐方法。
本申请实施例提供了一种计算机可读存储介质，包括指令，所述指令指示设备执行以上方法实施例提供的多媒体内容推荐方法。
本申请实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行以上方法实施例提供的多媒体内容推荐方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种多媒体内容推荐方法，其特征在于，所述方法包括：
获取待推送多媒体内容以及第一用户有过交互行为的N个多媒体内容，N为大于或者等于1的整数；
基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性；
在所述第一用户与所述待推送多媒体内容交互的可能性符合预设条件时，为所述第一用户推荐所述待推送多媒体内容。
2.根据权利要求1所述的方法，其特征在于，所述多媒体内容的内容，包括以下任意一项或者多项：
文本内容，图像内容以及音频内容。
3.根据权利要求1或2所述的方法，其特征在于，所述基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性，通过机器学习模型实现。
4.根据权利要求3所述的方法，其特征在于，所述机器学习模型，包括：特征融合模块、特征提取模块和相似度计算模块；
所述特征融合模块，用于基于所述N个多媒体内容的内容，得到所述N个多媒体内容的融合特征；
所述特征提取模块，用于基于所述待推送多媒体内容的内容，得到所述待推送多媒体内容的多媒体内容特征；
所述相似度计算模块，用于计算所述融合特征和所述待推送多媒体内容的多媒体内容特征的相似度，得到所述第一用户与所述待推送多媒体内容交互的可能性。
5.根据权利要求4所述的方法，其特征在于，所述特征提取模块，还用于基于所述N个多媒体内容中每个多媒体内容，得到所述N个多媒体内容中每个多媒体内容的多媒体内容特征；
所述特征融合模块，用于：
基于所述特征提取模块输出的所述N个多媒体内容中每个多媒体内容的多媒体内容特征，得到所述融合特征。
6.根据权利要求4所述的方法，其特征在于，所述特征提取模块包括：第一特征提取子模块、第二特征提取子模块和特征融合子模块；
所述第一特征提取子模块用于对多媒体内容的内容中的非文本内容进行特征提取；
所述第二特征提取子模块用于对多媒体内容的内容中的文本内容进行特征提取；
所述特征融合子模块用于对所述第一特征提取子模块输出的特征和所述第二特征提取子模块输出的特征进行融合，得到多媒体内容特征。
7.根据权利要求4所述的方法，其特征在于，所述特征融合模块采用自注意力机制和全局池化策略。
8.根据权利要求3所述的方法，其特征在于，所述机器学习模型，通过如下方式训练得到：
获取第一网络用户历史有过交互行为的M个多媒体内容以及所述第一网络用户并未有过交互行为的S个多媒体内容，M为大于2的整数，S为大于或者等于1的整数；
基于所述M个多媒体内容以及所述S个多媒体内容，训练得到所述机器学习模型。
9.根据权利要求8所述的方法，其特征在于，所述机器学习模型，包括：特征提取模块和特征融合模块；所述基于所述M个多媒体内容以及所述S个多媒体内容，训练得到所述机器学习模型，包括：
利用所述特征提取模块，提取所述M个多媒体内容和所述S个多媒体内容的多媒体内容特征，其中：所述特征提取模块，用于基于所述M个多媒体内容的内容得到所述M个多媒体内容的多媒体内容特征，以及基于所述S个多媒体内容的内容得到所述S个多媒体内容的多媒体内容特征；
利用所述特征融合模块计算所述M个多媒体内容中的N个多媒体内容的融合特征；
基于所述融合特征、所述S个多媒体内容的多媒体内容特征以及所述M个多媒体内容中其它(M-N)个多媒体内容的多媒体内容特征，调整所述特征提取模块和所述特征融合模块的参数。
10.根据权利要求5所述的方法，其特征在于，所述方法还包括：
输出所述N个多媒体内容中每个多媒体内容的多媒体内容特征。
11.一种多媒体内容推荐装置，其特征在于，所述装置包括：
获取单元，用于获取待推送多媒体内容以及第一用户有过交互行为的N个多媒体内容，N为大于或者等于1的整数；
确定单元，用于基于所述N个多媒体内容的内容和所述待推送多媒体内容的内容，确定所述第一用户与所述待推送多媒体内容交互的可能性；
推荐单元，用于在所述第一用户与所述待推送多媒体内容交互的可能性符合预设条件时，为所述第一用户推荐所述待推送多媒体内容。
12.一种设备，其特征在于，所述设备包括处理器和存储器；
所述处理器用于执行所述存储器中存储的指令，以使得所述设备执行如权利要求1至10中任一项所述的方法。
13.一种计算机可读存储介质，其特征在于，包括指令，所述指令指示设备执行如权利要求1至10中任一项所述的方法。
CN202210133881.9A 2022-02-14 2022-02-14 一种多媒体内容推荐方法及装置 Active CN114491272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210133881.9A CN114491272B (zh) 2022-02-14 2022-02-14 一种多媒体内容推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210133881.9A CN114491272B (zh) 2022-02-14 2022-02-14 一种多媒体内容推荐方法及装置

Publications (2)

Publication Number Publication Date
CN114491272A true CN114491272A (zh) 2022-05-13
CN114491272B CN114491272B (zh) 2023-09-12

Family

ID=81481149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210133881.9A Active CN114491272B (zh) 2022-02-14 2022-02-14 一种多媒体内容推荐方法及装置

Country Status (1)

Country Link
CN (1) CN114491272B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110737783A (zh) * 2019-10-08 2020-01-31 腾讯科技（深圳）有限公司 一种推荐多媒体内容的方法、装置及计算设备
CN111767461A (zh) * 2020-06-24 2020-10-13 北京奇艺世纪科技有限公司 数据处理方法及装置
CN111782968A (zh) * 2020-07-02 2020-10-16 北京字节跳动网络技术有限公司 内容推荐方法、装置、可读介质及电子设备
CN112000819A (zh) * 2019-05-27 2020-11-27 北京达佳互联信息技术有限公司 多媒体资源推荐方法、装置、电子设备及存储介质
CN112148899A (zh) * 2020-10-15 2020-12-29 腾讯科技（深圳）有限公司 多媒体推荐方法、装置、设备及存储介质
WO2021093468A1 (zh) * 2019-11-15 2021-05-20 腾讯科技（深圳）有限公司 视频分类方法、模型训练方法、装置、设备及存储介质
CN112989074A (zh) * 2021-04-23 2021-06-18 腾讯科技（深圳）有限公司 多媒体信息推荐方法、装置、电子设备及存储介质
CN112989212A (zh) * 2021-05-19 2021-06-18 腾讯科技（深圳）有限公司 媒体内容推荐方法、装置和设备及计算机存储介质
CN113190757A (zh) * 2021-05-17 2021-07-30 清华大学 多媒体资源推荐方法、装置、电子设备及存储介质
CN113269279A (zh) * 2021-07-16 2021-08-17 腾讯科技（深圳）有限公司 一种多媒体内容分类方法和相关装置
CN113469298A (zh) * 2021-09-03 2021-10-01 北京达佳互联信息技术有限公司 模型训练方法及资源推荐方法
CN113573097A (zh) * 2020-04-29 2021-10-29 北京达佳互联信息技术有限公司 视频推荐方法、装置、服务器及存储介质
CN113590849A (zh) * 2021-01-27 2021-11-02 腾讯科技（深圳）有限公司 多媒体资源分类模型训练方法和多媒体资源推荐方法
CN113609387A (zh) * 2021-07-22 2021-11-05 易视腾科技股份有限公司 播放内容推荐方法、装置、电子设备及存储介质
CN113704509A (zh) * 2021-07-30 2021-11-26 北京达佳互联信息技术有限公司 多媒体推荐方法、装置、电子设备及存储介质
WO2022021938A1 (zh) * 2020-07-30 2022-02-03 华为技术有限公司 图像处理方法与装置、神经网络训练的方法与装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112000819A (zh) * 2019-05-27 2020-11-27 北京达佳互联信息技术有限公司 多媒体资源推荐方法、装置、电子设备及存储介质
CN110737783A (zh) * 2019-10-08 2020-01-31 腾讯科技（深圳）有限公司 一种推荐多媒体内容的方法、装置及计算设备
WO2021093468A1 (zh) * 2019-11-15 2021-05-20 腾讯科技（深圳）有限公司 视频分类方法、模型训练方法、装置、设备及存储介质
CN113573097A (zh) * 2020-04-29 2021-10-29 北京达佳互联信息技术有限公司 视频推荐方法、装置、服务器及存储介质
CN111767461A (zh) * 2020-06-24 2020-10-13 北京奇艺世纪科技有限公司 数据处理方法及装置
CN111782968A (zh) * 2020-07-02 2020-10-16 北京字节跳动网络技术有限公司 内容推荐方法、装置、可读介质及电子设备
WO2022021938A1 (zh) * 2020-07-30 2022-02-03 华为技术有限公司 图像处理方法与装置、神经网络训练的方法与装置
CN112148899A (zh) * 2020-10-15 2020-12-29 腾讯科技（深圳）有限公司 多媒体推荐方法、装置、设备及存储介质
CN113590849A (zh) * 2021-01-27 2021-11-02 腾讯科技（深圳）有限公司 多媒体资源分类模型训练方法和多媒体资源推荐方法
CN112989074A (zh) * 2021-04-23 2021-06-18 腾讯科技（深圳）有限公司 多媒体信息推荐方法、装置、电子设备及存储介质
CN113190757A (zh) * 2021-05-17 2021-07-30 清华大学 多媒体资源推荐方法、装置、电子设备及存储介质
CN112989212A (zh) * 2021-05-19 2021-06-18 腾讯科技（深圳）有限公司 媒体内容推荐方法、装置和设备及计算机存储介质
CN113269279A (zh) * 2021-07-16 2021-08-17 腾讯科技（深圳）有限公司 一种多媒体内容分类方法和相关装置
CN113609387A (zh) * 2021-07-22 2021-11-05 易视腾科技股份有限公司 播放内容推荐方法、装置、电子设备及存储介质
CN113704509A (zh) * 2021-07-30 2021-11-26 北京达佳互联信息技术有限公司 多媒体推荐方法、装置、电子设备及存储介质
CN113469298A (zh) * 2021-09-03 2021-10-01 北京达佳互联信息技术有限公司 模型训练方法及资源推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
俞辉;苏博览;: "基于多模态信息挖掘融合的视频检索技术", 计算机应用与软件, no. 08, pages 211 - 214 *
王素芳;: "基于内容的多媒体融合分析与检索", 福建电脑, no. 10, pages 77 - 78 *

Also Published As

Publication number Publication date
CN114491272B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN105095508B (zh) 一种多媒体内容推荐方法和多媒体内容推荐装置
US9467744B2 (en) Comment-based media classification
US9965776B2 (en) Digital content recommendations based on user comments
US20130305282A1 (en) Topic to Social Media Identity Correlation
KR101471940B1 (ko) Tv 프로그램 콘텐츠와 웹 콘텐츠의 연계추천 장치, 시스템, 방법 및 그 방법을 실행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체
EP3367676A1 (en) Video content analysis for automatic demographics recognition of users and videos
CN110990600B (zh) 多媒体文件推荐、参数调整方法、装置、介质及电子设备
CN110019943A (zh) 视频推荐方法、装置、电子设备和存储介质
US20180167678A1 (en) Interactive media system
Chiny et al. Netflix recommendation system based on TF-IDF and cosine similarity algorithms
CN105338408B (zh) 基于时间因子的视频推荐方法
CN111209477A (zh) 一种信息推荐的方法及装置、电子设备、存储介质
KR101859620B1 (ko) 온라인 소셜 네트워크에서 신뢰성 기반의 콘텐츠 추천 방법 및 시스템
CN112100504A (zh) 内容推荐方法、装置、电子设备及存储介质
EP2452305A1 (en) Rating and novelty decay
US20190050890A1 (en) Video dotting placement analysis system, analysis method and storage medium
US8875177B1 (en) Serving video content segments
US20240147005A1 (en) System for dynamic multimedia analysis, matching and decision-making
CN113626638A (zh) 短视频推荐处理方法、装置、智能终端及存储介质
US20230316106A1 (en) Method and apparatus for training content recommendation model, device, and storage medium
CN110113410B (zh) 一种信息推送的管理方法、装置、电子设备及存储介质
CN114491272B (zh) 一种多媒体内容推荐方法及装置
JP2012222569A (ja) 番組推薦装置及び方法及びプログラム
CN114637909A (zh) 一种基于改进深度结构化语义模型的电影推荐***及方法
CN117150053A (zh) 多媒体信息推荐模型训练方法、推荐方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant