CN113742566B - 多媒体信息的推荐方法、装置、电子设备和存储介质 - Google Patents

多媒体信息的推荐方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113742566B
CN113742566B CN202010478099.1A CN202010478099A CN113742566B CN 113742566 B CN113742566 B CN 113742566B CN 202010478099 A CN202010478099 A CN 202010478099A CN 113742566 B CN113742566 B CN 113742566B
Authority
CN
China
Prior art keywords
account
live
user
determining
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010478099.1A
Other languages
English (en)
Other versions
CN113742566A (zh
Inventor
杨晓宇
卞俊杰
叶璨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202010478099.1A priority Critical patent/CN113742566B/zh
Publication of CN113742566A publication Critical patent/CN113742566A/zh
Application granted granted Critical
Publication of CN113742566B publication Critical patent/CN113742566B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种多媒体信息的推荐方法、装置、电子设备和存储介质，所述多媒体信息的推荐方法包括：响应于接收到的多媒体信息推荐请求，获取发送所述多媒体信息推荐请求的账户的历史行为特征，其中，所述历史行为特征中至少包括所述账户与直播内容的交互信息；至少根据所述账户与直播内容的交互信息确定所述账户是否为直播活跃用户；在所述账户并非直播活跃用户的情况下，根据所述账户的基本特征和所述历史行为特征判断是否在返回多媒体资源的同时向所述账户返回直播聚合页，所述历史行为特征还包括：所述账户与非直播内容的交互信息，所述直播聚合页用于汇集M个直播内容、并通过N个展示位展示所述直播聚合页，M、N为自然数，且M＞N。

Description

多媒体信息的推荐方法、装置、电子设备和存储介质
技术领域
本公开涉及互联网领域，尤其涉及一种多媒体信息的推荐方法、装置、电子设备和存储介质。
背景技术
随着网络技术的飞速发展和电子设备的应用普及，面向用户的APP应用快速发展，应用功能日趋丰富，人们的生活、工作和学习中充满着功能多样、形式繁多的应用软件。与此同时，在日益丰富的应用市场中，应用功能推荐成为提高应用功能的市场覆盖率的必要手段。
然而在相关技术中，面向所有的用户进行推荐，不对用户群体加以区分的推荐方式将对已有该应用功能使用习惯的用户造成信息干扰，而即便对用户群体进行区分后推荐，相关技术中依赖于人工经验而设定的推荐规则往往受到人工思考维度和主观认识的限制，造成识别出的待推荐用户不够准确，以致使推荐效率低下等问题。
发明内容
本公开提供了一种多媒体信息的推荐方法、装置、电子设备和存储介质，以至少解决相关技术中的技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提出一种多媒体信息的推荐方法，所述方法包括：
响应于接收到的多媒体信息推荐请求，获取发送所述多媒体信息推荐请求的账户的历史行为特征，其中，所述历史行为特征中至少包括所述账户与直播内容的交互信息；
至少根据所述账户与直播内容的交互信息确定所述账户是否为直播活跃用户；
在所述账户并非直播活跃用户的情况下，根据所述账户的基本特征和所述历史行为特征判断是否在返回多媒体资源的同时向所述账户返回直播聚合页，其中，所述历史行为特征还包括：所述账户与非直播内容的交互信息，所述直播聚合页用于汇集M个直播内容、并通过N个展示位展示所述直播聚合页，M、N为自然数，且M＞N。
可选的，所述向所述账户返回直播聚合页，包括：
在所述账户登录的应用程序的页面中展示直播聚合入口；
检测到对所述直播聚合入口的触发操作，跳转至所述直播聚合入口对应的直播聚合页面。
可选的，所述方法还包括：
在所述账户为直播活跃用户的情况下，返回与所述多媒体信息推荐请求对应的多媒体资源。
可选的，所述根据所述账户的基本特征和所述历史行为特征判断是否在返回多媒体资源的同时向所述账户返回直播聚合页，包括：
对所述账户的基本特征和所述历史行为特征进行向量化处理，以得到与所述基本特征和所述历史行为特征对应的账户特征向量；
基于训练完成的深度网络模型对所述账户特征向量进行特征提取；
根据所述深度网络模型提取的特征向量确定是否在返回多媒体资源的同时向所述账户返回直播聚合页。
可选的，所述深度网络模型包括第一网络模型和第二网络模型，所述方法还包括：
根据作为训练样本的经验池确定智能体在用户状态sj时执行推荐控制动作aj后的即时反馈rj，以根据所述即时反馈rj确定实际评估数据yj；
基于所述实际评估数据yj与由深度网络模型中的第一网络模型确定的预测评估数据Q(sj,aj)的差异调整所述第一网络模型的模型参数，以将包含模型参数调整后的第一网络模型的深度网络模型确定为所述训练完成的深度网络模型。
可选的，所述根据所述即时反馈rj确定实际评估数据yj，包括：
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长大于预设时长阈值Tmax时，将所述即时反馈rj赋值于所述实际评估数据yj；
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长不大于预设时长阈值Tmax时，根据所述即时反馈rj与由所述深度网络模型中的第二网络模型得到的对应于下一用户状态sj+1的评估数据确定所述实际评估数据yj。
可选的，所述至少根据所述账户与直播内容的交互信息确定所述账户是否为直播活跃用户，包括：
基于神经网络回归模型至少对所述账户与直播内容的交互信息进行特征提取，以根据提取的特征确定所述账户是否为直播活跃账户，其中，所述神经网络回归模型是基于用户信息样本集预先训练完成的，所述用户信息样本集中至少包括与直播内容的交互信息样本和与所述交互信息样本对应的活跃程度标注信息。
可选的，所述根据提取的特征确定所述账户是否为直播活跃账户，包括：
根据提取的特征确定所述账户为直播活跃用户的反馈值；检测到所述反馈值低于预设反馈阈值时，确定所述账户为直播非活跃用户；检测到所述反馈值不低于预设反馈阈值时，确定所述账户为直播活跃用户；或者，
根据提取的特征确定所述账户为直播活跃用户的第一反馈值，和确定所述账户为直播活跃用户的第二反馈值；检测到所述第一反馈值低于所述第二反馈值时，确定所述账户为直播非活跃用户；检测到所述第一反馈值不低于所述第二反馈值时，确定所述账户为直播活跃用户。
根据本公开实施例的第二方面，提出一种多媒体信息的推荐装置，所述装置包括：
特征获取模块，响应于接收到的多媒体信息推荐请求，获取发送所述多媒体信息推荐请求的账户的历史行为特征，其中，所述历史行为特征中至少包括所述账户与直播内容的交互信息；
用户确定模块，至少根据所述账户与直播内容的交互信息确定所述账户是否为直播活跃用户；
操作确定模块，在所述账户并非直播活跃用户的情况下，根据所述账户的基本特征和所述历史行为特征判断是否在返回多媒体资源的同时向所述账户返回直播聚合页，其中，所述历史行为特征还包括：所述账户与非直播内容的交互信息，所述直播聚合页用于汇集M个直播内容、并通过N个展示位展示所述直播聚合页，M、N为自然数，且M＞N。
可选的，所述操作确定模块具体用于：
在所述账户登录的应用程序的页面中展示直播聚合入口；
检测到对所述直播聚合入口的触发操作，跳转至所述直播聚合入口对应的直播聚合页面。
可选的，还包括：
资源返回模块，在所述账户为直播活跃用户的情况下，返回与所述多媒体信息推荐请求对应的多媒体资源。
可选的，所述操作确定模块还用于：
对所述账户的基本特征和所述历史行为特征进行向量化处理，以得到与所述基本特征和所述历史行为特征对应的账户特征向量；
基于训练完成的深度网络模型对所述账户特征向量进行特征提取；
根据所述深度网络模型提取的特征向量确定是否在返回多媒体资源的同时向所述账户返回直播聚合页。
可选的，所述深度网络模型包括第一网络模型和第二网络模型，所述装置还包括：
即时反馈确定模块，根据作为训练样本的经验池确定智能体在用户状态sj时执行推荐控制动作aj后的即时反馈rj，以根据所述即时反馈rj确定实际评估数据yj；
模型参数调整模块，基于所述实际评估数据yj与由深度网络模型中的第一网络模型确定的预测评估数据Q(sj,aj)的差异调整所述第一网络模型的模型参数，以将包含模型参数调整后的第一网络模型的深度网络模型确定为所述训练完成的深度网络模型。
可选的，所述操作确定模块还用于：
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长大于预设时长阈值Tmax时，将所述即时反馈rj赋值于所述实际评估数据yj；
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长不大于预设时长阈值Tmax时，根据所述即时反馈rj与由所述深度网络模型中的第二网络模型得到的对应于下一用户状态sj+1的评估数据确定所述实际评估数据yj。
可选的，所述用户确定模块具体用于：
基于神经网络回归模型至少对所述账户与直播内容的交互信息进行特征提取，以根据提取的特征确定所述账户是否为直播活跃账户，其中，所述神经网络回归模型是基于用户信息样本集预先训练完成的，所述用户信息样本集中至少包括与直播内容的交互信息样本和与所述交互信息样本对应的活跃程度标注信息。
可选的，所述用户确定模块还用于：
根据提取的特征确定所述账户为直播活跃用户的反馈值；检测到所述反馈值低于预设反馈阈值时，确定所述账户为直播非活跃用户；检测到所述反馈值不低于预设反馈阈值时，确定所述账户为直播活跃用户；或者，
根据提取的特征确定所述账户为直播活跃用户的第一反馈值，和确定所述账户为直播活跃用户的第二反馈值；检测到所述第一反馈值低于所述第二反馈值时，确定所述账户为直播非活跃用户；检测到所述第一反馈值不低于所述第二反馈值时，确定所述账户为直播活跃用户。
根据本公开实施例的第三方面，提出一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的多媒体信息的推荐方法。
根据本公开实施例的第四方面，提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的多媒体信息的推荐方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的多媒体信息的推荐方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
根据本公开的实施例，在接收到多媒体信息推荐请求的情况下，可以获取发送多媒体信息推荐请求的账户的历史行为特征，以根据所获取的历史行为特征确定账户是否为直播内容活跃用户，进而在账户并非直播活跃用户的情况下，根据账户的基本特征和历史行为特征判断是否在返回多媒体资源的同时向账户返回直播聚合页，通过对用户是否为直播活跃用户进行区分，能够降低因对存在直播使用习惯的用户进行直播推荐，而导致对该类用户所造成的信息干扰；此外，本公开中根据账户的基本特征和历史行为特征确定是否在返回多媒体资源的同时向账户返回直播聚合页，避免因根据人工经验而设定的固定推荐规则进行推荐而导致的推荐效率低下等问题，提高了对账户所执行的直播推荐的推荐效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据本申请一示例性实施例提供的一种多媒体信息的推荐方法的流程图；
图2是根据本申请一示例性实施例提供的一种用于多媒体信息推荐的深度网络模型训练方法的流程图；
图3是根据本申请一示例性实施例提供的另一种用于多媒体信息推荐的深度网络模型训练方法的流程图；
图4是本公开根据一示例性实施例示出的一种直播功能推荐的示意图；
图5是本公开根据一示例性实施例之一示出的一种多媒体信息的推荐装置的示意框图；
图6是本公开根据一示例性实施例之二示出的一种多媒体信息的推荐装置的示意框图；
图7是本公开根据一示例性实施例之一示出的一种用于多媒体信息推荐的深度网络模型训练装置的示意框图；
图8是本公开根据一示例性实施例之二示出的一种用于多媒体信息推荐的深度网络模型训练装置的示意框图；
图9是本公开根据一示例性实施例之三示出的一种用于多媒体信息推荐的深度网络模型训练装置的示意框图；
图10是本公开根据一示例性实施例之四示出的一种用于多媒体信息推荐的深度网络模型训练装置的示意框图；
图11是根据本公开的实施例示出的一种电子设备的示意框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
随着网络技术的飞速发展和电子设备的应用普及，面向用户的APP应用快速发展，应用功能日趋丰富，人们的生活、工作和学习中充满着功能多样、形式繁多的应用软件。与此同时，在日益丰富的应用市场中，应用功能推荐成为提高应用功能的市场覆盖率的必要手段。
诸如APP应用中可以包含视频录制、视频编辑、图片编辑、短视频共享社区等应用功能，各个应用功能对应着独立的受众群体或者各个应用功能之间存在交叉受众，通过向应用功能的非受众群体发送应用功能的推荐信息，使得非受众群体能够根据该推荐信息接触到所推荐的应用功能，甚至进一步深入了解所推荐的应用功能，从而增加所推荐的应用功能的受众群体数量。
以示例性的直播为例，在用户A使用视频录制的应用功能时，可以在视频录制的产品界面中添加其他应用功能的访问入口，诸如直播功能的聚合入口，进而使得用户通过该直播功能的聚合入口进入直播功能的产品页面，体验直播产品功能，从而使原本独立于视频录制应用功能的受众成为了视频录制功能和直播功能的交叉受众，提高了直播功能的用户使用数量。
然而在用户已经养成了关于待推荐的直播功能的良好使用习惯的情况下，重复向用户推荐直播功能势必将对用户造成干扰，降低用户与包含直播功能的产品的交互体验，正如相关技术中，若向已知的所有用户均推荐该直播功能，则不论该用户是否对待推荐的直播功能存在应用需求，均将接收到关于直播功能的推荐信息，则将对已有直播功能的使用习惯的用户造成信息干扰，影响用户对包含直播功能的产品的使用体验；若根据人工经验确定的既定规则进行直播功能的推荐，则往往受到人工思考维度或者主观认知的限制，造成用户群体划分不协调、推荐效果较差等问题。
有鉴于此，本公开提供一种多媒体信息的推荐方法、装置、电子设备和存储介质，以至少解决相关技术中存在的问题，为对本申请的技术方案进行说明，下面通过多个实施例对本申请的技术方案进行详细阐述。
图1是根据本申请一示例性实施例提供的一种多媒体信息的推荐方法的流程图，如图1所示，该方法可以包括下述步骤：
步骤101，响应于接收到的多媒体信息推荐请求，获取发送所述多媒体信息推荐请求的账户的历史行为特征，其中，所述历史行为特征中至少包括所述账户与直播内容的交互信息。
在一实施例中，在接收到多媒体信息推荐请求的情况下，可以获取发送多媒体信息推荐请求的账户的历史行为特征，其中，历史行为特征中至少包括账户与直播内容的交互信息。
具体的，可以在多媒体信息推荐请求中至少写入账户与直播内容的交互信息，以通过解析接收到的请求信息，进而至少确定出请求信息中包含的账户与直播内容的交互信息；也可以根据接收到的请求信息确定诸如用户账户、用户身份凭证等用户标识信息，进而在所维护的用户标识信息与账户与直播内容的交互信息之间的关联关系中确定匹配于用户标识信息的交互信息。
进一步的，除了账户与直播内容的交互信息之外，还可以包括用户基础信息，诸如用户的关注人数、粉丝数、年龄、性别、地域、活跃天数等信息；用户行为信息，诸如关于预设直播的曝光数、点击数、使用时长等；上下文信息，诸如在过去一段时长内预设直播的曝光率、点击率、进入直播的时长等。本公开中以示例性列举几种用户基础信息、用户行为信息、上下文信息，本公开对各种信息类别中具体所包含的信息具体形式不做限制，当前除用户基础信息、用户行为信息、上下文信息之外，根据实际应用需要增加其他的信息类别，本公开对此不做限制。
步骤102，至少根据所述账户与直播内容的交互信息确定所述账户是否为直播活跃用户。
在一实施例中，可以对账户的基本特征和历史行为特征进行向量化处理，以得到与账户的基本特征和历史行为特征所对应的账户特征向量，基于训练完成的深度网络模型对账户特征向量进行特征提取，进而根据深度网络模型所提取的特征向量确定是否在返回多媒体资源的同时向所述账户返回直播聚合页。
具体的，深度网络模型可以为用于在具有马尔科夫性质的环境中模拟智能体可实现的随机性策略与回报的序贯决策类的数学模型，诸如双深度Q网络模型(Double DeepQNetwork，DDQN)，通过训练完成的深度网络模型对账户特征向量进行特征提取，进而根据深度网络模型提取的特征向量确定是否在返回多媒体资源的同时向账户返回直播聚合页。
在实际应用中，深度网络模型可以包括第一网络模型和第二网络模型，用于进行特征提取的深度网络模型的训练过程，可以包括下述过程：根据作为训练样本的经验池确定智能体在用户状态sj时执行推荐控制动作aj后的即时反馈rj，以根据所述即时反馈rj确定实际评估数据yj；进而，基于所述实际评估数据yj与由深度网络模型中的第一网络模型确定的预测评估数据Q(sj,aj)的差异调整所述第一网络模型的模型参数，以将包含模型参数调整后的第一网络模型的深度网络模型确定为所述训练完成的深度网络模型。
进一步的，根据即时反馈rj确定实际评估数据yj的过程可以包括：检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长大于预设时长阈值Tmax时，将所述即时反馈rj赋值于所述实际评估数据yj；检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长不大于预设时长阈值Tmax时，根据所述即时反馈rj与由所述深度网络模型中的第二网络模型得到的对应于下一用户状态sj+1的评估数据确定所述实际评估数据yj。
在将待提取特征的用户状态信息进行向量化处理之前，可以对账户的基本特征和历史行为特征进行分词处理，进而根据分词处理后的词语信息进行向量化处理。具体的，可通过共现矩阵、奇异值分解等方法确定与账户的基本信息和历史行为特征对应的词向量，或者由CBOW等语言模型确定与账户的基本信息和历史行为特征对应的词向量。
在本实施例中，在基于强化学习模型对用户状态信息进行特征提取之前，可以对账户的基本信息和历史行为特征进行预处理，将待提取特征的账户的基本信息和历史行为特征进行向量化处理，以提高强化学习模型的特征提取效率。
在另一实施例中，在基于深度网络模型至少对账户与直播内容的交互信息进行特征提取之前，可以根据提取的特征确定账户是否为直播活跃账户，从而对于非直播活跃用户的账户的基本特征和历史行为特征进行特征提取，而对于直播活跃用户则无需基于进行特征提取，提高了整体的处理效率。
具体的，基于神经网络回归模型至少对账户与直播内容的交互信息进行特征提取，以根据提取的特征确定账户是否为直播活跃账户，其中，神经网络回归模型是基于用户信息样本集预先训练完成的，用户信息样本集中至少包括与直播内容的交互信息样本和与交互信息样本对应的活跃程度标注信息。
进一步的，根据提取的特征确定账户是否为直播活跃账户的过程中，可以根据提取的特征确定账户为直播活跃用户的反馈值，检测到反馈值低于预设反馈阈值时，确定账户为直播非活跃用户，检测到反馈值不低于预设反馈阈值时，确定账户为直播活跃用户；或者，根据提取的特征确定所述账户为直播活跃用户的第一反馈值，和确定所述账户为直播活跃用户的第二反馈值；检测到所述第一反馈值低于所述第二反馈值时，确定所述账户为直播非活跃用户；检测到所述第一反馈值不低于所述第二反馈值时，确定所述账户为直播活跃用户。
在本实施例中，可以至少对账户与直播内容的交互信息进行特征提取，以确定账户对直播的使用概率，进而根据账户对直播的使用概率确定账户是否为直播活跃用户。在实际应用中，与直播内容的交互信息可以包括与直播内容的历史交互行为，与直播内容进行交互的上下文信息，也可以对除账户与直播内容的交互信息之外的其他内容进行特征提取，具体内容可以根据实际应用情况进行设置。
步骤103，在所述账户并非直播活跃用户的情况下，根据所述账户的基本特征和所述历史行为特征判断是否在返回多媒体资源的同时向所述账户返回直播聚合页，其中，所述历史行为特征还包括：所述账户与非直播内容的交互信息，所述直播聚合页用于汇集M个直播内容、并通过N个展示位展示所述直播聚合页，M、N为自然数，且M＞N。
在本实施例中，可以在账户所登录的应用程序的页面中展示直播聚合入口，并在检测到对直播聚合入口的触发操作时，跳转至直播聚合入口对应的直播聚合页面。在本实施例中，通过在账户所登录的应用程序的页面中展示直播聚合入口而并非直接返回直播聚合页面，使得能够向用户返回直播聚合入口之外，还向用户展示除直播聚合入口之外的其他内容，进一步的，可以根据是否接收到对直播聚合入口的触发操作确定是否返回直播聚合页，增强用户的交互体验。
在本实施例中，可以在所述账户为直播活跃用户的情况下，返回与多媒体信息推荐请求所对应的多媒体资源。检测到账户为直播活跃用户时，则直接返回与多媒体信息推荐请求所对应的多媒体资源，而不向该账户返回直播聚合页，从而避免因返回直播聚合页而对原本直播活跃用户造成干扰。
由上述实施例可知，在接收到多媒体信息推荐请求的情况下，可以获取发送多媒体信息推荐请求的账户的历史行为特征，以根据所获取的历史行为特征确定账户是否为直播内容活跃用户，进而在账户并非直播活跃用户的情况下，根据账户的基本特征和历史行为特征判断是否在返回多媒体资源的同时向账户返回直播聚合页，通过对用户是否为直播活跃用户进行区分，能够降低因对存在直播使用习惯的用户进行直播推荐，而导致对该类用户所造成的信息干扰；此外，本公开中根据账户的基本特征和历史行为特征确定是否在返回多媒体资源的同时向账户返回直播聚合页，避免因根据人工经验而设定的固定推荐规则进行推荐而导致的推荐效率低下等问题，提高了对账户所执行的直播推荐的推荐效率。
图2是根据本申请一示例性实施例提供的一种用于多媒体信息推荐的深度网络模型训练方法的流程图，如图2所示，所述深度网络模型可以包括双深度Q网络，该训练方法可以包括下述步骤：
步骤201，初始化双深度Q网络中的当前网络Q和目标网络Q*的网络模型。
在一实施例中，初始化后的双深度Q网络中的当前网络Q和目标网络Q*可以具有相同的网络结构，诸如网络层的层数相同、网络模型的参数一致等。具体的，在对双深度Q网络中的当前网络Q和目标网络Q*进行初始化的过程中，可以通过随机赋值的形式确定当前网络Q和目标网络Q*的网络模型参数，诸如高斯随机赋值等，本公开对此不做限制。
步骤202，根据作为训练样本的经验池确定包含智能体在用户状态sj执行实际推荐控制动作aj后的即时奖赏rj的样本数据。
步骤203，根据所述即时奖赏rj确定实际价值评估值yj。
在一实施例中，可以根据检测到的用户状态sj与下一用户状态sj+1之间的间隔时长与预设时长阈值Tmax之间的关系，基于不同的方式确定实际价值评估值yj，其中，用户状态中至少包括账户的基本特征和历史行为特征，历史行为特征包括账户与非直播内容的交互信息。
具体的，在在检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长大于预设时长阈值Tmax的情况下，将所述奖励rj赋值于所述实际价值评估值yj；在检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长不大于预设时长阈值Tmax的情况下，根据所述奖励rj与由所述目标网络Q*得到的对应于下一用户状态sj+1的价值评估值确定所述实际价值评估值yj。
在本实施例中，根据用户状态与下一用户状态之间的间隔时长确定实际价值评估值的确定方式，以在用户状态与下一用户状态之间的间隔时长较短的情况下，更多地由目标网络对应于下一用户状态而得到的价值评估值确定实际价值评估值，而在用户状态与下一用户状态之间的间隔时长较长的情况下，则由接收到的即时奖赏确定实际价值评估值，实现了确定实际价值评估值过程的准确性和实际性。
进一步的，在根据奖励rj与由目标网络Q*得到的对应于下一用户状态sj+1的价值评估值确定实际价值评估值yj的过程中，可以根据用户状态sj与下一用户状态sj+1之间的间隔时长T(sj,sj+1)确定折扣系数αj，所述折扣系数αj＝γexp(-T(sj,sj+1)/Tmax)；进而根据奖励rj、折扣系数αj及由所述目标网络Q*得到的对应于下一用户状态sj+1的价值评估值确定所述实际价值评估值yj，其中，所述实际价值评估值
在本实施例中，针对相关技术中采用固定折扣系数确定实际价值评估值的方式做了进一步的改进，即由原本固定折扣系数改变为与用户状态与下一用户状态之间的间隔时长有关的动态折扣系数αj，使得在用户状态与下一用户状态之间的间隔时长较长的情况下，折扣系数动态变更为一个较小的数值，从而较少地考虑到下一用户状态价值评估值的影响，而更多地考虑即时奖赏的对实际价值评估值的影响；而在用户状态与下一用户状态之间的间隔时长较短的情况下，折扣系数动态变更为一个较大的数值，从而较多地考虑到下一用户状态的价值评估值的影响，动态折扣系数的设定使得实际价值评估值的确定过程匹配于实际的用户思维习惯，实现了实际价值评估值确定的有效性和实际性，提高了模型参数的优化效率。
步骤204，基于所述实际价值评估值yj与由当前网络Q确定的预测价值评估值Q(sj,aj)的差异调整所述当前网络Q的模型参数。
在一实施例中，可以重复下述迭代过程直至迭代次数达到预设次数阈值后，将当前网络Q的模型参数赋值给所述目标网络Q*：获取智能体执行实际推荐控制动作后的下一用户状态，根据由下一用户状态对应的样本数据而确定的实际价值评估值与预测价值评估值的差异调整当前网络Q的模型参数。
在本实施例中，在经过预设迭代次数后将当前网络Q的模型参数赋值给目标网络Q*，使得目标网络Q*的模型参数更新过程中保留一定的噪声，避免由于过拟合而导致参与误差分析的目标网络Q*失真，提高了对当前网络Q的模型参数训练的有效性。
步骤205，根据训练完成的双深度Q网络至少对账户的基本特征和历史行为特征进行特征提取，以根据由所提取的特征而确定的最优动作实施关于直播推荐控制。
在一实施例中，可以根据实际价值评估值yj与由当前网络Q确定的预测价值评估值Q(sj,aj)之间的均方差损失值确定实际价值评估值yj与由当前网络Q确定的预测价值评估值Q(sj,aj)之间的差异。具体的，实际价值评估值yj与由当前网络Q确定的预测价值评估值Q(sj,aj)之间的均方差损失值可以由损失函数而确定。
通过反向传播所确定的实际价值评估值yj与由当前网络Q确定的预测价值评估值Q(sj,aj)之间的差异，使得双深度Q网络基于梯度下降法优化双深度Q网络的模型参数，直至所确定的实际价值评估值yj与由当前网络Q确定的预测价值评估值Q(sj,aj)之间的差异低于差异阈值时，将模型参数调整后的双深度Q网络确定为训练完成的双深度Q网络。
由上述实施例可知，用于根据用户状态信息的特征而确定最优动作的双深度Q网络，可以预先由包含智能体在用户状态sj执行实际推荐控制动作aj后的即时奖赏rj的经验池中的样本数据训练而成，在训练过程中，实际价值评估值yj由即时奖赏而确定，进而根据所确定的即时奖赏与当前网络Q确定的预测价值评估值之间的差异对当前网络Q的模型参数进行调整，及时对当前网络Q的模型参数进行修正以匹配于所确定的实际价值评估值，提高了模型训练的更新效率；此外，通过预先训练完成的双深度Q网络根据用户状态进行分析，进而确定关于直播推荐控制的最优动作，不仅提高了最优动作的确定效率，而且避免了因人工思考维度或者主观认识的限制，导致识别出的待推荐用户群体准确性低下，提高了推荐直播的有效性。
本申请中可以根据预先训练完成的神经网络模型确定账户是否为直播的活跃用户，关于神经网络模型的训练过程可以如图3所示，图3是根据本申请一示例性实施例提供的另一种用于多媒体信息推荐的深度网络模型训练方法的流程图，在对神经网络模型的训练过程中具体可以涉及下述步骤：
步骤301，确定作为训练样本的活跃信息样本集，所述活跃信息样本集中包含有用户状态信息和对应于所述用户状态信息的关于直播的活跃程度标注信息。
在一实施例中，所确定的作为训练样本的活跃信息样本集，用户状态信息可以由包含有下述中的至少之一：账户的基本特征、历史行为特征，其中，历史行为特征至少包括账户与直播内容的交互信息、账户与非直播内容的交互信息等，活跃信息样本集可以由用户状态信息和对应于用户状态信息的关于直播的活跃程度标注信息构成，诸如在用户状态信息为用户基础信息a，用户行为信息b，上下文信息c的情况下，针对直播该用户状态信息对应的用户账户为活跃用户，示例性的，可以为表现为对应于用户状态信息的关于直播的活跃程度标注信息为活跃状态；而在用户状态信息为用户基础信息d，用户行为信息e，上下文信息f的情况下，针对直播该用户状态信息对应的用户账户为非活跃用户，示例性的，可以为表现为对应于用户状态信息的关于直播的活跃程度标注信息为非活跃状态。
步骤302，由所述神经网络模型对所述用户状态信息进行特征提取，以根据提取的特征确定活跃程度预测信息。
在一实施例中，可以对用户状态信息进行向量化处理，以得到与用户状态信息对应的用户状态向量，进而由神经网络模型对用户状态向量进行特征提取，以根据提取的特征确定活跃程度预测信息，该活跃程度预测信息表征了针对直播该用户状态信息对应的用户账户处于活跃状态的概率值p。
步骤303，确定所述活跃程度标注信息和所述活跃程度预测信息之间的差异，以根据反向传播的所述差异调整神经网络模型的模型参数。
在一实施例中，活跃程度标注信息和活跃程度预测信息之间的差异可以由对应于神经网络模型的损失函数而确定。具体的，损失函数L可以为L＝-x log(p)-(1-x)log(1-p)，其中，x表示活跃程度标注信息，用于表示输入神经网络模型的用户状态信息对应的用户账户实际上是否为活跃用户；p表示由神经网络模型对用户状态信息进行特征提取后，根据所提取的特征而预测的账户处于活跃状态的概率p，即活跃程度预测信息p。
进一步的，在基于损失函数确定活跃程度标注信息与活跃程度预测信息之间的损失值后，可以反向传播所确定的损失值，进而根据梯度下降法优化神经网络模型参数，直至基于损失函数确定活跃程度标注信息与活跃程度预测信息之间的损失值低于预设损失阈值的情况下，确定模型参数调整后的神经网络模型为训练完成的回归模型。
图4是本公开根据一示例性实施例示出的一种直播功能推荐的示意图，如图4所示，在检测到多媒体信息推荐请求之后，可以通过神经网络模型对发送多媒体信息推荐请求的账户的历史行为特征进行特征提取，历史行为特征至少包括所述账户与直播内容的交互信息，以根据提取的特征确定账户是否是直播活跃用户，具体的，可以将账户的基本特征和历史行为特征提供至神经网络模型，以由神经网络模型根据提取的特征确定账户是否为直播活跃用户。
具体的，在根据神经网络模型提取的特征确定账户是否为直播活跃账户的过程中，在一实施例中，可以根据提取的特征确定账户为直播活跃用户的反馈值；检测到所述反馈值低于预设反馈阈值时，确定所述账户为直播非活跃用户；检测到所述反馈值不低于预设反馈阈值时，确定所述账户为直播活跃用户。
在另一实施例中，可以根据提取的特征确定账户为直播活跃用户的第一反馈值，和确定账户为直播活跃用户的第二反馈值；检测到第一反馈值低于第二反馈值时，确定账户为直播非活跃用户；检测到第一反馈值不低于第二反馈值时，确定账户为直播活跃用户。
若由神经网络模型确定账户为直播活跃用户，则返回与所述多媒体信息推荐请求对应的多媒体资源；若由神经网络模型确定账户并非直播活跃用户，则至少将账户的基本特征和历史行为特征提供至深度网络模型，以至少根据账户的基本特征和所述历史行为特征确定在返回多媒体资源的同时是否向所述账户返回直播聚合页，其中，深度网络模型可以包括上述实施例中提及到的预先训练完成的双深度Q网络。
在实际应用中，向所述账户返回直播聚合页的过程可以为在账户登录的应用程序的页面中展示直播聚合入口；进而检测到对所述直播聚合入口的触发操作，跳转至所述直播聚合入口对应的直播聚合页面。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。
其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例。
与前述图像编辑方法的实施例相对应地，本公开还提出了图像编辑装置的实施例。
图5是本公开根据一示例性实施例之一示出的一种多媒体信息的推荐装置的示意框图。本实施例所示的多媒体信息的推荐装置可以适用于视频播放应用，所述应用适用于终端，所述终端包括但不限于手机、平板电脑、可穿戴设备、个人计算机等电子设备。所述视频播放应用可以是安装在终端中的应用程序，也可以是集成在浏览器中的网页版应用，用户可以通过视频播放应用播放视频，其中，所述播放的视频可以是长视频，例如电影、电视剧，也可以是短视频，例如视频剪辑、情景短剧等。
参照图5，该装置可以包括特征获取模块501、用户确定模块502、操作确定模块503；其中，
特征获取模块501，响应于接收到的多媒体信息推荐请求，获取发送所述多媒体信息推荐请求的账户的历史行为特征，其中，所述历史行为特征中至少包括所述账户与直播内容的交互信息；
用户确定模块502，至少根据所述账户与直播内容的交互信息确定所述账户是否为直播活跃用户；
操作确定模块503，在所述账户并非直播活跃用户的情况下，根据所述账户的基本特征和所述历史行为特征判断是否在返回多媒体资源的同时向所述账户返回直播聚合页，其中，所述历史行为特征还包括：所述账户与非直播内容的交互信息，所述直播聚合页用于汇集M个直播内容、并通过N个展示位展示所述直播聚合页，M、N为自然数，且M＞N。
可选的，所述操作确定模块503具体用于：
在所述账户登录的应用程序的页面中展示直播聚合入口；
检测到对所述直播聚合入口的触发操作，跳转至所述直播聚合入口对应的直播聚合页面。
可选的，所述操作确定模块503还用于：
对所述账户的基本特征和所述历史行为特征进行向量化处理，以得到与所述基本特征和所述历史行为特征对应的账户特征向量；
基于训练完成的深度网络模型对所述账户特征向量进行特征提取；
根据所述深度网络模型提取的特征向量确定是否在返回多媒体资源的同时向所述账户返回直播聚合页。
可选的，所述深度网络模型包括第一网络模型和第二网络模型，所述操作确定模块503还用于：
即时反馈确定模块，根据作为训练样本的经验池确定智能体在用户状态sj时执行推荐控制动作aj后的即时反馈rj，以根据所述即时反馈rj确定实际评估数据yj；
模型参数调整模块，基于所述实际评估数据yj与由深度网络模型中的第一网络模型确定的预测评估数据Q(sj,aj)的差异调整所述第一网络模型的模型参数，以将包含模型参数调整后的第一网络模型的深度网络模型确定为所述训练完成的深度网络模型。
可选的，所述操作确定模块503还用于：
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长大于预设时长阈值Tmax时，将所述即时反馈rj赋值于所述实际评估数据yj；
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长不大于预设时长阈值Tmax时，根据所述即时反馈rj与由所述深度网络模型中的第二网络模型得到的对应于下一用户状态sj+1的评估数据确定所述实际评估数据yj。
可选的，所述用户确定模块502具体用于：
基于神经网络回归模型至少对所述账户与直播内容的交互信息进行特征提取，以根据提取的特征确定所述账户是否为直播活跃账户，其中，所述神经网络回归模型是基于用户信息样本集预先训练完成的，所述用户信息样本集中至少包括与直播内容的交互信息样本和与所述交互信息样本对应的活跃程度标注信息。
可选的，所述用户确定模块502还用于：
根据提取的特征确定所述账户为直播活跃用户的反馈值；检测到所述反馈值低于预设反馈阈值时，确定所述账户为直播非活跃用户；检测到所述反馈值不低于预设反馈阈值时，确定所述账户为直播活跃用户；或者，
根据提取的特征确定所述账户为直播活跃用户的第一反馈值，和确定所述账户为直播活跃用户的第二反馈值；检测到所述第一反馈值低于所述第二反馈值时，确定所述账户为直播非活跃用户；检测到所述第一反馈值不低于所述第二反馈值时，确定所述账户为直播活跃用户。
如图6所示，图6是本公开根据一示例性实施例之二示出的一种多媒体信息的推荐装置的示意框图，该实施例在前述图5所示实施例的基础上，还可以包括资源返回模块504：
资源返回模块504，在所述账户为直播活跃用户的情况下，返回与所述多媒体信息推荐请求对应的多媒体资源。
图7是本公开根据一示例性实施例之一示出的一种用于多媒体信息推荐的深度网络模型训练装置的示意框图。本实施例所示的用于多媒体信息推荐的深度网络模型训练装置可以适用于视频播放应用，所述应用适用于终端，所述终端包括但不限于手机、平板电脑、可穿戴设备、个人计算机等电子设备。所述视频播放应用可以是安装在终端中的应用程序，也可以是集成在浏览器中的网页版应用，用户可以通过视频播放应用播放视频，其中，所述播放的视频可以是长视频，例如电影、电视剧，也可以是短视频，例如视频剪辑、情景短剧等。
参照图7，该装置可以包括模型初始化模块701、样本数据确定模块702、评估值确定模块703、第一参数调整模块704、第一特征提取模块705；其中，
模型初始化模块701，初始化双深度Q网络中的当前网络Q和目标网络Q*的网络模型；
样本数据确定模块702，根据作为训练样本的经验池确定包含智能体在用户状态sj执行实际推荐控制动作aj后的即时奖赏rj的样本数据；
评估值确定模块703，根据所述即时奖赏rj确定实际价值评估值yj；
第一参数调整模块704，基于所述实际价值评估值yj与由当前网络Q确定的预测价值评估值Q(sj,aj)的差异调整所述当前网络Q的模型参数；
第一特征提取模块705，根据训练完成的双深度Q网络至少对账户的基本特征和历史行为特征进行特征提取，以根据由所提取的特征而确定的最优动作实施关于直播推荐控制。
可选的，还包括：
模型参数确定模块712，在所述损失值低于预设阈值时的模型参数确定为训练完成的神经网络模型的模型参数。
如图8所示，图8是本公开根据一示例性实施例之二示出的一种用于多媒体信息推荐的深度网络模型训练装置的示意框图，该实施例在前述图7所示实施例的基础上，还可以包括：状态获取模块706、第二参数调整模块707、参数赋值模块708；其中，
状态获取模块706，获取智能体执行实际推荐控制动作后的下一用户状态；
第二参数调整模块707，根据由所述下一用户状态对应的样本数据而确定的实际价值评估值与预测价值评估值的差异调整当前网络Q的模型参数；
参数赋值模块708，在重复执行上述两个步骤的次数达到预设次数阈值的情况下，将所述当前网络Q的模型参数赋值给所述目标网络Q*。
如图9所示，图9是本公开根据一示例性实施例之三示出的一种用于多媒体信息推荐的深度网络模型训练装置的示意框图，该实施例在前述图7所示实施例的基础上，还可以包括：样本集确定模块709、第二特征提取模块710、第三参数调整模块711；其中，
样本集确定模块709，确定作为训练样本的活跃信息样本集，所述活跃信息样本集中包含有用户状态信息和对应于所述用户状态信息的关于直播的活跃程度标注信息；
第二特征提取模块710，由所述神经网络模型对所述用户状态信息进行特征提取，以根据提取的特征确定活跃程度预测信息；
第三参数调整模块711，确定所述活跃程度标注信息和所述活跃程度预测信息之间的差异，以根据反向传播的所述差异调整神经网络模型的模型参数。
如图10所示，图10是本公开根据一示例性实施例之四示出的一种用于多媒体信息推荐的深度网络模型训练装置的示意框图，该实施例在前述图7所示实施例的基础上，所述评估值确定模块703可以包括：赋值子模块7031、评估值确定子模块7032；其中，
赋值子模块7031，在检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长大于预设时长阈值Tmax的情况下，将所述即时奖励rj赋值于所述实际价值评估值yj；
评估值确定子模块7032，在检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长不大于预设时长阈值Tmax的情况下，根据所述奖励rj与由所述目标网络Q*得到的对应于下一用户状态sj+1的价值评估值确定所述实际价值评估值yj。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本公开的实施例还提出一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的多媒体信息的推荐方法。
本公开的实施例还提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的多媒体信息的推荐方法。
本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的多媒体信息的推荐方法。
图11是根据本公开的实施例示出的一种电子设备的示意框图。例如，电子设备1100可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图11，电子设备1100可以包括以下一个或多个组件：处理组件1102，存储器1104，电源组件1106，多媒体组件1108，音频组件1110，输入/输出(I/O)的接口1113，传感器组件1114，以及通信组件1116。
处理组件1102通常控制电子设备1100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1102可以包括一个或多个处理器1120来执行指令，以完成上述多媒体信息的推荐方法的全部或部分步骤。此外，处理组件1102可以包括一个或多个模块，便于处理组件1102和其他组件之间的交互。例如，处理组件1102可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。
存储器1104被配置为存储各种类型的数据以支持在电子设备1100的操作。这些数据的示例包括用于在电子设备1100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1106为电子设备1100的各种组件提供电力。电源组件1106可以包括电源管理***，一个或多个电源，及其他与为电子设备1100生成、管理和分配电力相关联的组件。
多媒体组件1108包括在电子设备1100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括一个前置摄像头和/或后置摄像头。当电子设备1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括一个麦克风(MIC)，当电子设备1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括一个扬声器，用于输出音频信号。
I/O接口1113为处理组件1102和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1114包括一个或多个传感器，用于为电子设备1100提供各个方面的状态评估。例如，传感器组件1114可以检测到电子设备1100的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1100的显示器和小键盘，传感器组件1114还可以检测电子设备1100或电子设备1100一个组件的位置改变，用户与电子设备1100接触的存在或不存在，电子设备1100方位或加速/减速和电子设备1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1116被配置为便于电子设备1100和其他设备之间有线或无线方式的通信。电子设备1100可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1116经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在本公开一实施例中，电子设备1100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述多媒体信息的推荐方法。
在本公开一实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1104，上述指令可由电子设备1100的处理器1120执行以完成上述多媒体信息的推荐方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (18)

1.一种多媒体信息的推荐方法，其特征在于，所述方法包括：
响应于接收到的多媒体信息推荐请求，获取发送所述多媒体信息推荐请求的账户的历史行为特征，其中，所述历史行为特征中至少包括所述账户与直播内容的交互信息；
至少根据所述账户与直播内容的交互信息确定所述账户是否为直播活跃用户；
在所述账户并非直播活跃用户的情况下，根据所述账户的基本特征和所述历史行为特征判断是否在返回多媒体资源的同时向所述账户返回直播聚合页，其中，所述历史行为特征还包括：所述账户与非直播内容的交互信息，所述直播聚合页用于汇集M个直播内容、并通过N个展示位展示所述直播聚合页，M、N为自然数，且M＞N。
2.根据权利要求1所述方法，其特征在于，所述向所述账户返回直播聚合页，包括：
在所述账户登录的应用程序的页面中展示直播聚合入口；
检测到对所述直播聚合入口的触发操作，跳转至所述直播聚合入口对应的直播聚合页面。
3.根据权利要求1所述方法，其特征在于，所述方法还包括：
在所述账户为直播活跃用户的情况下，返回与所述多媒体信息推荐请求对应的多媒体资源。
4.根据权利要求1所述方法，其特征在于，所述根据所述账户的基本特征和所述历史行为特征判断是否在返回多媒体资源的同时向所述账户返回直播聚合页，包括：
对所述账户的基本特征和所述历史行为特征进行向量化处理，以得到与所述基本特征和所述历史行为特征对应的账户特征向量；
基于训练完成的深度网络模型对所述账户特征向量进行特征提取；
根据所述深度网络模型提取的特征向量确定是否在返回多媒体资源的同时向所述账户返回直播聚合页。
5.根据权利要求4所述方法，其特征在于，所述深度网络模型包括第一网络模型和第二网络模型，所述方法还包括：
根据作为训练样本的经验池确定智能体在用户状态sj时执行推荐控制动作aj后的即时Q反馈rj，以根据所述即时反馈rj确定实际评估数据yj；
基于所述实际评估数据yj与由深度网络模型中的第一网络模型确定的预测评估数据Q(sj,aj)的差异调整所述第一网络模型的模型参数，以将包含模型参数调整后的第一网络模型的深度网络模型确定为所述训练完成的深度网络模型。
6.根据权利要求5所述方法，其特征在于，所述根据所述即时反馈rj确定实际评估数据yj，包括：
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长大于预设时长阈值Tmax时，将所述即时反馈rj赋值于所述实际评估数据yj；
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长不大于预设时长阈值Tmax时，根据所述即时反馈rj与由所述深度网络模型中的第二网络模型得到的对应于下一用户状态sj+1的评估数据确定所述实际评估数据yj。
7.根据权利要求1所述方法，其特征在于，所述至少根据所述账户与直播内容的交互信息确定所述账户是否为直播活跃用户，包括：
基于神经网络回归模型至少对所述账户与直播内容的交互信息进行特征提取，以根据提取的特征确定所述账户是否为直播活跃账户，其中，所述神经网络回归模型是基于用户信息样本集预先训练完成的，所述用户信息样本集中至少包括与直播内容的交互信息样本和与所述交互信息样本对应的活跃程度标注信息。
8.根据权利要求7所述方法，其特征在于，所述根据提取的特征确定所述账户是否为直播活跃账户，包括：
根据提取的特征确定所述账户为直播活跃用户的反馈值；检测到所述反馈值低于预设反馈阈值时，确定所述账户为直播非活跃用户；检测到所述反馈值不低于预设反馈阈值时，确定所述账户为直播活跃用户；或者，
根据提取的特征确定所述账户为直播活跃用户的第一反馈值，和确定所述账户为直播活跃用户的第二反馈值；检测到所述第一反馈值低于所述第二反馈值时，确定所述账户为直播非活跃用户；检测到所述第一反馈值不低于所述第二反馈值时，确定所述账户为直播活跃用户。
9.一种多媒体信息的推荐装置，其特征在于，所述装置包括：
特征获取模块，响应于接收到的多媒体信息推荐请求，获取发送所述多媒体信息推荐请求的账户的历史行为特征，其中，所述历史行为特征中至少包括所述账户与直播内容的交互信息；
用户确定模块，至少根据所述账户与直播内容的交互信息确定所述账户是否为直播活跃用户；
操作确定模块，在所述账户并非直播活跃用户的情况下，根据所述账户的基本特征和所述历史行为特征判断是否在返回多媒体资源的同时向所述账户返回直播聚合页，其中，所述历史行为特征还包括：所述账户与非直播内容的交互信息，所述直播聚合页用于汇集M个直播内容、并通过N个展示位展示所述直播聚合页，M、N为自然数，且M＞N。
10.根据权利要求9所述装置，其特征在于，所述操作确定模块具体用于：
在所述账户登录的应用程序的页面中展示直播聚合入口；
检测到对所述直播聚合入口的触发操作，跳转至所述直播聚合入口对应的直播聚合页面。
11.根据权利要求9所述装置，其特征在于，还包括：
资源返回模块，在所述账户为直播活跃用户的情况下，返回与所述多媒体信息推荐请求对应的多媒体资源。
12.根据权利要求9所述装置，其特征在于，所述操作确定模块还用于：
对所述账户的基本特征和所述历史行为特征进行向量化处理，以得到与所述基本特征和所述历史行为特征对应的账户特征向量；
基于训练完成的深度网络模型对所述账户特征向量进行特征提取；
根据所述深度网络模型提取的特征向量确定是否在返回多媒体资源的同时向所述账户返回直播聚合页。
13.根据权利要求12所述装置，其特征在于，所述深度网络模型包括第一网络模型和第二网络模型，所述装置还包括：
即时反馈确定模块，根据作为训练样本的经验池确定智能体在用户状态sj时执行推荐控制动作aj后的即时反馈rj，以根据所述即时反馈rj确定实际评估数据yj；
模型参数调整模块，基于所述实际评估数据yj与由深度网络模型中的第一网络模型确定的预测评估数据Q(sj,aj)的差异调整所述第一网络模型的模型参数，以将包含模型参数调整后的第一网络模型的深度网络模型确定为所述训练完成的深度网络模型。
14.根据权利要求13所述装置，其特征在于，所述操作确定模块还用于：
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长大于预设时长阈值Tmax时，将所述即时反馈rj赋值于所述实际评估数据yj；
检测到所述用户状态sj与下一用户状态sj+1之间的间隔时长不大于预设时长阈值Tmax时，根据所述即时反馈rj与由所述深度网络模型中的第二网络模型得到的对应于下一用户状态sj+1的评估数据确定所述实际评估数据yj。
15.根据权利要求9所述装置，其特征在于，所述用户确定模块具体用于：
基于神经网络回归模型至少对所述账户与直播内容的交互信息进行特征提取，以根据提取的特征确定所述账户是否为直播活跃账户，其中，所述神经网络回归模型是基于用户信息样本集预先训练完成的，所述用户信息样本集中至少包括与直播内容的交互信息样本和与所述交互信息样本对应的活跃程度标注信息。
16.根据权利要求15所述装置，其特征在于，所述用户确定模块还用于：
根据提取的特征确定所述账户为直播活跃用户的反馈值；检测到所述反馈值低于预设反馈阈值时，确定所述账户为直播非活跃用户；检测到所述反馈值不低于预设反馈阈值时，确定所述账户为直播活跃用户；或者，
根据提取的特征确定所述账户为直播活跃用户的第一反馈值，和确定所述账户为直播活跃用户的第二反馈值；检测到所述第一反馈值低于所述第二反馈值时，确定所述账户为直播非活跃用户；检测到所述第一反馈值不低于所述第二反馈值时，确定所述账户为直播活跃用户。
17.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为可执行指令，以实现如权利要求1至8中任一项所述的多媒体信息的推荐方法。
18.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至8中任一项所述的多媒体信息的推荐方法。
CN202010478099.1A 2020-05-29 2020-05-29 多媒体信息的推荐方法、装置、电子设备和存储介质 Active CN113742566B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010478099.1A CN113742566B (zh) 2020-05-29 2020-05-29 多媒体信息的推荐方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010478099.1A CN113742566B (zh) 2020-05-29 2020-05-29 多媒体信息的推荐方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113742566A CN113742566A (zh) 2021-12-03
CN113742566B true CN113742566B (zh) 2024-01-02

Family

ID=78724943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010478099.1A Active CN113742566B (zh) 2020-05-29 2020-05-29 多媒体信息的推荐方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113742566B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105099894A (zh) * 2015-08-28 2015-11-25 广州酷狗计算机科技有限公司 消息推送方法、装置及***
CN107613309A (zh) * 2017-08-29 2018-01-19 武汉斗鱼网络科技有限公司 直播资源自定义分配方法、存储介质、电子设备及***
CN109345324A (zh) * 2018-02-07 2019-02-15 深圳壹账通智能科技有限公司 应用功能推荐方法、装置、计算机设备和存储介质
CN109511015A (zh) * 2018-08-10 2019-03-22 腾讯科技（深圳）有限公司 多媒体资源推荐方法、装置、存储介质及设备
CN110020192A (zh) * 2018-07-31 2019-07-16 北京微播视界科技有限公司 一种信息内容推送方法和装置、服务端设备
CN110489641A (zh) * 2019-07-16 2019-11-22 阿里巴巴集团控股有限公司 一种信息推荐数据处理方法及装置
CN111079012A (zh) * 2019-12-13 2020-04-28 广州酷狗计算机科技有限公司 直播间推荐方法、装置、存储介质及终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105099894A (zh) * 2015-08-28 2015-11-25 广州酷狗计算机科技有限公司 消息推送方法、装置及***
CN107613309A (zh) * 2017-08-29 2018-01-19 武汉斗鱼网络科技有限公司 直播资源自定义分配方法、存储介质、电子设备及***
CN109345324A (zh) * 2018-02-07 2019-02-15 深圳壹账通智能科技有限公司 应用功能推荐方法、装置、计算机设备和存储介质
CN110020192A (zh) * 2018-07-31 2019-07-16 北京微播视界科技有限公司 一种信息内容推送方法和装置、服务端设备
CN109511015A (zh) * 2018-08-10 2019-03-22 腾讯科技（深圳）有限公司 多媒体资源推荐方法、装置、存储介质及设备
CN110489641A (zh) * 2019-07-16 2019-11-22 阿里巴巴集团控股有限公司 一种信息推荐数据处理方法及装置
CN111079012A (zh) * 2019-12-13 2020-04-28 广州酷狗计算机科技有限公司 直播间推荐方法、装置、存储介质及终端

Also Published As

Publication number Publication date
CN113742566A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN108121736B (zh) 一种主题词确定模型的建立方法、装置及电子设备
CN111859020B (zh) 推荐方法、装置、电子设备及计算机可读存储介质
CN111160448B (zh) 一种图像分类模型的训练方法及装置
CN109961094B (zh) 样本获取方法、装置、电子设备及可读存储介质
CN112445970B (zh) 一种信息推荐方法、装置、电子设备及存储介质
CN111428032B (zh) 内容质量评价方法及装置、电子设备、存储介质
CN109670632B (zh) 广告点击率的预估方法、广告点击率的预估装置、电子设备及存储介质
CN112148980B (zh) 基于用户点击的物品推荐方法、装置、设备和存储介质
CN111984821A (zh) 确定视频动态封面的方法、装置、存储介质及电子设备
CN110941727B (zh) 一种资源推荐方法、装置、电子设备及存储介质
CN112148923A (zh) 搜索结果的排序方法、排序模型的生成方法、装置及设备
CN117453933A (zh) 一种多媒体数据推荐方法、装置、电子设备及存储介质
CN113343028A (zh) 意图确定模型的训练方法和装置
CN112328809A (zh) 实体分类方法、装置及计算机可读存储介质
CN112784151B (zh) 一种确定推荐信息的方法及相关装置
CN111859097B (zh) 数据处理方法、装置、电子设备及存储介质
CN110297970B (zh) 信息推荐模型训练方法及装置
CN113742566B (zh) 多媒体信息的推荐方法、装置、电子设备和存储介质
CN112732374A (zh) 一种页面展示方法、展示装置、电子设备及存储介质
CN113656637B (zh) 视频推荐方法、装置、电子设备及存储介质
CN111428806B (zh) 图像标签确定方法、装置、电子设备及存储介质
CN111291268B (zh) 信息处理方法、信息处理装置及存储介质
CN111221710B (zh) 一种识别用户类型的方法、装置和设备
CN112256892A (zh) 视频推荐方法、装置、电子设备及存储介质
CN113742199A (zh) 功能测试方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant