CN112653908A - 一种智能电视媒资实时推荐方法 - Google Patents
一种智能电视媒资实时推荐方法 Download PDFInfo
- Publication number
- CN112653908A CN112653908A CN202011519415.1A CN202011519415A CN112653908A CN 112653908 A CN112653908 A CN 112653908A CN 202011519415 A CN202011519415 A CN 202011519415A CN 112653908 A CN112653908 A CN 112653908A
- Authority
- CN
- China
- Prior art keywords
- user
- recommendation
- portrait
- real
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/252—Processing of multiple end-users' preferences to derive collaborative data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种智能电视媒资实时推荐方法,通过Flink实时接收来自用户的搜索,观影记录,观影时长等信息与媒资库维度表进行join,然后进行画像维度的加权叠加计算,画像的修正,输入画像值推荐模型更新推荐集,最后推送推荐内容至终端。利用Flink流式处理对用户行为数据实时分析、实时更新推荐内容,时延从MapReduce方式的天级别提升到秒级,利用画像修正模块解决了误点击造成的错误推荐问题。
Description
技术领域
本发明涉及智能电视技术领域,具体涉及一种智能电视媒资实时推荐方法。
背景技术
目前智能电视媒资个性化推荐领域大多采用MapReduce等离线分析手段进行用户画像的构建和推荐内容的生成。MapReduce批处理的特点导致用户的行为数据不能得到及时的处理分析,导致用户的行为从产生到推荐***针对该行为推荐符合用户口味的影视这一过程存在很大延时,这就导致了推荐内容更新频率低,终端呈现内容不能随用户行为实时动态更新问题。同时由于离线分析不能很好的计算用户观影时长,不能进行用户画像的负反馈导致误推荐问题。
发明内容
本发明为了解决上述技术问题,提供了一种智能电视媒资实时推荐方法,该方法可以实时分析用户行为,使推荐内容更加实时,推荐结果更加精准。
为了达到上述技术效果,本发明提供了如下技术方案:
一种智能电视媒资实时推荐方法,包括以下步骤:
(1)为了采集原始行为数据本专利利用FLume实时分发大数据平台的用户行为数据,Filebeat实时感知搜索日志注并注入消息队列kafka,得到原始数据流A。引入Kafka实现数据的缓冲,缓解了计算模块的计算压力。
(2)数据流A是加密的非结构化日志流数据,且含有重复数据,不便于业务处理。为了得到无重复结构化数据流B,利用Flink主动消费消息队列Kafka中数据流A解密,并利用Flink MapState对行为数据去重,利用Flink的Map,FlatMap算子以及自定义的ProcessFunction对行为数据进行结构化,得到Pojo类型的行为数据并输入消息队列Kafka中。由于Flink的流式、分布式处理特点,数据的去重以及结构化的时延都是在秒级别,对比传统的离线分析时延均在天级别的优势显著,这一优势也解决了推荐***中数据分析延时问题,也是本专利的核心步骤。
(3)维度表Join:利用异步线程将媒资库影视维度表载入内存且定时刷新,利用数据流B中影视id与内存中的影视维度表Join,形成关联后的数据流C;达到行为与影视多维度信息关联的目的。
(4)画像加权计算:配置不同动作权重值,用户的不同动作代表这对影片的感兴趣程度,依据用户行为数据流C的画像维度进行加权并与已有状态进行Reduce,生成实时画像P。达到根据动作区分行为对画像影响程度的目的。创新的采用行为对画像加权的方式更精准的计算用户画像。
(5)更新推荐内容:将实时画像数据P输入推荐模型,得到用户推荐集R,存入Redis数据库;
(6)修正画像及推荐集:画像P及推荐集R可能是用户误点击形成,用户退出影片播放时,计算出观看用户观看时长d,结合影片时长L,通过d/L计算出用户对该影片的喜好程度值,若d/L低于阈值Y则对影片信息维度降权,若d/L高于阈值Y则对影片信息维度进行加权,得到新的画像P’,将新的画像输入模型再次生成推荐内容,存入Redis数据库覆盖已有推荐集R’。
进一步的技术方案为,该方法还包括将每个用户行为对应一个权重值,配置在权重中心。
进一步的技术方案为,所述用户行为包括浏览、观看、退出观看、收藏、移除收藏、搜索。
与现有技术相比,本发明具有如下有益效果:本发明通过实时分析用户行为,采用画像修整模块,使得推荐内容更加实时,推荐结果更加精准。
附图说明
图1为本发明的实时媒资推荐***的流程图。
具体实施方式
下面结合具体实施例对本发明进行进一步的解释和说明。
如图1所示,本发明提供了一种智能电视媒资实时推荐方法,包括以下步骤:
(1)为了采集原始行为数据本专利利用FLume实时分发大数据平台的用户行为数据,Filebeat实时感知搜索日志注并注入消息队列kafka,得到原始数据流A。引入Kafka实现数据的缓冲,缓解了计算模块的计算压力。
(2)数据流A是加密的非结构化日志流数据,且含有重复数据,不便于业务处理。为了得到无重复结构化数据流B,利用Flink主动消费消息队列Kafka中数据流A解密,并利用Flink MapState对行为数据去重,利用Flink的Map,FlatMap算子以及自定义的ProcessFunction对行为数据进行结构化,得到Pojo类型的行为数据并输入消息队列Kafka中。由于Flink的流式、分布式处理特点,数据的去重以及结构化的时延都是在秒级别,对比传统的离线分析时延均在天级别的优势显著,这一优势也解决了推荐***中数据分析延时问题,也是本专利的核心步骤。
(3)维度表Join:利用异步线程将媒资库影视维度表载入内存且定时刷新,利用数据流B中影视id与内存中的影视维度表Join,形成关联后的数据流C;达到行为与影视多维度信息关联的目的。
(4)画像加权计算:配置不同动作权重值,用户的不同动作代表这对影片的感兴趣程度,依据用户行为数据流C的画像维度进行加权并与已有状态进行Reduce,生成实时画像P。达到根据动作区分行为对画像影响程度的目的。创新的采用行为对画像加权的方式更精准的计算用户画像。
(5)更新推荐内容:将实时画像数据P输入推荐模型,得到用户推荐集R,存入Redis数据库;
(6)修正画像及推荐集:画像P及推荐集R可能是用户误点击形成,用户退出影片播放时,计算出观看用户观看时长d,结合影片时长L,通过d/L计算出用户对该影片的喜好程度值,若d/L低于阈值Y则对影片信息维度降权,若d/L高于阈值Y则对影片信息维度进行加权,得到新的画像P’,将新的画像输入模型再次生成推荐内容,存入Redis数据库覆盖已有推荐集R’。
实施例1
下面通过一个具体案例对本发明进行进一步的说明,具体包括以下步骤:
S1.mac地址是“00:00:00:00:00:0”终端正在观看“大话西游这部影片”,***得到用户行为信息;
{“mac”:”00:00:00:00:00:00”,“action”:“start”,“id”:“ajfla134141551”,“eventTime”:1290310913}
S2.利用行为信息中影片id字段进行媒资库维表jion得到加宽的行为数据;
{“mac”:”00:00:00:00:00:00”,“action”:“start”,“id”:“ajfla134141551”,“tag”:[“爱情”,“喜剧”],“type”:”movie”,“videoLen”:120“actor”:[“周星驰”,“朱茵”],“eventTime”:1290320913}
S3.基于action字段对加宽的数据进行加权计算,示例action为start,为每个维度加上start行为的权重2,得到
{“mac”:”00:00:00:00:00:00”,“action”:“start”,“id”:“ajfla134141551”,“tag”:[“爱情:2”,“喜剧:2”],“type”:”movie”,“videoLen”:120,“actor”:[“周星驰:2”,“朱茵:2”]...}
S4.将得到的画像状态存储在Flink的状态中,并输入推荐模型得到推荐内容;
S5.用户退出播放,计算观看时长结合影片时长videoLen,生成喜好程度值,根绝喜好程度值对画像各个维度的权重值修正,如计算出的喜好程度偏低我们则对该影片对应的画像维度做降权得到;
{“mac”:”00:00:00:00:00:00”,“action”:“start”,“id”:“ajfla134141551”,“tag”:[“爱情:0.5”,“喜剧:0.5”],“type”:”movie”,“videoLen”:120,“actor”:[“周星驰:0.5”,“朱茵:0.5”]...}
并持久化画像至flink状态中。
S6.利用修正后的画像输入模型再次得到推荐内容;
S7.新的行为数据到来时先与flink状态中的画像叠加,保证用户历史兴趣被纳入分析;再重复上述步骤。
尽管这里参照本发明的解释性实施例对本发明进行了描述,上述实施例仅为本发明较佳的实施方式,本发明的实施方式并不受上述实施例的限制,应该理解,本领域技术人员可以设计出很多其他的修改和实施方式,这些修改和实施方式将落在本申请公开的原则范围和精神之内。
Claims (5)
1.一种智能电视媒资实时推荐方法,其特征在于,包括以下步骤:
(1)进行数据采集得到数据流A;
(2)将数据流A进行实时数据清洗得到数据流B;
(3)维度表Join:利用异步线程将媒资库影视维度表载入内存且定时刷新,利用数据流B中影视id与内存中的影视维度表Join,形成关联后的数据流C;
(4)画像加权计算:依据用户行为数据流C的画像维度进行加权并与已有状态进行Reduce,生成实时画像P;
(5)更新推荐内容:将实时画像数据P输入推荐模型,得到用户推荐集R,存入Redis数据库;
(6)修正画像及推荐集:画像P及推荐集R可能是用户误点击形成,用户退出影片播放时,计算出观看用户观看时长d,结合影片时长L,通过d/L计算出用户对该影片的喜好程度值,若d/L低于阈值Y则对影片信息维度降权,若d/L高于阈值Y则对影片信息维度进行加权,得到新的画像P’,将新的画像输入模型再次生成推荐内容,存入Redis数据库覆盖已有推荐集R’。
2.根据权利要求1所述的智能电视媒资实时推荐方法,其特征在于,所述步骤(1)具体为利用FLume实时分发大数据平台的用户行为数据,Filebeat实时感知搜索日志注并注入消息队列kafka,得到原始数据流A。
3.根据权利要求1所述的智能电视媒资实时推荐方法,其特征在于,所述步骤(2)具体为利用Flink主动消费消息队列Kafka中数据流A解密,并利用Flink MapState对行为数据去重,利用Flink的Map,FlatMap算子以及自定义的ProcessFunction对行为数据进行结构化,得到Pojo类型的行为数据并输入消息队列Kafka中,得到无重复结构化数据流B。
4.根据权利要求1所述的智能电视媒资实时推荐方法,其特征在于,该方法还包括将每个用户行为对应一个权重值,配置在权重中心。
5.根据权利要求4所述的智能电视媒资实时推荐方法,其特征在于,所述用户行为包括浏览、观看、退出观看、收藏、移除收藏、搜索。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011519415.1A CN112653908B (zh) | 2020-12-21 | 2020-12-21 | 一种智能电视媒资实时推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011519415.1A CN112653908B (zh) | 2020-12-21 | 2020-12-21 | 一种智能电视媒资实时推荐方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112653908A true CN112653908A (zh) | 2021-04-13 |
CN112653908B CN112653908B (zh) | 2022-02-01 |
Family
ID=75358556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011519415.1A Active CN112653908B (zh) | 2020-12-21 | 2020-12-21 | 一种智能电视媒资实时推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112653908B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113347461A (zh) * | 2021-07-05 | 2021-09-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种媒资内容提升方法及装置 |
CN114302237A (zh) * | 2021-12-27 | 2022-04-08 | 深圳Tcl新技术有限公司 | 一种智能电视工作模式设置方法、装置、智能电视及介质 |
CN114756745A (zh) * | 2022-03-29 | 2022-07-15 | 重庆义康鑫科技有限公司 | 一种基于大数据分析的智能信息推荐方法及装置 |
CN114915800A (zh) * | 2021-12-07 | 2022-08-16 | 天翼数字生活科技有限公司 | Iptv家庭用户年龄及性别分布预测***和方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106028071A (zh) * | 2016-05-17 | 2016-10-12 | Tcl集团股份有限公司 | 一种视频推荐方法及*** |
US20170169330A1 (en) * | 2015-12-15 | 2017-06-15 | Le Holdings (Beijing) Co., Ltd. | Method and Electronic Device for Displaying Play Content in Smart Television |
CN107360465A (zh) * | 2017-08-22 | 2017-11-17 | 四川长虹电器股份有限公司 | 一种智能电视终端利用声纹生成用户画像的方法 |
CN108038237A (zh) * | 2017-12-27 | 2018-05-15 | 广州市云润大数据服务有限公司 | 一种信息推荐方法与*** |
CN110489453A (zh) * | 2019-07-02 | 2019-11-22 | 广东工业大学 | 基于大数据日志分析的用户游戏实时推荐方法及*** |
CN111209352A (zh) * | 2020-04-20 | 2020-05-29 | 北京聪明核桃教育科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-21 CN CN202011519415.1A patent/CN112653908B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170169330A1 (en) * | 2015-12-15 | 2017-06-15 | Le Holdings (Beijing) Co., Ltd. | Method and Electronic Device for Displaying Play Content in Smart Television |
CN106028071A (zh) * | 2016-05-17 | 2016-10-12 | Tcl集团股份有限公司 | 一种视频推荐方法及*** |
CN107360465A (zh) * | 2017-08-22 | 2017-11-17 | 四川长虹电器股份有限公司 | 一种智能电视终端利用声纹生成用户画像的方法 |
CN108038237A (zh) * | 2017-12-27 | 2018-05-15 | 广州市云润大数据服务有限公司 | 一种信息推荐方法与*** |
CN110489453A (zh) * | 2019-07-02 | 2019-11-22 | 广东工业大学 | 基于大数据日志分析的用户游戏实时推荐方法及*** |
CN111209352A (zh) * | 2020-04-20 | 2020-05-29 | 北京聪明核桃教育科技有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113347461A (zh) * | 2021-07-05 | 2021-09-03 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种媒资内容提升方法及装置 |
CN113347461B (zh) * | 2021-07-05 | 2022-11-11 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种媒资内容提升方法及装置 |
CN114915800A (zh) * | 2021-12-07 | 2022-08-16 | 天翼数字生活科技有限公司 | Iptv家庭用户年龄及性别分布预测***和方法 |
CN114302237A (zh) * | 2021-12-27 | 2022-04-08 | 深圳Tcl新技术有限公司 | 一种智能电视工作模式设置方法、装置、智能电视及介质 |
CN114302237B (zh) * | 2021-12-27 | 2024-04-02 | 深圳Tcl新技术有限公司 | 一种智能电视工作模式设置方法、装置、智能电视及介质 |
CN114756745A (zh) * | 2022-03-29 | 2022-07-15 | 重庆义康鑫科技有限公司 | 一种基于大数据分析的智能信息推荐方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112653908B (zh) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112653908B (zh) | 一种智能电视媒资实时推荐方法 | |
US20220248095A1 (en) | Real-Time Recommendations for Altering Content Output | |
CN107071578B (zh) | Iptv节目推荐方法 | |
WO2017107453A1 (zh) | 一种视频内容推荐方法、设备和*** | |
US20170188102A1 (en) | Method and electronic device for video content recommendation | |
US10671670B2 (en) | Graph based content browsing and discovery | |
JP2020102228A (ja) | メディアアセットに関するコンテクスト上関係する情報を表示するための方法およびシステム | |
CN102630052B (zh) | 面向实时流的电视节目推荐*** | |
CN102957950A (zh) | 一种用于视频推荐的用户隐式评分方法 | |
CN106454431B (zh) | 电视节目推荐方法和*** | |
US20150278351A1 (en) | Method and system for recommending multimedia contents through a multimedia platform | |
WO2014055565A1 (en) | System and method for optimizing videos | |
CN107454442B (zh) | 一种推荐视频的方法和装置 | |
CN112487300B (zh) | 一种视频推荐方法、装置、电子设备及存储介质 | |
US20230164369A1 (en) | Event progress detection in media items | |
CN114357201B (zh) | 基于信息感知的视听推荐方法、*** | |
CN109640128B (zh) | 一种电视用户观看行为特征提取方法及*** | |
WO2020252783A1 (en) | Asset metadata service | |
WO2018001223A1 (zh) | 播放列表推荐方法及装置 | |
CN112015736A (zh) | 基于Spark Mllib实现的多功能推荐方法及装置 | |
KR20240089234A (ko) | 비디오 콘텐츠의 팟캐스트 에피소드들에 대한 매칭 | |
CN113934870B (zh) | 多媒体推荐模型的训练方法、装置及服务器 | |
CN114140171A (zh) | 一种应用于推荐***的鲁棒无偏的负采样方法 | |
Krstic et al. | Personalized program guide based on one-class classifier | |
Chen et al. | Sequence mining TV viewing data using embedded Markov modelling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |