CN104144181A - 一种网络视频终端聚合方法及*** - Google Patents

Abstract

本发明公开了一种网络视频终端聚合方法及***，尤其适合在智能电视终端应用，包括：订阅模块，用于指定网络视频聚合的源；爬虫模块，用于从订阅网站提取网络视频元数据；本地数据库模块，用于存储本地播放记录和本地视频信息；预处理模块，用于对本地数据库数据进行预处理，以适应兴趣挖掘需要；兴趣挖掘模块，用于根据本地数据库，挖掘用户多维兴趣主题；匹配过滤模块，用于根据网络视频与用户感兴趣的匹配程度对网络视频进行过滤排序；UI显示模块，用于显示经过滤、排序而得的网络视频列表。该方法利用终端丰富的用户播放记录，挖掘用户多维兴趣主题，并利用订阅和兴趣等限制条件从海量的网络视频资源中聚合符合用户兴趣的网络视频到终端。

Description

一种网络视频终端聚合方法及***

技术领域

本发明涉及数据挖掘领域，信息聚合领域，实现利用终端用户信息对用户兴趣的挖掘，提取多维兴趣主题，并以此为据，将用户订阅的视频网站中，用户感兴趣的视频聚合到用户终端。

背景技术

传统的终端媒体信息管理局限于本地媒体信息数据库的管理和更新，以供用户查阅，以及在用户操作时向交互***提供必要的信息支持。在三网融合背景下，作为网络终端的电视机智能终端操作***，不再满足于对本地存储信息的查阅，而需要根据用户的需要提供更丰富的网络视频信息。把互联网视频网站中用户感兴趣的视频像本地视频一样呈现给用户点击播放，已经成为趋势。

目前用户获取网络视频的手段包括视频网站浏览，搜索，推荐，以及少量的c/s聚合***。网页浏览和搜索在pc终端上应用广泛，但对于电视机、手机等并不擅长键鼠操作的智能终端来讲，明显增加了用户负担，降低了用户体验。现有的聚合***都采用服务器/终端模式，使用户面临着必须注册、反馈，并且被迫接受服务端广告等冗余信息困境。

另一方面，网络信息资源的海量增长和用户贡献内容的不断扩充，给用户带来资源选择多样化和自主化的同时，也带来选择迷航的问题，而当互联网的信息量越来越大，搜索引擎这种基于内容本身呈现信息的方式再怎么改良，也无法避免冗余的信息。大量冗余信息的存在也会成为用户和终端的负担。

发明内容

本发明的目的在于，提供一种终端主动聚合网络视频的方法，能够有效扩展***，充分享受海量增长的网络视频源给用户带来资源选择多样化和自主化的同时，避免其带来的选择迷航问题。同时还要避免目前主要方案中需要注册、提交用户信息、显式获取兴趣等智能终端用户，尤其是电视机用户通常不愿意做的事情。

为实现上述目的，本发明提供了一种网络视频终端聚合方法，所述方法包含：

步骤101）通过订阅指定网络视频聚合的源；

步骤102）利用爬虫从订阅网站提取网络视频元数据；

步骤103）将本地播放记录和本地视频信息存储在本地数据库；

步骤104）对本地数据库数据进行预处理，以适应兴趣挖掘需要，其中，所述预处理是对数据库中存储的视频信息逐条过滤，剔除无效信息记录，选取符合条件的数据用于兴趣挖掘；

步骤105）根据本地数据库，挖掘用户多维兴趣主题，所述本地数据库以一定的数据结构存储若干条视频元数据描述，这些视频对象包括本地存储的视频文件，以及用户播放记录中的视频；

步骤106）根据网络视频与用户兴趣的匹配程度对网络视频进行过滤排序，所述匹配过滤依次将每一条网络视频描述信息与兴趣主题匹配，过滤并保留匹配程度高于阈值的结果，并排序；

步骤107）显示经过滤、排序而得的网络视频列表。

上述网络视频元数据包括：视频名、视频源地址、年份、导演、演员或类型，将所有元数据形成网络视频的多维描述信息。

上述指定视频聚合源的网站是一个或多个视频网站的首页网址。

上述爬虫模块以订阅模块指定的一个或多个网页为初始页面，提取视频元数据，为每一个视频生成一条元数据描述，并嵌套地对其包含的二级页面逐一遍历，以获取符合条件的视频元数；同时，获取元数据的方式还可选地包括直接收割网站按一定规范发布的视频信息。

多维兴趣主题即为在两个或两个以上维度进行描述的兴趣主题，其基础为，每一条视频信息都由多个维度的描述信息组成。

多维兴趣主题的提取分为以下步骤：

a、一维兴趣提取：对每一个拟挖掘的维度采取独立的兴趣挖掘策略和标准，得到该维度上的若干兴趣主题，成为一个集合；

b、二维兴趣提取：在不同维度间，若两个兴趣主题同时出现在一条多维信息中，则这两个兴趣主题有关联；同时出现越多，关联越大；把关联度大过阈值的组合在一起，成为一个二维兴趣主题，采用同样的方法找出所有的二维兴趣主题；

c、多维兴趣提取：若某维度上的主题出现在两个多维主题中，检查是否这两个多维主题中每个一维主题间都存在超过阈值的关联程度，若是，则合并这两个多维主题，成为更高维度的兴趣主题；

d、记录所有不能进一步合并的多维兴趣主题。

为了实现上述目的，本发明还提供了一种网络视频终端聚合***，所述***包含：

订阅模块，用于指定网络视频聚合的源；

爬虫模块，用于从订阅模块获得的网络视频聚合源的网站提取网络视频元数据；

本地数据库模块，用于存储本地播放记录和本地视频信息；

预处理模块，用于对本地数据库数据进行预处理，以适应兴趣挖掘需要；

兴趣挖掘模块，用于根据本地数据库依据如下原则进行一维至多维的兴趣提取：

一维兴趣提取：对每一个拟挖掘的维度采取独立的兴趣挖掘策略和标准，得到该维度上的若干兴趣主题，成为一个集合；

二维兴趣提取：在不同维度间，若两个兴趣主题同时出现在一条多维信息中，则这两个兴趣主题有关联；同时出现越多，关联越大；把关联度大过阈值的链接在一起，成为一个二维兴趣主题，依据此策略找到所有二维兴趣主题；

多维兴趣提取：若某维度上的主题出现在两个多维主题中，检查是否这两个多维主题中每个一维主题间都存在超过阈值的关联程度，若是，则合并这两个多维主题，成为更高维度的兴趣主题；记录所有不能进一步合并的多维兴趣主题，完成兴趣挖掘；

匹配过滤模块，用于根据网络视频与用户兴趣的匹配程度对网络视频进行过滤排序；

显示模块，用于显示经过滤、排序而得的网络视频列表。

上述订阅模块允许用户指定一个或多个视频网站网址作为视频信息聚合的源，被指定网址的页面及其引用的二级页面包含的视频都包含在后续聚合范围内，并且能够指定视频网站的首页。

上述爬虫模块在订阅范围内的页面上提取视频元数据，或者直接收割网站按一定规范发布的视频信息，并将同属于一个视频的元数据按照数据结构整理为一条描述网络视频的信息，且该模块对每个页面的二级页面嵌套地抓取元数据。

与现有技术相比，本发明的技术优势在于：

本发明提供一种终端主动聚合网络视频的方法，能够有效扩展网络***，有效兼顾用户选择多样化自主化与有效去除冗余信息，避免选择迷航。本方法基于终端对视频元数据的主动拉取，为用户带来便利高效体验的同时，充分利用终端丰富的用户信息来隐式地获取兴趣主题，避免了注册、评分等终端用户通常不愿意也不方便参与的环节。总之，本发明改变了现有的聚合都是基于c/s模式的限制，由服务器端完成聚合后推送给终端，即本发明的技术方案由终端主动抓取，因此无需提交用户个人信息，也不必接受服务端强行推送的广告灯内容；此外，本发明将兴趣挖掘引入信息聚合的过滤过程中，结合聚合源的订制，有效提高了聚合结果的准确度，减少了冗余信息。

附图说明

图1本发明主要功能组成描述图；

图2本发明提供的网络视频终端聚合方法流程示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的描述。

如图1所示，本文所述的方法，主要包含三个主要功能部分，即兴趣挖掘部分，信息聚合部分，过滤显示部分。兴趣挖掘部分通过对用户信息的挖掘输出多维兴趣主题，信息聚合部分从订阅网址获取视频元数据，并整理输出网络视频的多维描述。

如图2所示，信息聚合部分主要包括订阅模块和爬虫模块以及提供网络视频的互联网。用户通过订阅模块在整个互联网范围内指定符合要求的网址，该网页及其引用的二级页面会被爬虫模块嵌套地遍历提取有用信息，即视频元数据，爬虫模块获取元数据方法包括直接从指定地址获取按照一定规范发布的网络视频元数据。爬虫模块拿到元数据之后会重新按照***规定的格式，将元数据整合成为规范的网络视频多维元数据描述，每一个描述代表一条网络视频。

如图2所示，兴趣挖掘部分主要包括本地数据库模块、数据预处理模块和兴趣挖掘模块。本地数据库模块存储若干条视频多维元数据描述，所描述的视频包括本地存储的视频对象，以及视频播放记录等体现用户兴趣的视频对象。考虑到用户并不一定对记录中每一条视频都有兴趣，例如观看时长过短的视频，我们认为是不能体现用户兴趣的视频记录，数据预处理模块负责从数据库中剔除不体现用户兴趣的数据，留下体现用户兴趣的数据，并提供给兴趣挖掘模块用于提取多维兴趣主题。

兴趣挖掘模块按照以下步骤提取二维兴趣并逐渐形成更高维度的兴趣主题：

a、一维兴趣提取：对每一个拟挖掘的维度采取独立的兴趣挖掘策略和标准，得到该维度上的若干兴趣主题，成为一个集合。例如，对于导演这个维度，只需要统计不同名字出现的频率，频率高于阈值的作为一个兴趣主题。阈值的挑选十分关键，阈值过低，提取的结果不能代表用户兴趣，阈值过高，则可能漏过一些兴趣。对于视频的实际地址这一元数据，则需要采用更为复杂的感兴趣路径挖掘方法，且在一个元数据是否符合某兴趣主题定义也会相应地变为，该元数据是否属于该主题的兴趣路径之下。因此，在每个维度上既要采取独立的兴趣挖掘策略方法，也要定义不同的衡量兴趣标准。此外，考虑成本效益，不一定需要将所有维度都纳入兴趣挖掘的范围。

b、二维兴趣提取：在不同维度间，若两个兴趣主题同时出现在一条多维信息中，认为这两个兴趣主题有关联；同时出现越多，关联越大；把关联度大过阈值的链接在一起，成为一个二维兴趣主题。同样的方法可以找出所有的二维兴趣主题。关联度的衡量可以采用同时出现的相对比例，也可以采用同时出现的绝对次数。如表1所示，横轴表示维度A，纵轴表示维度B，各个维度有兴趣主题若干，各形成一个集合（a1,a2,a3,a4,a5,a6,a7）,（b1,b2,b3,b4,b5）。假设此例采用同时出现在同一视频描述中的绝对次数作为关联度，则以上兴趣主题的关联度如矩阵中数值所示。假设确定两个不同维度上兴趣主题具有关联性的阈值为10，则可以确定该矩阵中可以提取二维兴趣主题（a1,b1）,（a2,b2），（a3,b3），（a3,b4），（a4,b2），（a5,b5），（a7,b1）。

表1，不同维度兴趣主题关联度矩阵

	a1	a2	a3	a4	a5	a6	a7
								b1	38	9	1	0	0	1	12
b2	0	16	0	20	2	0	3
								b3	0	0	14	2	0	0	0
b4	0	8	17	0	0	1	0
								b5	7	3	0	0	14	0	0

c、多维兴趣提取：若某维度上的主题出现在两个多维（包含二维）主题中，检查是否这两个多维主题中每个一维主题间都存在超过阈值的关联程度，若是，则合并这两个多维主题，成为更高维度的兴趣主题。例如，存在维度C的兴趣主题集合（c1,c2,c3,c4）,存在二维兴趣主题（a1,c2），（a1,c3），（b1,c2）。那么可以得出三维兴趣主题（a1,b1,c2）,而因为a1,b1,c2三个主题之间的关联度都超过了阈值，可以认定它们来自于用户的同一个兴趣的三个维度。

d、记录所有不能进一步合并的多维（包括二维）兴趣主题。在这个过程中，记录下不能进一步合并的多维主题，并且不再记录已经被合并的多维主题，如前所述的A，B，C三维描述中，经过合并有三维主题（a1,b1,c2）,就不必再记录（a1,b1），（a1,c2），（b1,c2）。

如图2所示，过滤显示部分主要包括匹配过滤模块和UI显示模块。过滤匹配模块首先拿到爬虫模块的所有输出，即从网络提取的网络视频多维描述信息，然后根据每条描述跟多维兴趣的匹配程度，确定其是否符合用户兴趣，多大程度上符合用户兴趣。过滤模块选取符合用户兴趣的视频信息，并排序，最终交给UI显示模块。UI显示模块负责把最终的网络视频信息呈现给读者，并提供响应用户点击操作所需的接口。

总之，本发明提供的方法充分利用终端优势，研究符合机顶盒终端场景的信息聚合服务，在通过制定聚合源来缩小聚合范围的基础上，利用本地播放记录和媒体数据库，挖掘用户兴趣，以便缩小聚合范围和数据规模，在提高聚合精准度的同时有效降低终端聚合的资源消耗。即，本发明提供了一种基于终端聚合的解决方法，通过充分利用终端丰富的用户信息，隐式地获取用户兴趣，并根据兴趣，从用户自由定制的视频网站聚合符合兴趣的视频清单，并像本地存储视频一样显示给用户。本方法允许客户自主定制***，整个网络都可以成为潜在的视频源，有效扩展了信息来源，同时通过制定聚合源，以及基于兴趣的过滤，有效减少了冗余信息，最终将用户感兴趣的视频呈现在终端界面。本发明无需用户注册或显式地提供兴趣，支持多兴趣主题，且有效屏蔽c/s模式中服务端强推的冗余信息。

在本发明方案的基础上，做出的各种修改或变形仍属于本发明的保护范围。

Claims (9)

1.一种网络视频终端聚合方法，所述方法包含：

步骤101）通过订阅指定网络视频聚合的源；

步骤102）利用爬虫从订阅网站提取网络视频元数据；

步骤103）将本地播放记录和本地视频信息存储在本地数据库；

步骤104）对本地数据库数据进行预处理，以适应兴趣挖掘需要，其中，所述预处理是对数据库中存储的视频信息逐条过滤，剔除无效信息记录，选取符合条件的数据用于兴趣挖掘；

步骤105）根据本地数据库，挖掘用户多维兴趣主题，所述本地数据库以一定的数据结构存储若干条视频元数据描述，这些视频对象包括本地存储的视频文件，以及用户播放记录中的视频；

步骤106）根据网络视频与用户兴趣的匹配程度对网络视频进行过滤排序，所述匹配过滤依次将每一条网络视频描述信息与兴趣主题匹配，过滤并保留匹配程度高于阈值的结果，并排序；

步骤107）显示经过滤、排序而得的网络视频列表。

2.根据权利要求1所述的网络视频终端聚合方法，其特征在于，所述网络视频元数据包括：视频名、视频源地址、年份、导演、演员或类型，将所有元数据形成网络视频的多维描述信息。

3.根据权利要求1所述的网络视频终端聚合方法，其特征在于，所述指定视频聚合源的网站是一个或多个视频网站的首页网址。

4.根据权利要求1所述的网络视频终端聚合方法，其特征在于，所述爬虫模块以订阅模块指定的一个或多个网页为初始页面，提取视频元数据，为每一个视频生成一条元数据描述，并嵌套地对其包含的二级页面逐一遍历，以获取符合条件的视频元数；同时，获取元数据的方式还可选地包括直接收割网站按一定规范发布的视频信息。

5.根据权利要求7所述的网络视频终端聚合方法，其特征在于，所述多维兴趣主题即为在两个或两个以上维度进行描述的兴趣主题，其基础为，每一条视频信息都由多个维度的描述信息组成。

6.根据权利要求7所述的网络视频终端聚合方法，其特征在于，所述多维兴趣主题的提取分为以下步骤：

a、一维兴趣提取：对每一个拟挖掘的维度采取独立的兴趣挖掘策略和标准，得到该维度上的若干兴趣主题，成为一个集合；

b、二维兴趣提取：在不同维度间，若两个兴趣主题同时出现在一条多维信息中，则这两个兴趣主题有关联；同时出现越多，关联越大；把关联度大过阈值的组合在一起，成为一个二维兴趣主题，采用同样的方法找出所有的二维兴趣主题；

c、多维兴趣提取：若某维度上的主题出现在两个多维主题中，检查是否这两个多维主题中每个一维主题间都存在超过阈值的关联程度，若是，则合并这两个多维主题，成为更高维度的兴趣主题；

d、记录所有不能进一步合并的多维兴趣主题。

7.一种网络视频终端聚合***，其特征在于，所述***包含：

订阅模块，用于指定网络视频聚合的源；

爬虫模块，用于从订阅模块获得的网络视频聚合源的网站提取网络视频元数据；

本地数据库模块，用于存储本地播放记录和本地视频信息；

预处理模块，用于对本地数据库数据进行预处理，以适应兴趣挖掘需要；

兴趣挖掘模块，用于根据本地数据库依据如下原则进行一维至多维的兴趣提取：

一维兴趣提取：对每一个拟挖掘的维度采取独立的兴趣挖掘策略和标准，得到该维度上的若干兴趣主题，成为一个集合；

二维兴趣提取：在不同维度间，若两个兴趣主题同时出现在一条多维信息中，则这两个兴趣主题有关联；同时出现越多，关联越大；把关联度大过阈值的链接在一起，成为一个二维兴趣主题，依据此策略找到所有二维兴趣主题；

多维兴趣提取：若某维度上的主题出现在两个多维主题中，检查是否这两个多维主题中每个一维主题间都存在超过阈值的关联程度，若是，则合并这两个多维主题，成为更高维度的兴趣主题；记录所有不能进一步合并的多维兴趣主题，完成兴趣挖掘；

匹配过滤模块，用于根据网络视频与用户兴趣的匹配程度对网络视频进行过滤排序；

显示模块，用于显示经过滤、排序而得的网络视频列表。

8.根据权利要求7所述的网络视频终端聚合***，其特征在于，所述订阅模块允许用户指定一个或多个视频网站网址作为视频信息聚合的源，被指定网址的页面及其引用的二级页面包含的视频都包含在后续聚合范围内，并且能够指定视频网站的首页。

9.根据权利要求7所述的网络视频终端聚合***，其特征在于，所述爬虫模块在订阅范围内的页面上提取视频元数据，或者直接收割网站按一定规范发布的视频信息，并将同属于一个视频的元数据按照数据结构整理为一条描述网络视频的信息，且该模块对每个页面的二级页面嵌套地抓取元数据。