CN107679217A - 基于数据挖掘的关联内容提取方法和装置 - Google Patents

基于数据挖掘的关联内容提取方法和装置 Download PDF

Info

Publication number
CN107679217A
CN107679217A CN201710976636.3A CN201710976636A CN107679217A CN 107679217 A CN107679217 A CN 107679217A CN 201710976636 A CN201710976636 A CN 201710976636A CN 107679217 A CN107679217 A CN 107679217A
Authority
CN
China
Prior art keywords
comment
data
label
query object
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710976636.3A
Other languages
English (en)
Other versions
CN107679217B (zh
Inventor
徐伟建
刘建林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710976636.3A priority Critical patent/CN107679217B/zh
Publication of CN107679217A publication Critical patent/CN107679217A/zh
Application granted granted Critical
Publication of CN107679217B publication Critical patent/CN107679217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/954Navigation, e.g. using categorised browsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例公开了基于数据挖掘的关联内容提取方法和装置。该方法的一具体实施方式包括:获取待处理数据,待处理数据包括预设查询对象;确定待处理数据中,与预设查询对象关联的候选评论标签;从候选评论标签中筛选出评论标签;基于用户对各评论标签的点击量确定各评论标签的呈现顺序。对预设查询对象的评论标签的智能提取和按优先级呈现。

Description

基于数据挖掘的关联内容提取方法和装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及基于数据挖掘的关联内容提取方法和装置。
背景技术
现有的搜索工具中,通常由用户输入搜索关键词,并在用户触发搜索之后,向用户呈现相应的搜索结果。
当用户需要获取有关搜索关键词的概要性观点时,可以通过逐条阅读搜索结果,并自行总结、提炼。
数据挖掘,一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家***(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。
现有的搜索工具中,尚未出现基于数据挖掘来在搜索结果中展现有关搜索关键词的概要性观点的技术方案。
发明内容
本申请实施例的目的在于提出一种基于数据挖掘的关联内容提取方法和装置。
第一方面,本申请实施例提供了一种基于数据挖掘的关联内容提取方法,包括:获取待处理数据,待处理数据包括预设查询对象;确定待处理数据中,与预设查询对象关联的候选评论标签;从候选评论标签中筛选出评论标签;基于用户对各评论标签的点击量确定各评论标签的呈现顺序。
在一些实施例中,确定待处理数据中,与预设查询对象关联的候选评论标签,包括:基于自然语言处理方法,从待处理数据中提取出与预设查询对象关联的候选评论标签。
在一些实施例中,从候选评论标签中筛选出评论标签,包括:基于预设匹配规则,从候选评论标签中去除与预设查询对象不相符的候选评论标签以筛选出评论标签。
在一些实施例中,待处理数据包括对预设查询对象的评论数据,方法还包括:从预设的热点数据源获取包含预设查询对象的评论数据;确定各评论数据的权重;以及基于各评论数据的权重确定各评论数据的展示顺序。
在一些实施例中,从预设的热点数据源获取包含预设查询对象的评论数据,包括:从预设的热点数据源获取包含预设查询对象的候选评论数据;以及基于每一条候选评论数据的页面浏览量,从候选评论数据中确定出评论数据。
在一些实施例中,确定各评论数据的权重,包括基于以下任意一者确定各评论数据的权重:基于评论数据中是否具有与预设查询对象的共现次数超过预设次数的热点词,确定评论数据的权重;基于机器学习算法,确定评论数据的质量分值,并基于质量分值来确定评论数据的权重;以及基于用户对评论数据的点击量,确定评论数据的权重。
在一些实施例中,方法还包括:基于自然语言处理工具确定各评论数据的情感倾向,并基于各评论数据的情感倾向确定预设查询对象的好评率。
在一些实施例中,方法还包括:基于各预设时段内的预设查询对象的好评率生成预设查询对象的好评率曲线。
第二方面,本申请实施例提供了一种基于数据挖掘的关联内容提取装置,包括:待处理数据获取单元,用于获取待处理数据,待处理数据包括预设查询对象;确定单元,用于确定待处理数据中,与预设查询对象关联的候选评论标签;第一筛选单元,用于从候选评论标签中筛选出评论标签;第一呈现单元,用于基于用户对各评论标签的点击量确定各评论标签的呈现顺序。
在一些实施例中,确定单元进一步用于:基于自然语言处理装置,从待处理数据中提取出与预设查询对象关联的候选评论标签。
在一些实施例中,第一筛选单元进一步用于:基于预设匹配规则,从候选评论标签中去除与预设查询对象不相符的候选评论标签以筛选出评论标签。
在一些实施例中,待处理数据包括对预设查询对象的评论数据,装置还包括:评论数据获取单元,用于从预设的热点数据源获取包含预设查询对象的评论数据;权重确定单元,用于确定各评论数据的权重;以及第二呈现单元,用于基于各评论数据的权重确定各评论数据的展示顺序。
在一些实施例中,评论数据获取单元进一步用于:从预设的热点数据源获取包含预设查询对象的候选评论数据;以及基于每一条候选评论数据的页面浏览量,从候选评论数据中确定出评论数据。
在一些实施例中,权重单元进一步用于基于以下任意一者确定各评论数据的权重:基于评论数据中是否具有与预设查询对象的共现次数超过预设次数的热点词,确定评论数据的权重;基于机器学习算法,确定评论数据的质量分值,并基于质量分值来确定评论数据的权重;以及基于用户对评论数据的点击量,确定评论数据的权重。
在一些实施例中,装置还包括:好评率确定单元,用于基于自然语言处理工具确定各评论数据的情感倾向,并基于各评论数据的情感倾向确定预设查询对象的好评率。
在一些实施例中,装置还包括:好评率曲线生成单元,用于基于各预设时段内的预设查询对象的好评率生成预设查询对象的好评率曲线。
第三方面,本申请实施例提供了一种服务器,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现如上的方法。
本申请实施例提供的基于数据挖掘的关联内容提取方法和装置,通过获取包括预设查询对象的待处理数据,并从待处理数据中确定出与预设查询对象相关联的候选评论标签,再从候选评论标签中筛选出评论标签,最后基于用户对各评论标签的点击量确定各评论标签的呈现顺序,实现了对预设查询对象的评论标签的智能提取和按优先级呈现。
进一步地,当将预设查询对象作为搜索关键词进行搜索时,可以减少用户对搜索结果的逐条点击读取,从而可以降低网络资源的占用,有利于搜索服务器的稳定运行。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性***架构图;
图2是根据本申请的基于数据挖掘的关联内容提取方法的一个实施例的流程图;
图3是根据本申请的基于数据挖掘的关联内容提取方法的又一个实施例的流程图;
图4是根据本申请的基于数据挖掘的关联内容提取装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的基于数据挖掘的关联内容提取方法或基于数据挖掘的关联内容提取装置的实施例的示例性***架构100。
如图1所示,***架构100可以包括终端设备101、102、103,网络104、105、第一服务器106和第二服务器107。网络104用以在终端设备101、102、103和第一服务器106之间提供通信链路的介质,网络105用以在第一服务器106和第二服务器107之间提供通信链路的介质。网络104、105可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与第一服务器106交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如搜索类应用、网页浏览器应用、购物类应用、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
第一服务器106可以是提供各种服务的服务器,例如对终端设备101、102、103发送的搜索请求提供搜索结果的后台搜索服务器。后台搜索服务器可以对接收到的搜索请求等数据进行分析等处理,并将处理结果(例如搜索结果)反馈给终端设备101、102、103。
需要说明的是,本申请实施例所提供的基于数据挖掘的关联内容提取方法一般由第一服务器106执行,相应地,基于数据挖掘的关联内容提取装置一般设置于第一服务器106中。
第二服务器107可以是提供各种服务的服务器,例如,通过抓取第一服务器106上的搜索结果来对搜索结果所针对的搜索关键词生成评论标签的后台服务器。第二服务器107可以获取第一服务器106上的搜索关键词所对应的搜索结果,生成与该搜索关键词对应的评论标签,并将所生成的评论标签反馈至第一服务器106。
应该理解,图1中的终端设备、网络、第一服务器和第二服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
需要说明的是,本申请实施例所提供的基于数据挖掘的关联内容提取方法一般由第二服务器107执行,相应地,基于数据挖掘的关联内容提取装置一般设置于第二服务器107中。
继续参考图2,示出了根据本申请的基于数据挖掘的关联内容提取方法的一个实施例的流程200。该基于数据挖掘的关联内容提取方法,包括以下步骤:
步骤210,获取待处理数据,待处理数据包括预设查询对象。
在本实施例中,基于数据挖掘的关联内容提取方法运行于其上的电子设备(例如,图1所示的第二服务器107)可以通过有线连接方式或者无线连接方式从与之通信连接的电子设备(例如,图1所示的第一服务器106)中获取待处理数据。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
本步骤中所获取的待处理数据,例如可以包括但不限于文章、来自社交应用中由用户发表的评论等半结构化的数据。在这里,半结构化例如可以指,通过恰当的数据处理,能够形成结构化数据的数据。
在一些应用场景中,本步骤的获取待处理数据例如可以与用户的搜索请求相关联。具体地,当用户通过终端设备(例如,图1所示的终端设备101、102、103)向搜索服务器(例如,图1所示的第一服务器106)发送对某一搜索关键词的搜索请求,本实施例的基于数据挖掘的关联内容提取方法运行于其上的电子设备(例如,图1所示的第二服务器107)可以接收由搜索服务器向其发送的搜索结果来作为针对当前搜索关键词的待处理数据。在这些应用场景中,用户输入的搜索关键词可以认为是本步骤中的一个预设查询对象。
或者,在另一些应用场景中,本步骤的获取待处理数据可以独立于用户的搜索请求。具体地,本实施例的基于数据挖掘的关联内容提取方法运行于其上的电子设备可以主动抓取包含有预设查询对象的待处理数据。例如,电子设备可以主动地从各大社交平台应用的服务器抓取包含关键词A的待处理数据。
步骤220,确定待处理数据中,与预设查询对象关联的候选评论标签。
在这里,与预设查询对象关联的候选评论标签例如可以理解为有可能可以作为对预设查询对象的特征的信息。
在一些应用场景中,假设预设查询对象为“卷积神经网络(Convolutional NeuralNetwork,CNN)”,而某一条待处理数据的内容中同时提及了卷积神经网络和循环神经网络(Recurrent Neural Network,RNN),那么,该待处理数据中出现的一些评价词,例如“准确率高”、“模型运算速度快”、“定向循环”等有可能可以作为CNN的特征的词便可以理解为候选评论标签。
步骤230,从候选评论标签中筛选出评论标签。
本步骤的目的,是从由步骤220得到的与预设查询对象关联的候选评论标签中剔除不属于预设查询对象的那部分候选评论标签,使得筛选得到的评论标签与预设查询对象的关联关系更加准确。
仍以步骤220所举例子进行说明。步骤220中针对“卷积神经网络(ConvolutionalNeural Network,CNN)”这一预设查询对象提取得到的候选评论标签包括“准确率高”、“模型运算速度快”、“定向循环”。本步骤中,将剔除明显不能用于评价CNN特点的“定向循环”这一候选评论标签,使得筛选得到的评论标签“准确率高”、“模型运算速度快”与CNN的匹配度更高。
此外,本步骤中筛选得出的评论标签可以作为提取出的与预设查询对象相关的关联内容的一种。
步骤240,基于用户对各评论标签的点击量确定各评论标签的呈现顺序。
在步骤230中,已确定出了与预设查询对象关联的评论标签。当用户发起以该预设查询对象为搜索关键词的搜索请求时,与该预设查询对象关联的评论标签可以随搜索结果页面一并发送至用户使用的终端设备。
在将评论标签呈现在搜索结果页面时,通过将用户点击量较大的评论标签呈现在较为显著的位置,可以提示用户该评论标签在一段时间内的受关注度较高,这样一来,用户例如可以通过点击该关注度较高的评论标签来进一步对搜索结果进行筛选和优先显示。
仍以“卷积神经网络(Convolutional Neural Network,CNN)”这一预设查询对象为例,当用户将卷积神经网络作为搜索关键词进行搜索时,可以将与之关联的评论标签“准确率高”、“模型运算速度快”与搜索结果页一并发送给用户使用的终端设备。此外,“模型运算速度快”这一评论标签由于具有较高的用户点击量,其在搜索结果页面中相较于其它评论标签(例如,“准确率高”)优先显示。这样一来,若用户点击“模型运算速度快”,则可以对“卷积神经网络”的搜索结果进行进一步的筛选,从中筛选出与“模型运算速度快”这一标签相关联的搜索结果。
本实施例的基于数据挖掘的关联内容提取方法,通过获取包括预设查询对象的待处理数据,并从待处理数据中确定出与预设查询对象相关联的候选评论标签,再从候选评论标签中筛选出评论标签,最后基于用户对各评论标签的点击量确定各评论标签的呈现顺序,实现了对预设查询对象的评论标签的智能提取和按优先级呈现。
在本实施例的一些可选的实现方式中,步骤220的确定待处理数据中,与预设查询对象关联的候选评论标签可以进一步包括:基于自然语言处理方法,从待处理数据中提取出与预设查询对象关联的候选评论标签。
自然语言处理(Natural Language Processing,NLP),是研究计算机处理人类语言的一门技术。其包括了句法语义分析、信息抽取、文本挖掘、机器翻译、信息检索等等分支。自然语言处理方法已是现有的广泛研究的技术,在此不再赘述。
在一些可选的实现方式中,步骤230的从候选评论标签中筛选出评论标签可以进一步包括:基于预设匹配规则,从候选评论标签中去除与预设查询对象不相符的候选评论标签以筛选出评论标签。
在一些应用场景中,例如,预设匹配规则包括:用于评价男性的评论标签不可用于女性。那么,假设步骤220中得到的候选标签包括“演技好”、“漂亮”、“帅气”,而预设查询对象为一女性,那么,显然“帅气”这一候选评论标签将被剔除。
参见图3所示,为本申请的基于数据挖掘的关联内容提取方法的另一个实施例的示意性流程图300。
本实施例的方法包括:
步骤310,获取待处理数据,待处理数据包括预设查询对象。
步骤320,确定待处理数据中,与预设查询对象关联的候选评论标签。
步骤330,从候选评论标签中筛选出评论标签。
步骤340,基于用户对各评论标签的点击量确定各评论标签的呈现顺序。
上述步骤310~步骤340与图2所示实施例的步骤210~步骤240的执行方式类似,在此不再赘述。
与图2所示的实施例不同的是,本实施例还进一步包括:
步骤350,从预设的热点数据源获取包含预设查询对象的评论数据。
在这里,预设的热点数据源例如可以是预先设置的社交平台的近期的热搜数据。假设预设查询对象为某一部近期上映的电影。该电影的电影名称可以作为预设查询对象。若该电影名称出现在某一社交平台的热搜数据中,则可以获取该社交平台热搜数据中包含该电影名称的评论数据。
步骤360,确定各评论数据的权重。
通过确定评论数据的权重,可以确定该评论数据与该预设查询对象之间的关联度,和/或该评论数据本身的质量。
步骤370,基于各评论数据的权重确定各评论数据的展示顺序。
通过基于各评论数据的权重确定各评论数据的展示顺序,可以与该预设查询对象之间的关联度较高的评论数据和/或质量水平较高的评论数据优先展示给用户。
在一些可选的实现方式中,本实施例的步骤350的从预设的热点数据源获取包含预设查询对象的评论数据可以进一步包括:
步骤351,从预设的热点数据源获取包含预设查询对象的候选评论数据。
以及步骤352,基于每一条候选评论数据的页面浏览量,从候选评论数据中确定出评论数据。
这样一来,可以从热点数据源中进一步筛选出与预设查询对象关联且具有更高用户关注度的评论数据。
在一些可选的实现方式中,本实施例的步骤360的确定各评论数据的权重例如可以包括以下的任意至少一种:
步骤361,基于评论数据中是否具有与预设查询对象的共现次数超过预设次数的热点词,确定评论数据的权重。通过确定评论数据中是否具有与预设查询对象的共现次数超过预设次数的热点词,可以提取出评论数据中用户关注的核心热点(也即,热点词),并增加该评论数据的权重,使其得以优先显示。
步骤362,基于机器学习算法,确定评论数据的质量分值,并基于质量分值来确定评论数据的权重。在一些应用场景中,尽管热点数据源中的评论数据与预设查询对象具有一定的关联度,但该评论数据具有较明显的“蹭热度”倾向,那么,可以认定该评论数据具有较低的质量分值。在这些应用场景中,可以将评论数据输入预先训练的机器学习模型(例如,神经网络模型)中,从而得到针对该评论数据的质量分值,并对质量分值较高的评论数据赋予较高的权重,使其得以优先显示。
另一方面,在一些应用场景中,有的热点数据源中的评论数据有可能包含不期望展示给用户的垃圾内容,例如借热点数据进行广告推销的评论数据、具有不当言论的评论数据等。在这些应用场景中,同样可以采用机器学习的方法来将这些评论数据进行过滤剔除。例如,可以采用确定质量分值的机器学习模型相同的模型来对这些包含垃圾内容的评论数据进行滤除,或者,也可以采用单独的机器学习模型来对这些包含垃圾内容的评论数据进行滤除。
步骤363,基于用户对评论数据的点击量,确定评论数据的权重。通过基于用户对评论数据的点击量来确定评论数据的权重,可以将用户更关注的评论数据(具有较高点击量的评论数据)赋予较高的权重,使其得以优先显示。
可以理解的是,若采用步骤361~步骤363中的至少二者来确定评论数据的权重,则可以对该至少二者确定出的权重加权相加,从而确定出评论数据最终的权重。
在一些可选的实现方式中,本实施例的基于数据挖掘的关联内容提取方法还可以进一步包括:
步骤380,基于自然语言处理工具确定各评论数据的情感倾向,并基于各评论数据的情感倾向确定预设查询对象的好评率。
例如,在一些应用场景中,可以基于自然语言处理工具确定每条评论数据对预设查询对象情感分值(例如,正面倾向赋值1,负面倾向赋值0,中性倾向赋值0.5),最终通过一定的运算方式确定出该预设查询对象的好评率。
以及,步骤390,基于各预设时段内的预设查询对象的好评率生成预设查询对象的好评率曲线。
可以理解的是,由于评论数据的数量随着时间的推移逐渐地改变(例如,增加),相应地,对预设查询对象的好评率也将随之改变。通过基于各预设时段内的预设查询对象的好评率生成预设查询对象的好评率曲线,可以直观地展示在一段时间内,该预设查询对象的好评率发展趋势。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种基于数据挖掘的关联内容提取装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例的基于数据挖掘的关联内容提取装置400包括:待处理数据获取单元410、确定单元420、第一筛选单元430和第一呈现单元440。
其中,待处理数据获取单元410可用于获取待处理数据,待处理数据包括预设查询对象。
确定单元420可用于确定待处理数据中,与预设查询对象关联的候选评论标签。
第一筛选单元430可用于从候选评论标签中筛选出评论标签。
第一呈现单元440可用于基于用户对各评论标签的点击量确定各评论标签的呈现顺序。
在一些可选的实现方式中,确定单元420还可以进一步用于:
基于自然语言处理装置,从待处理数据中提取出与预设查询对象关联的候选评论标签。
在一些可选的实现方式中,第一筛选单元还可以进一步用于:
基于预设匹配规则,从候选评论标签中去除与预设查询对象不相符的候选评论标签以筛选出评论标签。
在一些可选的实现方式中,待处理数据可以包括对预设查询对象的评论数据。
在这些可选的实现方式中,基于数据挖掘的关联内容提取装置还可以进一步包括:评论数据获取单元,用于从预设的热点数据源获取包含预设查询对象的评论数据;权重确定单元,用于确定各评论数据的权重;以及第二呈现单元,用于基于各评论数据的权重确定各评论数据的展示顺序。
在一些可选的实现方式中,评论数据获取单元还可以进一步用于:从预设的热点数据源获取包含预设查询对象的候选评论数据;以及基于每一条候选评论数据的页面浏览量,从候选评论数据中确定出评论数据。
在一些可选的实现方式中,权重单元还可以进一步用于基于以下任意一者确定各评论数据的权重:
基于评论数据中是否具有与预设查询对象的共现次数超过预设次数的热点词,确定评论数据的权重。
基于机器学习算法,确定评论数据的质量分值,并基于质量分值来确定评论数据的权重。
以及基于用户对评论数据的点击量,确定评论数据的权重。
在一些可选的实现方式中,基于数据挖掘的关联内容提取装置还可以包括:好评率确定单元,用于基于自然语言处理工具确定各评论数据的情感倾向,并基于各评论数据的情感倾向确定预设查询对象的好评率。
在一些可选的实现方式中,基于数据挖掘的关联内容提取装置还可以包括:好评率曲线生成单元,用于基于各预设时段内的预设查询对象的好评率生成预设查询对象的好评率曲线。
下面参考图5,其示出了适于用来实现本申请实施例的服务器的计算机***500的结构示意图。图5示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机***500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分608加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有***500操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括待处理数据获取单元、确定单元、第一筛选单元和第一呈现单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,待处理数据获取单元还可以被描述为“获取待处理数据的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取待处理数据,待处理数据包括预设查询对象;确定待处理数据中,与预设查询对象关联的候选评论标签;从候选评论标签中筛选出评论标签;基于用户对各评论标签的点击量确定各评论标签的呈现顺序。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (18)

1.一种基于数据挖掘的关联内容提取方法,其特征在于,包括:
获取待处理数据,所述待处理数据包括预设查询对象;
确定所述待处理数据中,与所述预设查询对象关联的候选评论标签;
从所述候选评论标签中筛选出评论标签;
基于用户对各所述评论标签的点击量确定各所述评论标签的呈现顺序。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待处理数据中,与所述预设查询对象关联的候选评论标签,包括:
基于自然语言处理方法,从所述待处理数据中提取出与所述预设查询对象关联的候选评论标签。
3.根据权利要求1所述的方法,其特征在于,所述从所述候选评论标签中筛选出评论标签,包括:
基于预设匹配规则,从所述候选评论标签中去除与所述预设查询对象不相符的候选评论标签以筛选出所述评论标签。
4.根据权利要求1-3任意一项所述的方法,其特征在于,所述待处理数据包括对所述预设查询对象的评论数据,所述方法还包括:
从预设的热点数据源获取包含所述预设查询对象的评论数据;
确定各所述评论数据的权重;以及
基于各所述评论数据的权重确定各所述评论数据的展示顺序。
5.根据权利要求4所述的方法,其特征在于,所述从预设的热点数据源获取包含所述预设查询对象的评论数据,包括:
从预设的热点数据源获取包含所述预设查询对象的候选评论数据;以及
基于每一条所述候选评论数据的页面浏览量,从所述候选评论数据中确定出所述评论数据。
6.根据权利要求4所述的方法,其特征在于,所述确定各所述评论数据的权重,包括基于以下任意一者确定各所述评论数据的权重:
基于所述评论数据中是否具有与所述预设查询对象的共现次数超过预设次数的热点词,确定所述评论数据的权重;
基于机器学习算法,确定所述评论数据的质量分值,并基于所述质量分值来确定所述评论数据的权重;以及
基于用户对所述评论数据的点击量,确定所述评论数据的权重。
7.根据权利要求4-6任意一项所述的方法,其特征在于,还包括:
基于自然语言处理工具确定各所述评论数据的情感倾向,并基于各所述评论数据的情感倾向确定所述预设查询对象的好评率。
8.根据权利要求7所述的方法,其特征在于,还包括:
基于各预设时段内的所述预设查询对象的好评率生成所述预设查询对象的好评率曲线。
9.一种基于数据挖掘的关联内容提取装置,其特征在于,包括:
待处理数据获取单元,用于获取待处理数据,所述待处理数据包括预设查询对象;
确定单元,用于确定所述待处理数据中,与所述预设查询对象关联的候选评论标签;
第一筛选单元,用于从所述候选评论标签中筛选出评论标签;
第一呈现单元,用于基于用户对各所述评论标签的点击量确定各所述评论标签的呈现顺序。
10.根据权利要求9所述的装置,其特征在于,所述确定单元进一步用于:
基于自然语言处理装置,从所述待处理数据中提取出与所述预设查询对象关联的候选评论标签。
11.根据权利要求9所述的装置,其特征在于,所述第一筛选单元进一步用于:
基于预设匹配规则,从所述候选评论标签中去除与所述预设查询对象不相符的候选评论标签以筛选出所述评论标签。
12.根据权利要求9-11任意一项所述的装置,其特征在于,所述待处理数据包括对所述预设查询对象的评论数据,所述装置还包括:
评论数据获取单元,用于从预设的热点数据源获取包含所述预设查询对象的评论数据;
权重确定单元,用于确定各所述评论数据的权重;以及
第二呈现单元,用于基于各所述评论数据的权重确定各所述评论数据的展示顺序。
13.根据权利要求12所述的装置,其特征在于,所述评论数据获取单元进一步用于:
从预设的热点数据源获取包含所述预设查询对象的候选评论数据;以及
基于每一条所述候选评论数据的页面浏览量,从所述候选评论数据中确定出所述评论数据。
14.根据权利要求12所述的装置,其特征在于,所述权重单元进一步用于基于以下任意一者确定各所述评论数据的权重:
基于所述评论数据中是否具有与所述预设查询对象的共现次数超过预设次数的热点词,确定所述评论数据的权重;
基于机器学习算法,确定所述评论数据的质量分值,并基于所述质量分值来确定所述评论数据的权重;以及
基于用户对所述评论数据的点击量,确定所述评论数据的权重。
15.根据权利要求12-14任意一项所述的装置,其特征在于,还包括:
好评率确定单元,用于基于自然语言处理工具确定各所述评论数据的情感倾向,并基于各所述评论数据的情感倾向确定所述预设查询对象的好评率。
16.根据权利要求15所述的装置,其特征在于,还包括:
好评率曲线生成单元,用于基于各预设时段内的所述预设查询对象的好评率生成所述预设查询对象的好评率曲线。
17.一种服务器,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN201710976636.3A 2017-10-19 2017-10-19 基于数据挖掘的关联内容提取方法和装置 Active CN107679217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710976636.3A CN107679217B (zh) 2017-10-19 2017-10-19 基于数据挖掘的关联内容提取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710976636.3A CN107679217B (zh) 2017-10-19 2017-10-19 基于数据挖掘的关联内容提取方法和装置

Publications (2)

Publication Number Publication Date
CN107679217A true CN107679217A (zh) 2018-02-09
CN107679217B CN107679217B (zh) 2021-12-07

Family

ID=61141669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710976636.3A Active CN107679217B (zh) 2017-10-19 2017-10-19 基于数据挖掘的关联内容提取方法和装置

Country Status (1)

Country Link
CN (1) CN107679217B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491463A (zh) * 2018-03-05 2018-09-04 科大讯飞股份有限公司 标签确定方法及装置
CN109271609A (zh) * 2018-09-14 2019-01-25 广州神马移动信息科技有限公司 标签生成方法、装置、终端设备及计算机存储介质
CN110087118A (zh) * 2019-04-26 2019-08-02 北京达佳互联信息技术有限公司 评论消息处理方法、装置、终端、服务器及介质
CN110598786A (zh) * 2019-09-09 2019-12-20 京东方科技集团股份有限公司 神经网络的训练方法、语义分类方法、语义分类装置
CN110730382A (zh) * 2019-09-27 2020-01-24 北京达佳互联信息技术有限公司 一种视频交互方法、装置、终端及存储介质
WO2020042376A1 (zh) * 2018-08-31 2020-03-05 北京字节跳动网络技术有限公司 用于输出信息的方法和装置
CN111125028A (zh) * 2019-12-25 2020-05-08 腾讯音乐娱乐科技(深圳)有限公司 识别音频文件的方法、装置、服务器及存储介质
CN111177569A (zh) * 2020-01-07 2020-05-19 腾讯科技(深圳)有限公司 基于人工智能的推荐处理方法、装置及设备
CN111629270A (zh) * 2019-02-27 2020-09-04 北京搜狗科技发展有限公司 一种候选项确定方法、装置及机器可读介质
CN113553421A (zh) * 2021-06-22 2021-10-26 北京百度网讯科技有限公司 评论文本的生成方法、装置、电子设备和存储介质
CN113707335A (zh) * 2021-09-06 2021-11-26 挂号网(杭州)科技有限公司 确定目标接诊用户的方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081642A (zh) * 2010-10-28 2011-06-01 华南理工大学 搜索引擎检索结果聚类的中文标签提取方法
CN104598607A (zh) * 2015-01-29 2015-05-06 百度在线网络技术(北京)有限公司 推荐搜索短语的方法及***
US20170060999A1 (en) * 2015-09-01 2017-03-02 Electronics And Telecommunications Research Institute Apparatus and method for tagging topic to content
CN107153641A (zh) * 2017-05-08 2017-09-12 北京百度网讯科技有限公司 评论信息确定方法、装置、服务器及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081642A (zh) * 2010-10-28 2011-06-01 华南理工大学 搜索引擎检索结果聚类的中文标签提取方法
CN104598607A (zh) * 2015-01-29 2015-05-06 百度在线网络技术(北京)有限公司 推荐搜索短语的方法及***
US20170060999A1 (en) * 2015-09-01 2017-03-02 Electronics And Telecommunications Research Institute Apparatus and method for tagging topic to content
CN107153641A (zh) * 2017-05-08 2017-09-12 北京百度网讯科技有限公司 评论信息确定方法、装置、服务器及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108491463A (zh) * 2018-03-05 2018-09-04 科大讯飞股份有限公司 标签确定方法及装置
WO2020042376A1 (zh) * 2018-08-31 2020-03-05 北京字节跳动网络技术有限公司 用于输出信息的方法和装置
CN109271609A (zh) * 2018-09-14 2019-01-25 广州神马移动信息科技有限公司 标签生成方法、装置、终端设备及计算机存储介质
CN111629270A (zh) * 2019-02-27 2020-09-04 北京搜狗科技发展有限公司 一种候选项确定方法、装置及机器可读介质
CN110087118A (zh) * 2019-04-26 2019-08-02 北京达佳互联信息技术有限公司 评论消息处理方法、装置、终端、服务器及介质
CN110087118B (zh) * 2019-04-26 2022-01-21 北京达佳互联信息技术有限公司 评论消息处理方法、装置、终端、服务器及介质
CN110598786A (zh) * 2019-09-09 2019-12-20 京东方科技集团股份有限公司 神经网络的训练方法、语义分类方法、语义分类装置
CN110598786B (zh) * 2019-09-09 2022-01-07 京东方科技集团股份有限公司 神经网络的训练方法、语义分类方法、语义分类装置
CN110730382B (zh) * 2019-09-27 2020-10-30 北京达佳互联信息技术有限公司 一种视频交互方法、装置、终端及存储介质
CN110730382A (zh) * 2019-09-27 2020-01-24 北京达佳互联信息技术有限公司 一种视频交互方法、装置、终端及存储介质
CN111125028A (zh) * 2019-12-25 2020-05-08 腾讯音乐娱乐科技(深圳)有限公司 识别音频文件的方法、装置、服务器及存储介质
CN111125028B (zh) * 2019-12-25 2023-10-24 腾讯音乐娱乐科技(深圳)有限公司 识别音频文件的方法、装置、服务器及存储介质
CN111177569A (zh) * 2020-01-07 2020-05-19 腾讯科技(深圳)有限公司 基于人工智能的推荐处理方法、装置及设备
CN113553421A (zh) * 2021-06-22 2021-10-26 北京百度网讯科技有限公司 评论文本的生成方法、装置、电子设备和存储介质
CN113707335A (zh) * 2021-09-06 2021-11-26 挂号网(杭州)科技有限公司 确定目标接诊用户的方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN107679217B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN107679217A (zh) 基于数据挖掘的关联内容提取方法和装置
CN107133345A (zh) 基于人工智能的交互方法和装置
CN107346336B (zh) 基于人工智能的信息处理方法和装置
CN105117474B (zh) 在网页的阅读模式中进行推荐信息加载的方法和装置
CN105320766B (zh) 信息推送方法和装置
CN107832468B (zh) 需求识别方法和装置
CN106874467A (zh) 用于提供搜索结果的方法和装置
CN107105031A (zh) 信息推送方法和装置
CN109155136A (zh) 从视频自动检测和渲染精彩场面的计算机化***和方法
WO2020088058A1 (zh) 生成信息的方法和装置
CN107172151A (zh) 用于推送信息的方法和装置
CN107153641A (zh) 评论信息确定方法、装置、服务器及存储介质
CN107679211A (zh) 用于推送信息的方法和装置
CN107506495A (zh) 信息推送方法和装置
CN106407361A (zh) 基于人工智能的推送信息的方法和装置
CN105224554A (zh) 推荐搜索词进行搜索的方法、***、服务器和智能终端
CN107944481A (zh) 用于生成信息的方法和装置
CN107731229A (zh) 用于识别语音的方法和装置
CN108256070A (zh) 用于生成信息的方法和装置
CN110084658A (zh) 物品匹配的方法和装置
CN107169077A (zh) 用于推送信息的方法和装置
CN107679119A (zh) 生成品牌衍生词的方法和装置
CN114372414B (zh) 多模态模型构建方法、装置和计算机设备
CN107943895A (zh) 信息推送方法和装置
CN107783962A (zh) 用于查询指令的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant