CN109165282A - 一种网络数据抓取方法及*** - Google Patents

Abstract

本发明公开了一种网络数据抓取方法，属于互联网领域。该方法包括：接收用户通过流量入口发送的内容访问请求和用户信息，将用户信息以唯一标识进行标注，其他信息作为关联信息，存储在***数据库中，解析内容访问请求及用户信息，从***内容库中获取对应的内容并输出，获取用户针对内容的反馈信息，对反馈信息进行解析，获取用户的关联信息，在***数据库中与用户的唯一标识关联存储。在用户进行内容访问的过程中，抓取用户数据，并结合用户对获取内容的反馈信息，对用户数据进行补充和整理，使用户数据更加能满足应用需求。

Description

一种网络数据抓取方法及***

技术领域

本发明涉及互联网技术领域，特别涉及一种网络数据抓取方法及***。

背景技术

互联网用户信息抓取整合，本质就是在各行业各领域内，用户都有自己一定规则的行为习惯和个人爱好，随着时间的推移，都会沉积出一定量的用户数据信息，扩展到各个领域中将会是一份很庞杂的体量，在众多的处理办法中，我们经常会将数据进行清洗，从中获取到我们的实际需要。如何在这么庞大并且复杂的信息中，获取到我们想要的那部分有用的数据，甚至具象出一个可变的但又是可控的用户实体，就变得尤其的重要。如果仅仅只是简单的对数据进行初步的筛选和分析，并不能满足现有的市场需要，而且在各个行业内需要更具体，更专业，更抽象的内容信息，才可以更好的抓住用户的需要。

发明内容

本发明实施例提供了一种网络数据抓取方法及***。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种网络数据抓取方法，包括：

接收用户通过流量入口发送的内容访问请求和用户信息；

将所述用户信息以唯一标识进行标注，其他信息作为关联信息，存储在***数据库中；

解析所述内容访问请求及用户信息，从***内容库中获取对应的内容并输出；

获取所述用户针对所述内容的反馈信息；

对所述反馈信息进行解析，获取所述用户的关联信息，在所述***数据库中与所述用户的唯一标识关联存储。

在一些可选实施例中，所述唯一标识，为：

所述用户的通信号码，或所述用户的社交软件账号。

在一些可选实施例中，所述解析所述内容访问请求，从***内容库中获取对应的内容并输出，包括：

结合所述用户信息，通过自然语言处理技术解析所述内容访问请求，从***内容库中获取与所述内容访问请求及用户信息对应的内容，并输出。

在一些可选实施例中，所述方法还包括：

对***中存储的用户信息进行分析整合，基于设定标准，为所述用户信息添加用户标签；

结合所述用户标签，用户信息及内容访问请求，从***内容库中获取对应的内容并输出。

在一些可选实施例中，所述关联信息中，还包括用户行为数据。

在一些可选实施例中，所述方法还包括：

基于***中保存的用户信息，当识别到再次访问的用户，通过人工智能方式，结合该用户的用户信息，从***内容库中获取推荐内容，并输出。

根据本发明实施例的第二方面，提供一种网络数据抓取***，包括：

接收模块，用于接收用户通过流量入口发送的内容访问请求和用户信息；

存储模块，用于将所述用户信息以唯一标识进行标注，其他信息作为关联信息，存储在***数据库中；

内容输出模块，用于解析所述内容访问请求及用户信息，从***内容库中获取对应的内容并输出；

反馈获取模块，用于获取所述用户针对所述内容的反馈信息；

关联存储模块，用于对所述反馈信息进行解析，获取所述用户的关联信息，在所述***数据库中与所述用户的唯一标识关联存储。

在一些可选实施例中，所述解析所述内容访问请求，从***内容库中获取对应的内容并输出，包括：

结合所述用户信息，通过自然语言处理技术解析所述内容访问请求，从***内容库中获取与所述内容访问请求及用户信息对应的内容，并输出。

在一些可选实施例中，所述***还包括：

标签添加模块，用于对***中存储的用户信息进行分析整合，基于设定标准，为所述用户信息添加用户标签；

所述内容输出模块，还用于结合所述用户标签，用户信息及内容访问请求，从***内容库中获取对应的内容并输出。

在一些可选实施例中，所述内容输出模块，还用于：

基于***中保存的用户信息，当识别到再次访问的用户，通过人工智能方式，结合该用户的用户信息，从***内容库中获取推荐内容，并输出。

根据本发明实施例的第三方面，提供一种计算机设备。

在一些可选实施例中，所述计算机设备包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器执行所述程序时实现上述的网络数据抓取方法。

根据本发明实施例的第四方面，提供一种存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时实现上述的网络数据抓取方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在用户进行内容访问的过程中，抓取用户数据，并结合用户对获取内容的反馈信息，对用户数据进行补充和整理，使用户数据更加能满足应用需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种网络数据抓取方法的流程示意图；

图2是根据一示例性实施例示出的一种网络数据抓取***的框图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

如图1所示，本发明提供了一种网络数据抓取方法，包括：

S101、接收用户通过流量入口发送的内容访问请求和用户信息；

S102、将所述用户信息以唯一标识进行标注，其他信息作为关联信息，存储在***数据库中；

S103、解析所述内容访问请求及用户信息，从***内容库中获取对应的内容并输出；

S104、获取所述用户针对所述内容的反馈信息；

S105、对所述反馈信息进行解析，获取所述用户的关联信息，在所述***数据库中与所述用户的唯一标识关联存储。

在一些可选实施例中，所述唯一标识，为：

所述用户的通信号码，或所述用户的社交软件账号。

本发明的实现，基于一个实现内容输出及用户信息抓取的***，***中具有包括文章，视频，音频等内容信息的内容库，在用户进行内容查看时，***抓取用户信息。内容库中的内容，具有类型、分类、适用人群、标签、是否付费等角度的标识。

用户可通过流量入口访问该***，流量入口可为社交软件、WEB、APP等方式。该***可通过应用程序环境，H5等渠道展现给用户。***本身是支持自己独立的运作，在需要接入的入口处，可以通过应用程序API绑定、连接地址访问等方式进行接入，使***的内容很容易的出现在各种网络环境中，实现一次拼装多处投放，使用户更方便快捷的浏览到他们想要的信息，从而从浏览内容的用户身上抓取到更丰富的用户信息。

当用户从不同的流量入口进入后，***可以将用户信息进行一次合并处理，将用户的通信号码或社交网络账号，作为***中的唯一标识，将用户信息中其他数据作为关联信息，存储在关联信息表中，起到一对多的效果。用户从不同流量入口进入***的用户信息，均在***中存储在维一标识下。通过这样的数据结构，***不仅可以通过单一的标识来确定用户唯一的身份，还可以通过多方的维度来描画用户的整体概述。

当***识别到用户在访问***，可以借助人工智能的方式向用户推荐精准的用户感兴趣的内容，或者当用户输入了内容访问请求，即用户主动进行了内容搜索，***可以通过自然语言处理，找到用户搜索的内容，即通过搜索引擎的中文分词将搜索的内容进行明细化的拆分，再查询出更精细的数据信息。用户可以通过以上两种方式得到对应的内容信息，借助AI和搜索两大内容推荐方式，内容推荐可以更加精准、高效，使内容更好更快速的投放到用户眼前，提高了用户体验，同时当用户点击该内容，以及进行附属的点赞，收藏，购买等操作之后，我们会将所有的这些用户行为数据，作为用户信息保存在***数据库。

***将用户信息进行详细的分析和整合后，可以为用户添加标签，例如：该用户的购买商品的次数超过一定量级，可以赋予他一个“购物达人”的标签，标签添加可以遵循设定标准和规则，并且可以随时进行调整，这样用户自身就有了自己在***中的一类标签属性，有了一种身份标识。此时，再将该用户的标识信息，通过同步信息的方式，将该标签同步到不同的用户来源的数据库中。当用户被赋予了标签之后，***可以针对标签，向用户进行内容推荐，例如标签为“购物达人”的用户，***可以推荐出更加丰富的购物相关的内容。

该***以内容为入口，基于用户对内容的操作，逐渐获取全面的用户信息。

如图2所示，本发明还提供一种网络数据抓取***，包括：

接收模块201，用于接收用户通过流量入口发送的内容访问请求和用户信息；

存储模块202，用于将所述用户信息以唯一标识进行标注，其他信息作为关联信息，存储在***数据库中；

内容输出模块203，用于解析所述内容访问请求及用户信息，从***内容库中获取对应的内容并输出；

反馈获取模块204，用于获取所述用户针对所述内容的反馈信息；

关联存储模块205，用于对所述反馈信息进行解析，获取所述用户的关联信息，在所述***数据库中与所述用户的唯一标识关联存储。

在一些可选实施例中，所述解析所述内容访问请求，从***内容库中获取对应的内容并输出，包括：

结合所述用户信息，通过自然语言处理技术解析所述内容访问请求，从***内容库中获取与所述内容访问请求及用户信息对应的内容，并输出。

在一些可选实施例中，所述***还包括：

标签添加模块206，用于对***中存储的用户信息进行分析整合，基于设定标准，为所述用户信息添加用户标签；

所述内容输出模块203，还用于结合所述用户标签，用户信息及内容访问请求，从***内容库中获取对应的内容并输出。

在一些可选实施例中，所述内容输出模块203，还用于：

基于***中保存的用户信息，当识别到再次访问的用户，通过人工智能方式，结合该用户的用户信息，从***内容库中获取推荐内容，并输出。

根据本发明实施例的第三方面，提供一种计算机设备。

在一些可选实施例中，所述计算机设备包括存储器、处理器及存储在所述存储器上并可被所述处理器运行的程序，所述处理器执行所述程序时实现上述的网络数据抓取方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在用户进行内容访问的过程中，抓取用户数据，并结合用户对获取内容的反馈信息，对用户数据进行补充和整理，使用户数据更加能满足应用需求。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成前文所述的方法。上述非临时性计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁带和光存储设备等。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。所属技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、***和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，应该理解到，所揭露的方法、产品(包括但不限于***、设备等)，可以通过其它的方式实现。例如，以上所描述的***实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，***或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应当理解的是，附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种网络数据抓取方法，其特征在于，包括：

接收用户通过流量入口发送的内容访问请求和用户信息；

将所述用户信息以唯一标识进行标注，其他信息作为关联信息，存储在***数据库中；

解析所述内容访问请求及用户信息，从***内容库中获取对应的内容并输出，所述内容库中的内容；

获取所述用户针对所述内容的反馈信息；

对所述反馈信息进行解析，获取所述用户的关联信息，在所述***数据库中与所述用户的唯一标识关联存储。

2.如权利要求1所述的方法，其特征在于，所述唯一标识，为：

所述用户的通信号码，或所述用户的社交软件账号。

3.如权利要求1所述的方法，其特征在于，所述解析所述内容访问请求，从***内容库中获取对应的内容并输出，包括：

结合所述用户信息，通过自然语言处理技术解析所述内容访问请求，从***内容库中获取与所述内容访问请求及用户信息对应的内容，并输出。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

对***中存储的用户信息进行分析整合，基于设定标准，为所述用户信息添加用户标签；

结合所述用户标签，用户信息及内容访问请求，从***内容库中获取对应的内容并输出。

5.如权利要求1所述的方法，其特征在于，所述关联信息中，还包括用户行为数据。

6.如权利要求1所述的方法，其特征在于，所述方法还包括：

基于***中保存的用户信息，当识别到再次访问的用户，通过人工智能方式，结合该用户的用户信息，从***内容库中获取推荐内容，并输出。

7.一种网络数据抓取***，其特征在于，包括：

接收模块，用于接收用户通过流量入口发送的内容访问请求和用户信息；

存储模块，用于将所述用户信息以唯一标识进行标注，其他信息作为关联信息，存储在***数据库中；

内容输出模块，用于解析所述内容访问请求及用户信息，从***内容库中获取对应的内容并输出；

反馈获取模块，用于获取所述用户针对所述内容的反馈信息；

关联存储模块，用于对所述反馈信息进行解析，获取所述用户的关联信息，在所述***数据库中与所述用户的唯一标识关联存储。

8.如权利要求7所述的***，其特征在于，所述解析所述内容访问请求，从***内容库中获取对应的内容并输出，包括：

结合所述用户信息，通过自然语言处理技术解析所述内容访问请求，从***内容库中获取与所述内容访问请求及用户信息对应的内容，并输出。

9.如权利要求7所述的***，其特征在于，还包括：

标签添加模块，用于对***中存储的用户信息进行分析整合，基于设定标准，为所述用户信息添加用户标签；

所述内容输出模块，还用于结合所述用户标签，用户信息及内容访问请求，从***内容库中获取对应的内容并输出。

10.如权利要求1所述的方法，其特征在于，所述内容输出模块，还用于：

基于***中保存的用户信息，当识别到再次访问的用户，通过人工智能方式，结合该用户的用户信息，从***内容库中获取推荐内容，并输出。