CN114385899A - 一种基于大数据分析的用户群体精准识别***及方法 - Google Patents

Abstract

本发明公开了一种基于大数据分析的用户群体精准识别***及方法，涉及计算机技术领域。所述***包括：数据采集单元、数据预处理单元、数据分析单元、数据应用单元以及数据业务单元，其中：所述数据采集单元用于采集所述用户互联网上网日志数据；所述预处理模块将用户互联网上网日志数据转换成矩阵表示方式，同时进行存储，将所述矩阵表示方式的数据定义为待分析数据；所述数据分析单元用于根据用户设定的特征参数从所述待分析数据中提取所述特征参数，供模型训练时使用。其利用采集到的用户数据，对用户数据进行特征提取和特征转换，以完成用户画像的构建，从而来对用户群体进行进准识别，具有识别准确率高和智能化程度高的优点。

Description

一种基于大数据分析的用户群体精准识别***及方法

技术领域

本发明涉及大数据技术领域，特别是涉及一种基于大数据分析的用户群体精准识别***及方法。

背景技术

用户画像又称用户角色，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。作为实际用户的虚拟代表，用户画像所形成的用户角色并不是脱离产品和市场之外所构建出来的，形成的用户角色需要有代表性能代表产品的主要受众和目标群体。

用户画像可以使产品的服务对象更加聚焦，更加的专注。在行业里，我们经常看到这样一种现象：做一个产品，期望目标用户能涵盖所有人，男人女人、老人小孩、专家小白......通常这样的产品会走向消亡，因为每一个产品都是为特定目标群的共同标准而服务的，当目标群的基数越大，这个标准就越低。换言之，如果这个产品是适合每一个人的，那么其实它是为最低的标准服务的，这样的产品要么毫无特色，要么过于简陋。

纵览成功的产品案例，他们服务的目标用户通常都非常清晰，特征明显，在产品上就是专注、极致，能解决核心问题。比如苹果的产品，一直都为有态度、追求品质、特立独行的人群服务，赢得了很好的用户口碑及市场份额。又比如豆瓣，专注文艺事业十多年，只为文艺青年服务，用户粘性非常高，文艺青年在这里能找到知音，找到归宿。所以，给特定群体提供专注的服务，远比给广泛人群提供低标准的服务更接近成功。其次，用户画像可以在一定程度上避免产品设计人员草率的代表用户。代替用户发声是在产品设计中常出现的现象，产品设计人员经常不自觉的认为用户的期望跟他们是一致的，并且还总打着“为用户服务”的旗号。这样的后果往往是：我们精心设计的服务，用户并不买账，甚至觉得很糟糕。

发明内容

鉴于此，本发明的目的是提供一种基于大数据分析的用户群体精准识别***及方法，其利用采集到的用户数据，对用户数据进行特征提取和特征转换，以完成用户画像的构建，从而来对用户群体进行进准识别，具有识别准确率高和智能化程度高的优点。

为了实现上述目的，本发明采用如下技术方案：

一种基于大数据分析的用户群体精准识别***，所述***包括：数据采集单元、数据预处理单元、数据分析单元、数据应用单元以及数据业务单元，其中：所述数据采集单元用于采集所述用户互联网上网日志数据；所述预处理模块将用户互联网上网日志数据转换成矩阵表示方式，同时进行存储，将所述矩阵表示方式的数据定义为待分析数据；所述数据分析单元用于根据用户设定的特征参数从所述待分析数据中提取所述特征参数，供模型训练时使用；若待分析数据需要执行特征提取，则进行特征提取；若不需要，则进行特征转换，得到所述用户的行为特征；所述数据应用单元用于基于已建立的多维特征资源训练的标签分类，根据所述用户的行为特征在所述多维特征资源中进行匹配，得到所述用户的多维度行为标签，所述多维度行为标签至少包括所述用户的基本行为标签、社会行为标签、上网行为行为标签、行为习惯行为标签以及兴趣特征行为标签；所述数据业务单元用于根据所述多维度行为标签构建所述用户画像。

进一步的，所述特征转换是指将用户设定的特征转换成用户所需的表示形式，目的是为了优化输入的特征参数，以提高模型训练的精度或模型训练的速度。

进一步的，所述数据分析单元用于分别通过离线和在线方式对预处理后的所述互联网上网日志数据进行分析处理，得到所述用户的行为特征。

进一步的，所述数据分析单元包括加载单元以及离线分析单元，其中：所述加载单元用于将预处理后的所述互联网上网日志数据加载到数据存储平台中；所述离线分析单元用于结合数据存储平台中存储的历史数据，基于开源映射化简计算框架，对所述预处理后的所述互联网上网日志数据进行离线分析处理，得到所述用户的行为特征。

进一步的，所述数据分析单元包括分布单元以及在线分析单元，其中：所述分布单元用于将预处理后的所述互联网上网日志数据均匀分布到卡夫卡集群；所述在线分析单元用于通过核心流计算平台实时从所述卡夫卡集群拉取数据并进行实时流计算分析处理，得到所述用户的行为特征；所述已建立的多维特征资源包括运营商基础信息资源、终端类型基础资源、应用程序分类资源、统一资源定位符URL分类资源、访问网站及行为规律统计特征资源、上网内容聚类结果资源、用户群体分类资源、命名实体识别内容提取资源、动态标签分类管理资源、互联网网站特征资源、历史用户兴趣关注点资源以及终端移动轨迹变化资源中的至少一种。

一种基于大数据分析的用户群体精准识别方法，所述方法执行以下步骤：步骤1：采集用户互联网上网日志数据；步骤2：将用户互联网上网日志数据转换成矩阵表示方式，同时进行存储，将所述矩阵表示方式的数据定义为待分析数据；步骤3：根据用户设定的特征参数从所述待分析数据中提取所述特征参数，供模型训练时使用；若待分析数据需要执行特征提取，则进行特征提取；若不需要，则进行特征转换，得到所述用户的行为特征；步骤4：基于已建立的多维特征资源训练的标签分类，根据所述用户的行为特征在所述多维特征资源中进行匹配，得到所述用户的多维度行为标签，所述多维度行为标签至少包括所述用户的基本行为标签、社会行为标签、上网行为行为标签、行为习惯行为标签以及兴趣特征行为标签；步骤5：根据所述多维度行为标签构建所述用户画像。

进一步的，所述特征转换将用户设定的特征转换成用户所需的表示形式，目的是为了优化输入的特征参数，以提高模型训练的精度或模型训练的速度。

与现有技术相比，本发明实现的有益效果：其利用采集到的用户数据，对用户数据进行特征提取和特征转换，以完成用户画像的构建，从而来对用户群体进行进准识别，具有识别准确率高和智能化程度高的优点。

附图说明

以下结合附图和具体实施方式来进一步详细说明本发明：

图1为本发明实施例公开的基于大数据分析的用户群体精准识别***的***结构示意图；

图2为本发明实施例公开的基于大数据分析的用户群体精准识别方法的方法流程示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

须知，本说明书所附图式所绘示的结构、比例、大小等，均仅配置用于配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非配置用于限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非配置用于限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例1

如图1所示，一种基于大数据分析的用户群体精准识别***，所述***包括：数据采集单元、数据预处理单元、数据分析单元、数据应用单元以及数据业务单元，其中：所述数据采集单元用于采集所述用户互联网上网日志数据；所述预处理模块将用户互联网上网日志数据转换成矩阵表示方式，同时进行存储，将所述矩阵表示方式的数据定义为待分析数据；所述数据分析单元用于根据用户设定的特征参数从所述待分析数据中提取所述特征参数，供模型训练时使用；若待分析数据需要执行特征提取，则进行特征提取；若不需要，则进行特征转换，得到所述用户的行为特征；所述数据应用单元用于基于已建立的多维特征资源训练的标签分类，根据所述用户的行为特征在所述多维特征资源中进行匹配，得到所述用户的多维度行为标签，所述多维度行为标签至少包括所述用户的基本行为标签、社会行为标签、上网行为行为标签、行为习惯行为标签以及兴趣特征行为标签；所述数据业务单元用于根据所述多维度行为标签构建所述用户画像。

具体的，用户画像体系的建设不能凭空捏造，需要以经济建设为中心，根据实际的业务需求，考量画像***能为业务带来的价值，所以我们第一步要做的是分析业务需求。

明确用户画像服务于企业的对象，如产品、用户运营、活动运营、市场、风控等部门；再根据业务方需求，明确未来产品建设目标和用户画像分析之后的预期效果。

就公司整体而言，他的目标是提升平台整体的收益，过程中会驱动产品、运营、数据分析、市场、客服等同事协同工作，画像会更加关注如何进行精细化运营，提升公司营收上；

就运营人员娜美而言，她的目标是提升转化率，过程中会采用内容的个性化推送的策略、用户精准触达，画像会更加关注用户个人行为偏好上；

就数据分析人员罗宾而言，她的目标是做用户的流失预警，做针对性的精准营销，那过程中就需要分析用户行为特征，用户的消费偏好；

在需求分析阶段，我们需要分析业务过程，各部门核心关注点、部门KPI、组织结构、用户行为路径、功能流程图。此处分析过程跟埋点业务需求分析类似，详情可查看埋点业务需求分析，此处不做展开。

实施例2

在上一实施例的基础上，所述特征转换将用户设定的特征转换成用户所需的表示形式，目的是为了优化输入的特征参数，以提高模型训练的精度或模型训练的速度。

实施例3

在上一实施例的基础上，所述数据分析单元用于分别通过离线和在线方式对预处理后的所述互联网上网日志数据进行分析处理，得到所述用户的行为特征。

实施例4

在上一实施例的基础上，所述数据分析单元包括加载单元以及离线分析单元，其中：所述加载单元用于将预处理后的所述互联网上网日志数据加载到数据存储平台中；所述离线分析单元用于结合数据存储平台中存储的历史数据，基于开源映射化简计算框架，对所述预处理后的所述互联网上网日志数据进行离线分析处理，得到所述用户的行为特征。

具体的，从数据产品建设标签体系来看，可以根据标签的统计方式，将标签分为3类：统计类标签、规则类标签、预测类标签；

1.统计类标签用户画像最为基础常见的标签，统计类标签值统计用户相关数值、客观描述用户状态的标签，这类数据通常可以从用户注册数据、用户访问、消费统计中可以得出。

例如对于某个用户来说，其性别、年龄、城市、星座、近7日活跃天数、近7日活跃次数、累计购买金额、累计购买次数、月均消费金额等字段，

2.规则类标签基于用户行为及确定的规则产生，在实际开发画像的过程中，根据业务的需要，由运营人员和数据人员共同协商制定，包含活跃度标签、RFM标签等。例如，对平台上“交易活跃”这一口径的定义为“近90天交易次数>3”。

实施例5

在上一实施例的基础上，所述数据分析单元包括分布单元以及在线分析单元，其中：所述分布单元用于将预处理后的所述互联网上网日志数据均匀分布到卡夫卡集群；所述在线分析单元用于通过核心流计算平台实时从所述卡夫卡集群拉取数据并进行实时流计算分析处理，得到所述用户的行为特征；所述已建立的多维特征资源包括运营商基础信息资源、终端类型基础资源、应用程序分类资源、统一资源定位符URL分类资源、访问网站及行为规律统计特征资源、上网内容聚类结果资源、用户群体分类资源、命名实体识别内容提取资源、动态标签分类管理资源、互联网网站特征资源、历史用户兴趣关注点资源以及终端移动轨迹变化资源中的至少一种。

实施例6

一种基于大数据分析的用户群体精准识别方法，如图2所示，所述方法执行以下步骤：步骤1：采集用户互联网上网日志数据；步骤2：将用户互联网上网日志数据转换成矩阵表示方式，同时进行存储，将所述矩阵表示方式的数据定义为待分析数据；步骤3：根据用户设定的特征参数从所述待分析数据中提取所述特征参数，供模型训练时使用；若待分析数据需要执行特征提取，则进行特征提取；若不需要，则进行特征转换，得到所述用户的行为特征；步骤4：基于已建立的多维特征资源训练的标签分类，根据所述用户的行为特征在所述多维特征资源中进行匹配，得到所述用户的多维度行为标签，所述多维度行为标签至少包括所述用户的基本行为标签、社会行为标签、上网行为行为标签、行为习惯行为标签以及兴趣特征行为标签；步骤5：根据所述多维度行为标签构建所述用户画像。

具体的，画像***作为支撑***，主要目标用户是市场、运营、产品、数据分析师等人员，满足其用户分析、标签查询、营销活动对接的需求。所以画像***的设计需要考虑功能上的用户分析需求，以及非功能上的接口开发需求。

功能需求功能上可划分为：首页画像数据、标签管理、用户查询、用户分群等。

首页画像数据，展示用户数据的整体情况，包含用户的基本特征，如性别、年龄、地域、职业分布等基础信息；用户价值特征，如用户活跃度、会员等级、流失预警、用户价值RFM分布等信息。

标签管理，供数据人员提供标签的增、删、改、查等操作，包含标签分类、新建标签、标签审核、标签下线、异常标签等。

用户查询，主要能力包含通过输入用户ID，来查看用户画像等详情数据，如用户的基本信息、用户属性信息、用户行为等数据。

用户分群，应用场景主要为业务使用标签时，往往不会只使用一个标签进行推送，更多的情况下需要组合多个标签来满足业务上对人群的定义，用户分群相当于制作一个人群模版，在不同场景下做人群的推送。

添加分群时通常会配置人群名称、满足的条件，计算覆盖的人群数量，推送到消息通知、电子邮件、短信。

非功能需求非功能性需求主要包含接口需求，保障画像***数据与各***之间打通，如 push推送***、营销***、广告***、推荐***、BI等平台，并且保证各***数据的实时更新，避免同源不同数的问题。

实施例7

在上一实施例的基础上，所述特征转换将用户设定的特征转换成用户所需的表示形式，目的是为了优化输入的特征参数，以提高模型训练的精度或模型训练的速度。

所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的装置、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件装置、方法步骤对应的程序可以置于随机存储装置(RAM)、内存、只读存储装置(ROM)、电可编程ROM、电可擦除可编程ROM、寄存装置、硬盘、可移动磁盘、CD～ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

术语“第一”、“第二”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者装置/装置所固有的要素。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。

上述实施例仅例示性说明本发明的原理及其功效，而非配置用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种基于大数据分析的用户群体精准识别***，其特征在于，所述***包括：数据采集单元、数据预处理单元、数据分析单元、数据应用单元以及数据业务单元，其中：所述数据采集单元用于采集所述用户互联网上网日志数据；所述预处理模块将用户互联网上网日志数据转换成矩阵表示方式，同时进行存储，将所述矩阵表示方式的数据定义为待分析数据；所述数据分析单元用于根据用户设定的特征参数从所述待分析数据中提取所述特征参数，供模型训练时使用；若待分析数据需要执行特征提取，则进行特征提取；若不需要，则进行特征转换，得到所述用户的行为特征；所述数据应用单元用于基于已建立的多维特征资源训练的标签分类，根据所述用户的行为特征在所述多维特征资源中进行匹配，得到所述用户的多维度行为标签，所述多维度行为标签至少包括所述用户的基本行为标签、社会行为标签、上网行为行为标签、行为习惯行为标签以及兴趣特征行为标签；所述数据业务单元用于根据所述多维度行为标签构建所述用户画像。

2.如权利要求1所述的***，其特征在于，所述特征转换是指将用户设定的特征转换成用户所需的表示形式，目的是为了优化输入的特征参数，以提高模型训练的精度或模型训练的速度。

3.如权利要求2所述的***，其特征在于，所述数据分析单元用于分别通过离线和在线方式对预处理后的所述互联网上网日志数据进行分析处理，得到所述用户的行为特征。

4.如权利要求3所述的***，其特征在于，所述数据分析单元包括加载单元以及离线分析单元，其中：所述加载单元用于将预处理后的所述互联网上网日志数据加载到数据存储平台中；所述离线分析单元用于结合数据存储平台中存储的历史数据，基于开源映射化简计算框架，对所述预处理后的所述互联网上网日志数据进行离线分析处理，得到所述用户的行为特征。

5.如权利要求4所述的***，其特征在于，所述数据分析单元包括分布单元以及在线分析单元，其中：所述分布单元用于将预处理后的所述互联网上网日志数据均匀分布到卡夫卡集群；所述在线分析单元用于通过核心流计算平台实时从所述卡夫卡集群拉取数据并进行实时流计算分析处理，得到所述用户的行为特征；所述已建立的多维特征资源包括运营商基础信息资源、终端类型基础资源、应用程序分类资源、统一资源定位符URL分类资源、访问网站及行为规律统计特征资源、上网内容聚类结果资源、用户群体分类资源、命名实体识别内容提取资源、动态标签分类管理资源、互联网网站特征资源、历史用户兴趣关注点资源以及终端移动轨迹变化资源中的至少一种。

6.一种基于权利要求1至5之一所述***的基于大数据分析的用户群体精准识别方法，其特征在于，所述方法执行以下步骤：步骤1：采集用户互联网上网日志数据；步骤2：将用户互联网上网日志数据转换成矩阵表示方式，同时进行存储，将所述矩阵表示方式的数据定义为待分析数据；步骤3：根据用户设定的特征参数从所述待分析数据中提取所述特征参数，供模型训练时使用；若待分析数据需要执行特征提取，则进行特征提取；若不需要，则进行特征转换，得到所述用户的行为特征；步骤4：基于已建立的多维特征资源训练的标签分类，根据所述用户的行为特征在所述多维特征资源中进行匹配，得到所述用户的多维度行为标签，所述多维度行为标签至少包括所述用户的基本行为标签、社会行为标签、上网行为行为标签、行为习惯行为标签以及兴趣特征行为标签；步骤5：根据所述多维度行为标签构建所述用户画像。

7.如权利要求6所述的方法，其特征在于，所述特征转换将用户设定的特征转换成用户所需的表示形式，目的是为了优化输入的特征参数，以提高模型训练的精度或模型训练的速度。

Images