CN109101652A - 一种标签创建和管理*** - Google Patents

Abstract

本发明记载了一种标签创建和管理***，该***采用由模型标签层、业务标签层和组合标签层依次构成的三层架构，并且该***包括：由模型管理模块、标签管理模块、标签质量控制模块、综合管理模块和组合标签模块构成的管理模块；以及标签调度模块、标签生成模块和标签查询模块。由于采用了上述技术方案，本发明通过采用三层架构以及若干模块，获得了节省标签创建时间、提高标签创建效率、增加标签组合方式、增加交并差集功能、在基础标签数量不变的情况下扩展创建组合标签的数量等有益效果。

Description

一种标签创建和管理***

技术领域

本发明涉及数据处理技术领域，尤其涉及一种能够节省创建标签时间、提高创建标签效率、增加标签之间组合方式的标签创建和管理***。

背景技术

随着互联网以及相关产业的高速发展，如今的信息技术已然进入了大数据时代。大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

同时，随着企业的业务规模的高速扩张，数据的增长也在指数级膨胀，使得业务数据、行为数据、统计数据、行业数据、合作数据、抓取数据等增量迅速。数据快速从TB走向PB。由于这些真实的用户属性、资产情况、金融信息等数据含金量特别高，所以如何运用大数据技术挖掘有价值的商业信息，伴随着大数据应用的讨论、创新，基于用户标签体系的用户画像体系应运而生。

目前，业界常见的方案如友盟、talkingdata更关注用户分析，对标签管理侧重感不强，功能严重缺失；而国外的Countly与国内的Cobub则是以APP方发送日志时调用API的方式通过外部渠道来增加标签，再将标签纳入统计***，侧重于标签数据收集，但是无法涉及标签管理、标签质量控制、标签组合使用。同时，业界其他技术方案过于关注业务扩展量，对标签管理不成体系，往往是一个需求一堆标签，标签创建效率低下，并且贪大求全，对个别标签的质量监控不全。

此外，业界的标签库创建标签由业务方发起需求、产品提供需求页面，业务服务层由前端和服务端一起开发，中间结果存在存储层，再由服务层与数据仓库通过协议层确定增加字段，开发上线之后可用。标签迭代以小步快跑的方式积累使用，从而导致了以下严重缺陷：

1.由于创建标签需要前端、业务研发、数据研发协同开发，中间存储层还需要存储一次，所以导致标签创建效率低下；

2.数据库宽表仅支持有限的交集查询，不支持并集、差集等复杂组合情况。其中，宽表从字面意义上讲就是字段比较多的数据库表，通常是指业务主题相关的指标、维度、属性关联在一起的一张数据库表，广泛应用于数据挖掘模型训练前的数据准备，通过把相关字段放在同一张表中，可以大大提高数据挖掘模型训练过程中迭代计算时的效率问题。

发明内容

为了解决上述问题，本发明提供了一种标签创建和管理***，该***采用ElasticSearch作为宽表核心。ElasticSearch是一个基于Lucene的搜索服务器，它提供了一个基于RESTful web接口的分布式多用户全文搜索引擎。ElasticSearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。该设计用于云计算中，能够达到实时搜索、稳定、可靠、快速、安装使用方便等效果。从而，通过利用ElasticSearch的索引存储，避免了关系型数据库扩张限制和查询性能问题。同时，由于采用ElasticSearch作为宽表核心，本发明具备了如下功能和有益效果：

(1)利用ElasticSearch进行查询更新，从而在具备更高性能的基础上，实现了支持复杂计算的有益效果；

(2)可以直接利用配置ElasticSearch脚本的方式生成业务标签，从而节省标签创建时间，进而具备了提高标签创建效率的有益效果；

(3)利用ElasticSearch的bool过滤器的must、should、must_not等逻辑表达式，可以研发出多个标签之间的交集、并集、差集等逻辑功能，并进一步扩展出组合标签功能。

此外，本发明创造性地提出将标签分为由模型标签层、业务标签层、组合标签层组成的3层架构，将外部获取基础数据的动作仅仅控制在模型标签层。并通过配置HQL的方式创建模型标签，替换了现有技术中需要前端、业务研发、数据研发协同开发、中间存储层还需要存储一次的方式，极大地提高了标签创建效率。以某款APP为例，原有方案创建标签的效率为3人日，本方案仅需配置即可，无需开发，一人一天创建标签多达30个，效率提升90倍。

上述一种标签创建和管理***，所述***为三层架构，其中所述三层架构依次为模型标签层、业务标签层以及组合标签层，并且所述***包括：

管理模块，用于提供可视化标签配置，实时查看标签质量控制，管理标签任务并生成任务，同时还提供对标签及任务的增删改查，创建组合标签以及组合标签默认预览；

标签调度模块，用于通过定时任务以及一定的配置对所述管理模块内配置的标签进行校验管理，并解析标签的配置信息，提供符合要求的任务，在标签生成后更新宽表名称，根据最新生成的宽表替换旧表并提供对外服务；

标签生成模块，用于依据所述标签调度模块传递的信息生成所有字段均为默认值的宽表；

标签查询模块，用于标签的实时查询，包括可用标签接口、用户标签接口、标签数据接口以及标签状态接口。

上述***中，所述管理模块包括模型管理模块、标签管理模块、标签质量控制模块、综合管理模块以及组合标签模块。

上述***中，所述模型管理模块用于将数据仓库的数据按照不同的用途抽取关键字段，且以此作为基础数据标签，并将多个模型抽取的标签组成用户维度的模型宽表。

上述***中，所述标签管理模块用于依据模型管理模块中的基础数据标签生成客户标签。

上述***中，所述标签质量控制模块用于通过图形化的方式对客户标签进行展示。

上述***中，所述综合管理模块用于管理标签分类用户信息，展示标签所属的类别和关系。

上述***中，所述组合标签模块用于通过对多个标签的交、并、差集功能来生成组合标签。

上述***中，所述模型标签层通过用户的基本属性进行标签的第一次生成。

上述***中，所述业务标签层对所述模型标签层中的基本属性进行业务处理，并以此进行标签的第二次生成。

上述***中，所述组合标签层根据业务场景对多个标签通过交、并、差集组成使用的方式进行标签的第三次生成。

上述***中，所述模型标签层中所述用户的基本属性包括性别和年龄。

上述***中，所述管理模块中的所述可视化标签配置包括标签名称、标签类别、标签默认值、标签类型、标签更新时间和标签生成规则。

上述***中，所述管理模块通过拖拉拽的方式创建组合标签。

上述***中，所述标签调度模块通过每天定时、每周定时以及每月定时的配置对所述管理模块内配置的标签进行校验管理。

上述***中，所述管理模块内配置的标签包括模型标签、业务标签以及组合标签。

上述***中，所述标签调度模块解析的标签的配置信息包括默认值、初始值、标签类型以及标签类目。

本发明的优点和有益效果在于：

1.节省标签创建时间，提高标签创建效率。本发明的技术方案在创建标签过程中无需开发，只需配置即可完成。以某款APP为例，传统方案创建标签平均需要3人日，且需经历开发、测试、排期上线方可使用，而本发明的技术方案创建标签平均仅需1人小时，且无需开发、测试，每天数据更新后自动生效可用。

2.增加标签之间的组合方式。增加交、并、差集功能，在基础标签数量不变的情况下，创建组合标签的数量扩展了3N倍。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的标签创建和管理***的***框图；

图2是本发明实施例的标签创建和管理***的分层架构框图；

图3是本发明实施例的标签创建和管理***中标签调度模块的流程示意图；

图4是本发明实施例的标签创建和管理***中标签生成模块的流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，本发明记载了一种标签创建和管理***，该***采用由模型标签层、业务标签层以及组合标签层依次构成的三层架构，并且包括：

1.管理模块

该模块提供了可视化的标签配置，包括标签名称、标签类别、标签默认值、标签类型、标签更新时间、标签生成sql规则等。同时，还可以实时查看标签质量控制，可以管理标签任务并生成任务(job)，提供对标签及任务的增删改查，提供以拖拉拽方式创建组合标签的功能，并且提供创建组合标签默认预览功能。

作为优选方案，本实施例中的管理模块包括模型管理模块、标签管理模块、标签质量控制模块、综合管理模块以及组合标签模块。其中：

1.1模型管理模块

该模块将数据仓库(hive,impala)的数据按照不同的业务用途，抽取一些关键字段作为一系列基础数据标签，然后将多个模型抽取的一系列标签组成一个用户维度的模型宽表。

模型就是一个特定场景需要的一系列标签的查询sql，所有的模型都需要包含用户ID(uid)字段。所有的模型需要汇总到统一一张宽表。建立模型需要录入模型名称，用来作为标签的唯一名称，不允许重复。录入模型标题、模型描述、数据来源(impala、hive)，模型属性(属性名^类型^默认值|属性名^类型^默认值)，属性校验规则，和执行sql脚本。

模型建立后，需要校验模型名称不重复，生成建表语句，根据建表语句判断客户是否是唯一主键，如果是，则允许加入统一的宽表中，选择生成job功能，会在定时任务生成宽表时将这个模型的数据加入到宽表中，作为基础模型标签。

1.2标签管理模块

标签管理模块与模型管理模块的区别在于：模型管理模块的基础数据标签，只负责从数据仓库中查询出具体数据值，而标签管理模块则是根据基础数据标签生成真正的客户标签。标签管理模块主要有以下两个目的：

(1)丰富基础数据的标签属性，增加标签管理相关信息。包括标签创建、删除、编辑、启用、标签质量监控等。

(2)增加一次简单业务需求的逻辑处理。根据业务需求，需要对数据值做一次逻辑处理，生成新的业务标签。

1.3标签质量控制模块

该模块通过图形化的方式展示客户标签的更新状态、数据日期、更新时间、涉及的数据量和“空值或异常值的量”，通过这些维度的核实，便可以知道标签是否可用，自己的标签是否为最新的标签。

1.4综合管理模块

该模块主要是需要管理标签分类用户信息，并以树的形式清晰地展示出标签所属的类别和关系，方便用户使用。

1.5组合标签模块

该模块通过对多个标签的交、并、差集功能来生成组合标签，以便适应***的业务需求。例如，在实际使用中常常需要根据业务的要求对原有客群的标签进行组合或取舍，之后再通过进一步的加工分析来生成新的组合标签。

2.标签调度模块

如图3所示，该模块负责在来自外部的数据源中筛选、解析出符合要求的数据，并使用quartz框架设置为所有的job分类设置每日更新一次及每日固定2个时间点更新2次。计划任务读取所有标签job的配置，分别判断标签名称是否重复，标签类型、模型标签校验表、模型标签脚本是否正确。判断业务标签值域范围、标签默认值是否相符，表达式是否合规。判断组合标签名称是否正确，过滤条件是否标准，输出字段是否包含user_id，是否已经停止使用。校验通过的job得到所有配置，将模型标签的hql、业务标签的表达式、组合标签的过滤条件拼接标签名称转化为ES(ElasticSearch)语言，统一传递给标签生成模块，在标签生成模块生成新的宽表之后，将调用的宽表替换为新生成的宽表，完成新数据更新使用。

3.标签生成模块

如图4所示，该模块全部使用ElasticSearch数据存储生成宽表，通过hql统一从hive中抽取数据，生成第一层的模型标签；生成的模型标签可以经过加工生成业务标签；再经过ElasticSearch的交、并、差集功能生成组合标签。模型标签、业务标签、组合标签统一作为一个宽表提供给业务使用。

该模块执行如下操作：

(1)读取标签job，获得需要生成的标签名称；

(2)根据job配置和用户维度，创建***的核心-标签宽表；

(3)查询底层HIVE库，得到第一层模型标签，更新宽表对应默认值；

(4)通过第一层模型标签数据，根据job信息中查询sql，更新业务标签数据；

(5)通过一二层标签，根据job信息中查询sql，结合ElasticSearch的交、并、差集功能，更新组合标签数据。

4.标签查询模块

该模块用于标签的实时查询，主要包括可用标签接口、用户标签接口、标签数据接口以及标签状态接口，以方便业务部门***、实时地了解用户情况。标签查询模块实时查询ElasticSearch，根据user_id查询标签值，并将查询结果缓存到redis，以提高性能。标签查询模块提供的上述接口主要具有如下功能：

(1)根据标签标题或者名称查找对应标签数据；

(2)获取特定用户的指定标签属性值；

(3)根据标签标题或者名称查找对应标签生成数据；

(4)获取组合标签数据状态。

通过采用上述技术方案，本发明相对于现有技术具备以下优点和有益效果：

(1)可以通过可视化的方式创建标签(模型标签、业务标签和组合标签)；

(2)可以高效创建标签，摒弃需要前后端一起研发的传统方案，而使用ElasticSearch配合标签分层模式配置化地生成标签，创建新标签仅需配置SQL即可，无需开发和部署上线；

(3)利用ElasticSearch的BoolSearch支持交、并、差集的组合标签，而传统方案使用hive或sql仅支持交集；

(4)利用ElasticSearch的搜索功能，增加了标签可用性监控功能。

以上所述仅为本发明的较佳实施例，并不用以限制本发明。凡在本发明的精神和原则之内所作的任何修改、等同替换或改进，均应包含在本发明的保护范围之内。

Claims (16)

1.一种标签创建和管理***，其特征在于，所述***为三层架构，其中所述三层架构依次为模型标签层、业务标签层以及组合标签层，并且所述***包括：

管理模块，用于提供可视化标签配置，实时查看标签质量控制，管理标签任务并生成任务，同时还提供对标签及任务的增删改查，创建组合标签以及组合标签默认预览；

标签调度模块，用于通过定时任务以及一定的配置对所述管理模块内配置的标签进行校验管理，并解析标签的配置信息，提供符合要求的任务，在标签生成后更新宽表名称，根据最新生成的宽表替换旧表并提供对外服务；

标签生成模块，用于依据所述标签调度模块传递的信息生成所有字段均为默认值的宽表；

标签查询模块，用于标签的实时查询，包括可用标签接口、用户标签接口、标签数据接口以及标签状态接口。

2.根据权利要求1所述的***，其特征在于，所述管理模块包括模型管理模块、标签管理模块、标签质量控制模块、综合管理模块以及组合标签模块。

3.根据权利要求2所述的***，其特征在于，所述模型管理模块用于将数据仓库的数据按照不同的用途抽取关键字段，且以此作为基础数据标签，并将多个模型抽取的标签组成用户维度的模型宽表。

4.根据权利要求3所述的***，其特征在于，所述标签管理模块用于依据所述模型管理模块中的所述基础数据标签生成客户标签。

5.根据权利要求4所述的***，其特征在于，所述标签质量控制模块用于通过图形化的方式对所述客户标签进行展示。

6.根据权利要求2所述的***，其特征在于，所述综合管理模块用于管理标签分类用户信息，展示标签所属的类别和关系。

7.根据权利要求2所述的***，其特征在于，所述组合标签模块用于通过对多个标签的交、并、差集功能来生成所述组合标签。

8.根据权利要求1所述的***，其特征在于，所述模型标签层通过用户的基本属性进行标签的第一次生成。

9.根据权利要求1所述的***，其特征在于，所述业务标签层对所述模型标签层中的基本属性进行业务处理，并以此进行标签的第二次生成。

10.根据权利要求1所述的***，其特征在于，所述组合标签层根据业务场景对多个标签通过交、并、差集组成使用的方式进行标签的第三次生成。

11.根据权利要求8所述的***，其特征在于，所述模型标签层中所述用户的基本属性包括性别和年龄。

12.根据权利要求1所述的***，其特征在于，所述管理模块中的所述可视化标签配置包括标签名称、标签类别、标签默认值、标签类型、标签更新时间和标签生成规则。

13.根据权利要求1所述的***，其特征在于，所述管理模块通过拖拉拽的方式创建组合标签。

14.根据权利要求1所述的***，其特征在于，所述标签调度模块通过每天定时、每周定时以及每月定时的配置对所述管理模块内配置的标签进行校验管理。

15.根据权利要求1所述的***，其特征在于，所述管理模块内配置的标签包括模型标签、业务标签以及组合标签。

16.根据权利要求1至15中任一项所述的***，其特征在于，所述标签调度模块解析的所述标签的配置信息包括默认值、初始值、标签类型以及标签类目。