CN112527918A - 一种数据处理的方法和装置 - Google Patents
一种数据处理的方法和装置 Download PDFInfo
- Publication number
- CN112527918A CN112527918A CN202011403251.6A CN202011403251A CN112527918A CN 112527918 A CN112527918 A CN 112527918A CN 202011403251 A CN202011403251 A CN 202011403251A CN 112527918 A CN112527918 A CN 112527918A
- Authority
- CN
- China
- Prior art keywords
- data
- star model
- layer star
- layer
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 7
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 36
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000012800 visualization Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000011068 loading method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000533950 Leucojum Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/288—Entity relationship models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据处理的方法和装置，所述方法包括：获取双层星形模型中第二层星形模型的一个或多个标签数据，并对所述一个或多个标签数据进行可视化；其中，所述双层星形模型包括第一层星形模型和第二层星形模型，所述第一层星形模型为所述第二层星形模型提供数据支持；响应于用户操作，确定一个或多个目标标签数据；基于所述一个或多个目标标签数据，生成用户分群请求，以确定与所述一个或多个目标标签数据对应的一个或多个目标第二用户实体数据。通过本发明实施例，实现了针对无技术背景的业务人员可以零门槛使用自定义客户分群工具，提高了数据需求的处理效率，解决了客户分群营销和分群运行需求的快速响应。
Description
技术领域
本发明涉及数据处理领域，特别是涉及一种数据处理的方法和装置。
背景技术
在获取特定用户的用户信息时，通常需要从各个割裂的***中进行查找，进而补充完整的用户信息，如从销售***、售后***等，耗费大量的成本处理数据，且各个***的数据难以整合。
在现有技术中，可以将各个***的数据打通并集成到数据仓库中，减少了数据处理的成本，但对于从数仓中获取用户数据，需要采用人工开发脚本以在数仓执行的方式，但这种方式存在一定的技术门槛，对非技术背景的业务人员很不友好，且业务需求的新增和变化非常快，新的数据统计需求不断提出，使得客户群相关统计任务量堆积，影响需求反馈效率，造成了数仓***运行成本增大。
发明内容
鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据处理的方法和装置，包括：
一种数据处理的方法，所述方法包括：
获取双层星形模型中第二层星形模型的一个或多个标签数据，并对所述一个或多个标签数据进行可视化；其中，所述双层星形模型包括第一层星形模型和第二层星形模型，所述第一层星形模型为所述第二层星形模型提供数据支持，所述第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据；
响应于用户操作，确定一个或多个目标标签数据；
基于所述一个或多个目标标签数据，生成用户分群请求，以确定与所述一个或多个目标标签数据对应的一个或多个目标第二用户实体数据。
可选地，在所述基于所述一个或多个目标标签数据，生成用户分群请求之前，还包括：
从一个或多个需求维度信息中，确定一个或多个目标需求维度信息；
所述基于所述一个或多个目标标签数据，生成用户分群请求，包括：
结合所述一个或多个目标标签数据和所述一个或多个目标需求维度信息，生成用户分群请求。
可选地，还包括：
接收针对所述用户分群请求返回的查询结果数据；其中，所述查询结果数据包括所述一个或多个目标第二用户实体数据中与所述一个或多个目标需求维度信息对应的数据；
对所述查询结果数据进行可视化。
可选地，所述一个或多个目标标签数据包括标签类别信息和明细标签信息。
可选地，所述第一层星形模型包括一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据，所述第一层星形模型与所述第二层星形模型之间设置有映射关系，所述第一层星形模型中数据通过所述映射关系同步映射为所述第二层星形模型中数据。
可选地，每个第一用户实体数据对应所述第一层星形模型中一主表，每个维度的业务数据对应所述第一层星形模型中与主表关联的维度表；
每个第二用户实体数据对应所述第二层星形模型中一主表，每个标签数据对应所述第二层星形模型中与主表关联的维度表。
可选地，所述第一层星形模型中数据存储于数据仓库，所述第二层星形模型中数据存储于关系型数据库。
一种数据处理的装置，所述装置包括：
可视化模块，用于获取双层星形模型中第二层星形模型的一个或多个标签数据，并对所述一个或多个标签数据进行可视化；其中，所述双层星形模型包括第一层星形模型和第二层星形模型，所述第一层星形模型为所述第二层星形模型提供数据支持，所述第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据；
目标标签数据确定模块，用于响应于用户操作，确定一个或多个目标标签数据；
用户分群请求生成模块，用于基于所述一个或多个目标标签数据，生成用户分群请求，以确定与所述一个或多个目标标签数据对应的一个或多个目标第二用户实体数据。
一种电子设备，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的数据处理的方法。
一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的数据处理的方法。
本发明实施例具有以下优点：
在本发明实施例中，通过获取双层星形模型中第二层星形模型的一个或多个标签数据，并对一个或多个标签数据进行可视化，双层星形模型包括第一层星形模型和第二层星形模型，第一层星形模型为第二层星形模型提供数据支持，第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据，然后响应于用户操作，确定一个或多个目标标签数据，进而基于一个或多个目标标签数据，生成用户分群请求，以确定与一个或多个目标标签数据对应的一个或多个目标第二用户实体数据，实现了针对无技术背景的业务人员可以零门槛使用自定义客户分群工具，提高了数据需求的处理效率，解决了客户分群营销和分群运行需求的快速响应，具备灵活性、可扩展性、易用性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种星形模型示例的示意图；
图2是本发明一实施例提供的一种自定义客户群架构示例的示意图；
图3是本发明一实施例提供的一种数据处理的方法的步骤流程图；
图4是本发明一实施例提供的另一种数据处理的方法的步骤流程图；
图5是本发明一实施例提供的一种可视化界面示例的示意图；
图6是本发明一实施例提供的数据处理的装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在数据仓库中，数据模型可以围绕着星形模型和雪花模型来设计，由于星形模型在多维数据查询或分析中，可以通过最大限度地减少数据存储量以及联合较小的维表来改善查询性能，即在有限数据冗余情况下能够实现更高的效率，且支持动态扩展维表，则本发明采用了星形模型进行设计。
星形模型是一种多维的数据关系，如图1，它可以由一个事实表和多个维表组成，多个维表可以与事实表直接连接，每个维表可以将一个维度作为主键，如维度可以为文字、时间等类型的数据，由全部维表的主键可以组合成事实表的主键。而事实表的非主键属性称为事实，其可以是数值或其它能够进行计算的数据。
通过星形模型的方式组织数据，可以按照不同的维度(事实表部分主键或全部主键)，采用事实表中事实数据进行求和(summary)、求平均(average)、计数(count)、百分比(percent)的聚集计算或分析，从而可以通过多个维度分析业务主题的情况。
在实际应用中，可以将“星形模型”的设计应用至自定义客户群架构，以构建一个双层的星形模型，如图2所示，双层的星形模型可以包括数仓层、转换层、展示层。
其中，数仓层可以具有实体-关系星形模型，其由客户实体表与多个维度表组成；展示层可以具有客户-标签星形模型，其是通过将“客户”作为主表，并围绕客户的标签设计不同维度以形成的星形模型，从而使得展示层具有星形模型的高效查询、灵活扩展的特性。上述两个星形模型可以各自分布于数仓层和展示层，属于不同的物理层。
而且，双层星形模型可以通过转换层(如关联逻辑Mapping层)实现相互之间的数据通信，可以将数仓层的星形模型映射至展示层的星形模型，如将数仓层“事实表-维度”数据映射至展示层“客户-标签”数据。
基于此，双层的星形模型能够具有“事实-维度表”灵活扩展的特性，随着业务需求的新增和变更，可以在原有主事实表的基础上，不改变总体结构，只需扩展维度表即可以支持业务维度的扩展；同时，星形模型具有少执行、效率高的特性，也能够支持更高效的满足客户需求，且通过维度映射，可以支持标签的灵活扩展。
参照图3，示出了本发明一实施例提供的一种数据处理的方法的步骤流程图，具体可以包括如下步骤：
步骤301，获取双层星形模型中第二层星形模型的一个或多个标签数据，并对所述一个或多个标签数据进行可视化；其中，所述双层星形模型包括第一层星形模型和第二层星形模型，所述第一层星形模型为所述第二层星形模型提供数据支持，所述第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据；
在实际应用中，基于双层星形模型的客户分群架构可以包括可视化模块，可视化模块可以作为用户交互层，其可以通过获取双层星形模型中第二层星形模型的一个或多个标签数据，并对一个或多个标签数据进行可视化，从而实现了构建灵活扩展的客户分群工具。
构建基于双层星形模型的自定义客户分群工具，可以通过预置双层星形模型，该双层星形模型可以包括第一层星形模型和第二层星形模型，第一层星形模型可以为第二层星形模型提供数据支持，如第一层星形模型可以为实体-关系星形模型，第二层星形模型可以为客户-标签星形模型。
具体的，第一层星形模型可以包括一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据，每个第一用户实体数据可以对应第一层星形模型中一主表，每个维度的业务数据可以对应第一层星形模型中与主表关联的维度表。
第二层星形模型可以包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据，每个第二用户实体数据可以对应第二层星形模型中一主表，每个标签数据可以对应第二层星形模型中与主表关联的维度表。
第一层星形模型可以与第二层星形模型之间设置有映射关系，第一层星形模型中数据可以通过映射关系同步映射为第二层星形模型中数据。
在一示例中，第一层星形模型中数据可以存储于数据仓库，第二层星形模型中数据可以存储于关系型数据库，第一层星形模型和第二层星形模型可以各自分布于数仓层和展示层，属于不同的物理层。
在构建双层星形模型的过程中，可以根据获取的一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据，构建第一层星形模型。
在一示例中，如图2所示，分布于数仓层的第一层星形模型可以由一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据组成，每个第一用户实体数据可以对应第一层星形模型中一主表(如客户实体表)，每个维度的业务数据可以对应第一层星形模型中与主表关联的维度表(如不同维度表)，其中，客户实体表可以与一个或多个维度表连接，其可以包括客户类型维度表、充电桩维度表、社区发帖维度表、社区评论维度表、维修履历维度表、车辆维度表、订单维度表等。
在又一示例中，可以通过获取源数据，确定一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据，以为构建双层星形模型提供数据支持。
具体的，通过数据仓库中ODS层(Operational Data Store，操作数据存储)获取源数据，其可以作为源数据层存在于数据仓库体系结构中，数据仓库可以具有第一数据层、第二数据层，以及第三数据层，第一数据层可以用于存储源数据，第二数据层可以用于存储一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据，第三数据层可以用于存储一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据，第三数据层可以为关系型数据库提供数据支持。
基于双层星形模型的自定义客户分群的整体数据架构可以由源***层、ODPS数据仓库层、展示层三个结构组成，其中，源***层可以包括客户相关的业务***，如官方渠道、用户中心、CRM***、售后OAS***、APP、社区、充电管理平台、金融***、客服***等，其可以提供数据来源。
ODPS数据仓库层可以进行数据收集、加载、清洗以及处理，其可以具有ODS层-源数据层(即第一数据层)，用于存储源数据；DP层-共享数据平台层(即第二数据层)，用于存储双层星形模型中第一层星形模型的数据；UP层-客户标签集成层(即第三数据层)，用于存储双层星形模型中第二层星形模型的数据，并可以为关系型数据库提供数据支持。
展示层可以为针对客户标签的可视化工具，其可以为双层星形模型中第二层星形模型，可以存储有第二层星形模型(如客户-标签星形模型)的数据，其数据来源可以包括数据仓库层的UP层和人工打标签的数据。
在获取源数据后，可以对源数据进行预处理，如针对源数据的整理可以分为三步进行：源***梳理、数据收集、数据加载，并可以确定该源数据所属的主题域，然后可以按照主题域，对源数据进行归类，进而可以对每个主题域中的源数据进行数据整合，得到一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据。
在构建第一层星形模型后，可以按照第一层星形模型与第二层星形模型之间设置的映射关系，对第一层星形模型中一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据进行映射，进而可以得到一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据，即第一层星形模型中数据可以通过映射关系同步映射为第二层星形模型中数据。
在一示例中，如图2所示，可以通过转换层对分布于数仓层的第一层星形模型和分布于展示层的第二层星形模型进行映射，可以按照实体-关系与主体-关系的映射关系，将分布于数仓层的第一层星形模型中数据同步映射为分布于展示层的第二层星形模型中数据，也可以采用自然语言分词解析的数据处理方法，通过展示层调用分布于数仓层的第一层星形模型中数据。
在构建双层星形模型的过程中，还可以根据一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据，构建第二层星形模型。
在一示例中，如图2所示，分布于展示层的第二层星形模型可以由一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据组成，每个第二用户实体数据可以对应第二层星形模型中一主表(如客户实体表)，每个标签数据(如该客户具有的标签)可以对应第二层星形模型中与主表关联的维度表。
其中，通过不同客户分群条件，可以得到多个客户群标签，其可以包括线索标签、社区标签、充电标签、投诉标签、敏感客户标签、车辆标签、订单标签、基础标签等，针对每一客户群标签，可以设置有客户群的标签信息，可以存储于客户群标签中。
在又一示例中，针对分布于展示层的第二层星形模型中每个标签数据，其可以对应有第二层星形模型中与主表关联的维度表，该维度表中可以具有该标签数据对应的标签信息，可以用于针对用户分群请求解析的SQL语句，通过SQL语句查询标签信息，可以确定与目标标签数据对应的目标第二用户实体数据。
在实际应用中，基于双层星形模型的客户分群架构还可以包括双层星形模型模块、数据处理模块，其中，双层星形模型可以作为底层支撑模块，其在数据转换处理扩展和客户标签分群灵活定制方面起到基础决定性作用；数据处理模块，可以具有针对模型层和展示层关联的作用，其通过基于模型定义Mapping加工处理数据，能够支撑展示层的数据内容。
数据处理模块可以具备客户标签加工功能，通过获取客户、车辆和充电相关数据，并经过数据清洗、汇总，然后可以根据分布于数仓层的第一层星形模型，将客户、车辆和充电数据加工成相应的标签并进行存储，如为每个客户打上相应的标签，进而可以通过配置数据推送任务，采用Mapping关联推送数据，可以实现分布于数仓层的第一层星形模型向分布于展示层的第二层星形模型的数据同步推送。
步骤302，响应于用户操作，确定一个或多个目标标签数据；
在对一个或多个标签数据进行可视化后，可以响应于用户操作，进而可以确定一个或多个目标标签数据，该一个或多个目标标签数据可以包括标签类别信息和明细标签信息。
例如，通过标签定义，可以将“充电焦虑”标签可以归类至“充电类”标签体系中(即标签类别信息)，“充电焦虑”标签可以对应有客户充电明细数据(即明细标签信息)。
可视化模块为面向用户的门户，其可以为用户提供简洁易用的交互界面，用户可以将客户标签按业务需求进行拖拽选择，进而可以得到响应的客户分群结果。
在一示例中，可视化模块可以包括客户分群工具和客户群管理两个子模块，其中，在客户分群工具中，分布于展示层的星形模型可以为用户可见，用户可以根据业务需求拖拽相应的标签进行组合，以查询或保存为一个自定义客户群，通过客户分群工具可以将标签组合解析为对应的标签字段，并可以将标签的组合关系通过自然语言理解进行解析，转换为公式，进而可以提交至数据处理模块，待返回执行结果后可以渲染至可视化页面；客户群管理可以为针对客户群的增加、删除、修改、查询、分享、统计分析等管理功能。
步骤303，基于所述一个或多个目标标签数据，生成用户分群请求，以确定与所述一个或多个目标标签数据对应的一个或多个目标第二用户实体数据。
在确定一个或多个目标标签数据后，可以基于该一个或多个目标标签数据，生成用户分群请求，以确定与一个或多个目标标签数据对应的一个或多个目标第二用户实体数据，用于反馈针对客户分群的数据查询需求。
可视化模块作为用户交互层，针对无技术背景的业务人员，具有友好的交互界面，其使用门槛底、容易入门。
例如，可以在页面上将客户标签、车辆标签和充电标签通过分组控件进行展示。控件可以支持拖拽方式，通过将“时间标签”和“充电SOC标签”放置在操作区，并填写“时间＝9月，充电soc>＝50％”的条件，然后点击“提交”按钮，进而后台可以将自然语言的标签公式提交至数据引擎进行解析，并可以将反馈结果渲染至页面，使得业务人员可以获取到“9月份充电焦虑的客户群”数据。
在一示例中，根据一个或多个目标第二用户实体数据，还可以生成待分享数据，并可以通过预置的对外接口，对待分享数据进行数据分享。
具体的，基于双层星形模型的客户分群架构还可以包括对外接口模块，通过对外统一提供客户数据接口，可以使得对外接口统一标准化，有利于推广试用，例如，为了支持业务需求，可以通过预置的对外接口，针对自定义客户群进行数据分享，待分享数据可以包括客户基础信息数据、客户标签数据、客户群数据。
在本发明实施例中，通过获取双层星形模型中第二层星形模型的一个或多个标签数据，并对一个或多个标签数据进行可视化，双层星形模型包括第一层星形模型和第二层星形模型，第一层星形模型为第二层星形模型提供数据支持，第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据，然后响应于用户操作，确定一个或多个目标标签数据，进而基于一个或多个目标标签数据，生成用户分群请求，以确定与一个或多个目标标签数据对应的一个或多个目标第二用户实体数据，实现了针对无技术背景的业务人员可以零门槛使用自定义客户分群工具，提高了数据需求的处理效率，解决了客户分群营销和分群运行需求的快速响应，具备灵活性、可扩展性、易用性。
参照图4，示出了本发明一实施例提供的另一种数据处理的方法的步骤流程图，具体可以包括如下步骤：
步骤401，获取双层星形模型中第二层星形模型的一个或多个标签数据，并对所述一个或多个标签数据进行可视化；其中，所述双层星形模型包括第一层星形模型和第二层星形模型，所述第一层星形模型为所述第二层星形模型提供数据支持，所述第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据；
步骤402，响应于用户操作，确定一个或多个目标标签数据；
步骤403，从一个或多个需求维度信息中，确定一个或多个目标需求维度信息；
在确定一个或多个目标标签数据后，可以从一个或多个需求维度信息中，确定一个或多个目标需求维度信息。
步骤404，结合所述一个或多个目标标签数据和所述一个或多个目标需求维度信息，生成用户分群请求，以确定与所述一个或多个目标标签数据对应的一个或多个目标第二用户实体数据；
在确定一个或多个目标需求维度信息后，可以结合该一个或多个目标标签数据和一个或多个目标需求维度信息，生成用户分群请求，以确定与一个或多个目标标签数据对应的一个或多个目标第二用户实体数据，如根据该用户分群请求进行自定义客户群查询，可以获取特定用户的用户信息。
步骤405，接收针对所述用户分群请求返回的查询结果数据；其中，所述查询结果数据包括所述一个或多个目标第二用户实体数据中与所述一个或多个目标需求维度信息对应的数据；
在实际应用中，可以接收针对用户分群请求返回的查询结果数据，该询结果数据可以包括一个或多个目标第二用户实体数据中与一个或多个目标需求维度信息对应的数据，用于反馈针对客户分群的数据查询需求。
针对可视化模块中客户分群工具，其通过将分布于数仓层的星形模型的建模设计移植到可视化层，可以将数仓层SQL脚本能够实现的能力映射到可视化客户标签公式上。
在实际应用中，如图5所示，可以采用如下方式将SQL脚本的语法映射至可视化界面：
1、针对一SQL语句，如selectAfromBwhereC，页面元素对应部分可以分别为：
A部分：客户维度或需求维度(即需求维度信息)，针对最终查询结果的客户群展示或导出的字段(即查询结果数据)。
B部分：全量客户群，其可以为客户实体表数据，全部查询可以均基于该数据源。
C部分：客户标签或筛选条件，用于筛选客户群的条件，多个条件之间可以为“且”或“或”关系。
2、可视化界面可以包括多个控件按钮，例如，“查询”按钮可以快速查询标签定义出的客户群；“保存人群”按钮可以将定义客户群的条件进行保存，保存的客户群可以对应有群名称、群有效期、客户维度、标签选择等信息；通过确认选择“是否享群”可以创建共享群，并可以设置针对创建人、其他所有用户的可见权限、维护权限；“全部导出”按钮可以导出群所有客户列表；“导出”按钮可以导出当前页客户列表。
步骤406，对所述查询结果数据进行可视化。
在实际应用中，可以对用户分群请求返回的查询结果数据进行可视化，如可以通过将查询结果数据渲染至页面，从而业务人员可以直观获取到针对用户分群请求返回的查询结果数据。
为了使本领域技术人员能够更好地理解上述步骤，以下结合基于双层星形模型的自定义客户分群的可视化实现，对本发明实施例加以示例性说明，但应当理解的是，本发明实施例并不限于此：
1、标签分类布局；
通过将展示层的星形模型中“客户-标签”的标签项，按标签分类布局至页面，可以针对“标签分类-明细标签”进行两层展示，“标签分类”可以对应模型中维度表，“明细标签”可以对应模型中字段；
标签分类和明细标签都可以随着维度表、字段的扩容自动灵活扩展，满足了可扩展的需求，且在展示层中，可以将标签分类通过“抽屉控件”打开或收起的方式，使得具备灵活布局的作用。
2、客户维度可视化；
其可以为针对SQL语法中select取数部分，通过将展示层的星形模型“客户-标签”中客户属性，按标签分类布局至页面，其中，客户表可以为***主表，通过按业务归类能够较清晰进行展示，可以根据客户表的字段扩展，针对客户维度展示进行同步扩展；客户维度的可视化也可以采用抽屉控件的方式，以支持扩展更多维度。
3、采用标签公式可视化编辑器；
业务人员可以在标签公式可视化编辑器中，通过拖拽操作选择“明细标签”至编辑区，并可以赋值组合业务条件，然后可以针对客户标签组合条件，根据客户标签的数据类型，选择对应的运算符和数值，而针对客户维度，其可以限定结果集的展示字段内容，并可以根据分类进行选择。
4、采用自然语言解析器；
通过自然语言解析器，可以将标签公式组合解析为SQL语法，可以根据mapping映射将标签公式集合解析为SQL脚本，并可以提交数据引擎进行执行，等待返回结果；
5、结果预览；
通过页面中结果预览区，可以将执行结果渲染至页面进行预览展示，并支持下载。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图6，示出了本发明一实施例提供的一种数据处理的装置的结构示意图，具体可以包括如下模块：
可视化模块601，用于获取双层星形模型中第二层星形模型的一个或多个标签数据，并对所述一个或多个标签数据进行可视化；其中，所述双层星形模型包括第一层星形模型和第二层星形模型，所述第一层星形模型为所述第二层星形模型提供数据支持，所述第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据；
目标标签数据确定模块602，用于响应于用户操作，确定一个或多个目标标签数据；
用户分群请求生成模块603，用于基于所述一个或多个目标标签数据，生成用户分群请求，以确定与所述一个或多个目标标签数据对应的一个或多个目标第二用户实体数据。
在本发明一实施例中，还包括：
目标需求维度信息确定模块，用于从一个或多个需求维度信息中，确定一个或多个目标需求维度信息；
所述用户分群请求生成模块603包括：
用户分群请求生成子模块，用于结合所述一个或多个目标标签数据和所述一个或多个目标需求维度信息，生成用户分群请求。
在本发明一实施例中，还包括：
查询结果数据接收模块，用于接收针对所述用户分群请求返回的查询结果数据；其中，所述查询结果数据包括所述一个或多个目标第二用户实体数据中与所述一个或多个目标需求维度信息对应的数据；
查询结果数据可视化模块，用于对所述查询结果数据进行可视化。
在本发明一实施例中，所述一个或多个目标标签数据包括标签类别信息和明细标签信息。
在本发明一实施例中，所述第一层星形模型包括一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据，所述第一层星形模型与所述第二层星形模型之间设置有映射关系，所述第一层星形模型中数据通过所述映射关系同步映射为所述第二层星形模型中数据。
在本发明一实施例中，每个第一用户实体数据对应所述第一层星形模型中一主表，每个维度的业务数据对应所述第一层星形模型中与主表关联的维度表；
每个第二用户实体数据对应所述第二层星形模型中一主表，每个标签数据对应所述第二层星形模型中与主表关联的维度表。
在本发明一实施例中，所述第一层星形模型中数据存储于数据仓库，所述第二层星形模型中数据存储于关系型数据库。
在本发明实施例中，通过获取双层星形模型中第二层星形模型的一个或多个标签数据，并对一个或多个标签数据进行可视化，双层星形模型包括第一层星形模型和第二层星形模型，第一层星形模型为第二层星形模型提供数据支持，第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据，然后响应于用户操作，确定一个或多个目标标签数据，进而基于一个或多个目标标签数据，生成用户分群请求，以确定与一个或多个目标标签数据对应的一个或多个目标第二用户实体数据，实现了针对无技术背景的业务人员可以零门槛使用自定义客户分群工具，提高了数据需求的处理效率，解决了客户分群营销和分群运行需求的快速响应，具备灵活性、可扩展性、易用性。
本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。
本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上数据处理的方法。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种数据处理的方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种数据处理的方法，其特征在于，所述方法包括：
获取双层星形模型中第二层星形模型的一个或多个标签数据，并对所述一个或多个标签数据进行可视化；其中，所述双层星形模型包括第一层星形模型和第二层星形模型，所述第一层星形模型为所述第二层星形模型提供数据支持，所述第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据；
响应于用户操作，确定一个或多个目标标签数据；
基于所述一个或多个目标标签数据，生成用户分群请求，以确定与所述一个或多个目标标签数据对应的一个或多个目标第二用户实体数据。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述一个或多个目标标签数据，生成用户分群请求之前，还包括：
从一个或多个需求维度信息中，确定一个或多个目标需求维度信息；
所述基于所述一个或多个目标标签数据，生成用户分群请求，包括：
结合所述一个或多个目标标签数据和所述一个或多个目标需求维度信息，生成用户分群请求。
3.根据权利要求2所述的方法，其特征在于，还包括：
接收针对所述用户分群请求返回的查询结果数据；其中，所述查询结果数据包括所述一个或多个目标第二用户实体数据中与所述一个或多个目标需求维度信息对应的数据；
对所述查询结果数据进行可视化。
4.根据权利要求1所述的方法，其特征在于，所述一个或多个目标标签数据包括标签类别信息和明细标签信息。
5.根据权利要求1或2或3或4所述的方法，其特征在于，所述第一层星形模型包括一个或多个第一用户实体数据及每个第一用户实体数据对应的一个或多个维度的业务数据，所述第一层星形模型与所述第二层星形模型之间设置有映射关系，所述第一层星形模型中数据通过所述映射关系同步映射为所述第二层星形模型中数据。
6.根据权利要求5所述的方法，其特征在于，每个第一用户实体数据对应所述第一层星形模型中一主表，每个维度的业务数据对应所述第一层星形模型中与主表关联的维度表；
每个第二用户实体数据对应所述第二层星形模型中一主表，每个标签数据对应所述第二层星形模型中与主表关联的维度表。
7.根据权利要求1所述的方法，其特征在于，所述第一层星形模型中数据存储于数据仓库，所述第二层星形模型中数据存储于关系型数据库。
8.一种数据处理的装置，其特征在于，所述装置包括：
可视化模块，用于获取双层星形模型中第二层星形模型的一个或多个标签数据，并对所述一个或多个标签数据进行可视化；其中，所述双层星形模型包括第一层星形模型和第二层星形模型，所述第一层星形模型为所述第二层星形模型提供数据支持，所述第二层星形模型包括一个或多个第二用户实体数据及每个第二用户实体数据对应的一个或多个标签数据；
目标标签数据确定模块，用于响应于用户操作，确定一个或多个目标标签数据；
用户分群请求生成模块，用于基于所述一个或多个目标标签数据，生成用户分群请求，以确定与所述一个或多个目标标签数据对应的一个或多个目标第二用户实体数据。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据处理的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403251.6A CN112527918A (zh) | 2020-12-04 | 2020-12-04 | 一种数据处理的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011403251.6A CN112527918A (zh) | 2020-12-04 | 2020-12-04 | 一种数据处理的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112527918A true CN112527918A (zh) | 2021-03-19 |
Family
ID=74998355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011403251.6A Pending CN112527918A (zh) | 2020-12-04 | 2020-12-04 | 一种数据处理的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112527918A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112527919A (zh) * | 2020-12-04 | 2021-03-19 | 广州橙行智动汽车科技有限公司 | 一种数据处理的方法和装置 |
| CN113407604A (zh) * | 2021-05-21 | 2021-09-17 | 上汽通用五菱汽车股份有限公司 | 数据整合方法、***及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080033914A1 (en) * | 2006-08-02 | 2008-02-07 | Mitch Cherniack | Query Optimizer |
| CN101477526A (zh) * | 2008-12-31 | 2009-07-08 | 中兴通讯股份有限公司 | 一种实现统计报表定制的方法及*** |
| US7640264B1 (en) * | 2005-09-23 | 2009-12-29 | Emc Corporation | System and methods for querying a report database |
| CN105787052A (zh) * | 2016-02-26 | 2016-07-20 | 广州品唯软件有限公司 | 数据处理模型建立方法及基于数据处理模型数据筛选方法 |
| CN105913188A (zh) * | 2016-04-13 | 2016-08-31 | 苏州大成电子科技有限公司 | 一种rfid供应链的多维管理***及方法 |
| CN107808306A (zh) * | 2017-09-28 | 2018-03-16 | 平安科技（深圳）有限公司 | 基于标签库的业务对象的切分方法、电子装置及存储介质 |
| CN108510304A (zh) * | 2017-09-28 | 2018-09-07 | 平安科技（深圳）有限公司 | 目标客户群的构建方法、电子装置及存储介质 |
| CN110019560A (zh) * | 2017-12-28 | 2019-07-16 | ***通信集团上海有限公司 | 一种基于知识图谱的查询方法及装置 |
| CN111552679A (zh) * | 2020-04-09 | 2020-08-18 | 苏宁金融科技(南京)有限公司 | 基于简单需求的快速建模方法及装置 |
-
2020
- 2020-12-04 CN CN202011403251.6A patent/CN112527918A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7640264B1 (en) * | 2005-09-23 | 2009-12-29 | Emc Corporation | System and methods for querying a report database |
| US20080033914A1 (en) * | 2006-08-02 | 2008-02-07 | Mitch Cherniack | Query Optimizer |
| CN101477526A (zh) * | 2008-12-31 | 2009-07-08 | 中兴通讯股份有限公司 | 一种实现统计报表定制的方法及*** |
| CN105787052A (zh) * | 2016-02-26 | 2016-07-20 | 广州品唯软件有限公司 | 数据处理模型建立方法及基于数据处理模型数据筛选方法 |
| CN105913188A (zh) * | 2016-04-13 | 2016-08-31 | 苏州大成电子科技有限公司 | 一种rfid供应链的多维管理***及方法 |
| CN107808306A (zh) * | 2017-09-28 | 2018-03-16 | 平安科技（深圳）有限公司 | 基于标签库的业务对象的切分方法、电子装置及存储介质 |
| CN108510304A (zh) * | 2017-09-28 | 2018-09-07 | 平安科技（深圳）有限公司 | 目标客户群的构建方法、电子装置及存储介质 |
| CN110019560A (zh) * | 2017-12-28 | 2019-07-16 | ***通信集团上海有限公司 | 一种基于知识图谱的查询方法及装置 |
| CN111552679A (zh) * | 2020-04-09 | 2020-08-18 | 苏宁金融科技(南京)有限公司 | 基于简单需求的快速建模方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112527919A (zh) * | 2020-12-04 | 2021-03-19 | 广州橙行智动汽车科技有限公司 | 一种数据处理的方法和装置 |
| CN113407604A (zh) * | 2021-05-21 | 2021-09-17 | 上汽通用五菱汽车股份有限公司 | 数据整合方法、***及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038222B (zh) | 用于信息***建模和数据访问的实体-属性框架的*** | |
| CN113342821B (zh) | 报表配置方法、装置、设备及计算机存储介质 | |
| CN101488151B (zh) | 一种聚合Web站点内容的***和方法 | |
| CN105740333A (zh) | 一种可视化的广告管理平台和实现方法 | |
| US8543535B2 (en) | Generation of star schemas from snowflake schemas containing a large number of dimensions | |
| CN103020158A (zh) | 一种报表创建方法、装置和*** | |
| CN110532309B (zh) | 一种高校图书馆用户画像***的生成方法 | |
| KR20170098854A (ko) | 보고 생성 방법 | |
| US8762411B2 (en) | Progressive exploration of data relationships | |
| CN112527920A (zh) | 一种数据处理的方法和装置 | |
| CN116450908B (zh) | 基于数据湖的自助式数据分析方法、装置和电子设备 | |
| CN112527918A (zh) | 一种数据处理的方法和装置 | |
| CN116468010A (zh) | 报表生成方法、装置、终端及存储介质 | |
| CN104317936A (zh) | 一种基于星型模型的rolap解析引擎设计方法及装置 | |
| CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
| Tešendić et al. | Business intelligence in the service of libraries | |
| CN112270628A (zh) | 一种知识产权专题库管理方法及*** | |
| CN111190965B (zh) | 基于文本数据的即席关系分析***及方法 | |
| KR20160117965A (ko) | NoSQL 모델 생성 방법 및 그 장치 | |
| CN110362591B (zh) | 一种报表展现方法和装置 | |
| CN117216042A (zh) | 一种数据标准化平台的构建方法及装置 | |
| CN113535966A (zh) | 知识图谱的创建方法、信息获取的方法、装置和设备 | |
| Hoang et al. | Dashboard by-example: A hypergraph-based approach to on-demand data warehousing systems | |
| CN110968679A (zh) | 数据查询方法及装置 | |
| CN112527917A (zh) | 一种数据处理的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |