CN111626773A - 用户用电数据处理方法、装置、计算机设备和存储介质 - Google Patents
用户用电数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN111626773A CN111626773A CN202010434726.1A CN202010434726A CN111626773A CN 111626773 A CN111626773 A CN 111626773A CN 202010434726 A CN202010434726 A CN 202010434726A CN 111626773 A CN111626773 A CN 111626773A
- Authority
- CN
- China
- Prior art keywords
- data
- aggregated
- aggregation
- granularity
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 72
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000002776 aggregation Effects 0.000 claims abstract description 86
- 238000004220 aggregation Methods 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 25
- 230000004931 aggregating effect Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 23
- 238000012163 sequencing technique Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000012550 audit Methods 0.000 abstract description 14
- 238000004458 analytical method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000005553 drilling Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Public Health (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- Mathematical Physics (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种用户用电数据处理方法、装置、计算机设备和存储介质。所述方法包括：获取用户用电档案数据和电费核算业务数据，得到目标数据集，识别目标数据集的数据粒度和聚合目标信息，将目标数据集汇总至同一维度，得到数据集汇总数据，基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据，归集聚合数据，推送归集后的聚合数据。上述方案，通过对数据进行分组聚合处理，有效提升数据价值密度，在汇总数据时结合审计对明细数据的需求，以半结构化文本的形式对明细数据进行聚合，能够实现汇总数据与明细数据的同级展示，解决多对多数据关系的展示，降低审计难度。
Description
技术领域
本申请涉及电力电网技术领域，特别是涉及一种用户用电数据处理方法、装置、计算机设备和存储介质。
背景技术
随着电网信息化技术的发展和电网信息***的升级和推进，越来越多的信息实现了电子化存档，这使得在线审计成为可能。营销业务数据库中的数据模型，是业务事实在信息***中的映射。通过解析数据库中的数据模型，可以提取大量的业务发生时的详细信息。这些信息是电网营销审计的重要材料。
目前，电网营销审计多是通过监控指标或分组聚合方式对用户用电数据进行处理，但是，监控指标更适合对已发现的问题进行持续跟踪，分组聚合方式无法覆盖到明细数据，当数据存在多对多的关系时，为了保证聚合结果的正确性，必须定制复杂的聚合规则，且明细数据的数据量会更加庞大，因此，使得现有的数据处理方案无法同时满足审计过程中对汇总数据和明细数据的需要，且对于多对多关系的数据处理不够灵活，使得审计分析过程复杂，严重制约后期审计分析效率。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低审计分析复杂程度的用户用电数据处理方法、装置、计算机设备和存储介质。
一种用户用电数据处理方法，所述方法包括：
获取用户用电档案数据和电费核算业务数据，得到目标数据集；
识别目标数据集的数据粒度和聚合目标信息；
将目标数据集汇总至同一维度，得到数据集汇总数据；
基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据；
归集聚合数据，推送归集后的聚合数据。
在其中一个实施例中，基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据包括：
根据数据粒度和聚合目标信息，对明细数据进行分组查询，得到分组查询结果；
对各分组查询结果进行排序处理，得到分组排序结果；
将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据。
在其中一个实施例中，将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据包括：
采用XMLAGG函数，将各分组排序结果拼接聚合为CLOB类型的文本数据，得到聚合数据。
在其中一个实施例中，将各分组排序结果拼接为CLOB类型的文本数据，得到聚合数据之后，还包括：
将聚合数据格式化为表格形式，得到聚合表。
在其中一个实施例中，归集聚合数据，推送归集后的聚合数据包括：
根据相同维度关联聚合数据；
推送关联后的聚合数据，得到数据展示结果。
在其中一个实施例中，推送关联后的所述聚合数据，得到数据展示结果之后，还包括：
比对数据展示结果，检查数据展示结果是否存在异常数据。
一种用户用电数据处理装置，所述装置包括：
数据获取模块，用于获取用户用电档案数据和电费核算业务数据，得到目标数据集；
数据识别模块，用于识别目标数据集的数据粒度和聚合目标信息；
数据汇总模块，用于将目标数据集汇总至同一维度，得到数据集汇总数据；
数据聚合模块，用于基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据；
数据展示模块，用于归集聚合数据，推送归集后的聚合数据。
在其中一个实施例中，数据聚合处理模块还用于根据数据粒度和聚合目标信息，对明细数据进行分组查询，得到分组查询结果，对各分组查询结果进行排序处理，得到分组排序结果，将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取用户用电档案数据和电费核算业务数据，得到目标数据集；
识别目标数据集的数据粒度和聚合目标信息；
将目标数据集汇总至同一维度，得到数据集汇总数据；
基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据；
归集聚合数据，推送归集后的聚合数据。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取用户用电档案数据和电费核算业务数据，得到目标数据集；
识别目标数据集的数据粒度和聚合目标信息；
将目标数据集汇总至同一维度，得到数据集汇总数据；
基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据；
归集聚合数据，推送归集后的聚合数据。
上述用户用电数据处理方法、装置、计算机设备和存储介质，获取用户用电档案数据和电费核算业务数据，得到目标数据集，识别目标数据集的数据粒度和聚合目标信息，将目标数据集汇总至同一维度，得到数据集汇总数据，基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据，归集聚合数据，推送归集后的聚合数据。上述方案，提供了一种分组聚合的方式，有效地提升了数据价值密度，在汇总数据的同时，又结合审计对明细数据的需求，以半结构化文本的形式，对明细数据进行聚合，实现了汇总数据与明细数据的同级展示，解决了多对多数据关系的展示，最大程度地保留信息的完整性，降低审计分析的复杂程度，支持后期高效的审计分析。
附图说明
图1为一个实施例中用户用电数据处理方法的应用环境图；
图2为一个实施例中用户用电数据处理方法的流程示意图；
图3为另一个实施例中用户用电数据处理方法的流程示意图；
图4为一个实施例中采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理步骤的流程示意图；
图5为一个实施例中用户用电数据处理装置的结构框图；
图6为另一个实施例中用户用电数据处理装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的用户用电数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。具体的可以是终端102上运行有营销MIS***，该***汇聚着各方面的电力营销数据和业务数据，当审计人员有电网营销审计需求时，通过在终端102上操作，发送数据处理请求至服务器104，服务器104响应该请求，获取用户用电档案数据和电费核算业务数据，得到目标数据集，识别目标数据集的数据粒度和聚合目标信息，将目标数据集汇总至同一维度，得到数据集汇总数据，基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据，归集聚合数据，推送归集后的聚合数据。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种用户用电数据处理方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤202，获取用户用电档案数据和电费核算业务数据，得到目标数据集。
用户用电档案数据中记录了用户的基本用电属性数据，若用户用电档案数据准确，则可以直接根据用电档案数据判断客户的用电行为和用电模式；电费核算信息记录了每次算费的数据采集和计算过程。这些数据都通过数据中心同一采集和推送。在实际应用中，当接收到数据处理请求后，便获取上述用户用电档案数据和电费核算的相关业务数据，得到目标数据集。具体的，以用电基本属性数据包括用户编号、用户名称、用电地址、用电类别代码和用户类别代码等。电费核算业务数据包括计量点数据、计量点变压器关系数据、运行电能表、核算计量点信息、业扩工作单基本信息以及核算运行变压器信息等。
步骤204，识别目标数据集的数据粒度和聚合目标信息。
数据粒度，是指数据仓库中数据的细化和综合程度。根据数据粒度细化标准：细化程度越高，粒度越小；细化程度越低，粒度越大。当获取到上述用户用电档案数据和电费核算业务数据的数据集后，需识别数据集的数据粒度和聚合目标信息。具体实施时，数据处理的主要目标是用户变压器的运行容量与变压器核算时的折算的计费容量。识别出的用户变压器的数据粒度是变压器，核算信息的数据粒度是计量点，且变压器与计量点是多对多关系。
步骤206，将目标数据集汇总至同一维度，得到数据集汇总数据。
目标数据集中的可计算信息包括变压器的额定容量、运行天数等。在实际应用中，由于变压器与计量点是多对多关系，无法直接关联聚合，而用户与变压器、用户与计量点都是一对多关系，因此，可将目标统一汇总维度为用户。变压器的汇总规则较为简单，取运行状态的变压器，直接汇总额定容量即可。而核算变压器需要考虑算费期间内变压器的运行天数，若变压器在此算法周期内又暂停或停用，需要将运行容量以运行天数/30天的比率折算为计费容量。
步骤208，基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据。
半结构化数据具有一定的结构性，其是一种适于数据库集成的数据模型，也就是说，适于描述包含在两个或多个数据库(这些数据库含有不同模式的相似数据)中的数据。简单的分组聚合只能保留分组字段和汇总计算字段，一般使用数据下钻和穿透功能获取其他的明细数据，但下钻功能需要有平台功能支撑，且每次只能穿透一条汇总数据的明细，无法宏观地展示可能潜在的线索。具体实施时，可采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，在实际处理中，可根据业务需要在聚合处理时，将需要保留的明细数据以半结构化的文本聚合起来，拼接成一个大文本，使得明细数据和汇总数据并列展示。
步骤210，归集聚合数据，推送归集后的聚合数据。
在得到聚合数据之后，由于前序已将各数据集统一汇总到用户维度，因此，可从维度角度将聚合数据归集到一起进行展示，进行比对，得到数据多维展示结果。
如图3所示，在其中一个实施例中，归集聚合数据，推送归集后的聚合数据包括：步骤220，根据相同维度关联聚合数据；推送关联后的聚合数据，得到数据展示结果。本实施例中，可以是以相同维度关联各聚合数据进行比对，具体的，可以用户作为关联条件，将聚合数据关联到一起进行比对，得到同一数据在不同数据集汇总数据下的展示情况，方便查看数据不一致的地方。
上述用户用电数据处理方法中，获取用户用电档案数据和电费核算业务数据，得到目标数据集，识别目标数据集的数据粒度和聚合目标信息，将目标数据集汇总至同一维度，得到数据集汇总数据，基于数据粒度和聚合目标信息，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据，归集聚合数据，推送归集后的聚合数据。上述方案，提供了一种分组聚合的方式，有效地提升了数据价值密度，在汇总数据的同时，又结合审计对明细数据的需求，以半结构化文本的形式，对明细数据进行聚合，实现了汇总数据与明细数据的同级展示，解决了多对多数据关系的展示，最大程度地保留信息的完整性，降低审计分析的复杂程度，支持后期高效的审计分析。
在其中一个实施例中，如图4所示，步骤208包括：
步骤228，根据数据粒度和聚合目标信息，对明细数据进行分组查询，得到分组查询结果；
步骤248，对各分组查询结果进行排序处理，得到分组排序结果；
步骤268，将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据。
在实际应用中，本申请提供的分组聚合处理过程可以是使用listagg函数或XMLAGG函数实现文本的拼接。具体的，可先根据数据粒度和聚合目标信息，对明细数据进行分组查询，然后针对每个分组查询结果，使用order by子句对查询结果进行排序，得到分组排序结果，再将分组排序结果按照预设格式拼接聚合为文本数据。实际应用中，使用数据库的listagg函数可以基本满足聚合拼接的要求，listagg拼接字段的为VARCAHR2类型，且上限最多只能有4000个字符，使用时必须控制拼接的长度不能太长，否则会导致无法执行。因此，若对拼接长度需求更大时，可采用XMLAGG函数进行拼接聚合。即采用XML(ExtensibleMarkup Language，可标记扩展语言，简称XML)格式存储半结构数据。本实施例中，将明细数据按照预设格式拼接聚合为文本数据，能够避免必要的明细数据的丢失，实现明细数据和汇总数据的同级并列展示。
在其中一个实施例中，将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据包括：采用XMLAGG函数，将各分组排序结果拼接聚合为CLOB类型的文本数据，得到聚合数据。
本实施例中，可借用Oracle数据库对XML文本的处理方法，使用XMLAGG函数将其分组排序结果拼接为CLOB类型进行存储。XMLAGG函数用于从XML元素集合中生成XML元素林。XMLAGG是一个集合函数，它会为查询中的所有行生成单一的XML集合结果。指定ORDER BY子句可以给XML元素排序。具体的，XMLAGG函数可以是XMLAGG(expression[ORDER BY order-by-expression])，其中，expression：XML值。始终将元素内容转义，除非数据类型为XML；order-by-expression：对该函数返回的元素排序。order-by-expression用以对XML元素排序的表达式，根据该表达式的值对XML元素排序。当ORDER BY子句包含常量时，由优化程序对常量进行解释，然后替换为等效的ORDER BY子句。例如，优化程序将ORDER BY'a'解释为ORDER BY表达式。如果几个有效的ORDER BY子句可以在逻辑上组合成一个ORDER BY子句，则可执行其中含有这几个ORDER BY子句的包含多个集合函数的查询块。本实施例中，CLOB类型最多可以存放4GB大小的数据，采用XMLAGG函数，将各分组排序结果拼接聚合为CLOB类型的文本数据，能够存储大容量的聚合的文本数据。
在其中一个实施例中，将各分组排序结果拼接为CLOB类型的文本数据，得到聚合数据之后，还包括：将聚合数据格式化为表格形式，得到聚合表。
在实际应用中，在使用XMLAGG函数处理拼接文本，得到聚合数据后，还可将聚合数据进行输出结果格式化，模拟为表格的形式展现。具体的，可以是使用RPAD函数对聚合数据进行格式化处理，模拟为表格数据，得到多个聚合表。可以理解的是，在其他实施例中，格式化函数还可以使是LPAD函数、LTRIM函数等。本实施例中，将聚合数据格式化为表格形式以聚合表的形式体现能够提高数据的可读性。
如图3所示，在其中一个实施例中，归集聚合数据，推送归集后的聚合数据，得到数据展示结果之后，还包括：步骤212，比对数据展示结果，检查数据展示结果是否存在异常数据。
在实际应用中，在以相同维度关联聚合数据(聚合表)得到数据展示结果后，还可比对数据展示结果，检查其是否存在数据异常。具体的，检查的思路可以包括：1.基本电费的用户，变压器运行容量之和要等于计费容量；2.用电类别是大工业，执行电价代码的用电类别是大工业；3.取核算的计费容需量值M，取核算变压器信息的变压器折算后的计费容量N，一般二者相等，如果N>M，则表明存在异常。若检查出若运行容量与计费容量不一致，则要进一步检查用电档案数据是否有误，是否容量核算错误，是否有电费计算错误。下面，结合一个实例进行说明，如电力有限公司(用户编号为001)对应的2017年12月计收基本电费的计费容量合计7305，而处于运行状态的变压器容量之和为6990，则表明数据存在异常，需要进一步检查用电档案数据。本申请提供的用户用电数据处理方法，解决了由于变压器与计量点多对多的关系导致的容量计算混乱问题；通过半结构化部分信息确保在提供的信息足够充分的同时保持数据的简洁性。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中，如图5所示，提供了一种用户用电数据处理装置，包括：数据获取模块510、数据识别模块520、数据汇总模块530、数据聚合模块540和数据展示模块550，其中：
数据获取模块510，用于获取用户用电档案数据和电费核算业务数据，得到目标数据集；
数据识别模块520，用于识别目标数据集的数据粒度和聚合目标信息；
数据汇总模块530，用于将目标数据集汇总至同一维度，得到数据集汇总数据；
数据聚合模块540，用于基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据；
数据展示模块550，用于归集聚合数据，推送归集后的聚合数据。
在其中一个实施例中，数据聚合模块540还用于根据数据粒度和聚合目标信息，对明细数据进行分组查询，得到分组查询结果，对各分组查询结果进行排序处理，得到分组排序结果，将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据。
在其中一个实施例中，数据聚合模块540还用于采用XMLAGG函数，将各分组排序结果拼接聚合为CLOB类型的文本数据，得到聚合数据。
如图6所示，在其中一个实施例中，装置还包括数据格式化模块560，用于将聚合数据格式化为表格形式，得到聚合表。
在其中一个实施例中，数据展示模块550还用于根据相同的维度关联、并展示聚合数据，得到同一数据在不同的数据集汇总数据下的展示情况。
如图6所示，在其中一个实施例中，装置还包括异常检测模块570，用于比对数据展示结果，检查数据展示结果是否存在异常数据。
关于用户用电数据处理装置的具体限定可以参见上文中对于用户用电数据处理方法的限定，在此不再赘述。上述用户用电数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储用户用电档案数据、电费核算业务数据以及其他电力营销数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用户用电数据处理方法。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取用户用电档案数据和电费核算业务数据，得到目标数据集，识别目标数据集的数据粒度和聚合目标信息，将目标数据集汇总至同一维度，得到数据集汇总数据，基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据，归集聚合数据，推送归集后的聚合数据。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：根据数据粒度和聚合目标信息，对明细数据进行分组查询，得到分组查询结果，对各分组查询结果进行排序处理，得到分组排序结果，将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：采用XMLAGG函数，将各分组排序结果拼接聚合为CLOB类型的文本数据，得到聚合数据。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：将聚合数据格式化为表格形式，得到聚合表。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：根据相同维度关联聚合数据，推送关联后的聚合数据，得到数据展示结果。
在其中一个实施例中，处理器执行计算机程序时还实现以下步骤：比对数据展示结果，检查数据展示结果是否存在异常数据。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取用户用电档案数据和电费核算业务数据，得到目标数据集，识别目标数据集的数据粒度和聚合目标信息，将目标数据集汇总至同一维度，得到数据集汇总数据，基于数据粒度和聚合目标信息，采用半结构化文本方式，对数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据，归集聚合数据，推送归集后的聚合数据。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据数据粒度和聚合目标信息，对明细数据进行分组查询，得到分组查询结果，对各分组查询结果进行排序处理，得到分组排序结果，将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：
采用XMLAGG函数，将各分组排序结果拼接聚合为CLOB类型的文本数据，得到聚合数据。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将聚合数据格式化为表格形式，得到聚合表。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据相同维度关联聚合数据，推送关联后的聚合数据，得到数据展示结果。
在其中一个实施例中，计算机程序被处理器执行时还实现以下步骤：比对数据展示结果，检查数据展示结果是否存在异常数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种用户用电数据处理方法，其特征在于，所述方法包括：
获取用户用电档案数据和电费核算业务数据，得到目标数据集；
识别所述目标数据集的数据粒度和聚合目标信息；
将所述目标数据集汇总至同一维度，得到数据集汇总数据；
基于所述数据粒度和聚合目标信息，采用半结构化文本方式，对所述数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据；
归集所述聚合数据，推送归集后的聚合数据。
2.根据权利要求1所述的方法，其特征在于，所述基于所述数据粒度和所述聚合目标信息，采用半结构化文本方式，对所述数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据包括：
根据所述数据粒度和所述聚合目标信息，对所述明细数据进行分组查询，得到分组查询结果；
对各分组查询结果进行排序处理，得到分组排序结果；
将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据。
3.根据权利要求2所述的方法，其特征在于，所述将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据包括：
采用XMLAGG函数，将各分组排序结果拼接聚合为CLOB类型的文本数据，得到聚合数据。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于所述数据粒度和聚合目标信息，采用半结构化文本方式，对所述数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据之后，还包括：
将所述聚合数据格式化为表格形式，得到聚合表。
5.根据权利要求1至3任意一项所述的方法，其特征在于，所述归集所述聚合数据，推送归集后的聚合数据包括：
根据相同维度关联所述聚合数据；
推送关联后的所述聚合数据，得到数据展示结果。
6.根据权利要求5所述的方法，其特征在于，所述推送关联后的所述聚合数据，得到数据展示结果之后，还包括：
比对所述数据展示结果，检查所述数据展示结果是否存在异常数据。
7.一种用户用电数据处理装置，其特征在于，所述装置包括：
数据获取模块，用于获取用户用电档案数据和电费核算业务数据，得到目标数据集；
数据识别模块，用于识别所述目标数据集的数据粒度和聚合目标信息；
数据汇总模块，用于将所述目标数据集汇总至同一维度，得到数据集汇总数据；
数据聚合模块，用于基于所述数据粒度和聚合目标信息，采用半结构化文本方式，对所述数据集汇总数据中的明细数据进行分组聚合处理，得到聚合数据；
数据展示模块，用于归集所述聚合数据，推送归集后的聚合数据。
8.根据权利要求7所述的装置，其特征在于，所述数据聚合处理模块还用于根据所述数据粒度和所述聚合目标信息，对所述明细数据进行分组查询，得到分组查询结果，对各分组查询结果进行排序处理，得到分组排序结果，将各分组排序结果按照半结构化数据对应的预设格式拼接聚合为文本数据，得到聚合数据。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010434726.1A CN111626773A (zh) | 2020-05-21 | 2020-05-21 | 用户用电数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010434726.1A CN111626773A (zh) | 2020-05-21 | 2020-05-21 | 用户用电数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111626773A true CN111626773A (zh) | 2020-09-04 |
Family
ID=72271034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010434726.1A Pending CN111626773A (zh) | 2020-05-21 | 2020-05-21 | 用户用电数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626773A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112685464A (zh) * | 2020-12-23 | 2021-04-20 | 深圳供电局有限公司 | 变压器信息识别方法、装置、计算机设备和存储介质 |
| CN114791915A (zh) * | 2022-06-22 | 2022-07-26 | 深圳高灯计算机科技有限公司 | 数据归集方法、装置、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101488151A (zh) * | 2009-01-20 | 2009-07-22 | 中国科学院计算技术研究所 | 一种聚合Web站点内容的***和方法 |
| CN108572963A (zh) * | 2017-03-09 | 2018-09-25 | 北京京东尚科信息技术有限公司 | 信息获取方法和装置 |
| CN111095238A (zh) * | 2017-09-29 | 2020-05-01 | 甲骨文国际公司 | 在分片数据库环境中处理半结构化和非结构化数据 |
-
2020
- 2020-05-21 CN CN202010434726.1A patent/CN111626773A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101488151A (zh) * | 2009-01-20 | 2009-07-22 | 中国科学院计算技术研究所 | 一种聚合Web站点内容的***和方法 |
| CN108572963A (zh) * | 2017-03-09 | 2018-09-25 | 北京京东尚科信息技术有限公司 | 信息获取方法和装置 |
| CN111095238A (zh) * | 2017-09-29 | 2020-05-01 | 甲骨文国际公司 | 在分片数据库环境中处理半结构化和非结构化数据 |
Non-Patent Citations (1)
| Title |
|---|
| 张程: "电力客户服务大数据辅助决策***的设计与实现", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112685464A (zh) * | 2020-12-23 | 2021-04-20 | 深圳供电局有限公司 | 变压器信息识别方法、装置、计算机设备和存储介质 |
| CN112685464B (zh) * | 2020-12-23 | 2024-04-19 | 深圳供电局有限公司 | 变压器信息识别方法、装置、计算机设备和存储介质 |
| CN114791915A (zh) * | 2022-06-22 | 2022-07-26 | 深圳高灯计算机科技有限公司 | 数据归集方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112100219B (zh) | 基于数据库查询处理的报表生成方法、装置、设备和介质 | |
| CN108446210A (zh) | ***性能的度量方法、存储介质和服务器 | |
| CN110795524B (zh) | 主数据映射处理方法、装置、计算机设备及存储介质 | |
| CN109359283A (zh) | 表格数据的汇总方法、终端设备及介质 | |
| US7765219B2 (en) | Sort digits as number collation in server | |
| CN111626773A (zh) | 用户用电数据处理方法、装置、计算机设备和存储介质 | |
| CN111931471B (zh) | 表单收集方法、装置、电子设备及存储介质 | |
| CN112559523A (zh) | 数据探查方法、装置、电子设备以及存储介质 | |
| CN114564930A (zh) | 文档信息整合方法、装置、设备、介质和程序产品 | |
| CN112328631A (zh) | 一种生产故障分析方法、装置、电子设备及存储介质 | |
| CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
| CN110544118B (zh) | 销量预测方法、装置、介质和计算设备 | |
| CN113837584B (zh) | 业务处理***和基于业务处理***的异常数据处理方法 | |
| CN111563527B (zh) | 异常事件检测方法以及装置 | |
| CN116860311A (zh) | 脚本分析方法、装置、计算机设备及存储介质 | |
| US20140101159A1 (en) | Knowledgebase Query Analysis | |
| CN115333232A (zh) | 变压器启停状态异常的在线监测方法及相关装置 | |
| CN114722789A (zh) | 数据报表集成方法、装置、电子设备及存储介质 | |
| CN113722296A (zh) | 一种农业信息处理方法、装置、电子设备及存储介质 | |
| CN113626387A (zh) | 一种任务数据的导出方法、装置、电子设备及存储介质 | |
| CN114519059B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| West et al. | An SQL-based approach to similarity assessment within a relational database | |
| CN115409463A (zh) | 文档数据处理方法、装置、计算机设备和存储介质 | |
| CN113297426A (zh) | 图数据库的特征生成方法、装置及电子设备 | |
| CN115330370A (zh) | 账单管理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200904 |
|
| RJ01 | Rejection of invention patent application after publication |