CN106777265B - 一种业务数据的处理方法及装置 - Google Patents

一种业务数据的处理方法及装置 Download PDF

Info

Publication number
CN106777265B
CN106777265B CN201611236586.7A CN201611236586A CN106777265B CN 106777265 B CN106777265 B CN 106777265B CN 201611236586 A CN201611236586 A CN 201611236586A CN 106777265 B CN106777265 B CN 106777265B
Authority
CN
China
Prior art keywords
data
component
slt
service
list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611236586.7A
Other languages
English (en)
Other versions
CN106777265A (zh
Inventor
罗海月
李建林
彭霖
王红攀
刘朕
徐宁
王球
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ENN Science and Technology Development Co Ltd
Original Assignee
ENN Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ENN Science and Technology Development Co Ltd filed Critical ENN Science and Technology Development Co Ltd
Priority to CN201611236586.7A priority Critical patent/CN106777265B/zh
Publication of CN106777265A publication Critical patent/CN106777265A/zh
Application granted granted Critical
Publication of CN106777265B publication Critical patent/CN106777265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种业务数据的处理方法及装置，涉及数据处理技术领域，解决了现有技术中Data Services无法识别没有增量标识的业务数据，进而无法实时更新业务数据。该方法通过SAP***实时获取业务数据；通过SAP***的SLT组件对业务数据进行增量操作，生成增量数据表；通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；其中，数据列表包括增量数据表。本发明实施例用于业务数据的处理。

Description

一种业务数据的处理方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种业务数据的处理方法及装置。
背景技术
随着数据量的不断增大、数据类型的不断增多，我们需要根据多样的业务需求、不同的应用场景，灵活的处理大量的数据。
现有技术中，使用较为广泛的数据处理方案如：数据服务(英文全称：DataServices)，对于增量数据Data Services是将增量数据连接可编程的web的应用程序(英文全称：Web Service)层进行消息队列处理，然后再根据需求提取数据；对于全量数据通过Data Services进行批量加载将业务数据存储至部分数据库中、分布式文件***(英文全称：Hadoop Distributed File System，简称：HDFS)中或者连接Web Service接口；但是随着数据量不断增多，业务的多样化，许多业务数据的源数据并无增量标识，因此DataServices不能将无增量标识的数据存储到消息队列，而是以全量数据的形式存储业务源数据；示例性的，当通过Data Services把业务数据存储至HDFS中时，Data Services可以对业务数据进行批量加载，由于Data Services不能识别无增量标识的业务数据，因此不能实时更新业务数据；并且由于Data Services受自身组件配置的局限性只支持数据库(英文全称：Database，简称：DB)、以及在Hadoop上的数据仓库基础构架(英文全称：Hive)的部分功能，对日后的数据处理工作造成局限性。
由上述可知，现有技术中Data Services无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
发明内容
本发明的实施例提供一种业务数据的处理方法及装置，解决了现有技术中DataServices无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面、本发明实施例提供一种业务数据的处理方法，包括：
通过SAP***实时获取业务数据；
通过SAP***的SLT组件对业务数据进行增量操作，生成增量数据表；
通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；其中，数据列表包括增量数据表。
具体的，通过SAP***实时获取业务数据后，还包括：
通过SAP***的SLT组件将业务数据生成全量数据表；
数据列表还包括全量数据表。
具体的，通过SAP***的SLT组件对业务数据进行增量操作，生成增量数据表，包括：
通过SAP***的SLT组件对业务数据中无增量标识的业务数据进行增量操作，并与业务数据中有增量标识的业务数据共同生成增量数据表。
具体的，通过Data Services组件调取SLT组件中的数据列表，并进行批量加载包括：
通过Data Services组件调取SLT组件中的数据列表；
判断Data Services组件提取的数据列表中的数据是否为空；
当Data Services组件提取的数据列表中的数据为空时，继续调取SLT组件中数据列表中的数据；
当Data Services组件提取的数据列表中的数据不为空时，批量加载数据列表。
具体的，通过Data Services组件调取SLT组件中的数据列表，并进行批量加载，包括：
通过Data Services组件调取SLT组件中的数据列表；
对调取的数据列表中的数据按照数据类型进行分类；
通过Web Service接口将分类后的数据列表中的数据接入到相应的存储引擎；其中，分类后的数据类型与存储引擎的类别对应。
具体的，存储引擎包括：Hive、Kudu、HBase、Kafka以及Impala。
第二方面、本发明实施例提供一种业务数据的处理装置，包括：
采集单元，用于通过SAP***实时获取业务数据；
数据单元，用于通过SAP***的SLT组件对采集单元采集的业务数据进行增量操作，生成增量数据表；
加载单元，用于通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；其中，数据列表包括数据单元生成的增量数据表。
具体的，数据单元，还用于通过SAP***的SLT组件将采集单元采集的业务数据生成全量数据表；
数据列表还包括数据单元生成的全量数据表。
具体的，数据单元，还用于通过SAP***的SLT组件对采集单元采集的业务数据中无增量标识的业务数据进行增量操作，并与采集单元采集的业务数据中有增量标识的业务数据共同生成增量数据表。
具体的，业务数据的处理装置还包括：
判别单元，用于判断Data Services组件提取的数据列表中的数据是否为空；
加载单元，还用于当判别单元判断Data Services组件提取的数据列表中的数据为空时，加载单元继续调取SLT组件中数据列表中的数据；
加载单元，还用于当判别单元判断Data Services组件提取的数据列表中的数据不为空时，加载单元批量加载数据列表。
具体的，业务数据的处理装置还包括分类单元和存储单元：
加载单元，还用于通过Data Services组件调取SLT组件中的数据列表；
分类单元，用于对加载单元调取的数据列表中的数据按照数据类型进行分类；
存储单元，用于通过Web Service接口将分类单元分类后的数据列表中的数据接入到相应的存储引擎；其中，分类后的数据类型与存储引擎的类别对应。
本发明的实施例提供了业务数据的处理方法及装置，其中，业务数据的处理方法利用SAP***的获取业务数据，通过SAP***的SLT组件对业务数据进行增量操作生成增量数据表；Data Services组件调取SLT组件中的数据列表，并进行批量加载；通过SAP***中SLT组件对业务数据的增量操作，使得业务数据中的数据带有增量标识；当Data Services组件调取SLT组件中的数据列表时，由于数据列表中的数据带有增量标识，因此DataServices组件可以在批量加载的过程中实时地更新业务数据；解决了现有技术中DataServices无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种业务数据的处理方法的流程图；
图2为本发明实施例提供的一种业务数据的处理方法的另一种流程图；
图3为本发明实施例提供的一种业务数据的处理方法的又一种流程图；
图4为本发明实施例提供的一种业务数据的处理装置的结构示意图；
图5为本发明实施例提供的一种业务数据的处理装置的另一种结构示意图。
附图标记：
业务数据处理装置-10；
采集单元-1010；
数据单元-1020；
加载单元-1030；
判别单元-1040；
分类单元-1050；
存储单元-1060。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的实施例提供了业务数据的处理方法及装置，其中，业务数据的处理方法利用SAP***的获取业务数据，通过SAP***的SLT组件对业务数据进行增量操作生成增量数据表；Data Services组件调取SLT组件中的数据列表，并进行批量加载；通过SAP***中SLT组件对业务数据的增量操作，使得业务数据中的数据带有增量标识；当Data Services组件调取SLT组件中的数据列表时，由于数据列表中的数据带有增量标识，因此DataServices组件可以在批量加载的过程中实时地更新业务数据；解决了现有技术中DataServices无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
实施例一、本发明实施例提供一种业务数据的处理方法，如图1所示包括：
S101、通过SAP***实时获取业务数据。
需要说明的是，S101中SAP***是指企业管理解决方案的软件，英文全称为：systems applications and products in data processing。
S102、通过SAP***的SLT组件对业务数据进行增量操作，生成增量数据表。
需要说明的是，S102中SLT组件是指SAP同步复制服务器，英文全称为：SAPLandscape Transformation Replication Server。
S103、通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；其中，数据列表包括增量数据表。
本发明的实施例提供了业务数据的处理方法，通过SAP***的SLT组件对业务数据进行增量操作生成增量数据表；Data Services组件调取SLT组件中的数据列表，并进行批量加载；通过SAP***中SLT组件对业务数据的增量操作，使得业务数据中的数据带有增量标识；当Data Services组件调取SLT组件中的数据列表时，由于数据列表中的数据带有增量标识，因此Data Services组件可以在批量加载的过程中实时地更新业务数据；解决了现有技术中Data Services无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
实施例二、本发明实施例提供一种业务数据的处理方法，如图2所示包括：
S1010、通过SAP***实时获取业务数据。
需要说的是，这里的业务数据包含SAP***数据和非SAP***数据；其中，SAP***数据指从自身组件CCS、ERP提取数据；非SAP***数据指从DB2、MYSQL、ORACLE、SQLServe等底层数据库抽取数据。
S1020、通过SAP***的SLT组件将业务数据生成全量数据表。
S1030、通过SAP***的SLT组件对业务数据进行增量操作，生成增量数据表。
S1040、通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；其中，数据列表包括全量数据表和增量数据表。
具体的，通过SAP***的SLT组件对业务数据进行增量操作，生成增量数据表，包括：
通过SAP***的SLT组件对业务数据中无增量标识的业务数据进行增量操作，并与业务数据中有增量标识的业务数据共同生成增量数据表。
需要说明的是，由于现有技术中许多业务数据的源数据并没有增量标识，因此Data Services在批量加载的过程中无法识别没有增量标识的业务数据；而本发明通过SAP***的SLT组件对业务数据中没有增量标识的业务数据进行增量操作，使得Data Services在批量加载的过程中可以识别对应的业务数据；从而使得Data Services在批量加载过程中实现了对业务数据的更新。
具体的，通过Data Services组件调取SLT组件中的数据列表，并进行批量加载包括：
通过Data Services组件调取SLT组件中的数据列表。
判断Data Services组件提取的数据列表中的数据是否为空。
当Data Services组件提取的数据列表中的数据为空时，继续调取SLT组件中数据列表中的数据。
当Data Services组件提取的数据列表中的数据不为空时，批量加载数据列表。
本发明的实施例提供了业务数据的处理方法，通过SAP***的SLT组件对业务数据进行增量操作生成增量数据表；Data Services组件调取SLT组件中的数据列表，并进行批量加载；通过SAP***中SLT组件对业务数据的增量操作，使得业务数据中的数据带有增量标识；并通过SAP***中SLT组件将业务数据生成全量数据表；当Data Services组件调取SLT组件中的数据列表时，由于数据列表中的数据带有增量标识，因此Data Services组件可以在批量加载的过程中实时地更新业务数据；解决了现有技术中Data Services无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
实施例三、本发明实施例提供一种业务数据的处理方法，如图3所示包括：
S1011、通过SAP***实时获取业务数据。
S1021、通过SAP***的SLT组件将业务数据生成全量数据表。
S1031、通过SAP***的SLT组件对业务数据进行增量操作，生成增量数据表。
S1041、通过Data Services组件调取SLT组件中的数据列表。
S1051、对调取的数据列表中的数据按照数据类型进行分类。
S1061、通过Web Service接口将分类后的数据列表中的数据接入到相应的存储引擎；其中，分类后的数据类型与存储引擎的类别对应。
需要说明的是，本发明通过将Data Services批量加载中的数据按照数据类型进行分类，并通过Web Service接口将分类后的数据列表中的数据接入到相应的存储引擎，从而使得不同数据类型的数据存储到不同的存储引擎中，解决了现有技术中由于DataServices受自身组件配置的局限性只支持DB数据库、以及Hive的部分功能的问题。
具体的，通过Web Service接口将分类后的数据列表中的数据接入到相应的存储引擎包括：
判断通过Web Service接口接入到相应存储引擎中的分类后的数据列表中的数据是否包含特殊字符。
当分类后的数据列表中的数据包含特殊字符时，在Web Service接口中统一配置特殊字符。
通过Web Service接口将分类后的数据列表中的数据接入到相应的存储引擎。
需要说明的是，在实际的应用中在经Data Services作用后的数据接入到WebService接口过程中，需要判断数据中是否存在特殊字符；在Web Service接口中对特殊字段进行统一配置，避免写入数据出现乱码情况；经Data Services自身识别自行调用相应存储引擎，将数据写入其中。
具体的，存储引擎包括：Hive、Kudu、HBase、Kafka以及Impala。
本发明的实施例提供了业务数据的处理方法，通过SAP***的SLT组件对业务数据进行增量操作生成增量数据表；Data Services组件调取SLT组件中的数据列表，并进行批量加载；通过SAP***中SLT组件对业务数据的增量操作，使得业务数据中的数据带有增量标识；并通过SAP***中SLT组件将业务数据生成全量数据表；当Data Services组件调取SLT组件中的数据列表时，由于数据列表中的数据带有增量标识，因此Data Services组件可以在批量加载的过程中实时地更新业务数据；解决了现有技术中Data Services无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
实施例四、本发明实施例提供一种业务数据的处理装置10，如图4所示包括：
采集单元1010，用于通过SAP***实时获取业务数据。
数据单元1020，用于通过SAP***的SLT组件对采集单元1010采集的业务数据进行增量操作，生成增量数据表。
加载单元1030，用于通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；其中，数据列表包括数据单元1020生成的增量数据表。
本发明的实施例提供了业务数据的处理装置，数据单元通过SAP***的SLT组件对采集单元采集的业务数据进行增量操作生成增量数据表；加载单元通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；数据单元通过SAP***中SLT组件对采集单元采集的业务数据的增量操作，使得业务数据中的数据带有增量标识；当加载单元通过Data Services组件调取SLT组件中的数据列表时，由于数据列表中的数据带有增量标识，因此Data Services组件可以在批量加载的过程中实时地更新业务数据；解决了现有技术中Data Services无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
实施例五、本发明实施例提供一种业务数据的处理装置10，如图4所示包括：
采集单元1010，用于通过SAP***实时获取业务数据。
数据单元1020，用于通过SAP***的SLT组件将采集单元采集的业务数据生成全量数据表。
数据单元1020，还用于通过SAP***的SLT组件对采集单元1010采集的业务数据进行增量操作，生成增量数据表。
加载单元1030，用于通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；其中，数据列表包括数据单元1020生成的全量数据表和增量数据表。
具体的，数据单元1020，还用于通过SAP***的SLT组件对采集单元1010采集的业务数据中无增量标识的业务数据进行增量操作，并与采集单元1010采集的业务数据中有增量标识的业务数据共同生成增量数据表。
本发明的实施例提供了业务数据的处理装置，数据单元通过SAP***的SLT组件将采集单元采集的业务数据生成全量数据表；数据单元还通过SAP***的SLT组件对采集单元采集的业务数据进行增量操作生成增量数据表；加载单元通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；数据单元通过SAP***中SLT组件对采集单元采集的业务数据的增量操作，使得业务数据中的数据带有增量标识；当加载单元通过DataServices组件调取SLT组件中的数据列表时，由于数据列表中的数据带有增量标识，因此Data Services组件可以在批量加载的过程中实时地更新业务数据；解决了现有技术中Data Services无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
实施例六、本发明实施例提供一种业务数据的处理装置10，如图5所示包括：
采集单元1010，用于通过SAP***实时获取业务数据。
数据单元1020，用于通过SAP***的SLT组件将采集单元1010采集的业务数据生成全量数据表。
数据单元1020，还用于通过SAP***的SLT组件对采集单元1010采集的业务数据进行增量操作，生成增量数据表。
判别单元1040，用于判断Data Services组件提取的数据列表中的数据是否为空。
加载单元1030，还用于当判别单元1040判断Data Services组件提取的数据列表中的数据为空时，加载单元1030继续调取SLT组件中数据列表中的数据。
加载单元1030，还用于当判别单元1040判断Data Services组件提取的数据列表中的数据不为空时，加载单元1030批量加载数据列表。
具体的，如图5所示业务数据的处理装置10还包括分类单元1050和存储单元1060：
加载单元1030，还用于通过Data Services组件调取SLT组件中的数据列表；
分类单元1050，用于对加载单元1030调取的数据列表中的数据按照数据类型进行分类；
存储单元1060，用于通过Web Service接口将分类单元1050分类后的数据列表中的数据接入到相应的存储引擎；其中，分类后的数据类型与存储引擎的类别对应。
本发明的实施例提供了业务数据的处理装置，数据单元通过SAP***的SLT组件将采集单元采集的业务数据生成全量数据表；数据单元还通过SAP***的SLT组件对采集单元采集的业务数据进行增量操作生成增量数据表；加载单元通过Data Services组件调取SLT组件中的数据列表，并进行批量加载；数据单元通过SAP***中SLT组件对采集单元采集的业务数据的增量操作，使得业务数据中的数据带有增量标识；当加载单元通过DataServices组件调取SLT组件中的数据列表时，由于数据列表中的数据带有增量标识，因此Data Services组件可以在批量加载的过程中实时地更新业务数据；解决了现有技术中Data Services无法识别没有增量标识的业务数据，进而无法实时更新业务数据。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种业务数据的处理方法，其特征在于，包括：
通过SAP***实时获取业务数据；
通过SAP***的SLT组件将所述业务数据生成全量数据表；
通过所述SAP***的SLT组件对所述业务数据进行增量操作，生成增量数据表；
通过Data Services组件调取所述SLT组件中的数据列表，并进行批量加载，包括：对调取的所述数据列表中的数据按照数据类型进行分类，通过Web Service接口将分类后的所述数据列表中的数据接入到相应的存储引擎；其中，分类后的数据类型与所述存储引擎的类别对应，所述数据列表包括所述全量数据表和所述增量数据表。
2.根据权利要求1所述的业务数据的处理方法，其特征在于，所述通过所述SAP***的SLT组件对所述业务数据进行增量操作，生成增量数据表，包括：
通过SAP***的SLT组件对所述业务数据中无增量标识的业务数据进行增量操作，并与所述业务数据中有增量标识的业务数据共同生成增量数据表。
3.根据权利要求1所述的业务数据的处理方法，其特征在于，所述通过Data Services组件调取所述SLT组件中的数据列表，并进行批量加载包括：
通过Data Services组件调取所述SLT组件中的数据列表；
判断所述Data Services组件提取的所述数据列表中的数据是否为空；
当所述Data Services组件提取的所述数据列表中的数据为空时，继续调取所述SLT组件中所述数据列表中的数据；
当所述Data Services组件提取的所述数据列表中的数据不为空时，批量加载所述数据列表。
4.根据权利要求1所述的业务数据的处理方法，其特征在于，所述存储引擎包括：Hive、Kudu、HBase、Kafka以及Impala。
5.一种业务数据的处理装置，其特征在于，包括：
采集单元，用于通过SAP***实时获取业务数据；
数据单元，用于通过SAP***的SLT组件将所述采集单元采集的业务数据生成全量数据表；
所述数据单元，还用于通过所述SAP***的SLT组件对所述采集单元采集的业务数据进行增量操作，生成增量数据表；
加载单元，用于通过Data Services组件调取所述SLT组件中的数据列表，并进行批量加载；其中，所述数据列表包括所述数据单元生成的所述全量数据表和所述增量数据表；
所述加载单元，还用于通过Data Services组件调取所述SLT组件中的数据列表；
分类单元，用于对所述加载单元调取的所述数据列表中的数据按照数据类型进行分类；
存储单元，用于通过Web Service接口将所述分类单元分类后的所述数据列表中的数据接入到相应的存储引擎；其中，分类后的数据类型与所述存储引擎的类别对应。
6.根据权利要求5所述的业务数据的处理装置，其特征在于，所述数据单元，还用于通过SAP***的SLT组件对所述采集单元采集的业务数据中无增量标识的业务数据进行增量操作，并与所述采集单元采集的业务数据中有增量标识的业务数据共同生成增量数据表。
7.根据权利要求5所述的业务数据的处理装置，其特征在于，所述业务数据的处理装置还包括：
判别单元，用于判断所述Data Services组件提取的所述数据列表中的数据是否为空；
所述加载单元，还用于当所述判别单元判断所述Data Services组件提取的所述数据列表中的数据为空时，所述加载单元继续调取所述SLT组件中所述数据列表中的数据；
所述加载单元，还用于当所述判别单元判断所述Data Services组件提取的所述数据列表中的数据不为空时，所述加载单元批量加载所述数据列表。
CN201611236586.7A 2016-12-28 2016-12-28 一种业务数据的处理方法及装置 Active CN106777265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611236586.7A CN106777265B (zh) 2016-12-28 2016-12-28 一种业务数据的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611236586.7A CN106777265B (zh) 2016-12-28 2016-12-28 一种业务数据的处理方法及装置

Publications (2)

Publication Number Publication Date
CN106777265A CN106777265A (zh) 2017-05-31
CN106777265B true CN106777265B (zh) 2020-06-19

Family

ID=58925194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611236586.7A Active CN106777265B (zh) 2016-12-28 2016-12-28 一种业务数据的处理方法及装置

Country Status (1)

Country Link
CN (1) CN106777265B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784098A (zh) * 2017-10-24 2018-03-09 百味云科技股份有限公司 实时数据仓库平台
CN109669916B (zh) * 2018-12-21 2023-06-06 浪潮软件集团有限公司 一种基于cmsp和kudu的分布式对象存储架构和平台
CN109739858B (zh) * 2018-12-29 2021-08-17 华立科技股份有限公司 基于ansi c12.19的数据分类存储方法、装置和电子设备
CN111367984B (zh) * 2020-03-11 2023-03-21 中国工商银行股份有限公司 高时效的数据加载入数据湖的方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080709A2 (en) * 2009-12-29 2011-07-07 Limont Group Inc. Shop floor interaction center
CN103646311A (zh) * 2013-12-06 2014-03-19 因为科技无锡有限公司 一种交通数据服务***
CN104573100A (zh) * 2015-01-29 2015-04-29 无锡江南计算技术研究所 一种带自增量标识的分步式数据库同步方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080709A2 (en) * 2009-12-29 2011-07-07 Limont Group Inc. Shop floor interaction center
CN103646311A (zh) * 2013-12-06 2014-03-19 因为科技无锡有限公司 一种交通数据服务***
CN104573100A (zh) * 2015-01-29 2015-04-29 无锡江南计算技术研究所 一种带自增量标识的分步式数据库同步方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
内存数据库在商务智能中的应用;吴钰彬;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140515(第 05 期);正文第2.2节 *

Also Published As

Publication number Publication date
CN106777265A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN109997126B (zh) 事件驱动提取、变换、加载（etl）处理
CN110471949B (zh) 数据血缘分析方法、装置、***、服务器及存储介质
CN106777265B (zh) 一种业务数据的处理方法及装置
CN102508919B (zh) 数据处理方法及***
CN107688626B (zh) 慢查询日志处理方法、装置及电子设备
CN110956269A (zh) 数据模型的生成方法、装置、设备以及计算机存储介质
WO2019076001A1 (zh) 信息更新方法和装置
CN108228664B (zh) 非结构化数据处理方法及装置
CN111400288A (zh) 数据质量检查方法及***
CN114461644A (zh) 一种数据采集方法、装置、电子设备及存储介质
CN115374102A (zh) 数据处理方法及***
CN112965979A (zh) 一种用户行为分析方法、装置及电子设备
CN116205396A (zh) 一种基于数据中台的数据全景监控方法及***
CN112883001A (zh) 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质
US10331484B2 (en) Distributed data platform resource allocator
CN112346775A (zh) 指标数据通用处理方法、电子设备和存储介质
CN111611276A (zh) 数据查询方法、装置及存储介质
CN109800069B (zh) 一种实现数据治理的方法及装置
CN112860412B (zh) 业务数据处理方法、装置、电子设备及存储介质
CN110795331A (zh) 软件测试的方法和装置
CN112433757A (zh) 一种确定接口调用关系的方法和装置
CN109582476B (zh) 数据处理方法、装置及***
CN115936394A (zh) 一种面向工业***的业务事件管理***和设备
CN105630997A (zh) 一种数据并行处理方法、装置及设备
CN114281549A (zh) 数据的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared