CN116069861A - 一种数据处理方法、***及电子设备 - Google Patents

一种数据处理方法、***及电子设备 Download PDF

Info

Publication number
CN116069861A
CN116069861A CN202310087451.2A CN202310087451A CN116069861A CN 116069861 A CN116069861 A CN 116069861A CN 202310087451 A CN202310087451 A CN 202310087451A CN 116069861 A CN116069861 A CN 116069861A
Authority
CN
China
Prior art keywords
data
service
service demand
data set
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310087451.2A
Other languages
English (en)
Inventor
王洁
戴维豪
丁江涛
郭世奎
邓应强
丁勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN202310087451.2A priority Critical patent/CN116069861A/zh
Publication of CN116069861A publication Critical patent/CN116069861A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供了一种数据处理方法、***及电子设备，涉及信息技术领域。在本申请中，首先获取原始业务数据集，然后从原始业务数据集中提取与业务需求相关联的业务需求数据，最后将业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集，采用这种方式，不仅能够通过多种数据采集方式来获取原始业务数据集，并将原始业务数据集中的业务需求数据转换为相同的数据格式，还能够增加企业对于信息资源的利用价值，提高企业核心竞争力。

Description

一种数据处理方法、***及电子设备
技术领域
本申请涉及信息技术领域，尤其涉及一种数据处理方法、***及电子设备。
背景技术
工业信息化是指工业企业利用电子技术、计算机技术、通信技术等一系列现代化技术，通过对信息资源的深度开发和广泛的利用，提高企业的经济效益和企业竞争力的过程。
随着信息技术的发展，越来越多先进的管理技术运用到企业的信息化管理中，例如，企业资源计划(Enterprise Resource Planning，ERP)，ERP是集物质资源管理、人力资源管理、财务资源管理以及信息资源管理于一体的企业管理软件，能够为企业员工以及决策层提供决策手段，提高企业核心竞争力。
然而，在实际的信息化管理的过程中，企业可能先后采用了多种管理***。例如，客户关系管理(Customer Relationship Management，CRM)、人力资源管理(HumanResource Management，HRM)以及ERP。不同的业务数据分别存放在相应的管理***中，由于不同管理***中的数据之间缺乏相互联系的渠道，这使得企业对于信息资源的管理出现断层的问题，从而极大的减少了企业对于信息资源的利用价值。
发明内容
本发明申请提供了一种数据处理方法、***及电子设备，用以增加企业对于信息资源的利用价值，提升企业的核心竞争力。具体技术方案如下：
第一方面，本申请提供了一种数据处理方法，包括：
获取原始业务数据集，其中，所述原始业务数据集包含多种业务需求数据；
从所述原始业务数据集中提取与业务需求相关联的业务需求数据；
将所述业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集。
基于上述的方法，能够增加企业对于信息资源的利用价值，提高企业核心竞争力。
在一种可能的实现中，所述获取原始业务数据集，包括：
获取各类数据源；
建立所述各类数据源与原始业务数据集的关联关系；
基于所述关联关系，对所述各类数据源按照预设的数据转化规则进行数据转换，得到原始业务数据集。
基于上述的方法，能够将各类数据源转换为相同的数据格式，便于对原始业务数据集进行数据管理。
在一种可能的实现中，所述获取原始业务数据集还包括：
获取待签名数据标签；
从所述原始业务数据集中选取与所述待签名数据标签相匹配的上链数据；
生成包含所述上链数据的待签名提案；
将所述待签名提案发送到用户端进行签名，得到签名提案；
在确定接收到所述签名提案时，将所述上链数据上传到区块链网络，得到所述上链数据对应的索引表。
基于上述的方法，能够将上链数据上传到区块链网络，便于后续对于业务需求数据进行调用。
在一种可能的实现中，所述将所述业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集，包括：
接收所述业务需求数据；
基于所述业务需求数据的业务类型，对所述业务需求数据进行分组，得到第一业务需求数据和第二业务需求数据；
去除所述第一业务需求数据和所述第二业务需求数据中的重复字段，得到第三业务需求数据和第四业务需求数据；
生成所述第三业务需求数据对应的第一查询语句和第四业务需求数据对应的第二查询语句；
基于所述第一查询语句和所述第二查询语句，将所述第三业务需求数据和所述第四业务需求数据按照预设的数据拼接规则进行数据拼接，得到目标业务数据集。
基于上述的方法，能够对业务需求数据进行去重、脱敏以及拼接处理，最终获得目标业务数据，增加企业对于信息资源的利用价值。
第二方面，本申请提供了一种数据处理***，包括：
数据获取模块，用于获取原始业务数据集，其中，所述原始业务数据集包含多种业务需求数据；
数据提取模块，用于从所述原始业务数据集中提取与业务需求相关联的业务需求数据；
数据处理模块，用于将所述业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集。
在一种可能的实现中，所述数据获取模块具体用于：
获取各类数据源；
建立所述各类数据源与原始业务数据集的关联关系；
基于所述关联关系，对所述各类数据源按照预设的数据转化规则进行数据转换，得到原始业务数据集。
在一种可能的实现中，所述数据获取模块还用于：
获取待签名数据标签；
从所述原始业务数据集中选取与所述待签名数据标签相匹配的上链数据；
生成包含所述上链数据的待签名提案；
将所述待签名提案发送到用户端进行签名，得到签名提案；
在确定接收到所述签名提案时，将所述上链数据上传到区块链网络，得到所述上链数据对应的索引表。
在一种可能的实现中，所述数据处理模块具体用于：
接收所述业务需求数据；
基于所述业务需求数据的业务类型，对所述业务需求数据进行分组，得到第一业务需求数据和第二业务需求数据；
去除所述第一业务需求数据和所述第二业务需求数据中的重复字段，得到第三业务需求数据和第四业务需求数据；
生成所述第三业务需求数据对应的第一查询语句和第四业务需求数据对应的第二查询语句；
基于所述第一查询语句和所述第二查询语句，将所述第三业务需求数据和所述第四业务需求数据按照预设的数据拼接规则进行数据拼接，得到目标业务数据集。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现上述的数据处理方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述数据处理方法的步骤。
上述第二方面至第四方面中的各个方面以及各个方面可能达到的技术效果请参照上述针对第一方面或第一方面中的各种可能方案可以达到的技术效果说明，这里不再重复赘述。
附图说明
图1为本申请提供的一种数据处理方法的流程图；
图2为本申请提供的数据处理***架构示意图；
图3为本申请提供的一种数据处理***结构示意图；
图4为本申请提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。方法实施例中的具体操作方法也可以应用于装置实施例或***实施例中。需要说明的是，在本申请的描述中“多个”理解为“至少两个”。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。A与B连接，可以表示：A与B直接连接和A与B通过C连接这两种情况。另外，在本申请的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
下面结合附图，对本申请实施例进行详细描述。
工业信息化是指工业企业利用电子技术、计算机技术、通信技术等一系列现代化技术，通过对信息资源的深度开发和广泛的利用，提高企业的经济效益和企业竞争力的过程。
随着信息技术的发展，越来越多先进的管理技术运用到企业的信息化管理中，例如，企业资源计划(Enterprise Resource Planning，ERP)，ERP是集物质资源管理、人力资源管理、财务资源管理以及信息资源管理于一体的企业管理软件，能够为企业员工以及决策层提供决策手段，提高企业核心竞争力。
然而，在实际的信息化管理的过程中，企业可能先后采用了多种管理***。例如，客户关系管理(Customer Relationship Management，CRM)、人力资源管理(HumanResource Management，HRM)以及ERP。不同的业务数据分别存放在相应的管理***中，由于不同管理***中的数据之间缺乏相互联系的渠道，这使得企业对于信息资源的管理出现断层的问题，从而极大的减少了企业对于信息资源的利用价值。
鉴于此，为了建立不同管理***中数据之间的关联关系，增加企业对于信息资源的利用价值，本申请提供了一种数据处理方法，具体包括：首先获取原始业务数据集，然后从原始业务数据集中提取与业务需求相关联的业务需求数据，最后将业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集。
不难看出，通过上述方法，能够通过多种数据采集方式来获取原始业务数据集，并将原始业务数据集中的业务需求数据转换为相同的数据格式，能够增加企业对于信息资源的利用价值，提高企业核心竞争力。
参照图1所示，其为本申请实施例提供的一种数据处理方法的流程图，该方法包括：
S1，获取原始业务数据集。
首先来讲，本申请所提供的方法可以应用于图2所示的***构架中，在该***构架中包括采集设备、应用服务器、用户端、生产设备。
本申请对上述设备的数量不做任何限制，如图2所示，仅以采集设备、应用服务器、用户端、生产设备为例进行描述，下面对上述各设备的功能进行简要的介绍。
采集设备可以用来采集与生产设备相关的数据参数；应用服务器用于将采集的数据参数按照统一的数据格式进行相应的处理，并向用户端提供相应的服务；用户端用于向应用服务器发送业务请求获取相应的服务，并根据各类业务状态，作出相应的业务调整，统筹规划生产；生产设备用于完成相应的生产任务。
在本申请实施例中，首先应用服务器获取原始业务数据集，原始业务数据集中包含了多种业务需求数据，例如，用户的信息、产品生产信息、生产控制策略、企业资源信息等。
获取原始业务数据集可以从各类数据库中提取、应用程序接口(ApplicationProgram Interface，API)进行数据采集或者一些传感器设备进行数据采集，本申请对数据采集的方式不做具体的限制，在此不在赘述。
对于从各类数据库中进行数据提取的方式来讲，由于各类数据源分散在企业的各个模块，并且各类数据库中的数据标准存在差异，为了便于后期对采集的数据统一进行管理，需要建立各类数据源与原始业务数据集之间的关联关系，然后为各类数据源分别制定相应的数据转换规则，将各类数据进行数据清洗以及转换，最终得到统一数据格式的原始业务数据。例如，可以利用数据仓库技术(Extract Transform Load，ETL)对各种分布的、异构的数据源进行抽取，然后按照预先设计的数据清洗规则将数据源中不完整的数据或者错误的数据进行数据清洗，并确定各类数据源之间的关联关系，即：整合标准不统一的数据源。最终将正常的数据源加载到原始业务数据仓库，得到原始业务数据集。
对于API采集方式来讲，可以从API所提供的Restful接口接入数据，并自定义配置API返回数据的解析规则，选取所需的字段，获取网页服务数据集中的数据。
示例性的，在从Restful接口接入数据时，还需要填写Restful接口的网页地址、请求方式、请求头、请求参数等信息，在测试连接成功后，按照设定的解析规则，最终获取网页服务数据集中的数据。
在一种可能的实现方式中，对于一些文本信息，可以利用简洁版的模糊实现(PoorObfuscation Implementation，POI)，实现对文本信息的读、写功能。例如，HSSF可以提供读写Microsoft Excel格式档案的功能；XSSF可以提供读写Microsoft Excel OOXML格式档案的功能；HWPF可以提供读写Microsoft Word格式档案的功能。
应用服务器在获取各类数据源之后，还需要将各类数据源进行上链操作，构建数据索引表，以便于后期用户对于业务需求数据进行调用。
在一种可能的实现方式中，首先应用服务器获取用户提供的待签名数据标签，然后，从原始业务数据集中选取与待签名数据标签相匹配的上链数据，并生成包含上链数据的待签名提案，然后将待签名提案发送到用户端进行签名，用户端将签名提案签名后，发送到应用服务器，最后应用服务器在确定接收到签名提案时，将签名提案中包含的上链数据上传到区块链网络进行存储，得到上链数据对应的索引表。
通过上述方式，可以将通过多种数据采集方式获取的各类数据源，转换为统一数据标准的原始业务数据，得到原始业务数据集，便于应用服务器对于原始业务数据进行高效，统一的管理。
S2，从原始业务数据集中提取与业务需求相关联的业务需求数据。
在本申请实施例中，应用服务端在获取原始业务数据集之后，可以从原始业务数据集中提取与业务需求相关联的业务需求数据。
业务需求数据可以是对企业的一个项目规划相关的，且存在参考价值的数据。
通过上述方式，能够获取与业务需求相关联的业务需求数据，为后续企业的战略决策提供相应的依据。
S3，将业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集。
在本申请实施例中，应用服务器在获取业务需求数据后，首先，可以按照业务需求数据的业务类型，对业务需求数据进行分组，得到第一业务需求数据和第二业务需求数据，第一业务需求数据对应一个确定的业务类型，例如，用户信息、产品销售信息、产品的出库信息等。
这里，需要指出的是，本申请对业务需求数据进行分组，得到的业务需求数据的组数不做具体的限制，仅以第一业务需求数据和第二业务需求数据为例进行相关描述。
然后，应用服务器在确定第一业务需求数据和第二业务需求数据各自对应的数据类型后，可以对第一业务需求数据和第二业务需求数据包含的字段信息进行检测，在确定第一业务需求数据和第二业务需求数据中包含重复的字段信息时，去除第一业务需求数据和第二业务数据中重复的字段信息，得到第三业务需求数据和第四业务需求数据。
示例性的，在去除第一业务需求数据和第二业务数据中重复的字段信息之后，还可以对得到的第三业务需求数据和第四业务需求数据进行脱敏处理，脱敏处理包括对业务需求数据的字段进行前后缀的增补、对业务需求数据进行数据模糊化处理、对一些可能包含涉密的业务数据进行加密等。
数据模糊化处理可以是对业务需求数据中单个字段包含的一些字符进行隐藏，例如，对于用户手机号的第四位到第七位数据进行隐藏。
在对业务需求数据进行脱敏处理过后，应用服务器会自动生成第三业务需求数据对应的第一查询语句和第四业务需求数据对应的第二查询语句，第一查询语句和第二查询语句是一种结构化查询语句，能够用于存取数据以及查询、更新、管理关系数据库***。
在一种可能的实现方式中，根据第一查询语句和第二查询语句，还可以将第三业务需求数据和第四业务需求数据按照预先设定的数据拼接规则进行数据拼接，得到目标业务数据集，该数据拼接规则可以将第一查询语句和第二查询语句用AND或者OR进行拼接，并且该数据拼接规则可以按照业务需求自行设定。
通过上述方式，不仅能够对业务需求数据进行去重、脱敏以及拼接处理，最终获得目标业务数据，而且还可以通过对目标业务数据进行分析，对企业的战略决策进行相应的调整，增加企业对于信息资源的利用价值，提升企业的核心竞争力。
示例性的，在获取目标业务数据之后，还可以对目标业务数据进行数据资产管理，对目标业务数据进行数据资产管理可以分为，数据标准管理、主数据管理、元数据管理、数据质量管理、数据安全管理等。
综上所述，本申请所提供的数据处理方法，能够通过多种数据采集方式获取各类数据源，并将各类数据源转换为统一数据标准的原始业务数据，然后提取原始业务数据集中的业务需求数据，对业务需求数据进行去重、脱敏以及拼接处理，获得目标业务数据，这种方式，能够增加企业对于信息资源的利用价值，提高企业核心竞争力。
基于上述的实施例中所提供的方法，本申请实施例还提供了一种数据处理***，如图3所示为本申请实施例中一种数据处理***的结构示意图，该***包括：
数据获取模块301，用于获取原始业务数据集，其中，所述原始业务数据集包含多种业务需求数据；
数据提取模块302，用于从所述原始业务数据集中提取与业务需求相关联的业务需求数据；
数据处理模块303，用于将所述业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集。
在一种可能的实现中，所述数据获取模块301具体用于：
获取各类数据源；
建立所述各类数据源与原始业务数据集的关联关系；
基于所述关联关系，对所述各类数据源按照预设的数据转化规则进行数据转换，得到原始业务数据集。
在一种可能的实现中，所述数据获取模块301还用于：
获取待签名数据标签；
从所述原始业务数据集中选取与所述待签名数据标签相匹配的上链数据；
生成包含所述上链数据的待签名提案；
将所述待签名提案发送到用户端进行签名，得到签名提案；
在确定接收到所述签名提案时，将所述上链数据上传到区块链网络，得到所述上链数据对应的索引表。
在一种可能的实现中，所述数据处理模块303具体用于：
接收所述业务需求数据；
基于所述业务需求数据的业务类型，对所述业务需求数据进行分组，得到第一业务需求数据和第二业务需求数据；
去除所述第一业务需求数据和所述第二业务需求数据中的重复字段，得到第三业务需求数据和第四业务需求数据；
生成所述第三业务需求数据对应的第一查询语句和第四业务需求数据对应的第二查询语句；
基于所述第一查询语句和所述第二查询语句，将所述第三业务需求数据和所述第四业务需求数据按照预设的数据拼接规则进行数据拼接，得到目标业务数据集。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备可以实现前述数据处理方法的功能，参考图4，所述电子设备包括：
至少一个处理器401，以及与至少一个处理器401连接的存储器402，本申请实施例中不限定处理器401与存储器402之间的具体连接介质，图4中是以处理器401和存储器402之间通过总线400连接为例。总线400在图4中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线400可以分为地址总线、数据总线、控制总线等，为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。或者，处理器401也可以称为控制器，对于名称不做限制。
在本申请实施例中，存储器402存储有可被至少一个处理器401执行的指令，至少一个处理器401通过执行存储器402存储的指令，可以执行前文论述的数据处理方法。处理器401可以实现图3所示的***中各个模块的功能。
其中，处理器401是该装置的控制中心，可以利用各种接口和线路连接整个该控制设备的各个部分，通过运行或执行存储在存储器402内的指令以及调用存储在存储器402内的数据，该装置的各种功能和处理数据，从而对该装置进行整体监控。
在一种可能的设计中，处理器401可包括一个或多个处理单元，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。在一些实施例中，处理器401和存储器402可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器401可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的数据处理方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器402可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器402是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器402还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
通过对处理器401进行设计编程，可以将前述实施例中介绍的数据处理方法所对应的代码固化到芯片内，从而使芯片在运行时能够执行图1所示的实施例的数据处理方法的步骤。如何对处理器401进行设计编程为本领域技术人员所公知的技术，这里不再赘述。
基于同一发明构思，本申请实施例还提供一种存储介质，该存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行前文论述的数据处理方法。
在一些可能的实施方式中，本申请提供的数据处理方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在装置上运行时，程序代码用于使该控制设备执行本说明书上述描述的根据本申请各种示例性实施方式的数据处理方法中的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：
获取原始业务数据集，其中，所述原始业务数据集包含多种业务需求数据；
从所述原始业务数据集中提取与业务需求相关联的业务需求数据；
将所述业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集。
2.如权利要求1所述的方法，其特征在于，所述获取原始业务数据集，包括：
获取各类数据源；
建立所述各类数据源与原始业务数据集的关联关系；
基于所述关联关系，对所述各类数据源按照预设的数据转化规则进行数据转换，得到原始业务数据集。
3.如权利要求1所述的方法，其特征在于，所述获取原始业务数据集还包括：
获取待签名数据标签；
从所述原始业务数据集中选取与所述待签名数据标签相匹配的上链数据；
生成包含所述上链数据的待签名提案；
将所述待签名提案发送到用户端进行签名，得到签名提案；
在确定接收到所述签名提案时，将所述上链数据上传到区块链网络，得到所述上链数据对应的索引表。
4.如权利要求1所述的方法，其特征在于，所述将所述业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集，包括：
接收所述业务需求数据；
基于所述业务需求数据的业务类型，对所述业务需求数据进行分组，得到第一业务需求数据和第二业务需求数据；
去除所述第一业务需求数据和所述第二业务需求数据中的重复字段，得到第三业务需求数据和第四业务需求数据；
生成所述第三业务需求数据对应的第一查询语句和第四业务需求数据对应的第二查询语句；
基于所述第一查询语句和所述第二查询语句，将所述第三业务需求数据和所述第四业务需求数据按照预设的数据拼接规则进行数据拼接，得到目标业务数据集。
5.一种数据处理***，其特征在于，包括：
数据获取模块，用于获取原始业务数据集，其中，所述原始业务数据集包含多种业务需求数据；
数据提取模块，用于从所述原始业务数据集中提取与业务需求相关联的业务需求数据；
数据处理模块，用于将所述业务需求数据导入各级处理节点进行数据处理，得到目标业务数据集。
6.如权利要求5所述的***，其特征在于，所述数据获取模块具体用于：
获取各类数据源；
建立所述各类数据源与原始业务数据集的关联关系；
基于所述关联关系，对所述各类数据源按照预设的数据转化规则进行数据转换，得到原始业务数据集。
7.如权利要求5所述的***，其特征在于，所述数据获取模块还用于：
获取待签名数据标签；
从所述原始业务数据集中选取与所述待签名数据标签相匹配的上链数据；
生成包含所述上链数据的待签名提案；
将所述待签名提案发送到用户端进行签名，得到签名提案；
在确定接收到所述签名提案时，将所述上链数据上传到区块链网络，得到所述上链数据对应的索引表。
8.如权利要求5所述的***，其特征在于，所述数据处理模块具体用于：
接收所述业务需求数据；
基于所述业务需求数据的业务类型，对所述业务需求数据进行分组，得到第一业务需求数据和第二业务需求数据；
去除所述第一业务需求数据和所述第二业务需求数据中的重复字段，得到第三业务需求数据和第四业务需求数据；
生成所述第三业务需求数据对应的第一查询语句和第四业务需求数据对应的第二查询语句；
基于所述第一查询语句和所述第二查询语句，将所述第三业务需求数据和所述第四业务需求数据按照预设的数据拼接规则进行数据拼接，得到目标业务数据集。
9.一种电子设备，其特征在于，包括：
存储器，用于存放计算机程序；
处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要求1-4中任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的方法步骤。
CN202310087451.2A 2023-01-19 2023-01-19 一种数据处理方法、***及电子设备 Pending CN116069861A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310087451.2A CN116069861A (zh) 2023-01-19 2023-01-19 一种数据处理方法、***及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310087451.2A CN116069861A (zh) 2023-01-19 2023-01-19 一种数据处理方法、***及电子设备

Publications (1)

Publication Number Publication Date
CN116069861A true CN116069861A (zh) 2023-05-05

Family

ID=86179843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310087451.2A Pending CN116069861A (zh) 2023-01-19 2023-01-19 一种数据处理方法、***及电子设备

Country Status (1)

Country Link
CN (1) CN116069861A (zh)

Similar Documents

Publication Publication Date Title
US20210049711A1 (en) Method of automatically transmitting data information and device of automatically transmitting data information
CN110032599B (zh) 数据结构的读取及更新方法、装置、电子设备
CN102129425B (zh) 数据仓库中大对象集合表的访问方法及装置
CN111352935B (zh) 一种块链式账本中的索引创建方法、装置及设备
CN107016047A (zh) 文档查询、文档存储方法及装置
CN110275889B (zh) 一种适用于机器学习的特征处理方法及装置
CN112418798A (zh) 信息审核方法、装置、电子设备及存储介质
CN111435367B (zh) 知识图谱的构建方法、***、设备及存储介质
CN106557307B (zh) 业务数据的处理方法及处理***
CN113157315A (zh) 一种软件不同版本的差异信息识别方法、装置、设备及介质
CN105468623A (zh) 数据处理方法及装置
CN115391439A (zh) 文档数据导出方法、装置、电子设备和存储介质
CN115392501A (zh) 数据采集方法、装置、电子设备及存储介质
CN107729330B (zh) 获取数据集的方法和装置
CN113434542B (zh) 数据关系识别方法、装置、电子设备及存储介质
CN112035676B (zh) 用户操作行为知识图谱构建方法及装置
CN112860412A (zh) 业务数据处理方法、装置、电子设备及存储介质
CN108108444B (zh) 一种企业业务单元自适应***及其实现方法
CN111221690A (zh) 针对集成电路设计的模型确定方法、装置及终端
CN117763024A (zh) 一种数据分片抽取方法及装置
CN109284268A (zh) 一种快速解析日志的方法、***及电子设备
CN116069861A (zh) 一种数据处理方法、***及电子设备
CN112035471B (zh) 一种事务处理方法及计算机设备
CN112445461B (zh) 一种业务规则生成方法、装置、电子设备和可读存储介质
CN115034917A (zh) 一种社保资金发放数据风险信息的筛查方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination