CN113282650A - 基于大数据的业务数据处理方法及装置 - Google Patents

基于大数据的业务数据处理方法及装置 Download PDF

Info

Publication number
CN113282650A
CN113282650A CN202011329904.0A CN202011329904A CN113282650A CN 113282650 A CN113282650 A CN 113282650A CN 202011329904 A CN202011329904 A CN 202011329904A CN 113282650 A CN113282650 A CN 113282650A
Authority
CN
China
Prior art keywords
data
processing
target
processed
verification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011329904.0A
Other languages
English (en)
Inventor
顾黎明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Lyudian Information Technology Co ltd
Original Assignee
Suzhou Lyudian Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Lyudian Information Technology Co ltd filed Critical Suzhou Lyudian Information Technology Co ltd
Priority to CN202011329904.0A priority Critical patent/CN113282650A/zh
Publication of CN113282650A publication Critical patent/CN113282650A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供的基于大数据的业务数据处理方法及装置，获取数据处理端运行过程中的目标处理数据和待处理处理数据，获取所述目标处理数据和所述待处理处理数据的相似数据，将所述相似数据转换为目标数据标识，根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况。如此，数据处理端能够对业务数据进行精确的处理。

Description

基于大数据的业务数据处理方法及装置
技术领域
本发明涉及大数据以及业务数据处理的技术领域，具体而言，涉及一种基于大数据的业务数据处理方法及装置。
背景技术
传统数据仓库更多是对结构化数据处理能力强，对非结构化数据处理能力较弱，但大数据落地工业业务后，需要进行行业深度数据挖掘，处理非结构化数据能力不可或缺。
随着信息时代的不断发展，由于各业务***建设和实施数据管理***的阶段性、技术性以及其它经济和人为因素等因素影响，从而导致业务数据可能出来处理错误的问题。
发明内容
为了改善上述问题，本发明提供了一种基于大数据的业务数据处理方法及装置。
一种基于大数据的业务数据处理方法，所述方法包括：
获取数据处理端运行过程中的目标处理数据和待处理处理数据，所述目标处理数据和所述待处理处理数据为所述数据处理端在运行过程中数据校验单元对应的校验数据；
获取所述目标处理数据和所述待处理处理数据的相似数据，所述相似数据表征所述目标处理数据和所述待处理处理数据之间对应数据校验之后的数据相似特征；
将所述相似数据转换为目标数据标识，所述目标数据标识包括若干数据校验；
根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况。
进一步地，所述获取所述目标处理数据和所述待处理处理数据的相似数据，包括：确定所述目标处理数据对应的目标处理数据特征集，以及所述待处理处理数据对应的待处理处理数据特征集；将所述目标处理数据特征集和所述待处理处理数据特征集相匹配，得到所述相似数据，其中，所述相似数据以特征集合的形式表达，所述特征集合中包括所述数据校验之间的数据相似特征对应的特征相似系数。
进一步地，所述将所述相似数据转换为目标数据标识，包括：获取所述相似数据对应的所述特征集合中的所述特征相似系数；将所述特征相似系数转换为校验指标参数，得到所述目标数据标识，所述目标数据标识以校验指标参数矩阵的形式表达。
进一步地，所述根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况，包括：从所述目标数据标识中确定所述数据校验的最大校验指标参数；响应于所述最大校验指标参数小于校验指标参数要求，确定所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端数据处理时存在响应。
一种基于大数据的业务数据处理装置，所述装置包括：
数据校验模块，用于获取数据处理端运行过程中的目标处理数据和待处理处理数据，所述目标处理数据和所述待处理处理数据为所述数据处理端在运行过程中数据校验单元对应的校验数据；
特征比较模块，用于获取所述目标处理数据和所述待处理处理数据的相似数据，所述相似数据表征所述目标处理数据和所述待处理处理数据之间对应数据校验之后的数据相似特征；
数据转换模块，用于将所述相似数据转换为目标数据标识，所述目标数据标识包括若干数据校验；
数据处理模块，用于根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况。
通过应用上述方法及装置，获取数据处理端运行过程中的目标处理数据和待处理处理数据，获取所述目标处理数据和所述待处理处理数据的相似数据，将所述相似数据转换为目标数据标识，根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况。如此，数据处理端能够对业务数据进行精确的处理。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的一种基于大数据的业务数据处理方法的流程图。
图2为本发明实施例所提供的一种基于大数据的业务数据处理装置的功能模块框图。
图3为本发明实施例所提供的一种服务器的硬件结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
请参阅图1，示出了一种基于大数据的业务数据处理方法，应用于服务器，包括以下步骤S11-步骤S14所描述的内容。
步骤S11，获取数据处理端运行过程中的目标处理数据和待处理处理数据，所述目标处理数据和所述待处理处理数据为所述数据处理端在运行过程中数据校验单元对应的校验数据。
步骤S12，获取所述目标处理数据和所述待处理处理数据的相似数据，所述相似数据表征所述目标处理数据和所述待处理处理数据之间对应数据校验之后的数据相似特征。
步骤S13，将所述相似数据转换为目标数据标识，所述目标数据标识包括若干数据校验。
步骤S14，根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况。
通过执行上述步骤S11-步骤S14，获取数据处理端运行过程中的目标处理数据和待处理处理数据，获取所述目标处理数据和所述待处理处理数据的相似数据，将所述相似数据转换为目标数据标识，根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况。如此，能够对数据处理端进行业务数据精确的处理
进一步地，所述获取所述目标处理数据和所述待处理处理数据的相似数据，包括：确定所述目标处理数据对应的目标处理数据特征集，以及所述待处理处理数据对应的待处理处理数据特征集；将所述目标处理数据特征集和所述待处理处理数据特征集相匹配，得到所述相似数据，其中，所述相似数据以特征集合的形式表达，所述特征集合中包括所述数据校验之间的数据相似特征对应的特征相似系数。
进一步地，所述将所述相似数据转换为目标数据标识，包括：获取所述相似数据对应的所述特征集合中的所述特征相似系数；将所述特征相似系数转换为校验指标参数，得到所述目标数据标识，所述目标数据标识以校验指标参数矩阵的形式表达。
进一步地，所述根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况，包括：从所述目标数据标识中确定所述数据校验的最大校验指标参数；响应于所述最大校验指标参数小于校验指标参数要求，确定所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端数据处理时存在响应。
如图2所示，示出了一种基于大数据的业务数据处理装置200，所述装置包括：
数据校验模块210，用于获取数据处理端运行过程中的目标处理数据和待处理处理数据，所述目标处理数据和所述待处理处理数据为所述数据处理端在运行过程中数据校验单元对应的校验数据；
特征比较模块220，用于获取所述目标处理数据和所述待处理处理数据的相似数据，所述相似数据表征所述目标处理数据和所述待处理处理数据之间对应数据校验之后的数据相似特征；
数据转换模块230，用于将所述相似数据转换为目标数据标识，所述目标数据标识包括若干数据校验；
数据处理模块240，用于根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况。
请结合参阅图3，提供了服务器110的硬件结构图。
图3示出了本发明实施例所提供的一种服务器110的方框示意图。本发明实施例中的服务器110可以为具有数据存储、传输、处理功能的服务端，如图3所示，服务器110包括：存储器111、处理器112、网络模块113和基于大数据的业务数据处理装置200。
存储器111、处理器112和网络模块113之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器111中存储有基于大数据的业务数据处理装置200，所述基于大数据的业务数据处理装置200包括至少一个可以软件或固件（firmware）的形式储存于所述存储器111中的软件功能模块，所述处理器112通过运行存储在存储器111内的软件程序以及模块，例如本发明实施例中的基于大数据的业务数据处理装置200，从而执行各种功能应用以及数据处理，即实现本发明实施例中的基于大数据的业务数据处理方法。
其中，所述存储器111可以是，但不限于，随机存取存储器（Random AccessMemory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（ProgrammableRead-Only Memory，PROM），可擦除只读存储器（Erasable Programmable Read-OnlyMemory，EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-OnlyMemory，EEPROM）等。其中，存储器111用于存储程序，所述处理器112在接收到执行指令后，执行所述程序。
所述处理器112可能是一种集成电路芯片，具有数据的处理能力。上述的处理器112可以是通用处理器，包括中央处理器 (Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
网络模块113用于通过网络建立服务器110与其他通信终端设备之间的通信连接，实现网络信号及数据的收发操作。上述网络信号可包括无线信号或者有线信号。
可以理解，图3所示的结构仅为示意，服务器110还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例还提供一种计算机可读存储介质，所述可读存储介质包括计算机程序。所述计算机程序运行时控制所述可读存储介质所在服务器110执行上述的方法。
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，电子设备10，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (5)

1.一种基于大数据的业务数据处理方法，其特征在于，所述方法包括：
获取数据处理端运行过程中的目标处理数据和待处理处理数据，所述目标处理数据和所述待处理处理数据为所述数据处理端在运行过程中数据校验单元对应的校验数据；
获取所述目标处理数据和所述待处理处理数据的相似数据，所述相似数据表征所述目标处理数据和所述待处理处理数据之间对应数据校验之后的数据相似特征；
将所述相似数据转换为目标数据标识，所述目标数据标识包括若干数据校验；
根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况。
2.根据权利要求1所述的方法，其特征在于，所述获取所述目标处理数据和所述待处理处理数据的相似数据，包括：确定所述目标处理数据对应的目标处理数据特征集，以及所述待处理处理数据对应的待处理处理数据特征集；将所述目标处理数据特征集和所述待处理处理数据特征集相匹配，得到所述相似数据，其中，所述相似数据以特征集合的形式表达，所述特征集合中包括所述数据校验之间的数据相似特征对应的特征相似系数。
3.根据权利要求2所述的方法，其特征在于，所述将所述相似数据转换为目标数据标识，包括：获取所述相似数据对应的所述特征集合中的所述特征相似系数；将所述特征相似系数转换为校验指标参数，得到所述目标数据标识，所述目标数据标识以校验指标参数矩阵的形式表达。
4.根据权利要求1至3任一所述的方法，其特征在于，所述根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况，包括：从所述目标数据标识中确定所述数据校验的最大校验指标参数；响应于所述最大校验指标参数小于校验指标参数要求，确定所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端数据处理时存在响应。
5.一种基于大数据的业务数据处理装置，其特征在于，所述装置包括：
数据校验模块，用于获取数据处理端运行过程中的目标处理数据和待处理处理数据，所述目标处理数据和所述待处理处理数据为所述数据处理端在运行过程中数据校验单元对应的校验数据；
特征比较模块，用于获取所述目标处理数据和所述待处理处理数据的相似数据，所述相似数据表征所述目标处理数据和所述待处理处理数据之间对应数据校验之后的数据相似特征；
数据转换模块，用于将所述相似数据转换为目标数据标识，所述目标数据标识包括若干数据校验；
数据处理模块，用于根据所述目标数据标识中所述数据校验的校验指标参数，确定在所述目标处理数据至所述待处理处理数据之间的预设数据处理时间段内，所述数据处理端在数据处理时的数据处理情况。
CN202011329904.0A 2020-11-24 2020-11-24 基于大数据的业务数据处理方法及装置 Withdrawn CN113282650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011329904.0A CN113282650A (zh) 2020-11-24 2020-11-24 基于大数据的业务数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011329904.0A CN113282650A (zh) 2020-11-24 2020-11-24 基于大数据的业务数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN113282650A true CN113282650A (zh) 2021-08-20

Family

ID=77275624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011329904.0A Withdrawn CN113282650A (zh) 2020-11-24 2020-11-24 基于大数据的业务数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113282650A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016058556A1 (zh) * 2014-10-17 2016-04-21 腾讯科技（深圳）有限公司 一种业务处理方法及装置
CN106708884A (zh) * 2015-11-16 2017-05-24 广州优视网络科技有限公司 获取区域热度指数的方法、装置、服务器及拍摄终端
CN109408502A (zh) * 2018-11-14 2019-03-01 成都四方伟业软件股份有限公司 一种数据标准处理方法、装置及其存储介质
CN110008193A (zh) * 2019-04-16 2019-07-12 成都四方伟业软件股份有限公司 数据标准化方法及装置
CN111741009A (zh) * 2020-07-15 2020-10-02 智博云信息科技(广州)有限公司 一种业务数据管理方法、***、服务器及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016058556A1 (zh) * 2014-10-17 2016-04-21 腾讯科技（深圳）有限公司 一种业务处理方法及装置
CN106708884A (zh) * 2015-11-16 2017-05-24 广州优视网络科技有限公司 获取区域热度指数的方法、装置、服务器及拍摄终端
CN109408502A (zh) * 2018-11-14 2019-03-01 成都四方伟业软件股份有限公司 一种数据标准处理方法、装置及其存储介质
CN110008193A (zh) * 2019-04-16 2019-07-12 成都四方伟业软件股份有限公司 数据标准化方法及装置
CN111741009A (zh) * 2020-07-15 2020-10-02 智博云信息科技(广州)有限公司 一种业务数据管理方法、***、服务器及存储介质

Similar Documents

Publication Publication Date Title
CN113408828A (zh) 基于智能制造的生产线优化方法、装置及服务器
CN112231359A (zh) 一种铸铁设备工况检测方法及装置
CN113536360A (zh) 基于智能制造的信息安全处理方法、装置及电子设备
CN114531341A (zh) 区块链网络参数调整方法、装置及服务器
CN113282650A (zh) 基于大数据的业务数据处理方法及装置
CN113568815A (zh) 基于大数据的工业制造设备故障诊断方法、装置及电子设备
CN112256660B (zh) 一种铸铁生产安全监测方法、装置及服务器
CN112508656A (zh) 一种获客信息处理方法及装置
CN113742162A (zh) 一种在线办公掉线检测方法及装置
CN113282918A (zh) 基于云计算的用户行为分析方法及装置
CN113283956A (zh) 一种基于人工智能的在线订单处理方法及装置
CN112116015A (zh) 基于图像处理的材料分类方法、装置及计算机设备
CN113285968A (zh) 一种基于大数据和人工智能的业务处理方法、装置及服务器
CN112214454B (zh) 数据处理方法、etl***、服务器及存储介质
CN113282964A (zh) 一种应用于区块链的区块链智能终端处理方法及装置
CN112132517A (zh) 一种材料存储管理方法、***及计算机设备
CN113284571A (zh) 一种基于大数据和云计算的医疗平台管理方法、装置及服务器
CN113904916A (zh) 一种在线办公网络修复方法、装置及服务器
CN113902505A (zh) 一种自助图书借还机管理方法、装置及计算机设备
CN113282379A (zh) 一种基于大数据和云计算的业务处理方法及装置
CN113286148A (zh) 一种基于大数据和物联网的视频设备优化方法、装置及服务器
CN113283685A (zh) 一种食品制造流水线管理方法、装置及服务器
CN114441873A (zh) 办公设备的故障检测方法及装置
CN113901148A (zh) 一种基于区块链的数据处理方法及***
CN114900243B (zh) 光模块兼容码的修改方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210820