CN111459986A - 数据计算***及方法 - Google Patents

数据计算***及方法 Download PDF

Info

Publication number
CN111459986A
CN111459986A CN202010266751.3A CN202010266751A CN111459986A CN 111459986 A CN111459986 A CN 111459986A CN 202010266751 A CN202010266751 A CN 202010266751A CN 111459986 A CN111459986 A CN 111459986A
Authority
CN
China
Prior art keywords
calculation
data
real
module
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010266751.3A
Other languages
English (en)
Other versions
CN111459986B (zh
Inventor
邵茂林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
CCB Finetech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp, CCB Finetech Co Ltd filed Critical China Construction Bank Corp
Priority to CN202010266751.3A priority Critical patent/CN111459986B/zh
Publication of CN111459986A publication Critical patent/CN111459986A/zh
Application granted granted Critical
Publication of CN111459986B publication Critical patent/CN111459986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据计算***及方法，该***包括：数据采集模块、消息队列、计算引擎模块以及计算结果存储模块，其中：所述数据采集模块，用于实时从预设的多种数据源采集数据，并将采集到的数据发送到所述消息队列；所述计算引擎模块，用于从所述消息队列中获取数据并进行数据计算；所述计算引擎模块包括：流式计算引擎以及同步计算引擎，所述流式计算引擎用于进行实时流式计算，所述同步计算引擎用于进行同步计算；所述计算结果存储模块，用于接收并存储所述计算引擎模块发送的计算结果。本发明提供了一种流式计算和同步计算的一站式实时计算***，满足金融行业实时风险监控、实时反欺诈等多个场景下的计算需求。

Description

数据计算***及方法
技术领域
本发明涉及大数据领域，具体而言，涉及一种数据计算***及方法。
背景技术
金融行业的数据具有来源广泛、吞吐量大、计算模型复杂等特性。通过对这些数据进行实时处理可以将这些数据应用在移动应用广告、欺诈检测、***业务、金融交易等场景，以便做出快速可行的决策。金融行业的数据应用场景类型较多，不同应用场景中需要对数据进行的计算也不相同，例如在欺诈检测中需要对数据进行实时计算，而在对实时性要求不高的场景中可以采用批量计算的方式对数据进行计算处理。现有技术缺少一种针对金融行业多应用场景类型的数据处理***。
发明内容
本发明为了解决上述背景技术中的至少一个技术问题，提出了一种数据计算***及方法。
为了实现上述目的，根据本发明的一个方面，提供了一种数据计算***，该***包括：数据采集模块、消息队列、计算引擎模块以及计算结果存储模块，其中：
所述数据采集模块，用于实时从预设的多种数据源采集数据，并将采集到的数据发送到所述消息队列；
所述计算引擎模块，用于从所述消息队列中获取数据并进行数据计算；所述计算引擎模块包括：流式计算引擎以及同步计算引擎，所述流式计算引擎用于进行实时流式计算，所述同步计算引擎用于进行同步计算；
所述计算结果存储模块，用于接收并存储所述计算引擎模块发送的计算结果。
可选的，该数据计算***还包括：计算规则配置模块，所述计算规则配置模块用于接收用户设置的实时流式计算任务；
所述流式计算引擎，具体用于根据所述实时流式计算任务从所述消息队列获取数据并进行实时流式计算，并根据所述实时流式计算任务将计算结果发送到所述计算结果存储模块中对应的存储节点。
可选的，该数据计算***还包括：同步计算服务模块，所述同步计算服务模块用于接收用户设置的同步计算请求；
所述同步计算引擎，具体用于根据所述同步计算请求从所述消息队列获取数据并进行同步计算，并根据所述同步计算请求将计算结果发送到所述计算结果存储模块中对应的存储节点。
可选的，该数据计算***还包括：实时分析模块，所述实时分析模块用于根据所述计算结果以及预设的多种分析任务进行实时反欺诈分析、实时风险监控、实时营销以及个性化推荐。
可选的，所述计算结果存储模块包括：Hbase数据库、关系型数据库、HIVE以及Redis缓存。
为了实现上述目的，根据本发明的另一方面，提供了一种数据计算方法，该方法：
数据采集模块实时从预设的多种数据源采集数据并将采集到的数据发送到消息队列；
计算引擎模块从所述消息队列中获取数据并进行数据计算，其中，所述计算引擎模块包括：流式计算引擎以及同步计算引擎，所述流式计算引擎用于进行实时流式计算，所述同步计算引擎用于进行同步计算；
计算结果存储模块接收并存储所述计算引擎模块发送的计算结果。
可选的，所述计算引擎模块从所述消息队列中获取数据并进行数据计算，包括：
所述流式计算引擎根据预设的实时流式计算任务从所述消息队列获取数据并进行实时流式计算，并根据所述实时流式计算任务将计算结果发送到所述计算结果存储模块中对应的存储节点。
可选的，所述计算引擎模块从所述消息队列中获取数据并进行数据计算，包括：
所述同步计算引擎根据预设的同步计算请求从所述消息队列获取数据并进行同步计算，并根据所述同步计算请求将计算结果发送到所述计算结果存储模块中对应的存储节点。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据计算方法中的步骤。
为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述数据计算方法中的步骤。
本发明的有益效果为：本发明提供了一种流式计算和同步计算的一站式实时计算***，满足金融行业实时风险监控、实时反欺诈等多个场景下的计算需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例数据计算***的结构框图；
图2是本发明实施例数据计算方法的流程图；
图3是本发明实施例计算机设备示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是本发明实施例数据计算***的结构框图，如图1所示，本实施例的数据计算***包括：数据采集模块、消息队列、计算引擎模块以及计算结果存储模块。
在本发明实施例中，数据采集模块用于实时从预设的多种数据源采集数据，并将采集到的数据发送到消息队列。在本发明可选实施例中，数据源可以包括：APP、WEB、数据库以及日志等。数据采集模块针对不同的数据源采用不同的方式实时采集数据，数据采集模块可以采用Flume的方式实时从日志中提取数据，数据采集模块可以采用数据抽取的方式从实时数据库获取数据，数据采集模块也可以采用从APP和WEB的代理服务器实时采集APP和WEB的数据。
在本发明可选实施例中，数据采集模块将采集的数据通过消息的方式放入消息队列。上述消息队列可以采用现有技术的多种消息队列，例如kafka消息队列、RocketMQ消息队列等。
在本发明实施例中，计算引擎模块包括：流式计算引擎以及同步计算引擎，流式计算引擎用于进行实时流式计算，同步计算引擎用于进行同步计算。在本发明可选实施例中，流式计算引擎以及同步计算引擎均采用Flink引擎。流式计算引擎以及同步计算引擎根据用户设置的计算任务来进行计算，并将计算结果发送到计算结果存储模块进行储存。
计算结果存储模块中包含用于存储不同数据类型数据的多种存储节点，流式计算引擎以及同步计算引擎根据用户设置的计算任务将计算结果发送到不同的存储节点进行储存。在本发明可选实施例中存储节点可以包括：Hbase数据库、关系型数据库、HIVE以及Redis缓存等。
如图1所示，本发明实施例的数据计算***还包括计算规则配置模块。计算规则配置模块用于接收用户设置的实时流式计算任务。实时流式计算任务中记载了计算所需的数据、计算模型以及计算结果存储的数据存储节点等信息。流式计算引擎根据用户设置的实时流式计算任务从消息队列获取对应的数据并进行实时流式计算，并根据实时流式计算任务将计算结果发送到计算结果存储模块中对应的存储节点。
如图1所示，本发明实施例的数据计算***还包括同步计算服务模块。同步计算服务模块接收用户设置的同步计算请求，同步计算请求中包含同步计算所需的数据、计算模型以及计算结果存储的数据存储节点等信息。同步计算引擎根据用户的同步计算请求从消息队列获取对应的数据并进行同步计算，并根据同步计算请求将计算结果发送到计算结果存储模块中对应的存储节点。在本发明可选实施例中，同步计算引擎和同步计算服务模块互相依赖进行数据同步。
如图1所示，本发明实施例的数据计算***还包括实时分析模块。实时分析模块用于根据计算结果存储模块中的计算结果以及预设的多种分析任务进行实时反欺诈分析、实时风险监控、实时营销以及个性化推荐等服务。在本发明可选实施例中，上述分析任务中包含分析所需的计算结果数据以及分析算法等信息。
本发明实施例的数据计算***支持多数据源，支持从多种类型的消息中间件中获取消息流，以及从关系数据库等数据库中抽取全量/增量数据，并提供服务接口供其他***实时推送数据。保证了计算数据的完整性和多样性。
本发明实施例的数据计算***可以提供统一的异步/同步计算服务：基于Flink的流式计算仅能满足客户的实时异步计算需求，而无法满足需要实时返回计算结果的计算场景。发明包含了高性能的同步计算引擎，可满足同步返回计算结果的应用场景。本发明与异步流式计算引擎结合，提供统一的计算服务，覆盖所有实时计算需求。
本发明实施例的数据计算***可以提供可视化的计算配置和实时分析：为提高***的易用性，使没有编程经验的业务人员也可通过流式计算快速实现业务目标，平台提供了可视化计算规则配置引擎，可针对各类应用场景，定义相应的计算规则。如针对风控场景，可定义各类风控事件的指标计算规则。同时，平台提供实时在线分析功能，业务人员在线选择数据源，设置报表统计规则，自动生成并实时刷新各种维度的图表，达到了数据的实时可视化分析。
由以上描述可以看出，本发明基于Flink引擎，进行了大量的功能及可用性设计，设计了一套可支持风控、反欺诈，流式计算和同步计算的一站式实时计算***，满足金融行业实时风控、实时反欺诈等多个场景下的计算需求。
以上所使用的术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以上实施例所描述的***较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
基于同一发明构思，本发明实施例还提供了一种数据计算方法，如下面的实施例所述。由于数据计算方法解决问题的原理与数据计算***相似，因此数据计算方法的实施例可以参见数据计算***的实施例，重复之处不再赘述。
图2是本发明实施例数据计算方法的流程图，如图2所示，本发明实施例数据计算方法包括步骤S101至步骤S103。
步骤S101，数据采集模块实时从预设的多种数据源采集数据并将采集到的数据发送到消息队列。
步骤S102，计算引擎模块从所述消息队列中获取数据并进行数据计算，其中，所述计算引擎模块包括：流式计算引擎以及同步计算引擎，所述流式计算引擎用于进行实时流式计算，所述同步计算引擎用于进行同步计算。
步骤S103，计算结果存储模块接收并存储所述计算引擎模块发送的计算结果。
在本发明可选实施例中，上述步骤S102的进行数据计算，具体包括：
所述流式计算引擎根据预设的实时流式计算任务从所述消息队列获取数据并进行实时流式计算，并根据所述实时流式计算任务将计算结果发送到所述计算结果存储模块中对应的存储节点。
在本发明可选实施例中，上述步骤S102的进行数据计算，具体还包括：
所述同步计算引擎根据预设的同步计算请求从所述消息队列获取数据并进行同步计算，并根据所述同步计算请求将计算结果发送到所述计算结果存储模块中对应的存储节点。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图3所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述数据计算方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据计算***，其特征在于，包括：数据采集模块、消息队列、计算引擎模块以及计算结果存储模块，其中：
所述数据采集模块，用于实时从预设的多种数据源采集数据，并将采集到的数据发送到所述消息队列；
所述计算引擎模块，用于从所述消息队列中获取数据并进行数据计算；所述计算引擎模块包括：流式计算引擎以及同步计算引擎，所述流式计算引擎用于进行实时流式计算，所述同步计算引擎用于进行同步计算；
所述计算结果存储模块，用于接收并存储所述计算引擎模块发送的计算结果。
2.根据权利要求1所述的数据计算***，其特征在于，还包括：计算规则配置模块，所述计算规则配置模块用于接收用户设置的实时流式计算任务；
所述流式计算引擎，具体用于根据所述实时流式计算任务从所述消息队列获取数据并进行实时流式计算，并根据所述实时流式计算任务将计算结果发送到所述计算结果存储模块中对应的存储节点。
3.根据权利要求1所述的数据计算***，其特征在于，还包括：同步计算服务模块，所述同步计算服务模块用于接收用户设置的同步计算请求；
所述同步计算引擎，具体用于根据所述同步计算请求从所述消息队列获取数据并进行同步计算，并根据所述同步计算请求将计算结果发送到所述计算结果存储模块中对应的存储节点。
4.根据权利要求1所述的数据计算***，其特征在于，还包括：实时分析模块，所述实时分析模块用于根据所述计算结果以及预设的多种分析任务进行实时反欺诈分析、实时风险监控、实时营销以及个性化推荐。
5.根据权利要求1所述的数据计算***，其特征在于，所述计算结果存储模块包括：Hbase数据库、关系型数据库、HIVE以及Redis缓存。
6.一种数据计算方法，其特征在于，包括：
数据采集模块实时从预设的多种数据源采集数据并将采集到的数据发送到消息队列；
计算引擎模块从所述消息队列中获取数据并进行数据计算，其中，所述计算引擎模块包括：流式计算引擎以及同步计算引擎，所述流式计算引擎用于进行实时流式计算，所述同步计算引擎用于进行同步计算；
计算结果存储模块接收并存储所述计算引擎模块发送的计算结果。
7.根据权利要求6所述的数据计算方法，其特征在于，所述计算引擎模块从所述消息队列中获取数据并进行数据计算，包括：
所述流式计算引擎根据预设的实时流式计算任务从所述消息队列获取数据并进行实时流式计算，并根据所述实时流式计算任务将计算结果发送到所述计算结果存储模块中对应的存储节点。
8.根据权利要求6所述的数据计算方法，其特征在于，所述计算引擎模块从所述消息队列中获取数据并进行数据计算，包括：
所述同步计算引擎根据预设的同步计算请求从所述消息队列获取数据并进行同步计算，并根据所述同步计算请求将计算结果发送到所述计算结果存储模块中对应的存储节点。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6至8任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序在计算机处理器中执行时实现如权利要求6至8任意一项所述的方法。
CN202010266751.3A 2020-04-07 2020-04-07 数据计算***及方法 Active CN111459986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010266751.3A CN111459986B (zh) 2020-04-07 2020-04-07 数据计算***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010266751.3A CN111459986B (zh) 2020-04-07 2020-04-07 数据计算***及方法

Publications (2)

Publication Number Publication Date
CN111459986A true CN111459986A (zh) 2020-07-28
CN111459986B CN111459986B (zh) 2023-07-21

Family

ID=71680504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010266751.3A Active CN111459986B (zh) 2020-04-07 2020-04-07 数据计算***及方法

Country Status (1)

Country Link
CN (1) CN111459986B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112217893A (zh) * 2020-10-12 2021-01-12 广州欢网科技有限责任公司 广告投放的控频控量方法、装置、设备和广告投放***
CN112364063A (zh) * 2021-01-12 2021-02-12 北京智慧星光信息技术有限公司 流计算***及其数据处理方法、电子设备及介质
CN112365355A (zh) * 2020-12-10 2021-02-12 深圳迅策科技有限公司 实时计算基金估值和风险指标的方法、装置及可读介质
CN112507029A (zh) * 2020-12-18 2021-03-16 上海哔哩哔哩科技有限公司 数据处理***及数据实时处理方法
CN113220530A (zh) * 2021-05-14 2021-08-06 上海哔哩哔哩科技有限公司 数据质量监控方法及平台
CN113485694A (zh) * 2021-07-06 2021-10-08 算话信息科技(上海)有限公司 一种算法的变量数据智能中台***
CN113553320A (zh) * 2021-07-29 2021-10-26 上海哔哩哔哩科技有限公司 数据质量监控方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253820A (zh) * 2011-06-16 2011-11-23 华中科技大学 一种流式重复数据检测方法
CN102819599A (zh) * 2012-08-15 2012-12-12 华数传媒网络有限公司 在一致性哈希数据分布基础上构建层次目录的方法
CN103905537A (zh) * 2014-03-20 2014-07-02 冶金自动化研究设计院 分布式环境下管理工业实时数据存储的***
US20160087900A1 (en) * 2013-12-20 2016-03-24 Cetitec GmbH A communication node for a packet-switched data network and a method for operation thereof
CN105574205A (zh) * 2016-01-18 2016-05-11 国家电网公司 分布式计算环境的日志动态分析***
CN105959151A (zh) * 2016-06-22 2016-09-21 中国工商银行股份有限公司 一种高可用的流式处理***及方法
CN107943840A (zh) * 2017-10-30 2018-04-20 深圳前海微众银行股份有限公司 数据处理方法、***和计算机可读存储介质
US10013158B1 (en) * 2012-09-22 2018-07-03 Sitting Man, Llc Methods, systems, and computer program products for sharing a data object in a data store via a communication
CN108920948A (zh) * 2018-05-25 2018-11-30 众安信息技术服务有限公司 一种反欺诈流式计算装置及方法
CN110334070A (zh) * 2019-05-21 2019-10-15 中国人民财产保险股份有限公司 数据处理方法、***、设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253820A (zh) * 2011-06-16 2011-11-23 华中科技大学 一种流式重复数据检测方法
CN102819599A (zh) * 2012-08-15 2012-12-12 华数传媒网络有限公司 在一致性哈希数据分布基础上构建层次目录的方法
US10013158B1 (en) * 2012-09-22 2018-07-03 Sitting Man, Llc Methods, systems, and computer program products for sharing a data object in a data store via a communication
US20160087900A1 (en) * 2013-12-20 2016-03-24 Cetitec GmbH A communication node for a packet-switched data network and a method for operation thereof
CN103905537A (zh) * 2014-03-20 2014-07-02 冶金自动化研究设计院 分布式环境下管理工业实时数据存储的***
CN105574205A (zh) * 2016-01-18 2016-05-11 国家电网公司 分布式计算环境的日志动态分析***
CN105959151A (zh) * 2016-06-22 2016-09-21 中国工商银行股份有限公司 一种高可用的流式处理***及方法
CN107943840A (zh) * 2017-10-30 2018-04-20 深圳前海微众银行股份有限公司 数据处理方法、***和计算机可读存储介质
CN108920948A (zh) * 2018-05-25 2018-11-30 众安信息技术服务有限公司 一种反欺诈流式计算装置及方法
CN110334070A (zh) * 2019-05-21 2019-10-15 中国人民财产保险股份有限公司 数据处理方法、***、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QI ZHANG: "medical data visual synchronization and information interaction using internet-based graphics rendering and message-oriented streaming", INFORMATICS IN MEDICINE UNLOCKED, vol. 17, pages 1 - 14 *
李洪奇;朱丽萍;孙国玉;王露;: "面向海量小文件的分布式存储***设计与实现", 计算机工程与设计, vol. 37, no. 01, pages 86 - 92 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112217893A (zh) * 2020-10-12 2021-01-12 广州欢网科技有限责任公司 广告投放的控频控量方法、装置、设备和广告投放***
CN112365355A (zh) * 2020-12-10 2021-02-12 深圳迅策科技有限公司 实时计算基金估值和风险指标的方法、装置及可读介质
CN112365355B (zh) * 2020-12-10 2023-12-26 深圳迅策科技有限公司 实时计算基金估值和风险指标的方法、装置及可读介质
CN112507029A (zh) * 2020-12-18 2021-03-16 上海哔哩哔哩科技有限公司 数据处理***及数据实时处理方法
CN112364063A (zh) * 2021-01-12 2021-02-12 北京智慧星光信息技术有限公司 流计算***及其数据处理方法、电子设备及介质
CN112364063B (zh) * 2021-01-12 2021-06-04 北京智慧星光信息技术有限公司 流计算***及其数据处理方法、电子设备及介质
CN113220530A (zh) * 2021-05-14 2021-08-06 上海哔哩哔哩科技有限公司 数据质量监控方法及平台
CN113220530B (zh) * 2021-05-14 2022-07-19 上海哔哩哔哩科技有限公司 数据质量监控方法及平台
CN113485694A (zh) * 2021-07-06 2021-10-08 算话信息科技(上海)有限公司 一种算法的变量数据智能中台***
CN113553320A (zh) * 2021-07-29 2021-10-26 上海哔哩哔哩科技有限公司 数据质量监控方法及装置
CN113553320B (zh) * 2021-07-29 2022-09-02 上海哔哩哔哩科技有限公司 数据质量监控方法及装置

Also Published As

Publication number Publication date
CN111459986B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
CN111459986B (zh) 数据计算***及方法
CN104424229B (zh) 一种多维度拆分的计算方法及***
CN111177222B (zh) 模型测试方法、装置及计算设备、存储介质
CN106815254B (zh) 一种数据处理方法和装置
CN108600300B (zh) 日志数据处理方法及装置
CN113360554B (zh) 一种数据抽取、转换和加载etl的方法和设备
CN111459689A (zh) 基于分布式队列的消息处理***及方法
US11188443B2 (en) Method, apparatus and system for processing log data
CN103838867A (zh) 日志处理方法和装置
CN108681569A (zh) 一种数据自动分析***及其方法
US20200159764A1 (en) Method for Processing and Displaying Real-Time Social Data on Map
CN111309614A (zh) A/b测试方法、装置及电子设备
CN108900619B (zh) 一种独立访客统计方法及装置
US11184269B1 (en) Collecting route-based traffic metrics in a service-oriented system
WO2021244473A1 (zh) 频率控制方法及装置
CN109725899A (zh) 数据流式处理方法及装置
CN111522786A (zh) 日志处理***及方法
CN105930502B (zh) 一种收集数据的***、客户端和方法
CN111770022B (zh) 基于链路监控的扩容方法、***、设备及计算机存储介质
CN110213203A (zh) 网络调度方法、装置及计算机存储介质
CN113468226A (zh) 一种业务处理方法、装置、电子设备和存储介质
CN105005585A (zh) 一种日志数据的处理方法和装置
CN105069029B (zh) 一种实时etl***及方法
CN113868248A (zh) 指标数据预聚合方法
CN116016628A (zh) 一种api网关埋点分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220913

Address after: 25 Financial Street, Xicheng District, Beijing 100033

Applicant after: CHINA CONSTRUCTION BANK Corp.

Address before: 25 Financial Street, Xicheng District, Beijing 100033

Applicant before: CHINA CONSTRUCTION BANK Corp.

Applicant before: Jianxin Financial Science and Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant