CN112214207A - 一种基于分布式及大数据反洗钱批处理架构的设计方法 - Google Patents
一种基于分布式及大数据反洗钱批处理架构的设计方法 Download PDFInfo
- Publication number
- CN112214207A CN112214207A CN202011120633.8A CN202011120633A CN112214207A CN 112214207 A CN112214207 A CN 112214207A CN 202011120633 A CN202011120633 A CN 202011120633A CN 112214207 A CN112214207 A CN 112214207A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- calculation
- job
- distributed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 44
- 238000004900 laundering Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000013461 design Methods 0.000 title claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 83
- 238000013500 data storage Methods 0.000 claims abstract description 20
- 238000011068 loading method Methods 0.000 claims abstract description 16
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000003203 everyday effect Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000012821 model calculation Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000007726 management method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005406 washing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于分布式及大数据反洗钱批处理架构的设计方法,包括数据装载器、数据计算器、数据存储器、作业执行器和作业控制器。本发明具有以下优点和效果:采用KAFKA分布式发布订阅消息技术,高吞吐量装载源数据,解决源数据装载性能问题;采用分布式反洗钱批处理计算应用程序+spark内存计算引擎,实现高性能数据计算,解决批处理计算性能问题;采用TiDB分布式数据库的TiKV数据存储引擎,多副本、分布式、高效存储,实现数据Key‑Value结构的存储,解决数据查询性能和数据备份的问题;该架构可水平扩展TiDB分布式数据库服务器、应用服务器、Spark服务器、KAFKA服务器,能通过扩展机器资源,达到***性能提升。
Description
技术领域
本发明涉及计算机软件应用技术领域,特别涉及一种基于分布式及大数据反洗钱批处理架构的设计方法。
背景技术
随着电信诈骗、非法集资、走私贩毒甚至恐怖活动等犯罪行为的日益猖獗,洗钱活动越发扰乱社会秩序。金融机构在面对海量的数据时,要想从中及时发现可疑交易,获得有价值的情报线索,阻断犯罪行为,仅靠人工分析识别难以实现,必须建设科学有效的反洗钱***,辅助开展反洗钱工作。然而,现有技术中,反洗钱***建设正面临如下问题:(1)随着金融机构数据量的增加,在面对巨大的数据量计算时,传统的关系型数据库管理体系,已不能满足反洗钱批处理计算时效性,影响大额可疑交易报送时效;(2)传统反洗钱批处理计算架构大都基于单机、有状态计算,无法进行高效的容错处理,一旦***故障,则需停机处置;(3)面对海量数据的大额可疑交易计算、客户洗钱风险评级及名单回溯等,反洗钱***计算节点无法支持水平扩展,单节点的批处理计算,渐渐显露出疲软。
发明内容
本发明要解决的技术问题是克服现有技术的缺陷,提供一种基于分布式及大数据反洗钱批处理架构的设计方法。
为了解决上述技术问题,本发明提供了如下的技术方案:
本发明一种基于分布式及大数据反洗钱批处理架构的设计方法,包括数据装载器、数据计算器、数据存储器、作业执行器和作业控制器,所述数据装载器负责将源数据装载入库,其主要构成部件是KAFKA集群;数据计算器负责数据加工、清洗、转换、可疑交易计算、评级计算、名单回溯计算,其主要构成部件是Spark集群;数据存储器负责存储计算结果,其主要构成部件是TiDB数据库服务器集群;作业执行器负责数据装载器、数据计算器、数据存储器间工作任务的协同计算及监控,其主要构成部件是反洗钱批处理计算应用程序;作业控制器负责作业执行器内的任务调度,其主要构成部件是反洗钱批处理调度应用程序。数据装载器、数据计算器、数据存储器、作业执行器、作业控制器各部件具体实施步骤如下:
S11、分布式作业控制器:作业控制器在每日零点下发当日作业任务,作业任务涵盖数据装载、清洗、转换、可疑指标、规则、模型计算、可疑案例计算、可疑报告计算、风险评级计算、名单回溯计算、历史数据归档,作业任务间依赖关系有日期依赖和任务依赖,日期依赖即前一天任务未执行完成,当日任务则待执行,直至前一天任务执行完成,当日任务才开始执行,任务依赖即上一个任务未执行完成,则当前任务待执行,直至上一个任务执行完成,当前任务才开始执行,第一个任务依赖源数据准备,人工设置好作业任务依赖关系,交由作业控制器调度;
S12、分布式作业执行器:当批处理作业任务满足任务执行依赖关系时,作业控制器会调度作业执行器执行当前作业任务,作业执行器工作时,会记录任务执行状态及日志,若任务执行报错,可通过日志信息定位错误地方,通过日志分析协助定位原因,数据装载器、数据计算器、数据存储器协同作业执行器完成批处理作业任务执行;
S13、源数据:源数据文件即为按固定分隔符出的文本文件,批处理作业任务均依赖源数据文件是否准备好,可设置定时任务,每天零点开始探测源数据文件是否生成,若已生成,则执行任务,若未生成,则继续待源数据,作业控制器会定时去文件服务器上探测源数据生成情况,若源数据已生成,则作业控制器会调度作业执行器去文件服务器上拉取源文件至作业执行器本机装载入库;
S14、分布式数据装载器:单节点作业执行器每次拉取一个源文件,并将该源文件内容读取至KAFKA集群,作业执行器集群监听到KAFKA队列消息后,开始消费KAFKA队列内容,分布式装载入库,多节点作业执行器构成分布式部署,可同时进行不同的源数据文件拉取并装载入库;
S15、分布式数据计算器:针对海量数据计算时,作业执行器通过SparkLauncher调起Spark计算接口,Spark集群master节点获取到调度信息后,master节点上部署的ApacheLivy组件会去作业执行器中拿到待执行的jar包程序并提交给Spark集群计算,待其计算完成,Ti-Spark组件会将Spark的计算结果写入TiDB数据库TiKV服务器;
S16、分布式数据存储器:作业调度器、作业执行器任务状态信息、日志信息直接通过JDBC连接TiDB分布式数据库写入TiKV集群存储,Spark计算结果通过Ti-Spark组件连接TiDB分布式数据库写入TiKV集群存储。
与现有技术相比,本发明的有益效果如下:
(1)该架构设计数据装载部分,采用KAFKA分布式发布订阅消息技术,高吞吐量装载源数据,解决源数据装载性能问题;
(2)该架构设计数据计算部分,采用分布式反洗钱批处理计算应用程序+spark内存计算引擎,实现高性能数据计算,解决批处理计算性能问题;
(3)该架构设计数据存储部分,采用TiDB分布式数据库的TiKV数据存储引擎,多副本、分布式、高效存储,数据Key-Value结构的存储,解决数据查询性能和数据备份的问题,且TiDB分布式数据库管理体系,结合分布式反洗钱批处理计算应用,实现大额可疑交易T+1报送人行(T为交易发生日期),保障大额可疑交易报送时效;
(4)反洗钱批处理计算应用、反洗钱批处理调度应用、Spark计算服务、TiDB分布式数据库服务均为分布式部署,任一台机器***故障,反洗钱***本身无需停机处置,均能正常运行;
(5)采用该架构,可通过水平扩展KAFKA服务器、应用程序服务器、Spark服务器、TiDB分布式数据服务器,解决反洗钱***批处理性能问题。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明的数据装载器、数据计算器、数据存储器、作业执行器、作业控制器关系图;
图2是本发明的数据装载架构图;
图3是本发明的数据计算架构图;
图4是本发明的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1
本发明的核心在于采用分布式的架构设计,能够实现海量数据高性能批处理计算,通过分布式作业控制器、分布式作业执行器、分布式数据装载器、分布式数据计算器、分布式数据存储器,能够实现源数据快速装载,实现数据高效计算及存储。
本发明提供一种基于分布式数据库、大数据反洗钱监测分析***架构的设计与方法,包括数据装载器、数据计算器、数据存储器、作业执行器、作业控制器;数据装载器负责将源数据装载入库,其主要构成部件是KAFKA集群;数据计算器负责数据加工、清洗、转换、可疑交易计算、评级计算、名单回溯计算等,其主要构成部件是Spark集群;数据存储器负责存储计算结果(包括中间结果和最终结果数据),其主要构成部件是TiDB数据库服务器集群;作业执行器负责数据装载器、数据计算器、数据存储器间工作任务的协同计算及监控,其主要构成部件是反洗钱批处理计算应用程序;作业控制器负责作业执行器内的任务调度,其主要构成部件是反洗钱批处理调度应用程序。数据装载器、数据计算器、数据存储器、作业执行器、作业控制器,其间关系如图1所示;
(1)数据装载器:文本格式的源数据文件,存储在文件服务器(或sftp服务器)上,作业执行器首先拉取源文件至本身服务器,接着读取源文件内容,并将读取的内容组装提供给KAFKA集群,此时作业执行器充当KAFKA集群生产者角色,待作业执行器监听到KAFKA队列消息,此时作业执行器充当KAFKA集群消费者角色,作业执行器开始消费KAFKA队列数据,写入TiDB库,数据转载过程中,因作业执行器是分布式部署,故多节点同时生产、消费源数据文件内容,达到源数据文件快速入库目的,通过水平扩展KAFKA服务器,可以提高数据转载效率,数据装载架构设计如图2所示;
(2)数据计算器:数据计算器能够实现贴源数据加工、清洗并输出标准接口数据,实现大额可疑指标、规则、模型计算输出疑似洗钱案例,实现风险评级特征计算输出客户洗钱风险等级,实现道琼斯、政要名单回溯计算输出名单预警等等,作业执行器首先向Spark发出计算请求,Spark集群master节点上部署的ApacheLivy组件获知计算请求后,去作业执行器中拿到待执行的jar包程序并提交给Spark集群,Spark集群计算完成后,Ti-Spark组件会将Spark的计算结果写入TiDB数据库TiKV服务器,数据计算过程中,因作业执行器是分布式部署,故可多节点同时请求Spark计算,达到高效计算,数据存储入库目的,通过水平扩展Spark服务器,可以提高计算能力,数据计算架构设计如图3所示;
(3)数据存储器:作业控制器、作业执行器均可通过JDBC连接TiDB分布式数据库,此外Ti-Spark组件可将Spark与TiDB数据库TiKV组件连接实现数据入库,TiDB数据库分布式部署,多副本存储数据,故无需单独备份数据库,且数据多节点存储能够提高查询效率,通过水平扩展TiKV服务器,可以提高数据存储能力,通过水平扩展TiDB数据库PD服务器,可以提升数据查询效率;
(4)作业执行器:作业执行器为批处理计算的java程序,可分布式部署,其主要负责数据装载器、数据计算器、数据存储器间工作任务的协同计算及监控,开发主要的涉及的技术框架为Springboot+Mybatis+dubbo+zookeeper;
(5)作业控制器:作业控制器为批处理调度的java程序,可分布式部署,其主要负责每日批处理任务实例的生成、任务的调度管理及任务的日志记录等,开发主要的涉及的技术框架为Springboot+Mybatis+dubbo+zookeeper。
具体实施步骤如下:
S11、分布式作业控制器:作业控制器在每日零点下发当日作业任务,作业任务涵盖数据装载、清洗、转换、可疑指标、规则、模型计算、可疑案例计算、可疑报告计算、风险评级计算、名单回溯计算、历史数据归档等,作业任务间依赖关系有日期依赖和任务依赖,日期依赖即前一天任务未执行完成,当日任务则等待执行,直至前一天任务执行完成,当日任务才开始执行,任务依赖即上一个任务未执行完成,则当前任务等待执行,直至上一个任务执行完成,当前任务才开始执行,第一个任务依赖源数据准备,人工设置好作业任务依赖关系(任务执行顺序),交由作业控制器调度;
S12、分布式作业执行器:当批处理作业任务满足任务执行依赖关系时,作业控制器会调度作业执行器执行当前作业任务,作业执行器工作时,会记录任务执行状态及日志,若任务执行报错,可通过日志信息定位错误地方,通过日志分析协助定位原因,数据装载器、数据计算器、数据存储器协同作业执行器完成批处理作业任务执行;
S13、源数据(文件):源数据文件即为按固定分隔符(如逗号分隔符)导出的文本文件,批处理作业任务均依赖源数据文件是否准备好,可设置定时任务,每天零点开始探测源数据文件是否生成,若已生成,则执行任务,若未生成,则继续等待源数据,作业控制器会定时去文件服务器(如stfp服务器)上探测源数据生成情况,若源数据已生成,则作业控制器会调度作业执行器去文件服务器上拉取源文件至作业执行器本机装载入库;
S14、分布式数据装载器:单节点作业执行器每次拉取一个源文件,并将该源文件内容读取至KAFKA集群,作业执行器集群监听到KAFKA队列消息后,开始消费KAFKA队列内容,分布式装载入库,多节点作业执行器构成分布式部署,可同时进行不同的源数据文件拉取并装载入库;
S15、分布式数据计算器:针对海量数据计算时,作业执行器通过SparkLauncher调起Spark计算接口,Spark集群master节点获取到调度信息后,master节点上部署的ApacheLivy组件会去作业执行器中拿到待执行的jar包程序并提交给Spark集群计算,待其计算完成,Ti-Spark组件会将Spark的计算结果写入TiDB数据库TiKV服务器;
S16、分布式数据存储器:作业调度器、作业执行器任务状态信息、日志信息等直接通过JDBC连接TiDB分布式数据库写入TiKV集群存储,Spark计算结果通过Ti-Spark组件连接TiDB分布式数据库写入TiKV集群存储。
与现有技术相比,可以弥补现有技术对反洗钱批处理计算性能的不足,本发明的有益效果如下:
(1)该架构设计数据装载部分,采用KAFKA分布式发布订阅消息技术,高吞吐量装载源数据,解决源数据装载性能问题;
(2)该架构设计数据计算部分,采用分布式反洗钱批处理计算应用程序+spark内存计算引擎,实现高性能数据计算,解决批处理计算性能问题;
(3)该架构设计数据存储部分,采用TiDB分布式数据库的TiKV数据存储引擎,多副本、分布式、高效存储,数据Key-Value结构的存储,解决数据查询性能和数据备份的问题,且TiDB分布式数据库管理体系,结合分布式反洗钱批处理计算应用,实现大额可疑交易T+1报送人行(T为交易发生日期),保障大额可疑交易报送时效;
(4)反洗钱批处理计算应用、反洗钱批处理调度应用、Spark计算服务、TiDB分布式数据库服务均为分布式部署,任一台机器***故障,反洗钱***本身无需停机处置,均能正常运行;
(5)采用该架构,可通过水平扩展KAFKA服务器、应用程序服务器、Spark服务器、TiDB分布式数据服务器,解决反洗钱***批处理性能问题。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于分布式及大数据反洗钱批处理架构的设计方法,其特征在于,包括数据装载器、数据计算器、数据存储器、作业执行器和作业控制器,所述数据装载器负责将源数据装载入库,其主要构成部件是KAFKA集群;数据计算器负责数据加工、清洗、转换、可疑交易计算、评级计算、名单回溯计算,其主要构成部件是Spark集群;数据存储器负责存储计算结果,其主要构成部件是TiDB数据库服务器集群;作业执行器负责数据装载器、数据计算器、数据存储器间工作任务的协同计算及监控,其主要构成部件是反洗钱批处理计算应用程序;作业控制器负责作业执行器内的任务调度,其主要构成部件是反洗钱批处理调度应用程序;
数据装载器、数据计算器、数据存储器、作业执行器、作业控制器各部件具体实施步骤如下:
S11、分布式作业控制器:作业控制器在每日零点下发当日作业任务,作业任务涵盖数据装载、清洗、转换、可疑指标、规则、模型计算、可疑案例计算、可疑报告计算、风险评级计算、名单回溯计算、历史数据归档,作业任务间依赖关系有日期依赖和任务依赖,日期依赖即前一天任务未执行完成,当日任务则待执行,直至前一天任务执行完成,当日任务才开始执行,任务依赖即上一个任务未执行完成,则当前任务待执行,直至上一个任务执行完成,当前任务才开始执行,第一个任务依赖源数据准备,人工设置好作业任务依赖关系,交由作业控制器调度;
S12、分布式作业执行器:当批处理作业任务满足任务执行依赖关系时,作业控制器会调度作业执行器执行当前作业任务,作业执行器工作时,会记录任务执行状态及日志,若任务执行报错,可通过日志信息定位错误地方,通过日志分析协助定位原因,数据装载器、数据计算器、数据存储器协同作业执行器完成批处理作业任务执行;
S13、源数据:源数据文件即为按固定分隔符出的文本文件,批处理作业任务均依赖源数据文件是否准备好,可设置定时任务,每天零点开始探测源数据文件是否生成,若已生成,则执行任务,若未生成,则继续待源数据,作业控制器会定时去文件服务器上探测源数据生成情况,若源数据已生成,则作业控制器会调度作业执行器去文件服务器上拉取源文件至作业执行器本机装载入库;
S14、分布式数据装载器:单节点作业执行器每次拉取一个源文件,并将该源文件内容读取至KAFKA集群,作业执行器集群监听到KAFKA队列消息后,开始消费KAFKA队列内容,分布式装载入库,多节点作业执行器构成分布式部署,可同时进行不同的源数据文件拉取并装载入库;
S15、分布式数据计算器:针对海量数据计算时,作业执行器通过SparkLauncher调起Spark计算接口,Spark集群master节点获取到调度信息后,master节点上部署的ApacheLivy组件会去作业执行器中拿到待执行的jar包程序并提交给Spark集群计算,待其计算完成,Ti-Spark组件会将Spark的计算结果写入TiDB数据库TiKV服务器;
S16、分布式数据存储器:作业调度器、作业执行器任务状态信息、日志信息直接通过JDBC连接TiDB分布式数据库写入TiKV集群存储,Spark计算结果通过Ti-Spark组件连接TiDB分布式数据库写入TiKV集群存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011120633.8A CN112214207A (zh) | 2020-10-19 | 2020-10-19 | 一种基于分布式及大数据反洗钱批处理架构的设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011120633.8A CN112214207A (zh) | 2020-10-19 | 2020-10-19 | 一种基于分布式及大数据反洗钱批处理架构的设计方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112214207A true CN112214207A (zh) | 2021-01-12 |
Family
ID=74055879
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011120633.8A Pending CN112214207A (zh) | 2020-10-19 | 2020-10-19 | 一种基于分布式及大数据反洗钱批处理架构的设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112214207A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112783927A (zh) * | 2021-01-27 | 2021-05-11 | 浪潮云信息技术股份公司 | 一种数据库查询方法及*** |
-
2020
- 2020-10-19 CN CN202011120633.8A patent/CN112214207A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112783927A (zh) * | 2021-01-27 | 2021-05-11 | 浪潮云信息技术股份公司 | 一种数据库查询方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111400011B (zh) | 一种实时任务调度方法、***、设备及可读存储介质 | |
KR20110000737A (ko) | 다수의 처리 명령어를 실시간으로 취급하고 처리하는 것과 관련된 개선 | |
CN103139302A (zh) | 考虑负载均衡的实时副本调度方法 | |
US20110055151A1 (en) | Processing Database Operation Requests | |
CN101639803A (zh) | 多线程应用***的异常处理方法和异常处理装置 | |
CN114090297A (zh) | 一种业务消息的处理方法及相关装置 | |
CN112214207A (zh) | 一种基于分布式及大数据反洗钱批处理架构的设计方法 | |
CN115038083A (zh) | 一种应用ai运营商行业的电信欺诈预警识别方法及*** | |
CN113378219B (zh) | 一种非结构化数据的处理方法和*** | |
CN114153635A (zh) | 消息处理方法、装置、存储介质及计算机设备 | |
CN116662325B (zh) | 一种数据处理方法及*** | |
Bommala et al. | Machine learning job failure analysis and prediction model for the cloud environment | |
CN112308513A (zh) | 一种基于大数据自动对账***及方法 | |
CN113793213B (zh) | 一种异步信贷风控断点续作的决策方式的实现方法及装置 | |
Gupta et al. | Impact of Big Data to Analyze Stock Exchange Data Using Apache PIG | |
CN115114275A (zh) | 一种数据采集方法、设备及介质 | |
Punn et al. | Testing big data application | |
CN114090529A (zh) | 一种日志管理方法、装置、***和存储介质 | |
Financial Big Data Reconciliation Method | ||
CN111538491A (zh) | 数据事件处理方法、装置、设备和存储介质 | |
US9286112B2 (en) | Determining and dispatching processing agent for transaction processing | |
CN111241455A (zh) | 数据处理装置、计算机设备及存储介质 | |
CN109408581A (zh) | 一种数据交换方法、装置、设备及存储介质 | |
WO2018042022A1 (en) | System and apparatus for providing different versions of a type of data journey | |
CN118227588A (zh) | 一种计算机用数据迁移*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210112 |