CN112866256A - 数据处理方法、装置及存储介质 - Google Patents

数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN112866256A
CN112866256A CN202110086784.4A CN202110086784A CN112866256A CN 112866256 A CN112866256 A CN 112866256A CN 202110086784 A CN202110086784 A CN 202110086784A CN 112866256 A CN112866256 A CN 112866256A
Authority
CN
China
Prior art keywords
message
sandbox
data
database
request message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110086784.4A
Other languages
English (en)
Inventor
王道
张玉飞
李真斌
曾雅致
汪堂洪
张信厚
苏光伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Citic Bank Corp Ltd
Original Assignee
China Citic Bank Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Citic Bank Corp Ltd filed Critical China Citic Bank Corp Ltd
Priority to CN202110086784.4A priority Critical patent/CN112866256A/zh
Publication of CN112866256A publication Critical patent/CN112866256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/52—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow
    • G06F21/53—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems during program execution, e.g. stack integrity ; Preventing unwanted data erasure; Buffer overflow by executing in a restricted environment, e.g. sandbox or secure virtual machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4016—Transaction verification involving fraud or risk level assessment in transaction processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种基于沙箱***的数据处理方法、装置及存储介质。该方法包括：将环境数据库的数据同步到所述沙箱***的沙箱数据库，获取请求报文消息，并截取所述请求报文消息，基于所述报文消息，在所述沙箱***中执行相应的动作。本申请提供的实施例解决了背景技术中测试不充分投产后会遇到各种各样意想不到的问题。

Description

数据处理方法、装置及存储介质
技术领域
本申请涉及身份识别技术领域，具体而言，涉及一种数据处理方法、装置及存储介质。
背景技术
背景技术中一般是投产或者产品出场之前进行测试。首先这种测试不能测试所有的产品和场景，另外测试环境和真实的运行环境并不是一模一样的。故大多数功能无论测试多充分，投产后总会遇到各种各样意想不到的问题。
目前采用人工粗略估算模式对调额策略评估，但误差大且只能在投产后追踪获取真实影响，存在客诉和生产问题隐患。另外，***风控策略将直接作用于授权交易，即便通过案例验证，未经生产多场景、大交易量的验证，仍存在误控等隐患。另外基于经验可知，大多功能投产后在多维场景、海量交易下，仍暴露缺陷，此类问题需在真实生产环境、数据下才能充分暴露。
发明内容
本申请提供一种基于沙箱***的数据处理方法、装置及非易失性存储介质，以解决相关技术中，测试不充分投产后总会遇到各种各样意想不到的问题。
根据本申请的一个方面，提供了一种基于沙箱***的数据处理方法，该方法包括：
将环境数据库的数据同步到沙箱***的沙箱数据库；
获取请求报文消息，并截取请求报文消息；
基于报文消息，在沙箱***中执行相应的动作。
在一些实施例中，将环境数据库的数据同步到沙箱***的沙箱数据库包括：
导出环境数据库的环境数据表的表结构；
基于表结构在沙箱***中建立沙箱数据表；
导出环境数据库的环境数据表的客户数据；
将客户数据导入到沙箱***对应的沙箱数据表中。
在一些实施例中，获取报文消息，并截取报文消息包括：
通过预设接口截取请求报文消息；请求报文消息包括全部报文消息和当前报文消息标识；
将请求报文消息发送到分布式发布订阅消息***kafka，通过kafka发送给沙箱***。
在一些实施例中，该方法还包括：
将执行结果进行统计分析，并显示分析结果。
在一些实施例中，基于报文消息，在沙箱***中执行相应的动作包括：
基于报文消息和预设调整策略，对报文消息对应的用户进行额度的模拟试算。
在一些实施例中，基于报文消息，在沙箱***中执行相应的动作包括：包括：
基于报文消息和预设风控策略，对报文消息对应的用户进行风险识别；
对识别结果指示有风险的用户进行交易拦截的模拟试算。
在一些实施例中，该方法还包括：
识别请求报文消息是否为外调请求；
若为外调请求，屏蔽外调请求。
根据本发明实施例的另一方面，还提供了一种基于沙箱***的数据处理装置，该装置包括：
同步模块，被配置为将环境数据库的数据同步到沙箱***的沙箱数据库；
截取模块，被配置为获取请求报文消息，并截取请求报文消息；
处理模块，被配置为基于报文消息，在沙箱***中执行相应的动作。
在一些实施例中，同步模块包括：
第一导出子模块，被配置为导出环境数据库的环境数据表的表结构；
建立子模块，被配置为基于表结构在沙箱***中建立沙箱数据表；
第二导出子模块，被配置为导出环境数据库的环境数据表的客户数据；
导入子模块，被配置为将客户数据导入到沙箱***对应的沙箱数据表中。
在一些实施例中，截取模块包括：
截取子模块，被配置为通过预设接口截取请求报文消息；请求报文消息包括全部报文消息和当前报文消息标识；
转发子模块，被配置为将请求报文消息发送到分布式发布订阅消息***kafka，通过kafka发送给沙箱***。
在一些实施例中，该装置还包括：
分析模块，被配置为将执行结果进行统计分析，并显示分析结果。
在一些实施例中，处理模块包括：
第一模拟试算子模块，被配置为基于报文消息和预设调整策略，对报文消息对应的用户进行额度的模拟试算。
在一些实施例中，处理模块包括：
识别子模块，被配置为基于报文消息和预设风控策略，对报文消息对应的用户进行风险识别；
第二模拟试算子模块，被配置为对识别结果指示有风险的用户进行交易拦截的模拟试算。
在一些实施例中，该装置还包括：
屏蔽模块，被配置为识别请求报文消息是否为外调请求，若为外调请求，屏蔽外调请求。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，程序运行时控制非易失性存储介质所在的设备执行一种基于沙箱***的数据处理方法。
根据本发明实施例的另一方面，还提供了一种基于沙箱***的收据处理装置，包含处理器和存储器，存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种基于沙箱***的数据处理方法。
生产***稳定性强化，大幅降低生产问题。考虑设置一套具有真实生产环境和数据但独立于生产***的镜像版本——沙箱，新功能先在沙箱中运行，既可以真实观测运行效果，又可以保障生产安全。若功能正常可以正式使用，如果异常也不会造成任何影响。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本公开实施例提供的使用场景示意图；
图2是根据本申请实施例提供的使用场景示意图；
图3是根据本申请实施例提供的基于沙箱***的数据处理方法的流程图；以及
图4是根据本申请实施例提供的基于沙箱***的数据处理装置的结构图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本公开实施例提供了一种基于沙箱***的数据处理方法，该沙箱***的适用环境如图1和图2所示。如图1和图2所示，沙箱环境用于仿真试算，沙箱环境依赖生产环境。
沙箱***基于挡板技术、交易筛选、异步转发、数据库(Data Base，DB)同步等，以沙箱服务为核心控制***实现沙箱环境对生产环境的仿真试算。
其中，挡板技术是该沙箱***的原理。在一些大型或者跨***的性能测试项目中，往往由于客观因素的限制，例如测试硬件资源有限、多***之间的协调等。测试环境一般并不能覆盖所有的现实使用场景。故可以搭建出被测***，然后采用软件程序来模拟真实生产环境的功能。该软件程序一般被称为挡板。利用挡板技术可以对外调请求屏蔽。
异步转发，生产环境的请求报文可以先发送给Kafka，通过Kafka统一转发给沙箱***。其中，Kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。通过Kafka异步转发，可以作用于多个消费。
数据同步，指的是将生产环境中的客户数据同步到沙箱环境中。请求报文方面，实时从生产环境同步请求报文至沙箱。客户数据方面，脚本自动同步，支持页面触发。示例的，可以通过shell脚本实现，基于网管工具Saltstack页面触发。
试算比对方面，提供业务维度、性能维度、资源维度的实时比对和展示。达到以真实的生产环境、生产数据实时仿真试算，验证待投产新功能的效果。在沙箱环境中，待仿真请求可以多维度筛选、流量可管控。
通过挡板技术，沙箱服务的处理不造成任何生产数据、结果的影响，即隔离化。
另外，还可以实现单元化***试算，非单元化***可模块化试算，支持仅用少量资源对生产***某模块做仿真。基于分布式的跟踪***zipkin、展示工具grafana提供试算比对服务，页面化实时展示沙箱在内的多个环境的比对：如***吞吐量指标，每秒传输的事物处理个数(Transactions Per Second，TPS)、响应时间。基于服务监控***prometheus、展示工具grafana提供基本监控***监控比对。
该沙箱***的使用场景较多，并不局限于特定***、技术优化或业务逻辑。下面进行举例说明。
额度：结合风险客户调额策略，实现风险客户群体的额度调降的模拟试算。
实时风控：结合风控策略，实现盗刷拦截，交易反欺诈和风险交易拦截的模拟试算。
其它需求：提供沙箱基础环境、筛选、比对服务。支持各种待投产需求的试算。
不局限于金融***，可推广其它***使用。
该沙箱***中的数据存储分片方案，支持横向扩展。如使用中信银行自研分布式数据库产品GoldenDB。基于具有较高的社区活跃度的数据库开源产品MySql V5.7，主要包含如下组件：
DBProxy：前置中间件中的SQL处理模块，是无状态的代理节点，负责SQL解析、SQL优化、SQL路由和分布式事务处理等。无状态集群部署，增加DBProxy可提升***处理能力；
ProxyManager：DBProxy集群管理模块，对DBProxy进行监控和异常处理；
GlobalTransactionManager(简称GTM):全局事务管理模块，用于协助DBProxy进行分布式事务管理；
MetedataServer：元数据管理模块，负责对元数据创建、修改、删除、查询、持久化等管理工作；
DB：具备ACID特性的数据库节点，目前是采用开源的mysql5.7数据库；
DBAgent：与DB节点部署在一起，负责DB的复制关系管理、状态监控、统计信息上报等，同时配合其他模块实施事务回退、集群管理、数据备份、数据导入导出等功能；
ClusterManager：DB集群管理模块，负责配合实施集群的管理，包括集群发现、集群组建、集群变更、集群查询、集群监控等功能；
OMM：操作维护和管理平台，可以进行集群管理、元数据管理、DDL操作等。
本公开提供的一些示例中，WEB服务器选择Spring Boot内置的Tomcat。
本公开提供的一些示例中，基础框架选择Spring Boot，提供相对固定的一组业务服务；接入统一的日志云。
本公开提供的一些示例中，硬件平台选择X86服务器。
本公开提供的一些示例中，软件平台选择Linux操作***。
本公开提供的一些示例中，数据库选择GoldenDB，该GoldenDB基于mysql数据库实现。
本公开提供的一些示例中，应用环境为JDK1.8。
本公开提供的一些示例中，部署环境为容器云和虚拟机。
图3是根据本公开实施例提供的一种基于沙箱***的数据处理方法，如图2所示的数据处理方法包括：
步骤S21、将环境数据库的数据同步到沙箱***的沙箱数据库；
步骤S22、获取请求报文消息，并截取请求报文消息；
步骤S23、基于报文消息，在沙箱***中执行相应的动作。
在一些实施例中，步骤S21包括：
211、导出环境数据库的环境数据表的表结构；
在一些实施例中，所有环境数据表的表结构一致，则导出至少一个环境数据表的表结构。
在另外一些实施例中，环境数据表的表结构不完全一致，则导出所有类别的环境数据表的表结构。
表结构至少包括：表名、表中的字段和表的记录。表名就是数据表的文件名，字段包括各字段的字段名、字段类型、及宽度等。
212、基于表结构在沙箱***中建立沙箱数据表；
沙箱***中的沙箱数据表和环境数据表的结构是一致的。
213、导出环境数据库的环境数据表的客户数据；
客户数据指的是表中的具体内容。
214、将客户数据导入到沙箱***对应的沙箱数据表中。
沙箱***中的沙箱数据表和环境数据表的数据也是一致的。
环境数据有变化时，也同步更新到沙箱数据库中。
具体的，可以通过shell脚本将指定生产数据同步至沙箱数据库；此过程可从web页面触发，使用saltstack调用shell脚本。
其中，SaltStack管理工具允许管理员对多个操作***创建一个一致的管理***，包括VMware vSphere环境。Shell脚本与Windows/Dos下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比Windows下的批处理更强大，比用其他编程程序编辑的程序效率更高，它使用了Linux/Unix下的命令。
在一些实施例中，步骤S22包括：
221、通过预设接口截取请求报文消息；请求报文消息包括全部报文消息和当前报文消息标识；
222、将请求报文消息发送到分布式发布订阅消息***kafka，通过kafka发送给沙箱***。
Kafka支持多个消费者，多个中心的消费，例如需要支持同时从朝阳门、汇天消费。另外支持消费者多线程、批量消费。
可选的，kafka可进行异步多线程转发，另外提示效率。
可选的，控制批量消费单次消费的数据量、消费者线程数、异步转发线程数。
示例的，全局路由(General Routing Service，GRS)按照SDK的方式提供接口，API网关使用该SDK，异步截取当前实时报文，发送到kafka内，截取的内容包括全部报文、当前报文标识。
报文标识例如该报文所属分片号。
通过Zuul的当前RequestContext，获取请求报文。在解析报文获取***，按照GRS逻辑返回交易请求所属的分片号。将报文+分片号送至kafka。
在本公开提供的实施例中，还可按照服务分组、数据库分片、请求渠道、卡组织、商户等维度筛选；筛选功能配置化，写入配置文件内。将筛选后的报文转发至沙箱中的授权网关。
在一些实施例中，该方法还包括：
步骤S24、将执行结果进行统计分析，并显示分析结果。
具体的，本公开实施例提供多环境的监控比对展示，交易耗时展示(可从监控数据获取)、交易成功率展示。另外提供多维度试算比对：报文处理结果比对、性能比对、资源使用情况比对。还可以提供多粒度比对：环境级、渠道级、***级、交易级等。可选的，还可以集成DB数据同步开关、数据同步范围选择。
在一些实施例中，步骤S23包括：
231、基于报文消息和预设调整策略，对报文消息对应的用户进行额度的模拟试算。
在一些实施例中，步骤S23还包括：
232、基于报文消息和预设风控策略，对报文消息对应的用户进行风险识别；
233、对识别结果指示有风险的用户进行交易拦截的模拟试算。
在一些实施例中，该方法还包括：
步骤S25、识别请求报文消息是否为外调请求，若为外调请求，屏蔽外调请求。
本公开的服务资源配置如表1所述：
Figure BDA0002911042690000111
表1
数据库资源如表2所示：
Figure BDA0002911042690000112
表2
上述的各种资源均支持横向扩展。
图4是本发明实施例提供的一种基于沙箱***的数据处理装置，该装置包括：
同步模块401，被配置为将环境数据库的数据同步到沙箱***的沙箱数据库；
截取模块402，被配置为获取请求报文消息，并截取请求报文消息；
处理模块403，被配置为基于报文消息，在沙箱***中执行相应的动作。
在一些实施例中，同步模块包括：
第一导出子模块，被配置为导出环境数据库的环境数据表的表结构；
建立子模块，被配置为基于表结构在沙箱***中建立沙箱数据表；
第二导出子模块，被配置为导出环境数据库的环境数据表的客户数据；
导入子模块，被配置为将客户数据导入到沙箱***对应的沙箱数据表中。
在一些实施例中，截取模块包括：
截取子模块，被配置为通过预设接口截取请求报文消息；请求报文消息包括全部报文消息和当前报文消息标识；
转发子模块，被配置为将请求报文消息发送到分布式发布订阅消息***kafka，通过kafka发送给沙箱***。
在一些实施例中，该装置还包括：
分析模块，被配置为将执行结果进行统计分析，并显示分析结果。
在一些实施例中，处理模块包括：
第一模拟试算子模块，被配置为基于报文消息和预设调整策略，对报文消息对应的用户进行额度的模拟试算。
在一些实施例中，处理模块包括：
识别子模块，被配置为基于报文消息和预设风控策略，对报文消息对应的用户进行风险识别；
第二模拟试算子模块，被配置为对识别结果指示有风险的用户进行交易拦截的模拟试算。
在一些实施例中，该装置还包括：
屏蔽模块，被配置为识别请求报文消息是否为外调请求，若为外调请求，屏蔽外调请求。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，程序运行时控制非易失性存储介质所在的设备执行一种数据处理方法。
根据本发明实施例的另一方面，还提供了一种基于沙箱***的数据处理装置，包含处理器和存储器，存储器中存储有计算机可读指令，处理器用于运行计算机可读指令，其中，计算机可读指令运行时执行一种数据处理方法。
本公开提供的沙箱仿真试算，基于单元化、挡板等技术，与生产环境隔离。提供了生产稳定的另一保障。在沙箱服务支持下，将***服务和数据节点组成“处理单元”，用远小于生产环境的资源支持模块化仿真试算。可推广应用，不局限于某***。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于沙箱***的数据处理方法，其特征在于，所述方法包括：
将环境数据库的数据同步到所述沙箱***的沙箱数据库；
获取请求报文消息，并截取所述请求报文消息；
基于所述报文消息，在所述沙箱***中执行相应的动作。
2.根据权利要求1所述的数据处理方法，其特征在于，将环境数据库的数据同步到所述沙箱***的沙箱数据库包括：
导出所述环境数据库的环境数据表的表结构；
基于所述表结构在所述沙箱***中建立沙箱数据表；
导出所述环境数据库的环境数据表的客户数据；
将所述客户数据导入到所述沙箱***对应的沙箱数据表中。
3.根据权利要求1所述的方法，其特征在于，获取报文消息，并截取所述报文消息包括：
通过预设接口截取所述请求报文消息；所述请求报文消息包括全部报文消息和当前报文消息标识；
将所述请求报文消息发送到分布式发布订阅消息***kafka，通过所述kafka发送给所述沙箱***。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将执行结果进行统计分析，并显示分析结果。
5.根据权利要求1-4任一项所述的数据处理方法，其特征在于，基于所述报文消息，在所述沙箱***中执行相应的动作包括：
基于所述报文消息和预设调整策略，对所述报文消息对应的用户进行额度的模拟试算。
6.根据权利要求5所述的方法，其特征于，基于所述报文消息，在所述沙箱***中执行相应的动作包括：包括：
基于所述报文消息和预设风控策略，对所述报文消息对应的用户进行风险识别；
对识别结果指示有风险的用户进行交易拦截的模拟试算。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
识别所述请求报文消息是否为外调请求；
若为外调请求，屏蔽所述外调请求。
8.一种基于沙箱***的数据处理装置，其特征在于，所述装置包括：
同步模块，被配置为将环境数据库的数据同步到所述沙箱***的沙箱数据库；
截取模块，被配置为获取请求报文消息，并截取所述请求报文消息；
处理模块，被配置为基于所述报文消息，在所述沙箱***中执行相应的动作。
9.一种非易失性存储介质，其特征在于，所非易失性存储介质包括存储的程序，其中，所述程序运行时控制所述非易失性存储介质所在的设备执行权利要求1至7中任意一项所述的数据处理方法。
10.一种基于沙箱***的数据处理装置，其特征在于，包含处理器和存储器，所述存储器中存储有计算机可读指令，所述处理器用于运行所述计算机可读指令，其中，所述计算机可读指令运行时执行权利要求1至7中任意一项所述的数据处理方法。
CN202110086784.4A 2021-01-22 2021-01-22 数据处理方法、装置及存储介质 Pending CN112866256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110086784.4A CN112866256A (zh) 2021-01-22 2021-01-22 数据处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110086784.4A CN112866256A (zh) 2021-01-22 2021-01-22 数据处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112866256A true CN112866256A (zh) 2021-05-28

Family

ID=76009098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110086784.4A Pending CN112866256A (zh) 2021-01-22 2021-01-22 数据处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112866256A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029655A1 (zh) * 2021-09-06 2023-03-09 中兴通讯股份有限公司 数据共享方法、网络侧设备、***、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347389A (zh) * 2019-07-19 2019-10-18 中国工商银行股份有限公司 算法文件的处理方法、装置和***
CN110380936A (zh) * 2019-07-23 2019-10-25 中国工商银行股份有限公司 测试方法和装置
CN110740184A (zh) * 2019-10-23 2020-01-31 中国银行股份有限公司 基于微服务架构的交易策略测试***
CN110765004A (zh) * 2019-09-26 2020-02-07 北京你财富计算机科技有限公司 一种基于沙盒***的测试方法、装置及电子设备
US20200081916A1 (en) * 2018-09-12 2020-03-12 Business Objects Software Ltd. Predictive modeling with machine learning in data management platforms
CN111666565A (zh) * 2020-06-22 2020-09-15 深圳壹账通智能科技有限公司 沙箱仿真测试方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200081916A1 (en) * 2018-09-12 2020-03-12 Business Objects Software Ltd. Predictive modeling with machine learning in data management platforms
CN110347389A (zh) * 2019-07-19 2019-10-18 中国工商银行股份有限公司 算法文件的处理方法、装置和***
CN110380936A (zh) * 2019-07-23 2019-10-25 中国工商银行股份有限公司 测试方法和装置
CN110765004A (zh) * 2019-09-26 2020-02-07 北京你财富计算机科技有限公司 一种基于沙盒***的测试方法、装置及电子设备
CN110740184A (zh) * 2019-10-23 2020-01-31 中国银行股份有限公司 基于微服务架构的交易策略测试***
CN111666565A (zh) * 2020-06-22 2020-09-15 深圳壹账通智能科技有限公司 沙箱仿真测试方法、装置、计算机设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029655A1 (zh) * 2021-09-06 2023-03-09 中兴通讯股份有限公司 数据共享方法、网络侧设备、***、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US8707264B2 (en) Methods and systems for testing methods in a multi-tenant database environment
US20140013315A1 (en) Scheduled and quarantined software deployment based on dependency analysis
US20170185507A1 (en) Processing special requests at dedicated application containers
CN110661842B (zh) 一种资源的调度管理方法、电子设备和存储介质
JP2019523952A (ja) ストリーミングデータ分散処理方法及び装置
CN105184166A (zh) 基于内核的安卓程序实时行为分析方法及***
JP2017514218A (ja) サードパーティアプリケーションの実行
US11297105B2 (en) Dynamically determining a trust level of an end-to-end link
Jeong et al. Anomaly teletraffic intrusion detection systems on hadoop-based platforms: A survey of some problems and solutions
CN107133231B (zh) 一种数据获取方法和装置
CN106375360B (zh) 一种图数据更新方法、装置及***
CN112288423A (zh) 一种分布式框架的聚合支付方法和***
US10803166B1 (en) Automated determination of application privileges
CN111930752B (zh) 一种数据处理方法及相关设备
CN111984505A (zh) 一种运维数据采集引擎及采集方法
CN112866256A (zh) 数据处理方法、装置及存储介质
CN113342806A (zh) 大数据处理方法、装置、存储介质及处理器
US10135728B2 (en) Partial switching of network traffic
US20210344701A1 (en) System and method for detection promotion
CN114895879B (zh) 管理***设计方案确定方法、装置、设备及存储介质
CN110297706A (zh) 一种基于Eureka-Server项目的下线方法
CN112491943A (zh) 数据请求方法、装置、存储介质和电子设备
US10552456B2 (en) Deriving dependency information from tracing data
CN115964393A (zh) 一种数据处理方法、装置、电子设备及计算机可读介质
CN115525717A (zh) 一种数据同步处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210528