CN116701233B - 基于高并发报单模拟的交易***测试方法、设备及介质 - Google Patents
基于高并发报单模拟的交易***测试方法、设备及介质 Download PDFInfo
- Publication number
- CN116701233B CN116701233B CN202310961699.7A CN202310961699A CN116701233B CN 116701233 B CN116701233 B CN 116701233B CN 202310961699 A CN202310961699 A CN 202310961699A CN 116701233 B CN116701233 B CN 116701233B
- Authority
- CN
- China
- Prior art keywords
- message
- transaction system
- sending
- connection
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 62
- 238000004088 simulation Methods 0.000 title claims abstract description 34
- 230000004044 response Effects 0.000 claims description 73
- 238000012545 processing Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000002085 persistent effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000011056 performance test Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及大数据技术领域，提供一种基于高并发报单模拟的交易***测试方法、设备及介质，当接收到高并发场景下对交易***的测试请求时，根据初始化的消息模板及发单配置信息构建消息池，以模拟高并发大量订单同时报单的场景，进一步根据构建的连接池与交易***建立连接，根据发单配置信息将消息池中的消息对象通过连接池中的连接句柄发送至交易***，以便结合消息池及连接池实现高吞吐的复杂交易场景下的发单模拟，在消息对象中记录发送时延打点信息及响应时延打点信息以生成时延文件，并根据时延文件生成对交易***的测试报告，进而实现对高并发场景下交易***的性能测试。
Description
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于高并发报单模拟的交易***测试方法、设备及介质。
背景技术
在实际的应用场景中，常常会有高并发大量订单同时报单的场景，例如某些券商或客户会在某一时间内进行高频交易，则短时间内会报出大量订单和查询消息。
针对上述高并发场景，现有报单***还无法支持，因此，测试过程中需要模拟高并发场景下的发单过程。
发明内容
鉴于以上内容，有必要提供一种基于高并发报单模拟的交易***测试方法、设备及介质，旨在解决高并发场景下由于现有报单***无法支持而导致的对交易***测试不准确的问题。
一种基于高并发报单模拟的交易***测试方法，所述基于高并发报单模拟的交易***测试方法包括：
当接收到高并发场景下对交易***的测试请求时，初始化发单配置信息，及初始化消息模板；
根据所述消息模板及所述发单配置信息构建消息池；
构建连接池，并根据所述连接池与所述交易***建立连接；
根据所述发单配置信息，将所述消息池中的消息对象通过所述连接池中的连接句柄发送至所述交易***，并在发送的每个消息对象中记录对应的发送时延打点信息；
当接收到所述交易***返回的对每个消息对象的响应消息时，调用回调句柄中的业务处理接口对所述响应消息对应的每个消息对象进行处理，并在所述响应消息对应的每个消息对象中记录响应时延打点信息；
在结束发单后，根据所述消息池中的消息对象生成时延文件；
根据所述时延文件生成对所述交易***的测试报告。
根据本发明优选实施例，所述初始化发单配置信息包括：
获取传入的命令行参数；
解析所述命令行参数得到发单模式、发单数量、发单速率，并将所述发单模式、所述发单数量、所述发单速率存储至单例配置类；
获取账户信息及证券信息；
将所述账户信息及所述证券信息转换为配置数据结构，并将转换后的所述账户信息及所述证券信息以数组形式存储至缓存；
其中，所述发单模式包括同步模式、异步模式；所述发单速率包括匀速、脉冲、变速；在发单过程中，根据发单需求组合所述发单模式与所述发单速率；
所述初始化消息模板包括：
获取预先构建的消息配置文件；其中，所述消息配置文件记录有key-value，key表示消息号，value表示模板对象；所述消息配置文件用于配置所述模板对象中各个消息字段的默认值；
解析所述消息配置文件，并基于所述消息号从所述消息配置文件中获取对应的默认值填充至所述消息模板，得到所述消息模板中的每个模板对象；
以数组的形式存储每个模板对象。
根据本发明优选实施例，所述根据所述消息模板及所述发单配置信息构建消息池包括：
从所述发单配置信息中获取所述发单数量；
基于所述发单数量从所述消息模板中轮询获取所述模板对象；
调用获取的模板对象的消息构造方法构造对应的消息对象；
将构造的消息对象以数组的形式进行存储，得到所述消息池；
其中，所述消息池中的每个消息对象以每个消息指针指向对应的模板对象中的消息实体。
根据本发明优选实施例，所述构建连接池，并根据所述连接池与所述交易***建立连接包括：
获取多个连接配置信息；其中，所述连接配置信息包括账户信息、IP信息、端口信息；
基于所述多个连接信息创建多个初始连接；
基于所述多个初始连接向所述交易***发起网络连接；
当检测到有任意网络连接被所述交易***成功响应时，执行对所述交易***的登录，得到登录结果；
对所述登录结果进行校验；
当所述登录结果通过校验时，将所述任意网络连接所对应的初始连接的连接句柄添加至所述连接池。
根据本发明优选实施例，所述根据所述发单配置信息，将所述消息池中的消息对象通过所述连接池中的连接句柄发送至所述交易***包括：
从所述发单配置信息中获取发单模式及发单速率；
遍历轮询所述消息池中的消息对象，及遍历轮询所述连接池中的连接句柄；
调用遍历到的连接句柄的发送接口；
将遍历到的消息对象在所述发送接口中进行序列化处理；
根据所述发单模式及所述发单速率，将序列化处理后的消息对象以单线程模式发送至所述交易***；
其中，所述发单速率以while循环控制指令及clock_gettime时间函数进行控制。
根据本发明优选实施例，所述在所述响应消息对应的每个消息对象中记录响应时延打点信息包括：
当接收到所述响应消息时执行时延打点，得到所述响应时延打点信息；
将所述响应时延打点信息存储至所述响应消息对应的每个消息对象中。
根据本发明优选实施例，所述根据所述消息池中的消息对象生成时延文件包括：
遍历所述消息池以获取到所述消息对象；
获取所述消息对象中记录的所述发送时延打点信息、所述响应时延打点信息及时延特征值；
将所述发送时延打点信息、所述响应时延打点信息及所述时延特征值持久化到文件，得到所述时延文件。
根据本发明优选实施例，所述根据所述时延文件生成对所述交易***的测试报告包括：
根据所述时延文件计算从订单发送时间到收到对应订单后所述交易***内部响应时的时间差，并作为内部响应时间差；
根据所述时延文件计算从订单发送时间到收到对应订单后交易所响应时的时间差，并作为交易所响应时间差；
基于指定工具及所述时延文件计算每笔订单的单笔时延；
根据所述内部响应时间差及所述单笔时延确定所述交易***对订单的处理性能；
根据所述交易所响应时间差确定订单全链路时延；
根据所述交易***对订单的处理性能及所述订单全链路时延生成所述测试报告。
一种基于高并发报单模拟的交易***测试装置，所述基于高并发报单模拟的交易***测试装置包括：
初始化单元，用于当接收到高并发场景下对交易***的测试请求时，初始化发单配置信息，及初始化消息模板；
构建单元，用于根据所述消息模板及所述发单配置信息构建消息池；
连接单元，用于构建连接池，并根据所述连接池与所述交易***建立连接；
发送单元，用于根据所述发单配置信息，将所述消息池中的消息对象通过所述连接池中的连接句柄发送至所述交易***，并在发送的每个消息对象中记录对应的发送时延打点信息；
处理单元，用于当接收到所述交易***返回的对每个消息对象的响应消息时，调用回调句柄中的业务处理接口对所述响应消息对应的每个消息对象进行处理，并在所述响应消息对应的每个消息对象中记录响应时延打点信息；
生成单元，用于在结束发单后，根据所述消息池中的消息对象生成时延文件；
所述生成单元，还用于根据所述时延文件生成对所述交易***的测试报告。
一种计算机设备，所述计算机设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现所述基于高并发报单模拟的交易***测试方法。
一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被计算机设备中的处理器执行以实现所述基于高并发报单模拟的交易***测试方法。
由以上技术方案可以看出，当接收到高并发场景下对交易***的测试请求时，根据初始化的消息模板及发单配置信息构建消息池，以模拟高并发大量订单同时报单的场景，进一步根据构建的连接池与交易***建立连接，根据发单配置信息将消息池中的消息对象通过连接池中的连接句柄发送至交易***，以便结合消息池及连接池实现高吞吐的复杂交易场景下的发单模拟，在消息对象中记录发送时延打点信息及响应时延打点信息以生成时延文件，并根据时延文件生成对交易***的测试报告，进而实现对高并发场景下交易***的性能测试。
附图说明
图1是本发明基于高并发报单模拟的交易***测试方法的较佳实施例的流程图。
图2是本发明基于高并发报单模拟的交易***测试装置的较佳实施例的功能模块图。
图3是本发明实现基于高并发报单模拟的交易***测试方法的较佳实施例的计算机设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
如图1所示，是本发明基于高并发报单模拟的交易***测试方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
所述基于高并发报单模拟的交易***测试方法应用于一个或者多个计算机设备中，所述计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是任何一种可与用户进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理（Personal Digital Assistant，PDA）、游戏机、交互式网络电视（Internet Protocol Television，IPTV）、智能式穿戴式设备等。
所述计算机设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括，但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(CloudComputing)的由大量主机或网络服务器构成的云。
所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络（Virtual Private Network，VPN）等。
S10，当接收到高并发场景下对交易***的测试请求时，初始化发单配置信息，及初始化消息模板。
例如：当某些券商或者客户在一段时间内进行高频交易时，则短时间内会出现大量订单及查询消息，此时，则可以确定为所述高并发场景。
在本实施例中，所述测试请求可以由测试人员或者开发人员触发，本发明不限制。
在本实施例中，所述初始化发单配置信息包括：
获取传入的命令行参数；
解析所述命令行参数得到发单模式、发单数量、发单速率，并将所述发单模式、所述发单数量、所述发单速率存储至单例配置类；
获取账户信息及证券信息；
将所述账户信息及所述证券信息转换为配置数据结构，并将转换后的所述账户信息及所述证券信息以数组形式存储至缓存；例如：所述证券信息可以包括证券代码等，根据实际的语言环境，如可以通过C++文件读取并解析特定格式的账户信息和证券信息，并根据文件格式配置特定的数据结构，再使用C++数组进行存储缓存；
其中，所述发单模式包括同步模式、异步模式；所述发单速率包括匀速、脉冲、变速；在发单过程中，根据发单需求组合所述发单模式与所述发单速率。例如：根据实际的发单需求，可以将同步模式与匀速进行组合，或者将同步模式与变速进行组合，以实现发单模式与发单速率间的多种不同组合方式，本发明不限制。
通过解析所述命令行参数，能够得到所述发单模式、所述发单数量、所述发单速率等配置信息，以便对发单行为进行有效控制。
所述初始化消息模板包括：
获取预先构建的消息配置文件；其中，所述消息配置文件记录有key-value，key表示消息号，value表示模板对象；所述消息配置文件用于配置所述模板对象中各个消息字段的默认值；
解析所述消息配置文件，并基于所述消息号从所述消息配置文件中获取对应的默认值填充至所述消息模板，得到所述消息模板中的每个模板对象；
以数组的形式存储每个模板对象。
例如：所述消息配置文件可以为xml文件格式，其中配置了各个业务消息字段的默认值，通过所述消息配置文件中的消息号获取到具体的模板对象，并初始化模板对象中的消息字段，将初始化完成的模板对象使用数组进行存储。
通过初始化所述发单配置信息及所述消息模板，为后续构建大量消息并模拟高并发消息下发场景提供基础。
S11，根据所述消息模板及所述发单配置信息构建消息池。
在本实施例中，所述根据所述消息模板及所述发单配置信息构建消息池包括：
从所述发单配置信息中获取所述发单数量；
基于所述发单数量从所述消息模板中轮询获取所述模板对象；
调用获取的模板对象的消息构造方法构造对应的消息对象；
将构造的消息对象以数组的形式进行存储，得到所述消息池；
其中，所述消息池中的每个消息对象以每个消息指针指向对应的模板对象中的消息实体。
在上述实施例中，业务消息只需要在模板对象中做一次初始化，并且只在模板对象中存有实体对象并占用内存，在通过消息模板构造生成的消息对象中，都只用一个消息指针指向模板对象中实际存在的消息实体，以此来节约内存占用，保证构造大批量订单的可行性，避免***出现OOM killer（Out Of Memory killer）问题。
S12，构建连接池，并根据所述连接池与所述交易***建立连接。
在本实施例中，所述构建连接池，并根据所述连接池与所述交易***建立连接包括：
获取多个连接配置信息；其中，所述连接配置信息包括账户信息、IP（InternetProtocol，网际互连协议）信息、端口信息；
基于所述多个连接信息创建多个初始连接；
基于所述多个初始连接向所述交易***发起网络连接；
当检测到有任意网络连接被所述交易***成功响应时，执行对所述交易***的登录，得到登录结果；
对所述登录结果进行校验；
当所述登录结果通过校验时，将所述任意网络连接所对应的初始连接的连接句柄添加至所述连接池。
具体地，初始化连接池，并连接登录至所述交易***，向所述交易***发起网络连接，并注册回调消息处理句柄，在回调消息处理句柄中对报单过程中返回的响应和回报进行处理，连接上后执行对所述交易***的登录过程，并对登录结果进行相关校验，以确保连接和登录过程无误。将登录成功的连接句柄存储在连接池数组中，可以使用不同的账户信息、IP信息、端口信息等发起多个网络连接，并将这些网络连接都存储在连接池数组中，以此模拟多连接下的测试场景。
S13，根据所述发单配置信息，将所述消息池中的消息对象通过所述连接池中的连接句柄发送至所述交易***，并在发送的每个消息对象中记录对应的发送时延打点信息。
在本实施例中，所述根据所述发单配置信息，将所述消息池中的消息对象通过所述连接池中的连接句柄发送至所述交易***包括：
从所述发单配置信息中获取发单模式及发单速率；
遍历轮询所述消息池中的消息对象，及遍历轮询所述连接池中的连接句柄；
调用遍历到的连接句柄的发送接口；
将遍历到的消息对象在所述发送接口中进行序列化处理；
根据所述发单模式及所述发单速率，将序列化处理后的消息对象以单线程模式发送至所述交易***；
其中，所述发单速率以while循环控制指令及clock_gettime时间函数进行控制。通过while循环进行延时，并且使用linux提供的clock_gettime保证打点的时延精确性，从而保证发单的时延和速率的正确性。
具体地，在所述同步模式下，需要等待接收到上一笔发送消息的响应后再发送下一笔消息，在所述异步模式下则不用等待；对于发送速率的控制，不使用sleep命令控制发送间隔，以避免CPU（Central Processing Unit，中央处理器）休眠造成对时延和发送速率的影响，本实施例采用while循环，等待时延间隔达到发单速率所设置的时延间隔，以保证CPU一直跑在对应发送线程中，保证发送时延间隔和速率的准确性。经实验研究，在实际测试中，发送速率TPS（Transactions Per Second，每秒传输的事物处理个数）在异步模式下可以达到10万以上。
本实施例在消息发送前，提前构造好所有消息对象及连接对象，并将其分别存放在消息池数组和连接池数组中，只需要调用相关接口将消息进行序列化并通过网络发送即可，具有极低的时延占用，避免在发送过程中因为消息的构造过程影响发单的时延，保证发单的性能，提高发单的TPS。
另外，将序列化处理后的消息对象以单线程模式发送至所述交易***，无加锁过程，与回调线程的交互都通过原子变量完成，且发送线程中也不做任何I/O（Input/Output，输入/输出）处理，保证发送线程独占一个CPU，避免频繁的CPU切换影响发送时延。
在本实施例中，所述在发送的每个消息对象中记录对应的发送时延打点信息包括：
在调用发送接口时，对发送的消息对象进行发送时延打点，并将发送时延打点信息存储在对应消息对象中，以准确记录消息发送时间。
S14，当接收到所述交易***返回的对每个消息对象的响应消息时，调用回调句柄中的业务处理接口对所述响应消息对应的每个消息对象进行处理，并在所述响应消息对应的每个消息对象中记录响应时延打点信息。
具体地，调用回调句柄中的业务处理接口对所述响应消息对应的每个消息对象进行相关业务逻辑处理，对实际交易场景做出还原。
在本实施例中，所述在所述响应消息对应的每个消息对象中记录响应时延打点信息包括：
当接收到所述响应消息时执行时延打点，得到所述响应时延打点信息；
将所述响应时延打点信息存储至所述响应消息对应的每个消息对象中。
通过上述实施例，能够通过时延打点准确记录响应时间。
S15，在结束发单后，根据所述消息池中的消息对象生成时延文件。
在本实施例中，所述根据所述消息池中的消息对象生成时延文件包括：
遍历所述消息池以获取到所述消息对象；
获取所述消息对象中记录的所述发送时延打点信息、所述响应时延打点信息及时延特征值；
将所述发送时延打点信息、所述响应时延打点信息及所述时延特征值持久化到文件，得到所述时延文件。
其中，所述时延特征值可以包括订单编号、订单发送时间戳等于时延相关的特征。
在上述实施例中，通过持久化时延文件能够辅助准确判断和分析***的性能情况。
S16，根据所述时延文件生成对所述交易***的测试报告。
在本实施例中，所述根据所述时延文件生成对所述交易***的测试报告包括：
根据所述时延文件计算从订单发送时间到收到对应订单后所述交易***内部响应时的时间差，并作为内部响应时间差；
根据所述时延文件计算从订单发送时间到收到对应订单后交易所响应时的时间差，并作为交易所响应时间差；
基于指定工具及所述时延文件计算每笔订单的单笔时延；
根据所述内部响应时间差及所述单笔时延确定所述交易***对订单的处理性能；
根据所述交易所响应时间差确定订单全链路时延；
根据所述交易***对订单的处理性能及所述订单全链路时延生成所述测试报告。
其中，所述指定工具可以为python等处理工具。
通过上述实施例，能够基于时延进行分析，以反映***的处理性能水平。
由以上技术方案可以看出，当接收到高并发场景下对交易***的测试请求时，根据初始化的消息模板及发单配置信息构建消息池，以模拟高并发大量订单同时报单的场景，进一步根据构建的连接池与交易***建立连接，根据发单配置信息将消息池中的消息对象通过连接池中的连接句柄发送至交易***，以便结合消息池及连接池实现高吞吐的复杂交易场景下的发单模拟，在消息对象中记录发送时延打点信息及响应时延打点信息以生成时延文件，并根据时延文件生成对交易***的测试报告，进而实现对高并发场景下交易***的性能测试。
如图2所示，是本发明基于高并发报单模拟的交易***测试装置的较佳实施例的功能模块图。所述基于高并发报单模拟的交易***测试装置11包括初始化单元110、构建单元111、连接单元112、发送单元113、处理单元114、生成单元115。本发明所称的模块/单元是指一种能够被处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块/单元的功能将在后续的实施例中详述。
所述初始化单元110，用于当接收到高并发场景下对交易***的测试请求时，初始化发单配置信息，及初始化消息模板；
所述构建单元111，用于根据所述消息模板及所述发单配置信息构建消息池；
所述连接单元112，用于构建连接池，并根据所述连接池与所述交易***建立连接；
所述发送单元113，用于根据所述发单配置信息，将所述消息池中的消息对象通过所述连接池中的连接句柄发送至所述交易***，并在发送的每个消息对象中记录对应的发送时延打点信息；
所述处理单元114，用于当接收到所述交易***返回的对每个消息对象的响应消息时，调用回调句柄中的业务处理接口对所述响应消息对应的每个消息对象进行处理，并在所述响应消息对应的每个消息对象中记录响应时延打点信息；
所述生成单元115，用于在结束发单后，根据所述消息池中的消息对象生成时延文件；
所述生成单元115，还用于根据所述时延文件生成对所述交易***的测试报告。
由以上技术方案可以看出，当接收到高并发场景下对交易***的测试请求时，根据初始化的消息模板及发单配置信息构建消息池，以模拟高并发大量订单同时报单的场景，进一步根据构建的连接池与交易***建立连接，根据发单配置信息将消息池中的消息对象通过连接池中的连接句柄发送至交易***，以便结合消息池及连接池实现高吞吐的复杂交易场景下的发单模拟，在消息对象中记录发送时延打点信息及响应时延打点信息以生成时延文件，并根据时延文件生成对交易***的测试报告，进而实现对高并发场景下交易***的性能测试。
如图3所示，是本发明实现基于高并发报单模拟的交易***测试方法的较佳实施例的计算机设备的结构示意图。
所述计算机设备1可以包括存储器12、处理器13和总线，还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序，例如基于高并发报单模拟的交易***测试程序。
本领域技术人员可以理解，所述示意图仅仅是计算机设备1的示例，并不构成对计算机设备1的限定，所述计算机设备1既可以是总线型结构，也可以是星形结构，所述计算机设备1还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置，例如所述计算机设备1还可以包括输入输出设备、网络接入设备等。
需要说明的是，所述计算机设备1仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
其中，存储器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是计算机设备1的内部存储单元，例如该计算机设备1的移动硬盘。存储器12在另一些实施例中也可以是计算机设备1的外部存储设备，例如计算机设备1上配备的插接式移动硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（SecureDigital，SD）卡、闪存卡（Flash Card）等。进一步地，存储器12还可以既包括计算机设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于计算机设备1的应用软件及各类数据，例如基于高并发报单模拟的交易***测试程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器13在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述计算机设备1的控制核心（Control Unit），利用各种接口和线路连接整个计算机设备1的各个部件，通过运行或执行存储在所述存储器12内的程序或者模块（例如执行基于高并发报单模拟的交易***测试程序等），以及调用存储在所述存储器12内的数据，以执行计算机设备1的各种功能和处理数据。
所述处理器13执行所述计算机设备1的操作***以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个基于高并发报单模拟的交易***测试方法实施例中的步骤，例如图1所示的步骤。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器12中，并由所述处理器13执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在所述计算机设备1中的执行过程。例如，所述计算机程序可以被分割成初始化单元110、构建单元111、连接单元112、发送单元113、处理单元114、生成单元115。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、计算机设备，或者网络设备等）或处理器（processor）执行本发明各个实施例所述基于高并发报单模拟的交易***测试方法的部分。
所述计算机设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指示相关的硬件设备来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。
其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器等。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性（防伪）和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，在图3中仅用一根直线表示，但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及至少一个处理器13等之间的连接通信。
尽管未示出，所述计算机设备1还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理装置与所述至少一个处理器13逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述计算机设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述计算机设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该计算机设备1与其他计算机设备之间建立通信连接。
可选地，该计算机设备1还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在计算机设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
图3仅示出了具有组件12-13的计算机设备1，本领域技术人员可以理解的是，图3示出的结构并不构成对所述计算机设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
结合图1，所述计算机设备1中的所述存储器12存储多个指令以实现一种基于高并发报单模拟的交易***测试方法，所述处理器13可执行所述多个指令从而实现：
当接收到高并发场景下对交易***的测试请求时，初始化发单配置信息，及初始化消息模板；
根据所述消息模板及所述发单配置信息构建消息池；
构建连接池，并根据所述连接池与所述交易***建立连接；
根据所述发单配置信息，将所述消息池中的消息对象通过所述连接池中的连接句柄发送至所述交易***，并在发送的每个消息对象中记录对应的发送时延打点信息；
当接收到所述交易***返回的对每个消息对象的响应消息时，调用回调句柄中的业务处理接口对所述响应消息对应的每个消息对象进行处理，并在所述响应消息对应的每个消息对象中记录响应时延打点信息；
在结束发单后，根据所述消息池中的消息对象生成时延文件；
根据所述时延文件生成对所述交易***的测试报告。
具体地，所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
需要说明的是，本案中所涉及到的数据均为合法取得。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
本发明可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。本发明中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于高并发报单模拟的交易***测试方法，其特征在于，所述基于高并发报单模拟的交易***测试方法包括：
当接收到高并发场景下对交易***的测试请求时，初始化发单配置信息，及初始化消息模板；
根据所述消息模板及所述发单配置信息构建消息池；
构建连接池，并根据所述连接池与所述交易***建立连接；
根据所述发单配置信息，将所述消息池中的消息对象通过所述连接池中的连接句柄发送至所述交易***，并在发送的每个消息对象中记录对应的发送时延打点信息；
当接收到所述交易***返回的对每个消息对象的响应消息时，调用回调句柄中的业务处理接口对所述响应消息对应的每个消息对象进行处理，并在所述响应消息对应的每个消息对象中记录响应时延打点信息；
在结束发单后，根据所述消息池中的消息对象生成时延文件；
根据所述时延文件生成对所述交易***的测试报告。
2.如权利要求1所述的基于高并发报单模拟的交易***测试方法，其特征在于：
所述初始化发单配置信息包括：
获取传入的命令行参数；
解析所述命令行参数得到发单模式、发单数量、发单速率，并将所述发单模式、所述发单数量、所述发单速率存储至单例配置类；
获取账户信息及证券信息；
将所述账户信息及所述证券信息转换为配置数据结构，并将转换后的所述账户信息及所述证券信息以数组形式存储至缓存；
其中，所述发单模式包括同步模式、异步模式；所述发单速率包括匀速、脉冲、变速；在发单过程中，根据发单需求组合所述发单模式与所述发单速率；
所述初始化消息模板包括：
获取预先构建的消息配置文件；其中，所述消息配置文件记录有key-value，key表示消息号，value表示模板对象；所述消息配置文件用于配置所述模板对象中各个消息字段的默认值；
解析所述消息配置文件，并基于所述消息号从所述消息配置文件中获取对应的默认值填充至所述消息模板，得到所述消息模板中的每个模板对象；
以数组的形式存储每个模板对象。
3.如权利要求2所述的基于高并发报单模拟的交易***测试方法，其特征在于，所述根据所述消息模板及所述发单配置信息构建消息池包括：
从所述发单配置信息中获取所述发单数量；
基于所述发单数量从所述消息模板中轮询获取所述模板对象；
调用获取的模板对象的消息构造方法构造对应的消息对象；
将构造的消息对象以数组的形式进行存储，得到所述消息池；
其中，所述消息池中的每个消息对象以每个消息指针指向对应的模板对象中的消息实体。
4.如权利要求1所述的基于高并发报单模拟的交易***测试方法，其特征在于，所述构建连接池，并根据所述连接池与所述交易***建立连接包括：
获取多个连接配置信息；其中，所述连接配置信息包括账户信息、IP信息、端口信息；
基于所述多个连接配置信息创建多个初始连接；
基于所述多个初始连接向所述交易***发起网络连接；
当检测到有任意网络连接被所述交易***成功响应时，执行对所述交易***的登录，得到登录结果；
对所述登录结果进行校验；
当所述登录结果通过校验时，将所述任意网络连接所对应的初始连接的连接句柄添加至所述连接池。
5.如权利要求2所述的基于高并发报单模拟的交易***测试方法，其特征在于，所述根据所述发单配置信息，将所述消息池中的消息对象通过所述连接池中的连接句柄发送至所述交易***包括：
从所述发单配置信息中获取发单模式及发单速率；
遍历轮询所述消息池中的消息对象，及遍历轮询所述连接池中的连接句柄；
调用遍历到的连接句柄的发送接口；
将遍历到的消息对象在所述发送接口中进行序列化处理；
根据所述发单模式及所述发单速率，将序列化处理后的消息对象以单线程模式发送至所述交易***；
其中，所述发单速率以while循环控制指令及clock_gettime时间函数进行控制。
6.如权利要求1所述的基于高并发报单模拟的交易***测试方法，其特征在于，所述在所述响应消息对应的每个消息对象中记录响应时延打点信息包括：
当接收到所述响应消息时执行时延打点，得到所述响应时延打点信息；
将所述响应时延打点信息存储至所述响应消息对应的每个消息对象中。
7.如权利要求1所述的基于高并发报单模拟的交易***测试方法，其特征在于，所述根据所述消息池中的消息对象生成时延文件包括：
遍历所述消息池以获取到所述消息对象；
获取所述消息对象中记录的所述发送时延打点信息、所述响应时延打点信息及时延特征值；
将所述发送时延打点信息、所述响应时延打点信息及所述时延特征值持久化到文件，得到所述时延文件。
8.如权利要求1所述的基于高并发报单模拟的交易***测试方法，其特征在于，所述根据所述时延文件生成对所述交易***的测试报告包括：
根据所述时延文件计算从订单发送时间到收到对应订单后所述交易***内部响应时的时间差，并作为内部响应时间差；
根据所述时延文件计算从订单发送时间到收到对应订单后交易所响应时的时间差，并作为交易所响应时间差；
基于指定工具及所述时延文件计算每笔订单的单笔时延；
根据所述内部响应时间差及所述单笔时延确定所述交易***对订单的处理性能；
根据所述交易所响应时间差确定订单全链路时延；
根据所述交易***对订单的处理性能及所述订单全链路时延生成所述测试报告。
9. 一种计算机设备，其特征在于，所述计算机设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现如权利要求1至8中任意一项所述的基于高并发报单模拟的交易***测试方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被计算机设备中的处理器执行以实现如权利要求1至8中任意一项所述的基于高并发报单模拟的交易***测试方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310961699.7A CN116701233B (zh) | 2023-08-02 | 2023-08-02 | 基于高并发报单模拟的交易***测试方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310961699.7A CN116701233B (zh) | 2023-08-02 | 2023-08-02 | 基于高并发报单模拟的交易***测试方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116701233A CN116701233A (zh) | 2023-09-05 |
| CN116701233B true CN116701233B (zh) | 2024-02-06 |
Family
ID=87841839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310961699.7A Active CN116701233B (zh) | 2023-08-02 | 2023-08-02 | 基于高并发报单模拟的交易***测试方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116701233B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118037453B (zh) * | 2024-04-12 | 2024-07-19 | 深圳华锐分布式技术股份有限公司 | 交易***的订单处理方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037519A (ja) * | 2007-08-03 | 2009-02-19 | Toshiba Corp | テストシナリオ生成装置、株取引テストシステム及びコンピュータプログラム |
| CN113254894A (zh) * | 2021-04-30 | 2021-08-13 | 贵州小宝健康科技有限公司 | 一种面向高并发访问优化的内容管理*** |
| CN116501610A (zh) * | 2023-03-13 | 2023-07-28 | 深圳华锐分布式技术股份有限公司 | 做市交易***的测试方法、装置、设备及介质 |
-
2023
- 2023-08-02 CN CN202310961699.7A patent/CN116701233B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009037519A (ja) * | 2007-08-03 | 2009-02-19 | Toshiba Corp | テストシナリオ生成装置、株取引テストシステム及びコンピュータプログラム |
| CN113254894A (zh) * | 2021-04-30 | 2021-08-13 | 贵州小宝健康科技有限公司 | 一种面向高并发访问优化的内容管理*** |
| CN116501610A (zh) * | 2023-03-13 | 2023-07-28 | 深圳华锐分布式技术股份有限公司 | 做市交易***的测试方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 低延时期货交易***的优化与测试;雷达;沈益明;;现代计算机(09);全文 * |
| 雷达 ; 沈益明 ; .低延时期货交易***的优化与测试.现代计算机.2020,(09),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116701233A (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023056943A1 (zh) | 基于物联网规则引擎的终端控制方法、装置、设备及介质 | |
| CN116701233B (zh) | 基于高并发报单模拟的交易***测试方法、设备及介质 | |
| CN113806434B (zh) | 大数据处理方法、装置、设备及介质 | |
| CN115731047B (zh) | 批量订单处理方法、设备及介质 | |
| CN111950707A (zh) | 基于行为共现网络的行为预测方法、装置、设备及介质 | |
| CN115314570B (zh) | 基于协议开发框架的数据下发方法、装置、设备及介质 | |
| CN113032543B (zh) | 基于栈结构的对话诊断方法、装置、设备及介质 | |
| CN114268559B (zh) | 基于tf-idf算法的定向网络检测方法、装置、设备及介质 | |
| WO2023272853A1 (zh) | 基于ai的sql引擎调用方法、装置、设备及介质 | |
| CN115033605A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
| CN115277859B (zh) | 请求调度方法、装置、设备及介质 | |
| CN116662208B (zh) | 基于分布式挡板的交易测试方法、设备及介质 | |
| CN116934263B (zh) | 产品批量准入方法、装置、设备及介质 | |
| CN116414366B (zh) | 中间件接口生成方法、装置、设备及介质 | |
| CN116414699B (zh) | 运营运维测试方法、装置、设备及介质 | |
| CN116361753B (zh) | 权限认证方法、装置、设备及介质 | |
| CN116843454B (zh) | 渠道信息管理方法、装置、设备及介质 | |
| CN116483747B (zh) | 行情快照下发方法、装置、设备及介质 | |
| CN114362968B (zh) | 区块链获取随机数的方法、装置、设备和介质 | |
| CN115934576B (zh) | 交易场景下的测试用例生成方法、装置、设备及介质 | |
| CN115964307B (zh) | 交易数据自动化测试方法、装置、设备及介质 | |
| CN117316359B (zh) | 血液检测过程跟踪方法、装置、设备及介质 | |
| CN115277469A (zh) | 弱网可视化控制方法、装置、电子设备及可读存储介质 | |
| CN114416575A (zh) | Mock数据生成方法、装置、设备及存储介质 | |
| CN116821163A (zh) | ***数据查验方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |