CN111274325A - 平台自动化测试方法及*** - Google Patents

平台自动化测试方法及*** Download PDF

Info

Publication number
CN111274325A
CN111274325A CN202010114048.0A CN202010114048A CN111274325A CN 111274325 A CN111274325 A CN 111274325A CN 202010114048 A CN202010114048 A CN 202010114048A CN 111274325 A CN111274325 A CN 111274325A
Authority
CN
China
Prior art keywords
platform
target host
data
host
index field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010114048.0A
Other languages
English (en)
Other versions
CN111274325B (zh
Inventor
梁雄
叶建锋
林海
吴海彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010114048.0A priority Critical patent/CN111274325B/zh
Publication of CN111274325A publication Critical patent/CN111274325A/zh
Application granted granted Critical
Publication of CN111274325B publication Critical patent/CN111274325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供一种平台自动化测试方法及***，方法包括：接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数；基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架；基于所述自动化框架对所述平台进行自动化测试。本申请能够有效根据用户配置将主机数据全量自动同步平台，并能够有效降低数据缺失对平台自动化测试的成功率影响，进而能够有效提高平台自动化测试的准确性、智能化程度及高效性。

Description

平台自动化测试方法及***
技术领域
本申请涉及数据处理技术领域，具体涉及平台自动化测试方法及***。
背景技术
随着主机下平台的推进开展，越来越多的主机DB2数据表开始逐步往平台表迁移。主机侧数据通常采用存量移行及增量QR(Q Replication)复制的方法同步到平台侧。QR的环境链路为：主机->QR->KAFKA->订阅消费->平台。平台自动化测试案例采用的测试数据也是基于原有主机数据库中的测试数据，但是因为测试环境QR链路较长，如某一环节存在问题，例如未及时启动QR服务或订阅消费服务，都会导致平台表数据缺失，另外由于测试环境版本切换选择基础环境不同，也会导致平台表数据缺失。这样会造成平台自动化测试因为测试数据在平台不存在而中断的问题，严重影响自动化的成功率。
常用的解决方式有如下两种：1、重新移行数据，这种操作适用于移行程序未作废的情况，但是通常移行程序都是一次性的，并且移行操作繁锁，需要主机批量导出数据->译码->平台重新建表->执行平台批量导入，步骤较长且需要技术操作。2、利用QR复制，在QR服务及消费者服务都正常启动的情况下，更新主机DB2全表数据触发QR复制，但是如果DB2数据表为大表即数据量大的情况时，在DB2客户端手工更新时常常会报SQLCODE＝-952超时中断更新失败的错误，并且数据更新量大时，受消费者服务器性能限制，通常会造成KAFKA消息的数据堆积，造成整个***数据同步缓慢，影响其他表的相关自动化测试开展。
综上，没有一种快速、自动的主机数据同步平台的方式，如何提供一种新的方案，解决上述技术问题是本领域亟待解决的技术难题。
发明内容
针对现有技术中的问题，本申请提供一种平台自动化测试方法及***，能够有效根据用户配置将主机数据全量自动同步平台，并能够有效降低数据缺失对平台自动化测试的成功率影响，进而能够有效提高平台自动化测试的准确性、智能化程度及高效性。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种平台自动化测试方法，包括：
接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数；
基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架；
基于所述自动化框架对所述平台进行自动化测试。
进一步地，所述基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架，包括：
基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序；
应用当前获取的分批记录数、经排序后的索引字段和用户配置参数拼装生成对应的更新语句；
基于所述更新语句分批执行所述目标主机表的更新操作，并在基于预设延迟等待时间进行延时后执行对应的目标主机数据的增量QR复制同步处理，直至所述目标主机表全部更新完成且对应的目标主机数据的增量QR复制同步处理过程也全部完成后，启动针对所述平台的自动化框架。
进一步地，所述用户配置参数包括：主机表名、更新字段名及更新字段值。
进一步地，还包括：
实时自KAFKA消息服务器的服务器消息队列中获取该KAFKA消息服务器的消息堆积详情信息；
基于所述消息堆积详情信息和当前获取的用户配置的消费者服务器性能参数，确定消费者服务器当前支持的最大记录数；
根据所述最大记录数及所述预设延迟等待时间更新所述分批记录数。
进一步地，在所述基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序之前，还包括：
自所述目标主机的主机***表中查找得到用户配置定义的主机表索引字段，其中，所述主机表索引字段为单一索引字段或多列索引字段。
第二方面，本申请提供一种平台自动化测试***，包括：
策略定义装置，用于接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数；
解析执行装置，用于基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架；
自动化测试装置，用于基于所述自动化框架对所述平台进行自动化测试。
进一步地，所述解析执行装置具体用于执行下述内容：
基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序；
应用当前获取的分批记录数、经排序后的索引字段和用户配置参数拼装生成对应的更新语句；
基于所述更新语句分批执行所述目标主机表的更新操作，并在基于预设延迟等待时间进行延时后执行对应的目标主机数据的增量QR复制同步处理，直至所述目标主机表全部更新完成且对应的目标主机数据的增量QR复制同步处理过程也全部完成后，启动针对所述平台的自动化框架。
进一步地，所述用户配置参数包括：主机表名、更新字段名及更新字段值。
进一步地，还包括：连接检测装置，且该连接检测装置具体用于执行下述内容：
实时自KAFKA消息服务器的服务器消息队列中获取该KAFKA消息服务器的消息堆积详情信息；
基于所述消息堆积详情信息和当前获取的用户配置的消费者服务器性能参数，确定消费者服务器当前支持的最大记录数；
根据所述最大记录数及所述预设延迟等待时间更新所述分批记录数。
进一步地，在所述基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序之前，所述解析执行装置还具体用于执行下述内容：
自所述目标主机的主机***表中查找得到用户配置定义的主机表索引字段，其中，所述主机表索引字段为单一索引字段或多列索引字段。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的平台自动化测试方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的平台自动化测试方法的步骤。
由上述技术方案可知，本申请提供的一种平台自动化测试方法及***，方法包括：接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数；基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架；基于所述自动化框架对所述平台进行自动化测试，能够有效解决自动化测试过程中，测试数据不同步造成平台自动化中断及自动化成功率低的问题，通过解析相关参数，能够有效根据用户配置将主机数据全量自动同步平台，并能够有效降低数据缺失对平台自动化测试的成功率影响，进而能够有效提高平台自动化测试的准确性、智能化程度及高效性，进而实现全程自动按索引分批更新记录数，解决用户手工介入更新全表特别是大表时超时报错失败率高的问题，且最大限度确保不影响KAFKA服务器及消费性能，有效提高了KAFKA服务器的应用性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中的平台自动化测试方法的流程示意图。
图2是本申请实施例中的平台自动化测试方法中步骤200的具体流程示意图。
图3是本申请实施例中的平台自动化测试方法中步骤401至步骤403的具体流程示意图。
图4是本申请实施例中的包含有步骤204的平台自动化测试方法中步骤200的流程示意图。
图5是本申请实施例中的平台自动化测试***的第一种结构示意图。
图6是本申请实施例中的平台自动化测试***的第二种结构示意图。
图7是本申请应用实例中的平台自动化测试***结构图。
图8是本申请应用实例中的解析执行装置内部结构示意图。
图9是本申请应用实例中的连接检测装置内部结构示意图。
图10是本申请应用实例中的请求处理流程方法的示意图。
图11是本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供一种平台自动化测试方法、平台自动化测试***、电子设备及计算机可读存储介质，通过接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数；基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架；基于所述自动化框架对所述平台进行自动化测试，能够有效解决自动化测试过程中，测试数据不同步造成平台自动化中断及自动化成功率低的问题，通过解析相关参数，能够有效根据用户配置将主机数据全量自动同步平台，并能够有效降低数据缺失对平台自动化测试的成功率影响，进而能够有效提高平台自动化测试的准确性、智能化程度及高效性，进而实现全程自动按索引分批更新记录数，解决用户手工介入更新全表特别是大表时超时报错失败率高的问题，且最大限度确保不影响KAFKA服务器及消费性能，有效提高了KAFKA服务器的应用性能。
具体通过下述多个实施例进行详细说明。
为了有效根据用户配置将主机数据全量自动同步平台，减小数据缺失对自动化成功率影响；利用索引排序自动完成主机表分批循环更新，避免超时中断情况，本申请提供一种平台自动化测试方法的实施例，参见图1，所述平台自动化测试方法具体包含有如下内容：
步骤100：接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数。
在步骤100中，可以由策略定义装置根据用户配置，决定是否进行后续解析执行操作。
步骤200：基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架。
在步骤200中，可以由解析执行装置对用户配置的主机表、字段、字段值，实现按索引排序后分批执行更新，并延迟等待QR复制同步。
也就是说，所述用户配置参数中至少包含有主机表名、更新字段名及更新字段值等数据，以有效提高目标主机数据同步至平台的可靠性及准确性。
步骤300：基于所述自动化框架对所述平台进行自动化测试。
为了能够利用索引排序自动完成主机表分批循环更新，避免超时中断情况的发生，在本申请的平台自动化测试方法的一个实施例中，参见图2，所述平台自动化测试方法中的步骤200具体包含有如下内容：
步骤201：基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序；
步骤202：应用当前获取的分批记录数、经排序后的索引字段和用户配置参数拼装生成对应的更新语句；
步骤203：基于所述更新语句分批执行所述目标主机表的更新操作，并在基于预设延迟等待时间进行延时后执行对应的目标主机数据的增量QR复制同步处理，直至所述目标主机表全部更新完成且对应的目标主机数据的增量QR复制同步处理过程也全部完成后，启动针对所述平台的自动化框架。
为了能够实时查询KAFKA消息堆积情况调整分批记录数，最大化利用QR复制数据，不会造成消费服务压力，在本申请的平台自动化测试方法的一个实施例中，参见图3，所述平台自动化测试方法中步骤200之前、步骤200的执行过程中以及步骤200之后均还可以具体包含有如下内容：
步骤401：实时自KAFKA消息服务器的服务器消息队列中获取该KAFKA消息服务器的消息堆积详情信息；
步骤402：基于所述消息堆积详情信息和当前获取的用户配置的消费者服务器性能参数，确定消费者服务器当前支持的最大记录数；
步骤403：根据所述最大记录数及所述预设延迟等待时间更新所述分批记录数。
可以理解的是，上述步骤401至步骤403均可以由连接检测装置实现，该连接检测装置可以检测KAFKA消息服务器中消息堆积情况，结合消费者服务器处理性能，计算分批记录数传递给步骤200的分批记录数。
另外，为了进一步提高对所述用户配置参数进行排序的准确性以及适用全面性，在本申请的平台自动化测试方法的一个实施例中，参见图4，所述平台自动化测试方法中步骤201之前还具体包含有如下内容：
步骤204：自所述目标主机的主机***表中查找得到用户配置定义的主机表索引字段，其中，所述主机表索引字段为单一索引字段或多列索引字段。
从软件层面来说，为了有效根据用户配置将主机数据全量自动同步平台，减小数据缺失对自动化成功率影响；利用索引排序自动完成主机表分批循环更新，避免超时中断情况，本申请提供一种用于实现上述平台自动化测试方法中全部或部分内容的平台自动化测试***的实施例，参见图5，所述平台自动化测试***具体包含有如下内容：
策略定义装置10，用于接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数；
解析执行装置20，用于基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架；
自动化测试装置30，用于基于所述自动化框架对所述平台进行自动化测试。
为了能够利用索引排序自动完成主机表分批循环更新，避免超时中断情况的发生，在本申请的平台自动化测试***的一个实施例中，所述平台自动化测试***中的解析执行装置20具体用于执行下述内容：
基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序；
应用当前获取的分批记录数、经排序后的索引字段和用户配置参数拼装生成对应的更新语句；
基于所述更新语句分批执行所述目标主机表的更新操作，并在基于预设延迟等待时间进行延时后执行对应的目标主机数据的增量QR复制同步处理，直至所述目标主机表全部更新完成且对应的目标主机数据的增量QR复制同步处理过程也全部完成后，启动针对所述平台的自动化框架。
其中，所述用户配置参数包括：主机表名、更新字段名及更新字段值。
为了能够实时查询KAFKA消息堆积情况调整分批记录数，最大化利用QR复制数据，不会造成消费服务压力，在本申请的平台自动化测试***的一个实施例中，参见图6，所述平台自动化测试***中还可以具体包含有连接检测装置40，所述连接检测装置40，且该连接检测装置具体用于执行下述内容：
实时自KAFKA消息服务器的服务器消息队列中获取该KAFKA消息服务器的消息堆积详情信息；
基于所述消息堆积详情信息和当前获取的用户配置的消费者服务器性能参数，确定消费者服务器当前支持的最大记录数；
根据所述最大记录数及所述预设延迟等待时间更新所述分批记录数。
另外，为了进一步提高对所述用户配置参数进行排序的准确性以及适用全面性，在本申请的平台自动化测试***的一个实施例中，所述平台自动化测试***中的在所述基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序之前，所述解析执行装置还具体用于执行下述内容：
自所述目标主机的主机***表中查找得到用户配置定义的主机表索引字段，其中，所述主机表索引字段为单一索引字段或多列索引字段。
为了进一步说明本方案，本申请还提供一种应用所述平台自动化测试***实现上述平台自动化测试方法的具体应用实例，具体包含有如下内容：
图7是本申请应用实例中的平台自动化测试***结构图，本申请提供一种平台自动化测试***，包括：策略定义装置、解析执行装置、连接检测装置。策略定义装置与解析执行装置相连；连接检测装置与解析执行装置相连。
策略定义装置：用户自定义是否进行后续解析执行操作，如需要进行解析执行，则将相关定义信息保存到项目配置文件中，包括主机表名、更新字段名及更新字段值。
解析执行装置：从策略定义装置中读取用户配置信息，主要包含表名、更新字段名、更新字段值。为了解决大表更新超时问题，该装置将获取主机表索引字段用于排序，调用连接检测装置实时返回的参数值进行分批执行更新操作并等待QR复制同步。
连接检测装置：用于连接KAFKA服务器，根据服务器消息队列获取服务器消息堆积详情，根据用户配置的消费者服务器性能参数，得出当前消费者服务器支持的最大记录数，并将该最大记录数及同步等待时间返传给解析执行装置调整分批执行记录数。
图8是本申请应用实例中的解析执行装置内部结构示意图，如图8所示，所述解析执行装置20包括索引查询单元21、查询执行单元22、更新执行单元23、延迟等待单元24、特殊处理单元25，其中：
索引查询单元21：用于查询主机***表获取用户配置定义的主机表索引，索引为单一索引字段或多列索引字段。
查询执行单元22：根据索引排序及连接检测装置返传的分批记录数，拼装查询语句，执行查询操作得到当前批处理记录值，并获取当前批处理记录的最后一笔索引值，作为下一次处理的分割值。若该单元查询无记录，则解析执行装置已将主机表记录全部更新完成，跳出循环处理。
更新执行单元23：根据索引排序及连接检测装置返传的分批记录数，拼装更新语句，根据更新策略定义装置中用户配置的更新字段名和更新字段值，执行更新操作触发QR复制。
延迟等待单元24：更新执行单元23执行完成后，根据连接检测装置返回的等待时间，延迟等待QR复制同步，数据同步完成后再进行下一次循环处理。
特殊处理单元25：如果索引查询单元21获取主机表为多列索引字段，则调用该单元进行处理，该单元获取查询执行单元22的最后一笔分割值，统计该分割值的记录是否已全部更新完成，如未更新完成，则将未更新完成的记录全部分批处理完成后，再进行下一次循环处理。
图9是本申请应用实例中的连接检测装置内部结构示意图，如图9所示，所述连接检测装置40包括性能配置单元41、连接检测单元42、计算返传单元43，其中：
性能配置单元41：根据消费者服务器实际搭建情况，由用户配置保存在项目配置文件中。
连接检测单元42：用于连接KAFKA服务器，获取消息队列信息及消息队列堆积信息。
计算返传单元43：根据性能配置单元41的配置和连接检测单元42获取的消息堆积情况，统计并计算出当前QR复制在间隔时间内能处理的最大记录数。
图10是本申请应用实例中的请求处理流程方法的示意图，其步骤如下：
步骤S101：应用***开始启动。
步骤S102：***开始启动自动化框架。
步骤S103：决策定义装置开始读取用户预配置的参数，如不需要进行数据同步操作，则直接跳过，如需要进行数据同步操作，则进行后续解析执行处理。
步骤S104：用户如果已配置要同步的主机表及相关参数，则进入解析执行操作，调用连接检测装置获取更新操作所需的分批记录数与延迟等待时间，并循环处理直到表记录全部更新完成。
步骤S105：连接检测装置建立相关KAFKA连接，进行查询统计处理，返传分批处理记录数及延迟等待时间。
步骤S106：配置的主机表全部更新完成且QR复制同步完成后，完成自动化框架启动。
步骤S107：自动化框架启动成功。
步骤S108：自动化框架启动成功后，启动***其他部分。
从上述描述可知，为解决主机下平台自动化测试过程中，测试数据不同步造成平台自动化中断及自动化成功率低的问题，本申请提供了一种平台自动化测试方法及***。通过解析相关参数，实现全程自动按索引分批更新记录数，解决用户手工介入更新全表特别是大表时超时报错失败率高的问题，且最大限度确保不影响KAFKA服务器及消费性能。其优点如下：
(1)根据用户配置，主机数据全量自动同步平台，减小数据缺失对自动化成功率影响。
(2)利用索引排序自动完成主机表分批循环更新，避免超时中断情况。
(3)实时查询KAFKA消息堆积情况调整分批记录数，最大化利用QR复制数据，不会造成消费服务压力。
从硬件层面来说，为了有效根据用户配置将主机数据全量自动同步平台，并能够有效降低数据缺失对平台自动化测试的成功率影响，进而能够有效提高平台自动化测试的准确性、智能化程度及高效性，本申请提供一种用于实现所述平台自动化测试方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现电子设备与用户终端以及相关数据库等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例中的平台自动化测试方法的实施例，以及，平台自动化测试***的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图11为本申请实施例的电子设备9600的***构成的示意框图。如图11所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图11是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
在一实施例中，平台自动化测试功能可以被集成到中央处理器中。其中，中央处理器可以被配置为进行如下控制：
步骤100：接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数。
在步骤100中，可以由策略定义装置根据用户配置，决定是否进行后续解析执行操作。
步骤200：基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架。
在步骤200中，可以由解析执行装置对用户配置的主机表、字段、字段值，实现按索引排序后分批执行更新，并延迟等待QR复制同步。
也就是说，所述用户配置参数中至少包含有主机表名、更新字段名及更新字段值等数据，以有效提高目标主机数据同步至平台的可靠性及准确性。
步骤300：基于所述自动化框架对所述平台进行自动化测试。
从上述描述可知，本申请实施例提供的电子设备，能够有效解决自动化测试过程中，测试数据不同步造成平台自动化中断及自动化成功率低的问题，通过解析相关参数，能够有效根据用户配置将主机数据全量自动同步平台，并能够有效降低数据缺失对平台自动化测试的成功率影响，进而能够有效提高平台自动化测试的准确性、智能化程度及高效性，进而实现全程自动按索引分批更新记录数，解决用户手工介入更新全表特别是大表时超时报错失败率高的问题，且最大限度确保不影响KAFKA服务器及消费性能，有效提高了KAFKA服务器的应用性能。
在另一个实施方式中，平台自动化测试***可以与中央处理器9100分开配置，例如可以将平台自动化测试***配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现平台自动化测试功能。
如图11所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图11中所示的所有部件；此外，电子设备9600还可以包括图11中没有示出的部件，可以参考现有技术。
如图11所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器***和/或逻辑***，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适***中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入***。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的***。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的平台自动化测试方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的平台自动化测试方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数。
在步骤100中，可以由策略定义装置根据用户配置，决定是否进行后续解析执行操作。
步骤200：基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架。
在步骤200中，可以由解析执行装置对用户配置的主机表、字段、字段值，实现按索引排序后分批执行更新，并延迟等待QR复制同步。
也就是说，所述用户配置参数中至少包含有主机表名、更新字段名及更新字段值等数据，以有效提高目标主机数据同步至平台的可靠性及准确性。
步骤300：基于所述自动化框架对所述平台进行自动化测试。
从上述描述可知，本申请实施例提供的计算机可读存储介质，能够有效解决自动化测试过程中，测试数据不同步造成平台自动化中断及自动化成功率低的问题，通过解析相关参数，能够有效根据用户配置将主机数据全量自动同步平台，并能够有效降低数据缺失对平台自动化测试的成功率影响，进而能够有效提高平台自动化测试的准确性、智能化程度及高效性，进而实现全程自动按索引分批更新记录数，解决用户手工介入更新全表特别是大表时超时报错失败率高的问题，且最大限度确保不影响KAFKA服务器及消费性能，有效提高了KAFKA服务器的应用性能。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的***。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令***的制造品，该指令***实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种平台自动化测试方法，其特征在于，包括：
接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数；
基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架；
基于所述自动化框架对所述平台进行自动化测试。
2.根据权利要求1所述的平台自动化测试方法，其特征在于，所述基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架，包括：
基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序；
应用当前获取的分批记录数、经排序后的索引字段和用户配置参数拼装生成对应的更新语句；
基于所述更新语句分批执行所述目标主机表的更新操作，并在基于预设延迟等待时间进行延时后执行对应的目标主机数据的增量QR复制同步处理，直至所述目标主机表全部更新完成且对应的目标主机数据的增量QR复制同步处理过程也全部完成后，启动针对所述平台的自动化框架。
3.根据权利要求1所述的平台自动化测试方法，其特征在于，所述用户配置参数包括：主机表名、更新字段名及更新字段值。
4.根据权利要求1或2所述的平台自动化测试方法，其特征在于，还包括：
实时自KAFKA消息服务器的服务器消息队列中获取该KAFKA消息服务器的消息堆积详情信息；
基于所述消息堆积详情信息和当前获取的用户配置的消费者服务器性能参数，确定消费者服务器当前支持的最大记录数；
根据所述最大记录数及所述预设延迟等待时间更新所述分批记录数。
5.根据权利要求2所述的平台自动化测试方法，其特征在于，在所述基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序之前，还包括：
自所述目标主机的主机***表中查找得到用户配置定义的主机表索引字段，其中，所述主机表索引字段为单一索引字段或多列索引字段。
6.一种平台自动化测试***，其特征在于，包括：
策略定义装置，用于接收基于目标主机数据对平台进行自动化测试的启动指令，并获取该启动指令对应的目标主机表的用户配置参数；
解析执行装置，用于基于所述目标主机的主机表索引字段、当前获取的分批记录数以及预设延迟等待时间分批执行所述目标主机表的更新操作以及对应的目标主机数据的增量QR复制同步处理过程，并循环处理直至所述目标主机表全部更新完成后，启动针对所述平台的自动化框架；
自动化测试装置，用于基于所述自动化框架对所述平台进行自动化测试。
7.根据权利要求6所述的平台自动化测试***，其特征在于，所述解析执行装置具体用于执行下述内容：
基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序；
应用当前获取的分批记录数、经排序后的索引字段和用户配置参数拼装生成对应的更新语句；
基于所述更新语句分批执行所述目标主机表的更新操作，并在基于预设延迟等待时间进行延时后执行对应的目标主机数据的增量QR复制同步处理，直至所述目标主机表全部更新完成且对应的目标主机数据的增量QR复制同步处理过程也全部完成后，启动针对所述平台的自动化框架。
8.根据权利要求6所述的平台自动化测试***，其特征在于，所述用户配置参数包括：主机表名、更新字段名及更新字段值。
9.根据权利要求6或7所述的平台自动化测试***，其特征在于，还包括：连接检测装置，且该连接检测装置具体用于执行下述内容：
实时自KAFKA消息服务器的服务器消息队列中获取该KAFKA消息服务器的消息堆积详情信息；
基于所述消息堆积详情信息和当前获取的用户配置的消费者服务器性能参数，确定消费者服务器当前支持的最大记录数；
根据所述最大记录数及所述预设延迟等待时间更新所述分批记录数。
10.根据权利要求7所述的平台自动化测试***，其特征在于，在所述基于所述目标主机的主机表索引字段对所述用户配置参数中的主机表的数据进行排序之前，所述解析执行装置还具体用于执行下述内容：
自所述目标主机的主机***表中查找得到用户配置定义的主机表索引字段，其中，所述主机表索引字段为单一索引字段或多列索引字段。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至5任一项所述的平台自动化测试方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5任一项所述的平台自动化测试方法的步骤。
CN202010114048.0A 2020-02-24 2020-02-24 平台自动化测试方法及*** Active CN111274325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010114048.0A CN111274325B (zh) 2020-02-24 2020-02-24 平台自动化测试方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010114048.0A CN111274325B (zh) 2020-02-24 2020-02-24 平台自动化测试方法及***

Publications (2)

Publication Number Publication Date
CN111274325A true CN111274325A (zh) 2020-06-12
CN111274325B CN111274325B (zh) 2023-08-22

Family

ID=71002375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010114048.0A Active CN111274325B (zh) 2020-02-24 2020-02-24 平台自动化测试方法及***

Country Status (1)

Country Link
CN (1) CN111274325B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409022A (zh) * 2021-06-30 2021-09-17 中国工商银行股份有限公司 一种面向平台的自动化验收方法和装置
CN114339419A (zh) * 2021-12-29 2022-04-12 青岛海信移动通信技术股份有限公司 一种视频流拉流处理的方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026406A (en) * 1997-06-04 2000-02-15 Oracle Corporation Batch processing of updates to indexes
CN109634792A (zh) * 2018-12-06 2019-04-16 中国电子科技集团公司第十五研究所 一种基于云计算的服务器硬件测试平台***
CN109800222A (zh) * 2018-12-11 2019-05-24 中国科学院信息工程研究所 一种HBase二级索引自适应优化方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026406A (en) * 1997-06-04 2000-02-15 Oracle Corporation Batch processing of updates to indexes
CN109634792A (zh) * 2018-12-06 2019-04-16 中国电子科技集团公司第十五研究所 一种基于云计算的服务器硬件测试平台***
CN109800222A (zh) * 2018-12-11 2019-05-24 中国科学院信息工程研究所 一种HBase二级索引自适应优化方法和***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409022A (zh) * 2021-06-30 2021-09-17 中国工商银行股份有限公司 一种面向平台的自动化验收方法和装置
CN113409022B (zh) * 2021-06-30 2024-03-29 中国工商银行股份有限公司 一种面向平台的自动化验收方法和装置
CN114339419A (zh) * 2021-12-29 2022-04-12 青岛海信移动通信技术股份有限公司 一种视频流拉流处理的方法、装置及存储介质
CN114339419B (zh) * 2021-12-29 2024-04-02 青岛海信移动通信技术有限公司 一种视频流拉流处理的方法、装置及存储介质

Also Published As

Publication number Publication date
CN111274325B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN110113247B (zh) 富媒体信息收发***、发送、展示方法及终端设备
CN110650164B (zh) 文件的上传方法、装置、终端以及计算机存储介质
CN111343590B (zh) 一种具有高并发和高稳定性的短信发送***
CN111274325B (zh) 平台自动化测试方法及***
CN110990482A (zh) 异步数据库之间的数据同步方法及装置
CN115033646B (zh) 一种基于Flink&Doris构建实时数仓***的方法
CN116204438A (zh) 测试用例生成方法、自动化测试方法和相关装置
CN110543428B (zh) 应用***的测试方法及装置
CN113760611B (zh) ***站点切换方法、装置、电子设备及存储介质
CN110888800A (zh) 服务交互功能的测试方法、装置、存储介质及测试***
CN111930625B (zh) 基于云服务平台的日志获取方法、装置及***
CN108228908B (zh) 一种数据抽取方法及装置
CN112671878B (zh) 一种区块链的信息订阅方法、装置、服务器和存储介质
CN110209557A (zh) 用户操作录制还原方法、装置、设备及可读存储介质
CN110502574B (zh) 跨***的信息同步方法、用户设备、存储介质及装置
CN116186082A (zh) 基于分布式的数据汇总方法、第一服务器和电子设备
CN112346874B (zh) 基于云平台的异常卷处理方法及装置
CN113190565B (zh) 数据更新方法及装置、存储介质及电子装置
CN113485855B (zh) 一种内存共享方法、装置、电子设备及可读存储介质
CN111930626B (zh) 基于PaaS云服务的自动化测试方法及装置
CN113505179A (zh) 访问路径同步方法及装置
CN112714181A (zh) 一种数据传输方法及装置
CN111339100A (zh) 数据核对方法及装置
CN112732728A (zh) 一种数据同步方法和***
CN100571154C (zh) 一种全局数据在多模块间动态同步的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant