CN115080574B - 电子产品测试数据处理的方法、装置、计算机设备及存储介质 - Google Patents
电子产品测试数据处理的方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115080574B CN115080574B CN202211003078.XA CN202211003078A CN115080574B CN 115080574 B CN115080574 B CN 115080574B CN 202211003078 A CN202211003078 A CN 202211003078A CN 115080574 B CN115080574 B CN 115080574B
- Authority
- CN
- China
- Prior art keywords
- data
- test
- information
- test data
- metadata
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及电子产品测试数据处理的方法、装置、计算机设备及存储介质,该方法,包括:梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准;将不同服务器或***的测试数据整合到统一的XML文件中;将不同服务器或***的测试数据生成对应的JSON文件;抽取JSON文件中的业务数据形成元数据,并将XML文件中的数据存储至元数据中,以得到元数据表;对元数据表进行数据清洗过滤,然后将清洗过滤后的元数据表存储至历史备份表中;对历史备份表索引查询,以得到查询结果;将查询结果可视化显示。本发明解决了对相关测试数据采集标准同一化,将不同设备的测试数据汇总到同一数据平台,为大数据应用提供数据基础。
Description
技术领域
本发明涉及电子产品测试数据处理技术领域,尤其是指电子产品测试数据处理的方法、装置、计算机设备及存储介质。
背景技术
目前航空电子产品检测过程中普遍采用自动测试***进行测试,自动测试***产生的测试数据涵盖产品各测试阶段的原始数据、判读结果数据、测试环境数据及指标判读数据,产生的大量数据分散存储在各测试***当中。传统的处理方式主要有手抄数据或者通过excel将不同***数据汇总的方式已不能满足企业对数据的需求,传统的处理方式至少存在如下问题:1.数据分布在不同***,采集麻烦;2.数据量大,分析速度慢;3.手工处理,分析准确率低。
发明内容
本发明的目的在于克服现有技术的不足,提供电子产品测试数据处理的方法、装置、计算机设备及存储介质。
为了解决上述技术问题,本发明采用如下技术方案:
第一方面,本实施例提供了一种电子产品测试数据处理的方法,包括以下步骤:
梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准;
将不同服务器或***的测试数据整合到统一的XML文件中;
根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件;
抽取JSON文件中的业务数据形成元数据,并将XML文件中的数据存储至元数据中,以得到元数据表;
对元数据表进行数据清洗过滤,然后将清洗过滤后的元数据表存储至历史备份表中;
对历史备份表索引查询,以得到查询结果;
将查询结果可视化显示。
其进一步技术方案为:所述梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准步骤中,测试数据范围包括:数据包信息,产品基本信息,测试设备信息,执行信息,测试项信息,测试结果集信息,测试环境信息,测试条件信息及测试状态信息。
其进一步技术方案为:所述根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件步骤中,还包括:将不同服务器或***的测试数据实时传输到服务器或***对应的地址,再通过封装的JDBC数据库接口,将测试数据导入数据库中,测试数据的传输入库,需对用户的身份认证和数据权限认证。
其进一步技术方案为:所述对历史备份表索引查询,以得到查询结果步骤中,通过交互式的分析索引查询历史备份表,以得到查询结果。
第二方面,本实施例提供了一种电子产品测试数据处理的装置,包括:梳理制定单元,整合单元,生成单元,抽取存储单元,清洗存储单元,查询单元及显示单元;
所述梳理制定单元,用于梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准;
所述整合单元,用于将不同服务器或***的测试数据整合到统一的XML文件中;
所述生成单元,用于根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件;
所述抽取存储单元,用于抽取JSON文件中的业务数据形成元数据,并将XML文件中的数据存储至元数据中,以得到元数据表;
所述清洗存储单元,用于对元数据表进行数据清洗过滤,然后将清洗过滤后的元数据表存储至历史备份表中;
所述查询单元,用于对历史备份表索引查询,以得到查询结果;
所述显示单元,用于将查询结果可视化显示。
其进一步技术方案为:所述梳理制定单元中,测试数据范围包括:数据包信息,产品基本信息,测试设备信息,执行信息,测试项信息,测试结果集信息,测试环境信息,测试条件信息及测试状态信息。
其进一步技术方案为:所述生成单元中,还包括:将不同服务器或***的测试数据实时传输到服务器或***对应的地址,再通过封装的JDBC数据库接口,将测试数据导入数据库中,测试数据的传输入库,需对用户的身份认证和数据权限认证。
其进一步技术方案为:所述查询单元中,通过交互式的分析索引查询历史备份表,以得到查询结果。
第三方面,本实施例提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如上述所述的电子产品测试数据处理的方法。
第四方面,本实施例提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现如上述所述的电子产品测试数据处理的方法。
本发明与现有技术相比的有益效果是:解决了对相关测试数据采集标准同一化,将不同设备的测试数据汇总到同一数据平台,为大数据应用提供数据基础,能够为产品整体的性能和质量提供重要的分析参考。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的电子产品测试数据处理的方法的流程示意图;
图2为本发明实施例提供的电子产品测试数据处理的装置的示意性框图;
图3为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1所示的具体实施例,本发明公开了一种电子产品测试数据处理的方法,包括以下步骤:
S1,梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准;
具体地,测试数据范围包括:数据包信息,产品基本信息,测试设备信息,执行信息,测试项信息,测试结果集信息,测试环境信息,测试条件信息及测试状态信息。
具体地,制定的数据标准包含以下内容:
产品信息:包括产品名称、产品编号、产品代号、产品型号、***名称、备注等;
测试信息:包括测试类型、测试阶段、测试人、测试单号、测试时间、测试地点、备注等;
测试环境:包括温度、湿度、真空度等;
测试条件:包括通道、主备状态、电源电压、本振频率等;
测试工况:包括循环阶段、常温常压、常温真空、高温、低温;
测试设备:包括测试仪器(如矢量网络分析、频谱分析仪、信号源)、测试设备(真空罐、高低温箱、力学震动台);
测试项目:包括项目名称、测试依据、备注、序号等;
测试结果:包括测试数值、仪器轨迹、测试附属表格、测试图形以及其他WORD、EXCEL文件。
S2,将不同服务器或***的测试数据整合到统一的XML文件中;
具体地,不同服务器或***的测试包括常温测试服务器测试、环境试验测试服务器测试(真空试验、温箱试验)、力学试验测试服务器测试等。
常温测试服务器测试包括初测、力学后测试、验收测试;常温测试数据包括测试参数表、测试仪器信息、测试二维数据表、仪器轨迹、仪器图形、外观照片等。
环境试验测试服务器测试包括热循环、热真空、温循老炼等测试;环境试验测试数据包括产品信息、测试设备、测试仪器、测试序列文件、转温记录、试验值守数据、温度数据、真空数据、测试二维数据表、仪器轨迹、仪器图形、试验照片等。
力学试验测试服务器测试数据包括产品信息、测试设备、测试仪器、ESS振动、冲击振动、随机振动、正弦振动、仪器图形、试验照片等。
具体地,先采集不同服务器或***的测试数据,通过部署在现场的检测设备实时采集生产线上的数据以及产品检测产生的数据、设备自身的数据等,然后将不同服务器或***的测试数据根据提前设置好的数据格式,通过XML的方式统一提取到服务器,形成统一的XML文件。
具体地,将不同类型的测试数据存储在统一的服务器上,包含关系型数据,图片,文档,视频等数据,关系型数据根据数据特点设计元数据结构,存储在数据库中。
S3,根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件;
具体地,根据对测试数据分析,测试数据包括产品信息、测试信息、测试环境、测试条件、测试工况、测试设备、测试项目、测试结果等类型。
在JSON文件中,以数据类型为集合节点,每个集合节点分别包括以下信息:
1)产品信息:包括产品名称、产品编号、产品代号、产品型号、***名称、备注等键值对数据;
2)测试信息:包括测试类型、测试阶段、测试人、测试单号、测试时间、测试地点、备注等键值对数据;
3)测试环境:为数组型,可动态扩展,包括温度、湿度、真空度等键值对数据;
4)测试条件:为数组型,可动态扩展,包括通道、主备状态、电源电压、本振频率等键值对数据;
5)测试工况:为数组型,包括循环阶段、常温常压、常温真空、高温、低温等键值对数据;
6)测试设备:为数组型,包括测试仪器(如矢量网络分析、频谱分析仪、信号源)、测试设备(真空罐、高低温箱、力学震动台)等键值对数据;
7)测试项目:包括项目名称、测试依据、备注、序号等键值对数据;
8)测试结果:为数组型,包括测试数值、仪器轨迹、测试附属表格、测试图形、试验图形以及其他WORD、EXCEL测试附件。
具体地,将不同服务器或***的测试数据实时传输到服务器或***对应的地址,再通过封装的JDBC数据库接口,将测试数据导入数据库中,测试数据的传输入库,需对用户的身份认证和数据权限认证。
具体地,通过统一的用户存储和管理,保证应用***用户的集中可控;基于身份认证的登录验证方式,可以有效保证访问策略能够可靠、有效地执行,防止攻击者假冒合法用户获得资源的访问权限;通过单向密码加密技术保证用户的密码安全;通过服务器证书,使用https协议避免传输过程泄密;采用授权管理的方式保证用户访问权限的合理性,保证用户可以访问且只能访问自己被授权的资源,还通过分级授权管理,限制个别管理员的权利过大,并通过***审计日志,确保事后审计机制。
S4,抽取JSON文件中的业务数据形成元数据,并将XML文件中的数据存储至元数据中,以得到元数据表;
具体地,测试数据形成JSON文件格式后,形成了结构化的元数据,按照集合节点从JSON文件中抽取数据信息。按照集合节点的数据类型,分别抽取产品信息、测试信息、测试环境、测试条件、测试工况、测试设备、测试项目、测试结果等业务数据。
具体元数据包含如下内容:
1)产品信息:描述产品的属性,是一个产品在整个测试过程中固定的数据,包括产品名称、产品编号、产品代号、产品型号、***名称、备注等数据;
2)测试信息:描述试验属性,是指产品在单个试验过程中记录的数据,包括测试类型、测试阶段、测试人、测试单号、测试时间、测试地点、备注等数据;
3)测试环境:描述试验环境信息,是产品在单个试验过程中采集的温度、湿度、真空度等数据;
4)测试条件:描述试验测试条件,是指产品在单个试验过程中不同通道、主备状态、电源电压、本振频率等条件下进行测试;
5)测试工况:描述试验测试工况,是指产品在单个试验中的循环阶段信息,包括常温常压、常温真空、第X循环高温、第X循环低温以及保性能等数据;
6)测试设备:描述试验所使用的仪器及设备,如:矢量网络分析、频谱分析仪、信号源、真空罐、高低温箱、力学震动台、传感器等数据信息;
7)测试项目:描述产品的测试项目信息,如:项目名称、测试依据、备注、序号等数据;
8)测试结果:描述产品测试项目的测试结果,如:测试数值、仪器轨迹、测试附属表格、测试图形、试验图形以及其他WORD、EXCEL测试附件。
具体地,根据测试数据的业务类型,对数据进行建模分析,对数据进行不同主题的建模;例如:产品信息,测试信息和测试结果信息,将原先不同***的数据,加工到对应的数据模型表。
具体地,首先根据测试数据创建对应的元数据,将测试数据存储在元数据中,然后抽取出核心的产品信息,测试信息和测试结果信息,创建对应的模型表,将其他的测试信息加工到这三种信息表之中,以得到元数据表。
具体地,元数据表包含如下内容:
产品信息数据表:包括试件类型,产品名称,产品型号,产品代号,研制阶段,产品编号,***名称,备注等;
测试信息数据表:包括测试类型,测试阶段,测试单号,测试人,测试时间,测试地点,备注等;
测试条件数据表:包括条件名称,条件值等;
测试环境数据表:包括环境名称,环境值等;
测试工况数据表:包括工况名称,工况值等;
测试设备数据表:包括设备名称,型号规格,计量编号,计量有效期,对地电阻等;
测试项目数据表:包括测试项,测试项目名称,测试依据,测试序号,备注等;
测试结果数据表:包括数据类型,结果名称,指标要求,单位,保留小数位,结果值,符合性(1-符合,0-不符合,-1-不判读),备注条件等;
测试仪器曲线表:包括数据类型,测试子项名称,阈值(值,名称),曲线点集(x点集,y点集),x轴(单位,名称,刻度,最大值,最小值,类型),y轴(单位,名称,刻度,最大值,最小值,类型),标记点(说明,x值,y值,名称),备注,结果序号等;
测试附件表:包括数据类型,附件名称,文件格式,文件路径等。
S5,对元数据表进行数据清洗过滤,然后将清洗过滤后的元数据表存储至历史备份表中;
具体地,通过对元数据表进行数据清洗过滤,过滤掉不符合规范的数据,并将元数据表存储至历史备份表中,备份是为了后期处理数据问题,好追溯和分析,数据清理是为了提高数据处理到模型表的速度。
具体地,在产品正在试验过程中,由于录入、编码和测试的误差,数据中可能存在一些无效值和缺失值,需要给予适当的数据清洗处理,对测试数据进行重新审查和校验,以删除重复信息,并进行数据一致性检查。
对元数据表进行数据清洗过滤包括以下内容:
1、删除无效数据
无效数据是指残缺数据和错误数据,无效数据整例删除;
残缺数据:数据表定义必填数据缺失,如:未填写产品名称、产品编号;
错误数据:数据格式不符合,数值越界超出仪器测量范围,如:日期格式不符合格式要求,或温度数据超出-120~120区间。
2、数据去重处理
产品在整个试验过程中,以产品编号、测试阶段、测试单号、测试工况、测试条件、测试项目为主索引,判定数据是否重复,保留最后一条数据,重复数据整例删除。
3、数据一致性检查
一致性检查是根据数据表定义完整性约束检查每个变量的合理取值范围和相互关系,发现超出正常范围、相互矛盾的数据,不符合一致性的数据整例删除;
超出范围数据包括超出字符定义长度、超出数值范围等,如:产品名称长度超过256字节,测试时间超过当前日期时间等;
相互矛盾的数据指在相同工况、条件下的测试结果偏离较大,以及在常温、高低温或常压、真空下数据偏离。
4、数据分析提取
1)产品信息:一个产品在整个试验过程中仅提取一条数据;
2)测试信息:产品在整个试验过程每个测试阶段中提取一条数据;
3)测试环境:产品每个测试阶段中提取多条数据;
4)测试条件:产品在每个测试阶段中同一条件下提取一条数据;
5)测试工况:产品在每个测试阶段中同一工况下提取一条数据;
6)测试设备:产品在每个测试阶段中提取多个仪器、设备数据;
7)测试项目:产品在每个测试阶段中同一工况、条件下每个测试项目提取一条数据;
8)测试结果:产品在每个测试阶段中同一工况、条件、环境下每个测试项目提取一条数据。
S6,对历史备份表索引查询,以得到查询结果;
具体地,通过交互式的分析索引查询历史备份表,以得到查询结果。
具体地,为了提高数据检索的效率,根据数据模型中,产品信息,测试信息和测试结果信息的特点,在产品ID和测试ID字段,创建索引,在查询的数据结果集量比较大时使用并发来查询表结果,在前台使用交互式查询的方式,来提升用户的使用友好性。
具体地,根据表的查询和筛选字段合理使用索引,提高查询效率,合理的数据建模,减少数据的冗余,减少数据量,采用交互式查询和并发多核查询交互使用的方式,提高数据处理速度。
S7,将查询结果可视化显示。
具体地,通过使用电脑,大屏或其他显示终端,对查询结果,进行检索查询显示。
具体地,为更好地阐述本发明的技术方案,提供以下具体实施例:
梳理电子产品测试数据范围,识别主要数据指标及类型,根据不同数据类型建立不同的数据标准,将不同***的测试数据整合到统一的XML文件中,以上面的数据标准为依据,创建源数据模型来存储XML文件中的数据;根据业务数据的特点设计不同的主题,例如:产品主题,测试信息主题,测试结果主题等;将测试数据分类存储,其中产品主题主要包含产品类型,名称,代号,型号,研制阶段,编号等产品信息;测试信息主题主要包含测试的试验阶段,循环阶段,计划号,测试人,测试通道,测试时间,测试条件,测试参数,分参数等测试信息;测试结果主题主要包含测试的产品ID,测试ID,测试步骤,测试时间,测试结果值,扫描点数,阈值,判读状态,仪器状态,标记点等测试结果相关的信息;根据不同的数据主题,设计对应的数据模型表来存储相关信息的数据;对于非结构化的数据,将数据存储在服务器指定目录,通过路径来访问数据。
本发明解决了对相关测试数据采集标准同一化,将不同设备的测试数据汇总到同一数据平台,为大数据应用提供数据基础,能够为产品整体的性能和质量提供重要的分析参考。
请参阅图2所示,本发明还公开了一种电子产品测试数据处理的装置,包括:梳理制定单元10,整合单元20,生成单元30,抽取存储单元40,清洗存储单元50,查询单元60及显示单元70;
所述梳理制定单元10,用于梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准;
所述整合单元20,用于将不同服务器或***的测试数据整合到统一的XML文件中;
所述生成单元30,用于根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件;
所述抽取存储单元40,用于抽取JSON文件中的业务数据形成元数据,并将XML文件中的数据存储至元数据中,以得到元数据表;
所述清洗存储单元50,用于对元数据表进行数据清洗过滤,然后将清洗过滤后的元数据表存储至历史备份表中;
所述查询单元60,用于对历史备份表索引查询,以得到查询结果;
所述显示单元70,用于将查询结果可视化显示。
其中,所述梳理制定单元10中,测试数据范围包括:数据包信息,产品基本信息,测试设备信息,执行信息,测试项信息,测试结果集信息,测试环境信息,测试条件信息及测试状态信息。
其中,所述生成单元30中,还包括:将不同服务器或***的测试数据实时传输到服务器或***对应的地址,再通过封装的JDBC数据库接口,将测试数据导入数据库中,测试数据的传输入库,需对用户的身份认证和数据权限认证。
其中,所述查询单元60中,通过交互式的分析索引查询历史备份表,以得到查询结果。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述电子产品测试数据处理的装置和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
上述电子产品测试数据处理的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图3所示的计算机设备上运行。
请参阅图3,图3是本申请实施例提供的一种计算机设备的示意性框图;该计算机设备500可以是终端,也可以是服务器,其中,终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图3,该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种电子产品测试数据处理的方法。
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种电子产品测试数据处理的方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:
步骤S1,梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准;
步骤S2,将不同服务器或***的测试数据整合到统一的XML文件中;
步骤S3,根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件;
步骤S4,抽取JSON文件中的业务数据形成元数据,并将XML文件中的数据存储至元数据中,以得到元数据表;
步骤S5,对元数据表进行数据清洗过滤,然后将清洗过滤后的元数据表存储至历史备份表中;
步骤S6,对历史备份表索引查询,以得到查询结果;
步骤S7,将查询结果可视化显示。
应当理解,在本申请实施例中,处理器502可以是中央处理单元 (CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路 (Application Specific IntegratedCircuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中计算机程序包括程序指令,所述程序指令当被处理器执行时可实现上述的电子产品测试数据处理的方法。该存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现上述的方法。该程序指令包括以下步骤:
步骤S1,梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准;
步骤S2,将不同服务器或***的测试数据整合到统一的XML文件中;
步骤S3,根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件;
步骤S4,抽取JSON文件中的业务数据形成元数据,并将XML文件中的数据存储至元数据中,以得到元数据表;
步骤S5,对元数据表进行数据清洗过滤,然后将清洗过滤后的元数据表存储至历史备份表中;
步骤S6,对历史备份表索引查询,以得到查询结果;
步骤S7,将查询结果可视化显示。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
上述实施例为本发明较佳的实现方案,除此之外,本发明还可以其它方式实现,在不脱离本技术方案构思的前提下任何显而易见的替换均在本发明的保护范围之内。
Claims (10)
1.电子产品测试数据处理的方法,其特征在于,包括以下步骤:
梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准;
将不同服务器或***的测试数据整合到统一的XML文件中;
根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件;
抽取JSON文件中的业务数据形成元数据,并将XML文件中的数据存储至元数据中,以得到元数据表;
对元数据表进行数据清洗过滤,然后将清洗过滤后的元数据表存储至历史备份表中;
对历史备份表索引查询,以得到查询结果;
将查询结果可视化显示;
测试数据形成JSON文件格式后,形成了结构化的元数据,按照集合节点从JSON文件中抽取数据信息,按照集合节点的数据类型,分别抽取产品信息、测试信息、测试环境、测试条件、测试工况、测试设备、测试项目及测试结果的业务数据;
根据测试数据的业务类型,对数据进行建模分析,对数据进行不同主题的建模;包括:产品信息,测试信息和测试结果信息,将原先不同***的数据,加工到对应的数据模型表;首先根据测试数据创建对应的元数据,将测试数据存储在元数据中,然后抽取出核心的产品信息,测试信息和测试结果信息,创建对应的模型表,将其他的测试信息加工到这三种信息表之中,以得到元数据表。
2.根据权利要求1所述的电子产品测试数据处理的方法,其特征在于,所述梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准步骤中,测试数据范围包括:数据包信息,产品基本信息,测试设备信息,执行信息,测试项信息,测试结果集信息,测试环境信息,测试条件信息及测试状态信息。
3.根据权利要求1所述的电子产品测试数据处理的方法,其特征在于,所述根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件步骤中,还包括:将不同服务器或***的测试数据实时传输到服务器或***对应的地址,再通过封装的JDBC数据库接口,将测试数据导入数据库中,测试数据的传输入库,需对用户的身份认证和数据权限认证。
4.根据权利要求1所述的电子产品测试数据处理的方法,其特征在于,所述对历史备份表索引查询,以得到查询结果步骤中,通过交互式的分析索引查询历史备份表,以得到查询结果。
5.电子产品测试数据处理的装置,其特征在于,包括:梳理制定单元,整合单元,生成单元,抽取存储单元,清洗存储单元,查询单元及显示单元;
所述梳理制定单元,用于梳理电子产品的测试数据范围,制定测试数据的标准,以得到制定的数据标准;
所述整合单元,用于将不同服务器或***的测试数据整合到统一的XML文件中;
所述生成单元,用于根据制定的数据标准,将不同服务器或***的测试数据生成对应的JSON文件;
所述抽取存储单元,用于抽取JSON文件中的业务数据形成元数据,并将XML文件中的数据存储至元数据中,以得到元数据表;
所述清洗存储单元,用于对元数据表进行数据清洗过滤,然后将清洗过滤后的元数据表存储至历史备份表中;
所述查询单元,用于对历史备份表索引查询,以得到查询结果;
所述显示单元,用于将查询结果可视化显示;
测试数据形成JSON文件格式后,形成了结构化的元数据,按照集合节点从JSON文件中抽取数据信息,按照集合节点的数据类型,分别抽取产品信息、测试信息、测试环境、测试条件、测试工况、测试设备、测试项目及测试结果的业务数据;
根据测试数据的业务类型,对数据进行建模分析,对数据进行不同主题的建模;包括:产品信息,测试信息和测试结果信息,将原先不同***的数据,加工到对应的数据模型表;首先根据测试数据创建对应的元数据,将测试数据存储在元数据中,然后抽取出核心的产品信息,测试信息和测试结果信息,创建对应的模型表,将其他的测试信息加工到这三种信息表之中,以得到元数据表。
6.根据权利要求5所述的电子产品测试数据处理的装置,其特征在于,所述梳理制定单元中,测试数据范围包括:数据包信息,产品基本信息,测试设备信息,执行信息,测试项信息,测试结果集信息,测试环境信息,测试条件信息及测试状态信息。
7.根据权利要求5所述的电子产品测试数据处理的装置,其特征在于,所述生成单元中,还包括:将不同服务器或***的测试数据实时传输到服务器或***对应的地址,再通过封装的JDBC数据库接口,将测试数据导入数据库中,测试数据的传输入库,需对用户的身份认证和数据权限认证。
8.根据权利要求5所述的电子产品测试数据处理的装置,其特征在于,所述查询单元中,通过交互式的分析索引查询历史备份表,以得到查询结果。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的电子产品测试数据处理的方法。
10.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现如权利要求1-4中任一项所述的电子产品测试数据处理的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211003078.XA CN115080574B (zh) | 2022-08-22 | 2022-08-22 | 电子产品测试数据处理的方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211003078.XA CN115080574B (zh) | 2022-08-22 | 2022-08-22 | 电子产品测试数据处理的方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115080574A CN115080574A (zh) | 2022-09-20 |
CN115080574B true CN115080574B (zh) | 2022-11-18 |
Family
ID=83245033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211003078.XA Active CN115080574B (zh) | 2022-08-22 | 2022-08-22 | 电子产品测试数据处理的方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115080574B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115598455B (zh) * | 2022-11-15 | 2023-04-07 | 西安弘捷电子技术有限公司 | 一种电子信息装备自动测试***及测试方法 |
CN115600131B (zh) * | 2022-11-28 | 2023-03-07 | 西安弘捷电子技术有限公司 | 基于图形化测试平台的自动测试*** |
CN115982646B (zh) * | 2023-03-20 | 2023-07-18 | 西安弘捷电子技术有限公司 | 一种基于云平台的多源测试数据的管理方法及*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112433948A (zh) * | 2020-11-30 | 2021-03-02 | 上海天旦网络科技发展有限公司 | 一种基于网络数据分析的仿真测试***及方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104866426B (zh) * | 2015-05-28 | 2017-10-17 | 华北计算技术研究所 | 软件测试综合控制方法及*** |
GB2581861B (en) * | 2018-09-14 | 2022-10-05 | Sino Ic Tech Co Ltd | IC Test Information Management System Based on Industrial Internet |
CN110718264A (zh) * | 2019-09-23 | 2020-01-21 | 深圳忆联信息***有限公司 | 测试固态硬盘信息的方法、装置、计算机设备及存储介质 |
KR20230086768A (ko) * | 2020-10-14 | 2023-06-15 | 지비에스 글로벌 바이오파마, 인크. | 대규모 연구 최적화를 위한 식물 의약물 분석 방법 및 시스템 |
-
2022
- 2022-08-22 CN CN202211003078.XA patent/CN115080574B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112433948A (zh) * | 2020-11-30 | 2021-03-02 | 上海天旦网络科技发展有限公司 | 一种基于网络数据分析的仿真测试***及方法 |
Non-Patent Citations (2)
Title |
---|
空间站多舱测试数据综合分析***的设计与应用;许宗飞等;《航天器工程》;20170815;第26卷(第04期);122-127 * |
面向物联网***历史数据服务的设计与实现;张玉杰等;《陕西科技大学学报》;20171025;第35卷(第05期);178-183 * |
Also Published As
Publication number | Publication date |
---|---|
CN115080574A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115080574B (zh) | 电子产品测试数据处理的方法、装置、计算机设备及存储介质 | |
US11755628B2 (en) | Data relationships storage platform | |
Arasu et al. | Data generation using declarative constraints | |
US20130159353A1 (en) | Generating a test workload for a database | |
US20130332423A1 (en) | Data lineage tracking | |
Cobb et al. | Dynamic invariant detection for relational databases | |
CN109857631A (zh) | 基于人工智能的代码覆盖率统计方法、装置、设备及存储介质 | |
CN107153702A (zh) | 一种数据处理方法及装置 | |
CN116541372A (zh) | 一种数据资产治理方法及*** | |
CN116662371A (zh) | 一种跨域数据融合方法 | |
CN109408502A (zh) | 一种数据标准处理方法、装置及其存储介质 | |
CN114428822A (zh) | 一种数据处理的方法、装置、电子设备及存储介质 | |
CN113553341A (zh) | 多维数据分析方法、装置、设备及计算机可读存储介质 | |
Lautenschlager et al. | Chronix: Long term storage and retrieval technology for anomaly detection in operational data | |
CN112634004A (zh) | 征信数据的血缘图谱分析方法与*** | |
CN116795845A (zh) | 数据的展示方法、装置、终端设备和可读存储介质 | |
CN116010480A (zh) | 一种时序数据库审计方法及*** | |
CN116910023A (zh) | 一种数据治理*** | |
CN107273293B (zh) | 大数据***性能测试方法、装置及电子设备 | |
CN114281549A (zh) | 数据的处理方法及装置 | |
CN113094353A (zh) | 一种数据库扩容方法及装置 | |
CN113778996A (zh) | 一种大数据流数据处理方法、装置、电子设备及存储介质 | |
CN113128848A (zh) | 全业务指标的数据质量监控方法、电子设备及存储介质 | |
CN113868141A (zh) | 数据测试方法、装置、电子设备及存储介质 | |
CN118174971B (zh) | 一种用于网络威胁的多源异构数据治理方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |