CN110515955B - 数据的存储、查询方法、***、电子设备和存储介质 - Google Patents

数据的存储、查询方法、***、电子设备和存储介质 Download PDF

Info

Publication number
CN110515955B
CN110515955B CN201910821324.4A CN201910821324A CN110515955B CN 110515955 B CN110515955 B CN 110515955B CN 201910821324 A CN201910821324 A CN 201910821324A CN 110515955 B CN110515955 B CN 110515955B
Authority
CN
China
Prior art keywords
data
production test
production
module
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910821324.4A
Other languages
English (en)
Other versions
CN110515955A (zh
Inventor
宁骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quectel Wireless Solutions Co Ltd
Original Assignee
Quectel Wireless Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quectel Wireless Solutions Co Ltd filed Critical Quectel Wireless Solutions Co Ltd
Priority to CN201910821324.4A priority Critical patent/CN110515955B/zh
Publication of CN110515955A publication Critical patent/CN110515955A/zh
Application granted granted Critical
Publication of CN110515955B publication Critical patent/CN110515955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据的存储、查询方法、***、电子设备和存储介质,所述控制方法包括获取生产测试站位的生产测试工具在生产当前产品时不同时间戳对应的生产测试数据;获取用于表征所述生产测试数据的表征数据;按照时间顺序依次将所述表征数据存储至所述生产测试站位中的本地数据库中。本发明大大地提升了数据传输的稳定性,缩短了每个模组生产测试时长,提高了模组生产测试效率;根据本地SQLite数据库的表征数据获取本地存储的生产测试数据并以其原始格式将其上传至MongoDB中,从而保证数据存取的一致性;另外通过产品序列号分别查询MongoDB、生产数据库和摘要日志数据库得到所需的数据,具有查询速度快和效率高的优点。

Description

数据的存储、查询方法、***、电子设备和存储介质
技术领域
本发明涉及数据存储技术领域,特别涉及一种数据的存储、查询方法、***、电子设备和存储介质。
背景技术
MES(制造企业生产过程执行***)工厂在生产产品(如无线通信模组)过程中产生大量的数据文件,比如每天会产生2百万个300B-4KB的Log文件(照摘要志文件)、100百万个60KB-70KB的模组参数文件等,且这些数据文件至少要保留5年,车载等相关行业要求至少要保留10年。
目前,主要通过各个生产测试站位的生产测试工具将Log文件和模组参数文件先保存在本地,然后通过FTP协议(文件传输协议)将相关数据文件同步分类上传至FTP服务器,只要在当前模组数据上传完成后,生产测试工具才能继续生产测试下一片模组;当需要检索时,则需要登录FTP服务器,按照既定的树形保存目录一层一层的筛选查找目标文件,然后下载下来查看。
而上述的对无线通信模组在生产过程中的生产测试数据进行存储的方式存在如下问题:
1)在将相关数据同步上传FTP时,若上传失败即为测试失败,则需重新测试,此过程会因网络不稳定或FTP服务器问题等因素导致测试效率降低甚至停线,严重影响产能;或在上传失败时无需重测,而这样很容易导致数据文件丢失;
2)以每个文件上传需要100ms来计算,2百万个文件每天总计花费55H,因此会累计损失不少产能;
3)海量小文件存储在FTP服务器中,查询检索相当困难,目录很容易失败,查询效率低;
4)海量小文件存储在FTP服务器中,不便于备份转移;
5)在业务高峰时,对FTP服务器要求更高,此时很容易出现阻塞现象,会导致上传时间延长,甚至会导致大批量上传失败的情况。
发明内容
本发明要解决的技术问题是为了克服现有技术中对无线通信模组在生产过程中的生产测试数据进行存储的方式容易传输失败,降低测试效率,严重影响产能;且存在查询容易失败,查询效率低等缺陷,提供一种数据的存储、查询方法、***、电子设备和存储介质。
本发明是通过下述技术方案来解决上述技术问题:
本发明提供一种产品生产过程中数据存储的控制方法,所述控制方法包括:
S1.获取生产测试站位的生产测试工具在生产当前产品时不同时间戳对应的生产测试数据;
S2.获取用于表征所述生产测试数据的表征数据;
其中,所述表征数据对应的数据量小于所述生产测试数据对应的数据量;
S3.按照时间顺序依次将所述表征数据存储至所述生产测试站位中的本地数据库中。
较佳地,当所述生产测试站位中的本地数据中转模块时,步骤S3包括:
S31.将所述表征数据存储至所述本地数据中转模块;
S32.获取数据存储请求;
S33.根据所述数据存储请求将所述本地数据中转模块中的所述表征数据存储至所述生产测试站位中的所述本地数据库中。
较佳地,骤S1之后、步骤S2之前还包括:
S11.将所述生产测试数据存储至所述生产测试站位中的本地存储模块中;
步骤S3之后还包括:
S4.当所述本地数据中转模块开启一个数据传输线程时,则按照时间顺序依次读取所述本地数据库中的所述表征数据;
S5.根据所述表征数据获取所述本地存储模块中对应的所述生产测试数据;
S6.按照时间顺序依次将获取的所述生产测试数据上传至文件数据库中。
较佳地,所述文件数据库包括MongoDB(基于分布式文件存储的数据库);
当所述生产测试数据为二进制格式的数据时,步骤S6包括:
按照时间顺序依次将二进制格式的所述生产测试数据存储上传至MongoDB中。
较佳地,所述控制方法还包括:
将所述生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库;
将所述生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库;
其中,所述生产数据库和所述摘要日志数据库均为关系型数据库;和/或,
所述本地数据库包括SQLite数据库(一种轻型的数据库)。
较佳地,步骤S3之后还包括:
在当前产品生产完毕后,控制所述生产测试站位的生产测试工具继续生产下一个产品,并重新执行步骤S1;和/或,
当产品包括无线通信模块时,所述生产测试数据包括模组测试数据、模组的射频参数、站位数据、产品序列号、数据存储路径和时间戳数据;
所述表征数据包括产品序列号、数据存储路径和时间戳数据。
本发明还提供一种数据查询方法,所述数据查询方法采用上述的产品生产过程中数据存储的控制方法实现,所述数据查询方法包括:
获取目标产品对应的目标表征数据;
采用所述目标表征数据查询得到所述文件数据库中对应的目标生产测试数据。
较佳地,在将所述生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库,和将所述生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库后,所述数据查询方法还包括:
根据所述目标表征数据分别从所述生产数据库和所述摘要日志数据库中查询得到对应的目标生产测试工具数据和目标摘要日志数据。
本发明还提供一种产品生产过程中数据存储的控制***,所述控制***包括生产测试数据获取模块、表征数据获取模块和第一存储模块;
所述生产测试数据获取模块用于获取生产测试站位的生产测试工具在生产当前产品时不同时间戳对应的生产测试数据;
所述表征数据获取模块用于获取用于表征所述生产测试数据的表征数据;
其中,所述表征数据对应的数据量小于所述生产测试数据对应的数据量;
所述第一存储模块用于按照时间顺序依次将所述表征数据存储至所述生产测试站位中的本地数据库中。
较佳地,当所述生产测试站位中的本地数据中转模块时,所述第一存储模块包括中转存储单元、请求获取单元和本地存储单元;
所述中转存储单元用于将所述表征数据存储至所述本地数据中转模块;
所述请求获取单元用于获取数据存储请求;
所述本地存储单元用于根据所述数据存储请求将所述本地数据中转模块中的所述表征数据存储至所述生产测试站位中的所述本地数据库中。
较佳地,所述控制***还包括第二存储模块和第三存储模块;
所述第二存储模块用于将所述生产测试数据存储至所述生产测试站位中的本地存储模块中;
所述表征数据获取模块还用于当所述本地数据中转模块开启一个数据传输线程时,则按照时间顺序依次读取所述本地数据库中的所述表征数据;
所述生产测试数据获取模块还用于根据所述表征数据获取所述本地存储模块中对应的所述生产测试数据;
所述第三存储模块用于按照时间顺序依次将获取的所述生产测试数据上传至文件数据库中。
较佳地,所述文件数据库包括MongoDB;
当所述生产测试数据为二进制格式的数据时,所述第三存储模块用于按照时间顺序依次将二进制格式的所述生产测试数据存储上传至MongoDB中。
较佳地,所述控制***还包括第四存储模块和第五存储模块;
所述第四存储模块用于将所述生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库;
所述第五存储模块用于将所述生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库;
其中,所述生产数据库和所述摘要日志数据库均为关系型数据库;和/或,
所述本地数据库包括SQLite数据库。
较佳地,所述控制***还包括控制模块;
所述控制模块用于在当前产品生产完毕后,控制所述生产测试站位的生产测试工具继续生产下一个产品,并重新调用所述生产测试数据获取模块;和/或,
当产品包括无线通信模块时,所述生产测试数据包括模组测试数据、模组的射频参数、站位数据、产品序列号、数据存储路径和时间戳数据;
所述表征数据包括产品序列号、数据存储路径和时间戳数据。
本发明还提供一种数据查询***,所述数据查询***采用上述的产品生产过程中数据存储的控制***实现,所述数据查询***包括目标数据获取模块和查询模块;
所述目标数据获取模块用于获取目标产品对应的目标表征数据;
所述查询模块用于采用所述目标表征数据查询得到所述文件数据库中对应的目标生产测试数据。
较佳地,在将所述生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库,和将所述生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库后,所述查询模块还用于根据所述目标表征数据分别从所述生产数据库和所述摘要日志数据库中查询得到对应的目标生产测试工具数据和目标摘要日志数据。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行计算机程序时实现上述的产品生产过程中数据存储的控制方法,和实现上述的数据查询方法。
本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的产品生产过程中数据存储的控制方法的步骤,和实现上述的数据查询方法的步骤。
本发明的积极进步效果在于:
本发明中,通过将生产测试站位在生产无线通信模组过程中不同时间戳产生的生产测试数据对应的表征数据(产品序列号、数据存储路径等)通过本地中转存储模块统一存储至本地SQLite数据库中,使得在当前产品生产完毕后生产测试站位可以继续生产测试下一个模组,此过程属于本地数据交互,不涉及网络,从而大大地提升了数据传输的稳定性,缩短了每个模组生产测试时长,提高了模组生产测试效率;根据本地SQLite数据库的表征数据获取本地存储的生产测试数据并以其原始格式将其上传至MongoDB中,从而保证数据存取的一致性;另外,可以通过产品序列号分别查询MongoDB、生产数据库和摘要日志数据库得到所需的数据,查询速度快和效率高。
附图说明
图1为本发明实施例1的产品生产过程中数据存储的控制方法的流程图。
图2为本发明实施例2的产品生产过程中数据存储的控制方法的流程图。
图3为本发明实施例3的数据查询方法的流程图。
图4为本发明实施例4的产品生产过程中数据存储的控制***的模块示意图。
图5为本发明实施例5的产品生产过程中数据存储的控制***的模块示意图。
图6为本发明实施例6的数据查询***的模块示意图。
图7为本发明实施例7的实现产品生产过程中数据存储的控制方法的电子设备的结构流程图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示,本实施例的产品生产过程中数据存储的控制方法包括:
S101、获取生产测试站位的生产测试工具在生产当前产品时不同时间戳对应的生产测试数据;
S102、获取用于表征生产测试数据的表征数据;
其中,表征数据对应的数据量小于生产测试数据对应的数据量;
具体地,当产品包括无线通信模块时,生产测试数据包括但不限于模组测试数据、模组的射频参数、站位数据、产品序列号、数据存储路径和时间戳数据;
则表征数据包括产品序列号、数据存储路径和时间戳数据,即表征数据为生产测试数据对应的索引信息。
S103、按照时间顺序依次将表征数据存储至生产测试站位中的本地数据库中。
其中,本地数据库包括SQLite数据库。
本实施例中:1)数据存储过程中不依赖网络,属于本地数据交互,且将数据同步与生产测试工具独立,大大地提升了数据传输的稳定性,有效地避免因网络不稳定或FTP服务器问题导致的测试失败或数据丢失,甚至停线的情况;也省去了现有的同步数据的时间,有效地增加了产能;2)无需将数据本身实时上送,而是将每个生产测试站位的生产测试工具对应的表征数据分别实时传输并统一存储至本地SQLite数据库中,这种数据存储方式能够确保每个模组数据的及时快速存储,且可以避免数据丢失的情况;3)也实现不耽误下一个模组的生产测试过程,在当前产品生产完毕后可以直接继续生产测试下一个模组,从而缩短了每个模组生产测试时长,提高了生产无线通信模组的生产测试效率。
实施例2
如图2所示,本实施例的产品生产过程中数据存储的控制方法是对实施例1的进一步改进,具体地:
步骤S101之后、步骤S102之前还包括:
S1011、将生产测试数据存储至生产测试站位中的本地存储模块中;
当生产测试站位中的本地数据中转模块时,步骤S3包括:
S1031、将表征数据存储至本地数据中转模块;
S1032、获取数据存储请求;
S1033、根据数据存储请求将本地数据中转模块中的表征数据存储至生产测试站位中的本地数据库中。
在业务高峰时期,本地数据中转模块能够有效缓存表征数据,并将表征数据定时传输至SQLite数据库中。
当出现上传失败的情况时,会自动重传,直至传输成功,并通知相关管理人员排查问题,从而有效避免影响正常的生产过程的情况发生。
步骤S103之后还包括:
在当前产品生产完毕后,控制生产测试站位的生产测试工具继续生产下一个产品,并重新执行步骤S101。
步骤S103之后还包括:
S104、当本地数据中转模块开启一个数据传输线程时,则按照时间顺序依次读取本地数据库中的表征数据;
S105、根据表征数据获取本地存储模块中对应的生产测试数据;
S106、按照时间顺序依次将获取的生产测试数据上传至文件数据库中。
其中,文件数据库包括MongoDB,采用文件数据库统一存储无线通信模组在生产测试过程中产生的小文件数据,能够大大提升备份转移的效率,安全性更高。
具体地,对于每个生产测试站位,通过设置其中的生产测试工具定时向本地数据中转模块发送数据存储请求,本地数据中转模块根据该数据存储请求将其存储的表征数据按照时间顺序依次发送至SQLite数据库进行统一存储。
当本地数据中转模块开启一个数据传输线程时,按照时间顺序从SQLite数据库中依次读取表征数据,并根据表征数据对应的数据存储路径和时间戳信息从生产测试站位的本地存储模块中依次获取对应的生产测试数据,并将其上传至MongoDB中。
当生产测试数据为二进制格式的数据时,步骤S106具体包括:
按照时间顺序依次将二进制格式的生产测试数据存储上传至MongoDB中,即将数据的原始格式存储在MongoDB中,保证存取操作都不会改变数据的一致性,实现了无损存储,以满足各种格式的数据存储需求。例如模组测试数据对应的Excel格式文件、模组的射频参数对应的压缩格式文件、生产工具对应的TXT格式文本等。另外,根据各种数据对应的不同文本类型进行区分存储。
另外,本实施例的控制方法还包括:
将生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库;
将生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库;
其中,生产数据库和摘要日志数据库均为关系型数据库,如SQL Server数据库。
本实施例中,通过将生产测试站位在生产无线通信模组过程中不同时间戳产生的生产测试数据对应的表征数据(产品序列号、数据存储路径等)通过本地中转存储模块统一存储至本地SQLite数据库中,使得在当前产品生产完毕后生产测试站位可以继续生产测试下一个模组,此过程属于本地数据交互,不涉及网络,从而大大地提升了数据传输的稳定性,缩短了每个模组生产测试时长,提高了模组生产测试效率;根据本地SQLite数据库的表征数据获取本地存储的生产测试数据并以其原始格式将其上传至MongoDB中,从而保证数据存取的一致性。
实施例3
本实施例的数据查询方法采用实施例2的产品生产过程中数据存储的控制方法实现。
如图3所示,本实施例的数据查询方法包括:
S201、获取目标产品对应的目标表征数据;
S202、采用目标表征数据查询得到文件数据库中对应的目标生产测试数据。
其中,目标表征数据包括目标产品对应的目标产品序列号,采用目标产品序列号可以直接读取到文件数据库中原文件数据。另外还可以包括数据存储路径和时间戳数据。
在将生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库,和将生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库后,数据查询方法还包括:
S203、根据目标表征数据分别从生产数据库和摘要日志数据库中查询得到对应的目标生产测试工具数据和目标摘要日志数据。
具体地,MES工厂的生产流水线上有很多生产测试站位,每个生产测试站位配置有很多台PC机(个人计算机)供生产测试使用。每台PC机上会安装生产测试工具和一个用来数据收集的本地数据中转模块;本地数据中转模块将本地的生产测试工具生成的模组数据文件和Log文件定时上传至服务器中的文件数据库,同时生产测试工具也会按照生产要求将反映生产测试工具自身的一些参数数据保存在生产数据库,并将生产测试过程中产生的摘要日志数据上传至摘要日志数据库,其中生产数据库和摘要日志数据库均为关系型数据库,文件数据库采用非关系型文档数据库(MongoDB)。
其中,生产数据库主要用作生产过程中的流程管控,摘要日志数据库主要供生产后快速查询和简单分析,数据文件数据库主要供详细问题的调查和数据存储,将这三个数据库结合起来,就可以高效的实现整个生产过程的控制、监控、分析和决策。
本实施例中,可以通过产品序列号分别查询MongoDB、生产数据库和摘要日志数据库得到所需的数据,上述数据存架构能够大大提高数据检索和分析统计的效率,比如查询到某模组的全部测试情况、某工单的全部测试情况、某站位的测试情况等,具有查询速度快和效率高等优点。
实施例4
如图4所示,本实施例的产品生产过程中数据存储的控制***包括生产测试数据获取模块1、表征数据获取模块2和第一存储模块3。
生产测试数据获取模块1用于获取生产测试站位的生产测试工具在生产当前产品时不同时间戳对应的生产测试数据;
表征数据获取模块2用于获取用于表征生产测试数据的表征数据;
其中,表征数据对应的数据量小于生产测试数据对应的数据量;
具体地,当产品包括无线通信模块时,生产测试数据包括但不限于模组测试数据、模组的射频参数、站位数据、产品序列号、数据存储路径和时间戳数据;
则表征数据包括产品序列号、数据存储路径和时间戳数据,即表征数据为生产测试数据对应的索引信息。
第一存储模块3用于按照时间顺序依次将表征数据存储至生产测试站位中的本地数据库中。
其中,本地数据库包括SQLite数据库。
本实施例中:1)数据存储过程中不依赖网络,属于本地数据交互,且将数据同步与生产测试工具独立,大大地提升了数据传输的稳定性,有效地避免因网络不稳定或FTP服务器问题导致的测试失败或数据丢失,甚至停线的情况;也省去了现有的同步数据的时间,有效地增加了产能;2)无需将数据本身实时上送,而是将每个生产测试站位的生产测试工具对应的表征数据分别实时传输并统一存储至本地SQLite数据库中,这种数据存储方式能够确保每个模组数据的及时快速存储,且可以避免数据丢失的情况;3)也实现不耽误下一个模组的生产测试过程,在当前产品生产完毕后可以直接继续生产测试下一个模组,从而缩短了每个模组生产测试时长,提高了生产无线通信模组的生产测试效率。
实施例5
如图5所示,本实施例的产品生产过程中数据存储的控制***是对实施例4的进一步改进,具体地:
当生产测试站位中的本地数据中转模块时,第一存储模块3包括中转存储单元4、请求获取单元5和本地存储单元6。
中转存储单元4用于将表征数据存储至本地数据中转模块。
请求获取单元5用于获取数据存储请求;
本地存储单元6用于根据数据存储请求将本地数据中转模块中的表征数据存储至生产测试站位中的本地数据库中。
在业务高峰时期,本地数据中转模块能够有效缓存表征数据,并将表征数据定时传输至SQLite数据库中。
当出现上传失败的情况时,会自动重传,直至传输成功,并通知相关管理人员排查问题,从而有效避免影响正常的生产过程的情况发生。
控制***还包括控制模块7,控制模块7用于在当前产品生产完毕后,控制生产测试站位的生产测试工具继续生产下一个产品,并重新调用生产测试数据获取模块1。
控制***还包括第二存储模块8和第三存储模块9。
第二存储模块8用于将所述生产测试数据存储至所述生产测试站位中的本地存储模块中;
表征数据获取模块2还用于当本地数据中转模块开启一个数据传输线程时,则按照时间顺序依次读取本地数据库中的表征数据;
生产测试数据获取模块1还用于根据表征数据获取本地存储模块中对应的生产测试数据。
第三存储模块9用于按照时间顺序依次将获取的所述生产测试数据上传至文件数据库中。
其中,文件数据库包括MongoDB,采用文件数据库统一存储无线通信模组在生产测试过程中产生的小文件数据,能够大大提升备份转移的效率,安全性更高。
具体地,对于每个生产测试站位,通过设置其中的生产测试工具定时向本地数据中转模块发送数据存储请求,本地数据中转模块根据该数据存储请求将其存储的表征数据按照时间顺序依次发送至SQLite数据库进行统一存储。
当本地数据中转模块开启一个数据传输线程时,按照时间顺序从SQLite数据库中依次读取表征数据,并根据表征数据对应的数据存储路径和时间戳信息从生产测试站位的本地存储模块中依次获取对应的生产测试数据,并将其上传至MongoDB中。
当生产测试数据为二进制格式的数据时,第三存储模块用于按照时间顺序依次将二进制格式的生产测试数据存储上传至MongoDB中,即将数据的原始格式存储在MongoDB中,保证存取操作都不会改变数据的一致性,实现了无损存储,以满足各种格式的数据存储需求。例如模组测试数据对应的Excel格式文件、模组的射频参数对应的压缩格式文件、生产工具对应的TXT格式文本等。另外,根据各种数据对应的不同文本类型进行区分存储。
另外,控制***还包括第四存储模块10和第五存储模块11;
第四存储模块10用于将生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库;
第五存储模块11用于将生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库;
其中,生产数据库和摘要日志数据库均为关系型数据库,如SQL Server数据库。
本实施例中,通过将生产测试站位在生产无线通信模组过程中不同时间戳产生的生产测试数据对应的表征数据通过本地中转存储模块统一存储至本地SQLite数据库中,使得在当前产品生产完毕后生产测试站位可以继续生产测试下一个模组,此过程属于本地数据交互,不涉及网络,从而大大地提升了数据传输的稳定性,缩短了每个模组生产测试时长,提高了模组生产测试效率;根据本地SQLite数据库的表征数据获取本地存储的生产测试数据并以其原始格式将其上传至MongoDB中,从而保证数据存取的一致性。
实施例6
如图6所示,本实施例的数据查询***采用实施例5的产品生产过程中数据存储的控制***实现,数据查询***包括目标数据获取模块12和查询模块13。
目标数据获取模块12用于获取目标产品对应的目标表征数据;
查询模块13用于采用目标表征数据查询得到文件数据库中对应的目标生产测试数据。
其中,目标表征数据包括目标产品对应的目标产品序列号,采用目标产品序列号可以直接读取到文件数据库中原文件数据。另外还可以包括数据存储路径和时间戳数据。
在将生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库,和将生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库后,查询模块13还用于根据目标表征数据分别从生产数据库和摘要日志数据库中查询得到对应的目标生产测试工具数据和目标摘要日志数据。
具体地,MES工厂的生产流水线上有很多生产测试站位,每个生产测试站位配置有很多台PC机供生产测试使用。每台PC机上会安装生产测试工具和一个用来数据收集的本地数据中转模块;本地数据中转模块将本地的生产测试工具生成的模组数据文件和Log文件定时上传至服务器中的文件数据库,同时生产测试工具也会按照生产要求将反映生产测试工具自身的一些参数数据保存在生产数据库,并将生产测试过程中产生的摘要日志数据上传至摘要日志数据库,其中生产数据库和摘要日志数据库均为关系型数据库,文件数据库采用非关系型文档数据库(MongoDB)。
其中,生产数据库主要用作生产过程中的流程管控,摘要日志数据库主要供生产后快速查询和简单分析,数据文件数据库主要供详细问题的调查和数据存储,将这三个数据库结合起来,就可以高效的实现整个生产过程的控制、监控、分析和决策。
本实施例中,可以通过产品序列号分别查询MongoDB、生产数据库和摘要日志数据库得到所需的数据,上述数据存架构能够大大提高数据检索和分析统计的效率,比如查询到某模组的全部测试情况、某工单的全部测试情况、某站位的测试情况等,具有查询速度快和效率高等优点。
实施例7
图7为本发明实施例7提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现实施例1或2中任意一实施例中的品生产过程中数据存储的控制方法。图7显示的电子设备30仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示,电子设备30可以以通用计算设备的形式表现,例如其可以为服务器设备。电子设备30的组件可以包括但不限于:上述至少一个处理器31、上述至少一个存储器32、连接不同***组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器,例如随机存取存储器(RAM)321和/或高速缓存存储器322,还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325,这样的程序模块324包括但不限于:操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序,从而执行各种功能应用以及数据处理,例如本发明实施例1或2中任意一实施例中的品生产过程中数据存储的控制方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且,模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图7所示,网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白,尽管图中未示出,可以结合模型生成的设备30使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)***、磁带驱动器以及数据备份存储***等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例8
本发明实施例8提供了一种电子设备,电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现实施例3中的数据查询方法,该电子设备的具体结构参照实施例7中的电子设备,其工作原理与实施例7中的电子设备的工作原理基本一致,在此不再赘述。
实施例9
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现实施例1或2中任意一实施例中的品生产过程中数据存储的控制方法中的步骤。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行实现实施例1或2中任意一实施例中的品生产过程中数据存储的控制方法中的步骤。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
实施例10
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现实施例3中的数据查询方法中的步骤。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行实现实施例3中的数据查询方法中的步骤。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。

Claims (14)

1.一种产品生产过程中数据存储的控制方法,其特征在于,所述控制方法包括:
S1.获取生产测试站位的生产测试工具在生产当前产品时不同时间戳对应的生产测试数据;
S2.获取用于表征所述生产测试数据的表征数据;
其中,所述表征数据对应的数据量小于所述生产测试数据对应的数据量;
S3.按照时间顺序依次将所述表征数据存储至所述生产测试站位中的本地数据库中;
当所述生产测试站位中的本地数据中转模块时,步骤S3包括:
S31.将所述表征数据存储至所述本地数据中转模块;
S32.获取数据存储请求;
S33.根据所述数据存储请求将所述本地数据中转模块中的所述表征数据存储至所述生产测试站位中的所述本地数据库中;
步骤S1之后、步骤S2之前还包括:
S11.将所述生产测试数据存储至所述生产测试站位中的本地存储模块中;
步骤S3之后还包括:
S4.当所述本地数据中转模块开启一个数据传输线程时,则按照时间顺序依次读取所述本地数据库中的所述表征数据;
S5.根据所述表征数据获取所述本地存储模块中对应的所述生产测试数据;
S6.按照时间顺序依次将获取的所述生产测试数据上传至文件数据库中。
2.如权利要求1所述的产品生产过程中数据存储的控制方法,其特征在于,所述文件数据库包括MongoDB;
当所述生产测试数据为二进制格式的数据时,步骤S6包括:
按照时间顺序依次将二进制格式的所述生产测试数据存储上传至MongoDB中。
3.如权利要求1所述的产品生产过程中数据存储的控制方法,其特征在于,所述控制方法还包括:
将所述生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库;
将所述生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库;
其中,所述生产数据库和所述摘要日志数据库均为关系型数据库;和/或,
所述本地数据库包括SQLite数据库。
4.如权利要求1所述的产品生产过程中数据存储的控制方法,其特征在于,步骤S3之后还包括:
在当前产品生产完毕后,控制所述生产测试站位的生产测试工具继续生产下一个产品,并重新执行步骤S1;和/或,
当产品包括无线通信模块时,所述生产测试数据包括模组测试数据、模组的射频参数、站位数据、产品序列号、数据存储路径和时间戳数据;
所述表征数据包括产品序列号、数据存储路径和时间戳数据。
5.一种数据查询方法,其特征在于,所述数据查询方法采用权利要求1所述的产品生产过程中数据存储的控制方法实现,所述数据查询方法包括:
获取目标产品对应的目标表征数据;
采用所述目标表征数据查询得到所述文件数据库中对应的目标生产测试数据。
6.如权利要求5所述的数据查询方法,其特征在于,在将所述生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库,和将所述生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库后,所述数据查询方法还包括:
根据所述目标表征数据分别从所述生产数据库和所述摘要日志数据库中查询得到对应的目标生产测试工具数据和目标摘要日志数据。
7.一种产品生产过程中数据存储的控制***,其特征在于,所述控制***包括生产测试数据获取模块、表征数据获取模块和第一存储模块;
所述生产测试数据获取模块用于获取生产测试站位的生产测试工具在生产当前产品时不同时间戳对应的生产测试数据;
所述表征数据获取模块用于获取用于表征所述生产测试数据的表征数据;
其中,所述表征数据对应的数据量小于所述生产测试数据对应的数据量;
所述第一存储模块用于按照时间顺序依次将所述表征数据存储至所述生产测试站位中的本地数据库中;
当所述生产测试站位中的本地数据中转模块时,所述第一存储模块包括中转存储单元、请求获取单元和本地存储单元;
所述中转存储单元用于将所述表征数据存储至所述本地数据中转模块;
所述请求获取单元用于获取数据存储请求;
所述本地存储单元用于根据所述数据存储请求将所述本地数据中转模块中的所述表征数据存储至所述生产测试站位中的所述本地数据库中;
所述控制***还包括第二存储模块和第三存储模块;
所述第二存储模块用于将所述生产测试数据存储至所述生产测试站位中的本地存储模块中;
所述表征数据获取模块还用于当所述本地数据中转模块开启一个数据传输线程时,则按照时间顺序依次读取所述本地数据库中的所述表征数据;
所述生产测试数据获取模块还用于根据所述表征数据获取所述本地存储模块中对应的所述生产测试数据;
所述第三存储模块用于按照时间顺序依次将获取的所述生产测试数据上传至文件数据库中。
8.如权利要求7所述的产品生产过程中数据存储的控制***,其特征在于,所述文件数据库包括MongoDB;
当所述生产测试数据为二进制格式的数据时,所述第三存储模块用于按照时间顺序依次将二进制格式的所述生产测试数据存储上传至MongoDB中。
9.如权利要求7所述的产品生产过程中数据存储的控制***,其特征在于,所述控制***还包括第四存储模块和第五存储模块;
所述第四存储模块用于将所述生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库;
所述第五存储模块用于将所述生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库;
其中,所述生产数据库和所述摘要日志数据库均为关系型数据库;和/或,
所述本地数据库包括SQLite数据库。
10.如权利要求7所述的产品生产过程中数据存储的控制***,其特征在于,所述控制***还包括控制模块;
所述控制模块用于在当前产品生产完毕后,控制所述生产测试站位的生产测试工具继续生产下一个产品,并重新调用所述生产测试数据获取模块;和/或,
当产品包括无线通信模块时,所述生产测试数据包括模组测试数据、模组的射频参数、站位数据、产品序列号、数据存储路径和时间戳数据;
所述表征数据包括产品序列号、数据存储路径和时间戳数据。
11.一种数据查询***,其特征在于,所述数据查询***采用权利要求8所述的产品生产过程中数据存储的控制***实现,所述数据查询***包括目标数据获取模块和查询模块;
所述目标数据获取模块用于获取目标产品对应的目标表征数据;
所述查询模块用于采用所述目标表征数据查询得到所述文件数据库中对应的目标生产测试数据。
12.如权利要求11所述的数据查询***,其特征在于,在将所述生产测试站位中生产测试工具对应的生产测试工具数据上传至生产数据库,和将所述生产测试站位在生产过程中产生的摘要日志数据上传至摘要日志数据库后,所述查询模块还用于根据所述目标表征数据分别从所述生产数据库和所述摘要日志数据库中查询得到对应的目标生产测试工具数据和目标摘要日志数据。
13.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行计算机程序时实现如权利要求1-4中任一项所述的产品生产过程中数据存储的控制方法,或实现如权利要求5或6所述的数据查询方法。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的产品生产过程中数据存储的控制方法的步骤,或实现如权利要求5或6所述的数据查询方法的步骤。
CN201910821324.4A 2019-09-02 2019-09-02 数据的存储、查询方法、***、电子设备和存储介质 Active CN110515955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910821324.4A CN110515955B (zh) 2019-09-02 2019-09-02 数据的存储、查询方法、***、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910821324.4A CN110515955B (zh) 2019-09-02 2019-09-02 数据的存储、查询方法、***、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110515955A CN110515955A (zh) 2019-11-29
CN110515955B true CN110515955B (zh) 2023-09-15

Family

ID=68630207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910821324.4A Active CN110515955B (zh) 2019-09-02 2019-09-02 数据的存储、查询方法、***、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110515955B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113821409B (zh) * 2021-09-23 2024-06-04 中国建设银行股份有限公司 一种监控数据传输的方法、装置、存储介质和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473260A (zh) * 2013-06-25 2013-12-25 北京控制工程研究所 一种面向并发olap的测试数据分层聚簇查询处理***及方法
CN105550333A (zh) * 2015-12-22 2016-05-04 歌尔声学股份有限公司 基于MongoDB的测试数据存储查询方法及***
CN109117375A (zh) * 2018-08-30 2019-01-01 上海携程金融信息服务有限公司 数据库接口测试方法、***、设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200535604A (en) * 2004-04-16 2005-11-01 Hon Hai Prec Ind Co Ltd Test data collection and management system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473260A (zh) * 2013-06-25 2013-12-25 北京控制工程研究所 一种面向并发olap的测试数据分层聚簇查询处理***及方法
CN105550333A (zh) * 2015-12-22 2016-05-04 歌尔声学股份有限公司 基于MongoDB的测试数据存储查询方法及***
CN109117375A (zh) * 2018-08-30 2019-01-01 上海携程金融信息服务有限公司 数据库接口测试方法、***、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于MongoDB的Web信息采集***应用研究;孙美卫;《湖南邮电职业技术学院学报》;20170615(第02期);全文 *

Also Published As

Publication number Publication date
CN110515955A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
US10176208B2 (en) Processing time series data from multiple sensors
WO2021091489A1 (en) Method and apparatus for storing time series data, and server and storage medium thereof
CN103312544B (zh) 一种控制终端上报日志文件的方法、设备和***
Lai et al. Towards a framework for large-scale multimedia data storage and processing on Hadoop platform
CN104599032A (zh) 一种面向资源管理的分布式内存电网构建方法及***
CN110389967B (zh) 数据存储方法、装置、服务器及存储介质
CN110569142A (zh) 一种oracle数据增量同步***及方法
CN105162414A (zh) 一种基于时序数据库平台的光伏电站功率预测***
CN103117878A (zh) 一种基于Nagios的分布式监控***的设计方法
CN110515955B (zh) 数据的存储、查询方法、***、电子设备和存储介质
CN112035563A (zh) 一种基于共享存储的实时数据库***
CN101645073A (zh) 一种将已有数据库文件导入嵌入式数据库的方法
CN115048452A (zh) 一种基于区块链的大数据治理***
CN104601374A (zh) 用于数控机床的网络故障处理方法和装置
CN112650739A (zh) 煤矿数据中台的数据存储处理方法和装置
CN112905676A (zh) 一种数据文件的导入方法及装置
CN112685486B (zh) 数据库集群的数据管理方法、装置、电子设备及存储介质
CN115391286A (zh) 一种链路追踪数据管理方法、装置、设备及存储介质
CN109344192B (zh) 一种优化cimiss数据库***及其适配方法
CN114387124A (zh) 一种核电工业互联网平台的时序数据存储方法
CN113886472A (zh) 一种数据接入***、接入方法、计算机设备和存储介质
CN110134690B (zh) Oracle数据库超大数据快速存储方法及***
CN113177084A (zh) 一种基于物联网的数据库储存方法
Kang et al. Closed loop management system framework of acquisition operations and maintenance based on data homology management
CN111143280B (zh) 一种数据调度方法、***、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant