CN116303296B - 一种数据存储方法、装置、电子设备及介质 - Google Patents
一种数据存储方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN116303296B CN116303296B CN202310578398.6A CN202310578398A CN116303296B CN 116303296 B CN116303296 B CN 116303296B CN 202310578398 A CN202310578398 A CN 202310578398A CN 116303296 B CN116303296 B CN 116303296B
- Authority
- CN
- China
- Prior art keywords
- information
- data
- data sub
- file
- personnel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000013500 data storage Methods 0.000 title claims abstract description 30
- 230000002159 abnormal effect Effects 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 19
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000005065 mining Methods 0.000 claims description 10
- 238000004321 preservation Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000000284 resting effect Effects 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 14
- 208000000044 Amnesia Diseases 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 4
- 208000026139 Memory disease Diseases 0.000 description 3
- 230000006984 memory degeneration Effects 0.000 description 3
- 208000023060 memory loss Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010415 tidying Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1737—Details of further file system functions for reducing power consumption or coping with limited storage space, e.g. in mobile devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及数据处理的技术领域,尤其是涉及一种数据存储方法、装置、电子设备及介质。该方法包括获取待整理文件信息;根据预设时间间隔对数据信息进行分段,得到多个数据子信息与每一数据子信息对应的编号;根据文件拓展名确定数据信息对应的文件类别;根据文件类别对应的处理方式,对数据信息中的每一数据子信息进行处理;根据每一数据子信息对应的编号以及每一数据子信息对应的处理后的信息生成目标文件并进行存储。本申请减少了电子设备的内存损耗,提高了电子设备的运行速度。
Description
技术领域
本申请涉及数据处理的技术领域,尤其是涉及一种数据存储方法、装置、电子设备及介质。
背景技术
随着智慧矿山概念的提出,矿山智能管控***也随之出现,在矿山开采过程中,一般由工作人员在矿山开采智能操作台下发开采指令来控制相关设备进行矿山的开采。随着矿山的开采,矿山开采智能操作台的监控视频、音频以及矿山开采智能操作台与各个矿山开采设备、各个矿山开采设备运行的矿山数据也随之增加。
相关技术对于矿山数据的存储是将矿山数据统一保存在电子设备,但是矿山数据的数据量较大且有部分内容属于无用数据,会占用大量的存储空间,导致电子设备运行缓慢。
因此,如何减少电子设备的内存损耗,提高电子设备的运行速度是本领域技术人员亟待解决的技术问题。
发明内容
为了减少电子设备的内存损耗,提高电子设备的运行速度,本申请提供一种数据存储方法、装置、电子设备及介质。
第一方面,本申请提供一种数据存储方法,采用如下的技术方案:
一种数据存储,包括:
获取待整理文件信息,所述待整理文件信息包括:文件拓展名以及数据信息;
根据预设时间间隔对所述数据信息进行分段,得到多个数据子信息与每一数据子信息对应的编号;
根据所述文件拓展名确定数据信息对应的文件类别,其中,所述文件类别包括:视频类别、音频类别、通信数据类别、设备运行数据类别;
若所述文件类别为视频类别,则对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息;
若所述文件类别为音频类别,则针对每一数据子信息,对数据子信息进行语音识别,确定数据子信息对应的第二人员信息,并获取第二人员信息中每一人员信息对应的语音内容;
对所述语音内容进行关键词提取,得到第二人员信息中每一人员信息对应的关键词;
若所述文件类别为通信数据类别,则针对每一数据子信息,判断数据子信息是否为异常信息,若数据子信息不为异常信息,则将数据子信息进行删除;
若所述文件类型为设备运行数据类别,则针对每一数据子信息,判断数据子信息是否为故障数据信息,若数据子信息不为故障数据信息,则对数据子信息进行删除;
根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的第一人员信息/第二人员信息及对应的关键词/异常信息/故障数据信息,生成目标文件并进行存储。
通过采用上述技术方案,通过利用预设时间间隔对获取的待整理文件信息进行分段,得到多个数据子信息,能够降低数据处理量,提高数据整理速度,根据文件拓展名确定数据信息对应的文件类别,并针对不同的文件类别利用不同的整理方法,当文件类别为视频类别时,对数据子信息进行视频识别,确定数据子信息对应的第一人员信息,能够有效去除视频类别中的无用信息,降低目标文件的文件大小;当文件类别为音频类别时,通过对数据子信息进行语音识别,并对语音内容进行关键词提取,去除了音频中无用信息,只保留第二人员信息与关键词,同样降低了目标文件的大小;当文件类别为通信数据类别时,将研究价值高的异常数据保留,删除研究价值低的正常数据;当文件类别为设备运行数据类别,将数据子信息中的正常数据删除,保留故障数据信息,并根据每一数据子信息的编号以及对应的数据信息生成目标文件并进行存储,减小了存储的文件大小,减少了电子设备的内存损耗,提高了电子设备的运行速度。
本申请在一较佳示例中可以进一步配置为:所述对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息,包括:
针对每一数据子信息,对数据子信息进行抽帧,得到每一数据子信息对应的多个帧图像;
针对每一帧图像,将帧图像输入预先训练好的神经网络模型,得到帧图像对应的多个人员信息;
对每一数据子信息对应的所述多个帧图像各自对应的人员信息进行整理,得到每一数据子信息对应的第一人员信息。
通过采用上述技术方案,在文件类别为视频类别时,对数据子信息进行抽帧,将得到的帧图像输入预先训练好的神经网络模型中,以便于利用神经网络模型对帧图像进行人员信息的精准且快速的识别,再对所有人员信息进行整理,得到每一数据子信息对应的第一人员信息,提高确定每一数据子信息对应的第一人员信息的准确性。
本申请在一较佳示例中可以进一步配置为:所述对每一数据子信息对应的所述多个帧图像各自对应的人员信息进行整理,得到每一数据子信息对应的第一人员信息,包括:
获取每一数据子信息对应的每一帧图像对应的人员信息的代码;
针对每一数据子信息对应的所有帧图像,判断所有帧图像中人员信息对应的代码是否出现重复;
若存在重复,则将重复代码删除;
根据删除后的代码确定第一人员信息。
通过采用上述技术方案,通过对获取的每一帧图像对应的人员信息对应的代码进行判断,当存在重复代码时,将重复代码进行删除,以减少重复代码对确定第一人员信息的影响。根据删除后的代码确定第一人员信息。由于代码为每一人员信息对应的唯一标识,因此对每一人员信息对应的代码进行去重,能够提高确定第一人员信息的准确性。
本申请在一较佳示例中可以进一步配置为:所述对数据子信息进行语音识别,确定数据子信息对应的第二人员信息,包括:
针对每一人员对应的语音内容,对语音内容进行特征提取,得到语音特征;
根据所述语音特征从对应关系中确定语音特征对应的人员信息,其中,对应关系为不同语音特征与不同人员信息的对应关系;
对所有人员信息进行整理,确定数据子信息对应的第二人员信息。
通过采用上述技术方案,通过对语音内容进行特征提取,并根据得到的语音特征与不同语音特征与不同人员信息的对应关系确定人员信息,并对所有人员信息进行整理,确定数据子信息对应的第二人员信息,通过利用特征提取得到的语音特征确定人员信息,提高了确定数据子信息对应的第二人员信息的准确性。
本申请在一较佳示例中可以进一步配置为:所述根据所述文件拓展名确定数据信息对应的文件类别,包括:
获取每一文件类别对应的拓展名集合;
将所述文件拓展名与每一文件类别对应的拓展名集合进行匹配,得到匹配结果;
根据所述匹配结果确定数据信息对应的文件类别。
通过采用上述技术方案,通过将文件拓展名与获取的每一文件类型对应的拓展名集合进行匹配,得到匹配结果,基于匹配结果确定数据信息对应的文件类别,通过将文件拓展名与获取的每一文件类别对应的拓展名集合进行匹配,提高了确定文件类别的准确性。
本申请在一较佳示例中可以进一步配置为:在所述根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的第一人员信息/第二人员信息及对应的关键词/异常信息/故障数据信息,生成目标文件并进行存储之后,还包括:
针对目标文件,根据数据子信息对应的编号确定目标文件对应的时间段;
根据所述目标文件对应的时间段与等级对应关系确定目标文件的等级,其中,等级对应关系为不同时间段与不同等级的对应关系;
将所述目标文件以及目标文件的等级发送至显示平台进行显示。
通过采用上述技术方案,由于不同时间段对应的数据子信息所记录的内容不同,所以在对目标文件进行存储后,通过数据子信息对应的编号确定目标文件对应的时间段,并根据显示平台显示基于目标文件对应的时间段与不同时间段与不同等级的对应关系确定目标文件的等级以及目标文件,通过利用显示平台对每一目标文件以及目标文件对应的等级进行显示,能够让相关工作人员有重点的选择目标文件进行处理,提高了矿山数据处理的工作效率。
本申请在一较佳示例中可以进一步配置为:在所述根据所述目标文件对应的时间段与等级对应关系确定目标文件的等级之后,还包括:
获取当前时间;
根据所述目标文件的等级确定目标文件的保存时间;
根据所述当前时间与所述保存时间确定删除时间,并根据所述删除时间生成删除指令,以使在时间达到删除时间时,删除目标文件。
通过采用上述技术方案,通过根据目标文件的等级确定目标文件的保存时间,并根据当前时间与保存时间确定删除时间,生成删除指令,当时间达到删除时间时,根据删除指令对目标文件进行删除,能够在目标文件不重要时将目标文件进行删除,减少了内存损耗,提高了电子设备的运行速度。
第二方面,本申请提供一种数据存储装置,采用如下的技术方案:
一种数据存储装置,包括,
获取模块:用于获取待整理文件信息,所述待整理文件信息包括:文件拓展名以及数据信息;
分段模块:用于根据预设时间间隔对所述数据信息进行分段,得到多个数据子信息与每一数据子信息对应的编号;
第一确定模块:用于根据所述文件拓展名确定数据信息对应的文件类别,其中,所述文件类别包括:视频类别、音频类别、通信数据类别、设备运行数据类别;
第二确定模块:用于若所述文件类别为视频类别,则对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息;
第三确定模块:用于若所述文件类别为音频类别,则针对每一数据子信息,对数据子信息进行语音识别,确定数据子信息对应的第二人员信息,并获取第二人员信息中每一人员信息对应的语音内容;
提取模块:用于对所述语音内容进行关键词提取,得到第二人员信息中每一人员信息对应的关键词;
第一判断模块:用于若所述文件类别为通信数据类别,则针对每一数据子信息,判断数据子信息是否为异常信息,若数据子信息不为异常信息,则将数据子信息进行删除;
第二判断模块:用于若所述文件类型为设备运行数据类别,则针对每一数据子信息,判断数据子信息是否为故障数据信息,若数据子信息不为故障数据信息,则对数据子信息进行删除;
文件生成模块:用于根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的第一人员信息/第二人员信息及对应的关键词/异常信息/故障数据信息,生成目标文件并进行存储。
第三方面,本申请提供一种电子设备,采用如下的技术方案:
至少一个处理器;
存储器;
至少一个应用程序,其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行,所述至少一个应用程序配置用于:执行上述的数据存储方法。
第四方面,本申请提供一种计算机可读存储介质,采用如下的技术方案:
一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令所述计算机执行上所述的数据存储方法。
综上所述,本申请包括以下至少一种有益技术效果:
通过利用预设时间间隔对获取的待整理文件信息进行分段,得到多个数据子信息,能够降低数据处理量,提高数据整理速度,根据文件拓展名确定数据信息对应的文件类别,并针对不同的文件类别利用不同的整理方法,当文件类别为视频类别时,对数据子信息进行视频识别,确定数据子信息对应的第一人员信息,能够有效去除视频类别中的无用信息,降低目标文件的文件大小;当文件类别为音频类别时,通过对数据子信息进行语音识别,并对语音内容进行关键词提取,去除了音频中无用信息,只保留第二人员信息与关键词,同样降低了目标文件的大小;当文件类别为通信数据类别时,将研究价值高的异常数据保留,删除研究价值低的正常数据;当文件类别为设备运行数据类别,将数据子信息中的正常数据删除,保留故障数据信息,并根据每一数据子信息的编号以及对应的数据信息生成目标文件并进行存储,减小了存储的文件大小,减少了电子设备的内存损耗,提高了电子设备的运行速度。
通过根据目标文件的等级确定目标文件的保存时间,并根据当前时间与保存时间确定删除时间,生成删除指令,当时间达到删除时间时,根据删除指令对目标文件进行删除,能够在目标文件不重要时将目标文件进行删除,减少了内存损耗,提高了电子设备的运行速度。
附图说明
图1为本申请实施例提供的一种数据存储方法的流程示意图;
图2为本申请实施例提供的一种数据存储装置的结构示意图;
图3为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下结合附图1~附图3对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
矿山数据的数据量较大且有部分内容属于无用数据,如果将矿山数据直接写入电子设备中,会占用大量的存储空间,导致电子设备运行缓慢。
为了解决上述技术问题,本申请实施例提供了一种数据存储方法、装置、电子设备及介质。本申请实施例提供了一种数据存储方法,由电子设备执行,该电子设备可以为服务器也可以为终端设备,其中,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此,该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例在此不做限制。
结合图1,图1为本申请实施例提供的一种数据存储方法的流程示意图。如图1所示,该方法包括步骤S101-步骤S105,其中:
步骤S101、获取待整理文件信息。
待整理文件信息包括:文件拓展名以及数据信息,
其中,待整理文件信息的获取可以通过机械按键触发的方式获取,也可以通过虚拟按键触发的方式获取;机械按键触发的方式,可以通过按动开机键,开机之后自动获取,也可以通过开机之后再次按动对应的触发按键以获取该待整理文件信息;虚拟按键触发的方式,可以通过在对应软件的界面中按动相关的虚拟触发按键以实现获取。文件拓展名是用来标志文件格式的一种机制,例如:exe(可执行文件)、txt(文本格式)、doc(文档格式)、xls(电子表格格式)、rmvb(视频格式)等。其中,数据信息包括:多个时间点以及每一时间点对应的数据。
步骤S102、根据预设时间间隔对数据信息进行分段,得到多个数据子信息与每一数据子信息对应的编号。
其中,待整理文件包括每一时间点与每一时间点对应的数据信息,在确定待整理文件后,可以利用预设时间间隔与待整理文件的每一时间点对待整理文件进行分段,其中,可以利用开始符与结束符对待整理文件的数据信息进行分段,每一数据子信息在开始前设置有开始符,在结束时设置有结束符。
其中,本申请实施例不对预设时间间隔进行限定,用户可以根据实际需求自定设置,优选的,预设时间间隔可以为24小时。
在确定预设时间间隔后,根据预设时间间隔与数据信息中的各个时间点对数据信息进行分段,得到多个数据子信息,其中,起始时间点可以为数据信息的首条数据对应的时间点。
步骤S103、根据文件拓展名确定数据信息对应的文件类别。
其中,文件类别包括:视频类别、音频类别、通信数据类别、设备运行数据类别。
视频类别的文件拓展名一般为:AVI、mov、rmvb、rm、FLV、mp4、3GP中的任意一种,音频类别的文件拓展名一般为:mp3、wma、avi、rm、rmvb、flv、mpg、mov、mkv中的任意一种,通信数据类别的文件拓展名一般为txt、doc、docx、xls、xlsx中的任意一种,设备运行数据类别的文件拓展名一般为txt、doc、docx、xls、xlsx中的任意一种。在本申请实施例中,为了区分视频类别与音频类别,通信数据类别与设备运行数据类别,所以可以在待整理文件一开始保存时,可以设置保存为不同的拓展名,如:规定视频类别的文件拓展名为AVI,音频类别的文件拓展名为mp3,以进行类别的区分。
步骤S104、根据文件类别对应的处理方式,对数据信息中的每一数据子信息进行处理。
若文件类别为视频类别,则执行步骤S104a(附图未示出);若所述文件类别为音频类别,则执行步骤S104b(附图未示出);若所述文件类别为通信数据类别,则执行步骤S104c(附图未示出);若所述文件类型为设备运行数据类别,则执行步骤S104d(附图未示出)。
步骤S104a、对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息。
其中,视频类别的文件一般为工作人员进出矿山开采智能操作台的文件,所以视频类文件中较为重要的为第一人员身份信息。在确定文件类别为视频类别后,可以对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息。在本申请实施例中,一种可实现的根据数据子信息进行视频识别确定数据子信息对应的第一人员信息的方法包括:将数据子信息进行抽帧,得到多个帧图像,针对每一帧图像,将帧图像输入预先训练好的神经网络模型中,确定每一帧图像对应的人员信息,对所有帧图像对应的人员信息进行整理,确定数据子信息对应的第一人员信息;另一种可实现的根据数据子信息进行视频识别确定数据子信息对应的第一人员信息的方法包括:对数据子信息进行感兴趣区域提取,得到多个人员特征,针对每一人员特征,根据人员特征与人员信息对应关系确定每一人员特征对应的人员信息,对所有人员信息进行整理,确定数据子信息对应的第一人员信息,其中,人员信息对应关系为不同人员特征与不同人员信息的对应关系。
步骤S104b、针对每一数据子信息,对数据子信息进行语音识别,确定数据子信息对应的第二人员信息,并获取第二人员信息中每一人员信息对应的语音内容;对语音内容进行关键词提取,得到第二人员信息中每一人员信息对应的关键词。
其中,音频信息一般是在矿山开采智能操作台上的收音***进行获取,相关人员在进行一些操作或收到一些指令时,会进行口头重复并进行相关操作,所以在音频类别的文件中,第二人员信息以及一些操作对应的关键词较为重要。
其中,第二人员信息可以包括:第二人员身份信息,当文件类别为音频类别时,确定数据子信息的文件类别为音频类别。本申请实施例不对根据数据子信息进行语音识别确定数据子信息对应的第二人员信息的方法进行限定,可以根据数据子信息确定每一人员对应的语音内容,并对语音内容进行声纹特征提取,确定语音内容对应的声纹特征,基于声纹特征与对应关系确定语音内容对应的人员信息,其中,对应关系为不同声纹特征与不同人员信息的对应关系。
其中,在确定第二人员信息后,根据第二人员信息中的每一人员信息对应的语音内容进行语音识别,生成每一人员信息对应的文本信息。
其中,关键词为与矿山工程相关或工作量化考核相关的词,在生成每一人员信息对应的文本信息后,可以从文本信息中提取与预设关键词集合相同或相近的词汇作为关键词,电子设备中预先保存有预设关键词集合,在本申请实施例中,不对预设关键词集合进行限定,用户可以根据实际情况自定义设置。
步骤S104c、针对每一数据子信息,判断数据子信息是否为异常信息,若数据子信息不为异常信息,则将数据子信息进行删除。
其中,正常数据信息研究价值较低,所以当文件类别为通信数据类别时,可以判断数据子信息是否为异常信息,若数据子信息不为异常信息,则对数据子信息进行删除;若数据子信息为异常信息,则对数据子信息进行保存。本申请实施例不对判断数据子信息是否为异常信息的方法进行限定,可以根据用户预设的正常数据进行判断,也可以根据获取的历史数据中生成正常数据参考模板,当数据子信息与正常数据参考模板不同时,确定数据子信息为异常信息。
其中,当文件类别为通信数据类别时,可以利用每一帧数据对应的帧长、帧头、帧尾来判断数据子信息是否异常,也可以在对帧数据进行解析后,将异常的数据进行标记的方式来确定数据子信息是否异常。
步骤S104d、针对每一数据子信息,判断数据子信息是否为故障数据信息,若数据子信息不为故障数据信息,则对数据子信息进行删除。
其中,由于正常数据信息的研究价值较低,所以当文件类型为设备运行数据类别时,可以判断数据子信息是否为故障数据,若数据子信息不为故障数据信息,则对数据子信息进行删除;若数据子信息为故障数据,则对数据子信息进行保存。本申请实施例不对判断数据子信息是否为故障数据信息的方法进行限定,可以根据用户预设的正常数据进行判断,也可以根据获取的历史数据中生成正常数据参考模板,当数据子信息与正常数据参考模板不同时,确定数据子信息为故障数据。
步骤S105、根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的信息,生成目标文件并进行存储。
具体的,根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的第一人员信息/第二人员信息及对应的关键词/异常信息/故障数据信息,生成目标文件并进行存储。
其中,在本申请实施例中,每一数据子信息会生成一个目标文件,在确定数据子信息后,根据数据子信息的编号以及内容生成以及预设模板生成目标文件,其中,本申请实施例不对预设模板进行限定,用户可以根据实际需求自定义设置。
在本申请实施例中,通过利用预设时间间隔对获取的待整理文件信息进行分段,得到多个数据子信息,能够降低数据处理量,提高数据整理速度,根据文件拓展名确定数据信息对应的文件类别,并针对不同的文件类别利用不同的整理方法,当文件类别为视频类别时,对数据子信息进行视频识别,确定数据子信息对应的第一人员信息,能够有效去除视频类别中的无用信息,降低目标文件的文件大小;当文件类别为音频类别时,通过对数据子信息进行语音识别,并对语音内容进行关键词提取,去除了音频中无用信息,只保留第二人员信息与关键词,同样降低了目标文件的大小;当文件类别为通信数据类别时,将研究价值高的异常数据保留,删除研究价值低的正常数据;当文件类别为设备运行数据类别,将数据子信息中的正常数据删除,保留故障数据信息,并根据每一数据子信息的编号以及对应的数据信息生成目标文件并进行存储,减小了存储的文件大小,减少了电子设备的内存损耗,提高了电子设备的运行速度。
本申请实施例的一种可能的实现方式,步骤S104a对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息,包括:
针对每一数据子信息,对数据子信息进行抽帧,得到每一数据子信息对应的多个帧图像;
针对每一帧图像,将帧图像输入预先训练好的神经网络模型,得到帧图像对应的多个人员信息;
对每一数据子信息对应的多个帧图像各自对应的人员信息进行整理,得到每一数据子信息对应的第一人员信息。
其中,抽帧是对视频按照预设帧数间隔抽取帧图像的方法,当文件类别为视频类别时,对数据子信息进行抽帧,得到多个帧图像,本申请实施例不对预设帧数间隔进行限定,用户可以根据实际情况自定义设置。
其中,在本申请实施例中,不对神经网络模型的结构进行限定,优选的,神经网络模型包括:卷积层、池化层和全连接层,在将帧图像输入预先训练好的神经网络模型中,可以确定帧图像中所有人员信息。
在确定每一帧图像对应的人员信息后,对所有帧图像对应的人员信息进行整理,得到第一人员信息,其中,本申请实施例不对整理所有人员信息的方法进行限定,只要能实现本申请实施例的目的即可。
在本申请实施例中,在文件类别为视频类别时,对数据子信息进行抽帧,将得到的帧图像输入预先训练好的神经网络模型中,以便于利用神经网络模型对帧图像进行人员信息的精准且快速的识别,再对所有人员信息进行整理,得到每一数据子信息对应的第一人员信息,提高确定每一数据子信息对应的第一人员信息的准确性。
本申请实施例的一种可能的实现方式,对每一数据子信息对应的多个帧图像各自对应的人员信息进行整理,得到每一数据子信息对应的第一人员信息对所有人员信息进行整理,得到每一数据子信息对应的第一人员信息,包括:
获取每一数据子信息对应的每一帧图像对应的人员信息的代码;
针对每一数据子信息对应的所有帧图像,判断所有帧图像中人员信息对应的代码是否出现重复;
若存在重复,则将重复代码删除;
根据删除后的代码确定第一人员信息。其中,由于人员信息中可能会出现重名的情况,所以在确定所有人员信息后,获取每一人员信息对应的代码,代码为每一人员信息对应的唯一标识,当帧图像中出现代码重复时,说明人员信息第二次出现,所以可以在人员信息首次出现时,可以对代码进行记录,并删除之后重复出现的代码。在经过对重复代码删除处理后,所剩下的所有代码对应的人员信息即为第一人员信息。例如:第一帧图像中出现的人员信息的代码为:1、2、3,第二帧图像对应的人员信息的代码为:1、3、4、5,那么帧图像中人员信息出现重复的代码为1、3,所以可以将重复代码1、3删除,那么第一人员信息为:1、2、3、4、5。
在本申请实施例中,通过对获取的每一帧图像对应的人员信息对应的代码进行判断,当存在重复代码时,将重复代码进行删除,以减少重复代码对确定第一人员信息的影响.根据删除后的代码确定第一人员信息。由于代码为每一人员信息对应的唯一标识,因此对每一人员信息对应的代码进行去重,能够提高确定第一人员信息的准确性。
本申请实施例的一种可能的实现方式,步骤S104b中的对数据子信息进行语音识别,确定数据子信息对应的第二人员信息,包括:
针对每一人员对应的语音内容,对语音内容进行特征提取,得到语音特征;
根据语音特征从对应关系中确定语音特征对应的人员信息,其中,对应关系为不同语音特征与不同人员信息的对应关系;
对所有人员信息进行整理,确定数据子信息对应的第二人员信息。
其中,同一人员可能在数据子信息中对应多个语音内容,所以可以在确定第二人员信息前,首先数据子信息进行整理,确定同一人员信息对应的所有语音内容。其中,语音特征可以为语音频率、流量、自然口音,本申请实施例不对此进行限定。
其中,电子设备中预先保存有不同语音特征与不同人员信息的对应关系,当确定语音特征后,可以根据语音特征从不同语音特征与不同人员信息的对应关系中确定人员信息。
由于在进行人员语音识别时,可能会存在人员信息重复的情况,所以在确定所有人员信息后,可以对所有人员信息进行整理,即,将重复的人员信息删除,整理后的人员信息为数据子信息对应的第二人员信息。
在本申请实施例中,通过对语音内容进行特征提取,并根据得到的语音特征与不同语音特征与不同人员信息的对应关系确定人员信息,并对所有人员信息进行整理,确定数据子信息对应的第二人员信息,通过利用特征提取得到的语音特征确定人员信息,提高了确定数据子信息对应的第二人员信息的准确性。
本申请实施例的一种可能的实现方式,步骤S103根据文件拓展名确定数据信息对应的文件类别,包括:
获取每一文件类别对应的拓展名集合;
将文件拓展名与每一文件类别对应的拓展名集合进行匹配,得到匹配结果;
根据匹配结果确定数据信息对应的文件类别。
其中,每一文件类别对应的拓展名集合可以为用户预先规定并保存在数据库中,在获取文件拓展名后,生成文件类别确认请求,电子设备根据文件类别确认请求从数据库中获取每一文件类别对应的拓展名集合,其中,每一文件类别对应的拓展名集合中不存在相同的拓展名。
在确定文件拓展名后,根据文件拓展名与每一文件类别对应的拓展名集合确定待整理文件对应的文件类别,其中,本申请实施例不对将文件拓展名与每一文件类别对应的拓展名集合进行匹配,得到匹配结果的方法进行限定,只要能实现本申请实施例的目的即可。
其中,将文件拓展名与每一文件类别对应的拓展名集合进行匹配只存在拓展名与多个文件类别中其中一个文件类别的匹配结果为匹配。
在本申请实施例中,通过将文件拓展名与获取的每一文件类型对应的拓展名集合进行匹配,得到匹配结果,基于匹配结果确定数据信息对应的文件类别,通过将文件拓展名与获取的每一文件类别对应的拓展名集合进行匹配,提高了确定文件类别的准确性。
本申请实施例的一种可能的实现方式,在根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的第一人员信息/第二人员信息及对应的关键词/异常信息/故障数据信息,生成目标文件并进行存储之后,还包括:
针对目标文件,根据数据子信息对应的编号确定目标文件对应的时间段;
根据目标文件对应的时间段与等级对应关系确定目标文件的等级,其中,等级对应关系为不同时间段与不同等级的对应关系;
将目标文件以及目标文件的等级发送至显示平台进行显示。
其中,由于数据子信息是基于预设时间间隔对数据信息进行分段的,所以可以根据数据子信息对应的编号确定目标文件对应的时间段。电子设备中预先保存有不同文件等级对应的时间段,所以在确定目标文件对应的时间段后,可以根据目标文件对应的时间段与不同文件等级对应的时间段确定目标文件的等级。其中,本申请实施例不对等级对应关系进行限定,优选的,人员工作时间段对应的等级为重要,人员休息时间段对应的等级为一般。
电子设备连接显示平台,在确定目标文件的等级后,可以将目标文件以及目标文件的等级发送至显示平台进行显示,以便于工作人员有重点的选择目标文件进行处理。
在本申请实施例中,由于不同时间段对应的数据子信息所记录的内容不同,所以在对目标文件进行存储后,通过数据子信息对应的编号确定目标文件对应的时间段,并根据显示平台显示基于目标文件对应的时间段与不同时间段与不同等级的对应关系确定目标文件的等级以及目标文件,通过利用显示平台对每一目标文件以及目标文件对应的等级进行显示,能够让相关工作人员有重点的选择目标文件进行处理,提高了矿山数据处理的工作效率。
本申请实施例的一种可能的实现方式,在根据目标文件对应的时间段与等级对应关系确定目标文件的等级之后,还包括:
获取当前时间;
根据目标文件的等级确定目标文件的保存时间;
根据当前时间与保存时间确定删除时间,并根据删除时间生成删除指令,以使在时间达到删除时间时,删除目标文件。
其中,在本申请实施例中,获取当前时间的方法可以利用网络爬虫进行获取,也可以利用北斗***直接获取。电子设备预先保存有不同文件等级对应的保存时间,在确定目标文件的等级后,根据目标文件的等级确定目标文件对应的保存时间。
电子设备在实时获取数据信息,因此在确定当前时间与目标文件对应的保存时间后,根据当前时间与目标文件对应的保存时间确定删除时间,并预先生成删除指令,当时间达到删除时间后,电子设备根据删除指令对目标文件进行删除。
在本申请实施例中,通过根据目标文件的等级确定目标文件的保存时间,并根据当前时间与保存时间确定删除时间,生成删除指令,当时间达到删除时间时,根据删除指令对目标文件进行删除,能够在目标文件不重要时将目标文件进行删除,减少了内存损耗,提高了电子设备的运行速度。
上述实施例从方法流程的角度介绍一种数据存储方法,下述实施例从虚拟模块或者虚拟单元的角度介绍了一种数据存储装置,具体详见下述实施例。
本申请实施例提供一种数据存储装置200,如图2所示,图2为本申请实施例提供的一种数据存储装置的结构示意图。该数据存储装置200具体可以包括:
获取模块201:用于获取待整理文件信息,待整理文件信息包括:文件拓展名以及数据信息;
分段模块202:用于根据预设时间间隔对数据信息进行分段,得到多个数据子信息与每一数据子信息对应的编号;
第一确定模块203:用于根据文件拓展名确定数据信息对应的文件类别,其中,文件类别包括:视频类别、音频类别、通信数据类别、设备运行数据类别;
第二确定模块204:用于若文件类别为视频类别,则对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息;
第三确定模块205:用于若文件类别为音频类别,则针对每一数据子信息,对数据子信息进行语音识别,确定数据子信息对应的第二人员信息,并获取第二人员信息中每一人员信息对应的语音内容;
提取模块206:用于对语音内容进行关键词提取,得到第二人员信息中每一人员信息对应的关键词;
第一判断模块207:用于若文件类别为通信数据类别,则针对每一数据子信息,判断数据子信息是否为异常信息,若数据子信息不为异常信息,则将数据子信息进行删除;
第二判断模块208:用于若文件类型为设备运行数据类别,则针对每一数据子信息,判断数据子信息是否为故障数据信息,若数据子信息不为故障数据信息,则对数据子信息进行删除;
文件生成模块209:用于根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的第一人员信息/第二人员信息及对应的关键词/异常信息/故障数据信息,生成目标文件并进行存储。
对于本申请实施例,通过利用预设时间间隔对获取的待整理文件信息进行分段,得到多个数据子信息,能够降低数据处理量,提高数据整理速度,根据文件拓展名确定数据信息对应的文件类别,并针对不同的文件类别利用不同的整理方法,当文件类别为视频类别时,对数据子信息进行视频识别,确定数据子信息对应的第一人员信息,能够有效去除视频类别中的无用信息,降低目标文件的文件大小;当文件类别为音频类别时,通过对数据子信息进行语音识别,并对语音内容进行关键词提取,去除了音频中无用信息,只保留第二人员信息与关键词,同样降低了目标文件的大小;当文件类别为通信数据类别时,将研究价值高的异常数据保留,删除研究价值低的正常数据;当文件类别为设备运行数据类别,将数据子信息中的正常数据删除,保留故障数据信息,并根据每一数据子信息的编号以及对应的数据信息生成目标文件并进行存储,减小了存储的文件大小,减少了电子设备的内存损耗,提高了电子设备的运行速度。
本申请实施例的一种可能的实现方式,第二确定模块204在执行对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息时,具体用于:
针对每一数据子信息,对数据子信息进行抽帧,得到每一数据子信息对应的多个帧图像;
针对每一帧图像,将帧图像输入预先训练好的神经网络模型,得到帧图像对应的多个人员信息;
对每一数据子信息对应的多个帧图像各自对应的人员信息进行整理,得到每一数据子信息对应的第一人员信息。
本申请实施例的一种可能的实现方式,第二确定模块204在执行对每一数据子信息对应的多个帧图像各自对应的人员信息进行整理,得到每一数据子信息对应的第一人员信息时,具体用于:
获取每一数据子信息对应的每一帧图像对应的人员信息的代码;
针对每一数据子信息对应的所有帧图像,判断所有帧图像中人员信息对应的代码是否出现重复;
若存在重复,则将重复代码删除;
根据删除后的代码确定第一人员信息。
本申请实施例的一种可能的实现方式,第三确定模块205在执行对数据子信息进行语音识别,确定数据子信息对应的第二人员信息时,具体用于:
针对每一人员对应的语音内容,对语音内容进行特征提取,得到语音特征;
根据语音特征从对应关系中确定语音特征对应的人员信息,其中,对应关系为不同语音特征与不同人员信息的对应关系;
对所有人员信息进行整理,确定数据子信息对应的第二人员信息。
本申请实施例的一种可能的实现方式,第一确定模块203在执行根据文件拓展名确定数据信息对应的文件类别时,具体用于:
获取每一文件类别对应的拓展名集合;
将文件拓展名与每一文件类别对应的拓展名集合进行匹配,得到匹配结果;
根据匹配结果确定数据信息对应的文件类别。
本申请实施例的一种可能的实现方式,还包括:
等级确定模块:用于针对目标文件,根据数据子信息对应的编号确定目标文件对应的时间段;
根据目标文件对应的时间段与等级对应关系确定目标文件的等级,其中,等级对应关系为不同时间段与不同等级的对应关系;
将目标文件以及目标文件的等级发送至显示平台进行显示。
本申请实施例的一种可能的实现方式,还包括:
删除模块:用于获取当前时间;
根据目标文件的等级确定目标文件的保存时间;
根据当前时间与保存时间确定删除时间,并根据删除时间生成删除指令,以使在时间达到删除时间时,删除目标文件。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的一种数据存储装置200的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例中提供了一种电子设备,如图3所示,图3为本申请实施例提供的一种电子设备的结构示意图。图3所示的电子设备300包括:处理器301和存储器303。其中,处理器301和存储器303相连,如通过总线302相连。可选地,电子设备300还可以包括收发器304。需要说明的是,实际应用中收发器304不限于一个,该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器301也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线302可包括一通路,在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一型的总线。
存储器303可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器303用于存储执行本申请方案的应用程序代码,并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图3示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。与相关技术相比,本申请实施例通过利用预设时间间隔对获取的待整理文件信息进行分段,得到多个数据子信息,能够降低数据处理量,提高数据整理速度,根据文件拓展名确定数据信息对应的文件类别,并针对不同的文件类别利用不同的整理方法,当文件类别为视频类别时,对数据子信息进行视频识别,确定数据子信息对应的第一人员信息,能够有效去除视频类别中的无用信息,降低目标文件的文件大小;当文件类别为音频类别时,通过对数据子信息进行语音识别,并对语音内容进行关键词提取,去除了音频中无用信息,只保留第二人员信息与关键词,同样降低了目标文件的大小;当文件类别为通信数据类别时,将研究价值高的异常数据保留,删除研究价值低的正常数据;当文件类别为设备运行数据类别,将数据子信息中的正常数据删除,保留故障数据信息,并根据每一数据子信息的编号以及对应的数据信息生成目标文件并进行存储,减小了存储的文件大小,减少了电子设备的内存损耗,提高了电子设备的运行速度。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (8)
1.一种数据存储方法,其特征在于,包括:
获取待整理文件信息,所述待整理文件信息包括:文件拓展名以及数据信息;
根据预设时间间隔对所述数据信息进行分段,得到多个数据子信息与每一数据子信息对应的编号;
根据所述文件拓展名确定数据信息对应的文件类别,其中,所述文件类别包括:视频类别、音频类别、通信数据类别、设备运行数据类别;
若所述文件类别为视频类别,则对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息;视频类别的数据信息为工作人员进出矿山开采智能操作台的文件;
若所述文件类别为音频类别,则针对每一数据子信息,对数据子信息进行语音识别,确定数据子信息对应的第二人员信息,并获取第二人员信息中每一人员信息对应的语音内容;音频类别的数据信息为在矿山开采智能操作台上收集得到的;
对所述语音内容进行关键词提取,得到第二人员信息中每一人员信息对应的关键词;关键词为与矿山工程相关或工作量化考核相关的词;
若所述文件类别为通信数据类别,则针对每一数据子信息,判断数据子信息是否为异常信息,若数据子信息不为异常信息,则将数据子信息进行删除;若所述文件类别为设备运行数据类别,则针对每一数据子信息,判断数据子信息是否为故障数据信息,若数据子信息不为故障数据信息,则对数据子信息进行删除;其中,根据获取的历史数据中生成正常数据参考模板,当数据子信息与正常数据参考模板不同时,确定数据子信息为异常信息;
根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的第一人员信息/第二人员信息及对应的关键词/异常信息/故障数据信息,生成目标文件并进行存储;
在所述根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的第一人员信息/第二人员信息及对应的关键词/异常信息/故障数据信息,生成目标文件并进行存储之后,还包括:
针对目标文件,根据数据子信息对应的编号确定目标文件对应的时间段;
根据所述目标文件对应的时间段与等级对应关系确定目标文件的等级,其中,等级对应关系为不同时间段与不同等级的对应关系;人员工作时间段对应的等级为重要,人员休息时间段对应的等级为一般;
将所述目标文件以及目标文件的等级发送至显示平台进行显示;
在所述根据所述目标文件对应的时间段与等级对应关系确定目标文件的等级之后,还包括:
获取当前时间;
根据所述目标文件的等级确定目标文件的保存时间;
根据所述当前时间与所述保存时间确定删除时间,并根据所述删除时间生成删除指令,以使在时间达到删除时间时,删除目标文件。
2.根据权利要求1所述的数据存储方法,其特征在于,所述对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息,包括:
针对每一数据子信息,对数据子信息进行抽帧,得到每一数据子信息对应的多个帧图像;
针对每一帧图像,将帧图像输入预先训练好的神经网络模型,得到帧图像对应的多个人员信息;
对每一数据子信息对应的所述多个帧图像各自对应的人员信息进行整理,得到每一数据子信息对应的第一人员信息。
3.根据权利要求2所述的数据存储方法,其特征在于,所述对每一数据子信息对应的所述多个帧图像各自对应的人员信息进行整理,得到每一数据子信息对应的第一人员信息,包括:
获取每一数据子信息对应的每一帧图像对应的人员信息的代码;
针对每一数据子信息对应的所有帧图像,判断所有帧图像中人员信息对应的代码是否出现重复;
若存在重复,则将重复代码删除;
根据删除后的代码确定第一人员信息。
4.根据权利要求1所述的数据存储方法,其特征在于,所述对数据子信息进行语音识别,确定数据子信息对应的第二人员信息,包括:
针对每一人员对应的语音内容,对语音内容进行特征提取,得到语音特征;
根据所述语音特征从对应关系中确定语音特征对应的人员信息,其中,对应关系为不同语音特征与不同人员信息的对应关系;
对所有人员信息进行整理,确定数据子信息对应的第二人员信息。
5.根据权利要求1所述的数据存储方法,其特征在于,所述根据所述文件拓展名确定数据信息对应的文件类别,包括:
获取每一文件类别对应的拓展名集合;
将所述文件拓展名与每一文件类别对应的拓展名集合进行匹配,得到匹配结果;
根据所述匹配结果确定数据信息对应的文件类别。
6.一种数据存储装置,其特征在于,包括:
获取模块:用于获取待整理文件信息,所述待整理文件信息包括:文件拓展名以及数据信息;
分段模块:用于根据预设时间间隔对所述数据信息进行分段,得到多个数据子信息与
每一数据子信息对应的编号;
第一确定模块:用于根据所述文件拓展名确定数据信息对应的文件类别,其中,所述文件类别包括:视频类别、音频类别、通信数据类别、设备运行数据类别;
第二确定模块:用于若所述文件类别为视频类别,则对每一数据子信息进行视频识别,确定每一数据子信息对应的第一人员信息;视频类别的数据信息为工作人员进出矿山开采智能操作台的文件;
第三确定模块:用于若所述文件类别为音频类别,则针对每一数据子信息,对数据子信息进行语音识别,确定数据子信息对应的第二人员信息,并获取第二人员信息中每一人员信息对应的语音内容;音频类别的数据信息为在矿山开采智能操作台上收集得到的;
提取模块:用于对所述语音内容进行关键词提取,得到第二人员信息中每一人员信息对应的关键词;关键词为与矿山工程相关或工作量化考核相关的词;
第一判断模块:用于若所述文件类别为通信数据类别,则针对每一数据子信息,判断数据子信息是否为异常信息,若数据子信息不为异常信息,则将数据子信息进行删除;其中,根据获取的历史数据中生成正常数据参考模板,当数据子信息与正常数据参考模板不同时,确定数据子信息为异常信息;
第二判断模块:用于若所述文件类别为设备运行数据类别,则针对每一数据子信息,判断数据子信息是否为故障数据信息,若数据子信息不为故障数据信息,则对数据子信息进行删除;
文件生成模块:用于根据处理后的数据信息对应的每一数据子信息对应的编号以及每一数据子信息对应的第一人员信息/第二人员信息及对应的关键词/异常信息/故障数据信息,生成目标文件并进行存储;
等级确定模块:用于针对目标文件,根据数据子信息对应的编号确定目标文件对应的时间段;
根据所述目标文件对应的时间段与等级对应关系确定目标文件的等级,其中,等级对应关系为不同时间段与不同等级的对应关系;人员工作时间段对应的等级为重要,人员休息时间段对应的等级为一般;
将所述目标文件以及目标文件的等级发送至显示平台进行显示;
删除模块:用于获取当前时间;
根据所述目标文件的等级确定目标文件的保存时间;
根据所述当前时间与所述保存时间确定删除时间,并根据所述删除时间生成删除指令,以使在时间达到删除时间时,删除目标文件。
7.一种电子设备,其特征在于,包括:
至少一个处理器;
存储器;
至少一个应用程序,其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行,所述至少一个应用程序配置用于:执行权利要求1~5任一项所述的数据存储方法。
8.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令所述计算机执行权利要求1~5任一项所述的数据存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310578398.6A CN116303296B (zh) | 2023-05-22 | 2023-05-22 | 一种数据存储方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310578398.6A CN116303296B (zh) | 2023-05-22 | 2023-05-22 | 一种数据存储方法、装置、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116303296A CN116303296A (zh) | 2023-06-23 |
CN116303296B true CN116303296B (zh) | 2023-08-25 |
Family
ID=86785341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310578398.6A Active CN116303296B (zh) | 2023-05-22 | 2023-05-22 | 一种数据存储方法、装置、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116303296B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061426A (ja) * | 2008-09-04 | 2010-03-18 | Nikon Corp | 撮像装置およびキーワード作成プログラム |
CN106528842A (zh) * | 2016-11-11 | 2017-03-22 | 哈尔滨工程大学 | 一种漏磁检测数据重要数据段筛选方法 |
CN109240998A (zh) * | 2018-08-24 | 2019-01-18 | 网宿科技股份有限公司 | 可配置的文件解析方法 |
CN111368737A (zh) * | 2020-03-04 | 2020-07-03 | 开放智能机器(上海)有限公司 | 一种自动分析员工工作行为的***及方法 |
CN112487248A (zh) * | 2020-12-01 | 2021-03-12 | 深圳市易平方网络科技有限公司 | 视频文件的标签生成方法、装置、智能终端及存储介质 |
CN112653902A (zh) * | 2019-10-10 | 2021-04-13 | 阿里巴巴集团控股有限公司 | 说话人识别方法、装置及电子设备 |
CN112990076A (zh) * | 2021-04-01 | 2021-06-18 | 郭杰丽 | 一种基于人工智能的数据整理方法和装置 |
CN113065018A (zh) * | 2021-04-13 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 一种音视频的索引库创建和检索方法、装置及电子设备 |
CN113890822A (zh) * | 2021-10-21 | 2022-01-04 | 杭州逗酷软件科技有限公司 | 日志处理方法、日志处理装置、存储介质与电子设备 |
CN115208873A (zh) * | 2022-06-14 | 2022-10-18 | 北京快乐茄信息技术有限公司 | 文件传输方法、装置及存储介质 |
-
2023
- 2023-05-22 CN CN202310578398.6A patent/CN116303296B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010061426A (ja) * | 2008-09-04 | 2010-03-18 | Nikon Corp | 撮像装置およびキーワード作成プログラム |
CN106528842A (zh) * | 2016-11-11 | 2017-03-22 | 哈尔滨工程大学 | 一种漏磁检测数据重要数据段筛选方法 |
CN109240998A (zh) * | 2018-08-24 | 2019-01-18 | 网宿科技股份有限公司 | 可配置的文件解析方法 |
CN112653902A (zh) * | 2019-10-10 | 2021-04-13 | 阿里巴巴集团控股有限公司 | 说话人识别方法、装置及电子设备 |
CN111368737A (zh) * | 2020-03-04 | 2020-07-03 | 开放智能机器(上海)有限公司 | 一种自动分析员工工作行为的***及方法 |
CN112487248A (zh) * | 2020-12-01 | 2021-03-12 | 深圳市易平方网络科技有限公司 | 视频文件的标签生成方法、装置、智能终端及存储介质 |
CN112990076A (zh) * | 2021-04-01 | 2021-06-18 | 郭杰丽 | 一种基于人工智能的数据整理方法和装置 |
CN113065018A (zh) * | 2021-04-13 | 2021-07-02 | 杭州海康威视数字技术股份有限公司 | 一种音视频的索引库创建和检索方法、装置及电子设备 |
CN113890822A (zh) * | 2021-10-21 | 2022-01-04 | 杭州逗酷软件科技有限公司 | 日志处理方法、日志处理装置、存储介质与电子设备 |
CN115208873A (zh) * | 2022-06-14 | 2022-10-18 | 北京快乐茄信息技术有限公司 | 文件传输方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116303296A (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107657048B (zh) | 用户识别方法及装置 | |
CN112162965B (zh) | 一种日志数据处理的方法、装置、计算机设备及存储介质 | |
CN111368043A (zh) | 基于人工智能的事件问答方法、装置、设备及存储介质 | |
US8422786B2 (en) | Analyzing documents using stored templates | |
CN107085568B (zh) | 一种文本相似度判别方法及装置 | |
CN111737443B (zh) | 答案文本的处理方法和装置、关键文本的确定方法 | |
CN109472540B (zh) | 业务处理方法和装置 | |
CN110347900B (zh) | 一种关键词的重要度计算方法、装置、服务器及介质 | |
CN108846098B (zh) | 一种信息流摘要生成及展示方法 | |
CN105550308B (zh) | 一种信息处理方法,检索方法及电子设备 | |
US11437038B2 (en) | Recognition and restructuring of previously presented materials | |
CN113010542B (zh) | 业务数据处理方法、装置、计算机设备及存储介质 | |
CN112436943B (zh) | 基于大数据的请求去重方法、装置、设备及存储介质 | |
CN116303296B (zh) | 一种数据存储方法、装置、电子设备及介质 | |
CN117195886A (zh) | 基于人工智能的文本数据处理方法、装置、设备及介质 | |
CN117251490A (zh) | 数据查询方法、装置、计算机设备及存储介质 | |
CN107168627B (zh) | 用于触摸屏的文本编辑方法和装置 | |
CN114912003A (zh) | 文档搜索方法、装置、计算机设备及存储介质 | |
CN113420042A (zh) | 基于演示文稿的数据统计方法、装置、设备及存储介质 | |
CN111427917A (zh) | 搜索数据处理方法及相关产品 | |
CN112069807A (zh) | 文本数据的主题提取方法、装置、计算机设备及存储介质 | |
CN106411975B (zh) | 一种数据输出方法、装置及计算机可读取存储介质 | |
CN110908958B (zh) | 一种文件处理方法、装置、终端及存储介质 | |
CN117093717B (zh) | 一种相似文本聚合方法、装置、设备及其存储介质 | |
CN106777403B (zh) | 信息推送方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |