CN110457267B - 从积压文件中提取新数据的方法、装置、设备及储存介质 - Google Patents

Abstract

本发明实施例公开了从积压文件中提取新数据的方法、装置、设备及储存介质，包括获取指定文件夹中全部的文件名；按照所述文件名的生成时间由旧到新进行排序，形成列表；识别列表中的实时数据文件，当实时数据文件的数量大于等于第一设定值时，将实时数据文件按照文件名的生成时间由新到旧进行排序，确定最新实时数据文件并获取与最新实时数据文件相对应的最新配置数据；将最新实时数据文件及最新配置数据封装组成最新实时数据字典结构，***实时数据表，则在进行实时数据的展示时将会展示实时数据表中的最新数据，避免由于大量堆积的文件同时传输过来出现实时数据的展示滞后，提高了联网***的可用性。

Description

从积压文件中提取新数据的方法、装置、设备及储存介质

技术领域

本发明实施例涉及信息处理技术领域，具体涉及一种从积压文件中提取新数据的方法、装置、设备及储存介质，尤其是一种基于煤矿安全、人员、产量联网***从积压文件中提取新数据的方法、装置、设备及储存介质。

背景技术

目前，现有技术中煤矿矿端安全、人员、产量监测***生成的文件，通过FTP(FileTransfer Protoco，文件传输协议)方式传送到采集服务器中，数据主要为实时文件及各种配置文件，实时文件的数据生产周期一般为：安全30秒、人员120秒、产量300秒，配置文件和报警文件等生成周期不定，当配置发生变化或者发生报警时生成。

实时数据能够实时的展现，成了联网***的重中之重。但是由于网络中断等原因，煤矿生成的文件无法及时通过FTP传输到采集传输服务器，当网络通畅以后，大量堆积的文件同时传输过来，如果按照文件生成的时间顺序进行采集，实时数据的展示必定会有滞后性，降低了联网***的可用性。

发明内容

本发明实施例的目的在于提供一种从积压文件中提取新数据的方法，用以解决现有技术中由于网络中断后矿端生成的大量堆积的文件同时传输而导致实时数据的展示滞后的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种从积压文件中提取新数据的方法，该方法包括：

获取指定文件夹中全部的文件名；

按照所述文件名的生成时间由旧到新进行排序，形成列表；

识别所述列表的实时数据文件，当所述实时数据文件的数量大于或等于第一设定值时，将所述实时数据文件按照文件名的生成时间由新到旧进行排序，确定最新实时数据文件并获取与所述最新实时数据文件相对应的最新配置数据；

将所述最新实时数据文件及所述最新配置数据封装组成最新实时数据字典结构，并***实时数据表。

进一步地，方法还包括：

当所述实时数据文件的数量小于第一设定值时，将所述实时数据文件与所述实时数据文件相对应的配置数据封装组成实时数据字典结构，***所述实时数据表。

进一步地，获取与所述最新实时数据文件相对应的最新配置数据具体包括：

判断所述指定文件夹中是否存在最新配置文件，若是，则从所述指定文件夹中获取所述最新配置文件，并将所述最新配置文件解析为最新配置数据，若否，则从配置数据表中获得所述最新配置数据。

进一步地，还包括将除所述实时数据文件及相对应的所述配置数据分别按照由旧到新的顺序封装组成实时数据字典结构，存入历史数据表。

进一步地，所述***实时数据表具体包括：

删除所述实时数据表中已有的实时数据，并将所述最新实时数据字典结构***所述实时数据表。

进一步地，当处理到所述列表中的配置文件时，解析所述配置文件为配置数据，全部删除已有的配置数据表，***本次的所述配置数据。

进一步地，所述最新实时数据文件和所述最新配置文件均通过正则表达式获取。

第二方面，本发明实施例还提供了一种从积压文件中提取新数据的装置装置，该装置包括：

获取单元，用于获取指定文件夹中全部的文件名；

排序单元，用于按照所述文件名的生成时间由旧到新进行排序，形成列表；

识别单元，用于识别所述列表中的实时数据文件；

第一判断处理单元，用于当所述实时数据文件的数量大于等于第一设定值时，将所述实时数据文件按照文件名的生成时间由新到旧进行排序，确定最新实时数据文件并获取与所述最新实时数据文件相对应的最新配置数据；

存储单元，用于将所述最新实时数据文件及所述最新配置文件封装组成最新实时数据字典结构，并***实时数据表。

进一步地，还包括:

第二判断处理单元，用于当所述实时数据文件的数量小于第一设定值时，将所述实时数据文件与所述实时数据文件相对应的配置数据封装组成实时数据字典结构，***所述实时数据表。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行上面所述的方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上面所述的方法。

本发明实施例提供的技术方案至少具有如下优点：

本发明实施例提供的一种从积压文件中提取新数据的方法，通过识别实时数据文件，当实时数据文件的数量大于等于第一设定值时，通过将实时数据文件按照文件名的生成时间由新到旧进行排序，确定最新实时数据文件并获取与最新实时数据文件相对应的最新配置数据，并将最新实时数据文件及最新配置数据封装组成最新实时数据字典结构，***实时数据表，则在进行实时数据的展示时将会展示实时数据表中的最新数据，避免由于大量堆积的文件同时传输过来出现实时数据的展示滞后，提高了***的可用性。

附图说明

图1为本发明实施例提供的一种从积压文件中提取新数据的方法的步骤图；

图2为本发明实施例提供的一种从积压文件中提取新数据的方法的流程图；

图3为本发明实施例提供的一种从积压文件中提取新数据的装置的功能模块示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明实施例提供给了一种从积压文件中提取新数据的方法，如图1所示，包括：

S11、获取指定文件夹中全部的文件名；

S12、按照所述文件名的生成时间由旧到新进行排序，形成列表；

S13、识别列表中的实时数据文件，当所述实时数据文件的数量大于等于第一设定值时，将所述实时数据文件按照文件名的生成时间由新到旧进行排序，确定最新实时数据文件并获取与所述最新实时数据文件相对应的最新配置数据；

S14、将所述最新实时数据文件及所述最新配置数据封装组成最新实时数据字典结构，并***实时数据表。

本发明实施例提供的一种从积压文件中提取新数据的方法，通过识别实时数据文件，当实时数据文件的数量大于等于第一设定值时，通过将实时数据文件按照文件名的生成时间由新到旧进行排序，确定最新实时数据文件并获取与最新实时数据文件相对应的最新配置数据，并将最新实时数据文件及最新配置数据封装组成最新实时数据字典结构，***实时数据表，则在进行实时数据的展示时将会展示实时数据表中的最新数据，避免由于大量堆积的文件同时传输过来出现实时数据的展示滞后，提高了***的可用性。

其中，列表是所述文件名的生成时间由旧到新进行排序后的形成的文件名的列表。

在S13中，确定最新实时数据文件并获取与所述最新实时数据文件相对应的最新配置数据，具体为当列表中即指定文件夹中存在最新配置文件时，则从列表中获得最新配置文件，并将最新配置文件解析为最新配置数据，当列表中即指定文件夹中不存在最新配置文件时，则从配置数据表中获得最新配置数据。

在一些可选实施例中，方法还包括：

当所述实时数据文件的数量小于第一设定值时，将所述实时数据文件与所述实时数据文件相对应的配置数据封装组成实时数据字典结构，***所述实时数据表。其中，配置数据是从从配置数据表中获取的，将实时数据文件与配置数据封装组成数据字典结构，***实时数据表。

其中，当实时数据文件的数量小于第一设定值时，说明没有发生网络中断，此时不存在积压文件。

在一些可选实施例中，第一设定值为2，其中，当实时数据文件的数量大于等于2时，说明存在数据积压情况，此时最新实时数据文件为最新的实时数据文件，通过将最新实时数据文件和相对应的最新配置数据封装组成最新实时数据字典结构后，***实时数据表，则可在监管平台的实时数据展示中展示最新的数据，避免滞后。

在一些可选实施例中，指定文件夹是指产量联网***文件夹，文件名包括如矿井产量文件，输送机产量文件，超产报警文件、产量初始化文件等。

在一些可选实施例中，获取与所述最新实时数据文件相对应的最新配置数据具体包括：

判断所述指定文件夹中是否存在最新配置文件，若是，则从所述指定文件夹中获取所述最新配置文件，并将最新配置文件解析为最新配置数据，若否，则从配置数据表中获得所述最新配置数据。

这个过程确定了如何获得最新配置数据的流程，通过这样的设置方式，可方便获取最新配置数据。

在一些可选实施例中，还包括将所述实时数据文件及相对应的所述配置数据分别按照由旧到新的顺序封装组成实时数据字典结构，存入历史数据表。

通过这种方法，可确保数据的完整性，将所有的实时数据文件和相应的配置数据均进入历史数据表保存，方便查看。

在一些可选实施例中，所述***实时数据表具体包括：

删除所述实时数据表中已有的实时数据，并将所述最新实时数据字典结构***所述实时数据表。

通过这种设置方式，可确保实时数据表显示的高效性和及时性。

在一些可选实施例中，当处理到所述列表中的配置文件时，解析所述配置文件为配置数据，全部删除已有的配置数据表，***本次的所述配置数据。

在一些可选实施例中，所述最新实时数据文件和所述最新配置文件均通过正则表达式获取。

通过正则表达式获取最新实时数据文件和最新配置文件，其中，最新实时数据文件和最新配置数据都是最新的数据，可使得监管平台在显示实时数据时，均展示的最新数据，不存在滞后性。

如图2所示，从积压文件中提取新数据的方法具体为：

获取指定文件夹中全部的文件名；

按照所述文件名的生成时间由旧到新的顺序进行排序，形成列表；

通过正则表达式识别列表中的实时数据文件，每识别到一个，则实时数据文件计数变量加1；

判断实时数据文件的计数是否大于等于2，若是，则按照实时数据处理方法由新到旧排列实时数据文件后获得最新实时数据文件，若否，则将实时数据文件解析后和配置数据表中相应的配置数据组合封装成数据字典后，***历史数据表，同时，全部删除实时数据表中已有的数据，将数据字典全部***实时数据表中。

在“若是，则按照实时数据处理方法由新到旧排列实时数据文件后获得最新实时数据文件”之后，还包括判断列表中是否存在最新配置文件，若是，则解析最新配置文件为最新配置数据，并将最新实时数据文件和最新配置数字组合封装成最新数据字典结构；全部删除实时数据表中已有的数据，将最新数据字典结构***实时数据表中。

若列表中不存在最新配置文件，则判断配置数据表中是否存在最新配置数据，若存在，则将最新实时数据文件和最新配置数据组合封装成最新数据字典结构；全部删除实时数据表中已有的数据，将最新数据字典结构***实时数据表中，操作数据表完成。

若配置数据表中不存在最新配置数据，则生成错误日志：缺少最新配置数据，将最新实时数据文件解析封装成只有最新实时数据文件的字典，全部删除实时数据表中已有的数据，将只有最新实时数据文件的字典全部***实时数据表中，操作数据表完成。

其中，当实时数据文件的计数小于2时，说明没有发生数据积压，按由旧到新的顺序处理，当处理到配置文件时，解析配置文件为配置数据，全部删除上一批配置数据表，即已有的配置数据表，***本次的配置数据；当处理实时数据文件时，将实时数据文件与配置数据表中相应的的配置数据组合封装成数据字典后，***历史数据表。

当实时数据文件的计数大于等于2时，说明发生了数据积压，则判断积压的文件中，即列表中是否存在配置文件，如果存在，获取最新配置文件并将其解析成最新配置数据，与实时数据文件组合封装成最新数据字典结构；如果列表中不存在配置文件，则需要从配置数据表中获取最新配置数据，与实时数据文件组合封装成最新数据字典结构。

通过采用这种方法，可确保数据的完整性。

下面为具体的应用情景。

按照山西省地方标准DB14规范安全***，假定实时数据是按照30秒一批来传送，配置数据是配置发生了变化才会传送，例如有一批数据积压，煤矿编号是00400007，从指定文件夹获取全部的文件名，由旧到新排序为：00400007AQSS20190711163930.xml，004000007AQMC20190711164000.xml，00400007AQSS20190711164000.xml，004000007AQMC20190711164020.xml，004000007AQSS20190711164030.xml。其中，AQSS为实时数据文件，AQMC为配置文件，此时实时数据文件的个数大于等于2(具体为3)，那么历史数据处理方法将该数据列表由旧到新逐个处理，处理完一个文件，会将这个文件从文件夹中移除，实时数据处理方法将该数据列表由新到旧排列以后，获取到最新的004000007AQSS20190711164030.xml，即最新实时数据，然后在列表中获取最新的配置文件即004000007AQMC20190711164020.xml并将其解析成最新配置数据，将最新实时数据文件和最新配置数据组合封装成最新实时数据字典，存放到实时数据表中。

再如另一种情况，全部的文件名由旧到新排序为：00400007AQSS20190711163930.xml，00400007AQSS20190711164000.xml，004000007AQSS20190711164030.xml。此时文件列表中并没有配置文件，此时实时数据文件的个数大于等于2(具体为3)，那么历史数据处理方法将该数据列表由旧到新逐个处理，处理完一个文件，会将这个文件从文件夹移除，实时数据处理方法将该数据列表由新到旧排列以后，获取最新的实时数据文件004000007AQSS20190711164030.xml，然后从历史数据表查询已经保存的最新的配置数据即最新配置数据，将最新实时数据文件和最新配置数据组合封装成最新实时数据字典，***实时数据表中，若从历史数据表中无法查到最新配置数据，则生成错误日志：缺少最新配置数据，将最新实时数据文件004000007AQSS20190711164030.xml解析封装成只有最新实时数据文件的字典，并全部删除实时数据表中已有的数据，将只有最新实时数据文件的字典全部***实时数据表中。

本发明实施例还提供了一种从积压文件中提取新数据的装置，如图3所示，包括：

获取单元，用于获取指定文件夹中全部的文件名；

排序单元，用于按照所述文件名的生成时间由旧到新进行排序，形成列表；

识别单元，用于识别列表中的实时数据文件；

第一判断处理单元，用于当所述实时数据文件的数量大于等于第一设定值时，将所述实时数据文件按照文件名的生成时间由新到旧进行排序，确定最新实时数据文件并获取与所述最新实时数据文件相对应的最新配置数据；

存储单元，用于将所述最新实时数据文件及所述最新配置数据封装组成最新实时数据字典结构，***实时数据表。

在一些可选实施例中，装置还包括:

第二判断处理单元，用于当所述实时数据文件的数量小于第一设定值时，将所述实时数据文件与所述实时数据文件相对应的配置数据封装组成实时数据字典结构，***所述实时数据表。

在一些可选实施例中，装置还包括第三判断处理单元，用于判断配置数据表中是否存在最新配置数据，若是，则将最新实时数据文件和最新配置数据组合封装成最新数据字典结构，若否，则生成错误日志：缺少最新配置数据。

在一些可选实施例中，装置还包括最新实时数据文件处理单元，用于将最新实时数据文件解析封装成只有最新实时数据文件的字典，并全部删除实时数据表中已有的数据，将只有最新实时数据文件的字典全部***实时数据表中。

本发明实施例还提供了一种电子设备，所述电子设备包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行上面所述的方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上面所述的方法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable GateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。

易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种从积压文件中提取新数据的方法，其特征在于，包括：

获取指定文件夹中全部的文件名；

按照所述文件名的生成时间由旧到新进行排序，形成列表；

识别所述列表的实时数据文件，当所述实时数据文件的数量大于或等于第一设定值时，将所述实时数据文件按照文件名的生成时间由新到旧进行排序，确定最新实时数据文件并获取与所述最新实时数据文件相对应的最新配置数据；

将所述最新实时数据文件及所述最新配置数据封装组成最新实时数据字典结构，并***实时数据表；

获取与所述最新实时数据文件相对应的最新配置文件数据具体包括：

判断所述指定文件夹中是否存在最新配置文件，若是，则从所述指定文件夹中获取所述最新配置文件，并将所述最新配置文件解析为最新配置数据，若否，则从配置数据表中获得所述最新配置数据。

2.根据权利要求1所述的从积压文件中提取新数据的方法，其特征在于，还包括：

当所述实时数据文件的数量小于第一设定值时，将所述实时数据文件与所述实时数据文件相对应的配置数据封装组成实时数据字典结构，***所述实时数据表。

3.根据权利要求1所述的从积压文件中提取新数据的方法，其特征在于，还包括将所述实时数据文件及相对应的所述配置数据分别按照由旧到新的顺序封装组成实时数据字典结构，存入历史数据表。

4.根据权利要求3所述的从积压文件中提取新数据的方法，其特征在于，所述***实时数据表具体包括：

删除所述实时数据表中已有的实时数据，并将所述最新实时数据字典结构***所述实时数据表。

5.根据权利要求2所述的从积压文件中提取新数据的方法，其特征在于，当处理到所述列表中的配置文件时，解析所述配置文件为配置数据，全部删除已有的配置数据表，***本次的所述配置数据。

6.根据权利要求1所述的从积压文件中提取新数据的方法，其特征在于，所述最新实时数据文件和所述最新配置文件均通过正则表达式获取。

7.一种从积压文件中提取新数据的装置，其特征在于，包括：

获取单元，用于获取指定文件夹中全部的文件名；

排序单元，用于按照所述文件名的生成时间由旧到新进行排序，形成列表；

识别单元，用于识别所述列表中的实时数据文件；

第一判断处理单元，用于当所述实时数据文件的数量大于或等于第一设定值时，将所述实时数据文件按照文件名的生成时间由新到旧进行排序，确定最新实时数据文件并获取与所述最新实时数据文件相对应的最新配置数据；

存储单元，用于将所述最新实时数据文件及所述最新配置数据封装组成最新实时数据字典结构，并***实时数据表；

所述装置还包括第三判断处理单元，用于判断配置数据表中是否存在最新配置数据，若是，则将最新实时数据文件和最新配置数据组合封装成最新数据字典结构，若否，则生成错误日志：缺少最新配置数据。

8.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器和至少一个存储器；

所述存储器用于存储一个或多个程序指令；

所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1至6中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至6中任一所述的方法。

Images