CN116644031B - 不同格式的煤矿水害数据统一标准化的方法及*** - Google Patents

Abstract

本发明提供了不同格式的煤矿水害数据统一标准化的方法及***，其方法包括：基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，并基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据；基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，并基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式；将目标统一格式的煤矿水害数据进行分类存储，并基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出。提高了数据转换的灵活性和智能性，同时也提高了数据格式转换的效率以及准确度，便于对不同内容和结构的数据文件进行统一管理和分析。

Description

不同格式的煤矿水害数据统一标准化的方法及***

技术领域

本发明涉及数据处理技术领域，特别涉及一种不同格式的煤矿水害数据统一标准化的方法及***。

背景技术

煤矿水害指的是凡影响生产、威胁采掘工作面或矿井安全的，增加吨煤成本，使矿井局部或全部被淹没的水灾，由于煤矿水害涉及多个不同的方面，故相应传感器采集到的煤矿水害数据的内容和格式五花八门，对煤矿水害数据的统一管理和分析造成了巨大影响；

目前，在对煤矿水害数据进行统一标准操作时大都采用人为分析，根据行业要求对工作人员对煤矿水害数据统一标准化操作进行限定和指引，而且是专人专项，由于是人为参与管理，容易造成煤矿水害数据格式统一错误，且不同同时对多种不同类别和不同格式的煤矿水害数据进行相应的格式统一操作，大大降低了工作的效率以及准确度；

因此，为了克服上述缺陷，本发明提供了一种不同格式的煤矿水害数据统一标准化的方法及***。

发明内容

本发明提供一种不同格式的煤矿水害数据统一标准化的方法及***，用以 。

本发明提供了一种不同格式的煤矿水害数据统一标准化的方法，其特征在于，包括：

步骤1：基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，并基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据；

步骤2：基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，并基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式；

步骤3：将目标统一格式的煤矿水害数据进行分类存储，并基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出。

优选的，一种不同格式的煤矿水害数据统一标准化的方法，步骤1中，基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，包括：

获取服务器本地目录，并基于服务器本地目录确定待调取文件源，且基于待调取文件源生成文件调取请求；

获取对煤矿水害数据文件的调取任务，并对调取任务进行解析，得到对煤矿水害数据文件的调取频率，且基于调取频率对预设时钟发生器进行配置；

基于配置结果产生周期性脉冲，并将周期性脉冲与文件调取请求进行结合，得到周期性文件调取请求，且基于调取频率将周期性文件调取请求发送至服务器；

基于发送结果从服务器中周期性获取不同类别文件源的原始煤矿水害数据文件。

优选的，一种不同格式的煤矿水害数据统一标准化的方法，步骤1中，基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据，包括：

获取得到的原始煤矿水害数据文件，并基于文件属性对原始煤矿水害数据文件进行解析，得到原始煤矿水害数据文件中的基础文件和实时数据文件；

对实时数据文件进行分析，得到数据结构特征，并基于数据结构特征得到实时数据文件中不同类型数据在实时数据文件中的目标位置；

基于目标位置对原始煤矿水害数据文件中的煤矿水害数据进行定位，并对定位得到的煤矿水害数据进行读取。

优选的，一种不同格式的煤矿水害数据统一标准化的方法，对定位得到的煤矿水害数据进行读取，包括：

获取读取到的煤矿水害数据，并对煤矿水害数据进行解析，得到煤矿水害数据中各数据对应的字符标签以及煤矿水害数据中的段落标签；

基于字符标签对各数据的字符值进行确定，同时，基于段落标签对煤矿水害数据中的段落值进行确定，并当字符值和段落值为空时，则判定当前数据和当前段落为空白字符和空行，且基于预设剔除规则对空白字符和空行进行剔除；

基于预设上下文逻辑规则对空白字符和空行剔除后得到的煤矿水害数据进行校验，并基于校验结果确定煤矿水害数据中的丢失及失真数据；

对丢失及失真数据的前后目标数据进行分析，并基于分析结果得到丢失及失真数据处的行文逻辑以及行文字段值，且基于行文逻辑以及行文字段值对丢失及失真数据进行补充和修复；

基于补充和修复结果得到最终的煤矿水害数据。

优选的，一种不同格式的煤矿水害数据统一标准化的方法，步骤2中，基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，包括：

获取得到的煤矿水害数据，并基于配置的文件解析规则对煤矿水害数据进行解析，得到煤矿水害数据中的目标字符集合，其中，目标字符集合包括分割字符、文件体分隔符、换行分隔字符和结束字符；

基于分隔符对煤矿水害数据进行第一分割，并基于换行分隔符和结束字符对第一分割后的煤矿水害数据进行分割换行，得到子煤矿水害数据；

对子煤矿水害数据中的元数据进行读取，并基于原始煤矿水害数据文件的文件头和文件体分隔符对子煤矿水害数据进行第二分割，得到煤矿水害数据字段；

提取煤矿水害数据字段的数据特征，并基于数据特征从预设数据库中匹配目标中文字段备注、备用字段以及默认值；

将目标中文字段备注、备用字段以及默认值与煤矿水害数据字段进行关联，并基于预设显示界面对关联结果进行显示，且基于显示结果完成对煤矿水害数据的数据格式化处理。

优选的，一种不同格式的煤矿水害数据统一标准化的方法，步骤2中，基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式，包括：

获取管理终端对煤矿水害数据格式的目标要求，并基于目标要求确定预期的煤矿水害数据统一格式；

对预期的煤矿水害数据统一格式进行解析，得到不同的原始煤矿水害数据格式与预期的煤矿水害数据统一格式之间的格式映射关系，并基于格式映射关系确定格式转换特征；

基于格式转换特征在预设格式配置页面调取目标代码块，并基于预设格式配置页面将目标代码块进行流程适配，得到格式映射规则；

构建分布式格式转换线程，并将格式映射规则在分布式格式转换线程中进行部署，且基于部署结果得到目标分布式格式转换线程；

确定目标分布式格式转换线程中的线程数量，并基于线程数量构建数据上传队列，且将获取到的不同类别文件源的煤矿水害数据根据线程数量平均上传至数据上传队列；

基于上传结果将不同数据上传队列中的煤矿水害数据同步上传至目标分布式格式转换线程进行格式转换，完成将不同原始格式的煤矿水害数据转换为目标统一格式。

优选的，一种不同格式的煤矿水害数据统一标准化的方法，获取管理终端对煤矿水害数据格式的目标要求，包括：

若管理终端对煤矿水害数据格式无要求时，获取基准格式转换模板，并对基准格式转换模板的工作条件进行配置；

基于配置结果对基准格式转换模型进行接口适配，并将接口与工作条件进行关联；

当管理终端对煤矿水害数据格式无要求时，判定满足工作条件，并基于接口将不同原始格式的煤矿水害数据输入基准格式转换模板进行处理，得到目标统一格式的煤矿水害数据。

优选的，一种不同格式的煤矿水害数据统一标准化的方法，步骤3中，将目标统一格式的煤矿水害数据进行分类存储，包括：

获取得到的目标统一格式的煤矿水害数据，并基于不同类别文件源确定分类标签；

基于分类标签对目标统一格式的煤矿水害数据进行聚类处理，得到目标统一格式的煤矿水害数据组，并基于分类标签在预设缓存空间对每一目标统一格式的煤矿水害数据组设置存储空间；

确定每一目标统一格式的煤矿水害数据组的数据量，并基于数据量对存储空间的字节存储量进行适配，且基于适配结果将每一目标统一格式的煤矿水害数据组在对应的存储空间进行存储，完成对目标统一格式的煤矿水害数据的分类存储。

优选的，一种不同格式的煤矿水害数据统一标准化的方法，步骤3中，基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出，包括：

获取数据获取终端发送的调取请求，并对调取请求进行解析，确定待调取数据标识；

基于待调取数据标识对预设存储空间中的煤矿水害数据进行检索，并基于检索确定待调取煤矿水害数据；

对待调取煤矿水害数据进行压缩打包，并将待调取数据标识作为数据包包头添加至压缩打包后的数据包中，得到目标输出数据包；

基于数据传输链路将目标输出数据包反馈至数据获取终端，完成对煤矿水害数据的统一格式输出。

本发明提供了一种不同格式的煤矿水害数据统一标准化的***，包括：

数据获取模块，用于基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，并基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据；

格式转换模块，用于基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，并基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式；

数据存储及输出模块，用于将目标统一格式的煤矿水害数据进行分类存储，并基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出。

与现有技术相比，本发明的有益效果如下：

1. 通过对不同类别和不同格式的煤矿水害数据进行格式转换处理，提高了数据转换的灵活性和智能性，同时也提高了数据格式转换的效率以及准确度，能够适应各类原始数据格式，自动将数据转换为统一格式，从而便于对不同内容和结构的数据文件进行统一管理和分析，提高了对不同格式数据的管理效果。

2. 通过对管理终端煤矿水害数据格式的目标要求进行解析，实现对不同的原始煤矿水害数据格式与预期的煤矿水害数据统一格式之间的格式映射关系进行准确有效的确定，其次，根据格式映射关系在预设格式配置页面构建相应的格式映射规则，并将得到格式映射规则在构建的分布式格式转换线程中进行部署，最后实现通过得到的目标分布式格式转换线程同步对不同类别、不同格式的煤矿水害数据进行统一的格式转换操作，提高了数据转换的灵活性和智能性，同时也提高了数据格式转换的效率以及准确度，能够适应各类原始数据格式，自动将数据转换为统一格式，从而便于对不同内容和结构的数据文件进行统一管理和分析。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种不同格式的煤矿水害数据统一标准化的方法的流程图；

图2为本发明实施例中一种不同格式的煤矿水害数据统一标准化的方法中步骤1的流程图；

图3为本发明实施例中一种不同格式的煤矿水害数据统一标准化的***的结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1

本实施例提供了一种不同格式的煤矿水害数据统一标准化的方法，如图1所示，包括：

步骤1：基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，并基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据；

步骤2：基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，并基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式；

步骤3：将目标统一格式的煤矿水害数据进行分类存储，并基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出。

该实施例中，服务器本地目录是提前设定好的，是服务器中用于记录不同类别数据源的图表，目的是便于根据服务器本地目录对相应类别的文件源进行调取。

该实施例中，原始煤矿水害数据文件指的是从服务器中调取到的不同类别的传感器检测到的原始数据对应的文件，且不同类别文件源对应的文件中记录的数据不同。

该实施例中，文件属性是用于表征原始煤矿水害数据文件的类型以及记录的数据类型和数据在文件中存在的形式等。

该实施例中，煤矿水害数据指的是从原始煤矿水害数据文件中提取出来的与煤矿水害相关的具体数据，其中煤矿水害指的是生产、威胁采掘工作面或矿井安全的，增加吨煤成本使矿井局部或全部被淹没的水灾。

该实施例中，文件解析规则指的是对文件中包含的数据进行解析，目的是对文件中的数据进行分词和换行操作，从而便于将数据的格式进行统一。

该实施例中，数据格式化处理指的是将煤矿水害数据进行分行操作以及分词操作，目的是为了进行格式统一。

该实施例中，格式映射规则是用于表征将不同类别的原始煤矿水害数据进行格式统一的规则。

该实施例中，原始格式指的是传感器采集到的最原始的数据格式。

该实施例中，目标统一格式指的是将不同原始格式的煤矿水害数据转换为同一种格式，从而便于进行相应的分析和管理操作。

该实施例中，调取请求是数据获取终端发送的，用于从数据存储空间中调取相应的数据。

该实施例中，待调取煤矿水害数据指的是数据获取终端需要调取的具体的煤矿水害数据。

上述技术方案的有益效果是：通过对不同类别和不同格式的煤矿水害数据进行格式转换处理，提高了数据转换的灵活性和智能性，同时也提高了数据格式转换的效率以及准确度，能够适应各类原始数据格式，自动将数据转换为统一格式，从而便于对不同内容和结构的数据文件进行统一管理和分析，提高了对不同格式数据的管理效果。

实施例2

在实施例1的基础上，本实施例提供了一种不同格式的煤矿水害数据统一标准化的方法，如图2所示，步骤1中，基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，包括：

步骤101：获取服务器本地目录，并基于服务器本地目录确定待调取文件源，且基于待调取文件源生成文件调取请求；

步骤102：获取对煤矿水害数据文件的调取任务，并对调取任务进行解析，得到对煤矿水害数据文件的调取频率，且基于调取频率对预设时钟发生器进行配置；

步骤103：基于配置结果产生周期性脉冲，并将周期性脉冲与文件调取请求进行结合，得到周期性文件调取请求，且基于调取频率将周期性文件调取请求发送至服务器；

步骤104：基于发送结果从服务器中周期性获取不同类别文件源的原始煤矿水害数据文件。

该实施例中，待调取文件源指的是需要调取的文件类型。

该实施例中，文件调取请求是根据待调取文件源生成的，用于从服务器中调取相应的原始煤矿水害数据文件。

该实施例中，调取任务是用于表征对煤矿水害数据的调取数量以及需要调取的数据类型等。

该实施例中，调取频率是用于表征在单位时间内对煤矿水害数据文件的调取次数。

该实施例中，预设始终发生器是提前设定好的，用于产生相应的脉冲信号。

该实施例中，周期性脉冲是预设时钟发生器根据调取频率产生的周期性信号，目的是自动从服务器中调取相应的原始煤矿水害数据文件。

该实施例中，周期性文件调取请求是将周期性脉冲与文件调取请求结合后得到的，用于周期性从服务器中调取相应的文件，从而实现对文件的自动获取。

上述技术方案的有益效果是：通过确定待调取文件源，实现对文件调取请求进行准确有效的生成，其次，通过对调取任务进行分析，实现对文件的调取频率进行锁定，最后，根据调取频率对预设时钟发生器进行配置，并将配置后产生的周期性脉冲与文件调取请求进行结合，从而实现周期性从服务器中获取不同类别文件的原始煤矿水害数据文件，为进行数据格式统一操作提供了便利与保障。

实施例3

在实施例1的基础上，本实施例提供了一种不同格式的煤矿水害数据统一标准化的方法，步骤1中，基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据，包括：

获取得到的原始煤矿水害数据文件，并基于文件属性对原始煤矿水害数据文件进行解析，得到原始煤矿水害数据文件中的基础文件和实时数据文件；

对实时数据文件进行分析，得到数据结构特征，并基于数据结构特征得到实时数据文件中不同类型数据在实时数据文件中的目标位置；

基于目标位置对原始煤矿水害数据文件中的煤矿水害数据进行定位，并对定位得到的煤矿水害数据进行读取。

该实施例中，基础文件是不同类别的传感器在工作时产生的用于区分设备类别的文件信息，与实际采集的煤矿水害数据无关。

该实施例中，实时数据文件是用于记录采集到的煤矿水害数据，从而便于对不同格式的煤矿水害数据进行统一。

该实施例中，数据结构特征是用于表征不同类别的原始煤矿水害数据文件中包含的具体数据以及不同数据之间的关联关系等。

该实施例中，目标位置是用于记录不同类型的数据在相应文件中所处的位置，目的是为了对原始煤矿水害数据文件中的煤矿水害数据进行准确定位。

上述技术方案的有益效果是：通过对得到的原始煤矿水害数据文件进行解析，实现对数据结构特征进行准确有效的确定，其次，根据数据结构特征对原始煤矿水害数据文件中不同类型数据的位置进行定位，最后，根据定位结果对原始煤矿水害数据文件中的煤矿水害数据进行有效的读取，从而便于对不同格式的煤矿水害数据进行有序的格式统一操作，为提高数据格式统一的效率提供了保障。

实施例4

在实施例3的基础上，本实施例提供了一种不同格式的煤矿水害数据统一标准化的方法，对定位得到的煤矿水害数据进行读取，包括：

获取读取到的煤矿水害数据，并对煤矿水害数据进行解析，得到煤矿水害数据中各数据对应的字符标签以及煤矿水害数据中的段落标签；

基于字符标签对各数据的字符值进行确定，同时，基于段落标签对煤矿水害数据中的段落值进行确定，并当字符值和段落值为空时，则判定当前数据和当前段落为空白字符和空行，且基于预设剔除规则对空白字符和空行进行剔除；

基于预设上下文逻辑规则对空白字符和空行剔除后得到的煤矿水害数据进行校验，并基于校验结果确定煤矿水害数据中的丢失及失真数据；

对丢失及失真数据的前后目标数据进行分析，并基于分析结果得到丢失及失真数据处的行文逻辑以及行文字段值，且基于行文逻辑以及行文字段值对丢失及失真数据进行补充和修复；

基于补充和修复结果得到最终的煤矿水害数据。

该实施例中，字符标签是用于表征不同数据或者字符的符号。

该实施例中，段落标签是用于表征段落的符号，通过段落标签可对段落进行准确定锁定。

该实施例中，字符值是用于表征不同数据或字符是否有具体的内容。

该实施例中，段落值是用于表征当前段落是否有效，即该段落内是否有具体的数据内容。

该实施例中，预设剔除规则是提前设定好的，用于对空白字符和空行进行剔除，从而确保得到有效的煤矿水害数据。

该实施例中，预设上下文逻辑规则是提前设定好的，用于对煤矿水害数据中的数据内容完整性进行校验，目的是查找出煤矿水害数据中的丢失及失真数据。

该实施例中，前后目标数据指的是与丢失及失真数据相邻的前后数据，从而便于对丢失及失真数据进行相应的补充和修复。

该实施例中，行文逻辑指的是前后目标数据与丢失及失真数据之间的关联关系，从而便于进行相应的补充和修复操作。

该实施例中，行文字段值指的是丢失及失真数据本应表征的具体数据内容。

上述技术方案的有益效果是：通过对得到的煤矿水害数据进行分析，实现对煤矿水害数据中的空白字符、空行进行剔除以及对丢失及失真数据进行补充和修复操作，保障了读取到的煤矿水害数据的准确可靠性，也便于对煤矿水害数据进行统一的格式转换处理，从而便于对煤矿水害数据进行相应的管理操作。

实施例5

在实施例1的基础上，本实施例提供了一种不同格式的煤矿水害数据统一标准化的方法，步骤2中，基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，包括：

获取得到的煤矿水害数据，并基于配置的文件解析规则对煤矿水害数据进行解析，得到煤矿水害数据中的目标字符集合，其中，目标字符集合包括分割字符、文件体分隔符、换行分隔字符和结束字符；

基于分隔符对煤矿水害数据进行第一分割，并基于换行分隔符和结束字符对第一分割后的煤矿水害数据进行分割换行，得到子煤矿水害数据；

对子煤矿水害数据中的元数据进行读取，并基于原始煤矿水害数据文件的文件头和文件体分隔符对子煤矿水害数据进行第二分割，得到煤矿水害数据字段；

提取煤矿水害数据字段的数据特征，并基于数据特征从预设数据库中匹配目标中文字段备注、备用字段以及默认值；

将目标中文字段备注、备用字段以及默认值与煤矿水害数据字段进行关联，并基于预设显示界面对关联结果进行显示，且基于显示结果完成对煤矿水害数据的数据格式化处理。

该实施例中，目标字符集合指的是煤矿水害数据中包含的各种字符，具体包括分割字符、文件体分隔符、换行分隔字符和结束字符，其中，文件体分隔符用于将煤矿水害数据拆分为单个字段。

该实施例中，第一分割指的是将煤矿水害数据进行断句，从而便于进行分行操作，如对1XXXX8;XX煤矿；2021-12-09 01:34:59~100000111111MN1212123；0503；XX水仓；0；0.85；m³/min；2021-12-09 01:34:29~100000111111MN1212123；XX水仓；0；2.25;m³/min；2021-12-09 01:28:52~100000111111MN1212123；XX水仓外口；0；0.95；m³/min；2021-12-0901:33:41~ 格式化后为：1 : 1XXXX8；XX煤矿；2021-12-09 01:34:592 :1100000111111MN1212123；0503；XX水仓；0；0.85；m³/min；2021-12-09 01:34:29，3 :100000111111MN1212123;0503;XX水仓;0;2.25;m³/min;2021-12-09 01:28:52。

该实施例中，子煤矿水害数据指的是对煤矿水害数据进行分割换行后得到的每一行对应的煤矿水害数据。

该实施例中，元数据指的是每一行子煤矿水害数据中对应的具体数据内容或数据字符。

该实施例中，文件头是用于表征原始煤矿水害数据文件的开头。

该实施例中，第二分割指的是对子煤矿水害数据进行进一步拆分，从而得到相应的煤矿水害数据字段。

该实施例中，数据特征指的是不同煤矿水害数据字段的数据类型以及对应的具体数据内容。

该实施例中，预设数据库是提前设定好的，用于存储不同类型的煤矿水害数据字段对应目标中文字段备注、备用字段以及默认值。

该实施例中，预设显示界面是提前设定好的，用于对数据进行显示。

上述技术方案的有益效果是：通过对得到的煤矿水害数据进行解析，实现对煤矿水害数据中的目标字符集合进行准确有效的确定，其次，通过目标字符集合中各目标字符对煤矿水害数据进行相应的格式化操作，且对格式化操作后的数据添加目标中文字段备注、备用字段以及默认值，实现对煤矿水害数据进行有效的格式化处理，为进行相应的格式统一操作提供了便利与保障。

实施例6

在实施例1的基础上，本实施例提供了一种不同格式的煤矿水害数据统一标准化的方法，步骤2中，基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式，包括：

获取管理终端对煤矿水害数据格式的目标要求，并基于目标要求确定预期的煤矿水害数据统一格式；

对预期的煤矿水害数据统一格式进行解析，得到不同的原始煤矿水害数据格式与预期的煤矿水害数据统一格式之间的格式映射关系，并基于格式映射关系确定格式转换特征；

基于格式转换特征在预设格式配置页面调取目标代码块，并基于预设格式配置页面将目标代码块进行流程适配，得到格式映射规则；

构建分布式格式转换线程，并将格式映射规则在分布式格式转换线程中进行部署，且基于部署结果得到目标分布式格式转换线程；

确定目标分布式格式转换线程中的线程数量，并基于线程数量构建数据上传队列，且将获取到的不同类别文件源的煤矿水害数据根据线程数量平均上传至数据上传队列；

基于上传结果将不同数据上传队列中的煤矿水害数据同步上传至目标分布式格式转换线程进行格式转换，完成将不同原始格式的煤矿水害数据转换为目标统一格式。

该实施例中，目标要求指的是管理终端对煤矿水害数据格式的要求，具体可以是要求的具体数据格式，例如可以是：字段 + :: + 数据内容格式，如：bodyColumn1::100000111111MN1212123；0503。

该实施例中，预期的煤矿水害数据统一格式指的是管理终端需要获取到的数据格式。

该实施例中，格式映射关系是用于表征不同的原始煤矿水害数据格式与预期的煤矿水害数据统一格式之间的对应关系，从而便于根据映射关系对不同的原始煤矿水害数据格式进行格式统一操作。

该实施例中，格式转换特征指的是进行格式转换的具体方式以及具体步骤等。

该实施例中，预设格式配置页面是提前设定好的，用于对原始煤矿水害数据进行相应的格式统一操作。

该实施例中，目标代码块是根据格式转换特征直接获取的，免编码，通过对不同目标代码块进行协同，实现对数据格式转换流程进行有效的制定。

该实施例中，流程适配指的是将目标代码块按照执行逻辑进行关联，从而得到一套完整处理体系。

该实施例中，分布式格式转换线程是根据转换要求构建的，用于同时对多种不同类型的数据、不同格式的数据以及不同类别的文件进行相应的处理操作。

该实施例中，目标分布式格式转换线程指的是将得到的格式映射规则在构建的分布式格式转换线程中进行部署后得到的能够进行格式转换的流程。

该实施例中，数据上传队列指的是用于将不同格式的煤矿水害数据上传至目标分布式格式转换线程的载体。

上述技术方案的有益效果是：通过对管理终端煤矿水害数据格式的目标要求进行解析，实现对不同的原始煤矿水害数据格式与预期的煤矿水害数据统一格式之间的格式映射关系进行准确有效的确定，其次，根据格式映射关系在预设格式配置页面构建相应的格式映射规则，并将得到格式映射规则在构建的分布式格式转换线程中进行部署，最后实现通过得到的目标分布式格式转换线程同步对不同类别、不同格式的煤矿水害数据进行统一的格式转换操作，提高了数据转换的灵活性和智能性，同时也提高了数据格式转换的效率以及准确度，能够适应各类原始数据格式，自动将数据转换为统一格式，从而便于对不同内容和结构的数据文件进行统一管理和分析。

实施例7

在实施例6的基础上，本实施例提供了一种不同格式的煤矿水害数据统一标准化的方法，获取管理终端对煤矿水害数据格式的目标要求，包括：

若管理终端对煤矿水害数据格式无要求时，获取基准格式转换模板，并对基准格式转换模板的工作条件进行配置；

基于配置结果对基准格式转换模型进行接口适配，并将接口与工作条件进行关联；

当管理终端对煤矿水害数据格式无要求时，判定满足工作条件，并基于接口将不同原始格式的煤矿水害数据输入基准格式转换模板进行处理，得到目标统一格式的煤矿水害数据。

该实施例中，基准格式转换模板指的是***提供的模板，目的是实现自动对不同格式的煤矿水害数据进行统一格式转换操作。

该实施例中，工作条件指的是基准格式转换模板工作的环境和要求，其工作条件具体为管理终端对煤矿水害数据格式无要求时，则通过基准格式转换模板对不同类别原始煤矿水害数据文件内的煤矿水害数据进行格式统一操作。

该实施例中，接口适配指的是对基准格式转换模型添加接口，目的是为了对不同格式的煤矿水害数据进行接收。

上述技术方案的有益效果是：通过对管理终端对煤矿水害数据格式无要求时的格式转换流程进行解析，实现通过基准格式转换模板对不同格式的煤矿水害数据进行自动的格式统一操作，能够适应各类原始数据格式，自动将数据转换为统一格式，从而便于对不同内容和结构的数据文件进行统一管理和分析。

实施例8

在实施例1的基础上，本实施例提供了一种不同格式的煤矿水害数据统一标准化的方法，步骤3中，将目标统一格式的煤矿水害数据进行分类存储，包括：

获取得到的目标统一格式的煤矿水害数据，并基于不同类别文件源确定分类标签；

基于分类标签对目标统一格式的煤矿水害数据进行聚类处理，得到目标统一格式的煤矿水害数据组，并基于分类标签在预设缓存空间对每一目标统一格式的煤矿水害数据组设置存储空间；

确定每一目标统一格式的煤矿水害数据组的数据量，并基于数据量对存储空间的字节存储量进行适配，且基于适配结果将每一目标统一格式的煤矿水害数据组在对应的存储空间进行存储，完成对目标统一格式的煤矿水害数据的分类存储。

该实施例中，分类标签是根据不同类别文件源确定的，是用于对煤矿水害数据进行分类的依据和参考。

该实施例中，目标统一格式的煤矿水害数据组指的是根据分类标签对目标统一格式的煤矿水害数据进行分类操作后得到的每一类的煤矿水害数据。

该实施例中，预设缓存空间是提前设定好的，用于存储不同类别的目标统一格式的煤矿水害数据组。

该实施例中，基于数据量对存储空间的字节存储量进行适配的目的是确保设备的存储空间能够有效的对每一目标统一格式的煤矿水害数据组的数据进行存储。

上述技术方案的有益效果是：通过根据不同类别文件源确定分类标签，实现根据分类标签对煤矿水害数据进行聚类处理，其次，对每一类的煤矿水害数据的数据量进行确定，实现根据数据量对存储空间的存储字节量进行适配，最后，通过适配好的存储空间对每一目标统一格式的煤矿水害数据组进行相应的存储操作，提高了对格式转换后的煤矿水害数据的管理有效性。

实施例9

在实施例1的基础上，本实施例提供了一种不同格式的煤矿水害数据统一标准化的方法，步骤3中，基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出，包括：

获取数据获取终端发送的调取请求，并对调取请求进行解析，确定待调取数据标识；

基于待调取数据标识对预设存储空间中的煤矿水害数据进行检索，并基于检索确定待调取煤矿水害数据；

对待调取煤矿水害数据进行压缩打包，并将待调取数据标识作为数据包包头添加至压缩打包后的数据包中，得到目标输出数据包；

基于数据传输链路将目标输出数据包反馈至数据获取终端，完成对煤矿水害数据的统一格式输出。

该实施例中，待调取数据标识是用于标记需要调取的数据类型或数据内容的标记标签。

该实施例中，数据包包头是用于表征该数据包的类型，从而便于数据获取终端对该数据包进行有效接收。

该实施例中，目标输出数据包指的是将待调取数据标识作为数据包包头添加至压缩打包后的数据包后得到的可以直接输出的数据包。

上述技术方案的有益效果是：通过对数据获取终端发送的调取请求进行解析，实现对调调取煤矿水害数据进行准确有效的确定，其次，将确定好的煤矿水害数据进行压缩打包，最后，通过数据传输链路将得到的数据包反馈至数据获取终端，保障了统一格式的煤矿水害数据输出的效率以及可靠性，便于对不同内容和结构的数据文件进行统一管理和分析。

实施例10

本实施例提供了一种不同格式的煤矿水害数据统一标准化的***，如图3所示，包括：

数据获取模块，用于基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，并基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据；

格式转换模块，用于基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，并基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式；

数据存储及输出模块，用于将目标统一格式的煤矿水害数据进行分类存储，并基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出。

上述技术方案的有益效果是：通过对不同类别和不同格式的煤矿水害数据进行格式转换处理，提高了数据转换的灵活性和智能性，同时也提高了数据格式转换的效率以及准确度，能够适应各类原始数据格式，自动将数据转换为统一格式，从而便于对不同内容和结构的数据文件进行统一管理和分析，提高了对不同格式数据的管理效果。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种不同格式的煤矿水害数据统一标准化的方法，其特征在于，包括：

步骤1：基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，并基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据；

步骤2：基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，并基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式；

步骤3：将目标统一格式的煤矿水害数据进行分类存储，并基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出；

其中，步骤2中，基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式，包括：

获取管理终端对煤矿水害数据格式的目标要求，并基于目标要求确定预期的煤矿水害数据统一格式；

对预期的煤矿水害数据统一格式进行解析，得到不同的原始煤矿水害数据格式与预期的煤矿水害数据统一格式之间的格式映射关系，并基于格式映射关系确定格式转换特征；

基于格式转换特征在预设格式配置页面调取目标代码块，并基于预设格式配置页面将目标代码块进行流程适配，得到格式映射规则；

构建分布式格式转换线程，并将格式映射规则在分布式格式转换线程中进行部署，且基于部署结果得到目标分布式格式转换线程；

确定目标分布式格式转换线程中的线程数量，并基于线程数量构建数据上传队列，且将获取到的不同类别文件源的煤矿水害数据根据线程数量平均上传至数据上传队列；

基于上传结果将不同数据上传队列中的煤矿水害数据同步上传至目标分布式格式转换线程进行格式转换，完成将不同原始格式的煤矿水害数据转换为目标统一格式。

2.根据权利要求1所述的一种不同格式的煤矿水害数据统一标准化的方法，其特征在于，步骤1中，基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，包括：

获取服务器本地目录，并基于服务器本地目录确定待调取文件源，且基于待调取文件源生成文件调取请求；

获取对煤矿水害数据文件的调取任务，并对调取任务进行解析，得到对煤矿水害数据文件的调取频率，且基于调取频率对预设时钟发生器进行配置；

基于配置结果产生周期性脉冲，并将周期性脉冲与文件调取请求进行结合，得到周期性文件调取请求，且基于调取频率将周期性文件调取请求发送至服务器；

基于发送结果从服务器中周期性获取不同类别文件源的原始煤矿水害数据文件。

3.根据权利要求1所述的一种不同格式的煤矿水害数据统一标准化的方法，其特征在于，步骤1中，基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据，包括：

获取得到的原始煤矿水害数据文件，并基于文件属性对原始煤矿水害数据文件进行解析，得到原始煤矿水害数据文件中的基础文件和实时数据文件；

对实时数据文件进行分析，得到数据结构特征，并基于数据结构特征得到实时数据文件中不同类型数据在实时数据文件中的目标位置；

基于目标位置对原始煤矿水害数据文件中的煤矿水害数据进行定位，并对定位得到的煤矿水害数据进行读取。

4.根据权利要求3所述的一种不同格式的煤矿水害数据统一标准化的方法，其特征在于，对定位得到的煤矿水害数据进行读取，包括：

获取读取到的煤矿水害数据，并对煤矿水害数据进行解析，得到煤矿水害数据中各数据对应的字符标签以及煤矿水害数据中的段落标签；

基于字符标签对各数据的字符值进行确定，同时，基于段落标签对煤矿水害数据中的段落值进行确定，并当字符值和段落值为空时，则判定当前数据和当前段落为空白字符和空行，且基于预设剔除规则对空白字符和空行进行剔除；

基于预设上下文逻辑规则对空白字符和空行剔除后得到的煤矿水害数据进行校验，并基于校验结果确定煤矿水害数据中的丢失及失真数据；

对丢失及失真数据的前后目标数据进行分析，并基于分析结果得到丢失及失真数据处的行文逻辑以及行文字段值，且基于行文逻辑以及行文字段值对丢失及失真数据进行补充和修复；

基于补充和修复结果得到最终的煤矿水害数据。

5.根据权利要求1所述的一种不同格式的煤矿水害数据统一标准化的方法，其特征在于，步骤2中，基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，包括：

获取得到的煤矿水害数据，并基于配置的文件解析规则对煤矿水害数据进行解析，得到煤矿水害数据中的目标字符集合，其中，目标字符集合包括分割字符、文件体分隔符、换行分隔字符和结束字符；

基于分隔符对煤矿水害数据进行第一分割，并基于换行分隔符和结束字符对第一分割后的煤矿水害数据进行分割换行，得到子煤矿水害数据；

对子煤矿水害数据中的元数据进行读取，并基于原始煤矿水害数据文件的文件头和文件体分隔符对子煤矿水害数据进行第二分割，得到煤矿水害数据字段；

提取煤矿水害数据字段的数据特征，并基于数据特征从预设数据库中匹配目标中文字段备注、备用字段以及默认值；

将目标中文字段备注、备用字段以及默认值与煤矿水害数据字段进行关联，并基于预设显示界面对关联结果进行显示，且基于显示结果完成对煤矿水害数据的数据格式化处理。

6.根据权利要求1所述的一种不同格式的煤矿水害数据统一标准化的方法，其特征在于，获取管理终端对煤矿水害数据格式的目标要求，包括：

若管理终端对煤矿水害数据格式无要求时，获取基准格式转换模板，并对基准格式转换模板的工作条件进行配置；

基于配置结果对基准格式转换模型进行接口适配，并将接口与工作条件进行关联；

当管理终端对煤矿水害数据格式无要求时，判定满足工作条件，并基于接口将不同原始格式的煤矿水害数据输入基准格式转换模板进行处理，得到目标统一格式的煤矿水害数据。

7.根据权利要求1所述的一种不同格式的煤矿水害数据统一标准化的方法，其特征在于，步骤3中，将目标统一格式的煤矿水害数据进行分类存储，包括：

获取得到的目标统一格式的煤矿水害数据，并基于不同类别文件源确定分类标签；

基于分类标签对目标统一格式的煤矿水害数据进行聚类处理，得到目标统一格式的煤矿水害数据组，并基于分类标签在预设缓存空间对每一目标统一格式的煤矿水害数据组设置存储空间；

确定每一目标统一格式的煤矿水害数据组的数据量，并基于数据量对存储空间的字节存储量进行适配，且基于适配结果将每一目标统一格式的煤矿水害数据组在对应的存储空间进行存储，完成对目标统一格式的煤矿水害数据的分类存储。

8.根据权利要求1所述的一种不同格式的煤矿水害数据统一标准化的方法，其特征在于，步骤3中，基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出，包括：

获取数据获取终端发送的调取请求，并对调取请求进行解析，确定待调取数据标识；

基于待调取数据标识对预设存储空间中的煤矿水害数据进行检索，并基于检索确定待调取煤矿水害数据；

对待调取煤矿水害数据进行压缩打包，并将待调取数据标识作为数据包包头添加至压缩打包后的数据包中，得到目标输出数据包；

基于数据传输链路将目标输出数据包反馈至数据获取终端，完成对煤矿水害数据的统一格式输出。

9.一种不同格式的煤矿水害数据统一标准化的***，其特征在于，包括：

数据获取模块，用于基于服务器本地目录获取不同类别文件源的原始煤矿水害数据文件，并基于文件属性读取不同原始煤矿水害数据文件中的煤矿水害数据；

格式转换模块，用于基于配置的文件解析规则对煤矿水害数据进行数据格式化处理，并基于格式映射规则将数据格式化处理后的不同原始格式的煤矿水害数据转换为目标统一格式；

数据存储及输出模块，用于将目标统一格式的煤矿水害数据进行分类存储，并基于调取请求对待调取煤矿水害数据进行打包，且将打包后的煤矿水害数据进行统一格式输出；

其中，格式转换模块，包括：

获取管理终端对煤矿水害数据格式的目标要求，并基于目标要求确定预期的煤矿水害数据统一格式；

对预期的煤矿水害数据统一格式进行解析，得到不同的原始煤矿水害数据格式与预期的煤矿水害数据统一格式之间的格式映射关系，并基于格式映射关系确定格式转换特征；

基于格式转换特征在预设格式配置页面调取目标代码块，并基于预设格式配置页面将目标代码块进行流程适配，得到格式映射规则；

构建分布式格式转换线程，并将格式映射规则在分布式格式转换线程中进行部署，且基于部署结果得到目标分布式格式转换线程；

确定目标分布式格式转换线程中的线程数量，并基于线程数量构建数据上传队列，且将获取到的不同类别文件源的煤矿水害数据根据线程数量平均上传至数据上传队列；

基于上传结果将不同数据上传队列中的煤矿水害数据同步上传至目标分布式格式转换线程进行格式转换，完成将不同原始格式的煤矿水害数据转换为目标统一格式。