CN117708071A - 基于大数据的煤矿设备运行参数的处理方法及装置 - Google Patents
基于大数据的煤矿设备运行参数的处理方法及装置 Download PDFInfo
- Publication number
- CN117708071A CN117708071A CN202410169628.8A CN202410169628A CN117708071A CN 117708071 A CN117708071 A CN 117708071A CN 202410169628 A CN202410169628 A CN 202410169628A CN 117708071 A CN117708071 A CN 117708071A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- compression
- operation data
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003245 coal Substances 0.000 title claims abstract description 30
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000007906 compression Methods 0.000 claims abstract description 129
- 230000006835 compression Effects 0.000 claims abstract description 129
- 238000010977 unit operation Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 230000002159 abnormal effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000005265 energy consumption Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000013144 data compression Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Marine Sciences & Fisheries (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Animal Husbandry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mining & Mineral Resources (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Agronomy & Crop Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
本申请提供了一种基于大数据的煤矿设备运行参数的处理方法、装置、计算机可读介质及电子设备。该方法包括：获取设备的运行数据，基于所述运行数据的数据类型，对所述运行数据进行存储；基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将单位压缩数据进行合并生成压缩数据；将压缩数据传输至服务器。本申请技术方案在煤矿设备运行数据的处理方面，通过对运行数据进行压缩，在确保数据准确度的同时，可有效的提升运行数据的压缩，可有效减少处理设备的体积与能耗，大幅降低网络带宽与服务器的压力，提升了数据传输效率和数据处理效率。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种基于大数据的煤矿设备运行参数的处理方法、装置、计算机可读介质及电子设备。
背景技术
随着煤矿井下业务的发展和普及，需要实时的对煤矿井下设备进行数据采集和监控。由于煤矿设备的种类众多，这些设备在运行过程中的运行参数或者采集到的环境数据种类繁多，且数据量重大。在当前的井下运行数据传输中通常对数据进行全盘发送接收和处理。这些大量的数据在传输、处理等过程中需要占用较多的存储空间和计算资源，会对传输网络造成较大压力，并且存在数据传输不及时产生的误差。因此造成数据处理效率较低的问题。
发明内容
本申请的实施例提供了一种基于大数据的煤矿设备运行参数的处理方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以解决数据处理效率较低的问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请的一个方面，提供了一种基于大数据的煤矿设备运行参数的处理方法，包括：获取设备的运行数据；基于所述运行数据的数据类型，对所述运行数据进行存储；基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识；对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将所述单位压缩数据进行合并生成压缩数据；将所述压缩数据传输至服务器。
在本申请中，基于前述方案，所述获取设备的运行数据，包括：获取所述设备的设备标识；根据所述设备标识确定设备类型；基于设备类型与采集频率之间的预设关系，确定所述设备的运行数据的采集频率；根据所述采集频率获取所述设备的运行数据。
在本申请中，基于前述方案，所述基于所述运行数据的数据类型，对所述运行数据进行存储，包括：在获取到运行数据时，检测所述运行数据的数据类型；通过数据库中的存储类型，与所述数据类型进行对比，确定所述运行数据对应的目标存储位置；基于所述目标存储位置，对所述运行数据进行存储。
在本申请中，基于前述方案，所述基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识之后，还包括：基于所述单位运行数据的数据值，生成所述压缩单位对应的单位运行数据的数据标签。
在本申请中，基于前述方案，所述对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，包括：以运行数据的生成时间进行排序，获取单位运行数据中的首数据和尾数据；在首数据和尾数据构成的连线上，确定距离所述连线最大的目标数据，以及所述目标数据与所述连线之间的距离；若所述距离小于或者等于设定阈值，则删除所述目标数据；若所述距离大于设定阈值，则用所述目标数据分别和所述首数据和所述尾数据之间的连线，进行轮询；以此循环，直至所述压缩单位中所有单位运行数据轮询和处理完毕，生成单位压缩数据。
在本申请中，基于前述方案，所述基于所述运行数据的数据类型，对所述运行数据进行存储之后，还包括：检测所述运行数据中的异常数据；将所述异常数据单独保存，并从所述运行数据中剔除。
在本申请中，基于前述方案，所述将所述压缩数据传输至服务器，包括：基于运行数据的数据量、压缩数据的数据量生成压缩信息；将所述压缩数据联通压缩信息传输至服务器。
根据本申请的一个方面，提供了一种基于大数据的煤矿设备运行参数的处理装置，包括：
获取单元，用于获取设备的运行数据；
存储单元，用于基于所述运行数据的数据类型，对所述运行数据进行存储；
数据单元，用于基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识；
压缩单元，用于对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将所述单位压缩数据进行合并生成压缩数据；
传输单元，用于将所述压缩数据传输至服务器。
在本申请中，基于前述方案，所述获取设备的运行数据，包括：获取所述设备的设备标识；根据所述设备标识确定设备类型；基于设备类型与采集频率之间的预设关系，确定所述设备的运行数据的采集频率；根据所述采集频率获取所述设备的运行数据。
在本申请中，基于前述方案，所述基于所述运行数据的数据类型，对所述运行数据进行存储，包括：在获取到运行数据时，检测所述运行数据的数据类型；通过数据库中的存储类型，与所述数据类型进行对比，确定所述运行数据对应的目标存储位置；基于所述目标存储位置，对所述运行数据进行存储。
在本申请中，基于前述方案，所述基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识之后，还包括：基于所述单位运行数据的数据值，生成所述压缩单位对应的单位运行数据的数据标签
在本申请中，基于前述方案，所述对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，包括：以运行数据的生成时间进行排序，获取单位运行数据中的首数据和尾数据；在首数据和尾数据构成的连线上，确定距离所述连线最大的目标数据，以及所述目标数据与所述连线之间的距离；若所述距离小于或者等于设定阈值，则删除所述目标数据；若所述距离大于设定阈值，则用所述目标数据分别和所述首数据和所述尾数据之间的连线，进行轮询；以此循环，直至所述压缩单位中所有单位运行数据轮询和处理完毕，生成单位压缩数据。
在本申请中，基于前述方案，所述基于所述运行数据的数据类型，对所述运行数据进行存储之后，还包括：检测所述运行数据中的异常数据；将所述异常数据单独保存，并从所述运行数据中剔除。
在本申请中，基于前述方案，所述将所述压缩数据传输至服务器，包括：基于运行数据的数据量、压缩数据的数据量生成压缩信息；将所述压缩数据联通压缩信息传输至服务器。
根据本申请的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的基于大数据的煤矿设备运行参数的处理方法。
根据本申请的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的基于大数据的煤矿设备运行参数的处理方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的基于大数据的煤矿设备运行参数的处理方法。
在本申请的技术方案中，获取设备的运行数据，基于所述运行数据的数据类型，对所述运行数据进行存储；基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识；对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将所述单位压缩数据进行合并生成压缩数据；将所述压缩数据传输至服务器。本申请技术方案在煤矿设备运行数据的处理方面，通过对运行数据进行压缩，在确保数据准确度的同时，可有效的提升运行数据的压缩，可有效减少处理设备的体积与能耗，大幅降低网络带宽与服务器的压力，提升了数据传输效率和数据处理效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了本申请的一个实施例中基于大数据的煤矿设备运行参数的处理方法的流程图。
图2示意性示出了本申请的一个实施例中生成压缩数据的流程图。
图3示意性示出了本申请的一个实施例中基于大数据的煤矿设备运行参数的处理装置的示意图。
图4示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
以下对本申请的技术方案的实现细节进行详细阐述：
图1示出了根据本申请的一个实施例的基于大数据的煤矿设备运行参数的处理方法的流程图。参照图1所示，该基于大数据的煤矿设备运行参数的处理方法至少包括步骤S110至步骤S150，详细介绍如下：
在步骤S110中，获取设备的运行数据。
在本申请的一个实施例中，在进行运行数据的压缩工作之前，先获取设备的运行数据。
本实施例中的运行数据包括煤矿生产过程中的各种设备的运行数据。
在本申请的一个实施例中，获取设备的运行数据，包括：
获取所述设备的设备标识；
根据所述设备标识确定设备类型；
基于设备类型与采集频率之间的预设关系，确定所述设备的运行数据的采集频率；
根据所述采集频率获取所述设备的运行数据。
在本申请一实施例中，先获取待采集数据的设备的设备标识，之后基于设备标识确定设备所属的设备类型。之后基于设备类型和采集频率之间的预设关系，确定该设备的运行数据对应的采集频率。以根据该采集频率来获取设备的运行数据。
可选的，本方案中的运行数据可以通过传感设备、红外设备以及设备本身来采集。
在步骤S120中，基于所述运行数据的数据类型，对所述运行数据进行存储。
在本申请的一个实施例中，在获取到运行数据之后，根据运行数据的数据类型，对运行数据进行存储，用于之后的压缩处理。
在本申请的一个实施例中，基于所述运行数据的数据类型，对所述运行数据进行存储，包括：
在获取到运行数据时，检测所述运行数据的数据类型；
通过数据库中的存储类型，与所述数据类型进行对比，确定所述运行数据对应的目标存储位置；
基于所述目标存储位置，对所述运行数据进行存储。
在本申请一实施例中，对于各数据类型都预设有其对应的存储位置，便于数据的存储、提取和应用。具体的，在获取到运行数据时，检测所述运行数据的数据类型。之后获取数据库中的存储类型，与运行数据的数据类型进行对比，确定数据类型对应的目标存储位置。之后基于目标存储位置来存储运行数据。
具体的，本实施例中在确定该运行数据对应的目标存储位置时，基于运行数据的数据类型对应的字符串，将其与数据库中的存储类型对应的字符串进行匹配，确定两者之间的相关参数/>为：
其中，i表示字符顺序，k表示字符数量。在确定了最小相关参数对应的数据类型时，即该运行数据对应于数据库中的存储类型，之后获取该存储类型在存储器中对应的存储位置，即为目标存储位置。
进一步的，本申请技术方案中，基于所述运行数据的数据类型，对所述运行数据进行存储之后，还包括：
检测所述运行数据中的异常数据；
将所述异常数据单独保存，并从所述运行数据中剔除。
本申请一实施例中，在进行数据压缩之前，先检测运行数据中的异常数据。将异常数据单独保存，并从运行数据中剔除，以便于之后的数据压缩，防止由于异常数据导致的压缩出错。通过上述方式提高数据压缩的准确率。
在步骤S130中，基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识。
在本申请的一个实施例中，对运行数据的压缩是基于数据量和数据值，通过基于运行数据的数据量和数据值，对运行数据进行压缩，生成压缩数据。
在本申请的一个实施例中，基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识，包括：
S210，基于所述运行数据的数据量确定压缩单位；
S220，基于所述压缩单位从所述运行数据中获取单位运行数据；
S230，基于所述单位运行数据的数据值，生成所述压缩单位对应的单位运行数据的数据标签。
在本申请一实施例中，由于运行数据的数据量众多，整体对其进行压缩则会造成压缩效率较低的问题。因此，本实施例中对上述运行数据的数据量进行拆分，根据运行数据的数据量确定压缩单位/>为：
其中，表示压缩因子。通过上述过程个计算得到压缩单位，用于表示压缩一批数据的数据量，所有的压缩单位构成运行数据的数据量。在获取到压缩单位对应的单位运行数据之后，以单位运行数据为一个压缩单位，对其中的数据进行同步、并行的压缩，生成对应的单位压缩数据。之后将所有的单位压缩数据进行合并，生成压缩数据。
本申请实施例中，基于所述压缩单位从所述运行数据中获取单位运行数据之后还包括：基于所述单位运行数据的数据值，生成所述压缩单位对应的单位运行数据的数据标签。具体的，根据一个压缩单位中的数据的数据值，求取数据值的平均值，做为该压缩单位对应的单位运行数据的数据标签，用于表示所述压缩单位对应的数据标签，体现数据的唯一性。
在步骤S140中，对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将所述单位压缩数据进行合并生成压缩数据。
在本申请一实施例中，对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据；将个所述压缩单位对应的单位压缩数据进行合并，生成所述压缩数据。
其中，对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，包括：
以运行数据的生成时间进行排序，获取单位运行数据中的首数据和尾数据；
在首数据和尾数据构成的连线上，确定距离所述连线最大的目标数据，以及所述目标数据与所述连线之间的距离；
若所述距离小于或者等于设定阈值，则删除所述目标数据；
若所述距离大于设定阈值，则用所述目标数据分别和所述首数据和所述尾数据之间的连线，进行轮询；
以此循环，直至所述压缩单位中所有单位运行数据轮询和处理完毕，生成单位压缩数据。
在本申请的一个实施例中，将采集到的运行数据按照时间、位置等自变量顺序，生成散点图。例如横坐标为运行数据的生成时间，纵坐标为运行数据的数值。
将已存储的运行数据进行压缩，其中需要注意的是，在压缩的过程中，由于预设的阈值的不同，会进行多次的压缩以达到预设的阈值，在达到预设的压缩率后停止压缩。
可选的，设定两个采样点之间的最大采样间隔，避免采样间隔过大造成的数据遗漏。
获取该时间段内存储的运行数据，获得运行数据中的首尾两点A、B形成一条运动轨迹，称之为AB线。计算曲线上离该直线段距离最大的点C，计算其与AB的距离d。比较该d值的距离与预设阈值的大小，如果小于预设阈值，则以该直线作为曲线的近似，该段曲线处理完毕。以此得到的ABC三个点即为压缩后的最终数据。
如果d点的距离大于阈值，则用点C将曲线分为两段AC和BC，并分别对两段曲线进行上述步骤的处理。
当所有曲线都达到阈值后，即代表该路段运行数据处理完毕，依次连接各个分割点形成折线，作为运行数据的原曲线对应的压缩数据。各个圆点为原始数据，ABC三点连接的线条为经过算法计算后，得到的压缩后的数据。在此线条上连接的各点为最终压缩后的数据。
在步骤S150中，将所述压缩数据传输至服务器。
当运行数据全部处理完成后，即可通过设备的传输模块，将计算后的压缩数据传输至目标服务器。当数据全部处理完成，且数据成功传输至目标服务器后，即可将该数据从设备中删除，降低设备存储的数据量，避免无效数据对后续的数据产生误差，提升数据的可靠性的同时，降低了对存储性能的要求。
在本申请的一个实施例中，基于运行数据的数据量、压缩数据的数据量生成压缩信息；将所述压缩数据联通压缩信息传输至服务器。
在本申请一实施例中，基于运行数据的数据量，以及压缩数据的数据量生成压缩信息，以将压缩数据联通压缩信息一起传输至服务器。以告知服务器当前压缩之后的数据量以及压缩之前的数据量，便于之后的数据处理和管理。
本方案的有点在于，对数据的压缩率可按需调整，且处理逻辑高效迅速。同时，由于仅需存储各个点位的数据和阈值，因此，该方法对设备的处理能力大幅度降低，可有效减少处理设备的体积与能耗，并且，处理后的数据可大幅度降低对网络带宽与服务器的压力，极大的提升了用户的数据传输效率。因此，在当前井下运行数据的处理方面，通过对运行数据进行压缩，在确保数据准确度的同时，可有效的提升运行数据的压缩，传输与处理等方面需求，极大减少数据量，并且可以对数据的传输，解析，有着极大的提升。
在本申请的技术方案中，获取设备的运行数据，基于所述运行数据的数据类型，对所述运行数据进行存储；基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识；对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将所述单位压缩数据进行合并生成压缩数据；将所述压缩数据传输至服务器。本申请技术方案在煤矿设备运行数据的处理方面，通过对运行数据进行压缩，在确保数据准确度的同时，可有效的提升运行数据的压缩，可有效减少处理设备的体积与能耗，大幅降低网络带宽与服务器的压力，提升了数据传输效率和数据处理效率。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的基于大数据的煤矿设备运行参数的处理方法。可以理解的是，所述装置可以是运行于计算机设备中的一个计算机程序（包括程序代码），例如该装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。对于本申请装置实施例中未披露的细节，请参照本申请上述的基于大数据的煤矿设备运行参数的处理方法的实施例。
图3示出了根据本申请的一个实施例的基于大数据的煤矿设备运行参数的处理装置的框图。
参照图3所示，根据本申请的一个实施例的基于大数据的煤矿设备运行参数的处理装置，包括：
获取单元310，用于获取设备的运行数据；
存储单元320，用于基于所述运行数据的数据类型，对所述运行数据进行存储；
数据单元330，用于基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识；
压缩单元340，用于对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将所述单位压缩数据进行合并生成压缩数据；
传输单元350，用于将所述压缩数据传输至服务器。
在本申请中，基于前述方案，所述获取设备的运行数据，包括：获取所述设备的设备标识；根据所述设备标识确定设备类型；基于设备类型与采集频率之间的预设关系，确定所述设备的运行数据的采集频率；根据所述采集频率获取所述设备的运行数据。
在本申请中，基于前述方案，所述基于所述运行数据的数据类型，对所述运行数据进行存储，包括：在获取到运行数据时，检测所述运行数据的数据类型；通过数据库中的存储类型，与所述数据类型进行对比，确定所述运行数据对应的目标存储位置；基于所述目标存储位置，对所述运行数据进行存储。
在本申请中，基于前述方案，所述基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识之后，还包括：基于所述单位运行数据的数据值，生成所述压缩单位对应的单位运行数据的数据标签
在本申请中，基于前述方案，所述对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，包括：以运行数据的生成时间进行排序，获取单位运行数据中的首数据和尾数据；在首数据和尾数据构成的连线上，确定距离所述连线最大的目标数据，以及所述目标数据与所述连线之间的距离；若所述距离小于或者等于设定阈值，则删除所述目标数据；若所述距离大于设定阈值，则用所述目标数据分别和所述首数据和所述尾数据之间的连线，进行轮询；以此循环，直至所述压缩单位中所有单位运行数据轮询和处理完毕，生成单位压缩数据。
在本申请中，基于前述方案，所述基于所述运行数据的数据类型，对所述运行数据进行存储之后，还包括：检测所述运行数据中的异常数据；将所述异常数据单独保存，并从所述运行数据中剔除。
在本申请中，基于前述方案，所述将所述压缩数据传输至服务器，包括：基于运行数据的数据量、压缩数据的数据量生成压缩信息；将所述压缩数据联通压缩信息传输至服务器。
在本申请的技术方案中，获取设备的运行数据，基于所述运行数据的数据类型，对所述运行数据进行存储；基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识；对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将所述单位压缩数据进行合并生成压缩数据；将所述压缩数据传输至服务器。本申请技术方案在煤矿设备运行数据的处理方面，通过对运行数据进行压缩，在确保数据准确度的同时，可有效的提升运行数据的压缩，可有效减少处理设备的体积与能耗，大幅降低网络带宽与服务器的压力，提升了数据传输效率和数据处理效率。
图4示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
需要说明的是，图中所示的电子设备的计算机***400仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
其中，计算机***400包括中央处理单元（Central Processing Unit，CPU）401，其可以根据存储在只读存储器（Read-Only Memory，ROM）402中的程序或者从储存部分408加载到随机访问存储器（Random Access Memory，RAM）403中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 403中，还存储有***操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出（Input /Output，I/O）接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管（Cathode Ray Tube，CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分407；包括硬盘等的储存部分408；以及包括诸如LAN（Local Area Network，局域网）卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入储存部分408。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元（CPU）401执行时，执行本申请的***中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（Erasable Programmable Read Only Memory，EPROM）、闪存、光纤、便携式紧凑磁盘只读存储器（Compact Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、触控终端、或者网络设备等）执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种基于大数据的煤矿设备运行参数的处理方法，其特征在于，包括：
获取设备的运行数据；
基于所述运行数据的数据类型，对所述运行数据进行存储；
基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识；
对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将所述单位压缩数据进行合并生成压缩数据；
将所述压缩数据传输至服务器。
2.根据权利要求1所述的方法，其特征在于，获取设备的运行数据，包括：
获取所述设备的设备标识；
根据所述设备标识确定设备类型；
基于设备类型与采集频率之间的预设关系，确定所述设备的运行数据的采集频率；
根据所述采集频率获取所述设备的运行数据。
3.根据权利要求1所述的方法，其特征在于，基于所述运行数据的数据类型，对所述运行数据进行存储，包括：
在获取到运行数据时，检测所述运行数据的数据类型；
通过数据库中的存储类型，与所述数据类型进行对比，确定所述运行数据对应的目标存储位置；
基于所述目标存储位置，对所述运行数据进行存储。
4.根据权利要求1所述的方法，其特征在于，基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识之后，还包括：
基于所述单位运行数据的数据值，生成所述压缩单位对应的单位运行数据的数据标签。
5.根据权利要求1所述的方法，其特征在于，对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，包括：
以运行数据的生成时间进行排序，获取单位运行数据中的首数据和尾数据；
在首数据和尾数据构成的连线上，确定距离所述连线最大的目标数据，以及所述目标数据与所述连线之间的距离；
若所述距离小于或者等于设定阈值，则删除所述目标数据；
若所述距离大于设定阈值，则用所述目标数据分别和所述首数据和所述尾数据之间的连线，进行轮询；
以此循环，直至所述压缩单位中所有单位运行数据轮询和处理完毕，生成单位压缩数据。
6.根据权利要求1所述的方法，其特征在于，基于所述运行数据的数据类型，对所述运行数据进行存储之后，还包括：
检测所述运行数据中的异常数据；
将所述异常数据单独保存，并从所述运行数据中剔除。
7.根据权利要求1所述的方法，其特征在于，将所述压缩数据传输至服务器，包括：
基于运行数据的数据量、压缩数据的数据量生成压缩信息；
将所述压缩数据联通压缩信息传输至服务器。
8.一种基于大数据的煤矿设备运行参数的处理装置，其特征在于，包括：
获取单元，用于获取设备的运行数据；
存储单元，用于基于所述运行数据的数据类型，对所述运行数据进行存储；
数据单元，用于基于所述运行数据的数据量和数据值，确定压缩单位及其对应的单位运行数据和数据标签；其中所述数据标签用于表示所述压缩单位对应的单位标识；
压缩单元，用于对各所述压缩单位对应的单位运行数据进行压缩生成单位压缩数据，并将所述单位压缩数据进行合并生成压缩数据；
传输单元，用于将所述压缩数据传输至服务器。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于大数据的煤矿设备运行参数的处理方法。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的基于大数据的煤矿设备运行参数的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410169628.8A CN117708071B (zh) | 2024-02-06 | 2024-02-06 | 基于大数据的煤矿设备运行参数的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410169628.8A CN117708071B (zh) | 2024-02-06 | 2024-02-06 | 基于大数据的煤矿设备运行参数的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117708071A true CN117708071A (zh) | 2024-03-15 |
| CN117708071B CN117708071B (zh) | 2024-05-28 |
Family
ID=90162939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410169628.8A Active CN117708071B (zh) | 2024-02-06 | 2024-02-06 | 基于大数据的煤矿设备运行参数的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117708071B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10029455A1 (de) * | 1999-10-17 | 2001-07-19 | Mitsubishi Internat Gmbh | Verfahren und eine Vorrichtung zum Übertragen von Betriebsdaten einer Betriebseinheit und ein Verfahren zum Bereitstellen von Betriebsdaten einer oder mehrerer Betriebseinheiten |
| JP2006174331A (ja) * | 2004-12-20 | 2006-06-29 | Fuji Xerox Co Ltd | 画像圧縮装置、画像圧縮方法及びそのプログラム |
| CN106713926A (zh) * | 2016-12-28 | 2017-05-24 | 北京普及芯科技有限公司 | 一种视频数据的压缩存储方法及装置 |
| CN113157655A (zh) * | 2020-01-22 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 一种数据压缩、解压方法、装置、电子设备和存储介质 |
| CN113312325A (zh) * | 2021-05-24 | 2021-08-27 | 康键信息技术（深圳）有限公司 | 轨迹数据传输方法、装置、设备及存储介质 |
| CN114298679A (zh) * | 2021-12-28 | 2022-04-08 | 深圳市玄羽科技有限公司 | 基于大数据的工业ai平台及其应用方法、介质及电子设备 |
| CN116644031A (zh) * | 2023-07-27 | 2023-08-25 | 北京联创高科信息技术有限公司 | 不同格式的煤矿水害数据统一标准化的方法及*** |
| CN116827965A (zh) * | 2023-08-25 | 2023-09-29 | 苔花科迈(西安)信息技术有限公司 | 基于云平台的煤矿井下离线场景数据存储和同步方法 |
| CN116862703A (zh) * | 2023-07-18 | 2023-10-10 | 中国安全生产科学研究院 | 多端口的非煤矿山安全监测信息控制***及方法 |
-
2024
- 2024-02-06 CN CN202410169628.8A patent/CN117708071B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10029455A1 (de) * | 1999-10-17 | 2001-07-19 | Mitsubishi Internat Gmbh | Verfahren und eine Vorrichtung zum Übertragen von Betriebsdaten einer Betriebseinheit und ein Verfahren zum Bereitstellen von Betriebsdaten einer oder mehrerer Betriebseinheiten |
| JP2006174331A (ja) * | 2004-12-20 | 2006-06-29 | Fuji Xerox Co Ltd | 画像圧縮装置、画像圧縮方法及びそのプログラム |
| CN106713926A (zh) * | 2016-12-28 | 2017-05-24 | 北京普及芯科技有限公司 | 一种视频数据的压缩存储方法及装置 |
| CN113157655A (zh) * | 2020-01-22 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 一种数据压缩、解压方法、装置、电子设备和存储介质 |
| CN113312325A (zh) * | 2021-05-24 | 2021-08-27 | 康键信息技术（深圳）有限公司 | 轨迹数据传输方法、装置、设备及存储介质 |
| CN114298679A (zh) * | 2021-12-28 | 2022-04-08 | 深圳市玄羽科技有限公司 | 基于大数据的工业ai平台及其应用方法、介质及电子设备 |
| CN116862703A (zh) * | 2023-07-18 | 2023-10-10 | 中国安全生产科学研究院 | 多端口的非煤矿山安全监测信息控制***及方法 |
| CN116644031A (zh) * | 2023-07-27 | 2023-08-25 | 北京联创高科信息技术有限公司 | 不同格式的煤矿水害数据统一标准化的方法及*** |
| CN116827965A (zh) * | 2023-08-25 | 2023-09-29 | 苔花科迈(西安)信息技术有限公司 | 基于云平台的煤矿井下离线场景数据存储和同步方法 |
Non-Patent Citations (2)
| Title |
|---|
| IGLESIAS, N 等: "mproving ISO 11783 file transfers into mobile farm equipments using on-the-fly data compression", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》, 7 January 2015 (2015-01-07), pages 101 - 108 * |
| 陈汉章;王继生;吴浩;: "大型煤炭企业总部集成监控***设计", 工矿自动化, no. 12, 20 November 2018 (2018-11-20), pages 93 - 97 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117708071B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115122155B (zh) | 基于工业互联网大数据的机床远程诊断方法及*** | |
| CN109597810B (zh) | 一种任务切分方法、装置、介质及电子设备 | |
| CN112528641A (zh) | 建立信息抽取模型的方法、装置、电子设备和可读存储介质 | |
| CN113868214A (zh) | 日志的存储方法、装置、电子设备及计算机可读介质 | |
| CN113204695B (zh) | 网站识别方法和装置 | |
| CN110633318A (zh) | 一种数据提取的处理方法、装置、设备和存储介质 | |
| CN117971487A (zh) | 一种高性能算子生成方法、装置、设备及存储介质 | |
| CN113904943A (zh) | 账号检测方法、装置、电子设备和存储介质 | |
| CN117708071B (zh) | 基于大数据的煤矿设备运行参数的处理方法及装置 | |
| CN112162859A (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
| CN112101543A (zh) | 神经网络模型确定方法、装置、电子设备及可读存储介质 | |
| CN115186738B (zh) | 模型训练方法、装置和存储介质 | |
| CN116761020A (zh) | 视频处理方法、装置、设备和介质 | |
| CN114491171A (zh) | 基于工业物联网的数据处理方法、***、介质及电子设备 | |
| CN114490547A (zh) | 数据压缩方法、装置、设备及介质 | |
| CN115330140A (zh) | 一种基于数据挖掘的建筑风险预测方法及其预测*** | |
| CN113556575A (zh) | 用于压缩数据的方法、装置、设备、介质和产品 | |
| CN115828977B (zh) | 工业互联网标签编码方法、装置、介质及电子设备 | |
| CN110647519B (zh) | 对测试样本中的缺失属性值进行预测的方法及装置 | |
| CN115963798B (zh) | 工业互联网中的设备运控方法、***及电子设备 | |
| CN113963433B (zh) | 运动搜索方法、装置、电子设备及存储介质 | |
| CN117708755B (zh) | 基于生态环境的数据处理方法及装置 | |
| CN116341689B (zh) | 机器学习模型的训练方法、装置、电子设备及存储介质 | |
| CN117092309B (zh) | 基于大数据的社区供水水质监测方法及*** | |
| CN115482422B (zh) | 深度学习模型的训练方法、图像处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |