CN111752936A - 数据检测管理方法、装置、服务器及可读存储介质 - Google Patents
数据检测管理方法、装置、服务器及可读存储介质 Download PDFInfo
- Publication number
- CN111752936A CN111752936A CN202010609050.5A CN202010609050A CN111752936A CN 111752936 A CN111752936 A CN 111752936A CN 202010609050 A CN202010609050 A CN 202010609050A CN 111752936 A CN111752936 A CN 111752936A
- Authority
- CN
- China
- Prior art keywords
- data
- processed
- detection
- server
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 196
- 238000007726 management method Methods 0.000 title abstract description 45
- 230000002159 abnormal effect Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000010606 normalization Methods 0.000 claims description 17
- 230000005856 abnormality Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012508 change request Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 description 29
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 16
- 238000012545 processing Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 239000002689 soil Substances 0.000 description 8
- 229910002092 carbon dioxide Inorganic materials 0.000 description 5
- 239000001569 carbon dioxide Substances 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 4
- 238000001556 precipitation Methods 0.000 description 3
- RAHZWNYVWXNFOC-UHFFFAOYSA-N Sulphur dioxide Chemical compound O=S=O RAHZWNYVWXNFOC-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- MGWGWNFMUOTEHG-UHFFFAOYSA-N 4-(3,5-dimethylphenyl)-1,3-thiazol-2-amine Chemical compound CC1=CC(C)=CC(C=2N=C(N)SC=2)=C1 MGWGWNFMUOTEHG-UHFFFAOYSA-N 0.000 description 1
- 239000002028 Biomass Substances 0.000 description 1
- 208000032368 Device malfunction Diseases 0.000 description 1
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 1
- 239000000443 aerosol Substances 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 239000007900 aqueous suspension Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- JCXJVPUVTGWSNB-UHFFFAOYSA-N nitrogen dioxide Inorganic materials O=[N]=O JCXJVPUVTGWSNB-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请提供一种数据检测管理方法、装置、服务器及可读存储介质。方法包括：获取站点设备收集的当前数据集合；基于数据类别与检测规则的对应关系，确定与当前数据集合中的待处理数据的数据类别对应的检测规则为目标检测规则；通过目标检测规则对待处理数据进行检测，得到待处理数据的检测结果；当检测结果表征待处理数据正常时，将待处理数据作为目标数据并录入数据库。在本方案中，通过数据类别对应的检测规则对待处理数据进行检测，可以对不同数据类别的待处理数据进行差异化检测，另外，将检测正常的待处理数据进行入库，可以避免服务器对异常的数据进行入库，提高入库数据的有效性及可靠性。
Description
技术领域
本发明涉及计算机数据处理技术领域，具体而言，涉及一种数据检测管理方法、装置、服务器及可读存储介质。
背景技术
在野外环境观测中，通常需要利用相应的传感器来检测环境数据。所检测的环境数据包括但不限于气象数据、土壤数据、光辐射量等。在观测过程中，所检测得到的数据通常存储在服务器中，以供后续的分析处理。目前，受限于现有的检测方式，服务器无法对接收的环境数据进行识别管理，容易存储到异常的环境数据，而影响后续的分析工作。
发明内容
本申请提供一种数据检测管理方法、装置、服务器及可读存储介质，能够改善因无法对接收的数据进行识别管理而容易存储到异常的数据的问题。
为了实现上述目的，本申请实施例所提供的技术方案如下所示：
第一方面，本申请实施例提供一种数据检测管理方法，所述方法包括：
获取站点设备收集的当前数据集合；
基于数据类别与检测规则的对应关系，确定与所述当前数据集合中的待处理数据的数据类别对应的检测规则为目标检测规则；
通过所述目标检测规则对所述待处理数据进行检测，得到所述待处理数据的检测结果；
当所述检测结果表征所述待处理数据正常时，将所述待处理数据作为目标数据并录入数据库。
在上述的实施方式中，通过数据类别对应的检测规则对待处理数据进行检测，可以对不同数据类别的待处理数据进行差异化检测，另外，将检测正常的待处理数据进行入库，可以避免服务器对异常的数据进行入库，提高入库数据的有效性及可靠性。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
当所述检测结果表征所述待处理数据异常时，向所述站点设备发送提示信息，用于所述站点设备基于所述提示信息将新的待处理数据发送至服务器。
在上述的实施方式中，在检测结果异常时，通过向站点设备进行反馈，发出提示，有利于站点设备基于所述提示信息将新的待处理数据发送至服务器，以避免重复出现相同类的异常数据。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
在检测周期内，当所述站点设备重复发送的所述待处理数据的次数大于或等于指定次数，且每次所发送的所述待处理数据的检测结果表征所述待处理数据异常，且所述待处理数据的数据类型为指定类型时，从所述站点设备获取管理权限；
基于所述管理权限，将所述待处理数据录入所述数据库。
在上述的实施方式中，待处理数据为指定类型时，通常表示该待处理数据为特殊数据，此时，若待处理数据的检测一直无法通过，则需要联系管理员，以获得相应权限，然后让该待处理数据通过检测并入库。
结合第一方面，在一些可选的实施方式中，所述目标检测规则包括用于对数据完整性、数据规范性、数据准确性、数据一致性、数据提交及时性中的至少一类进行检测的子规则，通过所述目标检测规则对所述待处理数据进行检测，得到所述待处理数据的检测结果，包括：
通过所述目标检测规则，对所述待处理数据的数据完整性、数据规范性、数据准确性、数据一致性、数据提交及时性中的至少一类进行检测；
当所述待处理数据的所述至少一类均检测正常时，得到表征所述待处理数据正常的检测结果；
当所述待处理数据的所述至少一类中的任一类异常时，得到表征所述待处理数据异常的检测结果。
在上述的实施方式中，数据完整性、数据规范性、数据准确性、数据一致性、数据提交及时性可以作为判断待处理数据是否异常的依据，通过对至少一项进行检测，可以快速准确地确定数据是否异常。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
基于接收的更改请求，更改指定数据类别与相应的检测规则的对应关系。
在上述的实施方式中，用户可以通过更改数据类别与检测规则之间的对应关系，有利于提高检测的灵活性。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
基于从终端设备接收的查看请求，判断所述查看请求对应的用户权限是否大于或等于所述查看请求对应的查看内容的权限；
当所述用户权限大于或等于所述查看请求对应的查看内容的权限时，将所述查看请求对应的查看内容发送至所述终端设备。
在上述的实施方式中，通过对用户权限进行认证，有利于提高查看动作的安全性及保密性，提高数据的信息安全等级。
结合第一方面，在一些可选的实施方式中，获取站点设备收集的当前数据集合，包括：
每间隔预设时长，从至少一个站点设备获取所述至少一个站点设备收集的当前数据集合。
第二方面，本申请实施例还提供一种数据检测管理装置，所述装置包括：
数据获取单元，用于获取站点设备收集的当前数据集合；
确定单元，用于基于数据类别与检测规则的对应关系，确定与所述当前数据集合中的待处理数据的数据类别对应的检测规则为目标检测规则；
检测单元，用于通过所述目标检测规则对所述待处理数据进行检测，得到所述待处理数据的检测结果；
入库单元，用于当所述检测结果表征所述待处理数据正常时，将所述待处理数据作为目标数据并录入数据库。
第三方面，本申请实施例还提供一种服务器，所述服务器包括相互耦合的存储器、处理器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述服务器执行上述的方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的数据检测管理***的通信连接示意图。
图2为本申请实施例提供的数据检测管理方法的流程示意图。
图3为本申请实施例提供的检测规则的示意图。
图4为本申请实施例提供的数据检测管理装置的功能框图。
图标：10-数据检测管理***；20-服务器；30-站点设备；100-数据检测管理装置；110-数据获取单元；120-确定单元；130-检测单元；140-入库单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合附图，对本申请实施例作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，本申请提供的数据检测管理***10可以包括服务器20及站点设备30。其中，服务器20可以通过网络与至少一个站点设备30建立通信连接，以进行数据交互。其中，站点设备30可以用于采集环境数据，并将环境数据上传至服务器20。与服务器20通信连接的站点设备30的数量可以根据实际情况进行设置，可以一个或多个，这里不做具体限定。
在本实施例中，环境数据包括但不限于甲烷浓度、二氧化碳浓度、土壤温湿度、降水量、光辐射量、植被覆盖率、地表反射率、气溶胶光学厚度、大气水汽含量、地表温度、海表温度、土壤热通量、森林地上生物量、水体悬浮物浓度、近地面二氧化氮浓度、对流层臭氧浓度、对流层和近地面二氧化硫浓度等。站点设备30可以包括用于采集一类或多类环境数据的传感器。站点设备30所包括的传感器的数量及类型可以根据实际情况进行设置。例如，站点设备30所检测的环境数据包括二氧化碳浓度、土壤温湿度，则站点设备30可以包括用于检测二氧化碳浓度的传感器以及用于检测土壤温湿度的传感器。
不同的站点设备30所采集的环境数据的种类可以相同或不同，可以根据实际情况进行确定。通常而言，当需要对一地区(该地区可以根据实际情况进行划分，可以为村镇、区县、森林、山脉等)的环境进行检测时，可以在该检测地区设置一个或多个站点设备30，以检测该地区的环境数据。另外，不同检测地区的站点设备30可以将检测得到的环境数据上传至服务器20。
在本实施例中，每个站点设备30可以将所检测得到的环境数据进行汇总，然后周期性地将汇总后的环境数据发送至服务器20。周期发送环境数据的时间可以根据实际情况进行设置。例如，周期可以为24小时、一周、一个月等时长。或者，站点设备30可以直接将检测到的环境数据发送至服务器20，而无需周期性汇总后才向服务器20发送环境数据。可理解地，站点设备30向服务器20发送环境数据的方式可以根据实际确定，这里不做具体限定。
服务器20在获取到站点设备30发送的环境数据后，可以以指定的格式保存数据。指定格式可以根据实际情况进行确定。例如，服务器20可以以CSV(Comma-SeparatedValues，逗号分隔值)文件格式存储环境数据。
本实施例中，服务器20可以包括相互耦合的存储模块、处理模块，存储模块内存储计算机程序，当计算机程序被处理模块执行时，使得服务器20可以执行下述的数据检测管理方法中的各步骤。
可以理解的是，服务器20还可以包括其他模块。例如，服务器20还可以包括通信模块，用于和站点设备30之间建立通信连接。处理模块、通信模块、存储模块各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
请参照图2，本申请实施例还提供一种数据检测管理方法，可以应用于上述的数据检测管理***10中，由数据检测管理***10中的服务器20执行方法中的各步骤。方法可以包括步骤S210至步骤S240，如下：
步骤S210，获取站点设备30收集的当前数据集合；
步骤S220，基于数据类别与检测规则的对应关系，确定与所述当前数据集合中的待处理数据的数据类别对应的检测规则为目标检测规则；
步骤S230，通过所述目标检测规则对所述待处理数据进行检测，得到所述待处理数据的检测结果；
步骤S240，当所述检测结果表征所述待处理数据正常时，将所述待处理数据作为目标数据并录入数据库。
在本方案中，通过数据类别对应的检测规则对待处理数据进行检测，可以对不同数据类别的待处理数据进行差异化检测，另外，将检测正常的待处理数据进行入库，可以避免服务器20对异常的数据进行入库，能够改善因无法对接收的数据进行识别管理而容易存储到异常的数据的问题，提高入库数据的有效性及可靠性。
下面将对方法中的各步骤进行详细阐述，如下：
在步骤S210中，服务器20可以获取到站点设备30收集的当前数据集合。当前数据集合可理解为该站点设备30在当前时刻或者在距离当前时刻指定时长内，所检测到的所有的环境数据的集合。指定时长可以根据实际情况进行确定，可以为24小时、一个月等时长。可理解地，当前数据集合中所包括的环境数据的数据类别可以根据实际情况进行确定，例如可以包括但不限于上述的甲烷浓度、二氧化碳浓度、土壤温湿度、降水量、光辐射量、植被覆盖率等。站点设备30可以自动将当前收集/检测到的环境数据作为当前数据集合，并发送至服务器20，以使服务器20获取到当前数据集合。
在本实施例中，服务器20存储的当前数据集合的数据格式通常为指定的文件格式，例如当前数据集合中的各类环境数据为CSV文件格式。可理解地，若站点设备30发送的数据集合中的各类环境数据的格式不是指定文件格式，服务器20可以将环境数据的数据格式转换为指定格式。服务器20通过对获取的数据格式进行统一规范，有利于后续进行分析处理。
作为一种可选的实施方式，步骤S210可以包括：每间隔预设时长，从至少一个站点设备30获取所述至少一个站点设备30收集的当前数据集合。
在本实施例中，预设时长可以为上述的指定时长，可以根据实际情况进行确定。例如，预设时长可以为24小时、一周等时长。服务器20可以每个预设时长获取站点设备30收集的当前数据集合。
可理解地，站点设备30可以每间隔预设时长，向服务器20发送该站点设备30在预设时长内所检测/收集到的环境数据，以作为该站点设备30的当前数据集合。或者，服务器20每间隔预设时长便可以从站点设备30获取该站点设备30在预设时长内所检测/收集到的环境数据。
在服务器20获取到站点设备30的当前数据集合后，服务器20在下次从站点设备30获取数据集合时，服务器20所获取的数据为站点设备30在当前时刻后的预设时长内所收集/检测到的环境数据的集合。基于此，服务器20可以及时地从站点设备30获取当前周期内的环境数据。
在步骤S220中，当前数据结合中所包括的环境数据的数据类别可以根据实际情况进行确定。电子设备预先存储有相应的数据类别与检测规则的对应关系。不同数据类别的环境数据的检测规则可以相同，可以不同，可以由用户根据实际情况进行灵活设置。其中，管理员后续可以根据实际情况更改与数据类别对应检测规则。
服务器20在获取到当前数据集合后，可以确定出当前数据集合中各个待处理数据的数据类别。然后基于数据类别与检测规则的对应关系、待处理数据的数据类别，便可以确定相应的待处理数据的检测规则。与待处理数据的数据类别对应的检测规则即为该待处理数据的目标检测规则。
在步骤S230中，服务器20在确定出待处理数据的目标检测规则后，便可以基于目标检测规则对待处理数据进行针对性地检测，然后得到该待处理数据的检测结果。
请参照图3，检测规则可以根据实际情况进行确定。例如，检测规则可以包括但不限于用于对待处理数据的完整性、规范性、准确性、一致性、提交及时性中的至少一类进行检测的子规则。可理解地，每个检测规则可以包括对待处理数据的完整性、规范性、准确性、一致性、提交及时性中一类或多类进行检测的子规则。例如，检测规则可以包括同时对待处理数据的完整性、规范性、准确性、一致性、提交及时性进行检测的子规则。或者，检测规则可以仅包括同时对待处理数据的完整性、规范性、提交及时性进行检测的子规则。
目标检测规则包括用于对数据完整性、数据规范性、数据准确性、数据一致性、数据提交及时性中的至少一类进行检测的子规则，步骤S230可以包括：
通过所述目标检测规则，对所述待处理数据的数据完整性、数据规范性、数据准确性、数据一致性、数据提交及时性中的至少一类进行检测；
当所述待处理数据的所述至少一类均检测正常时，得到表征所述待处理数据正常的检测结果；
当所述待处理数据的所述至少一类中的任一类异常时，得到表征所述待处理数据异常的检测结果；
或者，当对所述待处理数据的数据完整性、数据规范性、数据提交及时性中的任一类异常时，得到表征待处理数据异常的检测结果。
针对目标检测规则中的每个子规则，为了便于区分，检测数据完整性的子规则可以称为第一类子规则；检测数据规范性的子规则可以称为第二类子规则；检测数据准确性的子规则可以称为第三类子规则；检测数据一致性的子规则可以称为第四类子规则；检测数据提交及时性的规则可以称为第五类子规则。
每个站点设备30的一个检测周期可理解为一个上述的预设间隔时长，例如可以为24小时。
第一类子规则可以包括对待处理数据的完整性进行检测的规则，例如，检测待处理数据的数据个数是否达到相应指定数量，当待检测数据的数据个数达到指定数量时，才确定待处理数据的数据完整性正常，当待检测数据的数据个数少于指定数量时，确定待处理数据的数据完整性异常。其中，指定数量可以根据实际情况进行设置，可以为10个、100个等数量，这里不作具体限定。
针对每个检测周期，第一类子规则还可以包括对当前数据集合的完整性进行检测的规则，用于判断当前数据集合中是否包括指定数据类别的环境数据，若当前数据集合中缺少指定数据类别的环境数据，则确定当前数据集合的完整性异常。若当前数据集合中包括指定数据类别的环境数据，则确定当前数据集合的完整性正常。指定数据类别可以根据实际情况进行确定，这里不作具体限定。
第二类子规则可以包括用于检测环境数据的数据格式、数据变量的名称的细规则。变量要素的名称需要精细化到层，如1米风速，2米风速分别为WS_1,WS_2。第二类子规则可以检测环境数据的数据格式、数据变量名称是否与指定的数据格式、变量名称对应。若当前的数据格式与指定的数据格式不对应，或者当前的变量名称与指定的变量名称不对应，便确定数据规范性异常；当前的数据格式与指定的数据格式对应，且当前的变量名称与指定的变量名称对应，便确定数据规范性正常。其中，指定的数据格式、变量名称可以根据实际情况进行确定，这里不做限定。另外，该检测方式为本领域技术人员所熟知，这里不再赘述。当待处理数据检测到数据规范性异常时，服务器20可以退回该待处理数据，以使该站点设备30重新上传待处理数据，或者，在退回待处理数据后，由管理人员针对异常进行维护修改后，再由站点设备30重新上传维护后的待处理数据。
第三类子规则，可以包括用于检测待处理数据是否为空值、是否出现数值越界、是否出现数据冗余的细规则。当检测到检测待处理数据为空值，或者出现数值越界，或者出现数据冗余，则确定待处理数据的数据准确性异常，并向站点设备30发出提示。当检测到检测待处理数据不为空值，且未出现数值越界，且未出现数据冗余，则确定待处理数据的数据准确性正常。
其中，待处理数据的值不存在或为0，则确定待处理数据为空值；待处理数据的值存在，或不为0，则确定待处理数据不为空值。空值来源于计算空值、传输空值和仪器故障空值(如“NAN”，“-999”)。待处理数据的值在相应预设范围内，则确定数值未越界；待处理数据的值未在相应预设范围内，则确定数值越界，预设范围可以根据待处理数据的数据类别进行设置，可以根据实际情况而定，这里不作具体限定。数据冗余为时间戳、变量名、观测值完全相同时，便确定待处理数据存在数据冗余，否则，确定待处理数据未出现数据冗余。
第四类子规则，可以包括检测待处理数据的采集频率一致性、时间一致性等数据一致性的细规则。针对每类待处理数据，当检测到数据一致性中的每类均正常时，才确定该类的待处理数据的数据一致性正常；否则，确定该类的待处理数据的数据一致性异常。
其中，采集频率一致性的检测方式可以为：根据站点设备30采集到的各个待处理数据的时间戳计算当前待处理数据的采集频率，与标定采集频率比较，判断两者是否一致，若当前待处理数据的采集频率与标定采集频率不一致，则确定采集频率一致性异常；若当前待处理数据的采集频率与标定采集频率一致，则确定采集频率一致性正常，其中，标定采集频率可以根据实际情况进行设置，这里不作具体限定。另外，对于没有设置标定采集频率的待处理数据，可以用一段时间内(该时间长度可以根据实际情况进行设置)数据的实际采集频率的统计众数代替标定频率。
时间一致性的检测方式可以为：例如，针对气象资料，在某段时间内是否符合规律的检查，超出某个范围时，则该气象资料被认定为可疑的。比如，对于地面温度以及在地面不同深度下的土壤/砂石温度，1分钟内允许的最大温度变化量为对应的温度阈值。比如，地面温度一分钟内允许的最大温度变化量为5℃；地面深度5厘米的地温在一分钟内允许的最大温度变化量为1℃；地面深度50厘米的地温在一分钟内允许的最大温度变化量为0.1℃，若相应深度的地温在一分钟内的最大温度变化量超过对应的温度阈值，则确定时间一致性异常；若在一分钟内的最大温度变化量未超过对应的温度阈值，则确定时间一致性正常。
第五类子规则，可以包括用于检测待处理数据是否按时提交的规则。例如，判断待处理数据提交到服务器20的时间是否为在指定的时间范围内。若待处理数据、当前数据集合在指定的时间范围内提交到服务器20，或者服务器20在指定的时间范围内获取到当前数据集合或待处理数据，便确定数据提交及时性正常；否则，确定待处理数据的数据提交及时性异常，此时，可以通知站点设备30自动提交当前的数据集合至服务器20，或者通知管理人员尽快提交当前的数据集合至服务器20。指定的时间范围可以根据实际情况进行设置，指定每天的凌晨提交，或者指定每月的月末提交。
需要说明的是，图3所示的检测规则及对应的检测方式为便于理解方法实现流程的示例性描述，在其他实施方式中，检测规则所包括的子规则还可以不同于图3所示，这里不作具体限定。
在步骤S240中，当检测结果表征待处理数据正常时，表示待处理数据为有效且规范的数据，可以被录入数据库中，以供后续的分析处理。可理解地，在后续分析处理过程中，用户所采用的环境数据为数据库中的录入的目标数据。基于此，由于数据库中的环境数据经过预处理，滤除了异常数据，提高了环境数据的有效性，因此，有利于提高后续分析处理的准确性及可靠性。其中，后续分析处理可以根据实际情况进行确定，例如，基于各类历史的环境数据，分析各类环境数据在检测区域未来变化情况，或者对环境质量进行评估等。
作为一种可选的实施方式，方法还可以包括：当所述检测结果表征所述待处理数据异常时，向所述站点设备30发送提示信息，用于所述站点设备30基于所述提示信息将新的待处理数据发送至服务器20。
可理解地，当检测到待处理数据异常时，服务器20可以向站点设备30或管理终端发送提示信息，提示信息包括异常数据的详情，例如，异常数据的数据类型，异常原因(比如不满足第一类检测规则的检测，比如，数据的数量不合格)等。管理员可以通过站点设备30或管理终端的提示信息，及时发现异常数据的详情。然后针对异常原因，进行维护或修改，以避免再次出现同样的异常情况。经过管理员维护后，站点设备30可以重新发送经过维护修改后的待处理数据，然后将该数据作为新的待处理数据发送至服务器20。
或者，当检测到待处理数据异常时，站点设备30重新向服务器20发送新的待处理数据。在检测结果异常时，通过向站点设备30进行反馈，发出提示，有利于站点设备30基于所述提示信息将新的待处理数据发送至服务器20，以避免重复出现相同类的异常数据。
在本实施中，方法还可以包括：针对当前数据集合中的每个待处理数据的检测结果，生成当前数据结合的检测报告。生成的检测报告可以存储在服务器20中。另外，该检测报告还可以由服务器20发送至站点设备30，以供站点设备30的管理员进行查看。检测报告中，可以包括各个待处理数据的检测结果。管理员可以基于异常的检测结果对站点设备30进行检测维护，以查看检测设备的相应传感器是否发生故障。
在上述的实施方式中，通过向站点设备30反馈检测报告，或在检测到待处理数据异常时，向站点设备30或管理终端发送提示信息，有利于管理人员基于提示信息对异常原因进行排查，进而有利于从根源上解决数据出现异常/质量问题。
作为一种可选的实施方式，方法还可以包括：在检测周期内，当所述站点设备30重复发送的所述待处理数据的次数大于或等于指定次数，且每次所发送的所述待处理数据的检测结果表征所述待处理数据异常，且所述待处理数据的数据类型为指定类型时，从所述站点设备30获取管理权限；基于所述管理权限，将所述待处理数据录入所述数据库。
在本实施例中，指定类型可以根据实际情况进行确定。指定次数可以根据实际情况进行设置。例如，指定类型可以是但不限于甲烷浓度、二氧化碳浓度、土壤温湿度、降水量、光辐射量、植被覆盖率中的一类或多类。指定次数可以为3次、4次等次数。
可理解地，当待处理数据为指定类型时，通常表示该待处理数据为特殊数据，表示这类数据即使异常也需要进行入库。此时，若待处理数据在多次重传，且每次检测均无法通过，则需要联系管理员，以获得相应权限，然后让该待处理数据通过检测并入库。基于此，有利于提高数据入库的灵活性，避免特殊数据因异常而无法被录入数据库。
作为一种可选的实施方式，方法还可以包括：基于接收的更改请求，更改指定数据类别与相应的检测规则的对应关系。
可理解地，管理人员可以通过站点设备30或管理终端，向服务器20发送更改请求。服务器20在接收到更改请求后，可以对更改请求进行解析处理。例如，若该更改请求为用于更改指定数据类别与相应的检测规则的对应关系，此时，服务器20便会响应该更改请求，以更改指定数据类别与相应的检测规则的对应关系。其中，管理终端可以是但不限于个人电脑、智能手机等设备。
例如，待处理数据为甲烷浓度，甲烷浓度这一数据类别的目标检测规则包括上述的第一类子规则、第二类子规则、第三类子规则、第五类子规则。若管理员需要在甲烷浓度这一数据类别的目标检测规则中，添加第四类子规则，则管理员可以通过向服务器20发送针对甲烷浓度的检测规则进行更改的更改请求，然后添加第四类子规则，以使甲烷浓度这一数据类别的目标检测规则包括上述的第一类子规则、第二类子规则、第三类子规则、第四类子规则及第五类子规则。当然，更改请求对应的操作还可以为其他操作，例如删除与数据类别对应的检测规则中的部分子规则，或者在子规则中添加新的其他细规则。
管理人员通过更改数据类别与检测规则之间的对应关系，有利于提高检测的灵活性。
需要说明的是，在进行更改操作时，通常需要服务器20对当前的更改操作的用户账号的权限进行认证，若更改操作对应的用户账号具有权限时，才响应更改请求，以提高更改操作的安全性及可靠性。
作为一种可选的实施方式，方法还可以包括：基于从终端设备接收的查看请求，判断所述查看请求对应的用户权限是否大于或等于所述查看请求对应的查看内容的权限；当所述用户权限大于或等于所述查看请求对应的查看内容的权限时，将所述查看请求对应的查看内容发送至所述终端设备。
在本实施例中，查看请求对应的查看内容可以根据实际情况进行确定。例如，可以为查看相应环境数据的检测结果，或者查看最新的检测报告。管理人员可以通过管理终端或站点设备30，查看每类环境数据的检测结果，包括当前最新的检测结果及历史检测结果，另外，还可以查看每次得到的检测报告。
管理人员每次进行查看时，管理终端或站点设备30便可以基于管理员的查看操作生成相应的查看请求，并向服务器20发送该查看请求。服务器20在接收到查看请求后，可以判断该查看请求对应的用户权限是否大于或等于所述查看请求对应的查看内容的权限。查看请求对应的用户权限可理解为发送查看请求的用户账户的用户权限。查看内容的权限可理解为预先设定的权限。当用户权限的等级大于或等于查看内容的权限的等级时，服务器20才响应查看请求，然后将查看请求对应的查看内容发送至管理终端或站点设备30。
在上述的实施方式中，通过对用户权限进行认证，有利于提高查看动作的安全性及保密性，提高数据的信息安全等级。
请参照图4，本申请实施例还提供一种数据检测管理装置100，可以应用于上述的服务器20中。数据检测管理装置100包括至少一个可以软件或固件(Firmware)的形式存储于存储模块中或固化在服务器20操作***(Operating System，OS)中的软件功能模块。处理模块用于执行存储模块中存储的可执行模块，例如数据检测管理装置100所包括的软件功能模块及计算机程序等。
数据检测管理装置100可以包括数据获取单元110、确定单元120、检测单元130及入库单元140。
数据获取单元110，用于获取站点设备30收集的当前数据集合。
确定单元120，用于基于数据类别与检测规则的对应关系，确定与所述当前数据集合中的待处理数据的数据类别对应的检测规则为目标检测规则。
检测单元130，用于通过所述目标检测规则对所述待处理数据进行检测，得到所述待处理数据的检测结果。
入库单元140，用于当所述检测结果表征所述待处理数据正常时，将所述待处理数据作为目标数据并录入数据库。
可选地，数据检测管理装置100还可以包括提示单元，用于当所述检测结果表征所述待处理数据异常时，向所述站点设备30发送提示信息，用于所述站点设备30基于所述提示信息将新的待处理数据发送至服务器20。
可选地，数据检测管理装置100还可以包括权限管理单元。权限管理单元用于在检测周期内，当所述站点设备30重复发送的所述待处理数据的次数大于或等于指定次数，且每次所发送的所述待处理数据的检测结果表征所述待处理数据异常，且所述待处理数据的数据类型为指定类型时，从所述站点设备30获取管理权限；入库单元140还用于基于所述管理权限，将所述待处理数据录入所述数据库。
可选地，目标检测规则包括用于对数据完整性、数据规范性、数据准确性、数据一致性、数据提交及时性中的至少一类进行检测的子规则。检测单元130可以用于：通过所述目标检测规则，对所述待处理数据的数据完整性、数据规范性、数据准确性、数据一致性、数据提交及时性中的至少一类进行检测；当所述待处理数据的所述至少一类均检测正常时，得到表征所述待处理数据正常的检测结果；当所述待处理数据的所述至少一类中的任一类异常时，得到表征所述待处理数据异常的检测结果。
可选地，数据检测管理装置100还可以包括更改单元，用于基于接收的更改请求，更改指定数据类别与相应的检测规则的对应关系。
可选地，数据检测管理装置100还可以包括权限管理单元及发送单元。权限管理单元用于基于从终端设备接收的查看请求，判断所述查看请求对应的用户权限是否大于或等于所述查看请求对应的查看内容的权限；发送单元用于当所述用户权限大于或等于所述查看请求对应的查看内容的权限时，将所述查看请求对应的查看内容发送至所述终端设备。
可选地，数据获取单元110用于每间隔预设时长，从至少一个站点设备30获取所述至少一个站点设备30收集的当前数据集合。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的服务器20、数据检测管理装置100的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
在本实施例中，服务器20的处理模块可以是一种集成电路芯片，具有信号的处理能力。上述处理模块可以是通用处理器。例如，该处理器可以是中央处理器(CentralProcessing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
通信模块用于通过网络建立服务器20与站点设备30的通信连接，并通过网络收发数据。
存储模块可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块可以用于存储待处理数据、检测规则等。当然，存储模块还可以用于存储程序，处理模块在接收到执行指令后，执行该程序。
需要说明的是，在本实施例中，服务器20与站点设备30之间是低耦合的，即，站点设备30传输待处理数据，服务器20对待处理数据进行质量检测，从逻辑和物理层面是分开的。数据检测管理装置100可以作为实现数据检测管理方法的软件***，可以迁移或部署在其他服务器上，而不限于服务器20。基于此，方便对软件***进行维护，有利于提高***运行、部署及维护的灵活性，方便的和其它***、设备(比如新增的站点设备)进行对接。
本申请实施例还提供一种计算机可读存储介质。可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的数据检测管理方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
综上所述，本申请提供一种数据检测管理方法、装置、服务器及可读存储介质。方法包括：获取站点设备收集的当前数据集合；基于数据类别与检测规则的对应关系，确定与当前数据集合中的待处理数据的数据类别对应的检测规则为目标检测规则；通过目标检测规则对待处理数据进行检测，得到待处理数据的检测结果；当检测结果表征待处理数据正常时，将待处理数据作为目标数据并录入数据库。在本方案中，通过数据类别对应的检测规则对待处理数据进行检测，可以对不同数据类别的待处理数据进行差异化检测，另外，将检测正常的待处理数据进行入库，可以避免服务器对异常的数据进行入库，提高入库数据的有效性及可靠性。
在本申请所提供的实施例中，应该理解到，所揭露的装置、***和方法，也可以通过其它的方式实现。以上所描述的装置、***和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据检测管理方法，其特征在于，所述方法包括：
获取站点设备收集的当前数据集合；
基于数据类别与检测规则的对应关系，确定与所述当前数据集合中的待处理数据的数据类别对应的检测规则为目标检测规则；
通过所述目标检测规则对所述待处理数据进行检测，得到所述待处理数据的检测结果；
当所述检测结果表征所述待处理数据正常时，将所述待处理数据作为目标数据并录入数据库。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述检测结果表征所述待处理数据异常时，向所述站点设备发送提示信息，用于所述站点设备基于所述提示信息将新的待处理数据发送至服务器。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在检测周期内，当所述站点设备重复发送的所述待处理数据的次数大于或等于指定次数，且每次所发送的所述待处理数据的检测结果表征所述待处理数据异常，且所述待处理数据的数据类型为指定类型时，从所述站点设备获取管理权限；
基于所述管理权限，将所述待处理数据录入所述数据库。
4.根据权利要求1所述的方法，其特征在于，所述目标检测规则包括用于对数据完整性、数据规范性、数据准确性、数据一致性、数据提交及时性中的至少一类进行检测的子规则，通过所述目标检测规则对所述待处理数据进行检测，得到所述待处理数据的检测结果，包括：
通过所述目标检测规则，对所述待处理数据的数据完整性、数据规范性、数据准确性、数据一致性、数据提交及时性中的至少一类进行检测；
当所述待处理数据的所述至少一类均检测正常时，得到表征所述待处理数据正常的检测结果；
当所述待处理数据的所述至少一类中的任一类异常时，得到表征所述待处理数据异常的检测结果。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于接收的更改请求，更改指定数据类别与相应的检测规则的对应关系。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于从终端设备接收的查看请求，判断所述查看请求对应的用户权限是否大于或等于所述查看请求对应的查看内容的权限；
当所述用户权限大于或等于所述查看请求对应的查看内容的权限时，将所述查看请求对应的查看内容发送至所述终端设备。
7.根据权利要求1所述的方法，其特征在于，获取站点设备收集的当前数据集合，包括：
每间隔预设时长，从至少一个站点设备获取所述至少一个站点设备收集的当前数据集合。
8.一种数据检测管理装置，其特征在于，所述装置包括：
数据获取单元，用于获取站点设备收集的当前数据集合；
确定单元，用于基于数据类别与检测规则的对应关系，确定与所述当前数据集合中的待处理数据的数据类别对应的检测规则为目标检测规则；
检测单元，用于通过所述目标检测规则对所述待处理数据进行检测，得到所述待处理数据的检测结果；
入库单元，用于当所述检测结果表征所述待处理数据正常时，将所述待处理数据作为目标数据并录入数据库。
9.一种服务器，其特征在于，所述服务器包括相互耦合的存储器、处理器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述服务器执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010609050.5A CN111752936B (zh) | 2020-06-30 | 2020-06-30 | 数据检测管理方法、装置、服务器及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010609050.5A CN111752936B (zh) | 2020-06-30 | 2020-06-30 | 数据检测管理方法、装置、服务器及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111752936A true CN111752936A (zh) | 2020-10-09 |
| CN111752936B CN111752936B (zh) | 2024-04-26 |
Family
ID=72678123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010609050.5A Active CN111752936B (zh) | 2020-06-30 | 2020-06-30 | 数据检测管理方法、装置、服务器及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111752936B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112468516A (zh) * | 2020-12-17 | 2021-03-09 | 全球能源互联网研究院有限公司 | 一种安全防御方法、装置、电子设备及存储介质 |
| CN113469857A (zh) * | 2021-07-19 | 2021-10-01 | 神彩科技股份有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
| CN113489773A (zh) * | 2021-06-30 | 2021-10-08 | 未鲲(上海)科技服务有限公司 | 数据接入方法、装置、设备及介质 |
| CN113986898A (zh) * | 2021-10-26 | 2022-01-28 | 深信服科技股份有限公司 | 一种数据质量检测方法、装置、设备及可读存储介质 |
| WO2023092954A1 (zh) * | 2021-11-26 | 2023-06-01 | 华为云计算技术有限公司 | 数据治理的方法、装置及存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008085819A (ja) * | 2006-09-28 | 2008-04-10 | Oki Electric Ind Co Ltd | ネットワーク異常検出システム、ネットワーク異常検出方法及びネットワーク異常検出プログラム |
| KR20100068733A (ko) * | 2008-12-15 | 2010-06-24 | 한국과학기술정보연구원 | 통합 데이터베이스 구축을 위한 데이터 정제 시스템 및방법과 이를 위한 기록매체 |
| CN105119783A (zh) * | 2015-09-30 | 2015-12-02 | 北京奇艺世纪科技有限公司 | 网络请求数据的检测方法及装置 |
| US20160261482A1 (en) * | 2015-03-04 | 2016-09-08 | Fisher-Rosemount Systems, Inc. | Anomaly detection in industrial communications networks |
| US20180173744A1 (en) * | 2016-12-20 | 2018-06-21 | International Business Machines Corporation | Determining integrity of database workload transactions |
| CN108446362A (zh) * | 2018-03-13 | 2018-08-24 | 平安普惠企业管理有限公司 | 数据清洗处理方法、装置、计算机设备和存储介质 |
| WO2019019493A1 (zh) * | 2017-07-28 | 2019-01-31 | 平安科技（深圳）有限公司 | 数据共享方法、装置及计算机可读存储介质 |
| US20190087738A1 (en) * | 2017-09-20 | 2019-03-21 | Siemens Aktiengesellschaft | Method, apparatus and device for detecting abnormal data, and machine-readable medium |
| CN109656917A (zh) * | 2018-12-18 | 2019-04-19 | 深圳前海微众银行股份有限公司 | 多数据源的数据检测方法、装置、设备及可读存储介质 |
| CN109756368A (zh) * | 2018-12-24 | 2019-05-14 | 广州市百果园网络科技有限公司 | 设备异常变更的检测方法、装置、计算机可读存储介质及终端 |
| CN110505196A (zh) * | 2019-07-02 | 2019-11-26 | 中国联合网络通信集团有限公司 | 物联网卡异常检测方法及装置 |
-
2020
- 2020-06-30 CN CN202010609050.5A patent/CN111752936B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008085819A (ja) * | 2006-09-28 | 2008-04-10 | Oki Electric Ind Co Ltd | ネットワーク異常検出システム、ネットワーク異常検出方法及びネットワーク異常検出プログラム |
| KR20100068733A (ko) * | 2008-12-15 | 2010-06-24 | 한국과학기술정보연구원 | 통합 데이터베이스 구축을 위한 데이터 정제 시스템 및방법과 이를 위한 기록매체 |
| US20160261482A1 (en) * | 2015-03-04 | 2016-09-08 | Fisher-Rosemount Systems, Inc. | Anomaly detection in industrial communications networks |
| CN105119783A (zh) * | 2015-09-30 | 2015-12-02 | 北京奇艺世纪科技有限公司 | 网络请求数据的检测方法及装置 |
| US20180173744A1 (en) * | 2016-12-20 | 2018-06-21 | International Business Machines Corporation | Determining integrity of database workload transactions |
| WO2019019493A1 (zh) * | 2017-07-28 | 2019-01-31 | 平安科技（深圳）有限公司 | 数据共享方法、装置及计算机可读存储介质 |
| US20190087738A1 (en) * | 2017-09-20 | 2019-03-21 | Siemens Aktiengesellschaft | Method, apparatus and device for detecting abnormal data, and machine-readable medium |
| CN108446362A (zh) * | 2018-03-13 | 2018-08-24 | 平安普惠企业管理有限公司 | 数据清洗处理方法、装置、计算机设备和存储介质 |
| CN109656917A (zh) * | 2018-12-18 | 2019-04-19 | 深圳前海微众银行股份有限公司 | 多数据源的数据检测方法、装置、设备及可读存储介质 |
| CN109756368A (zh) * | 2018-12-24 | 2019-05-14 | 广州市百果园网络科技有限公司 | 设备异常变更的检测方法、装置、计算机可读存储介质及终端 |
| CN110505196A (zh) * | 2019-07-02 | 2019-11-26 | 中国联合网络通信集团有限公司 | 物联网卡异常检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 曾昭文;: "数据质量检测方法及应用", 电脑编程技巧与维护, no. 12 * |
| 蒋梦丹;林宏刚;曹鹤鸣;: "基于业务逻辑思想的异常检测研究", 成都信息工程大学学报, no. 02 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112468516A (zh) * | 2020-12-17 | 2021-03-09 | 全球能源互联网研究院有限公司 | 一种安全防御方法、装置、电子设备及存储介质 |
| CN113489773A (zh) * | 2021-06-30 | 2021-10-08 | 未鲲(上海)科技服务有限公司 | 数据接入方法、装置、设备及介质 |
| CN113469857A (zh) * | 2021-07-19 | 2021-10-01 | 神彩科技股份有限公司 | 一种数据处理方法、装置、电子设备以及存储介质 |
| CN113986898A (zh) * | 2021-10-26 | 2022-01-28 | 深信服科技股份有限公司 | 一种数据质量检测方法、装置、设备及可读存储介质 |
| WO2023092954A1 (zh) * | 2021-11-26 | 2023-06-01 | 华为云计算技术有限公司 | 数据治理的方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111752936B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111752936A (zh) | 数据检测管理方法、装置、服务器及可读存储介质 | |
| CN112003838B (zh) | 网络威胁的检测方法、装置、电子装置和存储介质 | |
| US20190306733A1 (en) | Abnormality detecting method and abnormality detecting device | |
| EP3667952B1 (en) | Method, device, and storage medium for locating failure cause | |
| EP3482528A1 (en) | A system and method for providing a secure data monitoring system implemented within factory or plant | |
| US11640459B2 (en) | Abnormality detection device | |
| US20230403168A1 (en) | Mobile machine with improved machine data authentication | |
| JPWO2020075801A1 (ja) | 情報処理装置、異常分析方法及びプログラム | |
| US11079400B2 (en) | Monitoring a product build process via a smart tray | |
| CN114238036A (zh) | 一种saas平台异常实时的监控方法及装置 | |
| US20210152587A1 (en) | Method and system to detect abnormal message transactions on a network | |
| Ediriweera et al. | Monitoring water distribution systems: understanding and managing sensor networks | |
| US10560365B1 (en) | Detection of multiple signal anomalies using zone-based value determination | |
| CN109379439B (zh) | 基于物联网信息化定位*** | |
| US8214907B1 (en) | Collection of confidential information dissemination statistics | |
| CN115543665A (zh) | 一种内存可靠性评估方法、装置及存储介质 | |
| CN112231194B (zh) | 一种指标异常根源分析方法、装置及计算机可读存储介质 | |
| CN114584370A (zh) | 一种服务器数据交互网络安全*** | |
| US10996076B2 (en) | Sensor device management method and sensor device management system | |
| US11949581B2 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
| CN115967570A (zh) | 一种基于大数据的网络通讯环境****** | |
| CN117250640B (zh) | 卫星导航实时数据流批量管理与自动处理的方法和装置 | |
| CN113472583B (zh) | 故障原因识别方法、装置及故障原因识别*** | |
| CN115086172B (zh) | 一种数据网关插件更新方法、装置、电子设备及存储介质 | |
| US9813540B2 (en) | Method of computing statistical vehicle data using mobile terminal and apparatus for performing the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |