CN113746701B - 一种数据获取方法、***、存储介质和电子设备 - Google Patents

一种数据获取方法、***、存储介质和电子设备 Download PDF

Info

Publication number
CN113746701B
CN113746701B CN202111031788.9A CN202111031788A CN113746701B CN 113746701 B CN113746701 B CN 113746701B CN 202111031788 A CN202111031788 A CN 202111031788A CN 113746701 B CN113746701 B CN 113746701B
Authority
CN
China
Prior art keywords
matrix
hotspot
effective
initial
mahalanobis distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111031788.9A
Other languages
English (en)
Other versions
CN113746701A (zh
Inventor
赖祥军
龚海澎
付从海
闫玉龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yingdesaike Technology Co ltd
Original Assignee
Sichuan Yingdesaike Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yingdesaike Technology Co ltd filed Critical Sichuan Yingdesaike Technology Co ltd
Priority to CN202111031788.9A priority Critical patent/CN113746701B/zh
Publication of CN113746701A publication Critical patent/CN113746701A/zh
Application granted granted Critical
Publication of CN113746701B publication Critical patent/CN113746701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/08—Access point devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及一种数据获取方法、***、存储介质和电子设备，根据工作场所中每个监测装置上传的监测数据及其涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合；根据监测数据，得到待定集合中每个热点的第一矩阵、初始有效热点集合的第二矩阵和初始无效热点集合的第三矩阵；计算任一第一矩阵和第二矩阵之间的第一马氏距离、该第一矩阵和第三矩阵之间的第二马氏距离，当该第一马氏距离均小于第二马氏距离与预设马氏距离时，将该热点确认为有效热点，直至筛选出待定集合中所有的有效热点，并划分至初始有效热点集合中，得到最终有效热点集合并获取其中每个有效热点对应的数据。本发明降低了采用人工筛选所带来的高成本和主观性。

Description

一种数据获取方法、***、存储介质和电子设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据获取方法、***、存储介质和电子设备。
背景技术
在某些特定的场合中，由于需要确保内部数据及信息的安全，因此，需要禁止内部专用网络和外部无线网络连通；通过无线接入设备和内部专用网络进行数据交互。在内部专用网络和外部无线网络的连通性分析中，需要实时监测外部无线网络的数据状态。但在实际的工业环境中，由于所处位置的复杂多变，该环境中可能出现大量且无效的无线热点信息，对连通性分析的干扰性极强。
在实际的工业环境中，从所有的无线热点信息中筛选出真实有效的无线热点，过滤掉无效无线热点；从所有的无线接入设备信息中筛选出真实有效的无线接入设备，过滤掉无效无线接入设备，对于内外网的违规连通即连通性的分析具有重大意义。比如，若实际的工业环境处于公路、城镇等等复杂环境中，将会监测到许多无效的无线热点与无线接入设备。
目前，还没有技术手段表明，可以从大量的无线热点信息或无线接入设备信息中筛选出有效的无线热点或有效的无线接入设备。仅通过管理人员人工判断有效的无线热点和无线接入设备，既使得管理成本增加，又有可能由于管理人员的疏忽和主观性的判断，提高了连通性分析结果的出错概率。
发明内容
针对现有技术中采用人工判断热点是否有效或者无效，需要高昂的管理成本的同时，降低了连通性分析效率及准确率的缺点，本发明提供一种数据获取方法、***、存储介质和电子设备，在解决上述缺点的同时，也达到为连通性分析，准确筛选出真实有效的热点及相关数据的目的。
本发明所提供的一种数据获取方法的技术手段如下：
根据预设工作场所中每个监测装置上传的监测数据，将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合；
根据所述监测数据，得到所述待定集合中每个热点对应的第一矩阵、所述初始有效热点集合对应的第二矩阵和所述初始无效热点集合对应的第三矩阵，所述第二矩阵、第三矩阵的行数均与任一第一矩阵的行数相同，所述第二矩阵、第三矩阵的列数均与任一第一矩阵的列数相同；
计算任一第一矩阵和第二矩阵之间的第一马氏距离，并计算该第一矩阵和所述第三矩阵之间的第二马氏距离，当该第一马氏距离均小于第二马氏距离与预设马氏距离时，则将该热点确认为有效热点，直至对所述待定集合中的每个热点进行判断，筛选出所有的有效热点，并划分至所述初始有效热点集合中，得到最终有效热点集合；
从所述监测数据中获取所述最终有效热点集合中的每个有效热点对应的数据。
本发明的一种数据获取方法的有益效果如下：
在复杂多变的工作场所中所产生的大量的监测数据中，筛选出部分有效热点并获取相应的数据，避免了对无效热点的进一步分析，从而进一步促进内部专用网络和外部无线网络的连通性分析的准确率和效率，同时，和人工筛选无效热点相比，降低了采用人工筛选所带来的高成本和主观性。
在上述方案的基础上，本发明的一种数据获取方法还可以做如下改进。
所述根据预设工作场所中每个监测装置上传的监测数据，将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合，包括：
根据所述监测数据，获取任一热点对应的所有的出现时刻，根据第一预设时长将每天的总时长划分为多个预设时间段；
当任一热点在连续多个预设时间段内出现过时，判断该连续多个预设时间段对应的时长是否大于第二预设时长，若是，则该连续多个预设时间段为一个有效时间段；若否，则该连续多个预设时间段为一个无效时间段，其中，第一预设时长小于第二预设时长；
判断任一热点在任一孤立预设时间段是否出现过，若是，则该预设时间段为一个无效时间段；若否，则该预设时间段为一个空白时间段；
将有效时间段的总段数在第一总段数中的占比大于第一预设比例的热点划分至初始有效热点集合；或者，将有效时间段对应的总时长在第一总时长中的占比大于第二预设比例的热点划分至初始有效热点集合；
将无效时间段的总段数在第一总段数中的占比大于第三预设比例的热点划分至初始无效热点集合；或者，将无效时间段对应的总时长在第一总时长中的占比大于第四预设比例的热点划分至初始无效热点集合；将剩下的多个热点均划分至待定集合；
其中，第一总段数为：所有有效时间段与所有无效时间段的总段数；第一总时长为：所有有效时间段与所有无效时间段的总段数对应的总时长。
采用上述进一步方案的有益效果是：限定了将监测数据所涉及的热点划分至初始有效热点、初始无效热点和待定集合的条件，为从待定集合中筛选出有效热点作进一步的准备。
进一步，所述根据所述监测数据，得到所述待定集合中每个热点对应的第一矩阵、所述初始有效热点集合对应的第二矩阵和所述初始无效热点集合对应的第三矩阵；计算任一第一矩阵和第二矩阵之间的第一马氏距离，并计算该第一矩阵和所述第三矩阵之间的第二马氏距离，包括：
利用第一马氏距离计算公式，根据第i个热点对应的第一矩阵和所述第二矩阵得第一马氏距离；利用第二马氏距离计算公式，根据该第一矩阵和所述第三矩阵得到第二马氏距离；
其中，第一马氏距离计算公式为：
Figure BDA0003245594940000041
第二马氏距离计算公式为：
Figure BDA0003245594940000042
∑1为所述初始有效热点集合对应的协方差矩阵、∑2为所述初始无效热点集合对应的协方差矩阵；xi为由待定集合中第i个热点对应的多个维度的实际值构成的第一矩阵且i∈[1，I]，I为待定集合中所有热点的总数量、μ2为由有效热点集合中所有热点的每个维度所分别对应的均值构成的第二矩阵、μ3为由无效热点集合中所有热点的每个维度所分别对应的均值构成的第三矩阵。
采用上述进一步方案的有益效果是：进一步明确了获得待定集合中每个热点对应的矩阵、有效热点集合对应的矩阵和无效热点集合对应的矩阵的过程，从而进一步明确了马氏距离计算公式中的每个参数。
进一步，获取到的所述最终有效热点集合中的每个有效热点对应的数据包括：所述最终有效热点集合中的每个有效热点所分别对应的无线接入设备。
本发明的一种数据获取***的技术方案如下：
包括：第一处理模块、第二处理模块、筛选模块和数据获取模块；
所述第一处理模块，用于根据预设工作场所中每个监测装置上传的监测数据，将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合；
所述第二处理模块，用于根据所述监测数据，得到所述待定集合中每个热点对应的第一矩阵、所述初始有效热点集合对应的第二矩阵和所述初始无效热点集合对应的第三矩阵，所述第二矩阵、第三矩阵的行数均与任一第一矩阵的行数相同，所述第二矩阵、第三矩阵的列数均与任一第一矩阵的列数相同；
所述筛选模块，用于计算任一第一矩阵和第二矩阵之间的第一马氏距离，并计算该第一矩阵和所述第三矩阵之间的第二马氏距离，当该第一马氏距离均小于第二马氏距离与预设马氏距离时，则将该热点确认为有效热点，直至对所述待定集合中的每个热点进行判断，筛选出所有的有效热点，并划分至所述初始有效热点集合中，得到最终有效热点集合；
所述数据获取模块，用于从所述监测数据中获取所述最终有效热点集合中的每个有效热点对应的数据。
本发明的一种数据获取***的有益效果如下：
在复杂多变的工作场所中所产生的大量的监测数据中，筛选出部分有效热点并获取相应的数据，避免了对无效热点的进一步分析，从而进一步促进内部专用网络和外部无线网络的连通性分析的准确率和效率，同时，和人工筛选无效热点相比，降低了采用人工筛选所带来的高成本和主观性。
在上述技术方案的基础上，本发明的一种数据获取***还可以作出如下改进。
进一步，所述第一处理模块具体用于：
根据所述监测数据，获取任一热点对应的所有的出现时刻，根据第一预设时长将每天的总时长划分为多个预设时间段；
当任一热点在连续多个预设时间段内出现过时，判断该连续多个预设时间段对应的时长是否大于第二预设时长，若是，则该连续多个预设时间段为一个有效时间段；若否，则该连续多个预设时间段为一个无效时间段，其中，第一预设时长小于第二预设时长；
判断任一热点在任一孤立预设时间段是否出现过，若是，则该预设时间段为一个无效时间段；若否，则该预设时间段为一个空白时间段；
将有效时间段的总段数在第一总段数中的占比大于第一预设比例的热点划分至初始有效热点集合；或者，将有效时间段对应的总时长在第一总时长中的占比大于第二预设比例的热点划分至初始有效热点集合；
将无效时间段的总段数在第一总段数中的占比大于第三预设比例的热点划分至初始无效热点集合；或者，将无效时间段对应的总时长在第一总时长中的占比大于第四预设比例的热点划分至初始无效热点集合；将剩下的多个热点均划分至待定集合；
其中，第一总段数为：所有有效时间段与所有无效时间段的总段数；第一总时长为：所有有效时间段与所有无效时间段的总段数对应的总时长。
采用上述进一步方案的有益效果是：限定了将监测数据所涉及的热点划分至初始有效热点、初始无效热点和待定集合的条件，为从待定集合中筛选出有效热点作进一步的准备。
进一步，所述第二处理模块具体用于：
利用第一马氏距离计算公式，根据第i个热点对应的第一矩阵和所述第二矩阵得第一马氏距离；利用第二马氏距离计算公式，根据该第一矩阵和所述第三矩阵得到第二马氏距离；
其中，第一马氏距离计算公式为：
Figure BDA0003245594940000061
第二马氏距离计算公式为：
Figure BDA0003245594940000062
∑1为所述初始有效热点集合对应的协方差矩阵、∑2为所述初始无效热点集合对应的协方差矩阵；xi为由待定集合中第i个热点对应的多个维度的实际值构成的第一矩阵且i∈[1，I]，I为待定集合中所有热点的总数量、μ2为由有效热点集合中所有热点的每个维度所分别对应的均值构成的第二矩阵、μ3为由无效热点集合中所有热点的每个维度所分别对应的均值构成的第三矩阵。
采用上述进一步方案的有益效果是：进一步明确了获得待定集合中每个热点对应的矩阵、有效热点集合对应的矩阵和无效热点集合对应的矩阵的过程，从而进一步明确了马氏距离计算公式中的每个参数。
进一步，获取到的所述最终有效热点集合中的每个有效热点对应的数据包括：所述最终有效热点集合中的每个有效热点所分别对应的无线接入设备。
本发明的一种存储介质的技术方案如下：
所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述任一项所述的一种数据获取方法。
本发明的一种电子设备的技术方案如下：
包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现上述任一项所述的一种数据获取方法的步骤。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明实施例的一种数据获取方法的步骤示意图；
图2为本发明实施例的一种数据获取***的结构示意图；
图3为本发明实施例的一种电子设备的结构示意图。
具体实施方式
如图1所示，本发明实施例的一种数据获取方法，包括如下步骤：
S1、根据预设工作场所中每个监测装置上传的监测数据，将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合；
S2、根据所述监测数据，得到所述待定集合中每个热点对应的第一矩阵、所述初始有效热点集合对应的第二矩阵和所述初始无效热点集合对应的第三矩阵，所述第二矩阵、第三矩阵的行数均与任一第一矩阵的行数相同，所述第二矩阵、第三矩阵的列数均与任一第一矩阵的列数相同；
S3、计算任一第一矩阵和第二矩阵之间的第一马氏距离，并计算该第一矩阵和所述第三矩阵之间的第二马氏距离，当该第一马氏距离均小于第二马氏距离与预设马氏距离时，则将该热点确认为有效热点，直至对所述待定集合中的每个热点进行判断，筛选出所有的有效热点，并划分至所述初始有效热点集合中，得到最终有效热点集合；
S4、从所述监测数据中获取所述最终有效热点集合中的每个有效热点对应的数据。
其中，监测装置具备热点及无线接入设备信号采集功能，能够对工作场所中的热点信号或者无线接入设备的信号进行扫描，即监测数据包括但不限于工作场所中扫描到的热点，且监测装置会将监测数据根据设定的周期进行上传。
其中，每个有效热点对应的数据，至少包括每个有效热点本身对应的识别编码、名称、每次监测到的时间。
S1中将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合所涉及的方法，包括人工划分的方法。在预设工作场所中如某些保密会议的举行地点、政府人员的工作场所中，对网络或者设备的运维工作会有严格的管控措施，热点开启会有预先备案，那么管理员就可以通过备案资料将某些热点划分至初始有效热点集合或者无效热点集合。
同时，本方案也适用于从与内部专用网络进行连接的所有无线接入设备中筛选出有效的无线接入设备，以达到对内部专用网络和外部无线网络的连通性分析的目的，从而实时监测外部无线网络的数据状态，其中，内部专用网络指工作场所中的工作人员才可以使用的网络，具备一定的保密性。
较优地，所述根据预设工作场所中每个监测装置上传的监测数据，将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合，包括：
根据所述监测数据，获取任一热点对应的所有的出现时刻，根据第一预设时长将每天的总时长划分为多个预设时间段；
当任一热点在连续多个预设时间段内出现过时，判断该连续多个预设时间段对应的时长是否大于第二预设时长，若是，则该连续多个预设时间段为一个有效时间段；若否，则该连续多个预设时间段为一个无效时间段，其中，第一预设时长小于第二预设时长；
判断任一热点在任一孤立预设时间段是否出现过，若是，则该预设时间段为一个无效时间段；若否，则该预设时间段为一个空白时间段；
将有效时间段的总段数在第一总段数中的占比大于第一预设比例的热点划分至初始有效热点集合；或者，将有效时间段对应的总时长在第一总时长中的占比大于第二预设比例的热点划分至初始有效热点集合；
将无效时间段的总段数在第一总段数中的占比大于第三预设比例的热点划分至初始无效热点集合；或者，将无效时间段对应的总时长在第一总时长中的占比大于第四预设比例的热点划分至初始无效热点集合；将剩下的多个热点均划分至待定集合；
其中，第一总段数为：所有有效时间段与所有无效时间段的总段数；第一总时长为：所有有效时间段与所有无效时间段的总段数对应的总时长。
其中，任一孤立预设时间段可以理解为，当某个预设时间段出现过热点，则该预设时间段的前一个预设时间段和后一个预设时间段均未出现过热点；当某个预设时间段未出现过热点，则该预设时间段的前一个预设时间段和后一个预设时间段均出现过热点，以上两种情况都将该预设时间段视为孤立预设时间段。
其中，根据第一预设时长将每天的总时长划分为多个时间段中的“第一预设时长”，判断该连续多个预设时间段对应的时长是否大于第二预设时长中的“第二预设时长”，将有效时间段的总段数在第一总段数中的占比大于第一预设比例的热点划分至初始有效热点集合中的“第一预设比例”，将有效时间段对应的总时长在第一总时长中的占比大于第二预设比例的热点划分至初始有效热点集合中的“第二预设比例”，将无效时间段的总段数在第一总段数中的占比大于第三预设比例的热点划分至初始无效热点集合中的“第三预设比例”，将无效时间段对应的总时长在第一总时长中的占比大于第四预设比例的热点划分至初始无效热点集合；将剩下的多个热点均划分至待定集合中的“第四预设比例”，均可以根据实际情况进行设置和调整。
例如，若将第一预设时长设置为30min，则每天的总时长会被划分为48个时间段。若将第一预设时长设置为2min，则每天的总时长会被划分为720个时间段。
较优地，第一预设时长为5s，第二预设时长为3min，且第一预设时长设置得越小，本方案将热点划分至初始有效热点集合、无效热点集合与待定集合的划分准确率越高，“第一预设比例”、“第二预设比例”、“第三预设比例”和“第四预设比例”设置为90％。
具体地，以监测数据中的A热点和B热点该划分至初始无效热点集合还是初始有效热点集合，进行举例解释如下：
假设前提条件为：(1)根据监测数据获取的A热点对应的所有的出现时刻为10:15、10:16、14:03、15:30、15:40、15:45、16:12、18:07、18:45、19:48、20：35；根据监测数据获取的B热点对应的所有的出现时刻为10:13、11:16、11：25、12：36、13：38、14:03、15:30、15:40、15:55、16:12、18:09、18:45、19:28、20：03、20：45；
(2)将第一预设时长设置为30min，则每天的总时长会被划分为00:00～00:30、00:30～01：00、01:00～01:30、01:30～02:00……23:00～23:30、23:30～24:00，共48个时间段，则根据已有的条件，可以得出A热点对应的出现时间段为a1、10：00～10：30；b1、14：00～14：30；c1、15：30～16：00；d1、16：00～16：30；e1、18：00～18：30；f1、18：30～19：00；g1、19：30～20：00；h1、20：30～21：00；可以得出B热点对应的出现时间段为a2、10：00～10：30；b2、11：00～11：30；c2、12：30～13：00；d2、13：30～14：00；e2、14:00～14：30；f2、15：30～16：00；g2、16：00～16：30；h2、18：00～18：30；j2、18：30～19：00；k2、19：00～19：30；l2、20：00～20：30；q2、20：30～21：00；
(3)将第二预设时长设置为45min；
(4)将第一预设、第二预设比例设置为55％。
则根据上述条件，可以得出A热点的有效时间段共有2个：c1d1、e1f1，无效时间段共有4个：a1、b1、g1、h1；则A热点对应的第一总段数为6，有效时间段的总段数占比为33.3％；
可以得出B热点的有效时间段共有4个：d2e2、f2g2、h2j2k2、l2q2，无效时间段共有3个：a2、b2、c2；则B热点对应的第一总段数为7，有效时间段的总段数占比为57.14％。则A热点划分至初始无效热点集合，B热点划分至初始有效热点集合。
较优地，所述根据所述监测数据，得到所述待定集合中每个热点对应的第一矩阵、所述初始有效热点集合对应的第二矩阵和所述初始无效热点集合对应的第三矩阵；计算任一第一矩阵和第二矩阵之间的第一马氏距离，并计算该第一矩阵和所述第三矩阵之间的第二马氏距离，包括：
利用第一马氏距离计算公式，根据第i个热点对应的第一矩阵和所述第二矩阵得第一马氏距离；利用第二马氏距离计算公式，根据该第一矩阵和所述第三矩阵得到第二马氏距离；
其中，第一马氏距离计算公式为：
Figure BDA0003245594940000111
第二马氏距离计算公式为：
Figure BDA0003245594940000112
∑1为所述初始有效热点集合对应的协方差矩阵、∑2为所述初始无效热点集合对应的协方差矩阵；xi为由待定集合中第i个热点对应的多个维度的实际值构成的第一矩阵且i∈[1，I]，I为待定集合中所有热点的总数量、μ2为由有效热点集合中所有热点的每个维度所分别对应的均值构成的第二矩阵、μ3为由无效热点集合中所有热点的每个维度所分别对应的均值构成的第三矩阵。
常见地，∑一般理解为求和符号，但在马氏距离的计算公式中，被解释为多维随机变量的协方差矩阵，即：协方差矩阵的每个元素是各个向量元素之间的协方差，而在本方案中，所述初始有效热点集合对应的协方差矩阵的每个元素，指待定集合中第i个热点对应的第一矩阵中的元素与第二矩阵中的元素之间的协方差；所述初始无效热点集合对应的协方差矩阵的每个元素，指待定集合中第i个热点对应的第一矩阵中的元素与第三矩阵中的元素之间的协方差。T为矩阵的转秩符号。具体地，每个热点对应的维度信息包括：监测到该热点的监测装置总数、无效时间段的总段数在第一总段数中的占比、有效时间段的总段数在第一总段数中的占比、无效时间段对应的总时长在第一总时长中的占比、有效时间段对应的总时长在第一总时长中的占比、预设工作场所的工作总时长、预设工作场所的非工作总时长、空白时间段的总段数在所有时间段(包括有效时间段、无效时间段和空白时间段)中的占比，在该基础上，需要将上述维度信息涉及时间的统一用小时或者分钟表示。
若有效热点集合中有3个热点，且这3个热点对应的上述维度信息分别为：(1)5、0.75、0.25、0.68、0.32、480(min)、960(min)、0.56；
(2)8、0.45、0.55、0.52、0.48、480(min)、960(min)、0.72；
(3)7、0.86、0.14、0.88、0.12、480(min)、960(min)、0.43；
若待定集合中的热点A对应的上述维度信息分别为：6、0.56、0.44、0.68、0.32、480(min)、960(min)、0.56；
则热点A对应的第一矩阵为：[60.560.440.680.324809600.56]；则第二矩阵为有效热点集合中，由上述3个热点每个维度所分别对应的均值即(5+8+7)/3≈6.67、(0.75+0.48+0.86)/3≈0.70、(0.25+0.55+0.14)/3≈0.31、(0.68+0.52+0.88)/3≈0.69、(0.32+0.48+0.12)/3≈0.31、480*3/3≈480、960*3/3≈960、(0.56+0.72+0.43)/3＝0.57构成，即第二矩阵为：[6.670.700.310.690.31480960]。得到第三矩阵的计算过程类似第二矩阵的计算过程，故不再举例进行说明。
其中，预设场所的工作总时长可以这样理解，若某场所的工作时间是9：00～12：00，13：00～17：00，那么该场所的工作总时长为7h，非工作总时长为17h。
在上述各实施例中，虽然对步骤进行了编号S1、S2等，但只是本申请给出的具体实施例，本领域的技术人员可根据实际情况对调整S1、S2等的执行顺序，此也在本发明的保护范围内，可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。
较优地，获取到的所述最终有效热点集合中的每个有效热点对应的数据包括：所述最终有效热点集合中的每个有效热点所分别对应的无线接入设备。
本发明实施例的一种数据获取***200如图2所示，包括：第一处理模块210、第二处理模块220、筛选模块230和数据获取模块240；
所述第一处理模块210，用于根据预设工作场所中每个监测装置上传的监测数据，将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合；
所述第二处理模块220，用于根据所述监测数据，得到所述待定集合中每个热点对应的第一矩阵、所述初始有效热点集合对应的第二矩阵和所述初始无效热点集合对应的第三矩阵，所述第二矩阵、第三矩阵的行数均与任一第一矩阵的行数相同，所述第二矩阵、第三矩阵的列数均与任一第一矩阵的列数相同；
所述筛选模块230，用于计算任一第一矩阵和第二矩阵之间的第一马氏距离，并计算该第一矩阵和所述第三矩阵之间的第二马氏距离，当该第一马氏距离均小于第二马氏距离与预设马氏距离时，则将该热点确认为有效热点，直至对所述待定集合中的每个热点进行判断，筛选出所有的有效热点，并划分至所述初始有效热点集合中，得到最终有效热点集合；
所述数据获取模块240，用于从所述监测数据中获取所述最终有效热点集合中的每个有效热点对应的数据。
较优地，所述第一处理模块具体用于：
根据所述监测数据，获取任一热点对应的所有的出现时刻，根据第一预设时长将每天的总时长划分为多个预设时间段；
当任一热点在连续多个预设时间段内出现过时，判断该连续多个预设时间段对应的时长是否大于第二预设时长，若是，则该连续多个预设时间段为一个有效时间段；若否，则该连续多个预设时间段为一个无效时间段，其中，第一预设时长小于第二预设时长；
判断任一热点在任一孤立预设时间段是否出现过，若是，则该预设时间段为一个无效时间段；若否，则该预设时间段为一个空白时间段；
将有效时间段的总段数在第一总段数中的占比大于第一预设比例的热点划分至初始有效热点集合；或者，将有效时间段对应的总时长在第一总时长中的占比大于第二预设比例的热点划分至初始有效热点集合；
将无效时间段的总段数在第一总段数中的占比大于第三预设比例的热点划分至初始无效热点集合；或者，将无效时间段对应的总时长在第一总时长中的占比大于第四预设比例的热点划分至初始无效热点集合；将剩下的多个热点均划分至待定集合；
其中，第一总段数为：所有有效时间段与所有无效时间段的总段数；第一总时长为：所有有效时间段与所有无效时间段的总段数对应的总时长。
较优地，所述第二处理模块具体用于：
利用第一马氏距离计算公式，根据第i个热点对应的第一矩阵和所述第二矩阵得第一马氏距离；利用第二马氏距离计算公式，根据该第一矩阵和所述第三矩阵得到第二马氏距离；
其中，第一马氏距离计算公式为：
Figure BDA0003245594940000141
第二马氏距离计算公式为：
Figure BDA0003245594940000151
∑1为所述初始有效热点集合对应的协方差矩阵、∑2为所述初始无效热点集合对应的协方差矩阵；xi为由待定集合中第i个热点对应的多个维度的实际值构成的第一矩阵且i∈[1，I]，I为待定集合中所有热点的总数量、μ2为由有效热点集合中所有热点的每个维度所分别对应的均值构成的第二矩阵、μ3为由无效热点集合中所有热点的每个维度所分别对应的均值构成的第三矩阵。
较优地，获取到的所述最终有效热点集合中的每个有效热点对应的数据包括：所述最终有效热点集合中的每个有效热点所分别对应的无线接入设备。
如图3所示，本发明实施例的一种电子设备300，包括存储器310、处理器320及存储在所述存储器上并在所述处理器上运行的程序330，所述处理器320执行所述程序330时实现上述任意一种数据获取方法实施例中的部分或全部步骤。
所述电子设备可以是任何一种用户进行人机交互的电子产品，例如，个人计算机、平板电脑、个人数字助理(PDA，Personal DigitalAssistant)、交互式网络电视(IPTV，Internet Protocal Television)、智能式穿戴式设备等，且上述关于本发明的一种电子设备中的各参数和步骤，可参考上文中一种监控数据的方法的实施例中的各参数和步骤，在此不做赘述。
所述电子设备还可以包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。
所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(VPN，Virtual Private Network)等。
读者应理解，在本说明书的描述中，参考术语“第一种实施例”、“第二种实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
还应理解，在本发明各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据获取方法，其特征在于，包括：
根据预设工作场所中每个监测装置上传的监测数据，将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合；
根据所述监测数据，得到所述待定集合中每个热点对应的第一矩阵、所述初始有效热点集合对应的第二矩阵和所述初始无效热点集合对应的第三矩阵，所述第二矩阵、第三矩阵的行数均与任一第一矩阵的行数相同，所述第二矩阵、第三矩阵的列数均与任一第一矩阵的列数相同；
计算任一第一矩阵和第二矩阵之间的第一马氏距离，并计算该第一矩阵和所述第三矩阵之间的第二马氏距离，当该第一马氏距离小于第二马氏距离且该第一马氏距离小于预设马氏距离时，则将该第一矩阵对应的所述待定集合中的热点确认为有效热点，直至对所述待定集合中的每个热点进行判断，筛选出所有的有效热点，并划分至所述初始有效热点集合中，得到最终有效热点集合；
从所述监测数据中获取所述最终有效热点集合中的每个有效热点对应的数据。
2.根据权利要求1所述的一种数据获取方法，其特征在于，所述根据预设工作场所中每个监测装置上传的监测数据，将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合，包括：
根据所述监测数据，获取任一热点对应的所有的出现时刻，根据第一预设时长将每天的总时长划分为多个预设时间段；
当任一热点在连续多个预设时间段内出现过时，判断该连续多个预设时间段对应的时长是否大于第二预设时长，若是，则该连续多个预设时间段为一个有效时间段；若否，则该连续多个预设时间段为一个无效时间段，其中，第一预设时长小于第二预设时长；
判断任一热点在任一孤立预设时间段是否出现过，若是，则该预设时间段为一个无效时间段；若否，则该预设时间段为一个空白时间段；
将有效时间段的总段数在第一总段数中的占比大于第一预设比例的热点划分至初始有效热点集合；或者，将有效时间段对应的总时长在第一总时长中的占比大于第二预设比例的热点划分至初始有效热点集合；
将无效时间段的总段数在第一总段数中的占比大于第三预设比例的热点划分至初始无效热点集合；或者，将无效时间段对应的总时长在第一总时长中的占比大于第四预设比例的热点划分至初始无效热点集合；将剩下的多个热点均划分至待定集合；
其中，第一总段数为：所有有效时间段与所有无效时间段的总段数；第一总时长为：所有有效时间段与所有无效时间段的总段数对应的总时长。
3.根据权利要求1至2任一项所述的一种数据获取方法，其特征在于，所述根据所述监测数据，得到所述待定集合中每个热点对应的第一矩阵、所述初始有效热点集合对应的第二矩阵和所述初始无效热点集合对应的第三矩阵；计算任一第一矩阵和第二矩阵之间的第一马氏距离，并计算该第一矩阵和所述第三矩阵之间的第二马氏距离，包括：
利用第一马氏距离计算公式，根据第i个热点对应的第一矩阵和所述第二矩阵得第一马氏距离；利用第二马氏距离计算公式，根据该第一矩阵和所述第三矩阵得到第二马氏距离；
其中，第一马氏距离计算公式为：
Figure FDA0003904619680000021
第二马氏距离计算公式为：
Figure FDA0003904619680000022
∑1为所述初始有效热点集合对应的协方差矩阵、∑2为所述初始无效热点集合对应的协方差矩阵；xi为由待定集合中第i个热点对应的多个维度的实际值构成的第一矩阵且i∈[1,I]，I为待定集合中所有热点的总数量、μ2为由有效热点集合中所有热点的每个维度所分别对应的均值构成的第二矩阵、μ3为由无效热点集合中所有热点的每个维度所分别对应的均值构成的第三矩阵。
4.根据权利要求1至2任一项所述的一种数据获取方法，其特征在于，获取到的所述最终有效热点集合中的每个有效热点对应的数据包括：所述最终有效热点集合中的每个有效热点所分别对应的无线接入设备。
5.一种数据获取***，其特征在于，包括：第一处理模块、第二处理模块、筛选模块和数据获取模块；
所述第一处理模块，用于根据预设工作场所中每个监测装置上传的监测数据，将所述监测数据涉及的所有热点分别划分至初始有效热点集合、初始无效热点集合和待定集合；
所述第二处理模块，用于根据所述监测数据，得到所述待定集合中每个热点对应的第一矩阵、所述初始有效热点集合对应的第二矩阵和所述初始无效热点集合对应的第三矩阵，所述第二矩阵、第三矩阵的行数均与任一第一矩阵的行数相同，所述第二矩阵、第三矩阵的列数均与任一第一矩阵的列数相同；
所述筛选模块，用于计算任一第一矩阵和第二矩阵之间的第一马氏距离，并计算该第一矩阵和所述第三矩阵之间的第二马氏距离，当该第一马氏距离小于第二马氏距离且该第一马氏距离小于预设马氏距离时，则将该第一矩阵对应的所述待定集合中的热点确认为有效热点，直至对所述待定集合中的每个热点进行判断，筛选出所有的有效热点，并划分至所述初始有效热点集合中，得到最终有效热点集合；
所述数据获取模块，用于从所述监测数据中获取所述最终有效热点集合中的每个有效热点对应的数据。
6.根据权利要求5所述的一种数据获取***，其特征在于，所述第一处理模块具体用于：
根据所述监测数据，获取任一热点对应的所有的出现时刻，根据第一预设时长将每天的总时长划分为多个预设时间段；
当任一热点在连续多个预设时间段内出现过时，判断该连续多个预设时间段对应的时长是否大于第二预设时长，若是，则该连续多个预设时间段为一个有效时间段；若否，则该连续多个预设时间段为一个无效时间段，其中，第一预设时长小于第二预设时长；
判断任一热点在任一孤立预设时间段是否出现过，若是，则该预设时间段为一个无效时间段；若否，则该预设时间段为一个空白时间段；
将有效时间段的总段数在第一总段数中的占比大于第一预设比例的热点划分至初始有效热点集合；或者，将有效时间段对应的总时长在第一总时长中的占比大于第二预设比例的热点划分至初始有效热点集合；
将无效时间段的总段数在第一总段数中的占比大于第三预设比例的热点划分至初始无效热点集合；或者，将无效时间段对应的总时长在第一总时长中的占比大于第四预设比例的热点划分至初始无效热点集合；将剩下的多个热点均划分至待定集合；
其中，第一总段数为：所有有效时间段与所有无效时间段的总段数；第一总时长为：所有有效时间段与所有无效时间段的总段数对应的总时长。
7.根据权利要求5至6任一项所述的一种数据获取***，其特征在于，所述第二处理模块具体用于：
利用第一马氏距离计算公式，根据第i个热点对应的第一矩阵和所述第二矩阵得第一马氏距离；利用第二马氏距离计算公式，根据该第一矩阵和所述第三矩阵得到第二马氏距离；
其中，第一马氏距离计算公式为：
Figure FDA0003904619680000041
第二马氏距离计算公式为：
Figure FDA0003904619680000042
∑1为所述初始有效热点集合对应的协方差矩阵、∑2为所述初始无效热点集合对应的协方差矩阵；xi为由待定集合中第i个热点对应的多个维度的实际值构成的第一矩阵且i∈[1,I]，I为待定集合中所有热点的总数量、μ2为由有效热点集合中所有热点的每个维度所分别对应的均值构成的第二矩阵、μ3为由无效热点集合中所有热点的每个维度所分别对应的均值构成的第三矩阵。
8.根据权利要求5至6任一项所述的一种数据获取***，其特征在于，获取到的所述最终有效热点集合中的每个有效热点对应的数据包括：所述最终有效热点集合中的每个有效热点所分别对应的无线接入设备。
9.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至4中任一项所述的一种数据获取方法。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述的一种数据获取方法的步骤。
CN202111031788.9A 2021-09-03 2021-09-03 一种数据获取方法、***、存储介质和电子设备 Active CN113746701B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111031788.9A CN113746701B (zh) 2021-09-03 2021-09-03 一种数据获取方法、***、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111031788.9A CN113746701B (zh) 2021-09-03 2021-09-03 一种数据获取方法、***、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN113746701A CN113746701A (zh) 2021-12-03
CN113746701B true CN113746701B (zh) 2023-01-06

Family

ID=78735263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111031788.9A Active CN113746701B (zh) 2021-09-03 2021-09-03 一种数据获取方法、***、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN113746701B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259730A (zh) * 2019-12-31 2020-06-09 杭州安脉盛智能技术有限公司 一种基于多变量状态估计的状态监测方法及***

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6965973B2 (en) * 2002-05-15 2005-11-15 Broadcom Corporation Remote line directory which covers subset of shareable CC-NUMA memory space
CN104834746B (zh) * 2015-05-23 2017-12-12 华东交通大学 基于图形处理单元的异构特征时序数据演化聚类方法
CN107613462B (zh) * 2017-10-16 2021-02-02 浙江宇视科技有限公司 数据分析方法、装置及电子设备
CN108985065B (zh) * 2018-07-20 2022-03-11 武汉理工大学 应用改进的马氏距离计算方法进行固件漏洞检测的方法及***
CN110390056B (zh) * 2019-06-18 2022-07-15 平安科技（深圳）有限公司 大数据处理方法、装置、设备及可读存储介质
CN111046303A (zh) * 2019-11-20 2020-04-21 北京文安智能技术股份有限公司 一种热点区域的自动检测方法、装置及***
CN113239229A (zh) * 2021-06-17 2021-08-10 张鹏涛 一种智能筛选数据处理方法、***及云平台

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259730A (zh) * 2019-12-31 2020-06-09 杭州安脉盛智能技术有限公司 一种基于多变量状态估计的状态监测方法及***

Also Published As

Publication number Publication date
CN113746701A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN110380896B (zh) 基于攻击图的网络安全态势感知***和方法
US7555482B2 (en) Automatic detection of abnormal data access activities
CN106657057B (zh) 反爬虫***及方法
DE60102555T2 (de) Verhinderung der map-aktivierten modulmaskeradeangriffe
CN107579956B (zh) 一种用户行为的检测方法和装置
CN104239197A (zh) 一种基于大数据日志分析的管理用户异常行为发现方法
DE202011111121U1 (de) System zum Erfassen komplexer Schadsoftware
CN107733693B (zh) 基于安全事件统计的网络安全运维能力评估方法及***
US20100122270A1 (en) System And Method For Consolidating Events In A Real Time Monitoring System
CN111191247A (zh) 数据库安全审计***
DE112021005364T5 (de) Abwehr von gezielten datenbankangriffen durch dynamische generierung von honeypot-datenbankantworten
US20090164443A1 (en) Database performance mining
Kaja et al. A two stage intrusion detection intelligent system
CN113992340A (zh) 用户异常行为识别方法、装置、设备、存储介质和程序
CN113746701B (zh) 一种数据获取方法、***、存储介质和电子设备
CN110191097B (zh) 登录页面安全性的检测方法、***、设备及存储介质
EP3346666A1 (en) A prediction system configured for modeling the expected number of attacks on a computer or communication network
US11481485B2 (en) Methods and systems for peer grouping in insider threat detection
WO2019215478A1 (en) A system and a method for sequential anomaly revealing in a computer network
Genga et al. Towards a systematic process-aware behavioral analysis for security
CN108538396B (zh) 一种基于混合模型的药品不良反应遮蔽效应消除方法
CN116055194A (zh) 一种面向大数据平台的基于群体画像的安全评估方法
CN116401639A (zh) 一种基于大数据的计算机网络******及方法
CN115208601B (zh) 一种主动防御恶意扫描的方法及***
CN108351940B (zh) 用于信息安全事件的高频启发式数据获取与分析的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant