CN107615082B - 在分布式计算***中自适应地管理数据收集设备的方法与装置 - Google Patents
在分布式计算***中自适应地管理数据收集设备的方法与装置 Download PDFInfo
- Publication number
- CN107615082B CN107615082B CN201580080387.9A CN201580080387A CN107615082B CN 107615082 B CN107615082 B CN 107615082B CN 201580080387 A CN201580080387 A CN 201580080387A CN 107615082 B CN107615082 B CN 107615082B
- Authority
- CN
- China
- Prior art keywords
- data
- rule
- data collection
- collection device
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
- H04L41/0813—Configuration setting characterised by the conditions triggering a change of settings
- H04L41/0816—Configuration setting characterised by the conditions triggering a change of settings the condition being an adaptation, e.g. in response to network events
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0893—Assignment of logical groups to network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0882—Utilisation of link capacity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
Abstract
公开了在分布式计算***中自适应地管理数据收集设备的方法和装置。公开的示例方法涉及指示第一数据收集设备根据第一规则进行操作。示例性的第一规则指定第一操作模式并定义第一感兴趣事件。公开的示例方法还涉及在根据第一规则操作时从第一数据收集设备获取第一数据。公开的示例性的方法还涉及响应于基于第一数据确定第一感兴趣事件已经发生,基于第一数据向第一数据收集设备提供第二规则,并且向第二数据收集设备提供第三规则。示例性的第二规则指定第二操作模式并定义第二感兴趣事件,而示例性的第三规则指定第三操作模式。
Description
技术领域
本公开概括地说涉及分布式***,并且更具体地涉及在分布式计算***中对数据收集设备进行自适应地管理的方法和装置。
背景技术
可以将其内嵌入有传感器和电子设备的设备联网在一起,成为有时所称的“物联网”。这样的设备可以是包括诸如嵌入式通信电路的嵌入式电子设备的任何实体对象。物联网包括联网的监控设备(如摄像机,空气质量监控器,远程健康监控等),家用自动化设备(如空调,能源管理等)和运输设备(如自动化车辆、车辆监视器、车队管理,等等),等等。各种设备在联网时产生大量数据(例如,太字节每天,拍字节每天,等等)。例如,商用客机的发动机中的联网传感器可以在从纽约到洛杉矶的一次航班上产生240太字节的数据。
附图说明
图1是根据本公开的用于管理数据收集设备的示例性的分布式***的框图。
图2是图1的网关的示例实现方式的框图。
图3是图1的***管理器的示例实现方式的框图。
图4是表示可被执行以实现图1和/或图3的示例性***管理器来自适应地管理图1的示例分布式计算***的示例性机器可读指令的流程图。
图5是表示可被执行以实现图1和/或图3的示例性***管理器来管理由图1的示例的分布式计算***使用的带宽的示例性机器可读指令的流程图。
图6是表示可被执行以实现图1和/或图3的示例性***管理器以产生用于精简数据的规则的示例性机器可读指令的流程图。
图7是表示可被执行以实现图1和/或图2的示例网关以基于由图1和/或图3的***管理器生成的规则来精简数据的示例性机器可读指令的流程图。
图8是表示可被执行以实现图1和/或图2的示例网关来检测和响应感兴趣事件的示例性机器可读指令的流程图。
图9是构造为执行由图7和/或图8表示的示例性机器可读指令以实现图1和/或图2的示例网关的示例性处理器***的框图。
图10是构造成执行由图4、图5和/或图6表示的示例性机器可读指令来实现图1和/或图3的示例性***管理器的示例性处理器***的框图。
具体实施方式
可以使用本文公开的示例来自适应地管理分布式计算***中的数据收集设备。示例性分布式计算***包括可以在地理上分布的数据收集设备,其产生要发送到中央处理中心(例如,分布式计算***管理器)的数据。数据收集设备一起可能产生大量的数据。例如,跨越城市的大型的闭合字幕电视摄像机(CCTV)网络可能每分钟产生2.2太字节(TB)的数据。当感兴趣事件出现时,分布式计算***可能由于大量的数据而反应缓慢。例如,从CCTV数据识别个人可能会延迟,因为所有图像需要与该个人的相似度相匹配。传统上,数据收集设备具有有限的处理器和存储器资源。另外,整个***具有的可用于将数据发送到中央处理中心的带宽有限。
在本文公开的示例中,与数据收集设备相关联的网关通过例如以下来对由数据收集设备收集的数据执行实时处理:界定数据中感兴趣事件、集中由数据收集设备收集的数据以供***管理器使用、以及为感兴趣事件提供对延迟敏感的响应。示例***管理器执行例如对由分布式计算***中的数据收集设备收集的数据的实时处理和深度分析,以例如补充网关的动作从而基于数据收集设备收集的数据向网关提供更新的规则和/或触发器。如本文所使用的,规则是定义数据收集设备如何收集数据、网关如何处理数据以及/或网关如何检测感兴趣事件的指令或指令集。如本文所使用的,触发器是到网关的指令或指令集,其识别与网关相关联的数据收集设备响应于网关和/或检测到感兴趣事件的数据收集设备而采取的动作。在一些示例中,网关和***管理器通过管理分布式计算***的数据收集设备来促进分布式计算***适应分布式计算***中的变化(例如,在其中运行分布式计算***的环境中的变化),因为附加的数据收集设备被添加到***中和/或现有数据收集设备中进行升级。
在本文公开的示例中,与数据收集设备相关联的网关对由数据收集设备产生的数据执行数据分类。如本文所使用的,数据分类包括将数据分类到类别、检测数据中感兴趣事件和/或基于规则(例如来自***管理器的规则)将修正因子应用于数据中的一个或多个。示例规则指定用于检测感兴趣事件的标准。例如,在CCTV***中,第一规则可以指定要以80%的精度检测感兴趣的人的特征点,第二规则可以指定以95%的精度检测感兴趣的人的特征点,等等。另外或替代地,示例规则可以指定调整,以校正由数据收集设备收集的数据。例如,规则可以指定应用于由低精度空气质量传感器数据收集设备收集的数据的校正因子。示例的规则还可以指定收集数据的方式。例如,规则可以指定一个CCTV摄像机每5秒钟以720p的分辨率拍摄照片。
在本文公开的一些示例中,与数据收集设备相关联的网关确定由数据收集设备产生的数据的质量。如本文所使用的,数据质量是由数据收集设备产生的数据的可能有用性的量度。***管理器提供的示例规则可以定义数据质量度量。例如,从CCTV摄像机收集的数据的规则可以指示表示不包含显著移动的一系列图像的数据被认为是低质量数据(例如,具有低的数据质量度量)。作为另一示例,监视商用车辆的***中的规则可以声明表示车辆空闲(例如,不移动)的长周期的数据是低质量数据。
在本文公开的示例中,网关对由数据收集设备产生的数据进行集中(concentrate),以减少低质量数据(例如重复数据,无用数据等)并且放大与感兴趣事件相关的数据(例如不重复的数据)。为了集中数据,示例的网关对数据进行分类,分离数据内的独立属性和从属属性,和/或基于***管理器提供的规则减少数据的部分。如本文所使用的,属性是指来自数据收集设备的数据中的与特定传感器对应的一部分。例如,如果数据收集设备具有压力传感器和温度传感器,则从数据收集设备收集的数据包括对应于压力传感器的属性和对应于温度传感器的属性。从属属性是可从独立属性得出(例如,可计算,可估计等)的属性。在一些示例中,网关可以通过去除从属属性来减少数据。例如,如果车辆监视器记录位置经度、位置纬度、速度、变速器档位和每分钟发动机转数(RPM),则网关可以丢弃数据的速度和发动机RPM部分,因为速度可以基于经度和纬度的变化来计算,并且可以基于速度和变速器档位来计算和/或估计发动机RPM。在一些示例中,如果网关检测到感兴趣事件,则网关将在感兴趣事件之后的一段时间内收集和/或发送更详细的数据(例如,经度,纬度,速度,变速档和引擎RPM)。
在本文公开的示例中,网关接收来自***管理器的触发器。例如,如果摄像机是交通控制***的一部分,则触发器可以指出,在摄像机检测到交叉路口中的事故(感兴趣事件)时,交通控制***将交叉口中的所有交通灯改变为红色(一个动作)。因此,触发器可以允许网关和/或示例数据收集设备对感兴趣事件做出反应,而不必在感兴趣事件之后等待来自***管理器的指令。
在本文公开的示例中,***管理器从分布式计算***中的示例网关接收精简数据(condensed data)。示例***管理器执行实时分析以过滤和聚合精简数据,以确定是否应将新规则和/或触发器发送到一个或多个网关。通过实时分析,***管理器对网关指示数据收集设备收集的数据中的测量质量水平与数据收集设备和/或网关将收集的数据发送到***管理器所利用的带宽量进行权衡。如本文所使用的,测量质量的水平是指数据收集设备捕获数据的准确度、精度、分辨率、灵敏度和/或频率。提高测量质量水平是指增加数据收集设备捕获数据的准确度、精度、分辨率、灵敏度和/或频率中的一个或多个。一般而言,增加测量质量会增加数据收集设备产生的数据量,从而增加对应的网关将数据向***管理器发送所使用的带宽量。例如,响应于CCTV摄像机检测到感兴趣的人,***管理器可以向对应的网关提供以下规则,其指示CCTV(数据收集设备)增加由CCTV摄像机拍摄的图像的分辨率以及增加CCTV摄像机拍摄图像的频率。
相反,降低测量质量水平是指降低数据收集设备捕获数据的准确度、精度、分辨率、灵敏度和/或频率中的一个或多个。通常,降低数据质量水平会降低数据收集设备产生的数据量,从而减少相应网关向***管理器发送数据所使用的带宽量。例如,响应于CCTV摄像机检测到感兴趣的人,***管理器可以向其他网关提供以下规则,其降低由相应CCTV摄像机拍摄的图像的分辨率并且降低CCTV摄像机捕获图像的频率。
例如,最初,***管理器可以向连接到CCTV摄像机(数据收集设备)的分布式计算***中的网关发送第一规则。在该示例中,第一规则可以指示网关指示相应的摄像机每十秒以中等分辨率(例如,640×480分辨率等)拍摄图像。在这样的示例中,***管理器可以发送第二规则,其定义感兴趣事件以允许CCTV摄像机以80%的确定性识别犯罪嫌疑人。在这样的示例中,当CCTV摄像机中的一个检测到与犯罪嫌疑人的可能匹配时,***管理器可以向相应的网关发送第三规则。第三规则可以指示网关指示相应的摄像机每两秒以高分辨率(例如,720p等)拍摄图像。结果,从特定网关发送到***管理器的数据量增加。在这样的示例中,***管理器还可以向特定网关发送第四规则,其定义感兴趣事件以允许CCTV摄像机以99%的确定性识别犯罪嫌疑人。此外,***管理器可以向其他网关发送第五规则,其指示相应的CCTV摄像机每二十秒以低分辨率(例如,352×240分辨率等)拍摄图像。结果,从根据第五规则操作的网关发送到***管理器的数据量减少。
在本文公开的示例中,***管理器还对从网关接收的精简数据进行深度分析。深度分析包括数据挖掘、机器学习、数据建模和数据组织。在一些示例中,深度分析被用来生成和/或修改规则和/或触发器。在一些示例中,生成一种允许网关对所收集的数据进行汇总(summarize)的规则,***管理器执行聚类分析(例如,k均值分析等)以对来自分布式计算***中的网关的聚合数据进行分类。在一些这样的示例中,***管理器识别独立属性并为每个类别构建模型树。在一些示例中,***管理器生成包含校正因子的规则。在这样的示例中,规则允许网关在将数据发送到***管理器之前对其进行校正。
图1示出了具有连接到示例网络104(例如,广域网,局域网,因特网,蜂窝网络等)的数据收集设备102a-102c的示例性分布式计算***100。示例性的数据收集设备102a-102c包括用于收集数据的传感器和/或用于控制数据收集设备102a-102c的致动器。在图1所图示的示例中,数据收集设备102a-102c具有可变数据收集能力,其允许调整数据收集的准确度、精度、分辨率、灵敏度和/或频率。例如,数据收集设备102a-102c可以是能够以不同分辨率(例如,352x240分辨率,640×480分辨率,1280×720分辨率等)和/或以不同频率(例如,连续的,每秒一次,每五秒一次,等等)捕获图像和/或视频的CCTV摄像机。
示例性的数据收集设备102a-102c与对应的网关106a-106c相关联。在一些示例中,数据收集设备102a-102c可以与网关106a-106c中的对应的一个组合成单个单元(例如,示例数据收集设备102a和示例106a可以组合在单个设备中)。示例的网关106a-106c对由示例的对应的数据收集设备102a-102c收集的数据执行实时数据分析。另外,示例的网关106a-106c将精简数据108a-108c发送到示例性的***管理器110。示例***管理器110向网关106a-106c提供规则112和/或触发器114以便于由网关106a-106c进行实时分析。示例规则112定义的的设置和/或指令确定了:数据如何被数据收集设备102a-102c收集、网关106a-106c如何精简数据、和/或如何通过网关106a-106c检测事件。示例的触发器114定义了响应于网关106a-106b和/或数据收集设备102a-102c检测感兴趣事件而由数据收集设备102a-102c执行的指令。
在所示的示例中,网关106a-106c检测由相应的数据收集设备102a-102c收集的数据中的感兴趣事件。示例的网关106a-106c根据由***管理器110提供的规则112分析从对应的数据收集设备102a-102c收集的数据,以检测感兴趣事件。例如,规则112可以为网关106a-106c提供特征点,以从由数据收集设备102a-102c捕获的图像中以80%确定性识别感兴趣的人的面部。作为另一示例,规则112可以为网关106a-106c提供用于确定具有数据收集设备102a-102c的车辆是否正在被危险驾驶的参数(例如,速度限制,路线位置信息,加速/减速阈值等)。
示例性的网关106a-106c界定(demarcate)由数据收集设备102a-102c收集的数据中的低质量数据段。低质量数据是不太可能包含有用信息的数据。低质量数据的示例包括不会频繁更改的数据或内部不一致的数据。在所示示例中,网关106a-106c使用由***管理器提供的规则112来确定数据的哪些部分是低质量的。例如,规则112中的一个示例可以表示,当水位在一段时间内不改变时,由水位传感器收集的数据是低质量的。作为另一示例,规则112中的一个示例可以声明,当测量到的车辆的位置的改变与测量到的车辆的速度不一致时,由车辆监视器收集的数据是低质量的。
在所示的示例中,网关106a-106c基于由***管理器110提供的规则112生成精简数据108a-108c(例如,由相应的数据收集设备102a-102c对数据收集进行本地汇总)。示例的精简数据108a-108c包含指示检测到的感兴趣事件的标记和/或指示低质量数据的标记。在一些示例中,网关106a-106c包括在感兴趣事件附近收集的数据(例如,在感兴趣事件之前的一定量的时间和在感兴趣事件之后的一定量的时间),并选择性地丢弃不在感兴趣事件附近和/或者被标记为低质量的数据。在一些示例中,网关106a-106c将收集的数据解构为独立数据和从属数据(例如,可以使用独立数据来确定和/或估计的数据)。在这样的示例中,精简数据108a-108c包含独立数据而不包含从属数据。在一些示例中,***管理器110经由规则112提供对收集的数据进行转换以适合由***管理器112生成的模型树的方法。在这样的示例中,精简数据108a-108c中的独立属性由***管理器110输入到模型树中以计算和/或估计未包括在精简数据108a-108c中的从属属性。
示例性的网关106a-106c基于由示例性***管理器110提供的触发器114对所感兴趣事件做出反应。示例触发器114定义了网关106a-106c响应于示例网关106a-106c检测到感兴趣事件而指示示例的数据收集设备102a-102c采取的动作。
在图1所示的示例中,***管理器110向分布式计算***100中的网关106a-106c提供规则112和触发器114。示例***管理器110执行实时分析以确定在网关106a-106c检测到感兴趣事件时所遵循的动作(例如,新规则112和/或新触发器114)。示例性的***管理器110从网关106a-106c接收精简数据108a-108c。此外,示例的***管理器110分析精简数据110以选择和/或生成要发送到各个网关106a-106c的规则112和/或触发器114。在一些示例中,***管理器110还执行深度分析以生成示例的规则112和/或示例的触发器114,验证精简数据108a-108c,和/或基于精简数据108a-108c构建模型和预测。示例性的***管理器110将由数据收集设备102a-102c收集的数据(例如,图2的数据210)中的详细程度(例如,精度水平)与分布式计算***可用的带宽量进行权衡。取决于精简数据108a-108c中的感兴趣事件,示例性的***管理器110向分布式计算***100中的不同网关106a-106c发送不同的规则112和/或触发器114。
图2是基于由***管理器110(图1)提供的规则112和触发器114来控制示例的数据收集设备102(图1)的图1的网关106a的示例实现方式的框图。在所示示例中,网关106a包括示例的数据收集设备管理器200、示例的流数据分析器202、示例的***通信器204和示例的策略数据库206。虽然图2的示例是参考示例网关106a描述的,图2所示的实现方式可以另外地或替代地用于实现示例网关106b和/或示例网关106c。
图2的示例策略数据库206存储从示例性的***管理器110接收的示例规则112和/或示例触发器114。示例的策略数据库206可以是用于存储示例规则112和/或示例触发器114的任何适合的数据结构。在所示示例中,策略数据库206将示例触发器114提供给示例数据收集设备管理器200和/或将示例规则112提供给示例流数据分析器202。
图2的示例数据收集设备管理器200被构造为基于由示例***管理器110提供给示例网关106a的示例规则112来控制数据收集设备102a。示例数据收集设备管理器200通信地耦合到数据收集设备102a。在所示的示例中,数据收集设备管理器200向示例数据收集设备102a发送示例命令208,以控制示例的数据收集设备102a的传感器和/或致动器的操作和/或配置。例如,数据收集设备管理器200可以控制由示例数据收集设备102a收集的数据210的精度(例如,分辨率,准确度等)和/或定时。在一些示例中,数据收集设备管理器200还控制数据收集设备102a的物理方面,例如数据收集设备102a的角度和/或位置。
在图2所示的示例中,流数据分析器202对从数据收集设备102a接收到的数据210进行反应,并将要发送到示例***管理器110的数据210进行集中。示例的流数据分析器202包括示例数据分类器212和示例数据集中器214。示例数据分类器212基于由***管理器110提供的示例规则112来检测示例数据210中的感兴趣事件。例如,规则112可以包括特征点,其用于检测CCTV摄像机数据中的感兴趣的人(例如,犯罪嫌疑人,失踪小孩等)。当检测到感兴趣事件时,示例数据分类器212将数据210进行标记(例如,在其中设置标志)。在一些示例中,数据分类器212确定与检测到的感兴趣事件相对应的示例触发器114是否已由***管理器110提供。在这样的示例中,如果存在存储于策略数据库206中的示例触发器114对应于感兴趣事件,则示例的数据收集设备管理器200将示例命令208发送到数据收集设备102a,如触发器114所规定的。例如,触发器114可以指出,当检测到由规则112定义的感兴趣的人时,网关106a将指示数据收集设备102a增加摄像机捕获图像的分辨率。
在一些示例中,数据分类器212确定从策略数据库206中的示例规则112定义的从数据收集设备102a接收的数据210中是否存在低质量数据。低质量数据例如是具有低变化性水平的数据(例如,不改变,例如不包括任何运动的视频)和/或内部不一致的数据。在一些示例中,数据210包含质量信息。例如,数据收集设备102a可以具有温度传感器和仅在一定温度范围内精确的氧传感器。在这样的示例中,当来自温度传感器的数据指示在该温度范围之外的值时,由***管理器110提供的示例规则112可以指示数据分类器212将数据210的该部分标记为低质量的。
所示示例的数据集中器214生成要发送到***管理器110的示例性精简数据108a。示例的数据集中器214从示例的***管理器110接收示例规则112。示例规则112指示示例的数据集中器214如何减少发送到***管理器110的数据210的量。在所示的示例中,示例性数据集中器214包括属于示例性的精简数据108a中检测到的感兴趣事件的数据210的部分。在一些示例中,数据集中器214将被数据分类器212标记为低质量的数据210的部分从示例精简数据108a中排除。附加地或替代地,在一些示例中,数据集中器212在精简数据108a中包括数据210的与检测到的感兴趣事件接近的部分(例如,在表示感兴趣事件之前的时间段和在感兴趣事件之后的时间段的数据210),并且去除数据210的不接近于检测到的感兴趣事件的部分。例如,如果被数据分类器212检测到感兴趣的人,则数据集中器214可以包括在检测到感兴趣的人之前和之后捕获的图像。
在一些示例中,由***管理器110提供的规则112基于示例数据210中的属性和属性值来定义类别,并且定义类别的独立属性。在一些这样的示例中,数据集中器214使用示例规则112基于数据210的样本内的属性的值来将数据210的样本分配给类别。对于示例数据210的一个样本,数据集中器214包括分配的类别以及该样本在精简数据108a中的对应的独立属性,并丢弃其余属性。在一些这样的示例中,数据集中器214时不时地(from time totime)(例如周期性地,非周期性地等)在精简数据108a中包括独立属性和从属属性,以允许***管理器110验证独立属性。
示例性的***通信器204将精简数据108a发送到***管理器110,并从***管理器110接收规则112和触发器114。在所示的示例中,***通信器204将规则112和触发器114存储在策略数据库206中。示例性的***通信器204将由流数据分析器202生成的示例精简数据108a打包到用于在示例网关106a和示例***管理器110之间进行通信的协议(例如,消息队列遥测传输(MQTT),超文本传输协议(HTTP),HTTP安全(HTTPS),约束应用协议(CoAP)等)中,并将打包的精简数据108a发送到示例的***管理器110。
在操作中,示例的流数据分析器202从示例数据收集设备102a接收数据210。基于示例的策略数据库206中的示例的规则112和/或触发器114,示例的流数据分析器202生成精简数据108a。在所示的示例中,流数据分析器202向示例数据收集设备管理器200发送对触发器114的响应。示例的流数据分析器202还将精简数据108a发送到示例的***通信器204。示例的***操作器204将精简数据108a发送到***管理器110。另外,***通信器204将从示例***管理器110(图1)接收的规则112和/或触发器114存储在策略数据库206中。示例性的数据收集设备管理器200基于由示例的流数据分析器202发送的响应,向示例数据收集设备102a发送示例命令208。
虽然在图2中示出实现图1的网关106a的示例方式,但图2中所示的元件、过程和/或设备中的一个或多个可以组合,分割,重新布置,省略,消除和/或以任何其他方式实现。此外,示例性的数据收集设备管理器200、示例流数据分析器202、示例***通信器204和/或更一般地,图2的示例网关106a可以由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此,例如,任何示例的数据收集设备管理器200、示例的流数据分析器202、示例的***通信器204和/或更一般地,示例网关106a可以由以下一种或多种来实现:模拟或数字电路,逻辑电路,可编程处理器,专用集成电路(ASIC),可编程逻辑器件(PLD)和/或现场可编程逻辑器件(FPLD)。当读到本专利的任何装置或***权利要求以覆盖纯粹的软件和/或固件实现时,示例性的数据收集设备管理器200、示例性的流数据分析器202和/或示例性的***通信器204中的至少一个被明确地定义为包括存储软件和/或固件的有形的计算机可读存储设备或存储盘,诸如存储器、数字通用盘(DVD)、光盘(CD)、蓝光盘等。此外,图1的示例网关106a,除了或代替图2中所示的元件之外,还可以包括一个或多个元件、过程和/或设备,和/或可以包括多于一个的所示的元件、过程和设备中的任何一个或全部。
图3示出了图1的***管理器110的示例实现,该***管理器110自适应地将规则112和触发器114提供给网关106a-106c以管理分布式计算***100中的数据收集设备102a-102c。在所示的示例中,***管理器110包括示例的网关通信器300、示例的***管理器数据分析器302和示例的策略选择器304。
图3的示例的网关通信器300从分布式计算***中的示例性网关106a-106c接收示例性的精简数据108a-108c。示例的网关通信器300还从策略选择器304接收示例规则112和/或示例触发器114,以发送到由策略选择器304指定的一个或多个示例网关106a-106c。在所示的示例中,网关通信器300将示例规则112和/或示例触发器114打包到用于在示例***管理器110和示例网关106a-106c之间进行通信的协议(例如,消息队列遥测传输(MQTT)、超文本传输协议(HTTP)、HTTP安全(HTTPS)、约束应用协议(CoAP)等)中,并将打包的示例规则112和/或示例触发器114发送到示例网关106a-106c。
在所示的示例中,图3的网关通信器300包括带宽监视器305,用于监视示例网关106a-106c将示例精简数据108a-108c发送到示例***管理器110所使用的带宽(例如,每秒的比特率)。例如,当将精简数据108发送到***管理器110时,网关106a可以消耗带宽为1000千比特/秒(kbps)。在一些示例中,如果示例网关106a-106c所消耗的带宽在分布式计算***100的带宽容量附近(例如,10%以内,20%以内等),示例的带宽监视器305向示例性***管理器数据分析器302发送警报。
在图3所示的示例中,***管理器数据分析器302分析来自示例网关106a-106c的精简数据108a-108c以组织由示例数据收集设备102a-102c收集的数据,基于由网关106a-106c检测到的感兴趣事件来确定动作,和/或管理从示例网关106a-106c等发送的数据量。示例性的***管理器数据分析器302包括示例的实时定时器分析器306、示例的深度分析器308和示例的数据存储库310。
示例性的实时分析器306对从示例网关106a-106c接收的示例性的精简数据108a-108c进行过滤和聚合,以将聚合数据提供给深度分析器308用于进一步分析,并且确定分布式计算***范围内对精简数据108a-108c中标记的感兴趣事件的响应。在所示的示例中,实时分析器306确定哪个示例规则112和/或示例触发器114将被发送到哪个网关106a-106c。示例性的实时分析器306对示例性指示数据收集设备102a-102c(经由网关106a-106c)进行权衡,以利用分布式计算***100中可用的带宽收集更详细的数据。
在一些示例中,响应于特定的一个网关106a-106c检测到感兴趣事件,实时分析器306确定网关106a-106c中的一些将增加发送到***的数据量。在一些这样的示例中,该确定基于诸如与检测到感兴趣事件的网关106a-106c中的特定一个网关的地理接近度,与数据收集设备102a-102c中的捕获包含感兴趣事件的该数据210(图2)的特定的一个数据收集设备的地理接近度,数据收集设备102a-102c的优先级,数据收集设备102a-102c的关键性等。例如,响应于示例网关106a-106c中的特定一个网关检测到感兴趣的人,实时分析器306可以确定地理上靠近网关106a-106c中的特定一个的网关106a-106c将要指示与网关106a-106c中的特定一个对应的数据收集设备102a-102c(例如,CCTV摄像机)增加其图像捕获分辨率(例如,从640×480分辨率到1280×720分辨率等),并增加数据收集的频率(例如,每秒钟而不是每五秒捕获一图像等)。在一些这样的示例中,为了权衡在分布式计算***100中使用的带宽,实时分析器306可以确定示例的网关106a-106c中的其他网关106a-106c减少发送到***管理器110的数据量。例如,实时分析器306可以确定网关106a-106c中没有在地理上接近网关106a-106c的特定一个的网关106a-106c将要指示它们相应的数据收集设备102a-102c(例如,CCTV摄像机)降低其图像捕获分辨率(例如,从640×480分辨率到352×240分辨率等)并且降低数据收集的频率(例如,每十秒而不是每五秒捕获一图像等)。
示例的深度分析器308对由实时分析器306聚合的数据执行深度分析,以生成和/或修改发送到示例网关106a-106c的规则112和/或触发器114。深度分析包括数据挖掘、机器学习、数据建模和数据组织。在一些示例中,示例的深度分析器308生成规则112以将精简数据108a-108c中包括的数据210的数量与精简数据108a-108c的准确度进行权衡。此外,在一些示例中,示例的深度分析器308生成规定数据收集设备102a-102c如何收集数据210的规则112,以及规定网关106a-106c如何生成精简数据108a-108c的规则112。
在一些示例中,为了生成关于网关106a-106c如何生成精简数据108a-108c的规则112,深度分析器308对存储在数据存储库310中的聚合数据执行模型树聚类分析。为了执行模型树聚类分析,示例的深度分析器308首先使用诸如K均值聚类或期望最大化聚类等技术进行聚类分析,以识别聚合数据的聚类/类别。在这样的示例中,聚类分析对数据210中导致特定样本拟合在类别内的属性和属性值进行识别。然后,对于通过聚类分析来识别的类别,示例的深度分析器308从属性内识别独立属性。在所示的示例中,独立属性是不能使用其他属性计算或估计并且可用于计算其他属性的属性。然后,示例的深度分析器308基于为相应类别识别的独立属性,为每个类别构建模型树。构建模型树的示例方法由以下文献描述:Frank等人,“Using Model Trees for Classification(使用模型树分类)”,MachineLearning 32.1(1998):63-76,其通过引用并入本文。示例的深度分析器308生成示例规则112,其指示示例性的网关106a-106c关于如何基于聚类分析对来自示例数据收集设备102a-102c的示例数据210分类进行分类。示例规则112还根据所分配的类别指示哪些属性包括在示例性的精简数据108a-108c中。示例的深度分析器308将模型树存储在示例数据存储库310中,以允许由示例的深度分析器308从精简数据108a-108c重建数据210。
在一些示例中,深度分析器308分析数据存储库310中的聚合数据以检测指示和/或预测感兴趣事件的属性。例如,在商业车辆监视***中,深度分析器308可以确定驾驶员睡着的预测属性(和值)包括一天中的时间(例如,在凌晨1点至6点之间),速度(例如,每小时多于15英里,比速度限值低)和驾驶时间(例如,超过6小时)。在一些这样的示例中,深度分析器308基于预测属性生成规则112以检测感兴趣事件(例如,驾驶员睡着)。
在图3所示的示例中,策略选择器304基于从示例***管理器数据分析器302接收的指令,选择规则112和/或触发器114发送到示例网关106a-106c。示例性的策略选择器304包括示例性的触发器数据存储库310和示例性的规则数据库312。示例性的触发器数据存储库310包含由***管理器数据分析器302和/或分布式计算***100的管理员定义的触发器114。示例性的规则数据库312包含由***管理器数据分析器302定义的规则112和/或分布式计算***100的管理员。示例性的规则数据库312和/或示例性的触发器数据存储库310可以是关系数据库、文件、文件集合或用于管理和/或存储文件的任何其它合适的数据结构。在一些示例中,示例的规则数据库312和示例的触发器数据存储库310可以组合成一个数据库。
在一些示例中,***管理器数据分析器302指定要发送到一个或多个网关的特定规则112和/或触发器114。可替代地或另外,在一些示例中,***管理器数据分析器302指定结果,并且策略选择器204选择满足指定结果的规则112和/或触发器。例如,***管理器数据分析器302可以指定连接到CCTV摄像机的特定网关106a-106c收集更高质量的数据。在这样的示例中,策略选择器304从规则数据库312中选择使得CCTV摄像机捕获更高分辨率图像的规则112。
在操作中,示例的网关通信器300从分布式计算***100中的网关106a-106c接收精简数据108a-108c。在图3所示的示例中,示例性的网关通信器300将精简数据108a-108c发送到示例性的***管理器数据分析器302。示例的***管理器数据分析器302分析精简数据108a-108c,并向示例的策略选择器304指示哪个示例规则112和/或哪个示例触发器114中将被发送到示例网关106a-106c中的哪一个。示例的策略选择器304将所选择的规则112和/或所选择的触发器114以及目标网关106a-106c传送到示例的网关通信器300。示例的网关通信器300发送所选择的规则112和/或所选择的规则触发114到由***管理器数据分析器302指示的网关106a-106c。
尽管实现图1的***管理器110的示例性方式在图3中示出,图3中所示的元件、过程和/或设备中的一个或多个可以组合,分割,重新布置,省略,消除和/或以任何其他方式实现。此外,示例性的网关通信器300、示例性的***管理器数据分析器302、示例的策略选择器304和/或更一般地,图3的示例性***管理器110可以由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此,例如,示例性的网关通信器300、示例性的***管理器数据分析器302、示例性的策略选择器304和/或更一般地,示例性的***管理器110中的任何一个可以由一个或多个模拟或数字电路、逻辑电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)和/或现场可编程逻辑器件(FPLD)的一个或多个来实现。当阅读本专利的任何装置或***权利要求以覆盖纯粹的软件和/或固件实现时,示例性的网关通信器300、示例性的***管理器数据分析器302、示例性的策略选择器304中的至少一个在此明确地定义为包括存储软件和/或固件的有形计算机可读存储设备或存储盘,诸如存储器,数字通用盘(DVD),光盘(CD),蓝光盘等。此外,图1的示例性的***管理器110可以包括除了或代替图3所示的元件、过程和/或设备的一个或多个元件、过程和/或设备,和/或可以包括多于一个的所示元件、过程和设备中的任何一个或全部。
代表用于实现图1和/或图3的示例性***管理器110的示例性的机器可读指令的流程图在图4、图5和图6中示出。在这些示例中,机器可读指令包括用于由处理器执行的程序,诸如下面结合图5讨论的示例性处理器平台900中所示的处理器912。程序可以体现在存储在有形计算机可读存储介质(例如CD-ROM,软盘,硬盘驱动器,数字通用盘(DVD),蓝光盘或存储器)或与处理器912相关联的存储器上的软件中,但整个程序和/或其部分可替换地由除处理器912之外的设备执行和/或体现在固件或专用硬件中。此外,尽管参照图4、图5和图6所示的流程图描述了示例的程序,可以使用实现示例的***管理器110的许多其它方法。例如,可以改变框的执行顺序,和/或可以改变、消除或组合所描述的框中的一些。
如上所述,可以使用存储在诸如硬盘驱动器,闪速存储器,只读存储器(ROM)、光盘(CD)、数字通用盘(DVD),高速缓存,随机存取存储器(RAM)和/或其中存储任何持续时间(例如,在扩展时间段内,永久地,简短的情况,暂时缓冲和/或缓存信息)的信息的任何其他存储设备或存储盘的有形计算机可读存储介质上的编码指令(例如,计算机和/或机器可读指令)来实现图4、图5和图6的示例过程。如本文所使用的,术语有形计算机可读存储介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号并排除传输介质。如本文所使用的,“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。另外或替代地,图4、图5和图6的示例性过程可以使用存储在非暂态计算机和/或机器可读介质上的编码指令(例如,计算机和/或机器可读指令)来实现,所述非暂态计算机和/或机器可读介质例如是硬盘驱动器,闪速存储器,只有存储器,光盘,数字通用盘,高速缓存,随机存取存储器和/或其中存储任何持续时间(例如,在扩展时间段内,永久地,简短的情况,暂时缓冲和/或缓存信息)的信息的任何其他存储设备或存储盘。如本文所使用的,术语非暂态计算机可读介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号并排除传输介质。如本文所使用的,当在权利要求的前序部分中使用短语“至少”作为过渡词时,其是开放式的,以与“包括”一词相同方式是开放式的。
图4是表示可以被执行以实现图1和/或图3的示例性***管理器110来自适应地管理图1的示例性分布式计算***110的示例性机器可读指令400的流程图。首先,示例性的策略选择器304(图3)经由示例性的各个网关106a,106b(图1和图2)指示示例性分布式计算***100中的示例性的第一数据收集设备102a(图1)和示例性的第二数据收集设备102b根据第一规则进行操作(框402)。示例的第一规则指定第一操作模式并且定义第一感兴趣事件。在一些示例中,第一操作模式定义了第一数据收集设备102a和第二数据收集设备102b收集数据的测量质量水平和/或定义第一数据收集设备102a和第二数据收集设备102b收集数据的频率。示例的网关通信器300(图3)经由示例性的相应网关106a,106b接收或以其他方式从示例的第一数据收集设备102a和示例的第二数据收集设备102b获取数据210(框404)。
示例性的***管理器分析器302确定来自示例性的第一数据收集设备102a的数据210中是否已经识别出感兴趣事件(框406)。如果在来自示例性的第一数据收集设备102a的数据210中已经识别出感兴趣事件,则示例性的策略选择器304通过示例性的第一示例网关106a向示例的第一数据收集设备102a提供第二规则(框408)。在一些示例中,第二规则定义比第一规则更大的测量质量水平和/或数据收集频率。此外,如果在来自示例性第一数据收集设备102a的数据中已经识别出感兴趣事件,则示例的策略选择器304经由示例性第二网关106a向示例的第二数据收集设备102b提供与第一规则和/或第二规则不同的第三规则(框410)。在一些示例中,第三规则定义了比第一规则和第二规则更小的测量质量水平和/或数据收集频率。示例程序400然后结束。
图5是表示可以被执行以实现图1和/或图3的示例性***管理器110来管理由图1的示例性分布式计算***100使用的带宽的示例性机器可读指令500的流程图。首先,示例的策略选择器304(图3)经由各个示例性网关106a,106b(图1和图2)指示示例性分布式计算***100中的示例性的第一数据收集设备102a(图1)和示例性的第二数据收集设备102b根据规则112中的第一个进行操作(框502)。示例中的第一个规则112指定第一操作模式并且定义第一感兴趣事件。在一些示例中,第一操作模式定义第一数据收集设备102a和第二数据收集设备102b收集数据的第一测量质量水平,和/或定义第一数据收集设备102a和第二数据收集设备102b收集数据的频率。
示例的网关通信器300(图3)经由示例性的相应网关106a,106b接收或以其他方式获取来自示例的第一数据收集设备102a和示例性第二数据收集设备102b的数据210(图2)(框504)。示例性的***管理器数据分析器304确定来自示例性的第一数据收集设备102a的数据210是否包含第一感兴趣事件(框506)。如果来自示例性第一数据收集设备102a的数据210不包含第一感兴趣事件,则示例性的网关通信器300继续接收或以其他方式获取来自示例性第一数据收集设备102a的数据(框504)。
如果来自示例性第一数据收集设备102a的数据210包含第一感兴趣事件,则示例策略选择器304经由示例性的相应网关106a指示示例性第一数据收集设备102a根据第二测量质量水平收集数据(框508)。在一些示例中,第二测量质量水平大于第一测量质量水平。例如,第二测量质量水平可以增加第一数据收集设备102a捕获数据210的频率。示例的网关通信器300确定第二测量质量水平是否使得示例性的第一数据收集设备102a使用比第一测量质量水平更多的带宽(框510)。如果第二测量质量水平比第一测量质量水平导致示例性的第一数据收集设备102a使用更多的带宽,则示例性策略选择器304经由示例性的相应网关106b指示示例性的第二数据收集设备102b利用导致示例性第二数据收集设备102b使用较少带宽的第三测量质量水平来收集数据(框512)。例如,第三测量质量水平可以降低第二数据收集设备102b捕获数据210的频率。或者,在一些示例中,示例的策略选择器304经由示例性的相应网关106b指示示例性的第二数据收集设备102b利用第三测量质量水平来收集数据,无需确定作为根据第二规则操作第一数据收集设备102a的结果是否使用更多的带宽。
然后,示例的网关通信器300从示例的第一数据收集设备102a接收或以其他方式获取示例数据210(框514)。示例性的***管理器数据分析器302确定来自示例性的第一数据收集设备102a的数据210是否包含第二感兴趣事件(框516)。如果来自示例性的第一数据收集设备102a的数据不包含第二感兴趣事件,则示例的网关通信器300继续接收或以其他方式获取来自第一数据收集设备102a的数据(框514)。
如果来自示例性第一数据收集设备102a的数据包含第二感兴趣事件(框516),则示例性的***管理器数据分析器302确定是否继续监视数据收集设备102a,102b(框518)。如果示例性的***管理器数据分析器302确定继续监视数据收集设备102a,102b,则示例的策略选择器304(图3)经由各个示例的网关106a,106b指示示例性分布式计算***100中的示例性的第一数据收集设备102a和示例性的第二数据收集设备102b根据第一规则(例如,或任何其他合适的规则)进行操作(框502)。否则,示例程序500结束。
虽然参考示例性的第一数据收集设备102a、示例性的第一网关106a、示例性的第二数据收集设备102b和示例性的第二网关106b来描述图5,图5所示的指令可以附加地或替代地使用与示例性分布式计算***100中的示例性网关106a-106c中的一个和/或示例数据收集设备102a-102c中的任一个相结合的操作。
图6是表示可以被执行以实现图1和/或图3的示例性***管理器110以产生用于精简示例数据210(图2)的示例规则112(图1和/或图2)的示例性的机器可读指令600的流程图。示例深度分析器308(图3)识别由分布式计算***100中的数据收集设备102a-102c收集的数据210中的类别(框602)。在一些示例中,数据210被存储在数据储存库310(图3)中。在一些示例中,示例的深度分析器308使用聚类分析(例如,k均值分析,期望最大化分析等)来识别聚类/类别。示例的深度分析器300选择框602处识别的类别之一(框604)。示例性的深度分析器300识别数据210内的被分类在所选类别中的数据有贡献的独立属性和相应的属性值(框606)。示例的深度分析器300基于在框606处识别的独立属性来构建用于所选类别的模型树(框608)。
示例的深度分析器300确定是否存在另一个要分析的类别(框610)。如果还有另一个要分析的类别,则深度分析器300选择下一个类别(框604)。否则,示例的深度分析器300生成示例规则112(框612),其指示网关(例如,示例的网关106a-106c)对由相应的数据收集设备(例如,示例数据收集设备102a-102c)收集的数据进行分类以及从收集的数据去除非独立属性。示例程序600然后结束。
表示用于实现图1和/或图2的示例性网关106a-106c的示例性机器可读指令的流程图在图7和图8中示出。在这些示例中,机器可读指令包括用于由处理器执行的程序,诸如下面结合图10讨论的示例的处理器平台1000中所示的处理器1012。程序可以体现在存储于有形计算机可读存储介质(例如CD-ROM,软盘,硬盘驱动器,数字通用盘(DVD),蓝光盘或与处理器1012相关联的存储器上的软件中,但整个程序和/或其部分可替换地由除处理器1012之外的设备执行和/或体现在固件或专用硬件中。此外,尽管参考图7和图8所示的流程图描述了示例的程序,可以替代地使用实现示例网关106a-106c的许多其它方法。例如,可以改变框的执行顺序,和/或可以改变、消除或组合所描述的框中的一些。
如上所述,可以使用存储在有形计算机可读存储介质(例如硬盘驱动器,闪速存储器,只读存储器(ROM)),光盘(CD),数字通用盘(DVD),高速缓存,随机存取存储器(RAM)和/或任何其他存储设备或存储盘,其中在任何持续时间内(例如,在延长的时间段内,永久地,简短的情况,暂时缓冲和/或缓存信息)存储信息的编码指令(例如,计算机和/或机器可读指令)来实现图7和图8中的示例过程。如本文所使用的,术语有形计算机可读存储介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号并排除传输介质。如本文所使用的,“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。另外或替代地,图7和图8的示例性过程可以使用存储在非暂态计算机和/或机器可读介质(例如硬盘驱动器,闪速存储器,只读存储器,光盘,数字通用盘,高速缓存,随机存取存储器和/或任何其他在任何持续时间内(例如,在延长的时间段内,永久地,简短的情况,暂时缓冲和/或缓存信息)存储信息的存储设备或存储盘)上的编码指令(例如,计算机和/或机器可读指令)来实现。如本文所使用的,术语非暂态计算机可读介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘,并且排除传播信号并排除传输介质。如本文所使用的,当在权利要求的前序部分中使用短语“至少”作为过渡词时,其是开放式的,以与“包括”一词相同的方式是开放式的。
图7是表示可以被执行以实现图1和/或图2的示例网关106a以基于由图1和/或图3的***管理器110生成的示例规则112(图1和/或图2)来精简数据210(图2)的示例性机器可读指令700的流程图。最初,示例数据收集设备管理器200(图2)从通信地耦合到网关106a的示例数据收集设备102a接收或以其他方式获取数据210的样本(框702)。示例性数据集中器214基于由示例***管理器110提供的示例规则112将数据210的样本分配给类别(框704)。示例性数据集中器214基于在框704分配的类别从数据210的样本中选择独立属性(框706)。
示例性的数据集中器214将在框704处分配的类别和在框706处选择的独立属性添加到精简数据108a(图1,图2和/或图3)中(框708)。示例性数据集中器214确定是否将数据210的更多样本包括在精简数据108a中(框710)。例如,网关106a可以周期性地(例如,每五秒,每十秒等等)和/或非周期性地(例如,在累积一定量的精简数据108a之后,当检测到感兴趣事件时,等等)将精简数据108a发送到***管理器。如果要包括数据210的更多样本,则数据收集设备管理器200从数据收集设备102a接收或以其他方式获取数据210的样本(框702)。否则,***通信器204将精简数据108a发送到***管理器110(框712)。示例的程序700然后结束。
虽然图7是参考示例性数据收集设备102a和示例网关106a描述的,但图7所示的指令可以附加地或替代地与示例性分布式计算***100中的网关106a-106c中的任何一个和/或数据收集设备102a-102c中的任何一个结合操作。
图8是表示可以被执行以实现图1和/或图2的示例网关106a来检测和响应感兴趣事件的示例性机器可读指令800的流程图。最初,示例性数据收集设备管理器200(图2)从通信地耦合到示例网关106a的示例数据收集设备102a(图1)获取数据210(图2)(框802)。示例性数据分类器212(图2)基于由示例性***管理器110提供的示例规则112(图1,图2和/或图3)来识别和标记数据210中的感兴趣事件(框804)。此外,示例的数据分类器212识别示例数据210中的低质量区域(框806)。示例性的数据集中器214(图2)集中数据210以强调在框804处检测到的感兴趣事件并且降低在框806处识别的低质量数据区域(框808)。例如,数据集中器214可以包括数据210中的在时间上接近精简数据108a中的被检测到的感兴趣事件的部分,并且可以排除被确定为低质量的数据210的部分。
示例的数据分类器212确定在框804处检测到的感兴趣事件是否对应于存储在示例策略数据库206(图2)中的示例触发器114(图1,图2和图3)之一(框810)。如果检测到的感兴趣事件匹配示例触发器114之一,则数据分类器212基于示例触发器114之一生成响应(框812)。例如,在枪械检测***中,在检测到枪械(例如,感兴趣事件)时,数据分类器212可以指示数据收集设备102a激活闪光灯。示例性***通信器204将精简数据108a发送到示例的***管理器110(框814)。示例性的数据收集设备管理器200确定是否要收集更多的数据210(框816)。如果要收集更多的数据210,则示例的数据收集设备从数据收集设备102a获取数据210(框802)。否则,示例的程序800然后结束。虽然参考示例性网关106a描述图8,图8所示的指令可以附加地或替代地与示例性分布式计算***100中的示例性网关106a-106c中的任何一个一起操作。
图9是示例处理器平台900的框图,其被构造为执行图7和图8的指令700,800,以实现图1和图2的示例网关106a-106c。处理器平台900可以是例如服务器、个人计算机、移动设备(例如,蜂窝电话,智能手机,诸如iPadTM的平板电脑)、个人数字助理(PDA)、互联网设备或任何其他类型的计算设备。
所示示例的处理器平台900包括处理器912。所示示例的处理器912是硬件。例如,处理器912可以由来自任何所需系列或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器来实现。在所示示例中,处理器912包括示例的数据收集管理器200、示例的流数据分析器202和示例的***通信器204。
所示示例的处理器912包括本地存储器913(例如,高速缓存)。所示示例的处理器912经由总线918与包括易失性存储器914和非易失性存储器916的主存储器通信。易失性存储器914可以由同步动态随机存取存储器(SDRAM),动态随机访问存储器(DRAM),RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器件来实现。非易失性存储器916可以由闪速存储器和/或任何其它所需类型的存储器设备来实现。通过存储器控制器来控制对主存储器914,916的访问。
所示示例的处理器平台900还包括接口电路920。接口电路920可以通过任何类型的接口标准来实现,诸如以太网接口,通用串行总线(USB)和/或PCI Express接口。
所示示例的接口电路920还包括诸如发射机、接收机、收发机、调制解调器和/或网络接口卡之类的通信设备,以促进经由网络926(例如,以太网连接,数字用户线(DSL),电话线,同轴电缆,蜂窝电话***等)与外部机器(例如,任何类型的计算设备)交换数据。
所示示例的处理器平台900还包括用于存储软件和/或数据的一个或多个大容量存储设备928。这种大容量存储设备928的示例包括软盘驱动器,硬盘驱动器盘,RAID***,固态驱动器等。在所示的示例中,大容量存储设备928包括存储示例规则112(图1,图2和图3)的示例策略数据库206和/或示例触发器114(图1,图2和图3)的示例的策略数据库206。
图7和/或图8的编码指令932可以存储在大容量存储设备928、易失性存储器914、非易失性存储器916和/或可移动的有形计算机可读存储介质(例如CD或DVD)上。
图10是被构造为执行图4、图5和图6的指令400、500、600以实现图1和图3的示例***管理器110的示例的处理器平台1000的框图。处理器平台1000可以是例如一个或多个服务器、个人计算机、工作站或任何其他类型的计算设备。
所示示例的处理器平台1000包括处理器1012。所示示例的处理器1012是硬件。例如,处理器1012可以由来自任何所需系列或制造商的一个或多个集成电路、逻辑电路,微处理器或控制器来实现。示例的处理器1012包括示例的网关通信器300、示例的***管理器数据分析器304和示例的策略选择器304。
所示示例的处理器1012包括本地存储器1013(例如,高速缓存)。所示示例的处理器1012经由总线1018与包括易失性存储器1014和非易失性存储器1016的主存储器通信。易失性存储器1014可以由同步动态随机存取存储器(SDRAM),动态随机访问存储器(DRAM),RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器件来实现。非易失性存储器1016可以由闪速存储器和/或任何其它所需类型的存储器设备来实现。对主存储器1014、1016的访问由存储器控制器控制。
所示示例的处理器平台1000还包括接口电路1020。接口电路1020可以通过任何类型的接口标准来实现,例如以太网接口,通用串行总线(USB)和/或PCI Express接口。
在所示的示例中,一个或多个输入设备1022连接到接口电路1020。输入设备1022允许用户将数据和命令输入到处理器1012中。输入设备可以是通过例如音频传感器、麦克风、摄像机(静像或视频)、键盘、按钮、鼠标、触摸屏、跟踪垫、轨迹球、等距点(isopoint)和/或语音识别***来实现。
一个或多个输出设备1024也连接到所示示例的接口电路1020。输出设备1024可以例如由显示设备(例如,发光二极管(LED),有机发光二极管(OLED),液晶显示器,阴极射线管显示器(CRT),触摸屏,触觉输出设备,打印机和/或扬声器)来实现。因此,所示示例的接口电路1020通常包括图形驱动器卡、图形驱动器芯片或图形驱动器处理器。
所示示例的接口电路1020还包括通信设备,例如发射机,接收机,收发机,调制解调器和/或网络接口卡,以促进经由网络1026(例如,以太网连接,数字用户线(DSL),电话线,同轴电缆,蜂窝电话***等)与外部机器(例如,任何类型的计算设备)的数据交换。
所示示例的处理器平台1000还包括用于存储软件和/或数据的一个或多个大容量存储设备1028。这种大容量存储设备1028的示例包括软盘驱动器、硬盘驱动器、光盘驱动器、蓝光盘驱动器、RAID***和数字通用盘(DVD)驱动器。
图4、图5和/或图6的编码指令1032可以存储在大容量存储设备1028、易失性存储器1014、非易失性存储器1016和/或可移动的有形计算机可读存储介质(例如CD或DVD)中。
从上述可以理解,已经公开了改进分布式计算***的响应时间和处理效率的示例。此外,已经公开了允许***管理器管理分布式计算***内的数据收集设备的测量质量水平以管理分布式计算***的带宽使用的示例。以这种方式,***管理器在从数据收集设备接收数据的重要部分(例如,由规则定义)的同时管理有限的带宽资源。在一些示例中,***管理器利用规则和触发器以通过减少来节省对***管理器的处理资源利用率和带宽使用来管理发送给***管理器的数据量。因此,在一些示例中,可以通过最小化从网关到***管理器的不太有用的数据的传输来执行数据的高质量分析,同时不会使***管理器的***带宽和处理资源负担过重。
虽然本文已经公开了某些示例性方法、装置和制品,但是本专利的覆盖范围不限于此。相反,本专利涵盖完全落入本专利权利要求的范围的所有方法、装置和制品。
以下进一步的示例,其包括例如以下主题:在分布式计算***中自适应地管理数据收集设备的方法;用于在分布式计算***中自适应地管理数据收集设备的装置;包括指令的至少一个制品,所述指令在被执行时导致***管理器至少自适应地管理分布式计算***中的数据收集设备;以及***管理器,其自适应地管理分布式计算***中的数据收集设备。
示例1是用于管理分布式计算***中的数据收集设备的***管理器,所述***管理器包括:网关通信器,用于进行以下操作:向分布式计算***中的第一数据收集设备发送第一规则,第一规则指定第一操作模式并且定义第一感兴趣事件,以及在第一数据收集设备根据第一规则操作时从第一数据收集设备获取第一数据。示例1还包括策略选择器,用于响应于实时分析器基于第一数据确定第一感兴趣事件已经发生,进行以下操作:基于第一数据选择第二规则以发送到第一数据收集设备,所述第二规则指定第二操作模式并定义第二感兴趣事件,以及选择第三规则以发送到所述第二数据收集设备,所述第三规则指定第三操作模式。
示例2包括示例1的主题,还包括深度分析器,用于分析从第一数据收集设备和第二数据收集设备聚合的历史数据,以识别所述第一感兴趣事件的对所述第二感兴趣事件进行预测的特性。
示例3包括示例2的主题,其中深度分析器进一步基于所识别的特性产生第二规则。
示例4包括示例1的主题,其中第一操作模式定义收集数据的第一测量质量水平,第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,并且第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
示例5包括示例1的主题,其中第二规则使得第一数据收集设备比根据第一规则操作时使用更多的带宽。
示例6包括示例5的主题,其中策略选择器进一步选择第三规则以使第二数据收集设备比根据第一规则操作时使用更少的带宽。
示例7包括示例5的主题,其中策略选择器进一步选择第三规则,使得由根据第二规则操作的第一数据收集设备和根据第三规则操作的第二数据收集设备使用的组合带宽基本上等于根据第一规则操作的第一数据收集设备和第二数据收集设备的组合带宽。
示例8包括示例1或示例2的主题,其中第一操作模式定义收集数据的第一测量质量水平,第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,并且第三操作模式定义了收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
示例9包括示例8的主题,其中第二规则使得第一数据收集设备比根据第一规则操作时使用更多的带宽,并且其中策略选择器进一步选择第三规则以使得第二数据收集设备比根据第一规则运行时使用更少的带宽。
示例10包括示例8的主题,其中策略选择器进一步选择第三规则,使得根据第二规则操作的第一数据收集设备和根据第三规则操作的第二数据收集设备使用的组合带宽基本上等于根据第一规则操作的第一和第二数据收集设备的组合带宽。
示例11是用于管理分布式计算***中的数据收集设备的方法,包括:指示第一数据收集设备根据第一规则进行操作,第一规则指定第一操作模式并定义第一感兴趣事件,以及在根据第一规则操作的同时从第一数据收集设备获取第一数据。示例11还包括:响应于基于第一数据确定第一感兴趣事件已经发生,进行以下操作:基于第一数据向第一数据收集设备提供第二规则,第二规则指定第二操作模式并且定义第二感兴趣事件,以及向第二数据收集设备提供第三规则,第三规则指定第三操作模式。
示例12包括示例11的主题,还包括分析从第一数据收集设备和第二数据收集设备聚合的历史数据,以识别第一感兴趣事件的对第二感兴趣事件进行预测的特性。
示例13包括示例12的主题,还包括基于所识别的特性来产生第二规则。
示例14包括示例11的主题,其中第一操作模式定义收集数据的第一测量质量水平,第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,以及所述第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
示例15包括示例11的主题,其中第二规则使得第一数据收集设备比根据第一规则操作时使用更多的带宽。
示例16包括示例15的主题,还包括选择第三规则,第三规则使得第二数据收集设备比根据第一规则操作时使用更少的带宽。
示例17包括示例15的主题,还包括选择第三规则,使得根据第二规则操作的第一数据收集设备和根据第三规则操作的第二数据收集设备使用的组合带宽基本上等于根据第一规则操作的第一和第二数据收集设备的组合带宽。
示例18包括示例11或示例12的主题,其中第一操作模式定义收集数据的第一测量质量水平,第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,以及所述第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平,并且其中第二规则使第一数据收集设备使用比当根据第一规则操作时使用更多的带宽。
示例19包括示例18的主题,还包括选择使第二数据收集设备比当根据第一规则操作时使用更少的带宽的第三规则。
示例20包括示例18的主题,还包括选择第三规则,使得由根据第二规则操作的第一数据收集设备和根据第三规则操作的第二数据收集设备使用的组合带宽基本上等于组合带宽根据第一规则操作的第一和第二数据收集设备的组合带宽。
示例21是制品,其包括指令,所述指令当被执行时使***管理器至少:指示第一数据收集设备根据第一规则进行操作,所述第一规则指定第一操作模式并定义第一感兴趣事件,并且在第一数据收集设备根据第一规则操作时从第一数据收集设备获取第一数据。示例21还包括以下指令,当该指令被执行时,使***管理器响应于基于第一数据确定第一感兴趣事件已经发生,基于第一数据向第一数据收集设备提供第二规则,第二规则指定第二操作模式并定义第二感兴趣事件,并且向第二数据收集设备提供第三规则,第三规则指定第三操作模式。
示例22包括示例21的主题,其中所述指令还使得***管理器分析从第一数据收集设备和第二数据收集设备聚合的历史数据,以识别第一感兴趣事件的对第二感兴趣事件进行预测的特性。
示例23包括示例22的主题,其中所述指令还使得***管理器基于所识别的特性来生成第二规则。
示例24包括示例21的主题,其中第一操作模式定义了收集数据的第一测量质量水平,第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,以及所述第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
示例25包括示例21的主题,其中第二规则使得第一数据收集设备比根据第一规则操作时使用更多的带宽。
示例26包括示例25的主题,其中,所述指令还使得所述***管理器选择所述第三规则,使得所述第二数据收集设备比根据所述第一规则操作时使用更少的带宽。
示例27包括示例21的主题,其中所述指令还使得***管理器分析从第一数据收集设备和第二数据收集设备聚合的历史数据,以识别第一感兴趣事件的对第二感兴趣事件进行预测的特性征并且基于所识别的特性生成第二规则。
示例28包括示例21、示例22或示例27的主题,其中第一操作模式定义收集数据的第一测量质量水平,第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,以及所述第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平,并且其中第二规则使第一数据收集设备比根据第一规则操作时使用更多的带宽。
示例29包括实例28的主题,其中指令还使得***管理器选择第三规则,使得第二数据收集设备使用比根据第一规则操作时使用更少的带宽。
示例30包括示例28的主题,其中所述指令还使得***管理器选择第三规则,使得由根据第二规则操作的第一数据收集设备和根据第三规则操作的第二数据收集设备使用的组合带宽基本上等于根据第一规则操作的第一和第二数据收集设备的组合带宽。
示例31是用于管理分布式计算***中的数据收集设备的装置,包括用于指示第一数据收集设备根据第一规则进行操作的单元,第一规则指定第一操作模式并定义第一感兴趣事件,以及用于在根据第一规则操作时从第一数据收集设备获取第一数据的单元。示例31的装置还包括:用于响应于基于第一数据确定第一感兴趣事件已经发生,基于第一数据向第一数据收集设备提供第二规则的单元,第二规则指定第二数据操作模式和定义第二感兴趣事件,以及用于响应于基于第一数据确定第一感兴趣事件已经发生,向第二数据收集设备提供第三规则的单元,所述第三规则指定第三操作模式。
示例32包括示例31的主题,还包括用于分析从第一数据收集设备聚合的历史数据和第二数据收集设备以识别第一感兴趣事件的对第二感兴趣事件进行预测的特性的单元。
示例33包括示例32的主题,还包括用于基于所识别的特性来生成第二规则的单元。
示例34包括示例31的主题,其中第一操作模式定义了收集数据的第一测量质量水平,第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,以及所述第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
示例35包括示例31的主题,其中第二规则使得第一数据收集设备比根据第一规则操作时使用更多的带宽。
示例36包括示例35的主题,还包括用于选择第三规则的单元,所述第三规则导致第二数据收集设备比根据第一规则操作时使用更少的带宽。
示例37包括示例35的主题,还包括用于选择第三规则而使得由根据第二规则操作的第一数据收集设备和根据第三规则操作的第二数据收集设备使用的组合带宽基本上等于根据第一规则操作的第一和第二数据收集设备的组合带宽的单元。
示例38是包括指令的机器可读介质,所述指令当被执行时使得机器执行示例11、12、13、14、15、16或17的主题中的任何一个的方法。
Claims (35)
1.一种用于管理分布式计算***中的数据收集设备的***管理器,所述***管理器包括:
网关通信器,用于进行以下操作:
向所述分布式计算***中的第一数据收集设备发送第一规则,所述第一规则指定第一操作模式并定义第一感兴趣事件;
在所述第一数据收集设备根据所述第一规则操作时,从所述第一数据收集设备获取第一数据;以及
策略选择器,用于响应于实时分析器基于所述第一数据确定所述第一感兴趣事件已经发生,进行以下操作:
基于所述第一数据选择第二规则以发送到所述第一数据收集设备,所述第二规则指定第二操作模式并定义第二感兴趣事件,其中所述第二操作模式配置所述第一数据收集设备以标识所述第二感兴趣事件并精简在时间上接近所述第二感兴趣事件的第二数据;以及
选择第三规则以发送到第二数据收集设备,所述第三规则指定第三操作模式。
2.如权利要求1所述的***管理器,还包括深度分析器,用于分析从所述第一数据收集设备和第二数据收集设备聚合的历史数据,以识别所述第一感兴趣事件的对所述第二感兴趣事件进行预测的特性。
3.如权利要求2所述的***管理器,其中,所述深度分析器还基于所识别的特性来生成所述第二规则。
4.如权利要求1所述的***管理器,其中,所述第一操作模式定义收集数据的第一测量质量水平,所述第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,以及第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
5.如权利要求1所述的***管理器,其中,所述第二规则使得所述第一数据收集设备比根据所述第一规则操作时使用更多的带宽。
6.如权利要求5所述的***管理器,其中,所述策略选择器进一步选择所述第三规则以使得所述第二数据收集设备比根据所述第一规则操作时使用更少的带宽。
7.如权利要求5所述的***管理器,其中,所述策略选择器进一步选择所述第三规则,使得由根据所述第二规则操作的所述第一数据收集设备和根据所述第三规则操作的所述第二数据收集设备使用的组合带宽等于根据所述第一规则操作的所述第一数据收集设备和所述第二数据收集设备的组合带宽。
8.一种用于管理分布式计算***中的数据收集设备的方法,所述方法包括:
指示第一数据收集设备根据第一规则进行操作,所述第一规则指定第一操作模式并定义第一感兴趣事件;
在根据所述第一规则操作时从所述第一数据收集设备获取第一数据;以及
响应于基于所述第一数据确定所述第一感兴趣事件已经发生,进行以下操作:
基于所述第一数据向所述第一数据收集设备提供第二规则,所述第二规则指定第二操作模式并且定义第二感兴趣事件,其中所述第二操作模式配置所述第一数据收集设备以标识所述第二感兴趣事件并精简在时间上接近所述第二感兴趣事件的第二数据;以及
向第二数据收集设备提供第三规则,所述第三规则指定第三操作模式。
9.如权利要求8所述的方法,还包括分析从所述第一数据收集设备和第二数据收集设备聚合的历史数据,以识别所述第一感兴趣事件的对所述第二感兴趣事件进行预测的特性。
10.如权利要求9所述的方法,还包括基于所识别的特性来生成所述第二规则。
11.如权利要求8所述的方法,其中,所述第一操作模式定义收集数据的第一测量质量水平,所述第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,以及所述第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
12.如权利要求8所述的方法,其中,所述第二规则使得所述第一数据收集设备比根据所述第一规则操作时使用更多的带宽。
13.如权利要求12所述的方法,还包括选择所述第三规则,所述第三规则使得所述第二数据收集设备比根据所述第一规则操作时使用更少的带宽。
14.如权利要求12所述的方法,还包括选择所述第三规则,使得由根据所述第二规则操作的所述第一数据收集设备和根据所述第三规则操作的所述第二数据收集设备使用的组合带宽等于根据所述第一规则操作的所述第一数据收集设备和所述第二数据收集设备的组合带宽。
15.一种用于管理分布式计算***中的数据收集设备的装置,所述装置包括:
用于指示第一数据收集设备根据第一规则操作的单元,所述第一规则指定第一操作模式并定义第一感兴趣事件;
用于在根据所述第一规则操作时从所述第一数据收集设备获取第一数据的单元;以及
用于响应于基于所述第一数据确定所述第一感兴趣事件已经发生,基于所述第一数据向所述第一数据收集设备提供第二规则的单元,所述第二规则指定第二操作模式并定义第二感兴趣事件,其中所述第二操作模式配置所述第一数据收集设备以标识所述第二感兴趣事件并精简在时间上接近所述第二感兴趣事件的第二数据;以及
用于响应于基于所述第一数据确定所述第一感兴趣事件已经发生,向第二数据收集设备提供第三规则的单元,所述第三规则指定第三操作模式。
16.如权利要求15所述的装置,还包括:
用于分析从所述第一数据收集设备和所述第二数据收集设备聚合的历史数据以识别所述第一感兴趣事件的对所述第二感兴趣事件进行预测的特性的单元。
17.如权利要求16所述的装置,还包括用于基于所识别的特性来生成所述第二规则的单元。
18.如权利要求15所述的装置,其中,所述第一操作模式定义收集数据的第一测量质量水平,所述第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,并且所述第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
19.如权利要求15所述的装置,其中,所述第二规则使得所述第一数据收集设备比根据所述第一规则操作时使用更多的带宽。
20.如权利要求19所述的装置,还包括用于选择所述第三规则的单元,所述第三规则使得所述第二数据收集装置比根据所述第一规则操作时使用更少的带宽。
21.如权利要求19所述的装置,还包括用于选择所述第三规则而使得由根据所述第二规则操作的所述第一数据收集设备和根据所述第三规则操作的所述第二数据收集设备使用的组合带宽等于根据所述第一规则操作的所述第一数据收集设备和所述第二数据收集设备的组合带宽的单元。
22.一种计算机可读存储介质,其上具有指令,该指令在由处理器执行时使得所述处理器执行管理分布式计算***中的数据收集设备的操作,包括:
指示第一数据收集设备根据第一规则进行操作,所述第一规则指定第一操作模式并定义第一感兴趣事件;
在根据所述第一规则操作时从所述第一数据收集设备获取第一数据;以及
响应于基于所述第一数据确定所述第一感兴趣事件已经发生,进行以下操作:
基于所述第一数据向所述第一数据收集设备提供第二规则,所述第二规则指定第二操作模式并且定义第二感兴趣事件,其中所述第二操作模式配置所述第一数据收集设备以标识所述第二感兴趣事件并精简在时间上接近所述第二感兴趣事件的第二数据;以及
向第二数据收集设备提供第三规则,所述第三规则指定第三操作模式。
23.如权利要求22所述的计算机可读存储介质,其中所述指令进一步使所述处理器分析从所述第一数据收集设备和第二数据收集设备聚合的历史数据,以识别所述第一感兴趣事件的对所述第二感兴趣事件进行预测的特性。
24.如权利要求23所述的计算机可读存储介质,其中所述指令进一步使所述处理器基于所识别的特性来生成所述第二规则。
25.如权利要求22所述的计算机可读存储介质,其中,所述第一操作模式定义收集数据的第一测量质量水平,所述第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,以及所述第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
26.如权利要求22所述的计算机可读存储介质,其中,所述第二规则使得所述第一数据收集设备比根据所述第一规则操作时使用更多的带宽。
27.如权利要求26所述的计算机可读存储介质,其中所述指令进一步使所述处理器选择所述第三规则,所述第三规则使得所述第二数据收集设备比根据所述第一规则操作时使用更少的带宽。
28.如权利要求26所述的计算机可读存储介质,其中所述指令进一步使所述处理器选择所述第三规则,使得由根据所述第二规则操作的所述第一数据收集设备和根据所述第三规则操作的所述第二数据收集设备使用的组合带宽等于根据所述第一规则操作的所述第一数据收集设备和所述第二数据收集设备的组合带宽。
29.一种用于管理分布式计算***中的数据收集设备的装置,包括:
存储有指令的计算机可读介质;
处理器,配置为执行所述指令以实现以下操作:
指示第一数据收集设备根据第一规则进行操作,所述第一规则指定第一操作模式并定义第一感兴趣事件;
在根据所述第一规则操作时从所述第一数据收集设备获取第一数据;以及
响应于基于所述第一数据确定所述第一感兴趣事件已经发生,进行以下操作:
基于所述第一数据向所述第一数据收集设备提供第二规则,所述第二规则指定第二操作模式并且定义第二感兴趣事件,其中所述第二操作模式配置所述第一数据收集设备以标识所述第二感兴趣事件并精简在时间上接近所述第二感兴趣事件的第二数据;以及
向第二数据收集设备提供第三规则,所述第三规则指定第三操作模式。
30.如权利要求29所述的装置,所述处理器进一步配置分析从所述第一数据收集设备和第二数据收集设备聚合的历史数据,以识别所述第一感兴趣事件的对所述第二感兴趣事件进行预测的特性。
31.如权利要求30所述的装置,所述处理器进一步配置基于所识别的特性来生成所述第二规则。
32.如权利要求29所述的装置,其中,所述第一操作模式定义收集数据的第一测量质量水平,所述第二操作模式定义收集数据的第二测量质量水平,所述第二测量质量水平大于所述第一测量质量水平,以及所述第三操作模式定义收集数据的第三测量质量水平,所述第三测量质量水平小于所述第一测量质量水平。
33.如权利要求29所述的装置,其中,所述第二规则使得所述第一数据收集设备比根据所述第一规则操作时使用更多的带宽。
34.如权利要求33所述的装置,所述处理器进一步配置选择所述第三规则,所述第三规则使得所述第二数据收集设备比根据所述第一规则操作时使用更少的带宽。
35.如权利要求33所述的装置,所述处理器进一步配置选择所述第三规则,使得由根据所述第二规则操作的所述第一数据收集设备和根据所述第三规则操作的所述第二数据收集设备使用的组合带宽等于根据所述第一规则操作的所述第一数据收集设备和所述第二数据收集设备的组合带宽。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/082527 WO2016206110A1 (en) | 2015-06-26 | 2015-06-26 | Methods and apparatus to adaptively manage data collection devices in distributed computing systems |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107615082A CN107615082A (zh) | 2018-01-19 |
CN107615082B true CN107615082B (zh) | 2020-10-27 |
Family
ID=57584636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580080387.9A Active CN107615082B (zh) | 2015-06-26 | 2015-06-26 | 在分布式计算***中自适应地管理数据收集设备的方法与装置 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11044316B2 (zh) |
EP (1) | EP3317680B1 (zh) |
JP (1) | JP6530087B2 (zh) |
CN (1) | CN107615082B (zh) |
WO (1) | WO2016206110A1 (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3317680B1 (en) | 2015-06-26 | 2021-03-31 | INTEL Corporation | System manager to adaptively manage data collection devices in distributed computing systems, corresponding method and corresponding machine readable medium |
US11087236B2 (en) | 2016-07-29 | 2021-08-10 | Splunk Inc. | Transmitting machine learning models to edge devices for edge analytics |
US10536351B2 (en) | 2016-07-29 | 2020-01-14 | Splunk Inc. | Analytics for edge devices |
US10460255B2 (en) | 2016-07-29 | 2019-10-29 | Splunk Inc. | Machine learning in edge analytics |
JP6892242B2 (ja) * | 2016-10-27 | 2021-06-23 | 株式会社日本マイクロニクス | 制御サーバ及び制御システム |
EP3376731B1 (en) * | 2017-03-15 | 2019-12-25 | ABB Schweiz AG | Rule-based information exchange in internet of things |
US10306513B2 (en) * | 2017-09-29 | 2019-05-28 | Intel Corporation | Connectivity service level orchestrator and arbitrator in internet of things (IoT) platforms |
JP6512326B1 (ja) * | 2018-03-14 | 2019-05-15 | オムロン株式会社 | センサ制御装置、センサ制御方法及びプログラム |
JP6989457B2 (ja) * | 2018-07-24 | 2022-01-05 | 富士通フロンテック株式会社 | 外部情報受配信装置、データ送信方法、及びプログラム |
CN109710347B (zh) * | 2018-10-16 | 2021-12-31 | 北京天地和兴科技有限公司 | 一种基于mvc框架高效开发带过滤功能生成列表页的方法 |
CN111181747B (zh) * | 2018-11-09 | 2023-05-02 | 中兴通讯股份有限公司 | 一种网关协同实现方法、装置、IoT网关及存储介质 |
US11277310B2 (en) * | 2018-11-14 | 2022-03-15 | International Business Machines Corporation | Systemic adaptive data management in an internet of things environment |
US20200410368A1 (en) * | 2019-06-25 | 2020-12-31 | International Business Machines Corporation | Extended rule generation |
CN116668311A (zh) * | 2020-07-12 | 2023-08-29 | 华为技术有限公司 | 一种数据采集方法及设备 |
US11164453B1 (en) * | 2020-08-31 | 2021-11-02 | Grant Stanton Cooper | Traffic signal control system and application therefor |
US11917230B2 (en) * | 2020-12-21 | 2024-02-27 | Quanta Cloud Technology Inc. | Method and system for maximizing uplink bandwidth in a communication system |
US11907857B2 (en) * | 2021-06-03 | 2024-02-20 | International Business Machines Corporation | Dynamic selection of parameter threshold values |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104735688A (zh) * | 2015-03-31 | 2015-06-24 | 京信通信***(广州)有限公司 | 一种微基站*** |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60166422U (ja) | 1984-04-07 | 1985-11-05 | 株式会社 アマダ | 金型交換装置 |
JP2001157197A (ja) * | 1999-11-25 | 2001-06-08 | Sharp Corp | 監視カメラシステム |
US8564661B2 (en) * | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
AU2002234261A1 (en) * | 2001-01-17 | 2002-07-30 | Arthur D. Little, Inc. | System for and method of relational database modeling of ad hoc distributed sensor networks |
US8894576B2 (en) * | 2004-03-10 | 2014-11-25 | University Of Virginia Patent Foundation | System and method for the inference of activities of daily living and instrumental activities of daily living automatically |
US8275824B2 (en) * | 2004-03-31 | 2012-09-25 | The Invention Science Fund I, Llc | Occurrence data detection and storage for mote networks |
US7583815B2 (en) * | 2005-04-05 | 2009-09-01 | Objectvideo Inc. | Wide-area site-based video surveillance system |
US7558771B2 (en) * | 2006-06-07 | 2009-07-07 | Gm Global Technology Operations, Inc. | System and method for selection of prediction tools |
JP2007329636A (ja) | 2006-06-07 | 2007-12-20 | Tietech Co Ltd | 監視システム |
US9325951B2 (en) * | 2008-03-03 | 2016-04-26 | Avigilon Patent Holding 2 Corporation | Content-aware computer networking devices with video analytics for reducing video storage and video communication bandwidth requirements of a video surveillance network camera system |
CN101350915A (zh) | 2008-09-01 | 2009-01-21 | 北京中星微电子有限公司 | 一种自适应调整工作参数的方法及监控前端设备 |
US9313463B2 (en) | 2009-06-09 | 2016-04-12 | Wayne State University | Automated video surveillance systems |
US9595115B1 (en) * | 2011-09-19 | 2017-03-14 | Amazon Technologies, Inc. | Visualizing change in augmented reality environments |
US9191442B2 (en) | 2012-04-03 | 2015-11-17 | Accenture Global Services Limited | Adaptive sensor data selection and sampling based on current and future context |
IES86318B2 (en) | 2012-08-15 | 2013-12-04 | Everseen | Intelligent retail manager |
US9197861B2 (en) * | 2012-11-15 | 2015-11-24 | Avo Usa Holding 2 Corporation | Multi-dimensional virtual beam detection for video analytics |
JP6197293B2 (ja) | 2013-01-16 | 2017-09-20 | 日本電気株式会社 | 自律的にネットワーク管理方法を制御する通信装置、通信方法、及び通信システム |
US9083637B2 (en) * | 2013-06-04 | 2015-07-14 | Netgear, Inc. | System and method for providing dynamic QoS to maximize bandwidth utilization |
CN103347165A (zh) | 2013-07-25 | 2013-10-09 | 广东威创视讯科技股份有限公司 | 一种视频数据处理方法及终端 |
US20150088442A1 (en) * | 2013-09-20 | 2015-03-26 | Panduit Corp. | Systems and methods for utility usage monitoring and management |
US20150254575A1 (en) * | 2014-03-07 | 2015-09-10 | Thalchemy Corporation | Learn-by-example systems and methos |
US9934249B2 (en) * | 2014-06-03 | 2018-04-03 | Conduent Business Machines Services, Llc | Systems and methods for context-aware and personalized access to visualizations of road events |
CN103997630B (zh) | 2014-06-13 | 2018-11-27 | ***通信集团广东有限公司 | 基于td-lte网络的主次码流智能切换方法及*** |
US9952675B2 (en) * | 2014-09-23 | 2018-04-24 | Fitbit, Inc. | Methods, systems, and apparatuses to display visibility changes responsive to user gestures |
CN104715596A (zh) * | 2014-12-30 | 2015-06-17 | 国家电网公司 | 一种变电站数据的传输方法 |
CN104580233B (zh) * | 2015-01-16 | 2017-09-01 | 重庆邮电大学 | 一种物联网智能家居安全网关*** |
EP3317680B1 (en) | 2015-06-26 | 2021-03-31 | INTEL Corporation | System manager to adaptively manage data collection devices in distributed computing systems, corresponding method and corresponding machine readable medium |
-
2015
- 2015-06-26 EP EP15896006.2A patent/EP3317680B1/en active Active
- 2015-06-26 JP JP2017560948A patent/JP6530087B2/ja active Active
- 2015-06-26 CN CN201580080387.9A patent/CN107615082B/zh active Active
- 2015-06-26 US US15/574,705 patent/US11044316B2/en active Active
- 2015-06-26 WO PCT/CN2015/082527 patent/WO2016206110A1/en active Application Filing
-
2021
- 2021-06-21 US US17/353,142 patent/US11483389B2/en active Active
-
2022
- 2022-10-21 US US17/971,337 patent/US20230156084A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104735688A (zh) * | 2015-03-31 | 2015-06-24 | 京信通信***(广州)有限公司 | 一种微基站*** |
Also Published As
Publication number | Publication date |
---|---|
JP6530087B2 (ja) | 2019-06-12 |
JP2018526706A (ja) | 2018-09-13 |
CN107615082A (zh) | 2018-01-19 |
US20230156084A1 (en) | 2023-05-18 |
EP3317680A1 (en) | 2018-05-09 |
EP3317680B1 (en) | 2021-03-31 |
US11483389B2 (en) | 2022-10-25 |
US11044316B2 (en) | 2021-06-22 |
EP3317680A4 (en) | 2019-01-30 |
US20180152517A1 (en) | 2018-05-31 |
US20220014591A1 (en) | 2022-01-13 |
WO2016206110A1 (en) | 2016-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11483389B2 (en) | Methods and apparatus to adaptively manage data collection devices in distributed computing systems | |
US11562020B2 (en) | Short-term and long-term memory on an edge device | |
CN107005679B (zh) | 一种基于云服务的智能目标识别装置、***及方法 | |
US10006782B2 (en) | Characterization of sensor data for vehicle telematics | |
US10482688B2 (en) | System and method for driver risk assessment through continuous performance monitoring | |
US20200192872A1 (en) | Device message framework | |
KR101687477B1 (ko) | 빅데이터를 이용한 이벤트 발생 정보 제공 방법 및 이벤트 발생 정보 제공 시스템 | |
US11782496B2 (en) | Smart context subsampling on-device system | |
US10142584B2 (en) | Use of location lulls to facilitate identifying and recording video capture location | |
US10747812B1 (en) | Video analytics | |
CA3164841A1 (en) | Classification and indicating of events on an edge device | |
EP4371303A1 (en) | Optimizing continuous media collection | |
CN112434580A (zh) | 一种视频统计分析方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |