CN114494768A - 对设施进行监视的监视***和方法、计算机程序产品 - Google Patents
对设施进行监视的监视***和方法、计算机程序产品 Download PDFInfo
- Publication number
- CN114494768A CN114494768A CN202111627648.8A CN202111627648A CN114494768A CN 114494768 A CN114494768 A CN 114494768A CN 202111627648 A CN202111627648 A CN 202111627648A CN 114494768 A CN114494768 A CN 114494768A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- state
- data
- sensor
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 486
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000004590 computer program Methods 0.000 title claims abstract description 9
- 238000012795 verification Methods 0.000 claims abstract description 47
- 230000001960 triggered effect Effects 0.000 claims abstract description 44
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 238000010200 validation analysis Methods 0.000 claims abstract description 9
- 230000009471 action Effects 0.000 claims description 104
- 238000010801 machine learning Methods 0.000 claims description 66
- 230000003993 interaction Effects 0.000 claims description 37
- 238000013507 mapping Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 description 168
- 238000001514 detection method Methods 0.000 description 163
- 230000002159 abnormal effect Effects 0.000 description 51
- 238000013145 classification model Methods 0.000 description 51
- 238000004422 calculation algorithm Methods 0.000 description 48
- 238000005259 measurement Methods 0.000 description 44
- 238000011156 evaluation Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 34
- 230000008569 process Effects 0.000 description 30
- 238000004891 communication Methods 0.000 description 29
- 238000013528 artificial neural network Methods 0.000 description 28
- 230000008859 change Effects 0.000 description 27
- 230000000007 visual effect Effects 0.000 description 26
- 238000013473 artificial intelligence Methods 0.000 description 22
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 20
- 230000007613 environmental effect Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 17
- 230000008901 benefit Effects 0.000 description 16
- 238000009795 derivation Methods 0.000 description 16
- 238000013459 approach Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000009434 installation Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 10
- 230000004927 fusion Effects 0.000 description 9
- 239000007789 gas Substances 0.000 description 9
- 241000196324 Embryophyta Species 0.000 description 8
- 230000006399 behavior Effects 0.000 description 8
- 238000007635 classification algorithm Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000003066 decision tree Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 239000000779 smoke Substances 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 238000010438 heat treatment Methods 0.000 description 6
- 230000004807 localization Effects 0.000 description 6
- 239000003973 paint Substances 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000012806 monitoring device Methods 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 238000007637 random forest analysis Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 239000006063 cullet Substances 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 231100001261 hazardous Toxicity 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 239000002699 waste material Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000001307 helium Substances 0.000 description 2
- 229910052734 helium Inorganic materials 0.000 description 2
- SWQJXJOGLNCZEY-UHFFFAOYSA-N helium atom Chemical compound [He] SWQJXJOGLNCZEY-UHFFFAOYSA-N 0.000 description 2
- 239000001257 hydrogen Substances 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000005067 remediation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000009423 ventilation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013209 evaluation strategy Methods 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 231100000344 non-irritating Toxicity 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000003094 perturbing effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013106 supervised machine learning method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
- G08B13/1965—Systems specially adapted for intrusion detection in or around a vehicle the vehicle being an aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/1968—Interfaces for setting up or customising the system
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Alarm Systems (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及对设施进行监视的监视***和方法、计算机程序产品。一种对设施进行监视的监视***包括：监视机器人，其具有主体、驱动***及对监视机器人的动作进行控制的动作控制器，该监视***还包括：至少第一监视传感器，被设计成获取设施的至少一个对象的第一监视数据；状态检测器，其被配置成基于监视数据来检测与对象相关联的至少一个状态，其特征在于，状态检测器被配置成：注意所述状态的状态模糊，特别是通过与预定的模糊阈值进行比较；在注意到状态模糊的情况下，由动作控制器触发监视机器人的动作，所触发的动作被适配为生成关于对象的状态验证信息，状态验证信息适于解决状态模糊；以及考虑状态验证信息来解决状态模糊。
Description
本申请是原案申请号为201880099180.X的发明专利申请(国际申请号： PCT/EP2018/079602，申请日：2018年10月29日，发明名称：设施监视***和方法) 的分案申请。
技术领域
本发明涉及监视诸如建筑物的设施的***和方法。
背景技术
现有技术的基于图像的检测器依赖于RGB图像中存在的丰富的颜色和纹理信 息。然而，已知它们的性能在非理想照明条件下尤其是在黑暗中将降低。在那些非理 想情况下，补充信息(如深度图、点云(PC)和/或红外(IR)信号)可用于确定其 中经典图像检测器降低或失败的场景中的所关注对象的存在、不存在、分类、状态等。
如上述现有技术所示，其中的已知***集中于：
·分别地和独立地在这些模态的每一个中应用检测，然后合并结果。所谓的并 行法，例如通过将RGB检测器的输出与深度检测器的输出融合，如US 8,630,741， US 2014/320312、GB 2546486、[2]或其他；或
·为每个模态链接检测器。所谓的系列或分级法，例如通过首先在测距数据空 间中将对象进行聚类而开始，并且随后使用该聚类信息来将第二级的视觉检测器引导 至所发现的关注区域，如在KR 101125233、[1]或其他中描述的。
例如在US 2009/027196、[4]或其他文献中提出的另一种方法试图使用树结构从数据学习可能最佳的检测器层级。由此，学习单个通用模型。
发明内容
根据第一方面，本发明涉及一种对设施的异常或异常状态进行安全相关评估的设施监视***，所述设施包括设施构件，例如房间、门、窗、墙壁、地板、天花板、电 气设备、管道等。“设施”在广义上是指建筑物，例如房屋、仓库、工业工厂或其它 复杂设施，以及整个财产或装置，例如(大)轮船或飞机、建筑工地或另一种受限或 潜在危险的区域。所述设施监视***包括中央计算单元，中央计算单元提供所述设施 的特别是动态的模型，优选为建筑物信息模型(BIM)。设施模型提供至少部分设施 构件的拓扑和/或逻辑和/或功能关系，例如特定窗户的位置的指示、特定房间的邻域 或允许进入特定房间的特定门。
此外，该***包括多个监视传感器，所述多个监视传感器特别适于连续监视至少多个设施构件，并且适于生成包括关于所述多个设施构件的监视信息的监视数据。所 述多个监视传感器被配置成提供关于一个或更多个设施构件的数据(或者经由设施构 件自身上的相应传感器，或者经由以工作关系生成监视数据的两个或更多个传感器)， 所述多个监视传感器适于监视或观察相应设施构件的状态，并且包括例如一个或多个 RGB相机、深度相机、红外相机、麦克风、接触传感器、运动检测器、烟雾检测器、 钥匙读取器、电流计、RIM相机、激光扫描器、温度计。但是也可以包括适于允许 操作者输入监视数据的输入装置。可选地，一个或更多个监视传感器是移动传感器， 特别是作为移动机器人平台的一部分。
该***还包括用于将数据从监视传感器发送到中央计算单元的通信装置和用于分析监视数据并且推导至少一个状态的状态推导装置。这样的状态例如是建筑物构件 的位置或取向、其外观，包括与建筑物构件相关联的对象(例如，将对象引入房间或 从房间移除对象)或当比较在两个不同时间或在时间过程中产生的监视数据时设施构 件的监视数据的任何显著差异。状态推导装置优选地集成在监视传感器和/或中央计 算单元中。换句话说，状态推导装置是能够从与设施构件相关的监视数据中提取设施 构件的状态的装置。这种状态推导装置例如是检测从一种状态到另一种状态的变化的 检测器(例如检测窗户打开的传感器)，或者被实现为诸如图像处理算法的软件，其 能够确定存在于图像中的设备的状态。
此外，该***包括用于通过基于拓扑或逻辑或功能关系组合一个或更多个设施构件的状态来记录状态模式的记录装置。在一个设施构件的情况下，分别给出该关系的 先验。通过组合处于逻辑关系的构件的状态(例如，在最简单的情况下，组合后续时 间点的同一监视传感器的相同监视特征/数据)。在两个或多个设施构件的情况下，关 系例如是它们在空间上邻接或与共同功能相关。记录器也向状态模式指派时间戳，例 如监视潜在状态之一的时间。
此外，中央计算单元被配置为提供用于所记录的状态模式的分类的危急-非危急(critical-noncritical)分类模型。危急-非危急分类模型考虑由设施模型提供的时间戳和拓扑和/或逻辑和/或功能关系，并且包括至少一个“非危急”类别的“非危急”状 态模式，并且执行危急度分类，其中，基于至少一个拓扑和/或逻辑和/或功能关系以 及至少一个时间戳(考虑与状态模式相关联的时间)将所记录的状态模式分类为“危 急”或“非危急”。
可选地，中央计算单元被配置为提供用于所记录的状态模式的正常-异常分类模型，其中，至少一个类别是表示分类状态模式为“正常”的正常类别，并且根据分类 模型对所记录的状态模式进行分类。可选地，分类模型是设施模型的一部分。中央计 算单元被配置为执行常态分类，其中，根据正常-异常分类模型将记录的状态模式分 类为“正常”或“异常”，并且如果异常状态模式与“正常”分类的偏差程度高于某 个阈值，则根据危急-非危急分类模型将已被分类为“异常”的记录的状态模式分类 为“危急的”，从而考虑至少一个时间戳。
换言之，***被配置为将检测到的设施状态模式分类为“正常”或“不正常”， 并且关于设施安全(safety)/安全性(security)来检查、评估或测试非正常状态模式， 即，状态模式是“危急”还是“非危急”。
作为另一选项，中央计算单元还被配置为建立危急度分类模型以及(如果存在的话)可选地建立正常-异常分类模型，即，例如“空白”地开始并且通过机器学习来 独立地生成或创建(并且如果必要的话进行细化)分类模型。
可选地，***的计算机被设计为使得危急度分类和可选地正常性分类考虑表示与设施相关联的人类活动和/或自动活动的时间的时间表，特别是其中，时间表包括规 划的工作和/或操作时间和/或包括关于规划的活动的类型的信息和/或嵌入在数字设 施模型中。
作为另一选项，危急度分类和可选地正常性分类利用以下中的至少一项来实现：基于规则的***和基于数据的***中的至少一个来实现，基于规则的***基于专家知 识，具体包括决策树、贝叶斯决策网络、一阶逻辑、时间逻辑和/或具有隐藏状态的 状态模型、模糊逻辑***、基于能量优化的***、基于粗糙集的***、分层决策***、 多代理***，并且基于数据的***基于先前生成的状态和/或状态模式，具体包括决 策树、决策树集成、基于规则的机器学习***、基于能量优化的***、概率生成或概 率区分图形模型，概率生成或概率区分图形模型具体包括贝叶斯网络、马尔可夫随机 场、条件随机场、受限玻尔兹曼机；模糊逻辑***、神经网络，具体是深度神经网络， 特别是递归神经网络或生成对手网络，基于案例的推理***，特别是使用k最近邻 方法的基于实例的学习***、内核方法、使用监督或无监督聚类的***、神经模糊系 统、基于集体分类和/或集体回归的***。
在记录的状态模式涉及至少两个设施构件的情况下，基于设施模型和/或由设施模型提供的重力相应分类可选地考虑两个设施构件的至少一个拓扑和/或逻辑和/或功 能关系。
作为另一个选项，该中央计算单元被配置成用于确定分类的假阳性的概率，具体地，由此，该中央计算单元进一步被配置成在概率高于一限定的阈值的情况下触发使 用通信装置来获取附加数据，所述附加数据特别是来自数据库的数据和/或通过这些 监测传感器中的至少一个来采集，使得考虑所述附加数据，随后的分类导致低于规定 阈值的概率。换句话说，如果分类的不确定性或不可靠性太高，则***分别自动取回 关于一个或多个设施构件的状态模式的附加数据，使得描述状态的附加信息(例如参 数或特征)是可用的，从而允许更确定地指定“危急”或“非危急”或可能为“正常” 或“异常”。
可选地，使用人的检测和/或识别、开门和/或开窗的检测、火灾和/或烟雾的检测、废弃对象的检测或活动的识别中的至少一个来推导状态。
可选地，在上述分类的过程中，优选地基于机器学习提供用于指派给一个类别的验证信息，特别是指派的确认和/或指派的拒绝中的至少一个。可替换地或附加地， 该算法被设计为提供对多个类中的一个类的指派的改变信息，特别是通过去除指派和 重新指派给另一个类中的至少一个，或提供新类的定义，特别是修改现有类、将现有 类划分为至少两个新类以及将多个现有类合并为新类中的至少一个。作为另一选项， 分类算法被设计成基于机器学习来提供用于从相应分类模型中移除类别、对要用于分 类的监视数据的第一选择和/或将被忽略进行进一步处理的监视数据的第二选择的标 识的指令。作为另一选项，存在反馈回路机制，其中，人类操作者可以验证或丢弃通 知，该信息被一次或定期反馈到***，用于重新学习和改进相应的分类模型。
可选地，该***还包括处理指派并提供分类模型和/或设施模型的更新信息的更新功能。
可选地，中央计算单元包括状态模式记录装置。作为另一选项，使用人重新识别、人跟踪、隐马尔可夫模型(HMM)、递归神经网络(RNN)、条件随机场(CRF)、所 测量的设施构件的拓扑和/或逻辑和/或功能关系中的至少一个来推导对在不同位置和 时间的一个或多个监视传感器的监视数据和/或状态模式的分析，由此所述关系是基 于所述设施模型的和/或由所述设施模型提供的。考虑所调查的设施构件的时空关系 允许与这些设施构件相关联的增强的状态推导，例如以便更好地将两个相邻的设施构 件的监视数据链接在一起以形成状态模式。
以状态序列/模式为基础的监视具有这样的优点，即，更多的方面是可用的(通 过分类算法检查)，从而导致深刻的评估。换句话说，不是单独地考虑单个动作或状 态，而是考虑动作或动作串的上下文，因此其分类允许(可选的)异常和主要是危急 度的更具洞察力或辨别能力的确定。例如，如果设施构件的改变被调查为一个状态和 状态序列的一部分，则可以验证由于经验(机器学***常的或不寻常的或者不平常或不寻常到什么程度。
可选地，设施模型包括表示设施构件的至少一部分的子设施模型，并且中央计算单元包括指派装置，该指派装置被配置成将每个设施构件的监视数据指派给对应的子 设施模型，特别是其中，监视数据包括位置信息，并且将每个设施构件的勘察数据指 派给对应的子设施模型是基于位置信息的，其中，位置信息包括关于设施构件位置、 对象或人或相应监视传感器的位置的信息。优选地，位置信息包括全局或本地坐标系 中的坐标，特别是设施的坐标系中的坐标，和/或标识设施中的预定位置或区域，特 别是房间的标志符或代码。
作为另一个选项，该***包括输出装置，该输出装置用于在状态模式指示设施的“危急”总体状态的情况下发出通知，特别是警告和/或命令，特别是其中，该输出 是设施模型的图形，特别是三维可视化内的图形输出，和/或该通知包括用于对检测 到的状态作出反应的多个选项，其中，可以考虑分类的可信赖性(概率)来评定每个 选项。后一选项意味着不仅反应选项是由***呈现的，而且考虑到评估的可靠性，这 些选项也被加权，使得例如***的用户得到从可能的反应选项中更好地进行选择的帮 助。
在本发明的另一可选实施方式中，设施模型包括拓扑设施数据，监视数据包括时间数据。作为另一选项，各个状态由特征的组合来表示，所述特征至少表征关于时间 以及设施拓扑内的位置的状态。
可选地，相应的分类模型包括存储的状态模式的数据库，并且对检测到的状态模式的分类和评估是基于与至少一个，特别是多个存储的模式的比较以及检测到的模式 与存储的模式之间的偏差等级的确定，特别是使用偏差阈值和/或统计概率。
作为另一选项，危急度和可选的正常性分类模型包括n维特征空间，其中，状 态模式由n维特征向量表示，特别是其中，相应的类别由n维特征空间的一部分表 示。然后，状态模式位于n维特征空间中，并且可以根据几何原理或机器学习算法 来评估其对类别的指派。
可选地，分类模型包括(深度)神经网络，特别是其中，状态的序列和/或模式 被馈送到神经网络的输入层的不同单元中。
在进一步发展的实施方式中，使用人识别来检测状态，并且分类和评估算法被配置为考虑所识别的人的身份或类型来分类和评估。
可选地，分类是基于基于语义特性的类别、基于拓扑和/或几何特性的类别、线 性分类，特别是基于Fisher线性判别、逻辑回归、朴素贝叶斯分类器或感知器、支持 向量机，特别是最小二乘支持向量机、二次分类器、核估计，特别是k最近邻、提 升(boosting)、决策树，特别是随机森林、稀疏网格、深度学习，特别是基于神经网 络，特别是卷积神经网络和/或学习矢量量化。
可选地，中央计算单元包括至少一个服务器计算机，特别是作为云***工作的服务器计算机集群，其中，通信装置适配为通过互联网或内联网连接将数据传输到中央 计算单元。
本发明还涉及一种用于对由设施构件组成的设施的异常状态进行安全相关评估的设施安全监视方法，该方法包括以下步骤：提供设施的特别是动态的模型，该模型 提供设施构件的至少一部分的拓扑和/或逻辑和/或功能关系，特别是建筑物信息模型 (BIM)，和/或其中，建筑物模型包括表示建筑物构件的至少一部分的子建筑物模型； 监视多个设施构件并连续地产生涉及这些设施构件的监视数据；分析监视数据并检测 其至少一个状态；通过对一个或多个设施构件的状态分组来记录状态模式，使得状态 模式表示与一个或更多个监视设施构件相关联的状态的序列和/或模式；基于具有用 于“非危急”状态模式的至少一个非危急类的危急-非危急分类模型对所述至少一个 记录状态模式进行分类，其中，所述分类是基于所述至少一个拓扑和/或逻辑和/或功 能关系以及所述记录状态模式的至少一个时间戳。
此外，本发明涉及一种计算机程序产品，该计算机程序产品包括程序代码，该程序代码存储在机器可读介质上，或者由包括程序代码段的电磁波来实现，并且具有计 算机可执行指令，计算机可执行指令用于特别是当在根据本发明的设施监视***的计 算装置上运行时，执行根据本发明的方法的步骤。
本发明的第二方面涉及一种用于对设施进行监视的监视***，例如监视建筑物、工业综合设施或综合船舶、建筑工地或另一种受限或潜在危险区域的内部或外部的财 产。该***包括监视机器人，该监视机器人包括主体、驱动***或驱动单元以及用于 控制机器人动作的动作控制器。机器人可以是基于地面的或实现为飞行器。该***还 包括例如作为该机器人的一部分的至少第一监视传感器，该第一监视传感器被设计成 获取该财产的至少一个对象的第一监视数据，例如像房间、门、窗、人、电力财产设 施这样的对象或像包裹或容器等这样的移动财产对象。
第一监视传感器优选地是能够测量较大区域或较大空间的传感器。它优选地被实施为非接触式传感器并且包括例如至少一个或更多个相机(照片和/或视频，可见的 和/或电磁频谱的其他部分)和/或麦克风和/或RIM相机和/或激光扫描器和/或LIDAR 和/或RADAR和/或运动检测器和/或辐射计。
该检测器还包括状态检测器，该状态检测器被设计成用于评估第一监视数据并且据此检测对象的状态。对象的状态例如是其位置、取向、颜色、形状、性质(例如有 生命的或无生命的)或操作状态(例如开/关、满/空)等，或异常，即与通常情形或 状态的偏差。这意味着不是每个状态都可以被记录为一个状态，而是仅记录为异常状 态，例如先前未被监视到的状态。
根据本发明，状态检测器被配置为注意检测到的状态的状态模糊。因此，检测单元不仅推导与对象相关联的状态，而且检测或识别检测到的状态的任何模糊。换句话 说，确定指示例如状态的不确定性程度的模糊。
状态检测器或底层计算单元还被配置成在注意到模糊的情况下由动作控制器触发机器人的动作。如果相反，则推导的状态分别被估计为明确的，即，如果状态检测 导致明确的结果，则推导的状态被认为是确定的而不需要触发所述动作)。触发标准 可选地是对象的事件不确定性高于定义的阈值的模糊性指示；低于该阈值的不确定性 被解释为明确的检测。
所述触发的动作适于生成关于对象的状态验证信息，该状态验证信息适于解决事件模糊。
状态检测器还被配置为考虑状态验证信息来解决状态模糊。
换言之，如果估计状态检测是模糊的，则触发机器人的动作，这使得机器人能够验证(或如果适用的话，证伪)所述检测到的状态并由此解决任何模糊。所触发的动 作产生关于对象的验证信息，使得计算单元考虑状态验证信息来推导明确的对象状 态。
作为优选选项，状态检测器还被配置为规划要触发的动作，使得该动作关于验证信息的所述生成被优化。基于第一监视数据，计算单元确定至少两个可能的可触发动 作中的哪一个更有效或最好地解决事件模糊。要优化的变量例如分别是动作(由此生 成的验证信息)修补、完成、补充或改进第一勘察数据的能力、测量对象的定义状态 相关或重要特征、力程度、验证信息的质量和/或数量，和/或完全执行动作的时间的 能力。因此，该确定或选择基于所述变量的值的估计和/或基于存储在机器人数据库 中的值，例如在机器学习阶段中提供的值，在该机器学习阶段中，机器人学习不同动 作的状态模糊相关效果。
所述优化规划或确定例如取决于对象、对象的类型或种类或对象的状态、状态模糊、对象的(绝对)位置和/或取向、机器人/测量传感器和对象的相对位置和/或取向、 环境条件、第一监视数据的质量和/或数量和/或时间或日期中的至少一个。优选地， 动作的规划包括选择如下所述的至少一项：第二勘察数据的采集、与对象的交互和/ 或外部数据的采集。
作为一种选择，触发的动作包括由机器人获取对象的第二勘察数据。第二勘察数据可选地由机器人的第二勘察传感器获取，优选地其中，第一勘察传感器和第二勘察 传感器是不同种类的传感器，例如，第一传感器是无源的而第二传感器是有源的，或 者第一传感器是光学传感器而第二传感器是触觉传感器。作为另一选项，第一勘察传 感器适于粗略(和快速)的总体监视，而第二勘察传感器适于精细、详细的监视。
作为另一选项，计算单元被配置为确定要利用第一和至少一个第二传感器中的哪一个来获取第二监视数据，使得第二监视关于事件验证信息的生成被优化。换句话说， 状态检测器规划至少两个测量传感器中的哪一个是用于验证对象状态的最有效的手 段。
计算单元可选地还被配置成还考虑诸如第二监视的可用时间之类的其它参数来确定这种优化。如果存在例如紧急情况(例如，由状态检测器通过检测到的状态推导， 即使这是不确定的)，仅留下非常有限的时间用于验证和随后的反应，则计算单元分 别选择监视传感器或测量程序，该监视传感器或测量程序是关于采集时间被最优化的 并且或许是关于测量准确度仅第二最佳的。
作为另一选项，触发的动作包括改变采集位置和/或方向，使得利用与采集第一勘察数据的位置和/或方向不同的至少一个采集位置和/或方向来执行第二监视数据的 采集。换言之，机器人或其监视传感器在生成第一监视数据时具有第一采集位置和/ 或方向。在生成第二监视数据之前，触发机器人(或至少测量传感器)的采集位置和 /或方向的改变，从而建立不同于第一采集位置和/或方向的第二采集位置和/或方向。
优选地，状态检测器根据第一勘察数据评估哪些附加数据或信息分别丢失，或者需要哪些附加数据或信息来解决模糊，并且由计算单元选择第二采集位置和/或方向， 使得当在第二采集位置和/或方向中或利用第二采集位置和/或方向测量时，可以生成 额外需要的数据(大概)。第二采集位置和/或方向由此关于验证信息的产生被优化， 因为第二测量揭示了关于状态的第二监视数据的最优量。
可选地，计算单元为多个财产对象提供具有状态相关特征的数据库，并且对象的第二勘察数据的采集包括其状态相关特征中的至少一个的特定测量。例如，基于 Next-Best-View(NBV)算法来规划第二采集位置和/或方向，使得对象的这些事件相 关特征中的一个或更多个能够由处于第二采集位置和/或方向中的监视传感器之一来 测量。
作为优选选择，***的计算机提供使状态模糊与采集位置和/或方向相关的相关映射。因此，例如，采集位置和/或方向的上述改变是基于相关映射的，例如最佳视 图，提供关于相应对象的推导模糊和采集位置和/或方向的相关性的信息，诸如用于 多个可推导对象状态的最佳或最优采集位置和/或方向。作为另外的选择，相关映射 是基于表示对象状态的定义标准和/或通过机器学习建立相关映射。在后一种情况下， 相关映射例如是在机器人的训练阶段建立的，其中，记录了多个采集位置和/或方向 以及在相应位置和/或方向观察到的多个对象状态。
作为获取第二勘察数据作为触发的动作的另选或附加，用于生成状态验证信息的触发的动作包括机器人与对象的交互，如触觉接触，特别是为了使对象移动和/或为 了获取对象的触觉传感器数据，和/或将材料施加到对象上，特别是施加液体和/或涂 料，和/或输出指向对象的声和/或光信号，特别是在对象是人的情况下。换句话说， 机器人以这样的方式交互，即，它可以收集在没有交互的情况下不可用的用于验证的 信息。
可选地，***的计算单元被配置为确定交互(例如，通过从多个可能的交互中选择它)，使得它能够关于状态验证信息的生成而被优化。换句话说，计算单元评估哪 个交互对于收集信息是(大概)最有效的，使得机器人在其关于对象状态的知识中的 间隙可以被关闭。
有利地，存在第二监视数据的触发交互和采集的组合。例如，机器人首先交互， 因为它移动对象，例如旋转对象，然后取得第二勘察数据，能够测量对象的事件相关 特征，这些特征之前被阻塞，即，在第一勘察时不可访问，如果没有，则无法根据第 一监视数据明确地推导事件。
可选地，状态检测器提供将状态推导模糊与交互位置和/或方向相关的相关映射，类似于先前描述的相关映射。作为另外的选择，相关映射基于表示事件的定义标准和 /或通过机器学习建立，和/或相关映射包括多个可推导的对象状态的最佳交互位置和/ 或方向。
作为另一选项，交互是基于对象状态的马尔可夫模型的。马尔可夫模型是随机变化***的随机模型，其中***由状态描述。
作为另一另选或附加，触发的动作是从监视对象的数据库取得数据，特别是关于对象的数据，和/或是监视***的第三监视传感器的第三监视数据，第三监视传感器 不是机器人的一部分，特别是其中，触发的动作包括触发第三监视数据的采集(“按 需监视”)。
优选地，机器人被实施为无人驾驶地面车辆(UGV)。可选地，UGV包括作为子 单元的无人飞行器(UAV)，其中，该无人飞行器是可从该主体上拆卸的(使得它可 以在该财产上自由飞行)并且具有监视传感器，例如第一和/或第二监视传感器。
本发明还涉及一种适用于包括至少第一监视传感器和移动监视机器人的设施监视***的监视方法。该方法包括以下步骤：用监视传感器获取第一监视数据；评估第 一监视数据并且据此检测该财产的状态；确定检测到的状态的状态模糊，特别是通过 与预定模糊阈值进行比较；在状态模糊的情况下触发该机器人的动作，其中，该动作 被适配成生成关于该对象的状态验证信息，状态验证信息适于解决状态模糊，并基于 状态验证信息解决模糊。
此外，本发明涉及一种计算机程序产品，该计算机程序产品包括程序代码，该程序代码存储在机器可读介质上，或者由包括程序代码段的电磁波来实现，并且该计算 机程序产品具有计算机可执行指令，计算机可执行指令特别是在包括移动监视机器人 的监视***的中央计算单元的计算装置上运行时执行根据本发明的方法的步骤。
本发明提供一种具有用于推导受监视对象的事件的测量机器人的监视***，其有利地能够确定用于推导或检测到的状态的(非)模糊的指示符，且进一步能够在确定 关于对象的状态的模糊信息的情况下采取动作，使得收集可用于解决模糊的额外信 息。换言之，本发明允许对所测量的财产的观察到的状态进行自主评价或评估，并且 对关于所观察的对象的任何不确定性进行自动补救或解决。
更有利的实施方式使得机器人能够规划动作，使得以优化的方式执行收集附加信息进行验证的步骤。最后被触发的动作是至少两个可能选项中的对于这种验证信息的 生成更有效的一个，例如使得附加信息最适合于修补从中推导不确定状态的第一监视 数据。例如，选择或规划另外的传感器数据(第二监视数据和/或在机器人与所讨论 的对象的交互的上下文中的传感器数据，例如机器人的臂旋转编码器的数据)的采集， 使得生成特定量的数据的努力是最低的和/或数据的数量或质量最佳地补充关于状态 的现有数据或最佳地补救或修复现有数据的缺陷。因此，所述规划考虑例如传感器的 选择、用于测量的位置和/或方位/方向的选择、或者(监视)传感器或动作控制器的 其他变量或参数的交互或选择，诸如机器人致动器的测量准确度、测量时间或施加的 功率。
第三方面涉及适于在设施的区域巡逻的巡逻***。例如：在诸如工业工厂或机 场或集装箱船内的建筑物、建筑工地或另一种受限或潜在危险的区域中，执行检查任 务。特别地，该***适合于区域的自主监视以及检测和报告事件。
仅由无人驾驶地面车辆(UGV)执行的自动检查任务面临若干问题，例如：
-UGV的运动受到的限制，例如：楼梯、路障等；
-UGV只能在地面附近而不能在空中检查对象；以及
-一些环境(例如，地坑或峡谷)中的UGV面临用于确定其位置和/或用于接 收数据/与例如命令中心共享数据的连接性的GNSS的有限可用性。
仅由无人机(UAV)执行的自动检查任务面临几个问题，例如：
-UAV的重量受到限制，因此遭受以下影响：
-由于电池的重量限制，运行时间有限；
-由于硬件限制，数据存储和处理能力受限；
-承载有效载荷(例如传感器或致动器)的能力有限；
-UAV不能在恶劣的天气条件下工作，例如，暴雨、大风；以及
-UAV可以在与例如远程命令中心进行通信时面临连通性问题。
因此，本发明的这一方面的目的是提供一种改进的移动监视***。特别地，本发明提供了一种结合了UGV和UAV的优点的对象。
根据本发明的该方面，巡逻移动监视***因此适配为组合至少一个UGV和至少 一个UAV的地面-空中传感器平台。UGV和UAV的组合可以用以下功能至少克服上 述限制：
UGV可以充当一个或多个UAV的发射和再充电平台。该UGV可以配备有大电 池或多个电池组以便对该UAV进行再充电或更换UAV的电池。这允许延长的UAV 工作时间。在恶劣天气条件下，UGV可以提供用于保护UAV免受雨、风等影响的 遮蔽物。可能地，UGV还可以在UAV无法工作的时间执行一些探测任务。
UGV可以充当数据存储和处理平台。UGV提供用于存储由UAV捕获的数据的 装置和/或用于处理所述数据的装置。这允许如仅使用UAV时“在边缘”存储/处理 更多数据。
UGV和UAV可以用作联合传感器和/或致动器平台。从互补的角度考虑，UGV 和UAV可以探索和测量对象。这允许例如结合对象的地面和空中视图。UGV和UAV 可以用不同的传感器来检查同一对象，从而允许例如UAV执行对大范围区域中的许 多对象的第一粗略探索性检查，但仅使用低分辨率和有限量的传感器。然后，UGV 可以通过利用高分辨率和大量不同的传感器进行它们的检查来接管所选择的特别关 注的对象的测量。这引起由不同的传感器、从不同的观点、在不同的条件下和在不同 的时间点产生的数据引起传感器融合。
例如，UAV仅具有机载的用于以高不确定性对人进行检测的人检测相机，并且 配备有另外的传感器(诸如，例如红外相机)的UGV然后被放出以靠近拍摄。例如 UAV执行导致将由UGV执行的动作的检查任务也是可能的，反之亦然。该思想的特 定示例是如果UAV已经检测到人，则给予UGV接近该人并请求识别的任务(例如， “要求”ID卡)。
在操作期间，UGV和UAV可以使它们的传感器信息实时地(或接近实时地)彼 此可用，从而实现或改善它们的定位。此外，UGV可以基于用相机拍摄的视频流来 跟踪UAV，即确定从UGV到UAV的方向。在UAV的定位精度较差的情况下(因为 存在对重量的限制并且只能携带非常有限数量的传感器用于定位)并且UGV的定位 良好的情况下，方向观察可以改善UAV位置的准确度。跟踪***还可以配备有测量 UGV与UAV之间距离的测距仪。在这种情况下，可以确定UAV相对于UGV的方 向和距离，并且可以计算相对于UGV坐标系的相对位置(X，Y，Z)。例如，UAV 可以向前飞行并提供传感器数据以生成用于UGV的路径规划的地图。
另一方面，为了导航的目的，UGV可以配备更多的传感器，诸如LIDAR(光检 测和测距)并且例如执行LIDAR SLAM(即时定位与地图构建)，从而非常精确地导 航。向UAV发送该信息例如作为稀疏点云使能实现UAV的可视SLAM。
此外，UGV和UAV可以用作联合通信平台。UGV和UAV在工作期间通信，使 得能够部署例如从UGV到UAV的新工作流(例如，修改的任务目标和/或路径)，反 之亦然。UGV(或UAV)可以接收/发送数据到例如命令中心(如果UAV(或UGV) 不能这样做)。具体地，在多个UGV(并且可能还有多个UAV)的场景中，UAV可 以从一个UGV移动到另一个UGV，例如用于向最近的UGV或具有最稳定数据链路 的UGV再充电和/或发送数据。
术语“无人驾驶地面车辆”(UGV)应被理解为不限于位于坚实地面上并且移动 的车辆，而是还包括无人操作的海上航行器，诸如无人驾驶水面航行器(例如，船只)、 无人水下航行器或无人水陆两用航行器(例如，气垫船)。UAV例如可以是多旋翼直 升机(例如，四旋翼直升机)或比空气轻的飞行器(例如，飞艇)。
因此，本发明涉及一种移动监视***(适于巡逻监视区域，特别是建筑物的监视区域)，该***包括多个传感器，例如包括至少两个相机，其中，该***包括至少一 个无人驾驶地面车辆，该无人驾驶地面车辆适于在监视区域的地面上自主移动，该 UGV包括外壳，所述外壳中装入了：第一电池；第一传感器装置，例如包括至少第 一相机，该第一传感器装置被适配成生成第一传感器数据；以及第一计算单元，该第 一计算单元包括处理器和数据存储器，该第一计算单元被适配成用于实时地接收和评 估第一传感器数据，其中，该***包括至少一个无人飞行器，UGV和UAV被适配成 协作地巡逻该监视区域，其中，UAV包括第二传感器装置，例如包括至少一个第二 相机，该第二传感器装置被适配成生成第二传感器数据，UGV包括第一数据交换模 块，并且UAV包括第二数据交换模块，第一数据交换模块和第二数据交换模块适于 交换数据；并且第一计算单元适于实时接收和评估第二传感器数据。
可选地，该移动监视***包括用于巡逻监视区域的多个UAV，第一数据交换模 块被适配成与多个UAV中的各个UAV的第二数据交换模块交换数据(251、252)， 和/或第一计算单元被适配成接收各个UAV的第二传感器数据并且以组合的整体分析 法来对来自多个UAV的第二传感器数据进行评估。
作为另一选项，该计算单元被适配成尤其是实时地并且基于对该第一传感器数据的评估来生成用于控制UGV的功能的UGV控制数据，和/或计算单元被适配成尤其 是实时地并且基于对第一传感器数据和/或第二传感器数据的评估来生成用于控制至 少一个UAV的UAV控制数据，其中，所述第二传感器数据可经由所述第一数据交换 模块和第二数据交换模块从UAV传送到UGV，并且UAV控制数据可经由第一数据 交换模块和第二数据交换模块从UGV传送到UAV。
可选地，第一计算单元被适配成生成任务数据，任务数据包括使至少一个UAV 执行任务或工作流的指令，其中，任务数据可以经由该第一数据交换模块和第二数据 交换模块从UGV传输至UAV，特别地，其中，任务数据包括立即执行任务的指令。
作为另一选项，任务数据包括使至少一个UAV移动到定义的位置，特别是移动 到该UGV不可到达的位置的指令，和/或基于对第一传感器数据和/或第二传感器数 据的评估来生成任务数据。
可选地，该***被适配成尤其是完全自主地执行状态检测功能，该功能包括基于第一传感器数据和/或第二传感器数据的评估来检测监视区域中的状态。状态包括例 如检测在监视区域中存在入侵者或更一般地任何对象相关状态，诸如其位置、取向、 颜色、形状、性质(例如有生命的或无生命的)或操作状态(例如，开/关、满/空) 等，或异常，即与通常情形或状态的偏离。这意味着不是任何状态都可以被检测为状 态，而是仅检测为异常状态，例如先前未被监视到的状态或改变。
可选地，第一计算单元被适配成基于对第一传感器数据的评估来执行状态检测功能，其中，如果已经检测到状态，则计算单元生成任务数据，任务数据包括使UAV 移动至检测到的状态的位置和/或生成与检测到的状态相关的第二传感器数据的指 令，其中，指令数据能够经由第一数据交换模块和第二数据交换模块从UGV传输至 UAV，并且与状态相关的第二传感器数据能够经由第一数据交换模块和第二数据交换 模块从UAV传送到UGV。
任选地，该UAV包括第二计算单元，第二计算单元包括处理器和数据存储器， 其中，第二计算单元被适配成接收并评估来自第二传感器装置的第二传感器数据，并 且基于对第二传感器数据的评估来执行状态检测功能，其中，如果已经检测到状态， 则将与该状态相关的状态数据和/或第二传感器数据传输至第一计算单元。
作为另一选项，第一传感器装置包括相对于第二传感器装置的相应传感器具有更优规格的传感器，特别是允许生成具有比第二传感器数据高的分辨率的第一传感器数 据，其中，如果已经检测到状态或异常，则生成任务数据，任务数据包括使UGV移 动到具有检测到的状态或异常的位置和/或生成与检测相关的第一传感器数据的指 令。
作为另一选项，状态检测功能包括使用至少一种机器学习算法来训练状态检测模型，和/或在第一计算单元中提供至少一种机器学习算法，并且至少向UAV提供状态 检测模型，其中，第一计算单元被适配成运行机器学习算法以更新状态检测模型，其 中，更新的状态检测模型可经由第一数据交换模块和第二数据交换模块从UGV传输 到UAV。
可选地，第一计算单元包括图形处理单元，并且被适配成在图形处理单元上运行机器学习算法，和/或数据存储器包括用于存储与检测到的状态相关的数据的数据库。
作为另一选项，UGV被适配为将与检测到的事件相关的数据发送到远程命令中心，其中，数据存储器被适配为在到远程命令中心的数据连接不可用时存储与检测到 的事件相关的数据，并且在数据连接可用时将所存储的与检测到的事件相关的数据发 送到远程命令中心。
可选地，第一计算单元被适配成执行用于生成在监视区域中执行巡逻任务的工作流的工作流生成过程，在工作流生成过程的过程中，第一计算单元被适配成生成用于 执行巡逻任务的优化工作流，该工作流涉及UAV中的一个或更多个，以便为所涉及 的UAV中的每一个生成工作流数据，该工作流数据允许相应的UAV执行巡逻任务的 一部分，并且经由第一数据交换模块和第二数据交换模块将工作流数据提供给所涉及 的UAV。
可选地，第一计算单元被适配成经由第一数据交换模块和第二数据交换模块来请求和接收至少一个UAV的任务专用数据，其中，任务专用数据包括关于与对应UAV 相关联的特性(位置和/或工作负载信息)，以便基于任务专用数据来评估与UAV中 的每一者相关联的任务专用能力，并且基于巡逻任务和任务专用能力来生成优化的工 作流。
作为另一选项，第一计算单元被适配成监测所涉及的UAV的状况，该状况包括 该UAV执行巡逻任务的对应部分的能力，其中，如果第一计算单元确定所涉及的UAV 之一已经失去执行其在巡逻任务中的部分的能力，则第一计算单元被适配成生成适配 的工作流，至少包括：将巡逻任务的受影响的部分重新指派给多个UAV中的一个或 更多个UAV，以便为所涉及的UAV中的一个或更多个UAV生成适配的工作流数据， 并且经由第一数据交换模块和第二数据交换模块向多个UAV中的一个或多个UAV提 供适配的工作流数据。
可选地，至少一个UAV中的每一个UAV配备有软件代理，其中，每个软件代 理可安装在该UAV的计算单元上或安装在连接至UAV的通信模块上，并且被适配成 与它所安装或连接至的UAV交换数据，其中，在工作流生成过程的过程中，第一计 算单元被适配为向相应UAV的软件代理请求和接收UAV的任务专用数据，并向所涉 及的UAV的软件代理提供工作流数据。
可选地，UGV和至少一个UAV被适配成用于自主地巡逻监视区域，和/或数据 存储器被适配成存储监视区域的地图，并且UGV被适配成基于该地图导航通过监视 区域，和/或第一计算单元包括SLAM算法，SLAM算法基于第一传感器数据和/或 第二传感器数据执行即时定位和地图构建，特别是其中，这些传感器包括至少一个 LIDAR扫描器，特别地是其中，SLAM算法被适配成连续地更新监视区域的地图， 其中，更新的地图是能够经由第一数据交换模块和第二数据交换模块传输至UAV。
可选地，为了协作地巡逻监视区域，UGV被适配成沿着预定路径，特别是沿着 一序列定义的航点移动；并且至少一个UAV被适配成探索UGV周围的区域，在UGV 周围的最大范围内移动，特别是其中，该最大距离是用户定义的，取决于UAV的最 大速度和UGV沿着预定路径移动时的巡逻速度，和/或是由经由第一数据交换模块和 第二数据交换模块交换数据的要求给出的。
可选地，第一计算单元包括对数据进行加密和解密的算法，并且第一数据交换模块和第二数据交换模块被适配成交换加密的数据和/或所交换的数据包括心跳消息， 其中，UGV和/或UAV被适配成基于心跳消息来识别UGV与UAV之间的数据交换 是否可用，特别是其中，在识别出UGV与UAV之间的数据交换不可用时，UGV和 /或UAV被适配为改变其位置以便重新建立用于数据交换的连接，特别是返回到数据 交换仍然可用的先前位置。
可选地，所述***包括一个或更多个无线电通信模块，所述无线电通信模块被适配为建立与远程命令中心的无线电连接，特别是借助WiFi网络或移动电话网络，并 且被适配为经由所述无线电连接来发送和接收数据，和/或所述***可借助发送到所 述***的无线电通信模块的数据从所述远程命令中心工作，特别是实时工作。
可选地，所述UAV包括第一无线电通信模块并且适配为将经由无线电连接接收 到的数据无线地传输到UGV，和/或UGV包括第二无线电通信模块，并且UAV被适 配为在第二无线电通信模块不能与远程命令中心建立无线电连接时将经由无线电连 接接收到的数据无线地传输到UGV。
可选地，在识别出无线连接不可用时，UGV和/或UAV被适配为改变其位置以 便重新建立无线连接，特别是返回到无线电连接仍然可用的先前位置。
本发明还涉及一种移动监视***，该移动监视***被适配为巡逻监视区域，特别是建筑物，该移动监视***包括：一个或多个无线电通信模块，其被适配为与远程命 令中心建立无线电连接以发送和接收数据；以及多个传感器，例如包括至少两个相机， 其中，该***包括至少一个无人驾驶地面车辆(UGV)，至少一个UGV被适配为在 监视区域的地面上自主移动；UGV包括外壳，外壳装入了：第一电池；以及第一传 感器装置，例如包括至少一个第一相机，该第一传感器装置被适配成生成第一传感器 数据，其中，该***包括至少一个无人飞行器(UAV)，UGV和UAV被适配成协作 地巡逻监视区域，其中，UAV包括第二传感器装置，例如包括至少一个第二相机， 该第二传感器装置被适配成生成第二传感器数据，UGV包括第一数据交换模块，并 且UAV包括第二数据交换模块，第一数据交换模块和第二数据交换模块被适配为交 换数据，远程命令中心包括远程计算单元，远程计算单元包括处理器和数据存储器， 远程计算单元被适配为经由无线电连接来接收第一传感器数据和第二传感器数据，实 时地评估第一传感器数据和第二传感器数据，并且生成任务数据，任务数据包括使至 少一个UGV和UAV执行任务或工作流的指令，其中，任务数据是经由无线电连接 发送的。
可选地，UGV和UAV通过电缆(具有或不具有插头)连接，其中，第一电池被 适配成经由电缆向UAV供电；第一数据交换模块和第二数据交换模块被适配为通过 电缆交换数据。
作为另一选项，UAV包括第二电池，其中，第一电池具有比第二电池大的容量； UAV被适配成降落在UGV上；并且UGV包括充电站和/或电池交换站，充电站适配 为在UAV降落在UGV上时对第二电池充电，并且电池交换站适配为在UAV降落在 UGV上时自动更换第二电池。
可选地，UGV包括至少一个机器人臂，至少一个机器人臂是能够由计算单元基 于所评估的第一传感器数据控制的，其中，计算单元被适配成控制机器人臂以与环境 的多个特征进行交互，具体包括：打开和/或关闭门；对开关进行操作；拾取物品； 和/或将UAV定位在充电站上。
可选地，UGV包括与电源插座连接的插头，其中，计算单元被适配为基于第一 传感器数据来检测环境中的电源插座；并且UGV被适配成特别是通过机器人臂将插 头***电源插座中，和/或UAV是一个四旋翼直升机或其他的多旋翼直升机，直升机 包括：多个旋翼，尤其是至少四个旋翼；以及底座，该底座包括使UAV能够降落并 站立在UGV上的多个滑行架或支腿。
可选地，UAV使用升力气体(特别是氦气或氢气)来提供浮力，特别是其中， UAV是飞艇，特别是其中，UGV包括气罐和适配为再填充UAV的升力气体的充气 站。
可选地，充电站包括至少一个感应线圈，其中，充电站和UAV被适配成通过感 应对该第二电池进行充电。
可选地，移动监视***包括至少第一UGV和第二UGV，其中，UAV被适配成 降落在第一UGV和第二UGV上，并且与第一UGV和第二UGV无线地交换数据。
作为另一选项，传感器包括与全球导航卫星***一起使用的至少一个GNSS传 感器，至少一个GNSS传感器设置在UGV和/或UAV中，和/或至少一个GNSS传 感器设置在UAV中，其中，由GNSS传感器提供的信号可从UAV(220)无线地发 送到UGV，特别是作为第二传感器数据的一部分。
可选地，UGV包括：容纳一个或更多个UAV的空间，该空间提供对降水和/或 风的防护，特别是其中，UGV包括可延伸的抽屉(drawer)，UAV可降落在该抽屉上， 该抽屉可缩回到UGV的外壳中以将UAV容纳在外壳内；或盖，该盖被适配成当UAV 降落在UGV上时盖住UAV。
本发明的另一第四方面涉及一种检测设施状态的安全监控***。
在安全监控***中，状态是由状态检测器提出的，即利用监视传感器，诸如个人检测器、异常检测器，或为诸如开门或开窗检测器的安全应用而训练的特殊分类器。 然后，这些状态可由状态过滤器过滤，状态过滤器确定状态是危急的、非危急的还是 先前未知的。状态例如是对象的位置、取向、颜色、形状、性质(例如有生命的或无 生命的)或工作状态(例如开/关、满/空)等或异常，即与通常情形或状态的偏差。 这意味着不是每个状态都可以被记录，而是只记录异常状态，例如，先前未监视到的 状态。
监控场所可以具有其自己的规律性或特性工作流程，包括各种不同的实体，例如人类工作者或机器，例如，其中，工作者可以具有对监控站点的不同区域、建筑物或 房间的特定访问权限，而访问者可以仅具有受限的访问权限。此外，根据场所的类型， 例如建筑场所或受限的军事场所，监视场所可以包括潜在危险的区域，例如其中，人 和/或机械有可能受伤或有可能违法，因此在进入这些区域时需要被警告。此外，特 别是开放的场所会受到不同的环境影响，更不用说不同场所的整体拓扑结构可能非常 不同。
换言之：通常难以为不同的设施提供统一的监控体系，因为一些状态可能仅与特定的监控场所相关，例如具有特定工作流程或本地特性的监控场所，如倾向于在早晨 非常早地开始或在晚上工作的特定人员。
因此，现场监控仍然需要人眼和人的判断，例如，其中，算法通常警告操作者特 定的状态，并且操作者决定状态是否确实是危急的。选择方法通常是分类或异常检测， 其在可疑事件的情况下警告操作者。然后，操作者或者放弃不相关的警报，或者采取 行动，例如，呼叫同事、警察或消防队。因此，同一软件通常在不同的本地场所运行， 其中，操作人员适应每个场所的特定规则。
在试图通过计算机实现的解决方案使这种适配过程自动化时，面临许多计算挑战。
因此，本发明的目的是提供一种克服上述限制的改进的安全监控***。
具体的目的是提供一种允许更通用和更鲁棒的监视和报警***的***和方法，其中，减少了虚假报警，并且仅使越来越相关的警报引起操作者的注意。
这些目的通过实现独立权利要求79的特征来达成。在从属于权利要求79的专利权利要求中描述了以替代或有利方式进一步发展本发明的特征。
本发明涉及一种检测设施状态的安全监控***，所述设施例如是室内和/或室外场所，如建筑物、仓库、工业综合设施、建筑工地或另一种受限或潜在危险区域。
例如，这样的安全监控***可以包括至少一个监视传感器，该监视传感器被配置成特别是连续地监视设施并生成包括关于设施的信息的监视数据。特别地，这样的监 视数据可以提供关于设施的特定部分的状态的信息，例如，其中，所述信息可以基本 上直接地提供，即基于单个传感器，特别是无需处理数据，和/或两个或更多个传感 器可以基于工作关系产生监视数据。
例如，监视传感器可以包括相机、麦克风、接触传感器、运动检测器、烟雾检测 器、钥匙读取器、电流计、RIM照相机、激光扫描器、温度计，但是也可以包括适 于允许操作者输入勘察数据的输入装置。可选地，一个或更多个监视传感器是移动传 感器，特别是作为移动机器人平台的一部分。
所述***还包括状态检测器，所述状态检测器被配置成基于设施的监视数据来检测至少一个状态，其中，所述至少一个状态表示与所述设施相关联的至少一个状态。
例如，根据一个实施方式，安全监控***被配置为检测与设施相关联的状态的序列和/或模式，其中，典型的状态可以是对人的检测和/或识别、对开门和/或开窗的检 测、对火灾和/或烟雾的检测、对废弃对象的检测、对活动的识别以及对异常的检测。 状态可以表示设施的构件的位置或朝向的变化，例如，打开门或窗、外观的改变(包 括与设施相关的对象的改变或变化(例如，将对象引入房间或从房间中取出、人进入 房间)，或者对在两个不同时刻或时段中产生的监视数据进行比较时监视数据的任何 显著差异。例如，状态检测装置可以集成在监视传感器和/或中央计算单元中。特别 地，状态检测可以考虑与设施相关联的不同实体的拓扑和/或逻辑和/或功能关系，以 及表示与设施相关联的人类和/或自动活动的时间的时间表，特别是其中，时间表包 括规划的工作和/或工作时间和/或包括关于活动类型的信息和/或嵌入在设施的数字 模型中。
此外，所述***包括状态过滤器，所述状态过滤器被配置为执行自动指派，所述自动指派将至少一个状态自动指派到一类状态，其中，所述状态过滤器被配置为将至 少一个状态指派给表示状态为“非危急”的至少第一类和表示状态为“危急”的第二 类。
根据本发明，安全监控***包括被配置为生成关于自动指派的反馈信息的反馈功能，反馈信息指示对将至少一个状态自动指派给第一类或第二类以及将至少一个事件 手动指派给第一类或第二类中的至少一个的确认或否定。此外，安全监控***具有训 练功能，特别是基于机器学习算法的训练功能，训练功能被配置为接收和处理反馈信 息并为状态过滤器提供更新信息，其中，更新信息被配置为建立第一类和第二类。
因此，自动指派被动态地改进，并且例如仅需要基于关于设施的较少先前信息的“粗略”初始化。特别地，***动态地适应设施的特定属性。
可能发生这样的情况，即，状态不能被指派给第一类和第二类之一。特别地，有 时操作者也难以判断状态是否危急，例如在之前从未出现过状态的情况下或者在操作 者怀疑监视数据的质量的情况下。然后，操作者可以手动请求重新获取与该事件相关 联的监视数据的至少一部分，或者他可以通过附加的测量传感器来请求附加的监视数 据，例如通过将移动传感器部署到所述区域。
因此，作为示例，可以存在其它类，例如，其中，状态过滤器被配置为将至少一 个状态指派给表示状态为“不确定”的第三类。特别地，反馈功能可以被配置成在至 少一个状态被指派给第三类的情况下触发至少部分勘察数据的重新获取和/或附加勘 察数据的获取。
基于不同的指派确定性级别可以触发不同的反应。例如，在状态是具有高确定性的危急或非危急的情况下，***采取自动动作或忽略该状态。然而，在指派确定性级 别低的情况下，和/或在状态过滤器不能指派到目前为止未知的状态的情况下，操作 者必须决定并采取行动，例如呼叫警察或消防队或忽略事件。根据本发明，***动态 地学习新的危急或非危急事件，因此减少了虚假警报，并且仅使越来越相关的警报引 起操作者的注意力。
另选地，所有危急状态(即使具有高确定性)可能必须在动作被触发之前由操作者确认。
除了表示每个“危急”状态的“非危急”事件的类之外，可以定义单独的子类， 例如，“火灾”、“入侵”等。
考虑设施的被测量的构件的关系允许对与这些构件相关联的状态进行增强的检测，例如以便更好地将两个相邻构件的被测状态链接在一起以形成状态。以状态序列 和/或模式为基础的监视具有这样的优点，即，它具有可由状态检测算法检查的更多 方面，导致对分类的更深入的评估。换句话说，不是单独考虑单个状态，而是考虑状 态或状态串的上下文，因此可以更好地评价其分类为“危急”或“非危急”。如果例 如将单个构件作为状态序列的一部分来测量，则可以验证是否确实测量了由于经验 (机器学***常或者平常到何程度。
根据另一实施方式，自动指派是基于n维特征空间的，其中，状态(例如，“检 测到人”加上诸如时间、位置等的元数据)由n维特征向量表示，特别是其中，相应 的类别由n维特征空间的一部分或神经网络表示。特别是其中，检测到的表示与设 施相关联的变化的序列和/或模式的状态被馈送到神经网络的输入层的不同单元中。
在另一实施方式中，安全监控***包括用户接口，该用户接口被配置为接收安全监控***的操作者的输入并基于该输入生成携带反馈信息的反馈信号，特别是其中， 反馈功能被配置为将在定义的时间段内在用户接口处没有接收到输入解释为自动指 派的确认或否定。用户接口可选地由移动设备(例如，智能电话应用)提供，该移动 设备是安全监控***的一部分，并且处理操作者输入并根据数据在智能电话和另一系 统的计算单元之间传输。这使得能够对监控***进行远程(反馈)控制。
通过举例的方式，该用户界面被配置成使得该安全监控***的操作者可以手动地取消和/或确认该自动指派、手动地将至少一个状态指派到与被自动指派将该至少一 个状态指派到的类别不同的状态类别、生成新的状态类别，特别是通过将现有类别拆 分成至少两个新类别中的至少一个来生成新的状态类别，例如，“危急”到“高危急” 和“低危急”、将多个现有类合并成新类、并且修改现有类、并删除现有类。
根据另一实施方式，安全监控***被配置用于在至少一个状态已被自动指派给第二类和第三类中的至少一类的情况下，提供命令输出，特别是执行警告或安全措施。 同样，这种警告可以被发送到诸如智能电话的移动设备。
在另一实施方式中，所述安全监控***被配置为具有释放功能，所述释放功能被配置为在至少定义的等待时段内阻止命令输出，其中，所述释放功能被配置为以下至 少一项：基于来自用户接口的释放信号释放命令输出；在所定义的等待时段结束时释 放命令输出；以及基于来自用户接口的停止信号来删除命令输出。例如，安全监控系 统可以被配置成通过训练功能将在等待时段期间没有接收到释放信号解释为自动指 派的确认和/或通过训练功能将命令输出的删除解释为自动指派的否定。
不同的设施具有特定的规律，并且一个场所的危急状态可能不值得在另一个场所提及。因此，场所监控和将状态指派到不同类别和子类中仍然需要耗时的过程以及人 眼和人类判断。
机器学习算法的应用允许在分类测量数据时不同过程的自动化。与基于规则的编程相比，基于通用机器学习(ML)的子类的这种分类框架为模式识别提供了非常有 效的“学习方法”。机器学习算法可以处理高复杂度的任务，利用隐式或显式用户反 馈，因此变得自适应，并且提供分类的“每点”概率。这节省了时间，降低了处理成 本并减少了人工工作量。
在所谓的“监督式ML”中，算法根据用户在标记训练数据时作出的定义来隐含 地学习哪些表征属性(即，特征的组合)定义事件的目标属性(诸如类成员资格、对 子类的从属关系等)。
另一方面，在所谓的“无监督式ML”中，算法在未标记数据中找到隐藏结构， 例如通过找到在特征空间中共享相似属性的数据样本组。这被称为“聚类”或“分割”。
概率分类算法还使用统计推导来找到给定实例的最佳类。代替简单地为每个实例确定“最佳”类，概率算法提供了实例是每个可能类的成员的概率，其中，通常选择 具有最高概率的一个类。这具有优于非概率算法的若干优点，即关联置信度值以对其 选择进行加权，并因此提供在置信度值太低时放弃选择的选项。
机器学习算法的使用需要大量的训练数据。在监督机器学习的情况下，还需要标记信息(即，将对象类指派给数据)。数据采集、准备和标记需要大量努力和时间。 然而，通过将操作者的信息和决定(特别是许多不同设施上的许多操作者的信息和决 定)存储和反馈到主动学习设置中的底层算法，算法模型被改进并随时间逐渐适应。
因此，根据本发明的另一实施方式，训练功能基于以下至少一项：线性分类，特 别是基于Fisher线性判别、逻辑回归、朴素贝叶斯分类器或感知器；支持向量机，特 别是最小二乘支持向量机；二次分类器；内核估计，特别是k-最近邻；提升；决策树， 特别是基于随机森林的决策树；隐马尔可夫模型；深度学习，特别是基于神经网络， 特别是卷积神经网络(CNN)或递归神经网络(RNN)；以及学习矢量量化。
此外，本地安装在特定设施上的监视***可以是运行在多个不同监控场所上的许多本地监控***的扩展网络的一部分，每个本地安全监控***向全局事件检测算法和 /或全局事件分类模型提供更新信息。
一方面，这种全局算法和/或模型(例如，存储在中央服务器上的全局算法和/或模型)然后可用于对安装在新的监控场所上的本地监控***进行初始化。另一方面， 可以通过类似于本地模型的操作者反馈来更新全局算法和/或模型。
因此，在本地***的工作时间内，在事件对于本地模型是未知的情况下，在提示操作者作出决定之前，全局状态检测和/或过滤模型可以由本地安全监控模型查询。 因此，本地模型可以利用在其它设施处收集的信息。
因此，在另一实施方式中，安全监控***包括至少另一状态过滤器，该另一状态过滤器被特别预见为在不同的设施上使用，并被配置为检测与该设施相关联的至少一 个状态，并将该状态自动指派给表示状态为“非危急”的至少第一类和表示状态为“危 急”的第二类。此外，安全监控***包括公共分类模型，该公共分类模型包括表示状 态为“非危急”的第一公共类和表示状态为“危急”的第二公共类，其中，安全监控 ***被配置为对于每个状态过滤器，最初基于第一公共类和第二公共类建立相应的第 一类和相应的第二类。此外，安全监控***被配置成针对每个状态过滤器产生关于相 应的自动指派的相应反馈信息，每个相应反馈信息指示以下至少一项：对相应的至少 一个状态到相应的第一类或相应的第二类的相应自动指派的确认或否定；以及对相应 的至少一个状态到相应的第一类或相应的第二类的手动指派。
因此，根据该实施方式，安全监控***被配置为针对每个(本地)状态过滤器提 供相应的更新信息，其中，相应的更新信息被配置为(本地地)建立相应的第一类和 相应的第二类，并且所述安全监控***被配置为：如果识别出所述公共分类模型的相 关性，则将所述(本地)相应反馈信息中的每一个的至少一部分和/或所述(本地) 相应更新信息中的每一个的至少一部分作为公共更新信息提供给所述公共分类模型， 使得基于所述公共更新信息建立所述第一公共类和第二公共类。换言之，***例如基 于不同设施的已知公共特征来评估附加反馈或更新信息是否对公共模型有意义，并且 如果是这种情况，则将其提供为公共更新信息。
基于运营商的过滤来更新公共分类模型可能是有益的，即，其中，运营商决定接管对公共分类模型的更新/反馈。或者，该更新可以自动执行，例如基于规则，特别 是基于一致性检查。
此外，可以根据更新的公共分类模型动态地更新本地状态过滤器，即，表示全局状态过滤器。例如，熟悉本地先决条件的本地操作者可以决定全局事件过滤器和本地 状态过滤器之间的哪些差异被接管到本地事件过滤器中。或者，该更新可以自动执行， 例如基于规则，特别是基于一致性检查。
因此，在另一实施方式中，安全监控***包括第一过滤器功能，该第一过滤器功能被配置为反馈信息和/或从每个状态过滤器的更新信息中的选择，并将该选择作为 公共更新信息提供给公共分类模型。
在另一实施方式中，安全监控***被配置为基于公共更新信息的至少一部分来更新每个状态过滤器，即，对于每个事件过滤器，基于公共更新信息建立相应的第一类 和相应的第二类。特别是其中，所述安全监控***包括第二过滤器功能，所述第二过 滤器功能被配置为从所述公共更新信息中进行选择，并将该选择提供给所述状态过滤 器中的至少一个。
在另一实施方式中，本地和/或全局状态检测算法也可得益于操作者反馈，并且因此类似于对事件过滤的改进，状态检测也可随时间推移变得更复杂。因此，反馈回 路可以以双重方式工作，即，向状态过滤器提供反馈以回答诸如“状态是否危急”， “是否需要动作”的问题，以及向状态过滤器提供反馈以回答诸如“触发的事件是否 正确”，“人检测是否工作正确”的问题。
因此，根据该实施方式，安全监控***被配置为：将与状态过滤器之一相对应的反馈信息、与状态过滤器之一相对应的更新信息以及公共更新信息之一的至少一部分 作为检测器升级信息提供给事件检测器，即，(本地)状态检测器对未来事件的检测 是基于检测器升级信息的。例如，本地事件检测器可以是基于检测器升级信息自动升 级的，例如一旦新的检测器升级信息可用或基于定义的升级间隔。
本发明还涉及一种计算机程序产品，该计算机程序产品包括程序代码，该程序代码存储在机器可读介质上，或者由包括程序代码段的电磁波来体现，并且具有计算机 可执行指令，该计算机可执行指令用于特别是当在包括根据本发明的安全监控***的 状态检测器和/或本地状态过滤器的计算单元上运行时执行以下步骤：基于设施的勘 察数据来检测至少一个事件，其中，所述至少一个状态表示与所述设施相关联的至少 一个改变；将所述至少一个状态自动指派给一类状态，其中，定义了至少两类状态， 即，第一类表示状态为“非危急”，第二类表示状态为“危急”；处理关于所述自动指 派的反馈信息，所述反馈信息指示对将所述至少一个状态自动指派给所述第一类或第 二类的确认或否定以及对将所述至少一个状态手动指派给所述第一类或第二类中的 至少一者；以及提供用于执行所述自动指派的更新信息，其中，所述更新信息被配置 为建立所述第一类和所述第二类。
在如本文所述的自动监视***中，一个问题是仅依赖于来自相机的RGB或IR 图像信息的对象或人的自动检测不够鲁棒，特别是在有挑战性的条件下，如在夜间或 在陌生的照明情况下、在不寻常的姿态下、在不刺激的情况下等。
因此，一些先前的工作提出使用多个信号源来解决对象检测问题。例如，关于人物检测的任务，论文[1]：Spinello和Siegwart的“Human Detection Using Multimodaland Multidimensional Features”，ICRA 2008提出了激光测距和相机数据的融合。在基于距 离数据空间中的几何特性的分类进行聚类的基础上，对由从测距数据获得的聚类定义的受限图像区域执行图像检测(HOG特征+SVM)。这假定了传感器的校准参数是可 用的。然而，由于测距数据用于定义基于图像的分类器的搜索空间，因此不能简单地 检测到范围外的对象。
或者，论文[2]：Spinello和Arras的“Human Detection in RGB-D Data”，IROS2011 提出了从Kinect-device获得的RGB数据和深度数据的融合。所得到的深度数据关于照明变化是鲁棒的，但对低信号强度的敏感返回并经受有限的深度分辨率。所得到的 图像数据在颜色和纹理上是丰富的，并且具有高角度分辨率，但其在非理想照明条件 下快速分解。由于称为Combo-HOD的原理融合方法，该方法利用了两种模态，其 既不依赖于背景学***面假设。所提出的用于密集深度数据的个人检测 器依赖于新颖的HOD(定向深度直方图)特征。通过用图像数据训练HOG检测器并 且用深度数据训练HOD检测器，单独训练Combo-HOD。在深度图像中计算HOD 描述符，而在彩色图像中使用需要校准的相同窗口计算HOG描述符。当没有深度数 据可用时，检测器适度地降级到常规HOG检测器。当HOG和HOD描述符被分类时， 准备好使用信息过滤器来融合信息。
论文[3]：Galatas等人的“Multi-modal Person Localization and EmergencyDetection Using the Kinect”(IJARAI 2013)提出了深度传感器和麦克风的组合，以在辅助智能 环境的环境中对人进行定位。在所提出的***中使用了两个Kinect设备。由于骨骼跟踪(使用MS Kinect SDK)，主Kinect器械的深度传感器被用作定位信息的主要来 源。人在站立、行走或甚至坐下时被跟踪。将声源定位和射束成形应用于音频信号， 以便确定设备相对于声源的角度，并从该特定方向获取音频信号。然而，一个Kinect 只能提供声源的角度而不能提供其距离，妨碍了定位准确度。因此，引入第二Kinect 并且仅将其用于声源定位。人的最终估计位置是组合来自两个模块的信息的结果。除 了用于紧急检测的位置信息之外，自动语音识别(ASR)还被用作交互的自然手段。
论文[4]：Susperregi等人的“On the Use of a Low-Cost Thermal Sensor toImprove Kinect People Detection in a Mobile Robot”，Sensors 2013描述了视觉提示、深度提示 和热提示的融合。Kinect传感器和热电堆阵列传感器被安装在移动平台上。与使用任 何单个提示相比，实现的误报率显著降低。使用热形态的优点是在热图像中不同的人 之间在外观上没有大的差异。此外，红外(IR)传感器数据不依赖于光照条件，并且 还可以在完全黑暗的条件下检测人。作为缺点，可能出现诸如工业机器或散热器的热 源附近的一些幻象检测。在针对每个提示建立了单个分类器之后，这些分类器被分层 地组装，使得它们的输出以树模式组合以获得更鲁棒的最终的人检测器。
GB 2546486示出了具有多个不同传感器的多模态建筑物专用异常事件检测和报警***。
KR 101125233和CN 105516653提到了基于视觉信号和雷达信号的融合技术的 安全方法。CN 105979203示出了多相机融合。
因此，本发明的第五方面的目的是提供一种改进的自动监视***。特别地，目的是提供一种这样的***，该***自动地检测危急事件，特别是由于在非最佳感测条件 下的错误检测而导致的少量误报和漏报。目的还是提供一种***，该***能够基本上 自动适应特定环境，优选地具有比现有技术低的现场训练工作量。其中的一个方面还 在于，该***可以是机器学习的，具有基本上比现有方法低的人类交互，特别是在仍 然针对特定建筑物或任何其他监控场所进行专门训练的同时。
目的还在于提供一种能够处理复杂的多传感器和多模态监视应用的相应监视***，特别是其中，可以用基本上低的手动编程努力自动地得到模态的上下文相关性。
这些目的是通过实现独立权利要求93、104和107的特征而达成的。在从属于这 些独立权利要求的专利权利要求中描述了以替代或有利的方式进一步发展本发明的 特征。
本发明的这个方面(其本身也可以被解释为特定的发明)涉及以智能方式组合多个传感器和/或模态(例如，像颜色、深度、热像、点云等)以用于在监视***中的 对象检测的思想。彼此独立地考虑，每个模态具有其自身的强度。例如，现有技术的 基于图像的检测器依赖于RGB图像中存在的丰富的颜色和纹理信息。然而，已知它 们的性能在非理想照明条件下尤其是在黑暗中将降低。在那些非理想情况下，补充信 息(如深度图、点云(PC)和/或红外(IR)信号)可用于确定其中经典图像检测器 降低或失败的场景中的所关注对象的存在、不存在、分类、状态等。
如上述现有技术所示，其中的已知***集中于：
·分别地和独立地在这些模态的每一个中应用检测，然后合并结果。所谓的并 行法，例如通过将RGB检测器的输出与深度检测器的输出融合，如US 8,630,741， US 2014/320312、GB 2546486、[2]或其他；或
·为每个模态链接检测器。所谓的系列或分级法，例如通过首先在测距数据空 间中将对象进行聚类而开始，并且随后使用该聚类信息来将第二级的视觉检测器引导 至所发现的关注区域，如在KR 101125233、[1]或其他中描述的。
例如在US 2009/027196、[4]或其他文献中提出的另一种方法试图使用树结构从数据学习可能最佳的检测器层级。由此，学习单个通用模型。
相反，本发明的这个方面提出学习上下文感知检测器，该上下文感知检测器可以遵循并行或串行架构，特别是在真实世界和/或合成生成的训练数据上学习的那些子 集的选择性学习的混合。可以看到特定的方面，在检测中引入上下文学习以利用每个 模态的强度，这是基于在训练和学习中提供和使用的上下文来完成的。可以具体包括 环境信息的上下文可以例如包括位置、图像区域、一天中的时间、天气信息或预报等。
因此，本发明不仅仅是现有技术的简单的独立并排使用或分层监视传感器法，其可以克服许多现有技术的缺点，并且可以提高整体检测率，分别降低误报警率，特别 是考虑到至少部分地与监视传感器结果相矛盾。
用于在设施处自动检测状态，特别是危急状态、反常(abnormality)或异常(anomaly)的自动监视***的发明的这个方面涉及多个监视传感器的使用。“设施” 在广义上是指不仅意味着例如建筑物，而且意味着整个财产或装置，例如工业工厂或 其它复杂设施，如(大型)轮船或飞机。特别地，在如本文中所描述的移动和/或固 定自动化监视***中，例如与其他实施方式的一个或更多个方面相结合。这种状态检 测可以例如基于来自移动巡逻***的信息来实现，该移动巡逻***适于巡逻诸如待检 查的建筑物的区域，但是也可以基于来自固定监视设备的信息来实现，该固定监视设 备诸如监视相机、各种入侵传感器(例如，光、噪声、碎片(shattering)、振动、热 像、运动等)认证终端、个人跟踪设备、RFID***、距离传感器、光障(light barrier) 等。特别地，可以实现用于自动检测和报告异常和/或危急状态的区域的固定和自主 监视的组合，例如适应于特定环境。
***包括多个监视传感器，其中至少两个监视传感器以不同模式工作。因此，存在针对至少一个第一模态的至少一个第一监视传感器和针对至少一个第二模态的至 少一个第二监视传感器，由此感测至少两个模态。术语“模态”在本文中可以具体地 指由传感器感测到的不同物理性质的感测，例如感测可见光辐射、不可见光辐射、可 听声波、不可听声波、距离、范围、温度、几何形状、辐射、振动、冲击、地震等。 监视传感器可以适用于监视至少一部分财产或建筑物，并且适用于以这些多种形态产 生真实世界监视数据。
在自动监视***中，异常检测是从来自那些多个监视传感器的一个或多个感测的组合得到的。例如，这可以由计算单元来实现，该计算单元被设计用于监视数据的评 估，优选地包含机器学习评估体系，该机器学习评估体系包括异常的自动检测和/或 那些异常的分类(例如，对于潜在的危急或不危急)或推导其状态模式，例如机器学 习分类器单元和/或检测器单元。
根据本发明的这个方面，通过机器学习***(例如，在计算***中实现，如在人 工智能单元中)来提供多个监视传感器的组合，例如通过人工智能***的监督式训练， 该机器学习***至少部分地基于包括财产或建筑物的上下文信息的训练数据来训练。
在监视***的正常使用期间的异常检测中，由此从监视传感器的至少一个子集中选择该组合，该组合是根据机器学习的对上下文信息的依赖性得到的。上下文信息中 可以包括由专用的上下文传感器得到的真实世界传感器测量值，由对来自同一或来自 另一模态的一个或多个监视传感器的细节的评估得到的真实世界传感器测量值，或者 由自动监视***中的建筑物或财产的抽象虚拟状态模型得到的真实世界传感器测量 值，例如包括电力状态、照明状态、加热状态、占用状态等。
换言之，本发明涉及自动监视***中不同模态的多个传感器的机器学习组合的实施方式。学习可以基于包括上下文信息的训练数据，该上下文信息例如可以导致分类 器，该分类器将监视传感器模态分类为不同的上下文类别。在监视期间，考虑到实际 的现场环境，然后选择感测的模态以学习的方式进行评估。本发明由此学习上下文， 其中，具有不同模态的不同类型的检测器是最适合的。例如，关于如时空片段或簇、 光照、温度等的上下文，从这些上下文的训练数据中学习最佳检测器和/或分类器组 合。基于这个学习的上下文特定的最佳检测器和/或分类器组合，安全体系可以基于 来自多个测量传感器的真实世界勘察数据在了解上下文条件的情况下得到状态或状 态模式的自动检测和/或危急状态的分类。可以存在至少一个专用上下文传感器，用 于得到关于建筑物或财产的物理上下文条件或监视***的内部状态的信息。
除了要评估的一个或更多个测量传感器的二进制选择之外，还可以对来自多个测量传感器的结果进行加权，这导致了作为确定安全状态的基础的组合。因此，在测量 传感器可用性的分类中的训练结果可以取决于上下文条件，如环境条件，例如通过用 于基于内容条件评估一个或多个测量传感器的策略的机器学习分类。
根据本发明，可以学***面上被检 测到，而通常是基本上垂直的。或者例如可以得知，可视图像主要是在某些照明条件 下评估的，如在白天的时间上下文中或在打开灯的环境上下文中。另一个例子是IR 图像主要是在灯被关闭时使用的，而深度图像可以与照明上下文无关地使用。另一示 例可以是被监控房间的占用状态的上下文，例如监视***通过跟踪人的进出或通过人 的轨迹映射等而知晓的占用状态的上下文。通过在训练数据中提供这种占用上下文信 息，该***可以例如获悉例如存在检测器或运动传感器可以提供有用的安全信息以在 房间处于“空”占用状态的情况下发出安全警报，而如果该房间被一个或多个人占用， 则其信息不是非常有用。根据本发明，监视***可以从训练数据中学习这种传感器评 估策略，并且不需要手动编程和修改每个案例和场所的复杂相关性以反映复杂的、大 的和场所特定的条件。
可以通过针对模态的机器学习的加权函数从监视传感器的至少一个子集中选择上述组合，特别是其中，加权函数可以包括取决于上下文信息的模态的加权因子。然 后，信息过滤器可以基于来自多个监视传感器中的每一个的上下文加权结果得到一个 或更多个安全状态。
加权因子可以例如由分类器来聚类，该分类器是用包括上下文信息的训练数据而机器学习的。
分类器或检测器还可以至少部分地用具有上下文信息的训练数据进行训练，该训练数据至少部分地由虚拟模型合成生成和得到，特别是如本文档中别处详细描述的。 模态可以例如至少包括至少可见图像模态、红外模态和深度模态。在一个实施方式中， 来自不同传感器的多个模态可以组合成单个数据集，通过该数据集分别训练机器学习 的体系，然后在监视体系的运行时间对其进行评估。这些模态特别地由不同的传感器 得到，这些传感器例如可以布置在不同的位置，具有不同的视点，具有不同的视场， 具有不同的分辨率等。因此，这种组合尤其可以包括对视点、视场、分辨率等中的那 些差异的(优选地数字应用的)补偿或校正，例如以实现组合数据集中不同模态的基 本上像素到像素的精确匹配。换句话说，将不同模态组合为单个数据集可以包括至少 一个模态的数据的几何变换，该几何变换以这样的方式进行，即组合的模态参考单个 数据集的单个公共坐标系。特别地，模态可以与通过感测的模态数据(例如多通道图 像)的数值变换建立的模态的像素到像素的对应相结合。例如，由附近但分离的传感 器捕获的可视RGB图像模态和深度模态可以组合为红-绿-蓝-距离-图像(RGBD)或 色调-明度-距离-图像(HVD)作为单个数据集。
在示例性实施方式中，可以利用传感器之间的位置和/或取向的偏移来捕获来自不同传感器的模态，和/或传感器可以具有不同的视场，如在紧邻深度传感器安装的 视觉图像传感器的情况下，这可以导致针对同一场景捕获的数据的不同偏移、焦距、 失真。在将这些模态组合成一个数据集时，可以通过对一个或更多个模态应用变换或 图像处理来建立像素到像素的对应关系。例如，通过将来自视觉RGB传感器的像素 到像素对应RGB数据和来自深度传感器的深度数据D组合成具有四个通道的一个图 像可以建立四通道RGBD图像的生成。在另一实例中，可建立视觉图像从RGB到HSV(色调、饱和度、明度)的色彩转换，其接着可与深度数据D组合(通过省略 饱和度通道信息并用来自另一传感器的深度通道形式的另一模态替换它的深度)为三 个通道的“图像”，如HVD(色调、明度、深度)“图像”，其中，必须建立深度数据 的相应变换以适合RBG数据的视图。为了表示给人，这种HVD“图像”显然必须被 处理成能理解的表示，但是人造智能***或机器学习检测器和/或分类器可以直接和有效地对这种HVD数据起作用。组合的RGBD或HVD图像可以直接馈送到事件检 测/分类算法中，特别是馈送到卷积神经网络中，例如用于检测和/或识别人、用于检 测打开的门和/或窗户、用于检测火灾和/或烟雾、用于检测废弃的对象、用于识别活 动、用于检测诸如人跑步、打喷嚏、爬行、踮着脚走等的异常。
所述上下文信息可以至少部分地从多个监视传感器中的第一个监视传感器得到，特别是其中，包括在第一模态的加权中的上下文信息至少部分地是从不同于第一模态 的另一第二模态得到的，所述第一监视传感器对所述另一第二模态起作用。
上下文信息还可以至少部分地从被配置用于感测上下文信息的特定环境传感器得到。上下文信息还可以至少部分地从监视***的内部虚拟状态空间状态得到。
上下文信息可以例如包括以下中的一个或更多个：
ο照明上下文(如白天、夜晚、人造和自然光、照明传感器、相机图像的亮度 和/或对比度等)，
ο温度上下文(如热相机图像、温度传感器、内部和/或外部温度、加热***状 态等)，
ο时间上下文(如计时器、工作日和小时日历、月历和/或日历等)和/或
ο振动或地震上下文、音频上下文等。
可以通过训练机器学习分类器将上下文信息划分和/或分割成类，所述机器学习分类器被配置用于根据上下文信息来过滤监视传感器评估。可以过滤不同监视传感器 的评估结果，或者可以基于上下文信息来停用或专门重新配置监视传感器的实际评 估。例如，通过在特定环境中停用传感器评估，可以节省计算时间和能量。
在本发明的实施方式中，也可以对数据序列应用空间先验和时间滤波。例如，在视频数据中，可以利用时空一致性。例如，在检测中，该体系可基于其先前已知的位 置和运动模型来限制对象的搜索空间。这种限制不仅可用于减小搜索空间，而且还可 用于临时填充检测结果中由于误检测、障碍、覆盖不足等引起的间隙。在具有如机器 人或无人机的移动数据采集平台的实施方式中，还可以例如通过使用自我运动估计技 术等来补偿该平台的移动。
在另一实施方式中，可以使用来自第一模态的第一监视传感器的一个检测器和/或分类器的输出作为用于同一或另一模态的另一第二监视传感器的注释器的输入来 实现本发明。这可以体现在全自动注释中和/或也可以包括由操作者反馈的注释。该 原理还可以通过来自另一检测器和/或分类器或来自操作者的信息来实现在训练数据 库的扩充中，其中，可以通过基于该信息的补充训练来随时间改进检测器和/或分类 器准确度从而可以在至少部分自动化的过程中进行处理。
例如，为了避免冗长繁琐的注释(据此学习针对所有模态的检测器和/或分类器)，特别是当那些注释不是自动的并且需要手动的用户交互时，可以通过应用一个第一检 测器来开始训练过程，优选地应用可获得预训练模型的第一检测器，例如现有技术的 开源RGB检测器或另一个预训练的检测和/或分类***。然后，该第一检测器的输出 可用于选择之前由该第一检测器检测到的区域，以由第二检测器从其它模态提取特 征，例如从深度传感器、IR传感器、点云传感器等提取特征。除了该区域之外，还 可以将来自第一检测器的分类信息提供给第二检测器，该分类信息可以用于训练和/ 或测试第二检测器。该过程可以涉及至少部分地人工反馈以滤除可能的误报，但是也 可以通过计算***部分地或完全地自动化，特别是足够高的检测概率的检测。此外， 生成对手网络(GAN)的原理可以应用于本发明的上下文中，例如实现为包括彼此 相对点蚀(pitting)的两个网络的深度神经网络架构，该点蚀也称为对手。
根据本发明方面的这种学习***可以例如通过使用来自第一检测器和/或分类器的第一注释输出作为相同或不同模态的第二检测器和/或分类器的训练输入来实现。 这可以将新检测到的对象的新实例的第一次检测和/或分类的信息提供给人类管理员 用于验证，同时自动处理相同实例的所有后续检测，特别是考虑到如上所述的对象的 运动模型。除了新的对象之外，在检测或跟踪中突然丢失或失去的对象也可以提供给 人类操作者以用于确认或用于监督训练例程。在训练中，这方面的另一种可能性是在 训练数据中故意***漏报(误检测)，这可以自动地和/或手动地进行，例如用于提高 鲁棒性和/或容错性并避免过度训练。一旦基于来自第一检测器的结果已经学习了用 于其它模态的附加检测器，这些检测器又可以反过来用作注释器，以改进在第一检测 器中使用的预训练模型，例如在一个或更多个迭代循环中，以优选地以自动的方式改 进该***。
本发明还涉及一种用于建筑物或财产的异常状态的机器学习检测的自动监视方法。在一个实施方式中，该方法可以包括至少以下步骤：
·从用于所述建筑物或财产的至少两个监视传感器得到多个监视数据，所述监视传感器以至少两种模态工作；
·通过专用的上下文感测装置或从这些监测传感器之一或从该监控***的内部状态获得该建筑物或财产处的至少一个上下文信息，特别是环境信息；
·将来自用于检测危急状态的监视传感器中的一个或更多个传感器的数据与通过用包括所述情境信息的训练数据的训练而建立的机器学习的自动信息过滤器相组 合。
换言之，不同模态的监视传感器数据可以根据机器学习的自动信息过滤器中的上下文信息来分类，以成为危急的或不是危急的和/或状态模式的严重性的评估。
在一个实施方式中，这可以包括(至少部分地)用包括上下文信息的训练数据来训练检测器和/或分类器(例如，为了实现对一个或更多个异常状态的检测和/或将状 态或异常分类为某类异常和/或可能是危急的)，这些被包括在训练数据的至少一部分 中。特别地，这可以通过人工智能单元的机器学习来完成。
还可以包括将这种检测器和/或分类器部署到用于分析来自建筑物或财产处的至少两个传感器的真实世界监视数据的计算单元。由此，可以建立检测真实世界监视数 据内的异常状态实例的可能存在和/或将该状态分类为危急或非危急，特别是基于危 急或非危急分类模型，其中，根据监视时在建筑物或财产处得到的真实世界上下文信 息对不同模态进行加权。如上所述，加权可以通过特别是有监督的机器学习来学习。
在一个实施方式中，这可以包括基于多个上下文中的机器学习从监视传感器得到数据的并行和/或分层评估结构。分层评估的实施方式例如可以是评估视觉传感器的 图像的第一分层阶段，并且(特别是仅)如果该图像是暗的(例如在晚上)，则转到 用IR照相机拍摄图像的下一分层阶段，该IR照相机被替代地或附加地评估。其中， 特别地，可以通过上下文相关加权因子的机器学习来建立并行和/或分层评估结构的 加权或参数化。
由此，机器学习的自动信息过滤器可以通过机器学习来配置，用于依赖于上下文信息的至少两种模态的组合，以便得到异常或危急状态的检测。
本发明的这个方面还可以包括一种用于获得机器学习的自动监视***的方法，该机器学习的自动监视***可以例如被实施在监视***的计算单元中。该获得可以包括 基于以至少两种不同感测模态工作的至少两个监视传感器的用于安全问题的自动分 类器和/或检测器。其中，自动分类器和/或检测器的训练包括提供至少部分地包括对 应于训练数据的上下文环境信息的训练数据。训练数据尤其可以是或包括来自监视传 感器的真实世界训练数据。基于该训练数据，至少两种不同感测模态的组合是机器学 习的，该组合可以根据上下文信息至少部分地分割不同模态。
组合可以例如通过用于合并至少两个监视传感器检测的分层和/或并行结构来建立。其中，不同感测模态的结构和/或权重可以由机器学习得到，并且取决于上下文 信息。
本发明或本发明的至少一个创造性部分可以具体实现为计算机程序产品，该计算机程序产品包括存储在机器可读介质上或由电磁波实现的程序代码，该程序代码包括 程序代码段，并具有用于执行这里描述的方法的步骤的计算机可执行指令，具体用于 包括数据计算、数值确定、脚本的那些方法步骤。分别操作人工智能单元或人工智能 单元本身、人工智能单元的配置等。
本发明的第六方面是异常或状态的自动检测，其还可以与状态是否是危急的评估和分级相结合。这样的异常可以基于来自移动巡逻***的信息来实现，该移动巡逻系 统适配为巡逻诸如待检查的建筑物的区域，但是也可以基于来自固定监视设备的信息 来实现，该固定监视设备诸如监视相机、各种入侵传感器(例如，光、噪声、碎片、 振动、热像、运动等)认证终端、个人跟踪设备、RFID***、距离传感器、光障 等。特别地，可以实现用于自动检测和报告事件的区域的固定和自主监视的组合，事 件然后可以被分类以得到危急或非危急监视状态。在危急状态的情况下，可以自动触 发或向人类安全人员建议适当的动作。所有这些可以例如适应于监视下的特定环境。
迄今为止，在安全应用中，操作人员仍然扮演着至关重要的角色，并且这种自动检查任务相当罕见。自动装置通常易于出错，因此它们最多可以帮助操作人员，但却 难以自主地动作。无论是巡逻该区域的警卫还是监视安全相机的操作者，在存在高安 全风险的情况下，人类智能实际上是必不可少的。自动移动安全***试图通过经专门 训练以检测人、开门或错放的包裹等的模块来支持人工操作者。如果完全使用这种自 动化***，则必须精心准备这些模块。首先，相当大的努力投入到数据采集中。用于 训练自动决策器区分正确与错误的数据集必须在数百或数千数据样本中实现的事件、 外观和记录位置的实施方式方面包含大量变化，例如由于无数可能的表面特性、照明 条件、本地障碍等。对于安全应用，这意味着广泛的现场数据记录和与危急要素(诸 如必须在各种打开阶段中捕获的门等)的交互。即使考虑到这样的努力，对于这样的 自主***来说，实现自动决策器对超过用于测试场所上的训练的那些对象和事件的合 理概括仍然是非常有挑战性的。通常，为了自动检测和/或分类，所部署的模型仅能 够精确地检测在训练过程所看到的内容，但是在训练期间覆盖所有可能的方面是非常 有挑战性的或者实际上是不可能的。例如在仓库情况下，特别是在可能的组合的情况 下，可能的人员、开门或错放的包裹等的变化太多，但是例如在公共区域中检测可能 用于炸弹攻击的错放包裹时可能是至关重要的。
因此，本发明的该方面的目的是提供一种改进的自动监视***。特别地，目的是提供这样一种自动地检测状态和/或自动地将状态分类为危急的或不危急的，特别是 还具有少量的误报和漏报，并且还可以处理很少出现或单一状态的***。
根据本发明的这一方面，提供了一种检测安全状态的自动***。该***可以至少部分地包括用于检测和/或分类安全状态的人工智能或机器学习方法。本发明思想的 一个重要方面是支持用于安全应用的决策***的训练过程，该决策***使用合成创建 的罕见但危急状态的示例，特别是用于高风险安全应用。状态可以包括一个或更多个 监视数据集，可选地与诸如时间、位置等的附加信息组合。为了准确地检测这种危急 状态，必须充分训练决策器或分类器以检测这些危急状态。因为收集足够的量的那些 罕见状态的数据不仅耗时而且有时绝对不可能，所以本发明包括一种用人工生成的样 本或被改变以反映恶意行为的肯定样本来增强训练数据集的方法。肯定样本可以是非 危急状态的样本，其然后被虚拟地变换以人工地生成危急状态。可以提供例如包括开 门或未经授权的建筑物访问的那些人工生成的危急状态来训练例如由人工智能*** 实现的决策器，人工智能***可以例如包括诸如神经网络、支持向量机或其它模型的 分类器。根据本发明的方法还可用于为多模态分类器预训练分类器和决策层，然后将 其部署到现场***。
例如，本发明可以涉及用于自动检测诸如财产、建筑物、发电厂、工业工厂等设 施处的异常的监视***的实施方式。该***包括至少一个监视传感器，该监视传感器 适配为测量该设施的至少一个或更多个构件并用于生成包括关于该设施的信息的真 实世界监视数据。该***还包括计算单元，计算单元被配置用于评估真实世界监视数 据和用于状态的自动检测，包括机器学习的检测器组件。其中，检测器部件至少部分 地用训练数据来训练，训练数据至少部分地从该设施和/或其构件中的至少一个的虚 拟模型合成地生成和获得。
例如，本发明可以涉及用于在设施处自动检测异常的监视***的实施方式。所述***包括至少一个监视传感器，所述监视传感器适配为监视所述财产或建筑物的至少 一个或更多个构件，并用于生成包括关于所述财产或建筑物的信息的真实世界监视数 据。该***还包括计算单元，计算单元被配置用于评估真实世界监视数据和对状态进 行自动分类，包括机器学习的分类器。其中，分类器至少部分地用训练数据训练，该 训练数据至少部分地由虚拟模型合成生成和获得。
在另一个实施方案中，根据本发明的上述两个实施方案可以组合。例如，传感器感测真实世界数据并且人工智能计算***被配置用于例如通过应用人检测、对象检 测、轨迹检测或例如应用于来自相机的图像数据的另一事件检测算法来检测特定状态 (例如打开/关闭的门、人的存在/不存在等)。根据本发明的该方面，至少部分地用至 少部分地从虚拟模型得到的依照句法生成的事件来对检测进行训练。还存在一种被配 置用于基于一个或更多个状态对状态进行分类的人工智能计算***，所述状态可以特 别地被分类为危急的或非危急的。其中，状态还可以包括来自多个场所的数据或状态 的历史，而且还可以包括诸如照明、温度、时间等的上下文数据。根据本发明的这个 方面，人工智能计算***至少部分地用基于虚拟模型合成生成的训练数据来训练，通 过该虚拟模型大体上自动地模拟大量的事件和状态，优选地在各种各样的选项、环境 条件等中。在危急状态，例如通过基于规则或专家***可以触发警报或自动反应。
可以在虚拟模型中模拟将被检测为监视***中的事件的异常，其中，利用虚拟模型中的至少一个环境参数的变化来生成训练数据的多个实例。
该监视***可以包括自动分类单元，该自动分类单元包括机器学习的分类器，该机器学习的分类器被配置成将这些事件中的至少一个事件分类成不同的状态，特别是 将财产或建筑物的至少危急或非危急状态信息分类。其中，机器学习的分类器至少部 分地用训练数据训练，所述训练数据至少部分地是从虚拟模型合成地生成和获得的， 通过所述虚拟模型模拟状态的多个实例。特别地，可以用虚拟模型中提供的危急和/ 或非危急状态的多个虚拟场景的仿真来训练分类器。用于分类器的训练数据可以例如 包括建筑物、财产或建筑构件的状态信息，所述信息包括至少一个合成状态以及至少 包括时间信息、位置信息等的补充上下文信息。在一实施方式中，分类器的训练数据 可以包括状态序列或状态模式，其由虚拟模型虚拟合成并用于训练分类器，特别是其 中，状态序列或状态模式被定义为危急的或非危急的。
换句话说，本发明的方面涉及一种用于自动检测财产或建筑物处的异常的监视***，所述异常例如可以包括在诸如财产或建筑物的对象的对象状态中。监视***包括 至少一个测量传感器，测量传感器适配为监视财产或建筑物的至少一个或更多个部分 或建筑物构件，并适配为优选地但不是必须地以连续或准连续的方式生成包括关于财 产或建筑物的信息的真实世界勘察数据。该***还包括被设计用于评估勘察数据和自 动检测和/或分类异常的计算单元，包括机器学习的分类器和/或检测器，其可以实现 为专用的分类器单元和/或检测器单元。这种计算单元可以实现为中央计算单元或多 个单元的分布式***。根据本发明的该方面，分类器或检测器至少部分地用数据来训 练，所述数据至少部分地由虚拟模型合成地生成和获得，优选地由计算单元大体自动 处理。
例如，这可以包括事件或异常的数字表示或模型的数字呈现。具体地，计算单元可以提供被配置为对检测到的状态进行分类和评估的分类和评估算法，其中，正常- 异常分类模型包括至少两类状态，至少一类是表示分类状态为“正常”的正常类，并 且至少另一类是表示分类状态为“异常”的异常类，如在别处详细描述的。优选地， 当从虚拟模型获得时，关于训练数据内的状态类别的元信息也包括在部分合成生成的 训练数据中。
其中，合成生成的训练数据可以例如通过从虚拟模型数字地再现虚拟图像而获得。
合成生成的训练数据可以包括利用虚拟模型的参数的变化和/或利用所述生成的参数变化得到的训练数据的多个实例。特别地，这些变化可以反映环境参数(如变化 的照明)和表示参数(如变化的视场等)。虚拟模型可以包括财产或建筑物的至少一 部分或对象的数字3D模型和/或财产或建筑物或对象或其一部分的物理模型。例如， 这样的部分可以包括特定监视对象的实例，或者可以体现为这样的对象，例如门、窗、 走廊、楼梯、保险箱、收银台、键盘、通风井、排水沟、检修孔、大门等。
监视传感器可以例如包括至少一个提供数字图像作为真实世界勘察数据的相机，该相机可以例如实现为可视2D图像相机、距离图像相机、红外相机或它们的某种组 合。
如所提到的，监视传感器可以具体实现为用于测量财产或建筑物的移动监视机器人，或者实现为位于财产或建筑物处的固定监视设备，或者实现为两者的组合。
其中，合成训练数据还可以部分地包括一些真实世界图片。合成训练数据还可以包括修改的真实世界图片，所述图片是通过从虚拟模型获得的合成生成的数字呈现的 虚拟安全警报来增强的。例如，真实世界图片可被增强以虚拟地描绘对象的与安全相 关异常，如某些破坏等。
训练数据尤其可以至少部分地包括来自传感器的真实世界监视数据，所述数据可以至少部分地由计算机合成生成的虚拟数据来增强。
在一实施方式中，分类器还可以被实现为预先训练的通用分类器，其已经至少部分地基于合成训练数据被训练并且被部署到自动安全***，其然后例如在自动安全系 统的试运行阶段和/或使用期间由财产或建筑物的真实世界勘察数据进行后训练。
本发明还包括一种在自动安全***中检测由设施构件组成的设施的异常事件的监视方法。其中，一个步骤是提供至少一个设施构件的虚拟模型。基于此，由计算单 元并根据软件建立从虚拟模型获得至少一个合成生成的训练数据。该结果用于至少部 分地基于合成产生的训练数据进行的检测器和/或分类器的训练，该检测器和/或分类 器然后可用于检测状态和/或对包括在合成产生的训练数据的至少一部分中的异常状 态进行分类。这也可以被描述为至少部分地基于虚拟生成的训练数据的人工智能单元 的机器学习。
通过将检测器和/或分类器部署到用于分析来自建筑物或财产处的至少一个传感器的真实世界监视数据的计算单元，可以建立对真实世界勘察数据内的异常状态的实 例的潜在存在的检测，特别是与应用如别处所述的正常/异常分类模型相结合。
所述至少一个合成生成的训练数据的获得可以包括虚拟模型的多个变化，特别是其建筑物构件的参数和/或其建筑物构件的表示的变化。
具体地，本发明涉及一种用于根据本申请的监视***的计算单元的训练方法，其包括基于至少一个测量传感器的用于安全问题的自动分类器和/或检测器。其中，训 练包括通过从虚拟模型虚拟获得训练数据来合成生成虚拟训练数据，并且至少部分地 基于至少部分地合成生成的训练数据来完成的分类器和/或检测器的训练。然后，训 练的结果(例如，训练的分类器和/或检测器或它们的配置数据)可以用在来自测量 传感器的真实世界数据上，用于检测安全警报。
在具有监视相机的一个可能实施方式的示例中，虚拟模型可以是作为监视目标的对象的3D模型，合成生成的训练数据可以包括从3D模型获得的数字渲染图像，并 且来自测量传感器的真实世界数据包括来自监视相机的场所的真实世界图片。
本发明可以具体实现为计算机程序产品，该计算机程序产品包括存储在机器可读介质上的程序代码，或者由电磁波实现，该电磁波包括程序代码段，并且具有用于执 行上述方法的步骤的计算机可执行指令，尤其是包括数据计算、数值确定和渲染、脚 本、机器学习***或人工智能单元的训练的那些方法步骤。运行机器学习***或人工 智能单元等。
附图说明
下面将通过参考附图所伴随的示例性实施方式来详细描述本发明，其中：
图1示出了根据本发明的建筑物监视***1的第一示例性实施方式；
图2a至图2d例示了说明根据本发明的分类和评估的示例；
图3示出了建筑物模型的拓扑或逻辑表示；
图4例示了根据本发明的分类和评估的另一个示例；
图5例示了根据本发明的分类和评估的另一个示例；
图6示出了状态检测的示例；
图7例示了根据本发明的分类和评估的另一个示例；以及
图8例示了根据本发明的分类和评估的另一示例。
图9示出了根据本发明的监视***的第一示例性实施方式；
图10例示了根据本发明的测量过程；
图11例示了为了验证对象的状态而触发的动作的第一示例；
图12示出了为了解决状态模糊而触发的动作的另一示例；
图13示出了为了解决状态模糊而触发的动作的另一示例；
图14示出了用于解决状态模糊的动作的另一示例；
图15a和图15b示出了用于解决状态模糊的动作的另一示例；以及
图16a至图16c例示了为了解决状态模糊而触发的动作的另一实例。
图17a至图17b示出了组合的地面-空中传感器平台***的第一示例性实施方式；
图18a至图18b示出了图17a至图17b的***在仓库中的巡逻；
图19a至图19c示出了组合的地面-空中传感器平台***的第二示例性实施方式；
图20例示了具有两个地面车辆的组合的地面-空中传感器平台***的巡逻；
图21示出了组合的地面-空中传感器平台***的第四示范性实施方式；
图22a至图22b示出了组合的地面-空中传感器平台***的第五示例性实施方式；
图23a至图23b示出了组合的地面-空中传感器平台***的第六示例性实施方式；
图24是UGV和多个UAV的实施方式；
图25是UGV的工作流生成的示例；
图26示意性地描绘了通用安全监控***；
图27示意性地描绘了根据本发明的具有反馈和训练功能的安全监控***的第一实施方式；
图28示意性地描绘了本发明的安全监控***的第二实施方式，其中，反馈回路 包括公共分类模型；
图29示意性地描绘了本发明的安全监控***的第三实施方式，其中，在与用于 对事件过滤器进行训练的反馈回路相同的反馈回路中更新事件检测器；
图30示出了要在不同上下文中测量的仓库的示例性实施方式；
图31a至图31c例示了来自图1的仓库的真实世界监视数据的不同模态的示例；
图32示出了用于监视***的基于上下文的机器学习结果或结构的第一示例；
图33示出了监视***的基于上下文的机器学习结果或结构的第二示例；
图34a至图34c示出了根据本发明这个方面的具有多个模态的情境学习监视***的示例；
图35a和图35b例示了不同模态中的真实世界监视数据的第一示例；
图36a和图36b例示了不同模态中的真实世界监视数据的第二示例。
图37a至图37b示出了待测量的场所或建筑物的楼层图的示例性实施方式；
图38a至图38c例示了来自受监视的建筑物或财产的真实世界图像的示例；
图39a至图39b示出了以门为例的3D模型和虚拟渲染的示例；
图40a至图40b例示了自主监视车辆的巡逻的虚拟模型和合成生成的入侵者IR 视图；
图41示出了具有对人的轨迹的监视的楼层图的示例；
图42示出了安全事件的虚拟模型和渲染的示例性实施方式，其也可以被增强到真实世界图片；以及
图43a至图43b示出了合成训练数据生成的示例性实施方式。
具体实施方式
附图的图示不应被视为按比例绘制。适当时，相同的附图标记用于相同的特征或用于具有相似功能的特征。附图标记的不同标号用于区分示例性示出的特征的不同实 施方式。术语“<大体上>”用于表示特征可以，但通常不要求精确地实现到100％， 而是仅仅以可以处理类似或相等技术效果的方式。特别地，由于技术、制造、结构上 的考虑等，可能出现微小的偏差，但仍然在本发明的范围内。术语“至少部分地”包 括这样的实施方式，其中由此声明的以下特征仅用于其在本申请意义上的目的(在“完 全地”的意义上)，以及这样的实施方式，其中由此声明的以下特征被包括但可以结 合其他选项来实施，以获得在本申请意义上的类似或相等的目的(在包括或部分地意 义上)。
图1至图8涉及具有多个测量传感器和记录状态模式的“危急-非危急”分类的 设施监视***。
在图1中，描绘了根据本发明的设施监视***1的第一示范性实施方式。
***1包括中央计算单元2。如图所示，中央计算单元2是单个服务器计算机2， 或者例如是服务器集群、云或类似装置。中央计算单元2提供待测量的建筑物(例如， 办公楼或仓库)的模型3；在该示例中，建筑物包括具有三个房间50a-50c的一个楼 层，并且建筑物模型3被例示为拓扑2D表示。设施模型3提供设施构件的关系，例 如房间50a到房间50b的拓扑关系、房间50c把门51c连接到房间50b的逻辑关系、 或给予房间50a(50a-c、51a-d、52a、52b)入口的门51a的功能关系。优选地，建筑 物模型3被实现为建筑物信息模型(BIM)。
***1还包括多个或许多监视传感器4，所述监视传感器4被适配为监视建筑物 的多个构件5。在该示例中，出于简化的原因，建筑物构件5和监视传感器4在建筑 模型3的2D表示中示出。这样的建筑物构件5例如是房间50a-50c、门51a-51d、窗 52a和52b，但是也可以包括例如建筑物设备，诸如电(光)设备或工作站或计算机 网络。监视传感器4分布在建筑物处或建筑物内，并且例如包括：相机(诸如相机 40a、40b，特别被适配为用于个人识别或标识的相机)；距离图像相机；激光扫描器； 运动；光；红外；热或烟雾检测器(如检测器41)；安培计或伏特计(例如，用于检 测光源或另一电气设备是否接通或断开或者用于监测建筑物的总功耗)；接触传感器， 例如波束中断检测器或磁接触传感器(例如，适配为检测窗52a、52b是打开还是关 闭的传感器42a、42b)；温度计；湿度计；钥匙读取器；以及允许操作者输入的输入 检测器。测量传感器4可安装在建筑物中以自主工作或由操作者操作。建筑物构件5 可以由单个监视传感器4或由多于一个监视传感器4测量，例如关于建筑物构件5 的不同特性(例如，由具有不同视角的两个相机或由一个相机和IR传感器)。监视传 感器4的监视数据包括例如彩色图像、深度图像、热图像、视频、声音、点云、来自 门传感器、电梯或钥匙读取器的信号，并且由例如有线和/或无线和/或经由因特网的 通信装置(由箭头70表示)发送到中央计算单元2。监视数据被指派给对应于各个 建筑物构件5的建筑物模型的(子)对象，并被存储在中央计算单元2的数据库中。
监视传感器4安装在固定位置处和/或是可移动的，例如如图所示的监视无人机或监视机器人43，其用作上述几种监视传感器类型(例如相机、麦克风、IR传感器 等)的移动台。中央计算单元2知道每个监视传感器4的定位或位置或者传感器4 测量的建筑物构件5的位置，因此在移动监视传感器43的情况下，监视传感器4通 过通信装置5将其位置数据发送到中央计算单元2。在本示例中，监视传感器4的位 置被集成或放入建筑物模型3中。
***1还包括状态推导装置6，用于推导建筑物处或建筑物内的状态，例如，如 果有人存在和/或房间50a中的灯在时间T1打开或关闭、门51c在时间T2打开并在 时间T3关闭等。状态推导装置6可以集成在监视传感器4中，例如实施为接触传感 器42a、42b或监视机器人43的监视传感器，其检测例如作为自身事件的运动。在本 示例中，状态验证器6集成在中央计算单元2中，分析例如相机40的监视数据流并 将其(重要)特性或视频或图像流中的变化检测为状态，具体地检测这样的状态，如 建筑物构件中的人(例如，房间50a-c中的一个)或引入到房间50c中的像手提箱或 包裹的对象，并且因此在相机40a的图像或视频中测量房间50c。作为另一示例，监 视传感器4位于或集成在灯开关中，并且状态调查器6检测灯是开还是关，控制建筑 物构件“房间”或“灯开关”的灯(或电流)。如示例所示，状态表示例如建筑物构 件5的至少一个物理属性，诸如房间50a-50c的温度或窗52a、52b或门51a-51e的 方向/位置，以及与建筑物构件5相关联的至少一个属性，例如以其环境或内含物的 变化的形式，例如离开或进入建筑物构件“房间50a”的人。代替处理特定状态，系 统还可以管理非特定状态，这些非特定状态仅仅指示建筑物构件5是处于正常状态还 是异常状态。状态可以是“语义的”，例如检测到人、门打开等，或者也指数据中的 至少一个简单变化，例如几小时前获取的点云或子对象的图像与现在获取的点云或图 像之间的显著差异。这些状态可以被分层地构造，例如在走廊中检测到的人可以静止 站立、行走、奔跑、缓慢行进等，例如代替地描述事件“检测到人”、“检测到奔跑的 人”、“检测到行走的人”等。
考虑到建筑物构件的拓扑和/或逻辑和/或功能关系或链接，将状态组合或分组在一起。这样的组合状态形成状态模式。状态模式可以是由同一个建筑物构件在不同时 间的状态形成的，例如门51c在时间T1、T2和T3的状态。另选地或附加地，通过 对至少两个建筑物构件的状态进行分组或记录来形成状态模式，其中，状态是从同时 或在不同时间生成的监视数据推导的。例如，状态模式是窗52a的状态与房间50a中 的灯在时间T1的状态的组合，窗52a和房间50a是拓扑相关的。作为状态模式的另 一示例，门51c的状态“打开”被链接到房间50c中的灯的状态(“开”或“关”)和 一个或两个门51a、51b的状态“打开”或“关闭”，当进入门51c的人将(正常地) 打开房间50c中的灯并且接着还打开门51a、51b中的一个门时，这三个建筑物构件 51c、50c和51a、51b处于拓扑关系以及处于功能/逻辑关系。状态模式由此具有至少 一个时间戳，例如其基础状态之一的时间或状态序列的开始和/或结束的时间。
中央计算单元2还提供危急-非危急分类模型和分类算法，用于对检测到的状态模式或状态序列的状态模式关于危急性进行分类，以回答所记录的状态模式关于安全 考虑将被认为是危急还是非危急的问题。因此，危急程度分类基于相应状态模式的至 少一个拓扑和/或逻辑和/或功能关系以及至少一个时间戳。
为了给出非常简单的示例，如果门51c打开并且没有人随后(或先前)在房间 50c中被相机40a看到，则状态“门51c打开”和状态“房间50c中没有人”的这种 模式(或：“房间50c中没有人靠近门51c”)根据房间50c和门51c的逻辑关系被分 类为是危急的，当打开门51c时，人应该进入(或离开)房间50c。稍微更复杂的例 子是，如果两个相机40a和40b中的任一个在检测到打开的门51c之前或之后未检测 到人，则仅将包括状态“门51c”打开的状态模式指定为“危急”。换言之，由于仅 一个相机40a(40b)的状态“未检测到人/不存在人”仍然被分类为非危急的，并且 仅第二相机40b(40a)的“无人”的“验证”导致分类为“危急的”，因此存在比先 前示例中更高的“障碍”。第一示例将导致更多的指派为“危急”，代价是更多的错误 或不必要的分类和相应警报的风险，具有更精细的基础状态模式的第二示例更复杂但 更鲁棒。
参考以下附图进一步例示使用状态模式的危急程度分类。
图2a至图2d示出了根据本发明的分类的示例。所有的三个图示出了实现为n维 特征空间的分类模型7。为了简单起见，特征空间是二维状态空间，然而，较高维的 状态空间是优选的。状态模式由特征空间内的n维向量表示。
图2a示出了由中央计算单元提供的具有两个状态模式类8b和8a的正常-异常分类模型7。第一类8b是被分类为“正常”的状态模式的正常类，而第二类8a是被分 类为“异常”或“不正常”的事件。从一开始，根据具有存储的或预定的状态的数据 库或由人工操作者输入的或根据规划的时间表(参考所测量的建筑物中的规划活动) 的状态(例如，如图所示，基于状态模式9a被示出为小线段(出于可读性的原因)) 来预定义两类。另选地，中央计算单元不提供预定义的分类模型，而是被设计成基于 检测到的事件而不使用预定义的事件来建立分类模型。在该示例中，状态模式9a至 少主要针对日期和时间来进行分类。即，状态模式被用日期和出现时间来记录。此外， 可以包括拓扑信息。
在图2b中，关于日期和时间来记录另外的状态模式9b，并且将其***到2D特 征空间中。在图2b中，由于计算单元处于学习阶段，状态模式9b尚未(最终)被关 于正常性进行分类。分类模型7或者底层分类算法优选地通过机器学习算法来训练和 更新，例如：支持向量机、随机森林、主题模型或(深度)神经网络。
在图2c中，例示了在训练阶段结束时的最终的正常-异常分类模型。与起始的正常-异常分类模型相比，“正常”和“异常”类已经被细化为类8a'和8b'。计算单元例 如已经得知，状态模式9a/9b在6：00的出现是“正常的”(除了星期六和星期日) 以及在星期六的某些时间是“正常的”。另一方面，在星期一到星期四，先前在起始 分类模型中被分类为“正常”的在下午某个时间的相应状态模式的记录现在将被分类 为“异常”。
图2d示出了关于状态模式的危急性进行分类的最后步骤。指派给先前的正常- 异常分类中的“正常”类的状态模式被分类为“非危急”。已记录的异常状态模式9c、 9c'、9c”根据它们位于“正常”类之外的属性被分类为“异常”状态。现在，中央计 算单元评估这些状态模式9c、9c'、9c”的出现有多严重，因此它们关于所测量的建 筑物的安全方面是否是“危急的”。对于危急性的评估，确定各个状态模式9c、9c'、 9c”与“正常”类8b'的偏差的程度D、D'、D”作为评估的基础。
在该示例中，考虑到由设施模型提供的特征以及由此的拓扑和/或逻辑和/或功能关系，状态模式9c'和9c”的偏离程度D'和D”是低的，在该简化示例中由到“正常” 类8b'(的边界)的短距离/箭头表示。因此，这两个事件9c、9c”被计算单元根据依 赖于偏差程度的危急-非危急分类模型视为”非危急"。
另一方面，与状态图案9c的正常类8b'的偏离程度D被确定为高或显著。由于 偏离度D被认为是相关的，即落入危急分类模型的“危急”类，状态模式9c被分类 为“危急”。
可选地，***然后对检测到的“危急”事件作出反应，例如通过发出用户警报或 通知，优选地利用用于反应的指令或选项和/或嵌入在建筑物模型的3D可视化中。
因此，监视***首先确定作为潜在安全相关状态的监视状态模式是否是“异常”(不是正常状态模式)，然后确定这种“异常”是否必须被看作“危急”。具有包括正 常性分类的危急度分类的该过程提供了增强的安全体系，使得能够更可靠和鲁棒地评 估建筑物状态，例如减少误报。
如上所述，分类不仅基于建筑物构件5的单个状态/改变或变更，而且基于一个 或多个建筑物构件5的状态序列和/或模式(参见图1)。换句话说，***1适于解释 在两个不同时间来自一个测量传感器4的至少两个勘察数据，或者解释在相同或两个 随后的时间来自两个测量传感器4的至少两个勘察数据。作为简单的例子，使用相机 40a和接触传感器42a、42b的勘察数据(参见图1)，状态模式表示序列“门51a打 开”和“窗52a关闭”。为了检测这种序列和/或状态模式，可以应用如隐马尔可夫模 型(HMM)或递归神经网络(RNN)或条件随机场(CRF)的算法，这将在下面进 一步概述。
使用表示建筑物构件状况的相关序列和/或模式的状态模式的这种复杂方法具有以下优点：状态模式的参数/特征/尺寸的复杂度或数量越大，危急度的评估越鲁棒， 例如，状态模式拥有的大量参数对于确定与作为危急度标准的“正常性”类的偏差度 D、D'、D"是有利的。
在涉及两个或多个建筑物构件的状态模式的优选情况下，严重性评估考虑这些建筑物构件的拓扑和/或功能和/或逻辑关系，因此对于状态模式的“危急”或不危急的 甚至更多的测试标准是可用的，从而产生甚至更宽的评估基础。下面关于图3对此进 行进一步概述。
图3以图的形式示出了作为建筑物模型的一部分的建筑物的拓扑或逻辑表示12。虚线11表示邻近关系，即，门51a与门51b之间的虚线表示门51a紧挨着门51b。实 线10表示连接，即，人可以跟随这些边缘从一个房间50a至50c到另一个房间。根 据这些逻辑或拓扑关系，作为示例性程序，如果人们想在晚上的某个时间进入房间 50a并从建筑物外部打开窗户52a，则他将通过入口门51c进入建筑物，启动房间50c 中的光并沿房间(走廊)50c行走，穿过门51a，启动房间50a中的光并打开窗52a。 然后，该连接的动作流被表示为状态模式，使用相机40a、40b、光检测器41和接触 传感器42a在窗52a处的监视数据来检测。可以看出，不是所有的动作或建筑物构件 都需要被监视***识别/检查，以形成表示和指示上述基本过程的状态序列。
与“单个”状态相比，可以以更强的鲁棒性来检测状态模式和/或序列的任何危 急程度，从而检测建筑物的危急整体状态。例如，假设上述序列用作危急程度类的基 础。现在，如果在晚上仅考虑状态“窗52a打开”，则根据简单的监视***/模型，这 将导致分类为“危急”，因为在晚上打开窗通常指示如小偷的入侵者。相反，状态“窗 52a打开”被装入调查事件链，被分组在一起作为待分类和评估的状态模式。如果检 测到类似于上述动作流程的状态模式，则包括状态“窗52a打开”的记录的状态模式 被分类为“非危急”，即使它可能在可选的正常性分类模型中被分类为“异常”。
如果评估了任何显著的偏差，例如窗52a和门51a被打开，但是光检测器41没 有检测到光，则存在与“正常”的高度偏差，并且检测到的图案不仅被分类为“异常 的”，而且也被分类为“危急的”(从该示例可以看出，状态模式还可以包括零构件， 例如“没有检测到光”或没有变化，其中变化通常将被分别检测到或者通常是考虑到 已知的事件序列和/或模式而预期的)。这意味着不是每个“异常”状态模式都将被分 类为“危急”。换句话说，被分类为“正常”的每个状态模式可能被分类为“非危急”， 因为某些状态模式可能被有规律地检测，然而仍然对建筑物构成风险。根据本发明， 可以在不考虑正态-异常或考虑正常-异常的情况下测试危急性，并进一步在这些类别 之间进行危急-非危急区分。
考虑由模型12提供的拓扑或逻辑链路作为附加参数或特征来实现分类。评估与至少两个建筑物构件50a-52b相关的任何状态，因为检查该关系是否符合这些建筑物 构件50a-52b之间的已知关系。因此，分类变得更加可靠。
在更复杂的方法中，不仅是状态模式的时间戳或者与基础状态之一相关联的时间戳，还考虑构成状态模式的单次发生的时间点。例如，确定“门51c打开”和“门 51a打开”之间的时间间隔，并评估检测到的图案的该时间间隔偏离先前测量的时间 间隔或不偏离的程度，和/或可能是危急程度本身的标准，例如当时间间隔超过一定 时间限制时。这种对时间间隔的考虑将正确分类的概率提高为“危急”。
作为另一个例子，典型的模式可以由清洁人员产生，因为他在一个房间之后清洁另一个房间。可以预期，在房间51a、51b具有几乎相同尺寸的情况下，房间51a、 51b的清洁花费或多或少的相同时间，这称为CT。因此，用门传感器获取的序列只 能看如下：51a(门打开)-[CT稍后]51a(门关闭)、51d(门打开)-51d(门关闭) -[CT稍后]51b(门打开)等。代替门传感器，移动安全机器人43(参见图1)可以 沿着走廊50c巡逻，检测人或对象或打开/关闭的门。机器人43的巡逻可以导致以下 状态模式，例如当在清洁人员在房间50a中时从走廊50c的入口到末端巡逻时：51c (门关闭)-51a(门打开)-[移动进入房间50a]50a(检测到人员)[继续巡逻，移动 离开房间50a]-51b(门关闭)。该想法是组合来自不同传感器***的所有检测以产生 这种状态序列，例如将门传感器的输入与移动监视机器人43的输入组合。
此外，除了人的检测之外，可以从计算机视觉和机器学习算法中获得其他有用的信息，例如人的识别、跟踪和重新识别，这些信息可以被利用来例如通过人的跟踪(例 如在由监视相机40a监视的走廊50c中)提取轨迹，然后将这些轨迹分类和评估为正 常和异常。作为另一种选择，可以实现对人员或一类人员的识别，例如使用监视相机 40b来识别在晚上有权进入建筑物并且可以从他们的有色制服中识别出的清洁人员， 或者使用高分辨率相机来执行根据面部和/或虹膜特征中进行生物计量人员识别。
此外，一选项是重新识别在监视相机40a、40b的网络上出现的人，例如，由监 视相机40b检测到人进入。一段时间后，相机40a检测到人离开房间50a。重新识别 可以帮助确定是否是同一个人，并且因此如果房间仍然被占用或在走廊50c中检测和 跟踪一个人，则从这些数据中学习该人的外观模型，在建筑物外门51c处检测和跟踪 一个人，重新识别尝试匹配外观描述符并且估计它是否是先前在走廊50c中看到的同 一个人。
此外，还可以检测状态模式，包括通过如前所述地对功耗进行监视，因为打开房间50a-50c中的灯或计算机工作站在建筑物的总功耗中留下指纹。尽管不能将该勘察 数据直接指派给特定的房间50a-50c，但是也可以结合其它勘察数据进行指派，例如， 检测到人进入房间50b，并且在检测到功耗的少量增加之后立即进行指派。这表示房 间50b中的人已经打开灯或工作站。在夜晚进入房间50a-50c而未打开灯的人可以指 示该人可能是入侵者，因此这种状态具有被分类为“异常”和“危急”的高概率。
图4示出了一个或多个建筑物构件的状态的序列和/或模式的分类的示例。根据第一测量传感器的监视数据26a，例如来自监视相机40a(参见图1)的图像，确定 第一状态27a，例如“检测到人”。根据两个不同传感器的监视数据26b和26c，例如 从移动安全机器人43和/或在不同时间从一个传感器拍摄的彩色图像和深度图像(也 参见下面关于图6的描述)，得出建筑物构件的第二变化或状态27b，例如“门51a 打开”。状态27a和27b都被馈送到分类模型25中。分类模型25的输出分类结果28 指示监视对象的整体状态，例如以80％“不危急”-20％“危急”的概率来评价。
在图5中，示出了利用一个或多个建筑物构件的状态的序列和/或模式的分类模型30进行分类的更复杂的例子。从第一建筑物构件(例如门、设施、走廊等)的监 视数据26a推导状态27a。该状态27a与分类子模型25a的数据26b输入一起作为子 模型25a的输出28a传递第一建筑物构件的状态。与第二建筑物构件相关的数据26b 和数据26c(例如勘察数据和/或来自数据库的数据)被馈送到子模型25b中以确定第 二建筑物构件2的状态25c。两个建筑物构件的状态28a和28b以及附加监视或数据 库数据26d被输入到分类子模型25c，该分类子模型25c对输入28a和28b进行分类 和评估，并最终输出监视对象的分类状态模式31-“危急”或“非危急”。
在图6中，具有部分房间50a-50c和门51b的建筑物模型3的部分与移动式测量 机器人43一起示出，其中，该模型还示出了测量机器人43的三个不同位置P1-P3， 分别表示其在三个不同的时间T1、T2、T3时在建筑物内的位置(走廊50c)。还示出 了作为机器人43的监视传感器之一的监视相机40c。在每个时间T1-T3，相机40对 准门51b，并在时间T1拍摄第一图像29a，在时间T2拍摄第二图像29b，在时间T3 拍摄第三图像29c。
由(机器人43和/或中央计算单元的)状态推导装置对图像29a和29b的图像处 理揭示出，在时间T1，门51b关闭，而在时间T2，门51b打开，因此状态(模式) “门51b打开”被检测到并可被分类和评估，馈入分类模型中，如关于以上图4所述 的那样。
关于图像29a和29c的状态检测显示状态“包靠近门51b放置(在时间T1与T3 之间)”。在其中仅对该单一状态进行分类的简单监视***中，对包53的检测最有可 能导致分类为“危急”并发出警报。然而，包53可能不会对建筑物造成任何风险。 在更复杂的方法中，其中，该检测是检测模式或状态模式的一部分，可以用更高水平 的可信赖性来评估分类，例如因为随着时间(例如全天、一周或一个月)收集门51b 的大量测量/图像数据，使分类算法能够学习(例如通过机器学习算法)与类似门51b 的对象51b相关联的正常且因此非危急状态模式。
如果例如包53或特定包(通过足够详细的图像处理识别)重复出现，则可以将 其检测分类为“正常”。或者，如果作为相应状态模式的一部分，调查出包53并不是 在正常时间放置，而是由被认为是建筑人员的人放置，则将发生分类为“异常”但“非 危急”。
然而，如果包53被重复放置，但是在与“正常”检测时间非常不同的时间放置， 或者如果包53是被未识别的人放下的，则相应的事件不仅被分类为“异常”，而且被 分类为高严重性。
正常状态可以从检测到的动作中推导，例如门51b在时间T3关闭等，或者从直 接根据调查数据确定的状态中推导，例如在图像29c中，门51b看起来处于与图像 29a中相同的“关闭”状态。例如，可以根据深度和/或点云数据分析来确定该状态相 似性。
图7示出了使用隐马尔可夫模型(HMM)16对状态模式进行分类的示例。在人 通过入口门51c进入建筑物的情况下(开始S)，应用隐马尔可夫模型16来确定该人 是在走廊50c中还是在房间50a或房间50b中(参见图1)，这使用针对以下状态的 开始概率13：Ra：“人在房间50a内”、Rc：“人在走廊c内”和Rb：“人在房间50b 内”：互连概率14和输出概率15：Fa：“门51a打开”、Fc：“在走廊50c中检测到人” 和Fb：“门51b打开”。此外，HMM16可以评估这个人的行为对应于典型模式或非典 型模式的程度，从而确定将对应模式(代表性事件)指派给“危急”或“非危急”类 别的概率。
图8示出了使用神经网络20对状态模式进行分类的示例。神经网络20包括输入 层17、隐藏层18和输出层19。每个层17-19具有一组单元22、23、24。箭头21a、 21b表示单元22-24之间的权重。
作为检测到的序列或模式的基础的监视数据(例如，检测到人、门打开等)例如 与一些其它数据(例如，星期几、位置信息等)一起被馈送到输入层17。此外，可 以将如图3所示的建筑物模型3的拓扑关系、功能关系或逻辑关系输入到神经网络 20中，例如，门51d将房间50a与房间50b连接、门51a紧邻门51b等。
输出层中的单元24表示对象是处于非危急状态(单元24b)还是处于危急状态 (单元24a)，例如，80％的概率为非危急的，20％的概率为危急的。在更复杂的模型 中，输出层19可以包含用于单个建筑物构件的单元24，指示特定建筑物构件是处于 正常状态还是异常状态。
分类也可以是几个概念的组合，例如HMM、神经网络等。例如，子方法可以指 示检测到的人是雇员、访客还是入侵者，例如8：00在走廊50c上检测到的人(雇员 的高输出概率)，在10：00在走廊50c上检测到的人(雇员或访问者的高输出概率) 或在2：00检测到的人(高输出概率是入侵者)。该算法的输出(即，在8：00检测 到的人是雇员80％、访客17％或入侵者3％)可以被输入用于另一步骤，其中，该信 息与其它状态/状态模式或传感器数据组合。
图9至图16c涉及具有监视机器人和解决状态模糊的能力的监视***。
图9示出了具有用于监视设施102的移动监视机器人100的监视***103。设施 102(例如，办公楼或仓库)包括三个房间150、151和152、入口门106和两个房间 门107、108以及其它设施对象，例如房间151内的盒子或容器105。机器人100在 该示例中实施为无人驾驶地面车辆(UGV)，并且包括主体100b、驱动单元100a、计 算单元100c，并且在该示例中至少包括用于采集勘察数据的第一监视传感器110和 第二监视传感器111。至少第一监视传感器110被实现为适合于大面积或大规模测量 的非接触式传感器。监视传感器110、111例如被实施为一个或更多个相机、IR相机、 激光扫描器或运动检测器，但是例如也可以包括诸如烟雾检测器之类的测量传感器或 者诸如ID卡读取器或钥匙读取器之类的用于个人识别的传感器。有利地，两个监视 传感器110、111是不同类型的，例如覆盖电磁频谱的不同部分的两个相机，或者包 括诸如热或IR传感器的无源传感器和发射测量信号的有源传感器(雷达或激光雷达) 的传感器对。第一和第二传感器110、111也可以在测量准确度方面是不同的，例如 第一传感器110被设计用于粗略但快速的监视，而第二传感器111被设计用于精细且 详细的监视。
机器人100还包括动作控制器(未示出)，用于控制机器人100的任何动作，例 如移动或勘察数据的获取。机器人100被配置为在房间150-153内自主巡逻，从而连 续地改变其位置和取向，由此它也可以勘察设施102的外部。其任务是查看财产102/ 财产102的对象150-152、105、106-108的状态(例如门106-108或容器105的状态)， 检测与财产102/对象150-152、105、106-108相关联的安全相关事件。例如，机器人 100被配置为检查门106-108是打开还是关闭的，或者确定容器105的位置和/或外观。 作为另一示例，机器人100必须检查窗是打开还是关闭的、暖气是打开还是关闭的、 水龙头是否泄漏或财产102的任何其它安全或安全相关事件。
计算单元100c具有状态模糊识别和补救功能，以注意或识别检测到的状态的模糊，并可选地采取行动来产生适合于解决模糊的状态验证数据，并推导特定对象的状 态。
例如，状态检测器从监视传感器110、111和/或104获得一些传感器输入(例如 图像)，并且基于应用到该图像上的人检测算法来确定房间150中是有人、没人或者 是不确定的。实际上，人检测器可以知道存在人的概率是51％，不存在人的概率是 49％。由于该差异非常小，即低于预定义的阈值，因此将说明这是不确定的，并且存 在要通过执行收集关于室150、关于人的附加信息的动作来解决的模糊。
机器人100可以是完全自主的，并且本身构成(完整的)监视***，或者如示例 中所示，是(主)监视***或网103的一部分，包括中央计算机101，并且如示例中 所示，至少包括另外的第三监视传感器104。第三勘察传感器104可以是另一监视机 器人的一部分或者是如图所示的固定传感器，例如安装在房间150的角落中的相机 104，如图所示。***103包括用于勘察设备104和100彼此和/或与中央计算机101 通信(由箭头109指示)的通信装置。如图所示，中央计算机101是单个服务器计算 机2，或者例如是服务器集群、云或类似装置。用于检测状态和/或通知状态模糊的装 置(计算单元100c)可以位于机器人100、中央计算机101或***103的另一单元处， 或者可以分布在两个或更多个***部件上。
在图10中，例示了根据本发明的机器人100的监视过程。示出了建筑物的房间 150的一部分(包括门108)和流程图。在步骤112，监视机器人100利用第一传感 器110在获取位置P10获取门108的第一勘察数据108a。第一传感器110在该示例 中实施为相机，并且勘察数据108a是门108的一部分和相邻墙壁的一部分的图像。
在步骤113，由机器人的计算单元评估勘察数据108a并且推导门108的状态114；在该示例中，推导113导致如下状态：“门108关闭”。此外，计算单元确定门的状态 114的推导113的不确定性115，不确定性115用作推导的状态114的模糊度的指标。 换句话说，估计推导的状态114实际上对应于门108的真实状态的程度。
在该示例中，门108实际上接近但未完全关闭；存在小开口或间隙160。从机器 人100的角度(即，其相机110的视点P10)，开口160几乎看不见，因此，由计算 单元对图像108a(在获取位置P10处获取的图像108a)的图像处理仅允许对门的状 态进行模糊推导，检测的状态114具有高不确定性，在该示例中表示为70％的不确定 性值或(概率)模糊度。
在步骤116，查看所确定的不确定性115是否高于定义的阈值。如果结果是“否”，即存在低不确定性，并且检测到的状态114可以被看作是正确的或明确的，则机器人 100继续其巡逻，前往下一个待测量的对象(步骤118)。然而，如果模糊指标115高 于阈值(“是”)，则计算单元触发动作117，动作117适于验证门108的状态。触发 的动作117例如是在不同于第一位置P10的第二成像位置处获取门108的另一图像， 机器人100与门108的交互(例如试图推动门108以便测试其是否可以在不使用其操 纵杆的情况下被打开)，或者由另一设备取得关于门108的附加数据，例如取得由测 量相机104拍摄的门108的图像。所有这些将在下面详细解释。
换言之，检测到的状态114可以被视为初步推导的状态。如果在步骤113的检测 被评估为可信(低不确定性)，则在步骤113检测到的状态114被认为是最终结果。 如果在步骤113处的推导被评估为不清楚或模糊(高不确定性)，则通过机器人100 的验证动作116来验证所推导的初步状态，以便解决在步骤113处确定的模糊。
当然，在步骤113中还不需要以这样的方式确定门108的状态，即输出“门108 关闭”由计算单元明确地生成，而是仅达到这样的程度，即对检测114的评估或评级 是可能的。换言之，在步骤113不需要关于门108的真实状态的简单判定，而是对勘 察数据的评估允许针对门的状态114的推导113来判断评估的(不)确定性。
在该示例中，使用两步过程117p、117e基于动作117来解决所确定的模糊。在 触发动作117之前，计算单元在步骤117p中规划要触发的动作并在步骤117e中实现 该动作以解决事件模糊115。考虑到对象108，检测到的事件114、模糊指标115、第 一勘察数据108a或诸如机器人100的装备或环境条件的其他条件，通常存在用于生 成验证信息的多于一个可能动作117。在规划步骤117p中，通过从各种可能的动作 117中选择最有效或最好的动作117来优化验证信息的生成。
如上所述，该判定过程例如将检测到的状态114考虑为特定对象或特定类型的对象108的所讨论的特定状态，指派例如在事件动作指派数据库中预定义的或由计算单 元基于第一监视数据108a计算的特定最佳动作。作为另一选项，第一监视数据用作 选择要触发的动作的标准，例如选择用于产生第二勘察数据的第一或第二测量传感 器，或者测量分辨率的选择取决于第一勘察数据的丢失数据点的大小。优选地，规划 步骤117p基于多于一个标准，例如基于多个标准，诸如对象108的种类、模糊和要 获取的验证数据点的数量。在下面的附图中给出了验证信息生成的优化的其它示例。
本发明的优点在于，移动监视机器人100可以处理待调查的财产的对象状态不清楚或模糊的调查情况，这在现实中存在很多次。事件114的模糊检测或推导例如是对 象的不确定或模糊状况(诸如处于两个或更多个可能状态之间的门、或者机器人100 先前未知的对象状况/状态/事件诸如门108)的结果。模糊的推导还可能是勘察数据 采集的不利条件的结果，诸如当产生监视数据或干扰环境影响时的弱光条件、不真实 的机器人位置P10。根据本发明，机器人100能够采取行动来补偿这些缺点并提供关 于对象事件的真实性。
与机器人100首先详细调查每个对象108的状态的耗时解决方案相比，根据本发明，可以有利地实现该财产的各处的快速调查，其中仅对那些对象108进行详细调查， 并且在时间上更费力地根据现有快速监视的结果将这些状态评估为需要复查。换句话 说，机器人100掠过监视下的对象，并通过这些扫视的评估结果来选择那些需要深度 调查的对象(而不是深度调查所有对象的或根本不能进行深度调查)。
图11示出了为了生成对象的验证信息而触发的动作的第一示例。触发的动作120是机器人100的勘察位置从获取第一勘察数据的初始位置P10(参见图2a至图2d) 改变到新的勘察位置P20。此外，第一监视传感器110的取向被改变，使得产生新的 视场119。总而言之，获取位置和方向P20被改变，使得可以无歧义地推导门108的 状态，从而验证表面下的状态。在位置和取向P20中，由于观看方向指向门108与墙 壁/门框121之间的边缘以及靠近间隙160的位置，与原始位置P10相比，可以更好 地感知门108的打开160。换言之，机器人或***的计算单元或者状态检测器触发机 器人增强或优化用于对门108进行勘察的(整个机器人的或至少所讨论的测量传感器 的)勘察位置和/或对准。在位置P20拍摄作为第二勘察数据的第二图像作为验证信 息。考虑到该验证信息，计算单元推导门108的真实状态是“打开”。
换言之，如果机器人100对基于第一监视数据检测到的门状态是不确定的或不肯定的，则机器人100计划不同的位置P20，从该位置可以更好地观察门状态(例如， 更有效或优化，因为所述位置允许以更高分辨率、更高的传感器信号/更小的噪声或 具有更小的干扰/阻碍环境影响更好或最佳地生成门108的勘察数据)，或由此门108 的附加或其他部件和/或特征是可勘察的，其适于状态验证。特别地，如果门平面123 或门框121阻塞门间隙160，则机器人100从优化的(观察)角度向后移动并接近门 108，以更接近门间隙160。有利地，机器人100重复该动作，建立第三勘察位置和/ 或方向等，直到以高确定性识别门状态为止。作为一种选择，它然后向中央计算单元 发送通知(参见图1)。
用于产生这种状态验证信息的获取位置和/或方向可选地类似于本领域已知的下一最佳视图法(NBV)来确定。根据本发明的下一个最佳视图规划的目的是以高确定 性来识别状态相关特征(因此不必整体地识别或勘察门108)。在该示例中，相关特 征可以是门108的锁和/或门板123或相邻的墙壁121的边缘或阴影或光锥的存在或 形式。优选地，机器人100的计算单元提供具有待监视财产的多个对象的事件相关特 征的数据库。
例如，机器人100通过将机器人位置P10或P20与对象状态相关联来机器学习 最优或最佳定位和/或取向。为对象状态定义一个或更多个标准，所述标准然后关于 机器人位置P10、P20或机器人的路径点(例如，为勘察巡逻安排的)被优化。例如， 门状态是由门间隙160的尺寸限定的。在训练阶段，围绕门108采样许多机器人位置 或路径点P10、P20，其中，门108分别具有许多不同的打开角度，即，许多不同尺 寸的门间隙160。根据针对所限定的门打开角度的所有机器人位置，限定最佳机器人 位置P10、P20。从这些数据中得知最佳视图。这可以对各种对象和各种对象状态进 行。例如，如果机器人正在巡逻的路径点No.2处执行任务并且检测到一些模糊，则 在规划中可能存在一些定义的替代路径点，例如No.2a、No.2b等。
更一般地，必须学习关联勘察感测输入和状态的映射。如果假设准静态环境，则感测数据的变化是由于机器人100自身的运动。因此，要学习的映射是在勘察感测数 据中的变化与对象状态模糊之间。考虑这种差异勘察感测输入允许更加对象独立的映 射，即，机器人100可以被授权不仅调查门间隙160，而且调查一般的间隙。
图12示出了为了解决状态模糊而触发的动作的另一示例。在该示例中，使用机 器人100的第二勘察传感器111触发门108的第二监视数据获取。与例如具有相对有 限分辨率的相机的第一监视传感器相比，第二传感器111用于精细监视。用第二监视 传感器111触发第二勘察而不是用第一监视传感器110触发第二监视可以是选择两个 监视传感器110、111中更有效的监视传感器来解决模糊的结果。例如，对第一监视 数据的评估揭示出测量分辨率太低而不能推导出门108的明确状态，因此选择第二监 视传感器111，因为它能够实现比第一监视传感器110高的测量分辨率。
在该示例中，第二传感器111是主动监视传感器，其发射测量信号122，特别是 瞄准边界门/墙壁121(即，门板123和门框121的部分)，并且接收从边界门/墙壁121 反射的信号122。这种第二传感器111例如是激光扫描器或基于激光的测距仪。
第二勘察传感器111的精细测量可用的验证信息例如是表示门-墙壁边缘的高分辨率3D点云。这种3D点云提供关于门108的状态的详细信息。作为替代，从机器 人100到门板108的距离和从机器人100到墙壁的距离的两个精确距离值(即，门框 121)是由被实施为激光测距仪的第二测量传感器111进行的测量提供的。比较这两 个值给出了门108是仍然关闭还是已经打开的高确定性指示。因此，3D点云或两个 精确距离值允许以非常低的不确定性或无模糊地检测状态“门打开”。类似于关于图 3所述的过程，可选地建立了(即，存储在机器人计算单元的数据库中)第二监视数 据获取位置和/或取向以及对象状态的相关映射。
作为通过获取第二监视数据进行状态验证的另选示例，所查看的对象是所查看的建筑物内要被查看身份的人。如果不能通过分析由第一相机110(参见图2a至图2d) 拍摄的第一勘察数据(图像或视频)来明确确定人的身份，则使用第二监视传感器 111来验证他或她的身份，第二监视传感器111是具有增强的人识别能力的高分辨率 相机。作为另一选项，第二监视传感器111用于钥匙读取器，由此触发的动作包括请 求“不确定”的人***或显示识别钥匙并读出钥匙。这种监视机器人100(即，监视 ***)可以提供如下的优点，例如，写字楼中的工作人员在进入建筑物时不必标识他 们自己(例如在紧邻大门固定的钥匙读取器处产生身份卡)，但是可以在没有这种麻 烦的程序的情况下进入，因为机器人100顺带勘察所有的人，例如获取每个相机的第 一监视数据。在该建筑物内部，当巡逻该建筑物时，并且仅在不能从第一监视数据明 确得到身份的情况下，才需要产生用于验证信息的身份卡。
图13示出了在不确定的对象的状态的情况下触发动作的另一示例。在该示例中，所触发的动作是取得关于对象的外部附加信息。在该示例中，机器人100是监视*** 的一部分，监视***包括第三监视传感器(安装在房间150的角落处的测量相机104 (也参见图1))。由于其位置，相机104在其当前位置P10具有比机器人好的关于门 108的视场124，因此由相机104拍摄的作为第三勘察数据的图像允许更好地检测门 108的打开160。根据通信装置109，机器人100或者载入门108的勘察图像(由相 机104以规则间隔拍摄的图像流的形式自动拍摄的图像)，或者机器人100命令或触 发照相机104在该当前时刻拍摄图像(例如，在第三监视传感器104具有长的获取间 隔或处于睡眠模式的情况下)。
第三监视数据(照相机104的图像)提供验证信息，利用该验证信息来明确推导 门108的状态。门间隙160以低不确定性被识别，因此勘察机器人100已经验证了门 108已被打开。
主动取得的其它形式的外部验证数据例如是来自存储在包括测量机器人100的监视***的中央计算单元中的数据库的数据。例如，如果检测到在机器人100的前一 轮巡逻中房间151中不存在箱子105(参见图1)，则机器人可以“询问”中央计算单 元是否存在关于这种箱子的送货的可用数据。如果机器人取得箱子105被记录或正式 交付的确认数据，则事件“箱子存在于房间151中”可被确认为“OK”，如果在关于 箱子105的数据库中没有数据可用，则对象的状态被推导为“有风险”，并且例如输 出警报。另选地或附加地，在框105的不明确或“有风险”状态的情况下，触发进一 步的动作以进一步验证该状态，例如类似于上述附加的勘察程序，用机器人100的监 视传感器对对象进行精细或详细的勘察，和/或类似于下述交互程序，触发机器人100 与对象的交互。
其它数据是由监视***的操作人员提供的数据。例如，机器人100向人类操作者报告检测到的状态具有高度的不确定性，并且人类操作者向机器人100给出关于事件 或关于相关对象的附加数据，或者发送具有用于机器人100的进一步动作的指令的数 据，直到人类操作者通过发送控制命令来临时控制机器人100或机器人100的一些部 分(例如其监视传感器110、111之一的点。
图14示出用于解决状态模糊的动作的另一示例。在该示例中，监视机器人100 与对象(门108)交互，以验证门108是打开还是关闭。在所示的简单方法中，机器 人向门108移动(由箭头125指示)并推动门扇123(而不推动门把手)。如果门扇 123可以被推开并且门108被推开，则验证了门108没有被完全关闭。如果门扇123 在将其放入门锁中时阻止，则这用作状态“门关闭”的验证信息。
这种交互行为例如通过将机器人动作与对象状态相关联来学习。与上述触发的勘察动作类似，为对象状态定义标准。例如，门108的状态按照能够推动门108一定的 量来限定。在训练阶段，在门108周围采样许多动作点和动作方向，其中门108具有 许多不同的打开角度。对于每个门打开角度，为了最佳(最低)动作努力来定义最佳 动作点/方向，即在哪里推动门108以及在哪个方向上是最佳/最无可争议的验证信息。 从这些数据中得知最佳动作导图。
在最简单的情况下，动作导图是“向前移动”。如果机器人100碰撞到门108并 且没有检测到阻力，则预期门108是打开的。可能的阻力例如通过机器人驱动单元的 传感器和/或通过机器人前部或机器人100的臂处的触摸或触觉传感器来检测。
可以为各种对象和各种对象状态学习动作导图。实际上，可以再次假定准静态环境，然后学习感测输入的变化和要执行的交互动作以推导某一对象状态。
适合的表示可以是用于控制机器人100的马尔可夫决策过程。马尔可夫模型是随机变化***的随机模型，其中***是由状态描述的。通过机器人传感器的输入数据来 测量状态，并且状态的改变取决于机器人的运动。如果状态之间的逻辑关系是已知的， 则机器人100可以预测任何运动的结果，并因此预测对象状态。
在配备有适当操纵工具的监视机器人100的情况下，与要被推导状态的对象的交互还可以包括按压或转动对象的按钮、旋钮或把手，例如门108的把手。在一些情况 下，这种更详细或随机的动作可以更适合于通过上述更简单的方法来验证与对象相关 联的事件。
用于生成状态验证信息的交互的另一示例(图6中未示出)是由机器人100指向 对象的声和/或光信号的输出。该信号使得其(可能)适于引起对象的反应。例如， 对象是(也意味着机器人100怀疑是)人类。然后，声信号或光信号例如是在机器人 100的屏幕上显示的或由机器人的扬声器说出的消息(文本)，使人活动以做出反应。 触发的声信号的另一示例是鸣响机器人的喇叭或警笛，其可能导致人的某种运动，该 运动可由机器人100观察或检测到，并用作用于验证状态的验证信息。例如，如果不 确定状态是关于对象的性质的不确定性，即如果对象是人(或动物)或没有移动能力 的对象(像人一样的雕像)，则这是有用的。或者，监视机器人100可以验证所检测 的状态是(不显示反应)还是不是“人无意识地躺在地板上”(例如通过转动头部或 睁开眼睛来反应)。此外，由机器人100检测的反应类型可以用于验证状态。如果以 人的状态不确定为“入侵者”(或“工作人员/访客”)的方式指示存在模糊，则机器 人100发出警报信号。如果机器人100观察到人通过逃跑作出反应，则这可以用作事 件“入侵者”的验证信息(优选地，不是唯一的验证信息，因为法律工作人员也可能 因为恐惧而逃跑)。
如以上示例已经指出的，验证信息的生成可选地包括机器人100与对象的交互以及随后的第二监视数据的获取的组合(例如勘察人对机器人与人的交互的反应)。
图15a、图15b给出了这种用于状态验证的交互和测量的动作序列的另一示例。 在该示例中，如果门108是“关闭的”或“打开的”，则具有第一监视传感器110的 门108的第一勘察伴随着检测不确定性，因为第一勘察数据(例如，用作为监视传感 器110的相机拍摄的图片)是相当嘈杂的或低对比度的。
为了产生验证信息，机器人100首先与门108相互作用，因为它分别通过喷嘴 127将(挥发性)涂料128施加到门108的一部分上。在边界门板123和墙壁121上， 如图15a所示。涂料128被选择为增强对比度。另选地，涂料128例如是紫外光或 UV-墨水(荧光涂料)。
然后，如图15b所示，机器人100使用监视传感器110获取第二监视数据，例如 门108的第二图像，其现在具有低噪声，允许检测门的状态没有(或几乎没有)不确 定性(或歧义)。例如，如果机器人100已经施加了紫外光墨水，则在用机器人100 的UV光源的UV光129照亮门108的同时拍摄照片作为第二勘察数据。
这种材料应用的其它实例是能够突出对象表面的涂料或液体，使得可以明确勘察表面结构或突出对象的轮廓或形状。
图16a至图16c例示了用于用于解决状态模糊而触发的动作的另一示例。在该示例中，机器人100利用传感器110获取门108的第一监视数据。如图16a所示，由于 在房间150中以及在机器人100与门108之间存在另一对象131，第一勘察数据失真， 并且对门的状态不确定性的确定揭示事件检测是高度不确定的。例如，如果第一勘察 数据是门108的图像，则扰动体131也被成像，覆盖了确定门108的明确推导门状态 所必需的特征。
图16b示出了首先触发与对象(门108)的交互，其中扰动对象131被机器人100 推到旁边(由箭头130指示)，以便改进或解放机器人100朝向门108的视野。可以 看出，触发的交互还可以包括与依赖于要测量的对象(门108)的另一对象(扰动体 131)的交互。
图16c示出了进一步触发的监视动作。由于对象129通过触发的交互而远离门108，机器人100利用勘察传感器110获取门108的第二勘察数据，例如第二图像。 由于扰动体131不再妨碍对门的状态的推导，因此可以基于第二勘察数据(状态验证 数据)以低不确定性或无不确定性来推导该状态(关闭)。
图17a至图25涉及适配为巡逻区域的巡逻***，例如，一建筑物。特别地，该 ***适合于区域的自主监视以及异常的检测和报告。
在图17a和图17b中，示出了组合的地面-空中传感器平台***200的第一示例 性实施方式。***200包括无人驾驶地面车辆(UGV)210和无人驾驶飞行器(UAV) 220。
图17a示出了当UAV被定位在作为UGV的汽车机器人210的顶部上时的无人 机220，而图17b示出了无人机220飞离了机器人210。
机器人装备有轮子212或允许机器人210在地面上移动的其它装置，例如轨道或腿。机器人210包括外壳211，该外壳容纳内部部件并且被形成为允许无人机220降 落在机器人210上。机器人210优选地可以适配为无人机220的发射和再充电平台。 在该实施方式中，外壳211包括在机器人210顶部上的凸起214，该凸起214包括用 于无人机220的充电站216，该充电站216允许在无人机220降落在机器人210上时 例如借助于感应线圈对无人机220进行充电。
另选地，UGV 210可以包括电池交换站，其中提供了用于UAV 220的多个电池 组，并且UAV 220的电池可以自动地被新电池替换。
无人机220是四旋翼直升机，其包括允许无人机飞行的旋翼222、允许无人机站 立在地面上或机器人210上的腿224、用于向无人机220的旋翼和监视设备供电的电 池226。当无人机站在机器人210上时，相对较小的电池226可以被充电。支腿222 被适配为适当地站立在机器人210的顶部上，以允许通过机器人的充电站216对电池 226充电。
图18a和图18b示出了***200的两个部分的联合巡逻。在俯视图中示出了具有 多个货架280的仓库。在图18a中，***200自主地巡逻通过仓库，该***的相机具 有被货架280阻挡的视场260，因此入侵者270能够隐藏在货架280后面。
在图18b中，机器人210和无人机220巡逻仓库，连续地交换数据251、252。 机器人210和无人机220一起具有扩展的视场265，允许检测入侵者270。
无人机220的优点是能够在不同的高度飞行，从而通过障碍物，障碍物阻挡了地面机器人210的路线。因此，无人机220也可以在货架上方飞行，例如减少对角穿过 仓库的时间。
在检测到(可疑的)入侵者270之后，机器人210可以自主地接收任务以推进人 和需求标识，例如通过声音输出。机器人可以包括用于识别人的ID卡读取器和/或面 部识别软件。***200还可以包括用户接口，例如用于输入PIN码进行识别。
代替四旋翼直升机或其他多旋翼直升机，UAV 220还可以被适配成使用升力气体(例如氦或氢)用于浮力的飞艇。这对于户外使用特别有用。而且，使用旋翼和用于 浮力的升力气体的组合的UAV 220是可能的。如果UAV 220使用升力气体，则UGV 210可以可选地配备有包括压缩填充气体的气罐和适于在UAV 220降落在UGV 210 上时再填充UAV 220的升力气体的充气站。
在图19a和图19b中，示出了组合的地面-空中传感器平台***200的第二示例 性实施方式。
***200包括无人驾驶地面车辆(UGV)210和无人驾驶飞行器(UAV)220。 UAV 220可以降落在UGV的外壳211的顶部，在该顶部中提供了充电站216，该充 电站被适配成当UAV220降落时为UAV 220的电池226充电。
在一个实施方式中，UGV和UAV可以包括降落***，该降落***包括光发射器 和相机，其中，降落***适配为将UAV 220引导到UGV 210上的指定降落台。在 US2016/0259333A1中公开了一种用于将UAV降落在固定降落台上的通用降落***。
UGV 210在其外壳211内部包括电池217，该电池217将能量提供给充电站216 以便对UAV的电池226以及UGV 210的其他电气部件充电。这些电气部件包括具有 处理器和数据存储器的计算单元218、用于驱动UGV的车轮212的电动机、如相机 213的传感器以及用于与UAV 220的对应通信单元225无线交换数据的通信单元215。 另外的传感器可以包括例如LIDAR扫描器、红外相机、麦克风或运动检测器。
计算单元218适配为接收和评估来自UGV的传感器特别是来自相机213的传感 器数据，并且适配为控制UGV 210的功能，特别是基于传感器数据的评估。控制UGV 包括控制轮子212的马达以使UGV移动通过环境。
具体地，计算单元218可以适配为在移动通过环境时基于传感器数据执行即时定位和地图构建(SLAM)功能。
UAV 220包括相对较小的电池226，当UAV 220站立在UGV 210上时，电池226 可以被充电。该电池226为UAV 220的部件提供电能。这些部件包括驱动旋翼222 的电动机、如相机223的传感器以及UAV的通信单元225。
UAV 220的相机223和其他传感器生成数据252，数据252经由UAV 220和UGV 210的通信单元215、225无线地提供给UGV 210的计算单元218。来自UAV的传感 器的传感器数据由计算单元228存储和评估，并且可以用于通过生成发送到UAV的 通信单元225的控制数据251来实时控制UAV 220。
另选地，UAV 220和UGV 210的通信单元215、225可以通过电缆(这里未示出) 连接。在US2016/0185464A1中公开了一种用于将系留式UAV连接至地面站的解决 方案。利用这种可以包括一个或多个插头的连接，可以从UGV的电池向UAV供电， 并且可以在UGV和UAV之间交换数据251、252。还可以将超过一个UAV连接到 一个UGV。在这种情况下，优选地，考虑到超过一条电缆的位置来控制UAV，以便 防止这些电缆最终缠结。在US2017/0147007A1中公开了一种用于确定单个UAV的 电缆的位置的解决方案。
在图19c中，UGV 210和UAV 220包括无线电通信模块219、229。这些模块适 于建立到远程命令中心的数据链路以发送传感器数据并从远程命令中心处的中央计 算机或人类操作者接收命令。数据链路可以是无线的，即，可以建立的无线电连接， 例如通过WiFi网络或移动电话网络。
另选地或附加地，可以提供允许与远程命令中心进行系留通信的通信模块。需要在通信模块可以与其建立连接的环境中提供插口。插口的位置可以存储在计算单元的 数据存储器中。此外，计算单元218可以适配为基于传感器数据，特别是在由***的 相机213、223拍摄的图像中检测插口。然后，UGV 210和/或UAV 220可以相对于 插口定位，使得通信单元所连接的插头可以自主地***到插口中以与远程命令中心交 换数据。
同样，***200可适配为与电源插座连接以对UGV 210的电池217再充电。传 统电源插座的位置可以存储在计算单元的数据存储器中。此外，计算单元218可以适 配为基于传感器数据，特别是在由***的相机213、223拍摄的图像中检测电源插座。 然后，UGV 210可相对于插座定位，使得连接到UGV的电池217的插头可自主地插 入电源插座以对电池217充电。
为了与数据插口或电源插座连接，UGV 210可包括机器人臂(此处未示出)。该 机器人臂可以由计算单元217基于评估的传感器数据来操作，例如由相机213、223 拍摄的图像。所述臂可以包括插头或者能够将UGV 210的插头引导到插口或插座。
所述臂也可用于其它目的，例如在环境中操纵或拾取对象。这可以包括使阻挡路径的障碍物移动或打开和关闭门或窗以允许UGV 210和/或UAV 220继续移动。也可 以使用开关，例如用于打开或关闭房间中的灯或用于操作自动门。
所述臂还可以用于拯救被失能的UAV 220，例如已经坠机或没电)并且将其定位在UGV 210的充电站216上或将其运输到服务站以进行维修。
图20示出了在两层的建筑物中巡逻的组合地面-空中传感器平台***的第三示例性实施方式。由于UGV机器人不能克服第一楼层与第二楼层之间的楼梯，该***包 括两个UGV，其中，第一UGV 210a巡逻第一楼层，第二UGV 210b巡逻第二楼层。 由于无人机UAV 220能够克服楼梯，因此仅需要单个UAV。UAV 220可以巡逻楼梯、 第一楼层和第二楼层，并且可以由两个UGV 210a、210b引导并降落在两个UGV210a、 210b上以对其电池再充电。而且，UAV220的存储器单元可以用于在建筑物的不同 部分中的两个UGV 210a、210b之间交换传感器数据和/或命令数据。
图21示出了组合的地面-空中传感器平台***200的第四示例性实施方式。UAV220能够克服障碍(例如，墙壁282)并且拍摄UGV 210不能到达的位置283的图像。 包括隐藏位置283的图像的图像数据的传感器数据252可以发送到UGV 210用于评 估。
在所示实施方式中，UGV 210包括激光***290，激光***290适配为将激 光束292发射到UAV 220的后向反射器291上，以便确定UAV的相对位置。另选地 或可选地，还可以提供基于相机图像的跟踪功能。
如果环境是未知的，则UAV 220可以在UGV 210前方飞行并提供传感器数据252 以生成用于UGV 210的路径规划的地图。
UGV 210和UAV 220都配备有GNSS传感器，以使用全球导航卫星***(GNSS) 295(例如GPS)来确定位置。为了节省UAV 210(仅具有小电池)中的电能，可以 选择性地仅在UGV的GNSS传感器没有GNSS信号时才激活UAV的GNSS传感器。
类似地，UGV 210和UAV 220可以配备有到命令中心的无线电连接，以报告异 常或显著事件或经由无线数据链路接收更新的指令(见图19b)。为了节省UAV 210 中的电能，无线电连接可选地可以仅在UGV的无线电连接没有信号时才被激活。例 如可以通过WiFi或蜂窝/移动电话网络建立无线电连接。
在图22a、图22b和图23a、图23b中示出了根据本发明该方面的***的另外两 个示例性实施方式，其中，UGV 210适配为为UAV 220提供庇护所。
图22a和图22b的UGV 210包括可延伸的抽屉230，当抽屉展开时(图22b)， UAV 220可以降落在该抽屉上并且UAV 220可以从该抽屉起飞。当抽屉230缩回到 UGV 210的外壳211中时，抽屉230上的UAV 220被容纳在外壳211内部的空间中， 从而提供对诸如降水或风的恶劣天气条件的保护。可以提供一个充电站或电池交换 站，该充电站或电池交换站在UAV 220被定位在这个空间中时允许对该UAV 220的 电池进行充电或更换。
图23a和图23b的UGV 210包括罩235，当UAV 220降落在UGV 210的顶部上 时，罩235适于遮蔽UAV 220。
在图24中，***包括UGV 210和多个UAV 220、220a、220b、220c。UAV都 连接到UGV210，并且UGV适配为优选地接收和评估来自所有UAV的传感器数据 (以组合的整体分析方法)。UAV可以是相同类型或在大小和种类上不同，以及在所 安装的传感器***方面不同。作为示例在图24中描绘的四个UAV包括两个小的四旋 翼直升机220、220c、一个较大的四旋翼直升机220a以及飞艇220b。较大的四旋翼 直升机220a可以携带比小的四旋翼直升机220、220c更多或更重的传感器。例如， 小的四旋翼直升机220、220c可以配备有简单的相机装置，而较大的四旋翼直升机220a可以具有带有优良光学器件和分辨率的相机，以及附加的IR相机或激光扫描器。 飞艇220b需要比四旋翼直升机更少的电能来保持位置，并且可以在户外使用，例如 用于从高位提供监视区域的总览相机图像。
UGV 210可以基于接收到的传感器数据直接地或者通过发送用于特定行为的命令来控制UAV 220、220a、220b、220c，例如移动到某一位置并拍摄某一对象的图像 或其它传感器数据。
UGV 210还可以适配为生成包括其自身和UAV 220、220a、220b、220c中的一 个或更多个的工作流，以在监视区域中联合执行巡逻任务。图25的流程图示出了这 种工作流生成的一个示例。
在第一步骤中，UGV例如从远程控制中心或直接通过UGV的用户输入接收巡逻 监视区域的任务。例如在检测到诸如异常之类的特定定义事件的情况下，该任务可以 包括关于巡逻任务的进一步细节，例如应当使用特定传感器还是应当执行什么动作。
该***的UAV是自我描述的。UGV请求可用的(即在通信范围内的)多个UAV (以及可选地其他UGV)的任务特定数据。该任务特定数据包括关于UAV的可能与 该任务相关的特性的信息。例如，任务特定数据可以包括关于推进类型、安装的传感 器部件、整体尺寸、电池状态等的信息。
在该示例中，存在三个可用的UAV1、UAV2和UAV3，使得该方法包括可以基 本上同时执行的三个步骤：请求第一UAV、第二UAV和第三UAV的任务特定数据。 随后，由UGV接收UAV1、UAV2和UAV3的所请求的任务特定数据，并且由该设 备评估三个UAV的任务特定能力。在评估了三个UAV的能力之后，可以由UGV的 计算单元生成工作流。工作流中所涉及的每个UAV的工作流数据被生成并随后被发 送到所涉及的UAV。在所示示例中，作为能力评估的结果，所生成的工作流仅涉及 UGV和三个UAV中的两个UAV，因此仅这两个UAV需要接收相应的工作流数据以 执行它们的任务部分。
在一个另选实施方式中，工作流是在外部设备上生成的，并且像所描绘的实施方式的三个UAV一样对待该UGV。特别地，外部设备位于或连接到UGV和UAV的 ***经由无线数据链路连接到的命令中心。
特别是如果UGV和UAV不是全部来自同一制造商，则这些设备可能具有不兼 容的软件标准，这些标准通常阻止它们一起工作。为了解决这个问题，可以在将在UGV和UAV之间传输的数据转换成相应机器语言的单个设备处提供软件代理。软件 代理可以直接安装在UGV和UAV的计算设备上，或者安装在可连接到UGV或UAV 的模块上(特别是如果不能直接安装)。合适的软件解决方案在本领域中是已知的， 并且例如在EP 3156898A1中公开。
在EP 18155182.1中公开了基于此的工作流生成方法。工作流的编制可以在设备之一上执行，有利地，该设备具有最强大的计算单元。通常，UGV具有最强大的计 算单元，因此将用作指挥员。在这种情况下，为了生成工作流，从安装在UAV上或 连接到UAV的软件代理请求每个UAV的任务专用数据，并且经由作为解释器工作 的软件代理将工作流数据提供给UAV。另选地，可以在外部计算设备(例如，位于 或连接到UGV和UAV的***经由无线数据链路连接到的命令中心)上执行编制。 在这种情况下，为了生成工作流，从安装在UGV或UAV上或连接到UGV或UAV 的软件代理请求每个UGV和UAV的任务特定数据，并且经由作为解释器工作的软 件代理将工作流数据提供给UGV和UAV。
图26至图29涉及包括状态检测器、状态过滤器和反馈功能的安全监控***。
图26示意性地示出了没有反馈功能的通用安全监控***。
状态301是由与一个或多个勘察传感器(未示出)相关联的状态检测器检测到的。作为示例，多个监视传感器(例如，人检测器和异常检测器)可以被布置并链接在一 起成为勘察组，使得该组被配置为监控设施的特定区域并检测与该特定区域相关联的 事件。另选地或附加地，状态检测算法(即与监视场所的所有监视传感器相关联的公 共事件检测器)可以存储在本地计算单元302上，并被配置为处理与监视场所相关联 的勘察数据。
传入状态301接着由本地状态过滤器303分类，例如其中，状态过滤器303提供 了将状态301初始指派304为三个类别：“危急状态”305，例如自动引发警报306； “非危急状态”307，例如不引发自动动作308；以及“不确定状态”309，其中，需 要询问操作者310以对状态进行分类311。
另选地，“危急状态”也被转发到操作者，用于在发出警报之前进行确认。
作为示例，状态过滤器303可以基于n维状态空间中的正常-异常分类模型，其 中，状态由n维状态向量表示，特别是其中，相应类由n维状态空间的一部分表示。
在不确定状态的情况下，操作者310将该状态分类311为危急状态305，并且例 如发出诸如呼叫警察或消防队的警报306，或者操作者310将该状态分类为不危急状 态307，其中，不执行动作308。
另选地或附加地(未示出)，操作者也可以重新考虑类别“危急状态”305和“非 危急状态”307的初始指派304，并基于操作者的经验和/或对监视场所的某些新规则 特性将初始分类的事件重新指派为不同的类别。
图27示意性地示出了根据本发明的安全监控***，即具有反馈和训练功能。
根据本发明，引入了反馈回路312，其中，不确定状态309的标记311和/或操作 者310对初始指派状态的重新指派被反馈到状态滤过滤器303，如在典型的主动学习 环境中。
特别地，事件的标记311和重新指派可以显式地发生，例如基于专门针对标记状态或改变指派的手动操作者输入，或者隐式地发生，例如其中，操作者直接发出警报 或执行特定动作，即不显式地将状态指派寻址到特定类。
诸如操作者标记和重新指派状态之类的反馈信息由例如存储在本地计算单元302或专用计算机或服务器(未示出)上的训练功能来处理。
例如，可以通过机器学习算法来训练状态过滤器303。与基于规则的编程相比， 机器学习为模式识别提供了非常有效的“学习方法”，并且可以处理高复杂度的任务， 利用隐式或显式的用户反馈，因此是高度自适应的。
此外，所描述的本地安装在特定监控场所上的监控***可以是运行在多个不同监控场所的许多这种本地监控***的扩展网络的一部分，每个本地安全监控***与全局 模型314(例如全局状态检测算法/全局状态分类模型)双向共享313其更新信息，全 局模型314可以存储在中央服务器单元或本地计算单元之一上。
因此，初始本地检测和分类模型可能已从全局模型314获得，全局模型314包含 关于危急状态的知识并且是所有本地模型的范例。此外，在本地安装的***的工作时 间期间，例如包括全局状态过滤器模型的全局模型314可以在本地模型未知的情况下 在提示操作者做出决定之前被自动查询，或者本地安装的监视***的操作者可以手动 查询全局模型314。
图28示意性地描绘了本发明的安全监控***的另一实施方式，其中，反馈回路312不仅包括如图2至图2d中的本地状态过滤器303，而且被扩展为还包括全局分类 器，例如以便为全局分类模型314自动提供更新信息。
由于一些本地状态仅是本地相关的，例如因为不同的监控场所可以具有不同的本地定义的规则或工作流，其可以考虑针对人类工作者的特定访问计划和限制计划、不 同的危险区域、场所的变化的环境条件以及变化的场所拓扑，所以可以可选地通过更 新管理器315来调节危急状态的全局更新。
因此，考虑本地相关的特殊情况以及全局相关的学习步骤以提供一种改进的监视***，其允许更通用和更鲁棒的监视和报警方案，特别是其中，误报被减少并且仅越 来越相关的警报引起操作者的注意力。
图29示意性地示出了本发明的安全监控***的另一实施方式，其中，状态检测 器316在与用于训练状态过滤器303的反馈回路312相同的反馈回路312中被更新， 例如通过从操作者的决定推导标签(例如“开门”、“人”、“入侵者”等)以将状态标 记为危急或非危急。
此外，类似于本地状态过滤器303和/或全局状态过滤器317的初始化和升级， 作为本地状态检测器316的范例的全局状态检测模型318可用于初始化新的本地状态 检测算法和模型以分析监视数据319。因此，状态检测器316也随时间而改进，并且 本地检测模型得益于其他监控站点处的操作者反馈。
图30至图36b涉及包括组合的多个监视传感器的自动监视***。
在下文中，不失一般性地，以人检测任务作为用例来描述本发明。图30示出仓 库的空间上下文模型的特定情况，作为必须根据本发明保护的建筑物3的一部分的示 例。在所示的图像中，几个区域90、91、92、93在图像中被突出。
例如，顶部区域90由重叠点阵表示。这个顶部区域90在这个例子中可以被所有 的检测器忽略，因为非常不可能在那里找到可能的入侵者。该知识可以通过减小搜索 区域的大小而有助于加速自动检测和/或分类任务。通过排除该顶部区域90，也可以 避免该区域中的可能误报。根据本发明，可以通过不同的技术获得该顶部区域90的 掩蔽(masking)。例如，例如在初始化和/或调试阶段，可以获得包括人工操作者的 手动定义。在另一个更自动化的示例中，通过将背景中的门识别为参考等，可以使用 地平面估计来确定仓库3的楼层，并且基于该信息和关于典型人员高度的知识，该高 度上方的任何区域90可以被配置为在仓库5中的人员的检测和/或分类中至少部分地 被忽略。
根据本发明的另一示例包括基于来自仓库3中的监视设备的数据至少部分地学习该顶部区域90。这样的学习可以包括让一个、更多个或所有模态的检测器和/或分 类器运行一段时间，特别是在仓库3的常规和/或模拟使用期间，例如当工作人员和/ 或行动者在一天的不同时间在仓库周围走动时，灯打开或关闭等，以生成训练数据。 学习***然后可以检测和/或分类在该顶部区域90中在整个时间内没有检测到和/或 分类任何东西，特别是没有人。可选地，这种自动学习的结果可以提供给操作者至少 一次，以便确认或调整顶部区域90。在这种适配中，例如可以去除或校正错误检测 和/或分类，如由简单的错误检测、反射、货架上的模特的盒子等导致的那些。
该示例中示出的区域90、91、92、93中的一些或全部。训练数据可以例如在人 站在或走在设施3周围的不同位置、不同的条件(例如灯打开/关闭)的情况下收集， 其中，人的位置可以在训练帧中注释，或者手动地或者优选地至少部分地通过将人自 动分类为人。如所提到的，这特别出现在区域91、92和93中。在另一实施方式中， 仓库3中的一个或更多个人也可以至少部分地被建模或模拟，以便自动生成合成训练 数据。这可以例如通过仓库5的3D模型或通过用一个或更多个人的图像扩增强空仓 库的图像来实现，特别是其中，自动合成多个选项、个人、姿势、照明等。
根据本发明的这个方面，基于这种训练数据，学习分类器和/或检测器的最佳组合。特别地，对于每个设定(即，对于像室内相对室外、第一仓库相对第二仓库、同 一仓库的第一视图和第二视图等的每个位置)，对于每个环境设定(即，对于一天中 的每个时间、天气条件等)和/或对于每个给定场景(即，像素坐标中的区域)进行 学习。由学习分类器和/或检测器产生的这种最佳组合可以是分级的或并行的或它们 的组合。根据本发明的这个步骤可以具体体现为不学习用于人或对象本身的实际检测 器和/或分类器，而是学习当应用特定上下文或环境条件时表现最好的组合。
例如，在图30中的仓库3的例子中，RGB图像可能更适合于检测距离传感器中 等距离到远距离处的人，例如，如区域1 91所示。另一方面，深度将是检测在其深 度传感器的范围内(即，通常为几米远)的人的更好形态，如区域2 92所示。在全 局范围内，红外可能是发现仓库3中的人的非常可资辨别的因素，尤其是在完全黑暗 中。然而，特别是在冬季，具有热源的区域(如所示的具有散热器的区域3 93)可能 由于IR检测器产生大量幻象检测。在该区域3 93中，在可以基本上忽略IR检测的 同时，其他模态(如点云或视觉图像)可以接管。根据本发明，上述这些特性不需要 针对该特定仓库场所手动编码，而是由人工智能单元来机器学习。由于这些特性反映 在机器学习的计算实体中，这些特性将可能以不可直接由人访问的形式实现。尽管为 了说明的目的，这里的描述以人类可理解的逻辑流程来表述，但是根据本发明的最佳 组合的实际实现将可能在机器学习的人工智能***中以更抽象的级别来实现。
图31a至图31c示出了来自上方(在不同列中)的不同区域1-3的不同监视传感 器模态(在每行中)。图31a示出了IR图像模态中顶部的区域3，其中热辐射器是明 亮的。基于这样的热图像对热辐射器附近的人的检测倾向于非常容易出错或者甚至是 不可能的，相应地，将需要非常特定的检测和/或分类方法，其严重偏离没有这样的 热源的其他区域中的方法。在该区域3 93中的该形态的可评估性尤其还可以取决于 散热器是否实际在使用中，例如取决于季节或另一时间信息、取决于加热***的功率 状态、和/或取决于室内和/或室外温度、或所讨论的场所的另一实际上下文信息。
在该列的中间，示出了区域3 93的可视图像，例如来自可视监视相机的RGB图 像。在充分照明的情况下，可以检测用于对人进行检测和/或分类的机器学***。在特定实施方式中，上下文信息还可提供不同机器学习 的检测和/或分类尝试的偏好加权。例如，在黑暗中，专门基于对具有手电筒的人的 检测训练分类器将是有先例的，而在照明的情况下，专门基于对在照亮的环境中的人 的检测训练分类器将是有先例的。
在底部，示出了深度图像，其针对区域3的距离工作，但是当其深度相机基于IR 辐射工作时可能具有准确度缺陷。因此，同样特别是在如上所述的加热的散热器的情 况下，这样的检测通常是不利的，因为它可能导致不良数据、误报等。在一个实施方 式中，例如还可以从在顶部示出的IR图像中的强度信息获得这样的上下文信息，如 关于IR图像模态所讨论的。此外，在特定实施方式中，基于上下文信息，用于检测 人的分类器的具体聚类(由评估单元针对范围图像学习的)可以在检测中被不同地加 权。
根据本发明的该方面，基于包括上下文信息并对上下文信息进行分类的训练数据的机器学习***可以学习上述方面。因此，不需要手动硬编码所有上述上下文相关性， 而是基于训练数据机器学习。具体地，这里示出的该实施方式的示例已经学习了基于 空间上下文(例如区域1-3和顶部区域)、照明上下文(例如，灯开/关、白天/夜晚) 和热上下文(例如，冬天/夏天、暖气开/关)的基于上下文的分割。机器学习体系可 以提供用于学习的基本框架、实际函数、阈值等是基本上机器学习的，而不是由人类 程序员纯粹手工编码的。这允许例如灵活地适应不同环境和复杂***，同时保持*** 易于管理、适应和监督。
图31b示出了与上述区域1相同的情况。由于没有散热器，上面的IR图像对于 检测来说是工作良好的。在充分照明环境中，中间可视图像检测也工作良好，例如如 上所述。相反，底部的范围图像不能很好地工作，特别是虚线所示的区域超出了深度 相机的范围，这将导致安全***没有或至少没有有价值的信息。在这个区域1的上下 文中，由于训练揭示了来自这个区域1中的深度模态的不合理数据，因此将学习以至 少基本上省略深度模态。例如，事实上，所指示的区域1的大小和/或形状可以基于 训练数据来学习，如被定义以建立区域的上下文，其中，深度模态将不提供合理的结 果并且因此将不必被评估(这节省了计算能力和感测时间)或者其至少将在总体监视 中被考虑，其具有比其他模态低的权重。
图31c示出了区域2的情况。在该区域中，发现由顶部、中部和底部图像示出的 所有三个示例性模态提供检测数据，其中，该***得知在该区域2的空间上下文中， 来自所有模态的数据被基本上等同地评估。然而，该***还从训练数据获知存在其它 上下文信息，如照明上下文，其中仅在存在足够的光时才应用中间视觉图像模态，分 别仅应用了用于检测可疑或潜在危急人员/对象的分类器的上下文特定群集，所述群 集在该上下文中被专门训练，同时至少基本上省略了在另一上下文中训练的群集(如 讨论的在黑暗中具有手电筒的人与在光照中具有丰富纹理的人)。
以上仅仅是根据本发明该方面的示例性实施方式，其中，自动监视***的机器学习被提供有包含在训练数据中的上下文信息，特别是(但不是强制的)受监督的机器 学习。由此，***学习将在特定上下文中应用的不同模态的最佳组合(或选择)。
例如，这种最佳组合可以被图示为分层的树状结构。图32示出了用于不同空间 和环境(照明)环境80a/80b的这种结构的示例。具体示出了在不同上下文中学习的 分层模型的示例。所例示的示例是从上到下的空间上下文(91、92、93)，其学习用 于之前提到的不同图像区域1-3的不同模型的使用。还示出了从左到右的环境上下文， 其反映了照明上下文，如灯打开80a相对灯关闭80b。注意，代替单个树，树的集合 或森林也可以用于每个上下文。
所示的树结构是自明的。例如，对于区域1 91，在灯80b被关闭的情况下，传感 器40b关闭RGB信息，RGB模态81b将很可能是无用的，并且有可能所学习的模型 将有利于使用IR传感器40a的红外模态81a。可选地并且此处未示出，尽管完全省 略了来自视觉相机的信息，但是可以存在特定的视觉检测器，特别是针对手电筒的检 测而训练的视觉检测器，但是可能没有针对常规人员检测而训练的视觉检测器。另一 方面，该***还将可能获悉在红外模态81a中，在区域3 93中存在恒定的检测，即 使当训练数据不包含针对那里的人的任何注释时-由此没有实现有价值的监视检测。 另一未示出的上下文将是可能的机器学习发现，当外部温度较低和/或加热***实际 被激活时，特别给出这种发现。在后一种情况下，例如夜晚和冬天，***可以得知深 度图像40c(或点云40d)是在该区域3 93的环境中和在冷夜的所述环境环境中用于 检测任务的最佳模态。
在并行结构中，评估来自每个模态的加权贡献，其中，将针对每个上下文学习权重。图33示出其中使用训练数据来调谐多模态融合算法(也称为信息过滤器83)的 这种架构的示例。具体示出了用于传感器融合的加权并行模型的示例。用于监视*** 的不同模态40a、40b、40c、40d的权重82a、82b、82c、82d取决于上下文并且从训 练数据中学习。在该简单示例中，存在用于红外检测器40a的权重因子WIR 82a、用 于视觉相机40b的权重因子WRGB82b、用于深度图像检测器40c的权重因子WD 82c 以及用于点云检测器40d的权重因子WPC82d，这些检测器被组合在信息过滤器83 中，这在该示例中导致1或0的二元判定81，其反映安全警报是否被发出。
其中，权重因子WIR、WRGB、WD和WPC不是作为固定常数学习的，而是依赖于 上下文变量或向量。其中的上下文可以从模态本身的检测器获得，以它们的交叉组合 和/或基于辅助上下文信息或传感器，如恒温器、加热体系的状态、电光***的状态、 环境室内和/或室外光传感器等。
例如，可以对来自RGB相机的图片的亮度、对比度等进行数值评估，并且可以 对其进行训练，使得例如在低亮度或低对比度的情况下，权重因子WRGB将是低的(作 为自包含上下文)，而例如权重因子WIR和/或WD将是主导的(作为上下文的交叉组 合)。实际上，所评估的亮度、对比度等实际上可以不被如此明确地预编程，而是可 以从训练数据中机器学***在暗或低对比度图片上将较低。
在另一示例中，附加地和/或排他地，加热***的开启或关闭状态的外部上下文或来自外部温度传感器的值可被包括在要应用于区域3 93中的IR模态的IR权重因 子的训练数据集中。
通过基于该训练数据的机器学习，模型可以例如学习在区域1 91中，当打开灯时，RGB模态的权重WRGB应该超过深度模态的权重WD等等。
换句话说，本发明的这个方面的可以描述的主要贡献之一是用于自动监视***中的人和/或对象检测的上下文自适应模型。它利用训练数据和机器学习技术，其中， 所提出的算法将学习上下文，例如时空片段或群集，在这些上下文中，使用不同模态 的各种类型的检测器是最适合的。特别地，这些检测器的最佳组合(例如分层、并行 或其它结构)可以根据所提取的上下文中的每一个的数据自动地学习。
图34a例示了具有仓库3的鸟瞰楼层平面图的示例，其中，自主监视***43在 仓库货架之间的走廊中巡逻。该监视机器人43至少配置有可视RGB相机和IR相机。
图34b示出了在夜晚巡逻期间由RGB相机沿箭头方向拍摄的可视图片的例子。 可以假设它描绘了仓库3中的入侵者65，但是当在夜间时，图像具有非常低的亮度 和对比度，因此特别地，自动检测器和/或分类将(如果有的话)以非常低的置信度 在图像中找到人，置信度可能太低而不能发出警报，因为它可能不是人而是仓库3 中的一些随机物品。
图34c示出了在夜晚巡逻期间由IR相机沿箭头方向拍摄的IR图像的例子。其中，示出了入侵者65，并且因此更清楚地检测到图34b的可见图像中的状态，特别是与 环境具有更多的对比度。针对人的检测和/或分类进行训练的自动检测器和/或分类器 将能够在IR图像40a中找到入侵者，这可能具有较高的置信度，这将足以分类为“危 急”并发出安全警报或触发任何其它安全事件。特别地，当IR检测和/或分类基本上 的高置信度与RGB检测(图34b)和/或分类的低置信度匹配时，例如可以通过信息 过滤器83或图32的结构或这些方法的某种组合来识别。根据本发明的这个方面，例 如可以从时钟、从传感器42a、42b，从RGB图像本身等获得的夜间环境是基于包括 关于该环境的信息的训练数据来训练的。
在图35a中，是夜间从仓库内的RGB监视相机拍摄的图像的例子。由于低光条 件，图像有噪声并且几乎没有任何颜色信息。
在图35b中，是在同一仓库和同一时间从IR监视相机拍摄的图像的例子。与图 35a的多兆像素分辨率相反，IR图像传感器的分辨率较低。
在一实施方式中，用于记录多个模态的各种传感器可以全部集成到同一传感器设备中。在另一实施方式中，各种传感器可以被分组为一个或多个独立设备。这些传感 器的全部或子集的位置(特别是在特定的传感器组内)可以是相对于彼此固定的并且 不随时间改变。例如，成像3D扫描器设备(如BLK360)可以包括单个设备(或单 元或传感器组)中的彩色和红外传感器以及激光扫描器。其中的许多传感器实现了它 们的感测能力的特定空间参考，如相机视图的空间参考框架、麦克风阵列的声学参考 基、测距相机或激光扫描器的空间参考框架等。
因此，根据本发明的一方面，这些传感器中的每一个可以相对于设备坐标系或设备组坐标系进行校准，所述设备组坐标系可选地还可以在空间上参考诸如房间、建筑 物或地理坐标的全局坐标系。通过这样的校准，感测到的状态数据可以跨多个模态匹 配，例如具有从不同传感器到公共坐标系的感测的固有变换。例如，可以基于从一个 传感器图像坐标系到该设置的任何其他传感器的图像坐标系的非本征和本征校准参 数或几何变换来建立这样的校准。换句话说，例如可以由此建立由两个或更多个不同 传感器记录的像素信息到像素对准的公共图像参考帧的投影，特别是也可以跨越不同 的分辨率和/或模态。
在图36a的示例中，示出了来自仓库中另一位置处的RGB监视相机在夜间拍摄 的图像，例如由巡逻仓库或者由于在建筑物的该部分中检测到不寻常的夜间噪声而自 动命令到该位置的移动监视机器人拍摄。除了所示场景可能是异常的事实之外，所示 RGB图像不包括很多有价值的信息。仅有一些炫光以及一些炫光导致的镜头光晕可 见，其中不能获得对进一步分类该潜在安全状态有用得多的信息。
除了RGB监视相机之外，移动监视机器人还配备有布置在RGB相机正下方的 红外相机或热成像器。每个相机具有并排布置的单独物镜，因此具有不同的视场和视 点，还有具有不同像素分辨率的传感器。
在图36b的示例中，示出了红外相机的视图。根据本发明的这个方面，相机图像36a和36b中的至少一个被提供给被配置用于图像处理的计算单元。该计算单元建立 至少一个图像的虚拟变换，以建立来自不同相机的两个图像的基本像素对应，使得在 处理之后，所得到的图像中的物品优选地在两个图像中的相同位置处是像素精确的。 在高级实施方式中，计算单元可以被配置为获得四通道图像(该四通道图像包括来自 第一RGB相机的三个R-G-B通道以及来自IR相机的IR通道)，或者获得具有针对 所有四个通道的单个参考帧的单个图像或数据集。因此，例如通过包括附加的深度通 道(如来自范围相机或激光扫描器)、包括映射到2D图像的空间声像信息等，可以 将该方法扩展到相同图像中的其他模态和/或多于四个通道。
例如，在本发明的实施方式中，可以建立提供5通道图像或视频信息的监视设备，该5通道图像或视频信息包括来自相机的红色、绿色和蓝色通道的二维像素阵列，加 上包括来自IR照相机的二维像素阵列的第四IR通道，加上包括来自范围照相机的范 围信息的第五深度通道像素阵列，该范围照相机的范围映射到图像的强度信息。根据 本发明的这个方面，三个模态(图像、IR和深度)中的所有模态都被映射到单个5 通道图像或数据集，优选地以这样的方式映射，即模态以这样的方式组合，即这些阵 列中的每一个的像素在空间上对应于其它阵列的像素。根据本发明，这样的4个、5 个或更多个通道图像然后可以被用作本文中讨论的机器学习的数据集。通过利用这种 空间上已经匹配的数据的多模态四个或更多通道，可以改善多模态检测和/或分类中 的机器学习结果，例如，因为模态的相互依赖性将在训练和应用数据(以真实世界数 据和/或合成呈现的人工数据的形式)中隐含地给出。特别地，这使得能够使用在图 像处理领域中已经很好地建立的相同方法、算法和人工智能结构，以及除普通RGB 图像之外的其它形式。
在实施方式的示例中，代替RGB表示，可视图像可以被拍摄或变换为公知的HSV(色调、饱和度、明度)表示或HSL(色调、饱和度、亮度)表示。可以主要省略 饱和值，因为在监视应用的当前情况下，特别是在夜间，饱和值通常不包括很多有价 值的信息。其中的饱和通道可以例如由来自激光扫描器或范围相机的距离通道代替或 替换，从而产生三通道HDV(色调距离值)图像。在另一实施方式中，饱和度也可 以由IR通道或另一模态代替。如前面所讨论的，这优选地通过对一个或两个信息的 相应变换来实现距离和图像信息的像素精确匹配。这样的HDV图像可以例如以与机 器学习、评估、人工智能***中的普通HSV或RGB图像相似或甚至相同的方式来处 理。根据本发明的这个方面，监视应用可以通过使用HVD图像而不是HSV或RGB 图像来获得改进的检测结果。此外，可以减少数据量，因为只需要三个信道而不是四 个信道。
图37a至图43b涉及具有机器学习检测器和/或分类器的监视***。
图37a示出根据本发明必须使用监视机器人43来保卫的建筑物3的一部分的示例。这里所示的主建筑部分50主要是房间，门51、51a、51b(作为建筑物构件的例 子)通向这些房间，这些门在夜间必须关闭。
在图37b中示出了图37a的标记的子部分，其中示出了移动监视机器人43的示 例，该移动监视机器人43包括相机40b以及固定(但可能可倾斜和/或可由马达转动) 监视相机40a。在实际实施方式中，可以存在这些监视设备中的一个或两个。通过观 察走廊，可以自动检测和分类安全威胁。在该示例中，特别地检查门。
图38a示出了相机40a可以拍摄的照片的示例，示出了门51b处于所需的关闭状 态和正常状态，特别是在夜间。
图38b示出了可由相机40b拍摄的照片的示例，示出了处于异常的部分打开状态的门51a和将由监视***检测并分类为潜在的危急状态的潜在安全事件。
图38c示出了相机40b可以拍摄的照片的另一示例，示出了处于正常状态的门51a。但是，在门51a旁边的地板处仍然存在障碍物60，该障碍物是异常的，并且是 将被监视***检测和分类的潜在安全事件。根据本发明的这个方面，存在的障碍物 60的检测状态可以被分类为仅仅是普通的膝上型电脑包60，其被已知的工人忘记。 该***可以在其中自动地评估在当前位置处的该包60不符合危险的安全警告的资 格，但是可以例如仅产生低级安全警告或简单的日志条目。在另一实施方式中，这种 评估可被编程或训练成被不同地分类，例如在无人照管的行李可用于炸弹攻击的公共 场所，或者例如如果包60的位置在必须保持无阻碍的逃生路线上，或者例如在这种 包60不可能被忘记(例如从天花板悬垂)的位置处检测到包60。但是在该图片示例 中，左侧的防火门51b显示为打开，一旦检测到该事件并将其分类为导致危急状态， 则需要启动进一步的检查和校正动作。
如上所述，本发明可以通过人工智能***建立这样的安全状态的检测和/或分类，所述人工智能***已经被训练以在来自监视***的一个或多个传感器的数据中找到 和识别这样的状态，所述监视***包括诸如40a、43等的设备。
具体地，可以建立机器学习方法，具体包括分类器和/或预训练方面的检测器。 在许多实施方式中，像RGB图像、深度图像、IR图像等的视觉或可视觉化传感器数 据被用作传感器，尽管当前讨论的方面也可应用于任何其他监视传感器数据信息。例 如，图像内容可以在向量空间中表示为例如Fisher向量(FV)或本地聚合描述符的 向量(VLAD)，并且使用各种分类技术来分类，例如支持向量机、决策树、梯度增 强树、随机森林、神经网络(包括深度学习方法，例如卷积神经网络)以及各种基于 实例的技术，例如k最近邻居、US2015/0178383、US2017/0185872、US2017/0169313。 为了在较大场景中检测和/或定位对象，可以使用提出方法的区域变体，例如滑动窗 口/形状、R-CNN变体、基于语义分割的技术等。在对象检测和识别中，可以直接使 用诸如热图像和尤其是深度图像的附加模态，例如滑动形状或作为附加图像通道。
如别处所述，这样的***需要训练数据，优选地用描述训练数据的内容的元信息来注释或标记，以便教导该***。根据本发明，这样的元信息可以包括反映在传感器 数据中的项的基本类别的信息，例如作为用于分类的类别的门或包，但是也可以包括 子类别和其他元信息，例如包的特定类型、大小、颜色直至关于物理约束的信息，所 述物理约束对于这样的包是常见的，例如放在地板上或椅子或桌子处、由人携带等。 那些元信息也可以在训练阶段期间被学习，例如在一种监督学习中，其中元信息被用 作获得监督信息的基础。在其他地方讨论的本发明的其他实施方式中，也可以使用半 监督或无监督学习方法，特别地，也可以使用用于监视***中的不同机器学习方面的 无监督、半监督和/或监督学习方法的组合，例如，取决于用于监督的数据和/或算法 是否可用于某个方面。
检测到的真实世界对象可以例如被分类为特定对象，被分类在一个或更多个特定对象类内和/或符合或包括其他对象特定属性和/或对象相关元信息。例如，这种自动 检测和分类可以由包括检测器和/或分类器的计算单元或处理器来完成，来自相机的 数字真实世界图像被提供到该检测器和/或分类器。基于该信息，可以应用算法(例 如，人检测算法等)，并且其可以检测特定状态，如人存在、门打开等。
结合在此呈现的方面中的一个或更多个(但其自身也被视为特定发明)，本发明的这个方面旨在提高监视***中的自动决策过程中的概括能力。本发明涉及通过合成 产生或合成增强训练数据来增强用于这种自动决策的训练集，例如实现为神经网络。
除了训练状态和场景的可能性不能用合理的努力来重新实现之外，这样的合成数据还可以包括附加的优点，即一旦实现了生成函数，就可以在此基础上生成任意数量 的样本。然后，合成样本可用于准备决策者，特别是也与实际数据样本一起。
另一个大的优点在于，在至少部分地合成生成的方法中提供与每个训练数据相关的相应元信息更简单。尽管在训练基于真实世界图像的***的情况下，操作人员通常 必须手动地对训练数据进行分类，例如定义该数据实际显示的内容，如果该数据是正 常的或异常的，如果要施加某些限制等。在至少部分地合成生成的训练数据中，数据 的这种分类和/或标记也可以是自动的，如从生成数据的模型中清楚地看到的，在优 选地从模型自动获得的当前数据实例中示出的，至少针对大组合成生成的数据。
例如，给定任务是确定某物是正常(例如安全门在晚上关闭)还是异常(安全门 打开)的应用，在真实世界环境中捕获的训练样本的预期分布通常向(关闭门的)正 常情况转移。收集异常情况的样本可以付出巨大的努力，例如必须以各种方式改变安 装以反映实际可能发生的合理的多个不同异常情况。对于高安全区域(即，监狱、军 事区域、核电厂等)中的特别危急或高风险应用，甚至几个异常数据样本的收集可能 是过度危险的或甚至是不可能的。然而，特别是在这样的应用中，非常希望成功地检 测那些事件(即使在训练过程中实际上不能观察到这样的数据)，至少在所采集的不 同训练样本的分布中没有合理的百分比。
与之相反，根据本发明该方面的合成样本可以在异常状态的各种实现中自由生成，以帮助决策者、自动状态检测或危急程度分类装置进行其决策。例如，虚拟样本 的这种合成生成允许为安全事件的异常状态生成与正常状态的那些相同量的训练数 据。
例如通过图像的数值呈现或来自计算机模型的其它数据虚拟生成的任务专用合成数据不仅具有可以合成生成难以获得的数据的优点，而且具有数据收集努力相对于 期望数量的样本基本上是恒定的优点。收集数据的常见现有技术方式是前往所讨论的 对象，并在具有不同照明、具有部分障碍物等的不同对象状态下广泛地记录数据，特 别是从不同的观点来看。由此创建的数据量与记录所花费的时间和修改场景以反映不 同对象状态所花费的努力直接相关。
这对于根据本发明的这个方面的合成创建的数据是非常不同的。必须尽力创建生成函数、模型、参数修改策略等。然而，一旦完成，可以自动生成用于训练的任意数 量的数据样本(异常的以及正常的)，而无需额外的人工努力。例如，高性能计算或 服务器基本上可以基本上无人看管地建立这种训练数据生成。这在迁移学习法中特别 有用。
在下文中，在这里讨论的自主安全巡逻机器人的示例中介绍了本发明的多种使用情况，但是本发明的这个方面不仅适用于移动单元，而且适用于固定设备。第一个用 例是高风险应用的异常检测。考虑仓库的监视任务。自主安全代理采取预定义的路线 并报告沿途的状态或异常。路线可以例如是预定的巡逻路线或由从训练数据学习的安 全代理自动获得的路线(例如，目标是覆盖所有仓库或至少可能关键的建筑物构件， 如门、窗等)和/或可以是基于从其它传感器检测到的异常的事件驱动的，或甚至是 由自主导航单元获得的主要随机路径。在这种情况下，异常的示例可以是打开但应该 关闭的门或窗、不应该在那里的人或错放的物品(即，阻挡走廊的盒子)等。为了通 过自动***精确地检测任何这些异常，对于每个不同的子任务(人、门或放错位置的 物品检测)，在尽可能多的变化和组合中需要大量的数据，以在训练数据中具有合理 的多样性。
数据样本的至少部分合成生成的创造性方面可以带来优于仅仅手动现场记录的优点。例如，如图3所示，可以根据需要来改变和修改采集对象在这种合成模型(如 计算机上的对象的数字3D模型)中的表示。特别示出的是门的数字3D模型的例子， 例如在CAD软件中表示的。对于使用监视***的视觉相机图片进行检测和分类的说 明性示例，数字3D模型可以由计算单元数字地呈现，以综合地生成门51的多个人 工图像作为训练数据，例如如图39b所示的。
在训练数据的生成中，存在许多可以改变的参数，诸如视点62和/或照明63。因此，可以合成整个系列的虚拟或合成训练数据，在许多情况下反映门51，因为它们 实际上也可以出现在相机图像中。除了例如视点、光线和阴影的变化之外，还可以修 改对象本身的参数，例如其打开阶段、材料、颜色、尺寸、比例。所有或至少大部分 可以由计算单元在基本上无人值守工作流中自动完成。由此，如上所述，不仅可以自 动生成单独的合成训练数据，而且还可以通过自动生成指示每个训练数据的内容的元 数据来自动处理训练数据，该元数据然后可以用于每个训练数据的分类或训练在该元 数据中反映的那些方面中的特定方面。例如，数字呈现的图像64a、64b、64c至64n 反映了上述门51的3D模型的不同变型的一些示例。计算***可以生成数千个和更 多个这样的训练数据项，其根据本发明的这个方面被用于训练根据本发明的安全系 统。例如，通过已用如图3所示的虚拟训练数据训练的***来自动评估图2a、图2b 或图2c的真实世界相机图像。计算***不仅可以产生静态场景，而且可以产生待检 测和/或分类的事件的安全相关过程的序列或场景。
门51(尤其是关键的门)可以被建模为打开或半开，并且从许多不同的视点虚 拟地记录，而不必冒实际物理地打开真实门的风险。该合成生成还可以帮助克服所获 取的真实世界数据样本的分布朝向正常闭合状态的偏差。由于未关闭的门的异常在真 实世界中是非常罕见的，可以预期真实世界数据采集将仅导致非常少的样本(除非实 质上投入更多努力来手动创建具有比自然发生的更高丰度的这种异常)。然而，对于 合成数据，可以根据需要任意设置分布以实现训练有素的分类器和/或检测器。
在实施方式的另一示例中，考虑这样的情况，监视机器人配备有多于一个的如本文所讨论的不同监视传感器，特别是例如RGB相机和深度传感器。这种多模态检测 ***通常使用来自每个可用传感器的信息，并组合或集成所述数据以产生比仅考虑单 个传感器时更多的信息决策。然而，多模态***首先必须学习如何解释(有时甚至是 矛盾的)来自那些不同传感器的信息。必须从收集的数据推导正确的解释。为了防止 学习过程中的过度拟合，附加数据在许多实施方式中可以是有帮助的，以便实现更现 实和更鲁棒的结果。例如，不是直接有价值的并且用于在实际预期用途的方向上训练 分类器和/或检测器的附加数据(诸如噪声、干扰等)也可以例如随机地附加到训练 数据中。因此，分类器和/或检测器可以被调谐到真实世界中实际可用的传感器的更 现实的读出机制，也解决真实世界传感器的潜在缺陷、偏差和故障。这样的附加数据 可以从真实世界传感器获得和/或可以被模拟。根据本发明该方面的合成数据创建可 以用于这种场景的有用工具，其中大量需要多模态输入数据。此外，在这种合成数据 创建中，可以自由地设置传感器关于彼此的配置和校准，并且如果需要也可以改变。
在上述示范性仓库环境中的门状态检测的示例中，利用RGB和深度传感器配置，本发明可以实施如下。在3d建模软件中，可以利用作为门的虚拟模型而包括的期望 的被监控对象来创建仓库的环境。因此提供的脚本机制可以被配置成提供在过程上改 变所讨论的对象的外观的能力。这可以包括例如由于材料特性(即金属表面、木材或 塑料)的视觉外观、照明配置、用于捕捉仓库场景的传感器的视点和视锥(frustum)。 在此基础上，在创建照片真实感渲染图像时可以应用物理上正确的材料。例如，可以 使用光线跟踪从模型推导场景的RGB通道和深度，以创建类似于深度传感器捕获的 数据。这样的深度图像可以通过测量或计量仪器，例如通过使用RIM相机、激光扫 描器、结构光扫描器、立体成像单元、SLAM评估等，作为真实世界图片而获得。 对于训练，这种深度图像也可以通过已知方法从虚拟数字3D模型再现，类似于已经 描述的2D图像的再现。特别地，本发明可以与2D和/或3D图片和图像的组合一起 工作，以完成用于自动检测和/或分类的信息。这种3D信息的另一选择是使用合成产 生的点云数据，直接或获得其深度图像。可选地，还可以向一个或几个传感器添加人 工噪声。例如，对于深度传感器，可用范围可以用被模拟并添加到该范围之外的随机 噪声来人工定义，该噪声甚至可以根据需要以适当的分布来确定。以这种方式创建的合成数据以适当和可定义的量反映了被编码的所有变化，并且由此可以在训练之后产 生比通过纯真实世界训练可实现的分类器更鲁棒的分类器。
同样的方法原理也可以推广到其它模态和传感器数据。例如，来自IR相机传感 器的数据可以以类似的方式通过基于模拟的体温给予人不同的纹理外观来合成地生 成，并由此通过如图40a的平面图中所示的移动监视单元43虚拟地生成工厂大厅3 中的入侵者65的热图像66。其中，例如可以相应地模拟不同的衣服以吸收一些模拟 的体热，从而产生可用于训练的合理的数据样本。例如，图40b示出了由计算单元根 据图40a中所示的数字模型进行数字渲染的人的虚拟合成生成的IR图像的实施方式。 根据本发明，可以在此基础上通过改变数字模型中的照明、姿势、人、衣服、环境、 视点等来生成多个这样的合成生成的IR图像66，其中，该改变优选地由计算单元例 如根据子例程脚本自动进行。这种附加信息可以例如以附加“通道”的形式表示在图 片和/或图像中，除了例如可见图像或图片的红/绿/蓝(RGB)、色调/饱和度/值(HSV)、 色调/饱和度/亮度(HSL)或色调/饱和度/强度(HSI)通道之外，该附加“通道”也 在检测和分类中被考虑。然后，在这种合成产生的IR图像66上训练的自动检测器和 /或分类器能够以高置信度对入侵者进行检测和/或分类。
在根据本发明的另一特定实施方式中或在与前述方法的组合中，存在基于数字3D模型本身的检测器和/或分类器的直接训练，而不显式地渲染图像并将那些渲染的 图像提供为训练资源。例如，3D模型本身(例如以CAD数据、点云数据、网格数 据等的形式)被馈送作为训练输入。作为示例，图像的向量表示可以直接从3D模型 或其处理的表示(例如体素网格)来近似。另一种可能性是使用特征预测器的技术， 该特征预测器利用定义的透视和照明描述，利用本地几何和材料信息来预测特征子 集。而且，类似的技术可以用于将已经存在的图像内容的表示增强到例如适当地模拟 过程的噪声或模拟在不同环境中观察到的对象。对于这种方法，尤其可以使用深度学 习方法，例如包括神经网络。例如，在训练这种神经网络时，可以从3D模型直接激 活第一隐藏层，并创建从该对象的真实图像预期的响应。在真实世界数据的现场分类 中，这些第一层由基于真实世界图像的一个或更多个层代替。例如，可以使用合成 3d模型和真实世界图像数据的组合来微调新层与旧网络之间的连接。
如图41中的场所3的平面图所示的根据本发明的该方面的方法的实施方式的另一示例是来自不同的安装的传感器(例如监视相机40a、40b、40c)的对象监视。其 中，每个相机40a、40b、40c只能观察监视覆盖的整个场所、财产、建筑物、构件或 对象的有限(有时甚至是固定的)部分。例如，通过用于人的适当的自动检测器和/ 或分类器，这样的相机40a、40b、40c中的每一个可以为走过相机的视场的每个人创 建本地轮廓。组合地，这种包括多个相机40a、40b、40c的***可以自动地跟踪，获 得和分析每个人的轨迹67a、67b、67c，优选地其中，该人也被分类为某个人或属于 某个类别或属于某个类别的人。基于这样的轨迹67a、67b、67c，可以通过人工智能 ***自动提取和/或学习人的共同行为。除了空间和/或图像信息之外，这种方法尤其 还可以包括训练数据中的时间信息。这也称为合成产生的场景或序列，其可用作根据 本发明的监视***中的检测器和/或分类器的训练数据。
例如，正常轨迹67a总是在建筑物的入口门处开始并继续到人的办公室，然后通过轨迹67b到达咖啡室、休息室或另一办公室并返回到自己的办公室。稍后，如轨迹 67a所示，建筑物再次通过主入口门离开。
在这种情况下，自然约束防止出现不切实际的轨迹67c，例如在没有使用楼梯或电梯的第二楼层中看到的轨迹。然后，自动决策器或分类器可以分析轨迹并检测这些 轨迹是正常的还是异常的，将它们分类为危急的或不是危急的，并且如果必要，则决 定触发一些动作。
然而，因为可能发生传感器故障，或者仅仅是由于防止检测到人的遮挡，所以许多轨迹可能是不完整的，如在所示的例子中，其中在楼梯处没有相机。为了使决策系 统判定被部分观察到的轨迹是正常的还是异常的，需要一大组标记数据，例如利用监 督式机器学习方法。同样在这个实施方式中，根据本发明的这个方面的合成数据可以 应用以获得优点，特别是考虑到不仅使检测和分类自动化，而且使因此使用的检测和 分类单元的训练自动化。
首先，如上所述的虚拟场景可以容易地通过合成建模以及可选地还通过对来自真实世界观测的合理轨迹进行采样来创建和模拟。传感器故障、部分阻塞等可以通过在 建模中省略采样轨迹的一些部分而自然地并入其中。除了那些正常场景之外，还可以 存在从包括异常的模拟获得的异常场景，例如可能的入侵者的轨迹67c等。例如，这 种异常星座可以通过谨慎地禁用模型中的一些自然约束来生成。这可以包括类似模拟 轨迹67c的相机视图的事物，该轨迹67c拾取第二楼层中的人，而该人没有通过大门， 因为他通过窗户进入建筑物。因此，在这种危急状态发生之前，自动状态检测***能 够在构成异常轨迹67的监视数据中预先学习其结果特性，这例如允许监督分类器专 门学习分类和/或检测这种状态。这可以包括迁移学习，但是根据本发明，也可以从 数字模型合成地生成虚拟传感器数据，以用作针对实际场所定制的训练数据。
例如，可以从虚拟模型合成生成的办公室位置处的这种状态模式或事件序列的另一实施方式可以包括以下事件：“开门”事件、“开灯”状态和“开启PC”事件。在 早晨或白天的情况下，这种模拟状态模式被机器学习为是正常的。在夜间，这可能相 当罕见，但是考虑到某人加班工作等，这也可能是不重要的。但是，例如没有“开灯” 事件的上述序列在白天也是不危急的，但是在夜间，这可以被机器学习为危急状态， 因为很可能是窃取数据的窃贼。
换句话说，在一个实施方式中，不是状态本身可以被认为是危急的或不是危急的，而是包括多个检测(以及可选地还有上下文数据)的状态可以被定义以被分类为危急 的。可选地，它还可以被训练为自动触发某个动作和/或哪个动作对于某个危急状态 是足够的。检测到异常仅意味着在所感测的数据中存在从常规数据转移的显著偏差， 但是这不一定意味着这在本上下文中是危急的，因此建立了整个状态的分类。
在状态检测中，基于应用算法在感测的勘察数据中(如在图像或视频流中)检测特定状态，如通过人检测算法的人存在的状态、门打开的状态(例如，通过相机或通 过门开关等)。
基于一个或更多个状态的组合，可以建立危急或非危急状态的分类，但是在许多情况下这也取决于上下文数据，例如建筑物中的位置、时间、楼层等。在状态是危急 的情况下，必须执行动作，例如呼叫警察或消防队等。这种动作可以由***自动启动， 或者在中央安全公司中工作的操作者确认之后启动。非危急状态可以被忽略，但是无 论如何可以例如以状态信息、状态的实际图像及其分类、日期、时间等的形式被记录 到监视存储***。这种日志数据例如可以用于微调根据本发明学习的检测和/或分类 算法。
作为另一个例子，根据本发明的本方面，可以人工地产生在上午3：15的状态“打开房间03中的窗户(第一层)”、状态“房间15的门打开”，但是没有状态“房间15 中的灯打开”，并且其结果状态可以对分类器进行训练以被分类为需要动作的危急状 态，如其指示入侵者。
非危急状态的例子可以是人通过主入口进入建筑物的序列(开门状态-门01)，走到办公室门，打开办公室门(在门01后大约23秒，开门状态-门12)，开灯(在门 13后大约2秒，打开电源事件)，走到桌面，开启PC(开灯后大约10秒，开机事件) 等。
除了原始监视传感器数据之外或作为原始监视传感器数据的替代，这些事件模式也可以合成地生成或模拟地生成，例如手动地或基于自动过程。手动意味着人正在执 行规定的过程(打开门，在一天的某些时间打开灯等)，然后捕获并标记所得到的状 态模式，例如作为非危急状态。定义的变量或环境条件中的程序的半自动修改可以自 动地进行以获得训练数据中的更大可变性。而且还实现了合成状态模式的自动过程， 例如，基于以下项：基于规则的***、基于专家知识、专家***等。
根据本发明，例如基于规则的专家***可以合成地模拟这些状态，以便产生用于训练的虚拟训练数据。在监视建筑物安全性的同时对真实世界数据的评估中，可以直 接从物理设备(例如，在智能家居环境中，通过来自PC的日志文件、通过服务器或 网络等)获得诸如“打开灯”或“打开PC”的事件。另选地，这样的真实世界数据 也可以间接地获得，例如通过监视市电电源(等)处的功率消耗并且自动检测由灯和 /或计算机处理的电功率消耗中的变化事件。例如，可以在来自中央功率计的读数中 检测通电事件，该中央功率计测量整个建筑物、楼层中的功耗，或者借助于用于房间、 插座等的功率传感器来检测通电事件。
可选地，功率消耗等的这种监视可以包括功率消耗中的特定变化的(潜在)原因的自动识别，其也可以基于真实和/或虚拟训练数据而被机器学习，以建立这种变化 的自动检测和优选地分类。
在本发明的这一方面的一些常见实施方式中，机器学习可由术语“监督学习”表示，因为3D模型包含或链接到可用作监督信息(例如，定义待学习以用于识别或分 类的合成对象的类别和/或合成对象的位置或边界框以用于其检测等)的元数据。在 许多实施方式中，本发明可以利用传统的机器学习方法(在所谓的“浅层学习”的上 下文中)、特别是例如随机森林、支持向量机，因为存在预定义的特征、描述符、标 记和/或特征向量，优选地与数字呈现的学习源一起定义为元信息，特别是以自动方 式。其他实施方式可以至少部分地实现所谓的“深度学习”方法，生成对手网络(GAN) 或其他人工神经网络(ANN)等。
人工训练数据生成可以在计算***上实现，或者在大多数真实世界水平上，通过将相应相机图像的渲染实际模拟为从场所5的数字3D模型获得的训练数据，但是也 可以在抽象水平上实现。类似地，通过模拟平面图内的抽象轨迹，该抽象轨迹被训练 用于对从被配置为检测人的另一检测器和/或分类器获得的人轨迹67(也至少部分地) 进行工作的检测器和/或分类器为每个人获得这样的轨迹67，并跟踪该数字以及在该 场所的人的进出，换句话说，该***的实施方式是用抽象的轨迹而不是相机视图训练 的。
应用于图41的示例，示出了办公大楼的这种监控，其中，示出了在房间之间移 动的人的示例性轨迹67a、67b、67c。产生虚线轨迹67a的人在前往他/她的办公室之 前通过大门68进入建筑物。同一人随后沿67b访问另一房间。造成没有被观察到点 划线轨迹67c的人通过大口68进入建筑物。该人可能是使他/她通过窗69的可能入 侵者。如上所述训练的分类器被配置为识别这样的状态并自动产生特定的警报或动 作。
用于说明本发明的这个方面的另一个示例性实施方式是训练数据集的正常性示例的合成处理以也包括异常，其中，训练数据集可以是真实世界数据集或合成生成的 数据集以及它们的组合。这可以例如包括人的检测，其中，真实世界或模拟的人的图 像以至少部分地遮挡人的面部或身体的方式自动地改变，这可能是佩戴面罩的入侵者 的情况。通过自动改变训练数据被干扰的量和方式，可以处理所得分类器的鲁棒性和 /或可以避免不期望的过度训练。
例如，如图42所示，示出了损坏窗71b的潜在安全状态，因为它可以由窃贼造 成。对于这种状态的检测器和/或分类的训练，仅仅为了获得训练数据图像以让自动 检测单元43学习这种状态就物理地破坏建筑物处的窗户是不合理的。
该实施方式不仅可以基于被打破的窗户的可视图像来学习，而且另选地或附加地还可以基于热图像66b来学习，例如由于通过窗户中的孔的热(或冷)空气将存在温 度变化。这样的热图像还可以应用于不完全关闭的门或窗，因为它们将规则地导致具 有不同温度的空气的通风，这可以在热图像中显现。根据本发明的这个方面，这样的 热训练图像可以基于仿真模型来训练，该仿真模型容易允许内部和外部温度的大范围 和组合的仿真，其几乎不能通过拍摄真实世界热图像来反映，或者其将需要在许多季 节期间的长时间拍摄。根据本发明的这个方面，被破坏的窗口的视觉和/热图像是人 工生成的，例如数字地再现或增强到真实世界图像。其中，可以产生具有用于不同环 境条件(例如照明、颜色、纹理、玻璃类型、…)的参数的大范围的这种视觉和/热 图像，而无需太多努力。然后将那些虚拟生成或增强的图像用于训练检测和/或分类 单元，例如在监督学习方法中。所得到的检测器和/或分类器然后可以由监视检测器 加载，该监视检测器由此被配置成基于由自动建筑物或财产监视检测器拍摄的真实世 界照片来检测和/或分类这样的安全事件，该自动建筑物或财产监视检测器已经专门 针对这样的事件的虚拟生成的视觉(或热)外观进行了训练。在另一示例中，不训练 特定窗71a，而是在广义的大范围内使用包括许多不同变体中的碎玻璃的虚拟生成的 训练数据来训练碎玻璃的一般方面。因此，例如，门51中的碎玻璃也可以被自动地 检测和分类，并且也可以被训练为这样的碎玻璃通常涉及必须向安全和/或服务人员 指示的状态，并且这样的状态在夜间发生时将被分类为危急的并且需要触发动作。
如图43a所示，在一个可能的实施方式中，合成训练数据的生成可以通过组合多个虚拟对象来建立，优选地以多个不同的组合，其中，虚拟对象本身是变化的，在不 同的照明条件下，具有有意引入的干扰等。例如，可以有一个或更多个背景70r，作 为3D模型或作为2D图像，特别是安全***将被安装到的特定场所的图片。那些背 景也可以改变，例如通过模拟白天和夜晚等。该图还示出了扰动70f，例如在建筑物 前面生长的草。在该示例中，还有人70p。
在图43b中，示出了根据本发明该方面的合成生成(渲染)的训练图像的两个示例。上部图像64n示出了被标记为正常或不危急的正常示例，并且对于该正常示例不 应当发出报警。存在前景70f、待测量的建筑物70r的背景和天空以及人70p。当人 70p被建模为在到建筑物70r的常规路径上的途中时，这样的渲染被训练为正常状态。 因此，可以利用人70p在不同位置，利用不同的人70p在白天和夜晚等再现该呈现。
在下部图像64n中，合成是基于相同的对象的，但是人70p试图爬上建筑物并通 过窗户进入建筑物。这被训练为高级危急安全状态，需要立即动作。
换句话说，可以通过建立合成预训练检测器和/或分类器来描述本发明的实施方式，所述合成预训练检测器和/或分类器是通过从2D模型和/或3D模型获得多个数值 绘制并将这些绘制作为训练资源馈送给分类器和/或检测器的监督学习来建立的。其 中的渲染可以包括至少一个要训练的关注对象，优选地嵌入在虚拟生成的真实环境 中，特别是来自多个不同视图和/或不同照明条件和/或环境条件。从而用虚拟信息训 练通用分类器和/或检测器。
在本发明的这个方面的可选的进一步阶段中，这样的通用分类器和/或检测器可以另外由真实世界图片进行后训练。这不仅可以在初始训练阶段进行，也可以在分类 器和/或检测器的现场使用时进行。例如，应用了该检测器和/或分类器的真实世界图 片可以用作增强检测器和/或分类器的附加训练资源，例如以提高其真实世界成功率， 特别是使用被检测到状态和/或被分类了危急状态的真实世界图片。这种真实世界信 息尤其有利，因为通常存在用户或操作者可用的反馈，其确认或校正应用于该真实世 界图片的自动检测器和/或分类器的结果。这种反馈可以用作元数据和分类信息，用 于学习和建立先前学习的检测器，分类器或人工智能体系的学习的改进。真实世界图 像实际上包括典型的现场环境条件，因此这样的数据对于基于针对实际环境和/或任 务的特定检测器和/或分类器的数字呈现的信息来改进通用训练是非常有价值的，从 而可以提高其可靠性。
虽然上面部分地参考一些优选实施方式说明了本发明，但是必须理解，可以对实施方式的不同特征进行许多修改和组合。所有这些修改都在所附权利要求的范围内。
标记列表
1-设施监视***
2-中央计算单元
3-设施(模型)
4-监视传感器
5-建筑物构件
6-状态推导装置
7-分类模型
8a、8b、8a'、8b'-状态模式类
9a、9b、9c、9c'、9c”-状态模式
10-连接
11-邻域关系
12-拓扑或逻辑结构表示
13-开始概率
14-互连概率
15-输出概率
16-隐马尔可夫模型
17-输入层
18-隐藏层
19-输出层
20-神经网络
21a、21b-神经网络的层单元之间的权重
22、23、24-层神经网络单元
25、25a、25b、25c-分类(子)模型
26a-监视数据
26b、26c、26d-监视或数据库数据
27a、27b-状态
28、28a、28b-分类结果
29a、29b、29c-监视图像
30-分类模型
31-分类状态模式
40a、40b、40c、40d、41、42a、42b-监控传感器
43-移动监视机器人
50、50a、50b、50c、51a、51b、51c、51d、52a、52b-设施构件
53、60–包、障碍物
62-视点
63-照明
64a、64b、64c至64n-渲染图像
65-入侵者
66、66b-IR图像/热图像
67a、67b、67c-轨迹
68-正门
69-窗
70-箭头
70f、70p、70r、70t-图像元素
71a、71b-窗
80a、80b-环境上下文
81a、81b-模态
82a、82b、82c、82d-模态权重
83-多模式融合算法
90、91、92、93-上下文信息(区域)
100-监视机器人
100a、100b、100c-机器人部件
101-中央计算机
102-设施
103-监视***
104-监视传感器
105-盒
106、107、108-门
108a-监视数据
109-箭头
110、111-监视传感器
112、113-监视方法步骤
114-状态
115-状态模糊/不确定性
116、117、117p、117e、118-监视方法步骤
119-视场
120-触发动作
121-门框
122-测量信号
123-门扇
124-视场
125、126-箭头
127-喷嘴
128-油漆
129-紫外光
130-指示动作的箭头
131-扰动对象
150、151、152、153-设备室160–打开
200-地面-空中传感器监视***
210、210a、210b-无人地面车辆(UGV)
211-UGV外壳
212-UGV轮
213-UGV传感器
214-UGV凸起
215-UGV数据交换模块
216-UGV充电站
217-UGV电池
218-UGV计算单元
219-UGV无线电通信模块
220、220a、220b、220c-无人机(UAV)
222-UAV旋翼
223-UAV传感器
224-UAV腿
225-UAV数据交换模块
226-UAV电池
228-UAV计算单元
229-UAV无线电通信模块
230-UGV可扩展抽屉
235-盖
251、252-数据交换
260、265-视场
270-入侵者
280-搁板
282-壁
283-位置
290-激光***
291-回射器
292-激光束
295-高斯
301-状态
302-计算单元
303-状态过滤器
304-初始指派
305-危急状态类
306-警报
307-非危急状态类
308-无自动动作
309-不确定状态类
310-操作者
311-反馈信息
312-反馈回路
313-双向共享
314-整体模型
315-更新管理器
316-状态检测器
317-全局状态过滤器
318-全局检测模型
319-监视数据
D、D'、D”-偏差度
Fa、Fb、Fc、Ra、Rb、Rc、S-隐马尔可夫模型16的元素
P10、P20-监督数据采集位置
Claims (15)
1.一种对设施(102)进行监视的监视***(103)，所述监视***(103)包括：
监视机器人(100)，所述监视机器人具有主体(100b)、驱动***(100a)以及对所述监视机器人(100)的动作进行控制的动作控制器，
所述监视***(103)还包括：
·至少第一监视传感器(110)，所述第一监视传感器被设计成获取所述设施(102)的至少一个对象(105-108、150-152)的第一监视数据，
·状态检测器(100c)，所述状态检测器被配置成基于所述监视数据来检测与所述对象(105-108、150-152)相关联的至少一个状态(114)，
其特征在于
所述状态检测器(100c)被配置成：
·注意所述状态(114)的状态模糊(115)，特别是通过与预定的模糊阈值进行比较，以及
·在注意到所述状态模糊的情况下，由所述动作控制器触发所述监视机器人(100)的动作(117、120、130)，所触发的动作(117、120、130)被适配为生成关于所述对象(105-108、150-152)的状态验证信息，所述状态验证信息适于解决所述状态模糊，以及
·考虑所述状态验证信息来解决所述状态模糊。
2.根据权利要求1所述的监视***(103)，
其特征在于
所述状态检测器(100c)还被配置成规划要触发的动作(117、120、130)，使得关于验证信息的生成来优化所述动作(117、120、130)。
3.根据权利要求1或2所述的监视***(103)，
其特征在于
所触发的动作(117、120、130)包括由所述监视机器人(100)获取所述对象(105-108、150-152)的第二监视数据。
4.根据权利要求3所述的监视***(103)，
其特征在于
所触发的动作(117、120、130)包括改变获取位置和/或方向，使得利用与获取监视数据的第一获取位置和/或方向(P10)不同的至少第二获取位置和/或方向(P20)来执行所述第二监视数据的获取，特别是其中，所述状态检测器(100c)被配置成按照使所述第二获取位置和/或方向(P20)关于状态验证信息的生成被优化的方式确定所述第二获取位置和/或方向(P20)。
5.根据权利要求4所述的监视***(103)，
其特征在于
所述状态检测器(100c)提供使状态模糊与获取位置和/或方向(P10、P20)相关的相关映射，特别是其中
·所述相关映射是基于表示所述状态(114)的定义的标准的，和/或
·所述相关映射是通过机器学习建立的，和/或
·所述相关映射包括针对多个可检测状态(114)的最佳获取位置和/或方向(P10、P20)。
6.根据权利要求3至5中任一项所述的监视***(103)，
其特征在于
所述监视***(103)至少包括第二监视传感器(111)，并且
·所述状态检测器(100c)被配置为确定利用哪个监视传感器(110、111)来获取所述第二监视数据，使得所述第二监视关于状态验证信息的生成被优化，和/或
·所述第一监视传感器(110)和所述第二监视传感器(111)是不同种类的传感器，特别是其中，所述第二监视传感器(111)被适配为获取比所述第一监视传感器(110)分辨率高的监视数据。
7.根据权利要求1至6中任一项所述的监视***(103)，
其特征在于
所触发的动作(117、120、130)包括所述监视机器人(100)与所述对象(105-108、150-152)的交互，特别是其中，所述状态检测器(100c)被配置为按照使所述交互关于状态验证信息的生成被优化的方式从至少两个可能的交互中确定所述交互。
8.根据权利要求7所述的监视***(103)，
其特征在于
与所述对象(105-108、150-152)的所述交互包括以下至少一项：
·触觉接触，特别是为了移动所述对象(105-108、150-152)和/或为了获取关于所述对象(105-108、150-152)的触觉传感器数据，
·将材料施加到所述对象(105-108、150-152)上，特别是施加液体和/或涂料，
·指向所述对象(105-108、150-152)的声和/或光信号的输出，特别是在所述对象(105-108、150-152)是人的情况下。
9.根据权利要求7或8所述的监视***(103)，
其特征在于
所述状态检测器(100c)提供将状态模糊与交互位置和/或方向相关联的相关映射，特别是其中
·所述相关映射是基于表示所述状态(114)的定义的标准的，和/或
·所述相关映射是通过机器学习建立的，和/或
·所述相关映射包括针对多个可检测状态(114)的最佳交互位置和/或方向。
10.根据权利要求7至9中任一项所述的监视***(103)，
其特征在于
所述交互是基于状态的马尔可夫模型(114)的。
11.根据权利要求1至10中任一项所述的监视***(103)，
其特征在于
所触发的动作(117、120、130)是取得关于所述对象(105-108、150-152)的数据，其中，所述数据是
·所述监视***(103)的第三监视传感器(104)的第三监视数据，所述第三监视传感器(104)不是所述监视机器人(100)的一部分，特别是其中，所触发的动作包括触发所述第三监视数据的获取，和/或
·存储在所述监视***(103)的数据库中的。
12.根据权利要求1至11中任一项所述的监视***(103)，
其特征在于
所述监视机器人(100)是无人驾驶地面车辆UGV，特别是包括作为子单元的无人机UAV，其中，所述无人机是能够从所述主体(100b)拆下的并且具有监测传感器(110、111)。
13.根据权利要求1至12中任一项所述的监视***(103)，
其特征在于
所述第一监视传感器(110)包括以下至少一项：
-相机，
-麦克风，
-RIM-相机，
-激光扫描器，
-LIDAR，
-雷达，
-运动检测器，和/或
-辐射计。
14.一种被适配为用于设施监视***(103)的监视方法，所述设施监视***(103)至少包括第一监视传感器(110)和移动监视机器人(100)，所述方法包括以下步骤：
·用所述第一监视传感器(110)获取设施(102)的对象(105-108、150-152)的第一勘察数据，
·基于所述监视数据来检测与所述对象(105-108、150-152)相关联的至少一个状态(114)，
·注意所述状态的状态模糊(115)，特别是通过与预定的模糊阈值进行比较，
·在注意到状态模糊的情况下触发所述监视机器人(100)的动作(117、120、130)，其中，所述动作(117、120、130)被适配为生成关于所述对象(105-108、150-152)的状态验证信息，所述状态验证信息适于解决所述状态模糊，以及
·基于所述状态验证信息来解决所述状态模糊。
15.一种计算机程序产品，所述计算机程序产品包括程序代码，所述程序代码被存储在机器可读介质上，或者由包括程序代码段的电磁波来实现，并且具有计算机可执行指令，所述计算机可执行指令用于特别是在根据权利要求1至13中任一项所述的监视***(103)的中央计算单元上运行时执行根据权利要求14所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111627648.8A CN114494768A (zh) | 2018-10-29 | 2018-10-29 | 对设施进行监视的监视***和方法、计算机程序产品 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2018/079602 WO2020088739A1 (en) | 2018-10-29 | 2018-10-29 | Facility surveillance systems and methods |
| CN202111627648.8A CN114494768A (zh) | 2018-10-29 | 2018-10-29 | 对设施进行监视的监视***和方法、计算机程序产品 |
| CN201880099180.XA CN112997223A (zh) | 2018-10-29 | 2018-10-29 | 设施监视***和方法 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880099180.XA Division CN112997223A (zh) | 2018-10-29 | 2018-10-29 | 设施监视***和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114494768A true CN114494768A (zh) | 2022-05-13 |
Family
ID=64024056
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111627648.8A Pending CN114494768A (zh) | 2018-10-29 | 2018-10-29 | 对设施进行监视的监视***和方法、计算机程序产品 |
| CN202111630089.6A Pending CN114519917A (zh) | 2018-10-29 | 2018-10-29 | 移动监视*** |
| CN201880099180.XA Pending CN112997223A (zh) | 2018-10-29 | 2018-10-29 | 设施监视***和方法 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111630089.6A Pending CN114519917A (zh) | 2018-10-29 | 2018-10-29 | 移动监视*** |
| CN201880099180.XA Pending CN112997223A (zh) | 2018-10-29 | 2018-10-29 | 设施监视***和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (4) | US20220005332A1 (zh) |
| EP (3) | EP3996058B1 (zh) |
| CN (3) | CN114494768A (zh) |
| WO (1) | WO2020088739A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100440A (zh) * | 2022-08-22 | 2022-09-23 | 深圳市今朝时代股份有限公司 | 基于超级电容储能的电源监管反馈*** |
| CN115439727A (zh) * | 2022-11-08 | 2022-12-06 | 杭州觅睿科技股份有限公司 | 一种天气预报方法、***、装置及可读存储介质 |
| CN116597616A (zh) * | 2023-05-23 | 2023-08-15 | 中国建筑材料工业地质勘查中心四川总队 | 一种矿山开采区域地质灾害智能监测预警*** |
| CN116664989A (zh) * | 2023-07-28 | 2023-08-29 | 四川发展环境科学技术研究院有限公司 | 基于环境要素智能识别监测***的数据分析方法及*** |
Families Citing this family (86)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015198767A1 (ja) * | 2014-06-27 | 2015-12-30 | 日本電気株式会社 | 異常検知装置及び異常検知方法 |
| US10471611B2 (en) * | 2016-01-15 | 2019-11-12 | Irobot Corporation | Autonomous monitoring robot systems |
| US11615285B2 (en) | 2017-01-06 | 2023-03-28 | Ecole Polytechnique Federale De Lausanne (Epfl) | Generating and identifying functional subnetworks within structural networks |
| CN110032148A (zh) * | 2018-01-11 | 2019-07-19 | 西门子（中国）有限公司 | 用于电厂管理的***和用于建立电厂的3d虚拟模型的设备 |
| US11893471B2 (en) | 2018-06-11 | 2024-02-06 | Inait Sa | Encoding and decoding information and artificial neural networks |
| US11972343B2 (en) | 2018-06-11 | 2024-04-30 | Inait Sa | Encoding and decoding information |
| US11663478B2 (en) | 2018-06-11 | 2023-05-30 | Inait Sa | Characterizing activity in a recurrent artificial neural network |
| US11475551B2 (en) | 2018-08-08 | 2022-10-18 | Abyssal S.A. | System and method of operation for remotely operated vehicles for automatic detection of structure integrity threats |
| EP3834172A1 (en) * | 2018-08-08 | 2021-06-16 | Abyssal S.A. | System and method of operation for remotely operated vehicles for simultaneous localization and mapping |
| US11436807B2 (en) | 2018-08-08 | 2022-09-06 | Abyssal S.A. | System and method of operation for remotely operated vehicles with improved position estimation |
| AU2018435825A1 (en) | 2018-08-08 | 2021-02-18 | Ocean Infinity (Portugal), S.A. | System and method of operation for remotely operated vehicles leveraging synthetic data to train machine learning models |
| CN114494768A (zh) * | 2018-10-29 | 2022-05-13 | 赫克斯冈技术中心 | 对设施进行监视的监视***和方法、计算机程序产品 |
| CA3123632A1 (en) * | 2018-12-21 | 2020-06-25 | Canscan Softwares And Technologies Inc. | Automated inspection system and associated method for assessing the condition of shipping containers |
| ES2871348T3 (es) * | 2019-01-30 | 2021-10-28 | Buehler Ag | Sistema y procedimiento para detectar y medir anomalías en la señalización procedente de componentes utilizados en procesos industriales |
| CN111448476B (zh) | 2019-03-08 | 2023-10-31 | 深圳市大疆创新科技有限公司 | 在无人飞行器与地面载具之间共享绘图数据的技术 |
| WO2020181418A1 (en) * | 2019-03-08 | 2020-09-17 | SZ DJI Technology Co., Ltd. | Techniques for collaborative map construction between unmanned aerial vehicle and ground vehicle |
| JP7245084B2 (ja) * | 2019-03-15 | 2023-03-23 | 日立Astemo株式会社 | 自動運転システム |
| US11569978B2 (en) | 2019-03-18 | 2023-01-31 | Inait Sa | Encrypting and decrypting information |
| US11652603B2 (en) | 2019-03-18 | 2023-05-16 | Inait Sa | Homomorphic encryption |
| DE102019204359A1 (de) * | 2019-03-28 | 2020-10-01 | Airbus Operations Gmbh | Situationserkennungseinrichtung, flugzeugpassagierabteil und verfahren zur überwachung von flugzeugpassagierabteilen |
| EP3949163A1 (en) * | 2019-04-04 | 2022-02-09 | Telefonaktiebolaget LM Ericsson (publ) | Technique for classifying a ue as an aerial ue |
| US20200394384A1 (en) * | 2019-06-14 | 2020-12-17 | Amarjot Singh | Real-time Aerial Suspicious Analysis (ASANA) System and Method for Identification of Suspicious individuals in public areas |
| US11747443B2 (en) * | 2019-08-05 | 2023-09-05 | Tellus You Care, Inc. | Non-contact identification of multi-person presence for elderly care |
| US11966840B2 (en) * | 2019-08-15 | 2024-04-23 | Noodle Analytics, Inc. | Deep probabilistic decision machines |
| US20220288790A1 (en) * | 2019-10-03 | 2022-09-15 | Sony Group Corporation | Data processing device, data processing method, and robot |
| US20210123768A1 (en) * | 2019-10-23 | 2021-04-29 | Alarm.Com Incorporated | Automated mapping of sensors at a location |
| US11797827B2 (en) * | 2019-12-11 | 2023-10-24 | Inait Sa | Input into a neural network |
| US11580401B2 (en) | 2019-12-11 | 2023-02-14 | Inait Sa | Distance metrics and clustering in recurrent neural networks |
| US11651210B2 (en) | 2019-12-11 | 2023-05-16 | Inait Sa | Interpreting and improving the processing results of recurrent neural networks |
| US11816553B2 (en) | 2019-12-11 | 2023-11-14 | Inait Sa | Output from a recurrent neural network |
| US11334771B2 (en) * | 2019-12-12 | 2022-05-17 | Vade Usa, Incorporated | Methods, devices and systems for combining object detection models |
| US11587302B2 (en) * | 2019-12-17 | 2023-02-21 | X Development Llc | Shared dense network with robot task-specific heads |
| JP7440332B2 (ja) * | 2020-04-21 | 2024-02-28 | 株式会社日立製作所 | 事象解析システムおよび事象解析方法 |
| EP4150549A4 (en) * | 2020-05-14 | 2024-05-29 | Cignal LLC | GENERATING IMAGES FOR AL MODEL TRAINING IN SECURITY INSPECTION |
| US11823458B2 (en) * | 2020-06-18 | 2023-11-21 | Embedtek, LLC | Object detection and tracking system |
| CN114342413A (zh) * | 2020-08-10 | 2022-04-12 | 北京小米移动软件有限公司 | 多模态数据发送方法和装置、多模态数据处理方法和装置 |
| EP4200209A1 (en) * | 2020-08-21 | 2023-06-28 | Drobotics, LLC | Neural networks for unmanned aerial vehicles and airborne traffic management |
| CN112168090B (zh) * | 2020-09-02 | 2021-11-23 | 珠海格力电器股份有限公司 | 扫地机、其控制方法及门控装置的控制方法 |
| US11727091B2 (en) * | 2020-09-11 | 2023-08-15 | Qeexo, Co. | Method and system for training machine learning models on sensor nodes |
| JP7481995B2 (ja) * | 2020-10-28 | 2024-05-13 | 株式会社東芝 | 状態判定装置、方法およびプログラム |
| US11341786B1 (en) | 2020-11-13 | 2022-05-24 | Samsara Inc. | Dynamic delivery of vehicle event data |
| US11352013B1 (en) | 2020-11-13 | 2022-06-07 | Samsara Inc. | Refining event triggers using machine learning model feedback |
| US11790038B2 (en) * | 2020-11-16 | 2023-10-17 | Waymo Llc | Rare pose data generation |
| CN112367130B (zh) * | 2020-11-20 | 2023-04-07 | 河南工业大学 | 一种无线网络信号传输强度计算方法及计算机存储介质 |
| US11643102B1 (en) | 2020-11-23 | 2023-05-09 | Samsara Inc. | Dash cam with artificial intelligence safety event detection |
| EP4006778A1 (en) * | 2020-11-30 | 2022-06-01 | Syenmaint S.r.l. A Socio Unico | System for analysing, monitoring and diagnosing, in automated, current and predictive way, the condition of buildings and/or architectural structures and operation method thereof |
| EP4217965A1 (en) * | 2020-12-03 | 2023-08-02 | Huawei Technologies Co., Ltd. | Devices and methods for visual localization |
| US11496867B2 (en) * | 2021-01-28 | 2022-11-08 | Zebra Technologies Corporation | Automated validation of location tracking system |
| US20220329763A1 (en) * | 2021-04-08 | 2022-10-13 | Incognito Security, Llc | Systems and Methods for Obtaining and Disseminating a Live Feed in an Emergency Situation |
| CN113110084A (zh) * | 2021-04-16 | 2021-07-13 | 魏建兵 | 基于案例推理的老年人独居的风险智能预警***设计 |
| US11860977B1 (en) * | 2021-05-04 | 2024-01-02 | Amazon Technologies, Inc. | Hierarchical graph neural networks for visual clustering |
| EP4099224A1 (en) * | 2021-05-31 | 2022-12-07 | Grazper Technologies ApS | A concept for detecting an anomaly in input data |
| EP4105817A1 (en) * | 2021-06-16 | 2022-12-21 | Volkswagen Aktiengesellschaft | Surveillance system and method for automatically executing a security function and system and method for generating a synthetic training data set |
| CN113378856A (zh) * | 2021-06-24 | 2021-09-10 | 重庆大学 | 一种基于人工智能的嵌入式输变电装备红外检测方法 |
| US11508234B1 (en) | 2021-06-29 | 2022-11-22 | Honeywell International Inc. | Reducing false alarms in security system |
| CN113592980B (zh) * | 2021-06-29 | 2023-07-25 | 北京百度网讯科技有限公司 | 招牌拓扑关系的构建方法、装置、电子设备和存储介质 |
| GB2608639A (en) * | 2021-07-08 | 2023-01-11 | Boundary Tech Ltd | Threat assessment system |
| CN113256275B (zh) * | 2021-07-14 | 2021-11-02 | 支付宝(杭州)信息技术有限公司 | 专家***的更新方法、业务处理方法及装置 |
| KR20230021863A (ko) * | 2021-08-06 | 2023-02-14 | 에이치엘만도 주식회사 | 초소형 비행 장치를 탑재한 보안용 이동 로봇 및 그 제어 방법 |
| US20230069482A1 (en) * | 2021-08-31 | 2023-03-02 | Siemens Aktiengesellschaft | Machine learning-based environment fail-safes through multiple camera views |
| US20230079054A1 (en) * | 2021-09-10 | 2023-03-16 | Exploration Robotics Technologies Inc. | System and method for autonomous inspection for asset maintenance and management |
| CN113990012B (zh) * | 2021-10-27 | 2023-08-11 | 上海亥伯智能科技有限公司 | 生物体入侵监测报警***及方法 |
| US12038972B2 (en) * | 2021-11-05 | 2024-07-16 | Motorola Solutions, Inc. | Method and system for profiling a reference image and an object-of-interest therewithin |
| US11386325B1 (en) * | 2021-11-12 | 2022-07-12 | Samsara Inc. | Ensemble neural network state machine for detecting distractions |
| US11352014B1 (en) | 2021-11-12 | 2022-06-07 | Samsara Inc. | Tuning layers of a modular neural network |
| DE102021213211A1 (de) * | 2021-11-24 | 2023-05-25 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Analyse von potentiellen Ereignissen, Vorrichtung zur Analyse von potentiellen Ereignissen, Computerprogramm sowie Speichermedium |
| US11922698B2 (en) | 2022-02-21 | 2024-03-05 | Rf Code, Inc. | System, apparatus, and method for monitoring edge compute sites |
| CN114820924A (zh) * | 2022-03-24 | 2022-07-29 | 香港大学深圳研究院 | 一种基于bim和视频监控的博物馆参观分析的方法及*** |
| GB202204259D0 (en) * | 2022-03-25 | 2022-05-11 | British Telecomm | Anomaly detection |
| US11620597B1 (en) * | 2022-04-29 | 2023-04-04 | Vita Inclinata Technologies, Inc. | Machine learning real property object detection and analysis apparatus, system, and method |
| US11842623B1 (en) | 2022-05-17 | 2023-12-12 | Ford Global Technologies, Llc | Contextual calibration of connected security device |
| CN115660400B (zh) * | 2022-06-22 | 2023-06-13 | 众芯汉创（北京）科技有限公司 | 一种基于无人机的油气场站安全生产多感官风险分析*** |
| CN115291531A (zh) * | 2022-06-28 | 2022-11-04 | 青岛海尔科技有限公司 | 感知结果的发送方法及装置、存储介质及电子装置 |
| CN114964269B (zh) * | 2022-08-01 | 2022-11-08 | 成都航空职业技术学院 | 一种无人机路径规划方法 |
| CN115456162B (zh) * | 2022-08-12 | 2023-07-14 | 星络家居云物联科技有限公司 | 基于虚拟交互的用户行为习惯学习模型的训练方法及装置 |
| WO2024063667A1 (ru) * | 2022-09-21 | 2024-03-28 | Общество с ограниченной ответственностью "Интегрированные электронно-оптические системы" | Распознавание объектов в режиме реального времени |
| CN115502619A (zh) * | 2022-09-27 | 2022-12-23 | 江苏省特种设备安全监督检验研究院 | 用于压力容器筒体纵缝焊接的温度监控*** |
| CN116129277B (zh) * | 2023-04-04 | 2023-11-21 | 重庆市建设工程质量检验测试中心有限公司 | 一种建筑节能检测方法及*** |
| CN116624977B (zh) * | 2023-07-21 | 2023-09-29 | 烟台业达智慧城市运营科技有限公司 | 一种基于人工智能的楼宇自控***及其方法 |
| CN117172542B (zh) * | 2023-09-05 | 2024-02-20 | 广州机施建设集团有限公司 | 一种基于大数据的施工现场巡查管理*** |
| CN117035691B (zh) * | 2023-09-28 | 2024-04-26 | 中交第四航务工程勘察设计院有限公司 | 一种基于bim技术的工程建设数字化项目管理方法及*** |
| CN117330714B (zh) * | 2023-12-01 | 2024-02-13 | 江苏新睿清智科技有限公司 | 一种基于大数据的区域环境监测预警***及方法 |
| CN117437220A (zh) * | 2023-12-18 | 2024-01-23 | 南通科创建设工程检测有限公司 | 一种基于大数据的建筑工程质量检测方法及*** |
| CN117474983B (zh) * | 2023-12-27 | 2024-03-12 | 广东力创信息技术有限公司 | 一种基于光视联动的预警方法以及相关装置 |
| CN117782227B (zh) * | 2024-02-26 | 2024-05-10 | 中国铁路设计集团有限公司 | 一种多源航空遥感数据采集装置、***及控制方法 |
| CN117824756B (zh) * | 2024-02-29 | 2024-05-28 | 深圳市腾信建设股份有限公司 | 一种建筑结构监测方法、设备及存储介质 |
Family Cites Families (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5861804A (en) * | 1997-07-10 | 1999-01-19 | Bakson, Inc. | Computer controlled security and surveillance system |
| US6308272B1 (en) * | 1998-12-21 | 2001-10-23 | International Business Machines Corporation | Security system using existing network and personal computers |
| US6614348B2 (en) * | 2001-03-23 | 2003-09-02 | International Business Machines Corporation | System and method for monitoring behavior patterns |
| US20030164794A1 (en) * | 2002-03-04 | 2003-09-04 | Time Domain Corporation | Over the horizon communications network and method |
| US20050122914A1 (en) * | 2003-07-08 | 2005-06-09 | Pacific Microwave Research, Inc. | Secure Digital Communication System for High Multi-Path Environments |
| US9189934B2 (en) * | 2005-09-22 | 2015-11-17 | Rsi Video Technologies, Inc. | Security monitoring with programmable mapping |
| US20090027196A1 (en) | 2007-03-07 | 2009-01-29 | Roland Schoettle | System and method for premises monitoring and control using self-learning detection devices |
| US8244469B2 (en) * | 2008-03-16 | 2012-08-14 | Irobot Corporation | Collaborative engagement for target identification and tracking |
| US8205820B2 (en) * | 2009-02-03 | 2012-06-26 | Honeywell International Inc. | Transforming unmanned aerial-to-ground vehicle |
| DE102009009896B4 (de) * | 2009-02-20 | 2011-02-10 | Eads Deutschland Gmbh | Verfahren und Vorrichtung zur Erfassung von Zielobjekten |
| US9104202B2 (en) * | 2010-05-11 | 2015-08-11 | Irobot Corporation | Remote vehicle missions and systems for supporting remote vehicle missions |
| KR101125233B1 (ko) | 2010-11-25 | 2012-03-21 | 재단법인대구경북과학기술원 | 융합기술기반 보안방법 및 융합기술기반 보안시스템 |
| US8527445B2 (en) * | 2010-12-02 | 2013-09-03 | Pukoa Scientific, Llc | Apparatus, system, and method for object detection and identification |
| US8868323B2 (en) * | 2011-03-22 | 2014-10-21 | Honeywell International Inc. | Collaborative navigation using conditional updates |
| US8786425B1 (en) * | 2011-09-09 | 2014-07-22 | Alarm.Com Incorporated | Aberration engine |
| US20210294172A1 (en) * | 2012-04-13 | 2021-09-23 | View, Inc. | Control methods and systems using external 3d modeling and neural networks |
| US8630741B1 (en) | 2012-09-30 | 2014-01-14 | Nest Labs, Inc. | Automated presence detection and presence-related control within an intelligent controller |
| US9075415B2 (en) * | 2013-03-11 | 2015-07-07 | Airphrame, Inc. | Unmanned aerial vehicle and methods for controlling same |
| CA2909892C (en) | 2013-04-23 | 2023-01-10 | Canary Connect, Inc. | Security and/or monitoring devices and systems |
| CN104340368B (zh) | 2013-07-24 | 2017-02-08 | 中国国际航空股份有限公司 | 飞机机翼防冰活门的监控***和方法及其维修方法 |
| US10048761B2 (en) * | 2013-09-30 | 2018-08-14 | Qualcomm Incorporated | Classification of gesture detection systems through use of known and yet to be worn sensors |
| CN103530995B (zh) * | 2013-10-12 | 2016-04-06 | 重庆邮电大学 | 基于目标空间关系约束的视频监控智能预警方法 |
| US10769191B2 (en) | 2013-12-20 | 2020-09-08 | Google Llc | Classifying data objects |
| CN105320440B (zh) | 2014-06-13 | 2020-06-16 | 海克斯康方案应用与***集成（青岛）有限公司 | 信息处理方法、装置和*** |
| US9524648B1 (en) * | 2014-11-17 | 2016-12-20 | Amazon Technologies, Inc. | Countermeasures for threats to an uncrewed autonomous vehicle |
| CN105989683A (zh) * | 2015-02-12 | 2016-10-05 | 贝斯科技国际有限公司 | 增强型住宅安全*** |
| US20160259333A1 (en) | 2015-02-27 | 2016-09-08 | Hoverfly Technologies, Inc. | Landing system for vertical take-off and landing aircraft |
| US9625904B2 (en) * | 2015-03-24 | 2017-04-18 | Southwest Research Institute | Unmanned ground/aerial vehicle system having autonomous ground vehicle that remotely controls one or more aerial vehicles |
| US20160345832A1 (en) * | 2015-05-25 | 2016-12-01 | Wearless Tech Inc | System and method for monitoring biological status through contactless sensing |
| US9894327B1 (en) * | 2015-06-22 | 2018-02-13 | State Farm Mutual Automobile Insurance Company | Systems and methods for remote data collection using unmanned vehicles |
| CN105023022B (zh) * | 2015-07-09 | 2019-03-12 | 深圳天珑无线科技有限公司 | 跌倒检测方法及*** |
| EP3356857B1 (en) * | 2015-09-30 | 2023-12-20 | Alarm.com Incorporated | Drone-augmented emergency response services |
| KR101700395B1 (ko) * | 2015-10-16 | 2017-02-13 | (주)삼성정보통신 | 경호용 드론 및 이를 이용한 이동식 경호 시스템 |
| US10365663B2 (en) | 2015-11-06 | 2019-07-30 | Hoverfly Technologies, Inc. | Tether orientation sensor for controlling the position of a tethered aircraft |
| US20170149883A1 (en) * | 2015-11-20 | 2017-05-25 | Datadirect Networks, Inc. | Data replication in a data storage system having a disjointed network |
| CN105516653A (zh) | 2015-11-25 | 2016-04-20 | 致象尔微电子科技（上海）有限公司 | 一种安防监控*** |
| KR102592076B1 (ko) | 2015-12-14 | 2023-10-19 | 삼성전자주식회사 | 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치 |
| US10083378B2 (en) | 2015-12-28 | 2018-09-25 | Qualcomm Incorporated | Automatic detection of objects in video images |
| GB2546486B (en) | 2016-01-18 | 2022-08-31 | Shepherd Network Ltd | Building-specific anomalous event detection and alerting system |
| WO2017172778A1 (en) * | 2016-03-28 | 2017-10-05 | Sri International | Collaborative navigation and mapping |
| US10529221B2 (en) * | 2016-04-19 | 2020-01-07 | Navio International, Inc. | Modular approach for smart and customizable security solutions and other applications for a smart city |
| CN105979203B (zh) | 2016-04-29 | 2019-04-23 | 中国石油大学(北京) | 一种多摄像机协同监控方法及装置 |
| GB201608744D0 (en) * | 2016-05-18 | 2016-06-29 | Unmanned Systems Ltd | Intelligent autonomous unmanned system |
| US11636348B1 (en) * | 2016-05-30 | 2023-04-25 | Apple Inc. | Adaptive training of neural network models at model deployment destinations |
| US11100398B2 (en) * | 2016-06-30 | 2021-08-24 | Cogniac, Corp. | Operating machine-learning models on different platforms |
| US10346464B2 (en) * | 2016-09-27 | 2019-07-09 | Canon Kabushiki Kaisha | Cross-modiality image matching method |
| US9734397B1 (en) * | 2016-11-04 | 2017-08-15 | Loveland Innovations, LLC | Systems and methods for autonomous imaging and structural analysis |
| US10562398B2 (en) * | 2016-11-22 | 2020-02-18 | Walmart Apollo, Llc | System and method for autonomous battery replacement |
| CN106781458B (zh) * | 2016-11-30 | 2019-10-18 | 成都通甲优博科技有限责任公司 | 一种交通事故监控方法及*** |
| CN106774221A (zh) * | 2017-01-22 | 2017-05-31 | 江苏中科院智能科学技术应用研究院 | 一种无人机与无人车协作巡逻***及方法 |
| US11010614B2 (en) * | 2017-01-26 | 2021-05-18 | Matias Klein | Total property intelligence system |
| US11080533B2 (en) * | 2017-05-01 | 2021-08-03 | Sensormatic Electronics, LLC | Surveillance system with human behavior prediction by human action recognition |
| CN107196953B (zh) * | 2017-06-14 | 2020-05-08 | 上海境领信息科技有限公司 | 一种基于用户行为分析的异常行为检测方法 |
| US11148802B1 (en) * | 2017-06-22 | 2021-10-19 | Arrowhead Center, Inc. | Robust cooperative localization and navigation of tethered heterogeneous autonomous unmanned vehicles in resource-constrained environments |
| CN107293093A (zh) * | 2017-07-06 | 2017-10-24 | 重庆世纪之光科技实业有限公司 | 基于用户用电信息的安全预警装置及方法 |
| US10867217B1 (en) * | 2017-09-01 | 2020-12-15 | Objectvideo Labs, Llc | Fusion of visual and non-visual information for training deep learning models |
| US11556125B2 (en) * | 2018-01-05 | 2023-01-17 | Irobot Corporation | Mapping, controlling, and displaying networked devices with a mobile cleaning robot |
| US11429807B2 (en) * | 2018-01-12 | 2022-08-30 | Microsoft Technology Licensing, Llc | Automated collection of machine learning training data |
| US11481571B2 (en) * | 2018-01-12 | 2022-10-25 | Microsoft Technology Licensing, Llc | Automated localized machine learning training |
| US10885755B2 (en) * | 2018-09-14 | 2021-01-05 | International Business Machines Corporation | Heat-based pattern recognition and event determination for adaptive surveillance control in a surveillance system |
| US11605231B2 (en) * | 2018-09-17 | 2023-03-14 | Syracuse University | Low power and privacy preserving sensor platform for occupancy detection |
| US11192646B2 (en) * | 2018-10-03 | 2021-12-07 | Sarcos Corp. | Anchored aerial countermeasures for rapid deployment and neutralizing of target aerial vehicles |
| CN114494768A (zh) * | 2018-10-29 | 2022-05-13 | 赫克斯冈技术中心 | 对设施进行监视的监视***和方法、计算机程序产品 |
| US20220157178A1 (en) * | 2020-11-16 | 2022-05-19 | Gm Cruise Holdings Llc | Disaster and emergency surveillance using a distributed fleet of autonomous robots |
-
2018
- 2018-10-29 CN CN202111627648.8A patent/CN114494768A/zh active Pending
- 2018-10-29 US US17/289,700 patent/US20220005332A1/en active Pending
- 2018-10-29 EP EP21213922.4A patent/EP3996058B1/en active Active
- 2018-10-29 WO PCT/EP2018/079602 patent/WO2020088739A1/en unknown
- 2018-10-29 EP EP18793672.9A patent/EP3874480B1/en active Active
- 2018-10-29 CN CN202111630089.6A patent/CN114519917A/zh active Pending
- 2018-10-29 EP EP21213921.6A patent/EP3989194A1/en active Pending
- 2018-10-29 CN CN201880099180.XA patent/CN112997223A/zh active Pending
-
2021
- 2021-12-23 US US17/561,066 patent/US20220157136A1/en active Pending
- 2021-12-23 US US17/561,129 patent/US20220157137A1/en active Pending
- 2021-12-23 US US17/561,154 patent/US20220157138A1/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100440A (zh) * | 2022-08-22 | 2022-09-23 | 深圳市今朝时代股份有限公司 | 基于超级电容储能的电源监管反馈*** |
| CN115439727A (zh) * | 2022-11-08 | 2022-12-06 | 杭州觅睿科技股份有限公司 | 一种天气预报方法、***、装置及可读存储介质 |
| CN116597616A (zh) * | 2023-05-23 | 2023-08-15 | 中国建筑材料工业地质勘查中心四川总队 | 一种矿山开采区域地质灾害智能监测预警*** |
| CN116597616B (zh) * | 2023-05-23 | 2023-11-28 | 中国建筑材料工业地质勘查中心四川总队 | 一种矿山开采区域地质灾害智能监测预警*** |
| CN116664989A (zh) * | 2023-07-28 | 2023-08-29 | 四川发展环境科学技术研究院有限公司 | 基于环境要素智能识别监测***的数据分析方法及*** |
| CN116664989B (zh) * | 2023-07-28 | 2023-09-29 | 四川发展环境科学技术研究院有限公司 | 基于环境要素智能识别监测***的数据分析方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3874480B1 (en) | 2023-09-13 |
| CN114519917A (zh) | 2022-05-20 |
| WO2020088739A1 (en) | 2020-05-07 |
| EP3989194A1 (en) | 2022-04-27 |
| CN112997223A (zh) | 2021-06-18 |
| US20220005332A1 (en) | 2022-01-06 |
| US20220157136A1 (en) | 2022-05-19 |
| US20220157138A1 (en) | 2022-05-19 |
| US20220157137A1 (en) | 2022-05-19 |
| EP3874480A1 (en) | 2021-09-08 |
| EP3996058A1 (en) | 2022-05-11 |
| EP3996058B1 (en) | 2024-03-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220157136A1 (en) | Facility surveillance systems and methods | |
| Kakaletsis et al. | Computer vision for autonomous UAV flight safety: An overview and a vision-based safe landing pipeline example | |
| US20220122358A1 (en) | Method and System for Detecting Building Objects Installed Within a Building | |
| US11845547B1 (en) | Indoor drone flight awareness system | |
| US11967139B2 (en) | Adversarial masks for false detection removal | |
| Siepmann et al. | Deploying a modeling framework for reusable robot behavior to enable informed strategies for domestic service robots | |
| Lee et al. | Design and development of a DDDAMS-based border surveillance system via UVs and hybrid simulations | |
| CN111753780A (zh) | 变电站违章检测***及违章检测方法 | |
| US20240242496A1 (en) | Adversarial masks for scene-customized false detection removal | |
| Khosravi et al. | A search and detection autonomous drone system: From design to implementation | |
| KR20210060252A (ko) | 실종자 탐색 방법 및 시스템 | |
| US20220335725A1 (en) | Monitoring presence or absence of an object using local region matching | |
| Yuan | Automatic Fire Detection Using Computer Vision Techniques for UAV-based Forest Fire Surveillance | |
| Guttendorf et al. | UGV-UAV object geolocation in unstructured environments | |
| Randelli et al. | User-friendly security robots | |
| Narendran et al. | Aerial Drones for Fire Disaster Response | |
| US20230401854A1 (en) | Monitoring system rule generation | |
| US20230419650A1 (en) | Image localization using a digital twin representation of an environment | |
| US20240124138A1 (en) | Imaging controls for unmanned aerial vehicles | |
| Bein et al. | Dynamic data-driven sensor network adaptation for border control | |
| Revathi et al. | Obstacle Detection in Path Planning for Unmanned Aerial Vehicles based on YOLO | |
| Shrestha | Cooperative and Distributed Algorithms for Dynamic Fire Coverage Using a Team of UAVs | |
| US20230081909A1 (en) | Training an object classifier with a known object in images of unknown objects | |
| Jeya et al. | Indoor Environment Surveillance via an Autonomous Mobile Robotic Device | |
| Hofmann et al. | Towards Adaptive Environment Perception and Understanding for Autonomous Mobile Robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |