CN116863637A - 无人银行智能监测***及方法 - Google Patents
无人银行智能监测***及方法 Download PDFInfo
- Publication number
- CN116863637A CN116863637A CN202310827535.5A CN202310827535A CN116863637A CN 116863637 A CN116863637 A CN 116863637A CN 202310827535 A CN202310827535 A CN 202310827535A CN 116863637 A CN116863637 A CN 116863637A
- Authority
- CN
- China
- Prior art keywords
- fire
- data
- track
- environmental
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012544 monitoring process Methods 0.000 title claims abstract description 53
- 230000007613 environmental effect Effects 0.000 claims abstract description 88
- 230000002159 abnormal effect Effects 0.000 claims abstract description 44
- 238000005070 sampling Methods 0.000 claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims abstract description 23
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 claims description 84
- 230000008859 change Effects 0.000 claims description 58
- 229910002092 carbon dioxide Inorganic materials 0.000 claims description 42
- 239000001569 carbon dioxide Substances 0.000 claims description 42
- 239000000779 smoke Substances 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 22
- 238000006073 displacement reaction Methods 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 21
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
- G01K1/02—Means for indicating or recording specially adapted for thermometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/06—Investigating concentration of particle suspensions
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/0004—Gaseous mixtures, e.g. polluted air
- G01N33/0009—General constructional details of gas analysers, e.g. portable test equipment
- G01N33/0062—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display
- G01N33/0063—General constructional details of gas analysers, e.g. portable test equipment concerning the measuring method or the display, e.g. intermittent measurement or digital display using a threshold to release an alarm or displaying means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/10—Actuation by presence of smoke or gases, e.g. automatic alarm devices for analysing flowing fluid materials by the use of optical means
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B17/00—Fire alarms; Alarms responsive to explosion
- G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
- G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Dispersion Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Combustion & Propulsion (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Fire Alarms (AREA)
Abstract
本公开提供了一种无人银行智能监测***及方法，可用于金融领域或其他领域。该***包括采样模块、处理模块、预测模块和机器人，该***通过采集环境信息对火源信息进行第一层预判，通过环境信息选取人员流动区域并计算人员流动区域内的人流的运动信息对火源信息进行第二层预判；同时在无人银行内设置可移动的机器人，机器人根据火源源头轨迹朝可能发生火灾的位置进行移动，并在移动过程中通过独立环境数据采样模块采集环境信息，再通过独立环境数据处理模块将独立环境数据进行预处理之后与第二预设异常情况阈值进行判断分析然后发出安全信号，这里为火源信息进行第三层预判。本公开能够更加准确的判断无人银行内是否发生火灾，并获知着火点的位置。
Description
技术领域
本公开涉及安防***技术领域，可用于金融领域或其他领域，更具体地涉及一种无人银行智能监测***及方法。
背景技术
无人银行是指不需要银行职员帮助、顾客可通过智能终端设备实现自我服务的银行。
随着无人银行的兴起与普及，无人银行的安防问题也成了重要的关注点，由于无人银行中没有工作人员，故而发生火灾时，不容易及时发现，不便快速进行消防工作。
目前，火灾安全***通常是在室内设置探测器，根据探测器采集的环境参数来判断是否发生火灾，当判断发生火灾时，启动报警模块进行报警。但该安全***仅仅通过环境参数来判断是否发生火灾不够准确，如环境温度受季节影响波动范围较大，同时该类安全***仅能够判断是否发生火灾，但不能获知着火点的位置，影响消防工作的效率。
发明内容
鉴于上述问题，本公开提供了一种无人银行智能监测***及方法，能够更加准确的判断无人银行内是否发生火灾，并获知着火点的位置。
根据本公开的第一个方面，提供了一种无人银行智能监测***，包括：采样模块，用于获取无人银行的各个环境采集点的监测视频流和环境数据；处理模块，与采样模块连接，用于对各个环境采集点的环境数据进行预处理，根据预处理后的环境数据与第一预设异常情况阈值，计算火势流动轨迹；预测模块，与处理模块连接，用于根据火势流动轨迹和监测视频流选取人员流动区域，在人员流动区域内计算人流运动轨迹，根据人流运动轨迹预测火源源头轨迹；机器人，与预测模块连接并安装有独立环境数据采样模块和独立环境数据处理模块，机器人用于根据火源源头轨迹进行移动，在移动过程中，通过独立环境数据采样模块获取独立环境数据，通过独立环境数据处理模块将独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定无人银行的安全状态并发出安全信号。
根据本公开的实施例，采样模块设置有多个环境采集点，多个环境采集点间隔设置于无人银行内，各个环境采集点包括：拍摄单元，用于获取监测视频流；环境检测单元，用于获取环境数据。
根据本公开的实施例，环境检测单元包括：温度检测子单元，用于采集当前温度数据；烟雾浓度检测子单元，用于采集当前烟雾浓度数据；二氧化碳浓度检测子单元，用于采集当前二氧化碳浓度数据。
本公开的第二方面提供了一种无人银行智能监测方法，包括：获取无人银行的各个环境采集点的监测视频流和环境数据；对各个环境采集点的环境数据进行预处理，根据预处理后的环境数据与第一预设异常情况阈值，计算火势流动轨迹；根据火势流动轨迹和监测视频流选取人员流动区域，在人员流动区域内计算人流运动轨迹，根据人流运动轨迹预测火源源头轨迹；利用机器人根据火源源头轨迹进行移动，在移动过程中机器人实时获取独立环境数据，并将独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定无人银行的安全状态并发出安全信号。
根据本公开的实施例，环境数据包括当前温度数据、当前烟雾浓度数据和当前二氧化碳浓度数据；对各个环境采集点的环境数据进行预处理，包括按照以下公式计算各个环境采集点在任意时刻的温度变化率、烟雾浓度变化率和二氧化碳浓度变化率：
式中，t为时间刻度值；Δt为时刻变化量；T(t)为在t时刻测得的温度数据；S(t)为在t时刻测得的烟雾浓度数据；Ct为在t时刻测得的二氧化碳浓度数据；Kt为t时刻的温度变化率；Pt为t时刻的烟雾浓度变化率；Mt为t时刻的二氧化碳浓度变化率。
根据本公开的实施例，第一预设异常情况阈值包括环境数据的温度变化率判断阈值、烟雾浓度变化率判断阈值和二氧化碳浓度变化率判断阈值；根据预处理后的环境数据与第一预设异常情况阈值，计算火势流动轨迹，包括：将各个环境采集点在任意时刻的温度变化率、烟雾浓度变化率和二氧化碳浓度变化率，分别与温度变化率判断阈值、烟雾浓度变化率判断阈值和二氧化碳浓度变化率判断阈值进行比较，计算各个环境采集点在任意时刻的火灾警报值；根据火灾警报值，计算火势流动轨迹。
根据本公开的实施例，各个环境采集点在任意时刻的火灾警报值根据以下公式计算得出：
Di(t)＝H(Kt-K0)+H(Pt-P0)+H(Mt-M0)
式中，Di(t)为t时刻的第i个环境采集点的火灾警报值；K0为温度变化率判断阈值；P0为烟雾浓度变化率判断阈值；M0为二氧化碳浓度变化率判断阈值；
H(x)为单位阶跃函数，如下式所示：
Di(t)＝{0，1，2，3}。
根据本公开的实施例，火势流动轨迹根据以下公式来计算：
L＝W3(Δt)W2(Δt)+W3(Δt)W1(Δt)
式中，W1(Δt)为Δt时间段内第一个火灾警报值D1(t)＝3的环境采集点的位置点一；W2(Δt)为Δt时间段内第二个火灾警报值D2(t)＝3的环境采集点的位置点二；W3(Δt)为Δt时间段内第三个火灾警报值D3(t)＝3的环境采集点的位置点三；W3(Δt)W2(Δt)为位置点三指向位置点二的位移向量；W3(Δt)W1(Δt)为位置点三指向位置点一的位移向量；L为火势流动轨迹。
根据本公开的实施例，根据火势流动轨迹和监测视频流选取人员流动区域，包括：从各个环境点的监测视频流提取多个采样帧；根据多个采样帧，识别无人银行内的人员区域；根据火势流动轨迹，从人员区域中选取人员流动区域。
根据本公开的实施例，人流运动轨迹根据以下公式计算得出：
式中，m为人员流动区域内的人口总数，Sn(Δt)为人员流动区域内的第n个人在Δt时间段内的位移向量，为人员流动区域内的m个人在Δt时间段内的所有位移向量之和，/>为人员流动区域内的m个人在Δt时间段内的所有位移向量之和的平均值；A为人流运动轨迹。
根据本公开的实施例，根据人流运动轨迹预测火源源头轨迹，包括：将人流运动轨迹的反方向轨迹确定为火源源头轨迹。
根据本公开的实施例，机器人实时获取的独立环境数据包括在任意时刻采集的多个独立环境的火灾警报值，第二预设异常情况阈值为0；将独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定无人银行的安全状态并发出安全信号包括：
D′i(t)＝0时，机器人继续根据火源源头轨迹进行移动；D′i(t)＞0时，确定无人银行有火灾情况发生并发出安全信号；若机器人继续根据火源源头轨迹进行移动直至完成整个火源源头轨迹时D′i(t)始终为0，则确定无人银行无火灾情况发生；其中，D′i(t)为机器人在t时刻采集的第i个独立环境的火灾警报值。
根据本公开的实施例，机器人与消防报警终端连接；方法还包括：机器人在判断有火灾情况发生并发出安全信号的同时，将火源源头轨迹发送至消防报警终端。
根据本公开实施例提供的无人银行智能监测***及方法，该***包括采样模块、处理模块、预测模块和机器人，通过采集环境信息对火源信息进行第一层预判，再通过环境信息选取人员流动区域并计算人员流动区域内的人流的运动信息对火源信息进行第二层预判；紧接着，同时在无人银行内设置可移动的机器人，机器人根据火源源头轨迹朝可能发生火灾的位置进行移动，并在移动过程中通过自身的独立环境数据采样模块采集移动过程中的环境信息，再通过自身的独立环境数据处理模块将独立环境数据进行预处理之后与第二预设异常情况阈值进行判断分析然后发出安全信号，这里为火源信息进行第三层预判，从而能够更加准确的判断无人银行内是否发生火灾，且能够通过火源源头轨迹对着火点的位置进行预判，帮助消防人员提高消防效率。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本公开实施例的无人银行智能监测***的框图；
图2示意性示出了根据本公开实施例的采样模块的各个环境采集点的框图；
图3示意性示出了根据本公开实施例的各个环境采集点的环境检测单元的框图；
图4示意性示出了根据本公开实施例的机器人的框图；
图5示意性示出了根据本公开实施例的无人银行智能监测方法的流程图；
图6示意性示出了根据本公开实施例的计算火势流动轨迹的流程图；
图7示意性示出了根据本公开实施例的选取人员流动区域的流程图；
图8示意性示出了根据本公开实施例的机器人与消防报警终端联动的流程图。
具体实施方式
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的***”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的***等)。
在本公开的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本公开的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。
在本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
本公开的实施例提供一种无人银行智能监测***及方法，能够更加准确的判断无人银行内是否发生火灾，并获知着火点的位置。
图1示意性示出了根据本公开实施例的无人银行智能监测***的框图。
如图1所示，根据该实施例的无人银行智能监测***100包括采样模块110、处理模块120、预测模块130和机器人140。
采样模块110用于获取无人银行的各个环境采集点的监测视频流和环境数据。
处理模块120与采样模块连接，用于对各个环境采集点的环境数据进行预处理，根据预处理后的环境数据与第一预设异常情况阈值，计算火势流动轨迹。
例如，处理模块120包括提取模块和识别模块。其中，提取模块用于根据监测视频流获取多个采样帧；识别模块用于根据多个采样帧，识别无人银行内的人员区域。
预测模块130与处理模块120连接，用于根据火势流动轨迹和监测视频流选取人员流动区域，在人员流动区域内计算人流运动轨迹，根据人流运动轨迹预测火源源头轨迹。
机器人140与预测模块130连接并安装有独立环境数据采样模块和独立环境数据处理模块，机器人用于根据火源源头轨迹进行移动，在移动过程中，通过独立环境数据采样模块获取独立环境数据，通过独立环境数据处理模块将独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定无人银行的安全状态并发出安全信号。
通过上述的实施例，本公开提供的无人银行智能监测***，包括采样模块、处理模块、预测模块和机器人，该***通过采集环境信息对火源信息进行第一层预判，通过环境信息选取人员流动区域并计算人员流动区域内的人流的运动信息对火源信息进行第二层预判；同时在无人银行内设置可移动的机器人，机器人根据火源源头轨迹朝可能发生火灾的位置进行移动，并在移动过程中通过独立环境数据采样模块采集环境信息，再通过独立环境数据处理模块将独立环境数据进行预处理之后与第二预设异常情况阈值进行判断分析然后发出安全信号，这里为火源信息进行第三层预判。本公开能够更加准确的判断无人银行内是否发生火灾，并获知着火点的位置，从而能够更加准确的判断无人银行内是否发生火灾，且能够通过火源源头轨迹对着火点的位置进行预判，帮助消防人员提高消防效率。
图2示意性示出了根据本公开实施例的采样模块的各个环境采集点的框图。
如图2所示，在本公开实施例中，采样模块110设置有多个环境采集点，多个环境采集点间隔设置于无人银行内，各个环境采集点包括拍摄单元201和环境检测单元202。其中，拍摄单元201用于获取监测视频流；环境检测单元202用于获取环境数据。
图3示意性示出了根据本公开实施例的各个环境采集点的环境检测单元的框图。
如图3所示，进一步地，环境检测单元202包括温度检测子单元202A、烟雾浓度检测子单元202B和二氧化碳浓度检测子单元202C。其中，温度检测子单元202A用于采集当前温度数据；烟雾浓度检测子单元202B用于采集当前烟雾浓度数据；二氧化碳浓度检测子单元202C用于采集当前二氧化碳浓度数据。
通过上述的实施例，本公开通过拍摄单元获取监测视频流，在监测视频流内识别人的图像，从而对人的运动进行采集；通过分别设置温度、烟雾浓度和二氧化碳浓度检测子单元，对环境的多个环境参数进行监测，综合环境参数对火灾信息进行预测，提高无人银行监测的准确性。
图4示意性示出了根据本公开实施例的机器人的框图。
如图4所示，在本公开实施例中，机器人140包括独立环境数据采样模块401和独立环境数据处理模块402。其中，独立环境数据采样模块401用于在机器人移动过程中实时获取独立环境数据；独立环境数据处理模块402用于将该独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定无人银行的安全状态并发出安全信号。
综上所述，本公开提供的无人银行智能监测***，在无人银行内部均匀分布多个环境采集点，各个环境采集点可对无人银行内部的各个位置的视频流以及环境数据进行采集，然后通过提取模块和识别模块对视频流中的人员区域进行提取识别，采集的人员区域以及环境数据被处理模块接收，处理模块将各个环境采集点的环境数据进行预处理之后与第一预设异常情况阈值进行运算得出火势流动轨迹，通过该火势流动轨迹可大致判断着火点位置，即对着火点位置进行初步预判，然后预测模块根据火势流动轨迹选取靠近着火点区域处的一部分人员流动范围作为人员流动区域，并从采样模块调取该区域内的人员流动情况去计算人流的流动方向，因靠近着火点区域处的人员流动方向的相反方向可大概率判定为着火点方向，通过该区域的选取可排除远离着火点区域处的人员流动方向的干扰，通过人员流动区域的人员流动方向计算人流运动轨迹并得出火源源头轨迹，综上，该***通过采集环境信息对火源信息进行第一层预判，再通过环境信息选取人员流动区域并计算人员流动区域内的人流的运动信息对火源信息进行第二层预判；紧接着，同时在无人银行内设置可移动的机器人，机器人根据火源源头轨迹朝可能发生火灾的位置进行移动，并在移动过程中通过自身的独立环境数据采样模块采集移动过程中的环境信息，再通过自身的独立环境数据处理模块将独立环境数据进行预处理之后与预设异常情况阈值进行判断分析然后发出安全信号，这里为火源信息进行第三层预判，从而能够更加准确的判断无人银行内是否发生火灾，且能够通过火源源头轨迹对着火点的位置进行预判，帮助消防人员提高消防效率。
需要说明的是，***部分的实施例方式与方法部分的实施例方式对应类似，并且所达到的技术效果也对应类似，具体细节请参照以下方法实施例方式部分，在此不再赘述。
本公开的实施例还提供一种无人银行智能监测方法，可以应用于上述实施例公开的无人银行智能监测***，以下通过图5～图8对该实施例的无人银行智能监测方法进行详细描述。
图5示意性示出了根据本公开实施例的无人银行智能监测方法的流程图。
如图5所示，该实施例的无人银行智能监测方法，可以应用于上述实施例公开的无人银行智能监测***。该无人银行智能监测方法包括操作S510～操作S540。
在操作S510，获取无人银行的各个环境采集点的监测视频流和环境数据。在一实施例中，上述采样模块110可以用于执行该操作S510，在此不再赘述。
在操作S520，对各个环境采集点的环境数据进行预处理，根据预处理后的环境数据与第一预设异常情况阈值，计算火势流动轨迹。在一实施例中，上述处理模块120可以用于执行该操作S520，在此不再赘述。
在操作S530，根据火势流动轨迹和监测视频流选取人员流动区域，在人员流动区域内计算人流运动轨迹，根据人流运动轨迹预测火源源头轨迹。在一实施例中，上述预测模块130可以用于执行该操作S530，在此不再赘述。
在操作S540，利用机器人根据火源源头轨迹进行移动，在移动过程中机器人实时获取独立环境数据，并将独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定无人银行的安全状态并发出安全信号。在一实施例中，上述机器人140可以用于执行该操作S540，在此不再赘述。
在本公开实施例中，环境数据包括当前温度数据、当前烟雾浓度数据和当前二氧化碳浓度数据；上述操作S520对各个环境采集点的环境数据进行预处理，包括按照以下公式计算各个环境采集点在任意时刻的温度变化率、烟雾浓度变化率和二氧化碳浓度变化率：
式中，t为时间刻度值；Δt为时刻变化量；T(t)为在t时刻测得的温度数据；S(t)为在t时刻测得的烟雾浓度数据；Ct为在t时刻测得的二氧化碳浓度数据；Kt为t时刻的温度变化率；Pt为t时刻的烟雾浓度变化率；Mt为t时刻的二氧化碳浓度变化率。
图6示意性示出了根据本公开实施例的计算火势流动轨迹的流程图。
如图6所示，在本公开实施例中，第一预设异常情况阈值包括环境数据的温度变化率判断阈值、烟雾浓度变化率判断阈值和二氧化碳浓度变化率判断阈值；上述操作S520根据预处理后的环境数据与第一预设异常情况阈值，计算火势流动轨迹，可以进一步包括操作S621～操作S622。
在操作S621，将各个环境采集点在任意时刻的温度变化率、烟雾浓度变化率和二氧化碳浓度变化率，分别与温度变化率判断阈值、烟雾浓度变化率判断阈值和二氧化碳浓度变化率判断阈值进行比较，计算各个环境采集点在任意时刻的火灾警报值。
在本公开实施例中，各个环境采集点在任意时刻的火灾警报值根据以下公式计算得出：
Di(t)＝H(Kt-K0)+H(Pt-P0)+H(Mt-M0)
式中，Di(t)为t时刻的第i个环境采集点的火灾警报值；K0为温度变化率判断阈值；P0为烟雾浓度变化率判断阈值；M0为二氧化碳浓度变化率判断阈值；
H(x)为单位阶跃函数，如下式所示：
Di(t)＝{0，1，2，3}。
通过上述的实施例，当预处理得到的温度、烟雾浓度和二氧化碳浓度的变化率均小于第二预设异常情况阈值时，Di(t)＝0；
当预处理得到的温度、烟雾浓度和二氧化碳浓度的变化率中只有一个不小于第二预设异常情况阈值时，Di(t)＝1；
当预处理得到的温度、烟雾浓度和二氧化碳浓度的变化率中存在两个不小于第二预设异常情况阈值时，Di(t)＝2；
当预处理得到的温度、烟雾浓度和二氧化碳浓度的变化率均不小于预设第二异常情况阈值时，Di(t)＝3。
因在无人银行内部分布的环境采集点的位置不同，在发生火灾时，各个环境采集点距离着火点的距离不同，从而导致各个环境采集点的Di(t)值不同，距离着火点的距离越近Di(t)值越大，距离着火点的距离越远Di(t)值越小。
在操作S622，根据火灾警报值，计算火势流动轨迹。
在本公开实施例中，火势流动轨迹根据以下公式来计算：
L＝W3(Δt)W2(Δt)+W3(Δt)W1(Δt)
式中，W1(Δt)为Δt时间段内第一个火灾警报值D1(t)＝3的环境采集点的位置点一；W2(At)为Δt时间段内第二个火灾警报值D2(t)＝3的环境采集点的位置点二；W3(Δt)为Δt时间段内第三个火灾警报值D3(t)＝3的环境采集点的位置点三；W3(Δt)W2(Δt)为位置点三指向位置点二的位移向量；W3(Δt)W1(Δt)为位置点三指向位置点一的位移向量；L为火势流动轨迹。
通过上述的实施例，本公开根据位置点三指向位置点二的位移向量W3(Δt)W2(Δt)与位置点三指向位置点一的位移向量W3(Δt)W1(Δt)之和得出火势流动轨迹，可大致判断着火点位置。
图7示意性示出了根据本公开实施例的选取人员流动区域的流程图。
如图7所示，在本公开实施例中，上述操作S530根据火势流动轨迹和监测视频流选取人员流动区域，可以进一步包括操作S731～操作S733。
在操作S731，从各个环境点的监测视频流提取多个采样帧。
在操作S732，根据多个采样帧，识别无人银行内的人员区域。
在操作S733，根据火势流动轨迹，从人员区域中选取人员流动区域。
接着，在人员流动区域内计算人流运动轨迹。该人流运动轨迹可以根据以下公式计算得出：
式中，m为人员流动区域内的人口总数，Sn(Δt)为人员流动区域内的第n个人在Δt时间段内的位移向量，为人员流动区域内的m个人在Δt时间段内的所有位移向量之和，/>为人员流动区域内的m个人在Δt时间段内的所有位移向量之和的平均值；A为人流运动轨迹。
在本公开实施例中，上述操作S530根据人流运动轨迹预测火源源头轨迹，包括：将人流运动轨迹的反方向轨迹确定为火源源头轨迹。例如，A为人流运动轨迹，则火源源头轨迹B可以表示为B＝-A。
通过上述的实施例，当无人银行内发生火灾时，靠近着火点区域处的人流会朝向远离着火点的方向进行移动，此时采集该区域内的每个人员流动的位移方向，并将该区域内的所有人流的位移向量求和计算平均值可大致确定人流的整体流动方向，并取相反方向可得出火源源头轨迹，从而获知着火点的大致位置。
在本公开实施例中，机器人实时获取的独立环境数据包括在任意时刻采集的多个独立环境的火灾警报值，第二预设异常情况阈值为0；
上述操作S540将独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定无人银行的安全状态并发出安全信号包括：
D′i(t)＝0时，机器人继续根据火源源头轨迹进行移动；
D′i(t)＞0时，确定无人银行有火灾情况发生并发出安全信号；
若机器人继续根据火源源头轨迹进行移动直至完成整个火源源头轨迹时D′i(t)始终为0，则确定无人银行无火灾情况发生；
其中，D′i(t)为机器人在t时刻采集的第i个独立环境的火灾警报值。
通过上述的实施例，在无人银行内设置可移动的机器人，机器人根据火源源头轨迹朝可能发生火灾的位置进行移动，并在移动过程中通过自身的独立环境数据采样模块采集移动过程中的环境信息，即温度、烟雾浓度和二氧化碳浓度，再通过自身的独立环境数据处理模块将独立环境数据进行预处理之后与第二预设异常情况阈值进行判断。
具体而言，D′i(t)＝0时，即移动过程中采集并进行预处理的温度、烟雾浓度和二氧化碳浓度的变化率均小于第二预设异常情况阈值，机器人继续根据所述火源源头轨迹进行移动；当D′i(t)＞0时，即移动过程中采集并进行预处理的温度、烟雾浓度和二氧化碳浓度的变化率中存在不小于第二预设异常情况阈值发生，此时综合环境采集点的异常情况，所以在移动过程中温度、烟雾浓度和二氧化碳浓度中只要存在一个异常则判定有火灾情况发生并发出安全信号，同时将火源源头轨迹发送至消防报警终端帮助消防人员提高消防效率，若机器人继续根据所述火源源头轨迹进行移动直至完成整个火源源头轨迹时D′i(t)始终为0，则判断无火灾情况发生，从而能够更加准确的判断无人银行内是否发生火灾。
图8示意性示出了根据本公开实施例的机器人与消防报警终端联动的流程图。
如图8所示，在本公开实施例中，机器人与消防报警终端连接；该无人银行智能监测方法还包括操作S810。
在操作S810，机器人在判断有火灾情况发生并发出安全信号的同时，将火源源头轨迹发送至消防报警终端。
通过上述的实施例，本公开提供的无人银行智能监测方法，在无人银行内部均匀分布多个环境采集点，各个环境采集点可对无人银行内部的各个位置的视频流以及环境数据进行采集，然后通过提取模块和识别模块对视频流中的人员区域进行提取识别，采集的人员区域以及环境数据被处理模块接收，因在无人银行内部分布的环境采集点的位置不同，在发生火灾时，各个环境采集点距离着火点的距离不同，从而导致各个环境采集点的Di(t)值不同，距离着火点的距离越近Di(t)值越大，距离着火点的距离越远Di(t)值越小，处理模块将各个环境采集点的环境数据进行预处理之后与第一预设异常情况阈值进行运算得出火势流动轨迹，通过该火势流动轨迹可大致判断着火点位置，即对着火点位置进行初步预判，然后预测模块根据火势流动轨迹选取靠近着火点区域处的一部分人员流动范围作为人员流动区域，并从采样模块调取该区域内的人员流动情况去计算人流的流动方向，因靠近着火点区域处的人员流动方向的相反方向可大概率判定为着火点方向，通过该区域的选取可排除远离着火点区域处的人员流动方向的干扰，通过人员流动区域的人员流动方向计算人流运动轨迹并得出火源源头轨迹。综上，该***通过采集环境信息对火源信息进行第一层预判，再通过环境信息选取人员流动区域并计算人员流动区域内的人流的运动信息对火源信息进行第二层预判；紧接着，同时在无人银行内设置可移动的机器人，机器人根据火源源头轨迹朝可能发生火灾的位置进行移动，并在移动过程中通过自身的独立环境数据采样模块采集移动过程中的环境信息，再通过自身的独立环境数据处理模块将独立环境数据进行预处理之后与第二预设异常情况阈值进行判断：D′i(t)＝0时，即移动过程中采集并进行预处理的温度、烟雾浓度和二氧化碳浓度的变化率均小于预设异常情况阈值，机器人继续根据所述火源源头轨迹进行移动；当D′i(t)＞0时，即移动过程中采集并进行预处理的温度、烟雾浓度和二氧化碳浓度的变化率中存在不小于预设异常情况阈值发生，此时综合环境采集点的异常情况，所以在移动过程中温度、烟雾浓度和二氧化碳浓度中只要存在一个异常则判定有火灾情况发生并发出安全信号，同时将火源源头轨迹发送至消防报警终端帮助消防人员提高消防效率，若机器人继续根据所述火源源头轨迹进行移动直至完成整个火源源头轨迹时D′i(t)始终为0，判断无火灾情况发生，这里为火源信息进行第三层预判，从而能够更加准确的判断无人银行内是否发生火灾，且能够通过火源源头轨迹对着火点的位置进行预判，帮助消防人员提高消防效率。
综上所述，本公开实施例提供的无人银行智能监测***及方法，通过采集环境信息对火源信息进行第一层预判，再通过环境信息选取人员流动区域并计算人员流动区域内的人流的运动信息对火源信息进行第二层预判；紧接着，同时在无人银行内设置可移动的机器人，机器人根据火源源头轨迹朝可能发生火灾的位置进行移动，并在移动过程中通过自身的独立环境数据采样模块采集移动过程中的环境信息，再通过自身的独立环境数据处理模块将独立环境数据进行预处理之后与第二预设异常情况阈值进行判断分析然后发出安全信号，这里为火源信息进行第三层预判，从而能够更加准确的判断无人银行内是否发生火灾，且能够通过火源源头轨迹对着火点的位置进行预判，帮助消防人员提高消防效率。
附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
类似地，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开示例性实施例的描述中，本公开的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。此外，位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。除非另有说明，否则表述“大约”、“约”、“基本上”和“左右”表示在10％以内，优选地，在5％以内。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。
Claims (13)
1.一种无人银行智能监测***，其特征在于，包括：
采样模块，用于获取无人银行的各个环境采集点的监测视频流和环境数据；
处理模块，与所述采样模块连接，用于对各个环境采集点的所述环境数据进行预处理，根据预处理后的环境数据与第一预设异常情况阈值，计算火势流动轨迹；
预测模块，与所述处理模块连接，用于根据所述火势流动轨迹和所述监测视频流选取人员流动区域，在所述人员流动区域内计算人流运动轨迹，根据所述人流运动轨迹预测火源源头轨迹；
机器人，与所述预测模块连接并安装有独立环境数据采样模块和独立环境数据处理模块，所述机器人用于根据所述火源源头轨迹进行移动，在移动过程中，通过所述独立环境数据采样模块获取独立环境数据，通过所述独立环境数据处理模块将所述独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定所述无人银行的安全状态并发出安全信号。
2.根据权利要求1所述的***，其中，所述采样模块设置有多个环境采集点，所述多个环境采集点间隔设置于所述无人银行内，各个环境采集点包括：
拍摄单元，用于获取所述监测视频流；
环境检测单元，用于获取所述环境数据。
3.根据权利要求2所述的***，其中，所述环境检测单元包括：
温度检测子单元，用于采集当前温度数据；
烟雾浓度检测子单元，用于采集当前烟雾浓度数据；
二氧化碳浓度检测子单元，用于采集当前二氧化碳浓度数据。
4.一种无人银行智能监测方法，其特征在于，包括：
获取无人银行的各个环境采集点的监测视频流和环境数据；
对各个环境采集点的所述环境数据进行预处理，根据预处理后的环境数据与第一预设异常情况阈值，计算火势流动轨迹；
根据所述火势流动轨迹和所述监测视频流选取人员流动区域，在所述人员流动区域内计算人流运动轨迹，根据所述人流运动轨迹预测火源源头轨迹；
利用机器人根据所述火源源头轨迹进行移动，在移动过程中所述机器人实时获取独立环境数据，并将所述独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定所述无人银行的安全状态并发出安全信号。
5.根据权利要求4所述的方法，其中，所述环境数据包括当前温度数据、当前烟雾浓度数据和当前二氧化碳浓度数据；
所述对各个环境采集点的所述环境数据进行预处理，包括按照以下公式计算各个环境采集点在任意时刻的温度变化率、烟雾浓度变化率和二氧化碳浓度变化率：
式中，t为时间刻度值；Δt为时刻变化量；T(t)为在t时刻测得的温度数据；S(t)为在t时刻测得的烟雾浓度数据；Ct为在t时刻测得的二氧化碳浓度数据；Kt为t时刻的温度变化率；Pt为t时刻的烟雾浓度变化率；Mt为t时刻的二氧化碳浓度变化率。
6.根据权利要求5所述的方法，其中，所述第一预设异常情况阈值包括所述环境数据的温度变化率判断阈值、烟雾浓度变化率判断阈值和二氧化碳浓度变化率判断阈值；
所述根据预处理后的环境数据与第一预设异常情况阈值，计算火势流动轨迹，包括：
将所述各个环境采集点在任意时刻的温度变化率、烟雾浓度变化率和二氧化碳浓度变化率，分别与所述温度变化率判断阈值、烟雾浓度变化率判断阈值和二氧化碳浓度变化率判断阈值进行比较，计算各个环境采集点在任意时刻的火灾警报值；
根据所述火灾警报值，计算所述火势流动轨迹。
7.根据权利要求6所述的方法，其中，所述各个环境采集点在任意时刻的火灾警报值根据以下公式计算得出：
Di(t)＝H(Kt-K0)+H(Pt-P0)+H(Mt-M0)
式中，Di(t)为t时刻的第i个环境采集点的火灾警报值；K0为温度变化率判断阈值；P0为烟雾浓度变化率判断阈值；M0为二氧化碳浓度变化率判断阈值；
H(x)为单位阶跃函数，如下式所示：
Di(t)＝{0，1，2，3}。
8.根据权利要求7所述的方法，其中，所述火势流动轨迹根据以下公式来计算：
L＝W3(Δt)W2(Δt)+W3(Δt)W1(Δt)
式中，W1(Δt)为Δt时间段内第一个火灾警报值D1(t)＝3的环境采集点的位置点一；W2(Δt)为Δt时间段内第二个火灾警报值D2(t)＝3的环境采集点的位置点二；W3(Δt)为Δt时间段内第三个火灾警报值D3(t)＝3的环境采集点的位置点三；W3(Δt)W2(Δt)为位置点三指向位置点二的位移向量；W3(Δt)W1(Δt)为位置点三指向位置点一的位移向量；L为火势流动轨迹。
9.根据权利要求4所述的方法，其中，所述根据所述火势流动轨迹和所述监测视频流选取人员流动区域，包括：
从各个环境点的所述监测视频流提取多个采样帧；
根据所述多个采样帧，识别所述无人银行内的人员区域；
根据所述火势流动轨迹，从所述人员区域中选取人员流动区域。
10.根据权利要求4所述的方法，其中，所述人流运动轨迹根据以下公式计算得出：
式中，m为人员流动区域内的人口总数，Sn(Δt)为人员流动区域内的第n个人在Δt时间段内的位移向量，为人员流动区域内的m个人在Δt时间段内的所有位移向量之和，/>为人员流动区域内的m个人在Δt时间段内的所有位移向量之和的平均值；A为人流运动轨迹。
11.根据权利要求4所述的方法，其中，所述根据所述人流运动轨迹预测火源源头轨迹，包括：
将所述人流运动轨迹的反方向轨迹确定为所述火源源头轨迹。
12.根据权利要求4所述的方法，其中，所述机器人实时获取的独立环境数据包括在任意时刻采集的多个独立环境的火灾警报值，所述第二预设异常情况阈值为0；
所述将所述独立环境数据进行预处理之后与第二预设异常情况阈值进行比较，确定所述无人银行的安全状态并发出安全信号包括：
D′i(t)＝0时，所述机器人继续根据所述火源源头轨迹进行移动；
D′i(t)＞0时，确定所述无人银行有火灾情况发生并发出安全信号；
若所述机器人继续根据所述火源源头轨迹进行移动直至完成整个火源源头轨迹时D′i(t)始终为0，则确定所述无人银行无火灾情况发生；
其中，D′i(t)为所述机器人在t时刻采集的第i个独立环境的火灾警报值。
13.根据权利要求4所述的方法，其中，所述机器人与消防报警终端连接；所述方法还包括：
所述机器人在判断有火灾情况发生并发出安全信号的同时，将所述火源源头轨迹发送至消防报警终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310827535.5A CN116863637A (zh) | 2023-07-06 | 2023-07-06 | 无人银行智能监测***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310827535.5A CN116863637A (zh) | 2023-07-06 | 2023-07-06 | 无人银行智能监测***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116863637A true CN116863637A (zh) | 2023-10-10 |
Family
ID=88221120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310827535.5A Pending CN116863637A (zh) | 2023-07-06 | 2023-07-06 | 无人银行智能监测***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863637A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373196A (zh) * | 2023-11-17 | 2024-01-09 | 北京北元电器有限公司 | 一种电气火灾报警方法及*** |
-
2023
- 2023-07-06 CN CN202310827535.5A patent/CN116863637A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373196A (zh) * | 2023-11-17 | 2024-01-09 | 北京北元电器有限公司 | 一种电气火灾报警方法及*** |
| CN117373196B (zh) * | 2023-11-17 | 2024-04-05 | 北京北元电器有限公司 | 一种电气火灾报警方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110085029B (zh) | 基于轨道式巡检机器人的高速公路巡检***与方法 | |
| CN110047240B (zh) | 一种基于物联网的智能消防警示导引***与方法 | |
| USRE44527E1 (en) | Abnormality detection and surveillance system | |
| CN116863637A (zh) | 无人银行智能监测***及方法 | |
| KR102195706B1 (ko) | 침입 탐지방법 및 그 장치 | |
| US8854218B1 (en) | Detection system | |
| CN106981150A (zh) | 一种超市智能防盗***及方法 | |
| CN115223105B (zh) | 基于大数据的风险信息监控分析方法及*** | |
| US20020052708A1 (en) | Optimal image capture | |
| KR20160074208A (ko) | 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법 | |
| JP2005086626A (ja) | 広域監視装置 | |
| KR20200100348A (ko) | 실시간 화재 감지 시스템 및 그 감지 방법 | |
| CN113065528A (zh) | 一种嵌入式人脸识别、计数、测温的视觉计算*** | |
| EP3807810A1 (en) | Method of and system for recognising a human face | |
| CN112263803A (zh) | 基于实时场景巡视和自动检测灭火的无人车智能安防***及控制方法 | |
| KR102176045B1 (ko) | 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템 | |
| AU2007311761B2 (en) | Improvements relating to event detection | |
| KR102614856B1 (ko) | 군중 난류 위험 예측 시스템 및 방법 | |
| CN107590936A (zh) | 一种基于视频监控的仓库报警*** | |
| CN117253333A (zh) | 一种火灾摄像检测装置、火灾检测报警方法及*** | |
| CN110435890A (zh) | 一种基于飞行器的消防灭火平台 | |
| CN115049988A (zh) | 一种用于配电网监测及预判的边缘计算方法及装置 | |
| KR20230102532A (ko) | 시계열 데이터 예측 기법과 이미지 분류를 적용한 화재 판별 시스템 및 방법 | |
| CN111327871B (zh) | 人员监控*** | |
| KR20220043308A (ko) | Ai 알고리즘을 이용한 선박 관리시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |