CN111797739B - 基于双重扫描的提醒信息发送方法、装置和计算机设备 - Google Patents
基于双重扫描的提醒信息发送方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN111797739B CN111797739B CN202010583877.3A CN202010583877A CN111797739B CN 111797739 B CN111797739 B CN 111797739B CN 202010583877 A CN202010583877 A CN 202010583877A CN 111797739 B CN111797739 B CN 111797739B
- Authority
- CN
- China
- Prior art keywords
- preset
- visible light
- height
- scanning
- people
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/214—Monitoring or handling of messages using selective forwarding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/12—Messaging; Mailboxes; Announcements
- H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
本申请涉及人工智能技术领域,应用于智慧城市领域中,揭示了一种基于双重扫描的提醒信息发送方法、装置、计算机设备和存储介质,包括:获取无人机的浮空高度,再调取指定双重扫描策略;利用无人机上的可见光扫描设备,进行可见光扫描,以得到可见光图像;将可见光图像输入第一图像检测模型中,从而得到第一人数;利用红外线扫描设备,进行红外线扫描,以得到红外图像;将红外图像输入第二图像检测模型中,从而得到第二人数;若第一人数和第二人数均大于人数阈值,则向地面终端发送提醒信息。从而使远距离人群过度密集识别成为了可能,并保证了识别的准确性。本申请还涉及区块链技术,第一图像检测模型和第二图像检测模型可存储于区块链中。
Description
技术领域
本申请涉及到人工智能技术领域,特别是涉及到一种基于双重扫描的提醒信息发送方法、装置、计算机设备和存储介质。
背景技术
人群过度密集是群体践踏事件等群体伤害事件的前置条件,若能及早进行疏散人群处理,就能够降低发生机率。随着计算机技术的发展,现在能够采用图像识别技术来确定是否人群过度密集。但传统的采用图像识别技术来确定是否人群过度密集的方法,只适于近距离的应用,其原因有很多,例如图像采集时,由于视角与焦距的固有反比关系,使得远距离的图像采集时的视角很小,因此无法在第一时间将要拍摄的范围均进行图像采集(即,由于视角过小的原因,只能采集其中的一块区域),因此需要花费较长时间进行多次图像采集,而此时人群不是静止不动的,因此人群的移动造成了图像识别的不准确。因此,传统的采用图像识别技术来确定是否人群过度密集的方法,存在应用范围窄且准确性不足的缺陷。
发明内容
本申请的主要目的为提供一种基于双重扫描的提醒信息发送方法、装置、计算机设备和存储介质,旨在准确识别出人群是否密集。
为了实现上述发明目的,本申请提出一种基于双重扫描的提醒信息发送方法,应用于飞行控制终端,所述飞行控制终端用于控制预设的无人机,包括:
在所述无人机浮空时,获取所述无人机的浮空高度,再根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略;其中,所述指定双重扫描策略包括在第一时间段内进行可见光扫描,和在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同;
利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中所述可见光图像中至少包括一个人类;
将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成;
利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;
将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;其中,所述第二图像检测模型基于神经网络模型,并采用第二训练数据训练而成,所述第二训练数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且所述训练用可见光图像和所述训练用红外图像,是分别对同一环境进行图像采集而得到的;
判断所述第一人数和所述第二人数是否均大于预设的人数阈值;
若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。
进一步地,所述根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略的步骤,包括:
对所述浮空高度进行区间范围确认处理,以确认所述浮空高度是否处于高度区间(0,第一高度阈值)、[第一高度阈值,第二高度阈值)和[第二高度阈值,正无穷)之一;
若所述浮空高度处于高度区间(0,第一高度阈值),则根据公式:
T1=A,T2=B+b1×H,计算出第一时间段的时长T1和第二时间段的时长T2;其中A为预设的第一基础扫描时间,B为预设的第二基础扫描时间,b1为预设参数,b1大于0,H为所述浮空高度;
若所述浮空高度处于高度区间[第一高度阈值,第二高度阈值),则根据公式:
T1=A+a2×(H-h1),T2=B+b1×h1+b2×(H-h1),计算出第一时间段的时长T1和第二时间段的时长T2;其中h1为所述第一高度阈值,a2和b2均为预设参数,b2大于b1,b2大于a2,a2大于0;
若所述浮空高度处于高度区间[第二高度阈值,正无穷),则根据公式:
T1=A+a2×(h2-h1)+a3×(H-h2),T2=B+b1×h1+b2×(h2-h1)+b3×(H-h2),计算出第一时间段的时长T1和第二时间段的时长T2;其中h2为所述第二高度阈值,a3和b3均为预设参数,b3大于b2,b3小于a3,a3大于a2;
根据预设的高度-第一时间段的时长和第二时间段的时长-扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略,其中所述指定双重扫描策略被设置为,在第一时间段内进行可见光扫描,并且在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同。
进一步地,所述当前环境的地面设置有温度传感器阵列,所述温度传感器阵列与预设的无线信号发送器信号连接,所述利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像的步骤,包括:
获取所述无线信号发送器实时发送的温度信号组,所述温度信号组里的温度信号由所述温度传感器阵列中的温度传感器分别采集得到;
计算所述温度信号组中的最大温度值,并判断所述最大温度值是否大于预设的温度阈值;
若所述最大温度值大于预设的温度阈值,则计算所述温度信号组在预设时间段内的最大波动值,并判断所述最大波动值是否大于预设的偏差值;其中所述最大波动值指,所述温度信号组里中数值变化最大的温度信号的数值变化值;
若所述最大波动值不大于预设的偏差值,则根据预设的温度信号-温度传感器定位位置的对应关系,获取与所述最大温度值对应的指定定位位置;
利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中,可见光扫描的中心位置为所述指定定位位置。
进一步地,所述将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成的步骤之前,包括:
从预设的样本数据库中调用指定数量的样本数据对,其中所述样本数据对由第一样本数据和第二样本数据构成,所述第一样本数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成,所述第二样本数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且同一样本数据对中的训练用可见光图像和训练用红外图像,是分别对同一环境进行图像采集而得到的;
将所述样本数据对根据预设比例划分为训练数据对和验证数据对;
调用相同的第一神经网络模型和第二神经网络模型,并采用同时训练的方式,将所述训练数据对中的第一样本数据和所述第二样本数据,分别输入所述第一神经网络模型和第二神经网络模型中进行训练,从而得到第一暂时模型和第二暂时模型;
利用所述验证数据对所述第一暂时模型和第二暂时模型进行验证,从而得到验证结果;
判断所述验证结果是否为所述第一暂时模型和第二暂时模型均验证通过;
若所述验证结果为所述第一暂时模型和第二暂时模型均验证通过,则将所述第一暂时模型记为第一图像检测模型,并将所述第二暂时模型记为第二图像检测模型。
进一步地,所述判断所述第一人数和所述第二人数是否均大于预设的人数阈值的步骤之后,包括:
若所述第一人数和所述第二人数中只有一者大于预设的人数阈值,则根据预设的高度与置信系数对的对应关系,获取与所述浮空高度对应的指定置信系数对;其中所述指定置信系数对由第一置信系数p1和第二置信系数p2构成,第一置信系数p1和第二置信系数p2之和等于1,并且第一置信系数p1和第二置信系数p2的比值随浮空高度数值的增加而下降;
根据公式:M=p1M1+p2M2,计算出修正人数M,其中M1为所述第一人数,所述M2为所述第二人数;
判断所述修正人数M是否大于预设的人数阈值;
若所述修正人数M大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。
本申请提供一种基于双重扫描的提醒信息发送装置,应用于飞行控制终端,所述飞行控制终端用于控制预设的无人机,包括:
浮空高度获取单元,用于在所述无人机浮空时,获取所述无人机的浮空高度,再根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略;其中,所述指定双重扫描策略包括在第一时间段内进行可见光扫描,和在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同;
可见光图像获取单元,用于利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中所述可见光图像中至少包括一个人类;
第一人数获取单元,用于将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成;
红外图像获取单元,用于利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;
第二人数获取单元,用于将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;其中,所述第二图像检测模型基于神经网络模型,并采用第二训练数据训练而成,所述第二训练数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且所述训练用可见光图像和所述训练用红外图像,是分别对同一环境进行图像采集而得到的;
人数阈值判断单元,用于判断所述第一人数和所述第二人数是否均大于预设的人数阈值;
提醒信息发送单元,用于若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。
进一步地,所述浮空高度获取单元,包括:
范围确认子单元,用于对所述浮空高度进行区间范围确认处理,以确认所述浮空高度是否处于高度区间(0,第一高度阈值)、[第一高度阈值,第二高度阈值)和[第二高度阈值,正无穷)之一;
第一时长计算子单元,用于若所述浮空高度处于高度区间(0,第一高度阈值),则根据公式:
T1=A,T2=B+b1×H,计算出第一时间段的时长T1和第二时间段的时长T2;其中A为预设的第一基础扫描时间,B为预设的第二基础扫描时间,b1为预设参数,b1大于0,H为所述浮空高度;
第二时长计算子单元,用于若所述浮空高度处于高度区间[第一高度阈值,第二高度阈值),则根据公式:
T1=A+a2×(H-h1),T2=B+b1×h1+b2×(H-h1),计算出第一时间段的时长T1和第二时间段的时长T2;其中h1为所述第一高度阈值,a2和b2均为预设参数,b2大于b1,b2大于a2,a2大于0;
第三时长计算子单元,用于若所述浮空高度处于高度区间[第二高度阈值,正无穷),则根据公式:
T1=A+a2×(h2-h1)+a3×(H-h2),T2=B+b1×h1+b2×(h2-h1)+b3×(H-h2),计算出第一时间段的时长T1和第二时间段的时长T2;其中h2为所述第二高度阈值,a3和b3均为预设参数,b3大于b2,b3小于a3,a3大于a2;
双重扫描策略调取子单元,用于根据预设的高度-第一时间段的时长和第二时间段的时长-扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略,其中所述指定双重扫描策略被设置为,在第一时间段内进行可见光扫描,并且在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同。
进一步地,所述当前环境的地面设置有温度传感器阵列,所述温度传感器阵列与预设的无线信号发送器信号连接,所述可见光图像获取单元,包括:
温度信号组获取子单元,用于获取所述无线信号发送器实时发送的温度信号组,所述温度信号组里的温度信号由所述温度传感器阵列中的温度传感器分别采集得到;
最大温度值计算子单元,用于计算所述温度信号组中的最大温度值,并判断所述最大温度值是否大于预设的温度阈值;
最大波动值计算子单元,用于若所述最大温度值大于预设的温度阈值,则计算所述温度信号组在预设时间段内的最大波动值,并判断所述最大波动值是否大于预设的偏差值;其中所述最大波动值指,所述温度信号组里中数值变化最大的温度信号的数值变化值;
指定定位位置获取子单元,用于若所述最大波动值不大于预设的偏差值,则根据预设的温度信号-温度传感器定位位置的对应关系,获取与所述最大温度值对应的指定定位位置;
可见光图像获取子单元,用于利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中,可见光扫描的中心位置为所述指定定位位置。
本申请提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的基于双重扫描的提醒信息发送方法、装置、计算机设备和存储介质,在所述无人机浮空时,获取所述无人机的浮空高度,再调取与所述浮空高度对应的指定双重扫描策略;利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。从而使得在远距离进行人群过度密集识别成为了可能,并保证了识别的准确性。
附图说明
图1为本申请一实施例的基于双重扫描的提醒信息发送方法的流程示意图;
图2为本申请一实施例的基于双重扫描的提醒信息发送装置的结构示意框图;
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请通过特别的设计,使得在远距离进行人群过度密集识别成为了可能,并保证了识别的准确性。其中,由于采用了可见光扫描和红外线扫描并行的扫描策略,使得最终的识别人数的可靠性得到了保证,并且采用的是关联的第一图像检测模型和第二图像检测模型,保证识别过程的可行性。
本申请可应用于任意可行场景,优选应用于远距离识别场景,即无人机与当前环境(即被拍摄区域)的实际距离满足这样的条件:无人机上的可见光扫描设备在指定焦距下对应的指定视角,无法完全覆盖所述当前环境,其中所述指定焦距指可见光扫描设备在能够清晰拍摄所述当前环境的取景对象时的焦距。进一步地,本申请的无人机的飞行高度可为任意可行高度,例如为高空或者低空,优选低空以保证图像的质量。
参照图1,本申请实施例提供一种基于双重扫描的提醒信息发送方法,应用于飞行控制终端,所述飞行控制终端用于控制预设的无人机,包括:
S1、在所述无人机浮空时,获取所述无人机的浮空高度,再根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略;其中,所述指定双重扫描策略包括在第一时间段内进行可见光扫描,和在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同;
S2、利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中所述可见光图像中至少包括一个人类;
S3、将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成;
S4、利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;
S5、将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;其中,所述第二图像检测模型基于神经网络模型,并采用第二训练数据训练而成,所述第二训练数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且所述训练用可见光图像和所述训练用红外图像,是分别对同一环境进行图像采集而得到的;
S6、判断所述第一人数和所述第二人数是否均大于预设的人数阈值;
S7、若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。
如上述步骤S1所述,在所述无人机浮空时,获取所述无人机的浮空高度,再根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略;其中,所述指定双重扫描策略包括在第一时间段内进行可见光扫描,和在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同。其中,所述飞行控制终端例如位于所述无人机上。所述无人机用于搭载扫描设备,以提供足够的高度,使远距离大范围覆盖扫描成为可能。其中,预设的高度与扫描策略的对应关系,是经由研究发现而特别设置的。具体地,可见光扫描与红外线扫描对于距离的敏感性存在差异,在近距离,红外线扫描的准确性低于可见光扫描,而随着距离的增大,红外线扫描与可见光扫描的准确性均在降低,但是红外线扫描对应的准确性降低的速度要低于可见光扫描。因此,为了获取足够的信息,扫描时间的长短与距离直接相关。而高度是距离的直接代表与直接反应。据此,设置了高度与扫描策略的对应关系(该对应关系可以通过预先进行在不同高度进行图像采集,以得到相应的采集时间,从而建立高度与两种扫描的时长的对应关系,以形成高度与扫描策略的对应关系)。再根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略;其中,所述指定双重扫描策略包括在第一时间段内进行可见光扫描,和在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同。
如上述步骤S2-S3所述,利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中所述可见光图像中至少包括一个人类;将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成。所述当前环境指的是待进行图像采集的区域位置。其中,当可见光扫描设备与当前环境距离较近时,即通过控制焦距能够使视角将当前环境完全纳入取景范围内时,则只需采集一张图像即可;当可见光扫描设备与当前环境距离较远时,即通过控制焦距能够使视角无法将当前环境完全纳入取景范围内时,则需要采集多张图像,再进行图像拼接以得到可见光图像。其中,所述第一图像检测模型用于对可见光图像进行人数分析,以得到第一人数。由于所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成,因此所述第一图像检测模型能够胜任人数检测的任务。
如上述步骤S4-S5所述,利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;其中,所述第二图像检测模型基于神经网络模型,并采用第二训练数据训练而成,所述第二训练数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且所述训练用可见光图像和所述训练用红外图像,是分别对同一环境进行图像采集而得到的。本申请的红外线扫描设备能够进行无接触红外线扫描,其采集的区域也是所述当前环境,即与可见光扫描设备采集的区域相同,并且采集的开始时间也与可见光扫描设备的开始时间相同,从而保证图像分析的相关性,保证最终的分析结果可信。并且采用的第二图像检测模型并非是独立的模型,该第二图像检测模型是与第一图像检测模型相关联的。即,所述第二图像检测模型基于神经网络模型,并采用第二训练数据训练而成,所述第二训练数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且所述训练用可见光图像和所述训练用红外图像,是分别对同一环境进行图像采集而得到的。因此,所述第二图像检测模型采用的训练数据与第一图像检测模型采用的训练数据是关联于同一对象的。
如上述步骤S6-S7所述,判断所述第一人数和所述第二人数是否均大于预设的人数阈值;若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。单个的扫描结果(即第一人数或第二人数)的可信度均不高,但若两个扫描结果的数值均较高,即所述第一人数和所述第二人数均大于预设的人数阈值,则能够表明实际人数的确较大。而此时无需进一步确定准确的人数,因为此时已确定当前环境为人群过度密集区域,因此有人群疏散的必要。据此,向预设的地面终端发送人群疏散的提醒信息。其中,所述地面终端可位于任意可行位置,例如位于所述当前环境附近,以便于所述地面终端的使用者进行人群疏散工作。或者,所述地面终端上设置有广播设备,以利用广播设备提醒人群疏散。
进一步地,控制无人机的飞行控制终端可以包括多个模块,即包括:实时预览模块,云台控制模块,兴趣点定位模块和与地图结合的定位模块。所述实时预览模块用于实时展示采集到的图像;所述云台控制模块用于控制摄像头的朝向,以使无人机在某一确定位置浮空时,能够实现全方向的图像采集;所述兴趣点定位模块,用于获取使用者在屏幕上点击以生成的位置调整指令(该位置称为感兴趣区域),从而使摄像头对准这一感兴趣区域;所述地图结合的定位模块,用于模拟与GPS结合的摄像头应用。其中,云台控制模块主要用PTZControlAll接口控制云台,这个函数共接受三个参数,一个是设备的句柄,一个是要让云台做的操作,一个是做出这种操作的速度。在云台的转向方面,提供了两种方式:点击按钮或者直接点击播放屏幕的某一位置。点击按钮共分为八个方向,点击某一按钮就可让云台向对应的方向移动一段距离,移动的距离由云台速度决定;另外一种方式是点击播放画面窗口,本***将窗口划分为八个窗口,分别对应向这个位置移动的方向,当鼠标停留在某一个窗口并点击时,就可以将云台向这个方向移动。另外,还有变焦功能的实现,同样可以通过调用PTZControlAll接口实现。兴趣点定位模块主要是将摄像头对准视频画面中的某一位置,实现这个功能的意义是在飞行时,如果有某一兴趣点值得注意,比如行人密度较大的地方,这时摄像头可以自动对准这一位置,以便更好的观察兴趣点附近的情况。因此,在本***中,实现了点击播放画面窗口的某一位置,将摄像头自动对准这一位置的功能。地图结合的定位模块:主要目的是模拟与GPS结合的摄像头应用。假如低空飞行平台(如飞艇等)悬停在某一位置,供实时提供某个区域周围的兴趣点检测,那么考虑与地图结合的一种应用:在地图上点击摄像头可视范围内的某一点,摄像头可以自动旋转并对准地图上的这一位置。实现的方法在于利用球机(例如采用海康威视的球机进行图像采集)重启后的默认位置以及球机转动角度和点击位置的相对关系。利用一张静态的图片模拟地图,在地图的实际位置周围设定可监测区域。球机有一个重置的选项,重置以后云台会转动到初始位置。这时的摄像头是对准固定位置的,这个固定位置与地图上的某个位置相对应。因此,通过计算点击区域与这个位置的距离,就可以得出球机应该旋转的角度。另外,还可以通过调用NET_DVR_PTZPreset接口来设置和调用预置点,即提前设置好的位置,调用以后可以让摄像头旋转到记录好的预置点。这个功能可以与地图上的标志性位置相结合,在选择这个位置时,就可以精准的将摄像头定位到这个位置。当然,在低空飞行平台上的摄像头还要考虑平台本身的转向问题,因此要实现这个功能还需要搭配低空飞行平台上的传感器信息。
在一个实施方式中,所述根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略的步骤S1,包括:
S101、对所述浮空高度进行区间范围确认处理,以确认所述浮空高度是否处于高度区间(0,第一高度阈值)、[第一高度阈值,第二高度阈值)和[第二高度阈值,正无穷)之一;
S102、若所述浮空高度处于高度区间(0,第一高度阈值),则根据公式:
T1=A,T2=B+b1×H,计算出第一时间段的时长T1和第二时间段的时长T2;其中A为预设的第一基础扫描时间,B为预设的第二基础扫描时间,b1为预设参数,b1大于0,H为所述浮空高度;
S103、若所述浮空高度处于高度区间[第一高度阈值,第二高度阈值),则根据公式:
T1=A+a2×(H-h1),T2=B+b1×h1+b2×(H-h1),计算出第一时间段的时长T1和第二时间段的时长T2;其中h1为所述第一高度阈值,a2和b2均为预设参数,b2大于b1,b2大于a2,a2大于0;
S104、若所述浮空高度处于高度区间[第二高度阈值,正无穷),则根据公式:
T1=A+a2×(h2-h1)+a3×(H-h2),T2=B+b1×h1+b2×(h2-h1)+b3×(H-h2),计算出第一时间段的时长T1和第二时间段的时长T2;其中h2为所述第二高度阈值,a3和b3均为预设参数,b3大于b2,b3小于a3,a3大于a2;
S105、根据预设的高度-第一时间段的时长和第二时间段的时长-扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略,其中所述指定双重扫描策略被设置为,在第一时间段内进行可见光扫描,并且在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同。
如上所述,实现了根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略。以可见光扫描设备为CMOS摄像头为例,其视角符合公式:视角=2×arctan(d/2f),其中f为焦距,d为摄像头CMOS的对角线长度。从而可知,焦距越大,视角越小。并且当清晰成像时,焦距与物距正相关,即物距越远,焦距越大。因此,当所述当前环境与无人机之间的距离较大时,无人机上的可见光采集设备的视角较小,无法在第一时间内完整采集可见光图像。因此,随着距离的变大,即直接反应为高度的增加,可见光图像采集需要的时间越长,但是在较低高度时,由于视角较大,能够第一时间采集完整可见光图像,因此采集时间不变,即若所述浮空高度处于高度区间(0,第一高度阈值),则根据公式:
T1=A,得到第一时间段的时长。当大于第一高度阈值时,随着高度变大,需要时间越长,即若所述浮空高度处于高度区间[第一高度阈值,第二高度阈值),则根据公式:
T1=A+a2×(H-h1)计算出第一时间段的时长T1。根据研究发现,在高度更高时,即若所述浮空高度处于高度区间[第二高度阈值,正无穷),需要更多的时间才能采集整体图像,因此根据公式:
T1=A+a2×(h2-h1)+a3×(H-h2)计算出第一时间段的时长T1。而红外线扫描的准确度也跟距离相关,也呈负相关关系。因此,若所述浮空高度处于高度区间(0,第一高度阈值),则根据公式:T2=B+b1×H,计算出第二时间段的时长T2;若所述浮空高度处于高度区间[第一高度阈值,第二高度阈值),则根据公式:T2=B+b1×h1+b2×(H-h1),计算出第二时间段的时长T2;若所述浮空高度处于高度区间[第二高度阈值,正无穷),则根据公式:T2=B+b1×h1+b2×(h2-h1)+b3×(H-h2),计算出第二时间段的时长T2。需要注意的是,预设参数之间具有特定的相对关系,其中最重要的是,b2大于a2,但是b3却小于a3,这是经由本申请研究发现,红外线扫描的准确性对于距离(或高度)的敏感性比可见光扫描的准确性对于距离(或高度)的敏感性低的缘故。
在一个实施方式中,所述当前环境的地面设置有温度传感器阵列,所述温度传感器阵列与预设的无线信号发送器信号连接,所述利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像的步骤S2,包括:
S201、获取所述无线信号发送器实时发送的温度信号组,所述温度信号组里的温度信号由所述温度传感器阵列中的温度传感器分别采集得到;
S202、计算所述温度信号组中的最大温度值,并判断所述最大温度值是否大于预设的温度阈值;
S203、若所述最大温度值大于预设的温度阈值,则计算所述温度信号组在预设时间段内的最大波动值,并判断所述最大波动值是否大于预设的偏差值;其中所述最大波动值指,所述温度信号组里中数值变化最大的温度信号的数值变化值;
S204、若所述最大波动值不大于预设的偏差值,则根据预设的温度信号-温度传感器定位位置的对应关系,获取与所述最大温度值对应的指定定位位置;
S205、利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中,可见光扫描的中心位置为所述指定定位位置。
如上所述,实现了利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像。进行可见光图像采集,其中的一个难点在于图像中心点的选择。由于本申请是用于人群数量分析,因此人群最密集处最适应于作为图像中心。但是,普通的可见光图像采集难以确定何处是人群最密集处,因此最终的分析结果准确性不高。而本申请采用了特别的设计,以利于中心定位。具体地,获取所述无线信号发送器实时发送的温度信号组,所述温度信号组里的温度信号由所述温度传感器阵列中的温度传感器分别采集得到;计算所述温度信号组中的最大温度值,并判断所述最大温度值是否大于预设的温度阈值;若所述最大温度值大于预设的温度阈值,那么在一般情况下,该最大温度值对应的定位位置应该就是中心位置,原因在于,人群最密集处由于拥挤的原因,其热量无法散发出去,因此越拥挤温度越高。但是,本申请通过进一步的设计,提高温度分析的准确性,即计算所述温度信号组在预设时间段内的最大波动值,并判断所述最大波动值是否大于预设的偏差值;其中所述最大波动值指,所述温度信号组里中数值变化最大的温度信号的数值变化值;若所述最大波动值不大于预设的偏差值,表明人群不仅密集,而且流动性低,从而可以以与所述最大温度值对应的指定定位位置为中心,因此,利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中,可见光扫描的中心位置为所述指定定位位置。
在一个实施方式中,所述将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成的步骤S3之前,包括:
S21、从预设的样本数据库中调用指定数量的样本数据对,其中所述样本数据对由第一样本数据和第二样本数据构成,所述第一样本数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成,所述第二样本数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且同一样本数据对中的训练用可见光图像和训练用红外图像,是分别对同一环境进行图像采集而得到的;
S22、将所述样本数据对根据预设比例划分为训练数据对和验证数据对;
S23、调用相同的第一神经网络模型和第二神经网络模型,并采用同时训练的方式,将所述训练数据对中的第一样本数据和所述第二样本数据,分别输入所述第一神经网络模型和第二神经网络模型中进行训练,从而得到第一暂时模型和第二暂时模型;
S24、利用所述验证数据对所述第一暂时模型和第二暂时模型进行验证,从而得到验证结果;
S25、判断所述验证结果是否为所述第一暂时模型和第二暂时模型均验证通过;
S26、若所述验证结果为所述第一暂时模型和第二暂时模型均验证通过,则将所述第一暂时模型记为第一图像检测模型,并将所述第二暂时模型记为第二图像检测模型。
如上所述,实现了双模型共训练以得到关联的第一图像检测模型和第二图像检测模型。本申请的训练方法是特别的,其特点不仅在于两个模型的训练数据相关联,而且在于训练时间相同,从而保证模型预测结果的准确性与相关性(该相关性使得综合两个模型的预测人数,以得到准确的纠正人数成为了可能)。所述训练数据的相关性,指的是所述样本数据对由第一样本数据和第二样本数据构成,所述第一样本数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成,所述第二样本数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且同一样本数据对中的训练用可见光图像和训练用红外图像,是分别对同一环境进行图像采集而得到的。再采用同时训练的方式,将所述训练数据对中的第一样本数据和所述第二样本数据,分别输入所述第一神经网络模型和第二神经网络模型中进行训练,从而同时得到相关的第一暂时模型和第二暂时模型。再进行验证后,即得到第一图像检测模型和第二图像检测模型。
在一个实施方式中,所述判断所述第一人数和所述第二人数是否均大于预设的人数阈值的步骤S6之后,包括:
S61、若所述第一人数和所述第二人数中只有一者大于预设的人数阈值,则根据预设的高度与置信系数对的对应关系,获取与所述浮空高度对应的指定置信系数对;其中所述指定置信系数对由第一置信系数p1和第二置信系数p2构成,第一置信系数p1和第二置信系数p2之和等于1,并且第一置信系数p1和第二置信系数p2的比值随浮空高度数值的增加而下降;
S62、根据公式:M=p1M1+p2M2,计算出修正人数M,其中M1为所述第一人数,所述M2为所述第二人数;
S63、判断所述修正人数M是否大于预设的人数阈值;
S64、若所述修正人数M大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。
如上所述,实现了计算出修正人数,并向预设的地面终端发送人群疏散的提醒信息。由于本申请的第一图像检测模型和第二图像检测模型是关联的,因此可以采用集成第一图像检测模型和第二图像检测模型的输出结果,以得到修正人数。其中,由于两种扫描方式对于高度的敏感性不同,即可见光扫描对于高度的敏感性更高,而红外线扫描对于高度的敏感性较低,因此本申请通过设置置信系数对的方式,以反应出高度敏感性,即所述指定置信系数对由第一置信系数p1和第二置信系数p2构成,第一置信系数p1和第二置信系数p2之和等于1,并且第一置信系数p1和第二置信系数p2的比值随浮空高度数值的增加而下降。再根据公式:M=p1M1+p2M2,计算出修正人数M,其中M1为所述第一人数,所述M2为所述第二人数。若所述修正人数M大于预设的人数阈值,表明人群过于密集,因此向预设的地面终端发送人群疏散的提醒信息,以便于避免群体践踏事件等情况的发生。
本申请的基于双重扫描的提醒信息发送方法,在所述无人机浮空时,获取所述无人机的浮空高度,再调取与所述浮空高度对应的指定双重扫描策略;利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。从而使得在远距离进行人群过度密集识别成为了可能,并保证了识别的准确性。
参照图2,本申请实施例提供一种基于双重扫描的提醒信息发送装置,应用于飞行控制终端,所述飞行控制终端用于控制预设的无人机,包括:
浮空高度获取单元10,用于在所述无人机浮空时,获取所述无人机的浮空高度,再根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略;其中,所述指定双重扫描策略包括在第一时间段内进行可见光扫描,和在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同;
可见光图像获取单元20,用于利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中所述可见光图像中至少包括一个人类;
第一人数获取单元30,用于将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成;
红外图像获取单元40,用于利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;
第二人数获取单元50,用于将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;其中,所述第二图像检测模型基于神经网络模型,并采用第二训练数据训练而成,所述第二训练数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且所述训练用可见光图像和所述训练用红外图像,是分别对同一环境进行图像采集而得到的;
人数阈值判断单元60,用于判断所述第一人数和所述第二人数是否均大于预设的人数阈值;
提醒信息发送单元70,用于若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于双重扫描的提醒信息发送方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述浮空高度获取单元,包括:
范围确认子单元,用于对所述浮空高度进行区间范围确认处理,以确认所述浮空高度是否处于高度区间(0,第一高度阈值)、[第一高度阈值,第二高度阈值)和[第二高度阈值,正无穷)之一;
第一时长计算子单元,用于若所述浮空高度处于高度区间(0,第一高度阈值),则根据公式:
T1=A,T2=B+b1×H,计算出第一时间段的时长T1和第二时间段的时长T2;其中A为预设的第一基础扫描时间,B为预设的第二基础扫描时间,b1为预设参数,b1大于0,H为所述浮空高度;
第二时长计算子单元,用于若所述浮空高度处于高度区间[第一高度阈值,第二高度阈值),则根据公式:
T1=A+a2×(H-h1),T2=B+b1×h1+b2×(H-h1),计算出第一时间段的时长T1和第二时间段的时长T2;其中h1为所述第一高度阈值,a2和b2均为预设参数,b2大于b1,b2大于a2,a2大于0;
第三时长计算子单元,用于若所述浮空高度处于高度区间[第二高度阈值,正无穷),则根据公式:
T1=A+a2×(h2-h1)+a3×(H-h2),T2=B+b1×h1+b2×(h2-h1)+b3×(H-h2),计算出第一时间段的时长T1和第二时间段的时长T2;其中h2为所述第二高度阈值,a3和b3均为预设参数,b3大于b2,b3小于a3,a3大于a2;
双重扫描策略调取子单元,用于根据预设的高度-第一时间段的时长和第二时间段的时长-扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略,其中所述指定双重扫描策略被设置为,在第一时间段内进行可见光扫描,并且在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于双重扫描的提醒信息发送方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述当前环境的地面设置有温度传感器阵列,所述温度传感器阵列与预设的无线信号发送器信号连接,所述可见光图像获取单元,包括:
温度信号组获取子单元,用于获取所述无线信号发送器实时发送的温度信号组,所述温度信号组里的温度信号由所述温度传感器阵列中的温度传感器分别采集得到;
最大温度值计算子单元,用于计算所述温度信号组中的最大温度值,并判断所述最大温度值是否大于预设的温度阈值;
最大波动值计算子单元,用于若所述最大温度值大于预设的温度阈值,则计算所述温度信号组在预设时间段内的最大波动值,并判断所述最大波动值是否大于预设的偏差值;其中所述最大波动值指,所述温度信号组里中数值变化最大的温度信号的数值变化值;
指定定位位置获取子单元,用于若所述最大波动值不大于预设的偏差值,则根据预设的温度信号-温度传感器定位位置的对应关系,获取与所述最大温度值对应的指定定位位置;
可见光图像获取子单元,用于利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中,可见光扫描的中心位置为所述指定定位位置。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于双重扫描的提醒信息发送方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述装置,包括:
样本数据对调用单元,用于从预设的样本数据库中调用指定数量的样本数据对,其中所述样本数据对由第一样本数据和第二样本数据构成,所述第一样本数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成,所述第二样本数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且同一样本数据对中的训练用可见光图像和训练用红外图像,是分别对同一环境进行图像采集而得到的;
样本数据划分单元,用于将所述样本数据对根据预设比例划分为训练数据对和验证数据对;
同时训练单元,用于调用相同的第一神经网络模型和第二神经网络模型,并采用同时训练的方式,将所述训练数据对中的第一样本数据和所述第二样本数据,分别输入所述第一神经网络模型和第二神经网络模型中进行训练,从而得到第一暂时模型和第二暂时模型;
验证结果获取单元,用于利用所述验证数据对所述第一暂时模型和第二暂时模型进行验证,从而得到验证结果;
验证结果判断单元,用于判断所述验证结果是否为所述第一暂时模型和第二暂时模型均验证通过;
模型标记单元,用于若所述验证结果为所述第一暂时模型和第二暂时模型均验证通过,则将所述第一暂时模型记为第一图像检测模型,并将所述第二暂时模型记为第二图像检测模型。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于双重扫描的提醒信息发送方法的步骤一一对应,在此不再赘述。
在一个实施方式中,所述装置,包括:
指定置信系数对获取单元,用于若所述第一人数和所述第二人数中只有一者大于预设的人数阈值,则根据预设的高度与置信系数对的对应关系,获取与所述浮空高度对应的指定置信系数对;其中所述指定置信系数对由第一置信系数p1和第二置信系数p2构成,第一置信系数p1和第二置信系数p2之和等于1,并且第一置信系数p1和第二置信系数p2的比值随浮空高度数值的增加而下降;
修正人数计算单元,用于根据公式:M=p1M1+p2M2,计算出修正人数M,其中M1为所述第一人数,所述M2为所述第二人数;
修正人数判断单元,用于判断所述修正人数M是否大于预设的人数阈值;
疏散信息发送单元,用于若所述修正人数M大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。
其中上述单元或子单元分别用于执行的操作与前述实施方式的基于双重扫描的提醒信息发送方法的步骤一一对应,在此不再赘述。
本申请的基于双重扫描的提醒信息发送装置,在所述无人机浮空时,获取所述无人机的浮空高度,再调取与所述浮空高度对应的指定双重扫描策略;利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。从而使得在远距离进行人群过度密集识别成为了可能,并保证了识别的准确性。
参照图3,本发明实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于双重扫描的提醒信息发送方法所用数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于双重扫描的提醒信息发送方法。
上述处理器执行上述基于双重扫描的提醒信息发送方法,其中所述方法包括的步骤分别与执行前述实施方式的基于双重扫描的提醒信息发送方法的步骤一一对应,在此不再赘述。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请的计算机设备,在所述无人机浮空时,获取所述无人机的浮空高度,再调取与所述浮空高度对应的指定双重扫描策略;利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。从而使得在远距离进行人群过度密集识别成为了可能,并保证了识别的准确性。
本申请一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现基于双重扫描的提醒信息发送方法,其中所述方法包括的步骤分别与执行前述实施方式的基于双重扫描的提醒信息发送方法的步骤一一对应,在此不再赘述。
本申请的计算机可读存储介质,在所述无人机浮空时,获取所述无人机的浮空高度,再调取与所述浮空高度对应的指定双重扫描策略;利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。从而使得在远距离进行人群过度密集识别成为了可能,并保证了识别的准确性。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
本申请可应用于智慧城市领域中,从而推动智慧城市的建设。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (8)
1.一种基于双重扫描的提醒信息发送方法,其特征在于,应用于飞行控制终端,所述飞行控制终端用于控制预设的无人机,包括:
在所述无人机浮空时,获取所述无人机的浮空高度,再根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略;其中,所述指定双重扫描策略包括在第一时间段内进行可见光扫描,和在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同;
利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中所述可见光图像中至少包括一个人类;
将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成;
利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;
将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;其中,所述第二图像检测模型基于神经网络模型,并采用第二训练数据训练而成,所述第二训练数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且所述训练用可见光图像和所述训练用红外图像,是分别对同一环境进行图像采集而得到的;
判断所述第一人数和所述第二人数是否均大于预设的人数阈值;
若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息;
所述根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略的步骤,包括:
对所述浮空高度进行区间范围确认处理,以确认所述浮空高度是否处于高度区间(0,第一高度阈值)、[第一高度阈值,第二高度阈值)和[第二高度阈值,正无穷)之一;
若所述浮空高度处于高度区间(0,第一高度阈值),则根据公式:
T1=A,T2=B+b1×H,计算出第一时间段的时长T1和第二时间段的时长T2;其中A为预设的第一基础扫描时间,B为预设的第二基础扫描时间,b1为预设参数,b1大于0,H为所述浮空高度;
若所述浮空高度处于高度区间[第一高度阈值,第二高度阈值),则根据公式:
T1=A+a2×(H-h1),T2=B+b1×h1+b2×(H-h1),计算出第一时间段的时长T1和第二时间段的时长T2;其中h1为所述第一高度阈值,a2和b2均为预设参数,b2大于b1,b2大于a2,a2大于0;
若所述浮空高度处于高度区间[第二高度阈值,正无穷),则根据公式:
T1=A+a2×(h2-h1)+a3×(H-h2),T2=B+b1×h1+b2×(h2-h1)+b3×(H-h2),计算出第一时间段的时长T1和第二时间段的时长T2;其中h2为所述第二高度阈值,a3和b3均为预设参数,b3大于b2,b3小于a3,a3大于a2;
根据预设的高度-第一时间段的时长和第二时间段的时长-扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略,其中所述指定双重扫描策略被设置为,在第一时间段内进行可见光扫描,并且在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同。
2.根据权利要求1所述的基于双重扫描的提醒信息发送方法,其特征在于,所述当前环境的地面设置有温度传感器阵列,所述温度传感器阵列与预设的无线信号发送器信号连接,所述利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像的步骤,包括:
获取所述无线信号发送器实时发送的温度信号组,所述温度信号组里的温度信号由所述温度传感器阵列中的温度传感器分别采集得到;
计算所述温度信号组中的最大温度值,并判断所述最大温度值是否大于预设的温度阈值;
若所述最大温度值大于预设的温度阈值,则计算所述温度信号组在预设时间段内的最大波动值,并判断所述最大波动值是否大于预设的偏差值;其中所述最大波动值指,所述温度信号组里中数值变化最大的温度信号的数值变化值;
若所述最大波动值不大于预设的偏差值,则根据预设的温度信号-温度传感器定位位置的对应关系,获取与所述最大温度值对应的指定定位位置;
利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中,可见光扫描的中心位置为所述指定定位位置。
3.根据权利要求1所述的基于双重扫描的提醒信息发送方法,其特征在于,所述将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成的步骤之前,包括:
从预设的样本数据库中调用指定数量的样本数据对,其中所述样本数据对由第一样本数据和第二样本数据构成,所述第一样本数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成,所述第二样本数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且同一样本数据对中的训练用可见光图像和训练用红外图像,是分别对同一环境进行图像采集而得到的;
将所述样本数据对根据预设比例划分为训练数据对和验证数据对;
调用相同的第一神经网络模型和第二神经网络模型,并采用同时训练的方式,将所述训练数据对中的第一样本数据和所述第二样本数据,分别输入所述第一神经网络模型和第二神经网络模型中进行训练,从而得到第一暂时模型和第二暂时模型;
利用所述验证数据对所述第一暂时模型和第二暂时模型进行验证,从而得到验证结果;
判断所述验证结果是否为所述第一暂时模型和第二暂时模型均验证通过;
若所述验证结果为所述第一暂时模型和第二暂时模型均验证通过,则将所述第一暂时模型记为第一图像检测模型,并将所述第二暂时模型记为第二图像检测模型。
4.根据权利要求1所述的基于双重扫描的提醒信息发送方法,其特征在于,所述判断所述第一人数和所述第二人数是否均大于预设的人数阈值的步骤之后,包括:
若所述第一人数和所述第二人数中只有一者大于预设的人数阈值,则根据预设的高度与置信系数对的对应关系,获取与所述浮空高度对应的指定置信系数对;其中所述指定置信系数对由第一置信系数p1和第二置信系数p2构成,第一置信系数p1和第二置信系数p2之和等于1,并且第一置信系数p1和第二置信系数p2的比值随浮空高度数值的增加而下降;
根据公式:M=p1M1+p2M2,计算出修正人数M,其中M1为所述第一人数,所述M2为所述第二人数;
判断所述修正人数M是否大于预设的人数阈值;
若所述修正人数M大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息。
5.一种基于双重扫描的提醒信息发送装置,其特征在于,应用于飞行控制终端,所述飞行控制终端用于控制预设的无人机,包括:
浮空高度获取单元,用于在所述无人机浮空时,获取所述无人机的浮空高度,再根据预设的高度与扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略;其中,所述指定双重扫描策略包括在第一时间段内进行可见光扫描,和在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同;
可见光图像获取单元,用于利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中所述可见光图像中至少包括一个人类;
第一人数获取单元,用于将所述可见光图像输入预设的第一图像检测模型中进行处理,从而得到所述第一图像检测模型输出的第一人数;其中,所述第一图像检测模型基于神经网络模型,并采用第一训练数据训练而成,所述第一训练数据由预先收集的训练用可见光图像和与对应的人工标识的人数构成;
红外图像获取单元,用于利用预设的红外线扫描设备,在所述第二时间段内对所述当前环境进行红外线扫描,以得到红外图像;
第二人数获取单元,用于将所述红外图像输入预设的第二图像检测模型中进行处理,从而得到所述第二图像检测模型输出的第二人数;其中,所述第二图像检测模型基于神经网络模型,并采用第二训练数据训练而成,所述第二训练数据由预先收集的训练用红外图像和与对应的人工标识的人数构成,并且所述训练用可见光图像和所述训练用红外图像,是分别对同一环境进行图像采集而得到的;
人数阈值判断单元,用于判断所述第一人数和所述第二人数是否均大于预设的人数阈值;
提醒信息发送单元,用于若所述第一人数和所述第二人数均大于预设的人数阈值,则向预设的地面终端发送人群疏散的提醒信息;
所述浮空高度获取单元,包括:
范围确认子单元,用于对所述浮空高度进行区间范围确认处理,以确认所述浮空高度是否处于高度区间(0,第一高度阈值)、[第一高度阈值,第二高度阈值)和[第二高度阈值,正无穷)之一;
第一时长计算子单元,用于若所述浮空高度处于高度区间(0,第一高度阈值),则根据公式:
T1=A,T2=B+b1×H,计算出第一时间段的时长T1和第二时间段的时长T2;其中A为预设的第一基础扫描时间,B为预设的第二基础扫描时间,b1为预设参数,b1大于0,H为所述浮空高度;
第二时长计算子单元,用于若所述浮空高度处于高度区间[第一高度阈值,第二高度阈值),则根据公式:
T1=A+a2×(H-h1),T2=B+b1×h1+b2×(H-h1),计算出第一时间段的时长T1和第二时间段的时长T2;其中h1为所述第一高度阈值,a2和b2均为预设参数,b2大于b1,b2大于a2,a2大于0;
第三时长计算子单元,用于若所述浮空高度处于高度区间[第二高度阈值,正无穷),则根据公式:
T1=A+a2×(h2-h1)+a3×(H-h2),T2=B+b1×h1+b2×(h2-h1)+b3×(H-h2),计算出第一时间段的时长T1和第二时间段的时长T2;其中h2为所述第二高度阈值,a3和b3均为预设参数,b3大于b2,b3小于a3,a3大于a2;
双重扫描策略调取子单元,用于根据预设的高度-第一时间段的时长和第二时间段的时长-扫描策略的对应关系,调取与所述浮空高度对应的指定双重扫描策略,其中所述指定双重扫描策略被设置为,在第一时间段内进行可见光扫描,并且在第二时间段内进行红外线扫描,并且所述第一时间段的起始时间点与所述第二时间段的起始时间点相同。
6.根据权利要求5所述的基于双重扫描的提醒信息发送装置,其特征在于,所述当前环境的地面设置有温度传感器阵列,所述温度传感器阵列与预设的无线信号发送器信号连接,所述可见光图像获取单元,包括:
温度信号组获取子单元,用于获取所述无线信号发送器实时发送的温度信号组,所述温度信号组里的温度信号由所述温度传感器阵列中的温度传感器分别采集得到;
最大温度值计算子单元,用于计算所述温度信号组中的最大温度值,并判断所述最大温度值是否大于预设的温度阈值;
最大波动值计算子单元,用于若所述最大温度值大于预设的温度阈值,则计算所述温度信号组在预设时间段内的最大波动值,并判断所述最大波动值是否大于预设的偏差值;其中所述最大波动值指,所述温度信号组里中数值变化最大的温度信号的数值变化值;
指定定位位置获取子单元,用于若所述最大波动值不大于预设的偏差值,则根据预设的温度信号-温度传感器定位位置的对应关系,获取与所述最大温度值对应的指定定位位置;
可见光图像获取子单元,用于利用所述无人机上预设的可见光扫描设备,在所述第一时间段内对当前环境进行可见光扫描,以得到可见光图像;其中,可见光扫描的中心位置为所述指定定位位置。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010583877.3A CN111797739B (zh) | 2020-06-23 | 2020-06-23 | 基于双重扫描的提醒信息发送方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010583877.3A CN111797739B (zh) | 2020-06-23 | 2020-06-23 | 基于双重扫描的提醒信息发送方法、装置和计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111797739A CN111797739A (zh) | 2020-10-20 |
CN111797739B true CN111797739B (zh) | 2023-09-08 |
Family
ID=72804549
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010583877.3A Active CN111797739B (zh) | 2020-06-23 | 2020-06-23 | 基于双重扫描的提醒信息发送方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111797739B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113438204B (zh) * | 2021-05-06 | 2022-09-23 | 中国地质大学(武汉) | 基于区块链的多节点协同识别响应方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107352032A (zh) * | 2017-07-14 | 2017-11-17 | 广东工业大学 | 一种人流量数据的监控方法及无人机 |
CN206968975U (zh) * | 2017-07-14 | 2018-02-06 | 广东工业大学 | 一种无人机 |
CN108848348A (zh) * | 2018-07-12 | 2018-11-20 | 西南科技大学 | 一种基于无人机的人群异常行为监测装置及方法 |
CN109934148A (zh) * | 2019-03-06 | 2019-06-25 | 华瑞新智科技(北京)有限公司 | 一种基于无人机的实时人群计数方法、装置及无人机 |
CN111079506A (zh) * | 2019-10-11 | 2020-04-28 | 深圳壹账通智能科技有限公司 | 基于增强现实的信息采集方法、装置和计算机设备 |
-
2020
- 2020-06-23 CN CN202010583877.3A patent/CN111797739B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107352032A (zh) * | 2017-07-14 | 2017-11-17 | 广东工业大学 | 一种人流量数据的监控方法及无人机 |
CN206968975U (zh) * | 2017-07-14 | 2018-02-06 | 广东工业大学 | 一种无人机 |
CN108848348A (zh) * | 2018-07-12 | 2018-11-20 | 西南科技大学 | 一种基于无人机的人群异常行为监测装置及方法 |
CN109934148A (zh) * | 2019-03-06 | 2019-06-25 | 华瑞新智科技(北京)有限公司 | 一种基于无人机的实时人群计数方法、装置及无人机 |
CN111079506A (zh) * | 2019-10-11 | 2020-04-28 | 深圳壹账通智能科技有限公司 | 基于增强现实的信息采集方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111797739A (zh) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810679B1 (en) | Systems and methods for unmanned vehicle management | |
JP6535382B2 (ja) | 無人航空機の位置を判定する方法及びシステム | |
US11195264B1 (en) | Laser-assisted image processing | |
JP6524545B2 (ja) | ジオフェンシング装置、及び飛行規制のセットを提供する方法 | |
CN109743541A (zh) | 智能监控方法、装置、计算机设备及存储介质 | |
CN107409174A (zh) | 用于管制无人飞行器操作的***和方法 | |
CN107430403A (zh) | 具有地理围栏设备级别的***和方法 | |
CN107408352A (zh) | 用于地理围栏装置通信的***和方法 | |
CN107409051A (zh) | 用于生成飞行管制的认证***和方法 | |
CN107615358A (zh) | 用于标识经授权的参与者的认证***和方法 | |
KR102203135B1 (ko) | 드론을 이용한 인공지능 기반 재난 피해정보 탐지 방법 및 시스템 | |
CN107615785A (zh) | 用于显示地理围栏设备信息的***和方法 | |
CN107408351A (zh) | 用于生成飞行管制的认证***和方法 | |
CN107533331A (zh) | 具有动态特性的地理围栏设备 | |
CN107430402A (zh) | 用于对地理围栏设备进行标识和认证的***和方法 | |
WO2018207173A1 (en) | System and method for construction 3d modeling and analysis | |
CN109479119A (zh) | Uav交互视频广播的***与方法 | |
US10354386B1 (en) | Remote sensing of structure damage | |
US20110130114A1 (en) | Safety device for enhanced pedestrian protection | |
CN107360394B (zh) | 应用于边防视频监控***的多预置点动态智能监测方法 | |
US11860645B1 (en) | Unmanned vehicle security guard | |
JP6757009B1 (ja) | コンピュータプログラム、対象物特定方法、対象物特定装置及び対象物特定システム | |
CN111797739B (zh) | 基于双重扫描的提醒信息发送方法、装置和计算机设备 | |
CN111695544B (zh) | 基于人群检测模型的信息发送方法、装置和计算机设备 | |
CN111290001A (zh) | 一种基于gps坐标的目标统筹方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |