CN111723654B - 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 - Google Patents
基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 Download PDFInfo
- Publication number
- CN111723654B CN111723654B CN202010398931.7A CN202010398931A CN111723654B CN 111723654 B CN111723654 B CN 111723654B CN 202010398931 A CN202010398931 A CN 202010398931A CN 111723654 B CN111723654 B CN 111723654B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- training
- building
- altitude parabolic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 238000005457 optimization Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims description 38
- 238000012795 verification Methods 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000012216 screening Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 26
- 239000000203 mixture Substances 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置。本发明涉及深度学习和计算机视觉技术领域，解决现有高空坠物检测方法模型的准确率存在局限性的问题。本发明以高空坠物检测为主要目的，基于背景建模与YOLOv3的实时检测，模型稳定性高，检测识别性能好，能排除外界因素的影响，达到“精准治理”的目的。本发明用楼宇摄像头实时拍摄传回视频作为数据来源，减少了人工干预，能够及时快速锁定高空坠物发生的场景。本发明会收集检测到的物体图片以及人工处置的结果，并将人工处置的结果转换为训练模型所对应的标签，当收集到的物体图片数量到达指定的阈值后，自动开启模型训练的进程，使模型准确率逐渐提升。
Description
技术领域
本发明涉及深度学习和计算机视觉技术领域，尤其涉及一种基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置。
背景技术
在当前城市发展和建设中，由于土地、空间等各种限制因素，高楼建设越来越常见。由此带来的各种衍生问题也越来越多，其中，高空抛物和坠物引发的安全问题也越来越受到各方的关注。高空抛物或坠物由于其突发性、危害性、不可回避性，一旦发生往往极容易引起人身伤害重大事故。
目前，监管高空抛物的行为主要还是靠居民自发组织的不定时巡逻和在高空抛物的重灾区贴警示标语等方法。但是不定时巡逻的方法并不能完全监控高空抛物的行为，而且耗费大量的人力。而在重灾区贴警示标语的方法也容易被路过的行人忽视，并不能起到有效提醒路过行人的作用。在此情况下，为了进一步的对高空抛物这种危害极大的不文明行为进行制止，需要建设一套基于摄像头视频流图像处理的高空抛物检测***。
现有高空抛物检测方法多使用传统算法：如背景差分、帧间差分等，传统算法中，鸟、气球等非高空抛物容易造成误检。且现有高空坠物检测方法大多基于传统算法且模型不能自发优化，从长远来看，模型的准确率存在局限性。
发明内容
本发明提供一种基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置，以解决现有高空坠物检测方法模型的准确率存在局限性的问题。
第一方面，本发明提供一种基于背景建模、YOLOv3与自优化的高空抛物检测方法，其特征在于，所述方法包括：
获取摄像头拍摄的楼宇视频数据；
对所述楼宇视频数据按帧截取图片，得到初始数据集；
对所述始数据集进行预处理，得到楼宇图片数据集；
将所述楼宇图片数据集按预设比例分为训练集，验证集和测试集；
将所述训练集，验证集和测试集中的楼宇图片数据按照预设高空抛物检测策略中制定的物体类别进行标记，得到与所述楼宇图片数据一一对应的标记数据集，所述标记数据集包括物体标注框坐标和物体类别信息；
对所述训练集及相应的标记数据集进行数据增强处理；
利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个不同权重的高空抛物检测模型；
将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
获取摄像头拍摄的实时楼宇视频数据；
利用背景建模算法寻找所述实时楼宇视频数据中的运动物体；
将所述运动物体的图像输入最优权重模型进行高空抛物检测，得到高空抛物检测结果；
将高空抛物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
根据人工审核结果判断所述运动物体是否属于高空坠物；
如果所述运动物体属于高空坠物，发出高空坠物警告信息，以通知相关人员进行处理；
如果所述运动物体不属于高空坠物，接收相关人员对所述运动物体的物体类别信息的修改信息，将修改后的图片样本作为困难样本；
判断困难样本的数量是否超过预设阈值；
如果困难样本的数量超过预设阈值，自动开启自优化进程，将所述困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的高空抛物检测模型。
结合第一方面，在第一方面的第一种可实现方式中，对所述始数据集进行预处理，得到楼宇图片数据集的步骤中，对失真、变形、模糊的图片数据进行筛选和校正，得到所述楼宇图片数据集。
结合第一方面，在第一方面的第二种可实现方式中，将所述训练集，验证集和测试集中的楼宇图片数据按照预设高空抛物检测策略中制定的物体类别进行标记，得到与所述楼宇图片数据一一对应的标记数据集包括：
对所述训练集，验证集和测试集的每一张图片中的每一个在物体类别中的物体用矩形框框选物体，并存储矩形框在图片中的位置，所述位置包括矩形框左上角与右下角坐标信息，同时对所述物体的类别进行标记，将标记后的信息生成XML文件，形成与标记的图片一一对应的标记数据集。
结合第一方面的第二种可实现方式中，在第一方面的第三种可实现方式中，所述物体类别包括车、鸟、人、气球、塑料袋等常见可能造成误判的运动物体。
结合第一方面，在第一方面的第四种可实现方式中，对所述训练集及相应的标记数据集进行数据增强处理包括：
采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及mixup方法进行数据增强处理，所述mixup方法如下：
其中，(xi,yi),(xj,yj)是从训练数据中随机抽取的两个样本，x表示图片矩阵，y表示标签信息，
增强后参与模型训练数据，且λ∈[0,1]。
结合第一方面，在第一方面的第五种可实现方式中，利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的高空抛物检测模型的步骤中，将标记好的图片样本与背景图片样本一起送入YOLOv3网络，标记好的图片为正样本，背景图片不含有物体类别中的物体，未标记的背景图片为负样本，正负样本一起在YOLOv3网络中训练，通过迭代训练获得多个权重的高空抛物检测模型。
结合第一方面，在第一方面的第六种可实现方式中，获取摄像头拍摄的实时楼宇视频数据的步骤中，监控视频与服务器端的数据传输格式为视频流，传输协议为ONVIF协议。
结合第一方面，在第一方面的第七种可实现方式中，所述背景建模算法为自适应混合高斯背景建模算法。
第二方面，本发明提供一种基于背景建模、YOLOv3与自优化的高空抛物检测装置，所述装置包括：
第一获取单元，用于获取摄像头拍摄的楼宇视频数据；
截取单元，用于对所述楼宇视频数据按帧截取图片，得到初始数据集；
预处理单元，用于对所述始数据集进行预处理，得到楼宇图片数据集；
分组单元，用于将所述楼宇图片数据集按预设比例分为训练集，验证集和测试集；
标记单元，用于将所述训练集，验证集和测试集中的楼宇图片数据按照预设高空抛物检测策略中制定的物体类别进行标记，得到与所述楼宇图片数据一一对应的标记数据集，所述标记数据集包括物体标注框坐标和物体类别信息；
数据增强单元，用于对所述训练集及相应的标记数据集进行数据增强处理；
模型训练单元，用于利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个不同权重的高空抛物检测模型；
模型验证单元，用于将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
模型测试单元，用于在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
第二获取单元，用于获取摄像头拍摄的实时楼宇视频数据；
寻找单元，用于利用背景建模算法寻找所述实时楼宇视频数据中的运动物体；
检测单元，用于将所述运动物体的图像输入最优权重模型进行高空抛物检测，得到高空抛物检测结果；
返回单元，用于将高空抛物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
第一判断单元，用于根据人工审核结果判断所述运动物体是否属于高空坠物；
通知单元，用于在所述运动物体属于高空坠物的情况下，发出高空坠物警告信息，以通知相关人员进行处理；
修改单元，用于在所述运动物体不属于高空坠物的情况下，接收相关人员对所述运动物体的物体类别信息的修改信息，将修改后的图片样本作为困难样本；
第二判断单元，用于判断困难样本的数量是否超过预设阈值；
合并单元，用于在困难样本的数量超过预设阈值的情况下，自动开启自优化进程，将所述困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的高空抛物检测模型。
本发明具有以下有益效果：本发明的一种基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置，采用楼宇摄像头实时拍摄传回视频作为数据来源，减少了人工干预，能够及时快速锁定高空坠物发生的场景，实现高空坠物行为“早发现，早治理”目标。本发明应用于社会治理平台中的异物检测，检测到高空坠物行为后，平台上会有人工进行处置。本发明会收集检测到的物体图片以及人工处置的结果，并将人工处置的结果转换为训练模型所对应的标签，当收集到的物体图片数量到达指定的阈值后，本发明会自动开启模型训练的进程，随着时间的推移，本发明获得的人工反馈变多，在线训练迭代的次数也变多，模型的效果会逐渐优化，准确率会逐渐提升。本发明以高空坠物检测为主要目的，基于背景建模与YOLOv3的实时检测，模型稳定性高，检测识别性能好，能排除外界因素的影响，达到“精准治理”的目的。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于背景建模、YOLOv3与自优化的高空抛物检测方法的流程图。
图2为本发明提供的基于背景建模、YOLOv3与自优化的高空抛物检测装置的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
请参阅图1，为本发明提供的本发明提供一种基于背景建模、YOLOv3与自优化的高空抛物检测方法，所述方法包括：
步骤S101，获取摄像头拍摄的楼宇视频数据。
数据采集是本发明中重要的基础，在YOLOv3算法中，需要数据输入网络中训练模型，本发明可采用包括摄像头拍摄的楼宇视频数据在内的生活场景中的各种常见物体的视频或照片作为数据集。
步骤S102，对所述楼宇视频数据按帧截取图片，得到初始数据集。
步骤S103，对所述始数据集进行预处理，得到楼宇图片数据集。
具体地，对失真、变形、模糊的图片数据进行筛选和校正，得到所述楼宇图片数据集。
步骤S104，将所述楼宇图片数据集按预设比例分为训练集，验证集和测试集。
步骤S105，将所述训练集，验证集和测试集中的楼宇图片数据按照预设高空抛物检测策略中制定的物体类别进行标记，得到与所述楼宇图片数据一一对应的标记数据集，所述标记数据集包括物体标注框坐标和物体类别信息。
具体地，对所述训练集，验证集和测试集的每一张图片中的每一个在物体类别中的物体用矩形框框选物体，并存储矩形框在图片中的位置，所述位置包括矩形框左上角与右下角坐标信息，同时对所述物体的类别进行标记，将标记后的信息生成XML文件，形成与标记的图片一一对应的标记数据集。所述物体类别可以包括车、鸟、人、气球、塑料袋等常见可能造成误判的运动物体。
步骤S106，对所述训练集及相应的标记数据集进行数据增强处理。
由于本专利的数据量远远小于一般深度学习所需数据量，因此本专利可归类于小样本学习(few_shot_learing),解决小样本学习的方法主要有数据增强和元学习。本发明主要用数据增强来解决小样本学习的问题。大量的数据可以提高模型的泛化性与精度，因此在有限的数据前提下，通过技术手段扩充数据量是必不可少的一步。
具体地，可采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及mixup方法进行数据增强处理，所述mixup方法如下：
其中，(xi,yi),(xj,yj)是从训练数据中随机抽取的两个样本，x表示图片矩阵，y表示标签信息，
增强后参与模型训练数据，且λ∈[0,1]。本发明采用mixup方法，将得到的图片加入原始数据集中。通过训练样本的扩充，可以避免因数据量过少带来的过拟合问题。mixup方法是一种简单且数据无关的数据增强方式，构建了虚拟的训练样本。mixup通过结合先验知识，即线性向量的线性插值应导致相关标签的的线性插值，来扩展训练分布，且引入了最小计算开销。
步骤S107，利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个不同权重的高空抛物检测模型。
具体地，将标记好的图片样本与背景图片样本一起送入YOLOv3网络，标记好的图片为正样本，背景图片不含有物体类别中的物体，未标记的背景图片为负样本，正负样本一起在YOLOv3网络中训练，通过迭代训练获得多个权重的高空抛物检测模型。
步骤S108，将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型。
步骤S109，在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试。
步骤S110，获取摄像头拍摄的实时楼宇视频数据。
具体地，监控视频与服务器端的数据传输格式为视频流，传输协议为ONVIF协议。
步骤S111，利用背景建模算法寻找所述实时楼宇视频数据中的运动物体。
具体地，所述背景建模算法为自适应混合高斯背景建模算法。
自适应混合高斯背景建模工作原理如下：在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要。而建模正是背景目标提取的一个重要环节。前景是指在假设背景为静止的情况下，任何有意义的运动物体即为前景。运动物体检测的问题主要分为两类，摄像机固定和摄像机运动。对于摄像机运动的运动物体检测问题，比较著名的解决方案是光流法，通过求解偏微分方程求的图像序列的光流场，从而预测摄像机的运动状态。对于摄像机固定的情形，当然也可以用光流法，但是由于光流法的复杂性，往往难以实时的计算。而混合高斯背景建模适合于在摄像机固定的情况下从图像序列中分离出背景和前景。在摄像机固定的情况下，背景的变化是缓慢的，而且大都是光照，风等等的影响，通过对背景建模，对一幅给定图像分离前景和背景，一般来说，前景就是运动物体，从而达到运动物体检测的目的。
混合高斯模型已经广泛应用于鲁棒的复杂场景背景建模，特别是在有微小重复运动的场合，如摇动的树叶、灌木丛、旋转的风扇、海面波涛、雨雪天气、光线反射等。基于像素的混合高斯模型对多峰分布背景进行建模很有效，能适应背景的变化如光线渐变，并能基本满足实际应用中对算法的实时性要求。
混合高斯背景建模是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景，然后使用统计差分进行目标像素判断，可以对复杂动态背景进行建模，计算量较大。
在混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。对于视频图像中的每一个像素点，其值在序列图像中的变化可看作是不断产生像素值的随机过程，即用高斯分布来描述每个像素点的颜色呈现规律。
对于多峰高斯分布模型，图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新。当处理彩色图像时，假定图像像素点R、G、B三色通道相互独立并具有相同的方差。对于随机变量X的观测数据集{x1,x2,…,xN}，xt＝(rt,gt,bt)为t时刻像素的样本，则单个采样点xt其服从的混合高斯分布概率密度函数：
其中k为分布模式总数，η(xt,μi,t,τi,t)为t时刻第i个高斯分布，μi,t为其均值，τi,t为其协方差矩阵，
为方差，I为三维单位矩阵，wi,t为t时刻第i个高斯分布的权重。
自适应混合高斯模型设定每个像素点的高斯分布的最大个数为kmax＝4。假定每个像素点的高斯分布初始个数都为k＝1，将第一帧的每个点像素值作为高斯分布的初始均值u0，方差取σ0＝30，权重取ω0＝0.2。
若当前k个高斯分布与目标像素都不匹配，且有k<kmax，则k＝k+1，一个新的高斯分布将加入到背景模型中去，它以当前像素值为均值，标准差和权重分别为30、0.2。但如果此时k＝kmax，一个新的高斯分布将产生，它的均值用当前像素值来初始化，标准差和权重分别为30、0.01。新的高斯分布会立即替换原来kmax个分布中权重最小的一个。
在传统混合高斯背景建模算法中，取第一次的成功匹配作为匹配结果。事实上，新像素可能与多项高斯分布成功匹配，而第一次匹配未必是最优匹配。在自适应混合高斯模型中，每一项高斯分布都将与新像素进行匹配，找出匹配结果最优的分布，最优分布通过下式得到：
若连续10帧最优匹配都是同一分布，且k＞1，则k＝k-1，权值最小的分布将直接去除。
再对YOLOv3网络的工作原理进行说明：
YOLOv3在YOLOv1与YOLOv2的基础上调整了网络结构，利用多尺度特征进行对象检测，对象分类用Logistic取代了softmax。YOLOv3没有全连接层与池化层，可以对应任意大小的输入图像，主要由75个卷积层构成，并在网络中添加了resnet残差模块，这样有利于解决深层次网络的梯度问题。
Resnet残差网络相当于在原始CNN网络结构中添加了一条shortcut path，学习过程从直接学习特征，变成在之前学习的特征的基础上添加某些特征，来获得更好的特征。这样一来，一个复杂的特征H(x)，之前是独立一层一层学习的，现在就变成了这样一个模型H(x)＝F(x)+x，其中x是shortcut开始时的特征，而F(x)就是对x进行的填补与增加，成为残差。因此学习的目标就从学习完整的信息，变成学习残差了。这样以来学习优质特征的难度就大大减小了。
通常一幅图像包含各种不同的物体，并且有大有小。比较理想的是一次就可以将所有大小的物体同时检测出来。因此，网络必须具备能够“看到”不同大小的物体的能力。并且网络越深，特征图就会越小，所以越往后小的物体也就越难检测出来。针对这一问题，YOLOv3用了3个不同尺度的特征图来检测对象，能够检测到更加细粒度的特征，YOLOv3采用FPN(Feature Pyramid Network)结构来对应多重尺度的不同精度，对不同深度的featuremap分别进行目标检测，当前层的feature map会对未来层的feature map进行上采样，并加以利用，将低阶特征与高阶特征融合起来，提升检测精度。
Softmax层被替换为一个1x1的卷积层+logistic激活函数的结构。可以对应多标签对象。YOLOv3对预选框bbox进行预测时，采用logistic regression，每个预选框包含五个元素bbox(bx,y,w,h,c)其中前四个表示预选框的大小与坐标位置，最后一个值为置信度。
Pr(object)*IOU(bbox,object)＝σ(t0),其中Pr(object)*IOU(bbox,object)为置信度。
logistic regression会对bbox包围部分进行一个目标性评分，找到目标存在可能性得分最高的一个。
步骤S112，将所述运动物体的图像输入最优权重模型进行高空抛物检测，得到高空抛物检测结果。
具体地，通过将运动物体的图像与YOLOv3目标检测模型识别的物体进行比对，如果识别结果是鸟、气球、塑料袋等物体，则不判定为高空坠物。并可根据实际场景，灵活配置策略，有效减少空中飞行物体的干扰。
步骤S113，将高空抛物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核。
步骤S114，根据人工审核结果判断所述运动物体是否属于高空坠物。
步骤S115，如果所述运动物体属于高空坠物，发出高空坠物警告信息，以通知相关人员进行处理。
步骤S116，如果所述运动物体不属于高空坠物，接收相关人员对所述运动物体的物体类别信息的修改信息，将修改后的图片样本作为困难样本。
步骤S117，判断困难样本的数量是否超过预设阈值。
步骤S118，如果困难样本的数量超过预设阈值，自动开启自优化进程，将所述困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的高空抛物检测模型。
本发明的数据来源主要有三部分：标记好的图片样本，检测错误的图片样本与不包含目标物体类别的背景图片样本。标记好的图片样本为正样本，背景图片为负样本，正样本与负样本构成数据集X，将X送入YOLOv3网络中训练；检测错误的样本称为困难样本，困难样本由人工更改其标签，然后与数据集X合并迭代训练。本发明将检测的结果加入数据集中进入自优化流程，本发明通过收集检测到的物体图片以及人工处置的结果，并将人工处置的结果转换为训练模型所对应的标签。当收集到的物体图片数量到达指定的阈值后，本发明会自动开启模型训练的进程。随着时间的推移，本发明获得的人工反馈变多，在线训练迭代的次数也变多，模型的效果会逐渐优化，准确率会逐渐提升。
如图2所示，本发明提供一种基于背景建模、YOLOv3与自优化的高空抛物检测装置，所述装置包括：
第一获取单元201，用于获取摄像头拍摄的楼宇视频数据。
截取单元202，用于对所述楼宇视频数据按帧截取图片，得到初始数据集。
预处理单元203，用于对所述始数据集进行预处理，得到楼宇图片数据集。
分组单元204，用于将所述楼宇图片数据集按预设比例分为训练集，验证集和测试集。
标记单元205，用于将所述训练集，验证集和测试集中的楼宇图片数据按照预设高空抛物检测策略中制定的物体类别进行标记，得到与所述楼宇图片数据一一对应的标记数据集，所述标记数据集包括物体标注框坐标和物体类别信息。
数据增强单元206，用于对所述训练集及相应的标记数据集进行数据增强处理。
模型训练单元207，用于利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个不同权重的高空抛物检测模型。
模型验证单元208，用于将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型。
模型测试单元209，用于在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试。
第二获取单元210，用于获取摄像头拍摄的实时楼宇视频数据。
寻找单元211，用于利用背景建模算法寻找所述实时楼宇视频数据中的运动物体。
检测单元212，用于将所述运动物体的图像输入最优权重模型进行高空抛物检测，得到高空抛物检测结果。
返回单元213，用于将高空抛物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核。
第一判断单元214，用于根据人工审核结果判断所述运动物体是否属于高空坠物。
通知单元215，用于在所述运动物体属于高空坠物的情况下，发出高空坠物警告信息，以通知相关人员进行处理。
修改单元216，用于在所述运动物体不属于高空坠物的情况下，接收相关人员对所述运动物体的物体类别信息的修改信息，将修改后的图片样本作为困难样本。
第二判断单元217，用于判断困难样本的数量是否超过预设阈值。
合并单元218，用于在困难样本的数量超过预设阈值的情况下，自动开启自优化进程，将所述困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的高空抛物检测模型。
本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于背景建模、YOLOv3与自优化的高空抛物检测方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：Read-OnlyMemory，简称：ROM)或随机存储记忆体(英文：RandomAccessMemory，简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于背景建模、YOLOv3与自优化的高空抛物检测装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。
Claims (9)
1.一种基于背景建模、YOLOv3与自优化的高空抛物检测方法，其特征在于，所述方法包括：
获取摄像头拍摄的楼宇视频数据；
对所述楼宇视频数据按帧截取图片，得到初始数据集；
对所述始数据集进行预处理，得到楼宇图片数据集；
将所述楼宇图片数据集按预设比例分为训练集，验证集和测试集；
将所述训练集，验证集和测试集中的楼宇图片数据按照预设高空抛物检测策略中制定的物体类别进行标记，得到与所述楼宇图片数据一一对应的标记数据集，所述标记数据集包括物体标注框坐标和物体类别信息；
对所述训练集以及相应的标记数据集进行数据增强处理；
利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个不同权重的高空抛物检测模型；
将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
获取摄像头拍摄的实时楼宇视频数据；
利用背景建模算法寻找所述实时楼宇视频数据中的运动物体；
将所述运动物体的图像输入最优权重模型进行高空抛物检测，得到高空抛物检测结果；
将高空抛物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
根据人工审核结果判断所述运动物体是否属于高空坠物；
如果所述运动物体属于高空坠物，发出高空坠物警告信息，以通知相关人员进行处理；
如果所述运动物体不属于高空坠物，接收相关人员对所述运动物体的物体类别信息的修改信息，将修改后的图片样本作为困难样本；
判断困难样本的数量是否超过预设阈值；
如果困难样本的数量超过预设阈值，自动开启自优化进程，将所述困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的高空抛物检测模型。
2.如权利要求1所述的方法，其特征在于，对所述始数据集进行预处理，得到楼宇图片数据集的步骤中，对失真、变形、模糊的图片数据进行筛选和校正，得到所述楼宇图片数据集。
3.如权利要求1所述的方法，其特征在于，将所述训练集，验证集和测试集中的楼宇图片数据按照预设高空抛物检测策略中制定的物体类别进行标记，得到与所述楼宇图片数据一一对应的标记数据集包括：
对所述训练集，验证集和测试集的每一张图片中的每一个在物体类别中的物体用矩形框框选物体，并存储矩形框在图片中的位置，所述位置包括矩形框左上角与右下角坐标信息，同时对所述物体的类别进行标记，将标记后的信息生成XML文件，形成与标记的图片一一对应的标记数据集。
4.如权利要求3所述的方法，其特征在于，所述物体类别包括车、鸟、人、气球、塑料袋等常见可能造成误判的运动物体。
5.如权利要求1所述的方法，其特征在于，对所述训练集以及相应的标记数据集进行数据增强处理包括：
采用翻转变换、随机修剪、色彩抖动、平移变换、尺度变换、对比度变换、噪声扰动、旋转变换或反射变换，以及mixup方法进行数据增强处理，所述mixup方法如下：
其中，(xi,yi),(xj,yj)是从训练数据中随机抽取的两个样本，x表示图片矩阵，y表示标签信息，
增强后参与模型训练数据，且λ∈[0,1]。
6.如权利要求1所述的方法，其特征在于，利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个权重的高空抛物检测模型的步骤中，将标记好的图片样本与背景图片样本一起送入YOLOv3网络，标记好的图片为正样本，背景图片不含有物体类别中的物体，未标记的背景图片为负样本，正负样本一起在YOLOv3网络中训练，通过迭代训练获得多个权重的高空抛物检测模型。
7.如权利要求1所述的方法，其特征在于，获取摄像头拍摄的实时楼宇视频数据的步骤中，监控视频与服务器端的数据传输格式为视频流，传输协议为ONVIF协议。
8.如权利要求1所述的方法，其特征在于，所述背景建模算法为自适应混合高斯背景建模算法。
9.一种基于背景建模、YOLOv3与自优化的高空抛物检测装置，其特征在于，所述装置包括：
第一获取单元，用于获取摄像头拍摄的楼宇视频数据；
截取单元，用于对所述楼宇视频数据按帧截取图片，得到初始数据集；
预处理单元，用于对所述始数据集进行预处理，得到楼宇图片数据集；
分组单元，用于将所述楼宇图片数据集按预设比例分为训练集，验证集和测试集；
标记单元，用于将所述训练集，验证集和测试集中的楼宇图片数据按照预设高空抛物检测策略中制定的物体类别进行标记，得到与所述楼宇图片数据一一对应的标记数据集，所述标记数据集包括物体标注框坐标和物体类别信息；
数据增强单元，用于对所述训练集以及相应的标记数据集进行数据增强处理；
模型训练单元，用于利用YOLOv3网络对数据增强处理后的训练集以及相应的标记数据集进行模型训练，得到多个不同权重的高空抛物检测模型；
模型验证单元，用于将所述验证集和验证集的标记数据集输入YOLOv3网络，在模型训练的同时对模型进行验证，获得模型当前的准确率，以便于及时调整模型参数，获得最优权重模型；
模型测试单元，用于在模型训练完成后，利用测试集和测试集标记数据集对最优权重模型进行测试；
第二获取单元，用于获取摄像头拍摄的实时楼宇视频数据；
寻找单元，用于利用背景建模算法寻找所述实时楼宇视频数据中的运动物体；
检测单元，用于将所述运动物体的图像输入最优权重模型进行高空抛物检测，得到高空抛物检测结果；
返回单元，用于将高空抛物检测结果以截图的形式返回给社会治理平台服务端相关人员进行人工审核；
第一判断单元，用于根据人工审核结果判断所述运动物体是否属于高空坠物；
通知单元，用于在所述运动物体属于高空坠物的情况下，发出高空坠物警告信息，以通知相关人员进行处理；
修改单元，用于在所述运动物体不属于高空坠物的情况下，接收相关人员对所述运动物体的物体类别信息的修改信息，将修改后的图片样本作为困难样本；
第二判断单元，用于判断困难样本的数量是否超过预设阈值；
合并单元，用于在困难样本的数量超过预设阈值的情况下，自动开启自优化进程，将所述困难样本与训练集合并为新的训练集，以利用YOLOv3网络根据所述新的训练集进行模型训练，得到训练迭代后的高空抛物检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010398931.7A CN111723654B (zh) | 2020-05-12 | 2020-05-12 | 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010398931.7A CN111723654B (zh) | 2020-05-12 | 2020-05-12 | 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111723654A CN111723654A (zh) | 2020-09-29 |
| CN111723654B true CN111723654B (zh) | 2023-04-07 |
Family
ID=72564368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010398931.7A Active CN111723654B (zh) | 2020-05-12 | 2020-05-12 | 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723654B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347915B (zh) * | 2020-11-05 | 2024-03-12 | 重庆览辉信息技术有限公司 | 一种高空抛掷物判别*** |
| CN112329627B (zh) * | 2020-11-05 | 2024-02-09 | 重庆览辉信息技术有限公司 | 一种高空抛掷物判别方法 |
| CN112308000B (zh) * | 2020-11-06 | 2023-03-07 | 安徽清新互联信息科技有限公司 | 一种基于时空信息的高空抛物检测方法 |
| CN112330743B (zh) * | 2020-11-06 | 2023-03-10 | 安徽清新互联信息科技有限公司 | 一种基于深度学习的高空抛物检测方法 |
| CN112800846A (zh) * | 2020-12-30 | 2021-05-14 | 深圳云天励飞技术股份有限公司 | 高空抛物的监测方法、装置、电子设备及存储介质 |
| CN112686186A (zh) * | 2021-01-05 | 2021-04-20 | 润联软件***(深圳)有限公司 | 一种基于深度学习的高空抛物识别方法及其相关组件 |
| CN112926445A (zh) * | 2021-02-24 | 2021-06-08 | 北京爱笔科技有限公司 | 抛物行为识别方法、模型训练方法及相关装置 |
| CN113076809B (zh) * | 2021-03-10 | 2023-07-21 | 海纳云物联科技有限公司 | 一种基于视觉Transformer的高空坠物检测方法 |
| CN113112777A (zh) * | 2021-04-07 | 2021-07-13 | 浙江磐至科技有限公司 | 一种基于监控下***技术服务的无线传输安防*** |
| CN113159159B (zh) * | 2021-04-15 | 2023-09-29 | 东北大学 | 一种基于改进cnn的小样本图像分类方法 |
| CN113516042A (zh) * | 2021-05-17 | 2021-10-19 | 江苏奥易克斯汽车电子科技股份有限公司 | 高空抛物检测方法、装置和设备 |
| CN113837087B (zh) * | 2021-09-24 | 2023-08-29 | 上海交通大学宁波人工智能研究院 | 一种基于YOLOv3的动物目标检测***和方法 |
| CN114863370B (zh) * | 2022-07-08 | 2022-10-25 | 合肥中科类脑智能技术有限公司 | 一种复杂场景高空抛物识别方法及*** |
| CN117079095A (zh) * | 2023-06-25 | 2023-11-17 | 江南大学 | 基于深度学习的高空抛物检测方法、***、介质和设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018095082A1 (zh) * | 2016-11-28 | 2018-05-31 | 江苏东大金智信息***有限公司 | 一种视频监测中运动目标的快速检测方法 |
| CN109309811A (zh) * | 2018-08-31 | 2019-02-05 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测***与方法 |
| CN109711319A (zh) * | 2018-12-24 | 2019-05-03 | 安徽高哲信息技术有限公司 | 一种粮食不完善粒图像识别样本库建立的方法及*** |
| CN109872341A (zh) * | 2019-01-14 | 2019-06-11 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测方法与*** |
| CN110275042A (zh) * | 2019-05-07 | 2019-09-24 | 深圳市零壹移动互联***有限公司 | 一种基于计算机视觉与无线电信号分析的高空抛物检测方法 |
| CN110853295A (zh) * | 2019-11-12 | 2020-02-28 | 江西赣鄱云新型智慧城市技术研究有限公司 | 一种高空抛物预警方法和装置 |
| CN110969604A (zh) * | 2019-11-26 | 2020-04-07 | 北京工业大学 | 一种基于深度学习的智能安防实时开窗检测报警***及方法 |
| CN111079663A (zh) * | 2019-12-19 | 2020-04-28 | 深圳云天励飞技术有限公司 | 高空抛物的监测方法、装置、电子设备及存储介质 |
-
2020
- 2020-05-12 CN CN202010398931.7A patent/CN111723654B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018095082A1 (zh) * | 2016-11-28 | 2018-05-31 | 江苏东大金智信息***有限公司 | 一种视频监测中运动目标的快速检测方法 |
| CN109309811A (zh) * | 2018-08-31 | 2019-02-05 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测***与方法 |
| CN109711319A (zh) * | 2018-12-24 | 2019-05-03 | 安徽高哲信息技术有限公司 | 一种粮食不完善粒图像识别样本库建立的方法及*** |
| CN109872341A (zh) * | 2019-01-14 | 2019-06-11 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测方法与*** |
| CN110275042A (zh) * | 2019-05-07 | 2019-09-24 | 深圳市零壹移动互联***有限公司 | 一种基于计算机视觉与无线电信号分析的高空抛物检测方法 |
| CN110853295A (zh) * | 2019-11-12 | 2020-02-28 | 江西赣鄱云新型智慧城市技术研究有限公司 | 一种高空抛物预警方法和装置 |
| CN110969604A (zh) * | 2019-11-26 | 2020-04-07 | 北京工业大学 | 一种基于深度学习的智能安防实时开窗检测报警***及方法 |
| CN111079663A (zh) * | 2019-12-19 | 2020-04-28 | 深圳云天励飞技术有限公司 | 高空抛物的监测方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Visual Detail Augmented Mapping for Small Aerial Target Detection;Jing Li 等;《Remote Sensing》;20181221;第1-23页 * |
| 一种改进YOLOv3的动态小目标检测方法;崔艳鹏 等;《西安电子科技大学学报》;20200304;第47卷(第3期);第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111723654A (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111723654B (zh) | 基于背景建模、YOLOv3与自优化的高空抛物检测方法及装置 | |
| CN112380952B (zh) | 基于人工智能的电力设备红外图像实时检测及识别方法 | |
| CN112435221B (zh) | 一种基于生成式对抗网络模型的图像异常检测方法 | |
| CN110046631B (zh) | 用于自动推断时空图像的变化的***和方法 | |
| CN105426870B (zh) | 一种人脸关键点定位方法及装置 | |
| CN106845621B (zh) | 基于深度卷积神经网络的密集人群人数计数方法及*** | |
| CN114022432B (zh) | 基于改进的yolov5的绝缘子缺陷检测方法 | |
| Millan et al. | On‐the‐Go Grapevine Yield Estimation Using Image Analysis and Boolean Model | |
| CN115731164A (zh) | 基于改进YOLOv7的绝缘子缺陷检测方法 | |
| CN107563299B (zh) | 一种利用ReCNN融合上下文信息的行人检测方法 | |
| CN116343330A (zh) | 一种红外-可见光图像融合的异常行为识别方法 | |
| Shen et al. | Biomimetic vision for zoom object detection based on improved vertical grid number YOLO algorithm | |
| CN111488911B (zh) | 基于Mask R-CNN与GAN的图像实体抽取方法 | |
| Gleason et al. | A Fusion Approach for Tree Crown Delineation from Lidar Data. | |
| CN112633354B (zh) | 路面裂缝检测方法、装置、计算机设备和存储介质 | |
| CN111539422B (zh) | 基于Faster RCNN的飞行目标协同识别方法 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN113408584A (zh) | Rgb-d多模态特征融合3d目标检测方法 | |
| CN114170144A (zh) | 一种输电线路销钉缺陷检测方法、设备及介质 | |
| Chang et al. | Locating waterfowl farms from satellite images with parallel residual u-net architecture | |
| CN115861799A (zh) | 基于注意力梯度的轻量化空对地目标检测方法 | |
| CN111260687A (zh) | 一种基于语义感知网络和相关滤波的航拍视频目标跟踪方法 | |
| Zhou et al. | Information distribution based defense against physical attacks on object detection | |
| CN114419444A (zh) | 一种基于深度学习网络的轻量化的高分辨率鸟群识别方法 | |
| CN109886303A (zh) | 一种基于粒子群优化的TrAdaboost样本迁移航空影像分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240122 Address after: No. N3013, 3rd Floor, R&D Building N, Artificial Intelligence Science and Technology Park, Wuhan Economic and Technological Development Zone, Wuhan City, Hubei Province, 430058 Patentee after: Zhongdian Cloud Computing Technology Co.,Ltd. Country or region after: China Patentee after: CHINA ELECTRONIC SYSTEM TECHNOLOGY Co.,Ltd. Address before: No.49 Fuxing Road, Haidian District, Beijing 100036 Patentee before: CHINA ELECTRONIC SYSTEM TECHNOLOGY Co.,Ltd. Country or region before: China |