CN107609597A - 一种电梯轿厢人数检测***及其检测方法 - Google Patents

一种电梯轿厢人数检测***及其检测方法 Download PDF

Info

Publication number
CN107609597A
CN107609597A CN201710879895.4A CN201710879895A CN107609597A CN 107609597 A CN107609597 A CN 107609597A CN 201710879895 A CN201710879895 A CN 201710879895A CN 107609597 A CN107609597 A CN 107609597A
Authority
CN
China
Prior art keywords
video
frame
library file
feature
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710879895.4A
Other languages
English (en)
Other versions
CN107609597B (zh
Inventor
顾世龙
吉训生
吴凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scarlett Sata Elevator Co Ltd
Jiangnan University
Original Assignee
Scarlett Sata Elevator Co Ltd
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scarlett Sata Elevator Co Ltd, Jiangnan University filed Critical Scarlett Sata Elevator Co Ltd
Priority to CN201710879895.4A priority Critical patent/CN107609597B/zh
Publication of CN107609597A publication Critical patent/CN107609597A/zh
Application granted granted Critical
Publication of CN107609597B publication Critical patent/CN107609597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种电梯轿厢人数检测***及其检测方法，检测***包括库文件创建单元用于创建标准库文件，所述标准库文件包括已通过混合卷积神经网络训练的参数、特征和人数；特征提取单元用于在接收到电梯门关闭信号后截取安装在轿厢内的摄像头拍摄的视频帧，并提取所述视频帧的特征以及人数判断单元；用于从所述标准库文件中获得与所述视频帧的卷积特征最接近的参考卷积特征并将该参考卷积特征对应的人数作为当前电梯轿厢内的人数。检测方法包括(a)创建标准库文件；(b)在接收到电梯门关闭信号后截取摄像头拍摄的视频帧，输入截取的视频帧；并提取所述视频帧的卷积特征向量；(c)输出结果。

Description

一种电梯轿厢人数检测***及其检测方法
技术领域
本发明涉及电梯技术领域，尤其涉及一种电梯轿厢人数检测***及其检测方法。
背景技术
现有的电梯轿厢内行人检测方法，大多采用灰度直方图模板匹配的方法来检测人头部，由于在电梯轿厢内人头部尺度不一，容易受到阻塞、背景环境等因素影响。目前使用较多的基于方向梯度直方图HOG特征和支持向量机SVM分类器的识别方法，大部分是确定行人头部位置后，提取头部的方向梯度直方图HOG特征，利用支持向量机SVM训练成分类器进行人头检测。在人头检测中，方向梯度直方图HOG特征加支持向量机SVM算法由于采用了方向梯度直方图HOG特征，方向梯度直方图HOG描述子生成过程冗长，导致速度慢，实时性查，由于梯度的性质，该描述子对噪点相对敏感。现有的大部分人头检测算法，过程复杂，计算复杂度高，识别率不高，容易受到环境条件影响，所以需要新的研究方法提出。近年来，随着深度学习研究的发展，卷积神经网络CNN成为计算机视觉领域的研究热点，其权值共享方式降低了网络模型的复杂度，减少权值的数量。该优点在目标检测领域表现更明显，网络输入为图像，避免了传统检测算法中复杂的特征提取和数据重建。
例如中国专利申请号：CN201410351236.X，(公开号：CN105321187A，申请人：江苏慧眼数据科技股份有限公司)公开的专利“基于人头检测的行人计数方法”中提出的一种基于人头检测的行人计数方法。该方法首先利用若干训练样本集使用SVM分类器进行训练以得到若干人头分类器，其次通过帧间差分法对输入图像进行帧间差分运算，以得到运动行人区域，再利用人头分类器对运动行人区域进行检测，得到人头区域，最后通过Kalman最近邻匹配跟踪法对人头区域的中心点进行跟踪与计数。该方法存在的不足之处是若干SVM分类器，大大增加了计算复杂度；
再例如日本专利申请号：201410003180.9公开了一种电梯***，其特征在于，包括：拍摄装置，其拍摄从乘梯处进入轿厢的使用者以及从上述轿厢中下梯的使用者；检测部，其根据由上述拍摄装置拍摄的图像，检测进入上述轿厢的使用者的人数以及从上述轿厢下梯的使用者的人数；以及控制部，其根据上述检测部的检测结果，控制上述轿厢的门开放时间。该技术方案通过三维图像解析步取得从构成立体照相机2的两个照相机2R、2L得到的2张图像。图像处理部132对由图像捕获部131取得的2张图像进行处理并向外部装置输出。主要利用检测图像判别使用者的特征的功能。而该方案通过三维检测的准确度不高，误差较大。
发明内容
为克服现有技术中存在的使用SVM分类器进行检测计算复杂度高或者采用额外增加红外线检测设备从而增加成本、准确率不高的问题，本发明提供了一种电梯轿厢人数检测***及其检测方法。
本发明采用的技术方案为：一种电梯轿厢人数检测***，其创新点在于：包括库文件创建单元、特征提取单元以及人数判断单元；
所述库文件创建单元，用于创建标准库文件，所述标准库文件包括已通过混合卷积神经网络训练的参数、特征和人数；
所述特征提取单元，用于在接收到电梯门关闭信号后截取安装在轿厢内的摄像头拍摄的视频帧，并提取所述视频帧的特征；
所述人数判断单元，用于从所述标准库文件中获得与所述视频帧的卷积特征最接近的参考卷积特征并将该参考卷积特征对应的人数作为当前电梯轿厢内的人数。
在一些实施方式中：所述库文件创建单元包括位于服务器的人数输入子单元、以及网络末端的Softmax分类学习子单元；所述特征提取单元连接到位于电梯控制***里的服务器，所述分类学习子单元用于将多个不同人数、不同灯光下的视频帧的卷积特征作为参考卷积特征，并将所述参考卷积特征与通过人数输入子单元输入的对应视频帧的人数进行分类学习生成标准库文件。
在一些实施方式中：所述服务器包括信号接收单元，用于通过互联网接收来自电梯控制***的摄像头(15)拍摄的视频以及电梯门关闭信号。
本发明的另一个目的是提供一种利用电梯轿厢人数检测***的电梯人数检测方法，其创新点在于：包括以下步骤：
(a)创建标准库文件，所述标准库文件包括通过已标注人头样本训练的混合卷积神经网络的网络参数、参考卷积特征向量和对应的人数；
(b)在接收到电梯门关闭信号后截取摄像头拍摄的视频帧，输入截取的视频帧；并提取所述视频帧的卷积特征向量；
(c)输出结果：从所述标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数作为当前电梯轿厢内的人数。
在一些实施方式中：所述步骤(a)包括以下步骤：(a1)采集摄像头在不同人数、不同灯光下的若干视频帧，并输入混合卷积神经网络进行提取卷积特征；(a2)接收每一视频帧的人数输入；(a3)将每一视频帧的卷积特征向量作为参考卷积特征向量与输入的该视频帧的人数传输到softmax层进行分类学习，并生成标准库文件。
在一些实施方式中：所述步骤(b)包括以下步骤(b1)电梯控制***将摄像头拍摄的视频以及电梯门关闭信号通过互联网传送到远端的服务器；(b2)所述服务器在接收到电梯门关闭信号后从视频截取该时刻的视频帧，并提取所述视频帧的卷积特征。
在一些实施方式中：所述步骤(b)中提取步骤具体包括如下步骤：
Step1：输入电梯轿厢内高清监控设备下的视频帧；视频帧图片是电梯轿厢内清晰的人头部图片，并进行适当裁剪，以达到网络输入要求224*224；
Step2：使用选择性搜索获取待检测视频帧中人头的候选区域；
Step3：利用人头区域的先验条件对候选区域进行筛选，获得人头候选区域；
Step4：构建并训练混合卷积神经网络，将人头候选区域输入到构建的混合卷积神经网络；所述卷积神经网络由局部、全局和成对模型构成；所述局部模型构建引入快速区域卷积神经网络结构，更好的获取图像的上下文信息，对行人进行更好的检测；所述全局模型预测头部的位置，明确目标间的成对关系，以结构化输出外部损失进行成对模型的训练。
在一些实施方式中：Step2步骤具体包括如下步骤：
(S2a)根据选择性搜索的分割方式，基于视频帧分割，得到初始区域R＝{r1,r2,...,rn},n为初始化区域数；
(S2b)计算出每个初始化相邻区域的综合相似性s(ri,rj)，组成集合S，其中i∈[1,n],j∈[i+1,n]；
(S2c)找出集合S中相似性最大的二个区域ra,rb，max(S)＝s(ra,rb)；
(S2d)合并ra,rb，获得新的区域rt，即rt＝ra∪rb，然后在S和R中移除相似性最大的区域ra,rb得到新的相似性集合S'和新的初始化区域R'；
(S2e)计算新的区域rt与所有与它相邻区域r*之间的综合相似性st(rt,r*)；
(S2f)将st(rt,r*)和rt分别添加到相似性集合S'和新的初始化区域R'中，得到加入相似性st(rt,r*)后的集合S”和加入新的区域rt后的初始化区域R”；
(S2g)重复(2c)到(2f)操作，直到相似性集合为空，获得最终候选区域。
在一些实施方式中：Step4步骤具体包括如下步骤：
S4a：混合卷积神经网络的局部模型构建；所述局部模型由7层构成，前两层有卷积层conv、参数化修正单元prelu、归一化norm、池化层pool；第三、四层是conv、prelu；第五层是conv、prelu和RoI(Region of Interest)Pooling；第六、七层为4096个节点的全连接层fc；第八层为2048个节点的全连接层；最后加上softmax层用于分类，边界框回归层进行候选区域位置调整；
S4b：混合卷积神经网络的全局模型前4层、6和7层与局部模型相似，第5层中由conv、prelu、pool构成，第8层也为全连接层，后接Softmax；
S4c：构建成对模型用于重组特征，提高检测准确度。
在一些实施方式中：所述步骤(c)具体包括以下步骤：(c1)所述服务器将提取的视频帧的卷积特征向量传输至softmax分类器；(c2)所述SOFTMAX分类器从标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数；(c3)所述SOFTMAX分类器将步骤(c2)中获得人数发送到服务器，所述服务器将该人数作为当前电梯轿厢内的人数。
与现有技术相比，本发明的有益效果是：
(1)本发明使用改进后的混合卷积神经网络学习的特征(例如激活函数、局部模型的构建、全局模型的构建等方面进行改进优化)对阻塞、环境变化等影响因素有更高的鲁棒性，提高人数检测的准确度。
(2)本发明首次在电梯***中采用基于混合卷积神经网络与上下文信息的人数检测方法，通过卷积神经网络的多层网络自学习特征，避免传统检测算法中需人工设计特征工程，而此网络学习的特征对背景变化有较高的鲁棒性，使发明具有较高的检测准确度和鲁棒性。
(3)本发明能有效减少统计计算的时间成本，并且能够有效减少训练、测试的存储文件量，***运行更加顺畅，使用寿命长。
附图说明
图1是本发明电梯轿厢人数检测***实施例的示意图；
图2是本发明电梯轿厢人数检测方法实施例的流程示意图；
图3是本发明电梯轿厢特征提取与人数检测的流程示意图；
图4是本发明中的混合卷积神经网络的局部模型网络结构图；
图5是本发明中的混合卷积神经网络的全局模型网络结构图。
具体实施方式
以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明披露了一种电梯轿厢人数检测***，上述电梯轿厢内具有摄像头15(例如安装于电梯轿厢的顶部，可拍摄轿厢内的全景视频)如图1所示：包括库文件创建单元11、特征提取单元12以及人数判断单元13；其中，库文件创建单元11，用于创建标准库文件，所述标准库文件包括已通过混合卷积神经网络训练的参数、特征和人数；特征提取单元12，用于在接收到电梯门关闭信号后截取安装在轿厢内的摄像头拍摄的视频帧，并提取所述视频帧的特征；人数判断单元13，用于从所述标准库文件中获得与所述视频帧的卷积特征最接近的参考卷积特征并将该参考卷积特征对应的人数作为当前电梯轿厢内的人数。上述库文件创建单元11、特征提取单元12以及人数判断单元13可由运行于一台或多台特定计算机***的软件实现。
库文件创建单元11用于创建标准库文件，该标准库文件是判断电梯轿厢人数的依据且该库文件包括多个参卷积特征向量(通过混合卷积神经网络训练后得到的特征)和对应的人数。库文件创建单元11依据在电梯门关闭后不同人数、不同灯光条件的多个视频帧(由摄像头15所拍摄，例如不小于50个视频帧)及每一视频帧对应的人数创建。进一步优选的，库文件创建单元11包括位于服务器的人数输入子单元、以及网络末端的Softmax分类学习子单元类；必不可少的，上述所述服务器包括信号接收单元，用于通过互联网接收来自电梯控制***的摄像头拍摄的视频以及电梯门关闭信号。
特征提取单元12用于在接收到电梯门关闭信号后截取摄像头15拍摄的视频帧，并提取视频帧的卷积特征向量。上述电梯门关闭信号可从电梯控制***14获取，而摄像头15拍摄的视频帧则可经由电梯控制***14获得。进一步优选的，所述特征提取单元12连接到位于电梯控制***里的服务器，所述分类学习子单元用于将多个不同人数、不同灯光下的视频帧的卷积特征作为参考卷积特征，并将所述参考卷积特征与通过人数输入子单元输入的对应视频帧的人数进行分类学习生成标准库文件。
具体地，特征提取单元12可通过以下方式提取视频帧的卷积特征向量并进行人头检测：如图3所示：
121：输入电梯轿厢内高清监控设备下的视频帧。
122：视频帧图片是电梯轿厢内清晰的人头部图片，并进行适当裁剪，以达到网络输入要求224*224。
123：使用选择性搜索根据视频帧生成若干候选区域：
123A：根据选择性搜索的分割方式，基于视频帧分割，得到初始区域R＝{r1,r2,...,rn},n为初始化区域数；
123B:计算出每个初始化相邻区域的综合相似性s(ri,rj)，组成集合S，其中i∈[1,n],j∈[i+1,n]；
123C:找出集合S中相似性最大的二个区域ra,rb，max(S)＝s(ra,rb)；
123D:合并ra,rb，获得新的区域rt，即rt＝ra∪rb，然后在S和R中移除相似性最大的区域ra,rb得到新的相似性集合S'和新的初始化区域R'；
123E:计算新的区域rt与所有与它相邻区域r*之间的综合相似性st(rt,r*)；
123F:将st(rt,r*)和rt分别添加到相似性集合S'和新的初始化区域R'中，得到加入相似性st(rt,r*)后的集合S”和加入新的区域rt后的初始化区域R”；
123G:重复(3c)到(3f)操作，直到相似性集合为空，获得最终候选区域；
124：利用人头区域的先验条件对候选区域进行筛选，获得人头候选区域；
125：将224*224像素视频帧图片输入到构建的混合卷积神经网络：
125A:混合卷积神经网络的局部模型构建，如图4所示：局部模型由7层构成，前两层有256个卷积核的卷积层conv、参数化修正单元prelu、归一化norm、池化层pool；第三、四层是3*3块大小的384个卷积核conv、prelu；第五层是256conv、prelu和RoI(Region ofInterest)Pooling；第六、七层为4096个节点的全连接层fc；第八层为2048个节点的全连接层；最后加上softmax层用于分类，边界框回归层进行候选区域位置调整；训练过程使用动量为0.9、学习率为0.01、权重衰减为0.0005的带动量的随机梯度下降(StochasticGradient Descent,SGD)来最小化独立对数损失的和值，以优化网络参数；
其中网络构建的具体步骤详细阐述：
参数化修正线性单元(Parametric Rectified Linear Units，PReLU)作为激活函数；
其中，i代表不同的通道，PReLU相对ReLU在负数区域不是连续的，且是可学习的；
按照下式计算PReLU：
yi＝max(0,xi)+ai*min(0,xi)
目标函数对ai求偏导，得到
在网络中ai的更新方式采用公式(4)，
式中，μ为动量，∈为学习率，ai初始化为0.2
上述局部模型构建是在初始化Oquab预训练模型后，进行微调。其中用RoI(Region ofInterest)Pooling替代原先的第五层的Pooling，加上2048个节点的全连接层，最后利用Softmax损失层对头部和背景进行分类，随机初始化后加上边界框回归(Bounding BoxRegression)层进行候选区域位置调整。
池化层使用的为最大值池化max pooling；
分类层使用Softmax，以区分头部和背景，该层会计算出每种分类的概率，并将最大概率的标签输出，其中Softmax分类的期望函数表示如下：
其中，α(i)表示卷积神经网络中第7层输出的特征向量，β(i)表示与卷积神经网络中第7层输出的特征向量α(i)相对应的标签，k表示类别数，i表示样本，i∈[1,m]，m表示头部区域样本的数量，θ表示模型参数，softmax分类损失函数如下：
125B:如图5所示：混合卷积神经网络的全局模型前4层、6和7层与局部模型相似，第5层中由conv、prelu、pool构成，第8层也为全连接层，后接Softmax；训练过程使用冲量0.9，权重0.000005，学习率0.00001的SGD优化网络参数
125C:成对模型用于重组特征，提高检测准确度:
成对模型的训练。结构化代理损失就是将参数的当前值、图像数据x＝(xi)i∈V和真实值标签映射为实数。本发明采用一种新的代理损失，直接对从联合得分S提取的单次分数，即公式所示的错误值进行惩罚。这个损失函数可以表示为:
其中，评价两个标签之间的一致性。h的选择包括汉明损失、按类频率惩罚归一化的Hamming损失以及使用每个真实目标来准确分配一个目标候选的高阶损失。v是有上边界的任意非递增函数，使用v(t)＝log(1+exp(-t))使其更接近于传统检测器训练的Softmax函数。
使用随机梯度下降算法最小化结构化代理损失来训练成对模型的参数，模型中参数更新的步骤包括：
1、使用非极大值抑制(Non-maximum Suppression，NMS)方法，用局部模型生成的分数来选择一组候选；
2、计算联合评分函数的势能，对模型中的参数进行正向传递；
3、计算结构化损失，进而计算出梯度；
4、在模型中对梯度进行逆向传递。
126：输出检测结果。
人数判断单13用于从标准库文件中获得与视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数作为当前电梯轿厢内的人数。
具体地，上述电梯轿厢人数检测***可基于电梯物联网***实现，其中特征提取单元12位于连接到电梯控制系14的服务器，库文件创建单元11利用特征提取单12提取多个不同人数、不同灯光下的视频帧的卷积特征向量；库文件创建单元11包括位于上述服务器的人数输入子单元以及位于SOFTMAX分类器的分类学习子单元，上述SOFTMAX分类器连接到服务器。上述服务器还包括信号接收单元，用于通过互联网接收来自电梯控制***14的由摄像15拍摄的视频以及电梯门关闭信号。
所述人数输入子单元则用于接收上述多个视频帧的人数输入(人工输入)；
所述分类学习子单元将多个不同人数、不同灯光下的视频帧的卷积特征并将该多个参考卷积特征向量与通过人数输入子单元输入的向量作为参考卷积特征向量，该视频帧的人数进行分类学习生成标准库文件(例如XML文件)。在本发明中，由于该***基于电梯物联网，因此电梯物联网中所有连接到服务器的电梯控制***都可共用上述检测***，实现物联网***中所有电梯轿厢的人数检测，提高了***的使用率，降低单位使用成本。
作为本发明的另一重要发明点，本发明披露了一种利用电梯轿厢人数检测***的电梯人数检测方法，如图2所示：包括以下步骤：
S21：创建标准库文件，该标准库文件包括多个参考卷积特征向量和对应的人数。该标准库文件是判断电梯轿厢人数的依据，其根据在电梯门关闭后不同人数、不同灯光条件的多个视频帧(由摄像15所拍摄，例如不小于50个视频帧)及每一视频帧对应的人数创建。
上述标准库文件具体可通过以下步骤创建：首先采集摄像头在不同人数、不同灯光下的多个视频帧，并分别提取每一视频帧的卷积特征向量；同时接收每一视频帧的人数输入；然后将每一视频帧的卷积特征向量作为参考卷积特征向量与输入的该视频帧的人数传送到SOFTMAX分类器进行分类学习，并生成标准库文件；
S22：在接收到电梯门关闭信号后(电梯正常运行过程中)截取摄像头拍摄的视频帧，并提取视频帧的卷积特征向量；
当上述方法基于电梯物联网时，该步骤可包括：电梯控制***将摄像头拍摄的视频以及电梯门关闭信号通过互联网传送到远端的服务器；然后由服务器在接收到电梯门关闭信号后从视频截取该时刻的视频帧，并提取视频帧的卷积特征向量。
S23：从S21步骤的标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数作为当前电梯轿厢内的人数。
在上述方法应用于电梯物联网时，该步骤包括：服务器将提取的视频帧的卷积特征向量传送到SOFTMAX层；SOFTMAX分类器从标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数；SOFTMAX分类器将获得的人数发送到服务器，服务器将该人数作为当前电梯轿厢内的人数。上述服务器获得的人数可通过互联网发送到对应的电梯控制***，由电梯控制***作为相应召唤、楼层停靠、超载判断等的依据。
上述说明示出并描述了本发明的优选实施例，如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种电梯轿厢人数检测***，其特征在于：包括库文件创建单元(11)、特征提取单元(12)以及人数判断单元(13)；
所述库文件创建单元(11)，用于创建标准库文件，所述标准库文件包括已通过混合卷积神经网络训练的参数、特征和人数；
所述特征提取单元(12)，用于在接收到电梯门关闭信号后截取安装在轿厢内的摄像头(15)拍摄的视频帧，并提取所述视频帧的特征；
所述人数判断单元(13)，用于从所述标准库文件中获得与所述视频帧的卷积特征最接近的参考卷积特征并将该参考卷积特征对应的人数作为当前电梯轿厢内的人数。
2.根据权利要求1所述的电梯轿厢人数检测***，其特征在于：所述库文件创建单元(11)包括位于服务器的人数输入子单元、以及网络末端的Softmax分类学习子单元；所述特征提取单元连接到位于电梯控制***(14)里的服务器，所述分类学习子单元用于将多个不同人数、不同灯光下的视频帧的卷积特征作为参考卷积特征，并将所述参考卷积特征与通过人数输入子单元输入的对应视频帧的人数进行分类学习生成标准库文件。
3.根据权利要求2所述的电梯轿厢人数检测***，其特征在于：所述服务器包括信号接收单元，用于通过互联网接收来自电梯控制***的摄像头(15)拍摄的视频以及电梯门关闭信号。
4.一种利用权利要求1所述的电梯轿厢人数检测***的电梯人数检测方法，其特征在于：包括以下步骤：
(a)创建标准库文件，所述标准库文件包括通过已标注人头样本训练的混合卷积神经网络的网络参数、参考卷积特征向量和对应的人数；
(b)在接收到电梯门关闭信号后截取摄像头拍摄的视频帧，输入截取的视频帧；并提取所述视频帧的卷积特征向量；
(c)输出结果：从所述标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数作为当前电梯轿厢内的人数。
5.根据权利要求4所述的电梯人数检测方法，其特征在于：所述步骤(a)包括以下步骤：(a1)采集摄像头在不同人数、不同灯光下的若干视频帧，并输入混合卷积神经网络进行提取卷积特征；(a2)接收每一视频帧的人数输入；(a3)将每一视频帧的卷积特征向量作为参考卷积特征向量与输入的该视频帧的人数传输到softmax层进行分类学习，并生成标准库文件。
6.根据权利要求4所述的电梯人数检测方法，其特征在于：所述步骤(b)包括以下步骤(b1)电梯控制***将摄像头拍摄的视频以及电梯门关闭信号通过互联网传送到远端的服务器；(b2)所述服务器在接收到电梯门关闭信号后从视频截取该时刻的视频帧，并提取所述视频帧的卷积特征。
7.根据权利要求6所述的电梯人数检测方法，其特征在于：所述步骤(b)中提取步骤具体包括如下步骤：
Step1：输入电梯轿厢内高清监控设备下的视频帧；视频帧图片是电梯轿厢内清晰的人头部图片，并进行适当裁剪，以达到网络输入要求224*224；
Step2：使用选择性搜索获取待检测视频帧中人头的候选区域；
Step3：利用人头区域的先验条件对候选区域进行筛选，获得人头候选区域；
Step4：构建并训练混合卷积神经网络，将人头候选区域输入到构建的混合卷积神经网络；所述卷积神经网络由局部、全局和成对模型构成；所述局部模型构建引入快速区域卷积神经网络结构，更好的获取图像的上下文信息，对行人进行更好的检测；所述全局模型预测头部的位置，明确目标间的成对关系，以结构化输出外部损失进行成对模型的训练。
8.根据权利要求7所述的电梯人数检测方法，其特征在于：Step2步骤具体包括如下步骤：
(S2a)根据选择性搜索的分割方式，基于视频帧分割，得到初始区域R＝{r1,r2,...,rn},n为初始化区域数；
(S2b)计算出每个初始化相邻区域的综合相似性s(ri,rj)，组成集合S，其中i∈[1,n],j∈[i+1,n]；
(S2c)找出集合S中相似性最大的二个区域ra,rb，max(S)＝s(ra,rb)；
(S2d)合并ra,rb，获得新的区域rt，即rt＝ra∪rb，然后在S和R中移除相似性最大的区域ra,rb得到新的相似性集合S'和新的初始化区域R'；
(S2e)计算新的区域rt与所有与它相邻区域r*之间的综合相似性st(rt,r*)；
(S2f)将st(rt,r*)和rt分别添加到相似性集合S'和新的初始化区域R'中，得到加入相似性st(rt,r*)后的集合S”和加入新的区域rt后的初始化区域R”；
(S2g)重复(2c)到(2f)操作，直到相似性集合为空，获得最终候选区域。
9.根据权利要求7所述的电梯人数检测方法，其特征在于：Step4步骤具体包括如下步骤：
S4a：混合卷积神经网络的局部模型构建；所述局部模型由7层构成，前两层有卷积层conv、参数化修正单元prelu、归一化norm、池化层pool；第三、四层是conv、prelu；第五层是conv、prelu和RoI(Region of Interest)Pooling；第六、七层为4096个节点的全连接层fc；第八层为2048个节点的全连接层；最后加上softmax层用于分类，边界框回归层进行候选区域位置调整；
S4b：混合卷积神经网络的全局模型前4层、6和7层与局部模型相似，第5层中由conv、prelu、pool构成，第8层也为全连接层，后接Softmax；
S4c：构建成对模型用于重组特征，提高检测准确度。
10.根据权利要求4所述的电梯人数检测方法，其特征在于：所述步骤(c)具体包括以下步骤：(c1)所述服务器将提取的视频帧的卷积特征向量传输至softmax分类器；(c2)所述SOFTMAX分类器从标准库文件中获得与所述视频帧的卷积特征向量最接近的参考卷积特征向量并将该参考卷积特征向量对应的人数；(c3)所述SOFTMAX分类器将步骤(c2)中获得人数发送到服务器，所述服务器将该人数作为当前电梯轿厢内的人数。
CN201710879895.4A 2017-09-26 2017-09-26 一种电梯轿厢人数检测***及其检测方法 Active CN107609597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710879895.4A CN107609597B (zh) 2017-09-26 2017-09-26 一种电梯轿厢人数检测***及其检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710879895.4A CN107609597B (zh) 2017-09-26 2017-09-26 一种电梯轿厢人数检测***及其检测方法

Publications (2)

Publication Number Publication Date
CN107609597A true CN107609597A (zh) 2018-01-19
CN107609597B CN107609597B (zh) 2020-10-13

Family

ID=61058417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710879895.4A Active CN107609597B (zh) 2017-09-26 2017-09-26 一种电梯轿厢人数检测***及其检测方法

Country Status (1)

Country Link
CN (1) CN107609597B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109733978A (zh) * 2018-12-19 2019-05-10 北京旷视科技有限公司 自动门控制方法、装置、***和存储介质
CN109829454A (zh) * 2019-01-17 2019-05-31 柳州康云互联科技有限公司 一种基于预训练标识的图像特征采集方法
CN109858472A (zh) * 2019-04-09 2019-06-07 武汉领普科技有限公司 一种嵌入式实时人形检测方法和装置
CN110040592A (zh) * 2019-04-15 2019-07-23 福建省星云大数据应用服务有限公司 基于双路监控视频分析的电梯轿厢载客数检测方法及***
CN110163369A (zh) * 2019-05-21 2019-08-23 北京迈格威科技有限公司 图像识别与神经网络模型的训练方法、装置和***
CN110436294A (zh) * 2019-08-08 2019-11-12 杭州吉时语科技有限公司 一种电瓶车入电梯检测方法
CN110738079A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 机动车前排人员数量异常的检测方法、装置和计算机设备
CN110884971A (zh) * 2019-11-21 2020-03-17 浙江省二建建设集团安装有限公司 一种群控电梯节能方法、***以及计算机存储介质
CN111476600A (zh) * 2020-03-23 2020-07-31 浙江新再灵科技股份有限公司 直梯广告受众人数统计分析方法
CN111483912A (zh) * 2020-01-07 2020-08-04 郝红娟 扶梯乘坐人数动态更新***及方法
CN112036367A (zh) * 2020-09-16 2020-12-04 南通天成现代农业科技有限公司 一种yolo卷积神经网络的人数检测方法
CN112573316A (zh) * 2020-12-08 2021-03-30 成都睿瞳科技有限责任公司 一种基于计算机视觉的电梯困人检测方法
CN112990068A (zh) * 2021-03-31 2021-06-18 辽宁华盾安全技术有限责任公司 一种基于深度学习的电梯乘员计数方法及***
CN114314224A (zh) * 2020-09-28 2022-04-12 株式会社日立制作所 电梯及电梯控制方法
CN114366025A (zh) * 2021-12-28 2022-04-19 河北体育学院 一种运动员生理指标检测***及方法
CN115303901A (zh) * 2022-08-05 2022-11-08 北京航空航天大学 一种基于计算机视觉的电梯交通流量识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102050366A (zh) * 2009-11-05 2011-05-11 上海三菱电梯有限公司 人数检测装置及方法
CN103552890A (zh) * 2013-11-07 2014-02-05 深圳市汇川技术股份有限公司 电梯轿厢人数检测***及方法
CN105035887A (zh) * 2015-07-03 2015-11-11 穆国栋 一种基于计算机视觉检测的智能电梯主控***
CN105844234A (zh) * 2016-03-21 2016-08-10 商汤集团有限公司 一种基于头肩检测的人数统计的方法及设备
CN105868774A (zh) * 2016-03-24 2016-08-17 西安电子科技大学 基于选择性搜索和卷积神经网络的车标识别方法
CN105868269A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于区域卷积神经网络的精确图像检索方法
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
WO2016183766A1 (en) * 2015-05-18 2016-11-24 Xiaogang Wang Method and apparatus for generating predictive models
CN106778854A (zh) * 2016-12-07 2017-05-31 西安电子科技大学 基于轨迹和卷积神经网络特征提取的行为识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102050366A (zh) * 2009-11-05 2011-05-11 上海三菱电梯有限公司 人数检测装置及方法
CN103552890A (zh) * 2013-11-07 2014-02-05 深圳市汇川技术股份有限公司 电梯轿厢人数检测***及方法
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
WO2016183766A1 (en) * 2015-05-18 2016-11-24 Xiaogang Wang Method and apparatus for generating predictive models
CN105035887A (zh) * 2015-07-03 2015-11-11 穆国栋 一种基于计算机视觉检测的智能电梯主控***
CN105868269A (zh) * 2016-03-08 2016-08-17 中国石油大学(华东) 基于区域卷积神经网络的精确图像检索方法
CN105844234A (zh) * 2016-03-21 2016-08-10 商汤集团有限公司 一种基于头肩检测的人数统计的方法及设备
CN105868774A (zh) * 2016-03-24 2016-08-17 西安电子科技大学 基于选择性搜索和卷积神经网络的车标识别方法
CN106778854A (zh) * 2016-12-07 2017-05-31 西安电子科技大学 基于轨迹和卷积神经网络特征提取的行为识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YINGYING ZHANG: "Single-image crowd counting via multi-column convolutional neural network", 《COMPUTER VISION & PATTERN RECOGNITION》 *
付敏: "基于卷积神经网络的人群密度估计", 《中国优秀学术论文全文数据库 信息科技辑》 *
张雅俊: "基于卷积神经网络的人流量统计", 《重庆邮电大学学报（自然科学版）》 *
马海军: "监控场景中人数统计算法的研究与应用", 《万方数据库》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738079A (zh) * 2018-07-19 2020-01-31 杭州海康威视数字技术股份有限公司 机动车前排人员数量异常的检测方法、装置和计算机设备
CN109733978A (zh) * 2018-12-19 2019-05-10 北京旷视科技有限公司 自动门控制方法、装置、***和存储介质
CN109829454A (zh) * 2019-01-17 2019-05-31 柳州康云互联科技有限公司 一种基于预训练标识的图像特征采集方法
CN109858472B (zh) * 2019-04-09 2023-08-04 武汉领普科技有限公司 一种嵌入式实时人形检测方法和装置
CN109858472A (zh) * 2019-04-09 2019-06-07 武汉领普科技有限公司 一种嵌入式实时人形检测方法和装置
CN110040592A (zh) * 2019-04-15 2019-07-23 福建省星云大数据应用服务有限公司 基于双路监控视频分析的电梯轿厢载客数检测方法及***
CN110163369A (zh) * 2019-05-21 2019-08-23 北京迈格威科技有限公司 图像识别与神经网络模型的训练方法、装置和***
CN110436294A (zh) * 2019-08-08 2019-11-12 杭州吉时语科技有限公司 一种电瓶车入电梯检测方法
CN110884971A (zh) * 2019-11-21 2020-03-17 浙江省二建建设集团安装有限公司 一种群控电梯节能方法、***以及计算机存储介质
CN111483912A (zh) * 2020-01-07 2020-08-04 郝红娟 扶梯乘坐人数动态更新***及方法
CN111476600A (zh) * 2020-03-23 2020-07-31 浙江新再灵科技股份有限公司 直梯广告受众人数统计分析方法
CN111476600B (zh) * 2020-03-23 2023-09-19 浙江新再灵科技股份有限公司 直梯广告受众人数统计分析方法
CN112036367A (zh) * 2020-09-16 2020-12-04 南通天成现代农业科技有限公司 一种yolo卷积神经网络的人数检测方法
CN114314224A (zh) * 2020-09-28 2022-04-12 株式会社日立制作所 电梯及电梯控制方法
CN112573316A (zh) * 2020-12-08 2021-03-30 成都睿瞳科技有限责任公司 一种基于计算机视觉的电梯困人检测方法
CN112990068A (zh) * 2021-03-31 2021-06-18 辽宁华盾安全技术有限责任公司 一种基于深度学习的电梯乘员计数方法及***
CN114366025A (zh) * 2021-12-28 2022-04-19 河北体育学院 一种运动员生理指标检测***及方法
CN114366025B (zh) * 2021-12-28 2023-12-26 河北体育学院 一种运动员生理指标检测***及方法
CN115303901A (zh) * 2022-08-05 2022-11-08 北京航空航天大学 一种基于计算机视觉的电梯交通流量识别方法
CN115303901B (zh) * 2022-08-05 2024-03-08 北京航空航天大学 一种基于计算机视觉的电梯交通流量识别方法

Also Published As

Publication number Publication date
CN107609597B (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN107609597A (zh) 一种电梯轿厢人数检测***及其检测方法
CN105069472B (zh) 一种基于卷积神经网络自适应的车辆检测方法
CN106295601B (zh) 一种改进的安全带检测方法
CN105512640B (zh) 一种基于视频序列的人流量统计方法
Souly et al. Semi and weakly supervised semantic segmentation using generative adversarial network
CN112150821B (zh) 轻量化车辆检测模型构建方法、***及装置
CN107529650A (zh) 网络模型的构建和闭环检测方法、相应装置及计算机设备
CN107480730A (zh) 电力设备识别模型构建方法和***、电力设备的识别方法
CN105447459A (zh) 一种无人机自动检测目标和跟踪方法
CN107229929A (zh) 一种基于r‑cnn的车牌定位方法
CN110084165A (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN109886141A (zh) 一种基于不确定性优化的行人再辨识方法
CN109376637A (zh) 基于视频监控图像处理的人数统计***
CN110163041A (zh) 视频行人再识别方法、装置及存储介质
CN110135476A (zh) 一种个人安全装备的检测方法、装置、设备及***
CN110082821A (zh) 一种无标签框微地震信号检测方法及装置
CN111368660A (zh) 一种单阶段半监督图像人体目标检测方法
CN109918971A (zh) 监控视频中人数检测方法及装置
CN106874825A (zh) 人脸检测的训练方法、检测方法和装置
CN109919246A (zh) 基于自适应特征聚类和多重损失融合的行人重识别方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN103065163A (zh) 一种基于静态图片的快速目标检测识别***及方法
Li et al. A reliable solder joint inspection method based on a light-weight point cloud network and modulated loss
CN107633527A (zh) 基于全卷积神经网络的目标追踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant