CN109657581B - 基于双目相机行为检测的城市轨道交通闸机通行控制方法 - Google Patents
基于双目相机行为检测的城市轨道交通闸机通行控制方法 Download PDFInfo
- Publication number
- CN109657581B CN109657581B CN201811501741.2A CN201811501741A CN109657581B CN 109657581 B CN109657581 B CN 109657581B CN 201811501741 A CN201811501741 A CN 201811501741A CN 109657581 B CN109657581 B CN 109657581B
- Authority
- CN
- China
- Prior art keywords
- camera
- gate
- points
- coordinate
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012300 Sequence Analysis Methods 0.000 claims abstract description 26
- 238000012544 monitoring process Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000005021 gait Effects 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000006399 behavior Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000011426 transformation method Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 210000002310 elbow joint Anatomy 0.000 claims description 2
- 210000000323 shoulder joint Anatomy 0.000 claims description 2
- 210000003857 wrist joint Anatomy 0.000 claims description 2
- 210000000481 breast Anatomy 0.000 claims 1
- 206010063385 Intellectualisation Diseases 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000000700 time series analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于双目相机行为检测的城市轨道交通闸机通行控制方法，通过双目相机闸机安装和监控通道数量标定、相机内外参数标定及三维重建、乘客通行行为数据采集与预处理、乘客通行行为数据采集与预处理、运动区域检测、运动对象步态特征提取、时间序列分析模型训练和检验、时间序列分析模型更新及实时乘客通行行为检测和识别，实现实时检测、识别并响应乘客的通行行为；同时及时响应相机参数和分类标签的变化，训练并更新时间序列分析模型的参数，提高了识别的精准度和控制的有效性，大大提高了轨道交通智能化技术领域的用户体验感，满足了实际需求。
Description
所属领域
本发明涉及城市轨道交通智能化技术领域，具体涉及一种基于双目相机行为检测的城市轨道交通闸机通行控制方法。
背景技术
随着轨道交通行业的迅猛发展，交通闸机的运用越来越广泛，目前国内外市场上的闸机主要为16组以上对射式传感器进行通行逻辑控制的常闭模式剪式门/拍打门型闸机，该设计主要包括了：行人体型检测、物品遮挡检测、携带行李检测、通行速度检测、延时检测等，同时存在闯入检测，尾随检测等欺骗行为检测，但是对于这种通行逻辑控制方法，传感器的数量、传感器的布局、传感器的灵敏度都会影响的算法的执行效果，在算法开发的过程中需要不断调优。而且在行人通行时，仅能够识别出通道内简单的异常通行状况，做简单的通行关系判断，对于部分特殊异常的情况不能有效地解决，甚至会出现机器对人不友好的现象。
此外，由于闸机***的行业性,关于闸机的设备及通行控制算法的研究主要集中于相关的一些厂商，包括意大利固力保、韩国三星、美国摩托罗拉、日本信号在内的多家企业。目前,我国的大多数地铁中使用的设备和算法、软件也都是这些公司的产品，一套闸机设备的价格多在万元以上且设备的维修成本较高。我国在该行业的研究和开发时间较晚,相比较国外产品还有一定差距，所以对闸机软件***、通行控制算法的研究十分的必要。
因此，对于我国城市轨道交通而言，在解决闸机通行逻辑控制的问题上需要考虑其他的识别技术。基于视频监控的步态识别技术是目前远距离下唯一可用的生物特征识别技术，它具有低分辨率、受环境影响小、易采集等优点，而且是在个体没有觉察的情况下采集到身份信息的，通过对乘客通行的步态特征进行分析和识别可以有效提高通行逻辑检测的识别速度和准确率，同时又能够有效降低城市轨道交通闸机设备建设和升级成本，提高乘客的满意度。
发明内容
本发明正是针对现有技术中轨道交通运营对于进出站闸机通行逻辑控制的不足的问题，提供了一种基于双目相机行为检测的城市轨道交通闸机通行控制方法，通过双目相机闸机安装和监控通道标定、相机内外参数标定及三维重建、乘客通行行为数据采集与预处理、乘客通行行为数据采集与预处理、运动区域检测、运动对象步态特征提取、时间序列分析模型训练和检验、时间序列分析模型更新及实时乘客通行行为检测和识别，实现实时检测、识别并响应乘客的通行行为；同时及时响应相机参数和分类标签的变化，训练并更新时间序列分析模型的参数，提高了识别的精准度和控制的有效性，大大提高了轨道交通智能化技术领域的用户体验感，满足了实际需求。
为了实现上述目的，本发明采用的技术方案是：基于双目相机行为检测的城市轨道交通闸机通行控制方法，包括如下步骤：
S1，相机闸机安装和监控通道标定：所述相机为双目相机，双目相机视角和有效检测距离参数至少满足1个闸机通道的实时监测和监控需求，所述有效检测距离为0.5～20m；
S2，相机内外参数标定及三维重建：通过建立相机像平面上的像素点与基于闸机的三维空间坐标中对应点的映射关系，标定相机内外参数，实现三维重建，提取图像深度信息，构建基于闸机坐标系下的深度图；
S3，乘客通行行为数据采集与预处理：对乘客视频数据进行预处理，并按通信逻辑视频流进行剪辑并标注属性，建立对应的属性集作为时间序列模型的期望输出参数，所述通行逻辑至少包括闸机关闭和闸机发出警报；
S4，采用背景差分算法将实时采集RGB图像与保存的背景RGB图像对应像素点的数值相减，并通过二值化去除冗余信息，提取运动区域：
Di(x，y)＝|fi(x，y)-B(x，y)|
其中，(x，y)表示像素点对应的空间坐标；fi(x，y)表示视频当前帧；B(x，y)表示保存的背景图像，通过HSV颜色空间分析，剪除阴影干扰；
S5，运动对象步态特征提取：利用数字图像处理技术中的中轴变换法提取视频每帧二值图中的人体骨架，依据人体比例关系模型对提取的骨架进行逐行扫描，将人体骨架和扫描线的交叉点设为关节点，连接所有关节点，并建立关节点参数矩阵作为时间序列分析模型的输入；
S6，时间序列分析模型训练和检验：基于LSTM的循环神经网络来搭建时间序列分析模型的基础框架，实现端到端的运动对象步态检测以及动作识别；
S7，时间序列分析模型更新：当相机内、外参数发生变化、乘客通行行为控制策略变化导致视频标签发生变化或者训练集引入新的样本时，需要重新导入训练样本更新时间序列分析模型的内部参数；
S8，实时乘客通行行为检测和识别：提取实时上传的监控视频图像数据当前帧中的各通道人体关节点坐标矩阵，分别输入到训练好的时间序列分析模型中，依据分析模型的输出结果控制闸机的开合以及报警行为。
作为本发明的一种改进，所述步骤S1中，通过提高相机视角范围和核心处理器的运算性能，实现单组相机同时监控多组闸机通道。
作为本发明另一种改进，所述步骤S2进一步包括：
S21，求出相机相对于闸机坐标系的外参数矩阵，建立乘客与闸机的空间相对位置坐标关系；
S22，相机内部参数标定：所述相机采用内部参数矩阵为：
其中，f为待求的焦距变量；u0，v0为待求的图像平面中心；倾斜系数为0；纵横比为1；切向畸变和径向畸变系数为0；
S23，由三组相互正交的平行线计算出三个相互正交方向上的消失点，建立闸机参考坐标系下的三维模型,,所述三维模型为：
vx，y，z＝(p1×q1)*(p2×q2)
π＝[avx bvy cvz 1]
其中，p1、q1、p2、q2分别为对应正交方向上平行线的4个点；a，b，c分别为三个正交方向上的参考长度；
S24，结合Harris角点检测方法人工选定坐标原点，重新建立相机的外参数矩阵，即实现三维重建；
S25，通过理想模型下两图像的视差计算空间点的坐标，即可求得像素点对应的深度信息，所述空间点的坐标为：
其中，xr，yr，xl，yl分别为两个相机像平面像素点的坐标；X，Y，Z为空间点的坐标位置(X，Y，Z)；f为相机焦距。
作为本发明的另一种改进，所述步骤S5中关节点包括人体颈关节、肩关节、肘关节、腕关节、胸部共计8个关节点，各关节点的坐标矩阵为：
其中，
表示视频第i帧的二维人体关节坐标矩阵；
所述各个关节点的深度距离将人体棍状骨架模型扩展到三维空间并以矩阵形式表示为：
其中，
表示视频第i帧的三维人体关节坐标矩阵。
作为本发明的又一种改进，所述步骤S6中进一步包括以ReLU或者Softplus函数作为隐藏层神经元的激活函数，加快神经网络模型的收敛性；以Sigmoid函数作为输出层神经元的激活函数，实现相互独立不同属性的识别，以交叉熵(Cross Entropy)或者均方根误差(MSE)作为网络的激活函数，对网络参数进行迭代和优化。
与现有技术相比，本发明所产生的有益效果：通过分类的方法实现端到端的乘客通行逻辑识别和控制，使用过程便捷简单，能够实时从监控视频图像中获得识别结果，为闸机扇门控制提供决策方案；及时响应相机参数和分类标签的变化，训练并更新时间序列分析模型的参数；通过高精度的步态特征识别可以有效地提高乘客的通行速度、缓解交通拥挤、避免车票流失和账目混乱等问题；在使用人体棍状骨架模型直接识别可以取得较好分类结果的基础上结合LSTM循环神经网络，进一步提高识别的精度；同时步骤S5中获得的人体关节点二维/三维坐标矩阵已可以直接被用来进行简单的乘客通行行为/逻辑判别，方法简单已操作，适用性更强；简单、且无需额外设备的摄像头校准和标定方法(消失标定法)可以迅速响应摄像头的轻微变化，始终保持较高的测量精度；未来通过提高摄像头和处理器的运算性能，可以进一步实现单一摄像头对多组闸机通道的检测和控制、大幅度降低***搭建的硬件成本；更长的检测距离(20m)可以保留更多有效性数据进行分析、兼容多种尺寸的闸机通道(如加长通道)、对较远距离的乘客可以进行预估判断和人群密度检测，支持辅助大客流预测和预警；
附图说明
图1为本发明的方法操作流程图；
图2为本发明轨道交通进出站闸机设备示意图；
图3为本发明实施例1中参考的人体比例关系模型；
图4为本发明构建人体二维棍状骨架模型的效果图；
图5为本发明实施例1时间序列分析模型的训练流程图。
具体实施方式
以下将结合附图和实施例，对本发明进行较为详细的说明。
实施例1
基于双目相机行为检测的城市轨道交通闸机通行控制方法，如图1所示，包括如下步骤：
S1，相机闸机安装和监控通道标定：所述相机为双目相机，双目相机视角和有效检测距离参数至少满足1个闸机通道的实时监测和监控需求，所述有效检测距离为0.5～20m，未来可以在不改变现有人体行为监控平台框架的前提下可以实现单个相机同时监控多组闸机通道，达到降低设备硬件成本的目的，具有一定的扩展性。
闸机通道监控相机应优先安装在闸机通道的前上方，为未来人脸检测和步态识别技术的应用提供可扩展的空间，在前上方安装相机不满足实际检测条件的情况下，可以考虑在闸机通道顶部安装监控相机。
S2，相机内外参数标定及三维重建：通过建立相机像平面上的像素点与基于闸机的三维空间坐标中对应点的映射关系，标定相机内外参数，实现三维重建，提取图像深度信息，构建基于闸机坐标系下的深度图；
求得如下计算公式中的未知变量：
a.世界坐标系变换为相机坐标系
其中，R为待求的旋转矩阵，T为待求的平移矩阵；
b.相机坐标系变换为像平面坐标系
其中，f为待求的焦距变量；
c.像平面坐标系变换为像素坐标系
其中，dx，dy为待求的感光芯片像素大小，u0，v0为待求的图像平面中心，此外还需考虑相机的切向畸变和径向畸变，这些参数均可由以下自动求出，同时
即为三维重建的目标矩阵。
随着硬件技术的发展，相机的某些内部参数非常接近理想值(如主点坐标近似为图像中心，倾斜系数近似为0，纵横比近似为1，切向畸变和径向畸变系数近似为0)，在检测精度要求已经满足的情况下，可以直接采用理想值以简化相机模型内部参数的标定过程，如倾斜系数为0、纵横比为1的CCD相机的内部参数矩阵为：
对于相机的外部参数标定(三维重建)：
利用场景中相互正交的3组平行线得到的消失点，结合相机内部参数矩阵或者使用棋盘格标定法标定后的内部参数矩阵，以射影深度求解三维坐标，从而实现外部参数标定和三维重建。
此外，如图2所示，绝大多数城市轨道交通进出站闸机设备具有非常明显的立方体结构——天然地具备观测三组相互正交消失点的条件(只要相机通过改变旋转角、俯仰角、安装位置，使其不绝对垂直于任一平面)，且闸机每一条棱的尺寸数据已知，在不添加任何其他装置或设备的条件下，就可以实现三维重建。
具体流程如下：
由三组相互正交的平行线计算出三个相互正交方向上的消失点，建立闸机参考坐标系下的三维模型。其消失点vx,vy和vz为：
vx,y，z＝(p1×q1)*(p2×q2)
π＝[avx bvy cvz 1]
其中，p1、q1、p2、q2分别为对应正交方向上平行线的4个点；a，b，c分别为三个正交方向上的参考长度。结合Harris角点检测方法人工选定坐标原点，即可重新建立相机的外参数矩阵，即实现三维重建。
三维重建的优势
a.实现三维重建的相机深度图可以更加直观地反应乘客与闸机坐标系的相对位置关系，即乘客的高度信息，以及乘客处于闸机通道内的位置信息。
b.监控相机的安装位置更加灵活，不需要保持严格的与闸机通道安装位置、旋转角度、俯仰角度关系，具有一定的调整空间。
c.经过三维重建的相机获取的数据为标准化的数据，经过训练后的模型可以在任意的闸机设备上直接使用，无需在安装过程中进行参数调整，也无需重新建立新的训练和测试数据集再次训练。
两台相机可以通过双目视觉原理中的极线约束性质，标定两个相机之间的相对位置关系(相对旋转矩阵R和相对平移矩阵T)，因此相机的像平面不要求精确位于同一平面上，也不要求两个光轴严格平行，接着根据三角形相似原理，通过理想模型下两图像的视差计算空间点的坐标：
其中，xr，yr，xl，yl分别为两个相机像平面像素点的坐标；X，Y，Z为空间点的坐标位置(X，Y，Z)；f为相机焦距。
通过双目视差计算即可求得像素点对应的深度信息。该方法求得的有效距离信息可达20m，满足本实施例设计要求，精度较低，密度较小。
S3，乘客通行行为数据采集与预处理：对乘客视频数据进行预处理，并按通信逻辑视频流进行剪辑并标注属性，建立对应的属性集作为时间序列模型的期望输出参数，所述通行逻辑至少包括闸机关闭和闸机发出警报；
本实施例采用的基于人体行为检测及识别的闸机通行控制***，图像/视频数据不能直接用作模型的训练和测试，需要进行一定的预处理，因而：
1.对视频数据每一帧图片进行直方图均衡处理以减少光强等环境变化变化带来的干扰，并且缩放为相同尺寸；
2.按通行逻辑(现行闸机接收信号并正常通行授权作为一段视频的起点；闸机关闭/闸机发出警报作为一段视频的终点)对选定相机类型的乘客通行行为历史视频流进行剪辑；
3.对每一个剪辑后的子视频进行属性标注作为Step8期望的输出参数，保证每种属性有充足样本量以减少样本不足带来的随机误差；随机选择一定量视频数据作为训练集，剩下的视频数据作为测试集。
依据现有常规闸机场景测试案例，拟定以下几类常闭模式下闸机通行逻辑的视频标签。如表1所示。
表1闸机通行场景标签
S4，采用背景差分算法将实时采集1:RGB图像与保存的背景1:RGB图像对应像素点的数值相减，并通过二值化去除冗余信息，提取运动区域：
Di(x，y)＝|fi(x，y)-B(x，y)|
其中，(x，y)表示像素点对应的空间坐标；fi(x，y)表示视频当前帧；B(x，y)表示保存的背景图像，通过HSV颜色空间分析，剪除阴影干扰；
S5，运动对象步态特征提取：利用数字图像处理技术中的中轴变换法提取视频每帧二值图中的人体骨架，依据人体比例关系模型对提取的骨架进行逐行扫描，将人体骨架和扫描线的交叉点设为关节点，连接所有关节点，并建立关节点参数矩阵作为时间序列分析模型的输入；
利用数字图像处理技术中的中轴变换法细化视频每一帧(帧数为M)的二值图获得人体骨架线，以减少衣帽、挎包等物品对人体的遮挡，并对骨架线过滤，使得骨架线上每两个像素之间有一个空白像素。并依据图3所示的人体比例关系模型对提取的骨架进行逐行扫描，将人体骨架和扫描线的交叉点设为关节点，连接所有关节点，从而得到人体棍状骨架模型(又被称为人体杆状模型)，提取效果如图4所示。
本发明主要提取不易被闸机、扇门以及其他行人遮挡的关节点，具体是指：颈关节、肩关节、肘关节、腕关节和胸部共计N＝8个关节点。各关节点坐标以矩阵形式表示：
其中，
表示视频第i帧的二维人体关节坐标矩阵；
结合三维重建的空间坐标，标注各个关节点的深度距离将人体棍状骨架模型扩展到三维空间并以矩阵形式表示：
其中，
表示视频第i帧的三维人体关节坐标矩阵。
将每一帧的空间坐标矩阵
按时间顺序拼接为维度为[M N 3]的张量，作为后续具有步态特征序列分析模型训练、测试和分类的输入数据：
此时获得的人体关节点二维/三维坐标矩阵已可以直接被用来进行简单的乘客通行行为/逻辑判别，但对于复杂的通行逻辑判断仍力有未逮，也存在部分呈坐姿的乘客(乘坐轮椅)，需要通过该乘客的肩宽，按照人体比例关系模型反推其身高，进行逻辑判断，因而需要运用机器学习/深度学习，优化***的识别效果。
S6，时间序列分析模型训练和检验：基于LSTM的循环神经网络来搭建时间序列分析模型的基础框架，实现端到端的运动对象步态检测以及动作识别；
本实施例采用如图5所示的基于LSTM(Long-Short Term Memory)的循环神经网络(RNN)来搭建时间序列分析模型的基础框架，实现端到端(End-to-End)的运动对象步态检测以及动作识别。以ReLU或者Softplus函数作为隐藏层神经元的激活函数，加快神经网络模型的收敛性；以Sigmoid函数作为输出层神经元的激活函数，实现相互独立不同属性的识别，以交叉熵(Cross Entropy)或者均方根误差(MSE)作为网络的激活函数，对网络参数进行迭代和优化。
y＝ReLU(x)＝max(0，x)
y＝Softplus(x)＝log(1+ex)
其中，a为神经网络的期望输出，y为神经网络的实际输出。
利用空域注意力子网络模型(Spatial Attention)和差分时域注意力子网络模型(Temporal Attention)给不同的关节点分配合适的重要性，以提高LSTM神经网络模型识别步态特征的性能。空域注意力和时域注意力的大小不提供参考，而是通过优化网络最终分类性能来自主学习注意力的大小。
S7，时间序列分析模型更新：当相机内、外参数发生变化、乘客通行行为控制策略变化导致视频标签发生变化或者训练集引入新的样本时，需要重新导入训练样本更新时间序列分析模型的内部参数。
S8，实时乘客通行行为检测和识别：提取实时上传的监控视频图像数据当前帧中的各通道人体关节点坐标矩阵，分别输入到训练好的时间序列分析模型中，依据分析模型的输出结果控制闸机的开合以及报警行为。
摄像头实时获取的视频序列并不能根据行为动作发生的位置预先进行时域分割，因此识别***不仅需要判断步态特征的类别，还需要定位行为动作发生的起止位置。对于目前普遍使用的扇门常闭模式进出站闸机而言，将闸机扇门的一次开合分别作为一个时间的开始和结束位置，可以有效降低对计算机性能的要求；对于监控识别要求更高的扇门常开模式进出站闸机而言，将每个人开始进入闸机通道时刻作为当前事件的起始位置和上一时刻的结束位置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实例的限制，上述实例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。
Claims (3)
1.基于双目相机行为检测的城市轨道交通闸机通行控制方法，其特征在于：包括如下步骤：
S1，相机闸机安装和监控通道标定：所述相机为双目相机，双目相机视角和有效检测距离参数至少满足1个闸机通道的实时监测和监控需求，所述有效检测距离为0.5～20m；
S2，相机内外参数标定及三维重建：通过建立相机像平面上的像素点与基于闸机的三维空间坐标中对应点的映射关系，标定相机内外参数，实现三维重建，提取图像深度信息，构建基于闸机坐标系下的深度图；
S21，求出相机相对于闸机坐标系的外参数矩阵，建立乘客与闸机的空间相对位置坐标关系；
S22，相机内部参数标定：所述相机采用内部参数矩阵为：
其中，f为待求的焦距变量；u0，v0为待求的图像平面中心；倾斜系数为0；纵横比为1；切向畸变和径向畸变系数为0；
S23，由三组相互正交的平行线计算出三个相互正交方向上的消失点，建立闸机参考坐标系下的三维模型，所述三维模型为：
vx，y，z＝(p1×q1)*(p2×q2)
π＝[avx bvy cvz 1]
其中，p1、q1、p2、q2分别为对应正交方向上平行线的4个点；a，b，c分别为三个正交方向上的参考长度；
S24，结合Harris角点检测方法人工选定坐标原点，重新建立相机的外参数矩阵，即实现三维重建；
S25，通过理想模型下两图像的视差计算空间点的坐标，即可求得像素点对应的深度信息，所述空间点的坐标为：
其中，xr，yr，xl，yl分别为两个相机像平面像素点的坐标；X，Y，Z为空间点的坐标位置(X，Y，Z)；f为相机焦距；
S3，乘客通行行为数据采集与预处理：对乘客视频数据进行预处理，并按通信逻辑视频流进行剪辑并标注属性，建立对应的属性集作为时间序列模型的期望输出参数，所述通行逻辑至少包括闸机关闭和闸机发出警报；
S4，采用背景差分算法将实时采集RGB图像与保存的背景RGB图像对应像素点的数值相减，并通过二值化去除冗余信息，提取运动区域：
Di(x,y)＝|fi(x，y)-B(x,y)|
其中，(x，y)表示像素点对应的空间坐标；fi(x,y)表示视频当前帧；B(x,y)表示保存的背景图像，通过HSV颜色空间分析，剪除阴影干扰；
S5，运动对象步态特征提取：利用数字图像处理技术中的中轴变换法提取视频每帧二值图中的人体骨架，依据人体比例关系模型对提取的骨架进行逐行扫描，将人体骨架和扫描线的交叉点设为关节点，连接所有关节点，并建立关节点参数矩阵作为时间序列分析模型的输入；所述关节点包括人体颈关节、肩关节、肘关节、腕关节、胸部共计8个关节点，各关节点的坐标矩阵为：
其中，
表示视频第i帧的二维人体关节坐标矩阵；
所述各个关节点的深度距离将人体棍状骨架模型扩展到三维空间并以矩阵形式表示为：
其中，
表示视频第i帧的三维人体关节坐标矩阵；
S6，时间序列分析模型训练和检验：基于LSTM的循环神经网络来搭建时间序列分析模型的基础框架，实现端到端的运动对象步态检测以及动作识别；
S7，时间序列分析模型更新：当相机内、外参数发生变化、乘客通行行为控制策略变化导致视频标签发生变化或者训练集引入新的样本时，需要重新导入训练样本更新时间序列分析模型的内部参数；
S8，实时乘客通行行为检测和识别：提取实时上传的监控视频图像数据当前帧中的各通道人体关节点坐标矩阵，分别输入到训练好的时间序列分析模型中，依据分析模型的输出结果控制闸机的开合以及报警行为。
2.根据权利要求1所述的基于双目相机行为检测的城市轨道交通闸机通行控制方法，其特征在于：所述步骤S1中，通过提高相机视角范围和核心处理器的运算性能，实现单组相机同时监控多组闸机通道。
3.根据权利要求1所述的基于双目相机行为检测的城市轨道交通闸机通行控制方法，其特征在于：所述步骤S6中进一步包括以ReLU或者Softplus函数作为隐藏层神经元的激活函数，加快神经网络模型的收敛性；以Sigmoid函数作为输出层神经元的激活函数，实现相互独立不同属性的识别，以交叉熵Cross Entropy或者均方根误差MSE作为网络的激活函数，对网络参数进行迭代和优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811501741.2A CN109657581B (zh) | 2018-12-07 | 2018-12-07 | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811501741.2A CN109657581B (zh) | 2018-12-07 | 2018-12-07 | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109657581A CN109657581A (zh) | 2019-04-19 |
| CN109657581B true CN109657581B (zh) | 2023-06-09 |
Family
ID=66113924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811501741.2A Active CN109657581B (zh) | 2018-12-07 | 2018-12-07 | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109657581B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210373A (zh) * | 2019-05-29 | 2019-09-06 | 中国民航大学 | 一种尾随行为检测的方法 |
| CN110827456B (zh) * | 2019-11-12 | 2022-01-28 | 苏州中科先进技术研究院有限公司 | 闸机出入口安全提示***和方法 |
| CN111539290B (zh) * | 2020-04-16 | 2023-10-20 | 咪咕文化科技有限公司 | 视频动作识别方法、装置、电子设备及存储介质 |
| CN111967358B (zh) * | 2020-08-05 | 2021-08-31 | 北京交通大学 | 一种基于注意力机制的神经网络步态识别方法 |
| CN113014870B (zh) * | 2021-02-20 | 2022-09-20 | 同济大学 | 一种基于乘客姿态快速估计的地铁闸机通行逃票识别方法 |
| CN113240829B (zh) * | 2021-02-24 | 2022-09-23 | 南京工程学院 | 一种基于机器视觉的闸机智能通行检测方法 |
| CN112950725A (zh) * | 2021-03-22 | 2021-06-11 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种监控相机参数标定方法及装置 |
| CN113781578B (zh) * | 2021-09-09 | 2024-05-28 | 南京康尼电子科技有限公司 | 结合目标检测与双目视觉的闸机通行行为识别与控制方法 |
| CN113925497B (zh) * | 2021-10-22 | 2023-09-15 | 吉林大学 | 一种基于双目视觉测量***的汽车乘员乘坐姿态提取方法 |
| CN114494455B (zh) * | 2022-01-07 | 2024-04-05 | 西北工业大学 | 一种大视角下的位移高精度测量方法 |
| CN115687046B (zh) * | 2022-10-27 | 2023-08-08 | 艾弗世(苏州)专用设备股份有限公司 | 一种基于智能视觉通行逻辑的仿真训练装置及方法 |
| CN116309699B (zh) * | 2023-02-01 | 2023-11-17 | 中国科学院自动化研究所 | 目标对象的连带反应程度的确定方法、装置及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102697508A (zh) * | 2012-04-23 | 2012-10-03 | 中国人民解放军国防科学技术大学 | 采用单目视觉的三维重建来进行步态识别的方法 |
| CN105869166A (zh) * | 2016-03-29 | 2016-08-17 | 北方工业大学 | 一种基于双目视觉的人体动作识别方法及*** |
| CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
| CN108909624A (zh) * | 2018-05-13 | 2018-11-30 | 西北工业大学 | 一种基于单目视觉的实时障碍物检测和定位方法 |
-
2018
- 2018-12-07 CN CN201811501741.2A patent/CN109657581B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102697508A (zh) * | 2012-04-23 | 2012-10-03 | 中国人民解放军国防科学技术大学 | 采用单目视觉的三维重建来进行步态识别的方法 |
| CN105869166A (zh) * | 2016-03-29 | 2016-08-17 | 北方工业大学 | 一种基于双目视觉的人体动作识别方法及*** |
| CN106156748A (zh) * | 2016-07-22 | 2016-11-23 | 浙江零跑科技有限公司 | 基于车载双目相机的交通场景参与者识别方法 |
| CN108909624A (zh) * | 2018-05-13 | 2018-11-30 | 西北工业大学 | 一种基于单目视觉的实时障碍物检测和定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109657581A (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657581B (zh) | 基于双目相机行为检测的城市轨道交通闸机通行控制方法 | |
| CN110175576B (zh) | 一种结合激光点云数据的行驶车辆视觉检测方法 | |
| Davari et al. | Intelligent diagnosis of incipient fault in power distribution lines based on corona detection in UV-visible videos | |
| CN108596055B (zh) | 一种复杂背景下高分辨遥感图像的机场目标检测方法 | |
| CN111553397B (zh) | 基于区域全卷积网络和自适应的跨域目标检测方法 | |
| CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
| CN111611874B (zh) | 基于ResNet和Canny的人脸口罩佩戴检测方法 | |
| KR20200071799A (ko) | 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법 | |
| CN104077577A (zh) | 一种基于卷积神经网络的商标检测方法 | |
| EP2798578A2 (en) | Clustering-based object classification | |
| CN105046206B (zh) | 基于视频中运动先验信息的行人检测方法及装置 | |
| CN110033431A (zh) | 钢桥表面锈蚀区域检测的非接触式检测装置及检测方法 | |
| CN109657580B (zh) | 一种城市轨道交通闸机通行控制方法 | |
| CN109359549A (zh) | 一种基于混合高斯和hog_lbp的行人检测方法 | |
| CN105809716A (zh) | 融合超像素与三维自组织背景减除法的前景提取方法 | |
| Choi et al. | Real-time power line detection network using visible light and infrared images | |
| CN109740486B (zh) | 一种对图像包含的人类数量进行识别的方法及*** | |
| Gu et al. | Thermal image colorization using Markov decision processes | |
| KR20200123324A (ko) | 연결 요소 분석 기법과 yolo 알고리즘을 이용한 돼지 겹침 객체 분리 방법 | |
| Khoshboresh-Masouleh et al. | Robust building footprint extraction from big multi-sensor data using deep competition network | |
| CN109766775A (zh) | 一种基于深度卷积神经网络的车辆检测*** | |
| CN116758421A (zh) | 一种基于弱监督学习的遥感图像有向目标检测方法 | |
| CN116824541A (zh) | 基于双通道的行人过街意向预测方法、模型及装置 | |
| CN114926456A (zh) | 一种半自动标注和改进深度学习的铁轨异物检测方法 | |
| Parsola et al. | Automated system for road extraction and traffic volume estimation for traffic jam detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |