CN110298278B - 一种基于人工智能的地下停车库行人车辆监测方法 - Google Patents

一种基于人工智能的地下停车库行人车辆监测方法 Download PDF

Info

Publication number
CN110298278B
CN110298278B CN201910535807.8A CN201910535807A CN110298278B CN 110298278 B CN110298278 B CN 110298278B CN 201910535807 A CN201910535807 A CN 201910535807A CN 110298278 B CN110298278 B CN 110298278B
Authority
CN
China
Prior art keywords
vehicle
pedestrian
owner
information
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910535807.8A
Other languages
English (en)
Other versions
CN110298278A (zh
Inventor
章东平
郑寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201910535807.8A priority Critical patent/CN110298278B/zh
Publication of CN110298278A publication Critical patent/CN110298278A/zh
Application granted granted Critical
Publication of CN110298278B publication Critical patent/CN110298278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种基于人工智能的地下停车库行人车辆监测方法，目前地下停车库还缺乏有效的人车检测和统一管理的平台***，并且本方法除了可以对车主和车辆通过人脸识别模块和车辆属性识别模块收集车主和所驾驶车辆属性的信息并进行一一对应标记联系，并且如果在停车中的某一时刻内，识别人脸验证不一致则进行人体姿态的检测识别出人体骨骼关键点信息，并通过人体骨骼关节点信息进行异常行为的检测和识别，可以有效识别出例如跌倒、打开车门进入车内等异常行为动作，可以有效保障车主的车辆和人身安全。

Description

一种基于人工智能的地下停车库行人车辆监测方法
技术领域
本发明涉及计算机视觉、模式识别、深度学***台开发等技术领域的管理***，特别是一种基于人工智能的地下车库行人车辆监测方法。
背景技术
随着智能视频监控逐渐成为智慧城市小区的一个新兴应用方向。其智能性在于不仅用摄像机代替人眼，而且用计算机来代替人、协助人，从而完成监视或控制任务并减轻人的负担。这样不但节省了大量的人力、物力和财力，更重要的是它能够及时发现监控场景中的异常状况来避免各类异常事件的发生。
智慧城市小区中的停车库是行人异常行为发生的高频地带。但目前智慧城市停车库缺少对行人和车辆进行统一管理和监测的平台和***。
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习。深度学习是一种数据驱动型模型，能够模拟人脑视觉机理自动地学习到数据各个层次的抽象特征，从而更好地反映数据的本质特征，使得检测识别行人的异常行为和车辆信息变得更加准确和高效。
发明内容
本发明的目的是提供一种基于人工智能的地下车库行人车辆监测方法，实时检测发生在车辆周围行人的异常行为，使得可以更好的地对该区域进行车辆出入管理、车辆防盗管理、人车信息管理。
本发明为达上述发明目的，具体技术方案如下：
一种基于人工智能的地下停车库行人车辆监测方法，其特征在于，包括如下步骤：
步骤一，监控摄像头实时采集停车库每个停车位的画面，如果有车辆停入编号为n的车位，则监控***会将画面传输到服务器，由服务器上的车牌识别模型获得该车位的车牌号码信息Vn。当车主下车时，服务器上的人脸识别算法和行人重识别算法将分别提取车主人脸特征Fn和人体外部特征P1，并将车主人脸特征Fn、行人特征P1、车主所开车辆的车牌信息Vn做好标记In，记为记录在服务器中。
步骤二，当车主停好车后，在移动设备上通过手机停车管理app使用“一键锁车”功能即可虚拟(即在app上)锁定车辆停放的位置，同时***开启车辆移动检测模型来判定监控摄像头实时采集的画面中车辆是否发生了移动。若车辆在车主并未在手机app上解锁“一键定位”功能的情况下发生了移动，监控***将会立即发送被盗警告信息到车主的手机停车管理***app上，以通知该车辆的车主。
步骤三，若车主停车后没有使用“一键锁车”功能，监控摄像头仍实时采集每个停车位的画面并传输到服务器上，通过行人重识别模型提取出一定范围内靠近停靠车辆行人的特征。如果该行人的特征不符合预留在服务器中该车辆对应的车主的外部特征，同时通过基于骨架的行为动作识别模型检测并识别出该行人做出了打开车门进入车辆的动作，则判定为异常动作。服务器发送被盗警告信息到车主的手机停车管理***app上，以通知该车辆的车主。
步骤四，在出入口闸机处，车主停好车后，将会在手机停车管理***app中生成相应的二维码。车主取车后，解锁虚拟锁定车辆功能并驾驶车辆到达出入口闸机后可凭此二维码在扫描仪上扫一扫即可通过出入口闸机。
进一步地，所述的基于人工智能的停车库行人车辆监测管理***，其特征在于：所述步骤一中，包括：
步骤一，在停车场安装覆盖全停车场的监控摄像头，监控摄像头实时传输每个停车位的图像传输到服务端。
步骤二，首先通过车牌识别算法识别进入停车位的车辆的车牌，车辆停入车位的画面输入到卷积神经网络以提取图像特征，接着将这些特征输入到长短时记忆循环神经网络中，然后经过CTC损失层得到车牌信息。其中，从每个时间步获得长短时记忆循环神经网络输出并产生预测的字母符号的概率值，然后将连续的重复字符去掉，以及删除空格等特殊的字符，最后合并成一个字符串输出，也就是我们的预测结果Vn。
步骤三，接着通过行人重识别算法识别行人特征，传输到服务器的车主下车画面通过ResNet-50作为卷积神经网络模型的网络产生1024个通道的特征图，生成的特征图利用512×3×3的卷积层来对行人特征进行转换，接着在特征图的每个位置利用9个目标框将原始图像像素转换成一个新的特征图和一个Soft-max分类器来预测每个目标框是否包含行人在内，同时还包括了一个线性回归器来调整目标框的位置。在非极大抑制过后仅保留128个调整后的边界框作为最终的区域，然后通过ResNet-50提取车主的行人特征P1。
步骤四，车主下车画面同时也通过Deep ID人脸识别算法，提取车主的人脸特征F1。
步骤五，检测出车主在画面中的区域后，使用Open pose算法得到车主骨架关节点的特征信息Jn1。
步骤六，将车牌预测结果V、车主的行人特征P1和车主骨架关节点的特征信息fn1，根据车位编号n做好一一对应的标记，记为In＝{Pn1，Fn1，Jn1,Vn}，并在服务器内进行保存，直到车辆驶出后清除。
进一步地，所述的基于人工智能的停车库行人车辆监测管理***，其特征在于：所述步骤三中，还包括：
监控摄像头实时传输每个停车位的每帧图像到服务端。当在某一时刻，有第s个人靠近编号为n且有停放车辆的停车位场景的画面通过行人重识别算法提取出该行人的行人特征Pns，并与该车的车主的行人特征Pn1进行余弦相似度比较，若小于设定的阈值0.7，同时通过人脸识别算法图区该行人的人脸特征Fns，通过两者特征余弦相似度的比较，若小于设定的阈值0.7，则判定与车主不是同一个人并且通过Open pose算法检测到骨架信息fns，基于人体骨架的行为动作识别算法判断是否该行人是否有打开车门和跌倒等异常行为动作。
进一步地，所述的基于人体骨架的行为动作识别算法网络，其特征在于：所述步骤三中，还包括：
步骤一，数据准备：收集地下停车库环境下的行人跌倒视频数据，大致为100个每个视频为150帧左右的单人连续跌倒动作视频，视频视角为地下停车库监控摄像头视角。收集地下停车库环境下的行人打开车门进入车辆的视频数据集，大致为100个每个视频为150帧的单人连续该动作视频，视频视角为地下停车库监控摄像头视角。
步骤二，数据预处理：将准备好的数据使用Open pose算法提取每个视频每一帧的人体骨架18个关节点(例如头部，颈部，肩部，手部等)的信息(x,y,z)，x为关节点在图像上的横坐标，y为关节点在图像上的纵坐标，轴心为图像左下角，z为关节点的置信值。对于一个batch的视频，用5维矩阵(N,C,T,V,M)来表示。N表示1个batch训练视频的数量，C代表关节的特征即(x,y,z)，T代表一个视频帧的数量，V代表关节的数量，这里是18个关节，M代表一帧中的人数，这里设置最高为2。最后对矩阵进行归一化处理。
步骤三，网络结构：根据空间性和时域性，以GCN网络和TCN网络为组合，构建空间时域图卷积网络。GCN网络即是对单帧画面下，关节点之间链接的边A为权值分别对各个节点特征信息进行卷积操作，关节点i的卷积公式如下：
Figure BDA0002100312310000031
Figure BDA0002100312310000041
Figure BDA0002100312310000042
N为相邻连接的关节点数量，I为单位矩阵，
Figure BDA0002100312310000043
为关节点i的度，
Figure BDA0002100312310000044
为关节点j的度。Xj为一帧画面下第j个关节点的特征信息(xj,yj,zj)，aggregate(Xi)为一帧画面下第i个关节点聚合信息特征。
公式可以简化为：
Figure BDA0002100312310000045
其中，这里的Λ＝∑(A+I)，邻接矩阵A和单位矩阵I为单帧骨骼的链接信息，则Λ是多帧骨骼链接信息模型，Jin是输入的人体骨骼的特征信息，Jout为关节点聚合边信息后的值。
TCN的操作为传统卷积操作，对经过GCN网络聚合关节点信息后Jout的矩阵为(N,C,T,V,M)，对其中的(C,V,T)使用O×W×1的卷积核，每次完成W行像素，1列像素的卷积，O为卷积核个数。
步骤四，模型训练：使用9个空间时域图卷积网络后，经过池化层和全连接层，最后使用soft-max损失函数进行模型训练，mini-batch为16，学习率为0.01，SGD学习算法，训练80个epoch。
步骤五，模型测试：将一段视频的关节点特征信息输入到网络当中，通过GCN网络对关节点信息聚合，再通过TCN进行时间卷积操作，最后经过池化层和全连接层，对关节点特征进行分类，获得分类的结果。
当获得的结果例如跌倒、打开车门进入车辆等异常行为动作时，则会发送提醒警告信息到车主的手机app上提醒车主。当识别出人体的动作行为有倾向于非法操作的行为例如打开车门进入车辆等则通过发出预警警报信息到车主手机app，提醒告知车主。
与现有技术相比，本发明的有益效果体现在：
本方法除了可以对车主和车辆通过人脸识别模块和车辆属性识别模块收集车主和所驾驶车辆属性的信息并进行一一对应标记联系，并且如果在停车中的某一时刻内，识别人脸验证不一致则进行人体姿态的检测识别出人体骨骼关键点信息，并通过人体骨骼关键点信息进行异常行为的检测和识别，可以有效识别出例如跌倒、打开车门进入车内等异常行为动作，有效保障车主的车辆和人身安全。
附图说明
图1是行人车辆监测框图；
图2是停车场信息采集***示意图；
图3是异常行为检测示意图；
图4是出入口管理***示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，本发明的基于人工智能的地下停车库行人车辆监测方法，包括如下步骤：
步骤一，监控摄像头实时采集停车库每个停车位的画面，如果有车辆停入编号为n的车位，则监控***会将画面传输到服务器，由服务器上的车牌识别模型获得该车位的车牌号码信息Vn。当车主下车时，服务器上的人脸识别算法和行人重识别算法将分别提取车主人脸特征Fn和人体外部特征P1，并将车主人脸特征Fn、行人特征P1、车主所开车辆的车牌信息Vn做好标记In，记为记录在服务器中。
步骤二，当车主停好车后，在移动设备上通过手机停车管理app使用“一键锁车”功能即可虚拟(即在app上)锁定车辆停放的位置，同时***开启车辆移动检测模型来判定监控摄像头实时采集的画面中车辆是否发生了移动。若车辆在车主并未在手机app上解锁“一键定位”功能的情况下发生了移动，监控***将会立即发送被盗警告信息到车主的手机停车管理***app上，以通知该车辆的车主。
步骤三，若车主停车后没有使用“一键锁车”功能，监控摄像头仍实时采集每个停车位的画面并传输到服务器上，通过行人重识别模型提取出一定范围内靠近停靠车辆行人的特征。如果该行人的特征不符合预留在服务器中该车辆对应的车主的外部特征，同时通过基于骨架的行为动作识别模型检测并识别出该行人做出了打开车门进入车辆的动作，则判定为异常动作。服务器发送被盗警告信息到车主的手机停车管理***app上，以通知该车辆的车主。
步骤四，在出入口闸机处，车主停好车后，将会在手机停车管理***app中生成相应的二维码。车主取车后，解锁虚拟锁定车辆功能并驾驶车辆到达出入口闸机后可凭此二维码在扫描仪上扫一扫即可通过出入口闸机。
所述步骤一中，包括：
步骤1.1，在停车场安装覆盖全停车场的监控摄像头，监控摄像头实时传输每个停车位的图像传输到服务端。
步骤1.2，首先通过车牌识别算法识别进入停车位的车辆的车牌，车辆停入车位的画面输入到卷积神经网络以提取图像特征，接着将这些特征输入到长短时记忆循环神经网络中，然后经过CTC损失层得到车牌信息。其中，从每个时间步获得长短时记忆循环神经网络输出并产生预测的字母符号的概率值，然后将连续的重复字符去掉，以及删除空格等特殊的字符，最后合并成一个字符串输出，也就是我们的预测结果Vn。
步骤1.3，接着通过行人重识别算法识别行人特征，传输到服务器的车主下车画面通过ResNet-50作为卷积神经网络模型的网络产生1024个通道的特征图，生成的特征图利用512×3×3的卷积层来对行人特征进行转换，接着在特征图的每个位置利用9个目标框将原始图像像素转换成一个新的特征图和一个Soft-max分类器来预测每个目标框是否包含行人在内，同时还包括了一个线性回归器来调整目标框的位置。在非极大抑制过后仅保留128个调整后的边界框作为最终的区域，然后通过ResNet-50提取车主的行人特征P1。
步骤1.4，车主下车画面同时也通过Deep ID人脸识别算法，提取车主的人脸特征F1。
步骤1.5，检测出车主在画面中的区域后，使用Open pose算法得到车主骨架关节点的特征信息Jn1。
步骤1.6，将车牌预测结果V、车主的行人特征P1和车主骨架关节点的特征信息fn1，根据车位编号n做好一一对应的标记，记为In＝{Pn1，Fn1，Jn1,Vn}，并在服务器内进行保存，直到车辆驶出后清除。
所述步骤三中，还包括：
监控摄像头实时传输每个停车位的每帧图像到服务端。当在某一时刻，有第s个人靠近编号为n且有停放车辆的停车位场景的画面通过行人重识别算法提取出该行人的行人特征Pns，并与该车的车主的行人特征Pn1进行余弦相似度比较，若小于设定的阈值0.7，同时通过人脸识别算法图区该行人的人脸特征Fns，通过两者特征余弦相似度的比较，若小于设定的阈值0.7，则判定与车主不是同一个人并且通过Open pose算法检测到骨架信息fns，基于人体骨架的行为动作识别算法判断是否该行人是否有打开车门和跌倒等异常行为动作。
所述步骤三中，还包括：
步骤3.1，数据准备：收集地下停车库环境下的行人跌倒视频数据，大致为100个每个视频为150帧左右的单人连续跌倒动作视频，视频视角为地下停车库监控摄像头视角。收集地下停车库环境下的行人打开车门进入车辆的视频数据集，大致为100个每个视频为150帧的单人连续该动作视频，视频视角为地下停车库监控摄像头视角。
步骤3.2，数据预处理：将准备好的数据使用Open pose算法提取每个视频每一帧的人体骨架18个关节点(例如头部，颈部，肩部，手部等)的信息(x,y,z)，x为关节点在图像上的横坐标，y为关节点在图像上的纵坐标，轴心为图像左下角，z为关节点的置信值。对于一个batch的视频，用5维矩阵(N,C,T,V,M)来表示。N表示1个batch训练视频的数量，C代表关节的特征即(x,y,z)，T代表一个视频帧的数量，V代表关节的数量，这里是18个关节，M代表一帧中的人数，这里设置最高为2。最后对矩阵进行归一化处理。
步骤3.3，网络结构：根据空间性和时域性，以GCN网络和TCN网络为组合，构建空间时域图卷积网络。GCN网络即是对单帧画面下，关节点之间链接的边A为权值分别对各个节点特征信息进行卷积操作，关节点i的卷积公式如下：
Figure BDA0002100312310000071
Figure BDA0002100312310000072
Figure BDA0002100312310000073
N为相邻连接的关节点数量，I为单位矩阵，
Figure BDA0002100312310000074
为关节点i的度，
Figure BDA0002100312310000075
为关节点j的度。Xj为一帧画面下第j个关节点的特征信息(xj,yj,zj)，aggregate(Xi)为一帧画面下第i个关节点聚合信息特征。
公式可以简化为：
Figure BDA0002100312310000076
其中，这里的Λ＝∑(A+I)，邻接矩阵A和单位矩阵I为单帧骨骼的链接信息，则Λ是多帧骨骼链接信息模型，Jin是输入的人体骨骼的特征信息，Jout为关节点聚合边信息后的值。
TCN的操作为传统卷积操作，对经过GCN网络聚合关节点信息后Jout的矩阵为(N,C,T,V,M)，对其中的(C,V,T)使用O×W×1的卷积核，每次完成W行像素，1列像素的卷积，O为卷积核个数。
步骤3.4，模型训练：使用9个空间时域图卷积网络后，经过池化层和全连接层，最后使用soft-max损失函数进行模型训练，mini-batch为16，学习率为0.01，SGD学习算法，训练80个epoch。
步骤3.5，模型测试：将一段视频的关节点特征信息输入到网络当中，通过GCN网络对关节点信息聚合，再通过TCN进行时间卷积操作，最后经过池化层和全连接层，对关节点特征进行分类，获得分类的结果。
当获得的结果例如跌倒、打开车门进入车辆等异常行为动作时，则会发送提醒警告信息到车主的手机app上提醒车主。当识别出人体的动作行为有倾向于非法操作的行为例如打开车门进入车辆等则通过发出预警警报信息到车主手机app，提醒告知车主。

Claims (1)

1.一种基于人工智能的地下停车库行人车辆监测方法，包括如下步骤：
步骤一，监控摄像头实时采集停车库每个停车位的画面，如果有车辆停入编号为n的车位，则监控***会将画面传输到服务器，由服务器上的车牌识别模型获得该车位的车牌号码信息Vn；当车主下车时，服务器上的人脸识别算法和行人重识别算法将分别提取车主人脸特征Fn和行人特征P1，并将车主人脸特征Fn、行人特征P1、车主所开车辆的车牌信息Vn做好标记In，记为记录在服务器中；
步骤二，当车主停好车后，在移动设备上通过手机停车管理app使用“一键锁车”功能即可虚拟锁定车辆停放的位置，同时***开启车辆移动检测模型来判定监控摄像头实时采集的画面中车辆是否发生了移动；若车辆在车主并未在手机app上解锁“一键定位”功能的情况下发生了移动，监控***将会立即发送被盗警告信息到车主的手机停车管理***app上，以通知该车辆的车主；
步骤三，若车主停车后没有使用“一键锁车”功能，监控摄像头仍实时采集每个停车位的画面并传输到服务器上，通过行人重识别模型提取出一定范围内靠近停靠车辆行人的特征；如果该行人的特征不符合预留在服务器中该车辆对应的车主的外部特征，同时通过基于骨架的行为动作识别模型检测并识别出该行人做出了打开车门进入车辆的动作，则判定为异常动作；服务器发送被盗警告信息到车主的手机停车管理***app上，以通知该车辆的车主；
步骤四，在出入口闸机处，车主停好车后，将会在手机停车管理***app中生成相应的二维码；车主取车后，解锁虚拟锁定车辆功能并驾驶车辆到达出入口闸机后可凭此二维码在扫描仪上扫一扫即可通过出入口闸机；
所述步骤一中，包括：
步骤1.1，在停车场安装覆盖全停车场的监控摄像头，监控摄像头实时传输每个停车位的图像传输到服务端；
步骤1.2，首先通过车牌识别算法识别进入停车位的车辆的车牌，车辆停入车位的画面输入到卷积神经网络以提取图像特征，接着将这些特征输入到长短时记忆循环神经网络中，然后经过CTC损失层得到车牌信息；其中，从每个时间步获得长短时记忆循环神经网络输出并产生预测的字母符号的概率值，然后将连续的重复字符去掉，以及删除空格特殊的字符，最后合并成一个字符串输出，也就是我们的预测结果Vn；
步骤1.3，接着通过行人重识别算法识别行人特征，传输到服务器的车主下车画面通过ResNet-50作为卷积神经网络模型的网络产生1024个通道的特征图，生成的特征图利用512×3×3的卷积层来对行人特征进行转换，接着在特征图的每个位置利用9个目标框将原始图像像素转换成一个新的特征图和一个Soft-max分类器来预测每个目标框是否包含行人在内，同时还包括了一个线性回归器来调整目标框的位置；在非极大抑制过后仅保留128个调整后的边界框作为最终的区域，然后通过ResNet-50提取车主的行人特征P1；
步骤1.4，车主下车画面同时也通过Deep ID人脸识别算法，提取车主的人脸特征F1；
步骤1.5，检测出车主在画面中的区域后，使用Open pose算法得到车主骨架关节点的特征信息Jn1；
步骤1.6，将车牌预测结果V、车主的行人特征P1和车主骨架关节点的特征信息fn1，根据车位编号n做好一一对应的标记，记为In＝{Pn1，Fn1，Jn1,Vn}，并在服务器内进行保存，直到车辆驶出后清除；
所述步骤三中，还包括：
监控摄像头实时传输每个停车位的每帧图像到服务端；当在某一时刻，有第s个人靠近编号为n且有停放车辆的停车位场景的画面通过行人重识别算法提取出该行人的行人特征Pns，并与该车的车主的行人特征Pn1进行余弦相似度比较，若小于设定的阈值0.7，同时通过人脸识别算法图区该行人的人脸特征Fns，通过两者特征余弦相似度的比较，若小于设定的阈值0.7，则判定与车主不是同一个人并且通过Open pose算法检测到骨架信息fns，基于人体骨架的行为动作识别算法判断是否该行人是否有打开车门和跌倒这样的异常行为动作；
所述步骤三中，还包括：
步骤3.1，数据准备：收集地下停车库环境下的行人跌倒视频数据，为100个每个视频为150帧的单人连续跌倒动作视频，视频视角为地下停车库监控摄像头视角；收集地下停车库环境下的行人打开车门进入车辆的视频数据集，为100个每个视频为150帧的单人连续该动作视频，视频视角为地下停车库监控摄像头视角；
步骤3.2，数据预处理：将准备好的数据使用Open pose算法提取每个视频每一帧的人体骨架18个关节点)的信息(x,y,z)，x为关节点在图像上的横坐标，y为关节点在图像上的纵坐标，轴心为图像左下角，z为关节点的置信值；对于一个batch的视频，用5维矩阵(N,C,T,V,M)来表示，N表示1个batch训练视频的数量，C代表关节的特征即(x,y,z)，T代表一个视频帧的数量，V代表关节的数量，这里是18个关节，M代表一帧中的人数，这里设置最高为2；最后对矩阵进行归一化处理；
步骤3.3，网络结构：根据空间性和时域性，以GCN网络和TCN网络为组合，构建空间时域图卷积网络；GCN网络即是对单帧画面下，关节点之间链接的边A为权值分别对各个节点特征信息进行卷积操作，关节点i的卷积公式如下：
Figure FDA0003009089130000031
Figure FDA0003009089130000032
Figure FDA0003009089130000033
N为相邻连接的关节点数量，I为单位矩阵，
Figure FDA0003009089130000034
为关节点i的度，
Figure FDA0003009089130000035
为关节点j的度；Xj为一帧画面下第j个关节点的特征信息(xj,yj,zj)，aggregate(Xi)为一帧画面下第i个关节点聚合信息特征；
公式简化为：
Figure FDA0003009089130000036
其中，这里的Λ＝∑(Α+I)，邻接矩阵A和单位矩阵I为单帧骨骼的链接信息，则Λ是多帧骨骼链接信息模型，Jin是输入的人体骨骼的特征信息，Jout为关节点聚合边信息后的值；
TCN的操作为传统卷积操作，对经过GCN网络聚合关节点信息后Jout的矩阵为(N,C,T,V,M)，对其中的(C,V,T)使用O×W×1的卷积核，每次完成W行像素，1列像素的卷积，O为卷积核个数；
步骤3.4，模型训练：使用9个空间时域图卷积网络后，经过池化层和全连接层，最后使用soft-max损失函数进行模型训练，mini-batch为16，学习率为0.01，SGD学习算法，训练80个epoch；
步骤3.5，模型测试：将一段视频的关节点特征信息输入到网络当中，通过GCN网络对关节点信息聚合，再通过TCN进行时间卷积操作，最后经过池化层和全连接层，对关节点特征进行分类，获得分类的结果；
当获得的结果为跌倒、打开车门进入车辆这样的异常行为动作时，则会发送提醒警告信息到车主的手机app上提醒车主；当识别出人体的动作行为有倾向于非法操作的行为则通过发出预警警报信息到车主手机app，提醒告知车主。
CN201910535807.8A 2019-06-19 2019-06-19 一种基于人工智能的地下停车库行人车辆监测方法 Active CN110298278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910535807.8A CN110298278B (zh) 2019-06-19 2019-06-19 一种基于人工智能的地下停车库行人车辆监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910535807.8A CN110298278B (zh) 2019-06-19 2019-06-19 一种基于人工智能的地下停车库行人车辆监测方法

Publications (2)

Publication Number Publication Date
CN110298278A CN110298278A (zh) 2019-10-01
CN110298278B true CN110298278B (zh) 2021-06-04

Family

ID=68028304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910535807.8A Active CN110298278B (zh) 2019-06-19 2019-06-19 一种基于人工智能的地下停车库行人车辆监测方法

Country Status (1)

Country Link
CN (1) CN110298278B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277795A (zh) * 2020-01-15 2020-06-12 重庆特斯联智慧科技股份有限公司 一种基于人工智能的停车场监控方法和***
US11537852B2 (en) * 2020-02-13 2022-12-27 International Business Machines Corporation Evolving graph convolutional networks for dynamic graphs
CN111436944B (zh) * 2020-04-20 2021-09-28 电子科技大学 一种基于智能移动终端的跌倒检测方法
CN111627218A (zh) * 2020-06-02 2020-09-04 重庆智者炎麒科技有限公司 一种通过图像增强进行夜间车牌识别的方法
CN111695501B (zh) * 2020-06-11 2021-08-10 青岛大学 一种基于操作***内核调用数据的设备软故障检测方法
CN112687108B (zh) * 2020-06-28 2022-08-09 浙江大华技术股份有限公司 人车匹配的检测方法、检测装置、拍摄装置及存储介质
CN112052850B (zh) * 2020-09-03 2024-05-10 平安科技（深圳）有限公司 车牌识别方法、装置、电子设备及存储介质
CN112183299B (zh) * 2020-09-23 2024-02-09 成都佳华物链云科技有限公司 行人属性预测方法、装置、电子设备及存储介质
CN114511870A (zh) * 2020-10-27 2022-05-17 天津科技大学 一种结合图卷积神经网络的行人属性信息提取与重识别方法
US20220156576A1 (en) * 2020-11-13 2022-05-19 Amir RASOULI Methods and systems for predicting dynamic object behavior
CN112949417A (zh) * 2021-02-05 2021-06-11 杭州萤石软件有限公司 一种摔倒行为识别方法、设备及***
CN113326834B (zh) * 2021-08-04 2021-10-15 湖南乐泊科技有限公司 基于视频追踪的挪车方法、***及存储介质
CN114120561A (zh) * 2021-11-09 2022-03-01 中国第一汽车股份有限公司 一种提醒方法、装置、设备及存储介质
CN115862241B (zh) * 2023-03-03 2023-05-12 江苏安能科技有限公司 一种充电桩区域偷盗监测方法
CN116704448B (zh) * 2023-08-09 2023-10-24 山东字节信息科技有限公司 多摄像头的行人识别方法及识别***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968873B (zh) * 2012-11-29 2015-01-07 深圳市捷顺科技实业股份有限公司 一种停车场预警***
CN203025884U (zh) * 2012-11-29 2013-06-26 深圳市捷顺科技实业股份有限公司 一种停车场预警***
WO2014172320A1 (en) * 2013-04-15 2014-10-23 Flextronics Ap, Llc Vehicle location-based home automation triggers
CN106710291B (zh) * 2015-11-17 2020-11-06 腾讯科技（深圳）有限公司 停车场的停车位获取方法及装置
CN108805008A (zh) * 2018-04-19 2018-11-13 江苏理工学院 一种基于深度学习的社区车辆安保***
CN108830213A (zh) * 2018-06-12 2018-11-16 北京理工大学 基于深度学习的车牌检测与识别方法和装置
CN109101915B (zh) * 2018-08-01 2021-04-27 中国计量大学 基于深度学习的人脸与行人及属性识别网络结构设计方法
CN208969842U (zh) * 2018-09-06 2019-06-11 恒大智慧科技有限公司 停车场防盗管理***
CN109686109B (zh) * 2019-01-02 2021-08-10 江苏警官学院 一种基于人工智能的停车场安全监控管理***及方法

Also Published As

Publication number Publication date
CN110298278A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298278B (zh) 一种基于人工智能的地下停车库行人车辆监测方法
CN110119676B (zh) 一种基于神经网络的驾驶员疲劳检测方法
CN109934176B (zh) 行人识别***、识别方法及计算机可读存储介质
US10223597B2 (en) Method and system for calculating passenger crowdedness degree
CN106203274B (zh) 一种视频监控中行人实时检测***及方法
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN106372576A (zh) 一种基于深度学习的智能室内入侵检测方法及***
CN107977646B (zh) 一种隔栏递物检测方法
CN104778453B (zh) 一种基于红外行人亮度统计特征的夜间行人检测方法
CN109902628B (zh) 一种基于视觉物联网的图书馆座位管理***
CN106803301A (zh) 一种基于深度学习的人脸识别门禁方法及***
CN109190475A (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN108805008A (zh) 一种基于深度学习的社区车辆安保***
CN109657581A (zh) 基于双目相机行为检测的城市轨道交通闸机通行控制方法
CN107220603A (zh) 基于深度学习的车辆检测方法及装置
CN107230267A (zh) 基于人脸识别算法的幼儿园智能签到方法
CN107292933B (zh) 一种基于bp神经网络的车辆颜色识别方法
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN104159088B (zh) 一种远程智能车辆监控***及方法
KR101337554B1 (ko) 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법
CN113569766B (zh) 一种面向无人机巡逻的行人异常行为检测方法
CN111950499A (zh) 一种检测车载人员统计信息的方法
CN115620471A (zh) 一种基于大数据筛查的图像识别安防***
CN114783054B (zh) 一种基于无线和视频特征融合的步态识别方法
CN115170059A (zh) 户外工地智能安全监测***及工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant