CN110956111A - 人工智能cnn、lstm神经网络步态识别*** - Google Patents

人工智能cnn、lstm神经网络步态识别*** Download PDF

Info

Publication number
CN110956111A
CN110956111A CN201911161886.7A CN201911161886A CN110956111A CN 110956111 A CN110956111 A CN 110956111A CN 201911161886 A CN201911161886 A CN 201911161886A CN 110956111 A CN110956111 A CN 110956111A
Authority
CN
China
Prior art keywords
gait
formula
neural network
layer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911161886.7A
Other languages
English (en)
Inventor
詹志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Shanchi Numerical Control System Integration Co ltd
Original Assignee
Suzhou Shanchi Numerical Control System Integration Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Shanchi Numerical Control System Integration Co ltd filed Critical Suzhou Shanchi Numerical Control System Integration Co ltd
Priority to CN201911161886.7A priority Critical patent/CN110956111A/zh
Publication of CN110956111A publication Critical patent/CN110956111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人工智能CNN、LSTM神经网络步态识别***，包括拍摄终端(100)、服务器(200)、卷积神经网络(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)、与云数据库步态黑名单对比分析(700)、确定目标人物身份(800)、本地数据库模块(900)。本发明通过人工智能CNN、LSTM神经网络步态识别***用拍摄终端采集的人脸特征、语音特征、步态特征及行为特征信息的视频流进行特征提取，进而对特征信息进行步态特征相关的技术处理，包括打架、偷盗、老人摔倒、聚众事件、入侵、蒙面等，实现拍摄终端周边监测范围内全天候24小时不间断监控，用户可实现信息共享，提高信息资源利用率，为维护社会治安稳定加大安全保障。

Description

人工智能CNN、LSTM神经网络步态识别***
技术领域
本发明涉及智能安防预警领域，具体涉及一种用于安防维稳的人工智能CNN、LSTM神经网络步态识别***。
背景技术
人工智能CNN、LSTM神经网络步态识别***是将先进的拍摄终端技术、中央处理器CPU、图像处理器GPU、神经网络处理器NPU、异构/可重构处理器技术、卷积神经网络技术、长短时记忆神经网络技术、AI计算机预警处理技术、AI人工智能预警操作技术、风险因素采集技术、风险因素识别技术、大数据分析技术、云计算技术、云存储技术、云数据库技术等有效的集成应用于整个人工智能CNN、LSTM神经网络步态识别***，而建立的一种在大范围、全方位发挥作用的，实时、准确、高效的综合智能预警***。
随着祖国西部边疆维稳的措施常态化，使边疆长期保持一个稳定的局面，保证经济能够实现快速发展，人工智能CNN、LSTM神经网络步态识别***为从根本上解决影响长治久安的深层次问题打下良好基础。
发明内容
本发明是为了克服现有安防***中存在不自动识别步态行为、监控措施有漏洞、防范不及时等问题，提出一种人工智能CNN、LSTM神经网络步态识别***，通过拍摄终端对风险因素源头进行布控，实时采集风险源因素的步态信息，进行步态检测、步态目标跟踪、特征图谱信号预处理、步态特征提取、行为匹配与识别，把提取的步态特征数据与数据库中存储的步态特征手写体模板进行搜索对比，根据相似程度，对身份信息进行判断，设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。
为实现上述使用人工智能CNN、LSTM神经网络步态识别***对风险因素源头进行步态识别信息的采集、步态检测、步态目标跟踪、步态信号预处理、步态特征提取、行为匹配与识别，再进行分级预警的目的，本发明专利提供如下技术方案：一种人工智能CNN、LSTM神经网络步态识别***，包括拍摄终端(100)、服务器(200)、卷积神经网络(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)、与云数据库步态黑名单对比分析(700)、确定目标人物身份(800)、本地数据库模块(900)本发明通过人工智能CNN、LSTM神经网络步态识别***对风险因素进行采集、对比分析、存储、分级报警、应对防控，实现对拍摄终端周边布控点进行全天候24小时监控，用户可实现信息共享，提高信息资源利用率，为维护边疆稳定加大安全保障。
本发明提供一种人工智能CNN、LSTM神经网络步态识别***包括，拍摄终端(100)用于采集含有人脸特征、语音特征、行为特征及步态特征信息的视频流，并自动在图像中检测和跟踪人脸、语音、行为和步态特征的信息，进而对检测到的人脸特征、语音特征、行为特征及步态特征信息进行一系列与行为相关的技术处理，包括人脸识别、语音识别、行为特征信息识别及步态特征信息识别(包括打架、盗窃、老人摔倒、聚众事件、入侵、蒙面等等)，并通过网络将图像序列发送至服务器(200)，所述网络包括局域网、Interne或无线网络。
步态信号采用网络传输：包括局域网、Interne或无线网络。所述网络传输用于拍摄终端向服务器发送动态信号序列。
服务器(200)包括高性能中央处理器CPU、图像处理器GPU、可编程逻辑门阵列FPGA、神经网络处理器NPU、异构/可重构处理器、卷积神经网络模块(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)模块、与云数据库动态黑名单对比分析(700)模块、确定目标人物身份(800)模块、本地数据库模块(900)，所述服务器(200)用于为网络***中客户端提供各种高性能计算的服务，服务器在人工智能预警操作***的控制下，将与其相连的网络视频服务器、程控交换机、AI云计算服务器、AI数据库服务器、GPU云服务器、Web服务器、通讯服务器、显示器、混合矩阵、路由器、调制解调器相连接，为远程监控客户端提供集中计算、信息发布及数据管理的服务。
卷积神经网络(300)包括输入层、硬连线层H1、卷积层C2、下采样层S3、卷积层C4、下采样层S5、卷积层C6、Dropout层、输入长短时记忆神经网络，卷积神经网络通过3D卷积核去提取视频数据的时间和空间特征，3D特征提取器在空间和时间维度上的操作，可以捕捉视频流的运动信息，3D卷积特征提取器构造了一个3D卷积神经网络架构，这个架构可以从连续视频帧中产生多通道的信息，然后在每一个通道都分离地进行卷积和下采样操作，最后将所有通道的信息组合起来得到最终的特征描述，通过计算高层运动特征得到辅助输出来增强模型，在Trecvid数据集中测试，并和一些基准方法进行比较，为了应对不同环境的使用，综合多个不同的CNN架构去综合判断识别结果，3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核去捕捉时间和空间维度上的运动特征信息，卷积层中每个3D卷积核的权值都是一样的，也就是共享权值，一个卷积核只能提取一种运动特征，多种卷积核提取多种运动特征，每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40，首先将预处理后的连续7帧，每帧大小是60×40的序列输入卷积神经网络进行训练，更新卷积神经网络各层权值，对卷积神经网络卷积层C2进行初始化操作，首先对卷积层和输出层的卷积核和权重进行高斯分布随机初始化，均值设为0，方差设为0.001，对偏置进行全0初始化，再对卷积神经网络进行训练。
长短时记忆神经网络(400)LSTM记忆单元包括遗忘门、输入门、输出门，LSTM用两个门来控制单元状态c的内容，一个是遗忘门，它决定了上一时刻的单元状态ct-1有多少保留到当前时刻ct，t-1时刻的输入ht-1和xt经过一个线性变换+sigmoid激活以后输出ft，ft再与ct-1进行相乘得到一个中间结果，另一个是输入门，它决定了当前时刻网络的输入xt有多少保存到单元状态ct，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出lt，同时ht-1和xt经过另一个线性变换+tanh激活以后，与lt相乘得到一个中间结果，这个中间结果和上一步的中间结果相加得到ct，所谓输出门，LSTM用输出门来控制单元状态ct有多少输出到LSTM的当前输出值ht，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出ot，ot与经过tanh的ct相乘得到ht，这里c、x、h都是向量，LSTM记忆单元时间序列数据包括步态特征模型、手写体识别、序列生成、行为分析，这里的序列指的是时间向量序列，假设时间序列为：
X{x1，x2，...，xN}
时间序列模型为：
Figure BSA0000195508980000031
将卷积神经网络Dropout层长度为128的向量序列的输出值输入到长短时记忆神经网络运算得到一个输出，输出向量经过softmax函数进行转换，输出行为分类标签向量，看是消极行为还是积极行为。
人工智能预警操作***(500)基于Linux操作***架构的基础上开发的AI算法程序，该***包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化信息网络平台***，用于管理和控制计算机硬件、软件及数据资源的计算机运行程序，用于各级人工智能预警***与互联网+分布式预警警亭沟通的接口，用于云计算、云存储、云数据库和人工智能预警***、互联网+分布式预警警亭及其他软件沟通的接口，用于多维人机物协同互操作***与移动设备和智能电视的通讯接口，用于人机界面为其它应用软件提供支持，包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化网络信息平台***、智能物联与风险因素数据采集***、风险因素管理***，人工智能预警操作***(500)子***包括步态识别***、机器视觉***、执行器***、认知行为***，文件***、进程管理、进程间通讯、内存管理、网络通讯、安全机制、驱动程序、用户界面。
云计算(600)基于开源Hadoop架构进行设计，利用集群优势进行高速运算和存储，云计算(600)包括基础设施即服务、平台即服务、软件即服务，用于计算分布式计算机上的风险因素识别模块、风险因素推理模块、风险因素评估模块、通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大***经搜寻与海量的数据信息进行对比分析，分级推理、预警值评估，之后再将处理结果回传给用户并进行云存储。
与云数据库步态黑名单对比分析(700)模块，所述云数据库包括原始步态信息数据库、原始图像特征信息数据库、实时风险因素采集图像信息数据库、实时风险因素采集步态信息数据库、风险因素识别数据库、风险因素推理数据库、风险因素评估数据库、风险因素应对数据库、风险因素管理评价数据库、实时判断依据数据库、判断规则数据库和事故实例数据库，所述云数据库用于云计算(600)***的集群应用，将分布式***文件通过应用软件集合起来协同工作，为用户提供数据存储和业务访问的工作，通过设置在线数据存储模块，存储模块内储存有人脸图像黑名单、步态特征信息黑名单、生物特征信息黑名单和语音信息黑名单，将采集的人脸图像、动态特征信息、步态特征信息、生物特征信息和语音信息与存储模块内的人脸图像黑名单、动态特征信息黑名单、步态特征信息黑名单、生物特征信息黑名单和语音信息黑名单进行对比，如果相似度达到预设的预警值，则预警***及时将该信息生成预警提示信息进行风险因素的推理、评估、生成预警级别报警信息、反馈给上一级预警***进行风险管理评价。
确定目标人物身份(800)模块用于处理与云数据库步态黑名单对比分析(700)生成的预警提示信息、预警值评估、生成预警级别报警信息、生成预警信号反馈给上一级预警***的信息，并根据云计算(600)通过与云数据库步态黑名单对比分析(700)传送的数据进行实时信息更新，用于存储所述人工智能预警***(500)对云数据库信息查阅所生成的信息数据。
本地数据库模块(900)用于存储本级人工智能预警操作***所生成的预警信息，用于存储向上一级人工智能预警操作***发送的信息及反馈信息，用于存储向云计算发送的信息及反馈信息。
优选方式，所述云数据库***包括有步态识别黑名单。
优选方式，所述网络包括局域网、Internet或无线网络。
优选方式，所述卷积神经网络激活函数为ReLU激活函数。
优选方式，所述卷积神经网络损失函数为交叉熵损失函数。
优选方式，所述拍摄终端为AI拍摄终端。
优选方式，所述云计算是基于开源Hadoop架构进行设计。
优选方式，所述云数据库：通过在线数据存储模块，在线数据存储模块基于开源Hadoop架构进行设计。
优选方式，所述云数据库分为原始步态信息数据库、原始图像特征信息数据库、实时风险因素采集图像信息数据库、实时风险因素采集步态信息数据库、风险因素识别数据库、风险因素推理数据库、风险因素评估数据库、风险因素应对数据库、风险因素管理评价数据库、实时判断依据数据库、判断规则数据库和事故实例数据库。
优选方式，所述人工智能预警操作***基于Linux操作***架构的基础上开发的AI算法程序。
优选方式，所述步态特征信息包括采集的特征图谱信息。
优选方式，所述原始步态特征信息包括存储模块储存的步态黑名单。
优选方式，所述服务器700包括高性能中央处理器CPU、图像处理器GPU、可编程逻辑门阵列FPGA、神经网络处理器NPU、异构/可重构处理器。
优选方式，所述卷积层、池化层为特征提取，所述全连接层为分类识别，激活函数ReLU为正则损失。
附图说明
图1为人工智能CNN、LSTM神经网络步态识别***结构框图：100、拍摄终端；200、服务器；300、卷积神经网络；400、长短时记忆神经网络；500、人工智能预警操作***；600、云计算；700、与云数据库步态黑名单对比分析；800、确定目标人物身份；900、本地数据库。
图2为卷积神经网络结构示意图：输入层、硬连线层H1、卷积层C2、下采样层S3、卷积层C4、下采样层S5、卷积层C6、Dropout层。
图3为长短时记忆神经网络结构示意图。
具体实施方式
下面结合说明书附图对本发明的技术方案进行清楚、完整地描述具体实施方式。
本发明提供一种人工智能CNN、LSTM神经网络步态识别***，如图1所示，拍摄终端(100)用于采集含有人脸特征、语音特征、行为特征及步态特征信息的视频流，并自动在图像中检测和跟踪人脸、语音、行为、步态特征的信息，进而对检测到的人脸特征、语音特征、行为特征及步态特征信息进行一系列与行为相关的技术处理，包括人脸识别、语音识别、行为特征识别及步态特征信息识别(包括打架、盗窃、老人摔倒、聚众事件、入侵、蒙面等等)，并通过网络将图像序列发送至服务器(200)，所述网络包括局域网、Interne或无线网络，整体***结构如图1所示。
服务器(200)包括高性能中央处理器CPU、图像处理器GPU、可编程逻辑门阵列FPGA、神经网络处理器NPU、异构/可重构处理器、卷积神经网络(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)模块、与云数据库步态黑名单对比分析(700)模块、确定目标人物身份(800)模块、本地数据库模块(900)，所述服务器(200)用于为网络***中客户端提供各种高性能计算的服务，服务器在人工智能预警操作***的控制下，将与其相连的网络视频服务器、程控交换机、AI云计算服务器、AI数据库服务器、GPU云处理器、NPU神经网络云处理器、异构/可重构云处理器、Web服务器、通讯服务器、显示器、混合矩阵、路由器、调制解调器相连接，为远程监控客户端提供集中计算、信息发布及数据管理的服务，所述神经网络处理器NPU用于完成卷积神经网络、长短时记忆神经网络的运算过程，所述异构/可重构处理器用于CPU、GPU、NPU之间协同计算，彼此加速，一起同步工作。
卷积神经网络(300)包括输入层、硬连线层H1、卷积层C2、下采样层S3、卷积层C4、下采样层S5、卷积层C6、Dropout层、输入长短时记忆神经网络，卷积神经网络通过3D卷积核去提取步态视频数据的空间信息和频率信息，再对步态图像进行预处理，包括人体步态运动背景建模、运动目标分割、二值化处理、形态学消噪处理、步态空间特征提取、步态图像频率特征提取和步态特征的融合等步骤，所述背景建模是对步态前景和背景进行分割，实现对运动物体的跟踪，本方法采用视频帧差法进行背景建模，假设步态视频单帧图像的序列为{Ii(x，y)}，i＝1，2，...，N，(x，y)表示步态图像的像素坐标，i表示步态图像帧的序数，N表示步态图像序列总帧数，视频帧差公式如下所示；
Figure BSA0000195508980000061
其中，d＝|Ii+1(x，y)-Ii(x，y)|，T为阈值；
所述运动目标分割是提取背景图像后，需要将人体运行图像从背景中分割出来，由于时域差分法对人体区域和背景差别不大时难以准确将运动目标分割，本方法采用改进时域差分法进行人体运动目标分割，改进时域差分法公式如下所示；
Figure BSA0000195508980000062
其中B表示背景图像在点(x，y)处的像素值，I表示当前帧在点(x，y)处的像素值，若B和I在(x，y)处的像素值相等，公式值则为零；
所述图像二值化处理是采用二值化方法对分割出来的人体运动图像处理，消除步态图像中含有一些小的噪声区域，二值化过程公式如下所示；
Figure BSA0000195508980000063
所述形态学消噪处理是经过背景消除和二值化处理后，对步态图像中影响步态识别的噪声和小洞，为了避免影响识别效果，采用二值数学形态学滤除噪声和填充小孔，图像经过二值数学形态学处理后，较大噪声区域仍然不能完全消除，对区域检测后的图像进行归一化，使步态图像高度、宽度统一；
所述步态空间特征提取是对归一化后步态图像采用极坐标系对其空间特征进行描述，在切割线上任取一点(P，θ)，若该点位于人体区域内，切割函数值为1，反之为0，切割函数的公式如下所示；
Figure BSA0000195508980000071
假设有m条切割线，每条切割线上有n个点，那么步态空间特征矩阵为：
Figure BSA0000195508980000072
所述步态图像频率特征提取，利用频率特征对步态特征进行补充，采用傅里叶变换提取步态图像的频率特征，公式如下所示；
Figure BSA0000195508980000073
其中，k表示频率，fp(θj)表示切割向量上的点，傅里叶变换的步态图像频率特征矩阵为：
Figure BSA0000195508980000074
所述步态特征的融合按照频率大小，对其进行升序排序，获得同一频率下所有切割向量的分量，从而得到该频率下的步态特征，在同一频率下，按照切割曲线极径由小到大的顺序进行提取，公式如下所示；
Figure BSA0000195508980000083
其中，pi表示极径大小，从上面公式可知，每一个步骤特征向量vk同时包含同一频率的特征和不同区域的步态特征，分别对步态空间与频率特征进行描述，步态特征融合后包含(n+k)个特征向量，特征向量间相互独立，能够对每一个特征向量单独进行识别；
所述验证算法是同单一空间特征和频率特征提取方法做对比实验，算法性能评价指标为：正确分类率CCR和累计匹配值CMS，它们分别定义公式如下所示；
Figure BSA0000195508980000081
Figure BSA0000195508980000082
其中，Rrank表示阶次为rank时，步态图像被正确识别的样本个数，N表示测试样本数，Nc表示被正确识别的样本个数，3D特征提取器在空间和时间维度上的操作，可以捕捉视频流的运动信息，构造了一个3D卷积神经网络架构，这个架构可以从连续视频帧中产生多通道的信息，然后在每一个通道都分离地进行卷积和下采样操作，最后将所有通道的信息组合起来得到最终的特征描述，通过计算高层运动特征得到辅助输出来增强模型，在Trecvid数据集中测试，并和一些基准方法进行比较，为了应对不同环境的使用，综合多个不同的CNN架构去综合判断识别结果，3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核去捕捉时间和空间维度上的运动特征信息，卷积层中每个3D卷积核的权值都是一样的，也就是共享权值，一个卷积核只能提取一种运动特征，多种卷积核提取多种运动特征，每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40，首先将预处理后的连续7帧，每帧大小是60×40的序列输入卷积神经网络进行训练，更新卷积神经网络各层权值，对卷积神经网络卷积层C2进行初始化操作，首先对卷积层和输出层的卷积核和权重进行高斯分布随机初始化，均值设为0，方差设为0.001，对偏置进行全0初始化，再对卷积神经网络进行训练，步骤如下：
a)输入层：输入连续7帧，每帧大小60×40；
b)硬连线层H1：H1层用来生成多通道信息，被用来编码先验知识，该层对输入层的每一帧提取五个通道的信息，分别是：灰度值、x方向的梯度、y方向的梯度，x方向的光流、y方向的光流，其中前面三个值对每帧都计算，x和y方向的光流需要两个连续帧才能计算，由于输入层是7帧，所以H1的特征图数量是7(灰度值)+7(x方向的梯度)+7(y方向的梯度)+6(x方向的光流)+6(y方向的光流)＝33，每个特征图大小依然是60×40；
c)卷积层C2：C2层是3D卷积层，3D卷积核大小是7×7×3，其中7×7表示在空间上的大小，3是时间维的长度，C2层对H1层的五个通道的每一个通道分别进行卷积，特征图数量是(7-3+1)×3+(6-3+1)×2＝5×3+4×2＝23，乘以3表示灰度、x和y方向的梯度这三个通道，乘以2表示x和y方向的光流，采用2个不同的卷积核，这样C2层有两组特征图，每组都包含23个特征图，即C2层总的特征图数量是23×2，每个特征图的大小是(60-7+1)×(40-7+1)＝54×34，C2层的可训练参数是(7×7×3×5+5)×2＝740×2＝1480个，其中的乘以5表示5个通道的信息，加上5表示偏置项，乘以2
表示有2个不同的卷积核，3D卷积层深度为1的卷积计算方法，公式如下所示：
Figure BSA0000195508980000091
上式一中xi，j表示图像的第i行第j列元素，wm.n表示第m行第n列权重，wb表示过滤器的偏置项，αi，j表示特征图谱的第i行第j列元素，f表示relu激活函数；
当步长为2时，特征图谱就变成2×2了，计算公式如下所示：
W2＝(W1-F+2P)/S+1 式二
H2＝(H1-F+2P)/S+1 式三
上式二、三中W2表示卷积后特征图谱的宽度，W1表示卷积前图像的宽度，F表示过滤器的宽度，P表示零填充数量，S表示步长，H2表示卷积后的特征图谱的高度，H1表示卷积前图像的宽度，深度大于1的卷积计算方式，公式如下所示：
Figure BSA0000195508980000092
上式四中D表示深度，F表示过滤器的大小(宽度或高度，两者相同)，wd，m，n表示过滤器的第d层第m行第n列权重，αd，i，j表示图像的第d层第i行第j列像素，其它符号含义和式一公式是相同的；
d)下采样层S3：采用最大池化方法，采样窗口是2×2，所以每个特征图大小是(54/2)×(34/2)＝27×17，特征图数量等于上一层数量依然是23×2，其一般表示形式，公式如下所示：
Figure BSA0000195508980000101
式五中ai，j表示特征图谱的第i行第j列元素，b为偏差量，K为特征图的通道数，f、s0和p是卷积层参数，对应卷积核大小、卷积步长和填充层数，特殊地，当卷积核是大小f＝1，步长s0＝1且不包含填充的单位卷积核时，卷积层内的交叉相关计算等价于矩阵乘法，步长s0、像素(i，j)的含义与卷积层相同，p是预指定参数，当p＝1时，当p→∞时，Lp池化在区域内取最大值，称为最大池化，以损失特征图尺寸为代价保留图像的背景和纹理信息；
e)卷积层C4：C4层是3D卷积层，卷积核大小是7×6×3，其中7×6表示在空间上的大小，3是时间维，特征图数量是(5-3+1)×3+(4-3+1)×2＝3×3+2×2＝13，乘以3表示灰度值、x和y方向的梯度这三个通道，乘以2表示x和y方向的光流，采用6个不同的卷积核，这样C2层有6组特征图，每组都包含6个特征图，即本层总的特征图数量是13×6＝78，每个特征图的大小是(27-7+1)×(17-6+1)＝21×12，可训练参数有(7×6×3×5+5)×6＝3810个，C4计算公式与C2公式相同；
f)下采样层S5：S5层下采样层，采用最大池化方法，采样窗口是3×3，所以每个特征图大小是(21/3)×(12/3)＝7×4，特征图数量等于上一层数量依然是13×6＝78，C6层是2D卷积层，卷积核大小是7×4，特征图数量是128，特征图大小是1×1，每一个特征图都与S5层的78个特征图相连接，可训练参数有(4×7×128+128)×(13×6)＝289536个，S3计算公式与S5计算公式相同；
g)卷积层C6：这一层只在空间维度上面卷积，使用的核为7×4，然后输出的特征图谱就减小到1×1的大小，其包含128个特征图谱，每个特征图谱与S5层中所有78(13×6)个特征图谱全连接，这样每个特征图谱就是1×1，也就是一个值了，而这个值就是最终的特征向量共128维，C6计算公式与C2公式相同；
h)Dropout层：随机地为网络中的神经元赋值零权重，由于选择了0.5的比率，则50％的神经元将会是零权重，通过这种操作，网络对数据的微小变化的响应就不那么敏感了，因此，它能够进一步提高对不可见数据处理的准确性，Dropout层的输出仍然是一个1×128的矩阵，再将长度为128的向量输出值输入到长短时记忆神经网络(400)进行时间序列行为分析运算；
i)将卷积神经网络进行权值初始化，输入数据，重复步骤(a)～(h)，前向传播得到输出值，求出卷积神经网络的输出值与目标值之间的误差，当误差大于期望值时，将误差传回卷积神经网络中，用BP反向传播算法进行监督训练，求出结果与期望值的误差，再将误差一层一层的返回，计算出每一层的误差，进行权值更新，依次为Dropout层、卷积层C6、下采样层S5、卷积层C4、下采样层S3、卷积层C2、硬连线层H1的误差，以求得卷积神经网络的总误差，再将误差传入卷积神经网络中，求得该各层对于总的误差应该承担多少比重，在训练卷积神经网络时，通过不断改变卷积神经网络中所有参数，使损失函数不断减小，当误差等于或小于期望值时，证明已训练出高精度的卷积神经网络模型，结束训练；
j)采集预处理后的连续7帧立方体序列输入卷积神经网络进行测试，通过步骤(a)～(h)卷积神经网络的数据处理过程后，数据被处理为一个1×128向量，输入到softmax分类器进行分离，softmax分类器将要分离的信号映射到相应的标签上，训练时信号经过卷积神经网络的数据处理过程得到一个分类结果，将其与相应的标签数据进行比较算出相应的相对误差，通过训练一定的次数不断修正卷积神经网络中的卷积窗口上的权值使得相对误差不断减小，最后趋于收敛，然后将测试集输入到该网络中进行测试分类，得到分类结果标签向量，最大值元素所在标号表示该运动特征为本次测试运动特征的类别标签，实现行为识别。
长短时记忆神经网络(400)LSTM记忆单元包括遗忘门、输入门、输出门，LSTM用两个门来控制单元状态c的内容，一个是遗忘门，它决定了上一时刻的单元状态ct-1有多少保留到当前时刻ct，t-1时刻的输入ht-1和xt经过一个线性变换+sigmoid激活以后输出ft，ft再与ct-1进行相乘得到一个中间结果，另一个是输入门，它决定了当前时刻网络的输入xt有多少保存到单元状态ct，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出lt，同时ht-1和xt经过另一个线性变换+tanh激活以后，与lt相乘得到一个中间结果，这个中间结果和上一步的中间结果相加得到ct，所谓输出门，LSTM用输出门来控制单元状态ct有多少输出到LSTM的当前输出值ht，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出ot，ot与经过tanh的ct相乘得到ht，这里c、x、h都是向量，LSTM记忆单元时间序列数据包括步态特征模型、手写体识别、序列生成、行为分析，这里的序列指的是时间向量序列，假设时间序列为：
X{x1，x2，...，xN}
时间序列模型为：
Figure BSA0000195508980000121
将卷积神经网络Dropout层长度为128的向量序列的输出值输入到长短时记忆神经网络运算得到一个输出，输出向量经过softmax函数进行转换，输出行为分类标签向量，看是正面行为，还是负面行为；
对长短时记忆神经网络进行前向训练，步骤如下所示：
a)遗忘门的计算，公式如下所示：
ft＝σ(wf·[ht-1，xt]+bf)
式1中Wf表示遗忘门的权重矩阵，[ht-1，xt]表示把两个向量连接成一个更长的向量，bf表示遗忘门的偏置项，σ表示sigmoid函数，如果输入的维度是dx，隐藏层的维度是dn，单元状态的维度是dc(通常dc＝dn)，则遗忘门的权重矩阵wf维度是dc×(dn+dx)，事实上，权重矩阵Wf都是由两个矩阵拼接而成的，一个是Wfh，它对应着输入项ht-1，其维度为dc×dh，一个是wfx，它对应着输入项xt，其维度为dc×dx，Wf可以写为，公式如下所示：
Figure BSA0000195508980000122
b)输入门的计算，公式如下所示：
it＝σ(wi·[ht-1，xt]+bi) 式2
式2中wi表示输入门的权重矩阵，bi表示输入门的偏置项，下面计算用于描述当前输入的单元状态
Figure BSA0000195508980000123
它是根据上一次的输出和本次输入来计算的，公式如下所示：
Figure BSA0000195508980000124
计算当前时刻的单元状态ct，它是由上一次的单元状态ct-1按元素乘以遗忘门ft，再用当前输入的单元状态
Figure BSA0000195508980000125
按元素乘以输入门it，再将两个积加和产生的，公式如下所示：
Figure BSA0000195508980000126
符号
Figure BSA0000195508980000128
表示按元素乘，这样就把LSTM关于当前的记忆
Figure BSA0000195508980000127
和长期的记忆ct-1组合在一起，形成了新的单元状态ct，由于遗忘门的控制，它可以保存很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆；
c)输出门的计算，公式如下所示：
ot＝σ(wo·[ht-1，xt]+bo) 式5
输出门它控制了长期记忆对当前输出的影响，LSTM最终的输出，是由输出门和单元状态
共同确定的，公式如下所示：
Figure BSA0000195508980000133
d)对长短时记忆神经网络进行反向传播训练，LSTM反向传播计算每个神经元的误差项δ值，LSTM误差项的反向传播包括两个方向，一个是沿时间的反向传播，即从当前t时刻开始计算每个时刻的误差项，另一个是将误差项向上一层传播，步骤如下：
设定gate的激活函数为sigmoid函数，输出的激活函数为tanh函数，它们的导数分别为，公式如下所示：
Figure BSA0000195508980000131
σ′(z)＝y(1-y)
Figure BSA0000195508980000132
tanh′(z)＝1-y2
上式中sigmoid和tanh函数的导数都是原函数的函数，一旦计算原函数，就可以用它来计算出导数的值，LSTM需要学习的参数共有8组，分别是遗忘门的权重矩阵wf和偏置项bf、输入门的权重矩阵wi和偏置项bi、输出门的权重矩阵wo和偏置项bo、以及计算单元状态的权重矩阵wc和偏置项bc，权重矩阵的两部分在反向传播中使用不同的公式，在后续的推导中权重矩阵wf、wi、wo、wc都将被写为分开的两个矩阵：wfh、wfx、wih、wix、woh、wox、wch、wcx；
e)按元素乘
Figure BSA0000195508980000134
符号，当
Figure BSA0000195508980000135
作用于两个向量时，运算公式如下所示：
Figure BSA0000195508980000141
当
Figure BSA0000195508980000146
作用于一个向量和一个矩阵时，运算公式如下所示：
Figure BSA0000195508980000142
当
Figure BSA0000195508980000147
作用于两个矩阵时，两个矩阵对应位置的元素相乘，公式如下所示：
Figure BSA0000195508980000144
当一个行向量右乘一个对角矩阵时，相当于这个行向量按元素乘矩阵对角线组成的向量，公式如下所示：
Figure BSA0000195508980000145
在t时刻，LSTM的输出值为ht，定义t时刻的误差项δt为，公式如下所示：
Figure BSA0000195508980000143
假设误差项是损失函数对输出值的导数，需要定义四个加权输入对应的误差项，公式如下所示：
netf，t＝wf[ht-1，xt]+bf
＝wfhht-1+wfxxt+bf
neti，t＝wi[ht-1，xt]+bi
＝wihht-1+wixxt+bi
Figure BSA0000195508980000151
neto，t＝wo[ht-1，xt]+bo
＝wohht-1+woxxt+bo
Figure BSA0000195508980000152
Figure BSA0000195508980000153
Figure BSA0000195508980000154
Figure BSA0000195508980000155
f)沿时间反向传递误差项，计算出t-1时刻的误差项δt-1，公式如下所示：
Figure BSA0000195508980000156
Figure BSA0000195508980000161
利用全导数公式得出式七，公式如下所示：
Figure BSA0000195508980000162
求式七中每个偏导数，公式如下所示：
根据式六求出：
Figure BSA0000195508980000163
Figure BSA0000195508980000167
根据式四求出：
Figure BSA0000195508980000164
Figure BSA0000195508980000165
Figure BSA0000195508980000166
因如下运算：
ot＝σ(neto，t)
neto，t＝wohht-1+woxxt+bo
ft＝σ(netf，t)
netf，t＝wfhht-1+wfxxt+bf
it＝σ(neti，t)
neti，t＝wihht-1+wixxt+bi
Figure BSA0000195508980000171
Figure BSA0000195508980000172
所得出偏导数，公式如下所示：
Figure BSA0000195508980000173
Figure BSA0000195508980000174
Figure BSA0000195508980000175
Figure BSA0000195508980000176
Figure BSA0000195508980000177
Figure BSA0000195508980000181
Figure BSA0000195508980000182
Figure BSA0000195508980000189
将上述偏导数带入到式七中得到式八，公式如下所示：
Figure BSA0000195508980000183
根据δo，t、δf，t、δi，t、
Figure BSA0000195508980000184
t的定义，得到式九、式十、式十一、式十二，公式如下所示：
Figure BSA0000195508980000185
Figure BSA0000195508980000186
Figure BSA0000195508980000187
Figure BSA0000195508980000188
从式八到式十二是误差项沿时间反向传播的时刻公式，根据式八到式十二求得误差项向前传递到任意k时刻的十三公式，公式如下所示：
Figure BSA0000195508980000191
g)将误差项传递到上一层，假设当前为第l层，定义l-1层的误差项是误差函数对l-1层加权输入的导数，公式如下所示：
Figure BSA0000195508980000192
LSTM的输入xt，公式如下所示：
Figure BSA0000195508980000193
上式中，fl-1表示第l-1层的激活函数，求E对
Figure BSA0000195508980000194
的导数，用全导数公式将误差传递到上一层，公式如下所示：
Figure BSA0000195508980000195
h)权重梯度的计算wfh、wih、wch、woh的权重梯度是各个时刻梯度之和，首先求出它们在t时刻的梯度，公式如下所示：
Figure BSA0000195508980000201
Figure BSA0000195508980000202
Figure BSA0000195508980000203
Figure BSA0000195508980000204
将各个时刻的梯度加在一起，得到最终的梯度，公式如下所示：
Figure BSA0000195508980000205
Figure BSA0000195508980000206
Figure BSA0000195508980000211
Figure BSA0000195508980000212
求bf、bi、bc、bo各个时刻的偏置项梯度，公式如下所示：
Figure BSA0000195508980000213
Figure BSA0000195508980000214
Figure BSA0000195508980000215
Figure BSA0000195508980000216
将各个时刻的偏置项梯度加在一起，公式如下所示：
Figure BSA0000195508980000217
Figure BSA0000195508980000221
Figure BSA0000195508980000222
Figure BSA0000195508980000223
根据误差项，求wfx、wix、wcx、wox的权重梯度，公式如下所示：
Figure BSA0000195508980000224
Figure BSA0000195508980000225
Figure BSA0000195508980000226
Figure BSA0000195508980000227
Figure BSA0000195508980000231
i)将长短时记忆神经网络每个输出值进行均值池化，输出向量经过softmax函数进行转换，输出行为分类标签向量，最大值元素所在标号表示该特征图谱属于该类别标签的向量，看是消极行为还是积极行为；
j)最后使用交叉熵误差函数作为优化目标对模型进行优化，公式如下所示：
Figure BSA0000195508980000232
上式中，N是训练样本的个数，向量yn是样本的标记，向量on是网络的输出，标记yn是一个one-hot向量；
k)跳转到第(a)步，输入数据，重复步骤(a)～(j)，直至网络误差小于给定值，证明已训练出高精度的长短时记忆神经网络模型，结束训练；
l)采集预处理后的特征图谱序列中任意一组进行测试，通过步骤(a)～(j)得到行为分类结果标签向量，最大值元素所在标号表示该特征图谱为本次测试的行为类别标签，实现步态识别。
人工智能预警操作***(500)基于Linux操作***架构的基础上开发的AI算法程序，该***包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化信息网络平台***，用于管理和控制计算机硬件、软件及数据资源的计算机运行程序，用于各级人工智能预警***与互联网+分布式预警警亭沟通的接口，用于云计算、云存储、云数据库和人工智能预警***、互联网+分布式预警警亭及其他软件沟通的接口，用于多维人机物协同互操作***与移动设备和智能电视的通讯接口，用于人机界面为其它应用软件提供支持，包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化网络信息平台***、智能物联与风险因素数据采集***、风险因素管理***，人工智能预警操作***(500)子***包括步态识别***、机器视觉***、执行器***、认知行为***，文件***、进程管理、进程间通讯、内存管理、网络通讯、安全机制、驱动程序、用户界面。
云计算(600)基于开源Hadoop架构进行设计，利用集群优势进行高速运算和存储，云计算(600)包括基础设施即服务、平台即服务、软件即服务，用于计算分布式计算机上的风险因素识别模块、风险因素推理模块、风险因素评估模块、通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大***经搜寻与海量的数据信息进行对比分析，分级推理、预警值评估，之后再将处理结果回传给用户并进行云存储。
与云数据库步态黑名单对比分析(700)模块，所述云数据库包括原始图像信息数据库、原始步态特征信息数据库、实时风险因素采集图像信息数据库、实时风险因素采集步态信息数据库、风险因素识别数据库、风险因素推理数据库、风险因素评估数据库、风险因素应对数据库、风险因素管理评价数据库、实时判断依据数据库、判断规则数据库和事故实例数据库，所述云数据库用于云计算(600)***的集群应用，将分布式***文件通过应用软件集合起来协同工作，为用户提供数据存储和业务访问的工作，通过设置在线数据存储模块，存储模块内储存有人脸图像黑名单、动态特征信息黑名单、步态特征信息黑名单、生物特征信息黑名单和语音信息黑名单，将采集的人脸图像、动态特征信息、步态特征信息、生物特征信息和语音信息与存储模块内的人脸图像黑名单、动态特征信息黑名单、步态特征信息黑名单、生物特征信息黑名单和语音信息黑名单进行对比分析，如果相似度达到预设的预警值，则预警***及时将该信息生成预警提示信息进行风险因素的推理、评估、生成预警级别报警信息、反馈给上一级预警***进行风险管理评价。
确定目标人物身份(800)模块用于处理与云数据库步态黑名单对比分析(700)生成的预警提示信息、预警值评估、生成预警级别报警信息、生成预警信号反馈给上一级预警***的信息，并根据云计算(600)通过与云数据库步态黑名单对比分析(700)传送的数据进行实时信息更新，用于存储所述人工智能预警***(500)对云数据库信息查阅所生成的信息数据。
本地数据库模块(900)用于存储本级人工智能预警操作***所生成的预警信息，用于存储向上一级人工智能预警操作***发送的信息及反馈信息，用于存储向云计算发送的信息及反馈信息。

Claims (10)

1.人工智能CNN、LSTM神经网络步态识别***，其特征在于：包括：拍摄终端(100)、服务器(200)、卷积神经网络(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)、与云数据库步态黑名单对比分析(700)、确定目标人物身份(800)、本地数据库模块(900)。
2.根据权利要求1所述的人工智能CNN、LSTM神经网络步态识别***，其特征在于：所述拍摄终端(100)用于采集含有人体运动及步态特征信息的视频流，自动在图像中检测和跟踪、并对运动人体进行相应分割，然后对运动人体进行步态特征提取，进而对检测到的步态特征信息进行一系列与人体运动相关的技术处理，包括获取视频、分离帧、分离目标人物、轮廓抽取、人体步态运动背景建模、运动目标分割、特征提取等，并通过网络将图像序列发送至服务器(200)，所述网络包括局域网、Interne或无线网络。
3.根据权利要求1所述的人工智能CNN、LSTM神经网络步态识别***，其特征在于：所述服务器(200)包括高性能中央处理器CPU、图像处理器GPU、可编程逻辑门阵列FPGA、神经网络处理器NPU、异构/可重构处理器，所述服务器(200)用于为网络***中客户端提供各种高性能计算的服务，服务器在人工智能预警操作***的控制下，将与其相连的网络视频服务器、程控交换机、AI云计算服务器、AI数据库服务器、GPU云处理器、NPU神经网络云处理器、异构/可重构云处理器、域名服务器、通讯服务器、显示器、混合矩阵、路由器、调制解调器相连接，为远程监控客户端提供集中计算、信息发布及数据管理的服务。
4.根据权利要求1所述种人工智能CNN、LSTM神经网络步态识别***，其特征在于：所述卷积神经网络(300)包括输入层、硬连线层H1、卷积层C2、下采样层S3、卷积层C4、下采样层S5、卷积层C6、Dropout层、输入长短时记忆神经网络，卷积神经网络通过3D卷积核去提取步态视频数据的空间信息和频率信息，再对步态图像进行预处理，包括人体步态运动背景建模、运动目标分割、二值化处理、形态学消噪处理、步态空间特征提取、步态图像频率特征提取和步态特征的融合等步骤，所述背景建模是对步态前景和背景进行分割，实现对运动物体的跟踪，本方法采用视频帧差法进行背景建模，假设步态视频单帧图像的序列为{Ii(x，y)}，i＝1，2，...，N，(x，y)表示步态图像的像素坐标，i表示步态图像帧的序数，N表示步态图像序列总帧数，视频帧差公式如下所示；
Figure FSA0000195508970000011
其中，d＝|Ii+1 (x，y)-Ii(x，y)|，T为阈值；
所述运动目标分割是提取背景图像后，需要将人体运行图像从背景中分割出来，由于时域差分法对人体区域和背景差别不大时难以准确将运动目标分割，本方法采用改进时域差分法进行人体运动目标分割，改进时域差分法公式如下所示；
Figure FSA0000195508970000021
其中B表示背景图像在点(x，y)处的像素值，I表示当前帧在点(x，y)处的像素值，若B和I在(x，y)处的像素值相等，公式值则为零；
所述图像二值化处理是采用二值化方法对分割出来的人体运动图像处理，消除步态图像中含有一些小的噪声区域，二值化过程公式如下所示；
Figure FSA0000195508970000022
所述形态学消噪处理是经过背景消除和二值化处理后，对步态图像中影响步态识别的噪声和小洞，为了避免影响识别效果，采用二值数学形态学滤除噪声和填充小孔，图像经过二值数学形态学处理后，较大噪声区域仍然不能完全消除，对区域检测后的图像进行归一化，使步态图像高度、宽度统一；
所述步态空间特征提取是对归一化后步态图像采用极坐标系对其空间特征进行描述，在切割线上任取一点(P，θ)，若该点位于人体区域内，切割函数值为1，反之为0，切割函数的公式如下所示；
Figure FSA0000195508970000023
假设有m条切割线，每条切割线上有n个点，那么步态空间特征矩阵为：
Figure FSA0000195508970000031
所述步态图像频率特征提取，利用频率特征对步态特征进行补充，采用傅里叶变换提取步态图像的频率特征，公式如下所示；
Figure FSA0000195508970000032
其中，k表示频率，fp(θj)表示切割向量上的点，傅里叶变换的步态图像频率特征矩阵为：
Figure FSA0000195508970000033
所述步态特征的融合按照频率大小，对其进行升序排序，获得同一频率下所有切割向量的分量，从而得到该频率下的步态特征，在同一频率下，按照切割曲线极径由小到大的顺序进行提取，公式如下所示；
Figure FSA0000195508970000034
其中，pi表示极径大小，从上面公式可知，每一个步骤特征向量Vk同时包含同一频率的特征和不同区域的步态特征，分别对步态空间与频率特征进行描述，步态特征融合后包含(n+k)个特征向量，特征向量间相互独立，能够对每一个特征向量单独进行识别；
所述验证算法是同单一空间特征和频率特征提取方法做对比实验，算法性能评价指标为：正确分类率CCR和累计匹配值CMS，它们分别定义公式如下所示；
Figure FSA0000195508970000041
Figure FSA0000195508970000042
其中，Rrank表示阶次为rank时，步态图像被正确识别的样本个数，N表示测试样本数，Nc表示被正确识别的样本个数；
3D特征提取器在空间和时间维度上的操作，可以捕捉视频流的运动信息，构造了一个3D卷积神经网络架构，这个架构可以从连续视频帧中产生多通道的信息，然后在每一个通道都分离地进行卷积和下采样操作，最后将所有通道的信息组合起来得到最终的特征描述，通过计算高层运动特征得到辅助输出来增强模型，在Trecvid数据集中测试，并和一些基准方法进行比较，为了应对不同环境的使用，综合多个不同的CNN架构去综合判断识别结果，3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核去捕捉时间和空间维度上的运动特征信息，卷积层中每个3D卷积核的权值都是一样的，也就是共享权值，一个卷积核只能提取一种运动特征，多种卷积核提取多种运动特征，每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40，首先将预处理后的连续7帧，每帧大小是60×40的序列输入卷积神经网络进行训练，更新卷积神经网络各层权值，对卷积神经网络卷积层C2进行初始化操作，首先对卷积层和输出层的卷积核和权重进行高斯分布随机初始化，均值设为0，方差设为0.001，对偏置进行全0初始化，再对卷积神经网络进行训练，步骤如下：
a)输入层：输入连续7帧，每帧大小60×40；
b)硬连线层H1：H1层用来生成多通道信息，被用来编码先验知识，该层对输入层的每一帧提取五个通道的信息，分别是：灰度值、x方向的梯度、y方向的梯度，x方向的光流、y方向的光流，其中前面三个值对每帧都计算，x和y方向的光流需要两个连续帧才能计算，由于输入层是7帧，所以H1的特征图数量是7(灰度值)+7(x方向的梯度)+7(y方向的梯度)+6(x方向的光流)+6(y方向的光流)＝33，每个特征图大小依然是60×40；
c)卷积层C2：C2层是3D卷积层，3D卷积核大小是7×7×3，其中7×7表示在空间上的大小，3是时间维的长度，C2层对H1层的五个通道的每一个通道分别进行卷积，特征图数量是(7-3+1)×3+(6-3+1)×2＝5×3+4×2＝23，乘以3表示灰度、x和y方向的梯度这三个通道，乘以2表示x和y方向的光流，采用2个不同的卷积核，这样C2层有两组特征图，每组都包含23个特征图，即C2层总的特征图数量是23×2，每个特征图的大小是(60-7+1)×(40-7+1)＝54×34，C2层的可训练参数是(7×7×3×5+5)×2＝740×2＝1480个，其中的乘以5表示5个通道的信息，加上5表示偏置项，乘以2表示有2个不同的卷积核，3D卷积层深度为1的卷积计算方法，公式如下所示：
Figure FSA0000195508970000051
上式一中xi，j表示图像的第i行第j列元素，wm，n表示第m行第n列权重，wb表示过滤器的偏置项，ai，j表示特征图谱的第i行第j列元素，f表示relu激活函数；
当步长为2时，特征图谱就变成2×2了，计算公式如下所示：
W2＝(W1-F+2P)/S+1 式二
H2＝(H1-F+2P)/S+1 式三
上式二、三中W2表示卷积后特征图谱的宽度，W1表示卷积前图像的宽度，F表示过滤器的宽度，P表示零填充数量，S表示步长，H2表示卷积后的特征图谱的高度，H1表示卷积前图像的宽度；
深度大于1的卷积计算方式，公式如下所示：
Figure FSA0000195508970000052
上式四中D表示深度，F表示过滤器的大小(宽度或高度，两者相同)，wd，m，n表示过滤器的第d层第m行第n列权重，ad，i，j表示图像的第d层第i行第j列像素，其它符号含义和式一公式是相同的；
d)下采样层S3：采用最大池化方法，采样窗口是2×2，所以每个特征图大小是(54/2)×(34/2)＝27×17，特征图数量等于上一层数量依然是23×2，其一般表示形式，公式如下所示：
Figure FSA0000195508970000061
式五中ai，j表示特征图谱的第i行第j列元素，b为偏差量，K为特征图的通道数，f、So和P是卷积层参数，对应卷积核大小、卷积步长和填充层数，特殊地，当卷积核是大小f＝1，步长So＝1且不包含填充的单位卷积核时，卷积层内的交叉相关计算等价于矩阵乘法，步长So、像素(i，j)的含义与卷积层相同，P是预指定参数，当P＝1时，当P→∞时，Lp池化在区域内取最大值，称为最大池化，以损失特征图尺寸为代价保留图像的背景和纹理信息；
e)卷积层C4：C4层是3D卷积层，卷积核大小是7×6×3，其中7×6表示在空间上的大小，3是时间维，特征图数量是(5-3+1)×3+(4-3+1)×2＝3×3+2×2＝13，乘以3表示灰度值、x和y方向的梯度这三个通道，乘以2表示x和y方向的光流，采用6个不同的卷积核，这样C2层有6组特征图，每组都包含6个特征图，即本层总的特征图数量是13×6＝78，每个特征图的大小是(27-7+1)×(17-6+1)＝21×12，可训练参数有(7×6×3×5+5)×6＝3810个，C4计算公式与C2公式相同；
f)下采样层S5：S5层下采样层，采用最大池化方法，采样窗口是3×3，所以每个特征图大小是(21/3)×(12/3)＝7×4，特征图数量等于上一层数量依然是13×6＝78，C6层是2D卷积层，卷积核大小是7×4，特征图数量是128，特征图大小是1×1，每一个特征图都与S5层的78个特征图相连接，可训练参数有(4×7×128+128)×(13×6)＝289536个，S3计算公式与S5计算公式相同；
g)卷积层C6：这一层只在空间维度上面卷积，使用的核为7×4，然后输出的特征图谱就减小到1×1的大小，其包含128个特征图谱，每个特征图谱与S5层中所有78(13×6)个特征图谱全连接，这样每个特征图谱就是1×1，也就是一个值了，而这个值就是最终的特征向量共128维，C6计算公式与C2公式相同；
h)Dropout层：随机地为网络中的神经元赋值零权重，由于选择了0.5的比率，则50％的神经元将会是零权重，通过这种操作，网络对数据的微小变化的响应就不那么敏感了，因此，它能够进一步提高对不可见数据处理的准确性，Dropout层的输出仍然是一个1×128的矩阵，再将长度为128的向量输出值输入到长短时记忆神经网络(400)进行时间序列行为分析运算；
i)将卷积神经网络进行权值初始化，输入数据，重复步骤(a)～(h)，前向传播得到输出值，求出卷积神经网络的输出值与目标值之间的误差，当误差大于期望值时，将误差传回卷积神经网络中，用BP反向传播算法进行监督训练，求出结果与期望值的误差，再将误差一层一层的返回，计算出每一层的误差，进行权值更新，依次为Dropout层、卷积层C6、下采样层S5、卷积层C4、下采样层S3、卷积层C2、硬连线层H1的误差，以求得卷积神经网络的总误差，再将误差传入卷积神经网络中，求得该各层对于总的误差应该承担多少比重，在训练卷积神经网络时，通过不断改变卷积神经网络中所有参数，使损失函数不断减小，当误差等于或小于期望值时，证明已训练出高精度的卷积神经网络模型，结束训练；
j)采集预处理后的连续7帧立方体序列输入卷积神经网络进行测试，通过步骤(a)～(h)卷积神经网络的数据处理过程后，数据被处理为一个1×128向量，输入到softmax分类器进行分离，softmax分类器将要分离的信号映射到相应的标签上，训练时信号经过卷积神经网络的数据处理过程得到一个分类结果，将其与相应的标签数据进行比较算出相应的相对误差，通过训练一定的次数不断修正卷积神经网络中的卷积窗口上的权值使得相对误差不断减小，最后趋于收敛，然后将测试集输入到该网络中进行测试分类，得到分类结果标签向量，最大值元素所在标号表示该运动特征为本次测试运动特征的类别标签，实现步态识别。
5.根据权利要求1所述的人工智能CNN、LSTM神经网络步态识别***，其特征在于：所述长短时记忆神经网络(400)LSTM记忆单元包括遗忘门、输入门、输出门，LSTM用两个门来控制单元状态c的内容，一个是遗忘门，它决定了上一时刻的单元状态ct-1有多少保留到当前时刻ct，t-1时刻的输入ht-1和xt经过一个线性变换+sigmoid激活以后输出ft，ft再与ct-1进行相乘得到一个中间结果，另一个是输入门，它决定了当前时刻网络的输入xt有多少保存到单元状态ct，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出lt，同时ht-1和xt经过另一个线性变换+tanh激活以后，与lt相乘得到一个中间结果，这个中间结果和上一步的中间结果相加得到ct，所谓输出门，LSTM用输出门来控制单元状态ct有多少输出到LSTM的当前输出值ht，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出ot，ot与经过tanh的ct相乘得到ht，这里c、x、h都是向量，LSTM记忆单元时间序列数据包括步态特征模型、手写体识别、序列生成、行为分析，这里的序列指的是时间向量序列，假设时间序列为：
X{x1，x2，...，xN}
时间序列模型为：
Figure FSA0000195508970000071
将卷积神经网络Dropout层长度为128的向量序列的输出值输入到长短时记忆神经网络运算得到一个输出，输出向量经过softmax函数进行转换，输出行为分类标签向量，看是正面行为，还是负面行为；
对长短时记忆神经网络进行前向训练，步骤如下所示：
a)遗忘门的计算，公式如下所示：
ft＝σ(wf·[ht-1，xt]+bf)
式1中Wf表示遗忘门的权重矩阵，[ht-1，xt]表示把两个向量连接成一个更长的向量，bf表示遗忘门的偏置项，σ表示sigmoid函数，如果输入的维度是dx，隐藏层的维度是dn，单元状态的维度是dc(通常dc＝dn)，则遗忘门的权重矩阵wf维度是dc×(dn+dx)，事实上，权重矩阵Wf都是由两个矩阵拼接而成的，一个是Wfh，它对应着输入项ht-1，其维度为dc×dh，一个是wfx，它对应着输入项xt，其维度为dc×dx，Wf可以写为，公式如下所示：
Figure FSA0000195508970000081
b)输入门的计算，公式如下所示：
it＝σ(wi·[ht-1，xt]+bi) 式2
式2中wi表示输入门的权重矩阵，bi表示输入门的偏置项，下面计算用于描述当前输入的单元状态
Figure FSA0000195508970000082
它是根据上一次的输出和本次输入来计算的，公式如下所示：
Figure FSA0000195508970000083
计算当前时刻的单元状态ct，它是由上一次的单元状态ct-1按元素乘以遗忘门ft，再用当前输入的单元状态
Figure FSA0000195508970000084
按元素乘以输入门it，再将两个积加和产生的，公式如下所示：
Figure FSA0000195508970000085
符号
Figure FSA0000195508970000086
表示按元素乘，这样就把LSTM关于当前的记忆
Figure FSA0000195508970000087
和长期的记忆ct-1组合在一起，形成了新的单元状态ct，由于遗忘门的控制，它可以保存很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆；
c)输出门的计算，公式如下所示：
ot＝σ(wo·[ht-1，xt]+bo) 式5
输出门它控制了长期记忆对当前输出的影响，LSTM最终的输出，是由输出门和单元状态共同确定的，公式如下所示：
Figure FSA0000195508970000091
d)对长短时记忆神经网络进行反向传播训练，LSTM反向传播计算每个神经元的误差项δ值，LSTM误差项的反向传播包括两个方向，一个是沿时间的反向传播，即从当前t时刻开始计算每个时刻的误差项，另一个是将误差项向上一层传播，步骤如下：
设定gate的激活函数为sigmoid函数，输出的激活函数为tanh函数，它们的导数分别为，公式如下所示：
Figure FSA0000195508970000092
σ′(z)＝y(1-y)
Figure FSA0000195508970000093
tanh′(z)＝1-y2
上式中sigmoid和tanh函数的导数都是原函数的函数，一旦计算原函数，就可以用它来计算出导数的值，LSTM需要学习的参数共有8组，分别是遗忘门的权重矩阵wf和偏置项bf、输入门的权重矩阵wi和偏置项bi、输出门的权重矩阵wo和偏置项bo、以及计算单元状态的权重矩阵wc和偏置项bc，权重矩阵的两部分在反向传播中使用不同的公式，在后续的推导中权重矩阵wf、wi、wo、wc都将被写为分开的两个矩阵：wfh、wfx、wih、wix、woh、wox、wch、wcx；
e)按元素乘
Figure FSA0000195508970000096
符号，当
Figure FSA0000195508970000097
作用于两个向量时，运算公式如下所示：
Figure FSA0000195508970000094
当
Figure FSA0000195508970000095
作用于一个向量和一个矩阵时，运算公式如下所示：
Figure FSA0000195508970000101
当
Figure FSA0000195508970000102
作用于两个矩阵时，两个矩阵对应位置的元素相乘，公式如下所示：
Figure FSA0000195508970000103
当一个行向量右乘一个对角矩阵时，相当于这个行向量按元素乘矩阵对角线组成的向量，公式如下所示：
Figure FSA0000195508970000104
在t时刻，LSTM的输出值为ht，定义t时刻的误差项δt为，公式如下所示：
Figure FSA0000195508970000105
假设误差项是损失函数对输出值的导数，需要定义四个加权输入对应的误差项，公式如下所示：
netf，t＝wf[ht-1，xt]+bf
＝wfhht-1+wfxxt+bf
neti，t＝wi[ht-1，xt]+bi
＝wihht-1+wixxt+bi
Figure FSA0000195508970000106
Figure FSA0000195508970000111
neto，t＝wo[ht-1，xt]+bo
＝wohht-1+woxxt+bo
Figure FSA0000195508970000112
Figure FSA0000195508970000113
Figure FSA0000195508970000114
Figure FSA0000195508970000115
f)沿时间反向传递误差项，计算出t-1时刻的误差项δt-1，公式如下所示：
Figure FSA0000195508970000116
利用全导数公式得出式七，公式如下所示：
Figure FSA0000195508970000121
求式七中每个偏导数，公式如下所示：
根据式六求出：
Figure FSA0000195508970000122
Figure FSA0000195508970000123
根据式四求出：
Figure FSA0000195508970000124
Figure FSA0000195508970000125
Figure FSA0000195508970000126
因如下运算：
ot＝σ(neto，t)
neto，t＝wohht-1+woxxt+bo
ft＝σ(netf，t)
netf，t＝wfhht-1+wfxxt+bf
it＝σ(neti，t)
neti，t＝wihht-1+wixxt+bi
Figure FSA0000195508970000131
Figure FSA0000195508970000132
所得出偏导数，公式如下所示：
Figure FSA0000195508970000133
Figure FSA0000195508970000134
Figure FSA0000195508970000135
Figure FSA0000195508970000136
Figure FSA0000195508970000137
Figure FSA0000195508970000138
Figure FSA0000195508970000139
Figure FSA00001955089700001310
将上述偏导数带入到式七中得到式八，公式如下所示：
Figure FSA0000195508970000141
根据δo，t、δf，t、δi，t、
Figure FSA0000195508970000142
的定义，得到式九、式十、式十一、式十二，公式如下所示：
Figure FSA0000195508970000143
Figure FSA0000195508970000144
Figure FSA0000195508970000145
Figure FSA0000195508970000146
从式八到式十二是误差项沿时间反向传播的时刻公式，根据式八到式十二求得误差项向前传递到任意k时刻的十三公式，公式如下所示：
Figure FSA0000195508970000147
g)将误差项传递到上一层，假设当前为第l层，定义l-1层的误差项是误差函数对l-1层加权输入的导数，公式如下所示：
Figure FSA0000195508970000148
LSTM的输入xt，公式如下所示：
Figure FSA0000195508970000151
上式中，fl-1表示第l-1层的激活函数，求E对
Figure FSA0000195508970000152
的导数，用全导数公式将误差传递到上一层，公式如下所示：
Figure FSA0000195508970000153
h)权重梯度的计算wfh、wih、wch、woh的权重梯度是各个时刻梯度之和，首先求出它们在t时刻的梯度，公式如下所示：
Figure FSA0000195508970000154
Figure FSA0000195508970000155
Figure FSA0000195508970000161
Figure FSA0000195508970000162
Figure FSA0000195508970000163
将各个时刻的梯度加在一起，得到最终的梯度，公式如下所示：
Figure FSA0000195508970000164
Figure FSA0000195508970000165
Figure FSA0000195508970000166
Figure FSA0000195508970000167
求bf、bi、bc、bo各个时刻的偏置项梯度，公式如下所示：
Figure FSA0000195508970000168
Figure FSA0000195508970000171
Figure FSA0000195508970000172
Figure FSA0000195508970000173
Figure FSA0000195508970000174
将各个时刻的偏置项梯度加在一起，公式如下所示：
Figure FSA0000195508970000175
Figure FSA0000195508970000176
Figure FSA0000195508970000177
Figure FSA0000195508970000178
根据误差项，求wfx、wix、wcx、wox的权重梯度，公式如下所示：
Figure FSA0000195508970000181
Figure FSA0000195508970000182
Figure FSA0000195508970000183
Figure FSA0000195508970000184
i)将长短时记忆神经网络每个输出值进行均值池化，输出向量经过softmax函数进行转换，输出行为分类标签向量，最大值元素所在标号表示该特征图谱属于该类别标签的向量，看是消极行为还是积极行为；
j)最后使用交叉熵误差函数作为优化目标对模型进行优化，公式如下所示：
Figure FSA0000195508970000185
上式中，N是训练样本的个数，向量yn是样本的标记，向量on是网络的输出，标记yn是一个one-hot向量；
k)跳转到第(a)步，输入数据，重复步骤(a)～(j)，直至网络误差小于给定值，证明已训练出高精度的长短时记忆神经网络模型，结束训练；
l)采集预处理后的特征图谱序列中任意一组进行测试，通过步骤(a)～(j)得到行为分类结果标签向量，最大值元素所在标号表示该特征图谱为本次测试的行为类别标签，实现步态识别。
6.根据权利要求1所述的人工智能CNN、LSTM神经网络步态识别***，其特征在于：所述人工智能预警操作***(500)基于Linux操作***架构的基础上开发的AI算法程序，该***包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化信息网络平台***，用于管理和控制计算机硬件、软件及数据资源的计算机运行程序，用于各级人工智能预警***与互联网+分布式预警警亭沟通的接口，用于云计算、云存储、云数据库和人工智能预警***、互联网+分布式预警警亭及其他软件沟通的接口，用于多维人机物协同互操作***与移动设备和智能电视的通讯接口，用于人机界面为其它应用软件提供支持，包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化网络信息平台***、智能物联与风险因素数据采集***、风险因素管理***，人工智能预警操作***(500)子***包括步态识别***、机器视觉***、执行器***、认知行为***，文件***、进程管理、进程间通讯、内存管理、网络通讯、安全机制、驱动程序、用户界面。
7.根据权利要求1所述的人工智能CNN、LSTM神经网络步态识别***，其特征在于：所述云计算(600)基于开源Hadoop架构进行设计，利用集群优势进行高速运算和存储，云计算(600)包括基础设施即服务、平台即服务、软件即服务，用于计算分布式计算机上的风险因素识别模块、风险因素推理模块、风险因素评估模块、通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大***经搜寻与海量的数据信息进行对比分析，分级推理、预警值评估，之后再将处理结果回传给用户并进行云存储。
8.根据权利要求1所述的人工智能CNN、LSTM神经网络步态识别***，其特征在于：所述与云数据库步态黑名单对比分析(700)模块，所述云数据库包括原始图像信息数据库、原始步态特征信息数据库、实时风险因素采集图像信息数据库、实时风险因素采集步态信息数据库、风险因素识别数据库、风险因素推理数据库、风险因素评估数据库、风险因素应对数据库、风险因素管理评价数据库、实时判断依据数据库、判断规则数据库和事故实例数据库，所述云数据库用于云计算(600)***的集群应用，将分布式***文件通过应用软件集合起来协同工作，为用户提供数据存储和业务访问的工作，通过设置在线数据存储模块，存储模块内储存有人脸图像黑名单、动态特征信息黑名单、步态特征信息黑名单、生物特征信息黑名单和语音信息黑名单，将采集的人脸图像、动态特征信息、步态特征信息、生物特征信息和语音信息与存储模块内的人脸图像黑名单、动态特征信息黑名单、步态特征信息黑名单、生物特征信息黑名单和语音信息黑名单进行对比分析，如果相似度达到预设的预警值，则预警***及时将该信息生成预警提示信息进行风险因素的推理、评估、生成预警级别报警信息、反馈给上一级预警***进行风险管理评价。
9.根据权利要求1所述的人工智能CNN、LSTM神经网络步态识别***，其特征在于：所述确定目标人物身份(800)模块用于处理与云数据库步态黑名单对比分析(700)生成的预警提示信息、预警值评估、生成预警级别报警信息、生成预警信号反馈给上一级预警***的信息，并根据云计算(600)通过与云数据库步态黑名单对比分析(700)传送的数据进行实时信息更新，用于存储所述人工智能预警***(500)对云数据库信息查阅所生成的信息数据。
10.根据权利要求1所述的人工智能CNN、LSTM神经网络步态识别***，其特征在于：所述本地数据库模块(900)用于存储本级人工智能预警操作***所生成的预警信息，用于存储向上一级人工智能预警操作***发送的信息及反馈信息，用于存储向云计算发送的信息及反馈信息。
CN201911161886.7A 2019-11-22 2019-11-22 人工智能cnn、lstm神经网络步态识别*** Pending CN110956111A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911161886.7A CN110956111A (zh) 2019-11-22 2019-11-22 人工智能cnn、lstm神经网络步态识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911161886.7A CN110956111A (zh) 2019-11-22 2019-11-22 人工智能cnn、lstm神经网络步态识别***

Publications (1)

Publication Number Publication Date
CN110956111A true CN110956111A (zh) 2020-04-03

Family

ID=69976738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911161886.7A Pending CN110956111A (zh) 2019-11-22 2019-11-22 人工智能cnn、lstm神经网络步态识别***

Country Status (1)

Country Link
CN (1) CN110956111A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639719A (zh) * 2020-06-08 2020-09-08 安徽大学 基于时空运动和特征融合的足迹图像检索方法
CN111687689A (zh) * 2020-06-23 2020-09-22 重庆大学 一种基于lstm和cnn的刀具磨损状态预测方法及装置
CN111767783A (zh) * 2020-04-22 2020-10-13 杭州海康威视数字技术股份有限公司 行为检测、模型训练方法、装置、电子设备及存储介质
CN111967358A (zh) * 2020-08-05 2020-11-20 北京交通大学 一种基于注意力机制的神经网络步态识别方法
CN111985484A (zh) * 2020-08-11 2020-11-24 云南电网有限责任公司电力科学研究院 基于cnn-lstm的温度仪表数字识别的方法及装置
CN112039997A (zh) * 2020-09-03 2020-12-04 重庆邮电大学 一种基于三重特征的物联网终端识别方法
CN112232224A (zh) * 2020-10-19 2021-01-15 西安建筑科技大学 一种lstm与cnn相结合的跨视角步态识别方法
CN112348058A (zh) * 2020-10-20 2021-02-09 华东交通大学 一种基于cnn-lstm网络的卫星云图分类方法和计算机可读存储介质
CN112347034A (zh) * 2020-12-02 2021-02-09 北京理工大学 一种用于老年看护的多功能一体化片上***
CN112464844A (zh) * 2020-12-07 2021-03-09 天津科技大学 一种基于深度学习与运动目标检测的人体行为动作识别方法
CN112801185A (zh) * 2021-01-28 2021-05-14 河北师范大学 一种基于改进神经网络的网络安全态势理解和评估方法
CN113065534A (zh) * 2021-06-02 2021-07-02 全时云商务服务股份有限公司 一种基于人像分割精度提升的方法、***和存储介质
CN113158538A (zh) * 2021-01-19 2021-07-23 中山大学 一种复杂结构沸腾表面的热流密度软测量方法
CN113225539A (zh) * 2020-12-23 2021-08-06 全民认证科技（杭州）有限公司 一种基于云计算的流动人口人工智能预警***
CN113229810A (zh) * 2021-06-22 2021-08-10 西安超越申泰信息科技有限公司 一种人体行为识别方法、***及计算机可读存储介质
CN113317780A (zh) * 2021-06-07 2021-08-31 南开大学 一种基于长短时记忆神经网络的异常步态检测方法
CN113780223A (zh) * 2021-09-09 2021-12-10 北京信息科技大学 假肢的步态识别方法、装置及存储介质
CN115439918A (zh) * 2022-10-27 2022-12-06 天津中德应用技术大学 一种驾驶员状态的监测方法、***及可读存储介质
US11735017B2 (en) 2021-06-23 2023-08-22 Bank Of America Corporation Artificial intelligence (AI)-based security systems for monitoring and securing physical locations
CN116771519A (zh) * 2023-06-20 2023-09-19 哈尔滨工业大学 一种基于plif的燃机当量比识别与调控装置及方法
US11954990B2 (en) 2021-06-23 2024-04-09 Bank Of America Corporation Artificial intelligence (AI)-based security systems for monitoring and securing physical locations

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN107292250A (zh) * 2017-05-31 2017-10-24 西安科技大学 一种基于深度神经网络的步态识别方法
CN109902558A (zh) * 2019-01-15 2019-06-18 安徽理工大学 一种基于cnn-lstm的人体健康深度学习预测方法
CN110110707A (zh) * 2019-05-24 2019-08-09 苏州闪驰数控***集成有限公司 人工智能cnn、lstm神经网络动态识别***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN107292250A (zh) * 2017-05-31 2017-10-24 西安科技大学 一种基于深度神经网络的步态识别方法
CN109902558A (zh) * 2019-01-15 2019-06-18 安徽理工大学 一种基于cnn-lstm的人体健康深度学习预测方法
CN110110707A (zh) * 2019-05-24 2019-08-09 苏州闪驰数控***集成有限公司 人工智能cnn、lstm神经网络动态识别***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GANBAYAR BATCHULUUN ET AL: "Gait-Based Human Identification by Combining Shallow Convolutional Neural Network-Stacked Long Short-Term Memory and Deep Convolutional Neural Network", 《IEEE ACCESS》 *
杨新锋 等: "基于特征融合的基于特征融合的步态识别算法研究步态识别算法研究", 《计算机与现代化》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767783A (zh) * 2020-04-22 2020-10-13 杭州海康威视数字技术股份有限公司 行为检测、模型训练方法、装置、电子设备及存储介质
CN111639719B (zh) * 2020-06-08 2023-04-07 安徽大学 基于时空运动和特征融合的足迹图像检索方法
CN111639719A (zh) * 2020-06-08 2020-09-08 安徽大学 基于时空运动和特征融合的足迹图像检索方法
CN111687689A (zh) * 2020-06-23 2020-09-22 重庆大学 一种基于lstm和cnn的刀具磨损状态预测方法及装置
CN111967358A (zh) * 2020-08-05 2020-11-20 北京交通大学 一种基于注意力机制的神经网络步态识别方法
CN111967358B (zh) * 2020-08-05 2021-08-31 北京交通大学 一种基于注意力机制的神经网络步态识别方法
CN111985484A (zh) * 2020-08-11 2020-11-24 云南电网有限责任公司电力科学研究院 基于cnn-lstm的温度仪表数字识别的方法及装置
CN112039997A (zh) * 2020-09-03 2020-12-04 重庆邮电大学 一种基于三重特征的物联网终端识别方法
CN112232224A (zh) * 2020-10-19 2021-01-15 西安建筑科技大学 一种lstm与cnn相结合的跨视角步态识别方法
CN112348058A (zh) * 2020-10-20 2021-02-09 华东交通大学 一种基于cnn-lstm网络的卫星云图分类方法和计算机可读存储介质
CN112347034A (zh) * 2020-12-02 2021-02-09 北京理工大学 一种用于老年看护的多功能一体化片上***
CN112464844A (zh) * 2020-12-07 2021-03-09 天津科技大学 一种基于深度学习与运动目标检测的人体行为动作识别方法
CN113225539A (zh) * 2020-12-23 2021-08-06 全民认证科技（杭州）有限公司 一种基于云计算的流动人口人工智能预警***
CN113158538A (zh) * 2021-01-19 2021-07-23 中山大学 一种复杂结构沸腾表面的热流密度软测量方法
CN112801185B (zh) * 2021-01-28 2023-02-24 河北师范大学 一种基于改进神经网络的网络安全态势理解和评估方法
CN112801185A (zh) * 2021-01-28 2021-05-14 河北师范大学 一种基于改进神经网络的网络安全态势理解和评估方法
CN113065534A (zh) * 2021-06-02 2021-07-02 全时云商务服务股份有限公司 一种基于人像分割精度提升的方法、***和存储介质
CN113065534B (zh) * 2021-06-02 2021-09-03 全时云商务服务股份有限公司 一种基于人像分割精度提升的方法、***和存储介质
CN113317780A (zh) * 2021-06-07 2021-08-31 南开大学 一种基于长短时记忆神经网络的异常步态检测方法
CN113229810A (zh) * 2021-06-22 2021-08-10 西安超越申泰信息科技有限公司 一种人体行为识别方法、***及计算机可读存储介质
US11735017B2 (en) 2021-06-23 2023-08-22 Bank Of America Corporation Artificial intelligence (AI)-based security systems for monitoring and securing physical locations
US11954990B2 (en) 2021-06-23 2024-04-09 Bank Of America Corporation Artificial intelligence (AI)-based security systems for monitoring and securing physical locations
CN113780223A (zh) * 2021-09-09 2021-12-10 北京信息科技大学 假肢的步态识别方法、装置及存储介质
CN115439918A (zh) * 2022-10-27 2022-12-06 天津中德应用技术大学 一种驾驶员状态的监测方法、***及可读存储介质
CN116771519A (zh) * 2023-06-20 2023-09-19 哈尔滨工业大学 一种基于plif的燃机当量比识别与调控装置及方法
CN116771519B (zh) * 2023-06-20 2024-02-23 哈尔滨工业大学 一种基于plif的燃机当量比识别与调控装置及方法

Similar Documents

Publication Publication Date Title
CN110956111A (zh) 人工智能cnn、lstm神经网络步态识别***
CN110738984B (zh) 人工智能cnn、lstm神经网络语音识别***
US11402496B2 (en) Method and apparatus for enhancing semantic features of SAR image oriented small set of samples
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN110110707A (zh) 人工智能cnn、lstm神经网络动态识别***
CN107945204B (zh) 一种基于生成对抗网络的像素级人像抠图方法
CN108182441B (zh) 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN106358444B (zh) 用于面部验证的方法和***
CN109977757B (zh) 一种基于混合深度回归网络的多模态的头部姿态估计方法
CN106529570B (zh) 基于深度脊波神经网络的图像分类方法
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
CN111666919A (zh) 一种对象识别方法、装置、计算机设备和存储介质
CN111145145B (zh) 一种基于MobileNets的图像表面缺陷检测方法
KR20200010672A (ko) 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템
CN113065431B (zh) 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
Yang et al. Down image recognition based on deep convolutional neural network
CN114155397B (zh) 一种小样本图像分类方法及***
CN106778910A (zh) 基于本地训练的深度学习***和方法
CN111414875A (zh) 基于深度回归森林的三维点云头部姿态估计***
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其***
CN110399970B (zh) 小波卷积小波神经网络及情报分析方法与***
CN114170657A (zh) 融合注意力机制与高阶特征表示的面部情感识别方法
CN117788810A (zh) 一种无监督语义分割的学习***
CN111352926A (zh) 数据处理的方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200403