CN110110707A - 人工智能cnn、lstm神经网络动态识别*** - Google Patents

人工智能cnn、lstm神经网络动态识别*** Download PDF

Info

Publication number
CN110110707A
CN110110707A CN201910436838.8A CN201910436838A CN110110707A CN 110110707 A CN110110707 A CN 110110707A CN 201910436838 A CN201910436838 A CN 201910436838A CN 110110707 A CN110110707 A CN 110110707A
Authority
CN
China
Prior art keywords
formula
layer
information
follows
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910436838.8A
Other languages
English (en)
Inventor
詹志超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Flash Cnc System Integration Co Ltd
Original Assignee
Suzhou Flash Cnc System Integration Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Flash Cnc System Integration Co Ltd filed Critical Suzhou Flash Cnc System Integration Co Ltd
Priority to CN201910436838.8A priority Critical patent/CN110110707A/zh
Publication of CN110110707A publication Critical patent/CN110110707A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种人工智能CNN、LSTM神经网络动态识别***，包括拍摄终端(100)、服务器(200)、卷积神经网络(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)、与云数据库动态黑名单对比分析(700)、确定目标人物身份(800)、本地数据库模块(900)。本发明通过人工智能CNN、LSTM神经网络动态识别***用拍摄终端采集的人脸特征、语音特征及行为特征信息的视频流进行特征提取，进而对特征信息进行行为特征及异常行为相关的技术处理，包括打架、偷盗、老人摔倒、聚众事件、入侵等，实现拍摄终端周边监测范围内全天候24小时不间断监控，用户可实现信息共享，提高信息资源利用率，为维护社会治安稳定加大安全保障。

Description

人工智能CNN、LSTM神经网络动态识别***
技术领域
本发明涉及智能安防预警领域，具体涉及一种用于安防维稳的人工智能CNN、LSTM神经网络动态识别***。
背景技术
人工智能CNN、LSTM神经网络动态识别***是将先进的拍摄终端技术、中央处理器CPU、图像处理器GPU、神经网络处理器NPU、异构/可重构处理器技术、卷积神经网络技术、长短时记忆神经网络技术、AI计算机预警处理技术、AI人工智能预警操作技术、风险因素采集技术、风险因素识别技术、大数据分析技术、云计算技术、云存储技术、云数据库技术等有效的集成应用于整个人工智能CNN、LSTM神经网络语音识别***，而建立的一种在大范围、全方位发挥作用的，实时、准确、高效的综合智能预警***。
随着祖国西部边疆维稳的措施常态化，使边疆长期保持一个稳定的局面，保证经济能够实现快速发展，人工智能CNN、LSTM神经网络动态识别***为从根本上解决影响长治久安的深层次问题打下良好基础。
发明内容
本发明是为了克服现有安防***中存在不自动识别动态行为、监控措施有漏洞、防范不及时等问题，提出一种人工智能CNN、LSTM神经网络动态识别***，通过拍摄终端对风险因素源头进行布控，实时采集风险源因素的动态信息，进行动态检测、动态目标跟踪、特征图谱信号预处理、动态特征提取、行为匹配与识别，把提取的动态特征数据与数据库中存储的动态特征手写体模板进行搜索对比，根据相似程度，对身份信息进行判断，设定一个阈值，当相似度超过这一阈值，则把匹配得到的结果输出。
为实现上述使用人工智能CNN、LSTM神经网络动态识别***对风险因素源头进行动态识别信息的采集、动态检测、动态目标跟踪、动态信号预处理、动态特征提取、行为匹配与识别，再进行分级预警的目的，本发明提供如下技术方案：一种人工智能CNN、LSTM 神经网络动态识别***，包括拍摄终端(100)、服务器(200)、卷积神经网络(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)、与云数据库动态黑名单对比分析(700)、确定目标人物身份(800)、本地数据库模块(900)本发明通过人工智能CNN、LSTM神经网络动态识别***对风险因素进行采集、对比分析、存储、分级报警、应对防控，实现对拍摄终端周边布控点进行全天候24小时监控，用户可实现信息共享，提高信息资源利用率，为维护边疆稳定加大安全保障。
本发明提供一种人工智能CNN、LSTM神经网络动态识别***包括，拍摄终端(100)用于采集含有人脸特征、语音特征及行为特征信息的视频流，并自动在图像中检测和跟踪人脸、语音、行为特征的信息，进而对检测到的人脸特征、语音特征及行为特征信息进行一系列与行为相关的技术处理，包括人脸识别、语音识别、行为特征信息识别及异常行为识别(包括打架、盗窃、老人摔倒、聚众事件、入侵等等)，并通过网络将图像序列发送至服务器(200)，所述网络包括局域网、Interne或无线网络。
动态信号采用网络传输：包括局域网、Interne或无线网络。所述网络传输用于拍摄终端向服务器发送动态信号序列。
服务器(200)包括高性能中央处理器CPU、图像处理器GPU、可编程逻辑门阵列FPGA、神经网络处理器NPU、异构/可重构处理器、卷积神经网络模块(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)模块、与云数据库动态黑名单对比分析(700)模块、确定目标人物身份(800)模块、本地数据库模块(900)，所述服务器(200)用于为网络***中客户端提供各种高性能计算的服务，服务器在人工智能预警操作***的控制下，将与其相连的网络视频服务器、程控交换机、AI云计算服务器、AI数据库服务器、GPU云服务器、Web服务器、通讯服务器、显示器、混合矩阵、路由器、调制解调器相连接，为远程监控客户端提供集中计算、信息发布及数据管理的服务。
卷积神经网络模块(300)包括输入层、硬连线层H1、卷积层C2、下采样层S3、卷积层C4、下采样层S5、卷积层C6、Dropout层、输入长短时记忆神经网络，卷积神经网络通过3D卷积核去提取视频数据的时间和空间特征，3D特征提取器在空间和时间维度上的操作，可以捕捉视频流的运动信息，3D卷积特征提取器构造了一个3D卷积神经网络架构，这个架构可以从连续视频帧中产生多通道的信息，然后在每一个通道都分离地进行卷积和下采样操作，最后将所有通道的信息组合起来得到最终的特征描述，通过计算高层运动特征得到辅助输出来增强模型，在Trecvid数据集中测试，并和一些基准方法进行比较，为了应对不同环境的使用，综合多个不同的CNN架构去综合判断识别结果，3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核去捕捉时间和空间维度上的运动特征信息，卷积层中每个3D卷积核的权值都是一样的，也就是共享权值，一个卷积核只能提取一种运动特征，多种卷积核提取多种运动特征，每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40，首先将预处理后的连续7帧，每帧大小是60×40的序列输入卷积神经网络进行训练，更新卷积神经网络各层权值，对卷积神经网络卷积层C2进行初始化操作，首先对卷积层和输出层的卷积核和权重进行高斯分布随机初始化，均值设为0，方差设为0.001，对偏置进行全0初始化，再对卷积神经网络进行训练。
长短时记忆神经网络(400)LSTM记忆单元包括遗忘门、输入门、输出门，LSTM用两个门来控制单元状态c的内容，一个是遗忘门，它决定了上一时刻的单元状态ct-1有多少保留到当前时刻ct，t-1时刻的输入ht-1和xt经过一个线性变换+sigmoid激活以后输出ft，ft再与ct-1进行相乘得到一个中间结果，另一个是输入门，它决定了当前时刻网络的输入xt有多少保存到单元状态ct，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出lt，同时ht-1和xt经过另一个线性变换+tanh激活以后，与lt相乘得到一个中间结果，这个中间结果和上一步的中间结果相加得到ct，所谓输出门，LSTM用输出门来控制单元状态ct有多少输出到LSTM的当前输出值ht，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出ot，ot与经过tanh的ct相乘得到ht，这里c、x、h 都是向量，LSTM记忆单元时间序列数据包括动态特征模型、手写体识别、序列生成、行为分析，这里的序列指的是时间向量序列，假设时间序列为：
X{x1，x2，...，xN}
时间序列模型为：
将卷积神经网络Dropout层长度为128的向量序列的输出值输入到长短时记忆神经网络运算得到一个输出，输出向量经过softmax函数进行转换，输出行为分类标签向量，看是消极行为还是积极行为。
人工智能预警操作***(500)基于Linux操作***架构的基础上开发的AI人工智能预警操作***，该***包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化信息网络平台***，用于管理和控制计算机硬件、软件及数据资源的计算机运行程序，用于各级人工智能预警***与互联网+ 分布式预警警亭沟通的接口，用于云计算、云存储、云数据库和人工智能预警***、互联网+ 分布式预警警亭及其他软件沟通的接口，用于多维人机物协同互操作***与移动设备和智能电视的通讯接口，用于人机界面为其它应用软件提供支持，包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化网络信息平台***、智能物联与风险因素数据采集***、风险因素管理***，人工智能预警操作***(500)子***包括动态识别***、机器视觉***、执行器***、认知行为***，文件***、进程管理、进程间通讯、内存管理、网络通讯、安全机制、驱动程序、用户界面。
云计算(600)基于开源Hadoop架构进行设计，利用集群优势进行高速运算和存储，云计算(600)包括基础设施即服务、平台即服务、软件即服务，用于计算分布式计算机上的风险因素识别模块、风险因素推理模块、风险因素评估模块、通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大***经搜寻与海量的数据信息进行对比分析，分级推理、预警值评估，之后再将处理结果回传给用户并进行云存储。
与云数据库动态黑名单对比分析(700)模块，所述云数据库包括原始动态信息数据库、原始图像特征信息数据库、实时风险因素采集图像信息数据库、实时风险因素采集动态信息数据库、风险因素识别数据库、风险因素推理数据库、风险因素评估数据库、风险因素应对数据库、风险因素管理评价数据库、实时判断依据数据库、判断规则数据库和事故实例数据库，所述云数据库用于云计算(600)***的集群应用，将分布式***文件通过应用软件集合起来协同工作，为用户提供数据存储和业务访问的工作，通过设置在线数据存储模块，存储模块内储存有人脸图像黑名单、动态特征信息黑名单、生物特征信息黑名单和语音信息黑名单，将采集的人脸图像、动态特征信息、生物特征信息和语音信息与存储模块内的人脸图像黑名单、动态特征信息黑名单、生物特征信息黑名单和语音信息黑名单进行对比，如果相似度达到预设的预警值，则预警***及时将该信息生成预警提示信息进行风险因素的推理、评估、生成预警级别报警信息、反馈给上一级预警***进行风险管理评价。
确定目标人物身份(800)模块用于处理与云数据库动态黑名单对比分析(700)生成的预警提示信息、预警值评估、生成预警级别报警信息、生成预警信号反馈给上一级预警***的信息，并根据云计算(600)通过与云数据库动态黑名单对比分析(700)传送的数据进行实时信息更新，用于存储所述人工智能预警***(500)对云数据库信息查阅所生成的信息数据。
本地数据库模块(900)用于存储本级人工智能预警操作***所生成的预警信息，用于存储向上一级人工智能预警操作***发送的信息及反馈信息，用于存储向云计算发送的信息及反馈信息。
优选方式，所述云数据库***包括有动态识别黑名单。
优选方式，所述网络包括局域网、Internet或无线网络。
优选方式，所述卷积神经网络激活函数为ReLU激活函数。
优选方式，所述卷积神经网络损失函数为交叉熵损失函数。
优选方式，所述拍摄终端为AI拍摄终端。
优选方式，所述云计算是基于开源Hadoop架构进行设计。
优选方式，所述云数据库：通过在线数据存储模块，在线数据存储模块基于开源Hadoop架构进行设计。
优选方式，所述云数据库分为原始动态信息数据库、原始图像特征信息数据库、实时风险因素采集图像信息数据库、实时风险因素采集动态信息数据库、风险因素识别数据库、风险因素推理数据库、风险因素评估数据库、风险因素应对数据库、风险因素管理评价数据库、实时判断依据数据库、判断规则数据库和事故实例数据库。
优选方式，所述人工智能预警操作***基于Linux操作***架构的基础上开发的AI 人工智能预警操作***。
优选方式，所述动态特征信息包括采集的特征图谱信息。
优选方式，所述原始动态特征信息包括存储模块储存的动态黑名单。
优选方式，所述服务器700包括高性能中央处理器CPU、图像处理器GPU、可编程逻辑门阵列FPGA、神经网络处理器NPU、异构/可重构处理器。
优选方式，所述卷积层、池化层为特征提取，所述全连接层为分类识别，激活函数ReLU 为正则损失。
附图说明
图1为人工智能CNN、LSTM神经网络动态识别***结构框图：100、拍摄终端；200、服务器；300、卷积神经网络；400、长短时记忆神经网络；500、人工智能预警操作***；600、云计算；700、与云数据库动态黑名单对比分析；800、确定目标人物身份；900、本地数据库。
图2为卷积神经网络结构示意图：输入层、硬连线层H1、卷积层C2、下采样层S3、卷积层C4、下采样层S5、卷积层C6、Dropout层。
图3为长短时记忆神经网络结构示意图。
具体实施方式
下面结合说明书附图对本发明的技术方案进行清楚、完整地描述具体实施方式。
本发明提供一种人工智能CNN、LSTM神经网络动态识别***，如图1所示，拍摄终端(100)用于采集含有人脸特征、语音特征及行为特征信息的视频流，并自动在图像中检测和跟踪人脸、语音、行为特征的信息，进而对检测到的人脸特征、语音特征及行为特征信息进行一系列与行为相关的技术处理，包括人脸识别、语音识别、行为特征信息识别及异常行为识别(包括打架、盗窃、老人摔倒、聚众事件、入侵等等)，并通过网络将图像序列发送至服务器(200)，所述网络包括局域网、Interne或无线网络，整体***结构如图1所示。
服务器(200)包括高性能中央处理器CPU、图像处理器GPU、可编程逻辑门阵列FPGA、神经网络处理器NPU、异构/可重构处理器、卷积神经网络(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)模块、与云数据库动态黑名单对比分析(700)模块、确定目标人物身份(800)模块、本地数据库模块(900)，所述服务器 (200)用于为网络***中客户端提供各种高性能计算的服务，服务器在人工智能预警操作***的控制下，将与其相连的网络视频服务器、程控交换机、AI云计算服务器、AI数据库服务器、GPU云处理器、NPU神经网络云处理器、异构/可重构云处理器、Web服务器、通讯服务器、显示器、混合矩阵、路由器、调制解调器相连接，为远程监控客户端提供集中计算、信息发布及数据管理的服务，所述神经网络处理器NPU用于完成卷积神经网络、长短时记忆神经网络的运算过程，所述异构/可重构处理器用于CPU、GPU、NPU之间协同计算，彼此加速，一起同步工作。
卷积神经网络模块(300)包括输入层、硬连线层H1、卷积层C2、下采样层S3、卷积层C4、下采样层S5、卷积层C6、Dropout层、输入长短时记忆神经网络，卷积神经网络通过3D卷积核去提取视频数据的时间和空间特征，3D特征提取器在空间和时间维度上的操作，可以捕捉视频流的运动信息，3D卷积特征提取器构造了一个3D卷积神经网络架构，这个架构可以从连续视频帧中产生多通道的信息，然后在每一个通道都分离地进行卷积和下采样操作，最后将所有通道的信息组合起来得到最终的特征描述，通过计算高层运动特征得到辅助输出来增强模型，在Trecvid数据集中测试，并和一些基准方法进行比较，为了应对不同环境的使用，综合多个不同的CNN架构去综合判断识别结果，3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核去捕捉时间和空间维度上的运动特征信息，卷积层中每个3D卷积核的权值都是一样的，也就是共享权值，一个卷积核只能提取一种运动特征，多种卷积核提取多种运动特征，每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40，首先将预处理后的连续7帧，每帧大小是60×40的序列输入卷积神经网络进行训练，更新卷积神经网络各层权值，对卷积神经网络卷积层C2进行初始化操作，首先对卷积层和输出层的卷积核和权重进行高斯分布随机初始化，均值设为0，方差设为0.001，对偏置进行全0初始化，再对卷积神经网络进行训练，步骤如下：
a)输入层：输入连续7帧，每帧大小60×40；
b)硬连线层H1：H1层用来生成多通道信息，被用来编码先验知识，该层对输入层的每一帧提取五个通道的信息，分别是：灰度值、x方向的梯度、y方向的梯度，x方向的光流、y方向的光流，其中前面三个值对每帧都计算，x和y方向的光流需要两个连续帧才能计算，由于输入层是7帧，所以H1的特征图数量是7(灰度值)+7(x方向的梯度)+7(y方向的梯度)+6(x方向的光流)+6(y方向的光流)＝33，每个特征图大小依然是60×40；
c)卷积层C2：C2层是3D卷积层，3D卷积核大小是7×7×3，其中7×7表示在空间上的大小，3是时间维的长度，C2层对H1层的五个通道的每一个通道分别进行卷积，特征图数量是(7-3+1)×3+(6-3+1)×2＝5×3+4×2＝23，乘以3表示灰度、x和y方向的梯度这三个通道，乘以2表示x和y方向的光流，采用2个不同的卷积核，这样C2 层有两组特征图，每组都包含23个特征图，即C2层总的特征图数量是23×2，每个特征图的大小是(60-7+1)×(40-7+1)＝54×34，C2层的可训练参数是(7×7×3×5+5) ×2＝740×2＝1480个，其中的乘以5表示5个通道的信息，加上5表示偏置项，乘以2 表示有2个不同的卷积核，3D卷积层深度为1的卷积计算方法，公式如下所示：
上式一中xi，j表示图像的第i行第j列元素，wm，n表示第m行第n列权重，wb表示过滤器的偏置项，ai，j表示特征图谱的第i行第j列元素，f表示relu激活函数；
当步长为2时，特征图谱就变成2×2了，计算公式如下所示：
W2＝(W1-F+2P)/S+1 式二
H2＝(H1-F+2P)/S+1 式三
上式二、三中W2表示卷积后特征图谱的宽度，W1表示卷积前图像的宽度，F表示过滤器的宽度，P表示零填充数量，S表示步长，H2表示卷积后的特征图谱的高度，H1表示卷积前图像的宽度；
深度大于1的卷积计算方式，公式如下所示：
上式四中D表示深度，F表示过滤器的大小(宽度或高度，两者相同)，wd，m，n表示过滤器的第d层第m行第n列权重，ad，i，j表示图像的第d层第i行第j列像素，其它符号含义和式一公式是相同的；
d)下采样层S3：采用最大池化方法，采样窗口是2×2，所以每个特征图大小是(54/2)×(34/2)＝27×17，特征图数量等于上一层数量依然是23×2，
其一般表示形式，公式如下所示：
式五中ai，j表示特征图谱的第i行第j列元素，b为偏差量，K为特征图的通道数，f、 so和p是卷积层参数，对应卷积核大小、卷积步长和填充层数，特殊地，当卷积核是大小f＝1，步长so＝1且不包含填充的单位卷积核时，卷积层内的交叉相关计算等价于矩阵乘法，步长so、像素(i，j)的含义与卷积层相同，p是预指定参数，当p＝1时，当p→∞时，Lp 池化在区域内取最大值，称为最大池化，以损失特征图尺寸为代价保留图像的背景和纹理信息；
e)卷积层C4：C4层是3D卷积层，卷积核大小是7×6×3，其中7×6表示在空间上的大小，3是时间维，特征图数量是(5-3+1)×3+(4-3+1)×2＝3×3+2×2＝13，乘以3表示灰度值、x和y方向的梯度这三个通道，乘以2表示x和y方向的光流，采用6个不同的卷积核，这样C2层有6组特征图，每组都包含6个特征图，即本层总的特征图数量是13×6＝78，每个特征图的大小是(27-7+1)×(17-6+1)＝21×12，可训练参数有 (7×6×3×5+5)×6＝3810个，C4计算公式与C2公式相同；
f)下采样层S5：S5层下采样层，采用最大池化方法，采样窗口是3×3，所以每个特征图大小是(21/3)×(12/3)＝7×4，特征图数量等于上一层数量依然是13×6＝78，C6 层是2D卷积层，卷积核大小是7×4，特征图数量是128，特征图大小是1×1，每一个特征图都与S5层的78个特征图相连接，可训练参数有(4×7×128+128)×(13×6)＝289536 个，S3计算公式与S5计算公式相同；
g)卷积层C6：这一层只在空间维度上面卷积，使用的核为7×4，然后输出的特征图谱就减小到1×1的大小，其包含128个特征图谱，每个特征图谱与S5层中所有78(13×6)个特征图谱全连接，这样每个特征图谱就是1×1，也就是一个值了，而这个值就是最终的特征向量共128维，C6计算公式与C2公式相同；
h)Dropout层：随机地为网络中的神经元赋值零权重，由于选择了0.5的比率，则50％的神经元将会是零权重，通过这种操作，网络对数据的微小变化的响应就不那么敏感了，因此，它能够进一步提高对不可见数据处理的准确性，Dropout层的输出仍然是一个1×128的矩阵，再将长度为128的向量输出值输入到长短时记忆神经网络(400)进行时间序列行为分析运算；
i)将卷积神经网络进行权值初始化，输入数据，重复步骤(a)～(h)，前向传播得到输出值，求出卷积神经网络的输出值与目标值之间的误差，当误差大于期望值时，将误差传回卷积神经网络中，用BP反向传播算法进行监督训练，求出结果与期望值的误差，再将误差一层一层的返回，计算出每一层的误差，进行权值更新，依次为Dropout层、卷积层C6、下采样层S5、卷积层C4、下采样层S3、卷积层C2、硬连线层H1的误差，以求得卷积神经网络的总误差，再将误差传入卷积神经网络中，求得该各层对于总的误差应该承担多少比重，在训练卷积神经网络时，通过不断改变卷积神经网络中所有参数，使损失函数不断减小，当误差等于或小于期望值时，证明已训练出高精度的卷积神经网络模型，结束训练；
j)采集预处理后的连续7帧立方体序列输入卷积神经网络进行测试，通过步骤(a)～(h) 卷积神经网络的数据处理过程后，数据被处理为一个1×128向量，输入到softmax分类器进行分离，softmax分类器将要分离的信号映射到相应的标签上，训练时信号经过卷积神经网络的数据处理过程得到一个分类结果，将其与相应的标签数据进行比较算出相应的相对误差，通过训练一定的次数不断修正卷积神经网络中的卷积窗口上的权值使得相对误差不断减小，最后趋于收敛，然后将测试集输入到该网络中进行测试分类，得到分类结果标签向量，最大值元素所在标号表示该运动特征为本次测试运动特征的类别标签，实现行为识别。
长短时记忆神经网络(400)LSTM记忆单元包括遗忘门、输入门、输出门，LSTM 用两个门来控制单元状态c的内容，一个是遗忘门，它决定了上一时刻的单元状态ct-1有多少保留到当前时刻ct，t-1时刻的输入ht-1和xt经过一个线性变换+sigmoid激活以后输出 ft，fy再与ct-1进行相乘得到一个中间结果，另一个是输入门，它决定了当前时刻网络的输入 xt有多少保存到单元状态ct，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid 激活以后输出lt，同时ht-1和xt经过另一个线性变换+tanh激活以后，与lt相乘得到一个中间结果，这个中间结果和上一步的中间结果相加得到ct，所谓输出门，LSTM用输出门来控制单元状态ct有多少输出到LSTM的当前输出值ht，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出ot，ot与经过tanh的ct相乘得到ht，这里c、x、 h都是向量，LSTM记忆单元时间序列数据包括动态特征模型、手写体识别、序列生成、行为分析，这里的序列指的是时间向量序列，假设时间序列为：
X{x1，x2，...，xN}
时间序列模型为：
将卷积神经网络Dropout层长度为128的向量序列的输出值输入到长短时记忆神经网络运算得到一个输出，输出向量经过softmax函数进行转换，输出行为分类标签向量，看是正面行为，还是负面行为；
对长短时记忆神经网络进行前向训练，步骤如下所示：
a)遗忘门的计算，公式如下所示：
ft＝σ(wf·[ht-1，xt]+bf) 式1
式1中Wf表示遗忘门的权重矩阵，[ht-1，xt]表示把两个向量连接成一个更长的向量，bf表示遗忘门的偏置项，σ表示sigmoid函数，如果输入的维度是dx，隐藏层的维度是dn，单元状态的维度是dc(通常dc＝dn)，则遗忘门的权重矩阵wf维度是dc×(dn+dx)，事实上，权重矩阵Wf都是由两个矩阵拼接而成的，一个是Wfh，它对应着输入项ht-1，其维度为dc×dh，一个是wfx，它对应着输入项xt，其维度为dc×dx，Wf可以写为，公式如下所示：
b)输入门的计算，公式如下所示：
it＝σ(wi·[ht-1，xt]+bi) 式2
式2中wi表示输入门的权重矩阵，bi表示输入门的偏置项，下面计算用于描述当前输入的单元状态它是根据上一次的输出和本次输入来计算的，公式如下所示：
计算当前时刻的单元状态ct，它是由上一次的单元状态ct-1按元素乘以遗忘门ft，再用当前输入的单元状态按元素乘以输入门it，再将两个积加和产生的，公式如下所示：
符号表示按元素乘，这样就把LSTM关于当前的记忆和长期的记忆ct-1组合在一起，形成了新的单元状态ct，由于遗忘门的控制，它可以保存很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆；
c)输出门的计算，公式如下所示：
ot＝σ(wo·[ht-1，xt]+bo) 式5
输出门它控制了长期记忆对当前输出的影响，LSTM最终的输出，是由输出门和单元状态共同确定的，公式如下所示：
d)对长短时记忆神经网络进行反向传播训练，LSTM反向传播计算每个神经元的误差项δ值，LSTM误差项的反向传播包括两个方向，一个是沿时间的反向传播，即从当前t时刻开始计算每个时刻的误差项，另一个是将误差项向上一层传播，步骤如下：
设定gate的激活函数为sigmoid函数，输出的激活函数为tanh函数，它们的导数分别为，公式如下所示：
σ′(z)＝y(1-y)
tanh′(z)＝1-y2
上式中sigmoid和tanh函数的导数都是原函数的函数，一旦计算原函数，就可以用它来计算出导数的值，LSTM需要学习的参数共有8组，分别是遗忘门的权重矩阵wf和偏置项bf、输入门的权重矩阵wi和偏置项bi、输出门的权重矩阵wo和偏置项bo、以及计算单元状态的权重矩阵wc和偏置项bc，权重矩阵的两部分在反向传播中使用不同的公式，在后续的推导中权重矩阵wf、wi、wo、wc都将被写为分开的两个矩阵：wfh、wfx、wih、wix、 woh、wox、wch、wcx；
e)按元素乘符号，当作用于两个向量时，运算公式如下所示：
当作用于一个向量和一个矩阵时，运算公式如下所示：
当作用于两个矩阵时，两个矩阵对应位置的元素相乘，公式如下所示：
当一个行向量右乘一个对角矩阵时，相当于这个行向量按元素乘矩阵对角线组成的向量，公式如下所示：
在t时刻，LSTM的输出值为ht，定义t时刻的误差项δt为，公式如下所示：
假设误差项是损失函数对输出值的导数，需要定义四个加权输入对应的误差项，公式如下所示：
netf，t＝wf[ht-1，xt]+bf
＝wfhht-1+wfxxt+bf
neti，t＝wi[ht-1，xt]+bi
＝wihht-1+wixxt+bi
neto，t＝wo[ht-1，xt]+bo
＝wohht-1+woxxt+bo
f)沿时间反向传递误差项，计算出t-1时刻的误差项δt-1，公式如下所示：
利用全导数公式得出式七，公式如下所示：
求式七中每个偏导数，公式如下所示：
根据式六求出：
根据式四求出：
因如下运算：
ot＝σ(neto，t)
neto，t＝wohht-1+woxxt+bo
ft＝σ(netf，t)
netf，t＝wfhht-1+wfxxt+bf
it＝σ(neti，t)
neti，t＝wihht-1+wixxt+bi
所得出偏导数，公式如下所示：
将上述偏导数带入到式七中得到式八，公式如下所示：
根据δo，t、δf，t、δi，t、的定义，得到式九、式十、式十一、式十二，公式如下所示：
从式八到式十二是误差项沿时间反向传播的时刻公式，根据式八到式十二求得误差项向前传递到任意k时刻的十三公式，公式如下所示：
g)将误差项传递到上一层，假设当前为第l层，定义l-1层的误差项是误差函数对l-1层加权输入的导数，公式如下所示：
LSTM的输入xt.公式如下所示：
上式中，fl-1表示第l-1层的激活函数，求E对的导数，用全导数公式将误差传递到上一层，公式如下所示：
h)权重梯度的计算wfh、wih、wch、woh的权重梯度是各个时刻梯度之和，首先求出它们在t时刻的梯度，公式如下所示：
将各个时刻的梯度加在一起，得到最终的梯度，公式如下所示：
求bf、bi、bc、bo各个时刻的偏置项梯度，公式如下所示：
将各个时刻的偏置项梯度加在一起，公式如下所示：
根据误差项，求wfx、wix、wcx、wox的权重梯度，公式如下所示：
i)将长短时记忆神经网络每个输出值进行均值池化，输出向量经过softmax函数进行转换，输出行为分类标签向量，最大值元素所在标号表示该特征图谱属于该类别标签的向量，看是消极行为还是积极行为；
j)最后使用交叉熵误差函数作为优化目标对模型进行优化，公式如下所示：
上式中，N是训练样本的个数，向量yn是样本的标记，向量on是网络的输出，标记yn是一个one-hot向量；
k)跳转到第(a)步，输入数据，重复步骤(a)～(j)，直至网络误差小于给定值，证明已训练出高精度的长短时记忆神经网络模型，结束训练；
l)采集预处理后的特征图谱序列中任意一组进行测试，通过步骤(a)～(j)得到行为分类结果标签向量，最大值元素所在标号表示该特征图谱为本次测试的行为类别标签，实现行为识别。
人工智能预警操作***(500)基于Linux操作***架构的基础上开发的AI人工智能预警操作***，该***包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化信息网络平台***，用于管理和控制计算机硬件、软件及数据资源的计算机运行程序，用于各级人工智能预警***与互联网+ 分布式预警警亭沟通的接口，用于云计算、云存储、云数据库和人工智能预警***、互联网+ 分布式预警警亭及其他软件沟通的接口，用于多维人机物协同互操作***与移动设备和智能电视的通讯接口，用于人机界面为其它应用软件提供支持，包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化网络信息平台***、智能物联与风险因素数据采集***、风险因素管理***，人工智能预警操作***(500)子***包括动态识别***、机器视觉***、执行器***、认知行为***，文件***、进程管理、进程间通讯、内存管理、网络通讯、安全机制、驱动程序、用户界面。
云计算(600)基于开源Hadoop架构进行设计，利用集群优势进行高速运算和存储，云计算(600)包括基础设施即服务、平台即服务、软件即服务，用于计算分布式计算机上的风险因素识别模块、风险因素推理模块、风险因素评估模块、通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大***经搜寻与海量的数据信息进行对比分析，分级推理、预警值评估，之后再将处理结果回传给用户并进行云存储。
与云数据库动态黑名单对比分析(700)模块，模块，所述云数据库包括原始动态信息数据库、原始图像特征信息数据库、实时风险因素采集图像信息数据库、实时风险因素采集动态信息数据库、风险因素识别数据库、风险因素推理数据库、风险因素评估数据库、风险因素应对数据库、风险因素管理评价数据库、实时判断依据数据库、判断规则数据库和事故实例数据库，所述云数据库用于云计算(600)***的集群应用，将分布式***文件通过应用软件集合起来协同工作，为用户提供数据存储和业务访问的工作，通过设置在线数据存储模块，存储模块内储存有人脸图像黑名单、动态特征信息黑名单、生物特征信息黑名单和语音信息黑名单，将采集的人脸图像、动态特征信息、生物特征信息和语音信息与存储模块内的人脸图像黑名单、动态特征信息黑名单、生物特征信息黑名单和语音信息黑名单进行对比，如果相似度达到预设的预警值，则预警***及时将该信息生成预警提示信息进行风险因素的推理、评估、生成预警级别报警信息、反馈给上一级预警***进行风险管理评价。
确定目标人物身份(800)模块用于处理与云数据库动态黑名单对比分析(700)生成的预警提示信息、预警值评估、生成预警级别报警信息、生成预警信号反馈给上一级预警***的信息，并根据云计算(600)通过与云数据库动态黑名单对比分析(700)传送的数据进行实时信息更新，用于存储所述人工智能预警***(500)对云数据库信息查阅所生成的信息数据。
本地数据库模块(900)用于存储本级人工智能预警操作***所生成的预警信息，用于存储向上一级人工智能预警操作***发送的信息及反馈信息，用于存储向云计算发送的信息及反馈信息。

Claims (10)

1.人工智能CNN、LSTM神经网络动态识别***，其特征在于：包括：拍摄终端(100)、服务器(200)、卷积神经网络(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)、与云数据库动态黑名单对比分析(700)、确定目标人物身份(800)、本地数据库模块(900)。
2.根据权利要求1所述的人工智能CNN、LSTM神经网络动态识别***，其特征在于：所述拍摄终端(100)用于采集含有人脸特征、语音特征及行为特征信息的视频流，并自动在图像中检测和跟踪人脸、语音、行为特征的信息，进而对检测到的人脸特征、语音特征及行为特征信息进行一系列与行为相关的技术处理，包括人脸识别、语音识别、行为特征信息识别及异常行为识别(包括打架、盗窃、老人摔倒、聚众事件、入侵等等)，并通过网络将图像序列发送至服务器(200)，所述网络包括局域网、Interne或无线网络。
3.根据权利要求1所述的人工智能CNN、LSTM神经网络动态识别***，其特征在于：所述服务器(200)包括高性能中央处理器CPU、图像处理器GPU、可编程逻辑门阵列FPGA、神经网络处理器NPU、异构/可重构处理器、卷积神经网络(300)、长短时记忆神经网络(400)、人工智能预警操作***(500)、云计算(600)模块、与云数据库动态黑名单对比分析(700)模块、确定目标人物身份(800)模块、本地数据库模块(900)，所述服务器(200)用于为网络***中客户端提供各种高性能计算的服务，服务器在人工智能预警操作***的控制下，将与其相连的网络视频服务器、程控交换机、AI云计算服务器、AI数据库服务器、GPU云处理器、NPU神经网络云处理器、异构/可重构云处理器、Web服务器、通讯服务器、显示器、混合矩阵、路由器、调制解调器相连接，为远程监控客户端提供集中计算、信息发布及数据管理的服务。
4.根据权利要求1所述种人工智能CNN、LSTM神经网络动态识别***，其特征在于：所述卷积神经网络模块(300)包括输入层、硬连线层H1、卷积层C2、下采样层S3、卷积层C4、下采样层S5、卷积层C6、Dropout层、输入长短时记忆神经网络，卷积神经网络通过3D卷积核去提取视频数据的时间和空间特征，3D特征提取器在空间和时间维度上的操作，可以捕捉视频流的运动信息，3D卷积特征提取器构造了一个3D卷积神经网络架构，这个架构可以从连续视频帧中产生多通道的信息，然后在每一个通道都分离地进行卷积和下采样操作，最后将所有通道的信息组合起来得到最终的特征描述，通过计算高层运动特征得到辅助输出来增强模型，在Trecvid数据集中测试，并和一些基准方法进行比较，为了应对不同环境的使用，综合多个不同的CNN架构去综合判断识别结果，3D卷积是通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核去捕捉时间和空间维度上的运动特征信息，卷积层中每个3D卷积核的权值都是一样的，也就是共享权值，一个卷积核只能提取一种运动特征，多种卷积核提取多种运动特征，每个3D卷积核卷积的立方体是连续7帧，每帧大小是60×40，首先将预处理后的连续7帧，每帧大小是60×40的序列输入卷积神经网络进行训练，更新卷积神经网络各层权值，对卷积神经网络卷积层C2进行初始化操作，首先对卷积层和输出层的卷积核和权重进行高斯分布随机初始化，均值设为0，方差设为0.001，对偏置进行全0初始化，再对卷积神经网络进行训练，步骤如下：
a)输入层：输入连续7帧，每帧大小60×40；
b)硬连线层H1：H1层用来生成多通道信息，被用来编码先验知识，该层对输入层的每一帧提取五个通道的信息，分别是：灰度值、x方向的梯度、y方向的梯度，x方向的光流、y方向的光流，其中前面三个值对每帧都计算，x和y方向的光流需要两个连续帧才能计算，由于输入层是7帧，所以H1的特征图数量是7(灰度值)+7(x方向的梯度)+7(y方向的梯度)+6(x方向的光流)+6(y方向的光流)＝33，每个特征图大小依然是60×40；
c)卷积层C2：C2层是3D卷积层，3D卷积核大小是7×7×3，其中7×7表示在空间上的大小，3是时间维的长度，C2层对H1层的五个通道的每一个通道分别进行卷积，特征图数量是(7-3+1)×3+(6-3+1)×2＝5×3+4×2＝23，乘以3表示灰度、x和y方向的梯度这三个通道，乘以2表示x和y方向的光流，采用2个不同的卷积核，这样C2层有两组特征图，每组都包含23个特征图，即C2层总的特征图数量是23×2，每个特征图的大小是(60-7+1)×(40-7+1)＝54×34，C2层的可训练参数是(7×7×3×5+5)×2＝740×2＝1480个，其中的乘以5表示5个通道的信息，加上5表示偏置项，乘以2表示有2个不同的卷积核，3D卷积层深度为1的卷积计算方法，公式如下所示：
上式一中xi，j表示图像的第i行第j列元素，wm，n表示第m行第n列权重，wb表示过滤器的偏置项，ai，j表示特征图谱的第i行第j列元素，f表示relu激活函数；
当步长为2时，特征图谱就变成2×2了，计算公式如下所示：
W2＝(W1-F+2P)/S+1 式二
H2＝(H1-F+2P)/S+1 式三
上式二、三中W2表示卷积后特征图谱的宽度，W1表示卷积前图像的宽度，F表示过滤器的宽度，P表示零填充数量，S表示步长，H2表示卷积后的特征图谱的高度，H1表示卷积前图像的宽度；
深度大于1的卷积计算方式，公式如下所示：
上式四中D表示深度，F表示过滤器的大小(宽度或高度，两者相同)，wd，m，n表示过滤器的第d层第m行第n列权重，ad，i，j表示图像的第d层第i行第j列像素，其它符号含义和式一公式是相同的；
d)下采样层S3：采用最大池化方法，采样窗口是2×2，所以每个特征图大小是(54/2)×(34/2)＝27×17，特征图数量等于上一层数量依然是23×2，
其一般表示形式，公式如下所示：
式五中ai，j表示特征图谱的第i行第j列元素，b为偏差量，K为特征图的通道数，f、so和p是卷积层参数，对应卷积核大小、卷积步长和填充层数，特殊地，当卷积核是大小f＝1，步长so＝1且不包含填充的单位卷积核时，卷积层内的交叉相关计算等价于矩阵乘法，步长so、像素(i，j)的含义与卷积层相同，p是预指定参数，当p＝1时，当p→∞时，Lp池化在区域内取最大值，称为最大池化，以损失特征图尺寸为代价保留图像的背景和纹理信息；
e)卷积层C4：C4层是3D卷积层，卷积核大小是7×6×3，其中7×6表示在空间上的大小，3是时间维，特征图数量是(5-3+1)×3+(4-3+1)×2＝3×3+2×2＝13，乘以3表示灰度值、x和y方向的梯度这三个通道，乘以2表示x和y方向的光流，采用6个不同的卷积核，这样C2层有6组特征图，每组都包含6个特征图，即本层总的特征图数量是13×6＝78，每个特征图的大小是(27-7+1)×(17-6+1)＝21×12，可训练参数有(7×6×3×5+5)×6＝3810个，C4计算公式与C2公式相同；
f)下采样层S5：S5层下采样层，采用最大池化方法，采样窗口是3×3，所以每个特征图大小是(21/3)×(12/3)＝7×4，特征图数量等于上一层数量依然是13×6＝78，C6层是2D卷积层，卷积核大小是7×4，特征图数量是128，特征图大小是1×1，每一个特征图都与S5层的78个特征图相连接，可训练参数有(4×7×128+128)×(13×6)＝289536个，S3计算公式与S5计算公式相同；
g)卷积层C6：这一层只在空间维度上面卷积，使用的核为7×4，然后输出的特征图谱就减小到1×1的大小，其包含128个特征图谱，每个特征图谱与S5层中所有78(13×6)个特征图谱全连接，这样每个特征图谱就是1×1，也就是一个值了，而这个值就是最终的特征向量共128维，C6计算公式与C2公式相同；
h)Dropout层：随机地为网络中的神经元赋值零权重，由于选择了0.5的比率，则50％的神经元将会是零权重，通过这种操作，网络对数据的微小变化的响应就不那么敏感了，因此，它能够进一步提高对不可见数据处理的准确性，Dropout层的输出仍然是一个1×128的矩阵，再将长度为128的向量输出值输入到长短时记忆神经网络(400)进行时间序列行为分析运算；
i)将卷积神经网络进行权值初始化，输入数据，重复步骤(a)～(h)，前向传播得到输出值，求出卷积神经网络的输出值与目标值之间的误差，当误差大于期望值时，将误差传回卷积神经网络中，用BP反向传播算法进行监督训练，求出结果与期望值的误差，再将误差一层一层的返回，计算出每一层的误差，进行权值更新，依次为Dropout层、卷积层C6、下采样层S5、卷积层C4、下采样层S3、卷积层C2、硬连线层H1的误差，以求得卷积神经网络的总误差，再将误差传入卷积神经网络中，求得该各层对于总的误差应该承担多少比重，在训练卷积神经网络时，通过不断改变卷积神经网络中所有参数，使损失函数不断减小，当误差等于或小于期望值时，证明已训练出高精度的卷积神经网络模型，结束训练；
j)采集预处理后的连续7帧立方体序列输入卷积神经网络进行测试，通过步骤(a)～(h)卷积神经网络的数据处理过程后，数据被处理为一个1×128向量，输入到softmax分类器进行分离，softmax分类器将要分离的信号映射到相应的标签上，训练时信号经过卷积神经网络的数据处理过程得到一个分类结果，将其与相应的标签数据进行比较算出相应的相对误差，通过训练一定的次数不断修正卷积神经网络中的卷积窗口上的权值使得相对误差不断减小，最后趋于收敛，然后将测试集输入到该网络中进行测试分类，得到分类结果标签向量，最大值元素所在标号表示该运动特征为本次测试运动特征的类别标签，实现行为识别。
5.根据权利要求1所述的人工智能CNN、LSTM神经网络动态识别***，其特征在于：所述长短时记忆神经网络(400)LSTM记忆单元包括遗忘门、输入门、输出门，LSTM用两个门来控制单元状态c的内容，一个是遗忘门，它决定了上一时刻的单元状态ct-1有多少保留到当前时刻ct，t-1时刻的输入ht-1和xt经过一个线性变换+sigmoid激活以后输出ft，ft再与ct-1进行相乘得到一个中间结果，另一个是输入门，它决定了当前时刻网络的输入xt有多少保存到单元状态ct，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出lt，同时ht-1和xt经过另一个线性变换+tanh激活以后，与lt相乘得到一个中间结果，这个中间结果和上一步的中间结果相加得到ct，所谓输出门，LSTM用输出门来控制单元状态ct有多少输出到LSTM的当前输出值ht，t-1时刻的输入ht-1和xt经过另外一个线性变换+sigmoid激活以后输出ot，ot与经过tanh的ct相乘得到ht，这里c、x、h 都是向量，LSTM记忆单元时间序列数据包括动态特征模型、手写体识别、序列生成、行为分析，这里的序列指的是时间向量序列，假设时间序列为：
X{x1，x2，...，xN}
时间序列模型为：
将卷积神经网络Dropout层长度为128的向量序列的输出值输入到长短时记忆神经网络运算得到一个输出，输出向量经过softmax函数进行转换，输出行为分类标签向量，看是正面行为，还是负面行为；
对长短时记忆神经网络进行前向训练，步骤如下所示：
a)遗忘门的计算，公式如下所示：
ft＝σ(wf·[ht-1，xt]+bf) 式1
式1中Wf表示遗忘门的权重矩阵，[ht-1，xt]表示把两个向量连接成一个更长的向量，bf表示遗忘门的偏置项，σ表示sigmoid函数，如果输入的维度是dx，隐藏层的维度是dn，单元状态的维度是dc(通常dc＝dn)，则遗忘门的权重矩阵wf维度是dc×(dn+dx)，事实上，权重矩阵Wf都是由两个矩阵拼接而成的，一个是Wfh，它对应着输入项ht-1，其维度为dc×dh，一个是wfx，它对应着输入项xt，其维度为dc×dx，Wf可以写为，公式如下所示：
b)输入门的计算，公式如下所示：
it＝σ(wi·[ht-1，xt]+bi) 式2
式2中wi表示输入门的权重矩阵，bi表示输入门的偏置项，下面计算用于描述当前输入的单元状态它是根据上一次的输出和本次输入来计算的，公式如下所示：
计算当前时刻的单元状态ct，它是由上一次的单元状态ct-1按元素乘以遗忘门ft，再用当前输入的单元状态按元素乘以输入门it，再将两个积加和产生的，公式如下所示：
符号表示按元素乘，这样就把LSTM关于当前的记忆和长期的记忆ct-1组合在一起，形成了新的单元状态ct，由于遗忘门的控制，它可以保存很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆；
c)输出门的计算，公式如下所示：
ot＝σ(wo·[ht-1，xt]+bo) 式5
输出门它控制了长期记忆对当前输出的影响，LSTM最终的输出，是由输出门和单元状态共同确定的，公式如下所示：
d)对长短时记忆神经网络进行反向传播训练，LSTM反向传播计算每个神经元的误差项δ值，LSTM误差项的反向传播包括两个方向，一个是沿时间的反向传播，即从当前t时刻开始计算每个时刻的误差项，另一个是将误差项向上一层传播，步骤如下：
设定gate的激活函数为sigmoid函数，输出的激活函数为tanh函数，它们的导数分别为，公式如下所示：
σ′(z)＝y(1-y)
tanh′(z)＝1-y2
上式中sigmoid和tanh函数的导数都是原函数的函数，一旦计算原函数，就可以用它来计算出导数的值，LSTM需要学习的参数共有8组，分别是遗忘门的权重矩阵wf和偏置项bf、输入门的权重矩阵wi和偏置项bi、输出门的权重矩阵wo和偏置项bo、以及计算单元状态的权重矩阵wc和偏置项bc，权重矩阵的两部分在反向传播中使用不同的公式，在后续的推导中权重矩阵wf、wi、wo、wc都将被写为分开的两个矩阵：wfh、wfx、wih、wix、woh、wox、wch、wcx；
e)按元素乘符号，当作用于两个向量时，运算公式如下所示：
当作用于一个向量和一个矩阵时，运算公式如下所示：
当作用于两个矩阵时，两个矩阵对应位置的元素相乘，公式如下所示：
当一个行向量右乘一个对角矩阵时，相当于这个行向量按元素乘矩阵对角线组成的向量，公式如下所示：
在t时刻，LSTM的输出值为ht，定义t时刻的误差项δt为，公式如下所示：
假设误差项是损失函数对输出值的导数，需要定义四个加权输入对应的误差项，公式如下所示：
netf，t＝wf[ht-1，xt]+bf
＝wfhht-1+wfxxt+bf
neti，t＝wi[ht-1，xt]+bi
＝wihht-1+wixxt+bi
neto，t＝wo[ht-1，xt]+bo
＝wohht-1+woxxt+bo
f)沿时间反向传递误差项，计算出t-1时刻的误差项δt-1，公式如下所示：
利用全导数公式得出式七，公式如下所示：
求式七中每个偏导数，公式如下所示：
根据式六求出：
根据式四求出：
因如下运算：
ot＝σ(neto，t)
neto，t＝wohht-1+woxxt+bo
ft＝σ(netf，t)
netf，t＝wfhht-1+wfxxt+bf
it＝σ(neti，t)
neti，t＝wihht-1+wixxt+bi
所得出偏导数，公式如下所示：
将上述偏导数带入到式七中得到式八，公式如下所示：
根据δo，t、δf，t、δi，t、的定义，得到式九、式十、式十一、式十二，公式如下所示：
从式八到式十二是误差项沿时间反向传播的时刻公式，根据式八到式十二求得误差项向前传递到任意k时刻的十三公式，公式如下所示：
g)将误差项传递到上一层，假设当前为第l层，定义l-1层的误差项是误差函数对l-1层加权输入的导数，公式如下所示：
LSTM的输入Xt，公式如下所示：
上式中，fl-1表示第l-1层的激活函数，求E对的导数，用全导数公式将误差传递到上一层，公式如下所示：
h)权重梯度的计算wfh、wih、wch、woh的权重梯度是各个时刻梯度之和，首先求出它们在t时刻的梯度，公式如下所示：
将各个时刻的梯度加在一起，得到最终的梯度，公式如下所示：
求bf、bi、bc、bo各个时刻的偏置项梯度，公式如下所示：
将各个时刻的偏置项梯度加在一起，公式如下所示：
根据误差项，求wfx、wix、wcx、wox的权重梯度，公式如下所示：
i)将长短时记忆神经网络每个输出值进行均值池化，输出向量经过softmax函数进行转换，输出行为分类标签向量，最大值元素所在标号表示该特征图谱属于该类别标签的向量，看是消极行为还是积极行为；
j)最后使用交叉熵误差函数作为优化目标对模型进行优化，公式如下所示：
上式中，N是训练样本的个数，向量yn是样本的标记，向量on是网络的输出，标记yn是一个one-hot向量；
k)跳转到第(a)步，输入数据，重复步骤(a)～(j)，直至网络误差小于给定值，证明已训练出高精度的长短时记忆神经网络模型，结束训练；
l)采集预处理后的特征图谱序列中任意一组进行测试，通过步骤(a)～(j)得到行为分类结果标签向量，最大值元素所在标号表示该特征图谱为本次测试的行为类别标签，实现行为识别。
6.根据权利要求1所述的人工智能CNN、LSTM神经网络动态识别***，其特征在于：所述人工智能预警操作***(500)基于Linux操作***架构的基础上开发的AI人工智能预警操作***，该***包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化信息网络平台***，用于管理和控制计算机硬件、软件及数据资源的计算机运行程序，用于各级人工智能预警***与互联网+分布式预警警亭沟通的接口，用于云计算、云存储、云数据库和人工智能预警***、互联网+分布式预警警亭及其他软件沟通的接口，用于多维人机物协同互操作***与移动设备和智能电视的通讯接口，用于人机界面为其它应用软件提供支持，包括类脑神经网络***、多维人机物协同互操作***、公共安全智能化监测预警与防控***、自主无人伺服***、天地一体化网络信息平台***、智能物联与风险因素数据采集***、风险因素管理***，人工智能预警操作***(500)子***包括动态识别***、机器视觉***、执行器***、认知行为***，文件***、进程管理、进程间通讯、内存管理、网络通讯、安全机制、驱动程序、用户界面。
7.根据权利要求1所述的人工智能CNN、LSTM神经网络动态识别***，其特征在于：所述云计算(600)基于开源Hadoop架构进行设计，利用集群优势进行高速运算和存储，云计算(600)包括基础设施即服务、平台即服务、软件即服务，用于计算分布式计算机上的风险因素识别模块、风险因素推理模块、风险因素评估模块、通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大***经搜寻与海量的数据信息进行对比分析，分级推理、预警值评估，之后再将处理结果回传给用户并进行云存储。
8.根据权利要求1所述的人工智能CNN、LSTM神经网络动态识别***，其特征在于：所述与云数据库动态黑名单对比分析(700)模块，所述云数据库包括原始动态信息数据库、原始图像特征信息数据库、实时风险因素采集图像信息数据库、实时风险因素采集动态信息数据库、风险因素识别数据库、风险因素推理数据库、风险因素评估数据库、风险因素应对数据库、风险因素管理评价数据库、实时判断依据数据库、判断规则数据库和事故实例数据库，所述云数据库用于云计算(600)***的集群应用，将分布式***文件通过应用软件集合起来协同工作，为用户提供数据存储和业务访问的工作，通过设置在线数据存储模块，存储模块内储存有人脸图像黑名单、动态特征信息黑名单、生物特征信息黑名单和语音信息黑名单，将采集的人脸图像、动态特征信息、生物特征信息和语音信息与存储模块内的人脸图像黑名单、动态特征信息黑名单、生物特征信息黑名单和语音信息黑名单进行对比，如果相似度达到预设的预警值，则预警***及时将该信息生成预警提示信息进行风险因素的推理、评估、生成预警级别报警信息、反馈给上一级预警***进行风险管理评价。
9.根据权利要求1所述的人工智能CNN、LSTM神经网络动态识别***，其特征在于：所述确定目标人物身份(800)模块用于处理与云数据库动态黑名单对比分析(700)生成的预警提示信息、预警值评估、生成预警级别报警信息、生成预警信号反馈给上一级预警***的信息，并根据云计算(600)通过与云数据库动态黑名单对比分析(700)传送的数据进行实时信息更新，用于存储所述人工智能预警***(500)对云数据库信息查阅所生成的信息数据。
10.根据权利要求1所述的人工智能CNN、LSTM神经网络动态识别***，其特征在于：所述本地数据库模块(900)用于存储本级人工智能预警操作***所生成的预警信息，用于存储向上一级人工智能预警操作***发送的信息及反馈信息，用于存储向云计算发送的信息及反馈信息。
CN201910436838.8A 2019-05-24 2019-05-24 人工智能cnn、lstm神经网络动态识别*** Pending CN110110707A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910436838.8A CN110110707A (zh) 2019-05-24 2019-05-24 人工智能cnn、lstm神经网络动态识别***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910436838.8A CN110110707A (zh) 2019-05-24 2019-05-24 人工智能cnn、lstm神经网络动态识别***

Publications (1)

Publication Number Publication Date
CN110110707A true CN110110707A (zh) 2019-08-09

Family

ID=67492030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910436838.8A Pending CN110110707A (zh) 2019-05-24 2019-05-24 人工智能cnn、lstm神经网络动态识别***

Country Status (1)

Country Link
CN (1) CN110110707A (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766566A (zh) * 2019-10-16 2020-02-07 国网安徽省电力有限公司信息通信分公司 一种基于双向lstm模型的运维行为智能分析***
CN110956111A (zh) * 2019-11-22 2020-04-03 苏州闪驰数控***集成有限公司 人工智能cnn、lstm神经网络步态识别***
CN110996108A (zh) * 2019-11-29 2020-04-10 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
CN111274395A (zh) * 2020-01-19 2020-06-12 河海大学 基于卷积和长短期记忆网络的电网监控告警事件识别方法
CN111325160A (zh) * 2020-02-25 2020-06-23 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN111428769A (zh) * 2020-03-18 2020-07-17 周升志 一种软件设计宠物行为语言的人工智能翻译***
CN111597937A (zh) * 2020-05-06 2020-08-28 北京海益同展信息科技有限公司 鱼姿势识别方法、装置、设备及存储介质
CN112070212A (zh) * 2020-08-26 2020-12-11 江苏建筑职业技术学院 一种人工智能cnn、lstm神经网络动态识别***
CN112233353A (zh) * 2020-09-24 2021-01-15 国网浙江兰溪市供电有限公司 一种基于人工智能的防钓监控***及其监控方法
CN112347034A (zh) * 2020-12-02 2021-02-09 北京理工大学 一种用于老年看护的多功能一体化片上***
CN112395577A (zh) * 2021-01-19 2021-02-23 江苏红网技术股份有限公司 基于用户标签的目标对象识别方法及***
CN112434755A (zh) * 2020-12-15 2021-03-02 电子科技大学 一种基于异构***的数据异常感知方法
CN112698925A (zh) * 2021-03-24 2021-04-23 江苏红网技术股份有限公司 一种服务器集群的容器混合运行处理方法
CN112700461A (zh) * 2021-03-19 2021-04-23 浙江卡易智慧医疗科技有限公司 一种肺结节检测和表征类别识别的***
CN112766292A (zh) * 2019-11-04 2021-05-07 中移(上海)信息通信科技有限公司 身份认证的方法、装置、设备及存储介质
CN113037730A (zh) * 2021-02-27 2021-06-25 中国人民解放军战略支援部队信息工程大学 基于多特征学习的网络加密流量分类方法及***
CN113225539A (zh) * 2020-12-23 2021-08-06 全民认证科技（杭州）有限公司 一种基于云计算的流动人口人工智能预警***
CN113507589A (zh) * 2021-06-08 2021-10-15 山西三友和智慧信息技术股份有限公司 基于人工智能的安全监控装置
CN113516046A (zh) * 2021-05-18 2021-10-19 平安国际智慧城市科技股份有限公司 区域内生物多样性的监测方法、装置、设备以及存储介质
CN113705803A (zh) * 2021-08-31 2021-11-26 南京大学 基于卷积神经网络的图像硬件识别***及部署方法
CN113938310A (zh) * 2021-10-29 2022-01-14 水利部发展研究中心 一种水利固定资产投资统计数据质量控制管理***
CN113949694A (zh) * 2021-10-15 2022-01-18 保升(中国)科技实业有限公司 一种基于视频ai计算和大数据分析底层生态环境***
CN113949656A (zh) * 2021-10-15 2022-01-18 任桓影 一种基于人工智能的安防网络监测***
CN116193274A (zh) * 2023-04-27 2023-05-30 北京博瑞翔伦科技发展有限公司 一种多摄像头安全控制方法和***
US11880760B2 (en) 2019-05-01 2024-01-23 Samsung Electronics Co., Ltd. Mixed-precision NPU tile with depth-wise convolution
TWI832006B (zh) * 2019-12-12 2024-02-11 南韓商三星電子股份有限公司 實行卷積運算的系統及方法
CN117575636A (zh) * 2023-12-19 2024-02-20 东莞莱姆森科技建材有限公司 一种基于视频处理的智能镜控制方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108549841A (zh) * 2018-03-21 2018-09-18 南京邮电大学 一种基于深度学习的老人跌倒行为的识别方法
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控***集成有限公司 一种人工智能预警***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506712A (zh) * 2017-08-15 2017-12-22 成都考拉悠然科技有限公司 一种基于3d深度卷积网络的人类行为识别的方法
CN108549841A (zh) * 2018-03-21 2018-09-18 南京邮电大学 一种基于深度学习的老人跌倒行为的识别方法
CN109447048A (zh) * 2018-12-25 2019-03-08 苏州闪驰数控***集成有限公司 一种人工智能预警***

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880760B2 (en) 2019-05-01 2024-01-23 Samsung Electronics Co., Ltd. Mixed-precision NPU tile with depth-wise convolution
CN110766566A (zh) * 2019-10-16 2020-02-07 国网安徽省电力有限公司信息通信分公司 一种基于双向lstm模型的运维行为智能分析***
CN112766292A (zh) * 2019-11-04 2021-05-07 中移(上海)信息通信科技有限公司 身份认证的方法、装置、设备及存储介质
CN110956111A (zh) * 2019-11-22 2020-04-03 苏州闪驰数控***集成有限公司 人工智能cnn、lstm神经网络步态识别***
CN110996108A (zh) * 2019-11-29 2020-04-10 合肥图鸭信息科技有限公司 一种视频帧重构方法、装置及终端设备
TWI832006B (zh) * 2019-12-12 2024-02-11 南韓商三星電子股份有限公司 實行卷積運算的系統及方法
CN111274395A (zh) * 2020-01-19 2020-06-12 河海大学 基于卷积和长短期记忆网络的电网监控告警事件识别方法
CN111274395B (zh) * 2020-01-19 2021-11-12 河海大学 基于卷积和长短期记忆网络的电网监控告警事件识别方法
CN111325160A (zh) * 2020-02-25 2020-06-23 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN111325160B (zh) * 2020-02-25 2023-08-29 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN111428769A (zh) * 2020-03-18 2020-07-17 周升志 一种软件设计宠物行为语言的人工智能翻译***
CN111597937A (zh) * 2020-05-06 2020-08-28 北京海益同展信息科技有限公司 鱼姿势识别方法、装置、设备及存储介质
CN111597937B (zh) * 2020-05-06 2023-08-08 京东科技信息技术有限公司 鱼姿势识别方法、装置、设备及存储介质
CN112070212A (zh) * 2020-08-26 2020-12-11 江苏建筑职业技术学院 一种人工智能cnn、lstm神经网络动态识别***
CN112233353A (zh) * 2020-09-24 2021-01-15 国网浙江兰溪市供电有限公司 一种基于人工智能的防钓监控***及其监控方法
CN112347034A (zh) * 2020-12-02 2021-02-09 北京理工大学 一种用于老年看护的多功能一体化片上***
CN112434755A (zh) * 2020-12-15 2021-03-02 电子科技大学 一种基于异构***的数据异常感知方法
CN112434755B (zh) * 2020-12-15 2023-04-07 电子科技大学 一种基于异构***的数据异常感知方法
CN113225539A (zh) * 2020-12-23 2021-08-06 全民认证科技（杭州）有限公司 一种基于云计算的流动人口人工智能预警***
CN112395577A (zh) * 2021-01-19 2021-02-23 江苏红网技术股份有限公司 基于用户标签的目标对象识别方法及***
CN113037730A (zh) * 2021-02-27 2021-06-25 中国人民解放军战略支援部队信息工程大学 基于多特征学习的网络加密流量分类方法及***
CN113037730B (zh) * 2021-02-27 2023-06-20 中国人民解放军战略支援部队信息工程大学 基于多特征学习的网络加密流量分类方法及***
CN112700461A (zh) * 2021-03-19 2021-04-23 浙江卡易智慧医疗科技有限公司 一种肺结节检测和表征类别识别的***
CN112698925A (zh) * 2021-03-24 2021-04-23 江苏红网技术股份有限公司 一种服务器集群的容器混合运行处理方法
CN112698925B (zh) * 2021-03-24 2021-06-08 江苏红网技术股份有限公司 一种服务器集群的容器混合运行处理方法
CN113516046A (zh) * 2021-05-18 2021-10-19 平安国际智慧城市科技股份有限公司 区域内生物多样性的监测方法、装置、设备以及存储介质
CN113507589A (zh) * 2021-06-08 2021-10-15 山西三友和智慧信息技术股份有限公司 基于人工智能的安全监控装置
CN113705803A (zh) * 2021-08-31 2021-11-26 南京大学 基于卷积神经网络的图像硬件识别***及部署方法
CN113705803B (zh) * 2021-08-31 2024-05-28 南京大学 基于卷积神经网络的图像硬件识别***及部署方法
CN113949656B (zh) * 2021-10-15 2022-11-04 国家电投集团江西电力有限公司景德镇发电厂 一种基于人工智能的安防网络监测***
CN113949656A (zh) * 2021-10-15 2022-01-18 任桓影 一种基于人工智能的安防网络监测***
CN113949694A (zh) * 2021-10-15 2022-01-18 保升(中国)科技实业有限公司 一种基于视频ai计算和大数据分析底层生态环境***
CN113938310B (zh) * 2021-10-29 2023-11-28 水利部发展研究中心 一种水利固定资产投资统计数据质量控制管理***
CN113938310A (zh) * 2021-10-29 2022-01-14 水利部发展研究中心 一种水利固定资产投资统计数据质量控制管理***
CN116193274A (zh) * 2023-04-27 2023-05-30 北京博瑞翔伦科技发展有限公司 一种多摄像头安全控制方法和***
CN117575636A (zh) * 2023-12-19 2024-02-20 东莞莱姆森科技建材有限公司 一种基于视频处理的智能镜控制方法及***
CN117575636B (zh) * 2023-12-19 2024-05-24 东莞莱姆森科技建材有限公司 一种基于视频处理的智能镜控制方法及***

Similar Documents

Publication Publication Date Title
CN110110707A (zh) 人工智能cnn、lstm神经网络动态识别***
CN110738984B (zh) 人工智能cnn、lstm神经网络语音识别***
CN110956111A (zh) 人工智能cnn、lstm神经网络步态识别***
CN106599797B (zh) 一种基于局部并行神经网络的红外人脸识别方法
CN110414305A (zh) 人工智能卷积神经网络人脸识别***
Mo et al. Human physical activity recognition based on computer vision with deep learning model
JP6159489B2 (ja) 顔認証方法およびシステム
CN108875708A (zh) 基于视频的行为分析方法、装置、设备、***及存储介质
CN108345894B (zh) 一种基于深度学习和熵模型的交通事件检测方法
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
Zhao et al. A data-driven crowd simulation model based on clustering and classification
CN109034020A (zh) 一种基于物联网与深度学习的社区风险监测和防范方法
CN109522925A (zh) 一种图像识别方法、装置和存储介质
CN115100574A (zh) 基于融合图卷积网络与Transformer网络的动作识别方法及***
CN114155270A (zh) 行人轨迹预测方法、装置、设备及存储介质
CN116343330A (zh) 一种红外-可见光图像融合的异常行为识别方法
CN109002746A (zh) 3d立体火灾识别方法和***
CN111311702A (zh) 一种基于BlockGAN的图像生成和识别模块及方法
CN114638408A (zh) 一种基于时空信息的行人轨迹预测方法
Li et al. Hierarchical knowledge squeezed adversarial network compression
Tanchotsrinon et al. Facial expression recognition using graph-based features and artificial neural networks
Nugroho et al. A solution for imbalanced training sets problem by combnet-ii and its application on fog forecasting
Szu Neural networks based on peano curves and hairy neurons
Khan et al. Suspicious Activities Recognition in Video Sequences Using DarkNet-NasNet Optimal Deep Features.
Wang et al. Path planning model of mobile robots in the context of crowds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190809