CN109460812A - 神经网络的中间信息分析装置、优化装置、特征可视化装置 - Google Patents

神经网络的中间信息分析装置、优化装置、特征可视化装置 Download PDF

Info

Publication number
CN109460812A
CN109460812A CN201710794559.XA CN201710794559A CN109460812A CN 109460812 A CN109460812 A CN 109460812A CN 201710794559 A CN201710794559 A CN 201710794559A CN 109460812 A CN109460812 A CN 109460812A
Authority
CN
China
Prior art keywords
neural network
average information
hidden state
shot
long term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710794559.XA
Other languages
English (en)
Other versions
CN109460812B (zh
Inventor
尹汭
谭志明
白向晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201710794559.XA priority Critical patent/CN109460812B/zh
Priority to JP2018117650A priority patent/JP7047620B2/ja
Publication of CN109460812A publication Critical patent/CN109460812A/zh
Application granted granted Critical
Publication of CN109460812B publication Critical patent/CN109460812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种神经网络的中间信息分析装置、优化装置、特征可视化装置及方法、电子设备，通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善；根据该中间信息对该神经网络的参数进行优化，能够有效提高该神经网络的应用效果，另外根据该中间信息能够实现该隐藏状态包含的特征的可视化，有利于对于具有长短期记忆层的神经网络的研究和学习。

Description

神经网络的中间信息分析装置、优化装置、特征可视化装置
技术领域
本发明涉及信息技术领域，尤其涉及一种神经网络的中间信息分析装置、优化装置、特征可视化装置及方法、电子设备。
背景技术
近年来，基于神经网络的深度学习被广泛的应用于机器视觉领域。作为神经网络的一种，长短期记忆(LSTM，Long Short-Term Memory)网络，即具有长短期记忆层的神经网络，在视频的事件检测领域相比于其他方法具有更好的效果。这是由于具有长短期记忆层的神经网络能够随着时间记住有用信息而忘记无用信息。具有长短期记忆层的神经网络的关键点在于长短期记忆层输出的信息被称为隐藏状态，该隐藏状态是一个表示从长短期记忆层中提取的特征的多维矩阵。
应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
但是，虽然能够利用具有长短期记忆层的神经网络进行事件检测等应用，但是，具有长短期记忆层的神经网络对于人们来说相当于一个“黑盒子”，人们并不能从本质上对长短期记忆层进行分析，只能从一些经验和数学原则的角度来对具有长短期记忆层的神经网络尝试进行一些解释。
本发明实施例提供一种神经网络的中间信息分析装置、优化装置、特征可视化装置及方法、电子设备，通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善；根据该中间信息对该神经网络的参数进行优化，能够有效提高该神经网络的应用效果，另外根据该中间信息能够实现该隐藏状态包含的特征的可视化，有利于对于具有长短期记忆层的神经网络的研究和学习。
根据本发明实施例的第一方面，提供一种神经网络的中间信息分析装置，所述神经网络具有长短期记忆层，所述装置包括：获取单元，其用于获得所述神经网络中所述长短期记忆层输出的隐藏状态；简化单元，其用于使用降维算法对所述隐藏状态进行简化；第一分析单元，其用于根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息。
根据本发明实施例的第二方面，提供一种神经网络的优化装置，所述神经网络具有长短期记忆层，所述装置包括：根据本发明实施例的第一方面所述的神经网络的中间信息分析装置；第二分析单元，其用于根据所述神经网络的所述中间信息，分析所述神经网络的输入数据的变化导致所述中间信息的变化规律，以及所述中间信息的变化对所述神经网络的输出结果的影响；优化单元，其用于根据所述中间信息的变化规律以及所述中间信息的变化对所述神经网络的输出结果的影响，对所述神经网络的参数进行优化。
根据本发明实施例的第三方面，提供一种神经网络的特征可视化装置，所述神经网络具有长短期记忆层，所述装置包括：根据本发明实施例的第一方面所述的神经网络的中间信息分析装置；可视化单元，其用于根据所述神经网络的所述中间信息，以可视化的形式表征所述神经网络中所述长短期记忆层输出的所述隐藏状态包含的特征的物理含义以及所述特征随时间的变化情况。
根据本发明实施例的第四方面，提供一种电子设备，所述电子设备包括根据本发明实施例的第一方面所述的神经网络的中间信息分析装置。
根据本发明实施例的第五方面，提供一种神经网络的中间信息分析方法，所述神经网络具有长短期记忆层，所述方法包括：获得所述神经网络中所述长短期记忆层输出的隐藏状态；使用降维算法对所述隐藏状态进行简化；根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息。
根据本发明实施例的第六方面，提供一种神经网络的优化方法，所述神经网络具有长短期记忆层，所述方法包括：获得所述神经网络中所述长短期记忆层输出的隐藏状态；使用降维算法对所述隐藏状态进行简化；根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息；根据所述神经网络的所述中间信息，分析所述神经网络的输入数据的变化导致所述中间信息的变化规律，以及所述中间信息的变化对所述神经网络的输出结果的影响；根据所述中间信息的变化规律以及所述中间信息的变化对所述神经网络的输出结果的影响，对所述神经网络的参数进行优化。
根据本发明实施例的第七方面，提供一种神经网络的特征可视化方法，所述神经网络具有长短期记忆层，所述方法包括：获得所述神经网络中所述长短期记忆层输出的隐藏状态；使用降维算法对所述隐藏状态进行简化；根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息；根据所述神经网络的所述中间信息，以可视化的形式表征所述神经网络中所述长短期记忆层输出的所述隐藏状态包含的特征的物理含义以及所述特征随时间的变化情况。
本发明的有益效果在于：通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善；根据该中间信息对该神经网络的参数进行优化，能够有效提高该神经网络的应用效果，另外根据该中间信息能够实现该隐藏状态包含的特征的可视化，有利于对于具有长短期记忆层的神经网络的研究和学习。
参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明实施例1的神经网络的中间信息分析装置的示意图；
图2是本发明实施例1的神经网络结构的示意图；
图3是本发明实施例1的简化单元102的示意图；
图4是本发明实施例1的简化后的隐藏状态的示意图；
图5是本发明实施例1的隐藏状态的各个区域的帧图像；
图6是本发明实施例2的神经网络的优化装置的示意图；
图7是本发明实施例3的神经网络的特征可视化装置的示意图；
图8是本发明实施例4的电子设备的示意图；
图9是本发明实施例4的电子设备的***构成的一示意框图；
图10是本发明实施例5的神经网络的中间信息分析方法的示意图；
图11是本发明实施例6的神经网络的优化方法的示意图；
图12是本发明实施例7的神经网络的特征可视化方法的示意图。
具体实施方式
参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。
实施例1
本发明实施例提供一种神经网络的中间信息分析装置，该神经网络具有长短期记忆层。图1是本发明实施例1的神经网络的中间信息分析装置的示意图。如图1所示，神经网络的中间信息分析装置100包括：
获取单元101，其用于获得该神经网络中该长短期记忆层输出的隐藏状态；
简化单元102，其用于使用降维算法对该隐藏状态进行简化；
第一分析单元103，其用于根据简化后的该隐藏状态、该神经网络的输入数据以及该神经网络的输出结果，分析该神经网络的中间信息。
在本实施例中，该神经网络可以具有长短期记忆层的任何神经网络，本发明实施例不对该神经网络的结构进行具体的限定。以下对该神经网络的结构进行示例性的说明。
图2是本发明实施例1的神经网络结构的示意图。如图2所示，该神经网络200具有数据输入层201、5个卷积层组成的层202、第一全连接层203、长短期记忆层(LSTM层)204、第二全连接层205以及输出层206。
例如，输入该神经网络的数据是视频的多个帧，输入到数据输入层201的数据维数可以是16×3×227×227，其中，16表示输入的帧数，3表示每帧具有红、绿、蓝三个颜色通道，每帧的尺寸是227×227，LSTM层204具有16个LSTM单元，这表示LSTM层204能够记忆16个连续时刻的信息，LSTM层204输出的隐藏状态是一个16×256的矩阵，256表示从LSTM层提取的特征数量，16表示16个LSTM单元。
在本实施例中，该获取单元101获得该神经网络中长短期记忆层输出的隐藏状态，例如，获取的是图2中LSTM层204输出的16×256的矩阵，该矩阵中的各个元素表征该隐藏状态的特征，该矩阵包含的特征的维度是256。
在本实施例中，该简化单元102使用降维算法对该隐藏状态进行简化。其中，可以使用各种降维算法进行简化处理，例如，主成分分析(PCA，Principle ComponentAnalysis)算法、独立成分分析(ICA，Independent Component Analysis)算法或偏最小二乘法(Partial Least Squares Method)。
在本实施例中，以主成分分析算法为例对简化处理的过程进行说明。
图3是本发明实施例1的简化单元102的示意图。如图3所示，该简化单元102包括：
组建单元301，其用于将该隐藏状态的矩阵中的每个元素减去该元素所在列的平均值，并根据计算结果组建矩阵；
第一计算单元302，其用于计算组建后的该矩阵的协方差矩阵；
第二计算单元303，其用于计算该协方差矩阵的特征值；
第三计算单元304，其用于计算最大的预设数量的特征值的特征向量；
第四计算单元305，其用于根据该特征向量计算投影矩阵，并将该投影矩阵作为简化后的该隐藏状态。
例如，该LSTM层204输出的隐藏状态的矩阵X可以表示为：
其中，X表示LSTM层输出的隐藏状态的矩阵，m表示该矩阵的行数，矩阵X中的每个元素表示隐藏状态的一个特征。
在本实施例中，该组建单元301将矩阵X中的每个元素减去该元素所在列的平均值，并根据计算结果组建矩阵，例如，可以根据以下的公式(2)和(3)获得组建后的矩阵
其中，表示矩阵X中的元素xi,j减去该元素所在列的平均值后的结果，表示组建后的矩阵，m表示该矩阵的行数。
在本实施例中，该第一计算单元302计算组建后的该矩阵的协方差矩阵，例如，可以根据以下的公式(4)计算协方差矩阵：
其中，S表示组建后的矩阵的协方差矩阵，m表示该矩阵的行数，表示矩阵的转置矩阵。
在本实施例中，该第二计算单元303计算该协方差矩阵的特征值，例如，可以根据以下的公式(5)计算特征值：
|λE-S|＝0 (5)
其中，λ表示特征值，E表示单位矩阵，S表示协方差矩阵。
在本实施例中，该第三计算单元304计算最大的预设数量的特征值的特征向量，。
例如，可以根据以下的公式(6)计算特征值的特征向量：
Sω-λω＝0 (6)
其中，ω表示特征向量，S表示协方差矩阵，λ表示特征值。
在本实施例中，该预设数量可以根据实际需要而设置，例如，该预设数量为3，最大的3个特征值的特征向量已经能够具有原始隐藏状态95％以上的信息。
例如，可以用以下的公式(7)表示最大的3个特征值的特征向量：
W＝[ω1,ω2,ω3] (7)
其中，W表示最大的3个特征值的特征向量，ω1,ω2,ω3分别表示最大的、第二大的以及第三大的特征值的特征向量。
在本实施例中，该第四计算单元305根据该特征向量计算投影矩阵，并将该投影矩阵作为简化后的该隐藏状态。例如，可以根据以下的公式(8)计算投影矩阵：
Y＝XW (8)
其中，Y表示投影矩阵，X表示LSTM层输出的隐藏状态的矩阵，W表示最大的3个特征值的特征向量。
在本实施例中，投影矩阵Y的尺寸为m×3，从而将隐藏状态的特征的维度从256降到了3，极大的简化了隐藏状态，使得能够基于简化后的隐藏状态进行中间信息的分析。
在本实施例中，将投影矩阵Y的第一列元素称为第一PCA成分，记为PCA1，将第二列元素称为第二PCA成分，记为PCA2，将第三列元素称为第三PCA成分，记为PCA3，PCA1、PCA2和PCA3均表示隐藏状态的数值。
在本实施例中，该投影矩阵的每一列元素的数据贡献率逐列降低，即，对于投影矩阵Y，PCA1、PCA2、PCA3的数据贡献率逐渐降低。
在本实施例中，第一分析单元103根据简化后的隐藏状态、该神经网络的输入数据以及该神经网络的输出结果，分析该神经网络的中间信息。
在本实施例中，该中间信息可以表征该神经网络的LSTM层输出的隐藏状态的信息。
在本实施例中，具体的分析方法可以根据神经网络的应用场景、输入数据的形式以及实际需要而确定。以下对本实施例的神经网络的中间信息的分析过程进行示例性的说明。
例如，该神经网络用于检测交通事件，其输入数据为交通监控视频的按时序排列的多个帧。图4是本发明实施例1的简化后的隐藏状态的示意图。如图4所示，实线表示PCA1随时间(帧数)变化的曲线，虚线表示PCA2随时间(帧数)变化的曲线，点划线表示PCA3随时间(帧数)变化的曲线，根据这三个曲线的变化情况，将整个隐藏状态划分为①～⑦这七个区域。在各个区域中分别选取一帧图像进行显示以用于分析。
图5是本发明实施例1的隐藏状态的各个区域的帧图像。如图5所示，标号为①～⑦的帧图像分别选自于图4中的区域①～⑦中的帧图像。
在本实施例中，该神经网络的输出结果例如包括四种交通事件的分类结果，分别是正常(normal)、事故(accident)、违章(violation)以及拥堵(jam)。如图5所示，在标号为①～⑦的帧图像上分别显示这些帧图像输入到神经网络后的输出结果，即各种交通事件的概率。
如图4和图5所示，对于实线表示的PCA1的曲线，其数值在区域①、③、⑤中较高，但是在区域②、④、⑥和⑦中明显降低，而相应的帧图像①、②、③、⑤、⑥中概率最大的交通事件均为正常(normal)、帧图像④和⑦中概率最大的交通事件均为事故(accident)。从帧图像④可以看出，两辆车之间的距离非常近，因此看起来很像是出现了事故。但是PCA1的数值维持较低数值的时间很短，这说明具有LSTM层的神经网络考虑了信息随时间的变化，该神经网络检测到这两辆车已经离开了从而调整为忘记刚才检测到的这两辆车距离很近的信息，进而判断没有事故发生。在帧图像②中，自行车与摩托车的相遇也造成了PCA1值得下降，同时该神经网络对该场景判断为事故的预测概率上升，但是由于自行车与摩托车相遇场景很快结束，最终仍判定该场景正常。从帧图像⑦可以看出，摩托车和卡车发生了碰撞，且PCA1的数值在区域⑦中直到视频的最后一直维持在较低的数值，从而该具有LSTM层的神经网络在区域⑦中将该场景准确的判断为事故(accident)。从以上分析可以看出，PCA1的数值变化以及变化后值维持的时间决定交通事件检测结果是否变化，因此，PCA1的曲线可以被解释为事件识别。
对于虚线表示的PCA2的曲线，在大部分时间段内，维持在一个相对稳定的数值。在区域①、③、⑦中，PCA2的曲线的数值变化幅度较小，尤其在区域⑦中，其数值非常稳定。这是因为①和③中的帧图像内没有运动的车辆或运动车辆出现在场景边缘且持续时间很短，⑦中有车辆但是车辆长时间静止不动，在这些时间段内场景内容基本无变化。而②、④、⑤、⑥中的PCA2值出现幅度较大变化，是由于新的运动物体长时间出现在画面中，但是PCA2对新运动物体响应并不强烈，其更突出图像整体的变化。因此，PCA2的曲线可以被解释为图像整体表现，其有助于了解新出现物体对整幅图像带来的影响。
对于点划线表示的PCA3的曲线，其数值在区域②、④、⑤和⑥中急剧变化，且变化幅度大于PCA2，这些区域都是有新的运动物体出现。从帧图像④中可以看出新出现了两辆车相遇，从帧图像②中可以看出自行车与摩托车相遇，而在图像⑥中出现摩托车和卡车相遇。在①、③和⑦中，PCA3数值变化幅度很小，且这些场景内没有新出现的车辆。可以看出，PCA3的曲线的数值变化表示LSTM层对新运动物体的响应，其会影响PCA1和PCA2的数值。基于PCA3的曲线，能够了解新运动物体带来的影响以及新运动物体是否改变了检测结果。
由此可以看出，上述过程获取了例如可以解释为“事件识别”、“图像整体表现”、“新运动物体”的中间信息，根据这些中间信息，能够跟踪和观测神经网络中的数据流动，从而能够从本质上分析该神经网络的原理。
由上述实施例可知，通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善。
实施例2
本发明实施例还提供一种神经网络的优化装置，该神经网络具有长短期记忆层。图6是本发明实施例2的神经网络的优化装置的示意图。如图6所示，该优化装置600包括：
神经网络的中间信息分析装置601，其用于输出该神经网络的中间信息；
第二分析单元602，其用于根据该神经网络的该中间信息，分析该神经网络的输入数据的变化导致该中间信息的变化规律，以及该中间信息的变化对该神经网络的输出结果的影响；
优化单元603，其用于根据该中间信息的变化规律以及该中间信息的变化对该神经网络的输出结果的影响，对该神经网络的参数进行优化。
在本实施例中，该神经网络的结构与实施例1中的记载相同，例如，其具有如图2所示的结构。
在本实施例中，该神经网络的中间信息分析装置601的结构与功能与实施例1中的记载相同，此处不再赘述。
在本实施例中，在该神经网络的中间信息分析装置601分析获得该神经网络的中间信息之后，该第二分析单元602根据该神经网络的中间信息，分析该神经网络的输入数据的变化导致该中间信息的变化规律，以及该中间信息的变化对该神经网络的输出结果的影响。
例如，可以在输入神经网络的交通监测视频的某些时间点遮盖某个帧图像的一些区域或手动的增加一些新物体，以改变神经网络的输入数据，再观察这种情况下该简化后的隐藏状态的变化以及该神经网络的输出结果的变化，从而获得LSTM层对于输入数据变化的响应。
在本实施例中，该优化单元603根据该中间信息的变化规律以及该中间信息的变化对该神经网络的输出结果的影响，对该神经网络的参数进行优化。
例如，对该神经网络的参数进行优化，使得简化后的隐藏状态对于有用信息的变化敏感，即LSTM层的输出对于有用信息的变化敏感。例如，当简化后的隐藏状态的响应滞后于交通事件的变化时，可以增加LSTM单元的数量来增强记忆。
由上述实施例可知，通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善；根据该中间信息对该神经网络的参数进行优化，能够有效提高该神经网络的应用效果。
实施例3
本发明实施例还提供一种神经网络的特征可视化装置，该神经网络具有长短期记忆层。图7是本发明实施例3的神经网络的特征可视化装置的示意图。如图7所示，该特征可视化装置700包括：
神经网络的中间信息分析装置701，其用于输出该神经网络的中间信息；
可视化单元702，其用于根据该神经网络的该中间信息，以可视化的形式表征该神经网络中该长短期记忆层输出的隐藏状态包含的特征的物理含义以及该特征随时间的变化情况。
在本实施例中，该神经网络的结构与实施例1中的记载相同，例如，其具有如图2所示的结构。
在本实施例中，该神经网络的中间信息分析装置701的结构与功能与实施例1中的记载相同，此处不再赘述。
在本实施例中，在该神经网络的中间信息分析装置701分析获得该神经网络的中间信息之后，该可视化单元702根据该神经网络的中间信息，以可视化的形式表征该神经网络中长短期记忆层输出的隐藏状态包含的特征的物理含义以及该特征随时间的变化情况。
例如，如实施例1中记载的，该隐藏状态包含的特征可以解释为“事件识别”、“图像整体表现”、“新运动物体”，该可视化单元702可以制作例如如图4所示的各种特征随时间变化的曲线，从而将该特征可视化。
由上述实施例可知，通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善；根据该中间信息能够实现该隐藏状态包含的特征的可视化，有利于对于具有长短期记忆层的神经网络的研究和学习。
实施例4
本发明实施例还提供了一种电子设备，图8是本发明实施例4的电子设备的示意图。如图8所示，电子设备800包括神经网络的中间信息分析装置801，该神经网络具有长短期记忆层，该神经网络的中间信息分析装置801的结构和功能与实施例1中的记载相同，此处不再赘述。
图9是本发明实施例4的电子设备的***构成的一示意框图。如图9所示，电子设备900可以包括中央处理器901和存储器902；该存储器902耦合到该中央处理器901。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。
如图9所示，该电子设备900还可以包括：输入单元903、显示器904、电源905。
在一个实施方式中，实施例1所述的神经网络的中间信息分析装置的功能可以被集成到该中央处理器901中。其中，该中央处理器901可以被配置为：获得所述神经网络中所述长短期记忆层输出的隐藏状态；使用降维算法对所述隐藏状态进行简化；根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息。
例如，所述降维算法包括：主成分分析算法、独立成分分析算法或偏最小二乘法。
例如，所述降维算法是主成分分析算法，所述使用降维算法对所述隐藏状态进行简化，包括：将所述隐藏状态的矩阵中的每个元素减去所述元素所在列的平均值，根据每计算结果组建矩阵；计算组建后的所述矩阵的协方差矩阵；计算所述协方差矩阵的特征值；计算最大的预设数量的特征值的特征向量；根据所述特征向量计算投影矩阵，并将所述投影矩阵作为简化后的隐藏状态。
例如，所述投影矩阵的每一列元素的数据贡献率逐列降低。
在另一个实施方式中，实施例1所述的神经网络的中间信息分析装置可以与该中央处理器901分开配置，例如可以将该神经网络的中间信息分析装置配置为与该中央处理器901连接的芯片，通过该中央处理器901的控制来实现该神经网络的中间信息分析装置的功能。
在本实施例中该电子设备900也并不是必须要包括图9中所示的所有部件。
如图9所示，该中央处理器901有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，该中央处理器901接收输入并控制该电子设备900的各个部件的操作。
该存储器902，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该中央处理器901可执行该存储器902存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。该电子设备900的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。
由上述实施例可知，通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善。
实施例5
本发明实施例还提供一种神经网络的中间信息分析方法，该神经网络具有长短期记忆层，该方法对应于实施例1的神经网络的中间信息分析装置。图10是本发明实施例5的神经网络的中间信息分析方法的示意图。如图10所示，该方法包括：
步骤1001：获得该神经网络中该长短期记忆层输出的隐藏状态；
步骤1002：使用降维算法对该隐藏状态进行简化；
步骤1003：根据简化后的该隐藏状态、该神经网络的输入数据以及该神经网络的输出结果，分析该神经网络的中间信息。
在本实施例中，上述各个步骤的具体实现方法与实施例1中的记载相同，此处不再重复。
由上述实施例可知，通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善。
实施例6
本发明实施例还提供一种神经网络的优化方法，该神经网络具有长短期记忆层，该方法对应于实施例2的神经网络的优化装置。图11是本发明实施例6的神经网络的优化方法的示意图。如图11所示，该方法包括：
步骤1101：获得该神经网络中该长短期记忆层输出的隐藏状态；
步骤1102：使用降维算法对该隐藏状态进行简化；
步骤1103：根据简化后的该隐藏状态、该神经网络的输入数据以及该神经网络的输出结果，分析该神经网络的中间信息；
步骤1104：根据该神经网络的该中间信息，分析该神经网络的输入数据的变化导致该中间信息的变化规律，以及该中间信息的变化对该神经网络的输出结果的影响；
步骤1105：根据该中间信息的变化规律以及该中间信息的变化对该神经网络的输出结果的影响，对该神经网络的参数进行优化。
在本实施例中，上述各个步骤的具体实现方法与实施例1和实施例2中的记载相同，此处不再重复。
由上述实施例可知，通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善；根据该中间信息对该神经网络的参数进行优化，能够有效提高该神经网络的应用效果。
实施例7
本发明实施例还提供一种神经网络的特征可视化方法，该神经网络具有长短期记忆层，该方法对应于实施例3的神经网络的特征可视化装置。图12是本发明实施例7的神经网络的特征可视化方法的示意图。如图12所示，该方法包括：
步骤1201：获得该神经网络中该长短期记忆层输出的隐藏状态；
步骤1202：使用降维算法对该隐藏状态进行简化；
步骤1203：根据简化后的该隐藏状态、该神经网络的输入数据以及该神经网络的输出结果，分析该神经网络的中间信息；
步骤1204：根据该神经网络的该中间信息，以可视化的形式表征该神经网络中该长短期记忆层输出的隐藏状态包含的特征的物理含义以及该特征随时间的变化情况。
在本实施例中，上述各个步骤的具体实现方法与实施例1和实施例3中的记载相同，此处不再重复。
由上述实施例可知，通过降维算法对神经网络中长短期记忆层输出的隐藏状态进行简化，并根据简化后的隐藏状态、神经网络的输入数据以及神经网络的输出结果分析该神经网络的中间信息，根据该中间信息，能够从本质上分析该神经网络的原理，从而能够针对具有长短期记忆层的神经网络的各种应用进行优化和改善；根据该中间信息能够实现该隐藏状态包含的特征的可视化，有利于对于具有长短期记忆层的神经网络的研究和学习。
本发明实施例还提供一种计算机可读程序，其中当在神经网络的中间信息分析装置或电子设备中执行所述程序时，所述程序使得计算机在所述神经网络的中间信息分析装置或电子设备中执行实施例5所述的神经网络的中间信息分析方法。
本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在神经网络的中间信息分析装置或电子设备中执行实施例5所述的神经网络的中间信息分析方法。
结合本发明实施例描述的在所述神经网络的中间信息分析装置或电子设备中执行神经网络的中间信息分析方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图10所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可***移动终端的存储卡中。例如，若设备(例如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。
关于包括以上实施例的实施方式，还公开下述的附记：
附记1、一种神经网络的中间信息分析装置，所述神经网络具有长短期记忆层，所述装置包括：
获取单元，其用于获得所述神经网络中所述长短期记忆层输出的隐藏状态；
简化单元，其用于使用降维算法对所述隐藏状态进行简化；
第一分析单元，其用于根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息。
附记2、根据权利要求1所述的装置，其中，
所述降维算法包括：主成分分析算法、独立成分分析算法或偏最小二乘法。
附记3、根据附记2所述的装置，其中，所述降维算法是主成分分析算法，
所述简化单元包括：
组建单元，其用于将所述隐藏状态的矩阵中的每个元素减去所述元素所在列的平均值，并根据计算结果组建矩阵；
第一计算单元，其用于计算组建后的所述矩阵的协方差矩阵；
第二计算单元，其用于计算所述协方差矩阵的特征值；
第三计算单元，其用于计算最大的预设数量的特征值的特征向量；
第四计算单元，其用于根据所述特征向量计算投影矩阵，并将所述投影矩阵作为简化后的所述隐藏状态。
附记4、根据附记3所述的装置，其中，
所述投影矩阵的每一列元素的数据贡献率逐列降低。
附记5、一种神经网络的优化装置，所述神经网络具有长短期记忆层，所述装置包括：
根据附记1所述的神经网络的中间信息分析装置；
第二分析单元，其用于根据所述神经网络的所述中间信息，分析所述神经网络的输入数据的变化导致所述中间信息的变化规律，以及所述中间信息的变化对所述神经网络的输出结果的影响；
优化单元，其用于根据所述中间信息的变化规律以及所述中间信息的变化对所述神经网络的输出结果的影响，对所述神经网络的参数进行优化。
附记6、一种神经网络的特征可视化装置，所述神经网络具有长短期记忆层，所述装置包括：
根据附记1所述的神经网络的中间信息分析装置；
可视化单元，其用于根据所述神经网络的所述中间信息，以可视化的形式表征所述神经网络中所述长短期记忆层输出的所述隐藏状态包含的特征的物理含义以及所述特征随时间的变化情况。
附记7、一种电子设备，包括根据附记1所述的神经网络的中间信息分析装置。
附记8、一种神经网络的中间信息分析方法，所述神经网络具有长短期记忆层，所述方法包括：
获得所述神经网络中所述长短期记忆层输出的隐藏状态；
使用降维算法对所述隐藏状态进行简化；
根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息。
附记9、根据附记8所述的方法，其中，
所述降维算法包括：主成分分析算法、独立成分分析算法或偏最小二乘法。
附记10、根据附记9所述的方法，其中，所述降维算法是主成分分析算法，
所述使用降维算法对所述隐藏状态进行简化，包括：
将所述隐藏状态的矩阵中的每个元素减去所述元素所在列的平均值，并根据计算结果组建矩阵；
计算组建后的所述矩阵的协方差矩阵；
计算所述协方差矩阵的特征值；
计算最大的预设数量的特征值的特征向量；
根据所述特征向量计算投影矩阵，并将所述投影矩阵作为简化后的所述隐藏状态。
附记11、根据附记10所述的方法，其中，
所述投影矩阵的每一列元素的数据贡献率逐列降低。
附记12、一种神经网络的优化方法，所述神经网络具有长短期记忆层，所述方法包括：
获得所述神经网络中所述长短期记忆层输出的隐藏状态；
使用降维算法对所述隐藏状态进行简化；
根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息；
根据所述神经网络的所述中间信息，分析所述神经网络的输入数据的变化导致所述中间信息的变化规律，以及所述中间信息的变化对所述神经网络的输出结果的影响；
根据所述中间信息的变化规律以及所述中间信息的变化对所述神经网络的输出结果的影响，对所述神经网络的参数进行优化。
附记13、一种神经网络的特征可视化方法，所述神经网络具有长短期记忆层，所述方法包括：
获得所述神经网络中所述长短期记忆层输出的隐藏状态；
使用降维算法对所述隐藏状态进行简化；
根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息；
根据所述神经网络的所述中间信息，以可视化的形式表征所述神经网络中所述长短期记忆层输出的所述隐藏状态包含的特征的物理含义以及所述特征随时间的变化情况。

Claims (6)

1.一种神经网络的中间信息分析装置，所述神经网络具有长短期记忆层，所述装置包括：
获取单元，其用于获得所述神经网络中所述长短期记忆层输出的隐藏状态；
简化单元，其用于使用降维算法对所述隐藏状态进行简化；
第一分析单元，其用于根据简化后的所述隐藏状态、所述神经网络的输入数据以及所述神经网络的输出结果，分析所述神经网络的中间信息。
2.根据权利要求1所述的装置，其中，
所述降维算法包括：主成分分析算法、独立成分分析算法或偏最小二乘法。
3.根据权利要求2所述的装置，其中，所述降维算法是主成分分析算法，
所述简化单元包括：
组建单元，其用于将所述隐藏状态的矩阵中的每个元素减去所述元素所在列的平均值，并根据计算结果组建矩阵；
第一计算单元，其用于计算组建后的所述矩阵的协方差矩阵；
第二计算单元，其用于计算所述协方差矩阵的特征值；
第三计算单元，其用于计算最大的预设数量的特征值的特征向量；
第四计算单元，其用于根据所述特征向量计算投影矩阵，并将所述投影矩阵作为简化后的所述隐藏状态。
4.根据权利要求3所述的装置，其中，
所述投影矩阵的每一列元素的数据贡献率逐列降低。
5.一种神经网络的优化装置，所述神经网络具有长短期记忆层，所述装置包括：
根据权利要求1所述的神经网络的中间信息分析装置；
第二分析单元，其用于根据所述神经网络的所述中间信息，分析所述神经网络的输入数据的变化导致所述中间信息的变化规律，以及所述中间信息的变化对所述神经网络的输出结果的影响；
优化单元，其用于根据所述中间信息的变化规律以及所述中间信息的变化对所述神经网络的输出结果的影响，对所述神经网络的参数进行优化。
6.一种神经网络的特征可视化装置，所述神经网络具有长短期记忆层，所述装置包括：
根据权利要求1所述的神经网络的中间信息分析装置；
可视化单元，其用于根据所述神经网络的所述中间信息，以可视化的形式表征所述神经网络中所述长短期记忆层输出的所述隐藏状态包含的特征的物理含义以及所述特征随时间的变化情况。
CN201710794559.XA 2017-09-06 2017-09-06 神经网络的中间信息分析装置、优化装置、特征可视化装置 Active CN109460812B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710794559.XA CN109460812B (zh) 2017-09-06 2017-09-06 神经网络的中间信息分析装置、优化装置、特征可视化装置
JP2018117650A JP7047620B2 (ja) 2017-09-06 2018-06-21 ニューラルネットワークの中間情報分析装置、最適化装置及び特徴可視化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710794559.XA CN109460812B (zh) 2017-09-06 2017-09-06 神经网络的中间信息分析装置、优化装置、特征可视化装置

Publications (2)

Publication Number Publication Date
CN109460812A true CN109460812A (zh) 2019-03-12
CN109460812B CN109460812B (zh) 2021-09-14

Family

ID=65605901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710794559.XA Active CN109460812B (zh) 2017-09-06 2017-09-06 神经网络的中间信息分析装置、优化装置、特征可视化装置

Country Status (2)

Country Link
JP (1) JP7047620B2 (zh)
CN (1) CN109460812B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011555A (zh) * 2021-02-09 2021-06-22 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及存储介质
WO2023072094A1 (zh) * 2021-10-25 2023-05-04 上海交通大学 一种对神经网络中层特征表达能力的可视化及定量分析方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104700828A (zh) * 2015-03-19 2015-06-10 清华大学 基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法
US20150161991A1 (en) * 2013-12-10 2015-06-11 Google Inc. Generating representations of acoustic sequences using projection layers
CN105844239A (zh) * 2016-03-23 2016-08-10 北京邮电大学 一种基于cnn和lstm的暴恐视频检测方法
CN106407889A (zh) * 2016-08-26 2017-02-15 上海交通大学 基于光流图深度学习模型在视频中人体交互动作识别方法
CN106528858A (zh) * 2016-11-29 2017-03-22 北京百度网讯科技有限公司 歌词生成方法及装置
CN106934352A (zh) * 2017-02-28 2017-07-07 华南理工大学 一种基于双路分形网络和lstm的视频描述方法
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05342191A (ja) * 1992-06-08 1993-12-24 Mitsubishi Electric Corp 経済時系列データ予測及び解析システム
JPH08235145A (ja) * 1995-02-24 1996-09-13 Toyota Motor Corp 応用問題に対して最適なニューラルネットワークの構造を決定する方法
US9514391B2 (en) * 2015-04-20 2016-12-06 Xerox Corporation Fisher vectors meet neural networks: a hybrid visual classification architecture

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161991A1 (en) * 2013-12-10 2015-06-11 Google Inc. Generating representations of acoustic sequences using projection layers
CN104700828A (zh) * 2015-03-19 2015-06-10 清华大学 基于选择性注意原理的深度长短期记忆循环神经网络声学模型的构建方法
CN105844239A (zh) * 2016-03-23 2016-08-10 北京邮电大学 一种基于cnn和lstm的暴恐视频检测方法
CN106407889A (zh) * 2016-08-26 2017-02-15 上海交通大学 基于光流图深度学习模型在视频中人体交互动作识别方法
CN106528858A (zh) * 2016-11-29 2017-03-22 北京百度网讯科技有限公司 歌词生成方法及装置
CN106934352A (zh) * 2017-02-28 2017-07-07 华南理工大学 一种基于双路分形网络和lstm的视频描述方法
CN107092894A (zh) * 2017-04-28 2017-08-25 孙恩泽 一种基于lstm模型的运动行为识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BOLEI ZHOU 等: "Learning Deep Features for Discriminative Localization", 《CVPR》 *
HENDRIK STROBELT 等: "LSTMVis: A Tool for Visual Analysis of Hidden State Dynamics in Recurrent Neural Networks", 《 IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS 》 *
HENDRIK STROBELT 等: "Visual Analysis of Hidden State Dynamics in Recurrent Neural Networks", 《ARXIV》 *
胡聪丛等: "深度神经网络的发展现状", 《电子技术与软件工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011555A (zh) * 2021-02-09 2021-06-22 腾讯科技（深圳）有限公司 一种数据处理方法、装置、设备及存储介质
WO2023072094A1 (zh) * 2021-10-25 2023-05-04 上海交通大学 一种对神经网络中层特征表达能力的可视化及定量分析方法和***

Also Published As

Publication number Publication date
CN109460812B (zh) 2021-09-14
JP2019046453A (ja) 2019-03-22
JP7047620B2 (ja) 2022-04-05

Similar Documents

Publication Publication Date Title
CN111274881B (zh) 驾驶安全的监控方法、装置、计算机设备及存储介质
CN111027378B (zh) 行人重识别的方法、装置、终端及存储介质
CN109670441A (zh) 一种实现安全帽穿戴识别的方法、***、终端以及计算机可读存储介质
CN107169415A (zh) 基于卷积神经网络特征编码的人体动作识别方法
CN104268528B (zh) 一种人群聚集区域检测方法和装置
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN106845406A (zh) 基于多任务级联卷积神经网络的头肩检测方法及装置
CN109740424A (zh) 交通违规识别方法及相关产品
CN105744232A (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN105678813A (zh) 一种肤色检测方法及装置
CN108664849A (zh) 视频中事件的检测装置、方法以及图像处理设备
CN111047874B (zh) 智能交通违章管理方法及相关产品
CN103475800B (zh) 图像序列中前景的检测方法和装置
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN108205649A (zh) 驾驶员开车接打电话的状态识别方法及装置
CN103310235B (zh) 一种基于参数识别与估计的隐写分析方法
CN109460787A (zh) 入侵检测模型建立方法、装置及数据处理设备
CN109086716A (zh) 一种安全带佩戴检测的方法及装置
CN109831648A (zh) 防盗远程监控方法、装置、设备及存储介质
CN110135345A (zh) 基于深度学习的行为识别方法、装置、设备及存储介质
US9436996B2 (en) Recording medium storing image processing program and image processing apparatus
CN109460812A (zh) 神经网络的中间信息分析装置、优化装置、特征可视化装置
CN115661757A (zh) 一种受电弓拉弧自动检测方法
CN103699888A (zh) 人脸检测方法和装置
Devi et al. Driver drowsiness detection using skin color algorithm and circular hough transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant