CN110503125A - 利用感受野中的运动进行动作检测 - Google Patents

利用感受野中的运动进行动作检测 Download PDF

Info

Publication number
CN110503125A
CN110503125A CN201910410072.6A CN201910410072A CN110503125A CN 110503125 A CN110503125 A CN 110503125A CN 201910410072 A CN201910410072 A CN 201910410072A CN 110503125 A CN110503125 A CN 110503125A
Authority
CN
China
Prior art keywords
computer
component
movement
neural network
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910410072.6A
Other languages
English (en)
Other versions
CN110503125B (zh
Inventor
K-N.C.马克
R.A.叶
D.乔希
M.N.多
R.费里斯
J.熊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Illinois Trust Management Committee, University of
International Business Machines Corp
Original Assignee
Illinois Trust Management Committee, University of
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Illinois Trust Management Committee, University of, International Business Machines Corp filed Critical Illinois Trust Management Committee, University of
Publication of CN110503125A publication Critical patent/CN110503125A/zh
Application granted granted Critical
Publication of CN110503125B publication Critical patent/CN110503125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种关于基于神经网络模型的感受野中的运动的动作检测的技术。例如，本文描述的一个或多个实施例可以包括***，该***可以包括可以存储计算机可执行组件的存储器。该***还可以包括处理器，该处理器可操作地耦合到存储器，并且可以执行存储在存储器中的计算机可执行组件。计算机可执行组件可以包括运动组件，该运动组件可以从神经网络模型的可变形卷积层中的多个自适应感受野中提取运动向量。计算机可执行组件还可以包括动作检测组件，该动作检测组件可以通过将运动向量与从可变形卷积层提取的空间特征级联来生成时空特征。

Description

利用感受野中的运动进行动作检测
背景技术
本公开涉及经由神经网络模型的动作检测，并且更具体地，涉及通过利用神经网络模型的感受野(receptive field)中的运动来进行自主细粒度(fine-grained)动作检测。
发明内容
以下呈现发明内容以提供对本发明的一个或多个实施例的基本理解。本发明内容不旨在标识关键或重要元素，或描绘特定实施例的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现构思，作为稍后呈现的更详细描述的序言。在本文描述的一个或多个实施例中，本文描述了能够基于一个或多个神经网络的一个或多个感受野中的运动来自主检测细粒度动作的***、计算机实现的方法、装置和/或计算机程序产品。
根据实施例，提供了一种***。该***可以包括可以存储计算机可执行组件的存储器。该***还可以包括处理器，该处理器可操作地耦合到存储器，并且可以执行存储在存储器中的计算机可执行组件。计算机可执行组件可以包括运动组件，该运动组件可以从神经网络模型的可变形卷积层(deformable convolution layer)中的多个自适应感受野提取运动向量。计算机可执行组件还可以包括动作检测组件，该动作检测组件可以通过将运动向量与从可变形卷积层提取的空间特征级联来生成时空特征。
根据实施例，提供了一种计算机实现的方法。该计算机实现的方法可以包括由可操作地耦合到处理器的***从神经网络模型的可变形卷积层中的多个自适应感受野提取运动向量。计算机实现的方法还可以包括由***通过将运动向量与从可变形卷积层提取的空间特征级联来生成时空特征。
根据实施例，提供了一种能够基于感受野中的运动来促进细粒度动作的计算机程序产品。计算机程序产品可以包括计算机可读存储介质，该计算机可读存储介质具有包含在其中的程序指令。程序指令可由处理器执行，以使处理器由可操作地耦合到处理器的***从神经网络模型的可变形卷积层中的多个自适应感受野提取运动向量。程序指令还可以使处理器通过将运动向量与从可变形卷积层提取的空间特征级联来由***生成时空特征。
附图说明
图1示出了根据本文描述的一个或多个实施例的示例的、非限制性的***的框图，该***可以基于神经网络模型的一个或多个感受野中的运动来促进动作(例如，细粒度动作)检测。
图2A示出了根据本文描述的一个或多个实施例的示例的、非限制性的可以利用***来分析的视频数据的第一帧的照片，该***可以基于神经网络模型的一个或多个感受野中的运动来促进动作(例如，细粒度动作)检测。
图2B示出了根据本文描述的一个或多个实施例的示例的、非限制性的可以利用***来分析的视频数据的第二帧的照片，该***可以基于神经网络模型的一个或多个感受野中的运动来促进动作(例如，细粒度动作)检测。
图2C示出了根据本文描述的一个或多个实施例的示例的、非限制性的可以基于神经网络模型的一个或多个感受野中的运动的动作(例如，细粒度动作)检测的第一可视化的照片。
图2D示出了根据本文描述的一个或多个实施例的示例的、非限制性的可以基于神经网络模型的一个或多个感受野中的运动的动作(例如，细粒度动作)检测的第二可视化的照片。
图2E示出了根据本文描述的一个或多个实施例的示例的、非限制性的可以基于神经网络模型的一个或多个感受野中的运动的动作(例如，细粒度动作)检测的第三可视化的照片。
图3示出了根据本文描述的一个或多个实施例的示例的、非限制性的模型体系结构的图，该模型体系结构可以基于神经网络模型的一个或多个感受野中的运动来促进***的动作(例如，细粒度动作)检测。
图4示出了根据本文描述的一个或多个实施例的示例的、非限制性的模型体系结构的图，该模型体系结构可以基于神经网络模型的一个或多个感受野中的运动来促进***的动作(例如，细粒度动作)检测。
图5A示出了根据本文描述的一个或多个实施例的示例的、非限制性的可以利用***来分析的视频数据的第一帧的图，该***可以基于神经网络模型的一个或多个感受野中的运动来促进动作(例如，细粒度动作)检测。
图5B示出了可以使用一种或多种传统方法为动作检测而分析的示例的、非限制性的视频数据的第二帧的图。
图5C示出了根据本文描述的一个或多个实施例的示例的、非限制性的可以利用***来分析的视频数据的第二帧的图，该***可以基于神经网络模型的一个或多个感受野中的运动来促进动作(例如，细粒度动作)检测。
图6示出了根据本文描述的一个或多个实施例的示例的、非限制性的方法的流程图，该方法可以基于神经网络模型的一个或多个感受野中的运动来促进动作(例如，细粒度动作)检测。
图7示出了根据本文描述的一个或多个实施例的示例的、非限制性的方法的流程图，该方法可以基于神经网络模型的一个或多个感受野中的运动来促进动作(例如，细粒度动作)检测。
图8描绘了根据本文描述的一个或多个实施例的云计算环境。
图9描绘了根据本文描述的一个或多个实施例的抽象模型层。
图10示出了示例的、非限制性的操作环境的框图，其中可以促进本文描述的一个或多个实施例。
具体实施方式
以下详细描述仅是说明性的，并且并不旨在限制实施例和/或实施例的应用或使用。此外，不旨在受前述背景技术或发明内容部分或具体实施方式部分中呈现的任何明示或暗示的信息的约束。
现在参考附图描述一个或多个实施例，附图中相似的附图标记始终用于表示相似的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施例的更透彻的理解。然而，显而易见的是，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施例。
人工智能(Artificial intelligence，“AI”)技术可用于使用一个或多个神经网络模型执行各种机器学习任务。一种这样的机器学习任务可以包括动作检测，动作检测可以关于将给定视频的每个帧分类为“N”个定义的类别(例如，包括用于未知动作的类别)中的一个。例如，动作检测可以关于细粒度动作的检测，其中一个或多个神经网络模型可以促进确定：哪些对象在视频中从帧移动到帧；以及所述对象是如何从帧移动到帧的。传统的细粒度动作检测方法在不同的特征提取器中分离空间和时间信息，然后将两个相应的特征流与融合模型相结合。
本发明的各种实施例可以针对基于一个或多个神经网络模型的一个或多个感受野中的运动来促进动作(例如，细粒度动作)的高效、有效和自主(例如，没有直接的人类引导)检测的计算机处理***、计算机实现的方法、装置和/或计算机程序产品。例如，一个或多个实施例针对能够关于通过利用神经网络模型的一个或多个可变形卷积层来学习神经网络模型的特征空间中的时间信息(例如，关于一个或多个对象如何在视频中从帧移动到帧)的计算机处理***、计算机实现的方法、装置和/或计算机程序产品。例如，一个或多个实施例可以通过评估自适应感受野随时间的变化来关于检测运动。因此，各种实施例可以在多个标度(scale)上联合地建模和/或确定对象及其运动场(motion field)，而不需要附加的光流处理。
该计算机处理***、计算机实现的方法、装置和/或计算机程序产品采用硬件和/或软件来解决本质上高度技术性的问题(例如，基于从神经网络模型的可变形卷积层中的感受野提取的运动的细粒度动作检测)，这些问题不是抽象的，并且不能作为人类的一组精神动作来执行。例如，个人或甚至多个个人不能容易且有效地逐帧分析视频数据以检测和/或量化由一个或多个对象表现出的运动。具体地，个人不能以本文描述的各种实施例所展示的准确度和/或效率水平精细地和/或离散地检测运动。附加地，本文描述的一个或多个实施例可以利用本质上是自主的人工智能技术来促进人类不能容易地执行的确定和/或预测。
如本文所使用的，术语“机器学习任务”可以指AI技术的应用，以自动地和/或自主地从经验(例如，训练数据)中学习和/或改进，而无需对学习的和/或改进的教训进行明确编程。例如，机器学习任务可以利用一个或多个算法来促进监督和/或无监督学习以执行诸如分类、回归和/或聚类的任务。
如本文所使用的，术语“神经网络模型”可以指可以用于促进一个或多个机器学习任务的计算机模型，其中计算机模型可以模拟可以类似于神经元的抽象版本的多个互连处理单元。例如，处理单元可以被布置在通过变化的连接强度(例如，在本领域内通常称为“权重”)连接的多个层(例如，一个或多个输入层、一个或多个隐藏层和/或一个或多个输出层)中。神经网络模型可以通过训练来学习，其中将具有已知结果的数据输入到计算机模型中，将关于数据的输出与已知结果进行比较，和/或基于比较来自主调整计算机模型的权重，以复制已知结果。如本文所使用的，术语“训练数据”可以指用于训练一个或多个神经网络模型的数据和/或数据集。随着神经网络模型训练(例如，利用更多的训练数据)，计算机模型可以变得越来越准确；因此，基于从训练数据中学习的教训，训练的神经网络模型可以准确地分析具有未知结果的数据，以促进一个或多个机器学习任务。示例神经网络模型可以包括但不限于：感知器(perceptron，“P”)、前馈(feed forward，“FF”)、径向基网络(radialbasis network，“径向基网络”)、深度前馈(deep feed forward，“DFF”)、递归神经网络(recurrent neural network，“RNN”)、长/短期记忆(long/short term memory，“LSTM”)、门控递归单元(gated recurrent unit，“GRU”)、自动编码器(auto encoder，“AE”)、变分AE(variational AE，“VAE”)、去噪AE(denoising AE，“DAE”)、稀疏AE(sparse AE，“SAE”)、马尔可夫链(markov chain，“MC”)、霍普菲尔德网络(Hopfield network，“HN”)、玻尔兹曼机(Boltzmann machine，“BM”)、深度置信网络(deep belief network，“DBN”)、深度卷积网络(deep convolutional network，“DCN”)、卷积神经网络(convolutional neural network，“CNN”)、时间卷积网络(temporal convolutional network，“TCN”)、去卷积网络(deconvolutional network，“DN”)深层卷积逆图形网络(deep convolutionalinversegraphics network，“DCIGN”)、生成对抗网络(generative adversarial network，“GAN”)、液态加工(liquid state machining，“LSM”)、极限学习机(extreme learning machine，“ELM”)、回声状态网络(echo state network，“ESN”)、深层残差网络(deep residualnetwork，“DRN”)、科霍宁网络(kohonen network，“KN”)、支持向量机(support vectormachine，“SVM”)和/或神经图灵机(neural turing machine，“NTM”)。
如本文所使用的，术语“细粒度动作”可以指具有高级类别间(inter-class)相似性的动作。例如，即使人类也很难仅仅通过观察给定视频数据的单帧来区分两种不同的细粒度动作。细粒度动作可以关于对象在视频数据中从帧移动到帧和/或对象如何在视频数据中从帧移动到帧。对于细粒度动作：检测到的从第一帧(例如“t-1”)到第二帧(例如“t”)的运动很慢；检测到的从第一帧到第二帧的运动可以具有恒定的速度；来自两个帧的相同激活单元“n”可以对应于帧上相似的感受野；和/或在一个或多个背景区域中检测到的运动可以是最小的。
图1示出了根据本文描述的一个或多个实施例的示例的、非限制性的***100的框图，该***100可以基于一个或多个神经网络模型(例如，基于视觉的神经网络模型)的一个或多个感受野中的运动来促进一个或多个动作(例如，细粒度动作)的检测。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。本发明各种实施例中的***(例如，***100等)、装置或过程的各方面可以构成体现在一个或多个机器中的一个或多个机器可执行组件内，例如，体现在与一个或多个机器相关联的一个或多个计算机可读介质(或多个介质)中。当由一个或多个机器(例如计算机、计算设备、虚拟机等)执行时，这种组件可以使机器执行所描述的操作。
如图1所示，***100可以包括一个或多个服务器102、一个或多个网络104和/或一个或多个输入设备106。服务器102可以包括控制组件108。控制组件108还可以包括接收组件110、运动组件112、动作检测组件114和/或损失组件115。此外，服务器102可以包括或以其他方式与至少一个存储器116相关联。服务器102还可以包括***总线118，***总线118可以耦合到各种组件，诸如但不限于控制组件108和相关联的组件、存储器116和/或处理器120。虽然服务器102在图1中示出，但是在其他实施例中，各种类型的多个设备可以与图1所示的特征相关联或者包括图1所示的特征。此外，服务器102可以经由一个或多个网络104与云计算环境通信。
一个或多个网络104可以包括有线和无线网络，包括但不限于蜂窝网络、广域网(wide area network，WAN)(例如，互联网)或局域网(local area network，LAN)。例如，服务器102可以使用实际上任何期望的有线或无线技术(包括例如但不限于：蜂窝、WAN、无线高保真(wireless fidelity，Wi-Fi)、Wi-Max、WLAN、蓝牙技术、它们的组合等)与一个或多个输入设备106通信(反之亦然)。此外，尽管在所示的实施例中，控制组件108可以被提供在一个或多个服务器102上，但是应当理解，***100的体系结构不限于此。例如，控制组件108或控制组件108的一个或多个组件可以位于另一计算机设备，诸如另一服务器设备、客户端设备等。
一个或多个输入设备106可以包括一个或多个计算机化设备，其可以包括但不限于：个人计算机、台式计算机、膝上型计算机、蜂窝电话(例如，智能电话)、计算机化平板电脑(例如，包括处理器)、智能手表、键盘、触摸屏、鼠标、它们的组合等。***100的用户可以利用一个或多个输入设备106向***100输入数据，从而与服务器102共享(例如，经由直接连接和/或经由一个或多个网络104)数据。例如，一个或多个输入设备106可以向接收组件110(例如，经由直接连接和/或经由一个或多个网络104)发送数据。例如，输入的数据可包括视频数据、一个或多个图像、它们的组合等。附加地，一个或多个输入设备106可以包括可以将由***100生成的一个或多个输出呈现给用户的一个或多个显示器。例如，一个或多个显示器可包括但不限于：阴极管显示器(cathode tube display“CRT”)、发光二极管显示器(light-emitting diode display，“LED”)、电致发光显示器(electroluminescentdisplay，“ELD”)、等离子体显示器面板(plasma displaypanel，“PDP”)、液晶显示器(liquid crystal display，“LCD”)、有机发光二极管显示器(organic light-emittingdiode display，“OLED”)、它们的组合等。
控制组件108可以基于例如一个或多个神经网络模型(例如，一个或多个CNN，诸如ResNet)的一个或多个可变形卷积层中的一个或多个自适应感受野来促进动作检测(例如，细粒度动作检测)。一个或多个可变形卷积层中的一个或多个自适应感受野可以是视频数据的重要像素的聚合(aggregation)，因为主题神经网络模型(例如，ResNet CNN)可以具有改变每个卷积样本从何处采样的灵活性。因此，关键点可以在跨不同帧的视频数据内是一致的，并且控制组件108可以通过确定一个或多个自适应感受野随时间的一个或多个差异来捕捉运动。由于可变形卷积层可以被端到端(end-to-end)地训练，所以控制组件108可以在一个或多个神经网络(例如，其可以创建一个或多个多标度运动向量)的一个或多个隐藏层处学习以对运动建模(例如，经由一个或多个运动向量)。此外，控制组件108可以将学习的运动(例如，一个或多个运动向量)与一个或多个空间特征相结合，以生成一个或多个时空特征，从而可以表征与一个或多个空间特征相关联的一个或多个细粒度动作。
接收组件110可以经由一个或多个输入设备106接收由***100的用户输入的数据。接收组件110可以直接(例如，经由电连接)或间接(例如，经由一个或多个网络104)可操作地耦合到一个或多个输入设备106。附加地，接收组件110可以直接(例如，经由电连接)或间接(例如，经由一个或多个网络104)可操作地耦合到服务器102的一个或多个组件(例如，与控制组件108、***总线118、处理器120和/或存储器116相关联的一个或多个组件)。例如，在一个或多个实施例中，由接收组件110接收的一个或多个目标数据集可以被传送到运动组件112(例如，直接或间接地)和/或可以被存储在存储器116中(例如，位于服务器102上和/或云计算环境内)。
运动组件112可以将接收到的数据馈送到一个或多个神经网络模型，该神经网络模型可以存储在存储器116中(例如，位于服务器102上和/或经由一个或多个网络104可访问的云计算环境中)，以从一个或多个神经网络模型的一个或多个可变形卷积层中的多个自适应感受野提取一个或多个运动向量。例如，可以通过下面的等式1来表征一个或多个可变形卷积操作：
关于等式1，“xl (t)”可以表示层“l”的输入特征图，并且“yl (t)”可以是其在帧“t”处的卷积响应。此外，“pn”可以表示“R”的规则像素网格上的和，并且可以表示在每个n，0位置处的偏移，并且可以表示子模型神经网络模型的输出，该子模型神经网络模型可以对每个可变形卷积的偏移进行建模。而且，“Wl”可以表示可变形卷积的权重。
运动组件112可以基于上面的等式1和下面给出的等式2-4从多个自适应感受野提取一个或多个运动向量。例如，帧“t”处的自适应感受野和激活位置“p0”可以在公式2中被表示为向量其中T可以表示转置操作。
此外，在等式3中，可以将所有激活位置的一个或多个运动向量一般化为
运动组件112可以通过计算感受野随时间的差异从多个自适应感受野提取一个或多个运动向量，这例如可以经由下面的等式4来表示。
关于等式4，跨所有有利卷积层的“rl (t)”的级联可以被表示为“r(t)”，其可以指一个或多个提取的(例如，学习的)运动向量。
动作检测组件114可以从一个或多个可变形卷积层中提取一个或多个空间特征，“yL (t)”，其中“L”可以是最终层的索引(index)。在一个或多个实施例中，动作检测组件114可以利用两层全连接的神经网络模型(two layered fully connected neural networkmodel)来聚合一个或多个运动向量(例如，时间信息)和/或一个或多个空间特征(例如，空间信息)，以生成一个或多个时空特征(例如，分类预测)。在一个或多个其他实施例中，与两层全连接的神经网络模型相比，动作检测组件114可以利用更复杂的神经网络模型(例如，TCN)来聚合和/或级联一个或多个运动向量和/或一个或多个空间特征。例如，动作检测组件114可以利用随后是两个全连接层的两个3D卷积，其中每个3D卷积单元随后可以是批量归一化(batch normalization)、整流线性单元(rectified linear unit，“ReLU”)激活和/或3D最大池化，以逐渐减小时间维度，同时可以保持空间维度。
为了训练一个或多个主题神经网络，损失组件115可以计算类别损失“C”和/或运动损失“M”。类别损失可以是交叉熵损失，该交叉熵损失可以加强(enforce)预测的分类和/或标签的正确性。运动损失可以是正则化(regularization)，该正则化可以跨时间加强学习的运动(例如，提取的运动向量)的一致性。根据下面的等式5，损失组件115可以定义总损失
其中“D”可以表示主题数据集(例如，由接收组件110接收和/或由一个或多个输入设备106和/或一个或多个网络104输入到***100中的输入数据)，使得D＝{v(i)，z(i)}，其中可以是具有相应的帧标签Z(i)∈{1，2，...，K}的视频片段。此外，其中可以表示模型参数“Θ”上的权重衰减正则化。其中可以代表一组实数，“H”可以代表视频的高度尺寸，“W”可以代表视频的宽度尺寸，和/或“(i)”可以代表样本指数。
损失组件115可以根据下面的等式6计算类别损失“C(i)”作为视频片段上的分类损失。
其中可以是视频片段“v(i)”的预测类别标签，1可以是指示器函数(indicator function)。而且，“k”可以表示示例类别标签。
损失组件115可以进一步根据下面的等式7计算运动损失“M(i)”。
其中“1”可以是可变形卷积数的指数。运动损失可以促使偏移随时间保持一致。
当视频数据的帧之间的移动不一致时，运动损失可能很高。当运动损失较低并且帧之间存在实际运动时，类别损失可能很高，因为感受野不会演变为适应后面帧中的对象。因此，控制部件108使运动损失和类别损失都最小化，以确保运动是平滑的并且感受野可以近似相关的关键点。
其中传统方法通常利用光流来近似运动(例如，通过计算具有相似值的相邻像素之间的运动向量)，控制组件108(例如，经由运动组件112、动作检测组件114和/或损失组件115)可以随时间检查相同激活位置“p0”的多个自适应感受野。因此，与可以在像素级别分析的传统方法相反，控制组件108可以检测特征级别的细粒度动作。由于控制组件108可以在特征级别分析数据(例如，视频数据)，因此可以避免通常观察到的问题，诸如像素级别的噪声。此外，由本文描述的一个或多个神经网络建模的检测到的运动可以以端到端的方式训练。
附加地，本领域普通技术人员将认识到，时间分量“rl (t)”可以是学习的偏移的差异，因为当对象从“t-1”移动到“t”时，“p0-pn”可以被取消。对于标准卷积，可以等于0；从而没有引入时间信息。对于扩张卷积，可以等于因为扩张的参数是固定的；因此，偏移的差异也不能承载任何运动。相反，可变形卷积的偏移(例如，如本文所述)可以取决于输入；因此，不等于学习的运动变得有意义。此外，通过利用自适应感受野来检测运动，本文描述的一个或多个实施例可以利用单流神经网络模型；与传统动作检测方法中使用的两个流模型相反。
图2A和图2B示出了根据本文描述的一个或多个实施例的示例的、非限制性的由***100分析的视频帧的照片，该***可以基于多个感受野中的运动来促进动作检测(例如，细粒度动作检测)。图2C-图2E示出了根据本文描述的一个或多个实施例的可以关于由***100基于多个感受野中的运动的动作检测(例如，细粒度动作检测)的示例的、非限制性的可视化的照片。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。
图2A中所示的第一帧200(例如，t-1)和图2B中所示的第二帧202(例如，t)可以是连续的视频帧。图2C中所示的第一可视化204可以描绘关于从第一帧200到第二帧202的过渡的在背景区域中找到的提取的运动向量(例如，经由运动组件112)。图2D中所示的第二可视化206可以描绘在关于从第一帧200到第二帧202的过渡的在移动区域中找到的提取的运动向量(例如，经由运动组件112)。附加地，图2E中所示的第三可视化208可以描绘关于从第一帧200到第二帧202的过渡的特征空间中的运动场。
图2A-图2E中描绘的运动可以由控制组件108使用多个特征空间(例如，与传统技术执行的像素空间相反)上的自适应感受野中的差异来计算。第一帧200和/或第二帧202描绘了个人触及货架的动作。第一帧200和/或第二帧202可以包括在一个或多个数据集(例如，视频数据集)内，该数据集可以经由一个或多个输入设备106(例如，经由一个或多个网络)输入到***100中和/或存储于存储器116(例如，位于服务器102和/或经由一个或多个网络104可访问的云计算环境上)。
第一可视化204和/或第二可视化206可以描绘对应于主题帧的不同区域的提取的运动向量。交叉阴影圆圈可以指示位于相应区域中的激活单元。例如，第一可视化204可以描绘背景区域中的第一激活单元210；而第二可视化206可以描绘前景区域中的第二激活单元212。此外，短箭头可以描绘一个或多个提取的运动向量，该一个或多个提取的运动向量可以表征相应激活单元周围的运动。为了可视化，可以抑制具有低于预定阈值的运动向量。
如图2C所示，缺少运动向量可以指示第一激活单元210在背景区域中是不动的，因为随着时间的推移，背景区域的自适应感受野之间的差异最小(例如，低于定义的阈值)。相反，图2D中所示的运动向量的存在可以指示第二激活单元212包括前景区域中的运动(例如，个人在前景区域内触及货架)。所有激活单元(例如，第一激活单元210和/或第二激活单元212)处的运动场可以在第三可视化208中描绘，其中场的能量可以对应于每个位置处的运动向量的长度。如第三次激活中所示，运动场在运动区域(例如前景区域)周围被激发，如灰色标度所示，而在静止区域(例如背景区域)被抑制，如实心黑色所示。在一个或多个实施例中，控制组件108可以分析示例性第一帧200和/或第二帧202，以生成示例性第一可视化204、第二可视化206和/或第三可视化208，从而便于动作检测(例如，细粒度动作检测)。
图3示出了根据本文描述的一个或多个实施例的示例的、非限制性的体系结构300的图，该体系结构300可以描绘由***100(例如，控制组件108)促进的一个或多个特征(例如，运动向量)的一个或多个提取、一个或多个过程和/或一个或多个确定，以基于神经网络模型(例如，CNN)的自适应感受野中的运动来获得动作检测(例如，细粒度动作检测)。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。
如图3所示，体系结构300可以描绘根据本文描述的一个或多个实施例的可以由控制组件108执行的分析。例如，运动组件112可以提取一个或多个运动向量作为可变形卷积层中自适应感受野的差异(例如，由图3中的方格阴影描绘)，其中可变形卷积层的输出可以与下一可变形卷积层的输入相同。运动组件112可以聚合跨各种时间帧提取的多个运动向量和/或与损失组件115和/或动作检测组件114共享提取的和/或计算的运动向量。
动作检测组件114可以提取一个或多个空间特征作为一个或多个可变形卷积层的输出和/或可以从运动组件112接收一个或多个运动向量。动作检测组件114可以级联学习的运动向量和/或空间特征，以生成一个或多个时空特征，该时空特征可以表征与空间特征相关联的动作检测(例如，细粒度动作检测)。损失组件115可以基于一个或多个运动向量计算运动损失和/或基于一个或多个空间特征计算类别损失。此外，由体系结构300表征的神经网络模型可以被端到端地训练。
图4示出了根据本文描述的一个或多个实施例的示例的、非限制性的体系结构300的另一图，该体系结构300可以描绘由***100(例如，控制组件108)促进的一个或多个特征(例如，运动向量)的一个或多个提取、一个或多个过程和/或一个或多个确定，以基于神经网络模型(例如，CNN)的自适应感受野中的运动来获得动作检测(例如，细粒度动作检测)。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。图4可以描绘体系结构300的详细部分。例如，图4示出了可以如何(例如，通过运动组件112)提取各种运动向量作为相应视频帧的可变形卷积层中的自适应感受野之间的差异。附加地，一个或多个空间特征可以被提取(例如，通过动作检测组件114)作为一个或多个可变形卷积层的输出和/或与一个或多个运动向量级联(例如，经由动作检测组件114)。
图5A示出了在第一时间(t)处包括自行车的示例的、非限制性的第一视频帧502的图。图5B和图5C示出了在第二时间(t+1)处包括自行车的示例的、非限制性的第二视频帧504的图。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。
如关于图2C和图2D所描述的，图5B和图5C描绘了激活单元(例如，通过交叉影线描绘)和/或运动向量(例如，由箭头描绘)。图5B可以描绘没有运动一致性加强(例如，没有最小化运动损失)的动作检测(例如，细粒度动作检测)。相反，图5C可以描绘具有运动一致性加强(例如，经由运动损失的最小化)的动作检测(例如，细粒度动作检测)，这可以通过利用神经网络模式(例如，CNN)的可变形卷积层的感受野中的运动来获得。图5B中描绘的运动向量与图5C的运动向量的比较说明了运动一致性加强可以导致具有更均匀长度和方向的向量；从而相比其他方法(例如，经由传统方法)，可以获得与更平滑的运动近似相关。
图6示出了根据本文描述的一个或多个实施例的示例的、非限制性的方法600的流程图，该方法可以基于神经网络模型的一个或多个感受野中的运动来促进动作检测(例如，细粒度动作检测)。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。
在602处，方法600可以包括由可操作地耦合到处理器120的***100从神经网络模型的一个或多个可变形卷积层中的多个自适应感受野提取(例如，经由运动组件112)一个或多个运动向量。例如，可以通过计算多个自适应感受野随时间的差异来提取一个或多个运动向量。
在604处，方法600可以包括由***100通过将一个或多个运动向量与从一个或多个可变形卷积层提取的一个或多个空间向量级联来生成(例如，经由动作检测组件114)一个或多个时空特征。附加地，方法600可以包括计算(例如，经由损失组件115)运动损失和/或类别损失，以加强预测类别的正确性和/或运动向量的一致性。附加地，在各种实施例中，可以端到端地训练神经网络模型。
图7示出了根据本文描述的一个或多个实施例的示例的、非限制性的方法700的流程图，该方法可以基于神经网络模型的一个或多个感受野中的运动来促进动作检测(例如，细粒度动作检测)。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。
在702处，该方法可以包括由可操作地耦合到处理器120的***100从一个或多个神经网络模型的一个或多个可变形卷积层中的多个自适应感受野提取一个或多个运动向量(例如，经由运动组件112)。在702处的提取可以通过计算(例如，经由运动组件112)神经网络模型上的多个特征空间上的多个自适应感受野的差异来促进。例如，可以通过计算在第一时间帧处来自多个自适应感受野的第一自适应感受野和在第二时间帧处来自多个自适应野的第二自适应感受野之间的差异来提取一个或多个运动向量。
在704处，方法700可以包括由***100通过将一个或多个运动向量与从一个或多个可变形卷积层提取的一个或多个空间向量级联来生成(例如，经由动作检测组件114)一个或多个时空特征。
在706处，方法700可以包括由***100从多个运动向量的聚合中计算(例如，经由损失组件115)运动损失，其中运动损失可以是正则化，该正则化可以在一段时间内加强由多个运动向量表征的学习的运动的一致性。
在708处，方法700可以包括由***100从多个空间特征的聚合中计算(例如，经由损失组件115)类别损失，其中类别损失可以是交叉熵损失，该交叉熵可以加强由神经网络模型生成的预测标签(例如，归类)的正确性。
首先应当理解，尽管本公开包括关于云计算的详细描述，但其中记载的技术方案的实现却不限于云计算环境，而是能够结合现在已知或以后开发的任何其他类型的计算环境而实现。
云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便，按需的网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能快速部署和释放的资源，例如可以是网络，网络带宽，服务器，处理，内存，存储，应用，虚拟机和服务。这种云模式可以包括至少五个特征，至少三个服务模型和至少四个部署模型。
特征包括：
按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单方面自动地按需部署诸如服务器时间和网络存储等的计算能力。
广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进了通过不同种类的瘦客户机平台或厚客户机平台(例如移动电话、膝上型电脑、个人数字助理PDA)对云的使用。
资源池：提供者的计算资源被归入资源池并通过多租户(multi-tenant)模式服务于多重消费者，其中按需将不同的实体资源和虚拟资源动态地分配和再分配。一般情况下，消费者不能控制或甚至并不知晓所提供的资源的确切位置，但可以在较高抽象程度上指定位置(例如国家、州或数据中心)，因此具有位置无关性。
迅速弹性：能够迅速、有弹性地(有时是自动地)部署计算能力，以实现快速扩展，并且能迅速释放来快速缩小。在消费者看来，用于部署的可用计算能力往往显得是无限的，并能在任意时候都能获取任意数量的计算能力。
可测量的服务：云***通过利用适于服务类型(例如存储、处理、带宽和活跃用户帐号)的某种抽象程度的计量能力，自动地控制和优化资源效用。可以监测、控制和报告资源使用情况，为服务提供者和消费者双方提供透明度。
服务模型如下：
软件即服务(SaaS)：向消费者提供的能力是使用提供者在云基础架构上运行的应用。可以通过诸如网络浏览器的瘦客户机接口(例如基于网络的电子邮件)从各种客户机设备访问应用。除了有限的特定于用户的应用配置设置外，消费者既不管理也不控制包括网络、服务器、操作***、存储、乃至单个应用能力等的底层云基础架构。
平台即服务(PaaS)：向消费者提供的能力是在云基础架构上部署消费者创建或获得的应用，这些应用利用提供者支持的程序设计语言和工具创建。消费者既不管理也不控制包括网络、服务器、操作***或存储的底层云基础架构，但对其部署的应用具有控制权，对应用托管环境配置可能也具有控制权。
基础架构即服务(IaaS)：向消费者提供的能力是消费者能够在其中部署并运行包括操作***和应用的任意软件的处理、存储、网络和其他基础计算资源。消费者既不管理也不控制底层的云基础架构，但是对操作***、存储和其部署的应用具有控制权，对选择的网络组件(例如主机防火墙)可能具有有限的控制权。
部署模型如下：
私有云：云基础架构单独为某个组织运行。云基础架构可以由该组织或第三方管理并且可以存在于该组织内部或外部。
共同体云：云基础架构被若干组织共享并支持有共同利害关系(例如任务使命、安全要求、政策和合规考虑)的特定共同体。共同体云可以由共同体内的多个组织或第三方管理并且可以存在于该共同体内部或外部。
公共云：云基础架构向公众或大型产业群提供并由出售云服务的组织拥有。
混合云：云基础架构由两个或更多部署模型的云(私有云、共同体云或公共云)组成，这些云依然是独特的实体，但是通过使数据和应用能够移植的标准化技术或私有技术(例如用于云之间的负载平衡的云突发流量分担技术)绑定在一起。
云计算环境是面向服务的，特点集中在无状态性、低耦合性、模块性和语意的互操作性。云计算的核心是包含互连节点网络的基础架构。
现在参考图8，描绘了说明性云计算环境800。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。如图所示，云计算环境800包括一个或多个云计算节点802，其中，云消费者使用的本地计算设备，诸如例如个人数字助理(personal digitalassistant，PDA)或蜂窝电话804、台式计算机806、膝上型计算机808和/或汽车计算机***810可以与之通信。节点802可以彼此通信。它们可以在一个或多个网络中(诸如如上所述的私有云、社区云、公共云或混合云、或它们的组合)物理地或虚拟地分组(未示出)。这允许云计算环境800提供基础设施、平台和/或软件作为云消费者不需要维护本地计算设备上的资源的服务。应当理解，图8中所示的计算设备804-810的类型仅是说明性的，并且计算节点802和云计算环境800可以通过任何类型的网络和/或网络可寻址连接(例如，使用网络浏览器)与任何类型的计算机化设备通信。
现在参考图9，示出了由云计算环境800(图8)提供的一组功能抽象层。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。首先应当理解，图9所示的组件、层以及功能都仅仅是说明性的，并且本发明的实施例不限于此。如图所示，提供了以下层和相应的功能。
硬件和软件层902包括硬件和软件组件。硬件组件的示例包括：主机904；基于RISC(ReducedInstruction Set Computer，精简指令集计算机)架构的服务器906；服务器908；刀片服务器910；存储设备912；以及网络和网络组件914。在一些实施例中，软件组件包括网络应用服务器软件916和数据库软件918。
虚拟化层920提供抽象层，该层可以提供下列虚拟实体的示例：虚拟服务器922、虚拟存储924、虚拟网络926(包括虚拟私有网络)、虚拟应用和操作***928以及虚拟客户端930。
在一个示例中，管理层932可以提供下面描述的功能。资源供应934提供用于在云计算环境内执行任务的计算资源和其他资源的动态采购。计量和定价936在云计算环境内对资源的利用提供成本跟踪，并为这些资源的消费提供帐单和***。在一个示例中，这些资源可以包括应用软件许可。安全性为云消费者和任务提供身份验证，以及为数据和其他资源提供保护。用户门户938为消费者和***管理员提供对云计算环境的访问。服务水平管理940提供云计算资源分配和管理，使得满足必需的服务水平。服务水平协议(Service LevelAgreement，SLA)规划和履行942为根据SLA预测的对云计算资源未来需求提供预先安排和供应。
工作负载层944提供可以利用云计算环境的功能的示例。可以从该层提供的工作负载和功能的示例包括：地图绘制和导航946；软件开发和生命周期管理948；虚拟教室教育交付950；数据分析处理952；业务处理954和细粒度动作检测956。本发明的各种实施例可以利用参考图8和图9描述的云计算环境来基于神经网络模型(例如，CNN)的一个或多个感受野(例如，自适应感受野)中的运动来检测动作(例如，细粒度动作)。在任何可能的技术细节结合层面，本发明可以是***，方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是，例如，但不限于，电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或上述设备的任何合适的组合。
计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM或闪速存储器)、静态随机存取存储器(static random access memory，SRAM)、便携式光盘只读存储器(compact disc read-only memory，CD-ROM)、数字多用盘(digital versatiledisk，DVD)、记忆棒、软盘、机械编码设备(诸如其上存储有指令的打孔卡或凹槽内凸起结构)、以及上述的任何合适组合。本文所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本文所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络，例如互联网，局域网，广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆，光纤传输，无线传输，路由器，防火墙，交换机，网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言一诸如Smalltalk、C++等，以及过程式编程语言一诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用互联网服务提供商来通过互联网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
本文参照根据本发明实施例的方法，装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的***、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示模块、段或指令的一部分，模块、段或指令的一部分包括用于实现(多个)指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这取决于所涉及的功能。也要注意的是，框图和/或流程图说明中的每个框、以及框图和/或流程图说明中的方框组合，可以由执行特定的功能或动作的特定的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来执行。
为了提供所公开主题的各个方面的上下文，图10以及以下讨论旨在提供其中可以实现所公开主题的各个方面的合适环境的一般描述。图10示出了示例的、非限制性的操作环境的框图，其中可以促进本文描述的一个或多个实施例。为简洁起见，省略了对本文描述的其他实施例中采用的相似元件的重复描述。参考图10，用于实现本公开的各个方面的合适的操作环境1000可以包括计算机1012。计算机1012还可以包括处理单元1014、***存储器1016和***总线1018。***总线1018可以将***组件可操作地耦合到处理单元1014，该***组件包括但不限于***存储器1016。处理单元1014可以是各种可用处理器中的任何一种。双微处理器和其他多处理器架构也可以用作处理单元1014。***总线1018可以是几种类型的总线结构中的任何一种，包括存储器总线或存储器控制器、***总线总线或外部总线和/或使用各种可用总线体系结构的本地总线，这些总线体系结构包括但不限于工业标准体系结构(Industrial Standard Architecture，ISA)、微通道体系结构(Micro-ChannelArchitecture，MSA)、扩展ISA(Extended ISA，EISA)、智能驱动电子设备(IntelligentDrive Electronic，IDE)、VESA本地总线(VESA Local Bus，VLB)、***组件互连(Peripheral Component Interconnect，PCI)、卡总线，通用串行总线(Universal SerialBus，USB)、高级图形端口(Advanced Graphics Port，AGP)、Firewire和小型计算机***接口(Small Computer Systems Interface，SCSI)。***存储器1016还可以包括易失性存储器1020和非易失性存储器1022。包含诸如在启动期间在计算机1012内的元件之间传输信息的基本例程的基本输入/输出***(basic input/output system，BIOS)可以存储在非易失性存储器1022中。作为说明而非限制，非易失性存储器1022可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、闪速存储器或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。易失性存储器1020还可以包括充当外部高速缓冲存储器的随机存取存储器(RAM)。作为说明而非限制，RAM有多种形式，诸如静态随机存取存储器(SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、双倍数据速率SDRAM(double data rate SDRAM，DDR SDRAM)、增强型SDRAM(enhanced SDRAM，ESDRAM)、同步链接DRAM(Synchlink DRAM，SLDRAM)、直接Rambus RAM(direct Rambus RAM.DRRAM)、直接Rambus动态RAM(direct Rambus dynamic RAM.DRDRAM)和Rambus动态RAM。
计算机1012还可以包括可移动/不可移动、易失性/非易失性计算机存储介质。图10示出了例如磁盘存储1024。磁盘存储1024还可以包括但不限于像磁盘驱动器、软盘驱动器、磁带驱动器、Jaz驱动器、Zip驱动器、LS-100驱动器、闪速存储器卡或记忆棒的设备。磁盘存储1024还可以包括单独的存储介质或者与其他存储介质相结合的存储介质，其他存储介质包括但不限于诸如光盘ROM设备(CD-ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)或数字通用磁盘ROM驱动器(DVD-ROM)的光盘驱动器。为了便于将磁盘存储1024连接到***总线1018，可以使用可移动或不可移动的接口，诸如接口1026。图10还描绘了可以充当用户和在合适的操作环境1000中描述的基本计算机资源之间的中介的软件。这种软件还可以包括例如操作***1028。可以存储在磁盘存储1024上的操作***1028用于控制和分配计算机1012的资源。***应用1030可以由操作***1028通过程序模块1032和程序数据1034(例如存储在***存储器1016中或磁盘存储1024上)来利用对资源的管理。应当理解，本公开可以用各种操作***或操作***的组合来实现。用户通过一个或多个输入设备1036向计算机1012输入命令或信息。输入设备1036可以包括但不限于定点设备，诸如鼠标、轨迹球、触笔、触摸板、键盘、麦克风、操纵杆、游戏手柄、圆盘式***天线、扫描仪、TV调谐卡、数码相机、数码摄像机、网络相机等。这些和其他输入设备可以经由一个或多个接口端口1038通过***总线1018连接到处理单元1014。一个或多个接口端口1038可以包括例如串行端口、并行端口、游戏端口和通用串行总线(USB)。一个或多个输出设备1040可以使用一些与输入设备1036相同类型的端口。因此，例如，可以使用USB端口向计算机1012提供输入，并从计算机1012向输出设备1040输出信息。可以提供输出适配器1042来说明除了其他输出设备1040之外，还有一些输出设备1040，像监视器、扬声器和打印机，它们需要特殊的适配器。作为说明而非限制，输出适配器1042可以包括视频卡和声卡，视频卡和声卡提供输出设备1040和***总线1018之间的连接方式。应注意，其他设备和/或设备的***提供输入和输出能力，诸如一个或多个远程计算机1044。
计算机1012可以使用到一个或多个远程计算机(诸如远程计算机1044)的逻辑连接在联网环境中操作。远程计算机1044可以是计算机、服务器、路由器、网络PC、工作站、基于微处理器的器具、对等设备或其他公共网络节点等，并且通常还可以包括相对于计算机1012描述的许多或所有元件。为了简洁起见，远程计算机1044仅示出了存储器存储设备1046。远程计算机1044可以通过网络接口1048逻辑连接到计算机1012，然后经由通信连接1050物理连接。此外，操作可以跨多个(本地和远程)***分布。网络接口1048可以包括有线和/或无线通信网络，诸如局域网(LAN)、广域网(WAN)、蜂窝网络等。LAN技术包括光纤分布式数据接口(Fiber Distributed Data Interface，FDDI)、铜分布式数据接口(CopperDistributed Data Interface，CDDI)、以太网、令牌环等。WAN技术包括但不限于点对点链路、像综合业务数字网络(Integrated Services DigitalNetwork，ISDN)及其变化的电路交换网络、分组交换网络和数字用户线(Digital Subscriber Line，DSL)。一个或多个通信连接1050是指用于将网络接口1048连接到***总线1018的硬件/软件。虽然为了说明清楚起见，通信连接1050被示出在计算机1012内部，但是他也可以在计算机1012外部。仅出于示例性目的，用于连接到网络接口1048的硬件/软件还可以包括内部和外部技术，诸如调制解调器，包括常规电话级调制解调器、电缆调制解调器和DSL调制解调器、ISDN适配器和以太网卡。
本发明的实施例可以是处于任何可能的集成技术细节级别的***、方法、装置和/或计算机程序产品。该计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，用于使处理器执行本发明的各方面。计算机可读存储介质可以是有形设备，其可以保留和存储指令以供指令执行设备使用。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多用盘(DVD)、记忆棒、软盘、机械编码设备(诸如其上存储有指令的打孔卡或凹槽内凸起结构)、以及上述的任何合适组合。本文使用的计算机可读存储介质不应被解释为暂时信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光缆的光脉冲)、或通过电线传输的电信号。
本文描述的计算机可读程序指令可以经由网络(例如，互联网，局域网，广域网和网络)从计算机可读存储介质或外部计算机或外部存储设备下载到相应的计算/处理设备。/或无线网络。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。用于执行本发明的各部分的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、用于集成电路的配置数据、或者以一种或多种编程语言的任意组合编写的资源代码或目标代码，该编程语言包括诸如Smalltalk、C++等的面向对象的编程语言，以及诸如“C”编程语言或类似的编程语言的传统过程编程语言。计算机可读程序指令可以完全在用户的计算机上、部分在用户的计算机上、作为独立的软件包、部分地在用户的计算机上并且部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以进行到外部计算机的连接(例如，通过使用互联网服务提供商的互联网)。在一些实施例中，包括例如可编程逻辑电路，现场可编程门阵列(field-programmable gate array，FPGA)或可编程逻辑阵列(programmable logic array，PLA)的电子电路可以通过使用计算机可读程序指令的状态信息来个性化电子电路以执行计算机可读程序指令，以便执行本发明的各方面。
本文参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在经由计算机或其他可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图示出了根据本发明的各种实施例的***、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示模块、段或指令的一部分，模块、段或指令的一部分包括用于实现(多个)指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，连续示出的两个方框实际上可以基本上同时执行，或者这些方框有时可以以相反的顺序执行，这取决于所涉及的功能。也要注意的是，框图和/或流程图说明中的每个框、以及框图和/或流程图说明中的方框组合，可以由执行特定的功能或动作的特定的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来执行。
虽然上面已经在运行在计算机和/或多个计算机上的计算机程序产品的计算机可执行指令的一般上下文中描述了主题，但是本领域技术人员将认识到，本公开也可以或可以与其他程序模块结合来实现。通常，程序模块包括执行特定任务和/或实现特定抽象数据类型的例程、程序、组件、数据结构等。此外，本领域技术人员将理解，本发明的计算机实现的方法可以用其他计算机***配置来实践，包括单处理器或多处理器计算机***、微型计算设备、大型计算机以及计算机、手持计算设备(例如，PDA、电话)、基于微处理器的或可编程的消费者或工业电子设备等。所示的方面也可以在分布式计算环境中实践，其中任务由通过通信网络链接的远程处理设备来执行。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
如在本申请中使用的，术语“组件”、“***”、“平台”、“接口”等可以指和/或可以包括计算机相关实体或与具有一个或多个特定功能的操作机器相关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。举例来说，在服务器上运行的应用和服务器都可以是组件。一个或多个组件可以驻留在执行的进程和/或线程内，并且组件可以位于一个计算机上和/或分布在两个或多个计算机之间。在另一示例中，相应组件可以从其上存储有各种数据结构的各种计算机可读介质执行。这些组件可以经由本地和/或远程进程进行通信，诸如根据具有一个或多个数据包的信号(例如，来自一个组件的数据经由该信号与本地***、分布式***中的另一个组件进行交互，和/或跨诸如互联网的网络与其他***进行交互)。作为另一个示例，组件可以是具有特定功能的装置，该特定功能由电路或电子电路操作的机械部件提供，该机械部件由处理器执行的软件或固件应用来操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用的至少一部分。作为又一示例，组件可以是通过没有机械部件的电子组件提供特定功能的装置，其中电子组件可以包括处理器或执行至少部分地赋予电子组件的功能的软件或固件的其他装置。在一方面，组件可经由虚拟机(例如，在云计算***内)模拟电子组件。
此外，术语“或”意在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有说明或从上下文中清楚，否则“X采用A或B”旨在表示任何自然的包含性排列。也就是说，如果X采用A；X采用B；或者X采用A和B两者，则在任何前述情况下满足“X采用A或B”。此外，在主题说明书和附图中使用的冠词“一”通常应该被解释为意指“一个或多个”，除非另有说明或者从上下文中清楚地指向单数形式。如本文所使用的，术语“示例”和/或“示例性”用于表示用作示例、实例或说明。为避免疑义，本文公开的主题不受这些示例的限制。此外，本文描述为“示例”和/或“示例性”的任何方面或设计不一定被解释为优于或优于其他方面或设计，也不意味着排除本领域普通技术人员已知的等效示例性结构和技术。
如在主题说明书中所采用的，术语“处理器”可以指基本上任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；和具有分布式共享内存的并行平台。附加地，处理器可以指集成电路、专用集成电路(applicationspecific integrated circuit，ASIC)、数字信号处理器(digital signal processor，DSP)、现场可编程门阵列(field programmable gate array，FPGA)、可编程逻辑控制器(programmable logic controllerPLC)、复杂可编程逻辑器件(complex programmablelogic device，CPLD)、离散的门或晶体管逻辑、分立的硬件组件或被设计用于执行本文所述的功能的它们的任何组合。此外，处理器可以利用纳米级架构，诸如但不限于基于分子和量子点的晶体管、开关和门，以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单元的组合。在本公开中，诸如“储存(store)”、“存储(storage)”，“数据储存(data store)”、“数据存储(data storage)”、“数据库”的术语和与组件的操作和功能相关的基本上任何其他信息存储组件的术语被用来指代“存储器组件”、体现于“存储器”中的实体或包括存储器的组件。应当理解，本文描述的存储器和/或存储器组件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器。作为说明而非限制，非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除ROM(EEPROM)、闪速存储器或非易失性随机存取存储器(RAM)(例如，铁电RAM(FeRAM))。例如，易失性存储器可以包括可以充当外部高速缓冲存储器的RAM。作为说明而非限制，RAM可有许多形式，诸如同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链接DRAM(SLDRAM)、直接Rambus RAM(DRRAM)、直接Rambus动态RAM(DRDRAM)和Rambus动态RAM(RDRAM)。附加地，本文所公开的***或计算机实现的方法的存储器组件旨在包括但不限于包括这些和任何其他合适类型的存储器。
以上描述的仅仅包括***、计算机程序产品和计算机实现的方法的示例。当然，出于描述本公开的目的，不可能描述组件、产品和/或计算机实现的方法的每一个可想到的组合，但是本领域普通技术人员可以认识到本公开的许多进一步的组合和排列是可能的。此外，就具体实施方式、权利要求、附录和附图中使用的术语“包括(include)”、“具有”、“有”等而言，这些术语旨在以类似于术语“包括”的方式包含在内，因为采用“包括(comprising)”时被解释为权利要求中的过渡词。已经出于说明的目的给出了对各种实施例的描述，但是并不旨在穷举或限制于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择本文使用的术语是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进、或者使本领域普通技术人员能够理解本文公开的实施例。

Claims (18)

1.一种***，包括：
存储器，存储计算机可执行组件；和
处理器，执行存储在所述存储器中的计算机可执行组件，其中所述计算机可执行组件包括：
运动组件，从神经网络模型的可变形卷积层中的多个自适应感受野提取运动向量；和
动作检测组件，通过将所述运动向量与从所述可变形卷积层提取的空间特征级联来生成时空特征。
2.如权利要求1所述的***，其中，所述时空特征是表征与所述空间特征相关联的细粒度动作的向量。
3.如权利要求1所述的***，其中，所述神经网络模型被端到端地训练。
4.如权利要求1所述的***，其中，所述神经网络模型包括多个可变形卷积层，其中所述可变形卷积层包括在所述多个可变形卷积层内，并且其中所述运动向量从所述多个可变形卷积层中提取。
5.如权利要求1所述的***，其中，通过计算在第一时间帧处来自所述多个自适应感受野的第一自适应感受野和在第二时间帧处来自所述多个自适应感受野的第二自适应感受野之间的差异来提取所述运动向量。
6.如权利要求1所述的***，还包括损失组件，所述损失组件从由所述运动组件提取的多个运动向量的聚合中计算运动损失，其中所述运动损失是正则化，所述正则化在一段时间内加强由所述多个运动向量表征的学习的运动的一致性。
7.如权利要求6所述的***，其中，所述损失组件还从由所述动作检测组件提取的多个空间特征的第二聚合中计算类别损失，其中所述类别损失是交叉熵损失，所述交叉熵损失加强由所述神经网络模型生成的预测标签的正确性。
8.如权利要求1所述的***，其中，所述神经网络模型是单流模型。
9.如权利要求1所述的***，其中，所述运动组件通过计算所述神经网络模型的多个特征空间上的所述多个自适应感受野中的差异来提取所述运动向量。
10.如权利要求1所述的***，其中所述动作检测组件在云计算环境中生成时空特征。
11.一种计算机实现的方法，包括：
由可操作地耦合到处理器的***从神经网络模型的可变形卷积层中的多个自适应感受野提取运动向量；和
由所述***通过将所述运动向量与从所述可变形卷积层提取的空间特征级联来生成时空特征。
12.如权利要求11所述的计算机实现的方法，其中，所述时空特征是表征与所述空间特征相关联的细粒度动作的向量。
13.如权利要求11所述的计算机实现的方法，其中，所述提取包括计算在第一时间帧处来自所述多个自适应感受野的第一自适应感受野和在第二时间帧处来自所述多个自适应感受野的第二自适应感受野之间的差异。
14.如权利要求11所述的计算机实现的方法，还包括由所述***从多个运动向量的聚合中计算运动损失，其中所述运动损失是正则化，所述正则化在一段时间内加强由所述多个运动向量表征的学习的运动的一致性。
15.如权利要求14所述的计算机实现的方法，还包括由所述***从多个空间特征的第二聚合中计算类别损失，其中所述类别损失是交叉熵损失，所述交叉熵损失加强由所述神经网络模型生成的预测标签的正确性。
16.如权利要求11所述的计算机实现的方法，其中，所述神经网络模型是单流模型。
17.一种基于感受野中的运动来促进检测细粒度动作的计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有体现于其中的程序指令，所述程序指令可由处理器执行以使所述处理器执行如权利要求11至16中任一项所述的方法的步骤。
18.一种装置，包括用于执行如权利要求11至16中任一项所述的方法的步骤的构件。
CN201910410072.6A 2018-05-17 2019-05-16 利用感受野中的运动进行动作检测 Active CN110503125B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/982,181 US11521044B2 (en) 2018-05-17 2018-05-17 Action detection by exploiting motion in receptive fields
US15/982,181 2018-05-17

Publications (2)

Publication Number Publication Date
CN110503125A true CN110503125A (zh) 2019-11-26
CN110503125B CN110503125B (zh) 2023-04-28

Family

ID=68533831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910410072.6A Active CN110503125B (zh) 2018-05-17 2019-05-16 利用感受野中的运动进行动作检测

Country Status (2)

Country Link
US (1) US11521044B2 (zh)
CN (1) CN110503125B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112697435A (zh) * 2021-01-26 2021-04-23 山西三友和智慧信息技术股份有限公司 一种基于改进seld-tcn网络的滚动轴承故障诊断方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087489A1 (en) * 2018-11-02 2020-05-07 Alibaba Group Holding Limited Monitoring multiple system indicators
CN109376696B (zh) * 2018-11-28 2020-10-23 北京达佳互联信息技术有限公司 视频动作分类的方法、装置、计算机设备和存储介质
US11341274B2 (en) 2018-12-19 2022-05-24 Elasticsearch B.V. Methods and systems for access controlled spaces for data analytics and visualization
US11477207B2 (en) * 2019-03-12 2022-10-18 Elasticsearch B.V. Configurable feature level controls for data
US11240126B2 (en) 2019-04-11 2022-02-01 Elasticsearch B.V. Distributed tracing for application performance monitoring
CN110149541B (zh) * 2019-04-23 2021-08-03 腾讯科技（深圳）有限公司 视频推荐方法、装置、计算机设备及存储介质
US10868785B2 (en) * 2019-04-29 2020-12-15 Microsoft Technology Licensing, Llc Purpose detection in communications using machine learning
JP7375456B2 (ja) * 2019-10-18 2023-11-08 株式会社アイシン 爪先位置推定装置および指先位置推定装置
US11397516B2 (en) 2019-10-24 2022-07-26 Elasticsearch B.V. Systems and method for a customizable layered map for visualizing and analyzing geospatial data
CN111241996B (zh) * 2020-01-09 2023-06-02 桂林电子科技大学 一种用于识别视频中人物动作的方法
JP7115502B2 (ja) 2020-03-23 2022-08-09 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7388971B2 (ja) 2020-04-06 2023-11-29 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
CN111539289A (zh) * 2020-04-16 2020-08-14 咪咕文化科技有限公司 视频中动作的识别方法、装置、电子设备及存储介质
CN111860171B (zh) * 2020-06-19 2021-03-23 中国科学院空天信息创新研究院 一种大规模遥感图像中不规则形状目标的检测方法及***
CN112102306B (zh) * 2020-09-25 2022-10-25 西安交通大学 一种基于双重gan的边缘修复特征融合的缺陷检测方法
CN112766340B (zh) * 2021-01-11 2024-06-04 中山大学 基于自适应空间模式的深度胶囊网络图像分类方法及***
CN113034380B (zh) * 2021-02-09 2022-06-10 浙江大学 基于改进可变形卷积校正的视频时空超分辨率方法和装置
US11902548B2 (en) * 2021-03-16 2024-02-13 Huawei Technologies Co., Ltd. Systems, methods and computer media for joint attention video processing
CN112801419B (zh) * 2021-03-17 2021-08-27 广东技术师范大学 基于自适应感受野ssd的鼠害程度级别预测方法和装置
CN113536898B (zh) * 2021-05-31 2023-08-29 大连民族大学 全面特征捕捉型时间卷积网络、视频动作分割方法、计算机***和介质
CN113516235A (zh) * 2021-07-13 2021-10-19 南京大学 一种可变形卷积加速器和可变形卷积加速方法
CN113869065B (zh) * 2021-10-15 2024-04-12 梧州学院 一种基于“单词-短语”注意力机制的情感分类方法和***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100315506A1 (en) * 2009-06-10 2010-12-16 Microsoft Corporation Action detection in video through sub-volume mutual information maximization
CN103259742A (zh) * 2012-01-04 2013-08-21 国际商业机器公司 在联网计算环境中进行基于活动的虚拟机可用性控制的方法与***
US20140185925A1 (en) * 2013-01-02 2014-07-03 International Business Machines Corporation Boosting object detection performance in videos
US20150286874A1 (en) * 2012-10-31 2015-10-08 Nederlandse Organisatie Voor Toegepast- Natuurwetenschappelijk Onderzoek Tno Detection of human actions from video data
US20170109881A1 (en) * 2015-10-14 2017-04-20 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
CN106897714A (zh) * 2017-03-23 2017-06-27 北京大学深圳研究生院 一种基于卷积神经网络的视频动作检测方法
US20170200854A1 (en) * 2012-06-14 2017-07-13 Sang Jeong An Semiconductor light-emitting device and method for manufacturing the same
US20170220854A1 (en) * 2016-01-29 2017-08-03 Conduent Business Services, Llc Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN107292319A (zh) * 2017-08-04 2017-10-24 广东工业大学 一种基于可变形卷积层的特征图像提取的方法及装置
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN107609541A (zh) * 2017-10-17 2018-01-19 哈尔滨理工大学 一种基于可变形卷积神经网络的人体姿态估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242266B2 (en) 2016-03-02 2019-03-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos
US11443170B2 (en) * 2016-11-15 2022-09-13 Google Llc Semi-supervised training of neural networks
US10740617B2 (en) * 2017-12-19 2020-08-11 Intel Corporation Protection and recovery of identities in surveillance camera environments
WO2019177639A1 (en) * 2018-03-16 2019-09-19 Cornell University Artificial intelligence system and methods for performing image analysis
US11618438B2 (en) * 2018-03-26 2023-04-04 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100315506A1 (en) * 2009-06-10 2010-12-16 Microsoft Corporation Action detection in video through sub-volume mutual information maximization
CN103259742A (zh) * 2012-01-04 2013-08-21 国际商业机器公司 在联网计算环境中进行基于活动的虚拟机可用性控制的方法与***
US20170200854A1 (en) * 2012-06-14 2017-07-13 Sang Jeong An Semiconductor light-emitting device and method for manufacturing the same
US20150286874A1 (en) * 2012-10-31 2015-10-08 Nederlandse Organisatie Voor Toegepast- Natuurwetenschappelijk Onderzoek Tno Detection of human actions from video data
US20140185925A1 (en) * 2013-01-02 2014-07-03 International Business Machines Corporation Boosting object detection performance in videos
US20170109881A1 (en) * 2015-10-14 2017-04-20 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
US20170220854A1 (en) * 2016-01-29 2017-08-03 Conduent Business Services, Llc Temporal fusion of multimodal data from multiple data acquisition systems to automatically recognize and classify an action
CN106897714A (zh) * 2017-03-23 2017-06-27 北京大学深圳研究生院 一种基于卷积神经网络的视频动作检测方法
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN107609460A (zh) * 2017-05-24 2018-01-19 南京邮电大学 一种融合时空双重网络流和attention机制的人体行为识别方法
CN107292319A (zh) * 2017-08-04 2017-10-24 广东工业大学 一种基于可变形卷积层的特征图像提取的方法及装置
CN107609541A (zh) * 2017-10-17 2018-01-19 哈尔滨理工大学 一种基于可变形卷积神经网络的人体姿态估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GEDAS BERTASIUS, LORENZO TORRESANI, JIANBO SHI: "Object Detection in Video with Spatiotemporal Sampling Networks", 《ARXIV》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112697435A (zh) * 2021-01-26 2021-04-23 山西三友和智慧信息技术股份有限公司 一种基于改进seld-tcn网络的滚动轴承故障诊断方法

Also Published As

Publication number Publication date
US20190354835A1 (en) 2019-11-21
CN110503125B (zh) 2023-04-28
US11521044B2 (en) 2022-12-06

Similar Documents

Publication Publication Date Title
CN110503125A (zh) 利用感受野中的运动进行动作检测
CN110503204A (zh) 识别用于机器学习任务的迁移模型
CN110399983A (zh) 图形相似度分析
Battaglia et al. Interaction networks for learning about objects, relations and physics
Hu et al. Probabilistic future prediction for video scene understanding
Song et al. A data-driven neural network approach to simulate pedestrian movement
Manson et al. Methodological issues of spatial agent-based models
Papageorgiou Review study on fuzzy cognitive maps and their applications during the last decade
CN110062934A (zh) 使用神经网络确定图像中的结构和运动
CN110366734A (zh) 优化神经网络架构
Le A tutorial on deep learning part 1: Nonlinear classifiers and the backpropagation algorithm
CN106570597A (zh) 一种sdn架构下基于深度学习的内容流行度预测方法
US11741370B2 (en) Transfer learning based on cross-domain homophily influences
CN107169574A (zh) 利用嵌套机器学习模型来执行预测的方法及***
DE112021001566T5 (de) Ermitteln von abhängigkeiten multivariater zeitreihendaten
Cheng et al. Analysis and forecasting of the day-to-day travel demand variations for large-scale transportation networks: a deep learning approach
Lapuschkin Opening the machine learning black box with layer-wise relevance propagation
Al-Hawamdeh et al. Artificial intelligence applications as a modern trend to achieve organizational innovation in Jordanian commercial banks
Cai et al. Dynacomm: Accelerating distributed CNN training between edges and clouds through dynamic communication scheduling
Laukien et al. Feynman machine: The universal dynamical systems computer
Patel et al. An integrated deep learning prediction approach for efficient modelling of host load patterns in cloud computing
Grum et al. A Visionary Way to Novel Process Optimizations: The Marriage of the Process Domain and Deep Neuronal Networks
Srivastav et al. Impact of Artificial Intelligence on Virtual Learning Ecosystem
Berggold et al. Towards predicting pedestrian evacuation time and density from floorplans using a vision transformer
Lunga et al. The trillion pixel GeoAI challenge workshop

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant