CN111954860B - 对细粒度对抗性多队员运动进行预测的***和方法 - Google Patents
对细粒度对抗性多队员运动进行预测的***和方法 Download PDFInfo
- Publication number
- CN111954860B CN111954860B CN201980018875.5A CN201980018875A CN111954860B CN 111954860 B CN111954860 B CN 111954860B CN 201980018875 A CN201980018875 A CN 201980018875A CN 111954860 B CN111954860 B CN 111954860B
- Authority
- CN
- China
- Prior art keywords
- data
- team
- computing system
- encoder
- team members
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003042 antagnostic effect Effects 0.000 title description 2
- 230000000386 athletic effect Effects 0.000 claims description 4
- 239000003795 chemical substances by application Substances 0.000 description 42
- 238000007781 pre-processing Methods 0.000 description 28
- 230000008520 organization Effects 0.000 description 19
- 238000012549 training Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000007123 defense Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本文公开了一种对多队员位置进行预测的***和方法。计算***从数据存储部取回跟踪数据。该计算***使用条件变分自动编码器生成预测模型。该条件变分自动编码器学习所述多个队员中的队员子集很可能采取的一个或更多个路径。该计算***从远程定位在主办候选体育赛事的比赛地点中的跟踪***接收跟踪数据。该计算***识别要被预测位置的一个或更多个候选队员。该计算***经由预测模型来推断所述一个或更多个候选队员的一个或更多个位置。该计算***生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。
Description
相关申请的交叉引用
本申请要求2018年1月21日提交的美国临时申请系列号No.62/619,891的优先权,其全部内容通过引用而并入于此。
技术领域
本公开总体上涉及生成预测模型的***和方法,更具体地,涉及使用预测模型对多队员位置进行预测的***和方法。
背景技术
人类不断地预测他们周围环境的将来状态。向另一人伸出一只手的人很可能会发起握手。进入餐馆的一对夫妇很可能会寻找一张双人餐桌。处于防守的篮球队员很可能会试图呆在他们的对手与篮球之间。这些预测对于塑造我们的日常交互至关重要,因为它们使得人类能够在人群中穿行、在体育比赛中得分以及总体上遵循社会习俗。这样,被成功地部署成与人类进行交互的计算机视觉***就必须能够预测人类行为。
发明内容
本文所公开的实施方式总体上涉及对多队员位置进行预测的***和方法。在一个实施方式中,公开了一种方法。计算***从数据存储部取回跟踪数据。所述跟踪数据包括在多个体育赛事期间的多个序列的队员移动。该计算***使用条件变分自动编码器生成预测模型。所述条件变分自动编码器至少基于所述多个序列中的各个序列中的各个队员的历史位置数据以及各个队员的身份信息,来学习所述多个队员中的队员子集很可能采取的一个或更多个路径。该计算***从远程定位在主办候选体育赛事的比赛地点中的跟踪***接收跟踪数据。该计算***识别要预测位置的一个或更多个候选队员。该计算***经由预测模型来推断所述一个或更多个候选队员的一个或更多个位置。该计算***生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。
在另一实施方式中,公开了一种***。所述***包括处理器和存储器。所述存储器存储有编程指令,所述编程指令在由所述处理器执行时,执行一个或更多个操作。所述一个或更多个操作包括:从数据存储部取回跟踪数据。所述跟踪数据包括在多个体育赛事过程期间的多个序列的队员移动。条件变分自动编码器使用条件变分自动编码器生成预测模型。所述条件变分自动编码器至少基于所述多个序列中的各个序列中的各个队员的历史位置数据以及各个队员的身份信息,来学习所述多个队员中的队员子集很可能采取的一个或更多个路径。所述一个或更多个操作还包括:从远程定位在主办候选体育赛事的比赛地点中的跟踪***接收跟踪数据。所述一个或更多个操作还包括:识别要预测位置的一个或更多个候选队员。所述一个或更多个操作还包括:经由所述预测模型来推断所述一个或更多个候选队员的一个或更多个位置。所述一个或更多个操作还包括:生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。
在另一实施方式中,公开了一种非暂时性计算机可读介质。所述非暂时性计算机可读介质包括一个或更多个指令序列,所述一个或更多个指令序列在由一个或更多个处理器执行时,使计算***从数据存储部取回跟踪数据。所述跟踪数据包括在多个体育赛事过程期间的多个序列的队员移动。该计算***使用条件变分自动编码器生成预测模型。所述条件变分自动编码器至少基于所述多个序列中的各个序列中的各个队员的历史位置数据以及各个队员的身份信息,来学习所述多个队员中的队员子集很可能采取的一个或更多个路径。该计算***从远程定位在主办候选体育赛事的比赛地点中的跟踪***接收跟踪数据。该计算***识别要预测位置的一个或更多个候选队员。该计算***经由预测模型来推断所述一个或更多个候选队员的一个或更多个位置。该计算***生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。
附图说明
按照可以详细理解本公开的上述特征的方式,上面简要概述的本公开的更具体描述可以参照实施方式进行,其中一些实施方式在附图中进行了例示。然而,要注意,附图仅例示了本公开的典型实施方式,并由此,不应被视为对本公开范围的限制,对于本公开来说,可以允许其它等效实施方式。
图1A是例示根据示例实施方式的计算环境的框图。
图1B是例示根据示例实施方式的图1A的计算环境的组件的框图。
图2是例示根据示例实施方式的对一个或更多个队员的轨迹进行预测的总体方法的框图。
图3是例示根据示例实施方式的条件变分自动编码器的框图。
图4是例示根据示例实施方式的训练用于对一个或更多个队员的轨迹进行预测的条件变分自动编码器的方法的流程图。
图5是例示根据示例实施方式的示例性图形用户界面(GUI)的框图。
图6是例示根据示例实施方式的对一个或更多个队员的轨迹进行预测的方法的流程图。
图7是例示根据示例实施方式的对队员位置进行预测的方法的流程图。
图8A是例示根据示例实施方式的计算装置的框图。
图8B是例示根据示例实施方式的计算装置的框图。
为了易于理解,在可能的情况下,使用了相同的标号来指定图中公共的相同要素。设想的是,在一个实施方式中公开的要素可以在没有具体讲述的情况下有益地利用在其它实施方式上。
具体实施方式
本文所公开的一个或更多个实施方式总体上涉及对一个或更多个队员的轨迹进行预测的***和方法。例如,本文所公开的一种或更多种技术可同时且准确地预测多个交互队员的行为,从而允许广泛地部署计算机视觉应用(例如,自主驾驶载具、安全、监视、体育运动)。特别地,本文所公开的一个或更多个***实现条件变分自动编码器,该条件变分自动编码器可以被配置成学习这样的模型,即,该模型使针对组表示内的个体队员行为的预测“个性化”。尽管本文所提供的一个或更多个示例总体上涉及与篮球运动有关的***和方法的使用,但是本领域技术人员容易理解,这样的***和方法可以扩展到篮球运动之外。
通常,团队体育运动提供对个性化行为模型进行评估的示例性环境(setting)。首先,体育运动中有大量标记数据,潜在地包括各个队员的数千个数据点。而且,团队体育运动中的行为是意义明确且复杂的,其中多个队员同时进行协作性和对抗性的交互。因此,体育运动跟踪数据是完全非结构化的跟踪数据(例如,队员数量不受约束的行人运动)与高度结构化的数据(例如,队员的数量既固定又物理连接的身体姿势或面部跟踪)之间的良好折衷。
使对多队员运动的预测个性化的挑战之一是开发这样的表示,即,该表示对于局面中出现的许多可能排列同时具有鲁棒性并且具有足够的细粒度,因而输出预测处于希望的粒度水平。通常采用以下两种方法之一:i)自下而上的方法,其中,各个轨迹皆具有单独向其应用的相同的模型,或者ii)自上而下的方法,其中,所有轨迹的组表示具有一齐向其应用的一个模型。数据和目标应用程序主要驱动方法的选择。例如,在具有可变数量的队员(例如,自主驾驶载具或监视)的背景下,自下而上的方法可能是有利的;在具有固定数量的队员(例如,体育运动、面部和身体姿势)的背景下,自上而下的方法可能是有利的。
本申请部分地通过使用条件变分自动编码器以及为这种处理选择的特定条件来解决该问题。
图1A是例示根据示例实施方式的计算环境100的框图。计算环境100可以包括经由网络105进行通信的跟踪***102、组织计算***104以及一个或更多个客户端装置108。
网络105可以是任何合适的类型,包括经由互联网(诸如蜂窝网络或Wi-Fi网络)的各个连接。在一些实施方式中,网络105可以使用直接连接(诸如射频标识(RFID)、近场通信(NFC)、近场通信(NFC)、BluetoothTM、低能耗BluetoothTM(BLE)、Wi-FiTM、ZigBeeTM、环境背向散射通信(ABC)协议、USB、WAN或LAN)来连接终端、服务以及移动装置。由于发送的信息可能是个人信息或机密信息,因此安全问题可能要求对这些类型的连接中的一种或更多种进行加密或者以其它方式加以保护。然而,在一些实施方式中,正在发送的信息可能不那么个人化,因此为了方便而非安全,可以选择网络连接。
网络105可以包括被用于交换数据或信息的任何类型的计算机连网布置。例如,网络105可以是互联网、专用数据网络、使用公共网络和/或其它合适的连接的虚拟专用网络,所述连接使计算环境100中的组件能够在环境100的组件之间发送和接收信息。
跟踪***102可以位于比赛地点106中。例如,可以将比赛地点106配置成主办包括一个或更多个队员112的体育赛事。可以将跟踪***102配置成记录比赛场地上所有队员(即,球员)的运动,以及一个或更多个其它相关对象(例如,球、裁判员等)的运动。在一些实施方式中,跟踪***102可以是例如使用多个固定摄像机的基于光学的***。例如,可以使用具有六个固定的经校准的摄像机的***,这些摄像机可以将球员和球的三维位置投影到赛场的二维俯视图上。在一些实施方式中,跟踪***102可以是基于无线电的***,该基于无线电的***例如使用由队员佩戴或嵌入在要跟踪的对象中的射频标识(RFID)标签。通常,可以将跟踪***102配置成以高帧速率(例如,25Hz)进行采样和记录。可以将跟踪***102配置成,针对比赛文件110中的各个帧,至少存储比赛场地上所有队员和对象的队员身份和位置信息(例如,(x,y)位置)。
比赛文件110可以利用与所拍摄的一个或更多个帧相对应的其它赛事信息来增强,诸如但不限于,比赛赛事信息(传球、投篮、失球等)以及背景信息(当前得分、剩余时间等)。
可以将跟踪***102配置成经由网络105与组织计算***104进行通信。可以将组织计算***104配置成对跟踪***102所捕获的数据进行管理和分析。组织计算***104可以至少包括Web客户端应用服务器114、预处理引擎116、数据存储部118以及轨迹代理120。预处理引擎116和轨迹引擎116中的每一者皆可以包括一个或更多个软件模块。所述一个或更多个软件模块可以是存储在介质(例如,组织计算***104的存储器)上的代码或指令的集合,该代码或指令的集合表示实现一个或更多个算法步骤的一系列机器指令(例如,程序代码)。这样的机器指令可以是组织计算***104的处理器解释以实现该指令的实际计算机代码,或者另选地,可以是被解释以获得实际计算机代码的指令的更高级编码。所述一个或更多个软件模块还可以包括一个或更多个硬件组件。示例算法的一个或更多个方面可以由硬件组件(例如,电路)本身来执行,而不是作为指令的结果。
可以将数据存储部118配置成存储一个或更多个比赛文件122。可以由跟踪***102捕获并生成各个比赛文件122。在一些实施方式中,所述一个或更多个比赛文件122中的各个比赛文件可以包括从特定比赛或赛事捕获的所有原始数据。在一些实施方式中,包含在各个比赛文件122中的数据可以包括由比赛文件122表示的比赛或赛事中的一个或更多个序列。各个序列可以包括整个持续时间的处于进攻的同一球队。各个序列皆可以因投篮(例如,得分)、失误或者犯规而结束。因此,在一些实施方式中,各个比赛文件122中包含的数据可能不包括表示转换打法(transitionplay)的序列(例如,当球队从防御转换成进攻的中间序列时)。换句话说,在一些实施方式中,将序列约束成包含持续的进攻和持续的防守。更进一步地,在一些实施方式中,可以使各个序列针对中圈(center-court)零居中并对齐的,以使进攻总是朝着赛场的右侧的篮筐进行投篮。
可以将轨迹代理120配置成,在给定一个或更多个历史轨迹点的情况下对一个或更多个队员的轨迹进行预测。例如,给定队员的直到时间tq的坐标,轨迹代理120可以至少使用该队员的直到时间tq的坐标,来对该队员的直到时间tf的坐标进行预测,其中,tf在tq之后,其中,q表示之间的某一结束时间(例如,(1…n)),并且f表示q之后的某一将来时间(例如,(n+1))。
可以将预处理代理116配置成,在向轨迹代理120输入之前对从数据存储部118取回的数据进行处理。例如,可以将预处理代理116配置成将给定比赛文件122的数据排列为使得所有队员的轨迹都将保持自然一致的排序。例如,如果从比赛文件122中随机抽出数据,则具有相似轨迹的两个相似行动(play)可能具有不同的表示。为了减少(或最小化)排列的数量,预处理代理可以将从数据存储部中取回的数据对准,使得该信息从一个行动(或序列)到下一行动(或序列)都是一致的。
客户端装置108可以经由网络105与组织计算***104进行通信。客户端装置108可以由用户操作。例如,客户端装置108可以是移动装置、平板计算机、台式计算机、或者具有本文所描述的能力的任何计算***。用户可以包括但不限于个人,举例来说,如订户、客户端、预期的客户端、或者与组织计算***104相关联的客户(诸如已经从与组织计算***104相关联的实体获得、将获得或者可能获得产品、服务或咨询的个人)。
客户端装置108至少可以包括应用124。应用124可以表示允许访问网站的web浏览器或独立应用。客户端装置108可以访问应用124以访问组织计算***104的一个或更多个功能。客户端装置108可以通过网络105进行通信,以例如从组织计算***104的web客户端应用服务器124请求网页。例如,可以将客户端装置108配置成执行应用124,以访问由web客户端应用服务器124管理的内容。可以将显示给客户端装置108的内容从web客户端应用服务器124发送至客户端装置108,并随后由应用124进行处理,以通过客户端装置108的图形用户界面(GUI)显示。
图1B根据示例实施方式更详细地例示了轨迹代理120。轨迹代理120可以包括条件变分自动编码器152和接口模块154。可以将条件变分自动编码器152配置成对以下模型进行学习:该模型使针对组交互内的个体队员行为的预测个性化。例如,通过使用条件变分自动编码器152,轨迹代理120可以创建生成模型,该生成模型同时学习多队员轨迹的隐藏表示,并且能够对队员的背景特定的运动进行预测。
由轨迹代理120执行的多队员轨迹预测可以如下构成:在二维环境中,在整个时间历史[t0,tq]内,进行交互的队员的集合A可以被观察为具有轨迹其中:
t0=某一初始时间并且tq=某一结束时间。
可以将第ith队员的轨迹历史定义为:
其中,可以表示在时间t的轨迹的二维坐标。
使用条件变分自动编码器152,轨迹代理120可以对队员的子集的后续将来运动进行预测至时间tf。换句话说,轨迹代理120可以利用条件变分自动编码器152来学习子集P中的队员的将来轨迹(具体地,/>)的后验分布其中,Yj表示子集P中的要确定轨迹的队员,并且tf=tq之后的某一将来时间。
除了观察到的轨迹历史之外,轨迹代理120还可以使学习过的将来轨迹分布以其它可用的观察值O为条件。例如,O可以包括:1)P中的队员的身份ρ;以及2)由集合中的队员的将来轨迹/>表示的将来背景C,使得K∪P=A并且K∩P={},,其中,l表示各个球队的队员。换句话说,集合A(即,将由轨迹代理120预测轨迹的队员)和集合K(即,将不由轨迹代理120预测轨迹的队员)的并集是给定序列中的队员的整个集合A。在一些实施方式中,K={}。换句话说,轨迹代理120可以不依靠或者不考虑任何队员的将来运动。
相对于常规处理的改进之一是如何将各种类型的信息包括到O中,以及每种信息类型对预测准确度的影响。
条件变分自动编码器152可以包括:背景编码器156、轨迹编码器158、队员编码器160、变分模块162以及解码器164。背景编码器156、轨迹编码器158以及队员编码器160可以包括N个完全连接层。例如,各个层皆可以具有大约一半数量的单元作为其输入层。
可以使用相应的编码器来对条件变分自动编码器的条件和输入进行编码。
可以将背景自动编码器156配置成对针对轨迹背景的输入数据进行编码。例如,可以将背景自动编码器156配置成对针对队员的子集的将来轨迹的输入数据进行编码。
可以将轨迹编码器158配置成至少对针对历史队员位置信息的数据进行编码。例如,可以将轨迹编码器158配置成至少对针对直到已知时间tq的队员轨迹的数据进行编码。还可以将轨迹编码器158配置成对针对轨迹背景的数据以及针对球队身份的数据进行编码。
可以将身份编码器160配置成对各个队员(轨迹代理120将对各个队员的轨迹进行预测)的身份信息进行编码。这样的身份信息可以包括但不限于队员姓名、队员ID、球队名称、球队ID、位置(例如,后卫、前锋、得分后卫等)等。
可以将变分模块162配置成至少基于由轨迹编码器158编码的信息集合来对隐变量分布的均值和标准偏差进行预测。可以将解码器164配置成至少基于隐变量分布的样本、编码的背景(来自背景自动编码器156)以及编码的身份信息,来对各个队员的将来轨迹进行预测。
可以将接口模块154配置成生成一个或更多个图形用户界面(GUI),所述图形用户界面包括一个或更多个队员的预测轨迹的表示。例如,接口模块154可以生成包括比赛期间队员的实时(或近实时)跟踪数据的GUI。可以将轨迹代理120用于填充例如由于特定队员临时处在跟踪***102的视线之外而导致从特定序列缺失的数据的间隙。因此,轨迹代理120可以利用特定队员的历史定位信息以及其他队员的位置数据,来对特定队员的位置进行预测。这样,接口模块154可以在GUI中包括这样的队员的估计位置。
图2是例示根据示例实施方式的对多队员运动进行预测的一个或更多个阶段的框图200。框图200可以包括训练阶段202和实现阶段204。
在训练阶段202,组织计算***104尝试生成完全训练的模型,以供在应用阶段204使用。训练阶段202可以包括:数据存储部118、预处理引擎116以及轨迹引擎120。管理员可以识别供与训练条件变分自动编码器时一起使用的数据集,以对模型进行学习。例如,管理员在数据存储部118中识别的数据集可以包括大约95,000个十二秒钟的二维轨迹序列。对于各个序列,管理员可以定义所有队员A中的轨迹要被预测的子集P。各个序列皆可以标记有队员身份、球队以及规范位置(例如,控球后卫、得分后卫、后卫、小前锋、大前锋、前锋、中锋)。对于所有队员A中的将不被轨迹代理120预测轨迹的子集K,各个队员皆可以按照其规范位置来标记,从而限制了队员身份集合。然后,可以将数据集拆分成训练集合、验证集合以及测试集合。例如,训练集合可以包括大约60,000个十二秒钟的序列;验证集合可以包括大约15,000个十二秒钟的序列;以及测试集合可以包括大约19,000个十二秒钟的序列。
在一些实施方式中,可以将隐变量分布建模为正态分布。例如,可以将隐变量分布建模为:
其中,是隐变量的样本,Hx是编码的轨迹的集合,Hc是编码的背景的集合,并且Hρ是编码的身份的集合。换句话说,上面的方程可以表示隐变量/>可以以队员的子集K的身份ρ、以前运动/>将来运动/>为条件的可能性。这种可能性可以等同于以编码的将来运动Hx、编码的以前运动Hc以及编码的身份Hρ为条件。这可能与隐变量的正态高斯分布z并发或者通过该隐变量的正态高斯分布近似。
因此,在训练期间,变分模块162可以使Kullback-Leibler(KL)散度(DKL)最小化,并且轨迹解码器164可以使欧几里德距离最小化。在一个示例中,为简单起见,设然后,总损失可以是:
其中,可以是先验分布,并且β可以是对损失项的相对比例进行控制的加权因子。换句话说,可以进行优化的损失函数是实际位置Y与预测位置/>之间的距离。可以使用L2范数来测量该距离。可以将该距离添加至预测分布P与真值(ground truth)分布Q之间的、通过加权因子β进行加权的KL散度。
在测试期间,对轨迹编码器158的输入可以是所有队员的轨迹历史未被预测的队员的将来轨迹/>以及编码的队员身份ρ。如上所述,未被预测的队员的集合K可以等于空集。因此,可以在不依靠或不考虑任何队员的将来轨迹的情况下执行预测模型的训练和测试。
变分模块162可以采取编码的轨迹Hx(编码的轨迹Hx也可以以背景和队员身份ρ为条件),并且可以返回随机隐变量的样本/>然后,轨迹解码器164可以在给定采样/>编码的背景Hc、编码的身份Hρ以及待预测队员的最后一秒钟轨迹历史/>的情况下,对各个待预测队员的路线(或路径)(即,/>)进行预测。
预处理代理116可以在将数据集输入至训练引擎120之前对所识别的数据集进行预处理。通常,条件变分自动编码器的输入可以是不同的二维队员轨迹的连接(concatenation)。例如,输入可以形成|A|×(tq·5)×2阵列,其中,|A|是队员的数量,tq·5是以5Hz进行采样的tq秒钟内的时间样本的总数。对多队员轨迹进行编码的挑战之一是存在着排列无序。特别地,如果将A中的所有队员的轨迹进行连接以形成/>则可能需要对队员进行自然而一致的排序。如果以随机顺序将A中的所有队员的轨迹进行连接,则具有相似轨迹的两个相似行动可能具有显著不同的表示。为了减少(或最小化)排列顺序,预处理代理116可以对队员进行排序,使得这些队员从一个行动到另一行动都是一致的。
预处理代理116可以使用基于树的角色排列来对队员路线(或路径)进行排列。例如,预处理代理116可以使用诸如Sha等人的“Fine-Grained Retrieval of Sports Playsusing Tree-Based Alignment of Trajectories”(2017)中所讨论的基于树的角色排列来对队员路线(或路径)进行排列。这样的排列可以使重建误差最小化,并由此提供了多队员轨迹的改进(例如,最优)表示。
由预处理代理使用的基于树的排列可以实现两个交替步骤:1)基于期望最大化(EM)的队员位置与模板的对准;和2)对准的队员位置的K均值聚类,其中,聚类中心可以形成下一EM步骤的模板。在EM与聚类之间交替的预处理代理116可以导致树中的叶级节点***,直到聚类中存在少于M个帧或者树的深度超过D。使用具体示例,预处理代理116可以设定D=6并且针对进攻(例如,M=400)和防守(例如,M=4000)训练单独的树。为了学习每帧排列树,预处理代理可以使用来自十场篮球比赛的120,000个随机采样的帧。
一旦预处理引擎116对来自数据存储部110的数据集(例如训练集合、验证集合、测试集合)进行预处理,预处理引擎116可以将预处理的(例如,排列的)数据传递给轨迹代理120。轨迹代理120可以使用各个相应的数据集来对由条件变分自动编码器生成的模型进行训练、验证和测试。最终结果可以是经过完全训练的模型,以供与后续输入一起使用。
在实现阶段204,组织计算***104可以使用训练的模型来生成针对传入的跟踪信息的多队员轨迹预测。实现阶段204可以包括:跟踪***102、预处理引擎116以及训练的模型206。可以将跟踪***102配置成向组织计算***104提供跟踪数据。在一些实施方式中,跟踪***102可以实时地(或近实时地)向组织计算***104提供跟踪数据。预处理引擎116可以对数据进行预处理,使得将队员路线(或路径)排列。例如,预处理引擎116可以使用如上面讨论的基于树的排列来将数据排列。
预处理引擎116可以将排列的数据传递给预测模型206。预测模型206可以对不同队员的路径进行预测。例如,基于排列的跟踪数据,预测模型206可以预测一个或更多个队员的轨迹。这样的方法在以下情形中可能是有益的:例如,当例如由于跟踪***102的视点之外的一个或更多个队员而将不完整的跟踪数据提供给组织计算***104时。利用预测模型206,组织计算***104能够准确地预测这样的一个或更多个队员的位置,从而为最终用户创建赛事的更完整概述。
图3是例示根据示例实施方式的条件变分自动编码器152的框图300。变分自动编码器包括:背景编码器156、轨迹编码器158、队员编码器160、变分模块162以及解码器164。
如图所示,各个编码器可以接收一个或更多个数据集作为输入。队员编码器160可以接收集合ρ作为输入。该集合ρ可以包括针对队员身份和/或球队身份的信息。来自队员编码器160的输出可以是编码的值的集合Hρ。
在一些实施方式中,背景编码器156可以接收轨迹背景作为输入。该集合可以包括轨迹代理120没有对其轨迹进行预测的那些队员的将来轨迹。换句话说,中的队员的/>使得K∪P=A且K∩P={}。在一些实施方式中,K={}。来自背景编码器156的输出可以是编码的轨迹背景值的集合HC。
轨迹编码器158可以接收所有队员的跟踪历史轨迹背景/>以及编码的队员身份和/或球队身份HC来作为输入。轨迹编码器158可以对所有球员的跟踪历史轨迹背景/>以及编码的队员身份和/或球队身份HC进行编码,以生成编码的集合HX。
然后,可以将编码的集合HX作为输入提供给变分模块162。换句话说,变分模块162的输入可以是轨迹历史与背景和身份的联合编码。变分模块162可以至少基于由轨迹编码器158编码的信息集合来对隐变量分布/>的均值μz和标准偏差∑z进行预测。变分模块162可以根据/>生成随机样本/>作为输出。可以将随机样本/>与编码的Hρ值和编码的背景HC连接。这样,轨迹历史、背景以及身份可以用作条件变分自动编码器152的条件。
可以将连接的信息集(即,Hρ、HC)作为输入提供给解码器164。在一些实施方式中,连接的信息集合还可以包括/>换句话说,连接的信息集合可以包括集合P中的队员的最后一秒钟的观察到的轨迹历史。这样的信息可以促使所述预测与观察到的历史相一致。解码器164可以输出与/>连接的集合/>换句话说,解码器164可以提供一个或更多个队员的预测轨迹(即,/>)与所述一个或更多个队员的最后一秒钟的观察到的轨迹历史(即,/>)作为输出。
图4是例示根据示例实施方式的生成对多队员轨迹进行预测的预测模型的方法400的流程图。方法400可以在步骤402开始。
在步骤402,轨迹代理120可以从数据存储部118中取回跟踪数据。例如,由管理员在数据存储部118中识别的数据集可以包括多个预定义序列的二维轨迹。对于各个序列,管理员可以定义所有队员A中的要被预测轨迹的子集P。各个序列皆可以标记有队员身份、球队以及规范位置(例如,控球后卫、得分后卫、后卫、小前锋、大前锋、前锋、中锋)。对于所有队员A中的轨迹代理120不会对其轨迹进行预测的子集K,各个队员皆可以由其规范位置来标记,从而限制了队员身份集合。然后可以将数据集拆分成训练集合、验证集合以及测试集合。
在步骤404,可以将所识别的数据集发送至预处理代理116。预处理代理116可以对所识别的跟踪数据进行预处理。在一些实施方式中,预处理代理116可以将所识别的轨迹数据排列为使得所有队员的轨迹都将保持自然一致的排序。例如,给定轨迹数据,具有相似轨迹的两个相似行动可能具有不同的表示。为了减少(或最小化)排列的数量,预处理代理可以将从数据存储部中取回的数据排列为使得该信息从一个行动(或序列)到下一行动(或序列)都是一致的。
在步骤406,轨迹代理120可以生成包括队员位置坐标的第一数据集。第一数据集可以包括进行交互的队员的集合A的多队员轨迹,所述多队员的坐标可以在时间历史[t0,tq]内观察到。例如,可以将该轨迹表示为
在一些实施方式中,方法400可以包括步骤408。在步骤408,轨迹代理120可以生成表示队员背景的第二集合。可以将轨迹背景表示为该集合/>可以包括轨迹代理120没有对其轨迹进行预测的那些队员的将来轨迹。换句话说,/> 中的队员的/>使得K∪P=A和K∩P={}。在一些实施方式中,K={}。
在步骤410,轨迹代理120可以生成包括第一集合中的队员的身份的第三值集。可以将身份值表示为ρ。该集合ρ可以包括针对队员身份和/或球队身份的信息。
在步骤412,队员编码器160可以对第三值集ρ进行编码。例如,队员编码器可以接收第三值集ρ作为输入,并且相应地对所述值进行编码。来自队员编码器160的输出可以是编码的值的集合Hρ。
在步骤414,轨迹编码器158可以至少对第一值集进行编码。在一些实施方式中,轨迹编码器158可以对第一值集、第二值集以及第三值集进行编码,以生成输出Hx。例如,轨迹编码器158可以接收所有球员的跟踪历史轨迹背景/>以及编码的队员身份和/或球队身份HC作为输入。轨迹编码器158可以对所有球员的跟踪历史/>轨迹背景以及编码的队员身份和/或球队身份HC进行编码,以生成编码的集合HX。
在一些实施方式中,方法400可以包括步骤416。在步骤416,背景编码器156可以对第二值集进行编码。例如,背景编码器156可以接收轨迹背景作为输入,并且相应地对轨迹背景进行编码。该集合/>可以包括轨迹代理120没有对其轨迹进行预测的那些队员的将来轨迹。换句话说,/>中的队员的/>使得K∪P=A和K∩P={}。在一些实施方式中,K={}。来自背景编码器156的输出可以是编码的轨迹背景值的集合HC。
在步骤418,轨迹代理120可以生成随机隐变量的样本。例如,轨迹代理120可以将编码的集合HX输入变分模块162。变分模块162可以至少基于由轨迹编码器158编码的信息集合来对隐变量分布的均值μz和标准偏差∑z进行预测。变分模块162可以根据生成随机隐变量的样本/>作为输出。
在步骤420,轨迹代理120可以至少基于随机隐变量的样本(即,)来推断各个队员的轨迹。例如,轨迹代理120可以将随机样本/>与编码的值Hρ和编码的背景HC进行连接。可以将连接的信息集(即,/>Hρ、HC)作为输入提供给解码器164。在一些实施方式中,连接的信息集合还可以包括/>解码器164可以输出与/>连接的集合/>换句话说,解码器164可以提供一个或更多个队员的预测轨迹(即,/>)与所述一个或更多个队员的最后一秒钟(即,/>)作为输出。
在步骤422,轨迹代理120可以将各个队员的推断出的轨迹与各个队员的实际轨迹进行比较。例如,轨迹代理120可以利用L2损失函数,来使所推断出的轨迹(即,来自解码器164的输出)与实际轨迹(例如,来自数据存储部118)之间的误差最小化。
来自对条件变分自动编码器152进行训练的最终结果以是能够接收实况轨迹数据的训练的模型,并且生成一个或更多个队员的预测轨迹。在一些实施方式中,训练的模型能够预测1秒钟到8秒钟的队员轨迹。在一些实施方式中,训练的模型能够预测大于8秒钟的队员轨迹。
图5是例示根据示例实施方式的示例图形用户界面(GUI)502的框图500。如图所示,GUI 502可以包括在比赛场地504上的队员轨迹的表示。在该示例中,比赛场地是篮球场。GUI 502中所例示的可能是第一队员A1和第二队员A2。A1的已知轨迹可以由实线5061表示;A2的已知轨迹可以由实线5062表示。对于该示例,轨迹代理120可以在使用A2的轨迹作为背景的同时预测A1的轨迹。如图所示,A2的将来轨迹可以由虚线508表示。可以将针对A2的将来轨迹和A1的历史轨迹的信息作为输入提供给轨迹代理120,以生成A1的预测轨迹。A1的预测轨迹可以由虚线510表示。
图6是例示根据示例实施方式的使用预测模型206来生成一个或更多个队员的预测轨迹的方法600的流程图。
方法600可以在步骤602开始。在步骤602,组织计算***104可以从跟踪***102接收跟踪数据。在一些实施方式中,组织计算***104可以实时地(或近实时地)从跟踪***102接收跟踪数据。在一些实施方式中,组织计算***104可以在少量时延(例如,5秒钟时延、10秒钟时延等)之后从跟踪***102接收跟踪数据。跟踪数据可以包括直到时间tq的队员位置坐标。
在步骤604,预处理代理116可以对所接收的跟踪数据进行预处理。在一些实施方式中,预处理代理116可以将轨迹数据排列为使得所有队员的轨迹都将保持自然一致的排序。
在步骤606,轨迹代理120可以识别要被预测轨迹的队员子集。例如,给定队员集合A,轨迹代理120可以选择(或者管理员可以选择)要被预测轨迹的队员子集P。
在步骤608,轨迹代理120可以生成包括集合A中的各个队员的位置坐标的第一集合。位置坐标可以是从时间t0到时间tq的(x,y)坐标的集合。
在一些实施方式中,方法600可以包括步骤610。在步骤610,轨迹代理120可以生成第二集合,该第二集合表示队员背景。例如,轨迹代理120可以生成第二数据集,该第二数据集包括轨迹代理120不对其轨迹进行预测的那些队员的轨迹K。因此,如上所述,第二集合可以是空集,即,轨迹预测不依靠或不需要任何其他队员的将来预测。
在步骤612,轨迹代理120可以生成包括第一集合中的队员的身份的第三值集。可以将身份值表示为ρ。该集合ρ可以包括针对队员身份和/或球队身份的信息。
在步骤614,轨迹代理120可以对各个值集进行编码。例如,队员编码器160可以对与身份值相对应的第三值集进行编码。轨迹编码器158可以至少对第一值集进行编码。在一些实施方式中,轨迹编码器158可以对第一值集、第二值集以及第三值集进行编码,以生成编码的输出。例如,轨迹编码器158可以接收所有球员的跟踪历史、轨迹背景以及编码的队员身份和/或球队身份作为输入。背景编码器156可以对第二值集进行编码。例如,背景编码器156可以接收轨迹背景作为输入,并且相应地对轨迹背景进行编码。
在步骤616,变分模块162可以对作为输入而提供的信息集合进行采样。例如,变分模块162可以对由轨迹代理158生成的编码的数据(即,编码的第一值集、编码的第二值集以及重新编码的第三值集)进行采样。
在步骤618,解码器164可以基于由变分模块162生成的样本来推断一个或更多个队员的轨迹。例如,解码器164可以基于包括连接的数据集的向量来推断一个或更多个队员的轨迹:该数据集包括:(1)由变分模块162生成的信息集合的样本;(2)编码的身份值;以及(3)编码的背景值。在一些实施方式中,该连接的数据集还可以包括一个或更多个队员的最后一秒钟的观察到的轨迹历史。
在步骤620,轨迹代理120可以生成各个队员的预测轨迹的图形表示。例如,接口模块154可以生成图形用户界面,该图形用户界面包括各个队员的预测轨迹的图形表示。
图7是例示根据示例实施方式的使用预测模型206来生成一个或更多个队员的预测轨迹的方法700的流程图。
方法700可以在步骤702开始。在步骤702,组织计算***104可以从跟踪***102接收跟踪数据。在一些实施方式中,组织计算***104可以实时地(或近实时地)从跟踪***102接收跟踪数据。在一些实施方式中,组织计算***104可以在少量时延(例如,5秒钟时延、10秒钟时延等)之后从跟踪***102接收跟踪数据。跟踪数据可以包括直到时间tq的队员位置坐标。尽管方法700讨论了实况(或近实况)信息的使用,但是本领域技术人员可以认识到,可以使用历史(或非实况)信息来执行以下处理。
在步骤704,组织计算***104可以识别处于跟踪***102的视线之外的至少一个队员。例如,由于例如受伤、没有推挤等,至少一个队员可能处于跟踪***102的所述一个或更多个摄像机的视线之外。
在步骤706,预处理代理116可以对所接收的跟踪数据进行预处理。在一些实施方式中,预处理代理116可以将轨迹数据排列为使得所有队员的轨迹都将保持自然一致的排序。
在步骤708,轨迹代理120可以标识处于跟踪***102的视线之外的所述至少一个队员的预测位置。步骤708可以包括一个或更多个子步骤712-722。
在步骤712,轨迹代理120可以生成包括集合A中的各个队员的位置坐标的第一集合。位置坐标可以是从时间t0到时间tq的(x,y)坐标的集合。
在一些实施方式中,方法700可以包括步骤714。在步骤714,轨迹代理120可以生成第二集合,该第二集合表示队员背景。例如,轨迹代理120可以生成第二数据集,该第二数据集包括轨迹代理120不对其轨迹进行预测的那些队员的轨迹K。在一些实施方式中,K={}。
在步骤716,轨迹代理120可以生成包括第一集合中的队员的身份的第三值集。可以将身份值表示为ρ。该集合ρ可以包括针对队员身份和/或球队身份的信息。
在步骤718,轨迹代理120可以对各个值集进行编码。例如,队员编码器160可以对与身份值相对应的第三值集进行编码。轨迹编码器158可以至少对第一值集进行编码。在一些实施方式中,轨迹编码器158可以对第一值集、第二值集以及第三值集进行编码,以生成编码的输出。例如,轨迹编码器158可以接收所有球员的跟踪历史、轨迹背景以及编码的队员身份和/或球队身份作为输入。背景编码器156可以对第二值集进行编码。例如,背景编码器156可以接收轨迹背景作为输入,并且相应地对轨迹背景进行编码。
在步骤720,变分模块162可以对作为输入提供的信息集合进行采样。例如,变分模块162可以对由轨迹代理158生成的编码的数据(即,编码的第一值集、编码的第二值集以及重新编码的第三值集)进行采样。
在步骤722,解码器164可以基于由变分模块162生成的样本来推断至少一个队员的轨迹。例如,解码器164可以基于包括连接的数据集的向量来推断一个或更多个队员的轨迹:该数据集包括:(1)由变分模块162生成的信息集合的样本;(2)编码的身份值;以及(3)编码的背景值。在一些实施方式中,该连接的数据集还可以包括一个或更多个队员的最后一秒钟的观察到的轨迹历史。
在步骤710,轨迹代理120可以生成至少一个队员的预测轨迹的图形表示。例如,接口模块154可以生成图形用户界面,该图形用户界面包括至少一个队员的预测轨迹的图形表示。因此,即使队员中的一部分可能处于跟踪***102的视线之外,经由客户端装置108跟踪比赛的任何最终用户也能够查看比赛场地上的所有队员的位置。
图8A例示了根据示例实施方式的***总线计算***架构800。***800可以表示组织计算***104的至少一部分。***800的一个或更多个组件可以使用总线805彼此电连通。***800可以包括处理单元(CPU或处理器)810和***总线805,该***总线将包括诸如只读存储器(ROM)820和随机存取存储器(RAM)825的***存储器815的各种***组件联接至处理器810。***800可以包括与处理器810直接连接、紧靠着该处理器或者集成为该处理器的一部分的高速存储器的高速缓存。***800可以将数据从存储器815和/或存储装置830复制到高速缓存812,以供处理器810快速访问。以这种方式,高速缓存812可以提供性能提升,从而避免了处理器810在等待数据时的延迟。这些和其它模块可以控制或者被配置成控制处理器810以执行各种动作。其它***存储器815同样可供使用。存储器815可以包括具有不同性能特征的多种不同类型的存储器。处理器810可以包括任何通用处理器以及硬件模块或软件模块(诸如存储在存储装置830中的服务1 832、服务2834以及服务3836),该硬件模块或软件模块被配置成控制处理器810以及将软件指令并入到实际处理器设计中的专用处理器。处理器810本质上可以是完全自含的计算***,包含多个核心或处理器、总线、存储区控制器、高速缓存等。多核心处理器可以是对称或不对称的。
为了使得用户能够与计算装置800进行交互,输入装置845可以表示任何数量的输入机构,诸如用于语音的麦克风、用于手势或图形输入的触敏屏、键盘、鼠标器、运动输入、语音等。输出装置835还可以是本领域技术人员已知的许多输出机构中的一种或更多种。在一些情况下,多模态***可以使得用户能够提供多种类型的输入,以与计算装置800进行通信。通信接口840可以总体上支配并管理用户输入和***输出。在针对任何特定硬件排布结构的操作方面不存在限制,因此,这里的基本特征可以随着对它们的开发而用改进的硬件或固件排布结构来替换。
存储装置830可以是非易失性存储器,并且可以是硬盘或者可以存储可由计算机访问的数据的其它类型的计算机可读介质,诸如磁带、闪存卡、固态存储器装置、数字通用盘、盒式磁带、随机存取存储器(RAM)825、只读存储器(ROM)820以及这些的混合。
存储装置830可以包括对处理器810进行控制的服务832、834及836。预期了其它硬件或软件模块。可以将存储装置830连接至***总线805。在一个方面,执行特定功能的硬件模块可以包括执行所述功能的软件组件,该软件组件存储在与必需的硬件组件(诸如处理器810、总线805、显示器835等)相连接的计算机可读介质中。
图8B例示了具有芯片组架构的计算***850,该芯片组架构可以表示组织计算***104的至少一部分。计算***850可以是可以被用于实现所公开技术的计算机硬件、软件以及固件的示例。***850可以包括处理器855,处理器855代表任何数量的物理上和/或逻辑上不同的资源,所述资源能够执行被配置成执行所标识的计算的软件、固件以及硬件。处理器855可以与芯片组860进行通信,该芯片组可以控制处理器855的输入以及来自处理器855的输出。在该示例中,芯片组860将信息输出至诸如显示器的输出端865,并且可以读取信息并将信息写入至存储装置870,该存储装置例如可以包括磁性介质和固态介质。芯片组860还可以从RAM 875读取数据并且将数据写入RAM 875。可以提供用于与多种用户接口组件885进行接口连接的桥接部880,以与芯片组860进行接口连接。这样的用户接口组件885可以包括:键盘、麦克风、触摸检测和处理电路、指点装置(诸如鼠标)等。一般而言,***850的输入可能来自多种机器生成和/或人工生成的来源中的任一种。
芯片组860还可与可能具有不同的物理接口的一个或更多个通信接口890进行接口连接。这样的通信接口可以包括用于有线和无线局域网的接口、用于宽带无线网络的接口以及用于个人区域网络的接口。生成、显示及使用本文所公开的GUI的方法的一些应用可以包括通过物理接口接收排序的数据集,或者通过处理器855对存储在存储部870或875中的数据进行分析来由机器本身生成。此外,该机器可以通过用户接口组件885从用户接收输入,并通过使用处理器855对这些输入进行解释来执行恰当的功能,诸如浏览功能。
可以理解,示例***800和850可以具有超过一个处理器810,或者可以是连网在一起以提供更大处理能力的计算装置组或集群的一部分。
虽然前述致力于本文所公开的实施方式,但是可以在不脱离本公开的基本范围的情况下,设想其它和进一步的实施方式。例如,可以采用硬件或软件或者硬件和软件的组合来实现本公开的各方面。可以将本文所描述的一个实施方式实现为供与计算***一起使用的程序产品。该程序产品中的程序限定了所述实施方式(包括本文所描述的方法)的功能并且可以被包含在多种计算机可读存储介质上。例示性计算机可读存储介质包括但不限于:(i)永久性存储信息的不可写存储介质(例如,计算机内的只读存储器装置,诸如可通过CD-ROM驱动器读取的CD-ROM盘、闪速存储器、ROM芯片或者任何类型的固态非易失性存储器);以及(ii)存储可更改信息的可写存储介质(例如,磁盘驱动器内的软盘或硬盘驱动器或者任何类型的固态随机存取存储器)。这种计算机可读存储介质在执行引导所公开的实施方式的功能的计算机可读指令时是本公开的实施方式。
本领域技术人员将意识到,前述示例是示例性的而非限制性的。意图是,对于本领域技术人员而言,通过阅读本说明书和研究附图,所有的置换、增强、等同物以及改进都是显而易见的,并且均被包括在本公开的真实精神和范围内。因此,意图是附权利要求包括落入这些教导的真实精神和范围内的所有这样的修改、置换和等同物。
Claims (15)
1.一种对多队员位置进行预测的方法,所述方法包括以下步骤:
由计算***从数据存储部取回跟踪数据,所述跟踪数据包括:在多个体育赛事过程期间多个队员在比赛场地上的多个队员移动序列的队员坐标数据的多个集合;
由所述计算***基于所述队员坐标数据识别所述多个队员中的第一组队员的第一队员坐标数据集和所述多个队员中的第二组队员的第二队员坐标数据集;
由所述计算***取得所述多个队员中的每个队员的身份信息,所述身份信息包括队员姓名、队员团队和队员位置中的至少一个;
由所述计算***按以下步骤使用条件变分自动编码器来生成预测模型:
由所述条件变分自动编码器的第一编码器对所述第一组队员的所述第一队员坐标数据集进行编码以生成第一编码数据集,其中,所述第一组队员中的各个队员的将来位置未被预测,
由所述条件变分自动编码器的第二编码器对所述多个队员中的各个队员的所述身份信息进行编码以生成第二编码数据集,
由所述条件变分自动编码器的第三编码器对所述第一队员坐标数据集、所述第二队员坐标数据集以及各个队员的所述身份信息进行编码以生成第三编码数据集,以及
由所述条件变分自动编码器基于所述第一编码数据集、所述第二编码数据集和所述第三编码数据集,来学习所述第二组队员很可能采取的一个或更多个路径;
由所述计算***从远程定位在主办候选体育赛事的比赛地点中的跟踪***接收跟踪数据;
由所述计算***识别要被预测位置的一个或更多个候选队员;
由所述计算***经由所述预测模型来推断所述一个或更多个候选队员的一个或更多个位置;以及
由所述计算***生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。
2.根据权利要求1所述的方法,其中,由所述计算***使用所述条件变分自动编码器来生成预测模型的步骤包括:
通过使用基于树的角色排列来排列队员路线,对所述跟踪数据进行预处理。
3.根据权利要求1所述的方法,所述方法还包括以下步骤:
由变分模块基于所述第二编码数据集来生成随机隐变量的样本。
4.根据权利要求1所述的方法,其中,在学习期间,变分模块基于所述第二编码数据集对隐变量分布的均值和标准偏差进行预测。
5.根据权利要求3所述的方法,所述方法还包括以下步骤:
由解码器基于所述随机隐变量的样本、所述第一编码数据集、所述第二编码数据集以及所述第三编码数据集来推断所述第二组队员中的各个队员的位置。
6.一种***,该***包括:
处理器;以及
存储器,所述存储器存储有编程指令,所述编程指令在由所述处理器执行时,执行包括以下项的一个或更多个操作:
从数据存储部取回跟踪数据,所述跟踪数据包括:在多个体育赛事过程期间多个队员在比赛场地上的多个队员移动序列的队员坐标数据的多个集合;
基于所述队员坐标数据识别所述多个队员中的第一组队员的第一队员坐标数据集和所述多个队员中的第二组队员的第二队员坐标数据集;
取得所述多个队员中的每个队员的身份信息,所述身份信息包括队员姓名、队员团队和队员位置中的至少一个;
按以下步骤使用条件变分自动编码器来生成预测模型:
由所述条件变分自动编码器的第一编码器对所述第一组队员的所述第一队员坐标数据集进行编码以生成第一编码数据集,其中,所述第一组队员中的各个队员的将来位置未被预测,
由所述条件变分自动编码器的第二编码器对所述多个队员中的各个队员的所述身份信息进行编码以生成第二编码数据集,
由所述条件变分自动编码器的第三编码器对所述第一队员坐标数据集、所述第二队员坐标数据集以及各个队员的所述身份信息进行编码以生成第三编码数据集,以及
由所述条件变分自动编码器基于所述第一编码数据集、所述第二编码数据集和所述第三编码数据集,来学习所述第二组队员很可能采取的一个或更多个路径;
从远程定位在主办候选体育赛事的比赛地点中的跟踪***接收跟踪数据;
识别要被预测位置的一个或更多个候选队员;
经由所述预测模型来推断所述一个或更多个候选队员的一个或更多个位置;以及
生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。
7.根据权利要求6所述的***,其中,使用所述条件变分自动编码器来生成预测模型包括:
通过使用基于树的角色排列来排列队员路线,对所述跟踪数据进行预处理。
8.根据权利要求6所述的***,其中,所述一个或更多个操作还包括:
由变分模块基于所述第二编码数据集来生成随机隐变量的样本。
9.根据权利要求8所述的***,其中,在学习期间,变分模块基于所述第二编码数据集对隐变量分布的均值和标准偏差进行预测。
10.根据权利要求8所述的***,其中,所述一个或更多个操作还包括:
由解码器基于所述随机隐变量的样本、所述第一编码数据集、所述第二编码数据集以及所述第三编码数据集来推断所述第二组队员中的各个队员的位置。
11.一种包括一个或更多个指令序列的非暂时性计算机可读介质,所述一个或更多个指令序列在由一个或更多个处理器执行时,使计算***执行包括以下项的一个或更多个操作:
由所述计算***从数据存储部取回跟踪数据,所述跟踪数据包括:在多个体育赛事过程期间多个队员在比赛场地上的多个队员移动序列的队员坐标数据的多个集合;
由所述计算***基于所述队员坐标数据识别所述多个队员中的第一组队员的第一队员坐标数据集和所述多个队员中的第二组队员的第二队员坐标数据集;
由所述计算***取得所述多个队员中的每个队员的身份信息,所述身份信息包括队员姓名、队员团队和队员位置中的至少一个;
由所述计算***按以下步骤使用条件变分自动编码器来生成预测模型:
由所述条件变分自动编码器的第一编码器对所述第一组队员的所述第一队员坐标数据集进行编码以生成第一编码数据集,其中,所述第一组队员中的各个队员的将来位置未被预测,
由所述条件变分自动编码器的第二编码器对所述多个队员中的各个队员的所述身份信息进行编码以生成第二编码数据集,
由所述条件变分自动编码器的第三编码器对所述第一队员坐标数据集、所述第二队员坐标数据集以及各个队员的所述身份信息进行编码以生成第三编码数据集,以及
由所述条件变分自动编码器基于所述第一编码数据集、所述第二编码数据集和所述第三编码数据集,来学习所述第二组队员很可能采取的一个或更多个路径;
由所述计算***从远程定位在主办候选体育赛事的比赛地点中的跟踪***接收跟踪数据;
由所述计算***识别要被预测位置的一个或更多个候选队员;
由所述计算***经由所述预测模型来推断所述一个或更多个候选队员的一个或更多个位置;以及
由所述计算***生成所述一个或更多个候选队员的所述一个或更多个位置的图形表示。
12.根据权利要求11所述的非暂时性计算机可读介质,其中,由所述计算***使用所述条件变分自动编码器来生成预测模型包括:
通过使用基于树的角色排列来排列队员路线,对所述跟踪数据进行预处理。
13.根据权利要求11所述的非暂时性计算机可读介质,所述非暂时性计算机可读介质还包括:
由变分模块基于所述第二编码数据集来生成随机隐变量的样本。
14.根据权利要求13所述的非暂时性计算机可读介质,其中,在学习期间,变分模块基于所述第二编码数据集对隐变量分布的均值和标准偏差进行预测。
15.根据权利要求13所述的非暂时性计算机可读介质,所述非暂时性计算机可读介质还包括:
由解码器基于所述随机隐变量的样本、所述第一编码数据集、所述第二编码数据集以及所述第三编码数据集来推断所述第二组队员中的各个队员的位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862619891P | 2018-01-21 | 2018-01-21 | |
US62/619,891 | 2018-01-21 | ||
PCT/US2019/014608 WO2019144142A1 (en) | 2018-01-21 | 2019-01-22 | System and method for predicting fine-grained adversarial multi-agent motion |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111954860A CN111954860A (zh) | 2020-11-17 |
CN111954860B true CN111954860B (zh) | 2024-05-24 |
Family
ID=67298186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980018875.5A Active CN111954860B (zh) | 2018-01-21 | 2019-01-22 | 对细粒度对抗性多队员运动进行预测的***和方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11645546B2 (zh) |
EP (1) | EP3740841A4 (zh) |
CN (1) | CN111954860B (zh) |
WO (1) | WO2019144142A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019207770A1 (ja) * | 2018-04-27 | 2019-10-31 | 日本電気株式会社 | 学習済みモデル更新装置、学習済みモデル更新方法、プログラム |
EP3776370A1 (en) * | 2018-05-18 | 2021-02-17 | Deepmind Technologies Limited | Graph neural network systems for behavior prediction and reinforcement learning in multple agent environments |
US20210287531A1 (en) * | 2020-03-12 | 2021-09-16 | Honda Motor Co., Ltd. | Systems and methods for heterogeneous multi-agent multi-modal trajectory prediction with evolving interaction graphs |
CN117222455A (zh) | 2021-04-27 | 2023-12-12 | 斯塔特斯公司 | 用于单个运动员和团队模拟的***和方法 |
EP4340960A1 (en) * | 2021-05-18 | 2024-03-27 | Stats Llc | System and method for predicting future player performance in sport |
US11562523B1 (en) | 2021-08-02 | 2023-01-24 | Electronic Arts Inc. | Enhanced animation generation based on motion matching using local bone phases |
CN117191068B (zh) * | 2023-11-07 | 2024-01-19 | 新石器慧通(北京)科技有限公司 | 模型训练方法和装置、轨迹预测方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274029A (zh) * | 2017-06-23 | 2017-10-20 | 深圳市唯特视科技有限公司 | 一种利用动态场景内交互作用介质的未来预测方法 |
Family Cites Families (111)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000054011A (ko) | 2000-05-17 | 2000-09-05 | 민대기 | 비쥬얼인터페이스를 이용한 실시간 축구경기 기록 프로그램 |
US6616529B1 (en) | 2000-06-19 | 2003-09-09 | Intel Corporation | Simulation and synthesis of sports matches |
AU2002255568B8 (en) | 2001-02-20 | 2014-01-09 | Adidas Ag | Modular personal network systems and methods |
US8409024B2 (en) | 2001-09-12 | 2013-04-02 | Pillar Vision, Inc. | Trajectory detection and feedback system for golf |
US7474698B2 (en) | 2001-10-19 | 2009-01-06 | Sharp Laboratories Of America, Inc. | Identification of replay segments |
US6710713B1 (en) | 2002-05-17 | 2004-03-23 | Tom Russo | Method and apparatus for evaluating athletes in competition |
US20050143198A1 (en) | 2002-06-28 | 2005-06-30 | Anthony Charge | Predictive analysis system and method |
US20040148278A1 (en) | 2003-01-22 | 2004-07-29 | Amir Milo | System and method for providing content warehouse |
US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
US20060149674A1 (en) | 2004-12-30 | 2006-07-06 | Mike Cook | System and method for identity-based fraud detection for transactions using a plurality of historical identity records |
US7699707B2 (en) | 2005-05-09 | 2010-04-20 | Hotbox Sports Llc | Fantasy sports system and method thereof |
US20070293289A1 (en) | 2005-07-27 | 2007-12-20 | Loeb Michael R | Methods and systems for realistically simulating human sports activities |
US9522332B2 (en) | 2006-12-13 | 2016-12-20 | Voodoo Gaming Llc | Video games including real-life attributes and/or fantasy team settings |
WO2008134652A1 (en) | 2007-04-27 | 2008-11-06 | Sports Prophet, Llc | Predictive modeling system and method for fantasy sports |
US20090186679A1 (en) | 2008-01-23 | 2009-07-23 | James Christopher Irvine | Prediction game system and method |
US20100129780A1 (en) | 2008-09-12 | 2010-05-27 | Nike, Inc. | Athletic performance rating system |
CA2736750A1 (en) | 2008-09-15 | 2010-03-18 | James A. Aman | Session automated recording together with rules based indexing, analysis and expression of content |
US8172722B2 (en) | 2008-12-05 | 2012-05-08 | Nike, Inc. | Athletic performance monitoring systems and methods in a team sports environment |
US9442933B2 (en) | 2008-12-24 | 2016-09-13 | Comcast Interactive Media, Llc | Identification of segments within audio, video, and multimedia items |
WO2010080146A2 (en) * | 2009-01-07 | 2010-07-15 | Cfi Group Usa, L.L.C. | Statistical impact analysis machine |
US20100184495A1 (en) | 2009-01-21 | 2010-07-22 | Open Sports Network, Inc. | Method and system for playing an online fantasy game |
US8289185B2 (en) | 2009-05-05 | 2012-10-16 | Advanced Technologies Group, LLC | Sports telemetry system for collecting performance metrics and data |
US8406906B2 (en) | 2009-05-23 | 2013-03-26 | Dream Big Baseball, Inc. | Baseball event outcome prediction method and apparatus |
US9186548B2 (en) | 2009-07-20 | 2015-11-17 | Disney Enterprises, Inc. | Play sequence visualization and analysis |
US8707381B2 (en) | 2009-09-22 | 2014-04-22 | Caption Colorado L.L.C. | Caption and/or metadata synchronization for replay of previously or simultaneously recorded live programs |
US8780204B2 (en) | 2010-01-05 | 2014-07-15 | Isolynx, Llc | Systems and methods for analyzing event data |
KR100986647B1 (ko) | 2010-01-21 | 2010-10-08 | 한양대학교 산학협력단 | 축구 경기력 평가 서비스 제공 방법, 장치 및 시스템 |
US9058670B2 (en) | 2010-05-03 | 2015-06-16 | Stats Llc | Trajectory detection and analysis in sporting events |
US20170330029A1 (en) | 2010-06-07 | 2017-11-16 | Affectiva, Inc. | Computer based convolutional processing for image analysis |
US8659663B2 (en) | 2010-12-22 | 2014-02-25 | Sportvision, Inc. | Video tracking of baseball players to determine the start and end of a half-inning |
US8548611B2 (en) | 2011-02-18 | 2013-10-01 | Joshua David Ahlstrom | Fantasy sports depth chart system and associated methods |
US11074495B2 (en) | 2013-02-28 | 2021-07-27 | Z Advanced Computing, Inc. (Zac) | System and method for extremely efficient image and pattern recognition and artificial intelligence platform |
US20130104870A1 (en) | 2011-10-31 | 2013-05-02 | Vincent Rizzo | Method, apparatus and system for projecting sports objects |
US20130267328A1 (en) | 2011-12-16 | 2013-10-10 | Sports Technology Applications, Inc. | System and method for providing mobile sports related games |
US9734290B2 (en) | 2011-12-16 | 2017-08-15 | Neela SRINIVAS | System and method for evidence based differential analysis and incentives based healthcare policy |
CN104379223A (zh) | 2012-02-24 | 2015-02-25 | Cfph有限责任公司 | 包括可定制游戏参数的娱乐装置 |
WO2013166456A2 (en) | 2012-05-04 | 2013-11-07 | Mocap Analytics, Inc. | Methods, systems and software programs for enhanced sports analytics and applications |
US10616663B2 (en) | 2012-07-02 | 2020-04-07 | Russell Brands, Llc | Computer-implemented capture of live sporting event data |
US9461876B2 (en) | 2012-08-29 | 2016-10-04 | Loci | System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction |
US8996434B2 (en) | 2012-11-21 | 2015-03-31 | Cbs Interactive, Inc. | Automated statistics content preparation |
US9846845B2 (en) | 2012-11-21 | 2017-12-19 | Disney Enterprises, Inc. | Hierarchical model for human activity recognition |
US20140236331A1 (en) | 2013-02-21 | 2014-08-21 | Sap Portals Israel Ltd. | Real-time decision making in sports |
US20140302914A1 (en) | 2013-03-15 | 2014-10-09 | Bram Weinstein | Computer-based Methods and Systems for Fantasy Sports Gaming |
US20140274245A1 (en) | 2013-03-15 | 2014-09-18 | Fantasy Pot Odds, Llc | Fantasy player algorithm |
US9162140B2 (en) | 2013-04-16 | 2015-10-20 | Ghostrunner Interactive, Llc | Interactive baseball simulation between remote team managers |
US9440152B2 (en) | 2013-05-22 | 2016-09-13 | Clip Engine LLC | Fantasy sports integration with video content |
US20170072321A1 (en) | 2013-05-22 | 2017-03-16 | David S. Thompson | Highly interactive fantasy sports interleaver |
US9517417B2 (en) | 2013-06-06 | 2016-12-13 | Zih Corp. | Method, apparatus, and computer program product for performance analytics determining participant statistical data and game status data |
US9985672B2 (en) | 2013-06-06 | 2018-05-29 | Zih Corp. | Method, apparatus, and computer program product for evaluating performance based on real-time data for proximity and movement of objects |
CA2931625C (en) | 2013-06-12 | 2017-07-18 | ShotTracker, Inc. | Basketball shot-tracking system |
US10282068B2 (en) | 2013-08-26 | 2019-05-07 | Venuenext, Inc. | Game event display with a scrollable graphical game play feed |
WO2015048338A1 (en) | 2013-09-26 | 2015-04-02 | Publicover Mark W | Providing targeted content based on a user's moral values |
US10140575B2 (en) | 2013-11-15 | 2018-11-27 | Disney Enterprises, Inc. | Sports formation retrieval |
US9342785B2 (en) | 2013-11-15 | 2016-05-17 | Disney Enterprises, Inc. | Tracking player role using non-rigid formation priors |
WO2015076682A1 (en) | 2013-11-21 | 2015-05-28 | Crichq Limited | System and method for assessing or predicting a match outcome in a sporting event |
US10521671B2 (en) | 2014-02-28 | 2019-12-31 | Second Spectrum, Inc. | Methods and systems of spatiotemporal pattern recognition for video content development |
US10713494B2 (en) | 2014-02-28 | 2020-07-14 | Second Spectrum, Inc. | Data processing systems and methods for generating and interactive user interfaces and interactive game systems based on spatiotemporal analysis of video content |
US11861906B2 (en) | 2014-02-28 | 2024-01-02 | Genius Sports Ss, Llc | Data processing systems and methods for enhanced augmentation of interactive video content |
US9914059B2 (en) | 2014-06-16 | 2018-03-13 | Beat Your Mark Group Limited | Virtual league platform of a sport activity |
CN105373938A (zh) | 2014-08-27 | 2016-03-02 | 阿里巴巴集团控股有限公司 | 识别视频图像中的商品和展示其信息的方法、装置及*** |
US20160096071A1 (en) | 2014-10-07 | 2016-04-07 | ShotTracker, Inc. | Real-time event monitoring system for basketball-related activities |
US9003294B1 (en) | 2014-12-23 | 2015-04-07 | FanActivate, LLC | Scalable systems for change detection of statistic data feeds across multiple servers using shared memory with configurable messaging triggers |
US20160220878A1 (en) | 2015-01-30 | 2016-08-04 | Srinivas S. Devathi | Systems and methods of playing an enhanced version of football sport |
US11157817B2 (en) | 2015-08-19 | 2021-10-26 | D-Wave Systems Inc. | Discrete variational auto-encoder systems and methods for machine learning using adiabatic quantum computers |
US11006160B2 (en) | 2015-08-24 | 2021-05-11 | Microsoft Technology Licensing, Llc | Event prediction enhancements |
US9751010B2 (en) | 2015-09-18 | 2017-09-05 | Fantasy Sports Company | System and method for virtual team assembly |
US20170109015A1 (en) | 2015-10-14 | 2017-04-20 | Microsoft Technology Licensing, Llc | Contextual athlete performance assessment |
US20170132821A1 (en) | 2015-11-06 | 2017-05-11 | Microsoft Technology Licensing, Llc | Caption generation for visual media |
US10204300B2 (en) | 2015-12-14 | 2019-02-12 | Stats Llc | System and method for predictive sports analytics using clustered multi-agent data |
EP3391239A4 (en) * | 2015-12-14 | 2020-02-26 | Stats Llc | SYSTEM FOR INTERACTIVE SPORT ANALYTICS USING MULTIPLE TEMPLATE ORIENTATION AND DISCRIMINATING CLUSTERING |
US10201755B2 (en) | 2016-02-25 | 2019-02-12 | Pick A Play Networks Inc. | System and method for providing a platform for real time interactive game participation |
US9912974B2 (en) | 2016-03-01 | 2018-03-06 | Disney Enterprises, Inc. | Shot structure of online video as a predictor of success |
CN115500818A (zh) * | 2016-03-18 | 2022-12-23 | 哈佛大学校长及研究员协会 | 分析对象的运动以将其分成亚秒级模块的***和方法 |
US10441868B2 (en) | 2016-04-11 | 2019-10-15 | Brian Janssen | Full scale digital replay and practice system for use by positional players in a team-based sport |
US10010778B2 (en) | 2016-06-03 | 2018-07-03 | Pillar Vision, Inc. | Systems and methods for tracking dribbling and passing performance in sporting environments |
CN105833502B (zh) | 2016-06-06 | 2018-01-19 | 刘庆斌 | 一种足球阵型的进攻与防守技战术智能教学、训练和比赛的***和方法 |
US20190221072A1 (en) | 2016-08-15 | 2019-07-18 | Mark A. Litman | Versatile fantasy sport scratch-off ticket and method |
US10343015B2 (en) | 2016-08-23 | 2019-07-09 | Pillar Vision, Inc. | Systems and methods for tracking basketball player performance |
US10417499B2 (en) | 2016-09-21 | 2019-09-17 | GumGum, Inc. | Machine learning models for identifying sports teams depicted in image or video data |
US20180157974A1 (en) | 2016-12-05 | 2018-06-07 | Disney Enterprises, Inc. | Data-driven ghosting using deep imitation learning |
WO2018126323A1 (en) | 2017-01-06 | 2018-07-12 | Sportlogiq Inc. | Systems and methods for behaviour understanding from trajectories |
US10348820B2 (en) | 2017-01-20 | 2019-07-09 | Facebook, Inc. | Peer-to-peer content distribution |
US10824918B2 (en) | 2017-01-31 | 2020-11-03 | Stats Llc | System and method for predictive sports analytics using body-pose information |
US11481456B2 (en) | 2017-02-17 | 2022-10-25 | Kyndi, Inc. | Model and pattern structure online unital learning: mapsoul |
EP3422224A1 (en) | 2017-06-30 | 2019-01-02 | Nokia Technologies Oy | An apparatus and associated methods for determining user activity profiles |
US10489656B2 (en) | 2017-09-21 | 2019-11-26 | NEX Team Inc. | Methods and systems for ball game analytics with a mobile device |
US10748376B2 (en) | 2017-09-21 | 2020-08-18 | NEX Team Inc. | Real-time game tracking with a mobile device using artificial intelligence |
US10322330B2 (en) | 2017-10-03 | 2019-06-18 | Fanmountain Llc | Systems, devices, and methods employing the same for enhancing audience engagement in a competition or performance |
US11232109B1 (en) | 2017-12-01 | 2022-01-25 | Pinterest, Inc. | Object identification based on long-term user behavior and short-term interest |
US10417500B2 (en) | 2017-12-28 | 2019-09-17 | Disney Enterprises, Inc. | System and method for automatic generation of sports media highlights |
US11182806B1 (en) | 2018-01-04 | 2021-11-23 | Facebook, Inc. | Consumer insights analysis by identifying a similarity in public sentiments for a pair of entities |
EP3740878A4 (en) | 2018-01-21 | 2021-10-13 | Stats Llc | METHOD OF DETECTING EVENTS IN SPORT USING A NEURAL FOLDING NETWORK |
EP3740296A4 (en) | 2018-01-21 | 2022-07-27 | Stats Llc | METHOD AND SYSTEM FOR INTERACTIVE, INTERPRETABLE AND ENHANCED PLAYER PREDICTIONS IN TEAM SPORTS |
CN115487484A (zh) | 2018-07-02 | 2022-12-20 | 沛勒尔维珍公司 | 用于确定体育赛事中降低的运动员表现的***和方法 |
US11311808B2 (en) | 2019-01-21 | 2022-04-26 | Tempus Ex Machina, Inc. | Systems and methods to predict a future outcome at a live sport event |
US12046038B2 (en) | 2019-03-22 | 2024-07-23 | The Regents Of The University Of California | System and method for generating visual analytics and player statistics |
US11146862B2 (en) | 2019-04-16 | 2021-10-12 | Adobe Inc. | Generating tags for a digital video |
US11554292B2 (en) | 2019-05-08 | 2023-01-17 | Stats Llc | System and method for content and style predictions in sports |
US20210056458A1 (en) | 2019-08-20 | 2021-02-25 | Adobe Inc. | Predicting a persona class based on overlap-agnostic machine learning models for distributing persona-based digital content |
US11157742B2 (en) | 2019-09-04 | 2021-10-26 | NEX Team Inc. | Methods and systems for multiplayer tagging for ball game analytics generation with a mobile computing device |
US20210134124A1 (en) | 2019-10-31 | 2021-05-06 | Scoretrade Inc. | In-stadium and location-based user inputs to adjust in-game bet pricing and probabilities |
US11113535B2 (en) | 2019-11-08 | 2021-09-07 | Second Spectrum, Inc. | Determining tactical relevance and similarity of video sequences |
EP4104110A4 (en) | 2020-02-13 | 2024-02-28 | Stats Llc | DYNAMIC PREDICTION OF SHOT TYPE USING A CUSTOMIZED DEEP NEURAL NETWORK |
AU2021231754A1 (en) | 2020-03-02 | 2022-09-15 | Visual Supply Company | Systems and methods for automating video editing |
US20210304736A1 (en) | 2020-03-30 | 2021-09-30 | Nvidia Corporation | Media engagement through deep learning |
CN115715385A (zh) | 2020-06-05 | 2023-02-24 | 斯塔特斯公司 | 用于预测体育运动中的队形的***和方法 |
US11958529B2 (en) | 2020-08-20 | 2024-04-16 | Nvidia Corporation | Controlling position of robot by determining goal proposals by using neural networks |
US20220067983A1 (en) | 2020-08-28 | 2022-03-03 | Nvidia Corporation | Object image completion |
WO2022170046A1 (en) | 2021-02-05 | 2022-08-11 | Stats Llc | System and method for evaluating defensive performance using graph convolutional network |
CN116762047A (zh) | 2021-02-22 | 2023-09-15 | 斯塔特斯公司 | 体育运动中的微观与宏观预测 |
EP4302276A1 (en) | 2021-03-05 | 2024-01-10 | Stats Llc | Method and system for generating in-game insights |
-
2019
- 2019-01-22 CN CN201980018875.5A patent/CN111954860B/zh active Active
- 2019-01-22 WO PCT/US2019/014608 patent/WO2019144142A1/en active Application Filing
- 2019-01-22 EP EP19740811.5A patent/EP3740841A4/en active Pending
- 2019-01-22 US US16/254,037 patent/US11645546B2/en active Active
-
2023
- 2023-05-05 US US18/313,050 patent/US20230274159A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107274029A (zh) * | 2017-06-23 | 2017-10-20 | 深圳市唯特视科技有限公司 | 一种利用动态场景内交互作用介质的未来预测方法 |
Non-Patent Citations (2)
Title |
---|
DESIRE: Distant Future Prediction in Dynamic Scenes with Interacting Agents;Namhoon Lee;2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR);第2165-2172页 * |
篮球比赛视频中持球队员行为预测;王千;夏利民;谭论正;;中国图象图形学报(第04期);第560-567页 * |
Also Published As
Publication number | Publication date |
---|---|
US20190228316A1 (en) | 2019-07-25 |
CN111954860A (zh) | 2020-11-17 |
US20230274159A1 (en) | 2023-08-31 |
WO2019144142A1 (en) | 2019-07-25 |
US11645546B2 (en) | 2023-05-09 |
EP3740841A4 (en) | 2021-10-20 |
EP3740841A1 (en) | 2020-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111954860B (zh) | 对细粒度对抗性多队员运动进行预测的***和方法 | |
CN111954564B (zh) | 在球队运动中进行交互的、可说明的且改进的比赛和球员表现预测的方法和*** | |
US11554292B2 (en) | System and method for content and style predictions in sports | |
CN116370938A (zh) | 在定位进攻期间对球队队形进行识别的方法、***、介质 | |
US11935298B2 (en) | System and method for predicting formation in sports | |
US20210374419A1 (en) | Semi-Supervised Action-Actor Detection from Tracking Data in Sport | |
US20210322825A1 (en) | Graph Based Method of Next Pitch Prediction | |
CN116762106A (zh) | 利用半监督方法的体育运动中的交互式队形分析 | |
US20220343253A1 (en) | Virtual Coaching System | |
US20220207366A1 (en) | Action-Actor Detection with Graph Neural Networks from Spatiotemporal Tracking Data | |
US20220355182A1 (en) | Live Prediction of Player Performances in Tennis | |
WO2024044618A1 (en) | Live tournament predictions in tennis | |
CN117813635A (zh) | 从体育广播视频馈送中对球员进行身体姿势跟踪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |