CN109155818B - 用于视频精彩部分识别的头部转动追踪设备 - Google Patents

用于视频精彩部分识别的头部转动追踪设备 Download PDF

Info

Publication number
CN109155818B
CN109155818B CN201680085019.8A CN201680085019A CN109155818B CN 109155818 B CN109155818 B CN 109155818B CN 201680085019 A CN201680085019 A CN 201680085019A CN 109155818 B CN109155818 B CN 109155818B
Authority
CN
China
Prior art keywords
rotation
head
data
user
rotational
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680085019.8A
Other languages
English (en)
Other versions
CN109155818A (zh
Inventor
韩铮
戴晓伟
叶煜升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shunyuan Kaihua Technology Co Ltd
Original Assignee
Beijing Shunyuan Kaihua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shunyuan Kaihua Technology Co Ltd filed Critical Beijing Shunyuan Kaihua Technology Co Ltd
Publication of CN109155818A publication Critical patent/CN109155818A/zh
Application granted granted Critical
Publication of CN109155818B publication Critical patent/CN109155818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)

Abstract

公开一种用于通过追踪用户的头部转动移动并同步旋转台上的视频捕捉设备(例如，用户的移动电话)的旋转与用户的头部转动移动以方便地捕捉运动赛事中的视频精彩部分的方案。用户佩戴转动追踪设备，其追踪与观看赛事有关的用户的头部转动移动。对来自用户的头部转动移动的头部转动数据进行过滤以生成经过滤的头部转动数据，其排除了头部转动数据中的噪声运动。基于经过滤的头部转动数据生成对应的旋转控制数据。旋转控制数据被用来指示旋转***在旋转***上安装的视频捕捉设备捕捉到运动赛事的视频时与用户的头部转动同步地转动。

Description

用于视频精彩部分识别的头部转动追踪设备
技术领域
本公开大体涉及数字内容处理，并且特别涉及通过追踪观看者的头部转动移动并同步旋转台上的视频捕捉设备(例如，移动电话)与观看者的头部转动移动来捕捉运动视频中的视频精彩部分。
背景技术
随着诸如智能电话和平板电脑的移动计算设备的进步，越来越多的人能够记录各种类型赛事的视频，如记录运动视频并与他人分享所记录运动视频中的视频精彩部分。运动视频的视频精彩部分是运动视频的部分并表示运动视频中捕捉的语义重要赛事(例如，足球游戏视频中的捕捉进球或射门的短视频片段)。
由观看者使用他/她的智能电话和平板电脑平稳地记录长运动赛事可能是挑战。其中的一个挑战来自捕捉大型运动场内的运动赛事中的快速移动的困难。对于足球、篮球、棒球、曲棍球以及其他类似运动，运动场通常非常大且运动员分散遍布该大型运动场。因此，运动赛事的观看者/观众需要频繁地转动他们的头部以在运动比赛/赛事期间追踪运动员的活动。另一挑战是预测在直播赛事中视频精彩部分将在何时发生。因此，为了捕捉运动比赛/赛事或直播赛事中的不可预测的视频精彩部分，观看者需要在整个运动比赛/赛事中保持警惕，这将造成疲劳或挫败从而错失运动比赛/赛事的精彩部分并降低观看运动比赛/赛事的乐趣。
发明内容
本公开的实施例提供用于通过追踪用户的头部转动移动并同步旋转台上的视频捕捉设备(例如，移动电话)的转动与用户的头部转动移动以方便地捕捉运动赛事中的视频精彩部分的方案。旋转台的控制模块从用户佩戴的转动追踪设备接收与观看赛事有关的用户的头部转动数据。控制模块将所接收的头部转动数据中的噪声运动过滤掉并生成经过滤的头部转动数据。控制模块还基于经过滤的头部转动数据生成对应的旋转控制数据。控制模块基于旋转控制数据指示旋转台的旋转***与用户的头部转动同步地转动。
说明书中描述的特征和优点并非全面的，特别地，考虑到附图、说明书和权利要求，许多额外特征和优点对于本领域普通技术人员来说将是显而易见的。此外，应注意到，主要出于可读性和指导性目的选择说明书中使用的语言，而并非为了描绘或限制所公开的主题而选择说明书中使用的语言。
附图说明
图1为根据一个实施例的用于追踪用户的头部转动移动并同步与旋转台连接的视频捕捉设备(例如，移动电话)与在运动赛事期间的用户的头部转动移动的环境的框图。
图2为根据一个实施例的用于同步旋转台上的视频捕捉设备(例如，移动电话)的转动与用户的头部转动的视频精彩部分追踪***的框图。
图3为根据一个实施例的旋转台的控制模块的传感器数据分析模块的流动示意图。
图4为根据一个实施例的旋转台的控制模块的旋转控制模块的流动示意图。
图5为根据一个实施例的用于同步旋转台上安装的视频捕捉设备(例如，移动电话)的转动和与用户观看运动赛事有关的用户的头部转动的过程的流程图。
附图仅出于示例的目的而描绘本公开的各种实施例。从以下论述中本领域的技术人员应容易地意识到在不偏离本文中描述的本公开的原理的情况下可应用本文中所示出的结构和方法的替代实施例。
具体实施方式
I环境概述
提供一种方案以通过追踪用户的头部转动移动并同步旋转台上的视频捕捉设备(例如，移动电话)的转动与用户的头部转动移动而方便地捕捉运动赛事中的视频精彩部分。用户在观看运动赛事的同时将追踪设备(例如，具有一个或多个运动传感器的转动追踪设备)佩戴在他/她的身体的部位(例如，头部、他/她的头部上的帽子)上。追踪设备追踪用户的头部移动(例如，头部在水平面中的转动)。描述用户的头部转动移动的运动数据被传输至旋转台，并被处理以生成指令以驱动旋转台上安装的视频捕捉设备(例如，移动电话)，从而跟随用户的头部转动移动。用户使用远程控制器激活旋转台上安装的视频捕捉设备以捕捉运动赛事的视频片段，该视频片段是用户所感兴趣的。随着追踪设备追踪用户的头部转动移动，旋转台上安装的视频捕捉设备在运动赛事期间保持跟随用户的视野。运动赛事的所捕捉视频被分析以识别运动赛事中的一个或多个视频精彩部分。用户免于不断检查视频捕捉设备是否捕捉到他/她想要的，相反地，用户可以关注运动赛事并享受运动赛事。
在本公开中，“数字内容”通常指机器可读且机器可存储产品。数字内容可以包括，例如，视频和音频的组合。替代地，数字内容可以是静止图像。出于一个实施例的简洁和描述目的，数字内容将被称为“视频”，但此术语并非意在限制可被分析的数字内容的类型。
图1是根据一个实施例的用于追踪用户的头部转动移动并在运动赛事期间同步与旋转台130连接的视频捕捉设备与用户的头部转动移动的环境100的框图。图1中示出的实施例包括在他/她的帽子上佩戴头部转动追踪设备104的用户102、视频捕捉设备106(例如，用户102的移动电话)、被用户102用来控制旋转台130上安装的视频捕捉设备106的远程控制器112，旋转台130包括控制模块108和旋转***110。用户102观看在运动场120上发生的运动赛事并控制视频捕捉设备106捕捉运动赛事的一个或多个视频。图1的各个实体执行的功能可因实施例不同而不同。这些实体中的每个包括可以在物理上远离彼此但通过计算机网络通信地连接的计算设备。计算机网络通常是因特网但也可以是其他网络，包括但不限于LAN、MAN、WAN、移动有线或无线网络、云网络、私人网络、虚拟私人网络、蓝牙或低功耗蓝牙(BLE)无线网络、点对点网络或其组合。在一些设置中，实体使用自定义和/或专用通信技术通信。
用户102跟随发生在运动场120上的活动。例如，用户102跟随发生在运动场120上或在运动场120的附近区域中(如在运动场120的球场边线上)的球移动、运动员移动和/或其他动作。用户102通过将他/她的头部左或右水平地转动或将他/她的头部竖直地上下移动(例如，点头)而跟随发生在运动场120上的活动。沿着三维(3D)导航***中的水平轴的用户102的头部移动也被称为“偏航转动”或“转动”。沿着3D导航***中的竖直轴的用户102的头部移动也被称为“倾斜”。为简单起见，仅在本文中以各种实施例分析用户102的头部的偏航转动，但并非意在限制可被分析的用户的头部移动的类型。
在图1中示出的实施例中，用户102将头部转动追踪设备104(也被称为“追踪设备104”)佩戴在他/她的帽子上，追踪设备104追踪与观看运动场120中的运动活动有关的用户102的头部转动移动。在一个实施例中，追踪设备104包括可被佩戴在用户的头部、棒球帽/帽子、用户的头部的耳朵或其他部位上的一个或多个小尺寸传感器。参考图2进一步描述追踪设备104。用户的头部转动数据被传输至旋转台130的控制模块108以控制旋转***110以同步方式追踪用户102的头部转动。
用户102使用远程控制器112控制安装在旋转台130上的视频捕捉设备106，如在视频捕捉过程期间打开和关闭视频捕捉设备106。在一个实施例中，远程控制器112为被用户102用来执行诸如激活视频捕捉设备106以捕捉发生在运动场120上的运动赛事的视频片段等功能的电子设备。远程控制器112可具有用户接口(UI)，如物理按钮，利用该用户接口，用户102可以与远程控制器112交互。远程控制器112的示例包括常规远程控制设备和当代消费者电子设备，如智能手表。远程控制器112通过有线或无线方式通信地连接至视频捕捉设备106。
视频捕捉设备106为被用户102用来捕捉数字内容(如记录发生在运动场120上的运动赛事的视频片段)的电子设备。在一个实施例中，视频捕捉设备106为用户102的移动电话，并包括图像捕捉设备和用于传输所捕捉的数字内容的传输器。视频捕捉设备106可以为，例如，智能电话(例如，用户102的移动电话)、平板电脑、数码单镜头反光摄像机(DSLR)、或其他任何适合的用户设备或用于捕捉数字内容的捕捉设备。为简单起见，能够捕捉数字内容的各种电子设备一般地被称为视频捕捉设备106。视频捕捉设备106可被远程控制器112远程地触发以捕捉数字内容。在一些配置中，视频捕捉设备106捕捉预定时间段(例如，30秒)内的数字内容。在其他配置中，视频捕捉设备106在被远程控制器112远程地触发时开始捕捉数字内容并在被远程控制器112再次远程地触发时结束捕捉数字内容。视频捕捉设备106可以将所捕捉的数字内容传输至云存储设备。视频捕捉设备106被安装在旋转台130上或否则连接至旋转台130。在其他实施例中，视频捕捉设备106和用户102的移动设备可以是两个独立的实体。
用户102使用诸如视频捕捉设备的移动设备记录运动赛事的视频片段并消费电子内容，如所记录的视频片段或其精彩部分。例如，用户102使用移动设备执行诸如消费视频捕捉设备106捕捉的视频片段以及从所捕捉的视频片段生成的视频精彩部分的功能。用户102的移动设备可以为智能电话、平板电脑、或用于消费视频片段的任何其他合适的用户设备或计算设备。此外，用户102的移动设备提供用户接口，如物理和/或屏幕上的按钮，利用该用户接口，用户102可以与移动设备交互以执行诸如观看、分享和/或否则消费视频片段的功能。
旋转台130用于基于从追踪设备104所捕捉的头部转动数据生成的命令驱动安装在旋转台130上的视频捕捉设备106(例如，用户102的具有数字摄像机的移动电话)跟随用户102的头部转动。在图1示出的实施例中，旋转台130具有用于从追踪设备104接收用户102的头部转动数据、处理头部转动数据以生成旋转控制数据(例如，旋转移动命令或指令)并将旋转控制数据传输至旋转***110的控制模块108。旋转***110接收旋转控制数据，并基于指令执行一个或多个命令以与用户102的头部转动移动同步地旋转安装在旋转台130上的视频捕捉设备106。控制模块108和旋转***110通信地连接至彼此。参考图2进一步描述旋转台130。
II示例的计算***架构
图2为根据一个实施例的用于同步旋转台(例如，如图1中所示的旋转***110)上的视频捕捉设备(例如，如图1中所示视频捕捉设备106)的转动与用户(例如，如图1中所示的用户102)的头部转动的视频精彩部分追踪***200的框图。在图2中示出的实施例中，视频精彩部分追踪***200(也被称为“追踪***200”)包括转动追踪设备210(例如，图1中示出的头部转动追踪设备104)和旋转台220(例如，图1中示出的旋转台130)。旋转台220包括控制模块222(例如，图1中示出的控制模块108)和旋转***224(例如，图1中示出的旋转***110)。控制模块222包括传感器数据分析模块204(也被称为“分析模块204”)和旋转控制模块206。在其他实施例中，追踪***200可以包括额外和/或不同的模块，如图1中示出的被用户102使用的远程控制器112。
转动追踪设备210追踪与用户观看赛事(例如，运动比赛)有关的用户(例如，图1中所示的用户102)的头部移动。在一个实施例中，用户的头部移动包括用户的头部的偏航转动(例如，用户沿着用户的眼睛的水平视野左右转动他/她的头部)。其他实施例包括用户的头部的倾斜移动(例如，用户上下点头)或用户的头部的偏航转动和倾斜移动。
在一个实施例中，转动追踪设备210包括可被佩戴在用户的头部、棒球帽/帽子、用户的头部的耳朵或其他部位上的一个或多个小尺寸传感器。转动追踪设备210的传感器追踪与用户观看运动比赛的用户的头部转动并经由传输器将所捕捉的头部转动数据传输至控制模块222。例如，转动追踪设备210可以包括惯性磁单元(IMU)，其可以包括诸如用于捕捉用户的头部的移动的运动数据表示的3轴电子指南针、陀螺仪、3轴加速计、其他设备的一个或多个传感器。转动追踪设备210连续地实时追踪与用户观看运动比赛有关的用户的头部转动。在一些配置中，转动追踪设备210在捕捉到头部转动数据时连续地经由蓝牙模块将头部转动数据无线地传输至旋转台220的控制模块222。在其他配置中，转动追踪设备210周期性地(例如，每10秒)将头部转动数据传输至控制模块222。
旋转台220包括控制模块222和旋转***224。控制模块222从转动追踪设备210接收用户的头部转动数据、处理头部转动数据以生成旋转控制数据、并将旋转控制数据传输至旋转***。在图2中示出的实施例中，控制模块222包括传感器数据分析模块204(也被称为“分析模块204”)和旋转控制模块206。分析模块204从转动追踪设备210接收用户的头部转动数据、处理所接收的头部转动数据以生成经分析的头部转动数据、并将经分析的头部转动数据传输至旋转控制模块206。旋转控制模块206基于经分析的头部转动数据生成旋转控制数据并将旋转控制数据传输至旋转***224。旋转控制数据包括用于校准旋转***224与转动追踪设备210(例如，通过对准旋转***224的旋转DC马达的转动与用户的头部转动)的指令和用于驱动旋转***224的马达齿轮转动安装在旋转***224上的视频捕捉设备(未示出)以以同步方式跟随用户的头部转动的指令。分别参考图3和图4进一步描述分析模块204和旋转控制模块206。在替代配置中，可使用不同或额外的部件。例如，在替代实施例中，分析模块204被包括作为转动追踪设备210的实体且旋转控制模块206被包括作为旋转***224的实体。
旋转***224从旋转控制模块206接收旋转控制数据、转动安装在旋转***224上的视频捕捉设备以以同步方式跟随用户的头部转动。旋转***224将反馈数据传输至旋转控制模块206用于调整旋转控制数据用于待被旋转***224执行的后续转动。
在一个实施例中，旋转***224包括收发器(例如，蓝牙模块)、具有马达齿轮和编码器的旋转DC马达、马达控制器、驱动器以及一个或多个机械部件。收发器从旋转控制模块206接收旋转控制数据并将反馈数据传输至旋转控制模块206。马达齿轮放大旋转DC马达的扭矩以使得马达驱动旋转***224的转动。编码器测量马达的转动，其中马达的转动的测量可被用作用于控制马达的后续转动的反馈数据。马达控制器解释所接收的旋转控制数据中的指令并执行包括在指令中的一个或多个命令以控制旋转***224的位置和速度。马达驱动器直接利用用于旋转***224的速度和位置控制的可控电压驱动DC马达。
旋转***224的机械部件中的一个包括端接器以将视频捕捉设备安装在旋转***224上。旋转***224还包括两个或更多个机械限位开关，其限定端接器的转动区域。端接器的转动区域也被称为端接器的工作空间。当端接器达到端接器的工作空间的边界时，触发限位开关，使得旋转***224的马达应停止进一步转动。
在一个实施例中，编码器用于测量旋转***224的端接器的相对位置。两个限位开关可用作端接器的位置的基线。两个限位开关[-ψ，ψ]的中间点Φ被定义为端接器的工作空间的原点，其在旋转***224所使用的旋转台坐标中被表示为Φ＝[-ψ，ψ]。另一方面，被分析模块204分析的头部转动数据在不同坐标系中(例如，地磁坐标系)。当追踪***200被设置在其配置阶段时，执行校准过程(例如，通过旋转控制模块206)以对准端接器的转动与用户的头部转动。参考图4中的校准模块402进一步解释校准过程。
III示例的传感器数据分析模块
图3是根据一个实施例的包括旋转台220的控制模块222的传感器数据分析模块204的流动示意图。分析模块204从转动追踪设备210接收用户的头部转动数据、处理所接收的头部转动数据以生成经分析的头部转动数据、并将经分析的头部转动数据输出至控制模块222的旋转控制模块206。在图3中示出的实施例中，分析模块204包括接收器302、运动传感器数据库304、过滤模块306以及运动处理模块308。在替代配置中，可使用不同或额外的部件。例如，过滤模块306可被包括在转动追踪设备210以从所追踪的用户的头部转动过滤噪声运动。
接收器302从转动追踪设备210接收头部转动数据310并将所接收的头部转动数据存储在运动传感器数据库304中。在一些配置中，运动传感器数据库304还存储从过滤模块306输出的经过滤的头部转动数据和/或从运动处理模块308输出的经分析的头部转动数据320。
过滤模块306过滤所接收的头部转动数据以过滤掉所接收的头部转动数据中的噪声运动以生成经过滤的头部转动数据，并将经过滤的头部转动数据存储在运动传感器数据库304。与用户观看运动赛事相关的所接收的头部转动数据的噪声运动指的是在被用于控制旋转台220以捕捉运动赛事的视频片段时可能造成抖动的运动数据。当用户观看运动赛事时，用户很可能随机地转动他/她的头部。例如，当他/她与附近的朋友谈话或检查看台上的其他观众的活动时，用户的眼睛视野可能在运动场(例如，图1中示出的运动场120)之外。与用户在观看运动赛事的同时摆动他/她的头部或咀嚼口香糖相关的运动在被用于同步旋转***224的转动时也是噪声运动。过滤模块306通过实施被本领域普通技术人员已知的一个或多个过滤技术(如，低通过滤、高通过滤、互补过滤以及卡尔曼过滤)过滤所接收的头部转动数据。
在一个实施例中，过滤模块306首先基于处理包括噪声运动的所接收的头部转动数据的采样率选择合适过滤器(例如，低通过滤器)。过滤模块306过滤所接收的头部转动数据中的噪声运动(例如，使用预定长度的固定长度滑动窗口缓冲区存储所接收的头部转动数据)。在每个采样点处，检查滑动窗口缓冲区中存储的头部转动数据的变化模式。如果所接收的头部转动数据线性地变化，在采样点处的经过滤的头部转动数据是经线性回归回归处理的所接收的头部转动数据。如果所接收的头部转动数据非线性地变化，在采样点处的经过滤的头部转动数据是固定长度滑动窗口缓冲区中的所接收的头部转动数据的中位数。通过使用固定长度滑动窗口缓冲区并检查在每个采样点处的所接收的头部转动数据的变化模式，过滤模块306能够快速且准确地过滤所接收的用户的头部转动数据。为了将所接收的头部转动数据限制在适于控制旋转***224的转动的范围内，过滤模块306对比经过滤的头部转动数据与可在校准过程期间设置或被设置为默认值的预定阈值θ。
运动处理模块308处理经过滤的头部转动数据以生成经分析的头部转动数据，并将经分析的头部转动数据存储在运动传感器数据库304。在一个实施例中，经分析的头部转动数据包括准确地描述被转动追踪设备210追踪的用户的头部移动的数据结构、可被用来校准和控制旋转***224的转动的相关联定时信息和任何其他信息(例如，描述头部转动追踪设备210的各种传感器的信息)。在一个实施例中，经分析的头部转动数据还包括相对于水平面中的校准过程中的转动追踪设备方向的转动追踪设备方向。水平面中的转动追踪设备方向也被称为偏航。
IV示例的旋转控制模块
图4为根据一个实施例的旋转台220的控制模块222的旋转控制模块206的流动示意图。旋转控制模块206从分析模块204接收经分析的头部转动数据410、基于所接收的经分析的头部转动数据生成旋转控制数据、并控制旋转***224与用户的头部转动同步地转动。在图4中示出的实施例中，旋转控制模块206包括校准模块402、变换模块404、反馈控制模块406以及收发器408。在替代配置中，可使用不同或额外的部件。
校准模块402校准旋转***224与转动追踪设备210，转动追踪设备210生成佩戴转动追踪设备210的用户(例如，用户102)的头部转动数据。在一个实施例中，旋转***224具有用于启动并停止校准过程的校准按钮以及指示在校准期间用户应将他/她的头部面向哪个方向的标记线。如前所述，被转动追踪设备210追踪的头部转动可以在与旋转***224所使用的坐标系不同的坐标系中(例如，地磁坐标系对旋转台坐标系)。因此，当追踪***200启动时，在地磁坐标中测量的头部转动需要与旋转***224的端接器的转动对准。
在一个实施例中，校准模块402执行校准过程如下：(1)校准模块402指示转动追踪设备210将它的转动追踪传感器指向运动场(例如，图1中示出的运动场120)的中间并保持它在预定时间段(例如，10秒)内静止；(2)校准模块402指示端接器以固定转动速度朝第一限位开关转动直到它触发第一限位开关；(3)校准模块402指示端接器以固定转动速度朝第二限位开关转动直到它触发第二限位开关；(4)校准模块402指示端接器朝第一限位开关和第二限位开关之间的中间点转动并在那里停留预定时间段。在一个实施例中，校准过程由佩戴转动追踪设备210的用户手动地开始。如果用户想要设置阈值θ，用户可以手动地转动端接器至阈值θ指示的位置；否则阈值θ被设置为默认值ψ(即θ＝ψ)。
变换模块404从分析模块204接收经分析的头部转动数据410并基于所接收的头部转动数据生成旋转控制数据。旋转控制数据包括指示旋转***224与用户的头部转动同步地转动它的端接器的指令或命令。也就是说，旋转***224同步地跟随用户的头部转动。例如，当用户向左侧转动他/她的头部θ度时，旋转***224将也向左侧转动θ度。
在一个实施例中，变换模块404生成与旋转***224的端接器的转动区域边界有关的旋转控制数据。例如，变换模块404确定通过跟随对应头部转动而转动端接器的当前角度是否将使得通过端接器安装至旋转***224的视频捕捉设备保持在端接器的转动区域边界内。如果旋转***224进行的转动超出转动区域边界，变换模块404生成指令以指示旋转***224停止转动并记录旋转***224执行的实际转动用于反馈目的。
一旦从反馈控制模块406接收到反馈数据，变换模块404更新用于旋转***224进行的后续转动的转动控制数据。例如，用于由旋转***224执行的当前转动的转动命令可以是向左侧转动20度，但旋转***224可能仅向左侧转动15度。旋转***224通过反馈控制模块406向变换模块404提供当前转动(即，向左15度)。变换模块404基于针对当前点执行的实际转动调整用于下一转动点的转动控制数据。例如，如果不具有用于当前转动点的反馈数据的用于下一转动点的转动命令是向左侧10度，经调节的用于下一转动点的转动命令是向左侧15度(假定旋转***224在执行用于下一转动点的转动命令时仍在转动区域边界内)。
反馈控制模块404测量旋转***224针对每个转动点执行的实际转动并向变换模块404提供实际转动作为用于每个转动点的反馈数据以用于转动控制数据调整。替代地，反馈控制模块404针对每个转动点计算旋转***224执行的实际转动与期望转动(即，对应的用户的头部转动)之间的差异并向变换模块404提供差异作为反馈数据用于转动控制数据调整。
收发器408将变换模块404生成的旋转控制数据430传输至旋转***224。收发器708从反馈控制模块406接收反馈数据420并将反馈数据传输至变换模块404用于调整旋转控制数据以用于后续转动。
用于同步视频捕捉设备与用户的头部转动的示例方法
图5是示出根据一个实施例的用于同步安装在旋转台(例如，图1中示出的旋转台130)上的视频捕捉设备的转动与和用户观看运动赛事有关的用户(例如，图1中示出的用户102)的头部转动移动的过程的流程图。最初，视频精彩部分追踪***200校准(502)用户佩戴的转动追踪设备210与旋转***224。校准过程设置限定旋转***224的端接器的工作空间的两个边界。端接器将视频捕捉设备(例如，数字摄像机)安装在旋转***224上用于捕捉运动赛事的视频片段。转动追踪设备210追踪用户在观看运动赛事期间的头部移动(例如，偏航转动)。视频精彩部分追踪***200从转动追踪设备210接收(504)头部转动数据并从头部转动数据(例如，通过使用固定长度滑动窗口缓冲区)过滤掉(506)噪声运动(例如，来自用户在观看运动赛事的同时咀嚼口香糖、摆动他/她的腿的运动)。视频精彩部分追踪***200生成(508)经分析的头部转动数据，其在数据结构中准确地描述用户的头部移动。视频精彩部分追踪***200基于经分析的头部转动数据生成(510)对应的旋转控制数据。旋转控制数据包括指令510，当被旋转***224执行时，指令512使得旋转***224转动安装在旋转***上的视频捕捉设备以同步地跟随用户的头部转动。
本公开的实施例提供的方案使得用户享受运动赛事同时能够方便地记录赛事的一个或多个视频片段。用户使用远程控制器激活安装在旋转台上的视频捕捉设备以捕捉用户感兴趣的运动赛事的视频片段。随着转动追踪设备追踪用户的头部移动，安装在旋转台上的视频捕捉设备在整个运动赛事期间保持跟随用户的视野。所捕捉的运动赛事的视频被分析以识别运动赛事中的一个或多个视频精彩部分。用户免于不断地检查视频捕捉设备是否捕捉他/她想要的，相反的，用户可以关注于运动赛事并享受它。
综合
已出于示例目的呈现本公开的实施例的前述描述，其并非意在穷举的或限制本公开于所公开的确切形式。相关领域的技术人员能够意识到，鉴于以上公开，许多变形和修改是可能的。
此描述的一些部分在对信息的操作的算法和符号表示的方面描述本公开的实施例。这些算法描述和表示通常被数据处理领域的技术人员用于将他们工作的实质高效地传递至本领域的其他技术人员。这些操作，当在功能上、计算上或逻辑上描述时，可被理解为由计算机程序或等效电子电路、微编码器或类似实施。此外，有时已经证实方便的是，在不失一般性的情况下，将操作的那些布置称为模块。可以以软件、固件、硬件或其任意组合实施所描述的操作和它们的相关联模块。
可以以一个或多个硬件或软件模块单独地或与其他设备组合地执行或实施本文中描述的步骤、操作或过程中的任一者。在一个实施例中，以包括计算机可读介质的计算机程序产品实施软件模块，计算机可读介质包括计算机程序代码，其可被计算机处理器执行用于执行所描述的步骤、操作或过程中的任一者或全部。
所公开的实施例还可涉及用于执行本文中的操作的装置。出于所需目的可专门构造此装置，和/或此装置可包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。此种计算机程序可被存储在非暂时的、有形的计算机可读存储介质或适于存储电子指令的任何类型的媒介，其可被连接至计算机***总线。此外，在本说明书中涉及的任何计算***可以包括单个处理器或可以为应用用于增强型计算能力的多处理器设计的架构。
所公开的实施例还可以涉及由本文中公开的计算过程产生的产品。此种产品可以包括从计算过程得出的信息，其中信息被存储在非暂时性、有形的计算机可读存储介质上并可包括计算机程序产品的任何实施例或本文中描述的其他数据组合。
最终，已主要出于可读性和指导性目的选择本说明书中使用的语言，而并非为了描绘或限制本发明主题而选择说明书中使用的语言。因此，本公开的范围意在由此详细描述限制而非由基于其的申请上发布的任意权利要求限制。因而，本公开的实施例的公开仅为示例性而非限制本公开的范围，其已在随后权利要求中阐述。

Claims (24)

1.一种计算机实施的方法，所述方法包括：
从用户佩戴的转动追踪设备接收与观看赛事有关的用户的头部转动数据；
过滤所述头部转动数据以生成经过滤的头部转动数据；
基于所述经过滤的头部转动数据生成对应的旋转控制数据；以及
基于所述旋转控制数据指示旋转***与用户的头部转动同步地转动；
其中过滤所述头部转动数据包括：
将所述头部转动数据存储在预定长度的滑动窗口缓冲区中；
确定每个采样点处的头部转动数据的至少一个变化模式；以及
生成用于每个采样点的经过滤的头部转动数据。
2.根据权利要求1所述的方法，还包括：
校准所述旋转***与所述用户佩戴的转动追踪设备，其中，所述旋转***与所述转动追踪设备在两个不同的坐标系中。
3.根据权利要求2所述的方法，其中所述校准包括：
确定所述旋转***的工作空间的多个边界，所述旋转***的工作空间的边界描述所述旋转***能够执行的转动的界限；以及
基于由所述转动追踪设备限定的校准点调整所确定的旋转***的工作空间的边界。
4.根据权利要求1所述的方法，其中生成用于每个采样点的经过滤的头部转动数据包括：
响应于采样点处的所确定的变化模式是线性的，对所述头部转动数据应用线性回归过程；以及
基于线性回归生成用于所述采样点的经过滤的头部转动数据。
5.根据权利要求1所述的方法，其中生成用于每个采样点的经过滤的头部转动数据还包括：
响应于采样点处的所确定的变化模式是非线性的，计算存储在所述滑动窗口缓冲区中的头部转动数据的中位数；以及
基于所述头部转动数据的中位数生成用于所述采样点的经过滤的头部转动数据。
6.根据权利要求1所述的方法，其中生成对应的旋转控制数据包括：
基于与每个转动点对应的头部转动数据，计算用于每个转动点的转动量和转动方向；以及
生成用于每个转动点的多个旋转转动指令，旋转转动指令包括待被所述旋转***执行的转动量和转动方向的信息。
7.根据权利要求1所述的方法，还包括：
从所述旋转***接收用于每个转动点的旋转转动反馈数据，用于每个转动点的旋转转动反馈数据包括描述由所述旋转***执行的实际转动量和转动方向的信息；以及
基于所接收的用于当前转动点的旋转转动反馈数据生成用于下一转动点的旋转控制数据。
8.根据权利要求1所述的方法，其中指示所述旋转***与所述用户的头部转动同步地旋转包括：
指示所述旋转***在每个对应转动点处在所述旋转***的工作空间的边界内以相同方向和相同的转动量跟随所述用户的头部转动。
9.根据权利要求1所述的方法，还包括：
从所述用户接收指令以激活安装在所述旋转***上的用于捕捉赛事的视频片段的视频捕捉设备；以及
指示所述旋转***在捕捉所述视频片段时跟随所述用户的头部转动。
10.一种存储可执行计算机程序指令的非暂时性计算机可读存储介质，当被计算机处理器执行时，所述指令使得所述计算机处理器：
从用户佩戴的转动追踪设备接收与观看赛事有关的用户的头部转动数据；
过滤所述头部转动数据以生成经过滤的头部转动数据；
基于所述经过滤的头部转动数据生成对应的旋转控制数据；以及
基于所述旋转控制数据指示旋转***与用户的头部转动同步地转动；
其中用于过滤所述头部转动数据的指令包括当被所述计算机处理器执行时使得所述计算机处理器执行以下操作的指令：
将所述头部转动数据存储在预定长度的滑动窗口缓冲区中；
确定每个采样点处的头部转动数据的至少一个变化模式；以及
生成用于每个采样点的经过滤的头部转动数据。
11.根据权利要求10所述的非暂时性计算机可读存储介质，还包括当被所述计算机处理器执行时使得所述计算机处理器执行以下操作的计算机程序指令：
校准所述旋转***与所述用户佩戴的转动追踪设备，其中，所述旋转***与所述转动追踪设备在两个不同的坐标系中。
12.根据权利要求11所述的非暂时性计算机可读存储介质，其中用于校准所述旋转***与所述转动追踪设备的指令包括当被所述计算机处理器执行时使得所述计算机处理器执行以下操作的指令：
确定所述旋转***的工作空间的多个边界，所述旋转***的工作空间的边界描述所述旋转***能够执行的转动的界限；以及
基于由所述转动追踪设备限定的校准点调整所确定的旋转***的工作空间的边界。
13.根据权利要求10所述的非暂时性计算机可读存储介质，其中用于生成用于每个采样点的经过滤的头部转动数据的指令包括当被所述计算机处理器执行时使得所述计算机处理器执行以下操作的指令：
响应于采样点处的所确定的变化模式是线性的，对所述头部转动数据应用线性回归过程；以及
基于线性回归生成用于所述采样点的经过滤的头部转动数据。
14.根据权利要求10所述的非暂时性计算机可读存储介质，其中用于生成用于每个采样点的经过滤的头部转动数据的指令包括当被所述计算机处理器执行时使得所述计算机处理器执行以下操作的指令：
响应于采样点处的所确定的变化模式是非线性的，计算存储在所述滑动窗口缓冲区中的头部转动数据的中位数；以及
基于所述头部转动数据的中位数生成用于所述采样点的经过滤的头部转动数据。
15.根据权利要求10所述的非暂时性计算机可读存储介质，其中用于生成对应的旋转控制数据的指令包括当被所述计算机处理器执行时使得所述计算机处理器执行以下操作的指令：
基于与每个转动点对应的头部转动数据，计算用于每个转动点的转动量和转动方向；以及
生成用于每个转动点的多个旋转转动指令，旋转转动指令包括待被所述旋转***执行的转动量和转动方向的信息。
16.根据权利要求10所述的非暂时性计算机可读存储介质，还包括当被所述计算机处理器执行时使得所述计算机处理器执行以下操作的计算机程序指令：
从所述旋转***接收用于每个转动点的旋转转动反馈数据，用于每个转动点的旋转转动反馈数据包括描述由所述旋转***执行的实际转动量和转动方向的信息；以及
基于所接收的用于当前转动点的旋转转动反馈数据生成用于下一转动点的旋转控制数据。
17.根据权利要求10所述的非暂时性计算机可读存储介质，其中用于指示所述旋转***与所述用户的头部转动同步地旋转的指令包括当被所述计算机处理器执行时使得所述计算机处理器执行以下操作的指令：
指示所述旋转***在每个对应转动点处在所述旋转***的工作空间的边界内以相同方向和相同的转动量跟随所述用户的头部转动。
18.根据权利要求10所述的非暂时性计算机可读存储介质，还包括当被所述计算机处理器执行时使得所述计算机处理器执行以下操作的计算机程序指令：
从所述用户接收指令以激活安装在所述旋转***上的用于捕捉赛事的视频片段的视频捕捉设备；以及
指示所述旋转***在捕捉所述视频片段时跟随所述用户的头部转动。
19.一种计算机***，包括：
转动追踪设备，用于追踪与用户观看赛事有关的用户的头部转动移动，所述转动追踪设备被所述用户佩戴在所述用户的头部的部位上；以及
旋转台，用于与所述转动追踪设备通信地连接，所述旋转台包括：
控制模块，用于分析所追踪的用户的头部转动移动，并基于所分析的用户的头部转动移动生成旋转控制数据；以及
旋转***，用于基于所述旋转控制数据与用户的头部转动同步地转动视频捕捉设备；
其中分析所追踪的用户的头部转动移动包括：
将表示所述用户的头部转动移动的头部转动数据存储在预定长度的滑动窗口缓冲区中；
确定每个采样点处的头部转动数据的至少一个变化模式；以及
生成用于每个采样点的经过滤的头部转动数据。
20.根据权利要求19所述的计算机***，其中，所述控制模块还用于：
校准所述旋转***与所述用户佩戴的转动追踪设备，其中，所述旋转***与所述转动追踪设备在两个不同的坐标系中。
21.根据权利要求20所述的计算机***，其中校准所述旋转***包括：
确定所述旋转***的工作空间的多个边界，所述旋转***的工作空间的边界描述所述旋转***能够执行的转动的界限；以及
基于由所述转动追踪设备限定的校准点调整所确定的旋转***的工作空间的边界。
22.根据权利要求19所述的计算机***，其中生成旋转控制数据包括：
基于与每个转动点对应的头部转动数据，计算用于每个转动点的转动量和转动方向；以及
生成用于每个转动点的多个旋转转动指令，旋转转动指令包括待被所述旋转***执行的转动量和转动方向的信息。
23.根据权利要求19所述的计算机***，其中，所述控制模块还用于：
从所述旋转***接收用于每个转动点的旋转转动反馈数据，用于每个转动点的旋转转动反馈数据包括描述由所述旋转***执行的实际转动量和转动方向的信息；以及
基于所接收的用于当前转动点的旋转转动反馈数据生成用于下一转动点的旋转控制数据。
24.根据权利要求19所述的计算机***，还包括：
远程控制器，被所述用户用来控制与所述旋转***连接的用于捕捉赛事的一个或多个视频的视频捕捉设备。
CN201680085019.8A 2016-04-27 2016-09-29 用于视频精彩部分识别的头部转动追踪设备 Active CN109155818B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/139,683 US10097745B2 (en) 2016-04-27 2016-04-27 Head rotation tracking device for video highlights identification
US15/139,683 2016-04-27
PCT/US2016/054540 WO2017189036A1 (en) 2016-04-27 2016-09-29 Head rotation tracking device for video highlights identification

Publications (2)

Publication Number Publication Date
CN109155818A CN109155818A (zh) 2019-01-04
CN109155818B true CN109155818B (zh) 2020-09-08

Family

ID=60157047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680085019.8A Active CN109155818B (zh) 2016-04-27 2016-09-29 用于视频精彩部分识别的头部转动追踪设备

Country Status (6)

Country Link
US (1) US10097745B2 (zh)
EP (1) EP3449623A4 (zh)
JP (1) JP7026638B2 (zh)
KR (1) KR102107923B1 (zh)
CN (1) CN109155818B (zh)
WO (1) WO2017189036A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11095923B1 (en) 2018-08-31 2021-08-17 Amazon Technologies, Inc. Automatically processing inputs to generate content streams
US11166051B1 (en) * 2018-08-31 2021-11-02 Amazon Technologies, Inc. Automatically generating content streams based on subscription criteria

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097738A2 (en) * 2005-01-26 2007-08-30 Wollf Robin Q Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
WO2013158050A1 (en) * 2012-04-16 2013-10-24 Airnamics, Napredni Mehatronski Sistemi D.O.O. Stabilization control system for flying or stationary platforms
CN205123878U (zh) * 2015-11-30 2016-03-30 吕衍荣 便携式手机自动跟踪自摄器

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0486906A (ja) * 1990-07-31 1992-03-19 Suzuki Motor Corp 遠隔操作装置
CA2148231C (en) * 1993-01-29 1999-01-12 Michael Haysom Bianchi Automatic tracking camera control system
US5610590A (en) 1995-05-18 1997-03-11 The United States Of America As Represented By The Secretary Of The Army Motion sensor
JPH07199281A (ja) * 1993-12-30 1995-08-04 Canon Inc カメラシステム
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
JPH0937137A (ja) * 1995-07-25 1997-02-07 Minolta Co Ltd 移動型立体カメラ装置
US6133944A (en) 1995-12-18 2000-10-17 Telcordia Technologies, Inc. Head mounted displays linked to networked electronic panning cameras
US6224493B1 (en) 1999-05-12 2001-05-01 Callaway Golf Company Instrumented golf club system and method of use
EP1168830A1 (en) * 2000-06-30 2002-01-02 Wells & Verne Investments Ltd Computer aided image capturing system
JP2002135641A (ja) 2000-10-27 2002-05-10 Nippon Telegr & Teleph Corp <Ntt> 視点・視線自由移動カメラシステム
US8409024B2 (en) 2001-09-12 2013-04-02 Pillar Vision, Inc. Trajectory detection and feedback system for golf
EP1587588A2 (en) 2002-12-19 2005-10-26 Fortescue Corporation Method and apparatus for determining orientation and position of a moveable object
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
JP4320572B2 (ja) 2003-07-11 2009-08-26 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
US20060166738A1 (en) 2003-09-08 2006-07-27 Smartswing, Inc. Method and system for golf swing analysis and training for putters
US20060025229A1 (en) 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
US7736242B2 (en) 2004-03-23 2010-06-15 Nike, Inc. System for determining performance characteristics of a golf swing
US8556267B2 (en) 2004-06-07 2013-10-15 Acushnet Company Launch monitor
US8179366B2 (en) * 2004-12-06 2012-05-15 Naturalpoint, Inc. Systems and methods for using a movable object to control a computer
US20100201512A1 (en) 2006-01-09 2010-08-12 Harold Dan Stirling Apparatus, systems, and methods for evaluating body movements
US8337335B2 (en) 2006-10-07 2012-12-25 Dugan Brian M Systems and methods for measuring and/or analyzing swing information
US8109816B1 (en) 2007-05-31 2012-02-07 Yale University Method and apparatus for measurement and analysis of a golf swing
US8360904B2 (en) 2007-08-17 2013-01-29 Adidas International Marketing Bv Sports electronic training system with sport ball, and applications thereof
JP2011515164A (ja) 2008-03-22 2011-05-19 リヒャルト イェッケル ゴルフクラブのヒッティング精度及びスイング運動を監視するための装置及び方法
US8589114B2 (en) 2008-08-19 2013-11-19 Angelo Gregory Papadourakis Motion capture and analysis
US20100105479A1 (en) 2008-10-23 2010-04-29 Microsoft Corporation Determining orientation in an external reference frame
US8622795B2 (en) 2008-12-04 2014-01-07 Home Box Office, Inc. System and method for gathering and analyzing objective motion data
US8668595B2 (en) 2011-04-28 2014-03-11 Nike, Inc. Golf clubs and golf club heads
JP5182708B2 (ja) 2009-06-17 2013-04-17 ダンロップスポーツ株式会社 ゴルフスイングの分析方法
US20100323794A1 (en) 2009-06-18 2010-12-23 Yui-Zhang Su Sensor based human motion detection gaming with false positive detection
KR101082798B1 (ko) 2010-03-11 2011-11-11 이열 셀프 카메라 촬영 시스템
US9039527B2 (en) 2010-08-26 2015-05-26 Blast Motion Inc. Broadcasting method for broadcasting images with augmented motion data
US8941723B2 (en) 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US8944928B2 (en) 2010-08-26 2015-02-03 Blast Motion Inc. Virtual reality system for viewing current and previously stored or calculated motion data
US8903521B2 (en) 2010-08-26 2014-12-02 Blast Motion Inc. Motion capture element
US8905855B2 (en) 2010-08-26 2014-12-09 Blast Motion Inc. System and method for utilizing motion capture data
US8593286B2 (en) 2010-12-01 2013-11-26 At&T Intellectual Property I, L.P. System and method for wireless monitoring of sports activities
US8754786B2 (en) * 2011-06-30 2014-06-17 General Electric Company Method of operating a synthetic vision system in an aircraft
RU2584501C1 (ru) 2012-04-16 2016-05-20 Нокиа Текнолоджиз Ой Способ и устройство для видеокодирования
KR20130124422A (ko) * 2012-05-04 2013-11-13 (주)컨벡스 팬틸트 장치 및 이를 포함하는 촬영용 무선 제어 시스템
US9380295B2 (en) * 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display
US9609290B2 (en) * 2013-07-10 2017-03-28 Subc Control Limited Telepresence method and system for supporting out of range motion by aligning remote camera with user's head
US9336440B2 (en) 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
EP3119286B1 (en) 2014-03-19 2024-05-01 Intuitive Surgical Operations, Inc. Medical devices and systems using eye gaze tracking
US9875396B2 (en) * 2014-11-13 2018-01-23 Intel Corporation Spoofing detection in image biometrics
KR20160133328A (ko) * 2015-05-12 2016-11-22 삼성전자주식회사 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007097738A2 (en) * 2005-01-26 2007-08-30 Wollf Robin Q Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
WO2013158050A1 (en) * 2012-04-16 2013-10-24 Airnamics, Napredni Mehatronski Sistemi D.O.O. Stabilization control system for flying or stationary platforms
CN205123878U (zh) * 2015-11-30 2016-03-30 吕衍荣 便携式手机自动跟踪自摄器

Also Published As

Publication number Publication date
KR20190008257A (ko) 2019-01-23
EP3449623A4 (en) 2019-05-01
US20170318214A1 (en) 2017-11-02
JP2019515341A (ja) 2019-06-06
WO2017189036A1 (en) 2017-11-02
KR102107923B1 (ko) 2020-05-07
EP3449623A1 (en) 2019-03-06
JP7026638B2 (ja) 2022-02-28
CN109155818A (zh) 2019-01-04
US10097745B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
US9791927B2 (en) Systems and methods of eye tracking calibration
US9785233B2 (en) Systems and methods of eye tracking calibration
US20160150196A1 (en) Movement and distance triggered image recording system
US9684056B2 (en) Automatic object tracking camera
US8330793B2 (en) Video conference
US11488631B2 (en) Systems and methods for generating time lapse videos
EP3479257A1 (en) Apparatus and method for gaze tracking
WO2015059874A1 (en) Information processing device, recording medium, and information processing method
US9824723B1 (en) Direction indicators for panoramic images
KR101703924B1 (ko) 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템
JP6348665B2 (ja) ヘッドマウントディスプレイ、表示制御方法及びプログラム
CN107346172B (zh) 一种动作感应方法及装置
US10474342B2 (en) Scrollable user interface control
US11477433B2 (en) Information processor, information processing method, and program
US11151804B2 (en) Information processing device, information processing method, and program
US10881937B2 (en) Image processing apparatus, analysis system, and method for processing images
CN107111371B (zh) 一种展示全景视觉内容的方法、装置及终端
CN105282420A (zh) 拍摄的实现方法及装置
CN109155818B (zh) 用于视频精彩部分识别的头部转动追踪设备
WO2019128400A1 (zh) 控制智能眼镜拍摄视角移动的方法
KR20140007692A (ko) 촬상 장치 및 촬상 방법
WO2018004933A1 (en) Apparatus and method for gaze tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant