CN108886583A - 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的***和方法 - Google Patents

用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的***和方法 Download PDF

Info

Publication number
CN108886583A
CN108886583A CN201780021360.1A CN201780021360A CN108886583A CN 108886583 A CN108886583 A CN 108886583A CN 201780021360 A CN201780021360 A CN 201780021360A CN 108886583 A CN108886583 A CN 108886583A
Authority
CN
China
Prior art keywords
video
network
rear end
metadata
network cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780021360.1A
Other languages
English (en)
Other versions
CN108886583B (zh
Inventor
马格纳斯·林德罗特
霍坎·阿尔多
克拉斯·约瑟夫松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Si Bi Dio Co Ltd
Original Assignee
Si Bi Dio Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Si Bi Dio Co Ltd filed Critical Si Bi Dio Co Ltd
Priority to CN202111207059.4A priority Critical patent/CN114125264B/zh
Publication of CN108886583A publication Critical patent/CN108886583A/zh
Application granted granted Critical
Publication of CN108886583B publication Critical patent/CN108886583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

提供了一种用于通过数据网络(30)向多个用户(60a‑60c)提供虚拟的摇摄‑倾斜‑缩放，PTZ，视频功能视频的***。该***(100)包括：一个或多个网络视频摄像机(10a‑10e)，被定位成进行真实世界目标场地(20)或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络(30)上；后端摄像机校准单元(42)，其适合于获得相应的网络视频摄像机(10a‑10e)相对于目标场地(20)的三维世界空间的相对位置和定向，并将获得的相对位置和定向保存为用于相应的网络视频摄像机(10a‑10e)的元数据；后端视频处理单元(44)，连接到数据网络(30)并适合于接收由网络视频摄像机(一个或多个)(10a‑10e)记录的相应的未加工的视频段(一个或多个)，并在后端视频储存器(41)中储存或缓冲相应的未加工的视频段(一个或多个)的视频内容；后端视频流式传输单元(46)，适合于将所保存的用于相应的网络视频摄像机(10a‑10e)的元数据以及所储存的或缓冲的视频内容流式传输到数据网络(30)上；多个客户端设备(50a‑50c)，用于由多个用户(60a‑60c)使用。每个客户端设备(50a‑50c)适合于：接收流式传输的视频内容和元数据；确定所选择的虚拟的摇摄‑倾斜‑缩放值；以及通过基于所选择的虚拟的摇摄‑倾斜‑缩放值和元数据将三维世界空间中的方向投影到显示器(52a‑52c)上，在客户端设备的显示器上(52a‑52c)呈现视频内容。

Description

用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放， PTZ，视频功能的***和方法
技术领域
本专利申请描述了一种通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的创新的***和相关方法。
背景技术
运动俱乐部，诸如足球俱乐部，正变得越来越意识到在练习和比赛中使用视频记录运动员和团队的益处。这样做是为了提高团队和运动员的表现，发展各个运动员技能并提高整体运动成绩。
为了获得视频，一种可替代的选择是在练习场地中使用手持普通摄像机，并雇用一直在场的摄像师。然而，这是昂贵的，降低了灵活性，并且时间浪费在大量低效的手动摄像机工作上。此外，在许多情况下视频质量差，并且未能捕捉在场地的不同部分上同时发生的所有重要动作。
广播PTZ(摇摄-倾斜-缩放)摄像机通常用于电视制作中，用于创建例如运动赛事和比赛的视频流。然而，这也是昂贵的摄像机布置并且需要多个昂贵的PTZ摄像机以从所有角度生成良好的视频质量。因此，由于成本高，对于大多数较小的俱乐部、青年团队等来说，在训练区域中安装PTZ摄像机都不是一个选择。
因此，需要摄像机***为运动俱乐部、教练和视频分析员提供视频材料，其易于使用、总是可用、灵活、便宜并且设置成有效地捕捉整个练习或比赛场地。
发明内容
因此，本发明的目的是提供以上背景技术部分中识别的一个或多个问题或缺点的解决方案，或者至少减轻以上背景技术部分中识别的一个或多个问题或缺点。本发明的第一方面是一种用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的***。
该***包括一个或多个网络视频摄像机，该摄像机被定位成进行真实世界目标场地或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络上。该***还包括后端摄像机校准单元，其适合于获得相应的网络视频摄像机相对于目标场地的三维世界空间的相对位置和定向，并将所获得的相对位置和定向保存为用于相应的网络视频摄像机的元数据。该***还包括后端视频处理单元，连接到数据网络并适合于接收由网络视频摄像机(一个或多个)记录的相应的未加工的视频段(一个或多个)，并在后端视频储存器中储存或缓冲相应的未加工的视频段(一个或多个)的视频内容。
此外，该***包括后端视频流式传输单元，适合于将储存的或缓冲的视频内容和保存的用于相应的网络视频摄像机的元数据流式传输到数据网络上。最后，该***包括由多个用户使用的多个客户端设备。每个客户端设备适合于接收流式传输的视频内容和元数据，确定所选择的虚拟的摇摄-倾斜-缩放值，并通过基于所选择的虚拟的摇摄-倾斜-缩放值和元数据将三维世界空间中的方向投影到显示器上，在客户端设备的显示器上呈现视频内容。
本发明提供高度自动化的视频记录和回放服务，其可以方便地使用，例如，作为教练和运动员分析和讨论在真实世界目标场地(诸如，例如，足球场、曲棍球场、手球场、篮球场、地板球场、排球场等)上的运动表现的工具。因此，提供了一种***，其中一个或多个摄像机用于捕捉真实世界目标场地(例如运动场地)，可以具有非常宽的视场。在回放时，观看者(例如教练或运动员)可以他自己选择看哪里。这引起可以重新定向和缩放的虚拟的摄像机，好像场景已经被真实的PTZ(摇摄-倾斜-缩放)摄像机捕捉。然而，使用该***，可以在记录视频之后决定摄像机运动。
另外地或可替代地，远程观看者可以享受该创新的视频记录和回放服务，以例如上面提及的任何类型的运动赛事的实况流式传输的形式。
本发明的第二方面是用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的方法。该方法涉及提供一个或多个网络视频摄像机，该网络视频摄像机被定位成进行真实世界目标场地或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络上。为了校准网络视频摄像机或每个网络视频摄像机(一个或多个)的目的，该方法还涉及获得相应的网络视频摄像机相对于目标场地的三维世界空间的相对位置和定向，并将所获得的相对位置和定向保存为用于相应的网络视频摄像机的元数据。该方法还涉及通过数据网络接收由网络视频摄像机(一个或多个)记录的相应的未加工的视频段(一个或多个)，以及在基于云的视频储存器中储存或缓冲相应的未加工的视频段(一个或多个)的视频内容。此外，该方法涉及将所储存的或缓冲的视频内容和所保存的用于相应的网络视频摄像机的元数据流式传输到数据网络上。最后，该方法涉及，在由多个用户中的相应的一个使用的相应的客户端设备中接收流式传输的视频内容和元数据，确定所选择的虚拟的摇摄-倾斜-缩放值，并通过基于所选择的虚拟的摇摄-倾斜-缩放值和元数据将三维世界空间中的方向投影到显示器上，在客户端设备的显示器上呈现视频内容。
本发明的实施方式由所附的从属权利要求限定，并且在详细描述部分以及附图中进一步解释。
应当强调的是，术语“包括/包含”当在本说明书中使用时用来指所述特征、整数、步骤或部件的存在，但不排除存在或增加一个或多个其它特征、整数、步骤、部件或其组。除非本文另有明确定义，否则权利要求中使用的所有术语根据它们在技术领域中的普通含义来解释。除非另有明确说明，否则对于“一/一个/该[元件、设备、部件、装置、步骤等等]”的所有引用将开放地解释为对元件、设备、部件、装置、步骤等等中的至少一个实例的引用。除非明确说明，否则本文所公开的任何方法的步骤不必按所公开的严格顺序来执行。
附图说明
参照附图，本发明的实施方式的目的、特征和优点将从以下详细描述中显而易见。
图1是根据一个实施方式的用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放功能的***的示意图。
图2是示意性地显示根据实施方式的虚拟的摇摄-倾斜-缩放功能的示意性前视图。
图3是示意性地显示根据实施方式的客户端设备的界面的示意性前视图。
图4是示意性地显示根据实施方式的客户端设备的界面的示意性前视图。
图5a-c是示出根据实施方式的帧的堆叠的示意性前视图，
图6a-b是示出根据实施方式的涂黑的像素的示意性前视图，
图7a-b是示意性地显示根据实施方式的当使用标签和绘制功能时，客户端设备的界面的示意性前视图，以及
图8a-b是显示根据实施方式的用于提供虚拟的摇摄-倾斜-缩放视频功能的方法的流程图。
具体实施方式
图1公开了***100，该***用于通过数据网络30向多个用户60a-60c提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能。数据网络可以例如是广域网或网络的聚合，其构成因特网的部分(通常也称为云)。***100包括一个或多个网络视频摄像机10a-10e，其被定位成进行真实世界目标场地20或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络30上。每个这样的未加工的视频段可以是给定长度，诸如例如n秒，其中n是考虑到实现细节而适当选择的任何值，并且包括所记录的视频内容，例如，以H.264或H.265编码的视频数据的形式。在一个实施方式中，每个未加工的视频段包括以H.264编码的视频数据形式的记录的视频内容。在图1的所公开的实施方式中，真实世界目标场地20是足球场，但是本发明在这方面没有特定限制。
网络视频摄像机(一个或多个)的不同布置
值得注意地，每个网络视频摄像机10a-10e可以相对于真实世界目标场地20安装在相应的静止位置，并且其不需要具有任何真实的(物理的)摇摄、倾斜或缩放能力。因此，在部件成本、安装和/或维护方面提供了非常有效的解决方案。可替代地，每个网络视频摄像机10a-10e安装在相对于真实世界目标场地20可移动的相应的位置处。
在一个实施方式中，真实世界目标场地20由单个超宽画面网络视频摄像机10a记录，基本上覆盖整个目标场地20。
在其他实施方式中，真实世界目标场地20由多个网络视频摄像机10a-10e记录。例如，如图1所见，场地概览摄像机10a、10b和10c可以安装在足球场20的中心处并且在合适的方向上定向，以便记录足球场20的不同子区域，有或没有重叠。如果摄像机以重叠的视场彼此靠近地安装，则所捕捉的帧可以被拼接在一起并且被用作如同由具有宽视场的单个摄像机所捕捉的。详细画面摄像机10d和10e可以安装在例如足球场20两侧处的两个球门附近，从而用于提供球门附近的足球动作的特写视频画面。
***100包括基于云的后端功能40，经由数据网络30充当网络视频摄像机(一个或多个)10a-10e与用户60a-60c之间的服务桥。后端功能40包括多个单元(或模块或设备)，其应被视为功能元件而不是结构/物理元件；它们可以在结构上由例如具有合适的操作***、软件和网络访问能力的一个或多个服务器计算机实现。
后端摄像机校准
因此，后端功能40包括后端摄像机校准单元42，该校准单元适合于登记网络视频摄像机或每个网络视频摄像机(一个或多个)10a-10e的校准数据。在一个实施方式中，每个网络视频摄像机的校准涉及确定相应的网络视频摄像机相对于目标场地的三维世界空间的相对位置和定向。
在一个实施方式中，每个网络视频摄像机10a-10e的校准涉及确定外部和内部参数二者。外部参数描述了相应的网络视频摄像机10a-10e相对于目标场地20的世界空间的位置和定向。内部参数描述了摄像机10a-10e的内部性质，诸如焦距和透镜畸变。
摄像机校准可以由安装人员使用适当的工具，诸如膝上型计算机、移动终端或平板计算机，在每个网络摄像机处本地完成。可替代地或另外地，摄像机校准可以中心地完成，例如，在后端功能40处。在这种情况下，后端摄像机校准单元42可以自动检测或者后端操作员可以手动标记来自摄像机的图像中的目标场地20的已知特征，诸如例如足球场20的边界线、禁区、中线和中圈。使用运动场地的已知几何形状，可以使用来自文献的已知的方法精确地估计摄像机的相对位置，而没有摄像机的视场的任何大的重叠。
使用校准，可以将来自所捕捉的图像的像素坐标转换为三维世界空间中的方向或射线。该计算可以离线完成，对于源帧中所选择的格点组(网格)，通过格点的插值来促进快速实时计算。
因此，后端摄像机校准单元42登记校准结果，这些校准结果已经以上面提到的任何方式确定，用于每个经校准的网络视频摄像机(一个或多个)10a-10e，通过获得所确定的相对位置和定向，定向并将它们保存为用于相应的网络视频摄像机的元数据。例如，元数据可以储存在后端视频储存器41中。
如前所述，相对位置和定向可以被视为相应的网络视频摄像机的外部校准参数。校准还可以涉及相应的网络视频摄像机的内部校准参数，诸如焦距和畸变。
后端视频处理和储存/缓冲
后端功能40还包括后端视频处理单元44，其连接到数据网络30并适合于接收由网络视频摄像机(一个或多个)10a；10a-e记录的相应的未加工的视频段(一个或多个)。视频处理单元44还适合于在后端视频储存器41中储存或缓冲相应的未加工的视频段(一个或多个)的视频内容。
后端视频储存器41可以是适合于储存数字视频内容和每个网络视频摄像机的上述元数据的任何媒介。例如，后端视频储存器41可以实现为一个或多个磁性硬盘、固态驱动器或随机存取存储器，包括在或连接到(本地地或经由数据网络30)后端功能40的任何单元。
后端-视频流式传输
后端功能40的后端视频流式传输单元46适合于将所储存或缓冲的视频内容以及所保存的用于相应的网络视频摄像机(一个或多个)10a；10a-e的元数据流式传输到数据网络30上。可以根据任何商业上可获得的标准来进行流式传输，例如，基于H.264视频编码。
在一个实施方式中，源自网络视频摄像机10a-e的视频内容从数据网络30分发，以用作实时流式传输或后期记录。
客户端侧
***100还包括由多个用户60a-60c使用的多个客户端设备50a-50c。每个客户端设备可以例如实现为移动终端(例如智能手机)、平板计算机、智能手表、个人计算机等。客户端设备50a-50c适合于通过数据网络接收来自视频流式传输单元46的流式传输的视频内容和元数据。为此，每个客户端设备50a-50c具有适当的网络接口，诸如IEEE 808.11、UMTS、LTE等。每个客户端设备50a-50c还具有显示器52a-52c。此外，每个客户端设备50a-50c具有适当的视频解码能力，例如用于H.264视频解码。另外，每个客户端设备50a-50c具有视频回放功能。视频回放功能可以在应用层(即，作为app)上、作为另一应用(例如web浏览器)的插件、或者在客户端设备中的程序栈中的较低层处提供。
每个客户端设备50a-50c的视频回放功能另外适合于确定所选择的虚拟的摇摄-倾斜-缩放值，如图3所示，并通过基于所选择的虚拟的摇摄-倾斜-缩放值和元数据将三维世界空间中的方向或射线投影到客户端设备的显示器52a-52c上来呈现(解码的)视频内容。在最简单的情况下，摇摄-倾斜-缩放值限定虚拟的摄像机的投影平面，并且空间中的方向或射线的屏幕坐标由其与投影平面相交的位置确定。由摄像机校准确定世界空间中的方向或射线如何映射到源图像中的像素。平面投影对于非常宽的视场来说是不合适的。因此，可以将人工畸变应用于虚拟的摄像机以更好地在用户设备的屏幕上呈现宽视场。术语方向可以被解释为始于捕捉视频的摄像机的方向，使其等同于具有起点和方向的射线。
客户端设备50a播放视频流的实施方式在图3中示出。布置显示器52a为显示图形对象54a-d，诸如虚拟的键、菜单项等，以控制视频记录和回放服务。图形对象可以例如是停止/播放功能54a、用于在帧中前进/后退的前进54b和后退功能54c、显示视频流的已流逝时间的时间线54d、用于改变回放速度的回放速度功能54e、用于倒回或向前跳过预定时间段(例如5秒)的功能54f、54g。也可以呈现与不同的摄像机画面和慢动作功能相关的另外的图形对象。
选择虚拟的摇摄-倾斜-缩放值
在一个实施方式中，特别地目的在于这样的应用，其中提供该创新的自动视频记录和回放服务作为教练和运动员分析和讨论运动场地上的运动表现的工具，可以由每个个人用户60a、60b或60c通过相应的客户端设备50a、50b或50c的用户界面中的交互来选择虚拟的摇摄-倾斜-缩放值。当客户端设备具有触敏用户界面时，这种交互可以涉及在显示表面上拖动以命令用于虚拟的摇摄-倾斜-缩放值的摇摄和倾斜分量的期望方向，并且在显示表面上捏合以命令虚拟的摇摄-倾斜-缩放值的缩放分量中的改变。可以可替代地使用在用户界面中交互以命令虚拟的摇摄、倾斜和缩放中的期望的改变的本身已知的其他方式。
因此，该实施方式允许第一用户60a和第二用户60b同时回放视频流，并在相应的客户端设备50a和50b的显示器52a和52b上所呈现的视频内容中使用独立选择和相互不同的虚拟的摇摄-倾斜-缩放。
在另一实施方式中，特别地目的在于这样的应用，其中提供该创新的自动视频记录和回放服务，以例如运动赛事到远程观看者的实况流式传输的形式，虚拟的摇摄-倾斜-缩放值可以由在后端侧的实体选择。例如，取决于正在进行的运动赛事中的瞬间发展，操作人员可以观看视频流并控制(例如，重复或连续地调整)虚拟的摇摄-倾斜-缩放值以匹配远程观看者的预期喜好。如此选择的虚拟的摇摄-倾斜-缩放值可以包括在来自视频流式传输单元46的视频流中，或者在与视频流同步的单独的控制流中发送，并且由在每个客户端设备50a、50b、50c中的回放功能取回。在该实施方式中，所有用户(远程实况流观看者)60a-60c可以在相应的客户端设备50a-50c的显示器52a-52c上所呈现的视频内容中体验相同的虚拟的摇摄-倾斜-缩放，但是他们也可以选择在回放期间的任何时刻处根据他们自己的喜好控制虚拟的摇摄-倾斜-缩放。因此，多个用户60a-60c可以实时地和记录后二者中独立地摇摄、倾斜和缩放视频。
虚拟的摇摄-倾斜-缩放值的序列可以用于让视频处理单元44重新投影视频并生成可以在任何标准视频回放设备，诸如TV上观看的流。
图4示出了实施方式，其中由多个网络视频摄像机10a-10e记录真实世界目标场地20，并且其中作为远程流观看者的用户60a-60c可以在不同的摄像机画面56、58a-d之间进行选择。来自不同摄像机画面的视频流被示出为主流56和几个附加画面58a-d。附加画面58a-d示出为缩略图(画面1、画面2、画面3和画面4)。附加画面58a-d示出来自多个摄像机10a-e的视频流，并且被布置成在客户端设备50a-c的用户界面中与主视频56相邻。用户60a-60c可以通过与他们的相应的客户端设备50a、50b或50c交互来选择视频流作为主流56。这种交互可以涉及点击期望的缩略图以将该附加画面改变为主流。当用户60a-60c选择视频流作为其主流56时，画面之间的过渡将对用户可见，以便于在改变期间观看流。因此，当附加画面变为主流画面时，用户60a-c将看到摇摄-倾斜-缩放值如何改变。
自动选择虚拟的摇摄-倾斜-缩放值
在后两个实施方式的改进版本中，虚拟的摇摄-倾斜-缩放值由包括在后端功能40中的跟踪单元48选择。跟踪单元适合于应用本身已知的视频对象跟踪技术，通过实时分析视频流(或未加工的视频段)的方式，以自动检测在目标场地20上正在进行的活动(例如运动赛事)中的估计的当前活动中心，相应地调整虚拟的摇摄-倾斜-缩放值，并且在来自视频流式传输单元46的视频流中包括调整的虚拟的摇摄-倾斜-缩放值，或者在与来自视频流式传输单元46的视频流同步的单独的控制流中发送它。跟踪单元48可以自动地(例如通过在***中的算法)或者通过手动输入来训练。因此，在该实施方式中，不需要手动的摄像机操作，无论是用于记录流的操作还是用于管理摇摄-倾斜-缩放的操作。因此，不需要摄像师或操作人员。
多摄像机实施方式
如已提到的，在一些实施方式中，真实世界目标场地20由多个网络视频摄像机10a-10e记录。在这样的实施方式中，后端视频处理单元44适合于分析如由场地概览摄像机10a-10c和详细画面摄像机10d-10e记录的相应的未加工的视频段，以便识别同时记录的相应的视频段中的帧，并且然后同步这些帧，使得它们同时出现在由视频流式传输单元46流式传输的视频内容中。为此，每个网络视频摄像机包括在未加工的视频段中记录的帧的时间戳。
然而，在记录时、在传输到后端功能40时、或两者时，不同的未加工的视频段之间可能有时间延迟。为此，每个网络视频摄像机10a-10e将其本地实时时钟与网络绝对时间参照(诸如因特网时间源)规律地同步。此外，每个网络视频摄像机10a-10e包括在未加工的视频段中或与未加工的视频段一起传输到后端功能40的绝对开始时间值。相应地，视频处理单元44将这些绝对开始时间值与未加工的视频段中记录的帧的时间戳一起使用，以同步来自不同的网络视频摄像机10a-10e的未加工的视频段的帧。
来自场地概览摄像机10a-10c的未加工的视频段可以以特殊方式操作。后端视频处理单元44(或视频流式传输单元46)从来自场地概览摄像机10a-10c的相应的未加工的视频段的同步帧生成合成的(或堆叠的)视频流。例如，当存在两个场地概览摄像机10b和10c，每个基本上覆盖真实世界目标场地20(例如足球场)的一半时，可以堆叠经同步的帧(参见图5a-c)，例如在发送到客户端设备50a-50c的合成的视频流的同一个帧中，一个放置在另一个之上或并排放置。
在图5a中所示的实施方式中，从两个场地概览摄像机10b和10c生成两个帧12b、12c。帧12b、12c每个具有高度h。然后通过在合成的视频流的一个单个帧13中将一个帧12b放置在另一个帧12c上方，来堆叠两个帧12b、12c，产生高度为2h的帧13。
在一些实施方式中，在堆叠之前，帧12b、12c的高度在高度上缩放，使得单个帧的总高度具有与原始帧12b、12c中的一个相同的高度，如图5b所示。因此，被堆叠的帧的高度是1/2h，并且单个堆叠的帧13的总高度为h。帧的宽度保持相同。分别缩放高度和宽度，产生具有标准高宽比的帧，使得可能获得高分辨率，同时享有来自广泛的视频解码器的支持。
在一个实施方式中，每个帧12b、12c在被堆叠之前的分辨率是4K，即水平分辨率是4,000像素的量级，并且竖直分辨率是2,000像素的量级。在将两个帧堆叠成一个单个帧13之后，所述堆叠的帧的总分辨率是4K。
根据所保存的元数据，每个场地概览摄像机的相对位置和定向将允许客户端设备50a-50c投影来自堆叠的帧中的经同步的帧的正确内容，取决于所选择的虚拟的摇摄-倾斜-缩放值。让回放设备接收来自不同的视频源在单个堆叠的视频中的帧对于回放设备来说具有两个主要优点。首先，其只需要单个视频解码器，以及另外地，自动同步来自不同的视频源的帧。
图5c示出了一实施方式，其中两个场地概览摄像机10b和10c被布置成覆盖整个运动场地，其中也覆盖了不感兴趣的区域。所示的两个帧12b、12c是从两个场地概览摄像机10b和10c生成的并且堆叠在彼此的上边。在图中不感兴趣的区域被标记为涂黑的像素14。涂黑的像素14可以用于传送其他信息。
在一个实施方式中，如图6a和图6b所示，涂黑的像素14可以用于传送来自其他摄像机的按比例缩小版本的帧。这在图6a中示出。按比例缩小版本的帧可以用于示出来自与主视频相邻的所有摄像机的视频流的缩略图，如图6b所示。当用户切换视频流时，可以附加地使用涂黑的像素14。当切换哪个视频流以观看时，然后可以使用涂黑的像素14来示出新选择的流的低分辨率版本，同时缓冲来自视频流式传输单元46的全分辨率版本。
当从侧面拍摄场地时，场地的不同部分将距摄像机不同的距离，因此接收根据每米场地的像素的不同的分辨率。为了在保持数据大小下降的同时传送或储存整个场地的具有足够分辨率的视频，可能感兴趣的是变换帧以跨场地获得更统一的分辨率。这可以被视为情境感知视频压缩。然后，例如，使用H.264对经变换的帧进行编码。本段中描述的已知的变换与已知的摄像机校准结合使用，视频可以在客户端设备50a-50c中打开并且在没有任何畸变的情况下呈现给用户60a-60c。
来自详细画面摄像机10d-10e的视频内容由视频流式传输单元46在单独的视频流中发送，但是其中每个流中的每个帧被打时间戳，使得其可以与合成的视频流同步。这允许每个用户60a-60c在合成的视频流之间切换，即以所选择的虚拟的摇摄-倾斜-缩放值查看场地概览，以及相反，查看来自详细画面摄像机10d-10e的任何视频流，即详细地查看，并且反之亦然，同时确保在所有流中显示相同的时间时刻。
标签
在一个实施方式中，每个客户端设备50a-50c的视频回放功能具有允许用户60a-60c在显示器52a-52c上呈现的视频内容中***标签的功能。标签具有时间参数(反映视频流中标签帧的暂时位置，表示为例如hh：mm：ss值、帧编号、时间戳或其组合)以及空间参数(反映标签帧中的真实世界对象，和/或标签帧中像素或像素组的位置)。标签由客户端设备在询问中传输回后端功能40的标签单元49，从而允许标签储存在后端储存器41中，并且还允许随后在相关视频内容下一次流式传输时取回。因此，当用户60a-60c在记录到视频期间实时观看时，或者在稍后时间观看视频时，可以执行加标签。
以这种方式，教练和团队成员可以通过在回放期间对视频内容中的内容加标签来共享公共信息。标签功能允许教练和其他人快速浏览大量的视频材料。
标签所基于的信息还可以源自除了摄像机10a-e的其他来源，并且可以由***自动***(例如，不由用户***)。在一个实施方式中，标签包括由心率监视器收集的信息，该心率监视器形式为手表、胸带或由运动员穿戴的类似的可穿戴设备。标签可以包括与以下有关的信息：心率、gps位置、计步器和类似信息，与运动员的健康或物理有关。可穿戴设备包括用于通信的装置，以便将收集的信息传输到***。布置在可穿戴设备中的通信工具可以例如是蓝牙、ANT或其他低功率无线电链路。
在一个实施方式中，仅在一旦用户在穿戴所述设备的运动员上***标签时才显示由可穿戴设备收集的信息。在其他实施方式中，对于所有有关联的运动员始终示出从可穿戴设备收集的信息，而不管所使用的标签。
绘制
在进一步改进的实施方式中，标签的空间参数表示回放期间由用户60a-60c之一在所呈现的视频帧中做出的绘制。绘制可以例如是几何对象，诸如线、圆圈或矩形，如图7a-b中所示。这可以如下一样被有利地使用。
帧内绘制特征使用户60a-60c能够在由网络摄像机之一捕捉的视频中绘制。例如，用户可以标志运动员的位置或绘制他应该如何在目标场地中行动。可以通过在客户端设备50a-50c上的显示器52a-52c上触摸或点击来执行帧内绘制特征。
在图7a中看到一实例，其中足球选手F1-F6形式的六个运动员示出在足球场形式的真实世界目标场地20上。足球选手F1没有被标志，而足球选手F2-F4的位置全部被标志，如通过围绕的圆圈所指示的。足球选手F2-F4之间的短切线由用户60a-60c绘制，以例如在球场上创建虚拟的防守者线和/或将各个选手F2-F4的位置彼此连接。用户60a-60c还可以在目标场地20中指示感兴趣的特殊区域，此处标志为划线的框。该区域可以表示用户60a-60c希望选手F1-F6移动到的区域或由于其他原因而特别重要的区域。足球选手F6的位置由围绕的圆圈标志，并且选手F6的期望的移动方向由在期望的方向上绘制箭头来绘制。
图7b示出了一实施方式，其中用户或***已生成目标场地20上的多个虚拟的区域(区域1、区域2、区域3、区域4、区域5)。虚拟的区域可以例如用于在目标场地20的不同战术区域之间区分，以帮助可视化不同的团队和选手的设置和队形。例如，区域1和区域5可以是设置足球球门和防守团队队形的战术区域，区域3是中场区域，以及区域2和区域4是球门与中圈之间的进攻团队队形区域。尽管图7b中的区域以矩形的形式示出，但应该理解，区域可以具有其他形状，诸如正方形、三角形、圆圈或网格。区域也可以是文本字符串、图像、动画等形式。
在一个实施方式中，用户60a-60c绘制并标志出目标场地20上的区域。在可替代实施方式中，***设置有预保存的区域，例如储存在后端储存器41中或在标签单元49中。先保存的区域可以由***本身或由用户60a-60c激活。预保存的区域可以通过使用从目标场地20自动获得或生成的参数和/或通过用户输入关于目标场地20的参数来生成。预保存的区域可以是例如由教练、运动员或体育记者使用的模板。尽管图7b中的区域在一个平面中示出，但是应当理解，标签诸如绘制或预定义区域可以用在视频流中，示出目标场地20的不同视角。
当同一或另一用户观看同一场景，但使用安装在不同位置的网络摄像机中的第二摄像机时，使用第一摄像机绘制的特征将仍然看起来在真实世界中的同一位置。当用户在来自第一摄像机的帧中绘制某些东西时，像素坐标可以转换为三维世界空间中的方向或射线，使用第一摄像机的校准。通过找到方向、或射线与运动场地的地平面之间的相交点，可以将方向、或射线转换为世界空间中的位置。使用第二摄像机的校准，可以将地平面上的位置投影到来自第二摄像机的帧上。
如果几个用户60a-60c正在观看同一视频流，在一些实施方式中，由一个用户60a做出的绘制将出现在对应于其他用户60b、60c的客户端设备50a-50c上。因此，可以在线实时地共享标签。在一个实施方式中，标签由属于做出该绘制的用户60a的客户端设备传输返回到后端功能40的标签单元49。标签被储存在后端储存器41中，并且其他用户60b-60c可以经由其相应的客户端设备50b、50c取回由第一用户60a生成的标签。以这个方式，教练60a可以在一个设备50a上绘制指令，其在运动员的客户端设备50b、50c上被看到。
通过编辑工具和标签***的组合，实现了改进的视频***。允许教练和其他分析员直接地在视频中可视化事件，并使用线、箭头、手绘对象等在屏幕上演示策略，以便向运动员提供更详细和有效的反馈。
图8a-b公开了用于通过数据网络30向多个用户60a-60c提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的方法。图8a显示了所述方法的第一部分。在第一步骤110中，一个或多个网络视频摄像机被提供并定位成进行真实世界目标场地或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络上。
为了校准网络视频摄像机(一个或多个)中的一个或每个的目的，方法还涉及获得120相应的网络视频摄像机相对于目标场地的三维世界空间的相对位置和定向。所获得的相对位置和定向被保存130作为用于相应的网络视频摄像机的元数据。
然后，***经由数据网络接收140由网络视频摄像机(一个或多个)记录的相应的未加工的视频段(一个或多个)。然后，在基于云的视频储存器中储存或缓冲150相应的未加工的视频段(一个或多个)。在下一步骤中，将所储存的或缓冲的视频内容和所保存的用于相应的网络视频摄像机的元数据流式传输160到数据网络上。
图8b显示了用于由多个用户中的相应的一个使用的相应的客户端设备中使用的方法。客户端设备接收170流式传输的视频内容和元数据。在下一步骤中，客户端设备确定180所选择的虚拟的摇摄-倾斜-缩放值。通过基于所选择的虚拟的摇摄-倾斜-缩放值和元数据将三维世界空间中的方向或射线投影到显示器上，在客户端设备的显示器上呈现190视频内容。
一般创新概念
如从以上描述中清楚的，一个创新方面可以被视为用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的***。
该***包括一个或多个网络视频摄像机，被定位以进行真实世界目标场地或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络上。
该***还包括后端摄像机校准单元，其适合于：
-获得相应的网络视频摄像机相对于目标场地的三维世界空间的相对位置和定向；以及
-所获得的相对位置和定向被保存为用于相应的网络视频摄像机的元数据。
该***还包括后端视频处理单元，连接到数据网络并适合于：
-接收由网络视频摄像机(一个或多个)记录的相应的未加工的视频段(一个或多个)；以及
-在后端视频储存器中储存或缓冲相应的未加工的视频段(一个或多个)的视频内容。
此外，该***包括后端视频流式传输单元，适合于将所保存的用于相应的网络视频摄像机的元数据以及所储存的或缓冲的视频内容流式传输到数据网络上。
最后，该***包括由多个用户使用的多个客户端设备。每个客户端设备适合于：
-接收流式传输的视频内容和元数据；
-确定所选择的虚拟的摇摄-倾斜-缩放值；以及
-在客户端设备的显示器上呈现视频内容，通过基于所选择的虚拟的摇摄-倾斜-缩放值和元数据将三维世界空间中的方向投影到显示器上。
另一创新方面可以被视为用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的方法。
该方法涉及提供一个或多个网络视频摄像机，被定位以进行真实世界目标场地或其相应的子区域的视频记录，并将相应的未加工的视频段输出到数据网络上。
为了校准网络视频摄像机或每个网络视频摄像机(一个或多个)的目的，该方法还涉及：
-获得相应的网络视频摄像机相对于目标场地的三维世界空间的相对位置和定向；以及
-将所获得的相对位置和定向保存为用于相应的网络视频摄像机的元数据。
该方法还涉及：
-通过数据网络接收由网络视频摄像机(一个或多个)记录的相应的未加工的视频段(一个或多个)；以及
-在基于云的视频储存器中储存或缓冲相应的未加工的视频段(一个或多个)的视频内容。
此外，该方法涉及将所保存的用于相应的网络视频摄像机的元数据以及所储存的或缓冲的视频内容流式传输到数据网络上。
最后，该方法涉及在由多个用户中的相应的一个使用的相应的客户端设备中：
-接收流式传输的视频内容和元数据；
-确定所选择的虚拟的摇摄-倾斜-缩放值；以及
-通过基于所选择的虚拟的摇摄-倾斜-缩放值和元数据将三维世界空间中的方向投影到显示器上，在客户端设备的显示器上呈现视频内容。

Claims (15)

1.一种用于通过数据网络(30)向多个用户(60a-60c)提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的***，所述***(100)包括：
一个或多个网络视频摄像机(10a-10e)，被定位成进行真实世界目标场地(20)或其相应的子区域的视频记录，并将相应的未加工的视频段输出到所述数据网络(30)上；
后端摄像机校准单元(42)，所述后端摄像机校准单元适合于获得相应的所述网络视频摄像机(10a-10e)相对于所述目标场地(20)的三维世界空间的相对位置和定向，并适合于将所获得的相对位置和定向保存为相应的所述网络视频摄像机(10a-10e)的元数据；
后端视频处理单元(44)，连接到所述数据网络(30)并适合于接收由所述一个或多个网络视频摄像机(10a-10e)记录的一个或多个相应的所述未加工的视频段，并适合于在后端视频储存器(41)中储存或缓冲一个或多个相应的所述未加工的视频段的视频内容；
后端视频流式传输单元(46)，适合于将所保存的用于相应的所述网络视频摄像机(10a-10e)的元数据以及所储存或缓冲的所述视频内容流式传输到所述数据网络(30)上；以及
多个客户端设备(50a-50c)，用于由多个所述用户(60a-60c)使用，其中每个客户端设备(50a-50c)适合于：
接收流式传输的所述视频内容和所述元数据；
确定所选择的虚拟的摇摄-倾斜-缩放值；以及
通过基于所选择的所述虚拟的摇摄-倾斜-缩放值和所述元数据将三维世界空间中的方向投影到显示器(52a-52c)上，在所述客户端设备的显示器(52a-52c)上呈现所述视频内容。
2.根据权利要求1所述的***，其中，所述后端摄像机校准单元(42)还适合于获得相应的所述网络视频摄像机(10a-10e)相对于所述目标场地(20)的所述三维世界空间的内部参数，并适合于将所获得的所述内部参数保存为相应的所述网络视频摄像机(10a-10e)的元数据。
3.根据权利要求1或2所述的***，其中，所述***包括两个或更多个网络视频摄像机(10a-10e)，并且其中所述后端视频处理单元(44)还适合于分析如由所述两个或更多个网络视频摄像机(10a-10e)记录的相应的未加工的视频帧并适合于同步这些帧。
4.根据权利要求3所述的***，其中，所述后端视频处理单元(44)或所述视频流式传输单元(46)还被配置为从来自所述两个或更多个网络视频摄像机(10a-10e)的相应的所述未加工的视频段的经同步的帧生成堆叠的视频流。
5.根据任一前述权利要求所述的***，其中，每个客户端设备(50a-50c)还适合于接收由所述用户(60a-60c)***到在所述显示器(52a-52c)上呈现的所述视频内容中的标签。
6.根据权利要求5所述的***，其中，所述标签包括空间参数，所述空间参数表示由所述用户(60a-60c)在所述显示器(52a-52c)上呈现的所述视频内容中做出的绘制。
7.根据权利要求1至4中任一项所述的***，其中，每个客户端设备(50a-50c)还适合于接收由所述******到在所述显示器(52a-52c)上呈现的所述视频内容中的标签。
8.根据权利要求5至7中任一项所述的***，其中，所述标签包括时间参数和空间参数。
9.根据权利要求5至8中任一项所述的***，其中，所述***还包括标签单元(49)，适合于接收所述标签并将所述标签储存在所述后端储存器(41)中。
10.根据权利要求9所述的***，其中，标签单元(49)允许所述标签由多个客户端设备(50a-50c)共享。
11.根据任一前述权利要求所述的***，其中，所选择的所述虚拟的摇摄-倾斜-缩放值限定所述一个或多个网络视频摄像机(10a-10e)的投影平面。
12.根据任一前述权利要求所述的***，其中，所述***(100)还包括跟踪单元(48)，被配置为选择所述虚拟的摇摄-倾斜-缩放值。
13.根据权利要求12所述的***，其中，所述跟踪单元(48)被配置为通过检测在所述目标场地(20)中正在进行的活动中所估计的当前活动中心来选择所述虚拟的摇摄-倾斜-缩放值。
14.根据任一前述权利要求所述的***，其中，所选择的所述虚拟的摇摄-倾斜-缩放值由所述用户(60a-60c)确定。
15.一种用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，PTZ，视频功能的方法，其中，所述方法包括：
提供(110)一个或多个网络视频摄像机，被定位成进行真实世界目标场地或其相应的子区域的视频记录，并将相应的未加工的视频段输出到所述数据网络上；
获得(120)相应的所述网络视频摄像机相对于所述目标场地的三维世界空间的相对位置和定向；
将所获得的所述相对位置和定向保存(130)为相应的所述网络视频摄像机的元数据；
通过所述数据网络接收(140)由所述一个或多个网络视频摄像机记录的一个或多个相应的所述未加工的视频段；
在基于云的视频储存器中储存或缓冲(150)一个或多个相应的所述未加工的视频段的视频内容；
将所保存的用于相应的所述网络视频摄像机的所述元数据以及所储存的或缓冲的所述视频内容流式传输(160)到所述数据网络上，
其中，所述方法还涉及，在由多个所述用户中的相应的一个使用的相应的客户端设备中：
-接收(170)流式传输的所述视频内容和所述元数据；
-确定(180)所选择的虚拟的摇摄-倾斜-缩放值；以及
-通过基于所选择的所述虚拟的摇摄-倾斜-缩放值和所述元数据将所述三维世界空间中的方向投影到所述显示器上，在所述客户端设备的显示器上呈现(190)所述视频内容。
CN201780021360.1A 2016-04-11 2017-04-11 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的***和方法 Active CN108886583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111207059.4A CN114125264B (zh) 2016-04-11 2017-04-11 提供虚拟的摇摄-倾斜-缩放视频功能的***和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1650488-8 2016-04-11
SE1650488 2016-04-11
PCT/SE2017/050364 WO2017180050A1 (en) 2016-04-11 2017-04-11 System and method for providing virtual pan-tilt-zoom, ptz, video functionality to a plurality of users over a data network

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202111207059.4A Division CN114125264B (zh) 2016-04-11 2017-04-11 提供虚拟的摇摄-倾斜-缩放视频功能的***和方法

Publications (2)

Publication Number Publication Date
CN108886583A true CN108886583A (zh) 2018-11-23
CN108886583B CN108886583B (zh) 2021-10-26

Family

ID=60041713

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780021360.1A Active CN108886583B (zh) 2016-04-11 2017-04-11 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的***和方法
CN202111207059.4A Active CN114125264B (zh) 2016-04-11 2017-04-11 提供虚拟的摇摄-倾斜-缩放视频功能的***和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202111207059.4A Active CN114125264B (zh) 2016-04-11 2017-04-11 提供虚拟的摇摄-倾斜-缩放视频功能的***和方法

Country Status (4)

Country Link
US (2) US10834305B2 (zh)
EP (1) EP3443737B1 (zh)
CN (2) CN108886583B (zh)
WO (1) WO2017180050A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114073096A (zh) * 2019-06-14 2022-02-18 瑞典爱立信有限公司 通过从多个无线摄像机中选择输入视频流来向制作工作室提供视频内容的方法以及对应的流控制器
CN114631323A (zh) * 2019-11-05 2022-06-14 巴科股份有限公司 区划适应性视频生成

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846633B (zh) * 2016-09-18 2023-07-14 腾讯科技（深圳）有限公司 一种直播方法及***
JP6497530B2 (ja) * 2017-02-08 2019-04-10 パナソニックＩｐマネジメント株式会社 泳者状態表示システムおよび泳者状態表示方法
GB2560948B (en) * 2017-03-29 2020-12-30 Imagination Tech Ltd Camera Calibration
WO2019070351A1 (en) 2017-10-03 2019-04-11 Fanmountain Llc SYSTEMS, DEVICES AND METHODS USING THE SAME TO ENHANCE THE COMMITMENT OF A PUBLIC IN COMPETITION OR PERFORMANCE
US11082620B2 (en) * 2018-09-26 2021-08-03 Qualcomm Incorporated Zoomed in region of interest
DE102020131576A1 (de) * 2020-11-27 2022-06-02 SPORTTOTAL TECHNOLOGY GmbH Erzeugen einer Panoramakarte zur Erfassung einer Szene mit mehreren Kameras
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
EP4099704A1 (en) * 2021-06-04 2022-12-07 Spiideo AB System and method for providing a recommended video production
EP4124014A1 (en) 2021-07-20 2023-01-25 Spiideo AB Devices and methods for wide field of view image capture

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
CN102368810A (zh) * 2011-09-19 2012-03-07 长安大学 一种半自动化对齐的视频融合***和方法
US20120294366A1 (en) * 2011-05-17 2012-11-22 Avi Eliyahu Video pre-encoding analyzing method for multiple bit rate encoding system
US20130148861A1 (en) * 2011-12-09 2013-06-13 W-Ideas Network Inc. Systems and methods for video processing
CN103442221A (zh) * 2013-08-30 2013-12-11 程治永 一种基于图像缩放及裁减的虚拟ptz***及方法
CN104012106A (zh) * 2011-12-23 2014-08-27 诺基亚公司 使表示不同视点的视频对准
CN104394400A (zh) * 2014-12-09 2015-03-04 山东大学 基于立体多画显示的隔网对抗性项目虚拟仿真***及方法
CN104636162A (zh) * 2013-11-11 2015-05-20 宏达国际电子股份有限公司 使用标签的多媒体管理的方法、装置及计算机程序产品

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
FR2889761A3 (fr) * 2005-08-09 2007-02-16 Total Immersion Systeme permettant a un utilisateur de localiser une camera afin de pouvoir inserer, rapidement de maniere ajustee, des images d'elements virtuels dans des images video d'elements reels captees par la camera
JP2008017097A (ja) * 2006-07-05 2008-01-24 Sharp Corp 映像表示装置、および入力端子のラベル設定方法
WO2011001180A1 (en) * 2009-07-01 2011-01-06 E-Plate Limited Video acquisition and compilation system and method of assembling and distributing a composite video
US20120098925A1 (en) * 2010-10-21 2012-04-26 Charles Dasher Panoramic video with virtual panning capability
GB2489454A (en) 2011-03-29 2012-10-03 Sony Corp A method of annotating objects in a displayed image
EP2954505B1 (en) * 2013-02-08 2019-09-11 Robert Bosch GmbH Adding user-selected mark-ups to a video stream
CN105262971B (zh) * 2015-11-30 2018-11-13 浙江宇视科技有限公司 一种鱼眼摄像机录像的回放方法及装置
US10268534B2 (en) * 2016-12-01 2019-04-23 Vmware, Inc. Methods and systems that use volatile event types in log files to narrow a search for potential sources of problems in a distributed computing system
US10818077B2 (en) * 2018-12-14 2020-10-27 Canon Kabushiki Kaisha Method, system and apparatus for controlling a virtual camera

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
US20120294366A1 (en) * 2011-05-17 2012-11-22 Avi Eliyahu Video pre-encoding analyzing method for multiple bit rate encoding system
CN102368810A (zh) * 2011-09-19 2012-03-07 长安大学 一种半自动化对齐的视频融合***和方法
US20130148861A1 (en) * 2011-12-09 2013-06-13 W-Ideas Network Inc. Systems and methods for video processing
CN104012106A (zh) * 2011-12-23 2014-08-27 诺基亚公司 使表示不同视点的视频对准
CN103442221A (zh) * 2013-08-30 2013-12-11 程治永 一种基于图像缩放及裁减的虚拟ptz***及方法
CN104636162A (zh) * 2013-11-11 2015-05-20 宏达国际电子股份有限公司 使用标签的多媒体管理的方法、装置及计算机程序产品
CN104394400A (zh) * 2014-12-09 2015-03-04 山东大学 基于立体多画显示的隔网对抗性项目虚拟仿真***及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114073096A (zh) * 2019-06-14 2022-02-18 瑞典爱立信有限公司 通过从多个无线摄像机中选择输入视频流来向制作工作室提供视频内容的方法以及对应的流控制器
US12010354B2 (en) 2019-06-14 2024-06-11 Telefonaktiebolaget Lm Ericsson (Publ) Method of providing video content to a production studio by selecting an input video stream from a plurality of wireless video cameras, as well as a corresponding stream controller
CN114631323A (zh) * 2019-11-05 2022-06-14 巴科股份有限公司 区划适应性视频生成

Also Published As

Publication number Publication date
EP3443737A1 (en) 2019-02-20
CN114125264B (zh) 2024-07-05
EP3443737A4 (en) 2020-04-01
EP3443737B1 (en) 2024-06-12
CN114125264A (zh) 2022-03-01
WO2017180050A1 (en) 2017-10-19
US20210136278A1 (en) 2021-05-06
CN108886583B (zh) 2021-10-26
US20190109975A1 (en) 2019-04-11
US11283983B2 (en) 2022-03-22
US10834305B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
CN108886583A (zh) 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的***和方法
US20200310630A1 (en) Method and system of selecting a view from a plurality of cameras
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
JP6713537B2 (ja) 複数のメディアストリームの処理
US9298986B2 (en) Systems and methods for video processing
CN105264876B (zh) 低成本电视制作的方法及***
US20170125064A1 (en) Method and Apparatus for Automatic Video Production
US9202526B2 (en) System and method for viewing videos and statistics of sports events
US20120120201A1 (en) Method of integrating ad hoc camera networks in interactive mesh systems
JP2009505553A (ja) ビデオストリームへの視覚効果の挿入を管理するためのシステムおよび方法
CN112581627A (zh) 用于体积视频的用户控制的虚拟摄像机的***和装置
Cavallaro et al. Augmenting live broadcast sports with 3D tracking information
US20240104793A1 (en) Adding augmented reality to a sub-view of a high resolution central video feed
KR101164894B1 (ko) 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체
EP2724763A1 (en) System and method for viewing videos and statistics of sports events
US20150375109A1 (en) Method of Integrating Ad Hoc Camera Networks in Interactive Mesh Systems
Wang et al. Personalising sports events viewing on mobile devices
Refaat et al. Active feedback for enhancing the construction of panoramic live mobile video streams
WO2023081755A1 (en) Systems and methods for providing rapid content switching in media assets featuring multiple content streams that are delivered over computer networks
JP2024046244A (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
Sægrov Bagadus: next generation sport analysis and multimedia platform using camera array and sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant