CN104067317A - 用于在真实世界视频剪辑内对合成对象进行可视化的***和方法 - Google Patents

用于在真实世界视频剪辑内对合成对象进行可视化的***和方法 Download PDF

Info

Publication number
CN104067317A
CN104067317A CN201280052028.9A CN201280052028A CN104067317A CN 104067317 A CN104067317 A CN 104067317A CN 201280052028 A CN201280052028 A CN 201280052028A CN 104067317 A CN104067317 A CN 104067317A
Authority
CN
China
Prior art keywords
user
video
real world
game
system described
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280052028.9A
Other languages
English (en)
Inventor
M·S·哈尔黛
A·R·弗兰克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Holding Private Of Precious Ford LP
Original Assignee
Holding Private Of Precious Ford LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Holding Private Of Precious Ford LP filed Critical Holding Private Of Precious Ford LP
Publication of CN104067317A publication Critical patent/CN104067317A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/816—Athletics, e.g. track-and-field sports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/61—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor using advertising information
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/203—Image generating hardware
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8005—Athletics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的实施例提供了一种在真实世界视频剪辑内对合成对象进行可视化的方法。实施例允许交互、合成对象或角色看起来像是它们“嵌入”视频剪辑内部或构成其一部分。这些对象独立于环境地在视频剪辑内移动，并由用户控制。在一实施例中，视频帧被设置为3D环境查看器或3D“引擎”中的最远层的纹理。在另一实施例中，视频帧的分立的层在输出屏幕上与合成对象叠加，并同步移动和视场设置，以给出仅使用一个摄像机的感觉。

Description

用于在真实世界视频剪辑内对合成对象进行可视化的***和方法
相关申请的交叉引用
本申请与2011年9月8日提交的美国临时专利申请61/532,422“Fitness Equipment Sensors”有关，其整体并入此处作为参考。
技术领域
本申请一般涉及视频游戏和计算机模拟软件，特别涉及用于将对象融入真实世界视频剪辑的***和方法。
背景技术
目前，为用于视频游戏、技术或教育模拟而开发的“3D”景观或环境可以是可视模拟且具有娱乐性的，但是，在许多情况下，尚未实现为对真实世界的完全逼真、照片拟真的呈现。因此，对于大多数用户来说以及在这些类型的应用的大多数使用中，尽管“浸入式”印象是希望的效果，由于真实世界环境的可视呈现没有足够的说服力，所以没有实现这种浸入式效果。
一种解决方案可以是将真实世界视频用作这些游戏或技术模拟的背景，但在游戏或模拟需要“玩家”或其他移动对象在屏幕上出现、并且需要它们独立于视频移动的情况下，存在对于这样的***的需求：其允许对这些“玩家”或对象的外部的、独立视频游戏般控制，并允许将这些对象覆盖在视频上并使它们看起来在与视频所示相同的环境中正确移动的能力。
另外，相比于制作同样环境的视频，真实世界环境的3D呈现的产生时间/成本相对较高。视频游戏开发是成本相对较高的工作。旨在获得广泛市场接受度的、具有高产值的许多当前游戏可具有几千万甚至是几亿元的开发预算以及1到4年的时间范围来完成。这些开发资源的大部分分配给设计和搭建作为游戏或模拟的背景的3D环境。
作为替代的是，记录真实世界位置的视频在大多数情况下是相对较为便宜且较快的开发过程。在对用户可控制背景环境的视角的程度有着有限要求的情况下，一种解决方案可以是将记录的视频用作游戏和模拟的背景。例如，在一般所称的“轨道”游戏或模拟中，通常不需要用户在背景环境中转身(平移)以及上下看(仰俯)。在这些情况下，使用具有在仅仅一个方向上的移动的简单视频记录或视频记录集可能是描绘背景环境的可接受的方法。
在许多视频游戏中，以及在许多情况下，技术模拟需要游戏角色和其他演员的呈现在屏幕上被观看。在电影和电视工业中，这些角色和特效在称为“后期制作”或VFX过程中被添加到或覆盖到视频，但结果是新的、非交互式的可视呈现，其中，这些添加是永久性的，并且每当视频播放时，仅能以同样的方式观看。然而，这种过程不能用在这样的视频游戏或模拟中：其中，要求角色或特效由用户控制，并且在每次参与游戏或模拟时不同地动作。
相应地，存在对于这样的手段的需求：其能通过真实世界视频提供背景环境，并进一步提供包括独立于视频移动而动作的演员或角色以及特效的能力。
健身与健康领域的现有软件应用已经在利用新技术(例如互联网、3D视频游戏)以及分发娱乐内容的相对较为现代的方法的方式上受到限制。室内和室外健身活动中可用的大多数娱乐源限制于听音乐和看广播电视或视频。在几种情况下，已经存在并入视频游戏元素和互联网信息的尝试，但迄今为止，这些尝试尚未以获得广泛市场接受度的方式执行。
相应地，存在这样的需求：以增进健身活动、激励用户更有效地锻炼并且实际上使得健身活动更有趣的方式有效并入例如视频游戏和互联网信息的娱乐源。
进一步地，例如社交网络、视频游戏、实况在线多玩家游戏以及表现数据分析和分享的技术已经证明非常受到大众欢迎。相应地，存在对于这样的手段的需求：借助该手段，这些技术被适应为适合特定的健身活动，特别是室内有氧设备(例如除其他的以外，跑步机、椭圆机、自行车、赛艇机)上的锻练。
发明内容
本发明的实施例提供了在真实世界视频剪辑中对合成对象进行可视化的方法。该方法包括从真实世界视频剪辑的至少一部分中提取信息。所提取的信息可被处理为形成透明3D场景，其反映真实世界视频剪辑中摄像机行进的整个路径。该方法可进一步包括，基于所提取的信息，将来自真实世界视频剪辑的一个或多个对象和特征中的至少一个搭建到透明3D场景中。搭建的对象和特征基于真实世界视频剪辑可以是静态的和动态的中的至少一者。进一步地，该方法在3D播放器中对搭建的透明3D场景以及覆盖在真实世界视频剪辑的背景层上的动态对象进行可视化。另外，该方法在3D显示器中在真实世界视频剪辑中的特征的透明3D场景呈现内添加附加的合成对象(静态的或动态的)。透明3D场景呈现可基于所置入的透明3D场景的可视化。另外，该方法包括将3D透明层用作“遮挡”层。在透明对象后面出现的遮挡层的一部分或对象可能被遮挡，并且其位置由真实世界视频剪辑占据。所提取的信息(来自真实世界视频剪辑)可被应用到3D播放器的摄像机。另外，该方法包括与视频剪辑的移动独立地控制合成对象的移动。
另外，本发明的实施例提供了用于对一个或多个活动的可视游戏或模拟进行渲染的***。该***可包括存储器、处理器和显示屏。存储器包括一个或多个指令，其能够由处理器执行，以促使多个用户各自地选择多个真实世界视频文件的至少一个，以便进行可视化。该指令进一步基于所述多个真实世界视频文件中对应地选择的至少一个向各个用户提供3D环境中的背景场景。背景场景可包括与所选择的真实世界视频文件对应的一个或多个对象。进一步地，指令可向各个用户提供屏幕上的可视呈现，作为与所选择的真实世界视频文件对应的3D环境中的化身。另外，基于由用户执行的一个或多个活动，指令(可由处理器执行)通过所选择的化身显示3D环境中用户的实时移动。所述一个或多个活动对应于参与可视游戏以及锻练中的至少一者。
上面，可允许交互合成对象或角色看起来如同嵌入或构成视频或电影剪辑的一部分，然而，这些对象与视频剪辑内的景观或环境独立地移动，并由用户或其他指示来控制。在本发明一实施例中，该效果通过以下方式实现：将视频帧设置为3D环境查看器或3D“引擎”中最远的层中的纹理，通过输入装置对对象的分立且独立的移动进行控制，并将视频摄像机的3D移动和视场设置分配给3D应用摄像机以给出仅使用一个摄像机的感觉。在另一个实施例中，这一点通过以下方式完成：将合成对象或角色与视频帧的分立层叠加在输出屏幕上，并将3D环境摄像机的移动和视场同步到视频摄像机，以给出仅使用一个摄像机的感觉。
结果得到的效果是，3D或合成对象看起来在视频景观内、但独立于视频移动地移动。例如，在一个实施例中，视频可以从在街道上以10km/小时的速度向前行驶的移动车辆记录。对象或角色可以看起来在车辆和摄像机前方奔跑，停在前方的特定距离、旋转、表演场景、于是绕过角落向后跑出视野。3D对象可由“游戏”或应用的用户独立地控制，且3D交互和呈现可以在每次观看同一视频片段时不同。
在本发明一实施例中，本技术可用作健身娱乐游戏或模拟。用户在锻练活动期间的移动可以是使用跑步机、室内自行车、椭圆机、赛艇机或其他设备的走、跑或划船。移动使用追踪机器上的活动的传感器被传送到应用。用户的活动也可以是常规的室外移动。在这种情况下，用户身上的传感器追踪移动的类型和强度。
一替代性实施例可以是赛车游戏，其中，背景环境沿着轨道线路前进，使得车能用轨道从一侧到另一侧移动，但背景环境仅仅向前或向后前进(包括缩放效果)。
在另一实施例中，当使用允许在用户旋转时改变背景视频的功能时，可搭建用于游戏或模拟的整个虚拟世界，其中，背景是移动的视频，而不是图像或有纹理的3D对象。
在本发明一实施例中，通过化身或其他角色在屏幕上的呈现，用户或玩家可在相同的屏幕环境下交互，并观看彼此的移动和动作。在这种情况下，用户可在互联网、内联网或其他网络上彼此连接。
在本发明一实施例中，关于用户的表现或参与游戏或与其他用户的交互的信息被追踪、存储、分析并与应用中的其他用户以及使用社交网络(除许多其他的以外，例如Facebook、Twitter、LinkedIn)、游戏用户界面和外部网站的非用户分享。
进一步地，在本发明一实施例中，视频和3D角色可彼此独立地移动，但可以看起来覆盖在同一屏幕上。
根据本发明另一实施例，3D角色根据引导屏幕位置坐标的规则移动，其允许它们看起来在视频所示的环境中移动。
在本发明的优选实施例中，这些规则由在视频(遮挡层)中示出的环境的关键方面的透明的3D复制指示。
进一步地，根据本发明一实施例，当视频摄像机改变视角时(例如平移或仰俯)，同样的视角变化应用到3D角色。
在本发明的优选实施例中，存在这样的软件应用：其包括媒体播放器，该播放器能够将视频帧、3D独立移动的角色和透明3D遮挡层在一个屏幕上渲染为分立覆盖层。
在本发明一实施例中，本技术用作健身娱乐游戏或模拟，其中，用户的锻练活动移动被用作到游戏的输入控制。
在本发明一实施例中，通过化身或其他角色的在屏幕上的呈现，用户或玩家可在同一屏幕环境中交互，并看到各自的移动和动作。用户也能使用互联网语音技术或内置到应用中的多种功能彼此交互。
在本发明一实施例中，关于用户表现或参与游戏的信息被追踪、存储、分析并与应用内的其他用户以及使用社交网络的非用户分享。
本发明一实施例可用作需要简单的连续前向移动的游戏、模拟或娱乐应用。它的一个实例可以是健身有关的应用，其中，前向移动通过传感器或其他输入装置由用户的行走、慢跑、奔跑、骑自行车或划船运动进行控制。可供替代的可以是赛车游戏，其中，背景环境沿着轨道线路前进，使得车辆能用轨道从一侧移动到另一侧，但背景环境仅仅后向或前向前进(包括缩放效果)。
本发明所促进的进一步的功能可允许玩家或参与者在通过互联网、内联网或其他网络连接时看到彼此的动作和移动。进一步的交互可以是应用内的通信，包括语音、视频和其他信号。
另一功能可以是，应用将存储关于用户表现的信息，其可被分析，在游戏或模拟正在进行时实时地或在游戏或模拟已经结束之后通过包括一般叫做“社交网络”(例如Facebook、Twitter、LinkedIn)的网络在应用内以及在外部网络上分享。
附图说明
图1示出了根据本公开一实施例用于在真实世界视频剪辑内对合成对象进行可视化的***的示例性框图；
图2示出了根据本公开另一实施例的***的示例性框图；
图3A到3Z示出了根据本公开一实施例将较小的一段视频数据(摄像机和点云)融入单个较长的一段的示例性过程；
图4示出了根据本公开一实施例看到的叠加在视频剪辑上的独立角色或3D对象；
图5示出了根据本公开一实施例，在本发明优选实施例中使用的视频(遮挡层)中所示的环境中的关键方面的透明呈现，用以设置在3D空间中的角色移动的规则；
图6示出了根据本公开某些实施例，用于在本发明优选实施例的3D空间层中设置的路径，用以引导移动的对象；
图7示出了根据本公开某些实施例，在本发明优选实施例中使用的3D空间层中设置的移动遮挡对象，用以示出在视频中移动的对象；
图8示出了根据本公开某些实施例，在游戏或模拟中交互的角色的名字标签或描述的一种可视呈现；
图9示出了根据本公开某些实施例将Google数据用于用户活动的地图的一种可视呈现；
图10示出了根据本公开某些实施例的实况互联网连接信息馈送的一种可视呈现，并可包括RSS、SNS以及其他信息；
图11示出了根据本公开某些实施例已经被用户设置为激励因素的里程碑、目的或其他目标的一种可视呈现；
图12示出了根据本公开某些实施例来自在游戏活动期间实时显示的消息的接收者之一的Twitter消息的一种可视呈现；
图13示出了根据本公开某些实施例在用户对想要交互的其他用户“加标签”的交互功能的一种可视呈现；
图14示出了根据本公开某些实施例的交互式HTML Flash模块的一种可视呈现，其显示在活动期间由***记录的信息并包括用户随时间累积的使用数据；
图15示出了根据本公开某些实施例包括关键参与游戏数据的活动“仪表板”覆盖层的一种可视呈现；
图16示出了根据本公开某些实施例可能添加的图像、视频的可视呈现或其他可视呈现，其可看起来像是位于视频所示的环境中一样(可以作为广告)；
图17和图18示出了根据本公开某些实施例使用实况互联网视频的可视呈现；
图19和图20示出了根据本公开某些实施例的游戏的多玩家模式的可视呈现，其中，两个参与者同时、但来自经由互联网、内联网或其他网络连接的不同位置地一起参与游戏；
图21和图22示出了根据本公开某些实施例的菜单屏幕覆盖层的可视呈现；
图23示出了根据本公开某些实施例的门户、虚拟门或“入口”的一种可视呈现，门户、虚拟门或“入口”可标记视频从一个位置变到另一个位置的点；
图24示出了根据本公开某些实施例的奔跑的化身的一种可视呈现，奔跑的化身代表在其自己相应位置奔跑的用户，这些用户被编程为互相经过；
图25示出了根据本公开某些实施例的奔跑的化身的一种可视呈现，其被编程为移到遮挡层中的移动对象的道路之外；
图26示出了根据本公开某些实施例的一种可视呈现，其中，向用户或玩家给出改变路径或留在当前路线中的选择；
图27示出了根据本公开某些实施例的多并行用户的一种可视呈现；
图28示出了根据本公开某些实施例的可能的界面的一种可视呈现，其作为互联网上的网站或***游戏界面；
图29示出了根据本公开某些实施例的另一可能的界面的一种可视呈现，其中，用户可在视频位置的地图上看到当前“实况”的参与者；
图30示出了根据本公开某些实施例的更多信息的用户界面的一种可视呈现以及搜索视频或位置的方法；
图31示出了根据本公开某些实施例的用户界面的一种可视呈现，其中，参与者可设置由其他参与者加入的事件；
图32示出了根据本公开某些实施例的用户界面的一种可视呈现，其示出了在一时间段上对于参与者累积的数据的可视呈现；
图33A和图33B示出了根据本公开某些实施例用于实现该结果的方法流程图；
图34A和图34B示出了在本发明一实施例中使用的用以提取视频摄像机的3D移动坐标的方法流程图。
贯穿附图，类似的参考标号指代对应的部件。
具体实施方式
下面，参照附图，现在将更为全面地介绍本发明的示例性实施例，图中示出了本发明的某些但不是全部实施例。事实上，本发明可以以多种不同的形式实现，不应理解为限制于这里给出的实施例；相反，提供这些实施例，使得本公开将满足适用的法律要求。贯穿全文，类似的编号指代类似的元件。
为了介绍多种实施例，术语“3D”用来指通用视频游戏对象或软件，其可从多个角度或方面观看，不必是显示分立视频馈送以给出深度印象的立体视觉可视方法(例如使用3D眼镜)。因此，3D开发软件可以指例如但不限于Autodesk Maya，Autodesk3DsMax，Cinema4D及其它的软件。3D对象或3D场景可以指在这种类型的软件包中创建的对象。
如上面所总结的，本发明涉及视频游戏和计算机模拟，其可将一个或多个真实世界视频用于搭建对于其他交互式移动或静态角色的背景，该角色旨在看起来像是在视频所示的环境中存在、出现或移动一样。在本发明的情况下，3D效果被设计为创建交互式实时游戏环境，其可使得用户能够观看可实时地在真实世界视频内发生的3D或合成以及游戏和其他(HTML，flash等)事件。
在本公开一实施例中，核心应用是交互式3D使能的媒体播放器/查看器，其包括游戏引擎。查看器应用可允许交互式3D对象看起来像是“嵌入”在视频剪辑内，但与视频剪辑内的景观或环境独立地移动，视频剪辑内的景观或环境又可适应于用户活动。
放置在与某种形式的处理器在一起的机器前面的屏幕可托管具有视频游戏的软件应用，其可由用户的锻练动作触发，且在游戏或模拟期间与其他用户实况交互的用户可通过社交网络且在线地分享(发送和接收)信息。应用还可存储和分析关于用户表现的数据，并提供用户表现的图形呈现，以便激励用户。进一步地，可促使用户在例如Facebook、LinkedIn、Twitter等的社交网络上张贴其表现的呈现。
在一实施例中，视频帧可作为3D环境中最远的层向用户显示。当调用时，各个帧从盘读取、解压缩到存储器中、发送到3D视频卡存储器并接着在屏幕上绘制，作为可能是3D环境的底层的对象上的纹理。可指示此过程的定时可以被用户定制为允许更为理想以及超平滑的视频回放体验。在多核硬件***中，各个视频帧也可在各个核中的分立片段中渲染，使得***能够实现具有在线实况多玩家连接以及3D游戏对象的附加且分立的完整层的极为高效的性能等级(例如60fps HD视频)。
穿过视频帧的移动可以通过来自外部控制器的输入速度管理，其可由算法变换为一序列，该序列决定哪些帧在屏幕上渲染以及哪些帧被跳过、以给出变速效果。可应用平滑因子，以补偿输入传感器装置的极限准确度。当已有的每秒钟帧基础不足以保持现实的帧流时，可使用视频帧内插以获得增大的准确度。
一般地，视频剪辑文件伴有环境声音的伴随立体声声道，其在记录位置时取得或分立地建立。查看器应用对声音进行处理，使得其不会随着视频速度变化而改变音高(即，经过跑步者的摩托车的声音听起来总是像摩托车)。另外，应用可支持***用户自己的音乐(来自例如iPod的播放器)，其可与(视频剪辑的)环境声音混合(如果用户选择)，给出与甚至在佩戴耳机时经过可听见路过的汽车的位置一样的感觉。
现在参照图1，其示出了根据本公开一实施例，用于在真实世界视频剪辑内对合成对象进行可视化的***的示例性框图。如所示出的，***102可包括、但不限于存储器104以及耦合到存储器104的处理器106。存储器104可包括一个或多个指令，其可由处理器106执行，以便在真实世界视频剪辑内对合成对象进行可视化。在一实施例中，指令(存储在存储器104中)可使得用户能够使用***来渲染可视游戏或对由用户执行的一个或多个活动的模拟。
存储器104可进一步包括数据库108，以存储一个或多个指令以及与用户对应的信息。与用户对应的信息可包括但不限于个人信息、活动信息以及一个或多个视频文件和其他信息，例如规则，用于合成对象的可视化。数据库108和对应的信息将在本公开中进一步阐释。
在一实施例中，***102可作为个体应用用于其它装置。例如，如所示出的，***102可连接到外部装置，例如输入传感器装置110，其可使用***102来实现渲染游戏或可由用户在该输入传感器装置110上执行的一个或多个活动的模拟的功能。在一实施例中，输入传感器装置110可包括但不限于健身机器，例如跑步机、赛艇机、自行车等等。
输入传感器装置110可具有一个或多个传感器，用以确定用户的活动。例如，例如跑步机的输入传感器装置110可测量与由用户进行的活动/移动对应的多种特性。这些特性可作为输入被提供给***102。输入(与用户活动对应的信息)可被***102用于在真实世界视频剪辑(进一步阐释)内渲染可视游戏或一个或多个活动的模拟。进一步地，***102可作为输出向外部显示装置112提供其中嵌有可控制合成对象的真实世界视频剪辑。
在另一实施例中，***102可以是计算机***，其可以被实现为提供在真实世界视频剪辑内对合成对象进行可视化的功能。例如，***102可以是用于对视频游戏或使用***102的用户的一个或多个活动的模拟进行渲染的装置。在此实施例中，***102可以在任何合适的硬件部件中实现，其可具有一个或多个传感器，以检测用户活动(而不需要任何附加的装置)，以提供可嵌入真实世界视频剪辑的合成对象的动态。(实现***102的)装置可具有内置的显示器装置，以便提供具有合成对象的真实世界视频剪辑，该对象可基于使用装置的用户的移动独立地受到控制。这里，在此实施例中，显示器装置112可考虑为在***102内。
另外，***102可通过通信网络118连接到一个或多个社交网络114以及其他在线信息池116。网络118可以是无线网络，例如互联网或其他广域网。***102可用其信息对用户加标签，并向用户提供与用户在执行活动(锻炼，参与游戏等等)中的表现对应的信息。***102可使得用户通过网络在社交网络114上或在其他信息池116(例如博客、网站等)上张贴活动、表现状态。另外，用户可响应于用户在社交网络114上进行的张贴来接收来自其他用户的回复。
在一实施例中，***102可被连接到其它装置，用于使得用户能够与使用其它装置的其他用户交互。例如，用户可连接并与本地或世界范围内使用其它装置(锻炼机器或游戏***)的其他用户竞争(进行健身活动或参与共同的游戏)。这可增强用户进行健身活动并仍通过与其他用户交互保持娱乐的激励。
存储器104可包括指令，其可由处理器106执行，以渲染可视游戏或一个或多个活动的模拟。指令可以是可由***102实现以执行特定功能的多种软件模块(未示出)的一部分。***102可选择真实世界视频文件，其可以为用于可视化的真实世界位置的记录文件。指令可使得用户能够选择可作为选项提供给用户的一个或多个真实世界视频文件。在一实施例中，真实世界视频文件可存储在***102的存储器104中。作为替代的是，可允许用户选择可存储在***102中的用户个人文件或文件夹中的外部记录视频文件。
在一实施例中，视频文件可记录为以恒定或变化的速度移动穿过环境，以覆盖将在视频游戏或模拟中使用的位置。另外，视频文件可覆盖显著的距离。另外，视频文件的长度可从几秒到几小时。在一实施例中，视频文件的长度和其中覆盖的位置可由视频游戏或技术模拟的用户确定。
另外，在一实施例中，视频文件可以为可用在视频游戏或模拟中的几个位置的选辑。视频文件也可包括同一位置的不同的以及多个视图，其可允许游戏或模拟的用户或玩家在参与游戏期间具有选择不同路径的选项。
***102可使用提取模块(未示出)，其具有可由处理器执行的用于从真实世界视频文件(下面称为“视频文件”)提取摄像机信息的指令。摄像机信息可包括摄像机移动坐标信息，来自视频文件的路线坐标信息，以及对于视频文件的各个帧的点云坐标信息。摄像机移动坐标信息可包括各个帧的视频摄像机相对于视频图像所示的静态点的移动。进一步地，点云坐标信息可包括视频文件中所示的对象的深度(或到摄像机镜头的距离)。摄像机信息可存储在存储器104中，并可被翻译为3D坐标。在一实施例中，所存储的信息可被融入，以形成3D环境中的背景场景。
进一步地，***102可在3D环境中添加遮挡层，其可包括视频文件中所示的关键对象的透明3D复制。可建立静态特征或附加静态特征的透明3D复制，且可细化来自视频文件的进一步的已有特征。在本发明一实施例中，视频中所示的对象的3D空间位置可以基于点云信息自动生成，且遮挡层可由对象(视频文件中所示的)的3D空间位置或由点云信息自动生成。
透明遮挡层可由***102用于遮挡可能在透明遮挡层(或透明对象)之后出现的任何对象。遮挡层进一步结合图33详细阐释。遮挡层和移动对象的透明3D呈现可在3D播放器或其他查看器应用中可视化。透明3D场景可提供给用户，以便向用户提供进一步的帮助。透明3D场景可被称为3D环境中的背景场景，其可被提供给用户，用于在其中进一步的修改。例如，***102可允许用户进一步通过在其中嵌入对象(静态的或动态的)来修改透明3D层。
可促使用户选择化身或嵌入角色/化身，用于在提供真实世界视频文件的3D视图(较早时由用户选择)的3D环境(背景场景/透明3D环境)中呈现用户。***102可提供用户的一种屏幕可视呈现，作为3D环境(基于用户选择的视频文件创建)中的化身。
在本发明一实施例中，***102可包括查看器模块(未示出)，其具有可对所选择的视频文件、摄像机移动和旋转信息、3D“遮挡”静态和移动对象、相对移动与旋转路线以及任何其他3D对象、角色(例如用户化身)或资源进行处理的指令。在一实施例中，查看器模块(具有查看器应用)可以为定制软件应用。在另一实施例中，查看器应用可以是合适的视频“游戏引擎”或软件，其可允许查看3D对象以及对游戏、模拟或其他活动的规则进行的编程。进一步地，在本发明又一实施例中，可使用标准3D开发应用。这些应用的实例包括但不限于Autodesk Maya、Autodesk3DSMax和Cinema4D。
视频文件和3D对象可渲染为可独立管理的分立层。视频文件可包括不具有类似于化身的3D对象的透明3D层。不同的3D对象可被查看器模块显示在3D空间中的它们的正确的相对位置。在本发明一实施例中，3D对象可在顶层渲染，且视频帧可在空间的最远的层渲染。透明3D对象和移动对象可以被可视化为覆盖在视频文件的背景层上。
基于与参与可视游戏和锻练中的至少一者对应地(由用户)进行的一个或多个活动，***102可执行指令，以便通过所选择的化身在3D环境中显示用户的实时移动。例如，用户可在显示其中嵌有对象的3D景观的(视频文件的)3D环境上被显示为化身。用户的化身可以与视频文件的3D环境独立地起作用。
本领域技术人员可以明了，即使用户的化身可以与环境的对象独立地运转，活动(例如奔跑)可以与视频文件的3D环境对象同步地呈现。在一个实施例中，3D空间摄像机移动可被同步为对来自视频剪辑的正确的帧的移动进行匹配。在3D环境中，视频文件和3D对象可在分立但同步的层中在屏幕上渲染。例如，如果呈现为，在一开始，用户的化身在道路(对应于视频文件)上笔直地移动，并接着，基于3D环境(背景场景)中车辆的交通或其他对象(在用户化身的道路上)的存在，用户化身的方向可相应地改变，以便避免撞上3D环境中的任何其他对象。
另外，***102可提供HTML浏览器层，其可显示在显示装置112的显示屏幕上。此层可使得包括广告、图像、视频文件的对象放置在道路上成为可能，以便给出这些对象在视频文件的环境中存在的外观。进一步地，***102可提供许多附加的特征，其结合进一步的图4-图32的介绍来进一步阐释。
现在参照示出根据本公开另一实施例的***的示例性框图的图2。在一实施例中，***可在客户端计算机上实现。如图所示，客户端计算机可包括多种部件，例如但不限于存储器202、一个或多个处理单元(CPU)204、一个或多个网络或其他通信接口206以及一个或多个通信总线208。通信总线208可用于互联客户端计算机的部件。通信总线208可包括可互联和控制部件之间的通信的电路(可以可互换地称作“芯片集”)。
进一步地，客户端计算机可包括一个或多个用户输入装置210，例如但不限于显示器、键盘和其他可能的接口，例如遥控器，USB无线接收器或远程传感器。存储器202可包括但不限于高速随机访问存储器，并可包括非易失性存储器，例如一个或多个磁盘存储装置。在某些实施例中，存储器202可存储一个或多个程序、模块和数据结构，或其子集或超集。存储器202的程序和模块可包括但不限于操作***212、网络通信模块214、***初始化模块216和媒体播放器218。
操作***212可包括用于对多种基本***服务进行处理以及执行依赖于硬件的任务的步骤。网络通信模块214可用于经由一个或多个通信网络(有线或无线)将客户端计算机连接到其它装置(例如个人计算机、膝上型电脑、智能电话等)，通信网络例如为互联网、其他广域网、局域网、城域网等等。进一步地，***初始化模块216可对存储在存储器202中且客户端计算机的合适的运行需要的其他模块和数据结构进行初始化。
进一步地，媒体播放器218可包括但不限于真实世界视频和声音数据220、3D数据222(或3D环境查看器和数据222)以及浏览器数据224。真实世界视频和声音数据220可由媒体播放器218访问。3D数据222可包括3D透明遮挡数据和文件226，用于对应于真实世界视频数据220的景观环境和移动对象。进一步地，3D数据222可包括3D合成资源数据文件228，其可包括在环境内呈现用户或参与者的化身或角色或者将在游戏或模拟内使用的其他附加合成对象。另外，3D数据222可包括3D路线数据2，其可用于在环境中引导移动的合成对象，并帮助启用回避***。
另外，浏览器数据224可包括Overlay HTML和HTML5数据232、Overlay Flash数据234、Javascript数据236和图像数据238。Overlay HTML和HTML5数据232可由包括菜单、地图、广告、得分等等的***使用。Javascript数据236可用于浏览器层224和媒体播放器218之间的通信和控制。进一步地，图像数据238可用于HTML和Flash***。
另外，服务器通信模块240可允许由集中服务器以及使能多个玩家或用户及其相应的客户端计算机之间的连接的软件经过网络通信模块214访问媒体播放器218。
如上面所介绍的，客户端计算机可实现一***，例如***202，以便在真实世界视频剪辑内对合成对象进行可视化。该***可使得客户端计算机的用户能够与视频剪辑的移动独立地控制合成对象的移动。
现在参照图3A到图3Z，其示出了根据本公开一实施例将较小的一段视频数据(摄像机和点云)融入单个较长的一段的示例性过程。在融入视频数据的较小一段的过程之前(如图3A到图3Z所示)，可执行准备主3D摄像机的过程。主3D摄像机可在“匹配移动”过程中得出，用于3D开发软件中的进一步的调节。3D摄像机可在3D开发软件中使用，该软件可在主查看器中使用，并且，允许另外的摄像机加入它，以创建较长的一段可用视频。
如图3A到图3Z所示的过程可能需要对于将要融入的各段视频文件重复。具体而言，图3A到图3Z示出了使用Autodesk Maya2010软件实现的示例性过程。然而，该过程可能不限于使用Autodesk Maya2010软件。另外，可使用许多其他的3D开发软件，例如但不限于Autodesk3DsMax和Cinema4D。每当新的一段摄像机和点云数据被输入以添加到已有的段时，可重复这些图中示出的过程。
如图所示，在图3A中，必须清理偏远的摄像机轨道，并保证摄像机(例如CamCopyForBake摄像机)被放置在称为MasterGrp的组中。在图3B中，输入用于下一段的Maya文件(在此情况下，MayaASCII格式)。另外，在图3C中，为正确的视点选择“persp”摄像机。
在图3D和图3E中，Graph Editor(图像编辑器)被打开，所有属性可被选择。在图3F中，鼠标被放在Graph Editor窗口中，按下“F”，以显示所有帧。进一步地，时间滑块可通过输入较大的值而增大。在图3G中，合适的按钮可被点击，以进行到CamCopyForBake摄像机的最后一帧。在图3H中，第二追踪摄像机可被选择，且对应的Focal Length(焦距)数字可被标注。在图3I中，CamCopyForBake摄像机可被选择，且合适的按钮可被点击，以进行到下一帧，且FocalLength可被输入。进一步地，在图3J中，属性Focal Length被选择，于是，选项“Key Selected”可从菜单选项“Channels”使用，以键入帧中的Focal Length。
进一步地，在图3K中，可选择追踪摄像机，接着，所有帧可在图像编辑器中被选择。在图3L中，“W”被按下，接着是“shift”，且鼠标中键被按下，以移动此时间上的所有关键帧。在图3M中，第二追踪摄像机可与所有第二追踪点一起被选择，于是，“G”可被按下，以便使其在新的组中。在图3N中，组可被选择，于是，通过按下“Insert(***)”，组的中心点可被移动。在图3O中，“V”可被按下，一直到组的中心点确切位于第二追踪摄像机的中心点。在图3P中，“Insert”被按下，且组的中心点不能进一步移动，但组可被重新调整。
在图3Q中，组可通过按下“V”被移动到CamCopyForBake。在图3R中，“R”可被按下，以改变组的旋转。可一直做下去，一直到组的旋转确切地与CamCopyForBake相同。两个摄像机现在可位于同样的位置。在图3S中，第二追踪摄像机被选择，CNTL被按下，以增加CamCopyForBake。在Constraint(约束)菜单下，可选择“Parent(父母)”下一个的方框。在图3T中，点击“add(增加)”，且“Maintaningoffset(保持偏移)”可被保持为ON。
在图3U中，第二追踪摄像机被选择，且注释用开始和结束帧号码作出。在图3V中，CamCopyForBake被选择，于是，在Edit(编辑)菜单下，Keys(按键)和Bake Simulation被选择。Bake Simulation(烘烤模拟)下一个的方框被选择。在图3W中，Start/End(开始/结束)被选择，且开始和结束帧号码可被输入。Bake可被点击。Esc可用于随时停止baking。在图3X中，在baking完成后，“CamCopyForBake_ParentConstraint1”可被选择，接着被删除。在图3Y中，高亮的属性可在baking完成后选择。这一点可通过在选择过程中保持按下CNTRL进行。在图3Z中，Channels and BreakConnections可被点击。
图4示出了根据本公开一实施例看起来覆盖在视频剪辑上的3D对象或独立角色。具体而言，图4示出了由***提供的示例性输出(3D环境中的合成对象/角色(用户))的呈现，例如由***202(如图1所示)。如所示的，几个移动角色(呈现为402)被覆盖到视频剪辑帧上。角色实际上在与视频帧分立的层中(在查看器中)。然而，屏幕上的角色布置及其相对尺寸和到摄像机(或用户视点)的距离可由遮挡层以及来自“匹配移动”过程(如结合图33所阐释)的摄像机数据的正确应用引导。
角色看起来正在视频帧所示的道路上走或跑，但它们实际上独立于视频，并可演出(例如停止，旋转，改变方向)可以与视频摄像机的移动无关的场景。由于角色和视频帧的独立作用，角色可在每次同一视频剪辑被播放时不同地动作。进一步地，用户执行的动作可基于用户可在参与游戏或在输入传感器装置(例如输如传感器装置110)上锻练时执行的一个或多个动作来执行。
另外，可添加多种对象，例如对象404。具体而言，如所示出的，对象404是广告告示牌404，其也可在视频记录作出后(即在准备视频文件后)添加。本领域技术人员可以明了，每次在视频剪辑被播放时，告示牌404可移动，或者其内容可改变。
因此，可由图4作出结论，一个或多个静态或动态对象/角色可嵌入视频剪辑的3D环境，3D环境可独立于所嵌入对象在背景中运行。进一步地，这种对象可以是可独立于视频文件动作的合成对象。
图5示出了根据本公开一实施例，在本发明优选实施例中使用的视频(遮挡层)所示的环境中的关键方面的透明呈现，用以设置3D空间内的角色移动的规则。具体而言，在图5中，遮挡层的部分在查看器(例如3D播放器)中显示为覆盖在视频剪辑上。由于遮挡层可以是在视频中描绘的环境的关键方面的透明3D呈现，各个对象(例如帧中右侧的房屋502或左侧的墙壁504)可根据代表其到摄像机的相对距离的3D坐标来放置。沿着道路506移动并右转经过房屋502的对象或角色可被遮挡(不在屏幕上渲染)，并且作为替代地，可显示包括视频房屋的最远的层。由于这一点，对于查看器可显示为角色已经移动到房屋后。
图6示出了根据本公开某些实施例，在本发明优选实施例中使用的3D空间层中设置的路线，用以引导移动的对象。如所示出的，路线602可引导角色或移动的对象的移动。这样的路线可使得角色能够显示为如同它们沿着视频所示的道路移动，然而，实际上，它们可能是视频帧的分立且独立的层。
图7示出了根据本公开某些实施例，在本发明优选实施例中使用的3D空间层中设置的移动遮挡层，用以示出在视频中移动的对象。如图所示，车702可以是透明移动遮挡对象。因此，此遮挡对象(车702)后面的任何对象或其部分(在3D空间中)不能在屏幕上渲染。作为替代地，背景层(移动的车存在的视频部分)可作为替代地显示。
本领域技术人员可以明了，可以并且可能存在几种方法，以建立引导对象显示为在真实世界视频中所示的环境中移动的规则，且本发明不限于这些开发过程中的任何一个，实际上，本发明的目的在于将所有可能的开发选项包括在内，其可导致角色或对象显示为在真实世界视频的景观内、但不依赖于视频移动而移动的可视效果。
图8示出了根据本公开某些实施例，在游戏或模拟内交互的角色的名称标签或描述的一种可视呈现。图8示出了可加到本发明一实施例的附加功能。一种这样的实施例可以是单个用户或多个用户使用作为健身应用、游戏或动作模拟的该技术的应用或游戏，其中，他们通过奔跑、骑自行车、划船或行走在视频和游戏环境中导航。
在一实施例中，在查看器内，可存在覆盖的附加的层，其是HTML浏览器。在浏览器内，任何应用(例如常规HTML、XML、Flash或类似的技术)可显示在屏幕上。层可用于保持菜单控制器和任何基于图像或视频的文件。
在一实施例中，如图8所示，功能可向在游戏或模拟中交互的角色分配描述或名称标签。标签可刚好出现在角色的上方或旁边，并在其移动到不同位置时在屏幕上跟随它。
标签(例如标签802)可显示用户的图像或图标/图片、用户名称、基于其IP或登录细节的用户位置(城市和国家，标识)、颜色编码的“水平”条以及其他信息(例如它们是否可用于语音聊天或交互)。在此实施例中，名称标签依赖于查看器环境内的角色的接近度或摄像机位置而变化。完整的名称标签802在角色进一步远离时变为较小标签802，并随着距离的增大逐渐完全消失。从大标签到较小标签的外观变化可通过更具娱乐性的移动来作出，例如翻转或旋转动作。
用户或程序员可选择标签在屏幕上显示为大、小、二者的混合还是根本不显示。尺寸变化受到影响的距离也可是用户定制的。标签可以是3D对象，且图像可渲染为这些对象上的纹理。
图9示出了根据本公开某些实施例，将Google数据用于用户活动的地图的一种可视呈现。在图9中，显示一个HTML浏览器覆盖层(如结合图2所介绍)。Flash交互模块(前面结合图2介绍)在浏览器中，其用作游戏环境的位置的地图，并可描绘记录视频的实际真实世界位置。在这种情况下，Google Earth图像和视频并入为902。来自3D环境的位置坐标可用于将标志放置在该地图上，并在视频904中示出的路径上实时地移动它。对应真实世界的场所的GPS坐标也可使用3D空间中的移动和结果得到的坐标906来计算。
图10示出了根据本公开某些实施例的实况互联网连接信息馈送的一种可视呈现，并可包括RSS、SNS以及其他信息。在图10中，显示了另一覆盖层。覆盖层可以是实况、互联网连接信息馈送，并可包括RSS以及其他信息。如所示的，可促使用户获得社交网络或来自其他在线信息池的实况馈送。例如，馈送可以是Facebook和Twitter数据、任何其他社交网络的，或实际上是互联网新闻或其他信息馈送。玩家(用户)可登录，且HTML覆盖层可通过键或遥控界面上的点击开启。Twitter消息1002被示为主要可读项。通过点击按钮或通过时间触发，可将馈送1004中的进一步的项引入主窗口。项可按它们被接收的时间或通过用户选择的某些重要因子排列。导航可以是前向导航1006a或后向导航1006b，以查看其他馈送。
图11示出了根据本公开某些实施例，用户可设置为激励因素的里程碑、目标或其他目的的一种可视呈现。在图11中，覆盖层可显示用户可设置为激励因素的里程碑、目标或其他目的。有时这种方法可称为活动(例如用户可参与的健身活动)的游戏化。如图11所示，用户已经跑了其已设置的15km(示为1102)较长目标中的5km。此里程碑的实现可通过互联网作为Twitter消息发出并张贴为Facebook状态。其他社交网络和网站更新可以以类似的方式自动作出。
图12示出了根据本公开某些实施例，来自在游戏活动期间实时显示的消息的接收者之一的Twitter消息的一种可视呈现。如图所示，Twitter消息1202可来自图11所示的消息的一个接收者。响应可在游戏活动期间在HTML覆盖层中实时渲染。其他响应(例如Facebook中对于状态更新的评论或任何社交网络中的其他评论或网站消息)可以与消息1202类似地显示。进一步地，可显示例如响应者名字、图标图像、与时间信息一起的由响应者已经写下的文本。
图13示出了根据本公开某些实施例的交互式功能的一种可视呈现，其中，用户对它们想要交互的其他人“加标签”。在图13中，示出了这样的功能：其使得用户之间的交互成为可能。在此实例中，在游戏或模拟期间的其他参与者彼此进入特定的距离时，用户可对游戏或模拟期间的其他参与者“加标签”，例如标签1302。与“加标签”功能一起地，可使用其他的交互式方法，包括语音通信的激活、预定消息的发送或简单地记录用户已经加标签者以及已经对用户加标签者，用于在活动结束后的参考以及后续交互。
图14示出了根据本公开某些实施例的交互式HTML Flash模块的一种可视呈现，其显示在活动期间由***记录的信息，并且还包括用户已经随时间累积的使用数据。如图所示，交互式HTML Flash模块被示为覆盖在查看器中。模块显示可由***在活动期间记录的信息，并包括用户已经随时间累积的使用数据。用户标识1402可显示图像图标、基于IP的位置(城市，乡村标志)以及健身位置(如果需要的话)。累积的多种用户数据也可被显示1404，并在活动期间实时增加。关键数据(例如速度1406)可在当前游戏(例如当前以8.6km/hr速度奔跑)期间显示以及显示为对等组随时间的平均表现。距离1408也可以以类似的方式显示，例如，当前用户已经跑了0.6km。他/她的平均跑动可以是4.3km，且对等组是5.1km。另外，也可显示1410水平颜色条，其指示用户的整体活动(在此情况下，总跑动距离)。
图15示出了根据本公开某些实施例的活动“仪表板”覆盖层的可视呈现，其包括关键游戏数据。这里所示的关键数据可包括但不限于速度、距离、过去的时间以及卡路里(如1502a、1502b、1502c和1502d所示)。另外，关键数据也可包括倾斜(视频倾斜和用户当前倾斜)速度因子调节及其他。另一数据点是心率监视器1504，其使用外部心率读取器实时显示当前心率。
图16示出了根据本公开某些实施例的可能添加的图像、视频的可能呈现或其他可视呈现，其可能作为广告看起来如同位于视频所示的环境中一样。在此实例中，广告视频1602被添加，并被放置为看起来如同在视频中建筑物墙上的告示牌上一样。告示牌上的视频将会循环或不依赖于查看器中的主视频地播放。例如，即使主视频停止，告示牌上的视频可能继续播放。
在一实施例中，可在选择向个体用户显示哪些图像或视频中实现目标分段。选择可基于用户的人口统计学信息、当前登录IP地址以及其他因素作出。在一实施例中，广告可向这样的用户显示，该用户选择为可自由访问多个内容视频。查看器的3D环境中所示的图像和视频可不限于模拟2D呈现，例如仪表板。也可实现任何3D移动。例如，在这里所示的旋转跑鞋的视频中，鞋可看起来移出仪表板并移到道路上方，继续旋转，接着，在回到墙上的仪表板之前变为另一图像。
可添加标准视频游戏中可能的任何效果(包括3D效果)，例如粒子效果、液体和流体效果及其他。
图17和图18示出了根据本公开某些实施例的实况互联网视频的使用的可视呈现。查看器上的浏览器窗口可包括位置、另一参与者、引导用户健身活动或模拟的教练或其他位置1702的实况视频馈送。视频馈送也可放在与角色相关联的名称标签(例如标签1802a，1802b)中。
图19和图20示出了根据本公开某些实施例的游戏的多玩家模式的可视呈现，其中，两个参与者同时但在经由互联网、内联网或其他网络连接的不同位置一起参与游戏。在此实例中，两个参与者(例如参与者1902和参与者1904)可同时但在经由互联网、内联网或其他网络连接的不同位置一起参与游戏。进一步地，远程玩家1906的名字标签也可具有实况视频馈送。
在图20中，可示出参与者12002和参与者22004的化身呈现的相对视图。在此实例中，远程玩家的名字标签2006显示该参与者的图片或图标图像。
随着各个参与者穿过游戏向前移动，他或她自己的化身呈现也将移动(走、工作、或跑，取决于参与者的速度，或可能是骑自行车，驾驶或使游戏或模拟中使用的车辆或角色飞驰)，并在与所行驶距离对应的位置显示在屏幕上。以各个相应的参与者的速度显示的穿过视频的前向移动可反映他或她自己的前向速度。如果远程参与者的呈现位于当前视图参与者的视图内的场所，该化身可在屏幕上显示，并以使得起看起来在视频所示道路上移动的方式放置。
视频文件可被存储或从本地参与者计算机或其他处理器访问，或者可直接流传输到该特定用户。可在用户之间分享的信息包括在屏幕上正确放置所需要的数据。该信息可包括但不限于在“本地”参与者的屏幕上，与远程用户的识别信息(包括名字，位置，速度，距离，X、Y和Z3D位置坐标，化身配置信息和其他识别数据)一起的远程化身。此过程可使得用户之间互联网或内联网连接的更为高效的使用成为可能，并意味着减小在所连接的网络上发送完整视频帧所需要的传输带宽。
图21和图22示出了根据本公开某些实施例的菜单屏幕覆盖层的可视呈现。在图21和图22中，示出了如本发明一实施例中使用的菜单屏幕覆盖层的两个实例。在图22中，HTML覆盖层包括图像和flash视频2102，允许用户选择自己在游戏中的化身呈现2104。在此实例中，选择仅仅在被示为化身2106的移动的flash视频的男性和女性呈现之间，但在本发明的其他实施例中，选择可包括许多更为具体的特征，包括身体类型，衣服以及实际上其他的生命类型或假想角色。
在图22中，示出了用于本发明一实施例的菜单***的附加选择。一种功能是“冷知识(trivia)”模式2202，其中，关于用户感兴趣的主题的或与视频中的环境有关的事实或引用随着游戏或模拟的进行显示在覆盖层中。菜单可允许用户将此特征转换为打开或关闭。
此图中高亮的另一特征是“游戏”模式，其中，视频游戏的方面可并入游戏2204或模拟。此特征可包括实时或异步地与其他对象(例如追逐或撞上静态或移动的对象)、用于实现目标的点数***或虚拟货币、与其他玩家共用游戏特征的手段交互。视频游戏的许多方面可被使用和并入。“游戏层”可用于包括多个或不同游戏位置上同样的游戏特征。用户也可以使用菜单***将此特征切换为打开和关闭。
图23示出了根据本公开某些实施例的门户、虚拟门或“入口”的一种可视呈现，其可标识这样的点(编辑场所)：其中，视频从一个位置变到另一个位置。在一实施例中，半透明门户可标识这种编辑场所。在门户处，可示出类似于移动的星状对象的视频(也是半透明的)2302。当对象或化身“进入”此门户时，可模拟“传送”离开该位置的外观。可能的门户或入口的其他势力包括3D对象，其可呈现门，或者可被设计为看起来是视频中的环境的一部分。对于此实例，3D对象在这样的位置被放置在3D环境中：门看起来位于视频中的道路上。该3D对象上的纹理是HTML页面，其包括移动的星形的透明Flash移动。
图24示出了根据本公开某些实施例的奔跑的化身的一种可视呈现，该化身代表在其自己相应的位置奔跑的用户，它们被编程为互相经过。在图24中，示出了视频的一个实施例中的一类3D移动对象的一个特性。代表在其自己相应的位置奔跑的用户的奔跑化身可被编程为互相经过，而不是穿过另一化身的图像(如通过化身2402和2404所示)跑过。化身2404可在道路上以同样的方式在发现另一化身2402改变位置(如结合图25进一步所阐释)。
图25示出了根据本公开某些实施例的奔跑的化身的一种可视呈现，其被编程为移出在遮挡层中的移动对象的道路。在图25中，示出了在视频一实施例中的一类3D移动对象的另一特性。奔跑的化身可被编程为移出遮挡层(如图5所示)中的移动对象的道路外。化身可移动到代表视频汽车的透明对象的路线的道路外的位置，或化身可在汽车2502的道路外继续奔跑的“安全道路”。当汽车2502已经移到另一位置时，化身(2504和2506)可返回到常规的主要路线。
图26示出了根据本公开某些实施例的用户或玩家的一种可视呈现，其被呈现为具有改变路径或保持在当前路线上的选择。如图所示，控制器2602可被提供给用户，以便通过在50米后右转来改变当前路径。通过点击按钮或其他传感器，用户可选择不同的路径，该路径可处于任何数量的方向，或实际上处于完全不同的位置。如果这样的信号由用户提供，应用于是可对来自可能具有新位置的新视频文件的视频帧进行缓冲。进一步地，为了得到最佳效果，第二或所有后续位置视频可能已经记录，以便在相应的转弯之前开始。对用户的效果可以是他或她可转到离开当前视频中的主路线的路径之一。另一效果可以是，通过使用这一功能或技术，用户可探索特定位置的变化的路径。
通过将此示例扩展到对一区域进行映射的大量视频，可将视频而不是带纹理的3D资源的图像用作背景建立整个虚拟世界或游戏环境。
现在参照图27到图32，其可示出本发明一实施例的方面，该实施例使得玩家、用户或参与者从通过互联网、内联网或其他网络连接的不同位置参与游戏或模拟。这些用户能够看到彼此的动作，并在查看器或游戏内交互。
在本发明一实施例中，用户或玩家可触发应用的开始以及其自身作为参与者的识别，因此绕开使用可向处理器(例如处理器106)提供参与者在输入装置附近的信号的外部装置的登录过程。外部装置可以是嵌入钥匙圈或卡的RFID标签，或者甚至是具有用户的唯一标识符的移动电话应用。接近输入装置的阅读器可检测用户，并自动开始应用和运行登录过程。
具体而言，图27可示出根据本公开某些实施例的多个并行用户的一种可视呈现。(图27)所示的化身角色可各自代表不同位置上参与游戏或模拟的个体用户(例如用户2702a，2702b，2702c，2702d和2702e)。它们可向其他用户被呈现为这些类型的化身或可能是其他类型的角色。可视呈现也可包括例如图中所示名字标签上所示类型的信息。
可能存在这样的情况：其中，同一环境中可能有太多远程用户，使得游戏体验不愉快。在这种情况下，多玩家应用可将同一视频或环境分为多个副本，并基于某些预定的规则将用户分配到分立的环境。这些规则可基于具有类似兴趣、表现等级或其他因素的用户。
化身呈现还可以不是实时的、“实况”用户，而是实况用户的先前的表现，其可由***保存，并在后来的时间点上再现。这些“表现”可包括主用户自身或著名运动员或其他名人的“最佳”表现。作为替代的是，表现可以是教练的引导，“最佳实践”或训练表现，或可能仅仅是随机的***生成的角色，其被设置为与游戏或模拟中的主用户等级匹配。
图28示出了根据本公开某些实施例的可能的界面的一种可视呈现，其作为互联网上的网站或在***游戏界面中。在该界面中，用户可基于图像和短介绍地穿过不同视频或位置滚动(使用2802)。于是，用户能观看短样片，通过下载、家庭派送或通过流账户2804来订购。
图29示出了根据本公开某些实施例的另一可能的界面的一种可视呈现，其中，用户可在视频的位置的地图上看到当前“实况”参与者。在屏幕上，用户可在视频(在此实例中，纽约中央公园)2902的位置的地图上看到当前“实况”参与者。通过在地图角色上滚动或悬停鼠标来选择用户呈现可高亮并放大用户图像和名字2904。其他的功能包括用户或***生成事件的列表、参与者(用户)可加入的其他课程的列表。进一步地，***可提供参与者(用户)可找到更多的信息的成员的列表。***生成事件、课程和对成员列表的访问可由可视条2906提供。
图30示出了根据本公开某些实施例的具有更多信息的用户界面的一种可视呈现和搜索视频或位置的方法。如图所示，在图30中，用户界面3002可被显示，其中，可示出更多的信息和搜索视频或位置的方法。
图31示出了根据本公开某些实施例的用户界面的一种可视呈现，其中，参与者可设置由其他参与者加入的事件。在此实例中，大峡谷中的位置的视频可以是参与者可在不同位置的跑步机上加入的跑步事件，如果他们正在运行查看器软件应用的话。事件可通过图31中提供的控制器3102由个体用户以及***管理员设置。
事件的描述，例如通过3104所示，可包括该位置以及对应的视频文件、设置为开始的时间和时区、课程的长度、可加入的任何限制(某些方面可由***基于用户的登录自动得出)。已经加入的参与者的列表可显示为3106。在登录过程期间或在事件结束后可以使开放评论论坛3108可用。
图32示出了根据本公开某些实施例的用户界面的一种可视呈现，其示出了在一时间段上对于参与者累积的数据的可视呈现。具体而言，如图32所示，用户界面可被显示为示出可在他/她已经活跃于游戏或模拟的一时间段上对于参与者累积(由***)的数据的可视呈现3202。界面可以是互联网上的网页或在***应用自身之中。
可由***对于个体参与者得出或追踪的数据的实例可包括但不限于距离、平均速度、时间、步伐、燃烧的卡路里、位置数量、事件或组的数量、“个人最佳”表现等等。所有这些数据点可对于与游戏或模拟的各次交互追踪，并接着可通过个体表现查看和分析，或对于天、周、月、年或任何其他组合汇编。参与者表现也可与其自己的目标或目的比较，或与可分类为但不限于年龄组、个体自愿加入的其他组以及类似健身等级的其他参与者的对等者表现进行比较。
另外，通过提供一个或多个特征以使用户能够执行一个或多个功能，***102可在参与游戏或做健身活动的同时向用户提供竞争环境。例如，可向用户提供特征，以便将多个其他用户加入奔跑游戏，或者，通过张贴加入游戏的消息，可邀请其他用户。因此，这为用户提供了在参与游戏或锻练的同时与其他用户交互的能力。用户可通过具有用户账户的一个或多个社交网络邀请其他用户，例如社交网络114。进一步地，***102可使得用户能够通过社交网络114或通过其他信息池116张贴评论、消息并接收回复、来自社交网络114的更新。其他信息池116可包括在线博客、获得例如新闻、更新、帖子等信息的多种网站。
图33A和图33B示出了在真实世界视频剪辑内对合成对象进行可视化的方法3300。在3302中，可提供视频文件和3D对象(或多个3D对象)。在一实施例中，视频文件可以是真实世界位置的记录。进一步地，视频文件可以以恒定或变化的速度移动穿过环境来记录，以覆盖将在视频游戏或模拟中使用的位置。进一步地，视频文件可覆盖大的距离。另外，视频文件的长度可以从几秒到几小时。接下来，视频文件的长度和其中覆盖的位置可由视频游戏或技术模拟的用户确定。
进一步地，在一实施例中，视频文件可以是可用在视频游戏或模拟中的几个位置的选辑。视频文件也可以包括同一位置的不同的和多个视图，其可允许游戏或模拟的玩家或用户具有在参与游戏期间选择不同路径的选项。
在3304处，摄像机信息可从视频文件提取。摄像机信息可包括摄像机移动坐标信息，来自视频文件的路线坐标信息，以及视频文件的各个帧的点云坐标信息。摄像机移动坐标信息可包括各个帧中的视频摄像机相对于视频图像中所示的静态点的移动。进一步地，点云坐标信息可包括视频文件中所示的对象的深度(或到摄像机镜头的距离)。
摄像机移动坐标信息、路线坐标信息和点云坐标信息可对于视频文件的各个帧提取。进一步地，摄像机移动坐标信息和点云坐标信息可被翻译为三维(3D)坐标。在另一实施例中，摄像机移动坐标信息和点云坐标信息的提取以及摄像机移动坐标信息和点云坐标信息到三维坐标的翻译可在一个步骤中一起进行。
进一步地，摄像机移动坐标信息和点云坐标信息可存储在文件中。文件可具有多种格式。在本发明一实施例中，文件的格式可包括提取器模块使用的本机格式。在本发明另一实施例中，摄像机信息可存储为ASCII或二进制文本文件。ASCII或二进制文本文件可包括帧号码，“X、Y和Z”摄像机坐标旋转信息。在“点云数据”的情况下，ASCII文件可进一步包括用于云中的各个点的参考号码，以及对于各个相应的点的X、Y和Z3D空间坐标信息。
在一个实施例中，摄像机信息可由存储在存储器104中的提取器模块(图中没有示出)提取。在另一实施例中，任何其他的模块或软件应用可用于提取摄像机信息。可能的软件应用的实例可包括但不限于SynthEyes、PFTrack、Boujou、Nuke或Adobe AfterEffects。在又一实施例中，可开发定制软件应用，其可使用各个帧之间在视频图像中的像素移动的分析来提取类似的摄像机移动信息。进一步地，可在视频文件记录期间使用传感器。
在另一实施例中，通过可视地推定各个帧上视频摄像机相对于视频图像中所示的静态点的移动，摄像机移动坐标信息和点云坐标信息可半手动地提取。例如，技术人员可手动标识对象上在不同的视频帧中出现的相同的点(例如屋角，树干)，且提取器模块可推定摄像机在这些帧之间的相对移动。
进一步地，在一实施例中视频文件可被切割为较小的部分，以允许摄像机信息的准确推定和提取。本领域技术人员将会明了，这可促进解决与坐标计算有关的复杂数学计算。进一步地，这可促进一次可准确计算有限数量的视频帧的坐标的某些***的使用。
在3306处，如果视频文件被切割或编辑为较小的剪辑，摄像机移动坐标信息文件和点云坐标信息文件可被融入。融入的文件可代表在整个视频文件中行进的整个路径以及捕获的整个环境。
进一步地，在本发明一实施例中，可对于点云坐标信息和摄像机移动坐标信息中的点与对于整体视频文件的视频帧中的相应点进行匹配。准确度可依赖于最终游戏或模拟需要的准确度。
在本发明一实施例中，摄像机移动坐标信息文件和点云坐标信息文件可由存储在存储器104中的开发器模块(图中没有示出)融入。在另一实施例中，摄像机移动坐标信息文件和点云坐标信息文件可通过某种其他模块融入。
在3308中，可添加遮挡层。在本发明一实施例中，遮挡层可包括视频文件中所示的关键对象的透明3D复制。静态特征或附加静态特征的透明3D复制可被建立，且来自视频文件的进一步的已有特征可被细化。在本发明一实施例中，视频所示对象的3D空间位置可基于点云信息自动生成，且遮挡层可从视频文件所示对象的3D空间位置自动生成。在本发明另一实施例中，遮挡层可由点云信息自动创建。
另外，在本发明一实施例中，透明遮挡层可用作显示为在与视频文件所示对象相同的环境中移动的任何3D对象或任何附加角色的引导。在一实施例中，如果在透明对象后出现的任何对象或其一部分被遮挡，且其位置被视频文件占据，使得对象看起来在视频文件中的特征之后。例如，如果视频包括上山并接着转向右经过房屋的道路，该道路、山和房屋的透明3D呈现可用作对于被放置在显示为上山并接着在房屋后消失的路线上的移动化身或角色的引导。透明3D房屋可在化身经过3D房屋背后(即在3D空间中离查看器更远)时遮挡化身(及防止其在屏幕上渲染)。代替化身的是，查看器可看到背景层，其是房屋的视频图像。因此，当从正确角度观看时，以及当3D透明房屋被对准为严格位于在示出房屋的视频帧中的该场所上时，对查看者的可视效果可以是，化身在视频所示的房屋后消失。
在一实施例中，遮挡层也可以是多个分立的个体3D对象或者在相同3D空间中具有相对坐标的文件或对象组。在另一实施例中，遮挡层可包括在真实世界视频中改变位置的对象。这些对象的实例可包括移动的汽车或其他车辆、人或动物或任何其他这样的对象：其可具有对于视频文件所示的静态环境相对于摄像机不同的移动。
在本发明一实施例中，移动对象可生成为透明3D遮挡对象。它们在各个帧中的相对位置可被设置，并被给出对于其移动和旋转的引导，以匹配它们在视频文件中示出的对象的移动。移动对象或特征可由视频文件以及进一步的与视频文件中的对象移动匹配的伴随动画建立。进一步地，移动路线可对于移动对象生成。在另一实施例中，视频文件所示的移动对象的3D空间位置可自动生成。
在本发明一实施例中，遮挡层可被开发器模块添加。在另一实施例中，遮挡层可由技术人员生成。在又一实施例中，为角色引导屏幕上的位置坐标的遮挡层和其他移动遮挡对象可使用某些其他模块、软件应用和技术开发。例如，使用例如LIDAR(光检测和测距)、LADAR(激光检测和测距)等技术或其他动作检测输入装置或其他3D解构技术(例如Microsoft Kinect)或能生成环境中的周围对象的实时深度信息的其他类似的过程，代表视频文件中的环境的3D空间数据可与视频记录同时生成。
在3310中，可输出移动遮挡对象和景观(遮挡层)的透明3D呈现。在一实施例中，开发器模块可输出移动遮挡对象和景观(遮挡层)的透明3D呈现。进一步地，这些文件可以以多种格式中的任何一种保存并输出。文件可包括用于静态和移动对象在3D空间内的尺寸、形状和相对位置的数据。
在3312中，来自开发器模块的输出文件与视频文件一起可被输入到存储在存储器104中的查看器模块(图中未示出)。在本发明一实施例中，视频文件、摄像机移动和旋转信息、3D“遮挡”静态与移动对象、相对移动与旋转路线以及任何其他3D对象、角色或资源可用作查看器模块中的输入。在一实施例中，查看器模块可以是定制软件应用。在另一实施例中，查看器模块应用可以是合适的视频“游戏引擎”或软件，其允许查看3D对象和游戏、模拟或其他活动的规则的编程。进一步地，在本发明又一实施例中，可使用标准3D开发应用。这些的实例包括Autodesk Maya、Autodesk3DSMax、Cinema4D。
在另一实施例中，开发器模块的本机文件格式可以直接输入到查看器模块。在又一实施例中，定制文件格式可对于此信息到查看器模块的更为高效的传输特殊地编写。因此，3310和3312的步骤可合并到一个集成的步骤中。
在3314中，视频文件和3D对象可被渲染为分立的层。在一实施例中，3D对象可以是参与游戏的用户的3D玩家或化身。不同的3D对象可在3D空间中其正确的相对位置上示出。在本发明一实施例中，3D对象可在顶层渲染，且视频帧可在空间的最远的层渲染。透明3D对象和移动对象可以被可视化为覆盖在视频文件的背景层上。
进一步地，在一实施例中，视频文件的各个帧可渲染为最远层中的对象上的纹理，且进一步地，纹理以可调节的速率变化，以模拟标准视频播放器。例如，纹理文件的变化速度可从每秒0帧(FPS)调节到60FPS以上的速率，以实现对于穿过视频剪辑的移动的速度的高控制率。进一步地，与视频文件相关联的声音可被调节为在视频文件回放速度的任何改变期间改变长度而不是音高。
进一步地，下一层可包括遮挡层以及另外的3D对象、角色或资源。也可在视频文件中的特征的透明3D对象呈现内添加静态或移动的另外的合成对象。在本发明一实施例中，在用作例如菜单或附加信息的其他游戏特征的位置的遮挡层之前或之间可存在附加层。
在3316中，摄像机信息可被应用到3D环境。在一实施例中，从原始视频文件提取的摄像机移动坐标信息可被查看器模块应用到3D空间中的对象。在一实施例中，摄像机信息可被查看器模块应用。
在3318中，可添加用于移动3D对象或角色的输出控制。合成对象或3D对象的移动可通过输出控制与视频文件的移动独立地受到控制。在一实施例中，可并入用于游戏或模拟的角色或3D资源的移动或视频帧的移动/变化的外部控制。在一实施例中，输出控制可由查看器模块添加。
在3320中，视频文件可与3D对象或移动角色同步。在一实施例中，3D空间摄像机移动可同步为匹配来自视频剪辑的正确帧的移动。在3D环境中，视频文件和3D对象可在屏幕上在分立但同步的层中渲染。在一实施例中，视频文件可由查看器模块与3D对象同步。
进一步地，HTML浏览器层可在同一屏幕上显示。另外，包含广告图像、对象或视频文件的对象的位置可以以给出这样的外观的方式放置：它们在视频文件中所示的环境中存在。在一实施例中，视频文件和3D对象可由查看器模块渲染。
另外，可添加可允许像门户或入口的对象以给出这样的外观的方式放置的特征或功能：它们在视频文件所示的环境中存在，且这些门户或入口代表视频文件中位置的变化。
进一步地，视频游戏功能可被添加，其可在视频文件上使用。在一实施例中，视频游戏功能可包括点数***、角色和声效。进一步地，视频游戏功能可包括用以在用户选择改变路径的方向的条件下允许背景视频或视频文件改变的功能，且在该过程中，可建立大的虚拟世界，其中，背景是视频而不是图像或有纹理的3D对象。
在3322中，输出可在屏幕上呈现。在一实施例中，3D层可渲染为到屏幕的2D输出，用于视频游戏或模拟的参与用户。在另一实施例中，查看器模块的输出可以是合适的查看监视器上的3D立体视觉。3D对象或合成对象可以对于模拟或视频游戏的参与用户或观看者看起来在视频文件所示的景观中存在或移动。进一步地，合成对象或角色可独立地由玩家、用户或其他控制装置控制。
图34A和图34B示出了根据本发明另一实施例对真实世界视频文件内的合成对象进行可视化的方法3400。在3402中，可提供视频文件和合成对象。视频文件可需要与镜头失真、颜色信息调节以及视频稳定化有关的某些校正，以便移除摄像机的不希望的摇动或其他移动。
在3404中，可进行分析，用于检查视频文件的视频图像的校正。在本发明一实施例中，分析可由存储在存储器104中的校正模块(图中没有示出)进行。
在3406中，基于分析，可作出对需要的校正的判断。在一实施例中，对于取决于原始视频记录过程中使用的镜头的镜头失真、出于美学原因的颜色信息调节、摄像机移动的由软件进行的较好的推定以及为移除不希望的摄像机摇动或其他移动的视频稳定化，可能需要校正。本领域技术人员将会明了，对视频文件的校正可促进数据提取的高效过程。在本发明一实施例中，判断可由校正模块作出。
在3408中，校正可被应用到视频帧。视频文件可相应地更新。在本发明一实施例中，校正可由校正模块应用。
在3410中，可准备最终视频帧。在本发明一实施例中，最终视频帧可由校正模块制备。
下面，步骤3412(提取摄像机信息)、步骤3414(向开发器模块输出文件)、步骤3416(融入摄像机移动坐标和点云坐标)、步骤3418(创建遮挡层)、步骤3420(创建移动遮挡对象)和步骤3422(向查看器模块输出文件)可被执行，以便在视频文件中对合成对象进行可视化，如结合对图33A和图33B的介绍所讨论的那样。
进一步地，图33A、图33B、图34A和图34B的方法步骤不限于这里提到的上述信息。结合图1、图2和图4到图32阐释的多种实施例和特征可由上面阐释的各个方法使用。进一步地，本发明不限于上面提到的实施例和实例，且在本发明的启示下，在不脱离本发明的范围的情况下，可实现许多其他实施例和实例。
有利的是，本公开提供了用于在真实世界视频剪辑内对合成对象进行可视化的***和方法。***可以对于任何用户的活动的模拟和游戏独立实现。另外，***可使得遍及万维网(WWW)的多个用户在锻练、参与游戏或通过***进行任何其他活动的同时彼此交互。另外，***可用作多种其他机器(例如输入传感器装置，其可检测与用户活动有关的多种参数)的插件。
进一步地，本发明的实施例促进实现对真实世界的完全具有说服力的、逼真的、照片拟真的呈现。进一步地，本***促进将对象或游戏角色覆盖到真实视频中，并使它们看起来在视频文件所示的同样的环境内正确移动。另外，本发明提供了与对象或游戏角色的视频游戏控制类似的对对象或游戏角色的外部控制。
进一步地，本发明促进将真实视频用于制作模拟或视频游戏，由此节省设计和搭建用于视频游戏的3D环境的大量时间和成本。进一步地，本发明促进允许用户与视频移动独立地控制对象或游戏角色。
另外，本发明促进在健身和健康领域利用现代技术，例如互联网、视频游戏、实况在线多玩家游戏、表现数据分析和通过社交网站的分享。具体而言，本发明促进将现代技术用于室内有氧运动设备(例如跑步机、椭圆机、自行车、赛艇机等)上的特定锻练。
进一步地，在屏幕被放在与某种形式的处理器一起的机器前方的情况下，屏幕可托管具有可通过用户的锻练运动触发的视频游戏的软件应用(***应用)，且在游戏或模拟期间与其他用户实况交互的用户通过社交网络且在线地分享(发送和接收)信息。应用也可存储和分析关于用户表现的数据，并提供用于激励用户的用户表现的图形呈现。进一步地，可促进用户在例如Facebook、LinkedIn、Twitter等社交网络上张贴其表现呈现。
另外，本发明提供了多种其他特征，以便促进用户执行多种功能，例如，用户可选择其化身，可对其他用户加标签，从社交网络接收和发送活动馈送以及更新，等等。进一步地，本公开提供的多种实施例可提供用户探索多种其他新特征的展望。另外，用户可通过在线交互找到其他用户(可以是朋友，亲戚)，并能参与共同的活动。因此，本发明激励用户更为有效地锻练，并在进行这种健身活动的同时增强娱乐性。
本领域技术人员可以明了，本发明不限于上面提到的实施例。进一步地，多种其他的实施例也可通过本***提供的特征实现。另外，使用“第一用户”、“第二用户”的术语不能看作对本发明的限制方面，因为这些术语仅仅出于更好地阐释的目的使用。本领域技术人员将会明了，本发明不限于上面提到的优点。进一步地，在不脱离本发明的范围的情况下，由上面给出的介绍的启示，可明了许多其他的优点。
出于阐释目的，上面的介绍已经参照特定实施例来介绍。然而，上面的说明性的讨论并非旨在穷尽或将本发明限制于所公开的确切形式。在以上教导的启示下，许多修改和变型是可行的。选择和介绍实施例以便最好地阐释本发明的原理及其实际应用，由此使得本领域技术人员最好地使用本发明，且具有多种修改的多种实施例适合于所想到的特定应用。
上面参照根据本发明的实施例的方法和***的框图和原理图介绍了本发明的实施例。将会明了，图中的各个框以及图中的框的组合可通过计算机程序指令实现。这些计算机程序指令可加载到一个或多个通用计算机、专用计算机或其他可编程数据处理翻译器上，以产生机器，使得在计算机或其他可编程数据处理翻译器上执行的指令创建用于实现框中指定的功能的手段。这种计算机程序指令也可存储在计算机可读存储器中，其可指示计算机或其他可编程数据处理设备以特定的方式运行，使得存储在计算机可读存储器中的指令产生包括实现框中所指定功能的指令手段的制品。
尽管已经联系当前考虑为最实际的多种实施例介绍了本发明，将会明了，本发明不限于所公开的实施例，相反，旨在涵盖所附权利要求的精神和范围内包括的多种修改和等同布置。本发明已经在计算装置、电话和由计算机执行的计算机可执行指令(例如程序模块)的一般背景下介绍。一般地，程序模块包括例程、程序、角色、部件、数据结构等，其执行特定任务或实现特定的抽象数据类型。本领域技术人员将会明了，本发明可以用其它的计算机***配置实现，包括手持式装置、多处理器***、基于处理器的或可编程的消费品电子装置、网络PC、微机、主机等等。进一步地，本发明也可在分布计算环境中实现，其中，任务由通过通信网络连接的远程处理装置执行。在分布式计算环境中，程序模块可位于本地以及远程存储器存储装置中。
此书面说明书使用实例来公开本发明(包括最佳模式)，并使得本领域技术人员能够实践本发明，包括制造和使用任何装置和***以及执行任何所包括的方法。本发明的可专利性范围在权利要求中限定，并可包括本领域技术人员能想到的其他实例。如果这些其他的实例具有不与权利要求的本义表述存在差异的结构元件，或者如果它们包括与权利要求的本义表述仅具有非实质性差异的等同结构元件，它们属于权利要求的范围。

Claims (42)

1.一种在真实世界视频剪辑内对合成对象进行可视化的方法，包括：
a.将来自真实世界视频剪辑的一个或多个对象和特征中的至少一个搭建到透明3D场景中，其中，对象和特征基于真实世界视频剪辑是静态的和动态的中的至少一者；
b.在查看器应用中，将所搭建的透明3D场景和动态对象可视化为覆盖在真实世界视频剪辑的背景层上；
c.在真实世界视频剪辑中的特征的透明3D场景呈现内添加静态的或动态的附加合成对象，透明3D场景呈现基于所搭建的透明3D场景的可视化；
d.将透明3D场景用作遮挡层，其中，出现在透明对象后的遮挡层的一部分或对象被遮挡，并且其位置由真实世界视频剪辑占据；以及
e.与视频剪辑的移动独立地控制合成对象的移动。
2.权利要求1所述的方法，还包括：
从真实世界视频剪辑的至少一部分提取信息，所提取的信息受到处理以形成透明3D场景，其反映在真实世界视频剪辑中由摄像机行进的路径。
3.权利要求2所述的方法，其中，所提取的信息包括：
a.3D摄像机移动坐标和来自真实世界视频剪辑或真实世界视频剪辑的片段的路线；以及
b.来自真实世界视频剪辑的对象的3D空间或“点云”坐标数据。
4.权利要求2所述的方法，进一步包括将从真实世界视频剪辑提取的信息应用到查看器应用的摄像机。
5.权利要求1所述的方法，进一步包括使得用户能够选择来自真实世界视频剪辑或来自一个或多个其他真实世界视频剪辑的路线，以用于对合成对象进行可视化。
6.权利要求3所述的方法，其中，通过将3D摄像机移动坐标和路线融入3D空间坐标数据来处理所提取的信息，以形成透明3D场景。
7.权利要求1所述的方法，进一步包括将附加静态特征搭建到透明3D场景之中，并细化来自真实世界视频剪辑的已有特征。
8.权利要求1所述的方法，进一步包括在查看器应用中将真实世界视频剪辑可视化为3D空间内的最远的层。
9.权利要求1所述的方法，其中，到查看器应用的结果是合成对象看起来在视频所示的景观内存在或移动的可视外观。
10.权利要求1所述的方法，进一步包括，使得用户和一个或多个控制装置中的至少一者能够独立地控制合成对象。
11.权利要求1所述的方法，其中，查看器应用允许在分立层中在屏幕上渲染视频剪辑和3D对象，各个分立层在3D空间内同步。
12.权利要求8所述的方法，其中，视频剪辑的各个帧被渲染为3D空间内的最远的层中的对象上的纹理，其中，纹理能够以可调节的速率变化，以模拟标准视频播放器。
13.权利要求1所述的方法，其中，查看器应用将纹理文件的变化速度从0帧每秒(FPS)调节到60FPS及以上的速率，以实现对于穿过视频剪辑的移动的速度的高控制率。
14.权利要求1所述的方法，进一步包括在3D空间内在屏幕上显示HTML浏览器层。
15.权利要求1所述的方法，进一步包括允许放置包括广告图像、对象或视频剪辑中的至少一者的对象，该放置以给出其在视频剪辑所示的环境中存在的外观的方式进行。
16.权利要求1所述的方法，其中，查看器应用包括允许放置与门户或入口相像的对象的功能，该放置以给出其在视频所示的环境中存在的外观的方式进行。
17.权利要求1所述的方法，进一步包括提供用于在真实世界视频剪辑上使用的一个或多个功能，包括点数***、角色、声效和其他特征。
18.权利要求1所述的方法，进一步包括在用户选择改变真实世界视频剪辑内的路径方向时允许用户更改背景视频。
19.一种被配置为执行权利要求1所示方法的计算机***。
20.一种用于对一个或多个活动的模拟或可视游戏进行渲染的***，其中，***包括存储器、处理器和显示屏，存储器包括一个或多个指令，该指令可由处理器执行，以：
a.促使多个用户各自地选择多个真实世界视频文件中的至少一个用于可视化；
b.基于对应地选择的所述多个真实世界视频文件中的至少一个，向各个用户提供3D环境中的背景场景，该背景场景包括与所选择的真实世界视频文件对应的一个或多个对象；
c.向各个用户提供屏幕上的可视呈现，作为与所选择的真实世界视频文件对应的3D环境中的化身；以及
d.基于由用户执行的一个或多个活动，通过所选择的化身在3D环境中显示用户的实时移动，所述一个或多个活动对应于参加可视游戏和锻练中的至少一者。
21.权利要求20所述的***，其中，存储器进一步包括通过使用一个或多个传感器来确定所述一个或多个活动的指令。
22.权利要求20所述的***，其中，为了提供3D环境中的背景场景，能够由处理器执行的所述一个或多个指令，用于：
从所选择的真实世界视频文件的至少一部分提取摄像机信息，以形成透明3D场景；
基于所提取的信息，将来自所选择的真实世界视频的一个或多个对象和特征中的至少一者搭建到透明3D场景中，其中，所述对象和特征基于所选择的真实世界视频剪辑是静态的和动态的中的至少一者；以及
通过查看器应用对所搭建的透明3D场景进行可视化。
23.权利要求20所述的***，其中，促进用户从多个化身中选择化身，或将化身嵌入3D环境。
24.权利要求20所述的***，其中，存储器进一步包括一个或多个指令，其能够由处理器执行，用于通过并入“实况多玩家”方面来促进一个或多个活动的模拟或游戏，其中，允许来自不同网络位置的多个参与者交互或在屏幕上查看各自的动作。
25.权利要求20所述的***，其中，存储器进一步包括一个或多个指令，其能够由处理器执行，以便通过并入“实况多玩家”方面来促进参与一个或多个活动的游戏或模拟，其中：
a.相同3D环境的数目被基于并行用户的数目来调节；且
b.分立的环境被基于特定的预定规则分配给用户。
26.权利要求20所述的***，其中，存储器进一步包括一个或多个指令，其能够由处理器执行，用于并入用于各个用户的信息标签，所述信息标签与屏幕上的用户的化身相关，其中，信息标签基于用户在屏幕呈现上的距离来改变外观。
27.权利要求20所述的***，其中，存储器进一步包括引导各个用户在屏幕呈现上实时移动的指令。
28.权利要求20所述的***，其中，所述一个或多个指令进一步允许对象被放置在屏幕上，用于显示广告图像、对象或视频剪辑，以给出其在所选择的视频文件中所示的环境中的外观。
29.权利要求20所述的***，其中，所述一个或多个指令帮助各个用户具有视频游戏功能，包括点数***、角色和声效，用于在健身相关游戏或模拟中在真实世界视频上使用。
30.权利要求20所述的***，其中，所述一个或多个指令执行地图覆盖功能，用于允许各个用户追踪沿着路径或活动的进展。
31.权利要求20所述的***，其中，指令使用到Google Earth或Google Maps的链接实现地图功能，用于允许各个用户追踪沿着路径或活动的进展。
32.权利要求20所述的***，其中，能够由处理器执行的指令允许参与活动的用户通过网络彼此交谈。
33.权利要求20所述的***，其中，能够由处理器执行的指令促进交互功能，用于使得用户能在离该用户的特定距离范围内对其他用户“加标签”或向其他用户发送预定消息。
34.权利要求20所述的***，其中，指令允许参与游戏的用户看到通过网络来自其他用户的实况视频馈送。
35.权利要求20所述的***，其中，能够由处理器执行的指令促使用户参与一个或多个自己存储的先前的表现以及其他用户在游戏或模拟中的表现。
36.权利要求20所述的***，其中，指令进一步基于与用户相关联的装置中的RFID标签检测用户的存在。
37.权利要求20所述的***，其中，指令允许参与者具有这样的能力：设置定制游戏事件和定制游戏组中的至少一者，用于使得其他用户能够加入。
38.权利要求20所述的***，其中，指令进一步显示屏幕上的信息，包括：来自互联网的数据，包括来自社交网站的RSS、XML和馈送；以及，用户的当前和过去的表现，用户的当前和过去的信息实时更新。
39.权利要求20所述的***，其中，指令使得用户能够设置表现的目标或目的，其中，允许用户向包括一个或多个社交网络的互联网广播与目标和目的设置以及成就对应的信息。
40.权利要求20所述的***，其中，能够由处理器执行的指令在屏幕上向用户显示来自于其上具有该用户的帐号的社交网络的评论、消息、状态更新。
41.权利要求39所述的***，其中，能够由处理器执行的指令在屏幕上显示对用户张贴的目标和成就的回复或评论。
42.权利要求20所述的***，其中，能够由处理器执行的指令存储、显示、分析和分享关于用户表现的数据。
CN201280052028.9A 2011-09-08 2012-09-10 用于在真实世界视频剪辑内对合成对象进行可视化的***和方法 Pending CN104067317A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161532422P 2011-09-08 2011-09-08
US61/532,422 2011-09-08
PCT/IB2012/002195 WO2013034981A2 (en) 2011-09-08 2012-09-10 System and method for visualizing synthetic objects withinreal-world video clip

Publications (1)

Publication Number Publication Date
CN104067317A true CN104067317A (zh) 2014-09-24

Family

ID=47832666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280052028.9A Pending CN104067317A (zh) 2011-09-08 2012-09-10 用于在真实世界视频剪辑内对合成对象进行可视化的***和方法

Country Status (7)

Country Link
US (3) US9586141B2 (zh)
EP (1) EP2754131B1 (zh)
CN (1) CN104067317A (zh)
AU (1) AU2012306059A1 (zh)
CA (1) CA2883484A1 (zh)
SG (1) SG11201400429RA (zh)
WO (1) WO2013034981A2 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581196A (zh) * 2014-12-30 2015-04-29 北京像素软件科技股份有限公司 一种视频图像处理的方法及装置
CN106066634A (zh) * 2015-04-21 2016-11-02 索尼电脑娱乐公司 选择用于3d打印的对象的设备和方法
CN107407554A (zh) * 2015-02-16 2017-11-28 英特尔公司 对多相机成像***进行仿真
CN107710280A (zh) * 2015-05-26 2018-02-16 “实验室24”股份有限公司 对象可视化方法
CN108553886A (zh) * 2018-03-08 2018-09-21 拉扎斯网络科技（上海）有限公司 一种游戏场景的绘制方法、装置及存储介质
CN109271156A (zh) * 2018-09-25 2019-01-25 Oppo广东移动通信有限公司 游戏平台的底层调用方法及相关产品

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11201400429RA (en) 2011-09-08 2014-04-28 Paofit Holdings Pte Ltd System and method for visualizing synthetic objects withinreal-world video clip
US9339691B2 (en) 2012-01-05 2016-05-17 Icon Health & Fitness, Inc. System and method for controlling an exercise device
US20130222418A1 (en) * 2012-02-24 2013-08-29 Ihigh.Com, Inc. Providing a Graphic for Video Production
US8668136B2 (en) * 2012-03-01 2014-03-11 Trimble Navigation Limited Method and system for RFID-assisted imaging
US9299160B2 (en) 2012-06-25 2016-03-29 Adobe Systems Incorporated Camera tracker target user interface for plane detection and object creation
US20140123507A1 (en) * 2012-11-02 2014-05-08 Qualcomm Incorporated Reference coordinate system determination
US9171090B2 (en) 2012-11-08 2015-10-27 At&T Intellectual Property I, Lp Method and apparatus for sharing media content
US9254409B2 (en) 2013-03-14 2016-02-09 Icon Health & Fitness, Inc. Strength training apparatus with flywheel and related methods
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム
KR101627169B1 (ko) * 2013-09-27 2016-06-07 한국과학기술연구원 증강현실 컨텐츠 저작 및 제공 시스템
CN105848733B (zh) 2013-12-26 2018-02-13 爱康保健健身有限公司 缆绳器械中的磁性阻力机构
WO2015138339A1 (en) 2014-03-10 2015-09-17 Icon Health & Fitness, Inc. Pressure sensor to quantify work
NO20140637A1 (no) * 2014-05-21 2015-11-23 The Future Group As Virtuell protokoll
CN104008296A (zh) * 2014-06-08 2014-08-27 蒋小辉 将视频转化为游戏的方法和一种视频类游戏及其实现方法
CN106470739B (zh) 2014-06-09 2019-06-21 爱康保健健身有限公司 并入跑步机的缆索***
WO2015195965A1 (en) 2014-06-20 2015-12-23 Icon Health & Fitness, Inc. Post workout massage device
GB201415586D0 (en) * 2014-09-03 2014-10-15 Green Tim Game system
CN104469385B (zh) * 2014-12-11 2018-11-13 北京星网锐捷网络技术有限公司 基于虚拟化技术的图形显示方法及装置
US10275801B2 (en) * 2014-12-19 2019-04-30 Ca, Inc. Adapting user terminal advertisements responsive to measured user behavior
US10391361B2 (en) 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
US10147210B1 (en) 2015-03-13 2018-12-04 Amazon Technologies, Inc. Data visualization system
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US9729863B2 (en) * 2015-08-04 2017-08-08 Pixar Generating content based on shot aggregation
CN105162685A (zh) * 2015-08-06 2015-12-16 深圳市晶源动力电子科技有限公司 视频合成信息朋友圈分享互动跑步的方法
TWI582710B (zh) * 2015-11-18 2017-05-11 Bravo Ideas Digital Co Ltd The method of recognizing the object of moving image and the interactive film establishment method of automatically intercepting target image
US10384135B2 (en) * 2015-12-31 2019-08-20 Callidus Software, Inc. Adaptive wizard for gamification site creation
US10625137B2 (en) 2016-03-18 2020-04-21 Icon Health & Fitness, Inc. Coordinated displays in an exercise device
US10272317B2 (en) 2016-03-18 2019-04-30 Icon Health & Fitness, Inc. Lighted pace feature in a treadmill
US10493349B2 (en) 2016-03-18 2019-12-03 Icon Health & Fitness, Inc. Display on exercise device
US10210660B2 (en) 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
GB2558193B (en) * 2016-09-23 2022-07-20 Displaylink Uk Ltd Compositing an image for display
US10671705B2 (en) 2016-09-28 2020-06-02 Icon Health & Fitness, Inc. Customizing recipe recommendations
KR102464296B1 (ko) * 2017-01-24 2022-11-04 론자 리미티드 가상 또는 증강 현실 디스플레이를 사용하여 산업적 메인터넌스를 수행하기 위한 방법들 및 시스템들
CN107158704A (zh) * 2017-05-14 2017-09-15 深圳游视虚拟现实技术有限公司 一种虚拟现实游戏***
WO2019012330A2 (en) * 2017-07-12 2019-01-17 Banuba Limited COMPUTER-IMPLEMENTED METHODS AND CONFIGURED COMPUTER SYSTEMS TO GENERATE SYNTHETIC REPRESENTATIONS WITH PHOTOREALIST IMITATION OF SUBJECTS
US10831333B2 (en) * 2017-07-26 2020-11-10 Adobe Inc. Manipulating a camera perspective within a three-dimensional space
US10575033B2 (en) 2017-09-05 2020-02-25 Adobe Inc. Injecting targeted ads into videos
US11397511B1 (en) * 2017-10-18 2022-07-26 Nationwide Mutual Insurance Company System and method for implementing improved user interface
US10373390B2 (en) * 2017-11-17 2019-08-06 Metatellus Oü Augmented reality based social platform
US10535190B2 (en) 2017-12-28 2020-01-14 Rovi Guides, Inc. Systems and methods for changing a users perspective in virtual reality based on a user-selected position
CN110384921B (zh) * 2018-04-23 2023-03-28 北京五一视界数字孪生科技股份有限公司 一种基于自适应边缘视野遮挡的vr应用防眩晕技术
US11089240B2 (en) * 2018-05-07 2021-08-10 Craig Randall Rogers Television video and/or audio overlay entertainment device and method
US20190361847A1 (en) * 2018-05-23 2019-11-28 Stephen C. Thomson Spatial Linking Visual Navigation System and Method of Using the Same
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
CA3114040A1 (en) 2018-09-26 2020-04-02 Guardian Glass, LLC Augmented reality system and method for substrates, coated articles, insulating glass units, and/or the like
US20200126302A1 (en) * 2018-10-20 2020-04-23 Anuj Sharma Augmented Reality Platform and Method
EP3772042A3 (en) 2019-08-02 2021-04-07 Samsung Electronics Co., Ltd. Electronic apparatus for augmented reality and control method thereof
US11380070B2 (en) 2019-10-30 2022-07-05 The Paddock LLC Real-time augmentation of a virtual object onto a real-world object
US20210287453A1 (en) * 2020-03-13 2021-09-16 Magic Leap, Inc. Three dimensional diorama for spatial computing assets
CN112348926B (zh) * 2020-11-23 2024-06-21 杭州优频科技有限公司 一种基于安卓的视频剪接类app的处理方法和装置
US12030577B2 (en) 2021-09-30 2024-07-09 Snap Inc. AR based performance modulation of a personal mobility system
US11813528B2 (en) * 2021-11-01 2023-11-14 Snap Inc. AR enhanced gameplay with a personal mobility system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957378A (zh) * 2004-07-13 2007-05-02 上条有 图像处理程序、记录介质及装置
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式***和方法
CN101740082A (zh) * 2009-11-30 2010-06-16 孟智平 一种基于浏览器的视频剪辑方法及***
US20100277468A1 (en) * 2005-08-09 2010-11-04 Total Immersion Method and devices for visualising a digital model in a real environment

Family Cites Families (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5943096A (en) 1995-03-24 1999-08-24 National Semiconductor Corporation Motion vector based frame insertion process for increasing the frame rate of moving images
DE69724672T2 (de) 1996-05-17 2004-07-15 Matsushita Electric Industrial Co., Ltd., Kadoma Videokodierungsverfahren zur Kodierung von Form- und Textursignalen unter Verwendung verschiedener Moden
US6111582A (en) 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
US6473458B1 (en) 1997-07-09 2002-10-29 Nippon Telegraph And Telephone Corporation Method for encoding and decoding moving vector, encoder and decoder for moving vector, and recording medium stored with encoding and decoding programs for moving vector
US6122400A (en) 1997-09-26 2000-09-19 Sarnoff Corporation Compression encoder bit allocation utilizing colormetric-adaptive weighting as in flesh-tone weighting
US6130911A (en) 1997-11-21 2000-10-10 Sharp Laboratories Of America, Inc. Method and apparatus for compressing reference frames in an interframe video codec
US6356297B1 (en) 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
KR100328417B1 (ko) 1998-03-05 2002-03-16 마츠시타 덴끼 산교 가부시키가이샤 화상부호화장치및화상복호화장치, 화상부보화방법 및 화상복호화방법, 및 데이터기억매체
US6266068B1 (en) 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
US6192080B1 (en) 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
US20080097830A1 (en) * 1999-09-21 2008-04-24 Interpols Network Incorporated Systems and methods for interactively delivering self-contained advertisement units to a web browser
US6442203B1 (en) 1999-11-05 2002-08-27 Demografx System and method for motion compensation and frame rate conversion
AU2002303082A1 (en) 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US20020149696A1 (en) 2001-02-23 2002-10-17 Eastman Kodak Company Method for presenting improved motion image sequences
US20020172288A1 (en) 2001-03-08 2002-11-21 Nyeongku Kwon Device and method for performing half-pixel accuracy fast search in video coding
US20020164067A1 (en) 2001-05-02 2002-11-07 Synapix Nearest neighbor edge selection from feature tracking
DE60227531D1 (de) 2001-07-30 2008-08-21 Koninkl Philips Electronics Nv Bewegungskompensation für plasmaanzeige
TW540241B (en) 2001-11-15 2003-07-01 Chi Mei Optoelectronics Corp Display method for stablizing MPEG video output via an LCD device
JP4280901B2 (ja) * 2002-02-05 2009-06-17 株式会社セガ 音声チャットシステム
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
US6811617B2 (en) 2002-07-02 2004-11-02 Maytag Corporation Method of operating a dishwasher pump and filtration system
US7024054B2 (en) 2002-09-27 2006-04-04 Eastman Kodak Company Method and system for generating a foreground mask for a composite image
KR100490726B1 (ko) * 2002-10-17 2005-05-24 한국전자통신연구원 비디오 기반의 사격 게임 장치 및 그 방법
JP3667330B2 (ja) * 2003-02-19 2005-07-06 コナミ株式会社 ゲーム課金プログラム及びビデオゲーム装置
FR2857147A1 (fr) 2003-07-01 2005-01-07 Thomson Licensing Sa Procede de traitement d'une sequence d'images video dans un panneau d'affichage a cristaux liquides
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
KR20060121207A (ko) 2003-12-19 2006-11-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 인터랙티브 비디오
US20080102947A1 (en) * 2004-03-08 2008-05-01 Katherine Hays Delivery Of Advertising Into Multiple Video Games
CN102695054B (zh) 2004-07-20 2015-01-28 高通股份有限公司 用于时间视频压缩中运动矢量预测的方法和设备
US7022048B1 (en) 2004-07-26 2006-04-04 John Fernandez Video fitness machine
TWI268715B (en) 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
US7429215B2 (en) * 2004-09-24 2008-09-30 Cryptologic Inc. System and method for providing side wagering in multi-player wager-based games
US20080246759A1 (en) 2005-02-23 2008-10-09 Craig Summers Automatic Scene Modeling for the 3D Camera and 3D Video
DE102005009437A1 (de) 2005-03-02 2006-09-07 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Einblenden von AR-Objekten
US20060223635A1 (en) 2005-04-04 2006-10-05 Outland Research method and apparatus for an on-screen/off-screen first person gaming experience
US7676081B2 (en) 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
WO2007003340A2 (en) 2005-07-01 2007-01-11 Nero Ag Video encoder and video decoder
US8696464B2 (en) * 2005-08-19 2014-04-15 Nintendo Co., Ltd. Enhanced method and apparatus for selecting and rendering performance data
TW200727962A (en) * 2005-09-14 2007-08-01 Sega Corp Online game system
US20070076796A1 (en) 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
CN101317450B (zh) 2005-11-29 2010-09-15 日本先锋公司 记录装置、再现装置、记录方法
US8265151B1 (en) 2005-12-14 2012-09-11 Ambarella Taiwan Ltd. Mode decision using approximate 1/2 pel interpolation
US8204104B2 (en) 2006-03-09 2012-06-19 Sony Corporation Frame rate conversion system, method of converting frame rate, transmitter, and receiver
US7804998B2 (en) * 2006-03-09 2010-09-28 The Board Of Trustees Of The Leland Stanford Junior University Markerless motion capture system
JP5188033B2 (ja) 2006-04-24 2013-04-24 株式会社日立製作所 記録再生装置、送出装置及び伝送システム。
US8601379B2 (en) 2006-05-07 2013-12-03 Sony Computer Entertainment Inc. Methods for interactive communications with real time effects and avatar environment interaction
JP5179020B2 (ja) 2006-05-09 2013-04-10 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステムおよびゲーム処理方法
JP4597103B2 (ja) 2006-08-30 2010-12-15 Ｏｋｉセミコンダクタ株式会社 動きベクトル探索方法及び装置
KR20080035891A (ko) 2006-10-20 2008-04-24 포스데이타 주식회사 움직임의 스마트 서치를 지원하는 영상 재생 장치 및 방법
JP2008261984A (ja) 2007-04-11 2008-10-30 Hitachi Ltd 画像処理方法及びこれを用いた画像表示装置
US8401304B2 (en) * 2007-07-27 2013-03-19 Sportvision, Inc. Detecting an object in an image using edge detection and morphological processing
US8514939B2 (en) 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8073190B2 (en) 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US9123159B2 (en) 2007-11-30 2015-09-01 Microsoft Technology Licensing, Llc Interactive geo-positioning of imagery
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
US20090295791A1 (en) * 2008-05-29 2009-12-03 Microsoft Corporation Three-dimensional environment created from video
US20150170256A1 (en) 2008-06-05 2015-06-18 Aisle411, Inc. Systems and Methods for Presenting Information Associated With a Three-Dimensional Location on a Two-Dimensional Display
EP2340092A4 (en) * 2008-06-30 2016-02-24 Gamelogic Inc SYSTEM AND METHOD FOR USING SOCIAL NETWORKS IN A GAME ENVIRONMENT
JP4385077B1 (ja) 2008-08-27 2009-12-16 三菱電機株式会社 動きベクトル検出装置および画像処理装置
US20100105473A1 (en) * 2008-10-27 2010-04-29 Christopher Murphy Video role play
WO2010049850A1 (en) 2008-10-28 2010-05-06 Koninklijke Philips Electronics N.V. Generation of occlusion data for image properties
WO2010073432A1 (ja) * 2008-12-24 2010-07-01 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US20100182340A1 (en) 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
US20100208033A1 (en) 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US20100271367A1 (en) * 2009-04-22 2010-10-28 Sony Computer Entertainment America Inc. Method and apparatus for combining a real world event and a computer simulation
KR20120013966A (ko) 2009-05-01 2012-02-15 톰슨 라이센싱 3ｄｖ를 위한 기준 화상 리스트
US8542252B2 (en) * 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US20120315981A1 (en) * 2010-02-12 2012-12-13 Wms Gaming, Inc. Simultaneous game play for wagering game systems
US8994790B2 (en) * 2010-02-25 2015-03-31 The Board Of Trustees Of The Leland Stanford Junior University Motion capture with low input data constraints
EP2383696A1 (en) * 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
JP4893847B2 (ja) 2010-05-13 2012-03-07 株式会社Ｊｖｃケンウッド 動きベクトル補正装置及び方法、並びに、映像信号処理装置及び方法
EP2458877A1 (en) 2010-11-26 2012-05-30 Thomson Licensing Occlusion layer extension
US8629886B2 (en) 2010-12-07 2014-01-14 Microsoft Corporation Layer combination in a surface composition system
US9118970B2 (en) 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene
CN103858431A (zh) 2011-08-09 2014-06-11 三星电子株式会社 多视点数据编码方法和装置以及解码方法和装置
WO2013028159A1 (en) * 2011-08-19 2013-02-28 Graffiti Labs, Inc. 2.5-dimensional graphical object social network
SG11201400429RA (en) 2011-09-08 2014-04-28 Paofit Holdings Pte Ltd System and method for visualizing synthetic objects withinreal-world video clip
US9087412B2 (en) 2011-09-26 2015-07-21 Nokia Technologies Oy Method and apparatus for grouping and de-overlapping items in a user interface
US9401041B2 (en) 2011-10-26 2016-07-26 The Regents Of The University Of California Multi view synthesis method and display devices with spatial and inter-view consistency
US9171384B2 (en) 2011-11-08 2015-10-27 Qualcomm Incorporated Hands-free augmented reality for wireless communication devices
US9300980B2 (en) 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
US9330500B2 (en) 2011-12-08 2016-05-03 The Board Of Trustees Of The University Of Illinois Inserting objects into content
KR102038856B1 (ko) 2012-02-23 2019-10-31 찰스 디. 휴스턴 환경을 생성하고 환경내 위치기반 경험을 공유하는 시스템 및 방법
KR101818778B1 (ko) 2012-03-23 2018-01-16 한국전자통신연구원 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
US9153073B2 (en) 2012-05-23 2015-10-06 Qualcomm Incorporated Spatially registered augmented video
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US9317962B2 (en) 2013-08-16 2016-04-19 Indoor Technologies Ltd 3D space content visualization system
US20140306995A1 (en) 2013-04-16 2014-10-16 Dumedia, Inc. Virtual chroma keying in real time
US9761049B2 (en) 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
WO2015183194A1 (en) 2014-05-30 2015-12-03 Paofit Technology Pte Ltd Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101031866A (zh) * 2004-05-28 2007-09-05 新加坡国立大学 交互式***和方法
CN1957378A (zh) * 2004-07-13 2007-05-02 上条有 图像处理程序、记录介质及装置
US20100277468A1 (en) * 2005-08-09 2010-11-04 Total Immersion Method and devices for visualising a digital model in a real environment
CN101740082A (zh) * 2009-11-30 2010-06-16 孟智平 一种基于浏览器的视频剪辑方法及***

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581196A (zh) * 2014-12-30 2015-04-29 北京像素软件科技股份有限公司 一种视频图像处理的方法及装置
CN107407554A (zh) * 2015-02-16 2017-11-28 英特尔公司 对多相机成像***进行仿真
CN106066634A (zh) * 2015-04-21 2016-11-02 索尼电脑娱乐公司 选择用于3d打印的对象的设备和方法
CN106066634B (zh) * 2015-04-21 2020-08-25 索尼互动娱乐股份有限公司 选择用于3d打印的对象的设备和方法
CN107710280A (zh) * 2015-05-26 2018-02-16 “实验室24”股份有限公司 对象可视化方法
CN107710280B (zh) * 2015-05-26 2022-06-03 杜瓦娱乐有限公司 对象可视化方法
CN108553886A (zh) * 2018-03-08 2018-09-21 拉扎斯网络科技（上海）有限公司 一种游戏场景的绘制方法、装置及存储介质
CN108553886B (zh) * 2018-03-08 2021-12-24 拉扎斯网络科技（上海）有限公司 一种游戏场景的绘制方法、装置及存储介质
CN109271156A (zh) * 2018-09-25 2019-01-25 Oppo广东移动通信有限公司 游戏平台的底层调用方法及相关产品
WO2020063088A1 (zh) * 2018-09-25 2020-04-02 Oppo广东移动通信有限公司 游戏平台的底层调用方法及相关产品

Also Published As

Publication number Publication date
EP2754131B1 (en) 2022-10-26
US20170173472A1 (en) 2017-06-22
SG11201400429RA (en) 2014-04-28
US20140228118A1 (en) 2014-08-14
EP2754131A2 (en) 2014-07-16
WO2013034981A3 (en) 2013-06-06
US9586141B2 (en) 2017-03-07
EP2754131A4 (en) 2015-04-08
US10828570B2 (en) 2020-11-10
AU2012306059A1 (en) 2014-03-27
US20150105155A1 (en) 2015-04-16
CA2883484A1 (en) 2013-03-14
US9566517B2 (en) 2017-02-14
WO2013034981A2 (en) 2013-03-14

Similar Documents

Publication Publication Date Title
CN104067317A (zh) 用于在真实世界视频剪辑内对合成对象进行可视化的***和方法
US10810798B2 (en) Systems and methods for generating 360 degree mixed reality environments
CN103886009B (zh) 基于所记录的游戏玩法自动产生为云游戏建议的小游戏
US11992761B2 (en) Artificial intelligence (AI) controlled camera perspective generator and AI broadcaster
US11285390B2 (en) Artificial intelligence (AI) controlled camera perspective generator and AI broadcaster
CN102656542A (zh) 用于演示的相机导航
CN105358227A (zh) 分享三维游戏过程
Tuite et al. Reconstructing the world in 3D: bringing games with a purpose outdoors
US20220174361A1 (en) Spectator filter video compositing
Nguyen et al. Real-time 3D human capture system for mixed-reality art and entertainment
US20230162433A1 (en) Information processing system, information processing method, and information processing program
US20220126206A1 (en) User specific advertising in a virtual environment
JP2023075441A (ja) 情報処理システム、情報処理方法、情報処理プログラム
Chung Emerging Metaverse XR and Video Multimedia Technologies
Mancas et al. Kinact: A saliency-based social game
Nnadi et al. Effect of dynamic camera control on spatial reasoning in 3D spaces
Zhao How augmented reality redefines interaction design in mobile games
Noam Into the Next Generation of Online Video: OTT Video 3.0
Ayad Using Augmented Reality in Enhancing Museum Experience

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140924