CN108021229A - 通过脱机计算记录高保真度数字沉浸式体验 - Google Patents

通过脱机计算记录高保真度数字沉浸式体验 Download PDF

Info

Publication number
CN108021229A
CN108021229A CN201711043056.5A CN201711043056A CN108021229A CN 108021229 A CN108021229 A CN 108021229A CN 201711043056 A CN201711043056 A CN 201711043056A CN 108021229 A CN108021229 A CN 108021229A
Authority
CN
China
Prior art keywords
augmented reality
video
data
reality object
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711043056.5A
Other languages
English (en)
Other versions
CN108021229B (zh
Inventor
J·贝若
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Disney Enterprises Inc
Original Assignee
Disney Enterprises Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Disney Enterprises Inc filed Critical Disney Enterprises Inc
Publication of CN108021229A publication Critical patent/CN108021229A/zh
Application granted granted Critical
Publication of CN108021229B publication Critical patent/CN108021229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及通过脱机计算记录高保真度数字沉浸式体验。本发明描述用于通过脱机计算记录高保真度增强现实或虚拟现实体验的***和方法。在一种实现方式中，增强现实***渲染重叠在真实世界环境上的增强现实对象；在渲染增强现实对象期间采集真实世界环境的视频和音频数据；并且存储与所渲染的增强现实对象相关联的增强现实对象数据。增强现实***将增强现实对象数据发送到服务器，该服务器基于发送的增强现实对象数据来重新渲染增强现实对象，以创建重新渲染的增强现实对象数据。增强现实***接收重新渲染的增强现实对象数据或与采集的视频和音频数据复合的重新渲染的增强现实对象数据的视频。

Description

通过脱机计算记录高保真度数字沉浸式体验
技术领域
本公开总体涉及增强现实和虚拟现实技术，并且更具体地，一些实施例涉及用于通过脱机计算来记录高保真度增强现实或虚拟现实体验的***和方法。
背景技术
使用智能电话、头戴式显示器或其它能够增强现实的装置沉浸在增强现实或虚拟现实中可以是有吸引力和独特的体验。
发明内容
本发明描述用于通过脱机计算来记录高保真度增强现实或虚拟现实体验的***和方法。
在第一实施例中，增强现实***渲染重叠在真实世界环境上的增强现实对象；在渲染增强现实对象期间采集真实世界环境的视频和音频数据；并且存储与所渲染的增强现实对象相关联的增强现实对象数据。增强现实***通过网络将增强现实对象数据发送到服务器，该服务器基于发送的增强现实对象数据来重新渲染增强现实对象，以创建重新渲染的增强现实对象数据。增强现实***通过网络接收重新渲染的增强现实对象数据或与采集的视频和音频数据复合的重新渲染的增强现实对象数据的视频。
在第一实施例的一种实现方式中，增强现实***通过网络将所采集的视频和音频数据发送到服务器，并且增强现实***接收与所采集的视频和音频数据复合的重新渲染的增强现实对象数据的视频。在第一实施例的另一种实现方式中，增强现实***记录所采集的视频和音频数据并且通过网络接收重新渲染的增强现实对象数据。在该实现方式中，增强现实***可将所接收的、重新渲染的增强现实对象数据与所记录的视频和音频数据复合，以创建高保真度视频记录。
在第二实施例中，在利用重叠的增强现实对象采集真实世界环境的视频和音频数据期间，服务器接收与通过装置渲染的增强现实对象相关联的增强现实对象数据。服务器基于所接收的增强现实对象数据重新渲染增强现实对象，以创建重新渲染的增强现实对象数据。在第二实施例的一种实现方式中，服务器通过网络将重新渲染的增强现实对象数据发送到装置。在第二实施例的另一种实现方式中，服务器接收所采集的视频和音频数据，并且将重新渲染的增强现实对象数据与所接收的所采集视频和音频数据复合以创建视频。
如本文所使用的，术语“增强现实”或“AR”通常是指由计算机生成的或数字信息(诸如视频、声音和图形)增强或补充的物理真实世界环境的视图。数字信息直接注册在用户的物理真实世界环境中，使得用户可实时与数字信息交互。数字信息可采取图像、音频、触觉反馈、视频、文本等的形式。例如，数字对象的三维表示可实时重叠在用户对真实世界环境的视图上。
如本文所使用的，术语“虚拟现实”或“VR”通常是指用户在真实或虚构的环境中的存在的模拟，使得用户可与其交互。
所公开方法的其它特征和方面将通过结合附图的以下详细描述而变得显而易见，该附图通过举例的方式示出根据本公开的实施例的特征。发明内容不旨在限制所请求保护的公开的范围，该范围仅由所附权利要求限定。
附图说明
参考以下附图根据一个或多个不同实施例详细描述本公开。这些附图是为了图示的目的而提供的，并且仅描绘本公开的典型或示例实施例。
图1A示出根据本公开的用于通过脱机计算记录高保真度增强现实体验的***。
图1B是示出根据本公开的实施例的用于增强现实装置和服务器的组件的示例架构的框图。
图2是示出可使用图1A至图1B的增强现实装置实现的示例方法的操作流程图。
图3是示出可由图1A至图1B的服务器实现的示例方法的操作流程图。
图4示出可用于实现本文所公开方法的各种特征的示例计算模块。
附图不是详尽的并且不将本公开限制于所公开的精确形式。
具体实施方式
一旦实时AR或VR体验结束，就没有方法完全重温或回顾该独特体验。一些装置可记录增强现实体验的短视频片段。然而，由于增强现实装置的处理或存储器限制，在增强现实装置的视图中渲染(render)的计算机生成的影像或其它数字对象被以低保真度记录。
本文所公开的技术的实施例涉及通过脱机(off-device)计算来记录高保真度AR体验或VR体验。图1A示出根据本公开的示例性***100的高级框图。在***100中，AR装置200采集(capture)呈现给用户的AR体验。AR装置200可包括头戴式显示器(HMD)、智能电话、平板计算机、360度式相机或其它支持AR的装置。在一些实现方式中，可使用多个装置200来采集单个AR体验。
可采集(例如，记录和永久存储，或高速缓存和流化)与AR体验相关联的真实世界数据，且将其保存为与不同数据类型对应的独立数据文件。例如，音频数据(例如，使用智能电话麦克风采集)，视频数据(例如，使用HMD相机采集)，运动传感器数据和GPS传感器数据可存储在独立文件中。由AR装置200采集的其它数据可包括生理传感器数据(例如，用户的心率)和用户物理空间的几何数据以及该物理空间中的真实世界对象。在实现方式中，独立文件可包括可用于使不同文件一起同步的时间代码或其它时态数据(temporal data)。
将不同数据流保存在独立文件中可提供若干益处。例如，如果在所保存数据流之一中存在失败点(例如，传感器数据被损坏)，则剩余数据流仍可被保存并且稍后用于复合AR体验。此外，其可为渲染AR对象的AR装置200释放处理带宽。另外，其可有利于记录AR体验的多个AR装置200(例如，记录视频的HMD和记录音频的智能电话)。在替代实现方式中，与不同数据流对应的真实世界数据可保存在相同文件中。例如，真实世界环境的视听记录可存储在一个文件中。
AR装置200还可采集或记下与数字对象相关联的AR对象数据207，该数字对象在所记录AR体验期间增强用户对真实世界环境的视图。以举例的方式，数字对象可包括重叠在真实世界环境上的信息，诸如2D图形或3D图形(例如移动的动画角色)、图像、声音、可选标记、触觉反馈、嗅觉反馈等。
在一种实现方式中，记下的AR对象数据207包括在呈现AR体验期间渲染且重叠在用户的真实世界环境上的数字对象的元数据。元数据可包括例如AR对象的标识符(例如，唯一的ID或名称)、AR对象类型的标识符(例如，图像或声音)、空间数据(例如，AR对象相对于真实世界环境或视频帧的坐标)、时态数据(例如，指定何时呈现AR对象的时间代码)以及可用于注册、识别或渲染AR对象的其它元数据。在另外的实现方式中，也可记录数字对象本身的数据(例如，记录为视频和/或音频文件)。
在AR采集体验之后或期间，AR装置200通过通信网络130将记录的或流化的数据文件205和/或记下的AR对象数据207发送到服务器300。服务器300可重新渲染AR对象以创建重新渲染的AR对象文件307，并且将该文件与真实世界数据(例如，视频和音频)复合以创建脱机复合的AR视频305。服务器300还可调整复合的AR视频305(例如，白平衡、颜色校正、曝光、音频频率冲突、锐度等)。以这种方式，可在比AR装置200能够采集的保真度更高(例如，更高分辨率、更高帧率、更高比特率、更高平均或峰值信噪比等)的情况下记录或编辑AR体验。在实现方式中，服务器300可针对多个AR装置200重新渲染AR对象和复合高保真度AR视频。
以例示性示例的方式，在主题公园穿戴AR HMD的用户可被呈现具有使用HMD渲染和/或记录的AR体验。AR体验可将动画角色重叠在主题公园的环境上。例如，动画角色可在游览中引导用户。与AR体验相关联的数据可被发送到本地或远程服务器，该服务器重新渲染在AR体验期间呈现的AR对象(例如，来自动画角色的图像和声音)，并且基于该重新渲染创建该AR体验的高保真度视频记录。此后，可使用户以在线方式(例如，作为基于云的服务器的一部分)或通过物理驱动器(例如，闪存驱动器)获得主题公园AR体验的视频。
应当注意，虽然在***100中示出服务器生成脱机复合的AR视频305，但是在其它实现方式中，可使用其它装置来生成视频305。例如，用户的工作站、平板计算机或智能手机可用于重新渲染使用HMD采集的AR体验。
图1B是框图，其示出用于AR装置200和服务器300的组件的示例架构，该AR装置200和服务器300可在示例实现方式中用于通过脱机计算来记录高保真度AR体验。AR装置200可为可(例如，通过显示重叠在真实世界环境上的AR影像)生成用户的真实世界环境的AR视图的任何显示***(例如，HMD、智能电话、平板计算机、投影仪等)。在一个具体实现方式中，AR装置200包括头戴式显示***(例如，眼镜、护目镜、遮阳板、头盔、智能手机等)。在该实现方式中，HMD可为系留式(tethered)或非系留式的。
AR装置200可包括显示器210、贮存器220、定位模块230、处理模块240、相机250、麦克风260、运动传感器270和连通接口280。
显示器210可为AR显示器诸如光学透视显示器(例如，使用波导显示重叠在真实世界环境上的数字对象的透明OLED或LED屏幕)或视频透视显示器，其用重叠的数字对象补充用户的真实世界环境的视频。
贮存器220可包括易失性存储器(例如RAM)、非易失性存储器(例如闪存贮存器)或上述的某些组合。在各种实施例中，贮存器220存储AR应用程序225，在由处理模块240(例如，数字信号处理器)执行时，该AR应用程序225生成可记录的AR体验。例如，AR体验可显示重叠的影像并且生成定向声音。AR应用程序225的执行还可显示图形用户界面(GUI)，其准许用户选择、创建和/或注册在用户的真实世界环境中的数字对象。例如，在视觉数字对象的情况下，用户可选择数字对象的一般形状、大小、定位、纹理和颜色。作为另一示例，用户可将声音与特定位置或视觉对象相关联。替换地，可从互联网自动生成或检索数字对象。
通过执行AR应用程序225显示的GUI可包括可选择的控件，该控件用于：启动AR体验的记录或流，停止AR体验的记录或流，启用/禁用脱机(例如，服务器)生成高保真度记录，显示到高保真度记录的链接等。在特定实现方式中，AR应用程序225可生成何时在高保真度记录可用于本地回放、从服务器下载或从服务器流化的通知。
此外，贮存器220可存储与记录的AR体验相关联的数据。例如，真实世界环境的数据可被采集为音频文件226、视频文件227和其它文件228(例如，具有运动传感器或GPS数据的文件)。在实现方式中，在数据被流化到服务器300的情况下，文件226至文件229可(例如，按片段)被暂时缓存。替换地，文件226至文件229可作为记录的一部分被永久地存储在贮存器220中。此外，贮存器220可存储与采集的AR体验相关联的AR对象数据229。例如，可存储所渲染AR对象的元数据(例如，AR对象标识符、时态数据、空间数据等)或数字对象本身的数据(例如，声音、图像、视频等)。
定位模块230可包括用于通过网络检索位置信息的一个或多个装置。例如，定位模块230可包括全球定位***(GPS)接收器、蜂窝接收器、网络接口卡、高度计或其中的一些组合。由模块230检索的位置信息可由处理模块240处理，以在AR体验期间确定AR装置200的地理坐标。例如，安装在贮存器220中的应用软件可使用来自GPS读数的AR装置200的位置连同偏角图(例如，存储自网络的或从网络检索的)来确定AR装置200的地理坐标。对于AR体验记录，位置信息可作为AR数据文件被保存在贮存器220中。
相机250可在AR体验期间采集真实世界环境的视频流。采集的视频流可使用合适的视频编解码器(例如，H.265/MPEG-4)进行编码，并且作为视频文件227存储在贮存器220中。另外，AR软件应用程序225可使用采集的视频流来在真实世界环境注册AR对象并将它们重叠，以创建AR环境。例如，在其中显示器210是视频显示器的实施例中，由相机采集的数字视频流用数字对象重叠。在实施例中，相机250可包括采集多个视场的全向相机或多个相机。
麦克风260可从AR装置200的用户采集声音输入。麦克风260可为将声音转换为被转换成数字形式的电信号的任何换能器。例如，麦克风260可为包括放大器和模数转换器的数字麦克风。替换地，处理模块240可将由麦克风260生成的电信号数字化。经数字化的音频流可使用合适的音频编解码器(例如，MP3或FLAC)进行编码，且作为音频文件226存储在贮存器220中。
运动传感器270生成表示AR装置200的运动或位置的电子信号。这些电子输入信号可在AR体验期间由处理模块240的电路接收和处理，以确定AR装置200的用户的运动以及AR装置200在北-东-南-西(NESW)和上-下平面中的绝对定位。对于特定AR体验记录，这种定位信息可作为AR数据文件保存在贮存器220中。在各种实施例中，运动传感器270可包括一个或多个陀螺仪、加速度计和磁力计。
连通接口280可通过使用一个或多个通信协议的通信介质将AR装置200连接到服务器300。例如，连通接口280可包括用于将AR装置200连接到蜂窝网络***、WiFi网络或其它网络的蜂窝收发器、网络接口卡或一些其它接口。
现在转到服务器300，它可包括贮存器320、数据库330、连通接口340、AR渲染模块350和复合模块360。服务器300可被实现为应用服务器并且可以是基于云的。服务器300可包括多个服务器(即服务器场)。
在操作期间，服务器300可通过连通接口340接收AR体验的采集文件226至采集文件228和/或AR对象数据229。AR渲染模块350可重新渲染与AR体验相关联的AR对象，并且复合模块360可将重新渲染的AR对象与所采集文件复合(composite)，以创建可用于AR装置200下载和/或流化的更高保真度AR记录(即，复合的AR视频322)。在替代实现方式中，服务器300可向AR装置200发送重新渲染的AR对象文件32。在该实现方式中，AR装置200可将重新渲染的AR对象文件与其存储的记录文件复合，以便本地化地创建高保真度AR视频记录。
贮存器320可存储从AR装置200接收的AR装置文件321、重新渲染的AR对象文件322和复合的AR视频323。此外，贮存器320可存储AR对象324，该AR对象324可用于重新渲染由AR装置记录的AR体验的AR对象。
数据库330可存储与一个或多个用户帐户相关联的用户帐户数据335，该一个或多个用户账户经注册以从服务器300接收渲染的AR对象文件322和/或复合的AR视频323。存储的用户帐户数据335可包括例如主要用户的名称的标识、帐户名称、帐户密码、与用户帐户订阅相关的信息等。以举例的方式，执行AR应用程序225、登录到注册的用户帐户中的AR装置200可将与AR体验相关联的文件上传到服务器300。AR装置200还可接收AR对象文件322和/或复合的AR视频323。
图2是示出可使用AR装置200实现的示例方法400的操作流程图。例如，方法400可由执行AR应用程序225的处理器实现。在方法400之前或与方法400同时，AR装置200可渲染AR对象并且将AR对象呈现给AR装置200的用户。
在操作410处，AR装置发起AR体验的采集(例如，记录或流化(streaming))。例如，由AR应用程序225呈现的用户界面的用户可选择用于启动记录或数据流(例如，到服务器300的数据流)的控件。在数据采集期间，与AR体验相关联的真实世界数据可被保存为与不同数据类型对应的独立数据文件。例如，由麦克风260采集的音频数据、由相机250采集的视频数据、由运动传感器270采集的运动传感器数据和GPS传感器数据可在记录或流化期间被写入独立文件。在实现方式中，独立文件可包括可用于使不同文件一起同步的时间代码或其它时态数据。替换地，独立日志文件可包括时态数据和用于将文件一起同步的到不同文件的片段的指针。
AR装置200还可记录或记下与在AR体验期间渲染的数字对象相关联的AR对象数据。在一种实现方式中，可存储所渲染的AR对象的元数据(例如，AR对象标识符、时态数据、空间数据、AR对象类型等)。此外，可存储数字对象本身的数据。例如，可将AR影像(例如，由AR应用程序225生成)、AR声音(例如，由AR应用程序225生成)以及其它AR对象保存到一个或多个文件。
在替代实现方式中，与不同数据流和/或AR对象对应的真实世界数据可全部被保存到相同的文件(例如，视频文件)中。
在操作420处，AR体验的数据采集停止。可在以下情况时停止数据采集：在用户选择由用户界面呈现的停止控件之后、在预定时间量之后、在AR装置200的贮存器达到容量之后、在AR应用程序225自动停止记录/流化之后等。
如上所述，在第一实现方式中，服务器300可创建并且使得作为AR体验的高保真度记录的复合AR视频323可用(操作430至操作450)。替换地，在第二实现方式中，服务器可创建且使得一个或多个重新渲染的AR对象文件(例如，文件322)可用，AR装置200可使用该一个或多个重新渲染的AR对象文件来创建作为AR体验的高保真度记录的复合AR视频(操作460至操作490)。
在第一实现方式中，在操作430处，AR装置200通过通信网络130将流化的或存储的记录文件(例如，视频数据、音频数据、运动传感器数据等)发送到服务器300。此外，存储的对象数据可被发送到服务器300。在其中AR装置200将文件流化到服务器300的实现方式中，操作430可在采集AR体验开始时(操作410)发起并且可继续直到所有采集的数据已经被流化到服务器(例如，操作420之后的一段时间)。还可响应于记录停止、响应于用户请求、响应于经过的预定时间量或响应于另一事件来发起数据的发送。
在操作440处，AR装置200可接收服务器创建的AR视频的可用性的通知。例如，AR应用程序225可在应用服务器完成创建AR视频之后生成该通知。在操作450处，AR装置200接收视频。该视频可从服务器300下载或者从服务器300被流化。在一种实现方式中，原始记录的创建者可将存储在服务器300上的视频与其它(注册或未注册的)用户共享。
在第二实现方式中，由于AR装置200本身将最终AR视频复合，所以可不需要上传AR体验的记录的视频或音频。因此，在该第二实现方式中，在操作460处，AR装置200可仅将AR对象数据(例如，AR对象元数据)发送到服务器。在实施例中，AR装置200还可发送记录的传感器数据(例如，加速度计或陀螺仪运动数据)，其可用于使AR对象数据对齐。可响应于记录停止、响应于用户请求、响应于经过的预定时间量或响应于另一事件发起数据的发送。
然后，在操作470，AR装置200接收重新渲染的AR对象文件。如上所述，相比于由于处理限制、时间限制、存储限制或以上的某些组合而引起的AR装置200能够渲染的保真度，重新渲染的AR对象文件可提供AR对象的更高保真度表示。例如，更高保真度的AR对象可在具有更高平均或峰值信噪比的更高帧速率或比特率下渲染。此外，更高保真度AR对象可包括：更大多边形数目、更大纹理尺寸、更大颜色深度或其它额外细节。在实现方式中，可针对多个重新渲染的AR数据类型接收多个重新渲染的AR对象文件。例如，可接收重新渲染的AR对象视频文件和重新渲染的AR音频对象文件。
在操作480处，AR装置200将一个或多个重新渲染的AR对象文件与AR体验的记录的视频文件和音频文件复合，以创建AR体验的高保真度视频文件。在一种实现方式中，由移动装置的处理器执行的软件(例如，作为应用程序225的一部分)自动地将记录的视频文件和音频文件与重新渲染的AR对象文件组合。在另一种实现方式中，用户可手动地将记录的文件与重新渲染的AR对象文件组合。在复合之后，AR装置200还可将强化或校正应用到视频文件(例如，白平衡、着色效果、音频均衡等)。在可选的操作490处，AR装置200可通知用户(例如通过AR应用程序225)AR视频可用于播放。
图3是示出可使用服务器300实现的示例方法500的操作流程图。在操作510处，服务器300接收与采集的AR体验相关联的数据文件。例如，服务器可接收记录/流化的真实世界数据(例如，视频文件、音频文件、传感器文件等)和由AR装置200在AR体验期间采集的AR对象数据(例如，AR对象的元数据或AR对象本身的数据)。
在操作520处，服务器使用从AR装置接收的数据从而以高保真度重新渲染与AR体验相关联的AR对象。例如，服务器可重新渲染所采集AR体验的AR影像和AR音频。在一种特定实现方式中，服务器可使用识别AR对象的元数据(例如，对象ID、对象类型、对象形状数据等)来重新渲染在AR体验期间最初呈现给用户的相同AR对象。可使用其它接收的AR对象元数据(例如，空间数据和时态数据)和/或被采集的真实世界数据在时间和空间上同步重新渲染的AR对象。例如，可连同时态数据(例如，采集运动传感器数据或定位模块数据的时间)使用由运动传感器(例如，加速度计)或定位模块(例如，GPS)采集的真实世界空间数据在空间和时间上同步对象。可在重新渲染AR对象期间考虑的其它数据可包括在AR体验期间采集的环境数据(例如，温度、压力、照明)。
在重新渲染之后，服务器可将重新渲染的AR对象文件发送到AR装置用于复合。替换地，在操作530处，服务器本身将重新渲染的AR对象(例如，影像和音频)与AR体验的采集的真实世界数据(例如，视频和音频)复合，以创建高保真度复合AR视频。在一种实现方式中，由服务器的处理器执行的软件自动地将所采集的视频文件和音频文件与重新渲染的AR对象文件组合。在另一种实现方式中，用户可手动地将采集的文件与重新渲染的AR对象文件组合。
在操作540处，服务器可将强化或校正应用到复合AR视频。例如，服务器可校正白平衡、调整色调、调整锐度、消除视频伪影、改善颜色(例如色度以及饱和度)、应用着色效果或其它视频滤镜、均衡音频、消除或减少背景噪音、解析音频频率冲突等。在替代实现方式中，在将采集的真实世界视频文件和音频文件与重新渲染的AR对象复合之前，可将强化或校正应用到采集的真实世界视频文件和音频文件。
在操作550处，服务器可(例如，通过AR应用程序225)通知AR装置AR视频可用于下载或进行流化，并且在操作560处，AR视频可被发送(即，下载或流化)到AR装置。
虽然已经参考通过脱机计算记录高保真度AR体验来描述本文所公开的***和方法，但是也可应用该***和方法来通过脱机计算记录高保真度VR体验。例如，VR体验的视听流可被发送到重新渲染视频和/或向视频应用强化的服务器。在其中本地VR装置不采集VR体验的视听数据的情况下，服务器可基于在VR体验中渲染的采集的用户输入和/或用户特定(即特定于体验的)数字对象数据来创建VR体验的高保真度记录。例如，在其中VR体验的环境被预先确定的情况下(例如，所有用户体验相同基础的视听体验)，采集的用户输入和/或用户特定的数字对象数据可在服务器用于创建高保真度的VR记录。
图4示出可用于实现本文所公开方法的各种特征的示例计算模块。
如本文所使用的，术语模块可描述可根据本申请的一个或多个实施例实施的功能性的给定单元。如本文所使用的，可利用任何形式的硬件、软件或其组合来实现模块。例如，可实现一个或多个处理器、控制器、ASIC、PLA、PAL、CPLD、FPGA、逻辑组件、软件例程或其它机构来组成模块。在实现方式中，本文所描述的各种模块可被实现为离散模块，或者所描述的功能和特征可在一个或多个模块中部分或全部共用。换句话讲，如对于阅读本说明书之后的本领域普通技术人员显而易见的，本文所描述的各种特征和功能性可在任何给定的应用中实现，并且可在以各种组合和排列形式的一个或多个独立或共用模块中实现。虽然功能性的各种特征或元件可被单独地描述或作为独立模块被请求保护，但是本领域普通技术人员将理解，这些特征和功能性可在一个或多个通用软件和硬件元件之间共用，并且此类描述不应要求或暗示独立硬件或软件组件用于实现此类特征或功能性。
在应用的组件或模块整体或部分使用软件实现的情况下，在一个实施例中，这些软件元件可被实现为用能够进行与之相关地描述的功能性的计算或处理模块来操作。一个此类示例计算模块在图4中示出。根据该示例计算模块600描述各种实施例。在阅读本说明书之后，如何使用其它计算模块或架构来实现应用对于相关领域的技术人员将将变得显而易见。
现在参考图4，计算模块600可表示例如以下项中发现的计算或处理能力：桌面计算机、膝上型计算机、笔记型计算机和平板计算机；手持计算装置(平板计算机、PDA、智能手机、手机、掌上电脑等)；大型主机，超级计算机，工作站或服务器；或对于给定应用程序或环境可为期望的或适合的任何其它类型的专用或通用计算装置。计算模块600还可表示嵌入在给定装置内或以其它方式可用于给定装置的计算能力。例如，计算模块可在其它电子装置(例如可包括某一形式的处理能力的数字相机、导航***、蜂窝电话、便携式计算装置、调制解调器、路由器、WAP、终端和其它电子装置)中找到。
计算模块600可包括例如一个或多个处理器、控制器、控制模块或其它处理装置，诸如处理器604。处理器604可使用通用或专用处理引擎(例如，微处理器、控制器或其它控制逻辑)来实现。在所示示例中，处理器604连接到总线602，但可使用任何通信介质来促进与计算模块600的其它组件的交互或者与外部通信。
计算模块600还可包括一个或多个存储器模块，这里简称为主存储器608。例如，优选地，随机存取存储器(RAM)或其它动态存储器可用于存储待由处理器604执行的信息和指令。主存储器608还可用于在待由处理器604执行的指令的执行期间存储临时变量或其它中间信息。计算模块600可同样包括联接到总线602的只读存储器(“ROM”)或其它静态存储装置，用于存储用于处理器604的静态信息和指令。
计算模块600还可包括一个或多个各种形式的信息贮存机构610，其可包括例如介质驱动器612和存储单元接口620。介质驱动器612可包括驱动器或其它机构以支持固定式或可移除存储介质614。例如，可提供硬盘驱动器、固态驱动器、磁带驱动器、光盘驱动器、CD或DVD驱动器(R或RW)或其它可移除或固定式介质驱动器。因此，存储介质614可包括由介质驱动器612读取、写入或访问的例如硬盘、固态硬盘、磁带、盒式磁带、光盘、CD、DVD或蓝光，或其它固定式或可移除介质。如这些示例所示，存储介质614可包括其中存储有计算机软件或数据的计算机可用存储介质。
在替代实施例中，信息贮存机构610可包括允许计算机程序或其它指令或数据被加载到计算模块600中的其它类似手段。此类手段可包括例如固定式或可移除贮存单元622和接口620。此类贮存单元622和接口620的示例可包括允许将软件和数据从贮存单元622转移到计算模块600的程序盒和盒式接口、可移除存储器(例如，闪存或其它可移除存储器模块)和存储器插槽、PCMCIA插槽和卡，以及其它固定式或可移除存储单元622和接口620。
计算模块600还可包括通信接口624。通信接口624可用于使软件和数据在计算模块600和外部装置之间转移。通信接口624的示例可包括调制解调器或软调制解调器、网络接口(诸如以太网、网络接口卡、WiMedia、IEEE802.XX或其它接口)、通信端口(例如，USB端口、IR端口、RS232端口蓝牙接口或其它端口)，或其它通信接口。经由通信接口624转移的软件和数据通常可被携带在信号上，该信号可为能够由给定通信接口624交换的电子的、电磁的(其包括光学的)或其它信号。这些信号可经由通道628提供到通信接口624。该通道628可携带信号并且可使用有线或无线通信介质来实现。通道的一些示例可包括电话线、蜂窝链路、RF链路、光链路、网络接口、本地或广域网以及其它有线或无线通信通道。
在此文献中，术语“计算机可读介质”、“计算机可用介质”和“计算机程序介质”一般用于指非暂时性介质、易失性，例如存储器608、存储单元622和介质614。这些和其它各种形式的计算机程序介质或计算机可用介质可涉及将一个或多个指令的一个或多个序列携带到处理装置以供执行。体现在介质上的此类指令通常被称为“计算机程序代码”或“计算机程序产品”(其可以计算机程序或其它分组的形式分组)。当执行时，此类指令可使得计算模块600能够实施如本申请所讨论的本申请的特征或功能。
虽然上文根据各种示例性实施例和实现方式进行了描述，但是应当理解，在个体实施例中的一个或多个中描述的各种特征、方面和功能性不限于它们对于特定实施例(借助该实施例描述特征、方面和功能性)的适用性，而是可单独地或以各种组合的方式应用于本申请的一个或多个其它实施例，无论此类实施例是否被描述以及此类特征是否被呈现为所描述实施例的一部分。因此，本申请的广度和范围不受限于上述示例性实施例中的任一个。
除非另有明确指出，否则本文档中使用的术语和短语及其变体应解释为开放式，而非限制性的。作为上述内容的示例：术语“包括”应解读为意指“包括但不限于”等；术语“示例”用于提供讨论中的项目的示例性实例，而不是详尽的或其限制性列表；术语“一”或“一个”应解读为意指“至少一个”、“一个或多个”等；形容词诸如“常规的”、“传统的”、“正常的”、“标准的”、“已知的”和类似含义的术语不应被解释为将所描述项目限制到给定时间段内或在给定时间可用的项目，而应该解读成涵盖现在或在将来任何时间可用或已知的常规的、传统的、正常的或标准的技术。同样，在本文件涉及本领域普通技术人员显而易见或已知的技术的情况下，此类技术涵盖现在或在将来任何时间对于技术人员是显而易见的或已知的技术。
在某些情况下，扩大性单词和短语(诸如“一个或多个”、“至少”、“但不限于”或其它类似短语)的存在不应解读为意指在此类扩大性短语可不存在的情况下意图或要求较窄情况。术语“模块”的使用并不暗示作为模块的一部分描述或要求保护的组件或功能性全部配置在通用包中。实际上，模块的各种组件(无论是控制逻辑还是其它组件)中的任何一个或全部可组合在单个封装中或独立地维护，并且还可分布在多个分组或封装中或跨跃多个位置。
此外，根据示例性框图、流程图和其它图示来描述本文阐述的各种实施例。如对于阅读本文档之后的本领域普通技术人员将显而易见的是，所示实施例及其各种替代方案可在不限于所示示例的情况下实现。例如，框图及其附带描述不应被解释为强制特定架构或配置。
虽然上文已经描述了本公开的各种实施例，但是应当理解，它们仅作为示例呈现，而非进行限制。同样，各种图可描绘用于本公开的示例架构或其它配置，其用于有助于理解可在本公开中包括的特征和功能性。本公开不限于所示示例架构或配置，而是可使用各种替代架构和配置来实现期望的特征。实际上，对于本领域的技术人员来说显而易见的是，如何实现替代功能、逻辑或物理分区和配置以实现本公开的期望特征。另外，除了本文所描绘的那些之外，许多不同组成模块名称可应用于各种部分。此外，关于流程图、操作描述和方法权利要求，除非上下文另外指出，否则其中本文所呈现的步骤的顺序不应要求所实现各种实施例以相同顺序实施所限定的功能性。
虽然上文根据各种示例性实施例和实现方式描述了本公开，但是应当理解，在各个实施例中的一个或多个中描述的各种特征、方面和功能性不限于它们对于特定实施例(利用该实施例描述特征、方面和功能性)的应用性，而是可单独地或以各种组合的方式应用于本公开的一个或多个其它实施例，而无论此类实施例是否被描述以及此类特征是否被呈现为所描述实施例的一部分。因此，本公开的广度和范围不受限于上述示例性实施例中的任一个。

Claims (28)

1.一种方法，其包括：
渲染重叠在真实世界环境上的增强现实对象；
在渲染所述增强现实对象期间采集所述真实世界环境的视频和音频数据；
存储与渲染的增强现实对象相关联的增强现实对象数据；
通过网络将所述增强现实对象数据发送到服务器，其中所述服务器基于发送的增强现实对象数据而重新渲染所述增强现实对象，以创建重新渲染的增强现实对象数据；以及
通过所述网络接收重新渲染的增强现实对象数据或与采集的视频和音频数据复合的所述重新渲染的增强现实对象数据的视频。
2.根据权利要求1所述的方法，其中与所述采集的视频和音频数据复合的所述重新渲染的增强现实对象数据的视频通过所述网络被接收，其中所述方法还包括：通过所述网络将所述采集的视频和音频数据发送到所述服务器。
3.根据权利要求2所述的方法，其中接收与所述采集的视频和音频数据复合的所述重新渲染的增强现实对象数据的视频包括：流化来自服务器的视频。
4.根据权利要求2所述的方法，其中接收与所述采集的视频和音频数据复合的所述重新渲染的增强现实对象数据的视频包括：从服务器下载所述视频。
5.根据权利要求2所述的方法，其中所述视频和音频数据被存储为相应的视频文件和音频文件，并且其中发送记录的视频和音频数据包括将所述视频文件和所述音频文件发送到所述服务器。
6.根据权利要求1所述的方法，其中采集所述视频和音频数据包括记录所述视频和音频数据，其中所述重新渲染的增强现实对象数据通过所述网络被接收，并且其中所述方法还包括：将接收的重新渲染的增强现实对象数据与记录的视频和音频数据复合以创建视频。
7.根据权利要求1所述的方法，其中所述增强现实对象包括图像，其中所述增强现实对象数据包括所述图像的元数据，所述元数据包括以下中的至少一个：所述图像的标识符、所述图像的空间数据以及所述图像的时态数据。
8.根据权利要求2所述的方法，其中所述采集的视频和音频数据被流化到所述服务器。
9.一种***，其包括：
非暂时性计算机可读介质，其具有存储在其上的指令，当由处理器执行时，所述指令使得所述***：
渲染重叠在真实世界环境上的增强现实对象；
在渲染所述增强现实对象期间采集所述真实世界环境的视频和音频数据；
存储与所述渲染的增强现实对象相关联的增强现实对象数据；
通过网络将所述增强现实对象数据发送到服务器，其中所述服务器基于发送的增强现实对象数据而重新渲染所述增强现实对象，以创建重新渲染的增强现实对象数据；以及
通过所述网络接收所述重新渲染的增强现实对象数据或与采集的视频和音频数据复合的所述重新渲染的增强现实对象数据的视频。
10.根据权利要求9所述的***，其中与所述采集的视频和音频数据复合的所述重新渲染的增强现实对象数据的视频通过所述网络接收，其中所述指令在由所述处理器执行时还使得所述***：通过所述网络将所述采集的视频和音频数据发送到所述服务器。
11.根据权利要求10所述的***，其中所述指令在由所述处理器执行时还使得所述***：在复合的视频可用于检索时生成通知。
12.根据权利要求9所述的***，其中所述重新渲染的增强现实对象数据通过所述网络被接收，其中所述指令在由所述处理器执行时还使得所述***：将接收的、重新渲染的增强现实对象数据与所述采集的视频和音频数据复合以创建视频。
13.根据权利要求9所述的***，其中所述增强现实对象包括图像，其中所述增强现实对象数据包括所述图像的元数据，所述元数据包括以下中的至少一个：所述图像的标识符、所述图像的空间数据以及所述图像的时态数据。
14.根据权利要求9所述的***，还包括：
相机，其用于采集所述视频数据；
麦克风，其用于采集所述音频数据；
贮存器，其用于缓存或永久存储所述采集的视频数据和音频数据；以及
显示器，其用于显示重叠在所述真实世界环境上的渲染的增强现实对象。
15.根据权利要求14所述的***，其中所述***包括头戴式显示器、智能电话或平板计算机中的一个或多个。
16.根据权利要求10所述的***，其中所述采集的视频和音频数据被流化到所述服务器。
17.一种方法，其包括：
在采集增强现实对象重叠其上的真实世界环境的视频和音频数据期间，在服务器处接收由装置渲染的与增强现实对象相关联的增强现实对象数据；以及
在所述服务器处，基于接收的增强现实对象数据重新渲染所述增强现实对象，以创建重新渲染的增强现实对象数据。
18.根据权利要求17所述的方法，还包括：通过网络将所述重新渲染的增强现实对象数据发送到所述装置。
19.根据权利要求17所述的方法，还包括：
在所述服务器处接收所述采集的视频和音频数据；以及
在所述服务器处，将所述重新渲染的增强现实对象数据与所述接收的、采集的视频和音频数据复合以创建视频。
20.根据权利要求19所述的方法，还包括：将强化或校正应用于创建的视频，其中所述强化或校正包括以下中的一个或多个：白平衡校正、色调调整、着色调整、视频滤镜、音频均衡、背景噪声消除和音频校正。
21.根据权利要求19所述的方法，还包括：所述服务器将创建的视频可用于下载或流化的通知发送到所述装置。
22.根据权利要求19所述的方法，其中所述视频和音频数据被存储到相应的视频文件和音频文件，并且其中接收记录的视频和音频数据包括接收所述视频文件和所述音频文件。
23.根据权利要求17所述的方法，其中所述增强现实对象包括图像，其中所述增强现实对象数据包括所述图像的元数据，所述元数据包括以下中的至少一个：所述图像的标识符、所述图像的空间数据以及所述图像的时态数据。
24.一种服务器***，其包括：
非暂时性计算机可读介质，其具有存储在其上的指令，当由处理器执行时，所述指令使得所述服务器***：
接收：
在采集增强现实对象重叠其上的真实世界环境的视频和音频数据期间的与由装置渲染的所述增强现实对象相关联的增强现实对象数据；以及
采集的视频和音频数据；
基于所述接收的增强现实对象数据重新渲染所述增强现实对象，以创建重新渲染的增强现实对象数据；以及
将所述重新渲染的增强现实对象数据与所述接收的、采集的视频和音频数据复合以创建视频。
25.根据权利要求24所述的服务器***，其中所述指令在由所述处理器执行时还使得所述服务器***：将强化或校正应用于所述创建的视频，其中所述强化或校正包括以下中的一个或多个：白平衡校正、清晰度调整、色调调整、着色调整、视频滤镜、音频均衡、背景噪声消除和音频校正。
26.根据权利要求24所述的服务器***，其中所述增强现实对象包括图像，其中所述增强现实对象数据包括所述图像的元数据，所述元数据包括以下中的至少一个：所述图像的标识符、所述图像的空间数据以及所述图像的时态数据。
27.根据权利要求24所述的服务器***，还包括：数据库，其中所述数据库存储与所述装置的用户相关联的用户帐户信息。
28.根据权利要求27所述的服务器***，其中所述指令在由所述处理器执行时还使得所述服务器***：将创建的视频可用于下载或流化的通知发送到所述用户帐户。
CN201711043056.5A 2016-10-31 2017-10-31 通过脱机计算记录高保真度数字沉浸式体验 Active CN108021229B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/338,806 2016-10-31
US15/338,806 US10110871B2 (en) 2016-10-31 2016-10-31 Recording high fidelity digital immersive experiences through off-device computation

Publications (2)

Publication Number Publication Date
CN108021229A true CN108021229A (zh) 2018-05-11
CN108021229B CN108021229B (zh) 2021-09-14

Family

ID=62022822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711043056.5A Active CN108021229B (zh) 2016-10-31 2017-10-31 通过脱机计算记录高保真度数字沉浸式体验

Country Status (3)

Country Link
US (1) US10110871B2 (zh)
CN (1) CN108021229B (zh)
DE (1) DE102017218559A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109782950A (zh) * 2019-01-04 2019-05-21 Oppo（重庆）智能科技有限公司 触摸电极控制方法、装置、存储介质及电子设备
CN111223174A (zh) * 2018-11-27 2020-06-02 深圳桑菲消费通信有限公司 一种环境渲染***及渲染方法
CN111402425A (zh) * 2019-01-02 2020-07-10 波音公司 使用增强模型的增强现实***
CN114615486A (zh) * 2018-08-06 2022-06-10 苹果公司 用于计算机生成现实的媒体合成器
CN115396698A (zh) * 2022-10-26 2022-11-25 讯飞幻境(北京)科技有限公司 视频流显示和处理方法以及客户端和云服务器

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338117B (zh) * 2015-11-27 2018-05-29 亮风台（上海）信息科技有限公司 用于生成ar应用和呈现ar实例的方法、设备与***
WO2018144367A1 (en) * 2017-02-03 2018-08-09 iZotope, Inc. Audio control system and related methods
US11269580B2 (en) * 2017-02-13 2022-03-08 Comcast Cable Communications, Llc Guided collaborative viewing of navigable image content
US11303689B2 (en) * 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
US10785443B2 (en) * 2017-12-18 2020-09-22 Streem, Inc. Augmented reality video stream synchronization across a network
FR3080935B1 (fr) * 2018-05-02 2020-05-22 Argo Procede et systeme de generation a la volee d'un contenu de realite augmentee sur un appareil utilisateur.
CN111640179B (zh) * 2020-06-26 2023-09-01 百度在线网络技术（北京）有限公司 宠物模型的显示方法、装置、设备以及存储介质
US11277658B1 (en) * 2020-08-21 2022-03-15 Beam, Inc. Integrating overlaid digital content into displayed data via graphics processing circuitry
US11586835B2 (en) 2021-04-30 2023-02-21 Mobeus Industries, Inc. Integrating overlaid textual digital content into displayed data via graphics processing circuitry using a frame buffer
US11483156B1 (en) 2021-04-30 2022-10-25 Mobeus Industries, Inc. Integrating digital content into displayed data on an application layer via processing circuitry of a server
US11477020B1 (en) 2021-04-30 2022-10-18 Mobeus Industries, Inc. Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
US11601276B2 (en) 2021-04-30 2023-03-07 Mobeus Industries, Inc. Integrating and detecting visual data security token in displayed data via graphics processing circuitry using a frame buffer
US11475610B1 (en) 2021-04-30 2022-10-18 Mobeus Industries, Inc. Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
US11682101B2 (en) 2021-04-30 2023-06-20 Mobeus Industries, Inc. Overlaying displayed digital content transmitted over a communication network via graphics processing circuitry using a frame buffer
US11562153B1 (en) 2021-07-16 2023-01-24 Mobeus Industries, Inc. Systems and methods for recognizability of objects in a multi-layer display

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110313653A1 (en) * 2010-06-21 2011-12-22 Research In Motion Limited Method, Device and System for Presenting Navigational Information
CN102866506A (zh) * 2012-09-21 2013-01-09 苏州云都网络技术有限公司 增强现实眼镜及其实现方法
CN102903144A (zh) * 2012-08-03 2013-01-30 樊晓东 一种基于云计算的交互式增强现实***实现方法
CN103559713A (zh) * 2013-11-10 2014-02-05 深圳市幻实科技有限公司 一种提供增强现实的方法及终端
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的***和方法
CN104134229A (zh) * 2014-08-08 2014-11-05 李成 实时交互的增强现实***以及方法
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的***
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN105791881A (zh) * 2016-03-15 2016-07-20 深圳市望尘科技有限公司 一种基于光场摄像机的三维场景录播的实现方法
US20170004652A1 (en) * 2015-07-02 2017-01-05 Fujitsu Limited Display control method and information processing apparatus
CN107016596A (zh) * 2017-03-23 2017-08-04 深圳前海易创艺乐科技有限公司 一种商品印花定制方法及其平台

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495385B2 (en) * 2004-10-01 2016-11-15 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US9066200B1 (en) * 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US20150262208A1 (en) * 2012-10-04 2015-09-17 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
US20140178029A1 (en) * 2012-12-26 2014-06-26 Ali Fazal Raheman Novel Augmented Reality Kiosks
KR20140118605A (ko) * 2013-03-29 2014-10-08 인텔렉추얼디스커버리 주식회사 증강 객체를 전송하는 서버 및 방법
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US10511895B2 (en) * 2015-10-09 2019-12-17 Warner Bros. Entertainment Inc. Cinematic mastering for virtual reality and augmented reality

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110313653A1 (en) * 2010-06-21 2011-12-22 Research In Motion Limited Method, Device and System for Presenting Navigational Information
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的***和方法
CN102903144A (zh) * 2012-08-03 2013-01-30 樊晓东 一种基于云计算的交互式增强现实***实现方法
CN102866506A (zh) * 2012-09-21 2013-01-09 苏州云都网络技术有限公司 增强现实眼镜及其实现方法
CN103559713A (zh) * 2013-11-10 2014-02-05 深圳市幻实科技有限公司 一种提供增强现实的方法及终端
CN104915979A (zh) * 2014-03-10 2015-09-16 苏州天魂网络科技有限公司 跨移动平台实现沉浸式虚拟现实的***
CN104134229A (zh) * 2014-08-08 2014-11-05 李成 实时交互的增强现实***以及方法
US20170004652A1 (en) * 2015-07-02 2017-01-05 Fujitsu Limited Display control method and information processing apparatus
CN105635712A (zh) * 2015-12-30 2016-06-01 视辰信息科技(上海)有限公司 基于增强现实的视频实时录制方法及录制设备
CN105791881A (zh) * 2016-03-15 2016-07-20 深圳市望尘科技有限公司 一种基于光场摄像机的三维场景录播的实现方法
CN107016596A (zh) * 2017-03-23 2017-08-04 深圳前海易创艺乐科技有限公司 一种商品印花定制方法及其平台

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615486A (zh) * 2018-08-06 2022-06-10 苹果公司 用于计算机生成现实的媒体合成器
CN114615486B (zh) * 2018-08-06 2024-05-07 苹果公司 用于生成合成流的方法、***和计算机可读存储介质
CN111223174A (zh) * 2018-11-27 2020-06-02 深圳桑菲消费通信有限公司 一种环境渲染***及渲染方法
CN111223174B (zh) * 2018-11-27 2023-10-24 冠捷视听科技(深圳)有限公司 一种环境渲染***及渲染方法
CN111402425A (zh) * 2019-01-02 2020-07-10 波音公司 使用增强模型的增强现实***
CN109782950A (zh) * 2019-01-04 2019-05-21 Oppo（重庆）智能科技有限公司 触摸电极控制方法、装置、存储介质及电子设备
CN109782950B (zh) * 2019-01-04 2022-05-17 Oppo（重庆）智能科技有限公司 触摸电极控制方法、装置、存储介质及电子设备
CN115396698A (zh) * 2022-10-26 2022-11-25 讯飞幻境(北京)科技有限公司 视频流显示和处理方法以及客户端和云服务器

Also Published As

Publication number Publication date
CN108021229B (zh) 2021-09-14
US20180124370A1 (en) 2018-05-03
US10110871B2 (en) 2018-10-23
DE102017218559A1 (de) 2018-05-30

Similar Documents

Publication Publication Date Title
CN108021229A (zh) 通过脱机计算记录高保真度数字沉浸式体验
US11488355B2 (en) Virtual world generation engine
US10410680B2 (en) Automatic generation of video and directional audio from spherical content
CN107103583A (zh) 图像数据处理***和相关方法以及相关图像融合方法
US20160381341A1 (en) View interpolation for visual storytelling
US20210165481A1 (en) Method and system of interactive storytelling with probability-based personalized views
US12002223B2 (en) Digital representation of multi-sensor data stream
CN106648098A (zh) 一种自定义场景的ar投影方法及***
WO2017053612A1 (en) Automated capture of image data for points of interest
US20220391889A1 (en) Systems and methods for management of non-fungible tokens and corresponding digital assets
EP3438888A1 (en) Information processing device, information processing method, and information provision method
KR20170076483A (ko) 전자 장치 및 전자 장치의 제어 방법
EP3087727B1 (en) An emotion based self-portrait mechanism
JP5878523B2 (ja) コンテンツ加工装置とその集積回路、方法、およびプログラム
JP2024521625A (ja) 非代替性トークンおよび対応するデジタル資産の管理のためのシステムと方法
CN106233707A (zh) 交互地使相机运动风格化
CN104854861B (zh) 现实视点视频方法及设备
WO2019008222A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
WO2014033347A1 (en) Method and apparatus for recording video sequences
KR102471792B1 (ko) Ar 컨텐츠의 렌더링을 위한 클라우드 및 그 동작 방법
CN116797767A (zh) 增强现实场景分享的方法和电子设备
CN108305210A (zh) 数据处理方法、装置及存储介质
US20240037793A1 (en) Systems, methods, and apparatus for piggyback camera calibration
JP4313232B2 (ja) 撮像装置における手ぶれ補正のカスタマイズ方法
JP2024521616A (ja) 非代替性トークンおよび対応するデジタル資産の管理のためのシステムと方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant