CN103781522B - 用于生成并加入经验共享的方法和*** - Google Patents

用于生成并加入经验共享的方法和*** Download PDF

Info

Publication number
CN103781522B
CN103781522B CN201280023656.4A CN201280023656A CN103781522B CN 103781522 B CN103781522 B CN 103781522B CN 201280023656 A CN201280023656 A CN 201280023656A CN 103781522 B CN103781522 B CN 103781522B
Authority
CN
China
Prior art keywords
computing device
augmented reality
mobile computing
trigger
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280023656.4A
Other languages
English (en)
Other versions
CN103781522A (zh
Inventor
肖恩·马克·布兰什弗劳尔
西蒙·海于赫斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Longsand Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Longsand Ltd filed Critical Longsand Ltd
Publication of CN103781522A publication Critical patent/CN103781522A/zh
Application granted granted Critical
Publication of CN103781522B publication Critical patent/CN103781522B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种使用移动计算设备实现经验共享的方法包括:使用配备有显示屏和无线通信模块的第一移动计算设备的内置摄像机捕获触发器图像以及与视频帧中的该触发器相关的背景信息;识别触发器和关联的背景信息的特征信息;将触发器和关联的背景信息的特征信息传送给使用无线通信连接于网络的服务器计算设备;从服务器计算设备接收与触发器和关联的背景信息的特征信息相对应的增强现实;并且将增强现实呈现在第一移动计算设备的显示屏上,其中与第一移动计算设备关联的增强现实被共享,并且与先前传送给第二移动计算设备的增强现实时间同步。

Description

用于生成并加入经验共享的方法和***
技术领域
本发明的实施例总地涉及数据处理领域,并且在一些实施例中特别涉及使多用户能够共享增强现实。
背景技术
智能移动设备正变得越来越普遍和高级,允许用户从任何地方建立和维护与互联网的连接。用户能够浏览网站和访问其服务。在不同地理位置的两个用户能够访问同一网站并且能够观看和使用该网站提供的同一服务。每个用户独立地控制访问什么页面以及在特定页面上停留多久。如果网站是电影或视频网站(例如YouTube),每个用户可独立控制观看什么视频等。
发明内容
一种***包括被配置为使用无线通信接收来自第一和第二移动计算设备的特征信息的触发器服务器。第一和第二移动计算设备彼此靠近。触发器服务器进一步被配置为根据从第一和第二移动计算设备接收到的特征信息生成签名信息,特征信息与触发器关联。第一和第二移动计算设备中的每个都被配置有内置摄像机以捕获触发器图像。触发器服务器与被配置为存储关于多个触发器的信息的触发器数据库相连。增强现实服务器与触发器服务器相连并且被配置为使用签名信息来识别增强现实。增强现实服务器与被配置为存储关于多个增强现实的信息的增强现实数据库相连,其中同一被识别的增强现实被传送给第一移动计算设备和第二移动计算设备,并且其中第一移动计算设备的用户通过在第一移动计算设备的显示屏上观看被识别的增强现实,而第二用户在第二移动计算设备的显示屏上观看被识别的增强现实,与第二移动计算设备的用户共享被识别的增强现实。
附图说明
多个附图涉及本发明的实施例。虽然本文中所描述的本发明的实施例可接受各种修改和替换形式,但在附图中通过示例的方式示出其中的特定实施例并将在本文中被详细描述。
图1例示可以使用本文中所论述的一个或多个软件应用程序的实施例的示例计算***的框图。
图2例示可以用于本发明的实施例的网络的示例。
图3A是根据本发明的一些实施例的、例示移动计算设备中可以包括的应用程序的示例的框图。
图3B例示根据本发明的一些实施例的、可以使用的触发器的一个示例。
图3C例示根据本发明的一些实施例的、两个移动计算设备参与增强现实的示例。
图3D是根据一些实施例的、例示将来自触发器的信息映射到增强现实的示例的框图。
图4例示根据本发明的一些实施例的移动计算设备的示例显示屏。
图5例示根据一些实施例的可以用于识别增强现实的服务器计算设备的网络的示例。
图6例示根据本发明的一些实施例的、可以被一个或多个服务器计算设备执行的过程的示例流程图。
图7例示根据本发明的一些实施例的、可以被移动计算设备执行的过程的示例流程图。
图8例示根据本发明的一些实施例的、可使用无标记追踪并被一个或多个服务器计算设备执行的过程的示例流程图。
图9例示根据一些实施例的IDOL服务器的一些模块的示例框图。
具体实施方式
对于一些实施例,公开了一种基于触发器和关联的背景信息使移动计算设备的用户能够与其它移动计算设备的用户共享增强现实的***。每个移动计算设备包括处理器、存储器、给移动计算设备供电的内置电池、被配置为捕获包括触发器的图像的图像或视频流的内置摄像机、显示增强现实的显示屏、和无线连接于网络并且与服务器计算设备进行通信的内置无线电路。每个移动计算设备也包括与摄像机相连并被配置为分析触发器以形成特征信息的图像处理模块。图像处理模块也被配置为引起将特征信息传送给服务器计算设备来处理,并且接收来自服务器计算设备的增强现实作为结果。图像处理模块被配置为覆盖具有增强现实的移动计算设备的显示屏上的边界区域。基于触发器的形状形成边界区域。边界区域可以是矩形、圆形,或者基于触发对象相对于彼此是如何布置的来确定。当用户位于同一地理区域时,由于增强现实呈现在用户自己的移动计算设备的显示屏上,因此所有的用户享受增强现实。额外的用户可通过使用其移动计算设备并捕获包括触发器的图像的图像或视频流,在随后的时间加入并享受同一增强现实。
为了提供对本发明的彻底理解,在以下的描述中说明许多具体的细节,诸如具体数据信号、组件、连接等的示例。然而,对于本领域的技术人员,本发明可在没有这些具体细节的情况下实施是显而易见的。在其它情况下,为了避免不必要地模糊本发明,公知的组件或方法没有被详细描述而是以框图描述。因此,所说明的具体细节仅是示例性的。具体细节可以被改变并且仍被视为在本发明的精神和范围内。
在以下示例性实施例的描述中,参考形成本文的一部分的附图并且其中通过例示本发明能够被实施的具体实施例的方式示出。应理解在不脱离本发明的实施例的范围内能够使用其它的实施例并且能够进行结构的改变。如本文中所使用的,术语“相连”、“连接”和“附着”是可互换的并且包括各种形式的直接地或间接地将一部分连接到另一部分。而且,应理解一个实施例中所描述的一个或多个结构特征可以被实施于不同的实施例,即使没有作为其特征被特别提及。
综述
能够共享经验可以包括能够允许一组用户观看、倾听或参与一个用户正在经历的经验。共享方式需要随意和迅速,使得无需第二个用户创建明确的信息、组、开始指令等,第一用户就能够与第二用户共享经验。很像现实世界,如果一用户恰好在某一位置,那么如果该用户希望加入则发生在该位置的经验或事件能够被共享。下面是现实生活中两个人间经验共享的简单示例。第一用户可能正在体育酒吧观看电视机上的体育节目。第一用户可能正坐在位于与电视机成一个方向或角度的体育酒吧的一个角落处的桌子旁。第二用户可能在稍后的时间进入体育酒吧并随意地加入第一用户观看同一体育节目,而坐在电视机的不同方向的不同桌子旁。虽然两个用户从同一体育酒吧的不同桌子或区域观看同一电视,但是由于他们在同一环境同时地观看同一体育节目,因此两个用户共享同一经验。注意这与第二用户在不同的时间观看同一体育节目的记录版本或者第二用户在同一时间但不同的地点观看同一体育节目的情况不同。
如将被描述的,本发明的一些实施例使两个或更多用户能够使用与事件或节目关联的触发器并且使用他们的移动计算设备的显示屏能够随意共享享受节目的经验。将该概念应用于上述体育酒吧的示例,第一用户可以在没有任何电视机的体育酒吧的桌子上设置触发对象的布置。触发对象已被预先定义为与体育节目对应。然后第一用户用第一用户的移动计算设备的摄像机捕获包括触发对象的图像的图像或视频流。体育节目可以自动地显示在第一用户的移动计算设备的显示屏的一部分上。当第一用户在一张桌子旁享受体育节目时,第二用户可以走进体育酒吧并且用第二用户的移动计算设备捕获包括同一触发对象的图像的图像或视频流。这使第二用户能够观看与第一用户相同的体育节目但却在第二用户的移动计算设备的显示屏上。亦即,体育节目的表演在两个移动计算设备上时间同步。这与第二用户在与第一用户所使用桌子不同的桌子旁观看电视中的体育节目相类似。
如本示例中所述的使用计算设备实现的经验共享也可以被称作增强现实。此外,一个或多个触发对象的布置可以被称作触发器。而且,移动计算设备的摄像机可以用于捕获包括一个或多个帧中触发器的图像的触发器图像或视频流。因此,本文中所述的触发器图像可以与单个图像或视频流关联。
在一个实施例中,计算机生成方法被配置为在每个参与者的移动计算设备的显示器上生成增强现实的经验共享。应用程序识别通过移动计算设备的内置摄像机应用程序在记录于移动计算设备上的视频流的帧中被捕获的一个或多个触发对象和触发对象周围的背景场景的视觉特征信息。应用程序将触发对象和背景的特征信息,以及触发对象的位置的地理信息传送给使用无线通信连接于网络的服务器。应用程序可以生成由触发对象和背景的视觉特征信息组成的视觉签名。服务器可以将一个或多个增强现实场景发送给应用程序以显示在显示屏上并且允许移动计算设备用户选择给定的增强现实场景以成为其一部分。应用程序在从用户接收到所选的增强现实的场景时传送给服务器。然后服务器发送增强现实场景以覆盖视频流的帧中包括的触发对象和背景上的场景。服务器也接收来自第二移动设备的视频流的可以具有匹配的视觉签名的第二组视觉特征信息。基于两个移动设备无线发送同一的视觉签名给服务器,移动设备和中央服务器上的应用程序能够使具有增强现实场景的增强视频流在第一移动计算设备的第一显示屏和第二移动计算设备的第二显示屏上可视。增强现实场景在第一和第二显示器上时间同步,以在第一和第二显示器上在增强现实场景内的一时间段内显示同一增强现实场景。第一和第二移动设备仅是示例数量的设备,并且***服务于所有连接到服务器的移动设备。
触发对象
图3A是根据本发明的一些实施例的、例示移动计算设备中可以包括的应用程序的示例的框图。图1中例示的移动计算设备110可以被配置有各种应用程序。这些应用程序中的一些可以包括图像捕获应用程序305、图像处理应用程序310、通信应用程序315和显示应用程序320。图像捕获应用程序305与图像捕获设备306相连使得能够捕获和存储包括触发器图像的图像或视频流。图像处理应用程序310可以被配置为分析包括触发器图像的图像或视频流,并且生成触发器的特征信息。例如,图像处理应用程序310可以识别并提取包括与触发对象关联的形状、形状的点对点型X-Y坐标、图案颜色、字母数字、符号等的区别性特征。这可以有助于保持被传送给服务器计算设备的文件尺寸小并且加快接近实时地将特征信息转换成签名、将签名与存储的增强现实匹配、将适合的增强现实传送给移动计算设备、以及在移动计算设备的显示屏上显示增强现实。对于一些实施例,移动计算设备110也可以包括与GPS设备326相连并且被配置为生成可以被包括在通过图像捕获应用程序305捕获的图像或视频流中的GPS信息的全球定位***(GPS)应用程序325。GPS信息可以被服务器计算设备用于确定可能与同一增强现实关联的邻近的一组用户。亦即,GPS信息用于识别一组用户可能位于同一位置。
图3B例示根据一些实施例的可以使用的触发器的一个示例。触发器可以有任何形式或形状。例如,触发器可以是海报、元件的布置等。触发器可以包括一个或多个触发对象。触发器可以被特别设计为独特的,或者触发器可以使用多个普通对象的组合作为触发对象而形成。多个对象和关联的背景信息的各种布置、方向和图案,以及定位或GPS信息可以产生多个独特的触发器。例如,使用尺度变量,基于两个触发对象的两个质心之间的距离作为触发对象的宽度的百分比以及两个纵轴之间的角度,可以确定触发器的独特性。触发器也可以是像例如一罐可乐这样的公知对象。这可以用于向用户展示促销信息。例如,使用移动计算设备捕获一罐可乐的图像/视频流之后,关于可乐特别节目的视频呈现在移动计算设备的显示屏上。触发器的细微变化可以用于表示游戏中的不同玩家。例如,美元钞票可以用作棋牌游戏的触发器;具有二十五分硬币在上面的美元钞票可以用作棋牌游戏中的第一玩家的触发器;具有五分镍币在上面的美元钞票可以用作同一棋牌游戏中的第二玩家的触发器。
对于一些实施例,每个触发器可以被预先定义为与可以呈现在移动计算设备的显示屏上的增强现实相对应。增强现实可以涉及事件、视频、音频、或者能够呈现在移动计算设备的显示屏上的任何形式的多媒体。在当前的示例中,触发器包括以彼此成一个角度被放置的第一触发对象350和第二触发对象355的布置。第一和第二触发对象350、355中的每个都可以是放在表面340上的美元钞票。两个触发对象350、355共同形成可以是通过从触发对象350和355的边和/或角延伸而形成的矩形的边界区域345。一般而言,可以基于触发器的形状、基于触发对象相对于彼此如何被放置、或者基于预定的规则来形成边界区域。对于一些实施例,如由触发对象350、355形成并被摄像机捕获的边界区域345用于将增强现实呈现给移动计算设备的用户。因此,增强现实可以说是覆盖或者位于边界区域345内。呈现增强现实可以被显示应用程序320(图3A中例示)执行。当表面340包括表面图案360时,边界区域345也可以包括表面图案360。该表面图案360可以是触发器的一部分并且可以用于区分本示例中的触发对象350、355的布置与两个触发对象350、355在具有不同表面图案的表面上的另一类似的布置。应注意当表面图案被用作触发器的一部分并且用于两个触发器的表面图案是素净的或彼此非常相似时,由于服务计算设备很难区分开,因此可能有交叉经验污染的危险。
图3C例示根据一些实施例的两个移动计算设备参与增强现实的示例。移动计算设备360包括显示屏361和摄像机362。在该示例中,移动计算设备360由第一用户操作并被定位,使得摄像机362能够以角度或方向363捕获包括由第一和第二触发对象350、355形成的触发器图像的图像或视频流。这可以使得使用移动计算设备360的用户能够发起增强现实并且在显示屏361上享受该增强现实。在随后的时间,使用移动计算设备370的第二用户也能够使用摄像机372以角度或方向373捕获包括由第一和第二触发对象350、355形成的触发器图像的图像或视频流。这可以使第二用户能够通过使用显示屏371加入第一用户并且共享同一时间同步的增强现实。应注意,尽管两个角度363和373之间有差异,从移动计算设备360和370传送的特征信息被服务器计算设备识别为与同一触发器关联。这使服务器计算设备能够将从移动计算设备360和370接收到的特征信息与同一签名和同一增强现实相匹配。对于一些实施例,如将被描述的那样,无标记追踪可以用于基于不同角度和方向创建真实世界对象的虚拟模型。
对于一些实施例,第一用户可以控制第二用户和任何其它额外的用户可能必须接受的经验。第一用户可以创建新的触发器,将该触发器与特定的游戏或视频关联,并且创建新的增强现实。第一用户可以控制与增强现实关联的设定。例如,设定可以包括隐私设定、年龄限制设定、公开共享设定、仅邀请设定等。随后的用户将看到触发器已被注册并且能够被邀请加入增强现实。
图3D是根据一些实施例的例示将来自触发器的信息映射到增强现实的示例的框图。当移动计算设备的图像捕获应用程序305捕获到包括触发器图像的图像或视频流时,可以生成触发器图像信息380。移动计算设备的图像处理应用程序310可以使用触发器图像信息380来生成特征信息381。然后,可以将特征信息381从移动计算设备传送到服务器计算设备。基于从移动计算设备接收特征信息,服务器计算设备可以生成签名信息382。然后,签名信息382可以被服务器计算设备用于识别合适的增强现实。图3D也例示在一些实施例中组390中的信息在移动计算设备中生成,而组391中的信息由服务器计算设备生成或处理。虽然本文中签名被描述为被服务器计算设备生成,但是当带宽效率可以倾向于移动计算设备时,在一些实施例中来自多个触发器的签名可以被移动计算设备计算。
图4例示根据一些实施例的移动计算设备的示例显示屏。显示屏405可以与图3C中例示的移动计算设备360的显示屏361相对应,并且边界区域415可以与图3C中例示的边界区域345相对应。在一些实施例中,增强现实410在显示屏405的边界区域415内呈现给用户。应注意根据当触发器的图像被捕获时摄像机相对于触发器的角度,在显示屏405内边界区域415的位置可以改变。
对于一些实施例,可以将预定的触发器的列表呈现给移动计算设备的用户。列表也可以包括与列表中的每个触发器相关的增强现实。预定的触发器的列表可以被分为相关的组。例如,触发器可以被分为频道、类别、品牌等。预定的触发器的列表可以被存储在触发器信息数据库510(图5中例示)中。这可以帮助用户容易并快速地选择与其需求相关的触发器,然后使用移动计算设备作为界面来控制其经验。
触发器识别网络
图5例示根据一些实施例的可以用于识别增强现实的服务器计算设备的网络的示例。网络可以包括触发器服务器505,增强现实服务器515,和移动计算设备360和370。在该示例中,移动计算设备360、370的用户可以参与同一增强现实,并且可能已使用摄像机362、372来捕获包括触发器图像的图像或视频流。触发器数据库510可以被配置为存储关于被注册的触发器的信息。触发器服务器505可以与触发器数据库510相连,并且被配置为将触发器信息传送给移动计算设备360、370。这可以包括被分为频道、类别、菜单等的预定的触发器的列表。触发器服务器505也可以被配置为接收来自移动计算设备360、370的特征信息。特征信息可以与由摄像机362、372捕获的触发器相关。如前所述,可以使用无线通信将移动计算设备360、370连接到网络200。
对于一些实施例,触发器服务器505可以分析特征信息并且确定与特征信息关联的签名信息。然后签名信息可以被增强现实服务器515用于识别存储在增强现实数据库520中的对应的增强现实。然后被识别的增强现实可以被检索,被传送给移动计算设备360、370,并且呈现在移动计算设备360、370的显示屏361、371上的边界框内。对于一些实施例,GPS信息以及特征信息也可以被移动计算设备传送。与对应的图像或视频流是何时被捕获的相关的时间信息也可以被移动计算设备传送。GPS信息和/或时间信息可以被增强现实服务器515用于快速搜索和识别期望的增强现实。应注意,虽然示例例示触发器服务器505和增强现实服务器515作为两个分离的服务器计算设备,但是布置是可扩展的,使得可以将其操作的一部分或全部结合到一台服务器计算设备。也可以存在多个专用的触发器服务器505和多个专用的增强现实服务器515。
对于一些实施例,增强现实数据库520可以被配置为存储使用无标记追踪生成的信息。现实世界对象的三维模型的图像或视频可以被图像传感器提供或者使用移动计算设备的摄像机捕获。来自图像的数据(也被称作传感器数据)可以用于使用增强现实仿真应用程序生成不同的可能的虚拟数据集。增强现实仿真应用程序可以是增强现实服务器515中包括的应用程序。增强现实仿真应用程序可以被配置为使用无标记追踪而不使用任何特别放置的标记来执行真实环境的追踪和识别来处理真实世界对象的三维模型和虚拟对象模型之间的交互,其中当对象围绕场景移动时用增强现实仿真应用程序评估图像平面中的对象的轨迹,无标记追踪生成大量动态生成的可能的虚拟传感器数据集,然后为了获得现实中的当前构成并且基于该摄像机的位置和方向观察点显示增强现实场景,选择与捕获到的虚拟数据集最相似的虚拟数据集。增强现实仿真引擎将包括深度、图像和光特征的真实世界3D对象的特征带到增强现实处理***内,并且在增强现实环境中以与虚拟对象类似的方式处理。换句话说,追踪器将一致的标签分配给在视频的不同帧中的追踪对象。此外,根据追踪域名,追踪器也能够提供以对象为中心的信息,诸如对象的方向、区域或形状。
对于一些实施例,触发器服务器505和增强现实服务器515可以被实施为使用IDOL应用程序(加利福尼亚州旧金山Autonomy公司的软件产品)的智能数据操作层(IDOL)服务器。也可以使用与IDOL应用程序关联的其它软件和***。IDOL应用程序从各种来源的连接器收集索引数据以训练引擎并且将索引数据存储在它的专有结构中,为快速处理和检索数据而进行优化。作为信息处理层,IDOL应用程序形成企业中所有内容的概念的和语境的理解,自动分析任何一条来自超过数千的不同内容格式的信息以及甚至人的兴趣。数百种操作能够被IDOL应用程序在数字内容上执行,包括超链接、代理商、汇总、分类生成、聚类、推断、分析、预警和检索。
IDOL应用程序具有概念信息的知识库并且能够将触发器的特征信息与签名和对应的增强现实建立内在关联。图9中例示IDOL应用程序中包含的模块的示例。
IDOL应用程序能够使组织不丧失手动控制而受益于自动化。这种互补的方法允许自动处理与各种人类可控制的撤销相结合,提供两全其美并且从不要求“两者之一/或者”的选择。IDOL应用程序与所有已知的遗留***集成,省去需要组织来拼凑多个***以支持其分离的组件。
IDOL应用程序可以与能够连接到数百种内容库并且支持超过数千种文件格式的IDOL连接器关联。这提供了无论文件所在,将任何形式的结构化、半结构化和非结构化的数据聚集并且编入单一索引的能力。一套广泛的连接器实现对所有企业信息(包括富媒体)的单点搜索,为组织节省大量时间和资金。访问几乎每一块内容,IDOL应用程序提供组织的数据资产的360度视角。
IDOL应用程序实现概念技术,是环境感知的,并且使用深音频和视频索引技术查找包括音乐、游戏和视频的最相关的产品。IDOL应用程序自动分类内容以提供直观的导航,无需手动输入。IDOL应用程序也生成概念上相似内容的链接,无需用户进行搜索。可以用自由文本描述和诸如产品的快照的样本图像来训练IDOL应用程序。商业控制台介绍关于查询模式、普及和点击通过的生活指标,允许经营者为应对不断变化的需求而配置环境、设置促销和调整相关性。
镜像和分布式处理
参考图5,在一些实施例中,可以有多个触发器服务器505和增强现实服务器515以满足由多个用户共享多个不同的增强现实的需求和使用。例如,在第一站点,可以有一个或多个触发器服务器505和增强现实服务器515。而且,可以有多个镜像站点,每个镜像站点具有相似的硬件和软件结构并且被设立为第一站点。多个站点可以以分布式的方式彼此合作来帮助加速特征信息的分析,使得增强现实可以实时地或接近实时地被识别并被传送给移动计算设备。这可以使用户能够快速并且随意地加入正在进行的增强现实。
流程图
图6例示根据一些实施例的可以被一个或多个服务器计算设备执行的过程的流程图的示例。例如,该一个或多个服务器计算设备可以包括图5中所述的触发器服务器和增强现实服务器。在方框605中,从移动计算设备接收特征信息。特征信息可以与触发器关联。在方框610中,服务器计算设备使用特征信息来生成签名信息。在方框615中,执行测试来确定签名是否是服务器计算设备之前没见过的新签名。当是新签名时,那么服务器计算设备可以识别增强现实以与签名关联起来。可能已向移动计算设备的用户呈现注册的触发器的列表和相关的增强现实识别器的列表,并且用户可以决定创建新触发器来与一个现存的增强现实识别器相配。因此,该信息可以用于服务器计算设备以使新签名能够与现存增强现实匹配。在方框625中,被识别的增强现实被传送给移动计算设备。可替代地,从方框615,签名可以不是新签名。这将发生在用户使用已被事先注册并为服务器计算设备所知的触发器时。在这种情况下,如方框620中所示增强现实被识别,并且如方框625中所示被传送给移动计算设备。
方框605-625所描述的操作可以作为指令被存储在计算机可读介质上。指令可以包括将触发器的特征信息传送给使用无线通信连接于网络的服务器计算设备,接收来自服务器计算设备的与触发器的特征信息相对应的增强现实,并且使增强现实能够显示在第一移动计算设备的显示屏的边界区域内,其中与第一移动计算设备关联的增强现实被共享并且与由服务器计算设备先前传送给第二移动计算设备的增强现实时间同步,第二移动计算设备先前已将同一触发器的特征信息传送给服务器计算设备,并且其中第一和第二计算设备彼此靠近。
图7例示根据一些实施例的可被移动计算设备执行的过程的示例流程图。在方框705中,使用移动计算设备的摄像机捕获触发器的图像。在方框710中,生成触发器的特征信息。在方框715中,特征信息被传送给服务器计算设备。服务器计算设备可以包括图5中所示的触发器服务器和增强现实服务器。服务器计算设备可以分析特征信息、生成签名信息、并且识别适合的增强现实信息。在方框720中,从服务器计算设备接收增强现实信息。在方框725中,增强现实被显示在移动计算设备的显示屏的边界区域内。上述过程可以应用于当被注册的触发器的图像被捕获的情况。当额外的用户希望加入该经验时,可以为每个新用户重复方框705-725的操作。
在使用新触发器的情况下,过程可以从方框710进行到可以将特征信息与增强现实识别器关联起来的方框712。然后过程在特征信息和增强现实识别器都被传送给服务器计算设备的方框715处继续。
图8例示根据一些实施例的可以使用无标记追踪并且被一个或多个服务器计算设备执行的过程的示例流程图。在该示例中,如方框805中所示,使用传感器追踪来捕获三维真实世界对象的图像。在方框810中,基于该图像生成传感器数据。在方框815中,基于该传感器数据生成多组虚拟现实数据。这些虚拟现实数据组可以基于被增强现实仿真应用程序仿真时的角度、方向上的变化,与传感器数据的不同变化相对应。这些虚拟现实数据组可以被存储在图5中所示的增强现实数据库515中。在方框820中,从移动计算设备接收特征信息。方向信息也可以被接收。在方框825中,可以生成签名信息,并且基于签名信息和方向信息可以识别一组虚拟现实数据。在方框830中,虚拟现实数据被传送给移动计算设备。该虚拟现实数据与将被呈现在移动计算设备的显示屏上的增强现实相对应。对于一些实施例,方框805-815的操作可能只需要为特定的三维真实世界对象执行一次。当额外的用户希望加入该经验时,可以为每个新用户重复方框820-830的操作。
智能数据操作层(IDOL)服务器
图9例示根据一些实施例的IDOL服务器的一些模块的示例框图。IDOL服务器900可以包括自动超链接模块905、自动分类模块910、自动查询引导模块915、自动分类生成模块920、分析模块925、自动聚类模块930和概念检索模块935。自动超链接模块905被配置为允许在相关信息片段之间建立手动和全自动链接。当文件被查看时,超链接被实时地生成。自动分类模块910被配置为允许通过非结构化的文本内发现的概念,获得精确类别,确保所有数据被分类在正确的环境中。
自动查询引导模块915被配置为提供查询意见以查找最相关的信息。自动查询引导模块915通过将结果动态地聚集到与其最相关的组中来识别术语的不同意思。自动分类生成模块920被配置为自动生成分类并且立即将数据组织成熟知的子/亲分类结构。自动分类生成模块920基于对以数据集作为整体的概念的理解,识别名称和创建每个节点。分析模块925被配置为基于他们的浏览、内容消费和内容贡献准确地理解个人兴趣。分析模块925基于显式和隐式的简档生成每个用户的多方面的概念简档。
自动聚类模块930被配置为帮助分析大型文件和用户资料集并且自动识别固有的主题和信息集群。自动聚类模块930甚至聚集在电子邮件、电话交谈和即时消息中交换的非结构性内容。概念检索模块935被配置为使用基于可以不在文件中出现的词语来识别概念和查找信息的可扩展技术来识别图案。
应注意,IDOL服务器900也可以包括使它能够分析从移动计算设备接收到的特征信息并识别存储在增强现实数据库520(图5中例示)中的增强现实的其它模块和特征。
计算***
图1例示可以使用本文中所论述的一个或多个软件应用程序的实施例的示例计算***的框图。计算***环境100仅是合适的计算环境的一个示例,诸如客户端设备,并不意图暗示对使用范围或设计的功能的任何限制。计算环境100也不应被解释为对示例性操作环境100中例示的任何一个组件或其组合具有任何依赖性或要求。
该设计被运行于许多其它通用或专用计算***环境或配置。可以适合使用该设计的公知的计算***、环境和/或配置的示例包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、多处理器***、基于微处理器的***、机顶盒、可编程消费电子产品、网络个人计算机、小型计算机、大型计算机、包括任何上述***或设备的分布式计算环境等。
该设计可以被描述于计算设备可执行的指令的一般环境中,诸如正被计算机运行的程序模块。通常,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。本领域的技术人员能够将本文中的描述和/或附图实现为能够体现在下面讨论的任何形式的计算机器可读介质的计算机可执行指令。
该设计也可以在由通过通信网络连接的远程处理设备来执行任务的分布式计算环境中实行。在分布式计算环境中,程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。
参照图1,用于实现该设计的示例性计算型***包括计算设备110形式的通用计算设备。计算设备110的组件可以包括但不局限于,具有一个或多个处理核的处理单元120、***存储器130、和将包括***存储器的各种***组件连接到处理单元120的***总线121。***总线121可以是使用多种总线架构中的任何一种的包括存储器总线或存储器控制器、外设总线、和局部总线的几种类型的总线结构中的任何一种。通过示例并非限制,这样的架构包括工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型工业标准架构(EISA)总线、视频电子标准协会(VESA)现场总线和外设组件互连(PCI)总线。
计算设备110典型地包括多种计算机器可读介质。计算机器可读介质可以是能够被计算设备110访问的任何可用的介质,并且包括易失性和非易失性介质、可移动和不可移动介质。通过示例并非限制,计算机器可读介质的用途包括存储信息,诸如计算机可读指令、数据结构、程序模块或其它数据。计算机存储介质包括但并不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多用盘(DVD)或其它光盘存储器、磁带盒、磁带、磁盘存储器或其它磁存储设备、或能够用于存储所需信息并能够被计算机100访问的任何其它介质。通信介质典型地包括计算机可读指令、数据结构、程序模块或其它传输机制并且包括任何信息传递介质。
***存储器130包括易失性和/或非易失性存储器形式的计算机存储介质,诸如只读存储器(ROM)131和随机存取存储器(RAM)132。包含诸如在启动期间有助于在计算设备110内的元件之间传送信息的基本例程的基本输入/输出***(BIOS)133典型地被存储在ROM131中。RAM132典型地包含可以立即访问和/或现正被处理单元120操作的数据和/或程序模块。通过示例并非限制,图1例示操作***134、应用程序135、其它程序模块136和程序数据137。
计算设备110也可以包括其它可移动/不可移动的易失性/非易失性计算机存储介质。仅通过示例,图1例示读取或写入不可移动非易失性磁介质的硬盘驱动器141、读取或写入可移动非易失性磁盘152的磁盘驱动器151、以及诸如CDROM或其它光介质的读取和写入可移动非易失性光盘156的光盘驱动器155。能够用于示例性操作环境的其它可移动/不可移动的易失性/非易失性计算机存储介质包括但不局限于USB驱动器和设备、磁带盒、闪存卡、数字多用盘、数字视频磁带、固态RAM、固态ROM等。硬盘驱动器141典型地通过诸如接口140的不可移动存储器接口连接于***总线121,并且磁盘驱动器151和光盘驱动器155典型地由诸如接口150的可移动存储器接口连接于***总线121。
以上讨论和图1中例示的驱动器以及与其关联的计算机存储介质为计算设备110提供计算机可读指令、数据结构、程序模块和其它数据的存储。图1中,例如硬盘驱动器141被例示为存储操作***144、应用程序145、其它程序模块146和程序数据147。注意这些组件既能够与操作***134、应用程序135、其它程序模块136和程序数据137相同也能够与其不同。本文中,操作***144、应用程序145、其它程序模块146和程序数据147被给出不同的编号来例示至少它们是不同的复制品。
用户可以通过诸如键盘162、麦克风163、和像鼠标、轨迹球或触摸板这样的定位设备161的输入设备,将命令和信息输入计算设备。其它输入设备(未示出)可以包括摇杆、游戏板、卫星盘、扫描仪等。这些以及其它输入设备通常通过与***总线相连的用户输入接口160连接于处理单元120,但是可以通过诸如并行端口、游戏端口或者通用串行总线(USB)的其它接口和总线结构连接。监视器或显示器191或其它类型的显示设备也通过诸如视频接口190的接口连接于***总线121。除监视器之外,计算机也可以包括可以通过输出外设接口190连接的其它外设输出设备,诸如扬声器197和打印机196。
计算设备110可以使用至诸如远程计算机180的一台或多台远程计算机的逻辑连接在网络环境中运行。远程计算机180可以是个人计算机、手持设备、服务器、路由器、网络个人计算机、对等设备或其它公共网络节点,并且典型地包括与计算设备110相关的上述元件中的一些或全部。图1中所述的逻辑连接包括局域网(LAN)171和广域网(WAN)172,但也可以包括其它网络。这样的网络环境常见于办公室、企业范围的计算机网络、内联网和互联网。浏览器应用程序可以驻留在计算设备上并且存储于存储器中。
当在LAN网络环境中使用时,计算设备110通过网络接口或适配器170连接于LAN171。当在WAN网络环境中使用时,为了在诸如互联网的WAN173上建立通信,计算设备110典型地包括通信模块172或其它装置。通信模块172可以是用于有线、无线通信或两者的调制解调器。通信模块172可以是内部的或外部的,可以通过用户输入接口160或其它适当的机械装置连接于***总线121。在网络环境中,与计算设备110相关的所述程序模块或其中的一部分可以被存储在远程存储器存储设备中。通过示例并非限制,图1例示远程应用程序185为驻留在远程计算机180上。应理解,所示网络连接是示例性的并且可以使用其它方式在计算机之间建立通信链接。
应注意,本设计能够被实施于诸如关于图1所描述的计算***。然而,本设计能够被实施于服务器、专门用于消息处理的计算机、或者分布式***,在分布式***中本设计的不同部分被实施于分布式计算***的不同部分。
可以连接于总线111的另一设备是诸如电池和交流电适配器电路的电源。如上所述,DC电源可以是电池、燃料电池、或需要定期充电的类似DC电源。对于无线通信,通信模块172可以采用无线应用协议来建立无线通信信道。通信模块172可以执行无线网络标准,诸如美国电气和电子工程师学会(IEEE)802.11标准、1999年由IEEE发行的IEEE标准802.11-1999。
然而其它***可以以独立的方式使用本设计中可以使用的各种组件,本文所述的解决多个广告***漏洞点的全面的、集成的***是不存在的。移动计算设备的示例可以是膝上型计算机、手机、个人数字助理、或其它具有机上处理能力和无线通信能力的用直流(DC)电源供电的类似设备,DC电源给移动设备提供DC电压并仅在移动计算设备内并需要定期充电,诸如燃料电池或电池。
网络环境
图2例示可以应用所述技术的网络环境200。网络环境200具有连接服务器计算设备204-1到204-n,以及至少一个或多个客户端计算***208-1的网络202。如所示,可以有通过可以是例如互联网的网络202彼此连接的多个服务器计算设备204-1到204-n和多个客户端计算***208-1到208-n。注意,可替代地网络202可以是或包括下列中的一个或多个:光网络、互联网、局域网(LAN)、广域网(WAN)、卫星链路、光纤网络、电缆网络、或者这些和/或其它网络的组合。应进一步理解,使用术语客户端计算***和服务器计算设备是为了明确指定谁发起通信(客户端计算***)和谁响应(服务器计算设备)。除非明确指明,没有层次结构被暗示。两种功能可以在单个通信设备中,在这种情况下,客户端-服务器和服务器-客户端的关系可以被视为点对点。因此,如果诸如客户端计算***208-1和服务器计算设备204-1的两个***都能够发起和响应通信,它们的通信可以被视为点对点的。同样地,如果每个这样的通信设备能够发起和响应通信,客户端计算***204-1和204-2以及服务器计算设备208-1和208-2之间的通信可以被视为点对点的。服务器计算设备204-1到204-n中的一个或多个可以与像例如数据库206-1到206-n这样的数据库关联起来。在客户端计算***208-3和网络202之间可以建立像例如防火墙220这样的防火墙以保护客户端计算***208-3上的数据完整性。
图2也例示服务器计算设备显示诸如网页等信息的实施例的框图。当在服务器计算设备204-1上执行像例如签名生成应用程序这样的识别并匹配可能的增强现实的应用程序时,引起服务器计算设备204-1在诸如网页的媒体空间的一部分上显示视窗和用户界面屏幕。用户通过客户端计算***208-1的浏览器可以与网页交互,然后提供输入给由应用程序的用户界面呈现的查询/域和/或服务。网页可以由在任何启用超文本标记语言(HTML)或无线访问协议(WAP)的客户端计算***208-1或其等价物上的网络服务器计算设备204-1提供服务。例如,客户端移动计算***208-1可以是智能手机、触摸板、膝上型电脑、上网本等。客户端计算***208-1可以拥有浏览器以与服务器计算设备204-1交互。每个应用程序、窗口小部件、插件等具有脚本代码以执行软件组件被编码来实现诸如呈现字段和图标以取得所需信息的细节的功能。应用程序可以被托管在服务器计算设备204-1上并且为客户端计算***208-1的浏览器服务。然后,应用程序为允许输入细节的页面和允许输入更多细节的进一步的页面服务。
任何应用程序和其它脚本代码组件可以被存储在计算机可读介质上,当在服务器上执行该介质时,会引起服务器执行那些功能。在实施例中,用于促进本文中所描述的功能和过程的软件能够被体现在诸如计算机可读介质的计算机器可读介质上。如上所述,计算机器可读介质包括任何以机器(例如,计算机)可读形式提供(例如,存储)信息的机械装置。例如,计算机器可读介质包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储介质;光存储介质;闪存设备;DVD、EPROM、EEPROM、FLASH、磁或光卡、或适合存储电子指令的任何类型的介质。代表存储在计算机器可读介质上的装置和/或方法的信息可以被用于创建本文中所述装置和/或方法的过程。
本设计也涉及用于执行本文中操作的装置。该装置可以为所需目的而专门构建,或者它可以包括被存储于计算机内的计算机程序选择性激活或重新配置的通用计算机。这样的计算机程序可以被存储于计算机可读存储介质中,诸如但不限于包括软盘、光盘、CD-ROM和磁光盘的任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、或适合存储电子指令的任何类型的介质,并且每个都与计算机***总线相连。本文中所描述的任何模块或组件的部分可以用软件中的代码行、软件中配置的逻辑门、或两者的组合来实现,并且用软件实现的部分被有形地存储在计算机可读存储介质上。
本文中所介绍的算法和显示器并不固有地涉及任何特定的计算机或其它装置。各种通用***可以用于根据本文中的教导的程序,或者可以证明便于构建更专门的设备来执行所需的方法块。各种这样的***所需的结构将出现在以下的描述中。
下面的详细描述的一些部分用计算机存储器内的数据位上的操作的算法和符号表示。这些算法描述和表示是数据处理领域的技术人员最有效地将其工作的实质内容传递给本领域的其它技术人员所使用的方法。本文中,算法通常被认为是引出期望的结果的步骤的自洽序列。步骤是那些需要物理量的物理操作。通常但并非必须,这些量采用能够被存储、传送、组合、比较和以其它方式***纵的电或磁信号的形式。有时主要是为了共同使用,将这些信号称作比特、值、元件、符号、字符、术语、数字等已被证明是方便的。这些算法可以用多种不同的软件编程语言诸如C、C++、Java或其它类似语言来写。并且,算法可以用软件中的代码行、软件中配置的逻辑门、或两者的组合来实现。在实施例中,逻辑包括遵循布尔逻辑规则的电路、包括指令样式的软件、或两者的任何组合。
然而,应该牢记所有这些和类似的术语应与适当的物理量相关并且仅是用于这些量的方便标记。除非特别声明,否则如从上面的讨论中易见的,应理解在整个描述、讨论中,使用术语诸如“处理”、“计算”、“演算”、“确定”或“显示”等指的是计算***或类似的电子计算设备的动作和过程,该计算***或类似的电子计算设备将在计算***寄存器和存储器内被表示为物理(电子)量的数据操作并转换为在计算***存储器或寄存器,或其它这样的信息存储、传送或显示设备内的同样地被表示为物理量的其它数据。
虽然已参照附图详细地描述了本发明的实施例,但是应注意对于本领域的技术人员各种变化和修改将是显而易见的。这样的变化和修改应被理解为被包括在如所附权利要求所限定的本发明的实施例的范围内。例如,对于材料和形状提供具体示例,然而,实施例包括对本领域的技术人员显而易见的那些变化,例如改变形状或将材料结合在一起。而且,虽然已示出本发明的一些具体实施例,但本发明并不局限于这些实施例。例如,已示出几个具体的模块。每个模块执行几个具体的功能。然而,所有这些功能可以被归纳到一个模块中,或者甚至被进一步细分成许多模块。大多数由电子硬件组件执行的功能可以通过软件仿真重复,并且反之亦然。本发明应被理解为不被本文中所描述的实施例限制,但仅被所附权利要求的范围限制。

Claims (20)

1.一种使能够共享增强现实的***,该***包括:
触发器服务器,被配置为从使用无线通信的第一和第二移动计算设备接收特征信息,所述第一和第二移动计算设备彼此靠近,所述触发器服务器进一步被配置为基于从所述第一和第二移动计算设备接收到的所述特征信息生成签名信息,所述特征信息与触发器关联,所述第一和第二移动计算设备中的每个被配置有内置摄像机来捕获所述触发器的图像,所述触发器服务器与被配置为存储关于多个触发器的信息的触发器数据库相连;以及
增强现实服务器,与所述触发器服务器相连并且被配置为使用所述签名信息来识别增强现实,所述增强现实服务器与被配置为存储关于多个增强现实的信息的增强现实数据库相连,其中同一被识别的增强现实被传送给所述第一移动计算设备和所述第二移动计算设备,并且其中所述第一移动计算设备的用户通过在所述第一移动计算设备的显示屏上观看所述被识别的增强现实,而所述第二用户在所述第二移动计算设备的显示屏上观看所述被识别的增强现实,与所述第二移动计算设备的用户共享所述被识别的增强现实。
2.如权利要求1所述的***,其中所述第一和第二移动计算设备中的每个都配备全球定位***(GPS)设备,并且其中来自所述第一和第二移动计算设备的GPS信息用于确定所述第一和第二移动计算设备是否彼此靠近。
3.如权利要求1所述的***,其中在所述第一移动计算设备的所述显示屏上观看所述被识别的增强现实时与在所述第二移动计算设备的所述显示屏上观看所述被识别的增强现实时时间同步。
4.如权利要求1所述的***,其中所述被识别的增强现实被显示在所述第一或所述第二移动计算设备的所述显示屏的边界区域内,所述边界区域通过给所述触发器划界的区域来限定。
5.如权利要求1所述的***,其中所述触发器包括一个或多个触发对象和关联的背景信息,
其中所述触发器服务器被配置为将关于所述多个触发器的信息和关于所述多个增强现实的信息呈现给所述第一移动计算设备,
其中所述触发器服务器被配置为确定基于从所述第一移动计算设备接收到的所述特征信息生成的所述签名信息是新签名还是已知的签名,并且当所述签名信息是新签名时,存储所述签名信息,
其中所述增强现实服务器被配置为将所述新签名与如被存储于所述增强现实数据库中的现存的增强现实关联,并且
其中所述增强现实数据库被配置为存储使用无标记追踪生成的信息,并且其中由所述触发器服务器从所述第一和第二移动计算设备接收到的信息包括方向信息。
6.一种用于在每个参与的移动计算设备的显示器上生成增强现实的经验共享的计算机生成方法,该方法包括:
识别触发对象和所述触发对象周围的背景场景的视觉特征信息,所述视觉特征信息是在正在被记录于具有内置摄像机应用程序、摄像机镜头、麦克风和显示面板的移动计算设备上的视频流的帧中被捕获;
将所述触发对象和所述背景的所述特征信息连同所述触发对象的位置的地理信息传送给使用无线通信与网络相连的服务器;
生成包括所述触发对象和所述背景的所述视觉特征信息的视觉签名;
在显示器上呈现第一移动计算设备的用户可以选择成为一部分的一个或多个增强现实场景;
接收所述第一移动计算设备的用户选择的增强现实场景;
通过所述服务器发送所述增强现实场景以覆盖所述视频流的帧中包括的所述触发对象和背景上的场景;
接收来自第二移动设备的视频流的与所述视觉签名匹配的视觉特征信息;并且
能够基于两个移动设备无线发送同一视觉签名给服务器使具有所述增强现实场景的增强视频流在所述第一移动计算设备的第一显示屏上和所述第二移动计算设备的第二显示屏上可视。
7.如权利要求6所述的计算机生成方法,其中所述增强现实场景在所述第一和第二显示器上都时间同步以在一段时间内在所述第一和第二显示器上的增强现实场景内示出同一增强现实场景。
8.如权利要求6所述的计算机生成方法,其中所述客户端移动计算设备包括:
处理器、存储器、给所述移动计算设备供电的内置电池、所述移动计算设备的内置摄像机和显示屏、和与连接于网络的服务器计算机无线通信的内置Wi-Fi电路;
视频捕获模块,与所述处理器相连并且被配置为捕获视频流,其中所述视频捕获模块驻留在所述移动设备上,并且是提供子程序以进入增强现实经验的应用程序的一部分,一旦所述移动设备的用户激活提供所述子程序以进入增强现实经验的所述应用程序,则所述视频模块捕获并发送所述视觉签名给所述服务器来将所述视频签名与存储在当前独特视觉签名的临时数据库内的任何其它视觉签名的实例相比较,然后当匹配存在时,所述服务器将所述增强现实场景广播给所有发送所述视觉签名的所述移动设备,并且所述增强现实场景时间同步以与所有在移动设备的显示屏上显示增强现实的所述移动设备同步;以及
全球定位***(GPS)模块,与所述视频捕获模块相连,并且被配置为生成与被所述视频捕获模块捕获的所述视频流的帧关联的地理信息;其中GPS位置用于在比较被传送的视觉特征时减少相比较的触发项目的数量;
视频处理模块,与所述视频捕获模块相连,并且被配置为分析所述视频流的帧并且提取所述帧中包括的所述触发项目和背景的特征,所述视频处理模块进一步被配置为引起将兴趣点的特征和所述地理信息传送给所述服务器计算机,并且接收来自所述服务器计算机的增强信息,其中被传送的视觉特征包括:包含颜色、形状、图案和其它视觉特征的所述触发项目自身的特征、多个触发项目之间的彼此的相对方向和距离、和所述多个触发对象和背景的潜在的边界框图像;并且
其中,所述视频处理模块被配置为用所述增强现实场景覆盖所述视频流的帧中的所述触发对象以生成显示在两个或更多移动设备的每个显示器上的增强视频流。
9.如权利要求8所述的计算机生成方法,其中一旦用户1)激活所述增强现实场景内的图标或其它对象,或者2)执行驻留在所述移动设备上的所述应用程序检测到的预配置的预期隐性行为,那么所述应用程序能够捕获该激活并且将该动作传送回所述服务器使得正播放的所述增强现实场景不再仅仅覆盖所述视频流中捕获的对象,在所述移动设备的所述显示器上正播放并显示的所述增强现实场景的内容代替和替换在所述两个或更多移动设备的每个显示器上正显示的所述视频流,其中与所述视频处理模块相连的所述显示模块被配置为显示所述增强视频流,并且
其中在所述服务器上的第一比较器将进来的触发对象与已知触发项目的数据库相比较,其中当分析所述视觉签名时,进行比较的一定量已知触发项目可能受限于1)种类,2)类型,3)地理位置,以及三者的任何组合,并且
其中所述服务器上的第二比较器将来自给定的第二移动设备的进来的视觉签名与存储在视觉签名的临时数据库中的视觉签名进行比较,并且检查视觉签名的匹配何时发生,然后当匹配发生时,所述服务器将已播放给所述第一移动设备的同一增强现实场景以增强现实场景内的时间基准同步地播放给具有匹配的视觉签名的所述所有移动设备,使得所述移动设备的所有用户共享同一增强现实经验。
10.一种用于在移动计算设备的显示屏上共享增强现实的计算机实现方法,该方法包括:
使用配备有显示屏和无线通信模块的第一移动计算设备的内置摄像机捕获触发器的图像以及与视频帧内的所述触发器关联的背景信息;
识别所述触发器和关联的背景信息的特征信息;
将所述触发器和所述关联的背景信息的所述特征信息传送给使用无线通信连接于网络的服务器计算设备;
从所述服务器计算设备接收与所述触发器和所述关联的背景信息的所述特征信息相对应的增强现实;并且
将所述增强现实呈现在所述第一移动计算设备的所述显示屏上,其中与所述第一移动计算设备关联的所述增强现实被共享,并且与先前被所述服务器计算设备传送给第二移动计算设备的增强现实时间同步。
11.如权利要求10所述的方法,其中所述服务器计算设备被配置为基于所述触发器和所述关联的背景信息的所述特征信息生成签名信息,并且其中所述服务器计算设备进一步被配置为识别与所述签名信息关联的所述增强现实。
12.如权利要求11所述的方法,其中通过将所述增强现实覆盖到所述第一移动计算设备的所述显示屏的一部分上来呈现所述增强现实,所述显示屏的一部分通过给所述触发器划界的边界区域来限定。
13.如权利要求12所述的方法,其中在所述第一移动计算设备之前,所述第二移动计算设备被配置为将所述第二移动计算设备的内置摄像机捕获的所述触发器和所述关联的背景信息的所述特征信息传送给所述服务器计算设备。
14.如权利要求13所述的方法,其中所述服务器计算设备被配置为基于被所述第二移动计算设备传送的所述特征信息和所述关联的背景信息生成签名信息,确定与所述第一移动计算设备关联的所述签名信息和与所述第二移动计算设备关联的所述签名信息是否相似,并且基于两个签名信息是相似的,将与先前传送给所述第二移动计算设备相同的增强现实传送给所述第一移动计算设备。
15.如权利要求14所述的方法,其中所述服务器计算设备被配置为将关于现存触发器的信息传送给所述第一和第二移动计算设备中的一个或多个。
16.如权利要求15所述的方法,其中所述服务器计算设备被配置为将关于现存增强现实的信息传送给所述第一和第二移动计算设备中的一个或多个。
17.如权利要求16所述的方法,其中关于所述现存增强现实的所述信息被分类。
18.一种用于在移动计算设备的显示屏上共享增强现实的计算机实现方法,包括:
将触发器的特征信息传送给使用无线通信连接于网络的服务器计算设备;
接收来自所述服务器计算设备的与所述触发器的所述特征信息相对应的增强现实;并且
能够使所述增强现实被显示在第一移动计算设备的显示屏的边界区域内,其中与所述第一移动计算设备关联的所述增强现实被共享并且与先前被所述服务器计算设备传送给第二移动计算设备的增强现实时间同步,所述第二移动计算设备先前已将同一触发器的特征信息传送给所述服务器计算设备,其中所述第一和第二移动计算设备彼此靠近。
19.如权利要求18所述的方法,进一步包括:
接收来自所述服务器计算设备的关于已知触发器的信息和对应的增强现实信息;并且
使得能够使用所述第一移动计算设备的摄像机在视频流的帧中捕获触发器的图像,其中通过分析所述触发器的所述图像生成所述触发器的所述特征信息。
20.如权利要求19所述的方法,其中所述触发器包括一个或多个触发器对象并且其中所述边界区域被限定为划定一个或多个触发对象的边界的区域。
CN201280023656.4A 2011-04-13 2012-04-12 用于生成并加入经验共享的方法和*** Expired - Fee Related CN103781522B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/086,358 US8493353B2 (en) 2011-04-13 2011-04-13 Methods and systems for generating and joining shared experience
US13/086,358 2011-04-13
PCT/US2012/033389 WO2012142332A1 (en) 2011-04-13 2012-04-12 Methods and systems for generating and joining shared experience

Publications (2)

Publication Number Publication Date
CN103781522A CN103781522A (zh) 2014-05-07
CN103781522B true CN103781522B (zh) 2016-06-15

Family

ID=47006343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280023656.4A Expired - Fee Related CN103781522B (zh) 2011-04-13 2012-04-12 用于生成并加入经验共享的方法和***

Country Status (4)

Country Link
US (4) US8493353B2 (zh)
EP (1) EP2701818B1 (zh)
CN (1) CN103781522B (zh)
WO (1) WO2012142332A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Families Citing this family (119)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040099A1 (en) * 2010-09-20 2012-03-29 Qualcomm Incorporated An adaptable framework for cloud assisted augmented reality
US8718322B2 (en) * 2010-09-28 2014-05-06 Qualcomm Innovation Center, Inc. Image recognition based upon a broadcast signature
US8571781B2 (en) 2011-01-05 2013-10-29 Orbotix, Inc. Self-propelled device with actively engaged drive system
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
KR20130000160A (ko) * 2011-06-22 2013-01-02 광주과학기술원 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
US9026603B2 (en) * 2011-06-30 2015-05-05 Broadcom Corporation Device configuration including a master communications device with a slave device extension
US9176214B2 (en) * 2011-08-10 2015-11-03 Microsoft Technology Licensing, Llc Proximity detection for shared computing experiences
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US8963956B2 (en) * 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
WO2013028908A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Touch and social cues as inputs into a computer
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US9041739B2 (en) * 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2013141862A1 (en) * 2012-03-22 2013-09-26 Empire Technology Development Llc Augmented reality process for sorting materials
US20130257877A1 (en) * 2012-03-30 2013-10-03 Videx, Inc. Systems and Methods for Generating an Interactive Avatar Model
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
JP2015524951A (ja) 2012-05-14 2015-08-27 オルボティックス, インコーポレイテッドOrbotix, Inc. 画像内で丸い物体を検出することによるコンピューティングデバイスの操作
US9292758B2 (en) * 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
CN103457905B (zh) * 2012-05-28 2015-09-09 腾讯科技(深圳)有限公司 数据同步方法、***及设备
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US9323767B2 (en) * 2012-10-01 2016-04-26 Longsand Limited Performance and scalability in an intelligent data operating layer system
CN104936665B (zh) * 2012-10-22 2017-12-26 开放信息公司 合作增强现实
US9330431B2 (en) * 2012-12-19 2016-05-03 Jeffrey Huang System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application
US20140220941A1 (en) * 2013-02-06 2014-08-07 Nec Casio Mobile Communications, Ltd. Virtual space sharing system for mobile phones
US9959674B2 (en) * 2013-02-26 2018-05-01 Qualcomm Incorporated Directional and X-ray view techniques for navigation using a mobile device
US9607584B2 (en) * 2013-03-15 2017-03-28 Daqri, Llc Real world analytics visualization
US9418629B2 (en) * 2013-03-15 2016-08-16 Disney Enterprises, Inc. Optical illumination mapping
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
US10339711B2 (en) * 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US20140285519A1 (en) * 2013-03-22 2014-09-25 Nokia Corporation Method and apparatus for providing local synchronization of information for augmented reality objects
US10349115B2 (en) * 2013-04-12 2019-07-09 Brian Hernandez Multimedia content management system and method of displaying remotely hosted content
WO2014171200A1 (ja) * 2013-04-16 2014-10-23 ソニー株式会社 情報処理装置及び情報処理方法、表示装置及び表示方法、並びに情報処理システム
KR101690777B1 (ko) * 2013-05-02 2016-12-28 주식회사 퓨처플레이 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
WO2014185753A1 (ko) * 2013-05-16 2014-11-20 주식회사 퓨쳐플레이 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템
US10263989B2 (en) * 2013-05-16 2019-04-16 Futureplay Inc. Method for matching multiple devices, and device and server system for enabling matching
JP2014229104A (ja) * 2013-05-23 2014-12-08 ヤマハ株式会社 サーバ装置、プログラム及び通信方法
CA2913218C (en) 2013-05-24 2022-09-27 Awe Company Limited Systems and methods for a shared mixed reality experience
US9685003B2 (en) * 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9779548B2 (en) * 2013-06-25 2017-10-03 Jordan Kent Weisman Multiuser augmented reality system
CN104885113A (zh) * 2013-06-25 2015-09-02 东莞宇龙通信科技有限公司 数据处理方法和数据处理***
US9940750B2 (en) * 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US9167407B2 (en) 2013-07-25 2015-10-20 Elwha Llc Systems and methods for communicating beyond communication range of a wearable computing device
US9204245B2 (en) 2013-07-25 2015-12-01 Elwha Llc Systems and methods for providing gesture indicative data via a head wearable computing device
US9237411B2 (en) 2013-07-25 2016-01-12 Elwha Llc Systems and methods for providing one or more functionalities to a wearable computing device with directional antenna
US9078089B2 (en) 2013-07-25 2015-07-07 Elwha Llc Systems and methods for providing one or more functionalities to a wearable computing device
US9226094B2 (en) 2013-07-25 2015-12-29 Elwha Llc Systems and methods for receiving gesture indicative data at a limb wearable computing device
US9226097B2 (en) 2013-07-25 2015-12-29 Elwha Llc Systems and methods for selecting for usage one or more functional devices detected within a communication range of a wearable computing device
WO2015027226A1 (en) 2013-08-23 2015-02-26 Nantmobile, Llc Recognition-based content management, systems and methods
US9894489B2 (en) * 2013-09-30 2018-02-13 William J. Johnson System and method for situational proximity observation alerting privileged recipients
IN2013MU03138A (zh) 2013-10-03 2015-07-03 Tata Consultancy Services Ltd
US9135646B2 (en) * 2013-10-09 2015-09-15 Ricoh Company, Ltd. Associating advertising content with a channel
TWI525553B (zh) * 2013-10-23 2016-03-11 Inst Information Industry Expansion of the real system and methods
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
US20150193982A1 (en) * 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
CN105874528B (zh) * 2014-01-15 2018-07-20 麦克赛尔株式会社 信息显示终端、信息显示***以及信息显示方法
FR3019333B1 (fr) * 2014-03-26 2016-03-11 Schneider Electric Ind Sas Procede de generation d'un contenu en realite augmentee
WO2015167549A1 (en) * 2014-04-30 2015-11-05 Longsand Limited An augmented gaming platform
GB201410285D0 (en) * 2014-06-10 2014-07-23 Appeartome Ltd Augmented reality apparatus and method
EP2960906A1 (en) * 2014-06-26 2015-12-30 Thomson Licensing Method for processing a video scene and corresponding device
US9830395B2 (en) 2014-08-15 2017-11-28 Daqri, Llc Spatial data processing
US9799143B2 (en) 2014-08-15 2017-10-24 Daqri, Llc Spatial data visualization
US9799142B2 (en) 2014-08-15 2017-10-24 Daqri, Llc Spatial data collection
TW201615008A (en) * 2014-10-09 2016-04-16 Kuo-Ching Chiang Portable device with recording transform module
US10142771B2 (en) * 2014-11-26 2018-11-27 Intel Corporation Virtual sensor apparatus and method
US10915161B2 (en) * 2014-12-11 2021-02-09 Intel Corporation Facilitating dynamic non-visual markers for augmented reality on computing devices
US20160188585A1 (en) * 2014-12-27 2016-06-30 Lenitra Durham Technologies for shared augmented reality presentations
US9197696B1 (en) * 2015-01-19 2015-11-24 Vuclip Offline content distribution networks
US10083363B2 (en) * 2015-05-26 2018-09-25 Nbcuniversal Media, Llc System and method for customizing content for a user
JP6727292B2 (ja) * 2015-08-24 2020-07-22 華為技術有限公司Huawei Technologies Co.,Ltd. セキュリティ認証方法、構成方法、および関連デバイス
CN105491416B (zh) * 2015-11-25 2020-03-03 腾讯科技(深圳)有限公司 增强现实的信息传输方法和装置
US10397320B2 (en) 2016-01-20 2019-08-27 International Business Machines Corporation Location based synchronized augmented reality streaming
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
CN107527380B (zh) * 2016-06-20 2022-11-18 中兴通讯股份有限公司 图像处理方法和装置
US10169921B2 (en) * 2016-08-03 2019-01-01 Wipro Limited Systems and methods for augmented reality aware contents
US10074205B2 (en) 2016-08-30 2018-09-11 Intel Corporation Machine creation of program with frame analysis method and apparatus
WO2018065549A1 (en) * 2016-10-05 2018-04-12 Blippar.Com Limited Apparatus, device, system and method
CN108228120A (zh) * 2016-12-13 2018-06-29 腾讯科技(深圳)有限公司 一种ar场景下的多屏联动方法和***
JP2018097160A (ja) * 2016-12-14 2018-06-21 セイコーエプソン株式会社 表示システム、表示装置、及び、表示装置の制御方法
GB201702350D0 (en) * 2017-02-13 2017-03-29 Thisway Global Ltd Method and system for recruiting candidates
CN108619719A (zh) * 2017-03-15 2018-10-09 上海爱友信息科技有限公司 多人共享屏幕进行在线游戏的数据实时更新方法及装置
KR20180113109A (ko) * 2017-04-05 2018-10-15 삼성전자주식회사 전자 장치 및 전자 장치의 화면 표시 방법
US10048753B1 (en) * 2017-04-20 2018-08-14 Robert C. Brooks Perspective or gaze based visual identification and location system
US10593117B2 (en) * 2017-06-09 2020-03-17 Nearme AR, LLC Systems and methods for displaying and interacting with a dynamic real-world environment
US20190197312A1 (en) 2017-09-13 2019-06-27 Edward Rashid Lahood Method, apparatus and computer-readable media for displaying augmented reality information
KR102560689B1 (ko) 2017-09-26 2023-07-28 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US20190163434A1 (en) * 2017-11-27 2019-05-30 Marxent Labs, LLC Technologies for networked virtual content in a mobile computing environment
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
CN109922100B (zh) * 2017-12-12 2022-03-22 中兴通讯股份有限公司 一种信息处理方法、终端及服务器
US10002442B1 (en) 2017-12-21 2018-06-19 Capital One Services, Llc Placement of augmented reality objects using a guide marker
GB201804383D0 (en) 2018-03-19 2018-05-02 Microsoft Technology Licensing Llc Multi-endpoint mixed reality meetings
JP7209474B2 (ja) 2018-03-30 2023-01-20 株式会社スクウェア・エニックス 情報処理プログラム、情報処理方法及び情報処理システム
US10846935B2 (en) * 2018-04-12 2020-11-24 PRO Unlimited Global Solutions, Inc. Augmented reality campus assistant
WO2019222621A1 (en) * 2018-05-17 2019-11-21 Kaon Interactive Methods for visualizing and interacting with a trhee dimensional object in a collaborative augmented reality environment and apparatuses thereof
US10878037B2 (en) 2018-06-21 2020-12-29 Google Llc Digital supplement association and retrieval for visual search
US10579230B2 (en) 2018-06-21 2020-03-03 Google Llc Digital supplement association and retrieval for visual search
US10854004B2 (en) * 2018-08-24 2020-12-01 Facebook, Inc. Multi-device mapping and collaboration in augmented-reality environments
CN109254666B (zh) * 2018-09-21 2022-01-18 上海曼恒数字技术股份有限公司 虚拟现实设备定位同步方法、装置、设备和介质
US11966867B2 (en) * 2018-12-13 2024-04-23 Micro Focus Llc Project management visualization interface
US10921878B2 (en) * 2018-12-27 2021-02-16 Facebook, Inc. Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US11090561B2 (en) 2019-02-15 2021-08-17 Microsoft Technology Licensing, Llc Aligning location for a shared augmented reality experience
US11170035B2 (en) * 2019-03-29 2021-11-09 Snap Inc. Context based media curation
US11097194B2 (en) 2019-05-16 2021-08-24 Microsoft Technology Licensing, Llc Shared augmented reality game within a shared coordinate space
US11620829B2 (en) 2020-09-30 2023-04-04 Snap Inc. Visual matching with a messaging application
US11341728B2 (en) 2020-09-30 2022-05-24 Snap Inc. Online transaction based on currency scan
US11386625B2 (en) * 2020-09-30 2022-07-12 Snap Inc. 3D graphic interaction based on scan
JP2022097904A (ja) * 2020-12-21 2022-07-01 トヨタ自動車株式会社 案内表示システム及び案内表示システムのサーバ
CN113516776A (zh) * 2021-04-19 2021-10-19 深圳市晨北科技有限公司 增强现实同步方法、装置、终端设备及存储介质
US11706266B1 (en) * 2022-03-09 2023-07-18 Meta Platforms Technologies, Llc Systems and methods for assisting users of artificial reality platforms
CN114866591A (zh) * 2022-04-27 2022-08-05 上海颖橙电子科技有限公司 实景娱乐终端执行***的局域网控制***
US20240071004A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Social memory re-experiencing system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1503344A2 (en) * 2003-07-31 2005-02-02 Seiko Epson Corporation Layered presentation system utilizing compressed-domain image processing
CN101189049A (zh) * 2005-04-06 2008-05-28 苏黎士高等院校非金属材料联盟 在移动设备中执行应用程序的方法
CN102696223A (zh) * 2009-09-14 2012-09-26 Tivo有限公司 多功能多媒体装置

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6714661B2 (en) 1998-11-06 2004-03-30 Nevengineering, Inc. Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
US6563960B1 (en) 1999-09-28 2003-05-13 Hewlett-Packard Company Method for merging images
US7177651B1 (en) 2000-09-22 2007-02-13 Texas Instruments Incorporated System and method for the exchange of location information in a telephone network
US7333820B2 (en) 2001-07-17 2008-02-19 Networks In Motion, Inc. System and method for providing routing, mapping, and relative position information to users of a communication network
DE10150105A1 (de) 2001-10-11 2003-04-30 Siemens Ag Automatische Ermittlung von geometrischen Modellen für optische Teilerkennungen
US7389526B1 (en) 2001-11-02 2008-06-17 At&T Delaware Intellectual Property, Inc. System and method for recording a digital video image
US6641037B2 (en) 2001-12-13 2003-11-04 Peter Williams Method and system for interactively providing product related information on demand and providing personalized transactional benefits at a point of purchase
US7084809B2 (en) 2002-07-15 2006-08-01 Qualcomm, Incorporated Apparatus and method of position determination using shared information
FR2842977A1 (fr) 2002-07-24 2004-01-30 Total Immersion Procede et systeme permettant a un utilisateur de melanger en temps reel des images de synthese avec des images video
US7050787B2 (en) 2002-10-30 2006-05-23 Lockheed Martin Corporation Cooperative element location system
US7050786B2 (en) 2002-10-30 2006-05-23 Lockheed Martin Corporation Method and apparatus for locating a wireless device
US7693702B1 (en) * 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
US6845338B1 (en) 2003-02-25 2005-01-18 Symbol Technologies, Inc. Telemetric contextually based spatial audio system integrated into a mobile terminal wireless system
US6906643B2 (en) 2003-04-30 2005-06-14 Hewlett-Packard Development Company, L.P. Systems and methods of viewing, modifying, and interacting with “path-enhanced” multimedia
US8005958B2 (en) 2003-06-27 2011-08-23 Ixia Virtual interface
GB2411014A (en) 2004-02-11 2005-08-17 Autonomy Corp Ltd Automatic searching for relevant information
US7565139B2 (en) 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US7221902B2 (en) 2004-04-07 2007-05-22 Nokia Corporation Mobile station and interface adapted for feature extraction from an input media sample
US7623823B2 (en) * 2004-08-31 2009-11-24 Integrated Media Measurement, Inc. Detecting and measuring exposure to media content items
US20060218191A1 (en) 2004-08-31 2006-09-28 Gopalakrishnan Kumar C Method and System for Managing Multimedia Documents
US8565788B2 (en) 2005-02-03 2013-10-22 Mexens Intellectual Property Holding Llc Method and system for obtaining location of a mobile device
US7765231B2 (en) 2005-04-08 2010-07-27 Rathus Spencer A System and method for accessing electronic data via an image search engine
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US20080214153A1 (en) 2005-09-14 2008-09-04 Jorey Ramer Mobile User Profile Creation based on User Browse Behaviors
MX2007015979A (es) 2006-03-31 2009-04-07 Nielsen Media Res Inc Metodos, sistemas y aparato para medicion de multiples fines.
GB2436924A (en) 2006-04-08 2007-10-10 David Everett Portable security monitor
US20080077952A1 (en) 2006-09-25 2008-03-27 St Jean Randy Dynamic Association of Advertisements and Digital Video Content, and Overlay of Advertisements on Content
US20080165843A1 (en) 2007-01-03 2008-07-10 Human Monitoring Ltd. Architecture for image compression in a video hardware
FR2911211B1 (fr) 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
FR2911707B1 (fr) 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
EP1965344B1 (en) 2007-02-27 2017-06-28 Accenture Global Services Limited Remote object recognition
US20090176520A1 (en) 2007-04-12 2009-07-09 Telibrahma Convergent Communications Private Limited Generating User Contexts for Targeted Advertising
US20080268876A1 (en) 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US8160980B2 (en) 2007-07-13 2012-04-17 Ydreams—Informatica, S.A. Information system based on time, space and relevance
US8644842B2 (en) 2007-09-04 2014-02-04 Nokia Corporation Personal augmented reality advertising
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US8098881B2 (en) 2008-03-11 2012-01-17 Sony Ericsson Mobile Communications Ab Advertisement insertion systems and methods for digital cameras based on object recognition
US8732246B2 (en) 2008-03-14 2014-05-20 Madhavi Jayanthi Mobile social network for facilitating GPS based services
US8010327B2 (en) 2008-04-25 2011-08-30 Total Immersion Software, Inc. Composite assets for use in multiple simulation environments
US20090276154A1 (en) 2008-04-30 2009-11-05 Verizon Corporate Services Group Inc. Method and system for coordinating group travel among mobile devices
US8976027B2 (en) 2008-06-06 2015-03-10 Harris Corporation Information processing system for consumers at a store using personal mobile wireless devices and related methods
US20100081458A1 (en) 2008-10-01 2010-04-01 Qualcomm Incorporated Mobile Terminal Motion Detection Methods and Systems
US7966641B2 (en) 2008-10-23 2011-06-21 Sony Corporation User identification using Bluetooth and audio ranging
WO2010051342A1 (en) 2008-11-03 2010-05-06 Veritrix, Inc. User authentication for social networks
US8346915B2 (en) * 2009-05-04 2013-01-01 Qualcomm Incorporated System and method of recording and sharing mobile application activities
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
WO2010141260A1 (en) 2009-06-01 2010-12-09 Telcordia Technologies, Inc. System and method for processing commentary that is related to content
US20100309225A1 (en) 2009-06-03 2010-12-09 Gray Douglas R Image matching for mobile augmented reality
KR20120060940A (ko) * 2009-06-08 2012-06-12 엘지전자 주식회사 다중 반송파 지원 무선 통신 시스템에서 중계기 백홀 링크 및 액세스 링크 상의 반송파 할당 방법
US20100325126A1 (en) 2009-06-18 2010-12-23 Rajaram Shyam S Recommendation based on low-rank approximation
US8229743B2 (en) 2009-06-23 2012-07-24 Autonomy Corporation Ltd. Speech recognition system
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20120254333A1 (en) * 2010-01-07 2012-10-04 Rajarathnam Chandramouli Automated detection of deception in short and multilingual electronic messages
US8958815B2 (en) 2010-02-12 2015-02-17 Broadcom Corporation Method and system for characterizing location and/or range based on transmit power
US9488488B2 (en) 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
US8884871B2 (en) 2010-02-26 2014-11-11 Thl Holding Company, Llc Adjunct device for use with a handheld wireless communication device as a screen pointer
US8694533B2 (en) * 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
US8599011B2 (en) 2010-07-30 2013-12-03 Q-Track Corporation Firefighter location and rescue equipment employing path comparison of mobile tags
KR101299910B1 (ko) * 2010-08-18 2013-08-23 주식회사 팬택 증강 현실 서비스의 공유 방법 및 그를 위한 사용자 단말기와 원격자 단말기
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
US9002490B2 (en) 2011-04-13 2015-04-07 Longsand Limted Methods and systems for generating frictionless social experience environment
US8493353B2 (en) * 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1503344A2 (en) * 2003-07-31 2005-02-02 Seiko Epson Corporation Layered presentation system utilizing compressed-domain image processing
CN101189049A (zh) * 2005-04-06 2008-05-28 苏黎士高等院校非金属材料联盟 在移动设备中执行应用程序的方法
CN102696223A (zh) * 2009-09-14 2012-09-26 Tivo有限公司 多功能多媒体装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Also Published As

Publication number Publication date
CN103781522A (zh) 2014-05-07
US9691184B2 (en) 2017-06-27
EP2701818B1 (en) 2018-08-29
US20130307874A1 (en) 2013-11-21
EP2701818A4 (en) 2015-03-11
WO2012142332A1 (en) 2012-10-18
US9235913B2 (en) 2016-01-12
US20150339839A1 (en) 2015-11-26
EP2701818A1 (en) 2014-03-05
US20160027221A1 (en) 2016-01-28
US8493353B2 (en) 2013-07-23
US20120263154A1 (en) 2012-10-18

Similar Documents

Publication Publication Date Title
CN103781522B (zh) 用于生成并加入经验共享的方法和***
CN109952610B (zh) 图像修改器的选择性识别和排序
CN107924414B (zh) 促进在计算装置处进行多媒体整合和故事生成的个人辅助
EP2732383B1 (en) Methods and systems of providing visual content editing functions
US11080941B2 (en) Intelligent management of content related to objects displayed within communication sessions
JP2020528705A (ja) 認知的洞察を使用したビデオ・シーンの移動
US11846981B2 (en) Extracting video conference participants to extended reality environment
US20180349367A1 (en) Systems and methods for associating virtual objects with electronic documents, and searching for a virtual object or an electronic document based on the association
US11651562B2 (en) Method and system for enabling enhanced user-to-user communication in digital realities
CN111126390A (zh) 一种用于识别媒体内容中标识图案的相关方法及装置
US11640273B2 (en) Infrastructure model collaboration via state distribution
Liu et al. Enriching the GIScience research agenda: Fusing augmented reality and location‐based social networks
CN113626624B (zh) 一种资源识别方法和相关装置
US20240119682A1 (en) Recording the complete physical and extended reality environments of a user
CN109863746A (zh) 交互式数据可视化环境
US20230351711A1 (en) Augmented Reality Platform Systems, Methods, and Apparatus
Khan The rise of augmented reality browsers: Trends, challenges and opportunities
Shin et al. Enriching natural monument with user-generated mobile augmented reality mashup
CN111885139B (zh) 内容分享方法、装置及***、移动终端、服务器
Larson et al. The benchmark as a research catalyst: Charting the progress of geo-prediction for social multimedia
Lin et al. The application of unmanned aerial vehicle oblique photography technology in online tourism design
Sasao et al. The Potential of Virtual Real World for Usability Test of Location-Aware Apps
WO2023146837A2 (en) Extended reality for collaboration
Grubert Mobile Augmented Reality for Information Surfaces
Münster Personal Augmented Space: Mobile 3D Visualisation and Interaction Study with Microblogging

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151126

Address after: cambridge

Applicant after: LONGSAND LTD.

Address before: California, USA

Applicant before: Aurasma Ltd.

Effective date of registration: 20151126

Address after: Bracknell

Applicant after: Aurisma Ltd.

Address before: cambridge

Applicant before: LONGSAND LTD.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20181127

Address after: Texas, USA

Patentee after: HEWLETT-PACKARD DEVELOPMENT Co.,L.P.

Address before: Bracknell

Patentee before: Aurisma Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160615