CN103119544B - 展现基于位置的内容的方法和装置 - Google Patents

展现基于位置的内容的方法和装置 Download PDF

Info

Publication number
CN103119544B
CN103119544B CN201180034665.9A CN201180034665A CN103119544B CN 103119544 B CN103119544 B CN 103119544B CN 201180034665 A CN201180034665 A CN 201180034665A CN 103119544 B CN103119544 B CN 103119544B
Authority
CN
China
Prior art keywords
content
user interface
user
points
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180034665.9A
Other languages
English (en)
Other versions
CN103119544A (zh
Inventor
T·瓦蒂宁
B·卡斯特罗
D·J·墨菲
A·A·阿尼奥
T·凯尔凯宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN103119544A publication Critical patent/CN103119544A/zh
Application granted granted Critical
Publication of CN103119544B publication Critical patent/CN103119544B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种呈现与基于位置的服务相关联的内容的方法。提取与在基于位置的服务中识别的对象上的点相关联的内容。对象可通过,但不限于,一个或多个三维或二位模型或通过扩展现实视图来表示。提取对象的模型。至少部分地使得在基于位置的服务的用户界面中的对象模型的一个或多个表面上对内容进行呈现。

Description

展现基于位置的内容的方法和装置
背景技术
服务提供商和设备制造商(例如,无线、蜂窝等)不断受到挑战,以例如通过提供有竞争力的网络服务来向消费者传达价值和便利。一个感兴趣的领域是在普遍性、功能性和内容性方面大有增加的基于位置的服务(例如,导航服务、测绘服务、扩展现实应用等)的开发。然而,通过这些服务的可用内容和功能的这种增加,服务提供商和设备制造商面临着用用户容易并快速理解的方式展现内容的巨大技术挑战。
发明内容
因此,需要高效地且有效地向用户展现基于位置的内容的方法。
根据一个实施例,一种方法,包括:提取与基于位置的服务的一个或多个对象的一个或多个点相关联的内容。该方法还包括:提取所述一个或多个对象的一个或多个模型。该方法还包括:至少部分地使得在所述基于位置的服务的用户界面中对与所述一个或多个对象模型的一个或多个表面相关联的内容进行呈现。
根据另一实施例,一种装置,包括:至少一个处理器;以及包括一个或多个程序的计算机程序代码的至少一个存储器;所述至少一个存储器和计算机程序代码被配置为,利用所述至少一个处理器,使得所述装置执行:提取与基于位置的服务的一个或多个对象的一个或多个点相关联的内容。还使得所述装置执行:提取所述一个或多个对象的一个或多个模型。还使得所述装置执行:至少部分地使得在所述基于位置的服务的用户界面中对与所述一个或多个对象模型的一个或多个表面相关联的内容进行呈现。
根据另一实施例,一种计算机可读存储介质,承载一个或多个指令的一个或多个序列,当由一个或多个处理器执行时,使得装置执行:提取与基于位置的服务的一个或多个对象的一个或多个点相关联的内容。还使得所述装置执行:提取所述一个或多个对象的一个或多个模型。还使得所述装置执行:至少部分地使得在所述基于位置服务的用户界面中对与所述一个或多个对象模型的一个或多个表面相关联的内容进行呈现。
根据另一实施例,一种装置,包括:提取与基于位置的服务的一个或多个对象的一个或多个点相关联的内容的部件。该装置还包括:提取所述一个或多个对象的一个或多个模型的部件。该装置还包括:至少部分地使得在所述基于位置的服务的用户界面中对与所述一个或多个对象模型的一个或多个表面相关联的内容进行呈现的部件。
从以下具体实施方式,简单地,通过示出多个特定实施例和实施方式,包括执行本发明的最佳方式,本发明的其他方面、特点、和优点容易是清楚的。本发明还能够用其他和不同实施例,并且可以在不脱离本发明的精神和范围的情况下,在各种方面修改其若干细节。由此,附图和说明书本身应被看作说明性的,而非限制性的。
附图说明
在附图中,通过示例而并非限制,示出本发明的实施例,其中:
图1是根据一个实施例能够展现带有基于对象模型的一个或多个表面而呈现的内容的用户界面的***的视图;
图2是根据一个实施例的用户设备的组件的视图;
图3是根据一个实施例展现带有基于对象模型的一个或多个表面而呈现的内容的用户界面的处理的流程图;
图4是根据一个实施例用于将内容与对象模型的点关联的处理的流程图;
图5是根据一个实施例用于向用户推荐浏览内容的视角的处理的流程图;
图6A-6D是根据各个实施例在图3的处理中利用的用户界面的视图;
图7是可用于实施本发明实施例的硬件的视图;
图8是可用于实施本发明实施例的芯片集的视图;和
图9是可用于实施本发明实施例的移动终端(例如手机)的视图。
具体实施方式
公开了展现带有基于对象模型的一个或多个表面而呈现的内容的用户界面的方法、装置和计算机程序。在以下描述中,为了说明的目的,阐述了多个特定细节,以提供本发明的实施例的全面理解。然而,对于本领域技术人员很清楚,本发明的实施例可以在没有这些特定细节或具有等同配置的情况下实践。在其他实例中,以框图形式示出已知结构和设备,以避免不必要地掩盖本发明的实施例。
图1是根据一个实施例能够展现带有基于对象模型的一个或多个表面而呈现的内容的用户界面的***的视图。注意,移动设备和计算设备通常在如今的世界中正在无处不在,通过这些设备正在提供许多服务。这些服务可包括扩展现实(AR)和混合现实(MR)的服务和应用。AR允许用附加的视觉信息来覆盖真实世界的用户视图。MR允许真实和虚拟世界的合并以生成视觉化和新的环境。在MR中,物理和数字对象可共存,并实时交互。因此,MR可以是现实、AR、虚拟现实、或其组合的混合。
使用这种应用的优点是允许内容与位置关联。这个内容可与其他人共享,或为用户保持以向用户提醒信息。典型地,位置定义地越精确,基于位置的内容越有用。由此,在确定并将内容与特定位置关联时出现了技术挑战。此外,在提取相关联的内容用以向用户或其他用户展现时出现了技术挑战。作为示例,许多传统的移动AR服务使用传感器和位置信息在相机视图的顶部上显示内容,结果是图标或文本框在相机视图上浮动或振动。内容和上下文的这个关联不是非常精确的,这可能导致用户相信内容与并非与该内容相关联的位置关联,或者可能使得难以确定关联性。此外,在内容和环境之间缺少完整性。相反,用户仅看到在相机馈送的顶部上的内容重叠。此外,这些AR服务中的许多通常按照难以与内容所属于的精确位置视觉关联的方式在景象的顶部显示内容。在一些情况下,通过重叠而展现的信息对应于被另一对象(例如建筑物、树、其他视觉元素等)阻挡的位置或点。
为了解决这些问题,图1的***100引入了展现带有基于对象模型的一个或多个表面而呈现的内容的用户界面的能力。一个实施例中,可利用图像(例如全景图像)来将AR与虚拟现实(VR)混合,以帮助用户更清楚地理解哪里与扩展内容关联。展现内容的图形用户界面(GUI)可包括通过利用对象模型(例如建筑物模型、树模型、街道模型、墙模型、风景模型、和其他对象的模型)将内容附加至景象(例如,全景图形的一部分、相机视图的一部分等)。根据一个实施例,对象可以是真实世界或物理环境中物理对象的表示(例如,二维或三维表示)、或虚拟现实世界中的对应的虚拟对象。物理对象的表示可通过对象的图形实现。通过这个方法,在GUI中表示与对象模型相关联的位置的信息时,用户可浏览在视图(例如全景视图和/或相机视图)上显示内容时该内容与哪里相关联。
例如,如果用户生成与建筑物的第五楼层相关联的注释,可在第五楼层的顶部上展现该注释。此外,可利用三维(3D)视角,其使得内容成为视图的一部分,而并非覆盖它。这样,内容可与对象模型的表面(例如建筑物的外表)结合。为了展现这样的GUI,用户设备(UE)101可提取与基于位置的服务的对象上的点相关联的内容。于是UE101可提取对象的模型,并使得内容基于GUI中的对象模型的一个或多个表面进行呈现。
在一个实施例中,图1的用户设备101a-101n可向用户展现GUI。在某些实施例中,图像的处理和/或呈现可发生在UE101上。在其他实施例中,一些或全部的处理可发生在提供一个或多个基于位置的服务的一个或多个位置服务平台103上。在某些实施例中,基于位置的服务是可至少部分地基于地理位置提供信息和/或娱乐的服务。在某些实施例中,基于位置的服务可基于UE101的位置信息和/或方位信息。位置服务的实例包括导航、地图服务、本地搜索、AR等。UE101和位置服务平台103可经由通信网络105通信。在某些实施例中,位置服务平台103可额外地包括世界数据107,其可包括与特定位置(例如元数据中的位置坐标)相关联的媒体(例如,视频、音频、图像等)。这个世界数据107可包括来自UE101的一个或多个用户和/或生成内容的商业用户的媒体。在一个示例中,商业和/或个人用户可通过跟踪特定路径或街道生成全景图像。这些全景图像可额外地接合在一起,以生成无缝图像。此外,全景图像可用于生成本地的图像,例如,都市环境,如城市。在某些实施例中,世界数据107可分成一个或多个数据库。
此外,世界数据107可包括地图信息。地图信息可包括地图、卫星图像、街道和路径信息、兴趣点(POI)信息、与地图相关联的签名信息、与地图相关联的对象和结构、关于人和人的位置的信息、与信息相关联的坐标信息等、或其组合。POI可以是一个人例如可能感兴趣或有用的特定点位置。POI的示例可包括机场、面包店、水库、地标、饭店、酒店、建筑物、公园、人的位置、或在某些方面感兴趣、有用、或重要的任意点。在一些实施例中,向用户提供的地图信息和地图可以是模拟的3D环境。在某些实施例中,模拟的3D环境是被创建为近似区域的街道、建筑物、特点等的位置的3D模型。于是,这个模型可用于从虚拟地的任意角度或视角呈现位置,用以在UE101上显示。此外,某些实施例中,向用户展现的GUI可基于真实世界图像(例如UE101的相机视图或全景图像)和3D模型的结合。3D模型可包括一个或多个3D对象模型(例如建筑物、树、标志、广告牌、灯杆等的模型)。这些3D对象模型还可包括一个或多个其他组件对象模型(例如建筑物可包括4个墙组件模型,标志可包括标志组件模型和张贴组件模型等)。每个3D对象模型可与特定位置(例如,全球定位***(GPS)坐标或其他位置坐标,可以与真实世界关联也可以不关联)关联,并且可使用一个或多个标识符来识别。可利用数据结构来将标识符和位置关联至物理环境(例如城市、世界等)的综合3D地图模型。可在UE101的存储器上存储数据的子集或集合。
用户可在UE101上使用应用109(例如扩展现实应用、地图应用、位置服务应用等),向用户提供与对象上的点相关联的内容。这样,用户可激活位置服务应用109。位置服务应用109可利用数据收集模块111提供UE101的位置和/或方位。某些实施例中,在确定UE101的位置时可利用一个或多个GPS卫星113。此外,数据收集模块111可包括图像捕获模块,其可包括数码相机或用于生成真实世界图像的其他部件。这些图像可包括一个或多个对象(例如,建筑物、树、标志、汽车、卡车等)。此外,这些图像可经由GUI展现给用户。UE101可确定UE101的位置、UE101的方位、或其结合,以展现内容和/或增加附加内容。
例如,可向用户展现包括位置的图像的GUI。这个图像可绑定至3D世界模型(例如经由世界数据107的子集)。用户可随后选择GUI上的一部分或点(例如使用触感使能的输入)。UE101接收这个输入,并确定与所选的点相关联的3D世界模型上的点。这个确定可包括对象模型和对象模型上的点和/或对象模型的组件的确定。然后,所述点可用作内容的参考或开始位置。此外,可在与对象模型相关联的内容数据结构中保存精确的点。这个内容数据结构可包括点、对于对象模型的关联、内容、内容的生成器、与内容相关联的任意许可等。
可由用户分配与内容相关联的许可,例如,用户可选择用户的UE101是唯一的允许接收内容的设备。这个情形下,内容可存储在用户的UE101上和/或作为世界数据107的一部分(例如通过向位置服务平台103发送内容)。此外,许可可以是公共的,基于密钥、用户名和密码认证,基于其他用户是否为用户的联系人列表的一部分等。这些情形下,UE101可向位置服务平台103发送内容信息和相关的内容,作为世界数据107的一部分存储或在与世界数据107相关的另一数据库中。由此,UE101可至少部分地使得对内容和点的关联进行存储。某些实施例中,内容可以是可视的或音频信息,其可由用户建立或由用户关联至点和/或对象。内容的示例可包括点上的绘制开始、图像、3D对象、广告、文本、对于其他内容或对象的评论等。
某些实施例中,过滤经由GUI向用户展现的内容和/或对象。如果多于一个内容与GUI上展现的对象和/或多个对象关联,过滤可能很有利。过滤可基于一个或多个标准。一个标准可包括用户偏好,例如,要浏览或过滤的内容的偏好选择类型(例如文本、视频、音频、图像、消息等)、要浏览或过滤的一个或多个内容提供商(例如用户或其他用户)。用于过滤的另一标准可包括通过选择要去除的内容来从显示器去除内容(例如通过经由触摸使能的输入选择内容并拖拽至垃圾桶)。此外,过滤标准可使用基于可用信息改变行为的适配算法来适配。例如,信息或标准的起点集(例如可浏览所选的内容提供商)并基于起点集,UE101可基于所选的标准确定其他标准(例如类似的其他内容提供商)。按类似的方式,适配算法可考虑从GUI上的视图去除的内容。额外地或备选地,浏览重叠的内容的优先顺序可被确定并通过内容存储。例如,广告可具有要浏览的最高优先级,因为用户为优先级而支付过。然而,可使用标准来分类将在视图中向用户展现的内容的优先级。某些实施例中,可向用户提供基于时间过滤内容的选项。作为示例,可为用户提供滚动选项(例如,滚动条),允许用户基于内容被创建的时间或内容与环境相关联的时间来过滤内容。此外,如果用户想要浏览的内容被阻挡,则UE101可确定和推荐另一视角以更容易地浏览内容,如图5进一步详述。
作为示例,***100的通信网络105可包括一个或多个网络,例如数据网络(未示出)、无线网络(未示出)、电话网络(未示出)、或其任意组合。可设想,数据网络可以是任意局域网(LAN)、城域网(MAN)、广域网(WAN)、公共数据网(例如因特网)、短距离无线网络、或任意其他适合的分组交换网络,诸如商业拥有专属分组交换网络,例如专属电缆或光纤网络等、或其组合。此外,无线网络可以是例如蜂窝网络,以及可采用各种技术,包括用于全球演进的高级数据率(EDGE)、通用分组无线业务(GPRS)、全球移动通信***(GSM)、因特网协议多媒体子***(IMS)、通用移动电信***(UMTS)等、以及任意其他适合无线介质,例如微波接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、无线LAN(WLAN)、蓝因特网协议(IP)数据广播、卫星、移动自组织网络(MANET)等、或其任意组合。
UE101是任意类型的移动终端、固定终端、或便携式终端,包括移动手机、站、单元、设备、多媒体计算机、多媒体平板、因特网节点、通信器、桌面型计算机、膝上型计算机、笔记本计算机、网络本计算机、平板计算机、个人数字助理(PDA)、音频/视频播放器、数码相机/摄录像机、定位设备、电视接收机、无线电广播接收机、电子书设备、游戏设备、或其任意组合,包括这些设备的附属和***设备、或其任意组合。还可预期,UE101可支持对用户的任意类型的接口(例如“可佩戴”电路等)。
作为示例,UE101和位置服务平台103使用已知、新或仍旧开发中的协议来彼此以及与通信网络105的其他组件通信。这个上下文中,协议包括定义通信网络105中的网络节点如何基于通信链路上发送的信息彼此交互的一组规则。协议在每个节点中的不同操作层生效,从生成和接收各种类型的物理信号,到选择用于传输这些信号的链路,到由那些信号指示的信息的格式,到识别在计算机***上执行的哪些软件应用发送或接收信息。在开放***互连(OSI)参考模型中描述了用于在网络上交换信息的概念上协议的不同层。
网络节点之间的通信典型地受到交换数据的离散分组的影响。每个分组典型地包括(1)与特定协议相关联的头部信息;和(2)有效载荷信息,其在头部信息之后并包含可独立于该特定协议处理的信息。在一些协议中,分组包括(3)尾部信息,在有效载荷之后并指示有效载荷信息的结尾。头部包括例如分组的来源、其目的地、有效载荷的长度、和协议使用的其他属性的信息。通常,对于特定协议的有效载荷中的数据包括对于与不同的、高层的OSI基准模型相关联的不同协议的头部和有效载荷。对于特定协议的头部典型地指示其有效载荷中包含的下一协议的类型。更高层协议被认为在低层协议中封装。在遍历多个异构网络(例如因特网)的分组中包括的头部典型地包括OSI基准模型定义的物理(层1)头部、数据链路(层2)头部、网间(层3)头部和传输(层4)头部、和各种应用头部(层5、层6和层7)。
在一个实施例中,位置服务平台103可根据客户端-服务器模型与UE101的应用109交互。根据客户端-服务器模型,客户端处理向服务器处理发送包括请求的消息,并且服务器处理通过提供服务(例如,扩展现实图像处理、扩展现实图像提取、消息传送、3D地图提取等)来响应。服务器处理可向客户端处理返回具有响应的消息。通常,客户端处理和服务器处理在不同的计算机设备(称为主机)上执行,并使用用于网络通信的一个或多个协议经过网络通信。术语“服务器”通常用于表示提供服务的处理,或在上面运行该处理的主机计算机。类似地,术语“客户端”通常用于表示发出请求的处理,或在上面该处理运行的主机计算机。这里,术语“客户端”和“服务器”表示处理,而非主机计算机,除非上下文明确指出。此外,由于包括可靠性、扩展性、和冗余性等原因,服务器执行的处理可被拆分以作为多个处理在多个主机(有时候称为层)上运行。
图2是根据一个实施例的用户设备的组件的视图。作为示例,UE101包括向GUI提供基于对象模型的一个或多个表面而呈现的内容的一个或多个组件。可理解,这些组件的功能可组合在一个或多个组件中或通过等同功能的其他组件来执行。这个实施例中,UE101包括数据收集模块111,其可包括一个或多个位置模块201、磁力计模块203、加速计模块205、图像捕获模块207,UE101也可包括运行时模块209(协作UE101的其他组件的使用)、用户界面211、通信接口213、图像处理模块215、和存储器217。UE101的应用109(例如位置服务平台)可利用UE101的组件在运行时模块209上执行。
位置模块210可确定用户的位置。用户的位置可通过三角测量***来确定,例如GPS、辅助GPs(A-GPS)、原点小区、或其他位置推断技术。标准GPS和A-GPS***可使用卫星113来确定UE101的位置。原点小区***可用于确定与蜂窝UE101同步的蜂窝塔。这个信息提供UE101的粗略位置,因为蜂窝塔可具有可地理映射的唯一蜂窝标识符(小区ID)。位置模块201也可利用多个技术来检测UE101的位置。当捕获媒体时,位置坐标(例如GPS坐标)可给出关于UE101的位置的更细的细节。一个实施例中,GPS坐标可嵌入至捕获媒体(例如图像、视频等)的元数据中或通过应用109与UE101关联。此外,某些实施例中,GPS坐标可包括海拔,以提供高度。其他实施例中,可使用另一类型的高度计来确定海拔。某些实施例中,位置模块201可以是用于确定UE101的位置、图像的部件,或用于将视图中的对象与位置关联。
在寻找UE101的水平方位时可使用磁力计模块203。磁力计是可测量磁场的强度和/或方向的工具。使用与罗盘相同的方法,磁力计能够使用地球的磁场确定UE101的方向。在确定方向时,媒体捕获设备(例如相机)的前端可标记为参考点。因此,如果磁场相对于参考点指向北,则获知UE101参考点到磁场的角度。可进行简单的计算来确定UE101的方向。一个实施例中,从磁力计获得的水平方向数据被嵌入至捕获的或流传输的媒体的元数据中,或通过位置服务应用109与UE101关联(例如,通过将信息包括在向位置服务平台103的请求中)。可利用该请求来提取与位置相关联的一个或多个对象和/或图像。
加速计模块205可用于确定UE101的垂直方位。加速计是可测量加速度的工具。使用三轴加速计(具有轴X、Y和Z)提供在具有已知角度的三个方向上的加速度。同样,在确定方向时,媒体捕获设备的前端可标记为参考点。因为取决于引力的加速度为已知,所以当UE101固定时,加速计模块205可确定相比于地球引力UE101指向的角度。一个实施例中,从加速计获得的垂直方向数据嵌入至捕获的或流传输的媒体的元数据中,或通过位置服务应用109与UE101关联。某些实施例中,磁力计模块203和加速计模块205可以是用于确定用户的视角的部件。此外,可利用与用户的位置的关联的方位来将一个或多个图像(例如全景图像和/或相机视图图像)映射至3D环境。
一个实施例中,通信接口213可用于与位置服务平台103或其他UE101通信。某些通信可经由例如因特网协议、消息传送(例如SMS、MMS等)、或任意其他通信方法(例如经由通信网络105)的方法。一些示例中,UE101可经由通信接口213向位置服务平台103发送请求。位置服务平台103可随后经由通信接口213发回响应。某些实施例中,位置和/或方位信息可用于生成对于一个或多个对象的一个或多个图像(例如全景图像)、一个或多个地图位置信息、3D地图等的向位置服务平台103的请求。
图像捕获模块207可连接至一个或多个媒体捕获设备。图像捕获模块207可包括可将光学图像转换成数字格式的光学传感器和电路。图像捕获模块207的示例包括相机、摄像机等。此外,图像捕获模块207可处理来自媒体捕获设备的进入数据。例如,图像捕获模块207可接收涉及真实世界环境的信息的视频馈送(例如,在经由运行时模块209执行位置服务应用109时)。图像捕获模块207可从图像的信息和/或集合(例如视频)捕获一个或多个图像。这些图像可以通过图像处理模块215来处理,以包括从位置服务平台103提取的内容或使得为位置服务应用109(例如经由存储器217)可用的内容。图像处理模块215可经由一个或多个处理器、图形处理器等实现。某些实施例中,图像捕获模块207可以是确定一个或多个图像的部件。
用户界面211可包括各种通信方法。例如,用户接口211可具有包括视觉组件(例如屏幕)、音频组件、物理组件(例如振动)、和其他通信方法的输出。用户输入可包括触摸屏界面、滚动和点击接口、按钮接口、麦克风等。此外,用户接口211可用于显示来自存储器217和/或在通信接口213上接收的地图、导航信息、相机图像和流、增强现实应用信息、POI、虚拟现实地图图像、全景图像等。输入可经由一个或多个方法,例如语音输入、文本输入、打字输入、打字触摸屏输入、其他触摸使能的输入等。某些实施例中,用户接口211和/或运行时模块209可以是使得内容在对象模型的一个或多个界面上进行呈现的部件。
此外,用户接口211还可用于增加内容,与内容交互,操作内容等。用户界面还可用于从展现中过滤内容和/或选择标准。此外,用户界面可用于操作对象。用户接口211可在使得展现图像(例如全景图像、AR图像、MR图像、虚拟现实图像、或其组合)时使用。这些图像可绑定至虚拟环境模仿或与真实世界关联。任意适当的装置(例如移动设备、扩展现实眼镜、投影仪等)可用作用户接口211。用户接口211可看作用于显示和/或接收输入以传送与应用109相关的信息的部件。
图3是根据一个实施例展现带有基于对象模型的一个或多个表面而呈现的内容是用户界面的处理的流程图。在一个实施例中,位置服务应用109执行处理300,并实现于例如包括图8所示的处理器和存储器的芯片集中。由此,位置服务应用109和/或运行时模块209可结合UE101的其他组件和/或位置服务平台103,来提供用于实施处理300的各个部分的部件以及用于实施其他处理的部件。
在步骤301,位置服务应用109至少部分地使得对图形用户界面进行展现。GUI可经由UE101的屏幕来展现给用户。GUI可基于UE101或位置服务应用109的启动例程来展现。额外地或备选地,GUI可基于来自UE101的用户的输入来展现。某些实施例中,GUI可包括一个或多个流传输图像捕获图像(例如来自相机的视图)和/或一个或多个全景图像。全景图像可从存储器217和/或从位置服务平台103来提取。从位置服务平台103的提取可包括图像的请求的发送和图像的接收。此外,位置服务应用109可从位置服务平台103(例如从世界数据107)提取一个或多个对象。对象和/或全景图像的提取可基于位置。这个位置可基于位置模块201和/或UE101的其他组件或基于用户的输入(例如录入zip代码和/或地址)来确定。根据位置,用户能够浏览图像和/或对象。
然后,在步骤303,位置服务应用109可提取由位置服务应用109提供的基于位置的服务的一个或多个对象的一个或多个点相关的内容。内容的提取可通过GUI的视图来触发。例如,当用户的视图包括对象和/或与关联内容相关的图像时,可提取内容。再次,这个内容可从UE101的存储器217或从世界数据107提取。此外,UE101可提取对象的一个或多个模型(步骤305)。模型可包括与虚拟3D地图的对象相关联的3D模型或对象的组件的模型(例如组件对象,如建筑物的墙)。
接着,在步骤307,位置服务应用109可至少部分地使得在基于位置的服务的GUI中基于对象模型的一个或多个表面呈现内容。呈现还可在模型的顶部作为皮肤重叠该内容。此外,呈现可在模型的顶部在图像的皮肤上重叠该内容。某些实施例中,不需要展现模型,但是可基于数据库中存储的信息(例如世界数据107)来确定表面。在对象的表面呈现也可用于对象和内容的整合,从而提供对内容和关联对象之间的关联的更加精确的浏览。
此外,可经由GUI展现所呈现的内容。此外,展现可包括关于基于点的内容的位置的信息。例如,位置信息可包括与关联于内容的建筑物相关的楼层。另一示例中,位置信息可包括海拔或内部建筑物信息。此外,在对象的地图表示上,这个信息可作为图标、颜色、一个或多个数字来展现,如图6A所示。位置信息可基于对象模型与点的关联。例如,点可关联于作为区域的一部分(例如第十楼层)的大量对象模型(例如一个或多个点集)。
作为示例,对象模型、一个或多个其他对象模型、或其组合可包括与地理位置对应的3D模型。呈现可包括在用户界面中在3D模型上的一个或多个图像。如先前所述,3D模型可包括网格,图像可以是网格上的皮肤。这个网格和皮肤可在GUI上提供更加现实的视图。此外,图像可包括全景图像、扩展现实图像(例如经由相机)、混合现实图像、虚拟现实图像、或其组合。
如先前所述,内容的呈现可包括过滤哪些内容,并向用户提供其他GUI信息。由此,位置服务应用109可至少部分地使得对内容、对象模型、点、一个或多个其他对象模型、一个或多个其他内容、或其组合基于一个或多个标准进行过滤。如先前所述,标准可包括用户偏好、基于算法确定的标准、用于基于一个或多个优先级分类的内容的标准、基于输入确定的标准(例如拖拽到垃圾箱)等。用户界面的呈现可基于这样的过滤更新(例如,在过滤出内容时呈现附加内容)。
某些实施例中,内容的呈现可基于内容的3D坐标。可相对于与一个或多个对象模型对应的一个或多个其他3D坐标来确定用于呈现的内容的一个或多个3D坐标。一个示例中,内容关联至一个或多个对象模型、一个或多个点、在大量的一个或多个对象中的一个或多个其他点、或其组合。关联可至少部分地基于一个或多个3D坐标。
在一个场景下,3D坐标可特定于3D环境(例如环境的宏观视图)。在另一场景下,3D坐标可相对于对象模型(例如环境的微观视图)。在梯形场景下,3D坐标可取决于对象模型。此外,模型可关联至3d环境中的其自身的3D坐标。
在步骤309,位置服务应用109接收用于操作内容的呈现的输入。这个输入可包括内容和选项的选择,以改变或扩展内容。这个选项可基于与内容相关联的许可提供给用户。例如,如果内容需要某个许可来改变内容,则可需要用户提供认证信息以更新内容。内容可通过改变与内容相关联的文本、与内容相关联的位置或点、关于内容的评论、移除内容的部分、替换内容(例如用图像、另一视频等替换视频)、其组合等来操作。
然后,在步骤311,使得对内容、点、对象模型、点和内容之间的关联、其组合等进行更新。更新可包括用信息更新UE101的本地存储器217,通过进行对更新的传输来更新世界数据107、或通过向UE101传输更新来更新其他UE101。例如,用户可能知道希望看到更新的其他用户。可向那些用户的UE101发送更新(例如经由与其他用户的UE101的位置服务应用109相关联的其他用户的UE101的端口)。此外,当更新内容时,可将更新日志和/或历史进行更新。此外,可使得原始内容、对象模型、点等被存档,用于以后提取。
在一个实施例中,位置服务应用109使得基于与内容相关联的用户界面的视角来展现内容。可做出对与内容相关联的用户界面的视角的确定。这个确定可考虑与用户的视图相比的内容的视图。例如,这个确定可基于将向用户展现内容的角度。如果内容在阈值浏览角度内,则至少部分地致使基于浏览角度转换内容的呈现。该转换可提供对内容的更好浏览角度。在一个示例中,转换将内容带入至用户更容易浏览的另一视图中。
图4是根据一个实施例用于将内容与对象模型的点关联的处理的流程图。在一个实施例中,位置服务应用109执行处理400,并实现于例如包括图8所示的处理器和存储器的芯片集中。由此,位置服务应用109和/或运行时模块209可结合UE101的其他组件和/或位置服务平台103,来提供用于实施处理400的各个部分的部件以及用于实施其他处理的部件。
在步骤401,位置服务应用109至少部分地使得对图形用户界面进行展现。如步骤301所述,GUI可经由UE101的屏幕来展现给用户。此外,GUI可展现位置服务应用109的视图。例如,GUI可包括图6A-6D中所述的用户界面之一。
基于该用户界面,用户可在GUI上(例如经由触摸使能的输入)选择一个点或多个点。位置服务应用109接收用于经由用户界面选择点的输入(步骤403)。如上所述,输入可经由触摸使能的输入、滚动和点击输入、或任意其他输入机制。所选的点可以是GUI上展现的3D虚拟世界模型、相机视图、全景图像集、其组合等的一部分。
然后,在步骤405,位置服务应用109将内容与点关联。用户可从存储器217中的信息选择内容,或创建位置服务应用109的内容(例如经由绘画工具、绘图工具、文本工具等)。此外,从存储器217提取的内容可包括一个或多个媒体对象,例如音频、视频、图像等。可通过将所选的点与虚拟世界模型关联,来将内容与点关联。这个情形下,虚拟世界模型可包括一个或多个对象和对象模型(例如建筑物、植物、风景、街道、街道标志、广告牌等)。可基于标识符和/或位置坐标在数据库中识别这些对象。此外,当展现GUI时,GUI可在背景中包括虚拟世界模型,以用于选择点。用户可在使用位置服务应用109时在各个视图之间改变。例如,第一视图可包括区域的二维地图,第二视图可包括区域的3D地图,第三视图可包括区域的全景或相机视图。
在某些实施例中,在GUI上展现虚拟世界模型(例如经由多边形网格),并将全景和/或相机视图用作多边形网格上的皮。在其他实施例中,可展现相机视图和/或全景视图,并基于所选的点关联背景中的对象。当点被选择时,可将其映射至背景的关联对象和/或虚拟世界模型上。此外,可选择内容进行存储,用于基于所选的点进行展现。例如,所选的点可以是内容的角、开始点、中间等。
在步骤407,位置服务应用109可至少部分地使得对内容和点的关联进行存储。存储可经由存储器217。其他实施例中,存储器可经由世界数据107。由此,位置服务应用109使得信息向位置服务平台103进行传输,这使得在数据库中存储。在其他实施例中,位置服务应用109可使得向一个或多个其他UE101传输关联内容和点(例如通过发送包括内容和点的数据结构),所述一个或多个其他UE101随后可利用内容。此外,如上所述,存储可包括创建和将许可关联至内容。
图5是根据一个实施例用于向用户推荐浏览内容的视角的处理的流程图。在一个实施例中,位置服务应用109执行处理500,并实现于例如包括图8所示的处理器和存储器的芯片集中。由此,位置服务应用109和/或运行时模块209可结合UE101的其他组件和/或位置服务平台103,来提供用于实施处理500的各个部分的部件以及用于实施其他处理的部件。
在步骤501,位置服务应用109至少部分地使得对图形用户界面进行展现。如步骤301和401所述,GUI可经由UE101的屏幕来展现给用户。此外,GUI可展现位置服务应用109的视图。例如,GUI可包括图6A-6D中所述的用户界面之一。
然后,在步骤503,位置服务应用109确定用户界面的视角。所述视角可基于UE101的位置(例如,基于位置坐标、UE101的方位、或其组合)、所选位置(例如经由用户输入)等。包括这个选择的用户输入可包括街道地址、zip代码、位置的缩小和放大、当前位置向另一位置的拖拽等。可利用虚拟世界和/或全景视图向用户展现图像信息。
在步骤505,位置服务应用109确定内容的呈现受到用户界面上的其他对象的一个或多个呈现阻碍。例如,如果用户可用的内容与用户正在浏览的建筑物的其他侧上的墙对象关联。这个情形下,可向用户展现内容的提示。这样的提示可包括视觉提示,例如视觉线索、地图预览、标签、云团、图标、定点手指等。此外,某些情形下,可搜索要浏览的内容。例如,内容可包括含有标签或描述内容的文本的可搜索元数据。
如果阻碍了内容,则位置服务应用109可至少部分地基于与阻碍相关的确定来推荐另一视角(步骤507)。可选择(例如通过在视图中)视觉提示,并且位置服务应用109可提供在另一视角浏览内容的选项。可通过确定与内容相关联的点和/或位置来确定其他视角。然后,位置服务应用109可确定与内容相关联的面或表面。这个面可例如通过从面向内容的视图放大而被带入视图中。此外,某些实施例中,用户可导航至其他视角(例如通过经由用户界面选择可用的移动选项)。这样的移动选项可包括移动、旋转、拖拽以得到内容等。
图6A-6D是根据各个实施例在图3-5的处理中利用的用户界面的视图。用户界面600示出位置服务应用109的视图。可以向用户示出内容601。在一个实施例中,用户可增加内容601。由此,用户可选择特定点603来增加内容。基于该点,于是这个信息可关联于世界模型来存储。此外,元数据可与存储的信息关联。元数据可在用户界面600的另一部分605中展现。例如,元数据可包括视图的街道位置。此外,元数据可包括关于视图的其他信息,例如与点相关联的楼层。某些实施例中,可基于虚拟模型确定楼层,所述虚拟模型可包括楼层信息。与对象(例如建筑物)相关联的其他详细信息也可包含在对象的描述中,并用于确定一个或多个点以将内容与对象关联。
在某些实施例中,用户可选择望远镜特征607,以允许用户浏览当前的周围的事物以改变视图。例如用户可以选择望远镜特征607,以能够看到与全景图像和/或虚拟模型相关联的附加信息。望远镜特征可额外地允许用户浏览对象的附加视图或视角。此外,用户可选择过滤特征609,其可基于先前详述的标准过滤内容。用户可经由内容增加特征611在内容上增加附加内容或评论。用户可选择用户界面600上的点以增加内容。可利用其他图标来增加不同类型的内容。此外,用户可通过选择模式选项613切换至不同模式(例如全屏模式、地图模式、虚拟世界模式等)。
图6B示出显示内容621的示例性用户界面620。某些实施例中,内容621可与物理世界的建筑物上的广告牌点关联。广告牌点可包括一个或多个广告。此外,广告内容可销售给广告主。此外,如果用户不喜欢广告,用户可过滤广告并显示不同广告。此外,用户可在广告或其他内容上评论623。来自其他用户的评论可额外地提供给用户。某些实施例中,如图所示,内容621适合于对象的形式,这个情况下,为建筑物对象625。图6C示出在用户界面640上的内容改变之后的内容641。此外,可通过注解643选择和/或展现可视提示。注解643可滚动通过或基于用户输入或时间而被浏览。
图6D示出在两个对象663、665之间显示内容661的视图的另一示例性用户界面660。这个示例中,内容661可绑定至一个或多个对象。内容661可在第一点667开始,并基于所述第一点667而被创建。此外,内容661可与另一点669关联。因此,内容661可与多于一个点关联。这允许基于与内容661关联的一个或多个不同对象来搜索内容661。某些实施例中,可向用户提供一个或多个工具,以增加或注释内容。例如,工具可包括对象的库,例如3D对象、2D对象、绘图工具(例如铅笔或画笔)、增加文本的文本工具等。此外,一个或多个颜色可与内容关联,以关注内容。
通过以上方法,与物理环境相关联的内容能够按精确和集成的方式来注释和展现。基于位置的内容可成为环境的一部分,并非来自地图或相机视图界面的层。这样,用户能够直接与例如建筑物墙的对象交互,以及与附加至那些对象(例如墙)的内容交互。此外,这个方法考虑在可能尺寸受限的屏幕中展现附加内容,因为用内容注释对象。可通过将内容与3D环境中的对象关联实现确定在哪里放置内容的精确性。如先前所述,3D环境可包括具有与三维(例如X、Y和Z轴)对应的对象的数据。
这里所述的用于注释和展现内容的处理可有利地经由软件、硬件、固件或软件和/或固件和/或硬件的组合来实现。例如,这里所述的处理,包括提供与服务的可用性相关联的用户接口导航信息,可有利地经由处理器、数字信号处理(DSP)芯片、专用集成电路(ASIC)、场可编程门阵列(FPGA)等实现。以下详述用于执行所述功能的这样示例性硬件。
图7示出可在上面实现本发明实施例的计算机***700。尽管关于特定设备或装备示出计算机***700,可预想其他设备或装备(例如网络元件、服务器等)也可部署***700的所示硬件和组件。计算机***700被编程(例如经由计算机程序代码或指令)以如这里所述的那样注释和展现内容,并且包括例如总线710的通信机构,用于在计算机***700的其他内部和外部组件之间传递信息。信息(还称为数据)表示成可测量现象的物理表达,典型地为电压,单在其他实施例中包括例如磁、电磁、压力、化学、生物、分子、原子、亚原子和量子交互的现象。例如,南北磁场、或零和非零电压代表二进制数字(比特)的两个状态(0,1)。其他现象可代表更高基数的数字。在测量之间多个同时量子状态的重叠代表量子比特(qubit)。一个或多个数字的序列构成用于代表字符的数目或代码的数字数据。在一些实施例中,称为模拟数据的信息通过特定范围内的可测量值的接近闭联集来表示。计算机***700或其一部分构成用于执行注释和展现内容的一个或多个步骤的部件。
总线710包括一个或多个并行的信息导体,从而在耦合至总线710的设备之间快速传送信息。用于处理信息的一个或多个处理器702与总线710耦合。
处理器(或多个处理器)702执行关于信息的一组操作,所述信息由涉及注释和展现内容的计算机程序代码指定。计算机程序代码是用于操作处理器和/或计算机***以执行指定功能的一组指令或提供指令的语句。代码例如可用编译成处理器的本地指令集的计算机编程语言来编写。代码也可使用本地指令集(例如机器语言)来直接编写。该组操作包括从总线710带入信息并且将信息置于总线710上。该组操作还典型地包括比较两个或更多个信息单元,移动信息单元的位置,并且组合两个或更多个信息单元(例如通过加或乘或逻辑运算,如OR,异OR(XOR)和AND)。对于处理器,可由处理器执行的该组操作的每个操作通过称为指令的信息来代表,例如一个或多个数字的操作代码。处理器702要执行的操作的序列(例如操作代码的序列)构成处理器指令,还称为计算机***指令,或简单地计算机指令。处理器可实现为机械、电、磁、光、化学或量子组件,其中可以是单独的或组合的。
计算机***700还包括耦合至总线710的存储器704。存储器704(例如随机存取存储器(RAM)或其他动态存储装置)存储包括用于注释和展现内容的处理器指令的信息。动态存储器允许其中存储的信息由计算机***700改变。RAM允许在称为存储器地址的位置存储的信息单元独立于相邻地址被存储和提取。存储器704还由处理器702使用,以在处理器指令的执行期间存储临时值。计算机***700还包括只读存储器(ROM)706和耦合至总线710的其他静态存储装置,用于存储可由计算机***700改变的静态信息,包括指令。一些存储器包括易失性存储装置,当失去电力时其失去在上面存储的信息。耦合至总线710的还有非易失性(永久性)存储装置708,例如磁盘、光盘或闪速卡,用于存储即使当计算机***700关闭或失去电力时仍旧持续的信息,包括指令。
可从外部输入设备712(例如键盘,包含人工用户操作的字母数字键,或传感器)向总线710提供信息(包括用于注释和展现内容的指令)供处理器使用。传感器检测在其周围的条件,并且将那些条件转换成物理表达,其兼容于可测量现象以用于代表计算机***700中的信息。耦合至总线710的其他外部设备(主要用于与人工交互)包括显示器设备714,例如阴极射线管(CRT)或液晶显示器(LCD)、或呈现文本和图像的等离子屏或打印机,以及定点设备716,例如鼠标或跟踪球或指针定向键、或运动传感器,用于控制在显示器714上呈现的小光标图像的位置以及发出与显示器714上呈现的图形元素相关的命令。在一些实施例中,例如,在计算机***700自动执行所有功能而无需人工输入时,忽略外部输入设备712、显示器设备714和定点设备716中的一个或多个。
在所示实施例中,专用硬件(例如专用集成电路(ASIC)720)耦合至总线710。专用硬件被配置为为了专用目的足够快速地执行并未由处理器702执行的操作。应用专用IC的示例包括:图形加速器卡,用于生成针对显示器714的图像;密码板,用于加密和解密在网络上发送的消息;语音识别;以及对于专用外部设备的接口,例如机器臂和医学扫描设备,其重复执行在硬件中更加有效实施的操作的一些复杂序列。
计算机***700还包括耦合至总线710的通信接口770的一个或多个示例。通信接口770提供对于用他们自身处理器运行的各种外部设备(例如打印机、扫描仪和外部盘)的单路或双路通信耦合。一般地,耦合利用与本地网络780连接的网络链路778,具有它们自身处理器的各种外部设备连接至局部网络780。例如,通信接口770可以是个人计算机上的并行端口或串行端口或通用串行总线(USB)端口。在一些实施例中,通信接口770是向相应类型的电话线路提供信息通信连接的集成服务数字网络(ISDN)卡或数字订户线路(DSL)卡或电话调制解调器。在一些实施例中,通信接口770是将总线710上的信号转换成用于在同轴电缆上通信连接的信号或转换成用于在光纤电缆上通信连接的光学信号的电缆调制解调器。作为另一示例,通信接口770可以是向兼容LAN(例如以太网)提供数据通信连接的局域网(LAN)卡。也可实施无线链路。对于无线链路,通信接口770发送或接收或既发送又接收电、声或电磁信号,包括红外和光学信号,其承载例如数字数据的信息流。例如,在无线手持设备(例如像蜂窝电话的移动电话)中,通信接口770包括无线电带电磁发送器和接收器,称为无线电收发器。某些实施例中,通信接口770使得能够连接至通信网络105以用于通信至UE101。
这里使用术语“计算机可读介质”来表示参与到向处理器702提供信息(包括用于执行的指令)的任意介质。这样的介质可采用许多形式,包括但不限于,非易失性介质、易失性介质、和传输介质。非易失性介质包括例如光或磁盘,例如存储装置708。易失性介质包括例如动态存储器704。传输介质包括例如同轴电缆、铜线、光纤电缆、和载波,其在无需布线或电缆的情况下通过空间行进,例如声波和电磁波,包括无线电、光和红外波。信号包括在通过传输介质发送的振幅、频率、相位、极化或其他物理属性的人工瞬间改变。计算机可读介质的通用形式包括例如软盘、灵活盘、硬盘、磁带、任意其他磁介质、CD-ROM、CDRW、DVD、任意其他光学介质、穿孔卡、纸带、光学标记表、具有孔或其他光学可识别特征的模式的任意其他物理介质,RAM、PROM、EPROM、FLASH-EPROM、任意其他存储器芯片或盒、载波、计算机可从中读取的任意其他介质。这里使用术语“计算机可读存储介质”表示除了传输介质之外的任意计算机可读介质。
在一个或多个有形的媒体中进行编码的逻辑包括在计算机可读存储媒体和诸如ASIC720的专用目的硬件上的处理器指令中的一个或两个。
网络链路778典型地通过一个或多个网络使用传输媒体将信息通信提供给使用或处理该信息的其它设备。例如,网络链路778可通过本地网络780将连接提供给主计算机782或由国际互联网服务提供商(ISP)运营的设备784来提供连接。ISP装备784从而通过现在通常被称为国际互联网790的网络中的公共的、全球分组交换通信网络提供数据通信服务。
与国际互联网连接的被称为服务器主机792的计算机响应于通过国际互联网接收的信息,驻留提供服务的处理。例如,服务主机792驻留处理,所述处理提供用于在显示器714上展现的表示视频数据的信息。可以预期的是,可在诸如主机782和服务器792的其他计算机***中以各种配置方式来部署***700的组件。
本发明的至少一些实施方式与用于实现这里描述的一些或全部技术的计算机***700的使用相关。根据本发明的一个实施方式,响应于处理器702执行包含在存储器704中的一个或多个处理器指令的一个或多个序列,这些技术由计算机***700执行。也被称为计算机指令、软件和程序代码的这种指令可从诸如存储设备708或网络链路778的另一计算机可读媒介读入到存储器704。包含在存储器704中的指令序列的执行促使处理器702执行这里描述的方法步骤中的一个或多个。在可替换的实施方式中,诸如ASIC720的硬件可用于替换实现本发明的软件或与实现本发明的软件结合。从而,本发明的实施方式不局限于硬件和软件的任何特定组合,除非在这里明确声明。
通过网络链路778和通过通信接口770的其它网络传输的信号携带去往和来自计算机***700的信息。计算机***700可通过网络780、790(其中通过网络链路778和通信接口770)发送和接收包括程序代码的信息。在使用国际互联网790的实施例中,服务器主机792通过国际互联网790、ISP设备784、本地网络780和通信接口770,传输用于由计算机700发送的消息所请求的特定应用的程序代码。所接收的代码可由处理器702在接收时执行,或可存储在存储器704或存储设备708或其它非易失性存储器中以用于稍后的执行,或者两者。在该方式下,计算机***700可以按载波上信号的形式获得应用程序代码。
计算机可读媒体的各种形式可涉及在将一个或多个指令序列或数据或两者携带给处理器702以用于执行。例如,指令和数据初始可由诸如主机782的远程计算机的磁盘携带。远程计算机将指令和数据装载入其动态存储器中,并使用调制解调器通过电话线发送指令和数据。位于计算机***700本地的调制解调器在电话线上接收指令和数据,并使用红外发射机将指令和数据转换为用作网络链路778的红外载波上的信号。用作通信接口770的红外检测器接收在红外信号中携带的指令和数据,并将表示指令和数据的信息放置在总线710上。总线710将信息携带到存储器704,处理器702从存储器704获取指令并且通过使用随指令发送的一些数据执行指令。在存储器704中接收的指令和数据可任选的存储在存储设备708上,可在处理器702执行之前或之后。
图8描述了在其上可以实现本发明实施方式的芯片集800。将芯片集800编程为注释和展现内容,例如包括相对于图7所描述的被结合一个或多个物理封装(例如,芯片)的处理器和存储组件。通过示例的方式,物理封装包括在结构组装(例如,基板)上的一个或多个材料、组件、和/或导线的安排,从而提供诸如物理强度、大小恒定和/或电子交互限制的一个或多个特性。可以预期的是,在特定的实施方式中,芯片集800可在单一的芯片上实现。可以预期的是,在特定的实施方式中,芯片集或芯片800可实现为单独的“片上***”。可以预期的是,在特定的实施方式中,将不使用单独ASIC,例如,这里公开的所有相关功能通过一个或多个处理器执行。芯片集或芯片800,或者其一部分,构成用于提供与服务的可用性相关的用户接口导航信息的一个或多个步骤的部件。芯片集或芯片800,或者其一部分,构成用于注释和展现内容的一个或多个步骤的部件。
在一个实施方式中,芯片集800包括诸如用于在芯片集800的组件之间传递信息的总线801的通信机制。处理器803具有与总线801的连通性以执行例如存储在存储器805中的指令和处理信息。处理器803可包括一个或多个处理核心,其中将每个核心配置为独立地执行。多核心处理器能够在单一物理封装中进行多处理。多核心处理器的实施例包括两个、四个、八个或更多个处理核心。可替换地或另外地,处理器803可包括一个或多个通过总线801串联配置的微处理器,以便能够独立地执行指令、流水线和多线程。处理器803还可与一个或多个专用组件结合以执行特定的处理功能和任务,例如一个或多个数字信号处理器(DSP)807、或一个或多个专用集成电路(ASIC)809。典型地,将DSP807配置为独立于处理器803地实时处理真实世界的信号(例如,声音)。相似地,可将ASIC809配置为执行不能由通用处理器容易地执行的专用功能。这里描述的有助于执行本发明功能的其它专用组件包括一个或多个现场可编程门阵列(FPGA)(没有示出)、一个或多个控制器(没有示出)、或一个或多个其它专用目的计算机芯片。
在一个实施例中,芯片集或芯片800仅包括一个或多个处理器和支持和/或涉及和/或用于一个或多个处理器的一些软件和/或固件。
处理器803和附带的组件具有经由总线801的与存储器805的连通性。存储器805包括用于存储可执行指令的动态存储器(例如,RAM、磁盘、可写光盘等)和静态存储器(例如,ROM、CD-ROM等),其中在执行可执行指令时执行这里描述的创造性步骤以注释和/或展现内容。存储器805还存储与创造性步骤的执行相关的数据或由创造性步骤的执行所产生的数据。
图9是根据一个实施方式的能够在图1的***中进行操作的用于通信的移动终端(例如,手机)的示例性组件的示意图。在一些实施方式中,移动终端900或其一部分,构成用于执行注释和展现内容的一个或多个步骤的部件。一般地,通常按照前端和后端特性对无线电接收机进行限定。接收机的前端包括全部的射频(RF)电路,而后端包括全部的基带处理电路。如在本申请中所使用的,术语“电路”涉及(1)仅为硬件实现方式(例如仅在模拟和/或数字电路中的实现方式),和(2)电路和软件(和/或固件)的结合(例如,如果应用于特定上下文,将共同工作的包括数字信号处理器的处理器、软件和存储器结合在一起以促使诸如移动电话或服务器的装置执行各种功能)。该“电路”的定义应用于在该申请中对该术语的全部使用,包括任何权利要求。如另一实施例,如在该申请中使用的并且如果可应用于特定的上下文,则术语“电路”还可覆盖仅由处理器(或多个处理器)和其(或它们的)相应的软件/固件的实现方式。术语“电路”还可覆盖可应用于特定上下文的情况,例如蜂窝网络设备或其它网络设备中的移动电话或相似集成电路中的基带集成电路或应用处理器集成电路。
电话的相关内部组件包括主控制单元(MCU)903、数字信号处理器(DSP)905、和包括麦克风增益控制单元和扬声器增益控制单元的接收机/发射机单元。主显示器单元907给用户提供显示以支持执行或支持提供媒体内容搜索能力的步骤的各种应用和移动终端功能。显示器907包括配置为在移动终端(例如,移动电话)的用户接口的至少一部分上进行显示的显示器电路。此外,将显示器907和显示器电路配置为便于移动终端的至少一些功能的用户控制。音频功能电路909包括麦克风911和将从麦克风911输出的语音信号进行放大的麦克风放大器。将从麦克风911输出的经放大的语音信号提供给编码器/解码器(CODEC)913。
无线电部分915对功率进行放大,并对频率进行转换,以便通过天线917与包括在移动通信***中的基站进行通信。功率放大器(PA)919和发射机/调制电路可操作地对MCU903进行响应,将来自PA919的输出耦合至双工器921或循环器(circulator)或天线开关,这是现有技术公知的。PA919还与电池接口和电源控制单元920耦合。
在使用中,移动终端901的用户对麦克风911说话,且他或她的语音连同任何检测到的背景噪声被转换为模拟电压。从而通过模拟数字转换器(ADC)923将模拟电压转换为数字信号。控制单元903将数字信号路由到DSP905中以在DSP905中进行处理,例如语音编码、信道编码、加密和交织。在一个实施方式中,通过没有单独示出的单元,使用诸如全球演进(EDGE)、通用分组无线服务(GPRS)、全球移动通信***(GSM)、国际互联网多媒体子***(IMS)、通用移动通信***(UMTS)等蜂窝传输协议,以及诸如微波接入(WiMAX)、长期演进(LTE)网络、码分多址(CDMA)、宽带码分多址(WCDMA)、无线保真(WiFi)、卫星等的其它合适的无线介质,对处理的语音信号进行编码。
随后,将编码的信号路由到均衡器925,以便对在通过空中传输处理中发生的诸如相位和幅度失真的任何频率相关损耗进行补偿。在对比特流进行均衡后,调制器927将信号与在RF接口929中产生的RF信号结合。调制器927通过频率或相位调制产生正弦波。为了准备用于传输的信号,上变频器931将从调制器927输出的正弦波与由合成器933产生的另一正弦波组合,以获得期望的传输频率。从而将信号通过PA919进行发送,以使信号增加到合适的功率水平。在实际的***中,PA919作为可变增益放大器,由DSP905通过网络基站接收的信息来控制PA919的增益。从而在双工器921中信号进行滤波,并可选择性地发送给天线耦合器935以进行阻抗匹配,从而提供最大功率的传送。最后,经由天线917将信号发送给本地基站。可供应自动增益控制(AGC)以控制接收机最后阶段的增益。可将信号由这里转发到远端电话,其可以是另一蜂窝电话、其它移动电话或与公共交换电话网络(PSTN)或其它电话网络连接的固定电话。
通过天线917接收被传输给移动终端901的语音信号,并立即由低噪声放大器(LNA)937放大。下变频器939降低载波频率,且解调器941去除RF,只留下数字比特流。随后信号通过均衡器925,并由DSP905进行处理。数模转换器(DAC)943对信号进行转换,并将相应的输出通过扬声器945传输给用户,所有的操作都在主控制单元(MCU)903的控制下,其中主控制单元可实现为中央处理单元(CPU)(在图中没有示出)。
MCU903从键盘947接收包括输入信号的各种信号。与其它用户输入组件(例如,麦克风911)结合的键盘947和/或MCU903包括用于管理用户输入的用户接口电路。MCU903运行用户接口软件,便于对移动终端的至少一些功能的用户控制,以注释和/或展现内容。MCU903还分别将显示命令和切换命令递送给显示器907和语音输出切换控制器。此外,MCU903与DSP905交换信息,并可选择地访问所结合的SIM卡949和存储器951。此外,MCU903执行终端要求的各种控制功能。DSP905可根据实现方式在语音信号上执行任何种类的传统数字处理功能。此外,DSP905从麦克风911检测的信号确定本地环境的背景噪声水平,并为将麦克风911的增益设置为所选的水平,以补偿移动终端901的用户的自然倾向(tendency)。
CODEC913包括ADC923和DAC943。存储器951存储包括呼叫进入语音数据的各种数据,并能够存储包括从全球国际互联网接收的音乐数据的其它数据。软件模块可驻留在RAM存储器、闪存存储器、寄存器、或现有技术中已知的其它任何形式的可写入存储介质。存储设备951可以是,但不局限于,单一存储器、CD、DVD、ROM、RAM、EEPROM、光学存储器、或能够存储数字数据的其它任何非易失性存储媒介。
例如,可选择地结合的SIM卡949携带重要的信息,例如蜂窝电话号码、支持服务的载波、订阅细节和安全信息。SIM卡949主要用于在无线电网络上识别移动终端901。卡949还包含用于存储个人电话号码注册、文本消息和用户专用移动终端设置的存储器。
尽管结合多个实施方式和实现方式介绍了本发明,但是本发明不局限于此,而是可覆盖落入所附权利要求范围的各种明显修改和等价安排。尽管本发明的特征在权利要求中以特定的组合进行表达,但可以预期的是,这些特征可以按任意的组合和顺序进行安排。

Claims (14)

1.一种展现方法,包括:
提取与基于位置的服务的一个或多个对象的一个或多个点相关联的内容,所述内容具有与其他内容有关的优先级;
确定一个或多个三维坐标,所述一个或多个三维坐标特定于三维环境;
提取所述一个或多个对象的一个或多个模型;和
至少部分地使得在所述基于位置的服务的用户界面中对与所述一个或多个对象模型的一个或多个表面相关联的内容进行呈现,其中所述内容被与至少一个所述其他内容有关地呈现,所述其他内容基于所述优先级在所述用户界面上与所述内容重叠,
其中所述方法还包括:
经由所述用户界面接收用于选择所述一个或多个点的输入,用来确定所述一个或多个对象模型的一个或多个表面上的所述内容的位置;
经由所述用户界面接收所述内容的输入;
通过使所选择的一个或多个点与三维模型相关联,使所述内容与所述一个或多个点相关联;以及
至少部分地使得存储所述内容和所述一个或多个点的关联。
2.如权利要求1所述的方法,还包括:
接收用于操作对所述内容的呈现的输入;和
至少部分地使得对所述内容、所述一个或多个点、所述一个或多个对象模型、在所述一个或多个点和所述内容之间的关联、或其组合进行更新。
3.如权利要求1所述的方法,其中所述一个或多个对象模型、一个或多个其他对象模型、或其组合包括与地理位置对应的三维模型,该方法还包括:
至少部分地使得在所述用户界面中通过三维模型对一个或多个图像进行呈现。
4.如权利要求3所述的方法,其中所述图像包括全景图像、扩展现实图像、混合现实图像、虚拟现实图像、或其组合。
5.如权利要求1所述的方法,还包括:
确定所述用户界面的视角;
确定所述内容的呈现是否受到所述用户界面中其他对象模型的一个或多个呈现的阻挡;和
至少部分地基于关于所述阻挡的确定来推荐另一视角,其中另一视角通过确定与所述内容相关联的点和/或位置而确定。
6.如权利要求1所述的方法,还包括:
至少部分地使得至少部分地基于一个或多个标准对所述内容、所述对象模型、所述点、一个或多个其他对象模型、一个或多个其他内容、或其组合进行过滤;和
至少部分地使得至少部分地基于所述过滤来对所述用户界面进行呈现。
7.如权利要求1所述的方法,还包括:
至少部分地使得在所述用户界面中呈现所述三维模型,其中所述内容被与对应于所述一个或多个对象模型的一个或多个其他三维坐标有关地呈现。
8.如权利要求7所述的方法,还包括:
至少部分地基于所述一个或多个三维坐标,将所述内容关联至所述一个或多个对象模型、所述一个或多个点、在大量的一个或多个对象中的一个或多个其他点、或其组合。
9.如权利要求1所述的方法,还包括:
确定所述用户界面的视角;
基于所述视角确定所述内容的视图;和
至少部分地使得基于所述视图来转换对所述内容的呈现,
其中所述三维模型是所述用户界面上展现的多边形网格,而且所述视图是所述多边形网格的皮肤。
10.一种展现装置,包括:
至少一个处理器;以及
包括一个或多个程序的计算机程序代码的至少一个存储器;
所述至少一个存储器和计算机程序代码被配置为,利用所述至少一个处理器,使得所述装置至少执行以下步骤:
提取与基于位置的服务的一个或多个对象的一个或多个点相关联的内容,所述内容具有与其他内容有关的优先级;
确定一个或多个三维坐标,所述一个或多个三维坐标特定于三维环境;
提取所述一个或多个对象的一个或多个模型;和
至少部分地使得在所述基于位置的服务的用户界面中对与所述一个或多个对象模型的一个或多个表面相关联的内容进行呈现,其中所述内容被与至少一个所述其他内容有关地呈现,所述其他内容基于所述优先级在所述用户界面上与所述内容重叠,
其中所述装置还被使得至少执行以下:
经由所述用户界面接收用于选择所述一个或多个点的输入,用来确定所述一个或多个对象模型的一个或多个表面上的所述内容的位置;
经由所述用户界面接收所述内容的输入;
通过使所选择的一个或多个点与三维模型相关联,使所述内容与所述一个或多个点相关联;以及
至少部分地使得存储所述内容和所述一个或多个点的关联。
11.如权利要求10所述的装置,其中还使得所述装置执行:
接收用于操作对所述内容的呈现的输入;和
至少部分地使得对所述内容、所述一个或多个点、所述一个或多个对象模型、在所述一个或多个点和所述内容之间的关联、或其组合进行更新,其中,对所述内容和所述一个或多个点的关联的存储包括创建和关联针对所述内容的许可。
12.如权利要求10所述的装置,其中所述一个或多个对象模型、一个或多个其他对象模型、或其组合包括与地理位置对应的三维模型,其中还使得所述装置执行:
至少部分地使得在所述用户界面中通过三维模型对一个或多个图像进行呈现;
其中所述图像包括全景图像、扩展现实图像、混合现实图像、虚拟现实图像、或其组合。
13.如权利要求10所述的装置,其中还使得所述装置执行:
确定所述用户界面的视角;
确定所述内容的呈现是否受到所述用户界面中其他对象模型的一个或多个呈现的阻挡;和
至少部分地基于关于所述阻挡的确定来推荐另一视角。
14.如权利要求10所述的装置,其中还使得所述装置执行:
至少部分地使得至少部分地基于一个或多个标准对所述内容、所述对象模型、所述点、一个或多个其他对象模型、一个或多个其他内容、或其组合进行过滤;和
至少部分地使得至少部分地基于所述过滤来对所述用户界面进行呈现。
CN201180034665.9A 2010-05-16 2011-02-10 展现基于位置的内容的方法和装置 Expired - Fee Related CN103119544B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/780,912 2010-05-16
US12/780,912 US20110279445A1 (en) 2010-05-16 2010-05-16 Method and apparatus for presenting location-based content
PCT/FI2011/050124 WO2011144798A1 (en) 2010-05-16 2011-02-10 Method and apparatus for presenting location-based content

Publications (2)

Publication Number Publication Date
CN103119544A CN103119544A (zh) 2013-05-22
CN103119544B true CN103119544B (zh) 2017-05-10

Family

ID=44911377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180034665.9A Expired - Fee Related CN103119544B (zh) 2010-05-16 2011-02-10 展现基于位置的内容的方法和装置

Country Status (6)

Country Link
US (1) US20110279445A1 (zh)
EP (1) EP2572265A4 (zh)
CN (1) CN103119544B (zh)
CA (1) CA2799443C (zh)
WO (1) WO2011144798A1 (zh)
ZA (1) ZA201209418B (zh)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9467747B2 (en) * 2007-04-03 2016-10-11 Samsung Electronics Co., Ltd. Apparatus and method for searching multimedia content
WO2009081376A2 (en) 2007-12-20 2009-07-02 Mobileaccess Networks Ltd. Extending outdoor location based services and applications into enclosed areas
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US9590733B2 (en) 2009-07-24 2017-03-07 Corning Optical Communications LLC Location tracking using fiber optic array cables and related systems and methods
AU2011232897B2 (en) 2010-03-31 2015-11-05 Corning Optical Communications LLC Localization services in optical fiber-based distributed communications components and systems, and related methods
US9122707B2 (en) * 2010-05-28 2015-09-01 Nokia Technologies Oy Method and apparatus for providing a localized virtual reality environment
US8570914B2 (en) 2010-08-09 2013-10-29 Corning Cable Systems Llc Apparatuses, systems, and methods for determining location of a mobile device(s) in a distributed antenna system(s)
KR101688153B1 (ko) * 2010-08-11 2016-12-20 엘지전자 주식회사 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
US9727128B2 (en) * 2010-09-02 2017-08-08 Nokia Technologies Oy Methods, apparatuses, and computer program products for enhancing activation of an augmented reality mode
US8872851B2 (en) * 2010-09-24 2014-10-28 Intel Corporation Augmenting image data based on related 3D point cloud data
US9317133B2 (en) * 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
KR101740435B1 (ko) * 2010-10-18 2017-05-26 엘지전자 주식회사 이동 단말기 및 이것의 객체 관련 정보 관리 방법
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
EP2702710A4 (en) 2011-04-29 2014-10-29 Corning Cable Sys Llc DETERMINING THE TRANSMISSION DELAY OF COMMUNICATIONS IN DISTRIBUTED ANTENNA SYSTEMS AND CORRESPONDING COMPONENTS, SYSTEMS AND METHODS
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
CA2841072A1 (en) * 2011-07-08 2013-01-17 Percy 3Dmedia, Inc. 3d user personalized media templates
US9639857B2 (en) 2011-09-30 2017-05-02 Nokia Technologies Oy Method and apparatus for associating commenting information with one or more objects
US20130106990A1 (en) 2011-11-01 2013-05-02 Microsoft Corporation Planar panorama imagery generation
US9536251B2 (en) * 2011-11-15 2017-01-03 Excalibur Ip, Llc Providing advertisements in an augmented reality environment
US10008021B2 (en) 2011-12-14 2018-06-26 Microsoft Technology Licensing, Llc Parallax compensation
US20130159254A1 (en) * 2011-12-14 2013-06-20 Yahoo! Inc. System and methods for providing content via the internet
US9324184B2 (en) 2011-12-14 2016-04-26 Microsoft Technology Licensing, Llc Image three-dimensional (3D) modeling
US9406153B2 (en) 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image
US20130155105A1 (en) * 2011-12-19 2013-06-20 Nokia Corporation Method and apparatus for providing seamless interaction in mixed reality
US8930141B2 (en) 2011-12-30 2015-01-06 Nokia Corporation Apparatus, method and computer program for displaying points of interest
US9781553B2 (en) 2012-04-24 2017-10-03 Corning Optical Communications LLC Location based services in a distributed communication system, and related components and methods
US8803916B1 (en) 2012-05-03 2014-08-12 Sprint Communications Company L.P. Methods and systems for an augmented reality service delivery platform
WO2013181247A1 (en) 2012-05-29 2013-12-05 Corning Cable Systems Llc Ultrasound-based localization of client devices with inertial navigation supplement in distributed communication systems and related devices and methods
US8918087B1 (en) * 2012-06-08 2014-12-23 Sprint Communications Company L.P. Methods and systems for accessing crowd sourced landscape images
US9299160B2 (en) * 2012-06-25 2016-03-29 Adobe Systems Incorporated Camera tracker target user interface for plane detection and object creation
US9201974B2 (en) * 2012-08-31 2015-12-01 Nokia Technologies Oy Method and apparatus for incorporating media elements from content items in location-based viewing
US20140078174A1 (en) * 2012-09-17 2014-03-20 Gravity Jack, Inc. Augmented reality creation and consumption
US9589078B2 (en) * 2012-09-27 2017-03-07 Futurewei Technologies, Inc. Constructing three dimensional model using user equipment
US9087402B2 (en) * 2013-03-13 2015-07-21 Microsoft Technology Licensing, Llc Augmenting images with higher resolution data
US20150062114A1 (en) * 2012-10-23 2015-03-05 Andrew Ofstad Displaying textual information related to geolocated images
US9129429B2 (en) * 2012-10-24 2015-09-08 Exelis, Inc. Augmented reality on wireless mobile devices
EP3660663B8 (en) * 2012-10-31 2024-05-22 Outward Inc. Delivering virtualized content
US10462499B2 (en) 2012-10-31 2019-10-29 Outward, Inc. Rendering a modeled scene
WO2014078991A1 (zh) * 2012-11-20 2014-05-30 Qi Linzhi 一种信息处理方法和信息处理装置
US9728008B2 (en) 2012-12-10 2017-08-08 Nant Holdings Ip, Llc Interaction analysis systems and methods
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9158864B2 (en) 2012-12-21 2015-10-13 Corning Optical Communications Wireless Ltd Systems, methods, and devices for documenting a location of installed equipment
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US20140267581A1 (en) * 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US10380799B2 (en) 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
US10823556B2 (en) * 2013-08-01 2020-11-03 Luis Joaquin Rodriguez Point and click measuring and drawing device and method
WO2015048749A1 (en) * 2013-09-30 2015-04-02 Interdigital Patent Holdings, Inc. Methods, apparatus, systems, devices, and computer program products for providing an augmented reality display and/or user interface
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9077321B2 (en) 2013-10-23 2015-07-07 Corning Optical Communications Wireless Ltd. Variable amplitude signal generators for generating a sinusoidal signal having limited direct current (DC) offset variation, and related devices, systems, and methods
US9836885B1 (en) 2013-10-25 2017-12-05 Appliance Computing III, Inc. Image-based rendering of real spaces
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9846996B1 (en) 2014-02-03 2017-12-19 Wells Fargo Bank, N.A. Systems and methods for automated teller machine repair
WO2015139026A2 (en) 2014-03-14 2015-09-17 Go Tenna Inc. System and method for digital communication between computing devices
CN104144287A (zh) * 2014-06-24 2014-11-12 中国航天科工集团第三研究院第八三五七研究所 一种增强现实照相机
CN104197950B (zh) * 2014-08-19 2018-02-16 奇瑞汽车股份有限公司 地理信息显示的方法及***
CN106611004B (zh) * 2015-10-26 2019-04-12 北京捷泰天域信息技术有限公司 基于矢量正四边形格网的兴趣点属性显示方法
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US10824320B2 (en) * 2016-03-07 2020-11-03 Facebook, Inc. Systems and methods for presenting content
US9648580B1 (en) 2016-03-23 2017-05-09 Corning Optical Communications Wireless Ltd Identifying remote units in a wireless distribution system (WDS) based on assigned unique temporal delay patterns
US20170337745A1 (en) 2016-05-23 2017-11-23 tagSpace Pty Ltd Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments
US10403044B2 (en) 2016-07-26 2019-09-03 tagSpace Pty Ltd Telelocation: location sharing for users in augmented and virtual reality environments
CN106230920A (zh) * 2016-07-27 2016-12-14 吴东辉 一种ar的方法及***
CN106227871A (zh) * 2016-07-29 2016-12-14 百度在线网络技术(北京)有限公司 一种用于在输入法中提供关联服务信息的方法与装置
US10831334B2 (en) 2016-08-26 2020-11-10 tagSpace Pty Ltd Teleportation links for mixed reality environments
CN106447788B (zh) * 2016-09-26 2020-06-16 北京疯景科技有限公司 观看视角的指示方法及装置
WO2018081851A1 (en) * 2016-11-03 2018-05-11 Buy Somewhere Pty Ltd Visualisation system and software architecture therefor
US10373358B2 (en) * 2016-11-09 2019-08-06 Sony Corporation Edge user interface for augmenting camera viewfinder with information
US20180197223A1 (en) * 2017-01-06 2018-07-12 Dragon-Click Corp. System and method of image-based product identification
CN107038408A (zh) * 2017-01-11 2017-08-11 阿里巴巴集团控股有限公司 基于增强现实的图像识别方法及装置
US10319149B1 (en) * 2017-02-17 2019-06-11 Snap Inc. Augmented reality anamorphosis system
US10403054B2 (en) 2017-03-31 2019-09-03 Microsoft Technology Licensing, Llc Deconstructing and recombining three-dimensional graphical objects
US20180357826A1 (en) * 2017-06-10 2018-12-13 Tsunami VR, Inc. Systems and methods for using hierarchical relationships of different virtual content to determine sets of virtual content to generate and display
WO2019008186A1 (en) * 2017-07-07 2019-01-10 Time2Market Sa METHOD AND SYSTEM FOR PROVIDING A USER INTERFACE FOR A 3D ENVIRONMENT
CN112020719A (zh) 2018-03-22 2020-12-01 惠普发展公司,有限责任合伙企业 三维环境中的数字标记
DK201870351A1 (en) 2018-05-07 2020-01-13 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10665028B2 (en) * 2018-06-04 2020-05-26 Facebook, Inc. Mobile persistent augmented-reality experiences
US20210311607A1 (en) * 2018-06-12 2021-10-07 Wgames Incorporated Location-based interactive graphical interface device
CN109063039A (zh) * 2018-07-17 2018-12-21 高新兴科技集团股份有限公司 一种基于移动端的视频地图动态标签显示方法及***
US10997760B2 (en) 2018-08-31 2021-05-04 Snap Inc. Augmented reality anthropomorphization system
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CA3119609A1 (en) * 2018-11-15 2020-05-22 Edx Technologies, Inc. Augmented reality (ar) imprinting methods and systems
US11241624B2 (en) * 2018-12-26 2022-02-08 Activision Publishing, Inc. Location-based video gaming with anchor points
US11972529B2 (en) 2019-02-01 2024-04-30 Snap Inc. Augmented reality system
US11137874B2 (en) * 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Ergonomic mixed reality information delivery system for dynamic workflows
US11335060B2 (en) * 2019-04-04 2022-05-17 Snap Inc. Location based augmented-reality system
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11048376B2 (en) * 2019-05-15 2021-06-29 Microsoft Technology Licensing, Llc Text editing system for 3D environment
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
CN111158556B (zh) * 2019-12-31 2022-03-25 维沃移动通信有限公司 一种显示控制方法及电子设备
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11341543B2 (en) * 2020-08-31 2022-05-24 HYPE AR, Inc. System and method for generating visual content associated with tailored advertisements in a mixed reality environment
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US20240078751A1 (en) * 2022-09-07 2024-03-07 VR-EDU, Inc. Systems and methods for educating in virtual reality environments

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3547947B2 (ja) * 1997-08-11 2004-07-28 アルパイン株式会社 ナビゲーション装置における所在階数表示方法
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
US8397177B2 (en) * 1999-07-22 2013-03-12 Tavusi Data Solutions Llc Graphic-information flow method and system for visually analyzing patterns and relationships
JP2004507724A (ja) * 2000-08-24 2004-03-11 シーメンス アクチエンゲゼルシヤフト 目標情報を表示させるための方法、地図画面内でナビゲーションを行う方法、コンピュータプログラム製品及びナビゲーション装置
US7583275B2 (en) * 2002-10-15 2009-09-01 University Of Southern California Modeling and video projection for augmented virtual environments
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
US7460953B2 (en) * 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
US8160400B2 (en) * 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
US7844229B2 (en) * 2007-09-21 2010-11-30 Motorola Mobility, Inc Mobile virtual and augmented reality system
JP4428433B2 (ja) * 2007-09-25 2010-03-10 株式会社デンソー 気象情報表示装置、プログラム
US8903430B2 (en) * 2008-02-21 2014-12-02 Microsoft Corporation Location based object tracking
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system
US20110279478A1 (en) * 2008-10-23 2011-11-17 Lokesh Bitra Virtual Tagging Method and System
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US8943420B2 (en) * 2009-06-18 2015-01-27 Microsoft Corporation Augmenting a field of view

Also Published As

Publication number Publication date
US20110279445A1 (en) 2011-11-17
CA2799443A1 (en) 2011-11-24
ZA201209418B (en) 2014-05-28
EP2572265A1 (en) 2013-03-27
CA2799443C (en) 2016-10-18
CN103119544A (zh) 2013-05-22
EP2572265A4 (en) 2018-03-14
WO2011144798A1 (en) 2011-11-24

Similar Documents

Publication Publication Date Title
CN103119544B (zh) 展现基于位置的内容的方法和装置
CN103857989B (zh) 用于在活动用户接口元素中呈现搜索结果的方法和装置
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US10298838B2 (en) Method and apparatus for guiding media capture
CN104769393B (zh) 用于从局部地图视图转变到增强现实视图的方法和装置
US8566020B2 (en) Method and apparatus for transforming three-dimensional map objects to present navigation information
US20170323478A1 (en) Method and apparatus for evaluating environmental structures for in-situ content augmentation
KR101750634B1 (ko) 증강 현실 뷰에 대한 레이아웃을 위한 방법 및 장치
CN102834790B (zh) 用于在图形用户界面上显示对象的相对运动的方法和装置
CN103443589B (zh) 用于确定位置偏移信息的方法和装置
CN104769970B (zh) 用于提供基于实时通勤活动的应用引擎的方法和装置
CN103502982B (zh) 用于在基于位置的用户接口中显示交互式预览信息的方法和装置
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9842282B2 (en) Method and apparatus for classifying objects and clutter removal of some three-dimensional images of the objects in a presentation
US20100325154A1 (en) Method and apparatus for a virtual image world
US20130263016A1 (en) Method and apparatus for location tagged user interface for media sharing
JP5413170B2 (ja) アノテーション表示システム,方法及びサーバ装置
CN103003847A (zh) 用于渲染基于位置的用户界面的方法和装置
US9201974B2 (en) Method and apparatus for incorporating media elements from content items in location-based viewing
CN103080930A (zh) 用于辨识和映射内容的方法和装置
CN112070906A (zh) 一种增强现实***及增强现实数据的生成方法、装置
CN103150759A (zh) 一种对街景图像进行动态增强的方法和装置
US20160283516A1 (en) Method and apparatus for providing map selection and filtering using a drawing input
CN111989665A (zh) 设备上图像识别
CN106713840A (zh) 虚拟信息显示方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151224

Address after: Espoo, Finland

Applicant after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Applicant before: Nokia Oyj

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170510

Termination date: 20180210

CF01 Termination of patent right due to non-payment of annual fee