CN108028871B - 移动设备上的无标记的多用户多对象增强现实 - Google Patents

移动设备上的无标记的多用户多对象增强现实 Download PDF

Info

Publication number
CN108028871B
CN108028871B CN201680052213.6A CN201680052213A CN108028871B CN 108028871 B CN108028871 B CN 108028871B CN 201680052213 A CN201680052213 A CN 201680052213A CN 108028871 B CN108028871 B CN 108028871B
Authority
CN
China
Prior art keywords
real
virtual object
world scene
mobile device
static
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680052213.6A
Other languages
English (en)
Other versions
CN108028871A (zh
Inventor
蒋伟
顾金伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108028871A publication Critical patent/CN108028871A/zh
Application granted granted Critical
Publication of CN108028871B publication Critical patent/CN108028871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供允许用户将多个虚拟对象置入到现实世界场景中的方法及设备。一些置入对象可与该场景静态相关联，而其它对象被指定为随该场景中的某些移动对象移动。虚拟对象的置入不使用标记。各个分离的移动设备的用户可共享其置入的虚拟对象，以创造多用户多对象的增强现实(AR)体验。

Description

移动设备上的无标记的多用户多对象增强现实
相关申请案交叉申请
本申请案主张2015年9月11日申请之题为「移动设备上的无标记的多用户多对象增强现实」的美国申请案第14/852,247号之优先权，该申请案之全文并入本文中。
技术领域
本专利涉及图像处理领域，具体涉及一种增强现实技术。
背景技术
增强现实(AR)是一种在现实世界中的用户的视图上叠加计算机生成的图像从而提供复合视图的技术。现代功能强大的移动设备的日益普及与不断扩增的传输带宽结合，使得各种移动AR应用成为可能，为现代用户提供了各种丰富的经验。可能已经开发了一些独立的移动应用以帮助用户半自动地将虚拟的二维(2D)图像或视频置入到所捕获的2D照片或视频。所述图像的置入点通常为预定义标记。
发明内容
本文描述了允许将多个虚拟对象置入现实世界场景的方法及设备。一些置入对象可与该场景静态相关联，而其它对象被指定为随该场景中的某些移动对象移动。虚拟对象的置入不使用标记。各个分离的移动设备的用户可共享其置入的虚拟对象，以创造多用户多对象的AR体验。
在一些实施例中，移动设备包括处理器及耦合到所述处理器的显示器。所述处理器用于从另一移动设备接收虚拟对象。所述接收到的虚拟对象被置入到所述其它移动设备上的第二现实世界场景中。所述处理器还用于将包含所置入的多个虚拟对象及从所述其它移动设备接收的虚拟对象的第一现实世界场景呈现在所述显示器上，以创造共享的增强现实体验。
在另一实施例中，移动设备包括处理器及耦合到所述处理器的显示器。所述处理器用于基于输入，将视频帧分离成包含在所述现实世界场景内不移动的视频内容的静态部分及包含在所述现实世界场景内移动的视频内容的动态部分。所述处理器还用于将第一虚拟对象置入到所述静态部分中，将第二虚拟对象置入到所述动态部分中，将包含与所述静态部分静态相关联的所置入的第一虚拟对象及在现实世界场景中随动态部分中移动的现实世界对象移动的第二虚拟对象的现实世界场景呈现在显示器上。
在方法实施例中，方法包括：接收关于将第一虚拟对象置入到第一现实世界场景的位置的输入，并接收来自其它移动设备的第二虚拟对象。将所接收的虚拟对象置入到所述其它移动设备上的第二现实世界场景中。所述方法还包括：将包含所述第一及第二虚拟对象的所述第一现实世界场景呈现在显示器上，以创造共享的增强现实体验。
此等及其它特征在结合以下附图及所附权利要求的详细描述中更佳地被理解。
附图说明
为了更透彻地理解本发明，现参阅结合附图和具体实施方式而描述的以下简要说明，其中的相同参考标号表示相同部分。
图1至图4说明根据各实施例的多个用户在各个用户的移动相机的观看下将对象置入到现实世界场景中并与其它用户共享对象的实例；
图5A说明根据各实施例的用于提供多用户多对象AR体验的操作；
图5B及图5C说明根据各实施例的AR方法流程图的实例；
图6说明根据各实施例的即时图生成模块的实例；
图7说明根据各实施例的不同帧之间以及2D帧及3D坐标系之间的2D点的对应关系；
图8说明根据各实施例的静态/动态图分离模块的实例；
图9说明根据各实施例的围绕某些3D图点的多面体的生成；
图10说明根据各实施例的定位及动态图跟踪模块的实例；
图11说明根据各实施例的2D点及其3D对应物之间的对应关系；
图12说明根据各实施例的AR及用户交互模块的实例；
图13说明根据各实施例的群集图及相机注册模块的实例；
图14说明根据各实施例的捆绑式静态图更新及相机姿态细化模块的实例；以及
图15说明根据各实施例的多对象多用户AR环境中可使用的移动设备的方块图。
具体实施方式
首先应理解，尽管下文提供一项或多项实施例的说明性实施方案，但所公开的***和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内修改。
本发明涉及到置入到“现实世界”场景中的“对象”。现实世界场景为移动相机获取的实体环境的静态图像或视频。待置入的对象可以是计算机生成的或为真实实体对象的数字图像。
如上所述，一些AR***要求使用带置入到现实世界场景中的虚拟对象所映射的标记。这些标记一般在预先提供虚拟对象时使用，以便AR***能够易于识别标记并置入对应的预定对象。然而，本文中揭示的实施例不需要现实世界场景包括标记。本实施例揭示了无需标记识别现实世界图像的各种应用及方法。进一步，所揭示的实施例允许每个用户将多个对象置入到现实世界场景，且一些置入的对象可以与所述场景静态相关联，而其它置入的对象在现实世界场景中随移动对象移动。更进一步，两个或两个以上的用户可以协作，共享其置入的对象，从而获得共享的AR体验。例如，一个用户可以置入对象A及B，另一个用户置入对象C及D。那么，共享的AR体验包括所有的四个对象A、B、C及D。
图1至图4绘示了三个点。图1及图3说明了用户1使用的相机看到的视图。图2及图4说明了用户2使用的相机看到的视图。在图1中，用户1获取现实世界场景50，其包含杂志52、锡罐54、钱包62及键盘64。图2中的用户2获取相同现实世界场景的图像，但视角稍微不同。指定用户2的现实世界场景为60。用户1将对象53及55置入到图1中的现实世界场景50。本实例中的对象53及55是小精灵，可以为任何类型的对象。置入对象53，使其似乎站立在杂志52上，置入对象55，使其似乎站立在锡罐54的顶部。同时，用户2将对象63及65置入到现实世界场景60中，其中使对象63似乎站立在钱包62上，而使对象65似乎站立在键盘64上。
用户1及用户2可以共享他们各自置入的对象。即，用户1可以与用户2共享其置入的对象53及55。用户2可以与用户1共享其对象63及65。共享的结果如图3及图4所示。在图3中，用户1现在看到具有所有四个对象53、55、63及65的现实世界图像58。类似地，用户2现在看到其自身的也具有所有四个对象的现实世界图像68。
用户1可以指定，当锡罐在现实世界中移动时，对象53保持静态(即，不动)，而使对象55随锡罐54动态移动。因为这些对象与用户2共享，用户2将看到对象53在适当的位置保持静态，而只有当锡罐实际移动时，将看到对象55移动。类似地，用户2可以指定，当钱包在现实世界中移动时，对象65保持静态，而使对象63随钱包62动态移动，。因此，用户1将看到对象65在适当的位置保持静态，而只有当锡罐实际移动时，将看到对象63移动。
图5A说明包含实现多用户多对象AR***的各个模块的***图。在一些实施例中，这些模块可以由执行移动相机上对应软件模块的处理器实现。示出了共享AR对象的两个移动相机C1及C2。相机C1及C2可以为用于捕获并编辑图1至图4中所示图像的相机。为置入多个AR对象，一些AR对象与现实世界场景静态相关联，而允许其他对象在场景中随移动对象移动。每个相机C1或C2包括即时图生成模块110、静态/动态图分离模块120、定位模块130、静态及动态图更新模块140及AR及用户交互模块150。其余模块：群集图及相机注册模块160、群集静态/动态图细化模块170、捆绑式静态/动态图更新及相机姿态细化模块180及群集AR及用户交互模块190允许移动相机C1及C2共享其置入的AR对象。以下将对每个模块进行描述。
根据各实施例并参考图5B，创造共享的增强现实体验的AR方法300可以包括：302、从第二移动设备接收第二虚拟对象，所述接收的虚拟对象置入到所述第二移动设备上的第二现实世界场景中；以及303、将包含第一虚拟对象及所述第二虚拟对象的第一现实世界场景呈现在显示器上。在各实施例中，AR方法300可以进一步包括：301、接收来自相关位置的用户或设备的输入，以将所述第一虚拟对象置入到第一现实世界场景中。所述第一虚拟对象的位置可由所述用户通过图形用户界面设置，用户选择显示器上的一点来放置所述第一虚拟对象。用户也可在显示器中选择第一虚拟对象的方位。例如，参考图1，用户可选择将小精灵对象53放置在杂志52上，并使小精灵面朝右侧。
第一及第二移动设备可通过各种方式相互通信。例如，在各实施例中，第一及第二移动设备可通过有线连接或无线连接中的一或多个进行连接。传输技术可包括通过Wi-Fi、近场通信(NFC)、蓝牙、蜂窝数据、红外技术等发送数据。第二移动设备发送至第一移动设备的数据可包括第二虚拟对象有关的数据及例如虚拟对象位置及方位等的位置信息。根据各实施例，在视频场景中设置各个虚拟对象。对齐模块可以计算旋转因子、平移因子及比例因子以对齐多个相机的视角。计算各个相机之间的关系之后，细化各设备的映射。AR帧由各个移动设备生成，并输出至其它移动设备以创造联合AR场景。第一移动设备接收来自第二移动设备的虚拟对象数据，并在所述显示器上用所述第二虚拟对象的3D位置及3D方位将所述第二虚拟对象呈现在所述第一现实世界场景中。各图形呈现工具，如流行的OpenGL，可用于此目的。
参考图5C，方法300可进一步包括：304、接收来自相关位置的用户或设备的输入，以将第一虚拟对象及第三虚拟对象置入到第一现实世界场景中。所述呈现可呈现包含第一、第二及第三虚拟对象的所述第一现实世界场景。此外，方法300可包括：305、将所述第一现实世界场景的视频帧分离成包含在所述第一现实世界场景内不移动的视频内容的静态部分及包含在所述第一现实世界场景内移动的视频内容的动态部分。
另外，方法300还可以包括：306、从不同时间点的多个图像帧中提取二维(2D)关键点集合；307、建立所述多个图像帧中所提取的2D关键点之间的对应关系；以及308、三角测量所提取的2D关键点的相应对，以确定3D空间中三维(3D)点的位置。方法300可以包括：309、通过计算映射了相应提取的2D关键点及所述相应提取的2D关键点的2D位置的基础矩阵建立所述多个图像帧中所提取的2D关键点之间的对应关系。
图6及图7说明即时图生成模块110的实施例。当移动相机Ci(例如，移动相机C1或C2)开始AR体验时，所述相机通过其即时图生成模块110生成初始图。在图6的实施例中，即时图生成模块110包括组件112、114及116。所述2D对应关系计算组件112分别在时间点t1及t2从两个图像帧
Figure GDA0002420956220000041
及
Figure GDA0002420956220000042
中提取2D“关键点”集合，并进一步建立一组K个匹配关键点之间的对应关系
Figure GDA0002420956220000043
其中关键点
Figure GDA0002420956220000044
来自帧
Figure GDA0002420956220000045
Figure GDA0002420956220000046
来自帧
Figure GDA0002420956220000047
各种关键点如角点检测器、斑点检测器及边缘检测器等检测到的各种局部兴趣点计算的尺度不变量特征变换(SIFT)描述符、快速鲁棒性特征(SURF)描述符、定向的来自加速分段测试的特征(FAST)及旋转的二进制鲁棒独立基本特征(BRIEF)(ORB)描述符等均可用于此目的。各种方法可以用以基于关键点描述符之间计算的距离来建立连续帧之间的关键点对应关系。这些技术可包括最邻近匹配技术及快速近似最邻近匹配等。
图7说明相同移动相机(例如，相机C1或C2)在时间点t1及t2取得的两个帧111a及111b。在每个帧111a及111b中示出的小圆点表示上述关键点。两个帧之间的对应关键点按上述方法确定。例如，箭头113表示帧111a中的关键点115a对应帧111b中的关键点115b。
仍然参考图6，基于所述匹配关键点Φi(t1,t2)，3D点三角测量组件114计算基础矩阵Fi(t1,t2)。令
Figure GDA0002420956220000048
表示帧
Figure GDA0002420956220000049
中的关键点
Figure GDA00024209562200000410
的2D位置。基础矩阵通过以下公式使得帧
Figure GDA00024209562200000411
的匹配关键点
Figure GDA00024209562200000412
与帧
Figure GDA00024209562200000413
的匹配关键点
Figure GDA00024209562200000414
相关联：
Figure GDA00024209562200000415
基础矩阵Fi(t1,t2)可通过上述等式计算得到。接着，对于每一对关键点
Figure GDA00024209562200000416
及
Figure GDA00024209562200000417
基于其在对应帧
Figure GDA00024209562200000418
及
Figure GDA00024209562200000419
中的2D位置以及基础矩阵Fi(t1,t2)，可通过3D点三角测量组件114计算得到3D点Pi(k)＝[Xi(k),Yi(k),Zi(k)]，其中Xi(k),Yi(k),Zi(k)决定现实世界坐标系中的3D点Pi(k)的位置。图7说明关键点115a及115b映射至3D空间中的3D点117。
图6中的稳健性及有效性测试组件116使三角测量点经历稳健性及有效性测试过程。验证3D点的几何正确性。例如，测试可验证3D点是否位于对应相机Ci的前方。此外，测试重投影误差以验证计算得到的基础矩阵及三角测量3D点是可靠的，例如，帧
Figure GDA00024209562200000420
及
Figure GDA00024209562200000421
应有足够的基准。如果3D点及基础矩阵没有通过测试，选择包含两个帧
Figure GDA00024209562200000422
及
Figure GDA00024209562200000423
的另一个集合由即时图生成操作110处理。最后，即时图生成操作的输出为三角测量3D点集合Pi(k),k＝1,...,Ki。
所生成的初始图(表示为该3D点集合Pi(k),k＝1,...,Ki)提供至静态/动态图分离模块120，并由静态/动态图分离模块120进行操作。该模块将初始图点分离成不同部分：分配至静态环境场景的静态3D点集合
Figure GDA00024209562200000424
表示的静态初始图及分配至第j个现实世界动态对象的动态3D点集合
Figure GDA00024209562200000425
表示的动态初始图。在图8的实例中，静态/动态图分离模块120包括两个组件：用户初始化组件122及动态区域生成组件124。在给定初始图的情况下，用户初始化组件122向用户请求识别每个动态移动的对象。例如，如果用户正在拍摄视频，并且一辆车正在经过，那么用户可识别视频中的车作为移动对象。在这方面，可使用各种类型的用户界面。例如，用户可粗略描绘一个多边形来标记移动对象在相机的触敏显示器上的大概区域。之后，对应的2D关键点落入用户定义区域的3D图点视为对应的第j个移动对象的动态3D图点
Figure GDA00024209562200000426
没有落入任何用户定义的动态区域内的其余3D图点视为静态3D图点
Figure GDA00024209562200000427
对于每一个动态3D图点
Figure GDA00024209562200000428
动态区域生成组件124形成以
Figure GDA00024209562200000429
为中心的多面体
Figure GDA00024209562200000430
且该多面体中的3D多面体区域视为是动态的。这里，多面体近似为3D球体，表示3D区域中动态图点的影响。所有的多面体
Figure GDA0002420956220000051
定义了第j个对象的3D动态区域。图9说明绕与现实世界场景中的动态移动对象相对应的3D图点子集形成的多面体的实例。
现参考图10，对于时间tl处的新的输入帧
Figure GDA0002420956220000052
定位模块计算帧
Figure GDA0002420956220000053
的6自由度(DoF)相机姿态，包括参考由静态环境图确定的现实世界坐标的相机旋转
Figure GDA0002420956220000054
及相机平移
Figure GDA0002420956220000055
并计算每个动态对象的6DoF姿态，包括参考由静态环境图确定的现实世界坐标的对象旋转
Figure GDA0002420956220000056
及对象平移
Figure GDA0002420956220000057
定位模块130包括处理所述帧的静态部分的组件及处理所述帧的动态部分的组件。2D-3D静态对应关系模块131对帧
Figure GDA0002420956220000058
的静态部分的2D关键点集合进行计算。然后，2D-3D静态对应关系模块131确定2D点与3D点之间的对应关系：
Figure GDA0002420956220000059
其中关键点
Figure GDA00024209562200000510
来自帧
Figure GDA00024209562200000511
且
Figure GDA00024209562200000512
为与所述关键点匹配的静态图
Figure GDA00024209562200000513
中的3D点。图11说明2D点及其3D对应物之间的对应关系的一个实例。
2D-3D静态对应关系模块131可以实现各种方法，以找到基于2D关键点描述符与3D点描述符之间计算得到的距离的2D-3D对应关系，例如暴力最邻近匹配、快速近似最邻近匹配及轻量级金字塔特征跟踪等。计算3D描述符的方式也是多种多样的。例如，3D点可简单地表示为描述符集合，其包括用于三角测量所述3D点的初始关键点的描述符及下列帧中匹配所述3D点的关键点的描述符。同样，可通过该描述符集合根据，例如，聚类方法计算代表性的描述符集合，来表示所述3D点。通过类似方法，可建立如下2D-3D对应关系集合：
Figure GDA00024209562200000514
其中，所述关键点
Figure GDA00024209562200000515
来自帧
Figure GDA00024209562200000516
且
Figure GDA00024209562200000517
为匹配所述关键点的第j个动态对象的动态图
Figure GDA00024209562200000518
中的3D点。
参考图10，相机定位模块132通过在给出所述2D-3D对应关系集合
Figure GDA00024209562200000519
及包括相机内部矩阵Ki及镜头失真系数集合Di的相机内参数的情况下求解例如透视n点问题(PnP问题)来计算6DoF相机姿态
Figure GDA00024209562200000520
及
Figure GDA00024209562200000521
获取Ki及Di的方法各种各样。在一些实施例中，可使用任意合适的方法在校准预处理中计算Ki及Di。在其它实施例中，一些内参数可从相机制造商处获得，其余参数可通过前处预处理计算。可使用各种合适的方法中任意一个来求解PnP问题，以计算6DoF相机姿态
Figure GDA00024209562200000522
及
Figure GDA00024209562200000523
将计算得到的6DoF相机姿态
Figure GDA00024209562200000524
及
Figure GDA00024209562200000525
提供给滤波器133。在较佳实施例中，滤波器实现为卡尔曼滤波器。卡尔曼滤波器133包括两个阶段：预测阶段及校正阶段。在预测阶段，卡尔曼滤波器133使用来自上一个过滤6DoF相机姿态
Figure GDA00024209562200000526
的估计统计以投影针对当前6DoF相机姿态的先验估计。在校正阶段，卡尔曼滤波器133考虑新的6DoF相机姿态
Figure GDA00024209562200000527
及
Figure GDA00024209562200000528
并计算6DoF相机姿态
Figure GDA00024209562200000529
及
Figure GDA00024209562200000530
的改进后验估计。同时，也基于新观察到的相机姿态
Figure GDA00024209562200000531
及
Figure GDA00024209562200000532
更新投影状态。在一实施例中，卡尔曼滤波器133有对应于6DoF相机姿态、相机姿态改变的速度及相机姿态改变的加速度的18个投影状态参数。经卡尔曼滤波细化后的相机姿态
Figure GDA00024209562200000533
及
Figure GDA00024209562200000534
比原姿态
Figure GDA00024209562200000535
及
Figure GDA00024209562200000536
更平滑，即，求解PnP问题造成的原姿态中的小误差被消除。
在其它实施例中，移动相机可包括惯性测量单元(IMU)。IMU可包括一或多个感应器，例如，陀螺仪、加速度计及或磁力计。陀螺仪及加速度计可为单轴或多轴设备。通过合并此类感应器的输出，IMU在当前时间tl提供当前相机Ci的6DoF相机姿态估计
Figure GDA0002420956220000061
及
Figure GDA0002420956220000062
通过
Figure GDA0002420956220000063
及
Figure GDA0002420956220000064
能够根据例如合适的扩展卡尔曼滤波算法计算得到细化后的相机姿态
Figure GDA0002420956220000065
及
Figure GDA0002420956220000066
对于所述帧的动态部分，2D-3D动态对应关系组件134计算帧
Figure GDA0002420956220000067
的动态部分的2D关键点集合，然后确定如上所述的2D点与3D点之间的对应关系。进一步，针对每个动态对象，对象定位模块132通过在给出所述2D-3D对应关系集合
Figure GDA0002420956220000068
以及相机内参数Ki及Di的情况下求解透视n点问题(PnP问题)来计算6DoF对象姿态
Figure GDA0002420956220000069
及
Figure GDA00024209562200000610
及
Figure GDA00024209562200000611
分别为参考世界坐标的对象旋转及平移，其中，认为动态移动对象是静态的。因此，在静态现实世界坐标系中，对象旋转
Figure GDA00024209562200000612
及对象平移
Figure GDA00024209562200000613
可通过如下等式计算：
Figure GDA00024209562200000614
Figure GDA00024209562200000615
通过类似方法，将每个计算得到的6DoF对象姿态
Figure GDA00024209562200000616
及
Figure GDA00024209562200000617
提供给滤波器136。滤波器136可与上述相关滤波器133相同(卡尔曼滤波器)或相似。在预测阶段，通过对后滤波6DoF对象姿态
Figure GDA00024209562200000618
的估计统计，滤波器136针对当前6DoF对象姿态投影先验估计。在校正阶段，卡尔曼滤波器考虑新的6DoF对象姿态
Figure GDA00024209562200000619
及
Figure GDA00024209562200000620
并计算6DoF对象姿态
Figure GDA00024209562200000621
及
Figure GDA00024209562200000622
的改进后验估计。可基于新观察到的对象姿态
Figure GDA00024209562200000623
及
Figure GDA00024209562200000624
更新投影状态。经卡尔曼滤波细化后的对象姿态
Figure GDA00024209562200000625
及
Figure GDA00024209562200000626
比原姿态
Figure GDA00024209562200000627
及
Figure GDA00024209562200000628
更平滑，即，求解PnP问题造成的原姿态中的小误差被消除。
再次参考图5，经定位模块130定位后，在给出计算得到的2D-3D对应关系
Figure GDA00024209562200000629
及
Figure GDA00024209562200000630
所述细化后的相机姿态
Figure GDA00024209562200000631
及
Figure GDA00024209562200000632
以及所述细化后的对象姿态
Figure GDA00024209562200000633
及
Figure GDA00024209562200000634
的情况下，静态及动态图更新模块140通过不同方法更新图。首先，对于图中每个现有的3D点，如果2D关键点与该3D点匹配，则匹配的2D关键点的描述符用于更新所述3D点的描述符的表示。在一些实施例中，所述3D点的3D位置也基于新匹配的2D关键点更新。执行此更新步骤的方法有多种。例如，可通过对应于3D点的每对2D关键点对候选3D位置进行三角测量，3D点的最终3D位置可为根据这些候选位置计算得到的一些统计数据(例如，统计平均值)。
针对每个动态对象图，也执行动态图添加过程。不需要每个帧都进行动态图更新，可以间或进行，例如，在对象姿态变化超过阈值量且当前帧时间与上一次执行图添加过程的时间大不相同(例如，超过阈值)之后。在动态图添加过程中，首先通过三个步骤将第j个动态对象的3D多面体集合
Figure GDA00024209562200000635
投影到2D成像平面上：(1)通过以下等式将每个多面体
Figure GDA00024209562200000636
的每个顶点
Figure GDA00024209562200000637
投影到当前帧的2D成像平面上：
Figure GDA00024209562200000638
静态及动态图更新模块140基于所述多面体
Figure GDA00024209562200000639
的顶点的2D投影点计算凸包。凸包中的区域视为3D动态多面体
Figure GDA00024209562200000640
提供的第j个对象的候选移动对象区域。将根据所有多面体计算得到的所有凸包区域进行加权并组合在一起获得当前帧中的第j个动态对象的动态区域
Figure GDA0002420956220000071
其中动态区域
Figure GDA0002420956220000072
中的每个像素都分配一个权重，来表示每个像素为所述动态对象的一部分的概率。之后，在当前帧
Figure GDA0002420956220000073
与进行上一次图添加过程的上一帧
Figure GDA0002420956220000074
(在有对应对象姿态
Figure GDA0002420956220000075
及
Figure GDA0002420956220000076
的情况下)之间计算2D关键点对应关系集合
Figure GDA0002420956220000077
每个关键点
Figure GDA0002420956220000078
都落入所述动态区域
Figure GDA0002420956220000079
且在
Figure GDA00024209562200000710
中没有匹配的3D点。之后，针对每对匹配2D关键点
Figure GDA00024209562200000711
能够基于对象姿态
Figure GDA00024209562200000712
及
Figure GDA00024209562200000713
以及相机内参数Ki及Di对3D点
Figure GDA00024209562200000714
进行三角测量。之后，满足以下等式的3D点在几何上是正确的(例如，在相机前面且有小的重投影误差)，并且由静态及动态图更新模块140添加进动态图中：
Figure GDA00024209562200000715
静态及动态图更新模块140也间或执行静态图添加过程，例如，在相机姿态变化超过阈值量且当前帧时间与上一次执行图添加过程的时间大不相同(即，时间差值超过另一阈值)之后。在静态图添加过程中，在当前帧
Figure GDA00024209562200000716
与进行上一次图添加过程的上一帧
Figure GDA00024209562200000717
(在有对应相机姿态
Figure GDA00024209562200000718
及
Figure GDA00024209562200000719
的情况下)之间计算2D关键点对应关系集合
Figure GDA00024209562200000720
其中，每个关键点
Figure GDA00024209562200000721
不落入任意动态对象区域
Figure GDA00024209562200000722
且在
Figure GDA00024209562200000723
中有匹配的3D点。之后，针对每对匹配2D关键点
Figure GDA00024209562200000724
能够基于相机姿态
Figure GDA00024209562200000725
Figure GDA00024209562200000726
及
Figure GDA00024209562200000727
以及相机内参数Ki及Di对3D点
Figure GDA00024209562200000728
进行三角测量。之后，满足以下等式的3D点在几何上是正确的(例如，在相机前面且有小的重投影误差)，并且添加进静态图中：
Figure GDA00024209562200000729
最后，将图中的这些长时间没有使用(在超过阈值的一段时间内没有更新)的3D点从图中移除。通过移除相对不用的点，降低了维持较大图的计算成本。
图12说明AR及用户交互模块150的一个实例，包括用户输入组件152、虚拟对象位置及姿态计算组件154及呈现模块156。用户输入模块接收用户输入。此类输入可包括第s个虚拟对象的3D方位
Figure GDA00024209562200000730
及3D位置
Figure GDA00024209562200000731
以及表示所述虚拟对象是否静态或是否随第j个对象移动的对象
Figure GDA00024209562200000732
的赋值：
Figure GDA00024209562200000733
或
Figure GDA00024209562200000734
所述AR及用户交互模块150为用户生成AR帧输出。在一个实例中，当用户输入虚拟对象的2D位置时，虚拟对象位置及姿态计算组件154通过将最近3D点(其对应的2D关键点最接近所述2D位置输入)内置入对应图(当
Figure GDA00024209562200000735
时，为静态图；当
Figure GDA00024209562200000736
时，为第j个动态图)中自动将2D位置转换为3D位置。在一较佳实施例中，用户界面用于让用户选择(例如，通过移动相机上的触敏显示器)并调整所置入的虚拟对象的位置及方位。之后，基于所述虚拟对象的3D方位
Figure GDA00024209562200000737
及3D位置
Figure GDA00024209562200000738
以及当
Figure GDA00024209562200000739
时的6DoF相机姿态
Figure GDA00024209562200000740
及
Figure GDA00024209562200000741
或当
Figure GDA00024209562200000742
时的6DoF对象姿态
Figure GDA00024209562200000743
及
Figure GDA00024209562200000744
呈现模块156可以将所述虚拟对象呈现至现实世界场景中并在移动相机的显示器上呈现给用户。各图形呈现工具，如流行的OpenGL，可用于此目的。
在一些情况中，不仅移动相机的用户要将多个虚拟对象置入到现实世界场景中来为每个用户创造个人AR体验，而且多个用户也想共享他们所置入的虚拟对象从而创造共享的AR体验。在各种实施例中，移动相机Ci的用户可将用户置入的虚拟对象共享给另一个移动相机Cn的用户。令
Figure GDA0002420956220000081
及
Figure GDA0002420956220000082
表示相机Ci的用户所操纵的虚拟对象的3D方位及位置，令
Figure GDA0002420956220000083
及
Figure GDA0002420956220000084
sn＝1,...,Sn表示相机Cj的用户所操纵的虚拟对象的3D方位及位置。图5的实施例使得用户与其自身设备上来自其它用户的对象通过群集AR及用户交互模块190进行交互。为实现这一功能，至少一些实施例中将使用3个模块，详细描述如下。
这样的一个模块是群集图及相机注册模块160，进一步在图13中说明。如图13中的实例所示，群集图及相机注册模块160包括四个组件。在给定相机Ci的静态图：3D点
Figure GDA0002420956220000085
及相机Cn的静态图：3D点
Figure GDA0002420956220000086
的情况下，3D静态图对应关系计算组件162计算3D-3D对应关系集合
Figure GDA0002420956220000087
可通过各种方法基于使用所述3D点的描述符计算的距离获得所述3D-3D对应关系，例如，暴力最邻近匹配及快速近似最邻近匹配等。当有足够的3D-3D对应关系(例如，数量超过阈值)时，3D图对齐组件164计算旋转因子
Figure GDA0002420956220000088
平移因子
Figure GDA0002420956220000089
及比例因子
Figure GDA00024209562200000810
以对齐相机Ci及相机Cn的静态图。
Figure GDA00024209562200000811
及
Figure GDA00024209562200000812
通过求解以下问题计算得出：
Figure GDA00024209562200000813
其中，(Xi(q),Yi(q),Zi(q))为3D点
Figure GDA00024209562200000814
的3D位置，且
Figure GDA00024209562200000815
为旋转矩阵集合。以上为最小二乘优化问题，其可通过奇异值分解(SVD)求解。
在3D图对齐组件164执行图对齐处理后，联合图生成及细化组件166生成由3D点集合{Pin(kin)|kin＝1,...,Kin}表示的联合图。在一个实施例中，所述联合图由3D-3D对应关系
Figure GDA00024209562200000816
中的3D点形成，其中每个
Figure GDA00024209562200000817
及Pin(kin)在几何上都是正确的(例如，有小的投影误差)。所述联合图中的每个3D点Pin(kin)还与表示3D点可靠性的权重win(kin)关联。权重基于点的鲁棒性(即，重投影误差)及3D点的可视性(即，点在两个相机中都可视的时间量)确定。
相机姿态细化组件168通过求解加权PnP问题，基于加权的联合图重新计算相机Ci及相机Cn的对应相机姿态：
Figure GDA00024209562200000818
其中
Figure GDA00024209562200000819
及
Figure GDA00024209562200000820
为相机Ci的目标重计算姿态，
Figure GDA00024209562200000821
对应于在时间t处的帧的2D关键点，其与生成联合图点Pin(kin)(3D坐标为Xin(kin),Yin(kin),Zin(kin))的相机Cn的静态图点匹配，t为图与用户注册的时间。
在一些实施例中，针对每对相机生成成对的联合图，以降低维持较大联合图的计算及存储成本。在其它实施例中，联合图可通过更大的用户组生成，其组规模大于两个用户。对于较大的组规模，虽然计算及存储成本更高，但类似的过程可用于群集图及用户注册。
在计算相机Ci与相机Cn之间的关系，并且建立联合图之后，群集静态/动态图细化模块170(图5)用于细化各个相机的的静态图及动态图。在给定相机Ci的3D多面体集合
Figure GDA00024209562200000822
及相机Cn的3D多面体集合
Figure GDA00024209562200000823
的情况下，影响相机Ci的相机Cn的动态区域由群集静态/动态图细化模块170计算如下：
群集静态/动态图细化模块170通过以下等式将每个多面体
Figure GDA0002420956220000091
的每个顶点
Figure GDA0002420956220000092
投影到相机Ci的当前帧的2D成像平面上：
Figure GDA0002420956220000093
其中
Figure GDA0002420956220000094
并且
Figure GDA0002420956220000095
然后，群集静态/动态图细化模块170基于多面体
Figure GDA0002420956220000096
的顶点的2D投影点计算凸包。凸包中的区域视为3D动态多面体
Figure GDA0002420956220000097
提供的相机Cn的第j个对象的候选移动对象区域。将对所有多面体
Figure GDA0002420956220000098
计算得到的所有凸包区域进行加权并组合在一起，获得相机Ci的当前帧中的相机Cn的动态对象的动态区域：
Figure GDA0002420956220000099
其中动态区域
Figure GDA00024209562200000910
中的每个像素都分配一个权重，来表示每个像素为所述动态区域的一部分的概率。
然后，静态图中动态图点移除组件172将对应2D关键点落入动态区域
Figure GDA00024209562200000911
的相机Ci的3D图点从相机Ci的动态图中移除。执行类似的过程以计算动态区域
Figure GDA00024209562200000912
并将对应2D关键点落入动态区域
Figure GDA00024209562200000913
的相机Cn的3D图点从相机Cn的动态图中移除。
继续参考图5，每M个帧，捆绑式静态/动态图更新及姿态细化模块180进行操作。在基于相机Ci及相机Cn的移动的群集AR体验过程中，不时地自动调整M。例如，随相机Ci及Cn移动越来越慢，捆绑式静态/动态图更新及姿态细化模块180使M越来越大。图14说明捆绑式静态/动态图更新及姿态细化模块180的一个实例。模块180包括现有的联合图更新组件182，其在单相机过程中执行与上文类似的图更新操作，以更新现有的联合图。与联合图中的匹配3D点对应的新2D关键点的新描述符用于更新该3D点的描述符。模块180还包括联合图添加及减少组件184，其在单相机过程中执行与上文类似的图添加及减少操作。例如，将不在联合图中且在几何上是正确及具鲁棒性的新三角测量3D点添加入联合图中。此外，将长时间(超过时间段阈值)没有使用的图点从联合图中移除。针对所述捆绑式相机姿态细化，捆绑式静态图更新及相机姿态细化组件186更新所述更新后的联合图点的权重，并通过以下等式按照上述求解加权PnP问题来重新计算相机Ci及Cn的对应的6DoF相机姿态：
Figure GDA00024209562200000914
在给定相机Ci的第si个虚拟对象的3D方位
Figure GDA00024209562200000915
及3D位置
Figure GDA00024209562200000916
及表示虚拟对象是否静态或是否随第ji个对象移动的对象
Figure GDA00024209562200000917
的赋值：
Figure GDA00024209562200000918
或
Figure GDA00024209562200000919
以及相机Cn的第sn个虚拟对象的3D方位
Figure GDA00024209562200000920
及3D位置
Figure GDA00024209562200000921
及表示虚拟对象是否静态或是否随第jn个对象移动的对象
Figure GDA00024209562200000922
的赋值：
Figure GDA00024209562200000923
或
Figure GDA00024209562200000924
的情况下，群集AR及用户交互模块190(图5)为用户生成AR帧输出。在一些实施例中，基于
Figure GDA00024209562200000925
Figure GDA00024209562200000926
及
Figure GDA00024209562200000927
以及6DoF相机姿态
Figure GDA00024209562200000928
及
Figure GDA00024209562200000929
当
Figure GDA00024209562200000930
时，将相机Cn所置入对象sn的3D方位及位置传递到相机Ci的3D世界坐标，从而得到新的方位及位置：
Figure GDA00024209562200000931
及
Figure GDA00024209562200000932
Figure GDA00024209562200000933
Figure GDA0002420956220000101
当
Figure GDA0002420956220000102
时，将相机Cn的所置入动态对象sn的3D方位及位置传递到相机Ci的3D世界坐标，从而得到新的方位及位置：
Figure GDA0002420956220000103
及
Figure GDA0002420956220000104
Figure GDA0002420956220000105
Figure GDA0002420956220000106
之后，可以在显示器(例如，移动相机Ci的显示器)上呈现源于相机Ci的对象及从相机Cn传递的对象。该操作也是由群集AR及用户交互模块190执行。类似地，可以在显示器(例如，移动相机Cn的显示器)上呈现源于相机Cn的对象及从相机Ci传递的对象。各种图形呈现工具均可用于此目的，例如流行的OpenGL软件。
图15说明本文描述的可用的移动设备200的方块图的实例。移动设备200包括处理器202、非瞬时性存储设备204、相机210(例如，相机C1或C2)、输入设备212、3D感应器214及显示器216。非瞬时性存储设备204可包括易失性存储器(例如，随机存取存储器)、非易失性存储器(例如，固态存储器、磁存储器、光存储器等)或二者的组合。非瞬时性存储设备204可实现为单一存储设备或多个存储设备。非瞬时性存储设备204包括AR/VR应用206，其包括处理器202可执行的多个指令。当被执行时，AR/VR应用206使得处理器202执行上文移动相机的部分或全部功能。
输入设备212可为任一类型的用户输入设备，如小键盘、键盘、鼠标、触控板等。在移动设备200为集成计算设备，如智能电话、平板设备等的实施例中，输入设备212及显示器216可实现为单一触敏显示器。本实施例中的输入设备212自身可为触敏显示器。3D感应器214可包括单轴或多轴加速度计、单轴或多轴陀螺仪、或任何其它类型的3D感应器。
虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的***和方法可以以许多其他特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一***中组合或合并，或者某些特征可以省略或不实施。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、***、子***和方法可以与其它***、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间部件间接地耦合或通信。其他变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。

Claims (19)

1.一种移动设备，其特征在于，包括：
处理器，其耦合到显示器，其中所述处理器用于：
接收来自第二移动设备的第二虚拟对象以及所述第二虚拟对象在第二移动设备上的第二现实世界场景中的位置，所述接收到的第二虚拟对象已置入到所述第二移动设备上的第二现实世界场景中；以及
在显示器上呈现包含有第一虚拟对象及所述接收到的来自所述第二移动设备的第二虚拟对象的第一现实世界场景，其中，根据所述第二虚拟对象在第二移动设备上的第二现实世界场景中的位置将所述第二虚拟对象动态置入到所述第一现实世界场景中并随着所述第一现实世界场景的动态部分的移动而移动，所述第一现实世界场景与所述第二现实世界场景为视角不同的同一场景。
2.根据权利要求1所述的移动设备，其特征在于，所述处理器用于：
接收关于6自由度(DoF)姿态的第一输入，以将所述第一虚拟对象及第三虚拟对象置入到所述第一现实世界场景中；以及
在所述显示器上呈现包含所述第一、第二及第三虚拟对象的所述第一现实世界场景。
3.根据权利要求2所述的移动设备，其特征在于，所述处理器用于：
基于第二输入将所述第一现实世界场景的视频帧分离成包含在所述第一现实世界场景内不移动的视频内容的静态部分及包含在所述第一现实世界场景内移动的视频内容的所述动态部分，其中所述第二输入表示所述视频帧的所述动态部分的边界区域。
4.根据权利要求3所述的移动设备，其特征在于，所述第一输入表示：
所述第一虚拟对象将与所述第一现实世界场景静态相关联；
所述第三虚拟对象将动态置入到所述第一现实世界场景的所述动态部分并随着所述第一现实世界场景的所述动态部分的移动而移动；以及
通过所述6DoF姿态将所述第一虚拟对象及所述第三虚拟对象置入到所述第一现实世界场景中。
5.根据权利要求1所述的移动设备，其特征在于，所述处理器用于：
从不同时间点的多个图像帧中提取二维(2D)关键点集合；
建立所述多个图像帧中所述提取的2D关键点集合之间的对应关系；以及
三角测量所述提取的2D关键点集合中的相应对，以确定3D空间中三维(3D)点的位置。
6.根据权利要求3所述的移动设备，其特征在于，所述处理器用于计算基于所述静态部分的所述移动设备的当前6DoF静态姿态以及所述动态部分中所述第三虚拟对象的当前6DoF动态姿态。
7.根据权利要求6所述的移动设备，其特征在于，所述处理器用于：
针对来自前一过滤6DoF静态姿态及前一过滤6DoF动态姿态的当前移动设备姿态投影先验估计；以及
计算针对所述当前6DoF静态姿态及当前6DoF动态姿态的改进后验估计。
8.根据权利要求6所述的移动设备，其特征在于，所述计算所述动态部分中所述第三虚拟对象的当前6DoF动态姿态包括：
定义以三角测量的动态3D点为中心的多面体，其中所述动态3D点位于所述第一现实世界场景的所述动态部分内；
基于每个多面体的顶点的2D投影点计算凸包区域；以及
将所述凸包区域一起进行平均以得到当前视频帧中所述第三虚拟对象的动态区域。
9.根据权利要求1所述的移动设备，其特征在于，所述处理器用于：
确定多个移动设备获得的现实世界视频帧中的3D点之间的对应关系；以及
基于所述确定的对应关系将所述多个移动设备的静态3D点对齐，其中，所述静态3D点包含所述第一现实世界场景的静态部分内的3D点。
10.一种移动设备，其特征在于，包括：
处理器，其耦合到显示器，其中所述处理器用于：
将输入的视频帧分离成静态部分和动态部分，其中所述静态部分包含在第一现实世界场景内不移动的视频内容，所述动态部分包含所述第一现实世界场景内移动的视频内容；
将第一虚拟对象置入到所述静态部分；
将第二虚拟对象置入到所述动态部分；以及
将与所述置入的第一虚拟对象和置入的第二虚拟对象与所述显示世界视频场景呈现在所述显示器上，其中所述置入的第一虚拟对象与所述静态部分静态关联，所述置入的第二虚拟对象随着所述动态部分中的移动的现实世界对象在所述第一现实世界场景中移动；
从第二移动设备接收第三虚拟对象以及所述第三虚拟对象在第二移动设备上的第二现实世界场景中的位置，所述接收的第三虚拟对象被置入到所述第二移动设备上的第二现实世界场景中，所述第一现实世界场景与所述第二现实世界场景为视角不同的同一场景；
呈现包含来自所述第二移动设备的所述第一、第二及第三虚拟对象的所述现实世界场景，
其中，根据所述第三虚拟对象在第二移动设备上的第二现实世界场景中的位置将所述第三虚拟对象动态置入到所述第一现实世界场景中并随着所述第一现实世界场景的动态部分的移动而移动。
11.根据权利要求10所述的移动设备，其特征在于，所述处理器用于：
从不同时间点的多个图像帧中提取二维(2D)关键点集合；
建立所述多个图像帧中所述提取的2D关键点集合之间的对应关系；以及
三角测量所述提取的2D关键点集合中的相应对，以确定3D空间中三维(3D)点的位置。
12.根据权利要求10所述的移动设备，其特征在于，所述处理器用于确定多个移动设备获得的现实世界视频帧中的3D点之间的对应关系；以及将所述多个移动设备的静态3D点对齐，其中，所述静态3D点包括在所述现实世界场景的所述静态部分内指定为不动的3D点。
13.根据权利要求10所述的移动设备，其特征在于，所述处理器用于计算基于所述静态部分的所述移动设备的6自由度(DoF)姿态以及所述动态部分中所述第二虚拟对象的6DoF姿态。
14.根据权利要求10所述的移动设备，其特征在于，所述处理器用于接收表示以下内容的输入：
所述第一虚拟对象将被置入到所述静态部分；
所述第二虚拟对象将被置入到所述动态部分；以及
通过6DoF姿态将所述第一虚拟对象及所述第二虚拟对象置入到所述现实世界场景中。
15.在移动设备上实现的方法，其特征在于，包括：
接收来自第二移动设备的第二虚拟对象以及所述第二虚拟对象在第二移动设备上的第二现实世界场景中的位置，所述接收到的虚拟对象已置入到所述第二移动设备上的第二现实世界场景中；以及
将包含第一虚拟对象及所述接收到的第二虚拟对象的第一现实世界场景呈现在显示器上，其中，根据所述第二虚拟对象在第二移动设备上的第二现实世界场景中的位置将所述第二虚拟对象动态置入到所述第一现实世界场景中并随着所述第一现实世界场景的动态部分的移动而移动，所述第一现实世界场景与所述第二现实世界场景为视角不同的同一场景。
16.根据权利要求15所述的方法，其特征在于，还包括：接收关于6自由度(DoF)姿态的输入，以将所述第一虚拟对象及第三虚拟对象置入到所述第一现实世界场景中，其中呈现包括呈现具有所述第一、第二、第三虚拟对象的所述第一现实世界场景。
17.根据权利要求16所述的方法，其特征在于，还包括：将所述第一现实世界场景的视频帧分离成包含在所述第一现实世界场景内不移动的视频内容的静态部分及包含在所述第一现实世界场景内移动的视频内容的所述动态部分。
18.根据权利要求17所述的方法，其特征在于，所述接收到的输入表示：所述第一虚拟对象将静态置入到所述第一现实世界场景，所述第三虚拟对象将动态置入到所述第一现实世界场景的所述动态部分，且随所述动态部分移动，以及所述第一虚拟对象及所述第三虚拟对象的6DoF姿态位于所述第一现实世界场景中。
19.根据权利要求15所述的方法，其特征在于，还包括：
确定多个移动设备获得的现实世界视频帧中的静态部分之间的对应关系；以及
将所述多个移动设备的静态部分对齐。
CN201680052213.6A 2015-09-11 2016-09-08 移动设备上的无标记的多用户多对象增强现实 Active CN108028871B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/852,247 2015-09-11
US14/852,247 US9928656B2 (en) 2015-09-11 2015-09-11 Markerless multi-user, multi-object augmented reality on mobile devices
PCT/CN2016/098465 WO2017041731A1 (en) 2015-09-11 2016-09-08 Markerless multi-user multi-object augmented reality on mobile devices

Publications (2)

Publication Number Publication Date
CN108028871A CN108028871A (zh) 2018-05-11
CN108028871B true CN108028871B (zh) 2020-07-07

Family

ID=58239134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680052213.6A Active CN108028871B (zh) 2015-09-11 2016-09-08 移动设备上的无标记的多用户多对象增强现实

Country Status (4)

Country Link
US (1) US9928656B2 (zh)
EP (2) EP3786900A3 (zh)
CN (1) CN108028871B (zh)
WO (1) WO2017041731A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US20190066378A1 (en) * 2017-08-23 2019-02-28 Blueprint Reality Inc. Personal communication via immersive computing environment
US10996914B2 (en) * 2017-10-10 2021-05-04 Anthony Rogers Persistent geo-located augmented reality social network system and method
WO2019118002A1 (en) * 2017-12-15 2019-06-20 Google Llc Methods and systems for generating augmented reality environments
US11132842B2 (en) * 2017-12-22 2021-09-28 Unity IPR ApS Method and system for synchronizing a plurality of augmented reality devices to a virtual reality device
CA3092884A1 (en) * 2018-03-27 2019-10-03 Spacedraft Pty Ltd A media content planning system
CN110599549B (zh) * 2018-04-27 2023-01-10 腾讯科技（深圳）有限公司 界面显示方法、装置及存储介质
US11272081B2 (en) * 2018-05-03 2022-03-08 Disney Enterprises, Inc. Systems and methods for real-time compositing of video content
US11315337B2 (en) * 2018-05-23 2022-04-26 Samsung Electronics Co., Ltd. Method and apparatus for managing content in augmented reality system
CN108833937B (zh) 2018-05-30 2021-03-23 华为技术有限公司 视频处理方法和装置
CN108776544B (zh) * 2018-06-04 2021-10-26 网易（杭州）网络有限公司 增强现实中的交互方法及装置、存储介质、电子设备
US10290049B1 (en) * 2018-06-27 2019-05-14 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for multi-user augmented reality shopping
CN108919951B (zh) * 2018-06-28 2020-11-20 联想(北京)有限公司 一种信息交互方法及装置
US10854004B2 (en) * 2018-08-24 2020-12-01 Facebook, Inc. Multi-device mapping and collaboration in augmented-reality environments
US10861186B2 (en) * 2018-08-28 2020-12-08 Rpx Corporation Voting space-based loop closure detection
US11803664B2 (en) * 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
CN112530024A (zh) * 2018-10-15 2021-03-19 华为技术有限公司 用于虚拟场景的数据处理方法以及设备
US10810430B2 (en) 2018-12-27 2020-10-20 At&T Intellectual Property I, L.P. Augmented reality with markerless, context-aware object tracking
CN109816704B (zh) * 2019-01-28 2021-08-03 北京百度网讯科技有限公司 物体的三维信息获取方法和装置
US11090561B2 (en) 2019-02-15 2021-08-17 Microsoft Technology Licensing, Llc Aligning location for a shared augmented reality experience
US10748302B1 (en) * 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)
US11097194B2 (en) 2019-05-16 2021-08-24 Microsoft Technology Licensing, Llc Shared augmented reality game within a shared coordinate space
CN114207557A (zh) * 2019-09-09 2022-03-18 苹果公司 虚拟和物理相机的位置同步
US11196842B2 (en) 2019-09-26 2021-12-07 At&T Intellectual Property I, L.P. Collaborative and edge-enhanced augmented reality systems
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
US11475637B2 (en) * 2019-10-21 2022-10-18 Wormhole Labs, Inc. Multi-instance multi-user augmented reality environment
US11380070B2 (en) 2019-10-30 2022-07-05 The Paddock LLC Real-time augmentation of a virtual object onto a real-world object
US11176756B1 (en) * 2020-09-16 2021-11-16 Meta View, Inc. Augmented reality collaboration system
US11756225B2 (en) 2020-09-16 2023-09-12 Campfire 3D, Inc. Augmented reality collaboration system with physical device
US11645841B2 (en) * 2021-08-30 2023-05-09 At&T Intellectual Property I, L.P. Augmented reality event switching
CN114793274A (zh) * 2021-11-25 2022-07-26 北京萌特博智能机器人科技有限公司 基于视频投影的数据融合方法和装置
USD1014499S1 (en) 2022-03-10 2024-02-13 Campfire 3D, Inc. Augmented reality headset
USD1024198S1 (en) 2022-03-10 2024-04-23 Campfire 3D, Inc. Augmented reality console
USD1029076S1 (en) 2022-03-10 2024-05-28 Campfire 3D, Inc. Augmented reality pack

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102695032A (zh) * 2011-02-10 2012-09-26 索尼公司 信息处理装置、信息共享方法、程序以及终端设备
CN104740869A (zh) * 2015-03-26 2015-07-01 北京小小牛创意科技有限公司 一种融合真实环境的虚实结合的交互方法及***
EP3094080A1 (en) * 2015-05-12 2016-11-16 LG Electronics Inc. Mobile terminal

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007027738A2 (en) * 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
US7950004B2 (en) * 2005-10-21 2011-05-24 Siemens Corporation Devices systems and methods for testing software
JP2008096868A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像表示装置、撮像表示方法
US20090109240A1 (en) * 2007-10-24 2009-04-30 Roman Englert Method and System for Providing and Reconstructing a Photorealistic Three-Dimensional Environment
CN101510913A (zh) 2009-03-17 2009-08-19 山东师范大学 基于三维电子罗盘的智能手机增强现实***及实现方法
US20100304720A1 (en) * 2009-05-27 2010-12-02 Nokia Corporation Method and apparatus for guiding media capture
US8907941B2 (en) * 2009-06-23 2014-12-09 Disney Enterprises, Inc. System and method for integrating multiple virtual rendering systems to provide an augmented reality
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US8665307B2 (en) * 2011-02-11 2014-03-04 Tangome, Inc. Augmenting a video conference
JP5103538B2 (ja) * 2011-02-25 2012-12-19 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御プログラム、及びゲーム制御方法
WO2013012104A1 (ko) * 2011-07-18 2013-01-24 엘지전자 주식회사 전자기기 및 전자기기의 동작 방법
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
GB2501929B (en) * 2012-05-11 2015-06-24 Sony Comp Entertainment Europe Apparatus and method for augmented reality
US20150363481A1 (en) * 2012-09-06 2015-12-17 Michael N. Haynes Systems, Devices, and/or Methods for Managing Information
KR102058990B1 (ko) * 2012-09-19 2019-12-24 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
US9524434B2 (en) * 2013-10-04 2016-12-20 Qualcomm Incorporated Object tracking based on dynamically built environment map data
EP2866165B1 (en) * 2013-10-28 2018-12-05 LG Electronics Inc. -1- Mobile terminal and controlling method thereof
CN103777757B (zh) 2014-01-15 2016-08-31 天津大学 一种结合显著性检测的在增强现实中放置虚拟对象的***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102695032A (zh) * 2011-02-10 2012-09-26 索尼公司 信息处理装置、信息共享方法、程序以及终端设备
CN104740869A (zh) * 2015-03-26 2015-07-01 北京小小牛创意科技有限公司 一种融合真实环境的虚实结合的交互方法及***
EP3094080A1 (en) * 2015-05-12 2016-11-16 LG Electronics Inc. Mobile terminal

Also Published As

Publication number Publication date
CN108028871A (zh) 2018-05-11
US20170076499A1 (en) 2017-03-16
EP3786900A3 (en) 2021-04-07
US9928656B2 (en) 2018-03-27
EP3338439A4 (en) 2018-08-15
EP3338439A1 (en) 2018-06-27
WO2017041731A1 (en) 2017-03-16
EP3786900A2 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
CN108028871B (zh) 移动设备上的无标记的多用户多对象增强现实
US11145083B2 (en) Image-based localization
EP2915140B1 (en) Fast initialization for monocular visual slam
EP3008695B1 (en) Robust tracking using point and line features
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
JP5660648B2 (ja) マルチユーザ拡張現実におけるオンライン参照生成および追跡
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
WO2011118282A1 (ja) 世界座標系データベースを利用したサーバ及び端末
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
JP7107166B2 (ja) 床面検出プログラム、床面検出方法及び端末装置
CN110869978B (zh) 信息处理装置和信息处理方法
CN112154486A (zh) 用于多用户增强现实购物的***和方法
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
US11758100B2 (en) Portable projection mapping device and projection mapping system
JP2020042575A (ja) 情報処理装置、位置合わせ方法、及びプログラム
Li et al. A hybrid pose tracking approach for handheld augmented reality
WO2023020327A1 (zh) 图像处理
Toriya et al. Mobile camera localization using aerial-view images
Toriya et al. A mobile camera localization method using aerial-view images
KR102090533B1 (ko) 멀티마커 기반의 증강현실 시스템의 카메라 자세 추정 방법
TW202314195A (zh) 真實空間虛擬化之擴增實境之應用方法與應用互動模組
CN115981492A (zh) 三维笔迹生成方法、设备及***
CN110660134A (zh) 三维地图构建方法、三维地图构建装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant