CN112106103A - 用于确定坐标系之间的近似变换的***和方法 - Google Patents

用于确定坐标系之间的近似变换的***和方法 Download PDF

Info

Publication number
CN112106103A
CN112106103A CN201980031557.2A CN201980031557A CN112106103A CN 112106103 A CN112106103 A CN 112106103A CN 201980031557 A CN201980031557 A CN 201980031557A CN 112106103 A CN112106103 A CN 112106103A
Authority
CN
China
Prior art keywords
coordinate system
spatial arrangement
mobile device
synchronization
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980031557.2A
Other languages
English (en)
Inventor
E·西格尔
A·齐格勒
O·Y·斯坦因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leicester Ltd
Original Assignee
Leicester Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leicester Ltd filed Critical Leicester Ltd
Publication of CN112106103A publication Critical patent/CN112106103A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于确定第一坐标系和第二坐标系之间的近似变换的***，所述***包括处理资源，所述处理资源被配置为：获得由移动装置的图像获取装置捕获的图像；标识所述图像内的一个或多个同步对象；确定所述同步对象相对于所述第一坐标系的第一坐标系原点的第一空间布置，所述第一坐标系是所述移动装置的坐标系；获得所述同步对象相对于所述第二坐标系的第二坐标系原点的第二空间布置的信息；并且通过采用利用所述第一空间布置和所述第二空间布置的优化方案来确定所述第一坐标系和所述第二坐标系之间的所述近似变换，所述近似变换可通过所述移动装置以用于相对于所述第二坐标系放置虚拟对象。

Description

用于确定坐标系之间的近似变换的***和方法
技术领域
本发明涉及用于确定坐标系之间的近似变换的***和方法。
背景技术
许多装置(包括移动装置，诸如移动电话、膝上型计算机、平板电脑、智能手表或具有数据处理能力的任何其他移动装置)和/或在此类装置上运行的应用利用具有某一坐标系原点的装置特定的坐标系(在本文中也称为“局部坐标系”)。因此，第一装置/应用可以使用具有第一坐标系原点的第一坐标系进行操作，第二装置可以使用具有除了第一坐标系原点以外的第二坐标系原点的第二坐标系进行操作等等。为了各种目的，期望具有确定第一装置的第一局部坐标系与第二装置的第二局部坐标系之间的变换的能力。
一种示例性需求存在于增强现实应用中，其中期望将虚拟对象(作为计算机生成的(CG)数据)放置在可由多个装置(包括未固定在空间中的移动装置)看得见的给定的真实世界空间内的各种位置中。在此类情况下，期望使虚拟对象似乎放置在给定的现实世界空间中的固定位置中，而与正在查看它们的装置的局部坐标系无关。
看向特定示例，给定的虚拟对象可以由第一装置的用户放置在与由第一装置使用的具有第一坐标系原点的第一坐标系内的某些坐标(例如，X1、Y1、Z1)相关联的特定现实世界空间中。如果尝试在使用第二坐标系进行操作的另一个装置上的相同坐标(X1、Y1、Z1)上显示给定的虚拟对象，则给定的虚拟对象似乎将放置在另一个现实世界空间中，因为第二坐标系具有第二坐标系原点。
因此，需要用于确定坐标系之间的近似变换的新的***和方法。
以下列出被认为是当前披露的主题的相关背景的参考文献。本文对参考文献的承认不应被推断为意味着这些无论如何都与当前披露的主题专利性相关。
于2014年9月16日公开的美国专利第8,839,121号(Bertolami等人)公开了用于在增强现实应用或***中统一坐标系的***和方法。用户装置捕获场景的图像，并且基于场景图像确定位置。可以将场景图像与制图数据或图像进行比较以确定位置。用户装置可以提出用于公共坐标系的原点和定位或变换数据，并且交换提出的坐标系数据以在公共坐标系上达成一致。用户装置还可以将位置信息传送到增强现实***，所述增强现实***然后确定公共坐标系并将坐标系数据(诸如，变换矩阵)传送到用户装置。可以基于用户装置相对于坐标系的位置来调整呈现给用户的图像。
于2013年8月1日公开的美国专利申请第2013/0194304号(Letta等人)公开了用于呈现相对于彼此正确定位的真实和虚拟图像的方法。所述方法包括在第一视场中，接收对象的第一真实图像并显示第一虚拟图像。所述方法还包括在相对于第一视场独立取向的第二视场中，接收对象的第二真实图像并显示第二虚拟图像，第一虚拟图像和第二虚拟图像一致地定位在坐标系内。
于2018年1月4日公开的美国专利申请第2018/0005450号(Daniels等)公开了用于在诸如世界测地***(WGS)的坐标系内准确定位增强现实(AR)内容的***可以包括绑定到可追踪的物理特征的AR内容。当***由移动计算装置使用时，每个移动装置可以计算和比较可追踪特征之间的相对定位数据。当获得测量值时，***可以分层地连接和分组可追踪特征。当对组中的可追踪特征进行附加测量时，可以例如使用统计方法来改进相对位置数据。
于2017年4月11日公开的美国专利第9,619,942号(Finn等人)公开了将增强现实技术结合到土地测量、3D激光扫描和数字建模过程中的方法、***和移动装置。通过结合增强现实技术，移动装置可以显示增强现实图像，所述增强现实图像包括现实环境中的物理结构的真实视图以及在其预期的搭配位置处覆盖在物理结构的顶部上的未构建设计元素的3D数字模型。在一个实施例中，标记可以放置在由勘测设备确定的搭配位置处或附近的预定坐标集处，使得可以在相对于物理结构几何学上正确的取向上可视化未构建设计元素的3D数字模型。如果不可能访问项目站点，则本发明的实施例还可以应用于表示物理结构的按比例缩小的3D打印对象。
于2016年1月28日公开的美国专利申请号2016/0026253(Bradski等人)公开了用于向用户呈现虚拟现实和增强现实体验的构型。***可以包括用于捕获一个或多个图像的图像捕获装置，所述一个或多个图像对应于头戴式增强现实装置的用户的视场；以及处理器，所述处理器通信地联接到图像捕获装置以从一组图像中提取一组地图点，以从提取的一组地图点中标识一组稀疏点和一组密集点，并且对一组地图点执行归一化处理。
于2017年9月5日公开的美国专利号9,754,397(Piemonte等人)公开了方法、硬件和软件执行从在捕获的介质的上下文中(诸如在捕获的介质中同步并定位)的单独源创建的增强现实，以便在不同情况下复制相似的增强现实。通信装置的网络中的计算机处理器处理增强现实信息、提供上下文匹配的锚信息、控制此类信息是否被传输或起作用的限制信息以及捕获的介质信息的组合。计算机处理器将锚信息与介质进行比较，以标识触发介质以及增强现实元素应如何在此类介质的上下文中出现。如果成功，则基于介质在通信装置上执行增强现实。因此，可以仅在期望的或受限的条件下严格参考实际捕获的介质来执行增强现实，并且仅可以在有用的资源节约的情况下进行信息传输和处理以实现增强现实。
于2017年2月16日公开的美国专利申请第2017/0046878号(Dobslaw)公开了移动装置，其将三维虚拟对象模型以计算方式定位在与第一地理位置相对应的第一虚拟位置处；以计算方式将三维虚拟对象模型取向在第一虚拟取向上；确定移动装置随时间的推移的真实位置和真实取向；捕获随时间的推移的现实世界图像数据；并且随时间的推移，基于移动装置的所确定的真实位置和真实取向，从移动装置的正确角度显示包括真实世界图像数据和第一虚拟位置和第一虚拟取向上的三维虚拟对象模型的增强现实视图。随着移动装置随时间的推移通过运动而重新定位和重新取向，正确的视角改变。
发明内容
根据目前公开的主题的第一方面，提供了用于确定第一坐标系和第二坐标系之间的近似变换的***，所述***包括处理资源，所述处理资源被配置为：获得由移动装置的图像获取装置捕获的图像；通过分析所述图像，标识所述图像内的一个或多个同步对象；确定所述同步对象相对于所述第一坐标系的第一坐标系原点的第一空间布置，所述第一坐标系是所述移动装置的坐标系；获得所述同步对象相对于所述第二坐标系的第二坐标系原点的第二空间布置的信息；并且通过采用利用所述第一空间布置和所述第二空间布置的优化方案来确定所述第一坐标系和所述第二坐标系之间的所述近似变换，所述近似变换可通过所述移动装置用于相对于所述第二坐标系放置虚拟对象。
在某些情况下，所述处理资源进一步被配置为：随时间的推移，获得在所述图像之后捕获的一系列后续图像；对于所述系列中的每个后续图像：通过分析所述后续图像，标识所述后续图像内的一个或多个后续同步对象；通过分析所述后续图像，确定所述同步对象相对于所述第一坐标系原点的第三空间布置；获得所述后续同步对象相对于所述第二坐标系原点的第四空间布置的信息；并且通过采用利用所述第三空间布置和所述第四空间布置的优化方案来确定优化的近似变换。
在某些情况下，通过采用还利用所述近似变换的优化方案来确定所述优化的近似变换。
在某些情况下，通过采用还利用所述第一空间布置和所述第二空间布置的优化方案来确定所述优化的近似变换。
在某些情况下，所述后续同步对象中的至少一个对应于所述同步对象中的至少一个。
在某些情况下，通过采用利用针对所述一系列后续图像内的所有后续图像确定的所述第三空间布置以及针对所述一系列后续图像内的所有后续图像获得的所述第四空间布置的优化方案来确定所述优化的近似变换。
在某些情况下，通过采用利用针对所述一系列后续图像内的所述后续图像的子集确定的所述第三空间布置以及针对所述一系列后续图像内的所述后续图像的所述子集获得的所述第四空间布置的优化方案来确定所述优化的近似变换。
在某些情况下，所述子集包括在给定时间窗口期间获取的所述后续图像。
在某些情况下，所述给定时间窗口是滑动时间窗口。
在某些情况下，所述子集包括在给定地理位置中获取的所述后续图像。
在某些情况下，所述给定地理位置根据所述移动装置的地理位置而动态地改变。
在某些情况下，所述优化方案基于以下一项或多项：(a)非线性回归；(b)非线性最小二乘法优化；(c)非线性编程；(d)贝叶斯估计；以及(e)线性二次估计。
在某些情况下，同步对象中的至少一个是唯一标识的对象。
在某些情况下，使用快速响应(QR)码来标识所述唯一标识的对象。
在某些情况下，所述唯一标识的对象是预定标记。
在某些情况下，所述唯一标识的对象是动态创建的标记。
在某些情况下，所述动态创建的标记在其他移动装置之间共享。
在某些情况下，所述唯一标识的对象是语义标记的对象。
在某些情况下，所述唯一标识的对象是发光对象。
在某些情况下，所述唯一标识的对象是另一个移动装置。
在某些情况下，所述唯一标识的对象是使用面部识别来标识的生物标识的人。
在某些情况下，所述处理资源进一步被配置为获得与所述同步对象中的一个或多个有关的一个或多个参数，并且其中使用对应的参数来标识所述同步对象。
在某些情况下，所述参数包括以下一项或多项：(a)对应的同步对象的取向；(b)所述对应的同步对象的姿态；(c)所述对应的同步对象的比例或大小；(d)所述对应的同步对象的语义标签；(e)所述对应的同步对象的形状；(f)所述对应的同步对象的纹理样本；以及(g)所述对应的同步对象的一个或多个参数的统计描述。
在某些情况下，所述同步对象中的至少一个给定的同步对象是使用面部检测并且通过获得所述给定的同步对象相对于北的第一角度和所述移动装置相对于北的第二角度的信息来标识的人。
在某些情况下，所述第一角度和所述第二角度之和在160°至200°之间。
在某些情况下，所述第一角度和所述第二角度之和为180°。
在某些情况下，使用所述移动装置相对于地面和北的方向的信息来确定所述第一空间布置。
在某些情况下，所述同步对象中的至少一个是人，并且其中还使用所计算出的所述图像中的所述人的瞳孔之间的距离和预定参考距离来确定所述第一空间布置。
在某些情况下，所述参考距离是以下中的一项：(a)人类瞳孔之间的平均距离；(b)当所述人为女性时，女人瞳孔之间的平均距离；(c)当所述人为男性时，男人瞳孔之间的平均距离；(d)当所述人被标识为在某个年龄组内时，所述某个年龄组的人的瞳孔之间的平均距离；以及(e)所述人的所述瞳孔之间的距离。
在某些情况下，所述第二坐标系是除所述移动装置之外的第二移动装置的坐标系。
根据目前公开的主题的第二方面，提供了用于确定第一坐标系和第二坐标系之间的近似变换的方法，所述方法包括：通过处理资源来获得由移动装置的图像获取装置捕获的图像；通过所述处理资源并通过分析所述图像来标识所述图像内的一个或多个同步对象；通过所述处理资源来确定所述同步对象相对于所述第一坐标系的第一坐标系原点的第一空间布置，所述第一坐标系是所述移动装置的坐标系；通过所述处理资源来获得所述同步对象相对于所述第二坐标系的第二坐标系原点的第二空间布置的信息；并且通过所述处理资源并通过采用利用所述第一空间布置和所述第二空间布置的优化方案来确定所述第一坐标系和所述第二坐标系之间的所述近似变换，所述近似变换可通过所述移动装置以用于相对于所述第二坐标系放置虚拟对象。
在某些情况下，所述方法还包括：随时间的推移，通过所述处理资源来获得在所述图像之后捕获的一系列后续图像；对于所述系列中的每个后续图像：通过所述处理资源并通过分析所述后续图像来标识所述后续图像内的一个或多个后续同步对象；通过所述处理资源并通过分析所述后续图像来确定所述同步对象相对于所述第一坐标系原点的第三空间布置；通过所述处理资源来获得所述后续同步对象相对于所述第二坐标系原点的第四空间布置的信息；并且通过所述处理资源，通过采用利用所述第三空间布置和所述第四空间布置的优化方案来确定优化的近似变换。
在某些情况下，通过采用还利用所述近似变换的优化方案来确定所述优化的近似变换。
在某些情况下，通过采用还利用所述第一空间布置和所述第二空间布置的优化方案来确定所述优化的近似变换。
在某些情况下，所述后续同步对象中的至少一个对应于所述同步对象中的至少一个。
在某些情况下，通过采用利用针对所述一系列后续图像内的所有后续图像确定的所述第三空间布置以及针对所述一系列后续图像内的所有后续图像获得的所述第四空间布置的优化方案来确定所述优化的近似变换。
在某些情况下，通过采用利用针对所述一系列后续图像内的所述后续图像的子集确定的所述第三空间布置以及针对所述一系列后续图像内的所述后续图像的所述子集获得的所述第四空间布置的优化方案来确定所述优化的近似变换。
在某些情况下，所述子集包括在给定时间窗口期间获取的所述后续图像。
在某些情况下，所述给定时间窗口是滑动时间窗口。
在某些情况下，所述子集包括在给定地理位置中获取的所述后续图像。
在某些情况下，所述给定地理位置根据所述移动装置的地理位置而动态地改变。
在某些情况下，所述优化方案基于以下一项或多项：(a)非线性回归；(b)非线性最小二乘法优化；(c)非线性编程；(d)贝叶斯估计；以及(e)线性二次估计
在某些情况下，同步对象中的至少一个是唯一标识的对象。
在某些情况下，使用快速响应(QR)码来标识所述唯一标识的对象。
在某些情况下，所述唯一标识的对象是预定标记。
在某些情况下，所述唯一标识的对象是动态创建的标记。
在某些情况下，所述动态创建的标记在其他移动装置之间共享。
在某些情况下，所述唯一标识的对象是语义标记的对象。
在某些情况下，所述唯一标识的对象是发光对象。
在某些情况下，所述唯一标识的对象是另一个移动装置。
在某些情况下，所述唯一标识的对象是使用面部识别来标识的生物标识的人。
在某些情况下，所述方法还包括通过所述处理资源来获得与所述同步对象中的一个或多个有关的一个或多个参数，并且其中使用对应的参数来标识所述同步对象。
在某些情况下，所述参数包括以下一项或多项：(a)对应的同步对象的取向；(b)所述对应的同步对象的姿态；(c)所述对应的同步对象的比例或大小；(d)所述对应的同步对象的语义标签；(e)所述对应的同步对象的形状；(f)所述对应的同步对象的纹理样本；以及(g)所述对应的同步对象的一个或多个参数的统计描述。
在某些情况下，所述同步对象中的至少一个给定的同步对象是使用面部检测并且通过获得所述给定的同步对象相对于北的第一角度和所述移动装置相对于北的第二角度的信息来标识的人。
在某些情况下，所述第一角度和所述第二角度之和在160°至200°之间。
在某些情况下，所述第一角度和所述第二角度之和为180°。
在某些情况下，使用所述移动装置相对于地面和北的方向的信息来确定所述第一空间布置。
在某些情况下，所述同步对象中的至少一个是人，并且其中还使用所计算出的所述图像中的所述人的瞳孔之间的距离和预定参考距离来确定所述第一空间布置。
在某些情况下，所述参考距离是以下中的一项：(a)人类瞳孔之间的平均距离；(b)当所述人为女性时，女人瞳孔之间的平均距离；(c)当所述人为男性时，男人瞳孔之间的平均距离；(d)当所述人被标识为在某个年龄组内时，所述某个年龄组的人的瞳孔之间的平均距离；以及(e)所述人的瞳孔之间的距离。
在某些情况下，所述第二坐标系是除所述移动装置之外的第二移动装置的坐标系。
根据目前公开的主题的第三方面，提供了具有在其中体现的计算机可读程序代码的非暂时性计算机可读存储介质，所述计算机可读程序代码可由计算机的至少一个处理器执行以执行用于确定第一坐标系和第二坐标系之间的近似变换的方法，所述方法包括：通过处理器来获得由移动装置的图像获取装置捕获的图像；通过所述处理器并通过分析所述图像来标识所述图像内的一个或多个同步对象；通过所述处理器来确定所述同步对象相对于所述第一坐标系的第一坐标系原点的第一空间布置，所述第一坐标系是所述移动装置的坐标系；通过所述处理器来获得所述同步对象相对于所述第二坐标系的第二坐标系原点的第二空间布置的信息；并且通过所述处理器并通过采用利用所述第一空间布置和所述第二空间布置的优化方案来确定所述第一坐标系和所述第二坐标系之间的所述近似变换，所述近似变换可通过所述移动装置以用于相对于所述第二坐标系放置虚拟对象。
附图说明
为了理解目前公开的主题并了解其如何在实践中实施，现在将参考附图仅通过非限制性示例描述主题，其中：
图1是根据目前公开的主题的不同装置的不同局部坐标系连同用于确定不同局部坐标系之间的近似变换的对象、以及在可由不同移动装置的图像获取装置看得见的场景内的放置对象的示意图；
图2是示意性地示出根据目前公开的主题的能够确定其坐标系与另一个装置的不同的坐标系之间的近似变换的装置的一个示例的框图；
图3是示出根据目前公开的主题的用于确定装置的坐标系与另一个装置的不同的坐标系之间的近似变换而执行的一系列操作的一个示例的流程图；
图4是示出根据目前公开的主题的用于随时间的推移优化装置的坐标系与另一个装置的不同的坐标系之间的近似变换而执行的一系列操作的一个示例的流程图；并且
图5是示出根据目前公开的主题的用于将具有第一坐标系中的坐标的对象放置在第二坐标系中的对应坐标上而执行的一系列操作的一个示例的流程图。
具体实施方式
在以下详细描述中，阐述许多具体细节以提供对目前公开的主题的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践目前公开的主题。在其他情况下，没有详细描述众所周知的方法、过程和部件，以免模糊目前公开的主题。
在阐述的附图和描述中，相同的附图标记指示不同实施例或构型所共有的那些部件。
除非另外特别说明，否则从以下讨论中显而易见，应当理解，在整个说明书中，利用诸如“获得”、“标识”、“确定”等术语的讨论包括计算机的动作和/或过程，所述动作和/或过程将数据操纵和/或转换为其他数据，所述数据表示为物理量，诸如电子量，和/或所述数据表示物理对象。术语“计算机”、“处理器”和“控制器”应被广泛地解释为涵盖具有数据处理功能的任何类型的电子装置，通过非限制性示例的方式包括个人台式/膝上型计算机、服务器、计算***、通信装置、智能手机、平板电脑、智能电视、处理器(例如，数字信号处理器(DSP)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC))等)、共享各种任务的特性的一组多个物理机、共驻留在单个物理机上的虚拟服务器、任何其他电子计算装置和/或其任何组合。
根据本文的教导的操作可以由为期望目的而特别构造的计算机或者由通过存储在非暂时性计算机可读存储介质中的计算机程序为期望目的而特别配置的通用计算机来执行。本文使用术语“非暂时性”来排除暂时性的、传播的信号，但在其他方面包括适用于应用的任何易失性或非易失性计算机存储技术。
如本文所用，短语“例如”、“诸如”、“例如”及其变型描述了目前公开的主题的非限制性实施例。在本说明书中，对“一种情况”、“某些情况”、“其他情况”或其变型的引用意味着结合(一个或多个)实施例描述的特定特征、结构或特性被包括在目前公开的主题的至少一个实施例中。因此，短语“一种情况”、“某些情况”、“其他情况”或其变型的出现不一定是指(一个或多个)相同的实施例。
应当理解，除非另外特别说明，否则为清楚起见，在单独实施例的上下文中描述的目前公开的主题的某些特征也可以在单个实施例中组合提供。相反，为简洁起见，在单个实施例的上下文中描述的目前公开的主题的各种特征也可单独提供或以任何合适的子组合提供。
在目前公开的主题的实施例中，与图3至图5所示的阶段相比，更少、更多和/或不同的阶段可以被执行。在目前公开的主题的实施例中，图3至图5所示的一个或多个阶段可以不同顺序执行并且/或者可以同时执行一个或多个阶段组。图2示出根据目前公开的主题的实施例的***架构的总体示意图。图2中的每个模块可以由执行如本文所定义和解释的功能的软件、硬件和/或固件的任何组合组成。图2中的模块可以集中在一个位置中或分散在多于一个的位置上。在目前公开的主题的其他实施例中，***可以包括与图2所示的模块相比更少、更多和/或不同的模块。
说明书中对方法的任何引用应在细节上作必要修改后应用于能够执行方法的***，并且应在细节上作必要修改后应用于存储指令的非暂时性计算机可读介质，所述指令一旦由计算机执行就导致执行方法。
说明书中对***的任何引用应在细节上作必要修改后应用于可以由***执行的方法，并且应在细节上作必要修改后应用于存储可以由***执行的指令的非暂时性计算机可读介质。
说明书中对非暂时性计算机可读介质的任何引用应在细节上作必要修改后应用于能够执行存储在非暂时性计算机可读介质中的指令的***，并且应在细节上作必要修改后应用于可以由计算机执行的方法，所述计算机读取存储在非暂时性计算机可读介质中的指令。
牢记这一点，注意图1，根据目前公开的主题的不同装置的不同局部坐标系连同用于确定不同局部坐标系之间的近似变换的对象、以及在可由不同移动装置的图像获取装置看得见的场景内的放置对象的示意图。
在图示中，示出了两个装置-移动装置A 110-a和移动装置B 110-b。移动装置A110-a和移动装置B 110-b可以是例如移动电话、膝上型计算机、平板电脑、智能手表、增强现实眼镜(诸如谷歌眼镜、Oculus、HoloLens等)或具有数据处理能力和在空间中物理移动的能力的任何其他移动装置。
需注意，尽管移动装置A 110-a和移动装置B 110-b两者是可以在空间中物理移动的移动装置，但是在某些情况下，根据目前公开的主题的装置中的至少一个可以是固定的(即在空间中具有固定的位置)，并且在某些情况下，两者可以在细节上作必要修改后是固定的。一些示例性的此类固定装置包括台式计算机、智能电视机、游戏机等。
移动装置，移动装置A 110-a和移动装置B 110-b(在本文中统称为“移动装置”)中的每一个具有其自身的局部坐标系。移动装置A 110-a局部坐标系在图中由线X1、Y1和Z1表示，而移动装置B 110-b局部坐标系在图中由线X2、Y2和Z2表示。每个局部坐标系分别具有其自身的局部坐标系原点，即坐标系原点A 150-a(其中X1、Y1和Z1相交)和坐标系原点B150-b(其中X2、Y2和Z2相交)。
需注意，当引用坐标系时，它可以是指具有三个自由度(例如x、y、z)的坐标，或者具有多于三个的自由度(还包括俯仰、侧倾、偏航以及任选的公制比例中的至少一个)的坐标系。在某些情况下，可以使用有关移动装置相对于北的角度以及重力方向的知识来解决/减少自由度中的至少一些。
坐标系原点A 150-a和坐标系原点B 150-b彼此不同，即它们不在相同的物理位置处，使得假设提供了全局坐标系，移动装置A 110-a的局部坐标系中的坐标(0,0,0)转换为全局坐标系上的第一坐标，并且移动装置B 110-b的局部坐标系中的坐标(0,0,0)转换为全局坐标系上的第二坐标，其中全局坐标系上的第一坐标和第二坐标不相同。
如本文所指示，期望能够确定移动装置的坐标系之间的近似变换。可以使用一个或多个同步对象相对于坐标系原点A 150-a和相对于坐标系原点B 150-b的空间布置的信息来确定这种变换。同步对象是移动装置(即移动装置A 110-a的FOV A 140-a和移动装置B110-b的FOV B 140-b)中的每一个的图像获取装置(例如可以捕获图像和/或包含多个图像的视频流的摄像机，或可以生成场景的图像或映射的任何其他传感器，包括LIDAR、雷达、距离扫描仪、声呐、信标等)的视场(FOV)内的可标识对象。
在非限制性示出的示例中，示出了三个同步对象：同步对象A 120-a、同步对象B120-b和同步对象C 120-c。同步对象中的每一个具有移动装置A 110-a局部坐标系中的第一坐标(在图中由线X1、Y1和Z1表示)和移动装置B 110-a局部坐标系中的第二坐标(在图中由线X2、Y2和Z2线表示)。需注意，例如使用各种已知的方法和/或技术、或使用专有算法，第一坐标可以由移动装置A 110-a估计，并且第二坐标可以由移动装置B 110-b估计。一些示例性的此类方法和/或技术包括将同步对象的已知大小与其在由图像获取装置获取的图像的图像平面上的大小进行比较。在同步对象的大小未知的其他情况下，可以利用类似对象的知识来估计大小(即，如果同步对象是眼镜，则可以使用眼镜的大小等知识来估计其大小)。另一种替代方案是通过随时间的推移或在后续图像上追踪兴趣点(例如，通过将相似的点与先前看到的点进行匹配，或通过光流算法)来使用兴趣点(也称为图像特征)的三角测量。作为另一种替代方案，可以使用同时定位和映射(SLAM)方法。作为另一替代方案，可以使用两个图像之间的视差图。
获得同步对象相对于其他移动装置的坐标系原点的空间布置的信息的移动装置中的任一个可以使用此类信息来确定移动装置的坐标系之间的近似变换。可以使用优化方案(诸如：非线性回归、非线性最小二乘法优化、非线性编程、贝叶斯估计、线性二次估计等)来确定近似变换。优化方案可以获得在移动装置A 110-a的局部坐标系中和在移动装置B110-b的局部坐标系中的同步对象的坐标作为输入。优化方案可以任选地考虑一个或多个约束条件(例如，计算时间、迭代次数等)、尝试使用两个坐标系中的同步对象的坐标来标识坐标系之间的最佳变换，如本文尤其参考图3和图4进一步详述。
为了便于理解提供的简单示例如下所示：O1和O2是两个装置的坐标系的原点。sA、sB、sC是三个同步对象，在以O1和O2为原点的坐标系中具有以下坐标：
sA＝以O1为原点的(1,0,1)；以O2为原点的(9,0,9)
sB＝以O1为原点的(8,0,2)；以O2为原点的(2,0,8)
sC＝以O1为原点的(4,0,6)；以O2为原点的(6,0,4)
在计算之后，具有以O2为原点的坐标系的装置将其自身坐标系到其他装置的以O1为原点的坐标系的变换估计为：
R＝(0,pi,0){即y轴上的pi度，R代表弧度的“旋度”}
C＝(10,0,10){即第一坐标系的X轴上的10米、Z轴上的10米，C代表以米为单位的“中心”}
按照使用在坐标系中的每一个中的同步对象的坐标的估计来确定变换的事实，变换是可能具有误差的估计的变换。因此，在某些情况下，随时间的推移优化了变换，因为越来越多的信息提供了有关同步对象(以及可选的新标识的同步对象)的估计坐标。尤其参考图4，本文提供进一步的解释。
一旦确定了估计的变换，其就可以用于将对象以同步方式放置在移动装置的显示器上。假设放置对象130由移动装置A 110-a放置在其局部坐标系中的给定坐标处，变换可以用于确定移动装置B 110-b的局部坐标中的放置对象130的对应坐标，使得放置对象130通过两个移动装置似乎以高达取决于变换的准确性的特定精确度位于相同的真实世界位置中。
转到图2，示出了示意性地说明根据目前公开的主题的能够确定其坐标系与另一个装置的不同的坐标系之间的近似变换的装置的一个示例的框图。
需注意，尽管在前述说明中引用了移动装置200，但是装置不必是移动装置，并且其在细节上作必要修改后也可以是固定的。根据目前公开的主题的某些示例，移动装置200可以包括网络接口260，所述网络接口260能够发送/接收数据，包括从其他装置(无论是否移动)接收信息，诸如同步对象在其他装置的局部坐标系中的位置、与同步对象相关联的元数据/参数等。
移动装置200还可以包括数据存储库220(例如，数据库、存储***、包括只读存储器-ROM、随机存取存储器-RAM或任何其他类型的存储器的存储器等)或者在其他方面与数据存储库220相关联，所述数据存储库220被配置为存储数据，尤其包括移动装置200的局部坐标与其他装置的相应的局部坐标系之间的一个或多个近似变换、移动装置200的局部坐标系中和/或其他装置的局部坐标系中的先前确定的同步对象位置的信息等。数据存储库220可以进一步被配置为使得能够检索和/或更新和/或删除所存储的数据。需注意，在某些情况下，数据存储库220可以被分布，而移动装置200例如经由网络访问存储在其上的信息，其通过网络接口260连接到所述网络。
移动装置200还包括至少一个图像获取装置210。图像获取装置210可以是能够获取图像和/或视频的任何摄像机，或者是可以生成场景的图像或映射的任何其他传感器，包括LIDAR、雷达、距离扫描仪、声呐、信标等。
移动装置200还包括一个或多个处理资源230。处理资源230可以是一个或多个处理单元(例如，中央处理单元)、微处理器、微控制器或任何其他计算装置或模块，包括多个和/或并行和/或分布式处理单元，其被适配成独立或协作处理数据以用于控制移动装置200的相关资源并用于实现与移动装置200的资源相关的操作。
处理资源230可以包括以下模块中的一个或多个：近似变换确定模块240、近似变换优化模块250以及对象标识和定位模块270。
根据目前公开的主题的一些示例，近似变换确定模块240可以被配置为执行近似变换确定过程，如本文尤其相对于图3所进一步详述。近似变换优化模块240可以被配置为执行近似变换优化过程，如本文尤其相对于图4所进一步详述。
对象标识和定位模块270可以被配置为确定对象在移动装置200的局部坐标系中的坐标，如本文参考图3和图4所进一步详述。
注意图3，示出根据目前公开的主题的用于确定装置的坐标系与另一个装置的不同的坐标系之间的近似变换而执行的一系列操作的一个示例的流程图。
根据目前公开的主题的某些示例，移动装置200可以被配置为例如利用近似变换确定模块240来执行近似变换确定过程300。
为此，移动装置200可以被配置为获取由其图像获取装置210捕获的图像(框310)。移动装置200例如利用对象标识和定位模块270来分析获得的图像以标识图像内的一个或多个同步对象(框320)。同步对象随后用于确定移动装置200的局部坐标系与另一个装置的另一个局部坐标系之间的近似变换，如本文进一步详述。
如本文所指示，同步对象是在由移动装置200的图像获取装置210获取的图像中并且在由除移动装置200之外的另一个装置的另一个图像获取装置获取的另一个图像中看得见的对象，计算其近似变换，从而将移动装置200的局部坐标系的坐标变换为其他装置的局部坐标系。
为了在框320处由移动装置200标识的同步对象与由其他装置标识的同步对象之间进行匹配，移动装置200可以进一步获得与同步对象中的一个或多个有关的一个或多个参数。在由另一个装置传送参数之后，参数可以由移动装置200经由其网络接口260获得，所述另一个装置可以将它们专门发送到移动装置200，或者以使得多个装置(包括移动装置200)能够接收它们的方式多路传送它们。参数可以由移动装置200用于在由移动装置200的图像获取装置210所获取的图像中以及在由另一个装置的另一个图像获取装置所获取的另一个图像中看得见的对象之间进行匹配。
参数可以包括以下非限制性示例性参数中的一个或多个：
a.对应的同步对象的取向，例如其俯仰角和/或侧倾角和/或偏航角；
b.对应的同步对象在移动装置局部坐标系中的位置；
c.对应的同步对象的姿态，例如被标识为同步对象的人是否正在坐着、站着、举手、交叉双腿等；
d.对应的同步对象的比例或大小；
e.对应的同步对象的语义标签，其可以指示其类型，诸如人、屏幕、窗户、图片、椅子、狗、纸或任何类型的对象的其他任何类型的语义标签)；
f.对应的同步对象的形状(例如矩形、圆形、三角形、圆锥形、金字塔形、多边形等)；
g.对应的同步对象的纹理样本(“例如，对象表面的图像，表示反复出现的图案，或者与对象表面不同的图像等”)；
h.对应的同步对象的材料(例如，毛皮、木纹、沙子、帆布或金属的光滑表面、玻璃、皮革等)；以及
i.对应的同步对象的一个或多个参数的统计描述(例如，对象的大小或可见颜色的分布的估计；对象的表面辐照度属性(例如，反射、折射、衍射和散射)的估计)。
需注意，关于由移动装置200标识的任何同步对象提供的参数越多，其将与由另一个装置标识的对应的同步对象正确匹配的可能性越高。
在某些情况下，为了标识同步对象，同步对象中的至少一个可以被语义标记(例如，其可以与在由移动装置200的图像获取装置210获取的图像中看得见的文本标签相关联)。需注意，在某些情况下，同步对象可以是另一个移动装置。
返回到框320，在某些情况下，同步对象中的至少一个是人。可以使用能够确定在由移动装置200获取的图像内面部的存在的面部检测技术并且通过获得所标识的人相对于北的第一角度和移动装置200相对于北的第二角度的信息来标识人。所标识的人相对于北的第一角度的信息可以从与该人相关联的另一个装置(例如，任选地当其他装置指向移动装置200时该人正持有的另一个装置200)获得。移动装置200相对于北的第二角度的信息可以从移动装置200本身，例如从其中包含的磁力计获得。具有关于通过面部检测标识的同步对象的位置的信息以及关于第一角度和第二角度的信息，使得能够在使用面部检测所标识的人在移动装置200的局部坐标系上的位置与该人在与这个人相关联的其他装置的局部坐标系上的位置之间进行匹配。在某些情况下，为了进行匹配，第一角度和第二角度之和要求在160°至200°之间，在更具体的情况下，要求在170°至190°之间，并且在更具体的情况下，要求为180°。
在某些情况下，同步对象中的至少一个是唯一标识的对象。尽管以上公开的同步对象的匹配是不唯一的，并且可能具有一定程度的错误匹配，但是在某些情况下，可以使用各种方法和/或技术来实现可以用作同步对象的对象的唯一标识。此类唯一的标识方法和/或技术的一些示例包括使用快速响应(QR)码或与同步对象相关联(例如，放置在同步对象上，形成同步对象的一部分等)的关于此的任何其他条形码。另外地或可替代地，可以使用预定的标记或动态创建的标记，例如在移动装置200与其他装置之间共享的动态创建的标记(例如，动态创建的标记，即移动装置200和具有其局部坐标系待变换到其上的局部坐标系的其他装置共享实现其标识的知识)。附加地或可替代地，可以使用发光二极管，所述发光二极管以可以由移动装置200标识的可见光谱或不可见光谱发射光。另外地或可替代地，生物标识方法和/或技术可以例如使用面部识别来专门且唯一地标识人。
返回到近似变换确定过程300，移动装置200确定同步对象相对于第一坐标系的第一坐标系原点的空间布置，第一坐标系是移动装置200的坐标系(框330)。需注意，在某些情况下，使用各种已知和/或专有的方法和技术(包括例如Apple Inc.’s ARKit)来估计同步对象相对于第一坐标系的第一坐标系原点的空间布置。在某些情况下，为了确定第一空间布置，移动装置200可以进一步利用移动装置200相对于地面和北的方向的信息(其可以从移动装置200本身，例如从其中包含的磁力计和加速度计获得)。
在某些情况下，同步对象中的至少一个是人，并且其空间布置(相对于第一坐标系的第一坐标系原点)也使用计算出的图像中的人的瞳孔之间的距离和预定参考距离来确定。参考距离可以是以下中的一个：
a.人类瞳孔之间的平均距离；
b.当所述人为女性时，女人瞳孔之间的平均距离；
c.当所述人为男性时，男人瞳孔之间的平均距离；
d.当所述人被标识为在某个年龄组内时，所述某个年龄组的人的瞳孔之间的平均距离；以及
e.所述人的所述瞳孔之间的距离。
需注意，在某些情况下，可以随时间的推移学习给定的人的瞳孔之间的距离，在此期间使用由标识人的其他移动装置获得的信息来近似所述距离。此类信息以后可以用于更准确地标识该人。
返回到近似变换确定过程300，移动装置200进一步获得同步对象相对于第二坐标系的第二坐标系原点的第二空间布置的信息(框340)。在某些情况下，第二坐标系是除移动装置200之外的第二装置的坐标系，所述第二装置也可以任选地是移动的。
在由另一个装置(具有近似变换将移动装置200的局部坐标系变换到的局部坐标系的装置)传送信息之后，第二空间布置的信息可以由移动装置200经由其网络接口260获得，所述另一个装置可以将它们专门发送到移动装置200，或者以使得多个装置(包括移动装置200)能够接收它们的方式多路传送它们。
使用在框330处确定的第一空间布置和在框340处获得的第二空间布置，移动装置200通过采用优化方案来确定第一坐标系和第二坐标系之间的近似变换。然后，近似变换可以通过移动装置200而用于相对于第二坐标系放置虚拟对象(框350)。
在某些情况下，优化方案可以基于以下一项或多项：
a.非线性回归；
b.非线性最小二乘法优化；
c.非线性编程；
d.贝叶斯估计；以及
e.线性二次估计。
在某些情况下，优化方案可以在某些约束条件(诸如执行时间、计算周期数等)下运行，使得处理不会对用户体验产生负面影响。
需注意，参考图3，框中的一些可以被集成到合并的框中，或者可以被分解为几个框和/或可以添加其他框。此外，在某些情况下，可以与本文描述的顺序不同的顺序来执行框(例如，可以在框340之前执行框310-330等)。需进一步注意，框中的一些是任选的。还应当注意，尽管还参考实现它们的***元件来描述流程图，但这绝不是绑定，并且框可以由本文所述以外的元件来执行。
已经描述了图3，可以理解，其是指确定装置的坐标系与另一个装置的不同坐标系之间的初始变换近似变换的过程。然而，在某些情况下，近似变换可能不准确。因此，可能希望随时间的推移对其进行优化。图4是示出根据目前公开的主题的用于随时间的推移优化装置的坐标系与另一个装置的不同的坐标系之间的近似变换而执行的一系列操作的一个示例的流程图。
根据目前公开的主题的某些示例，移动装置200可以被配置为例如利用近似变换优化模块250来执行近似变换优化过程400。
为此，移动装置200可以被配置为随时间的推移获得在近似变换确定过程300的框310处捕获的图像之后的由其图像获取装置210捕获的一系列后续图像(框410)。
移动装置200进一步被配置为针对一系列后续图像中的每个后续图像执行以下框420-450(框415)：
a.通过分析后续图像，标识后续图像内的一个或多个后续同步对象，类似于关于近似变换确定过程300的框320所描述的同步对象的标识(框420)。需注意，在某些情况下，后续同步对象中的至少一个对应于在框320处标识的同步对象中的至少一个。
b.通过分析后续图像，确定同步对象相对于第一坐标系原点的第三空间布置(框430)，类似于关于近似变换确定过程300的框330所描述的同步对象的第一空间布置的确定。
c.获得后续同步对象相对于第二坐标系原点的第四空间布置的指示，类似于关于近似变换确定过程300的框330所描述的同步对象的第二空间布置的获得(框440)。
d.通过采用利用第三空间布置和第四空间布置的优化方案，确定优化的近似变换(框450)。
在某些情况下，可以通过采用优化方案来确定优化的近似变换，所述优化方案除了利用第三空间布置和第四空间布置之外，还利用在框350处确定的近似变换或与之相关的一个或多个参数。例如，近似变换可以包括计算出的一个或多个参数，而此类参数最初获得一些预定的(并且可选地是任意的)初始值，所述初始值使用用于确定近似变换的优化方案来优化。在某些情况下，可以通过以使用用于确定近似变换的优化方案已经优化的那些参数的值为开始来确定优化的近似变换。
在某些情况下，可以通过采用优化方案来确定优化的近似变换，所述优化方案除了利用第三空间布置和第四空间布置(以及任选的在框350处确定的近似变换或与之相关的一个或多个参数)之外，还利用在框330处确定的第一空间布置和第二空间布置。
在某些情况下，可以通过采用还利用在框415的任何先前运行中针对任何先前图像确定的任何先前确定的第三空间布置和/或第四空间布置的优化方案来确定优化的近似变换。在更具体的情况下，通过采用还利用针对一系列后续图像内的所有后续图像确定的第三空间布置以及针对一系列后续图像内的所有后续图像获得的第四空间布置的优化方案来确定优化的近似变换。
在其他情况下，通过采用还利用针对一系列后续图像内的后续图像的子集确定的第三空间布置以及针对一系列后续图像内的后续图像的子集获得的第四空间布置的优化方案来确定优化的近似变换。在此类情况下，子集可以包括在给定时间窗口期间获取的后续图像，所述时间窗口可以任选地是滑动时间窗口。例如，后续图像的子集可以仅包括在几秒/几分钟/几小时的滑动时间窗口或任何其他预定时间窗口期间获取的那些图像。在某些情况下，除了使用滑动时间窗口之外，或者替代使用滑动时间窗口，后续图像的子集可以仅包括在给定地理位置中获取的那些图像(例如，仅在某个房间或任何其他预定义地理位置中获取的图像)。在那些情况下，在后续图像的子集包括在给定地理位置中获取的图像的情况下，给定地理位置可以根据移动装置200的地理位置动态地改变。例如，如果移动装置200从第一房间移动到第二房间，则当移动装置200移动到第二房间时，后续图像的子集可以包括仅在第二房间处获取的图像。
需注意，参考图4，框中的一些可以被集成到合并的框中，或者可以被分解为几个框和/或可以添加其他框。此外，在某些情况下，可以与本文描述的顺序不同的顺序来执行框(例如，可以在框420和430之前执行框440等)。需进一步注意，框中的一些是任选的。还应当注意，尽管还参考实现它们的***元件来描述流程图，但这绝不是绑定，并且框可以由本文所述以外的元件来执行。
图5是示出根据目前公开的主题的用于将具有第一坐标系中的坐标的对象放置在第二坐标系中的对应坐标上而执行的一系列操作的一个示例的流程图。
根据目前公开的主题的某些示例，移动装置200可以被配置为例如利用对象放置模块280执行对象放置过程500。
为此，移动装置200可以被配置为获取放置对象和放置对象在除移动装置200的坐标系之外的第二坐标系中的坐标的信息(框510)。
移动装置200还获得移动装置200的坐标系与第二坐标系之间的近似变换(无论其是根据近似变换确定过程300确定的近似变换还是根据近似变换优化过程400确定的优化的近似变换)(框520)。
移动装置200根据在框520处获得的近似变换将放置对象在第二坐标系中的坐标变换为第一坐标系中的对应坐标(框530)，并且将放置对象放置在第一坐标系中的所变换的坐标中。(框540)。
需注意，参考图5，框中的一些可以被集成到合并的框中，或者可以被分解为几个框和/或可以添加其他框。需进一步注意，框中的一些是任选的。还应当注意，尽管还参考实现它们的***元件来描述流程图，但这绝不是绑定，并且框可以由本文所述以外的元件来执行。
应当理解，目前公开的主题的应用不限于本文所包含的或在附图中示出的描述中阐述的细节。目前公开的主题能够具有其它实施例并且能够以各种方式实践和实施。因此，应当理解，本文采用的措辞和术语用于描述的目的，并且不应视为限制。这样，本领域技术人员将理解，本公开所基于的概念可以容易地用作设计用于实现当前公开的主题的若干目的的其他结构、方法和***的基础。
还应当理解，根据目前公开的主题的***可以至少部分地被实现为适当编程的计算机。同样，目前公开的主题设想计算机可读的计算机程序，用于执行所公开的方法。目前公开的主题还设想机器可读存储器，其有形地体现可由机器执行的指令程序，用于执行所公开的方法。

Claims (61)

1.一种用于确定第一坐标系和第二坐标系之间的近似变换的***，所述***包括处理资源，所述处理资源被配置为：
获得由移动装置的图像获取装置捕获的图像；
通过分析所述图像，标识所述图像内的一个或多个同步对象；
确定所述同步对象相对于所述第一坐标系的第一坐标系原点的第一空间布置，所述第一坐标系是所述移动装置的坐标系；
获得所述同步对象相对于所述第二坐标系的第二坐标系原点的第二空间布置的信息；和
通过采用利用所述第一空间布置和所述第二空间布置的优化方案来确定所述第一坐标系和所述第二坐标系之间的所述近似变换，所述近似变换能够通过所述移动装置以用于相对于所述第二坐标系放置虚拟对象。
2.根据权利要求1所述的***，其中所述处理资源进一步被配置为：
随时间的推移，获得在所述图像之后捕获的一系列后续图像；
对于所述一系列后续图像中的每个后续图像：
通过分析所述后续图像，标识所述后续图像内的一个或多个后续同步对象；
通过分析所述后续图像，确定所述同步对象相对于所述第一坐标系原点的第三空间布置；
获得所述后续同步对象相对于所述第二坐标系原点的第四空间布置的信息；和
通过采用利用所述第三空间布置和所述第四空间布置的优化方案来确定优化的近似变换。
3.根据权利要求2所述的***，其中通过还采用利用所述近似变换的优化方案来确定所述优化的近似变换。
4.根据权利要求2所述的***，其中通过还采用所述利用所述第一空间布置和所述第二空间布置的优化方案来确定所述优化的近似变换。
5.根据权利要求4所述的***，其中所述后续同步对象中的至少一个对应于所述同步对象中的至少一个。
6.根据权利要求2所述的***，其中通过采用利用针对所述一系列后续图像内的所有所述后续图像确定的所述第三空间布置以及针对所述一系列后续图像内的所有所述后续图像获得的所述第四空间布置的优化方案来确定所述优化的近似变换。
7.根据权利要求2所述的***，其中通过采用利用针对所述一系列后续图像内的所述后续图像的子集确定的所述第三空间布置以及针对所述一系列后续图像内的所述后续图像的所述子集获得的所述第四空间布置的优化方案来确定所述优化的近似变换。
8.根据权利要求7所述的***，其中所述子集包括在给定时间窗口期间获取的所述后续图像。
9.根据权利要求8所述的***，其中所述给定时间窗口是滑动时间窗口。
10.根据权利要求7所述的***，其中所述子集包括在给定地理位置中获取的所述后续图像。
11.根据权利要求10所述的***，其中所述给定地理位置根据所述移动装置的地理位置而动态地改变。
12.根据权利要求1所述的***，其中所述优化方案基于以下一项或多项：
a.非线性回归；
b.非线性最小二乘法优化；
c.非线性编程；
d.贝叶斯估计；以及
e.线性二次估计。
13.根据权利要求1所述的***，其中所述同步对象中的至少一个是唯一标识的对象。
14.根据权利要求13所述的***，其中使用快速响应(QR)码来标识所述唯一标识的对象。
15.根据权利要求13所述的***，其中所述唯一标识的对象是预定标记。
16.根据权利要求13所述的***，其中所述唯一标识的对象是动态创建的标记。
17.根据权利要求16所述的***，其中所述动态创建的标记在其他移动装置之间共享。
18.根据权利要求13所述的***，其中所述唯一标识的对象是语义标记的对象。
19.根据权利要求13所述的***，其中所述唯一标识的对象是发光对象。
20.根据权利要求13所述的***，其中所述唯一标识的对象是另一个移动装置。
21.根据权利要求13所述的***，其中所述唯一标识的对象是使用面部识别来标识的生物标识的人。
22.根据权利要求1所述的***，其中所述处理资源进一步被配置为获得与所述同步对象中的一个或多个有关的一个或多个参数，并且其中使用对应的参数来标识所述同步对象。
23.根据权利要求22所述的***，其中所述参数包括以下一项或多项：
a.对应的同步对象的取向；
b.所述对应的同步对象的姿态；
c.所述对应的同步对象的比例或大小；
d.所述对应的同步对象的语义标签；
e.所述对应的同步对象的形状；
f.所述对应的同步对象的纹理样本；以及
g.所述对应的同步对象的一个或多个参数的统计描述。
24.根据权利要求1所述的***，其中所述同步对象中的至少一个给定的同步对象是使用面部检测并且通过获得所述给定的同步对象相对于北的第一角度和所述移动装置相对于北的第二角度的信息来标识的人。
25.根据权利要求24所述的***，其中所述第一角度和所述第二角度之和在160°至200°之间。
26.根据权利要求24所述的***，其中所述第一角度和所述第二角度之和为180°。
27.根据权利要求1所述的***，其中使用所述移动装置相对于地面和北的方向的信息来确定所述第一空间布置。
28.根据权利要求1所述的***，其中所述同步对象中的至少一个是人，并且其中还使用所计算出的所述图像中的所述人的瞳孔之间的距离和预定参考距离来确定所述第一空间布置。
29.根据权利要求28所述的***，其中所述参考距离是以下中的一项：
a.人类瞳孔之间的平均距离；
b.当所述人为女性时，女人瞳孔之间的平均距离；
c.当所述人为男性时，男人瞳孔之间的平均距离；
d.当所述人被标识为在某个年龄组内时，所述某个年龄组的人的瞳孔之间的平均距离；以及
e.所述人的瞳孔之间的距离。
30.根据权利要求1所述的***，其中所述第二坐标系是除所述移动装置之外的第二移动装置的坐标系。
31.一种用于确定第一坐标系和第二坐标系之间的近似变换的方法，所述方法包括：
通过处理资源来获得由移动装置的图像获取装置捕获的图像；
通过所述处理资源并通过分析所述图像来标识所述图像内的一个或多个同步对象；
通过所述处理资源来确定所述同步对象相对于所述第一坐标系的第一坐标系原点的第一空间布置，所述第一坐标系是所述移动装置的坐标系；
通过所述处理资源来获得所述同步对象相对于所述第二坐标系的第二坐标系原点的第二空间布置的信息；和
通过所述处理资源并通过采用利用所述第一空间布置和所述第二空间布置的优化方案来确定所述第一坐标系和所述第二坐标系之间的所述近似变换，所述近似变换能够通过所述移动装置以用于相对于所述第二坐标系放置虚拟对象。
32.根据权利要求31所述的方法，其还包括：
随时间的推移，通过所述处理资源来获得在所述图像之后捕获的一系列后续图像；
对于所述一系列后续图像中的每个后续图像：
通过所述处理资源并通过分析所述后续图像，标识所述后续图像内的一个或多个后续同步对象；
通过所述处理资源并通过分析所述后续图像，确定所述同步对象相对于所述第一坐标系原点的第三空间布置；
通过所述处理资源来获得所述后续同步对象相对于所述第二坐标系原点的第四空间布置的信息；并且
通过所述处理资源，通过采用利用所述第三空间布置和所述第四空间布置的优化方案来确定优化的近似变换。
33.根据权利要求32所述的方法，其中通过还采用利用所述近似变换的优化方案来确定所述优化的近似变换。
34.根据权利要求32所述的方法，其中通过还采用所述利用所述第一空间布置和所述第二空间布置的优化方案来确定所述优化的近似变换。
35.根据权利要求34所述的方法，其中所述后续同步对象中的至少一个对应于所述同步对象中的至少一个。
36.根据权利要求32所述的方法，其中通过采用利用针对所述一系列后续图像内的所有所述后续图像确定的所述第三空间布置以及针对所述一系列后续图像内的所有所述后续图像获得的所述第四空间布置的优化方案来确定所述优化的近似变换。
37.根据权利要求32所述的方法，其中通过采用利用针对所述一系列后续图像内的所述后续图像的子集确定的所述第三空间布置以及针对所述一系列后续图像内的所述后续图像的所述子集获得的所述第四空间布置的优化方案来确定所述优化的近似变换。
38.根据权利要求37所述的方法，其中所述子集包括在给定时间窗口期间获取的所述后续图像。
39.根据权利要求38所述的方法，其中所述给定时间窗口是滑动时间窗口。
40.根据权利要求37所述的方法，其中所述子集包括在给定地理位置中获取的所述后续图像。
41.根据权利要求40所述的方法，其中所述给定地理位置根据所述移动装置的地理位置而动态地改变。
42.根据权利要求41所述的方法，其中所述优化方案基于以下一项或多项：
a.非线性回归；
b.非线性最小二乘法优化；
c.非线性编程；
d.贝叶斯估计；以及
e.线性二次估计。
43.根据权利要求31所述的方法，其中所述同步对象中的至少一个是唯一标识的对象。
44.根据权利要求43所述的方法，其中使用快速响应(QR)码来标识所述唯一标识的对象。
45.根据权利要求43所述的方法，其中所述唯一标识的对象是预定标记。
46.根据权利要求43所述的方法，其中所述唯一标识的对象是动态创建的标记。
47.根据权利要求46所述的方法，其中所述动态创建的标记在其他移动装置之间共享。
48.根据权利要求43所述的方法，其中所述唯一标识的对象是语义标记的对象。
49.根据权利要求43所述的方法，其中所述唯一标识的对象是发光对象。
50.根据权利要求43所述的方法，其中所述唯一标识的对象是另一个移动装置。
51.根据权利要求43所述的方法，其中所述唯一标识的对象是使用面部识别来标识的生物标识的人。
52.根据权利要求31所述的方法，还包括通过所述处理资源来获得与所述同步对象中的一个或多个有关的一个或多个参数，并且其中使用对应的参数来标识所述同步对象。
53.根据权利要求52所述的方法，其中所述参数包括以下一项或多项：
a.对应的同步对象的取向；
b.所述对应的同步对象的姿态；
c.所述对应的同步对象的比例或大小；
d.所述对应的同步对象的语义标签；
e.所述对应的同步对象的形状；
f.所述对应的同步对象的纹理样本；以及
g.所述对应的同步对象的一个或多个参数的统计描述。
54.根据权利要求31所述的方法，其中所述同步对象中的至少一个给定的同步对象是使用面部检测并且通过获得所述给定的同步对象相对于北的第一角度和所述移动装置相对于北的第二角度的信息来标识的人。
55.根据权利要求54所述的方法，其中所述第一角度和所述第二角度之和在160°至200°之间。
56.根据权利要求54所述的方法，其中所述第一角度和所述第二角度之和为180°。
57.根据权利要求31所述的方法，其中使用所述移动装置相对于地面和北的方向的信息来确定所述第一空间布置。
58.根据权利要求31所述的方法，其中所述同步对象中的至少一个是人，并且其中还使用所计算出的所述图像中的所述人的瞳孔之间的距离和预定参考距离来确定所述第一空间布置。
59.根据权利要求58所述的方法，其中所述参考距离是以下中的一项：
a.人类瞳孔之间的平均距离；
b.当所述人为女性时，女人瞳孔之间的平均距离；
c.当所述人为男性时，男人瞳孔之间的平均距离；
d.当所述人被标识为在某个年龄组内时，所述某个年龄组的人的瞳孔之间的平均距离；以及
e.所述人的瞳孔之间的距离。
60.根据权利要求31所述的方法，其中所述第二坐标系是除所述移动装置之外的第二移动装置的坐标系。
61.一种具有在其中体现的计算机可读程序代码的非暂时性计算机可读存储介质，所述计算机可读程序代码能够由计算机的至少一个处理器执行以执行用于确定第一坐标系和第二坐标系之间的近似变换的方法，所述方法包括：
通过所述处理器来获得由移动装置的图像获取装置捕获的图像；
通过所述处理器并通过分析所述图像来标识所述图像内的一个或多个同步对象；
通过所述处理器来确定所述同步对象相对于所述第一坐标系的第一坐标系原点的第一空间布置，所述第一坐标系是所述移动装置的坐标系；
通过所述处理器来获得所述同步对象相对于所述第二坐标系的第二坐标系原点的第二空间布置的信息；并且
通过所述处理器并通过采用利用所述第一空间布置和所述第二空间布置的优化方案来确定所述第一坐标系和所述第二坐标系之间的所述近似变换，所述近似变换能够通过所述移动装置以用于相对于所述第二坐标系放置虚拟对象。
CN201980031557.2A 2018-05-11 2019-05-07 用于确定坐标系之间的近似变换的***和方法 Pending CN112106103A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862670003P 2018-05-11 2018-05-11
US62/670,003 2018-05-11
PCT/IL2019/050520 WO2019215738A1 (en) 2018-05-11 2019-05-07 A system and method for determining an approximate transformation between coordinate systems

Publications (1)

Publication Number Publication Date
CN112106103A true CN112106103A (zh) 2020-12-18

Family

ID=68466722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031557.2A Pending CN112106103A (zh) 2018-05-11 2019-05-07 用于确定坐标系之间的近似变换的***和方法

Country Status (3)

Country Link
US (1) US11127193B2 (zh)
CN (1) CN112106103A (zh)
WO (1) WO2019215738A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036222B (zh) * 2019-06-04 2023-12-29 星宸科技股份有限公司 脸部辨识***及方法
CN114730482A (zh) * 2019-11-27 2022-07-08 Oppo广东移动通信有限公司 关联多人增强现实***中的设备坐标系
WO2021110051A1 (en) * 2019-12-05 2021-06-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for associating device coordinate systems in a multi‐person ar system
US20220096197A1 (en) * 2020-09-30 2022-03-31 Verb Surgical Inc. Augmented reality headset for a surgical robot

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016078728A1 (en) * 2014-11-21 2016-05-26 Metaio Gmbh Method and system for determining spatial coordinates of a 3d reconstruction of at least part of a real object at absolute spatial scale
US20160259993A1 (en) * 2013-10-08 2016-09-08 Metaio Gmbh Method of determining a similarity transformation between first and second coordinates of 3d features
CN106127552A (zh) * 2016-06-23 2016-11-16 北京理工大学 一种虚拟场景显示方法、装置及***
CN106777302A (zh) * 2016-12-30 2017-05-31 深圳市华傲数据技术有限公司 空间地理坐标的转换方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613361B2 (en) * 2004-05-14 2009-11-03 Canon Kabushiki Kaisha Information processing method and device
US8839121B2 (en) 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
CA3049901A1 (en) 2011-02-17 2012-08-23 Tyto Care Ltd. System and method for performing an automatic and self-guided medical examination
US8840466B2 (en) * 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
US20130194304A1 (en) 2012-02-01 2013-08-01 Stephen Latta Coordinate-system sharing for augmented reality
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP5613741B2 (ja) * 2012-09-27 2014-10-29 株式会社東芝 画像処理装置、方法、及びプログラム
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
EP2960867A4 (en) * 2013-02-21 2016-08-03 Fujitsu Ltd DISPLAY DEVICE, DISPLAY PROCEDURE, DISPLAY PROGRAM AND POSITION SETTING SYSTEM
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2016077506A1 (en) 2014-11-11 2016-05-19 Bent Image Lab, Llc Accurate positioning of augmented reality content
US20170046878A1 (en) 2015-08-13 2017-02-16 Revistor LLC Augmented reality mobile application
JP6604171B2 (ja) * 2015-11-27 2019-11-13 ブラザー工業株式会社 刺繍模様編集プログラム及び刺繍模様編集装置
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US9754397B1 (en) 2017-04-07 2017-09-05 Mirage Worlds, Inc. Systems and methods for contextual augmented reality sharing and performance
JP6763846B2 (ja) * 2017-11-24 2020-09-30 ファナック株式会社 ロボットの教示操作を行う教示装置および教示方法
US10410089B2 (en) * 2018-01-19 2019-09-10 Seiko Epson Corporation Training assistance using synthetic images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259993A1 (en) * 2013-10-08 2016-09-08 Metaio Gmbh Method of determining a similarity transformation between first and second coordinates of 3d features
WO2016078728A1 (en) * 2014-11-21 2016-05-26 Metaio Gmbh Method and system for determining spatial coordinates of a 3d reconstruction of at least part of a real object at absolute spatial scale
CN107004275A (zh) * 2014-11-21 2017-08-01 Metaio有限公司 用于确定实物的至少一部分的处于绝对空间比例的3d重构件的空间坐标的方法和***
CN106127552A (zh) * 2016-06-23 2016-11-16 北京理工大学 一种虚拟场景显示方法、装置及***
CN106777302A (zh) * 2016-12-30 2017-05-31 深圳市华傲数据技术有限公司 空间地理坐标的转换方法及装置

Also Published As

Publication number Publication date
US11127193B2 (en) 2021-09-21
US20210241517A1 (en) 2021-08-05
WO2019215738A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
CN110310175B (zh) 用于移动增强现实的***和方法
US11127193B2 (en) System and method for determining an approximate transformation between coordinate systems
CN108875524B (zh) 视线估计方法、装置、***和存储介质
CN110533723B (zh) 增强现实显示的方法、姿态信息的确定方法及装置
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
Pintaric et al. Affordable infrared-optical pose-tracking for virtual and augmented reality
US10249089B2 (en) System and method for representing remote participants to a meeting
CN105279750B (zh) 一种基于ir-uwb和图像矩的装备展示导览***
CN110363061B (zh) 计算机可读介质、训练对象检测算法的方法及显示装置
CN109791608A (zh) 映射摘要和本地化
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
CN112154486B (zh) 用于多用户增强现实购物的***和方法
CN109298778B (zh) 追踪***及其方法
JP5833507B2 (ja) 画像処理装置
Kurz et al. Handheld augmented reality involving gravity measurements
US11263818B2 (en) Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
CN111459269A (zh) 一种增强现实显示方法、***及计算机可读存储介质
JP2021103168A (ja) 拡張現実装置及び位置決め方法
US11914614B2 (en) System and method for generating a collection of approximately coordinated region maps
CN113228117B (zh) 创作装置、创作方法和记录有创作程序的记录介质
CN114723923B (zh) 一种传动解决方案模拟展示***和方法
Diaz et al. Multimodal sensing interface for haptic interaction
Kehl et al. Direct image-to-geometry registration using mobile sensor data
CN112789621A (zh) 检测垂直平面表面的方法和设备
EP4261783A1 (en) Using cloud computing to improve accuracy of pose tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination