CN107918499B - 光学定位***及方法、定位用光学观测设备 - Google Patents

光学定位***及方法、定位用光学观测设备 Download PDF

Info

Publication number
CN107918499B
CN107918499B CN201610882082.6A CN201610882082A CN107918499B CN 107918499 B CN107918499 B CN 107918499B CN 201610882082 A CN201610882082 A CN 201610882082A CN 107918499 B CN107918499 B CN 107918499B
Authority
CN
China
Prior art keywords
optical
positioning
color
holding device
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610882082.6A
Other languages
English (en)
Other versions
CN107918499A (zh
Inventor
周恺弟
王学运
潘成伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Motu Technology Co ltd
Original Assignee
Beijing Motu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Motu Technology Co ltd filed Critical Beijing Motu Technology Co ltd
Priority to CN201610882082.6A priority Critical patent/CN107918499B/zh
Publication of CN107918499A publication Critical patent/CN107918499A/zh
Application granted granted Critical
Publication of CN107918499B publication Critical patent/CN107918499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种光学定位***,包括:多个光学定位标记,彼此分开布置在空间环境中;以及观测基站。所述观测基站包括:光学装置,所述光学装置包括图像采集部,图像采集部获取光学定位标记的图像;保持装置,适于设置在待追踪物或人上;云台,所述光学装置设置在所述云台上,云台连接在保持装置与光学装置之间;感测部,用于感测保持装置的横滚角和/或俯仰角和/或航向角变化;和驱动部,所述驱动部基于感测部的信号以驱动云台,将所述光学装置与所述保持装置的横滚角和/或俯仰角和/或航向角变化相隔离。本发明还涉及定位用光学观测设备和光学定位方法。

Description

光学定位***及方法、定位用光学观测设备
技术领域
本发明涉及定位追踪领域,尤其涉及光学定位***和方法以及一种定位用光学观测设备。
背景技术
追踪***广泛用于增强现实(Augmented Reality,AR)/虚拟现实(VirtualReality,VR)人机交互、机器人导航,是最核心、最底层的技术之一。在AR/VR等人机交互领域里,定位和定姿是非常关键的一部分,它是人与机器交互的基础。
运动追踪***可以分为OIT(Outside-In Tracking)和IOT(Inside-outTracking)两类技术。区别是OIT的观测基站(如摄像头)固定在环境中,而IOT的观测基站(如摄像头)放置在待追踪物体上。
OIT追踪的代表产品有Optitrack、Vicon、A.R.T.
IOT又可细分为基于标记的和不基于标记的技术。
不基于标记的IOT又称为同时定位及构图(SLAM,simultaneous localizationand mapping)技术,目前还没有商用正式发售的产品,代表产品有MicrosoftHololens、Google Tango。
基于标记的IOT需要在环境中布满标记,代表产品有华盛顿大学的ARToolKit标识***,还有法国泰雷兹集团(THALES)旗下intersense IS1200。
在实现本发明的过程中,申请人发现上述现有技术存在如下技术缺陷:
OIT成本昂贵,部署困难,是3自由度追踪,只能追踪位置,而方向需要通过捕捉一个刚体上的多个位置,来计算整个刚体的方向,因此标记体积大,姿态精度差,多人多点的情况下容易跟踪错误,不是接收端本地计算,需要计算完位置之后再通过无线传送给接收端,无线传输容易引入延时。
不基于标记的IOT,虽然不需要在环境中进行任何部署,可随时随地使用,缺点是十分不稳定,功耗高,需要很强的计算资源。
基于标记的IOT一般存在易被遮挡的问题,即当运动物体或人姿态处于特定状态摄像头无法捕捉光学标记时,运动追踪***失效,无法对物体或人进行定位或定姿,***可靠性、可用性明显降低。
发明内容
为解决或缓解上述技术问题的至少一个方面,提出本发明。
总体而言,例如,在采用标记的IOT定位方案中,利用云台调整光学观测设备中光学装置(如红外相机、深度摄像头等)的指向,使得定位设备一直指向标记,从而提高基于标记的IOT***可靠性和可用性。
本发明的实施例涉及一种光学定位***,包括:多个光学定位标记,彼此分开布置在空间环境中;以及光学观测设备,适于设置在待追踪物或人上。光学观测设备包括:光学装置,所述光学装置包括图像采集部,图像采集部获取光学定位标记的图像;和复位机构,所述复位机构使得光学装置隔离所述待追踪物或人的横滚角和/或俯仰角和/或航向角变化。
可选的,所述复位机构包括:保持装置,适于设置在待追踪物或人上;云台,所述光学装置设置在所述云台上,云台连接在保持装置与光学装置之间;感测部,用于感测保持装置的横滚角和/或俯仰角和/或航向角变化;和驱动部,所述驱动部基于感测部的信号以驱动云台,将所述光学装置与所述保持装置的横滚角和/或俯仰角和/或航向角变化相隔离。
可选的,所述复位机构包括如下保持光学装置指向大体维持不变的机构之一:磁悬浮机构、气悬浮机构、液悬浮机构、重力摆机构、配重块与转动部件相结合的机构。
可选的,多个所述光学定位标记的位置至少高于光学装置的位置。进一步的,所述空间环境由具有天花板的建筑物限定;多个所述光学定位标记位于所述天花板上。
可选的,每一个光学定位标记上设置有定位部;所述光学装置还包括发光部,定位部反射来自发光部的光,图像采集部用于获取定位部的图像。
可选的,光学定位***还包括信息处理部,所述信息处理部接收来自图像采集部的信号,其中:每个所述光学定位标记包括多个色块构成的颜色编码区域,所述多个色块为可见光色块且依序排布以形成颜色编码,光学定位标记的颜色编码与光学定位标记的定位部在所述空间环境中的三维位置一一对应;所述信息处理部设置成识别来自图像采集部的颜色编码信息以确定光图像采集部接收的反射光反射自哪一个光学定位标记的定位部,或者确定图像为暗的定位部来自哪一个光学定位标记。所述发光部可发射不可见光,例如,红外线光。所述定位部可为光逆反射部。定位部也可以为光吸收部。
可选的,所述光学定位***用于VR或AR设备。
本发明的实施例还涉及一种定位用光学观测设备,光学观测设备适于设置在待追踪物或人上,所述光学观测设备包括:光学装置,包括图像采集部,所述图像采集部用于获取光学定位标记的图像;和复位机构,所述复位机构将光学装置与所述待追踪物或人的横滚角和/或俯仰角和/或航向角变化相隔离。
可选的,复位机构包括:保持装置,适于设置在待追踪物或人上;云台,所述光学装置设置在所述云台上,云台连接在保持装置与光学装置之间;感测部,用于感测保持装置的横滚角和/或俯仰角和/或航向角变化;和驱动部,所述驱动部基于感测部的信号以驱动云台,以将光学装置与所述保持装置的横滚角和/或俯仰角和/或航向角变化相隔离。
可选的,所述光学观测设备用于VR或AR设备。
根据本发明的实施例也涉及一种用于光学观测设备的光学定位方法,所述光学观测设备包括光学装置和复位机构,所述方法包括步骤:感测保持装置的横滚角和/或俯仰角和/或航向角变化;和利用复位机构将所述光学装置与所述待追踪物或人的横滚角和/或俯仰角和/或航向角变化相隔离。
可选的,所述复位机构包括保持装置和设置在保持装置和光学装置之间的云台,保持装置适于设置在待追踪物或人上,所述方法包括步骤:控制云台的位置将所述光学装置与所述保持装置的横滚角和/或俯仰角和/或航向角变化相隔离。
可选的,上述方法还包括步骤:在空间环境中布置多个光学定位标记,标定每一个光学定位标记在环境空间中的三维位置;利用设置在待追踪物或人上的光学观测设备的光学装置获取光学定位标记的图像;以及分析光学装置获取的图像来自哪一个光学定位标记。
可选的,上述方法中,每个所述光学定位标记包括多个色块构成的颜色编码区域,所述多个色块为可见光色块且依序排布以形成颜色编码,光学定位标记的颜色编码与光学定位标记在所述空间环境中的三维位置一一对应。
进一步的,所述方法还包括光学装置的水平姿态标定步骤,所述步骤包括:确定待追踪物或人上的保持装置处于水平姿态角;驱动云台的位置使云台处于水平姿态角。
上述方法中,可选的,所述光学观测设备用于VR或AR设备;利用感测部以不小于100Hz的频率测量保持装置的姿态变化;且云台的位置基于保持装置的姿态变化实时调整。
附图说明
以下描述与附图可以更好地帮助理解本发明所公布的各种实施例中的这些和其他特点、优点,图中相同的附图标记始终表示相同的部件,其中:
图1为根据本发明的一个示例性实施例的定位用光学观测设备的示意图;
图2为根据本发明的一个示例性实施例的光学定位***的示意图;
图3为根据本发明的一个示例性实施例的光学定位标记的示意图;
图4为根据本发明的一个示例性实施例的光学定位标记的示意图;
图5为根据本发明的一个示例性实施例的光学定位标记的示意图;
图6为根据本发明的一个示例性实施例的光学定位标记的示意图;
图7为根据本发明的一个示例性实施例的光学定位标记的示意图;
图8为根据本发明的一个示例性实施例的光学定位标记的示意图;
图9为根据本发明的一个示例性实施例的光学定位标记的示意图;
图10为根据本发明的一个示例性实施例的光学定位标记的示意图。
具体实施方式
下面通过实施例,并结合附图,对本发明的技术方案作进一步具体的说明。在说明书中,相同或相似的附图标号指示相同或相似的部件。下述参照附图对本发明实施方式的说明旨在对本发明的总体发明构思进行解释,而不应当理解为对本发明的一种限制。
图1为根据本发明的一个示例性实施例的定位用光学观测设备的示意图;图2为根据本发明的一个示例性实施例的光学定位***的示意图。
如图1和2示例性所示,光学定位***包括:
多个光学定位标记100,彼此分开布置在空间环境中;以及
光学观测设备200,包括:
光学装置210,所述光学装置210包括图像采集部212,图像采集部获取光学定位标记100的图像或者接收来自光学定位标记100的光;
保持装置220,适于设置在待追踪物或人上;
云台230,所述光学装置210设置在所述云台230上,云台连接在保持装置220与光学装置210之间;
感测部240,用于感测保持装置220的横滚角和/或俯仰角和/或航向角变化;和
驱动部250,所述驱动部基于感测部240的信号以驱动云台230,使得所述光学装置210隔离所述保持装置220的横滚角和/或俯仰角和/或航向角变化以使得图像采集部212始终面向多个所述光学定位标记100中的至少四个。
光学装置210相对于光学定位标记的位置,可以由环境状况决定。光学装置210的指向典型的情况是指天或指地,其它情况如指水平、指斜上45度或斜下45度也包括在本发明之中。
具体的,倘若在环境空间中,并不存在顶部或者地面平整、地面上的行进路径中也没有遮挡物或障碍物,则光学定位标记可以直接设置在地面上,相应的,光学装置210需要面向地面捕捉光学定位标记。
此外,在将光学装置为使用者头戴的情况下,在一个可选的实施例中,可以将光学定位标记100的位置设置为至少高于光学装置210的位置,例如,直接设置在房间的天花板R上(如图2所示)或者墙体的上半部。
以上的光学定位***其实主要包括三个部分,一为光学定位标记,二为云台,三为光学装置。
云台的位置改变可以通过电动控制实现。例如,由直流电机或步进电机等控制的转动部件,从而在由于人的移动从而保持装置发生转动的情况下隔离待追踪物体或人的角运动,保证光学装置始终指向标记点方向。云台受控产生转动。云台的转轴与光学装置固定,云台可以接收外部输入,由驱动部驱动转轴发生相应转动,从而调整光学装置例如相机指向。
云台的实现方式可以是多样。例如,云台可以是陀螺稳定平台,由陀螺控制电机转动,使得光学装置始终指向或面向某一方向;也可以由光电码盘等测角器件控制电机转动,也可以由其它能够给出***姿态的设备控制电机转动。
云台可以是单轴、双轴、三轴或者更多自由度的,单轴云台只能隔离待追踪物体或人的一维姿态运动,双轴云台可以隔离待追踪物体或人的二维姿态运动,三轴云台可以隔离待追踪物体或人的三维姿态运动(俯仰90度时除外),四轴云台可以隔离待追踪物体或人在各种情况下的三维姿态运动。
本发明中的隔离表示光学装置的初始位置保持不变或大致保持不变,而不论待追踪物或人或者保持装置的横滚角和/或俯仰角和/或航向角如何变化。
以上利用云台实现上述隔离。云台及其相关结构可以作为光学装置的复位机构。不过,也可以不使用云台,而是采用如下方式或结构来保持光学装置始终指向某一方向:采用磁悬浮、气悬浮或液悬浮的方法或结构使得光学装置始终指向某一方向;采用重力摆、增加配重块配合转动部件等机械方法(非电动)实现光学装置始终指向某一方向。
基于以上,本发明提出了一种光学定位***,包括:多个光学定位标记,彼此分开布置在空间环境中;以及光学观测设备,适于设置在待追踪物或人上,包括:光学装置,所述光学装置包括图像采集部,图像采集部获取光学定位标记的图像;和复位机构,所述复位机构使得光学装置隔离所述待追踪物或人的横滚角和/或俯仰角和/或航向角变化。例如,该变化使得图像采集部始终面向多个所述光学定位标记中的至少四个。
此外,一般定义载体的右、前、上三个方向构成右手系,在本发明中,绕向前的轴旋转就是横滚角,绕向右的轴旋转就是俯仰角,绕向上的轴旋转就是航向角。
在可选的实施例中,参见附图1、3-10,每一个光学定位标记100上设置有定位部10;所述光学装置210还包括发光部214,定位部10反射来自发光部214的光,图像采集部接收从定位部10反射的光。
需要指出的是,定位部10也可以是光吸收部,如此,在形成的光学定位标记的图像中,定位部10的图像处于暗或黑的状态,而其他部分则为与暗或黑明显不同的灰或亮的状态。
可选的,光学定位***还包括信息处理部300,所述信息处理部300接收来自图像采集部212的信号,其中:每个所述光学定位标记包括多个色块构成的颜色编码区域,所述多个色块为可见光色块且依序排布以形成颜色编码,光学定位标记的颜色编码与光学定位标记在所述空间环境中的三维位置一一对应;所述信息处理部设置成识别来自图像采集部的颜色编码信息以确定光图像采集部接收的反射光反射自哪一个光学定位标记的定位部(定位部为光反射部),或者确定图像为暗的定位部来自哪一个光学定位标记(定位部为光吸收部)。信息处理部300中可以事先建立光学定位标记的位置与光学定位标记的颜色编码之间的对应关系的数据库。
定位部10可以为光逆反射部。
上述光学定位***可用于VR或AR设备。
如图1所示,定位用光学观测设备包括:
光学装置210,包括图像采集部212,所述图像采集部用于获取光学定位标记100的图像;
保持装置220,适于设置在待追踪物或人上;
云台230,所述光学装置设置在所述云台上,云台连接在保持装置与光学装置之间;
感测部240,用于感测保持装置的横滚角和/或俯仰角和/或航向角变化;和
驱动部250,所述驱动部基于感测部的信号以驱动云台,使得云台隔离所述保持装置的横滚角和/或俯仰角和/或航向角变化。
需要指出的是,在图1中仅仅示出了云台230可以在俯仰角方向上转动的情形。本领域技术人员可以想到其他类型的云台(例如可以改变俯仰方向和横滚角的云台)也可以使用在本发明中。
所述光学观测设备可用于VR或AR设备。
上述的保持装置、感测部、驱动部和云台构成了一种复位机构。
所述复位机构也可以包括如下保持光学装置指向大体维持不变的机构之一:磁悬浮机构、气悬浮机构、液悬浮机构、重力摆机构、配重块与转动部件相结合的机构。
本发明也提出了一种用于光学观测设备的光学定位方法,所述光学观测设备包括光学装置210、保持装置220和设置在两者之间的云台230,所述方法包括步骤:
感测保持装置220的横滚角和/或俯仰角和/或航向角变化;和
控制云台230的位置将所述光学装置与所述保持装置的横滚角和/或俯仰角和/或航向角变化相隔离。
上述方法还可包括步骤:
在空间环境中布置多个光学定位标记,标定每一个光学定位标记在环境空间中的三维位置;
利用设置在待追踪物或人上的光学观测设备的光学装置获取光学定位标记的图像;以及
分析光学装置获取的图像来自哪一个光学定位标记
如上所述,复位机构可以是云台及其关联结构之外的机构,相应的,本发明也提出了一种用于光学观测设备的光学定位方法,所述光学观测设备包括光学装置和复位机构,所述方法包括步骤:感测保持装置的横滚角和/或俯仰角和/或航向角变化;和利用复位机构将所述光学装置与所述待追踪物或人的横滚角和/或俯仰角和/或航向角变化相隔离。
可选的,如后面详细描述的,每个所述光学定位标记100包括多个色块构成的颜色编码区域20,所述多个色块为可见光色块且依序排布以形成颜色编码,光学定位标记的颜色编码与光学定位标记的定位部10在所述空间环境中的三维位置一一对应。
上述方法还可包括光学装置的水平姿态标定步骤,包括:确定待追踪物或人上的保持装置处于水平姿态角;和驱动云台的位置使云台处于水平姿态角。
上述方法中,所述光学观测设备用于VR或AR设备;以不小于100Hz的频率测量保持装置的姿态变化;且云台的位置基于保持装置的姿态变化实时调整。
下面具体描述光学定位方法的一个示例(以标记点布置在天花板上为例)。
初次部署包括如下步骤:
获取空间环境中每个标记的三维位置,将坐标数据保存成全局地图。
使用阶段的步骤:
1、利用测角器件(如陀螺仪或光电编码器)确定待追踪物体或人的水平姿态角(相对于地理水平,即垂直于重力方向的水平面),更具体的,为保持装置220的水平姿态角;
2、基于测角器件测得的水平姿态角,驱动电机调整云台230的位置,使得光学装置210旋转与之相反的角度。例如,初始时刻光学装置与VR眼镜水平姿态相同,测角器件测得横滚角为0度,俯仰角为50度,则调整电机使得保持装置220在俯仰方向旋转-50度,使得光学装置210水平姿态角均为0度,即镜头指向布置标记的屋顶,则光学装置仍能捕获标记点;
3、光学装置捕获至少四个标记,进行定位;
4、在定位过程中,待追踪的物体或人发生运动时,测角器件能够实时(不小于100Hz)测量保持装置220的姿态变化,并将其反馈给云台的控制部,使得光学装置始终指向屋顶,始终能够捕获标记并进行定位。
下面参照附图3-10详细描述光学定位标记。
本发明中的光学定位标记100包括:多个色块构成的颜色编码区域20,所述多个色块为可见光色块且依序排布以形成颜色编码;和定位部10,用于反射不可见光,所述定位部设置在颜色编码区域围成的区域内或者在颜色编码区域附近。
颜色编码区域可以与定位部是一体的,也可以独立于定位部设置。例如,在定位部已经设置在墙体上的情况下,可以围绕该定位部再设置颜色编码区域。再如,定位部和颜色编码区域一体设置,从而可以一并粘贴到墙体上。
下面参照图3详细描述根据本发明的光学定位标记100的一个实施例。
如图3所示,中间包含十字的小圆为反光点或定位部10的位置,该小圆为颜色编码区域的内边界,最外层的黑色圆环为颜色编码区域的外边界,中间的含有不同颜色扇环的圆环则为颜色编码区域20。不同的颜色表示不同的码。需要指出的是,该十字也可以并不存在;另外,定位部也可以设置为覆盖小圆的圆心即可;最外层的圆环可以是黑色,也可以是其他颜色,当然最好是与颜色编码区域中的颜色不同的颜色,有利的,最外层的圆环的颜色与背景环境的颜色不同。
最外圈的颜色信息可以快速、准确的确认光学定位标记的外形和轮廓,便于快速、准确的确认光学定位标记的圆心位置。
在解码时,首先可以找到基准色块,例如图3中的白色区域块,然后按照顺时针(当然也可以按照逆时针)的方向依次读取其它颜色块的颜色。以图3为例,中间的圆环被划分成了6份,每个码所占的区域为1/6个圆环(60度扇环)。图中有红(R)、蓝(B)、绿(G)、白(W)4种颜色,分别表示0,1,2,3四种码。从白色区域开始,顺时针进行编码,则上图中的颜色编码为320100。关于颜色编码的设计,如果确定了中间的颜色块的数目n,颜色的组合数目c,则总共可以产生cn-1个编码,因为每个颜色块可以取c种颜色,而基准颜色块的颜色则为固定的一种特殊的颜色,主要是用来确定解码的顺序,在图3的实施例中,基准块的颜色不能与其它颜色块的颜色相同,否则会产生一个颜色编码产生多种解码方式,破坏了颜色编码解码时的唯一性。需要说明的是,之所以需要明确基准色块的颜色不同于其他色块,是因为色块构成了一个环形时基准色块并不适于用位置来确定,换言之,在色块构成环形的颜色编码区域的情况下,基准色块通过颜色来选定。
在图3的实施例中,中间的颜色块的设计是可扩展的,可以体现在以下方面:
1.颜色的选取,可以选取多种分辨度比较高的颜色组合进行编码。可以在多种颜色空间里进行选择,例如RGB,HSV颜色空间选取。例如选取纯红(R=255,G=0,B=0),纯蓝(R=0,G=0,B=255),纯绿(R=0,G=255,B=0)三种颜色组合,基准颜色例如选取纯白(R=255,G=255,B=255)。
2.中间颜色块的划分数目,数目越多,最终产生的编码数目也越多,主要取决于实际三维场景需要部署的编码点数目。例如,颜色块为4,颜色组合数为3,则产生27个编码,当颜色块数目增加到6,颜色组合数为3,则产生243个编码。
还需要说明的是,图3中的扇形色块也可以是不等分圆环的形式,此时,每一个色块或每一个编码点并非以角度确定,而是直接以色块的颜色确定。例如,在此情况下,图3中右上角的两个红色块就看做是一个色块。
在图3的实施例中,定位部可以由红外反射材料形成。如此,光学定位标记的中间部位可以反射红外光,并由红外相机识别,从而进行快速、准确的定位和定姿计算。
图4为根据本发明的一个示例性实施例的光学定位标记的示意图。在图4中,所述多个色块为在径向方向上按顺序同圆心布置的环形色块,如图4所示,在径向向外的方向上,为R色环、G色环、B色环、G色环。所述多个色块包括单个基准色块,所述基准色块为位于径向内侧或径向外侧的两个色块中的一个色块(例如为R色环),颜色编码自所述基准色块按预定顺序开始,如果红(R)、蓝(B)、绿(G)分别表示0,1,2三种码,则图4中的颜色编码为0212。如图4所示,定位部10位于圆心部分。
图5为根据本发明的一个示例性实施例的光学定位标记的示意图。在图5中,整个光学标记为正方形,定位部10布置为位于所述正方形中间的小正方形,这两个正方形四边分别平行,两个正方形之间形成所述颜色编码区域20,所述颜色编码区域包括四个相同形状、彼此相接的部分。其中,颜色编码区域包括单个基准色块,颜色编码自所述单个基准色块按预定顺序开始,所述单个基准色块的颜色不同于其他色块的颜色。
图6为根据本发明的一个示例性实施例的光学定位标记的示意图。在图6中,整个光学标记为正方形,定位部10布置为位于所述正方形中间的圆形,正方形和圆形之间形成所述颜色编码区域20,所述颜色编码区域包括四个相同形状、彼此相接的部分。其中,颜色编码区域包括单个基准色块,颜色编码自所述单个基准色块按预定顺序开始,所述单个基准色块的颜色不同于其他色块的颜色。
图7为根据本发明的一个示例性实施例的光学定位标记的示意图。在图7中,整个光学标记为等边三角形,定位部10为设置在等边三角形形心的圆,该定位部与三角形的边之间形成所述颜色编码区域20,所述颜色编码区域包括三个相同形状的部分。其中,颜色编码区域包括单个基准色块,颜色编码自所述单个基准色块按预定顺序开始,所述单个基准色块的颜色不同于其他色块的颜色。
图8为根据本发明的一个示例性实施例的光学定位标记的示意图。在图8中,整个光学标记为等边三角形,定位部10为设置在等边三角形形心的等边三角形,两个三角形之间形成所述颜色编码区域20,所述颜色编码区域包括六个相同形状的部分。其中,颜色编码区域包括单个基准色块,颜色编码自所述单个基准色块按预定顺序开始,所述单个基准色块的颜色不同于其他色块的颜色。
在图5-8中,并未标示颜色编码区域20中各个区的具体颜色,本领域技术人员可以根据需求设置。
虽然没有示出,光学定位标记中的颜色编码也可以是图3和图4中两种实施例的结合。即,多个扇环色块整体构成第一圆环,而多个环形色块构成第二圆环,第一圆环和第二圆环在径向方向上相接,所述定位部位于圆心部分。可以第一圆环在内,也可以第二圆环在内。
虽然没有示出,光学定位标记中的颜色编码也可以是图4中两种圆环的结合。即,多个第一扇环色块整体构成第一圆环,而多个第二扇环色块构成第二圆环,第一圆环和第二圆环在径向方向上相接,所述定位部位于圆心部分。
在颜色编码区域为环状的实施例中,颜色编码区域的外边界,例如正方形和三角形的边可以为专门的颜色,从而有助于光采集装置捕捉、确认光学定位标记的外形,以及可选的,定位部所在的光学定位标记的中心位置。
以上公开了颜色编码区域为环状,所述定位部位于环状的中心位置的实施例。不过,这些实施例并非是限制性的,本领域技术人员根据这些实施例可以做出各种改变,这些改变都在本发明的保护范围之内。
基准色块不一定是与环状的颜色编码区域中的其他色块不一致,也有可能用其他方式来标记,比如说基准色块与按顺序的第一个色款颜色一样,并且整个颜色编码区域不能出现连续两块相同颜色的,这样就能确定颜色编码区域的开始位置。
图9为根据本发明的一个示例性实施例的光学定位标记的示意图。在图9中,多个色块并未构成一个圆环状的颜色编码区域20,而是构成了一个大的扇形。可以假定每一个颜色编码区域的包含4个码(即四种颜色),类似于图3中的编码方式,图9中的颜色编码为3201。
对于颜色编码区域为扇形或者扇环的情形,基准色块可以是位于颜色编码区域的周向边缘的两个色块中的一个色块,在此,基准色块主要是由位置决定的,并不要求基准色块的颜色与其他色块不同。例如,在图9中,位于颜色编码区域的周向边缘的两个色块即白色色块和蓝色色块,这两个色块都可以作为基准色块。虽然是以位置来选定基准色块,不过,这里的基准色块的颜色也可以不同于其他色块,以便于准确和快速的识别基准色块。
需要指出的是,虽然在实施例中,定位部位于圆心部分,但是定位部也可以位于其他部分,例如位于图4中的圆环的扇形缺口处。在定位部并不是位于圆心部分的情况下,图3和图4中的扇环色块就可以设置为扇形色块。
图10为根据本发明的一个示例性实施例的光学定位标记的示意图。在图10中,整个光学定位标记大致为长条形,在颜色编码区域20,每一个色块为直的色条。相邻的色条之间可彼此邻接且颜色不同。还可以利用色条的宽度来判别不同的色条。定位部10可以设置在光学定位标记的任意位置,可选的,设置在长条形光学定位标记的一端,如图10所示。其中,颜色编码区域包括位于光学定位标记长度方向上的一端的单个基准色块,颜色编码自所述单个基准色块按预定顺序开始。图10中,其颜色编码可以为0212。
需要指出的是,在上述实施例中,颜色种类和色块数可以是任何数量。
在上面的实施例中,不可见光可以是红外光,也可以是紫外光。
在可选的实施例中,色块可以从光学定位标记上移除。如此,在初次使用标记点进行建模之后,可以去掉光学定位标记上的颜色部分,之后,光学定位标记可以通过其与所附着物体的颜色相同或相近来实现。在定位部为肉眼不可见的情况下,例如,定位部设置为用于反射红外光而允许可见光通过,则整个光学定位标记可以“隐形”。这适用于一般家庭用户和C端用户。
定位部可以由含有玻璃珠或微晶格的逆反射材料制成。进一步的,所述定位部为由逆反射材料制成的反光圆点。
在本发明中,光学装置起到图像采集的作用,且对于具有颜色编码功能和红外反射功能的光学定位标记,光学装置可以分为两个部分,一部分用于获取颜色编码区域的图像,另一部分用于捕获经由定位部反射的不可见光或者是获得定位部的图像,另一部分例如可以是红外相机。光学装置可以是分体的,也可以是一体式的。更具体的,光学装置是由感知红外的红外摄像头和感知可见光的彩色摄像头组成的双目***,或者是由一个摄像头组成的单目***,单目***中摄像头内部的感光芯片交叉分布着感知红外波段的像素和感知可见光波段的像素。光学装置可以采用高分辨率(例如高于1024x768)和高帧频(例如不低于100Hz)的装置。
在本发明中,采用不同于现有技术的编码和解码方式,用不同的颜色排布代表编码信息,从而方便采用摄像头快速识别和解码。
在本发明的实施例中,采用基于例如附图中所示的标记的IOT追踪,由于标记特征明显,包含信息丰富,在光学追踪设备捕获至少四个标记的情况下即可实现定位、定姿,定位稳定性好、精度高、延时低,且部署的空间类型范围不限,在多大范围内部署标记,即可在多大范围内进行精确定位追踪。
在本发明的实施例中,可以实现支持多人互动。因为IOT定位是将定位设备置于待追踪的物体或人身上,环境中部署标记点,因此多个光学定位设备或者光学观测设备可同时使用相同的标记点,互不干扰。
在本发明的实施例中,可以实现6自由度追踪,实现三维位置信息确定和三维姿态信息确定。
在本发明的实施例中,使用云台等复位机构可有效解决特定应用场景下***因无法捕获标记而导致的失效,从而本发明方案的可用性、可靠性高。IOT最大的问题在于无法捕获标记时***不能定位,而姿态运动造成的标记失锁是重要原因。如室内VR游戏场景,相机指向会发生明显变化。例如,标记点部署在屋顶,***位于虚拟现实眼镜上,人低头时,相机等光学装置指向会发生明显变化,如果没有云台等复位机构,则相机无法看到屋顶上的标记点,***就会失效,如果有云台调整相机使得人低头时相机仍指向标记点,***仍能正常工作,可靠性和可行性大幅提升。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行变化,本发明的范围由所附权利要求及其等同物限定。

Claims (15)

1.一种光学定位***,包括:
多个光学定位标记,彼此分开布置在空间环境中;以及
光学观测设备,适于设置在待追踪物或人上,包括:
光学装置,所述光学装置包括图像采集部,图像采集部获取光学定位标记的图像;和
复位机构,所述复位机构使得光学装置隔离所述待追踪物或人的横滚角和/或俯仰角和/或航向角变化,其中所述隔离表示所述光学装置的位置保持不变,而不论所述待追踪物或人的横滚角和/或俯仰角和/或航向角如何变化,
所述复位机构包括:
保持装置,适于设置在待追踪物或人上;
云台,所述光学装置设置在所述云台上,云台连接在保持装置与光学装置之间;
感测部,用于感测保持装置的横滚角和/或俯仰角和/或航向角变化;和
驱动部,所述驱动部基于感测部的信号以驱动云台,将所述光学装置与所述保持装置的横滚角和/或俯仰角和/或航向角变化相隔离,
或者,所述复位机构包括如下保持光学装置指向大体维持不变的机构之一:
磁悬浮机构、气悬浮机构、液悬浮机构、重力摆机构、配重块与转动部件相结合的机构。
2.根据权利要求1所述的光学定位***,其中:
多个所述光学定位标记的位置至少高于光学装置的位置。
3.根据权利要求2所述的光学定位***,其中:
所述空间环境由具有天花板的建筑物限定;
多个所述光学定位标记位于所述天花板上。
4.根据权利要求1所述的光学定位***,其中:
每一个光学定位标记上设置有定位部;
所述光学装置还包括发光部,定位部反射或者吸收来自发光部的光,图像采集部用于获取定位部的图像。
5.根据权利要求4所述的光学定位***,还包括:
信息处理部,所述信息处理部接收来自图像采集部的信号,
其中:
每个所述光学定位标记包括多个色块构成的颜色编码区域,所述多个色块为可见光色块且依序排布以形成颜色编码,光学定位标记的颜色编码与光学定位标记的定位部在所述空间环境中的三维位置一一对应;
所述信息处理部设置成识别来自图像采集部的颜色编码信息以确定光图像采集部接收的反射光反射自哪一个光学定位标记的定位部,或者确定图像为暗的定位部来自哪一个光学定位标记。
6.根据权利要求5所述的光学定位***,其中:
所述发光部用于发射不可见光。
7.根据权利要求4所述的光学定位***,其中:
所述定位部为光逆反射部或光吸收部。
8.根据权利要求1-7中任一项所述的光学定位***,其中:
所述光学定位***用于VR或AR设备。
9.一种定位用光学观测设备,光学观测设备适于设置在待追踪物或人上,所述光学观测设备包括:
光学装置,包括图像采集部,所述图像采集部用于获取光学定位标记的图像;
复位机构,所述复位机构将光学装置与所述待追踪物或人的横滚角和/或俯仰角和/或航向角变化相隔离,其中所述隔离表示所述光学装置的位置保持不变,而不论所述待追踪物或人的横滚角和/或俯仰角和/或航向角如何变化,
所述复位机构包括:
保持装置,适于设置在待追踪物或人上;
云台,所述光学装置设置在所述云台上,云台连接在保持装置与光学装置之间;
感测部,用于感测保持装置的横滚角和/或俯仰角和/或航向角变化;和
驱动部,所述驱动部基于感测部的信号以驱动云台,将所述光学装置与所述保持装置的横滚角和/或俯仰角和/或航向角变化相隔离,
或者,所述复位机构包括如下保持光学装置指向大体维持不变的机构之一:
磁悬浮机构、气悬浮机构、液悬浮机构、重力摆机构、配重块与转动部件相结合的机构。
10.根据权利要求9所述的光学观测设备,其中:
所述光学观测设备用于VR或AR设备。
11.一种用于光学观测设备的光学定位方法,所述光学观测设备包括光学装置和复位机构,所述方法包括步骤:
感测保持装置的横滚角和/或俯仰角和/或航向角变化;和
利用复位机构将所述光学装置与待追踪物或人的横滚角和/或俯仰角和/或航向角变化相隔离,其中所述隔离表示所述光学装置的位置保持不变,而不论所述待追踪物或人的横滚角和/或俯仰角和/或航向角如何变化;
所述复位机构包括保持装置和设置在保持装置与光学装置之间的云台,保持装置适于设置在待追踪物或人上,
所述方法包括步骤:
控制云台的位置将所述光学装置与所述保持装置的横滚角和/或俯仰角和/或航向角变化相隔离。
12.根据权利要求11所述的方法,还包括步骤:
在空间环境中布置多个光学定位标记,标定每个所述光学定位标记在空间环境中的三维位置;
利用设置在待追踪物或人上的光学观测设备的光学装置获取光学定位标记的图像;以及
分析光学装置获取的图像来自哪一个光学定位标记。
13.根据权利要求11所述的方法,其中:
每个光学定位标记包括多个色块构成的颜色编码区域,所述多个色块为可见光色块且依序排布以形成颜色编码,光学定位标记的颜色编码与光学定位标记在空间环境中的三维位置一一对应。
14.根据权利要求13所述的方法,还包括光学装置的水平姿态标定步骤,所述步骤包括:
确定待追踪物或人上的保持装置处于水平姿态角;和
驱动云台的位置使云台处于水平姿态角。
15.根据权利要求11-14中任一项所述的方法,其中:
所述光学观测设备用于VR或AR设备;
以不小于100Hz频率测量保持装置的姿态变化;且
云台的位置基于保持装置的姿态变化实时调整。
CN201610882082.6A 2016-10-09 2016-10-09 光学定位***及方法、定位用光学观测设备 Active CN107918499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610882082.6A CN107918499B (zh) 2016-10-09 2016-10-09 光学定位***及方法、定位用光学观测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610882082.6A CN107918499B (zh) 2016-10-09 2016-10-09 光学定位***及方法、定位用光学观测设备

Publications (2)

Publication Number Publication Date
CN107918499A CN107918499A (zh) 2018-04-17
CN107918499B true CN107918499B (zh) 2022-09-06

Family

ID=61892343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610882082.6A Active CN107918499B (zh) 2016-10-09 2016-10-09 光学定位***及方法、定位用光学观测设备

Country Status (1)

Country Link
CN (1) CN107918499B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN211668521U (zh) * 2018-05-31 2020-10-13 上海快仓智能科技有限公司 用于图像采集的自动引导车、以及图像采集和处理***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102906594A (zh) * 2010-04-21 2013-01-30 法罗技术股份有限公司 用于使用手势来控制激光***的方法和设备
CN104205175A (zh) * 2012-03-29 2014-12-10 索尼公司 信息处理装置,信息处理***及信息处理方法
CN105242689A (zh) * 2015-09-23 2016-01-13 浙江大学 一种基于光学反射的云台跟踪视觉***
CN105338897A (zh) * 2013-01-24 2016-02-17 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的***、设备和方法
CN105659106A (zh) * 2013-10-23 2016-06-08 欧库勒斯虚拟现实有限责任公司 使用动态结构光的三维深度映射

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210857A1 (en) * 2013-01-28 2014-07-31 Tencent Technology (Shenzhen) Company Limited Realization method and device for two-dimensional code augmented reality
US9121711B2 (en) * 2013-03-15 2015-09-01 Csr Technology Inc. Environmental awareness for improved power consumption and responsiveness in positioning devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102906594A (zh) * 2010-04-21 2013-01-30 法罗技术股份有限公司 用于使用手势来控制激光***的方法和设备
CN104205175A (zh) * 2012-03-29 2014-12-10 索尼公司 信息处理装置,信息处理***及信息处理方法
CN105338897A (zh) * 2013-01-24 2016-02-17 凯内蒂科尔股份有限公司 用于在医学成像扫描期间追踪和补偿患者运动的***、设备和方法
CN105659106A (zh) * 2013-10-23 2016-06-08 欧库勒斯虚拟现实有限责任公司 使用动态结构光的三维深度映射
CN105242689A (zh) * 2015-09-23 2016-01-13 浙江大学 一种基于光学反射的云台跟踪视觉***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"使用可穿戴设备持续追踪运动员";iot_casit;《blog.sina.com.cn/s/blog_ec99e5690101pj47.html》;20140407;全文 *
"多家公司研发移动VR头部定位追踪,戴着Gear VR";Yuri;《https://36kr.com/p/1721085034497》;20160506;全文 *

Also Published As

Publication number Publication date
CN107918499A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
EP2962284B1 (en) Optical navigation & positioning system
US8224024B2 (en) Tracking objects with markers
CN109556580A (zh) 测绘仪器、ar***和相对于参照系定位ar装置的方法
CN106664776B (zh) 体育场照明瞄准***和方法
EP3062066A1 (en) Determination of object data by template-based UAV control
US8807428B2 (en) Navigation of mobile devices
CN108022265B (zh) 红外相机位姿确定方法、设备及***
US20220283327A1 (en) Measurement method, measurement systems and auxiliary measurement instruments
CN104067111A (zh) 用于跟踪和监测目标对象上的差异的自动化***和方法
CN108257177B (zh) 基于空间标识的定位***与方法
US20190037133A1 (en) Tracking image collection for digital capture of environments, and associated systems and methods
US11269400B2 (en) Positioning system
CN109964321A (zh) 用于室内定位的方法和设备
US10452139B2 (en) Perspective or gaze based visual identification and location system
CN113884080A (zh) 测定定位点三维坐标的方法及设备、以及光电测量仪器
CA3112187C (en) Optics based multi-dimensional target and multiple object detection and tracking method
US12008679B2 (en) Measurement method, measurement systems and auxiliary measurement instruments for displaying desired positions in a live image
CN107918499B (zh) 光学定位***及方法、定位用光学观测设备
EP3486683A1 (en) Retroreflector acquisition in a coordinate measuring device
CN109032330B (zh) Ar***、ar装置以及建立和无缝桥接其参考状态的方法
CN208314856U (zh) 一种用于单目机载目标检测的***
JP4892982B2 (ja) 磁気マッピング装置
EP4092379A1 (en) Surveying device with image evaluator for determining a spatial pose of the target axis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190715

Address after: Room 106-1378, No. 2 Building, No. 8 Yuan, Xingsheng South Road, Miyun District, Beijing

Applicant after: Beijing Motu Technology Co.,Ltd.

Address before: 100089 Beijing city Haidian District Wangzhuang Road No. 1 D block 0502

Applicant before: FEITE TECHNOLOGY (BEIJING) CO.,LTD.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant