CN110134234B - 一种三维物体定位的方法及装置 - Google Patents

一种三维物体定位的方法及装置 Download PDF

Info

Publication number
CN110134234B
CN110134234B CN201910335679.2A CN201910335679A CN110134234B CN 110134234 B CN110134234 B CN 110134234B CN 201910335679 A CN201910335679 A CN 201910335679A CN 110134234 B CN110134234 B CN 110134234B
Authority
CN
China
Prior art keywords
dimensional object
virtual
posture
virtual object
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910335679.2A
Other languages
English (en)
Other versions
CN110134234A (zh
Inventor
葛凯麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Wenlvyun Intelligent Technology Co ltd
Original Assignee
Shandong Wenlvyun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Wenlvyun Intelligent Technology Co ltd filed Critical Shandong Wenlvyun Intelligent Technology Co ltd
Priority to CN201910335679.2A priority Critical patent/CN110134234B/zh
Priority to CN202210261706.8A priority patent/CN114721511A/zh
Publication of CN110134234A publication Critical patent/CN110134234A/zh
Application granted granted Critical
Publication of CN110134234B publication Critical patent/CN110134234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种三维物体定位的方法,包括:利用单摄像头采集三维物体的图像,识别出所述三维物体的姿态及位置,所述三维物体外表面分为多个区域,且相邻区域之间的颜色不同;显示与所述三维物体对应的虚拟物体;检测到所述三维物体在三维空间中的姿态和/或位置发生改变后,根据所述姿态和/或位置的变化量,对所述虚拟物体进行调节。相应地,本发明实施例提供了一种三维物体定位的装置,解决了现有技术中无法采用单摄像头场景下根据三维物体的动态改变而自适应调整虚拟物体的变化的问题。

Description

一种三维物体定位的方法及装置
技术领域
本发明属于增强现实技术领域,具体地,涉及一种三维物体定位的方法及装置。
背景技术
目前的增强现实应用中,可以通过摄像头采集三维物体,识别出该三维物体并在虚拟场景中显示对应的虚拟三维物体,例如,可采集一个六面体的图像,并在显示屏中显示与其对应的虚拟物体,如一个虚拟的六面体、虚拟角色、虚拟地球仪等。
现有技术中,可通过采集到三维物体的方式显示虚拟物体,但并不能在单摄像头使用场景中根据三维物体的动态改变而自适应调整虚拟物体的变化,成本高,且难以精细化识别出该三维物体的位置及姿态。
发明内容
本发明提供了一种三维物体定位的方法及装置,解决了现有技术中无法采用单摄像头场景下根据三维物体的动态改变而自适应调整虚拟物体的变化的问题。
为了实现上述目的,本发明提供了一种三维物体的定位方法,包括:
利用单摄像头采集三维物体的图像,识别出所述三维物体的姿态及位置,所述三维物体外表面分为多个区域,且相邻区域之间的颜色不同;
显示与所述三维物体对应的虚拟物体;
检测到所述三维物体在三维空间中的姿态和/或位置发生改变后,根据所述姿态和/或位置的变化量,对所述虚拟物体进行调节。
在其中一个实施例中,所述对所述虚拟物体进行调节,包括:
在虚拟空间中旋转所述虚拟物体,所述虚拟物体的旋转角度及角速度与所述三维物体的姿态变化量对应,或,
在虚拟空间中移动所述虚拟物体的位置,所述虚拟物体的位移量与所述三维物体的位置变化量相对应。
在其中一个实施例中,所述对所述虚拟物体进行调节之后,还包括:
当摄像头采集到所述三维物体的不同颜色面的不同组合时,根据预设指令进入不同的虚拟场景,或,
当所述虚拟物体的旋转角速度超过第一预设阈值时,显示第一虚拟场景,或,
当所述虚拟物体的旋转角速度低于第二预设阈值时,显示第二虚拟场景,所述第一预设阈值大于所述第二预设阈值。
在其中一个实施例中,所述根据所述姿态和/或位置的变化量,对所述虚拟物体进行调节,包括:
根据所述三维物体与所述摄像头的景深距离,调节所述虚拟物体的大小。
在其中一个实施例中,识别出所述三维物体的姿态及位置,包括:
对图像进行色块分割,将所述图像分解为多个不同颜色的区域;
对每个所述区域的颜色取平均值,遍历所有的相邻色块对;
使用查表法对所述色块对进行筛选,筛选出与预设模型相匹配的区域;
计算所述相匹配区域的朝向数据,并获取所述三维物体的位置与姿态。
在其中一个实施例中,所述计算所述相匹配区域的朝向数据之后,还包括:
推算出所述相匹配区域对应的候选解;
两两比对所述候选解的相容性,丢弃两个相容候选解的任一个;
使用边缘检测算法识别出所述色块对之间的边缘像素;
使用优化公式来优化所述三维物体的位置与姿态,所述优化公式为:
Figure BDA0002039054730000031
其中P是三维物体的位置与姿态参数,包括位置坐标(x,y,z)和姿态角(qw,qx,qy,qz);f为投影函数,用于计算三维物体处于P姿态时所述三维物体面上的点Xi的位置;E为代价函数,计算投影位置与观测位置的差异;xi与θi是所述图像中检测到的边缘像素点,xi是边缘点在所述图像中的坐标,θi是边缘点的切线角度。
在其中一个实施例中,在对图像进行色块分割之后,所述方法还包括:
建立所述三维物体的模型;
遍历所述模型中相邻面,记录所述相邻面的颜色对及面朝向;
记录所有相邻面的分界线的坐标信息。
本发明实施例还提供一种三维物体定位的方法,包括:
利用单摄像头采集三维物体的图像,所述三维物体外表面分为多个区域,且相邻区域之间的颜色不同;
记录所述三维物体中两个及以上的相邻面;
对图像进行色块分割,将所述图像分解为多个不同颜色的区域;
对每个所述区域的颜色取平均值,遍历所有的相邻色块对;
使用查表法对所述色块对进行筛选,筛选出与预设模型相匹配的区域;
计算所述相匹配区域的朝向数据,并获取所述三维物体的位置与姿态;
显示与所述三维物体对应的虚拟物体。
在其中一个实施例中,所述计算所述相匹配区域的朝向数据之后,还包括:
推算出所述相匹配区域对应的候选解;
两两比对所述候选解的相容性,丢弃两个相容候选解的任一个;
使用边缘检测算法识别出所述色块对之间的边缘像素;
使用优化公式来优化所述三维物体的位置与姿态,所述优化公式为:
Figure BDA0002039054730000041
其中P是三维物体的位置与姿态参数,包括位置坐标(x,y,z)和姿态角(qw,qx,qy,qz);f为投影函数,用于计算三维物体处于P姿态时所述三维物体面上的点Xi的位置;E为代价函数,计算投影位置与观测位置的差异;xi与θi是所述图像中检测到的边缘像素点,xi是边缘点在所述图像中的坐标,θi是边缘点的切线角度。
本发明实施例还提供了一种三维物体的定位装置,所述装置包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序时,执行上述三维物体定位的方法。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机可执行指令,该计算机可执行指令用于执行上述三维物体定位的方法。
本发明实施例提供三维物体定位的方法及装置,所述方法通过单摄像头识别三维物体的不同颜色组合区域,确定所述三维物体的空间姿态及位置,并显示对应的虚拟物体,同时,还可以精细化确定该三维物体的空间姿态及位置,此外,还可以通过单摄像头测量该三维物体的景深,成本低,且精度高。
附图说明
图1是本发明实施例中三维物体定位方法的流程图;
图2是本发明实施例中识别三维物体姿态和位置的方法流程图;
图3是本发明实施例中三维物体识别示意图;
图4是本发明实施例中三维物体识别又一示意图;
图5是本发明实施例中三维物体色块边缘来优化姿态的原理示意图;
图6是本发明实施例中三维物体定位装置结构示意图;
图7是本发明实施例中三维物体定位装置组成结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为达到以上目的,如图1所示,本发明实施例提供了一种应用程序的推荐方法,该方法包括:
S101、利用单摄像头采集三维物体的图像,识别出所述三维物体的姿态及位置,所述三维物体外表面分为多个区域,且相邻区域之间的颜色不同;
本发明实施例中,可通过三维物体定位装置实现该三维物体定位与虚拟物体显示,可选地,该定位装置包括单摄像头、处理单元以及显示单元,通过单摄像头在检测区域内采集三维物体的图像,通过处理单元实现图像处理并最终确定该三维物体的姿态及位置,并借助增强现实AR技术在虚拟场景中创建一个与该三维物体相同或对应的虚拟物体。三维物体可以是多面体,例如球体,圆柱体,四面体、六面体等。其中,每一面的颜色可以不同,本发明实施例中,在三维物体旋转或移动过程中,通过每一面的颜色组合,可确定出该三维物体面朝摄像头的朝向及姿态。为了方便说明,本发明实施例均以六面体为例进行说明,而其余的(具备不同颜色面组合的)三维物体也在本发明实施例的保护范围内。
如图2所示,在其中一个实施例中,识别出所述三维物体的姿态及位置,具体可以为:
S201、对图像进行色块分割,将所述图像分解为多个不同颜色的区域;
如图3所示,该图像可以为黄色颜色区域、绿色颜色区域、蓝色颜色区域、黑色颜色区域、白色颜色区域以及红色颜色区域。
此外,在色块分割之后,还可以建立所述三维物体的模型;遍历所述模型中相邻面,记录所述相邻面的颜色对及面朝向;记录所有相邻面的分界线的坐标信息。即,本发明实施例中,可遍历三维物体中相邻的面,记录下相邻的面的颜色对(如“绿-红”、“红-黄”等)以及面的朝向,并建表供后续算法使用;同时,记录所有相邻面的分界线的坐标信息(用一系列离散的采样点表示),用于后续的精确测量。
当摄像头能同时看到两个或以上的面时,即可通过颜色组合来初步判定标记的位置与姿态(即为朝向),之后通过迭代算法得到更加准确的位置与姿态数据。
S202、对每个所述区域的颜色取平均值,遍历所有的相邻色块对(pair);
S203、使用查表法对所述色块对进行筛选,筛选出与预设模型相匹配的区域;
使用查表法对色块对进行筛选,比如“红-白”就是与三维物体模型相吻合/匹配,但“红-蓝”、“绿-紫”就与模型不吻合(前者是因为在模型中红色与蓝色不是相邻的,后者是因为模型中没有紫色),舍弃不吻合的色块对,筛选出与预设模型相匹配的区域(色块对)。
S204、计算所述相匹配区域的朝向数据,并获取所述三维物体的位置与姿态。
经过筛选之后会留下一些候选色块对,比如图4中会得到“红-白”、“红-黑”、“黑-白”等,使用查表法可以查出这些面的朝向数据,从而得知摄像头相对于标记的大致方位;同时,由于同时有两个面的数据,也可以计算出摄像头的大致旋转角度(以摄像头与标记的连线为轴的旋转角度),进而可推算出三维物体的大致位置与姿态。
上述实施例中可对三维物体的大致位置与姿态进行推算,得到的结果有可能并不精确,而本发明实施例中,可进一步对位置与姿态进行优化,从而精细化得到三维物体在空间中的姿态及位置。具体方法如下:
在计算所述相匹配区域的朝向数据之后,本发明实施例还包括:
S2041、推算出所述相匹配区域对应的候选解;
S2042、两两比对所述候选解的相容性,丢弃两个相容候选解的任一个;
当两个候选解得到的标识物位置与姿态比较接近时(距离、角度差异小于一定阈值),可认为两个候选解是相容的,即它们都是同一个标志物上的色块对。此时可以丢弃掉其中一个解。
S2043、使用边缘检测算法识别出所述色块对之间的边缘像素;
S2044、使用优化公式来优化所述三维物体的位置与姿态,所述优化公式为:
Figure BDA0002039054730000081
其中P是三维物体的位置与姿态参数,包括位置坐标(x,y,z)和姿态角(qw,qx,qy,qz);f为投影函数,用于计算三维物体处于P姿态时所述三维物体面上的点Xi的位置;E为代价函数,计算投影位置与观测位置的差异;xi与θi是所述图像中检测到的边缘像素点,xi是边缘点在所述图像中的坐标,θi是边缘点的切线角度。使用Levenberg–Marquardt算法对上式进行迭代优化后,可以得到一个较优的P*值,即为优化后的标志物的位置与姿态。
在经过迭代算法完成姿态优化后,可得到三维物体的精确姿态数据。
此外对于视频数据,可以使用卡尔曼滤波(Kalman Filter)对连续帧的姿态进行平滑,最后可得到相对稳定的姿态序列。
S102、显示与所述三维物体对应的虚拟物体;
本发明实施例中,可借助AR技术,在识别出三维物体的姿态及位置后,可在虚拟场景中显示出与该三维物体对应的虚拟物体。例如,显示与该三维物体大小一致形状相同的六面体,且各个面的颜色与实际的三维物体一致。
S103、检测到所述三维物体在三维空间中的姿态和/或位置发生改变后,根据所述姿态和/或位置的变化量,对所述虚拟物体进行调节。
在其中一个实施例中,所述对所述虚拟物体进行调节,具体可以为:
在虚拟空间中旋转所述虚拟物体,所述虚拟物体的旋转角度及角速度与所述三维物体的姿态变化量对应,或,
在虚拟空间中移动所述虚拟物体的位置,所述虚拟物体的位移量与所述三维物体的位置变化量相对应。
在其中一个实施例中,所述对所述虚拟物体进行调节之后,还包括:
当摄像头采集到所述三维物体的不同颜色面的不同组合时,根据预设指令进入不同的虚拟场景,或,
当所述虚拟物体的旋转角速度超过第一预设阈值时,显示第一虚拟场景,或,
当所述虚拟物体的旋转角速度低于第二预设阈值时,显示第二虚拟场景,所述第一预设阈值大于所述第二预设阈值。
在其中一个实施例中,所述根据所述姿态和/或位置的变化量,对所述虚拟物体进行调节,包括:
根据所述三维物体与所述摄像头的景深距离,调节所述虚拟物体的大小。
例如,在游戏领域,该三维物体可以做成一个“魔法棒/魔法杖”的多面体形状,可通过上述三维定位的方法,识别出不同面颜色的组合从而确定当前面对摄像头的是哪一个具体姿态。在用户操作该魔法棒的同时,虚拟魔法棒也可以自适应的改变,如当用户旋转该魔法棒,则虚拟魔法棒也同步进行旋转,当用户移动该魔法棒,虚拟魔法棒也在同步移动。同时,还可以根据远近不同,通过单摄像头测量该实际魔法棒相对于摄像头的景深,景深不同,其虚拟魔法棒的大小有变化,用户可以利用该特性进行不同的游戏体验,例如在立体空间里面操作不同的魔法棒,离摄像头近一点和离摄像头远一点其产生的游戏效果不同,可提高用户的游戏体验,同时降低制造成本(市面上均采用TOF摄像头或多摄像头的方案来测量景深,成本高昂)。
同时,用户还可以根据魔法棒的不同特性设计不同的游戏体验,例如将魔法棒旋转,在摄像头面前转到不同的面(即摄像头采集到的颜色组合不同),可设计新的交互体验,例如转到A面就进入某一游戏,转到B面进入另一游戏,当从A面转B面即产生一个交互虚拟场景,当从B面转到 C面又将产生另一个场景,同时,当转动的速度和角度不同,也可设计不同的游戏,即,不同的角度和不同的速度来旋转,不同的面对应的游戏不同,或者对应的游戏玩法不同。
本发明实施例提供三维物体定位的方法及装置,所述方法通过单摄像头识别三维物体的不同颜色组合区域,确定所述三维物体的空间姿态及位置,并显示对应的虚拟物体,同时,还可以精细化确定该三维物体的空间姿态及位置,此外,还可以通过单摄像头测量该三维物体的景深,成本低,且精度高。
此外,本发明实施例还提供一种三维物体定位的方法,定位算法预先将标记的信息录入,包括所有顶点的坐标、边的参数方程、面的颜色。录入模型时有以下几点:
1.遍历模型中相邻的面,记录下相邻的面的颜色对(如“绿-红”、“红- 黄”等)以及面的朝向,建表供后续算法使用;
2.记录所有相邻面的分界线的坐标信息(用一系列离散的采样点表示),用于后续的精确测量。
当摄像头能同时看到两个或以上的面时,即可通过颜色组合来初步判定标记的位置与姿态(就是朝向),之后通过迭代算法得到更加准确的位置与姿态数据。
该方法具体包括:
S501、利用单摄像头采集三维物体的图像,所述三维物体外表面分为多个区域,且相邻区域之间的颜色不同;
S502、记录所述三维物体中两个及以上的相邻面;
S503、对图像进行色块分割,将所述图像分解为多个不同颜色的区域;
S504、对每个所述区域的颜色取平均值,遍历所有的相邻色块对;
比如“红-白”就是与模型相吻合的,但“红-蓝”、“绿-紫”这些就与模型不吻合(前者是因为在模型中红色与蓝色不是相邻的,后者是因为模型中没有紫色)。
S505、使用查表法对所述色块对进行筛选,筛选出与预设模型相匹配的区域;
比如图4中会得到“红-白”、“红-黑”、“黑-白”等,使用查表法可以查出这些面的朝向数据,从而得知摄像头相对于标记的大致方位;同时,由于同时有两个面的数据,也可以计算出摄像头的大致旋转角度(以摄像头与标记的连线为轴的旋转角度),进而可推算出标志物的大致位置与姿态。
S506、计算所述相匹配区域的朝向数据,并获取所述三维物体的位置与姿态;
当两个候选解得到的标识物位置与姿态比较接近时(距离、角度差异小于一定阈值),可认为两个候选解是相容的,即它们都是同一个标志物上的色块对。此时可以丢弃掉其中一个解。
S507、显示与所述三维物体对应的虚拟物体。
在其中一个实施例中,所述计算所述相匹配区域的朝向数据之后,还包括:
S5061、推算出所述相匹配区域对应的候选解;
S5062、两两比对所述候选解的相容性,丢弃两个相容候选解的任一个;
S5063、使用边缘检测算法识别出所述色块对之间的边缘像素;
S5064、使用优化公式来优化所述三维物体的位置与姿态,所述优化公式为:
Figure BDA0002039054730000121
其中P是三维物体的位置与姿态参数,包括位置坐标(x,y,z)和姿态角 (qw,qx,qy,qz),这里的姿态角使用四元数(Quaternion)表示法;f为投影函数,用于计算标志物处于P姿态时它上面的点Xi在摄像机拍摄到的图像上位于什么位置;E是代价函数,计算投影位置与观测位置的差异,差异越大代价越大;xi与θi是图像中检测到的边缘像素点,xi是边缘点在图像中的坐标,θi是边缘点的切线角度。使用Levenberg–Marquardt算法对上式进行迭代优化后,可以得到一个较优的P*值,即为优化后的标志物的位置与姿态。
此外,对于视频数据,可以使用卡尔曼滤波(Kalman Filter)对连续帧的姿态进行平滑,最后可得到相对稳定的姿态序列。
图5是本发明实施例中三维物体色块边缘来优化姿态的原理示意图,其中,虚线为当前的估计姿态推算出来的色块边缘,实线为实际拍摄得到的色块边缘。优化时通过调整姿态让虚线向实线靠拢。
此外,在本发明实施例中,还可以与遥控模块结合起来对虚拟物体进行人机交互。传统的遥控器具备模式化的操作指令集,按压一个按钮产生一个指令信号,并发射该信号,使得电视、空调等终端对该指令进行响应。而在本发明实施例中,可以针对性地设置一系列操作协议,将遥控指令与三维物体的空间姿态/位置等进行结合,形成一套新的人机交互协议。例如,可以在遥控模块中设置一系列指令集,在不同的空间姿态/位置时产生的交互可以有区别。按压一个向右移动的按键后,若未检测到三维物体进行了位置更新,则虚拟物体向右移动一格,若检测到该三维物体的位置有更新,则同样是按压一个向右移动的按键,可以向右移动三格。
图6是本发明实施例中三维定位装置的其中一个示意图;用户可以利用在装置如手机、平板或者电脑操作应用程序。该装置可以包括摄像头、麦克风、应用程序道具和/或AR装置等信息录入装置。该装置还可以包括显示设备、扬声器等输出装置。
本发明实施例还提供了一种存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述实现三维物体定位的方法。
图7是本发明实施例提供的一种***结构示意图。该***600可以包括一个或一个以***处理器(central processing units,CPU)610(例如,一个或一个以上处理器)和存储器620,一个或一个以上存储应用程序632或数据634的存储介质630(例如一个或一个以上海量存储设备)。其中,存储器 620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示未示出),每个模块可以包括对装置中的一系列指令操作。更进一步地,中央处理器610可以设置为与存储介质 630通信,在装置600上执行存储介质630中的一系列指令操作。***600 还可以包括一个或一个以上电源640,一个或一个以上有线或无线网络接口 650,一个或一个以上输入输出接口660,上述三维定位的方法实施例所执行的步骤可以基于该图7所示的***结构。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的模块及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本说明书的各个部分均采用递进的方式进行描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点介绍的都是与其他实施例不同之处。尤其,对于装置和***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例部分的说明即可。
最后,需要说明的是:以上仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。显然,本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (6)

1.一种三维物体定位的方法,其特征在于,包括:
利用单摄像头采集三维物体的图像,识别出所述三维物体的姿态及位置,所述三维物体外表面分为多个区域,且相邻区域之间的颜色不同;
显示与所述三维物体对应的虚拟物体;
检测到所述三维物体在三维空间中的姿态和/或位置发生改变后,根据所述姿态和/或位置的变化量,对所述虚拟物体进行调节;
其中,识别出所述三维物体的姿态及位置,包括:
对图像进行色块分割,将所述图像分解为多个不同颜色的区域;
对每个所述区域的颜色取平均值,遍历所有的相邻色块对;
使用查表法对所述色块对进行筛选,筛选出与预设模型相匹配的区域;
计算所述相匹配的区域的朝向数据,并获取所述三维物体的位置与姿态;
其中,在计算所述相匹配的区域的朝向数据之后,还包括:
推算出所述相匹配的区域对应的候选解;
两两比对所述候选解的相容性,丢弃两个相容候选解的任一个;
使用边缘检测算法识别出所述色块对之间的边缘像素;
使用优化公式来优化所述三维物体的位置与姿态,所述优化公式为:
Figure FDA0003524014020000011
其中P是三维物体的位置与姿态参数,包括位置坐标(x,y,z)和姿态角(qw,qx,qy,qz);f为投影函数,用于计算三维物体处于P姿态时所述三维物体面上的点Xi的位置;E为代价函数,计算投影位置与观测位置的差异;xi与θi是所述图像中检测到的边缘像素点,xi是边缘点在所述图像中的坐标,θi是边缘点的切线角度。
2.根据权利要求1所述的方法,其特征在于,所述对所述虚拟物体进行调节,包括:
在虚拟空间中旋转所述虚拟物体,所述虚拟物体的旋转角度及角速度与所述三维物体的姿态变化量对应,或,
在虚拟空间中移动所述虚拟物体的位置,所述虚拟物体的位移量与所述三维物体的位置变化量相对应。
3.根据权利要求2所述的方法,其特征在于,所述对所述虚拟物体进行调节之后,还包括:
当摄像头采集到所述三维物体的不同颜色面的不同组合时,根据预设指令进入不同的虚拟场景,或,
当所述虚拟物体的旋转角速度超过第一预设阈值时,显示第一虚拟场景,或,
当所述虚拟物体的旋转角速度低于第二预设阈值时,显示第二虚拟场景,所述第一预设阈值大于所述第二预设阈值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述姿态和/或位置的变化量,对所述虚拟物体进行调节,包括:
根据所述三维物体与所述摄像头的景深距离,调节所述虚拟物体的大小。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收输入指令,生成指令代码;
根据所述指令代码、所述姿态和/或位置的变化量,对所述虚拟物体进行调节。
6.一种三维物体定位装置,其特征在于,所述装置包括处理器和用于存储能够在处理器上运行的计算机程序的存储器;其中,所述处理器用于运行所述计算机程序时,执行权利要求1至5任一项所述的三维物体定位的方法。
CN201910335679.2A 2019-04-24 2019-04-24 一种三维物体定位的方法及装置 Active CN110134234B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910335679.2A CN110134234B (zh) 2019-04-24 2019-04-24 一种三维物体定位的方法及装置
CN202210261706.8A CN114721511A (zh) 2019-04-24 2019-04-24 一种三维物体定位的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910335679.2A CN110134234B (zh) 2019-04-24 2019-04-24 一种三维物体定位的方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210261706.8A Division CN114721511A (zh) 2019-04-24 2019-04-24 一种三维物体定位的方法及装置

Publications (2)

Publication Number Publication Date
CN110134234A CN110134234A (zh) 2019-08-16
CN110134234B true CN110134234B (zh) 2022-05-10

Family

ID=67570956

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910335679.2A Active CN110134234B (zh) 2019-04-24 2019-04-24 一种三维物体定位的方法及装置
CN202210261706.8A Pending CN114721511A (zh) 2019-04-24 2019-04-24 一种三维物体定位的方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210261706.8A Pending CN114721511A (zh) 2019-04-24 2019-04-24 一种三维物体定位的方法及装置

Country Status (1)

Country Link
CN (2) CN110134234B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112440882B (zh) * 2019-09-04 2024-03-08 梅赛德斯-奔驰集团股份公司 汽车行李厢物品摆放***和方法及包括该***的汽车
CN110928414A (zh) * 2019-11-22 2020-03-27 上海交通大学 三维虚实融合实验***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074012A (zh) * 2011-01-22 2011-05-25 四川农业大学 结合图像和计算模型的茶叶嫩芽形态的三维重建方法
CN102737245A (zh) * 2012-06-06 2012-10-17 清华大学 三维场景物体边界检测方法及装置
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
CN104680519A (zh) * 2015-02-06 2015-06-03 四川长虹电器股份有限公司 基于轮廓和颜色的七巧板识别方法
CN106447725A (zh) * 2016-06-29 2017-02-22 北京航空航天大学 基于轮廓点混合特征匹配的空间目标姿态估计方法
CN107274453A (zh) * 2017-06-12 2017-10-20 哈尔滨理工大学 一种结合标定与校正的摄像机三维测量装置、***及方法
CN107636585A (zh) * 2014-09-18 2018-01-26 谷歌有限责任公司 通过在虚拟现实环境内部绘图而进行的三维时尚对象的产生
CN108537149A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109615655A (zh) * 2018-11-16 2019-04-12 深圳市商汤科技有限公司 一种确定物体姿态的方法及装置、电子设备及计算机介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2477793A (en) * 2010-02-15 2011-08-17 Sony Corp A method of creating a stereoscopic image in a client device
US10055882B2 (en) * 2016-08-15 2018-08-21 Aquifi, Inc. System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102074012A (zh) * 2011-01-22 2011-05-25 四川农业大学 结合图像和计算模型的茶叶嫩芽形态的三维重建方法
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
CN102737245A (zh) * 2012-06-06 2012-10-17 清华大学 三维场景物体边界检测方法及装置
CN107636585A (zh) * 2014-09-18 2018-01-26 谷歌有限责任公司 通过在虚拟现实环境内部绘图而进行的三维时尚对象的产生
CN104680519A (zh) * 2015-02-06 2015-06-03 四川长虹电器股份有限公司 基于轮廓和颜色的七巧板识别方法
CN106447725A (zh) * 2016-06-29 2017-02-22 北京航空航天大学 基于轮廓点混合特征匹配的空间目标姿态估计方法
CN107274453A (zh) * 2017-06-12 2017-10-20 哈尔滨理工大学 一种结合标定与校正的摄像机三维测量装置、***及方法
CN108537149A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109615655A (zh) * 2018-11-16 2019-04-12 深圳市商汤科技有限公司 一种确定物体姿态的方法及装置、电子设备及计算机介质

Also Published As

Publication number Publication date
CN110134234A (zh) 2019-08-16
CN114721511A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US20220003537A1 (en) Method and apparatus for measuring geometric parameter of object, and terminal
CN110517319B (zh) 一种相机姿态信息确定的方法及相关装置
CN110443853B (zh) 基于双目摄像头的标定方法、装置、终端设备及存储介质
CN106705837B (zh) 一种基于手势的物体测量方法及装置
US11308655B2 (en) Image synthesis method and apparatus
US10825249B2 (en) Method and device for blurring a virtual object in a video
WO2021143282A1 (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
CN110825234A (zh) 一种面向工业场景的投影式增强现实跟踪显示方法和***
CN111935393A (zh) 拍摄方法、装置、电子设备和存储介质
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN107911621A (zh) 一种全景图像的拍摄方法、终端设备以及存储介质
CN110134234B (zh) 一种三维物体定位的方法及装置
JP2012221261A (ja) 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
JP2019197279A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
WO2022152001A1 (zh) 手势识别方法和装置、电子设备、可读存储介质和芯片
WO2020232971A1 (zh) 鱼眼相机标定***、方法、装置、电子设备及存储介质
CN110361005A (zh) 定位方法、定位装置、可读存储介质及电子设备
US8643679B2 (en) Storage medium storing image conversion program and image conversion apparatus
CN110152293B (zh) 操控对象的定位方法及装置、游戏对象的定位方法及装置
CN112912936A (zh) 混合现实***、程序、移动终端装置和方法
WO2021238070A1 (zh) 三维图像的生成方法、装置及计算机设备
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
JP7006810B2 (ja) 3次元計測装置、移動ロボット、手押し車型移動装置および3次元計測処理方法
CN114037758B (zh) 基于图像的摄像机姿态感知***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220420

Address after: 250000 Room 202, No. 81, Huayuan Road, Hongjialou street, Licheng District, Jinan City, Shandong Province

Applicant after: Shandong wenlvyun Intelligent Technology Co.,Ltd.

Address before: 100191 room 1104, 1st floor, building 1, No.2 Huayuan Road, Haidian District, Beijing

Applicant before: PILOSMART TECHNOLOGY BEIJING LLC

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant