CN105096376B - 一种信息处理方法及电子设备 - Google Patents

一种信息处理方法及电子设备 Download PDF

Info

Publication number
CN105096376B
CN105096376B CN201410183500.3A CN201410183500A CN105096376B CN 105096376 B CN105096376 B CN 105096376B CN 201410183500 A CN201410183500 A CN 201410183500A CN 105096376 B CN105096376 B CN 105096376B
Authority
CN
China
Prior art keywords
mark
information
target object
electronic equipment
quick response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410183500.3A
Other languages
English (en)
Other versions
CN105096376A (zh
Inventor
刘国良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201410183500.3A priority Critical patent/CN105096376B/zh
Publication of CN105096376A publication Critical patent/CN105096376A/zh
Application granted granted Critical
Publication of CN105096376B publication Critical patent/CN105096376B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种信息处理方法,应用于电子设备,所述电子设备包括采集单元,所述方法包括:所述采集单元获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据,所述M为大于等于1的整数;从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;根据所述表面信息构建所述目标物体的三维信息。本发明同时还公开了一种电子设备。

Description

一种信息处理方法及电子设备
技术领域
本发明涉及电子技术,尤其涉及一种信息处理方法及电子设备。
背景技术
在创建地图如即时定位与地图构建(SLAM,Simultaneous Localization andMapping)的过程中需要提取表面如目标物体的平面,现有技术中提取表面主要是利用多个相邻点估计平面法向量,并根据阈值条件来确定邻近点云中符合条件的点云子集;这种提取平面的方案在计算过程中的速度非常慢,从而延长了地图构建的周期。
发明内容
有鉴于此,本发明实施例为解决现有技术中存在的问题而提供一种信息处理方法及电子设备,能够快速地提取目标物体的表面,进而缩短了地图构建的周期。
本发明实施例的技术方案是这样实现的:一种信息处理方法,应用于电子设备,所述电子设备包括采集单元,所述方法包括:
所述采集单元获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据,所述M为大于等于1的整数;
从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;
根据所述表面信息构建所述目标物体的三维信息。
一种电子设备,所述电子设备包括采集单元、第一提取单元、确定单元和构建单元,其中:
所述采集单元,用于获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据,所述M为大于等于2的整数;
所述第一提取单元,用于从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
所述确定单元,用于根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;
所述构建单元,用于根据所述表面信息构建所述目标物体的三维信息。
本发明实施例中,所述采集单元获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据,所述M为大于等于1的整数;从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;根据所述表面信息构建所述目标物体的三维信息;如此,能够快速地提取目标物体的表面,进而缩短了地图构建的周期。
附图说明
图1-1为本发明实施例一信息处理方法的实现流程示意图;
图1-2为本发明实施例一采集单元与目标物体的位置关系示意图;
图1-3为本发明实施例一各墙面所贴附的标识的俯视图;
图1-4为本发明实施例一墙面121上所贴附的标识的正视图;
图1-5为本发明实施例一墙面121上所贴附的二维码之间的位置关系示意图;
图2为本发明实施例二信息处理方法的实现流程示意图;
图3-1为本发明实施例三信息处理方法的实现流程示意图;
图3-2为本发明实施例三中步骤S303的实现流程示意图;
图3-3为本发明实施例三机器人在P1位置时所采集到的二维码与机器人之间的位置关系示意图;
图3-4为本发明实施例三机器人在P2位置时所采集到的二维码与机器人之间的位置关系示意图;
图4为本发明实施例四电子设备的组成结构示意图;
图5为本发明实施例五电子设备的组成结构示意图;
图6-1为本发明实施例六电子设备的组成结构示意图;
图6-2为本发明实施例图6-1中第一确定模块631的组成结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
实施例一
本发明实施例提供一种信息处理方法,应用于电子设备中,如该电子设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为三维(3D,3Dimensions)摄像头。在具体实施的过程中,该3D摄像头可以为具有RGB-D传感器,RGB-D传感器中的R、G、B表示红色(Red)、绿色(Green)和蓝色(Blue),RGB-D传感器中的D表示深度(Depth),RGB-D传感器最具有代表性的传感器首推微软公司的Kinect3D传感器。RGB-D传感器用来泛指可以同时获得环境的颜色信息(RGB)和深度信息(Depth)的传感器。
图1-1为本发明实施例一信息处理方法的实现流程示意图,如图1-1所示,该方法包括:
步骤S101,所述采集单元获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据;
这里,本发明实施例涉及3D扫描技术领域,利用智能机器人对目标物体进行3D扫描时,通常是机器人尤其是机器人上的采集单元绕目标物体旋转一周,或者旋转一周扫描目标物体;当机器人位于目标物体内部时,就是机器人旋转一周扫描所述目标物体,当机器人位于目标物体外部时,就需要机器人绕目标物体旋转一周以扫描所述目标物体,其中所述目标物体即为待扫描物体。
本发明实施例以机器人位于目标物体内部为例,关于机器人位于目标物体外部的情况与机器人位于目标物体内部的情况类似,因此这里赘述。参见图1-2,采集单元11位于目标物体12内部,这里的目标物体12可以是一间房间,该房间具有四面墙分别121至124,每一面墙代表房间的一个表面。如图1-3所示,墙面121上平贴有标识130至132,墙面122上平贴有标识133至135,墙面123上平贴有标识136至137,墙面124上平贴有标识138至139。本实施例中M等于10,即标识130至139。其中,墙面121上所贴附的标识130至132的位置关系如图1-4所示。
采集单元11在目标物体12内扫描一周得到一组图像帧,该每一图像帧中包括海量点云数据(point cloud),每一个点包含有用于表明空间位置的三维坐标点如(x,y,z),点云数据除了具有空间位置以外,还包括颜色信息(RGB),有的甚至还包括强度(Intensity)信息。其中,颜色信息通常是通过彩色相机获取彩色图像,然后将对应位置的像素的颜色信息赋予点云中对应的点。强度信息的获取是激光传感器采集到的回波的强度信息,此强度信息与目标的表面材质、粗糙度、入射角方向、以及设备的发射能量、激光波长有关。
这里,所述M为大于等于1的整数;在本实施例中,该标识优选的可以为二维标识码简称为二维码,所述二维码中包含索引信息,以从三维点云中获取与所述二维码相关的身份标识(ID,IDentity)信息,该ID信息可以是ID序号、也可以是图案,如汉字和/或字母(如图1-5所示),每一个二维码除具有有独特的ID信息外,还可以具有独特的形状,以便在识别二维码;需要说明的是,每个二维码的大小是已知的,比如是15厘米(cm)×15cm的正方形,而且图案的大小。
步骤S102,从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
这里,所述空间位置信息是指点云数据的空间位置如三维坐标点(x,y,z);二维码的方向信息可以是二维码的朝向信息,也即二维码的位姿。本步骤S102提取标识的空间位置信息和方向信息过程,实际上也是估计出该二维码相对于3D摄像头的空间位姿(x,y,z,θ)的过程,其中,x、y、z分别表示相互正交的三个方向,θ表示在该点的姿态(或,视角),θ还可以用roll、pitch、yaw三个欧拉角来表示,其中roll表示俯仰角,pitch表示横滚角,yaw表示航向角。
步骤S103,根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;
这里,利用二维码的空间位姿可估计出二维码附着的表面信息,当表面为平面时,表面信息可以平面模型参数如表示平面的方程,当表面为曲面时,表面信息可以曲面模型参数如近似于某些标准曲面的方程,其中标准曲面如球面、柱面、双曲柱面等可以用方程来表示的曲面,关于这类标准曲面的方程具体可以参见数学理论中关于空间曲面及其方程的有关介绍,这里不再赘述。
步骤S104,根据所述表面信息构建所述目标物体的三维信息。
这里,基于步骤S103已获得组成目标物体的表面信息,因此,根据表面信息即可构建出所述目标物体的三维信息。本步骤S104具体地实施过程可以根据各种现有技术来实现,这里不再赘述。
本发明实施例中,为了快速提取目标物体的其中一个表面,可以只在目标物体的一个表面上平贴一个标识,也是说,本发明实施例中的M=1。当然,也可以根据需要提取的目标物体的表面的个数分别在每一物体的表面上都平贴一个标识,这时M等于需要提取的目标物体的表面的个数。
在本发明实施例中,在步骤S101之前,该方法还包括:训练标识以及打印标识、将标识贴附在目标物体表面的步骤。
这里,仍以二维码来代表标识为例,首先训练二维码集,用于二维码的识别和定位。每以个二维码有独特的ID序号和形状,该形状可以是文字、字母等,训练二维码集的过程,为了更好地识别,因此需要确定多个二维码之间是否容易被辨别出来。在训练的过程中也是预先获知二维码信息的过程,二维码信息包括其上的ID信息,在后续步骤中,当3D摄像机扫描二维码时,可根据二维码的形状,利用二维码检测程序识别出该二维码的ID信息。其次,需要打印已经过训练的二维码集;然后将二维码集贴附在目标物体的表面上。
本发明实施例中,所述采集单元获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识;从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;根据所述表面信息构建所述目标物体的三维信息;如此,采用本发明实施例提供的技术方案,利用标识如二维码的先验信息,实现快速了目标物体的表面的提取。
实施例二
基于上述的实施例一,本发明实施例提供一种信息处理方法,应用于电子设备中,图2为本发明实施例二信息处理方法的实现流程示意图,如图2所示,该方法包括:
步骤S201,所述采集单元获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据;
这里,所述M为大于等于1的整数;
步骤S202,从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
步骤S203,根据预设的或确定的阈值范围提取每一所述标识的周围点云数据;
步骤S204,根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;
这里,步骤S203与步骤S202和步骤S204之间并无特定的先后顺序,可以先执行步骤S203,然后再执行步骤S202和步骤S204;还可以先执行步骤S202和步骤S204,然后再执行步骤S203。
这里,上述实施例一中步骤S103确定出来的表面信息,是认为目标物体一个较为理想物体,即物体的表面是符合平面或曲面方程的表面,而实际上目标物体的表面是有凹凸的,也就是说,采用实施例一的方法构建的目标物体是一个比较理想物体。作为本发明的一个优选实施例,在具体实施的过程中可以设置或估算一个阈值范围,在阈值范围内的点云数据都可以认为在同一个表面上。
步骤S205,针对每一所述标识,根据所述标识的周围点云数据和与所述二维标识所对应的表面信息,对所述目标物体的表面进行估计;利用估计出的表面对所述目标物体进行重建,得到构建的三维物体。
本发明实施例中,所述标识中包含索引信息,以从三维点云中获取与所述标识相关的身份标识信息。
本发明实施例中,所述表面包括平面和/或曲面。
本发明实施例提供的信息处理方法,根据预设的或确定的阈值范围提取每一所述标识的周围点云数据;然后,针对每一所述标识,根据所述标识的周围点云数据和与所述二维标识所对应的表面信息,对所述目标物体的表面进行估计;利用估计出的表面对所述目标物体进行重建,得到构建的三维物体;如此,在实现快速地提取目标物体的表面的同时,可以更加准确的估计出目标物体的表面。
实施例三
基于上述的实施例二,本发明实施例提供一种信息处理方法,应用于电子设备中,该方法中将提供一种确定上述阈值范围的方式,在该方式中首先要在提取的目标物体的表面上贴附有2个以上的标识。图3-1为本发明实施例三信息处理方法的实现流程示意图,如图3-1所示,该方法包括:
步骤S301,所述采集单元获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据;
这里,所述M为大于等于1的整数;
这里,所述目标物体的每一要提取的表面上至少包括有两个标识;
步骤S302,从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
步骤S303,根据所述M个标识的空间位置信息和方向信息,确定所述M个标识之间的相对位置关系,以确定处于第i个表面的Ni个标识;
这里,Ni为小于等于M的整数,i为整数且1≤i≤T,N1+…+NT=M,T为所述目标物体的总的表面数;
步骤S304,根据处于第i个表面的Ni个标识的空间位置信息和方向信息,确定第i个表面的阈值范围,根据所述阈值范围提取每一所述标识的周围点云数据;
步骤S305,根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;
步骤S306,针对每一所述标识,根据所述标识的周围点云数据和与所述二维标识所对应的表面信息,对所述目标物体的表面进行估计;利用估计出的表面对所述目标物体进行重建,得到构建的三维物体。
这里,对所述目标物体的表面进行估计的方法可以采用最小二乘、偏最小二乘等方法,本领域的技术人员还可以根据各种现有技术来实现对所述目标物体的表面进行估计,因此不再赘述。
本发明实施例中,所述标识中包含索引信息,以从三维点云中获取与所述标识相关的身份标识信息。
本发明实施例中,所述表面包括平面和/或曲面。
本发明实施例中,如图3-2所示,所述根据所述M个标识的空间位置信息和方向信息确定所述M个标识之间的相对位置关系,即步骤S303包括:
步骤S331,获取包括Q1个标识ID1至IDQ1的第一帧点云数据,根据第一帧点云数据确定所述Q1个标识的Q1个坐标位置,其中所述Q1≥2;
步骤S332,根据所述Q1个坐标位置中的两两坐标位置,确定Q1个标识之间的相对位置关系;
步骤S333,获取包括Q2个标识ID1至IDQ2的第二帧点云数据,根据第二帧点云数据确定所述Q2个标识的Q2个坐标位置,其中所述Q2≥2;
步骤S334,根据所述Q2个坐标位置中的两两坐标位置,确定Q2个标识之间的相对位置关系;
步骤S335,依次类推,确定剩余的标识之间的相对位置关系。
这里,在SLAM中存在两种坐标系:机器人坐标系和全局坐标系。机器人的位姿是指它在全局坐标系下的绝对坐标,例如三维环境中记为X=(x,y,z,θ),其中x,y,z表示在全局坐标系下的坐标,θ表示在该点的姿态(或,视角)。在初始状态下,机器人坐标系与全局坐标系重合。如图3-3所示,图3-3继续以图1-5所示的墙面121为例,图像采集单元11如机器人在当前位置P1的坐标系下采集到二维码130和二维码131,那么二维码130与机器人11之间的位置信息以及朝向信息都是已知的,同样对于二维码131和机器人11之间的位置信息以及朝向信息也是已知的,进而机器人可以估算出二维码130和二维码131之间的相对位置关系,即二维码130和二维码131是否处于同一平面上,当二维码130和二维码131处于同一平面121上时,机器人即可估算出平面121的第一个阈值范围;
接着如图3-4所示,机器人移动到位置P2的坐标系下采集到二维码131和二维码132,如判断二维码130与二维码131之间的相对位置关系一样,也可以判断出二维码131与二维码132之间的相对位置关系,从而估算出平面121的第二个阈值范围;接着还可以判断出二维码130、二维码131和二维码132这三者之间的相对位置关系,从而进一步确定出平面121最终的阈值范围。
上面的描述虽然是以二维码130、二维码131和二维码132处于同一平面121,但是同样适用于判断处于不同墙面的两个二维码之间相对位置关系。这里假设墙面是平面的,因此墙面121即为平面121;以判断图1-3中二维码132和二维码133之间的相对位置关系为例,机器人在位置P2的坐标系下可以采集到二维码131和132;当机器人移动位置P3的坐标系下可以采集到二维码132和133,可以确定二维码132与机器人之间的第一位置信息和第一朝向信息,以及二维码133与机器人之间的第二位置信息和第二朝向信息,然后再根据第一位置信息、第一朝向信息、第二位置信息和第二朝向信息二维码132与133是否处于同一平面上。
从上面描述可以看出,为了确定表面的阈值范围,在同一表面上至少要贴附两个标识如二维码,而且采集单元每次至少要可以同时观测两个以上二维码,这种需求的原因是要保证二维码之间空间位姿关系是可知的,确定阈值范围的过程也可以认为是标定二维码之间关系的过程。通过上述标定可以获知二维码附着表面的空间位置关系的预估计。
本发明实施例提供的技术方案,具有如下优点:
1)快速。由于二维码三维位置可以通过标定预先获得,所以在估计表面信息,只需要搜索与二维码的朝向信息一致、且与二维码的位置信息接近的点集。因此,本发明实施例提供的技术方案可以降低搜索范围,从而能够快速、准确地提取出目标物体的表面。
2)目标物体各表面之间的相互关系可以快速通过二维码标定获得,由于判断二维码之间的相对位置关系比较简单快捷,从而使得判断目标物体各表面之间的相互关系也非常的简单。
实施例四
本发明实施例提供一种电子设备,如该电子设备可以为智能机器人,该智能机器人具有图像采集单元作为一个优选示例,本发明实施例的图像采集单元可以为三维摄像头。在具体实施的过程中,该3D摄像头可以为具有RGB-D传感器,RGB-D传感器中的R、G、B表示红色、绿色和蓝色,RGB-D传感器中的D表示深度,RGB-D传感器最具有代表性的传感器首推微软公司的Kinect 3D传感器。RGB-D传感器用来泛指可以同时获得环境的颜色信息和深度信息的传感器。
图4为本发明实施例四电子设备的组成结构示意图,如图4所示,该电子设备包括采集单元401、第一提取单元402、确定单元403和构建单元404,其中:
所述采集单元401,用于获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据,所述M为大于等于2的整数;
所述第一提取单元402,用于从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
所述确定单元403,用于根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;
所述构建单元404,用于根据所述表面信息构建所述目标物体的三维信息。
这里,本发明实施例涉及3D扫描技术领域,利用智能机器人对目标物体进行3D扫描时,通常是机器人尤其是机器人上的采集单元绕目标物体旋转一周,或者旋转一周扫描目标物体;当机器人位于目标物体内部时,就是机器人旋转一周扫描所述目标物体,当机器人位于目标物体外部时,就需要机器人绕目标物体旋转一周以扫描所述目标物体,其中所述目标物体即为待扫描物体。
本发明实施例以机器人位于目标物体内部为例,关于机器人位于目标物体外部的情况与机器人位于目标物体内部的情况类似,因此这里赘述。参见图1-2,采集单元11位于目标物体12内部,这里的目标物体12可以是一间房间,该房间具有四面墙分别121至124,每一面墙代表房间的一个表面,其中墙面121上平贴有如图1-4所示的标识130至132,墙面121上平贴有标识133至135,墙面121上平贴有标识136至137,墙面121上平贴有标识138至139。本实施例中M等于10,即标识130至139。
采集单元11在目标物体12内扫描一周得到一组图像帧,该每一图像帧中包括海量点云数据,每一个点包含有用于表明空间位置的三维坐标点如(x,y,z),点云数据除了具有空间位置以外,还包括颜色信息,有的甚至还包括强度信息。其中,颜色信息通常是通过彩色相机获取彩色图像,然后将对应位置的像素的颜色信息赋予点云中对应的点。强度信息的获取是激光传感器采集到的回波的强度信息,此强度信息与目标的表面材质、粗糙度、入射角方向、以及设备的发射能量、激光波长有关。
这里,所述M为大于等于1的整数;在本实施例中,该标识优选的可以为二维标识码简称为二维码,所述二维码中包含索引信息,以从三维点云中获取与所述二维码相关的身份标识(ID)信息,该ID信息可以是ID序号、也可以是图案,如汉字和/或字母(如图1-5所示),每一个二维码除具有有独特的ID信息外,还可以具有独特的形状,以便在识别二维码;需要说明的是,每个二维码的大小是已知的,比如是15cm×15cm的正方形,而且图案的大小。
这里,所述空间位置信息是指点云数据的空间位置如三维坐标点(x,y,z);二维码的方向信息可以是二维码的朝向信息,也即二维码的位姿。本第一提取单元402提取标识的空间位置信息和方向信息过程,实际上也是估计出该二维码相对于3D摄像头的空间位姿(x,y,z,θ)的过程,其中,x、y、z分别表示相互正交的三个方向,θ表示在该点的姿态(或,视角),θ还可以用roll、pitch、yaw三个欧拉角来表示,其中roll表示俯仰角,pitch表示横滚角,yaw表示航向角。
这里,利用二维码的空间位姿可估计出二维码附着的表面信息,当表面为平面时,表面信息可以平面模型参数如表示平面的方程,当表面为曲面时,表面信息可以曲面模型参数如近似于某些标准曲面的方程,其中标准曲面如球面、柱面、双曲柱面等可以用方程来表示的曲面,关于这类标准曲面的方程具体可以参见数学理论中关于空间曲面及其方程的有关介绍,这里不再赘述。
这里,基于确定单元403已获得组成目标物体的表面信息,因此,根据表面信息即可构建出所述目标物体的三维信息。构建单元404具体地实施过程可以根据各种现有技术来实现,这里不再赘述。
本发明实施例中,为了快速提取目标物体的其中一个表面,可以只在目标物体的一个表面上平贴一个标识,也是说,本发明实施例中的M=1。当然,也可以根据需要提取的目标物体的表面的个数分别在每一物体的表面上都平贴一个标识,这时M等于需要提取的目标物体的表面的个数。
在本发明实施例中,在采集单元401之前,该电子设备还包括预处理单元,用于训练标识以及打印标识、将标识贴附在目标物体表面。
这里,仍以二维码来代表标识为例,首先训练二维码集,用于二维码的识别和定位。每以个二维码有独特的ID序号和形状,该形状可以是文字、字母等,训练二维码集的过程,为了更好地识别,因此需要确定多个二维码之间是否容易被辨别出来。在训练的过程中也是预先获知二维码信息的过程,二维码信息包括其上的ID信息,在后续单元中,当3D摄像机扫描二维码时,可根据二维码的形状,利用二维码检测程序识别出该二维码的ID信息。其次,需要打印已经过训练的二维码集;然后将二维码集贴附在目标物体的表面上。
本发明实施例中,所述采集单元获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识;从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;根据所述表面信息构建所述目标物体的三维信息;如此,采用本发明实施例提供的技术方案,利用标识如二维码的先验信息,实现快速了目标物体的表面的提取。
实施例五
基于上述的实施例四,本发明实施例提供一种电子设备,图5为本发明实施例五电子设备的组成结构示意图,如图5所示,该电子设备包括采集单元501、第一提取单元502、第二提取单元503、确定单元504和构建单元505,其中:
所述采集单元501,用于获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据,所述M为大于等于1的整数;
所述第一提取单元502,用于从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
所述第二提取单元503,用于根据预设的或确定的阈值范围提取每一所述标识的周围点云数据;
所述确定单元504,用于根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;
所述构建单元505,用于针对每一所述标识,根据所述标识的周围点云数据和与所述二维标识所对应的表面信息,对所述目标物体的表面进行估计;利用估计出的表面对所述目标物体进行重建,得到构建的三维物体。
本发明实施例中,所述标识中包含索引信息,以从三维点云中获取与所述标识相关的身份标识信息。
本发明实施例中,所述表面包括平面和/或曲面。
这里,第二提取单元503与第一提取单元502和确定单元504之间并无特定的连接关系,第二提取单元503、第一提取单元502、确定单元504它们三者之间的关系可以是依次连接的第二提取单元503、第一提取单元502和确定单元504;还可以依次连接的第一提取单元502、确定单元504和第二提取单元503。
这里,上述实施例四中确定单元403确定出来的表面信息,是认为目标物体一个较为理想物体,即物体的表面是符合平面或曲面方程的表面,而实际上目标物体的表面是有凹凸的,也就是说,采用实施例四提供的技术方案构建的目标物体是一个比较理想物体。作为本发明的一个优选实施例,在具体实施的过程中可以设置或估算一个阈值范围,在阈值范围内的点云数据都可以认为在同一个表面上。
本发明实施例提供的电子设备,根据预设的或确定的阈值范围提取每一所述标识的周围点云数据;然后,针对每一所述标识,根据所述标识的周围点云数据和与所述二维标识所对应的表面信息,对所述目标物体的表面进行估计;利用估计出的表面对所述目标物体进行重建,得到构建的三维物体;如此,在实现快速地提取目标物体的表面的同时,可以更加准确的估计出目标物体的表面。
实施例六
基于上述的实施例五,本发明实施例提供一种电子设备,该电子设备中将提供一种确定上述阈值范围的方式,在该方式中首先要在提取的目标物体的表面上贴附有2个以上的标识。图6-1为本发明实施例六电子设备的组成结构示意图,如图6-1所示,该电子设备包括:采集单元601、第一提取单元602、第二提取单元603、确定单元604和构建单元605,其中该第二提取单元603包括第一确定模块631、第二确定模块632和提取模块633,其中:
所述采集单元601,用于获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据;
这里,所述M为大于等于1的整数;
这里,所述目标物体的每一要提取的表面上至少包括有两个标识;
所述第一提取单元602,用于从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
所述第一确定模块631,用于根据所述M个标识的空间位置信息和方向信息,确定所述M个标识之间的相对位置关系,以确定处于第i个表面的Ni个标识,其中Ni为小于等于M的整数,i为整数且1≤i≤T,N1+…+NT=M,T为所述目标物体的总的表面数;
所述第二确定模块632,用于根据处于第i个表面的Ni个标识的空间位置信息和方向信息,确定第i个表面的阈值范围;
所述提取模块633,用于根据第i个表面的阈值范围,提取每一所述标识的周围点云数据;
所述确定单元604,用于根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息;
所述构建单元605,用于根据所述表面信息构建所述目标物体的三维信息。
这里,对所述目标物体的表面进行估计的方法可以采用最小二乘、偏最小二乘等方法,本领域的技术人员还可以根据各种现有技术来实现对所述目标物体的表面进行估计,因此不再赘述。
本发明实施例中,如图6-2所示,所述第一确定模块631包括第一确定子模块6311、第二确定子模块6312、第三确定子模块6313、第四确定子模块6314和类推子模块6315,其中:
所述第一确定子模块6311,用于获取包括Q1个标识ID1至IDQ1的第一帧点云数据,根据第一帧点云数据确定所述Q1个标识的Q1个坐标位置,其中所述Q1≥2;
所述第二确定子模块6312,用于根据所述Q1个坐标位置中的两两坐标位置,确定Q1个标识之间的相对位置关系;
所述第三确定子模块6313,用于获取包括Q2个标识ID1至IDQ2的第二帧点云数据,根据第二帧点云数据确定所述Q2个标识的Q2个坐标位置,其中所述Q2≥2;
所述第四确定子模块6314,用于根据所述Q2个坐标位置中的两两坐标位置,确定Q2个标识之间的相对位置关系;
所述类推子模块6315,用于依次类推,确定剩余的标识之间的相对位置关系。
这里,在SLAM中存在两种坐标系:机器人坐标系和全局坐标系。机器人的位姿是指它在全局坐标系下的绝对坐标,例如三维环境中记为X=(x,y,z,θ),其中x,y,z表示在全局坐标系下的坐标,θ表示在该点的姿态(或,视角)。在初始状态下,机器人坐标系与全局坐标系重合。如图3-3所示,图3-3继续以图1-5所示的墙面121为例,图像采集单元11如机器人在当前位置P1的坐标系下采集到二维码130和二维码131,那么二维码130与机器人11之间的位置信息以及朝向信息都是已知的,同样对于二维码131和机器人11之间的位置信息以及朝向信息也是已知的,进而机器人可以估算出二维码130和二维码131之间的相对位置关系,即二维码130和二维码131是否处于同一平面上,当二维码130和二维码131处于同一平面121上时,机器人即可估算出平面121的第一个阈值范围;
接着,机器人移动到位置P2的坐标系下采集到二维码131和二维码132,如判断二维码130与二维码131之间的相对位置关系一样,也可以判断出二维码131与二维码132之间的相对位置关系,从而估算出平面121的第二个阈值范围;接着还可以判断出二维码130、二维码131和二维码132这三者之间的相对位置关系,从而进一步确定出平面121最终的阈值范围。
上面的描述虽然是以二维码130、二维码131和二维码132处于同一平面121,但是同样适用于判断处于不同墙面的两个二维码之间相对位置关系。这里假设墙面是平面的,因此墙面121即为平面121;以判断图1-3中二维码132和二维码133之间的相对位置关系为例,机器人在位置P2的坐标系下可以采集到二维码131和132;当机器人移动位置P3的坐标系下可以采集到二维码132和133,可以确定二维码132与机器人之间的第一位置信息和第一朝向信息,以及二维码133与机器人之间的第二位置信息和第二朝向信息,然后再根据第一位置信息、第一朝向信息、第二位置信息和第二朝向信息二维码132与133是否处于同一平面上。
从上面描述可以看出,为了确定表面的阈值范围,在同一表面上至少要贴附两个标识如二维码,而且采集单元每次至少要可以同时观测两个以上二维码,这种需求的原因是要保证二维码之间空间位姿关系是可知的,确定阈值范围的过程也可以认为是标定二维码之间关系的过程。通过上述标定可以获知二维码附着表面的空间位置关系的预估计。
本发明实施例提供的技术方案,具有如下优点:
1)快速。由于二维码三维位置可以通过标定预先获得,所以在估计表面信息,只需要搜索与二维码的朝向信息一致、且与二维码的位置信息接近的点集。因此,本发明实施例提供的技术方案可以降低搜索范围,从而能够快速、准确地提取出目标物体的表面。
2)目标物体各表面之间的相互关系可以快速通过二维码标定获得,由于判断二维码之间的相对位置关系比较简单快捷,从而使得判断目标物体各表面之间的相互关系也非常的简单。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种信息处理方法,应用于电子设备,所述电子设备包括采集单元,所述方法包括:
所述采集单元获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据,所述M为大于等于1的整数;
从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息,其中,所述表面信息为所述标识所在表面的表达方程式;
根据所述表面信息构建所述目标物体的三维信息。
2.根据权利要求1所述的方法,其特征在于,所述标识中包含索引信息,以从三维点云中获取与所述标识相关的身份标识信息。
3.根据权利要求1所述的方法,其特征在于,所述表面包括平面和/或曲面。
4.根据权利要求1所述的方法,其特征在于,在所述提取所述M个标识的空间位置信息和方向信息之后,所述方法还包括:
根据预设的或确定的阈值范围提取每一所述标识的周围点云数据;
对应地,所述根据所述表面信息构建所述目标物体的三维信息,包括:
针对每一所述标识,根据所述标识的周围点云数据和与所述标识所对应的表面信息,对所述目标物体的表面进行估计;
利用估计出的表面对所述目标物体进行重建,得到构建的三维物体。
5.根据权利要求4所述的方法,其特征在于,所述目标物体的每一表面上至少包括有两个标识;其中,确定所述阈值范围的方式包括:
根据所述M个标识的空间位置信息和方向信息,确定所述M个标识之间的相对位置关系,以确定处于第i个表面的Ni个标识,其中Ni为小于等于M的整数,i为整数且1≤i≤T,N1+…+NT=M,T为所述目标物体的总的表面数;
根据处于第i个表面的Ni个标识的空间位置信息和方向信息,确定第i个表面的阈值范围。
6.根据权利要求5所述的方法,其特征在于,所述根据所述M个标识的空间位置信息和方向信息确定所述M个标识之间的相对位置关系,包括:
获取包括Q1个标识的第一帧点云数据,根据第一帧点云数据确定所述Q1个标识的Q1个坐标位置,其中所述Q1≥2;
根据所述Q1个坐标位置中的两两坐标位置,确定Q1个标识之间的相对位置关系;
获取包括Q2个标识的第二帧点云数据,根据第二帧点云数据确定所述Q2个标识的Q2个坐标位置,其中所述Q2≥2;
根据所述Q2个坐标位置中的两两坐标位置,确定Q2个标识之间的相对位置关系;
依次类推,确定剩余的标识之间的相对位置关系。
7.一种电子设备,所述电子设备包括采集单元、第一提取单元、确定单元和构建单元,其中:
所述采集单元,用于获取当前环境中目标物体的三维点云数据,所述目标物体的表面上包括M个标识,所述三维点云数据中包括所述M个标识的点云数据,所述M为大于等于2的整数;
所述第一提取单元,用于从所述目标物体的三维点云数据中,提取所述M个标识的空间位置信息和方向信息;
所述确定单元,用于根据所述M个标识的空间位置信息和方向信息,确定每一所述标识所在表面信息,其中,所述表面信息为所述标识所在表面的表达方程式;
所述构建单元,用于根据所述表面信息构建所述目标物体的三维信息。
8.根据权利要求7所述的电子设备,其特征在于,所述标识中包含索引信息,以从三维点云中获取与所述标识相关的身份标识信息。
9.根据权利要求7所述的电子设备,其特征在于,所述表面包括平面和/或曲面。
10.根据权利要求7所述的电子设备,其特征在于,所述电子设备还包括第二提取单元,用于根据预设的或确定的阈值范围提取每一所述标识的周围点云数据;
对应地,所述构建单元,用于针对每一所述标识,根据所述标识的周围点云数据和与所述标识所对应的表面信息,对所述目标物体的表面进行估计;利用估计出的表面对所述目标物体进行重建,得到构建的三维物体。
11.根据权利要求10所述的电子设备,其特征在于,所述目标物体的每一表面上至少包括有两个标识;对应地,所述第二提取单元包括第一确定模块、第二确定模块和提取模块,其中:
所述第一确定模块,用于根据所述M个标识的空间位置信息和方向信息,确定所述M个标识之间的相对位置关系,以确定处于第i个表面的Ni个标识,其中Ni为小于等于M的整数,i为整数且1≤i≤T,N1+…+NT=M,T为所述目标物体的总的表面数;
所述第二确定模块,用于根据处于第i个表面的Ni个标识的空间位置信息和方向信息,确定第i个表面的阈值范围;
所述提取模块,用于根据第i个表面的阈值范围,提取每一所述标识的周围点云数据。
12.根据权利要求11所述的电子设备,其特征在于,所述第一确定模块包括第一确定子模块、第二确定子模块、第三确定子模块、第四确定子模块和类推子模块,其中:
所述第一确定子模块,用于获取包括Q1个标识的第一帧点云数据,根据第一帧点云数据确定所述Q1个标识的Q1个坐标位置,其中所述Q1≥2;
所述第二确定子模块,用于根据所述Q1个坐标位置中的两两坐标位置,确定Q1个标识之间的相对位置关系;
所述第三确定子模块,用于获取包括Q2个标识的第二帧点云数据,根据第二帧点云数据确定所述Q2个标识的Q2个坐标位置,其中所述Q2≥2;
所述第四确定子模块,用于根据所述Q2个坐标位置中的两两坐标位置,确定Q2个标识之间的相对位置关系;
所述类推子模块,用于依次类推,确定剩余的标识之间的相对位置关系。
CN201410183500.3A 2014-04-30 2014-04-30 一种信息处理方法及电子设备 Active CN105096376B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410183500.3A CN105096376B (zh) 2014-04-30 2014-04-30 一种信息处理方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410183500.3A CN105096376B (zh) 2014-04-30 2014-04-30 一种信息处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN105096376A CN105096376A (zh) 2015-11-25
CN105096376B true CN105096376B (zh) 2018-03-27

Family

ID=54576707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410183500.3A Active CN105096376B (zh) 2014-04-30 2014-04-30 一种信息处理方法及电子设备

Country Status (1)

Country Link
CN (1) CN105096376B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108267141B (zh) * 2016-12-30 2023-01-10 法法汽车(中国)有限公司 道路点云数据处理***
CN107203672A (zh) * 2017-06-08 2017-09-26 爱佩仪中测(成都)精密仪器有限公司 基于matlab的非均布三维测量数据处理方法
CN109241841B (zh) * 2018-08-01 2022-07-05 甘肃未来云数据科技有限公司 视频人体动作的获取方法和装置
CN109102527B (zh) * 2018-08-01 2022-07-08 甘肃未来云数据科技有限公司 基于标识点的视频动作的获取方法和装置
CN109101916B (zh) * 2018-08-01 2022-07-05 甘肃未来云数据科技有限公司 基于标识带的视频动作的获取方法和装置
CN109816704B (zh) * 2019-01-28 2021-08-03 北京百度网讯科技有限公司 物体的三维信息获取方法和装置
CN112017297B (zh) * 2019-05-28 2024-01-23 中国商用飞机有限责任公司 一种增强现实的定位方法、装置、设备及介质
CN114373046B (zh) * 2021-12-27 2023-08-18 达闼机器人股份有限公司 辅助机器人运行的方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030072479A1 (en) * 2001-09-17 2003-04-17 Virtualscopics System and method for quantitative assessment of cancers and their change over time
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及***
CN101887597B (zh) * 2010-07-06 2012-07-04 中国科学院深圳先进技术研究院 建筑物三维模型构建方法及***
CN102682477B (zh) * 2012-05-16 2015-04-08 南京邮电大学 一种基于结构先验的规则场景三维信息提取方法
CN102945551B (zh) * 2012-10-16 2015-02-18 同济大学 一种基于图论的三维点云数据平面提取方法

Also Published As

Publication number Publication date
CN105096376A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
CN105096376B (zh) 一种信息处理方法及电子设备
CN108401461A (zh) 三维建图方法、装置、***、云端平台、电子设备和计算机程序产品
CN106092104B (zh) 一种室内机器人的重定位方法及装置
US7613361B2 (en) Information processing method and device
CN106600627A (zh) 一种基于标志点的刚体运动捕捉方法及***
CN111126304A (zh) 一种基于室内自然场景图像深度学习的增强现实导航方法
CN110097553A (zh) 基于即时定位建图与三维语义分割的语义建图***
CN101702233B (zh) 视频帧中基于三点共线标记点的三维定位方法
CN106651752A (zh) 三维点云数据配准方法及拼接方法
CN103170973A (zh) 基于Kinect摄像机的人机协作装置及方法
CN109559349A (zh) 一种用于标定的方法和装置
CN106546230B (zh) 定位点布置方法及装置、测定定位点三维坐标的方法及设备
Oskiper et al. Augmented reality binoculars
Ren et al. Change their perception: RGB-D for 3-D modeling and recognition
CN111275015A (zh) 一种基于无人机的电力巡线电塔检测识别方法及***
Joshi et al. Deepurl: Deep pose estimation framework for underwater relative localization
Okada et al. Huecode: A meta-marker exposing relative pose and additional information in different colored layers
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device
McIlroy et al. Kinectrack: 3d pose estimation using a projected dense dot pattern
Xompero et al. Multi-view shape estimation of transparent containers
JPH10149435A (ja) 環境認識システム並びに該システムに用いるマーク
Park et al. Realistic 3D simulation of multiple human recognition over Perception Sensor Network
Wang et al. Accurate Rapid Grasping of Small Industrial Parts from Charging Tray in Clutter Scenes.
CN111928852A (zh) 一种基于led位置编码的室内机器人定位方法及***
Ge et al. LiDAR and Camera Calibration Using Near-Far Dual Targets

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant