CN104715469A - 一种数据处理方法及电子设备 - Google Patents
一种数据处理方法及电子设备 Download PDFInfo
- Publication number
- CN104715469A CN104715469A CN201310687110.5A CN201310687110A CN104715469A CN 104715469 A CN104715469 A CN 104715469A CN 201310687110 A CN201310687110 A CN 201310687110A CN 104715469 A CN104715469 A CN 104715469A
- Authority
- CN
- China
- Prior art keywords
- collecting device
- primary importance
- image collecting
- place
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
Abstract
本发明公开了一种数据处理方法及电子设备,用于解决现有技术中存在的使用ICP算法进行点云匹配时不能提供合适的初始变换估值的技术问题。该方法包括:通过图像采集装置在第一位置拍摄被扫描对象的第一深度图像及通过图像采集装置在第二位置拍摄被扫描对象的第二深度图像;将第一深度图像转换为第一点云数据,将第二深度图像转换为第二点云数据;通过运动检测装置获取图像采集装置从第一位置到第二位置的空间运动参数集合,并根据空间运动参数集合生成图像采集装置从第一位置到第二位置的位置变换矩阵;以位置变换矩阵为迭代最近点算法的初始参数,对第一点云数据和第二点云数据进行配准。
Description
技术领域
本发明涉及电子技术领域,特别涉及一种数据处理方法及电子设备。
背景技术
3D扫描技术由于可以快速、准确地生成实体物体对应的3D数字模型,在工业生产、数据测绘领域有着广泛的应用前景。
3D扫描仪获取的原始数据为点云数据,点云数据是大量扫描离散点的结合。由于被测物体过大或者形状复杂,扫描时往往不能一次测出所有数据,而需要从不同位置、多视角进行多次扫描,这些多组的点云数据需要对齐、拼接,称为多视对齐,或点云配准。点云配准的实质是计算满足如下目标函数的旋转矩阵R和平移矩阵T:
其中,P,Q为需对齐的点云。
点云配准的研究主要集中于寻求该问题的快速有效的求解方法。其中使用最广泛的是ICP(Iterative Closest Point,迭代最近点)算法,ICP算法的目的是找到目标点集P与参考点集Q之间的旋转矩阵R和平移矩阵T变换,使得两组点云数据满足某种程度度量准则下的最优匹配。
ICP算法具体步骤如下:
(1)在目标点集P中取点集Pi k∈P,k为正整数;
(2)计算参考点集Q中对应点Qj k∈Qk,使||Qi k-Pi k||=min;
(3)计算旋转矩阵Rk与平移矩阵Tk,使得
(4)计算pk+l={Ri k+l=RkPi k+Tk,Ri k∈p};
(5)计算
(6)如果dk+1不小于给定的τ返回到(2),直到dk+l<τ或迭代次数大于预设的最大的迭代次数为止。
对于ICP的每次迭代,最小化对应点的均方差使得点集Pi k更接近Qi k,而Qi k是Ri k在Qi的最近点。这样,每一次迭代就使得Pi更接近于Qi。
但是在本申请的发明人在实现本申请实施例的技术方案的过程中,至少发现上述现有技术存在如下技术问题:
ICP算法的运行速度及向全局最优的收敛性依赖于给定的初始变换估计,即R1、T1,现有技术中一般采用以下两种方法来估算初始变化:
其一,将初始变换的值设为单位矩阵,通过不断迭代逼近最优值。这需要大量的迭代运算,导致算法的复杂度大大增加。
其二,根据待测物体的几何特征来估算初始变换的值,但是针对不同的待测物体,需要构建不同的几何模型,导致3D扫描的成本大大增加。
因此,现有技术中存在使用ICP算法进行点云匹配时不能提供合适的初始变换估值的技术问题。
发明内容
本申请提供一种数据处理方法及电子设备,用于解决现有技术中存在的使用ICP算法进行点云匹配时不能提供合适的初始变换估值的技术问题。
一方面,本申请提供了一种数据处理方法,应用于电子设备,所述电子设备包括图像采集装置、运动检测装置;所述方法包括:通过所述图像采集装置在第一位置拍摄被扫描对象的第一深度图像及通过所述图像采集装置在第二位置拍摄所述被扫描对象的第二深度图像;将所述第一深度图像转换为第一点云数据,将所述第二深度图像转换为第二点云数据;其中,所述第一位置与所述第二位置不同;通过所述运动检测装置获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合,并根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵;以所述位置变换矩阵为迭代最近点算法的初始参数,对所述第一点云数据和所述第二点云数据进行配准。
优选的,所述运动检测装置包括三轴陀螺仪,所述通过所述运动检测装置获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合,并根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵,包括:通过所述三轴陀螺仪获取所述图像采集装置从所述第一位置到所述第二位置的空间旋转参数集合,并根据所述空间旋转参数集合生成所述图像采集装置从所述第一位置到所述第二位置的旋转变换矩阵;所述以所述位置变换矩阵为迭代最近点算法的初始参数,包括:以所述旋转变换矩阵为迭代最近点算法的初始参数。
优选的,所述运动检测装置包括位移传感器;所述通过所述运动检测装置获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合,并根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵,包括:通过所述位移传感器获取所述图像采集装置从所述第一位置到所述第二位置的位移参数集合,并根据所述位移参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位移变换矩阵;所述以所述位置变换矩阵为迭代最近点算法的初始参数,包括:以所述位移变换矩阵为迭代最近点算法的初始参数。
优选的,所述电子设备还包括传感器管理单元,所述根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵,具体为:通过所述传感器管理单元对所述空间运动参数进行预处理,并根据预处理后的所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵。
优选的,所述方法还包括:定期对所述运动检测装置进行校准。
另一方面,本申请提供一种电子设备,包括:图像采集装置,用于在第一位置拍摄被扫描对象的第一深度图像及在第二位置拍摄所述被扫描对象的第二深度图像;将所述第一深度图像转换为第一点云数据,将所述第二深度图像转换为第二点云数据;其中,所述第一位置与所述第二位置不同;运动检测装置,用于获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合;传感器管理单元,用于根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵;配准单元,用于以所述位置变换矩阵为迭代最近点算法的初始参数,对所述第一点云数据和所述第二点云数据进行配准。
优选的,所述运动检测装置包括:三轴陀螺仪,用于获取所述图像采集装置从所述第一位置到所述第二位置的空间旋转参数集合;其中,所述传感器管理单元具体用于根据所述空间旋转参数集合生成所述图像采集装置从所述第一位置到所述第二位置的旋转变换矩阵;所述配准单元具体用于以所述旋转变换矩阵为迭代最近点算法的初始参数。
优选的,所述运动检测装置包括:位移传感器,用于获取所述图像采集装置从所述第一位置到所述第二位置的位移参数集合;其中,所述传感器管理单元具体用于根据所述位移参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位移变换矩阵;所述配准单元具体用于以所述位移变换矩阵为迭代最近点算法的初始参数。
优选的,所述传感器管理单元具体用于对所述空间运动参数进行预处理,并根据预处理后的所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵。
优选的,所述传感器管理单元还用于定期对所述运动检测装置进行校准。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、在本申请实施例中,采用运动检测装置同步记录图像采集装置从第一位置到第二位置的空间位置参数集合,并根据该空间位置参数集合生成图像采集装置从第一位置到第二位置的位置变换矩阵;当采用ICP算法对与第一位置对应的第一点云数据和与第二位置对应的第二点云数据进行配准时,以该位置变换矩阵为ICP算法的初始参数,由于该位置变化矩阵非常接近点云匹配时的最优参数,进而可大幅降低ICP算法的复杂度,提高点云匹配的效率和效果。
2、在本申请实施例中,还通过传感器控制单元对运动检测装置获取的空间位置参数集合进行预处理,提高了数据的准确度和可靠性;另外还通过传感器控制单元定期对运动检测装置进行校准,进一步提高了获取的空间位置参数集合的准确度。
附图说明
图1为本申请实施例1提供的数据处理方法的流程图;
图2为本申请实施例2电子设备的示意图。
具体实施方式
本申请提供一种数据处理方法及电子设备,用于解决现有技术中存在的使用ICP算法进行点云匹配时不能提供合适的初始变换估值的技术问题。
本申请实施例中的技术方案为解决上述技术问题,总体思路如下:
在图像采集单元获取点云数据时,通过运动检测装置同步实时记录图像采集单元的空间运动参数集合;并以记录的空间运动参数集合生成图像采集装置的位置变换矩阵,并以该位置变换矩阵为ICP算法的初始参数矩阵,由于该位置变换矩阵已经非常接近点云匹配时的点云最优位置变换矩阵,进而可以大大降低ICP算法的迭代次数,提高点云匹配的效率和效果。
下面通过附图以及具体实施例对本申请技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
实施例1
本申请通过实施例1提供一种数据处理方法,应用于电子设备,该电子设备具体可以为3D扫描仪或者具有3D扫描功能的设备。该电子设备具有图像采集装置和运动检测装置。其中,图像采集装置具体可以为激光测距仪、结构光深度相机、双目立体视觉深度相机、时差测距深度相机等非接触式深度数据传感器。
请参照图1,该方法包括:
S10:通过图像采集装置在第一位置拍摄被扫描对象的第一深度图像及通过图像采集装置在第二位置拍摄被扫描对象的第二深度图像;将第一深度图像转换为第一点云数据,将第二深度图像转换为第二点云数据;其中,第一位置与第二位置不同。
具体来讲,整个3D扫描的数据采集过程为图像采集装置在不同的视角对被扫描对象进行拍摄,再将多视角获取的点云数据进行拼接。图像采集装置在第一位置(第一视点)拍摄被扫描物体的第一表面区域的第一深度图像后,运动到第二位置(第二视点)并拍摄该被扫描物体的第二表面区域的第二深度图像。然后将第一深度图像转换为第一点云数据,将第二深度图像转换为第二点云数据。在实际情况中,深度图像转换为点云数据的运算可以在图像采集装置上集成的芯片上完成,也可以在与图像采集装置相连的一个传感器管理单元上完成。
由于相邻两次拍摄的深度图像虽然对应的表面区域虽然不同,但是二者之间有重叠区域,点云配准正是找到第一表面区域和第二表面区域的重叠区域对应的点云数据进行对齐。在实际情况中,为了提高多视对齐的效率及最终配准成像的准确率,在选取待配准的点云数据时,尽量选取重叠率较高的两组点云数据,如第一点云数据和第二点云数据的重叠率大于70%,因此,在实际应用中,在进行多视对齐时,可以对获取的多组点云数据进行分析,只对重叠率达到一阈值的两组点云数据进行配准,具体阈值可以根据具体应用场景进行设定。
另外,在本申请实施例中,获取点云数据的方式根据图像采集装置的类型的不同而不同,如当图像采集装置为激光测距仪时,可以通过时差测距法和三角测距法获取第一物体表面区域的深度数据;当图像采集装置为结构光深度相机时,可以根据结构光在第一物体表面投影的形变情形来获取第一物体表面区域的深度数据;当图像采集装置为调变光深度相机时,可以根据第一物体上的投影光与调变光源的相位差可以获取第一物体表面区域的深度数据;在此,本申请实施例不再一一举例。
S20:通过运动检测装置获取图像采集装置从第一位置到第二位置的空间运动参数集合,并根据空间运动参数集合生成图像采集装置从第一位置到第二位置的位置变换矩阵。
具体来讲,运动检测装置为与图像采集装置同步运动的,用于记录图像采集装置运动参数的传感装置,包括用于记录图像采集装置的空间旋转参数的传感器,如陀螺仪,以及用于记录图像采集单元的空间位移参数的位移传感器。电子设备会根据运动检测装置记录的图像采集装置从第一位置到第二位置的运动参数集合,并根据该运动参数集合生成图像采集装置从第一位置到第二位置的位置变换矩阵。如图像采集装置从第一位置到第二位置的旋转变换矩阵,或者位移变换矩阵。
下面分别以运动检测装置为三轴陀螺仪和三轴加速度传感器(位移传感器的一种)为例,对步骤S20予以说明。
(1)、运动检测装置为三轴陀螺仪时,三轴陀螺仪与图像采集装置同步运动,因此在图像采集装置改变拍摄位置获取点云数据时,三轴陀螺仪可以实时同步记录下图像采集装置的空间旋转参数信息,即(α、β、γ),其中α、β、γ表示沿x、y、z轴的旋转角。因此,在图像采集装置获取第一点云数据和第二点云数据时,三轴陀螺仪会记录下图像采集装置在对应扫描位置的空间旋转参数(α1、β1、γ1)、(α2、β2、γ2)。
根据刚体变换的模型,可以根据图像采集装置在第一位置和第二位置的空间旋转参数计算出图像采集装置从第一位置到第二位置的旋转矩阵R。其具体表达式如下:
其中Δα=α2-α1;Δβ=β2-β1;Δγ=γ2-γ1。
(2)、运动检测装置为三轴加速度传感器,三轴加速度传感器与图像采集装置同步运动,因此在图像采集装置改变拍摄位置获取点云数据时,三轴加速度传感器可以实时同步记录下图像采集装置的加速度参数,即(ax,ay,az),其中ax、ay、az分别表示在x、y、z轴方向上的加速度。
根据记录的加速度参数可以计算出图像采集单元的位移量,具体为加速度参数对时间的两次积分:
其中(Sx,Sy,Sz)T即为位移变换矩阵。
S30:以位置变换矩阵为迭代最近点算法的初始参数,对第一点云数据和第二点云数据进行配准。
具体来讲,在本申请实施例中,通过运动检测装置记录图像采集单元的空间运动状态,并根据运动检测装置记录的空间运动参数生成图像采集装置从第一位置到第二位置的位置变换矩阵;而由于点云数据与图像采集装置的拍摄位置相对应,进而可以确定第一点云数据到第二点云数据的变换矩阵即为图像采集装置从第一位置到第二位置的位置变换矩阵。
而在ICP算法中,制约迭代速度和最终匹配准确性的主要因素是初始参数的估计,即旋转矩阵和位移矩阵的选取,好的初始参数会大大提高算法迭代的速度和收敛性。
因此,在本申请实施例中,在采用ICP算法进行点云配准时,以确定的图像采集装置从第一位置到第二位置的位置变换矩阵为ICP算法的初始参数,即初始旋转矩阵R1或者初始位移矩阵T1。虽然由于测量误差的存在,这样确定的初始旋转矩阵R1或者初始位移矩阵T1可能与最终点云匹配时的最优旋转矩阵R’和最优旋转矩阵T’有少许偏差,但是R1已经非常接近R’,T1也非常接近T’,进而在ICP算法中只需要少量次数的迭代即可获得最优旋转矩阵R’和最优旋转矩阵T’,使第一点云数据与第二点云数据配准。而且,由于ICP算法的初始参数已经非常接近配准时的最优参数,即初配准已经非常接近最优的配准,使得点云配准不会出现由于迭代策略的错误导致收敛性较差或者不收敛的情形。
所以,使用本申请实施例1所提供的技术方案,可以使得点云配准时的ICP算法的迭代次数大幅减少,算法复杂度大幅降低,算法的速度和效率得到提高,最终配准的点云数据的效果也有所改善。
如前所述,在本申请实施例中,运动检测装置包括用于检测图像采集装置的空间旋转参数的三轴陀螺仪,而步骤S20:通过运动检测装置获取图像采集装置从第一位置到第二位置的空间运动参数集合,并根据空间运动参数集合生成图像采集装置从第一位置到第二位置的位置变换矩阵,包括:
通过三轴陀螺仪获取图像采集装置从第一位置到第二位置的空间旋转参数集合,并根据空间旋转参数集合生成图像采集装置从第一位置到第二位置的旋转变换矩阵;
而步骤S30:以位置变换矩阵为迭代最近点算法的初始参数,对第一点云数据和第二点云数据进行配准,包括:
以旋转变换矩阵为迭代最近点算法的初始参数,对第一点云数据和第二点云数据进行配准。
由于在ICP算法中,旋转矩阵和位移矩阵组成的(R,T)变换矩阵中,旋转矩阵为3*3的矩阵,而位移矩阵仅为1*3的矩阵,因此旋转矩阵R的迭代复杂度为ICP算法中算法复杂度的主要因子,因此,若能够提供较为精准的初始旋转矩阵R1,将大幅降低ICP算法的复杂度,提高算法的效率和效果。
在本申请实施例中,可由三轴陀螺仪记录图像采集装置的空间旋转参数集合,并根据该空间旋转参数集合生成图像采集装置从第一位置到第二位置的旋转变换矩阵,而该旋转变换矩阵即对应为第一点云数据与第二点云数据之间的旋转变换矩阵,以其为ICP算法中的初始旋转矩阵R1,将提供较为准确的初始匹配,进而实现ICP算法的效率和效果的提高。
如前所述,在本申请实施例中,运动检测装置包括用于检测图像采集装置的空间位移参数的位移传感器。具体来讲,位移传感器包括线加速度传感器、线速度传感器、以及其他常用的用于记录物体空间位移矩阵的传感装置。而步骤S20:通过运动检测装置获取图像采集装置从第一位置到第二位置的空间运动参数集合,并根据空间运动参数集合生成图像采集装置从第一位置到第二位置的位置变换矩阵,包括:
通过位移传感器获取图像采集装置从第一位置到第二位置的位移参数集合,并根据位移参数集合生成图像采集装置从第一位置到第二位置的位移变换矩阵;
而步骤S30:以位置变换矩阵为迭代最近点算法的初始参数,对第一点云数据和第二点云数据进行配准,包括:
以位移变换矩阵为迭代最近点算法的初始参数,对第一点云数据和第二点云数据进行配准。
由于在ICP算法中,如果提供了较为精准的初始位移矩阵T1,即可在ICP算法中减少迭代次数,及提供正确的迭代方向。而在本申请实施例中,可由位移传感器记录图像采集装置的空间位移参数集合,并根据该空间位移参数集合生成图像采集装置从第一位置到第二位置的位移变换矩阵,而该位移变换矩阵即对应为第一点云数据与第二点云数据之间的位移变换矩阵,以其为ICP算法中的初始位移矩阵T1,将提供较为准确的初始匹配,进而实现ICP算法的效率和效果的提高。
在本申请实施例中,运动检测装置获取的图像采集单元的空间运动参数集合可能存在误差,这些误差可能是由于***误差产生,也可能是由于环境干扰产生,其中有些数据会产生偏离平均值的较大波动,以及一些其他常见的数值偏移,为了提高数据的可靠性,在本申请实施例中,电子设备还包括传感器管理单元,传感器管理单元会对运动检测装置获取的数据进行预处理,预处理包括去噪、校准、规范化等操作,然后根据预处理后的数据生成对应的旋转变换矩阵或位移变换矩阵。
即,在本申请实施例中,电子设备还包括传感器管理单元,步骤S20中:根据空间运动参数集合生成图像采集装置从第一位置到第二位置的位置变换矩阵,具体为:
通过传感器管理单元对空间运动参数进行预处理,并根据预处理后的空间运动参数集合生成图像采集装置从第一位置到第二位置的位置变换矩阵。
具体来讲,传感器管理单元会在运动检测装置记录的空间运动参数集合中进行取样,去除掉那些偏离较大的数值,并对取样后的数值进行校准。在校准时可能会利用到其他传感器检测的数据,如利用磁力仪检测的环境磁场值对陀螺仪获取的空间旋转参数进行校准,利用加速度传感器的检测数据对陀螺仪获取的空间旋转参数进行校准,利用GPS等定位装置对位移传感器获取的空间位移参数进行校准,等等。
另外在生成该位置变换矩阵过程中可能会进行坐标系或者单位的转换,以及其他运算过程,都可以在传感器管理单元中进行。
在本申请实施例中,运动检测装置在使用过程中可能会失准,这是由于环境磁场及摩擦的影响,为了提高运动检测装置获取数据的正确性,需要定期对其进行校准。即,在本申请实施例1中,数据处理方法还包括:定期对运动检测装置进行校准。
具体来讲,电子设备的传感器管理单元会根据其他传感装置的检测数据(或预设数据)定期对运动检测装置进行校准。
如可以根据磁力仪检测的环境磁场值对陀螺仪进行定期校准,也可以结合磁力仪及加速度传感器的检测数值对陀螺仪进行校准;另外,也可以根据GPS等定位数据对位移传感器进行定期校准,也可以在运动传感器复位后通过预设数值对其进行校准。本申请实施例在此不再一一举例。
优选的,在本申请实施例中可以结合使用三轴陀螺仪和位移传感器来同步记录图像采集装置的空间位移参数集合,进而获得较为精确的ICP算法的初始旋转矩阵R1和初始位移矩阵T1,由于两个初始值都非常接近点云匹配时的对应最优值,使得ICP算法的效率和效果得到极大地提升。
实施例2
与本申请实施例1提供的数据处理方法对应,本申请实施例2提供一种电子设备。请参照图2,该电子设备包括:
图像采集装置10,用于在第一位置拍摄被扫描对象的第一深度图像及在第二位置拍摄被扫描对象的第二深度图像;将第一深度图像转换为第一点云数据,将第二深度图像转换为第二点云数据;其中,第一位置与第二位置不同;
运动检测装置20,用于获取图像采集装置10从第一位置到第二位置的空间运动参数集合;
传感器管理单元30,用于根据空间运动参数集合生成图像采集装置10从第一位置到第二位置的位置变换矩阵;
配准单元40,用于以位置变换矩阵为迭代最近点算法的初始参数,对第一点云数据和第二点云数据进行配准。
由于在本申请实施例中,提供的ICP算法初始参数已经接近点云匹配时的最优参数值,可以使得点云配准时的ICP算法的迭代次数大幅减少,算法复杂度大幅降低,算法的速度和效率得到提高,最终配准的点云数据的效果也有所改善。
在本申请实施例2中,运动检测装置20包括:三轴陀螺仪,用于获取图像采集装置10从第一位置到第二位置的空间旋转参数集合;
其中,传感器管理单元30具体用于根据空间旋转参数集合生成图像采集装置10从第一位置到第二位置的旋转变换矩阵;
配准单元40具体用于以旋转变换矩阵为迭代最近点算法的初始参数。
另外,在本申请实施例2中,运动检测装置20也可以为位移传感器,即运动传感装置20包括:位移传感器,用于获取图像采集装置10从第一位置到第二位置的位移参数集合;
其中,传感器管理单元30具体用于根据位移参数集合生成图像采集装置10从第一位置到第二位置的位移变换矩阵;
配准单元40具体用于以位移变换矩阵为迭代最近点算法的初始参数。
在本申请实施例中,运动检测装置20获取的图像采集单元10的空间运动参数集合可能存在误差,这些误差可能是由于***误差产生,也可能是由于环境干扰产生,其中有些数据会产生偏离平均值的较大波动,以及一些其他常见的数值偏移,为了提高数据的可靠性,在本申请实施例中,传感器管理单元30会对运动检测装置20获取的数据进行预处理,预处理包括去噪、校准、规范化等操作,然后根据预处理后的数据生成对应的旋转变换矩阵或位移变换矩阵。
即,传感器管理单元30具体用于对空间运动参数进行预处理,并根据预处理后的空间运动参数集合生成图像采集装置10从第一位置到第二位置的位置变换矩阵。
另外,在本申请实施例中,运动检测装置20在使用过程中可能会失准,这是由于环境磁场及摩擦的影响,为了提高运动检测装置20获取数据的正确性,需要定期对其进行校准。即,述传感器管理单元30还用于定期对运动检测装置20进行校准。
前述实施例1的数据处理方法中的各种数据处理方式和具体实例同样适用于本申请实施例2的电子设备,通过前述对数据处理方法的详细描述,本领域技术人员可以清楚的知道本实施例2中电子设备的实施方法,所以为了说明书的简洁,在此不再详述。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、在本申请实施例中,采用运动检测装置同步记录图像采集装置从第一位置到第二位置的空间位置参数集合,并根据该空间位置参数集合生成图像采集装置从第一位置到第二位置的位置变换矩阵;当采用ICP算法对与第一位置对应的第一点云数据和与第二位置对应的第二点云数据进行配准时,以该位置变换矩阵为ICP算法的初始参数,由于该位置变化矩阵非常接近点云匹配时的最优参数,进而可大幅降低ICP算法的复杂度,提高点云匹配的效率和效果。
2、在本申请实施例中,还通过传感器控制单元对运动检测装置获取的空间位置参数集合进行预处理,提高了数据的准确度和可靠性;另外还通过传感器控制单元定期对运动检测装置进行校准,进一步提高了获取的空间位置参数集合的准确度。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
具体来讲,本申请实施例中的信息处理方法对应的计算机程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与信息处理方法对应的计算机程序指令被一电子设备读取或被执行时,包括如下步骤:
通过所述图像采集装置在第一位置拍摄被扫描对象的第一深度图像及通过所述图像采集装置在第二位置拍摄所述被扫描对象的第二深度图像;将所述第一深度图像转换为第一点云数据,将所述第二深度图像转换为第二点云数据;其中,所述第一位置与所述第二位置不同;
通过所述运动检测装置获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合,并根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵;
以所述位置变换矩阵为迭代最近点算法的初始参数,对所述第一点云数据和所述第二点云数据进行配准。
可选的,所述存储介质中存储的与步骤:所述通过所述运动检测装置获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合,并根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵,对应的计算机指令在具体被执行过程中,具体包括如下步骤:
通过所述三轴陀螺仪获取所述图像采集装置从所述第一位置到所述第二位置的空间旋转参数集合,并根据所述空间旋转参数集合生成所述图像采集装置从所述第一位置到所述第二位置的旋转变换矩阵;
所述存储介质中存储的与步骤:所述以所述位置变换矩阵为迭代最近点算法的初始参数,对应的计算机指令在具体被执行过程中,具体包括如下步骤:
以所述旋转变换矩阵为迭代最近点算法的初始参数。
可选的,所述存储介质中存储的与步骤:所述通过所述运动检测装置获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合,并根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵,对应的计算机指令在具体被执行过程中,具体包括如下步骤:
通过所述位移传感器获取所述图像采集装置从所述第一位置到所述第二位置的位移参数集合,并根据所述位移参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位移变换矩阵;
所述存储介质中存储的与步骤:所述以所述位置变换矩阵为迭代最近点算法的初始参数,对应的计算机指令在具体被执行过程中,具体包括如下步骤:
以所述位移变换矩阵为迭代最近点算法的初始参数。
可选的,所述存储介质中存储的与步骤:所述根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵,对应的计算机指令在具体被执行过程中,具体包括如下步骤:
通过所述传感器管理单元对所述空间运动参数进行预处理,并根据预处理后的所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵。
可选的,当存储介质中的与信息处理方法对应的计算机程序指令被一电子设备读取或被执行时,还包括如下步骤:
定期对所述运动检测装置进行校准。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种数据处理方法,应用于电子设备,所述电子设备包括图像采集装置、运动检测装置;所述方法包括:
通过所述图像采集装置在第一位置拍摄被扫描对象的第一深度图像及通过所述图像采集装置在第二位置拍摄所述被扫描对象的第二深度图像;将所述第一深度图像转换为第一点云数据,将所述第二深度图像转换为第二点云数据;其中,所述第一位置与所述第二位置不同;
通过所述运动检测装置获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合,并根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵;
以所述位置变换矩阵为迭代最近点算法的初始参数,对所述第一点云数据和所述第二点云数据进行配准。
2.如权利要求1所述的方法,其特征在于,所述运动检测装置包括三轴陀螺仪,所述通过所述运动检测装置获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合,并根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵,包括:
通过所述三轴陀螺仪获取所述图像采集装置从所述第一位置到所述第二位置的空间旋转参数集合,并根据所述空间旋转参数集合生成所述图像采集装置从所述第一位置到所述第二位置的旋转变换矩阵;
所述以所述位置变换矩阵为迭代最近点算法的初始参数,包括:
以所述旋转变换矩阵为迭代最近点算法的初始参数。
3.如权利要求1所述的方法,其特征在于,所述运动检测装置包括位移传感器;所述通过所述运动检测装置获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合,并根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵,包括:
通过所述位移传感器获取所述图像采集装置从所述第一位置到所述第二位置的位移参数集合,并根据所述位移参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位移变换矩阵;
所述以所述位置变换矩阵为迭代最近点算法的初始参数,包括:
以所述位移变换矩阵为迭代最近点算法的初始参数。
4.如权利要求1所述的方法,其特征在于,所述电子设备还包括传感器管理单元,所述根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵,具体为:
通过所述传感器管理单元对所述空间运动参数进行预处理,并根据预处理后的所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵。
5.如权利要求1所述的方法,其特征在于,所述方法还包括:
定期对所述运动检测装置进行校准。
6.一种电子设备,包括:
图像采集装置,用于在第一位置拍摄被扫描对象的第一深度图像及在第二位置拍摄所述被扫描对象的第二深度图像;将所述第一深度图像转换为第一点云数据,将所述第二深度图像转换为第二点云数据;其中,所述第一位置与所述第二位置不同;
运动检测装置,用于获取所述图像采集装置从所述第一位置到所述第二位置的空间运动参数集合;
传感器管理单元,用于根据所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵;
配准单元,用于以所述位置变换矩阵为迭代最近点算法的初始参数,对所述第一点云数据和所述第二点云数据进行配准。
7.如权利要求6所述的电子设备,其特征在于,所述运动检测装置包括:
三轴陀螺仪,用于获取所述图像采集装置从所述第一位置到所述第二位置的空间旋转参数集合;
其中,所述传感器管理单元具体用于根据所述空间旋转参数集合生成所述图像采集装置从所述第一位置到所述第二位置的旋转变换矩阵;
所述配准单元具体用于以所述旋转变换矩阵为迭代最近点算法的初始参数。
8.如权利要求6所述的电子设备,其特征在于,所述运动检测装置包括:
位移传感器,用于获取所述图像采集装置从所述第一位置到所述第二位置的位移参数集合;
其中,所述传感器管理单元具体用于根据所述位移参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位移变换矩阵;
所述配准单元具体用于以所述位移变换矩阵为迭代最近点算法的初始参数。
9.如权利要求6所述的电子设备,其特征在于,所述传感器管理单元具体用于对所述空间运动参数进行预处理,并根据预处理后的所述空间运动参数集合生成所述图像采集装置从所述第一位置到所述第二位置的位置变换矩阵。
10.如权利要求6所述的电子设备,其特征在于,所述所述传感器管理单元还用于定期对所述运动检测装置进行校准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310687110.5A CN104715469A (zh) | 2013-12-13 | 2013-12-13 | 一种数据处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310687110.5A CN104715469A (zh) | 2013-12-13 | 2013-12-13 | 一种数据处理方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104715469A true CN104715469A (zh) | 2015-06-17 |
Family
ID=53414764
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310687110.5A Pending CN104715469A (zh) | 2013-12-13 | 2013-12-13 | 一种数据处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104715469A (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105509748A (zh) * | 2015-12-29 | 2016-04-20 | 深圳先进技术研究院 | 机器人的导航方法及装置 |
CN106898025A (zh) * | 2017-02-24 | 2017-06-27 | 上海坤辕检测科技有限公司 | 一种基于八点编码标志的相机位移变换矩阵标定方法 |
CN108364340A (zh) * | 2017-12-03 | 2018-08-03 | 广东康云多维视觉智能科技有限公司 | 同步空间扫描的方法及*** |
CN108470323A (zh) * | 2018-03-13 | 2018-08-31 | 京东方科技集团股份有限公司 | 一种图像拼接方法、计算机设备及显示装置 |
CN108665480A (zh) * | 2017-03-31 | 2018-10-16 | 满景资讯股份有限公司 | 三维侦测装置的操作方法 |
CN109584280A (zh) * | 2017-09-29 | 2019-04-05 | 上海时元互联网科技有限公司 | 基于陀螺仪的三维点云数据匹配方法及***、控制器 |
CN109579765A (zh) * | 2017-09-29 | 2019-04-05 | 上海时元互联网科技有限公司 | 基于伺服电机的三维点云数据匹配方法及***、控制器 |
CN110111374A (zh) * | 2019-04-29 | 2019-08-09 | 上海电机学院 | 基于分组阶梯式阈值判断的激光点云匹配方法 |
CN110246167A (zh) * | 2019-06-14 | 2019-09-17 | 北京百度网讯科技有限公司 | 用于处理点云数据的方法和装置 |
CN110378964A (zh) * | 2018-12-05 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 一种摄像机外参标定方法及装置、存储介质 |
CN110738730A (zh) * | 2019-10-15 | 2020-01-31 | 业成科技(成都)有限公司 | 点云匹配方法、装置、计算机设备和存储介质 |
CN111417871A (zh) * | 2017-11-17 | 2020-07-14 | 迪普迈普有限公司 | 基于激光雷达利用高清晰度地图的集成运动估计的迭代最近点处理 |
CN112643664A (zh) * | 2019-10-10 | 2021-04-13 | 深圳市优必选科技股份有限公司 | 定位误差消除方法、装置、机器人及存储介质 |
CN112894832A (zh) * | 2019-11-19 | 2021-06-04 | 广东博智林机器人有限公司 | 三维建模方法、装置、电子设备和存储介质 |
CN113028992A (zh) * | 2021-03-16 | 2021-06-25 | 广东电网有限责任公司广州供电局 | 一种配电房测量方法、装置、设备和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101082988A (zh) * | 2007-06-19 | 2007-12-05 | 北京航空航天大学 | 自动的深度图像配准方法 |
CN201514612U (zh) * | 2009-09-23 | 2010-06-23 | 吴健康 | 一种三维动态定位设备 |
CN102289809A (zh) * | 2011-07-25 | 2011-12-21 | 清华大学 | 估计摄像机位姿的方法及装置 |
US20130156264A1 (en) * | 2011-12-15 | 2013-06-20 | Linus Mårtensson | Minimizing drift using depth camera images |
-
2013
- 2013-12-13 CN CN201310687110.5A patent/CN104715469A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101082988A (zh) * | 2007-06-19 | 2007-12-05 | 北京航空航天大学 | 自动的深度图像配准方法 |
CN201514612U (zh) * | 2009-09-23 | 2010-06-23 | 吴健康 | 一种三维动态定位设备 |
CN102289809A (zh) * | 2011-07-25 | 2011-12-21 | 清华大学 | 估计摄像机位姿的方法及装置 |
US20130156264A1 (en) * | 2011-12-15 | 2013-06-20 | Linus Mårtensson | Minimizing drift using depth camera images |
Non-Patent Citations (2)
Title |
---|
王鹏 等: "基于传感器参数和改良CPD算法的红外与可见光图像点云配准", 《红外与毫米波学报》 * |
陈楚: "基于激光扫描的深度影像配准方法的研究", 《中国优秀博硕士学位论文全文数据库(硕士) 基础科学辑》 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105509748A (zh) * | 2015-12-29 | 2016-04-20 | 深圳先进技术研究院 | 机器人的导航方法及装置 |
CN105509748B (zh) * | 2015-12-29 | 2019-03-01 | 深圳先进技术研究院 | 机器人的导航方法及装置 |
CN106898025A (zh) * | 2017-02-24 | 2017-06-27 | 上海坤辕检测科技有限公司 | 一种基于八点编码标志的相机位移变换矩阵标定方法 |
CN108665480A (zh) * | 2017-03-31 | 2018-10-16 | 满景资讯股份有限公司 | 三维侦测装置的操作方法 |
CN109584280A (zh) * | 2017-09-29 | 2019-04-05 | 上海时元互联网科技有限公司 | 基于陀螺仪的三维点云数据匹配方法及***、控制器 |
CN109579765A (zh) * | 2017-09-29 | 2019-04-05 | 上海时元互联网科技有限公司 | 基于伺服电机的三维点云数据匹配方法及***、控制器 |
CN111417871A (zh) * | 2017-11-17 | 2020-07-14 | 迪普迈普有限公司 | 基于激光雷达利用高清晰度地图的集成运动估计的迭代最近点处理 |
CN108364340A (zh) * | 2017-12-03 | 2018-08-03 | 广东康云多维视觉智能科技有限公司 | 同步空间扫描的方法及*** |
CN108470323A (zh) * | 2018-03-13 | 2018-08-31 | 京东方科技集团股份有限公司 | 一种图像拼接方法、计算机设备及显示装置 |
US11308579B2 (en) | 2018-03-13 | 2022-04-19 | Boe Technology Group Co., Ltd. | Image stitching method, image stitching apparatus, display apparatus, and computer product |
CN110378964A (zh) * | 2018-12-05 | 2019-10-25 | 北京京东尚科信息技术有限公司 | 一种摄像机外参标定方法及装置、存储介质 |
CN110378964B (zh) * | 2018-12-05 | 2021-07-30 | 北京京东尚科信息技术有限公司 | 一种摄像机外参标定方法及装置、存储介质 |
CN110111374A (zh) * | 2019-04-29 | 2019-08-09 | 上海电机学院 | 基于分组阶梯式阈值判断的激光点云匹配方法 |
CN110246167A (zh) * | 2019-06-14 | 2019-09-17 | 北京百度网讯科技有限公司 | 用于处理点云数据的方法和装置 |
CN112643664A (zh) * | 2019-10-10 | 2021-04-13 | 深圳市优必选科技股份有限公司 | 定位误差消除方法、装置、机器人及存储介质 |
CN110738730A (zh) * | 2019-10-15 | 2020-01-31 | 业成科技(成都)有限公司 | 点云匹配方法、装置、计算机设备和存储介质 |
CN110738730B (zh) * | 2019-10-15 | 2023-07-18 | 业成科技(成都)有限公司 | 点云匹配方法、装置、计算机设备和存储介质 |
CN112894832A (zh) * | 2019-11-19 | 2021-06-04 | 广东博智林机器人有限公司 | 三维建模方法、装置、电子设备和存储介质 |
CN112894832B (zh) * | 2019-11-19 | 2022-06-03 | 广东博智林机器人有限公司 | 三维建模方法、装置、电子设备和存储介质 |
CN113028992A (zh) * | 2021-03-16 | 2021-06-25 | 广东电网有限责任公司广州供电局 | 一种配电房测量方法、装置、设备和存储介质 |
CN113028992B (zh) * | 2021-03-16 | 2023-01-20 | 广东电网有限责任公司广州供电局 | 一种配电房测量方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104715469A (zh) | 一种数据处理方法及电子设备 | |
CN109084732B (zh) | 定位与导航方法、装置及处理设备 | |
JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
Panahandeh et al. | Vision-aided inertial navigation based on ground plane feature detection | |
CN109752003B (zh) | 一种机器人视觉惯性点线特征定位方法及装置 | |
CN102252653B (zh) | 基于tof无扫描三维成像的位姿测量方法 | |
CN114526745B (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及*** | |
JP6782903B2 (ja) | 自己運動推定システム、自己運動推定システムの制御方法及びプログラム | |
CN107909614B (zh) | 一种gps失效环境下巡检机器人定位方法 | |
CN102589530B (zh) | 基于二维相机和三维相机融合的非合作目标位姿测量方法 | |
CN110726406A (zh) | 一种改进的非线性优化单目惯导slam的方法 | |
CN105222772A (zh) | 一种基于多源信息融合的高精度运动轨迹检测*** | |
CN103020952A (zh) | 信息处理设备和信息处理方法 | |
CN107941217A (zh) | 一种机器人定位方法、电子设备、存储介质、装置 | |
JP2022510418A (ja) | 時間同期処理方法、電子機器及び記憶媒体 | |
CN116205947B (zh) | 基于相机运动状态的双目-惯性融合的位姿估计方法、电子设备及存储介质 | |
CN108413917A (zh) | 非接触式三维测量***、非接触式三维测量方法及测量装置 | |
CN105607760A (zh) | 一种基于微惯性传感器的轨迹还原方法及*** | |
CN112200869A (zh) | 一种基于点线特征的机器人全局最优视觉定位方法及装置 | |
CN112179373A (zh) | 一种视觉里程计的测量方法及视觉里程计 | |
Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
CN108307174A (zh) | 一种深度图像传感器精度提升方法和*** | |
Deschênes et al. | Lidar scan registration robust to extreme motions | |
CN104166995A (zh) | 一种基于马步测度的Harris-SIFT双目视觉定位方法 | |
WO2024001649A1 (zh) | 机器人定位方法、装置和计算可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150617 |
|
RJ01 | Rejection of invention patent application after publication |