CN111145339B - 图像处理方法及装置、设备、存储介质 - Google Patents

Abstract

本申请实施例公开了图像处理方法及装置、设备、存储介质，其中，所述方法包括：通过电子设备上的相机在现实物理场景中采集N帧样本图像，N为大于0的整数；获取第一实时位姿集，所述第一实时位姿集包括所述相机在采集每帧所述样本图像时在所述现实物理场景中的第一实时位姿；根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述第一重建位姿集包括每帧所述样本图像对应的相机的第一重建位姿；根据所述第一实时位姿集和所述第一重建位姿集，至少对所述初始点云进行尺度变换，得到目标点云。

Description

图像处理方法及装置、设备、存储介质

技术领域

本申请实施例涉及电子技术，涉及但不限于图像处理方法及装置、设备、存储介质。

背景技术

现实物理场景中的点云数据的构建为计算机视觉定位的核心技术。如果点云数据的构建没有考虑尺度信息，就无法获得与现实物理场景等比例的三维结构模型。这样，在点云数据应用于室内外导航定位时，往往导致获得的定位结果不准确。

目前，通常在现实物理场景中引入已知尺寸的人工标定物，从而辅助电子设备对重建的初始点云进行尺度恢复。然而，这种图像处理方法，人工标定物需要人工制作、安装、拆卸等操作，因此，不能够方便快捷地获取有尺度的点云数据，并且会引入额外的材料成本和人力成本。

发明内容

有鉴于此，本申请实施例提供图像处理方法及装置、设备、存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种图像处理方法，包括：通过电子设备上的相机在现实物理场景中采集N帧样本图像，N为大于0的整数；获取第一实时位姿集，所述第一实时位姿集包括所述相机在采集每帧所述样本图像时在所述现实物理场景中的第一实时位姿；根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述第一重建位姿集包括每帧所述样本图像对应的相机的第一重建位姿；根据所述第一实时位姿集和所述第一重建位姿集，至少对所述初始点云进行尺度变换，得到目标点云。

第二方面，本申请实施例提供一种图像处理装置，包括：图像采集模块，用于在现实物理场景中采集N帧样本图像，N为大于0的整数；位姿获取模块，用于获取第一实时位姿集，所述第一实时位姿集包括所述图像采集模块在采集每帧所述样本图像时在所述现实物理场景中的第一实时位姿；三维重建模块，用于根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述第一重建位姿集包括每一所述样本图像对应的所述图像采集模块的第一重建位姿；地图变换模块，用于根据所述第一实时位姿集和所述第一重建位姿集，至少对所述初始点云进行尺度变换，得到目标点云。

第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例任一所述图像处理方法中的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例任一所述图像处理方法中的步骤。

在本申请实施例中，电子设备可以通过相机在现实物理场景中采集样本图像，并在现实物理场景中同步采集相机的第一实时位姿；如此，则不需要在现实物理场景中引入人工标定物，仅根据电子设备所采集的数据，即可获得有尺度的目标点云，从而能够更加方便、快捷地实现有尺度的图像处理，并且还可以避免引入额外的材料成本和人力成本。

附图说明

图1为本申请实施例手机的部分结构的示意图；

图2为本申请实施例图像处理方法的实现流程示意图；

图3为本申请实施例另一图像处理方法的实现流程示意图；

图4A为本申请实施例图像处理装置的结构示意图；

图4B为本申请实施例另一图像处理装置的结构示意图；

图5为本申请实施例电子设备的一种硬件实体示意图；

图6为本申请实施例芯片的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

需要指出，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本申请实施例提供的方法运行在电子设备上，所述电子设备也可以指用户设备(User Equipment，UE)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。接入终端可以是蜂窝电话、无绳电话、会话启动协议(Session Initiation Protocol，SIP)电话、无线本地环路(Wireless Local Loop，WLL)站、个人数字处理(Personal Digital Assistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备，未来5G网络中的终端设备或者未来演进的陆上公用移动通信网(Public LandMobile Network，PLMN)网络中的终端设备等。

以电子设备为手机为例，图1示出的是与本申请实施例提供的方法实施例相关的手机的部分结构的框图。参考图1，手机包括：射频(Radio Frequency，RF)电路170、存储器180、输入单元160、显示单元150、传感器140、音频电路120、无线保真(wireless-fidelity，Wi-Fi)模块130、处理器110、以及电源190等部件。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对手机的各个构成部件进行具体的介绍。

RF电路170可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，RF电路170包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(LNA)、双工器等。此外，RF电路170还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(GSM)、通用分组无线服务(GPRS)、码分多址(CDMA)、宽带码分多址(WCDMA)、长期演进(LTE)、电子邮件、短消息服务(SMS)等。

存储器180可用于存储软件程序以及模块，处理器110通过运行存储在存储器的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器180可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如本申请实施例涉及的三维重建功能)等；存储数据区可存储根据手机的使用所创建的数据(比如本申请实施例涉及的样本图像和第一实时位姿集)等。此外，存储器180可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元160可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元160可包括触控面板以及其他输入设备161。触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选地，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器，并能接收处理器发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板。除了触控面板，输入单元还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元150可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元可包括显示面板151。可选地，可以采用液晶显示器(LCD)、有机发光二极管(OLED)等形式来配置显示面板。进一步地，触控面板161可覆盖显示面板151，当触控面板161检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板151上提供相应的视觉输出。虽然在图1中，触控面板161与显示面板151是作为两个独立的部件来实现手机的输入和输出功能，但是在某些实施例中，可以将触控面板161与显示面板151集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器140，比如光传感器、惯性测量单元以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在手机移动到耳边时，关闭显示面板和/或背光。惯性测量单元可检测各个方向上(一般为三轴)加速度和角速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路、以及超声波模块120中的，超声波接收器122，例如麦克风，超声波发射器，例如听筒121，可提供用户与手机之间的音频接口。音频电路可将接收到的音频数据转换后的电信号，传输到听筒121，由听筒转换为声音信号输出；另一方面，麦克风122将收集的声音信号转换为电信号，由音频电路接收后转换为音频数据，再将音频数据输出处理器处理后，经RF电路170以发送给比如另一手机，或者将音频数据输出至存储器以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块130可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块130，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变本申请的本质的范围内而省略。

处理器110是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器180内的应用程序和/或模块，以及调用存储在存储器内180的数据，执行手机的各种功能和处理数据，从而对手机进行整体监测。可选的，手机还包括给各个部件供电的电源190(比如电池)，优选的，电源190可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括相机、蓝牙模块等，在此不再赘述。

在本申请实施例中，该手机所包括的处理器110具有以下图像处理功能：通过手机上的相机在现实物理场景中采集N帧样本图像，N为大于0的整数；获取第一实时位姿集，所述第一实时位姿集包括所述相机在采集每帧所述样本图像时在所述现实物理场景中的第一实时位姿；根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述第一重建位姿集包括每帧所述样本图像对应的相机的第一重建位姿；根据所述第一实时位姿集和所述第一重建位姿集，至少对所述初始点云进行尺度变换，得到目标点云。

本申请实施例所述的图像处理方法所实现的功能可以通过所述电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。

图2为本申请实施例图像处理方法的实现流程示意图，如图2所示，所述方法至少包括以下步骤101至步骤104：

步骤101，通过电子设备上的相机在现实物理场景中采集N帧样本图像；N为大于0的整数。

在一些实施例中，电子设备可以通过安装的单目相机在现实物理场景中采集N帧红绿蓝(Red Green Blue，RGB)图像。所述现实物理场景，例如，商场、机场、地下停车场、办公大楼等。需要说明的是，在实际应用中，电子设备通常是边移动边采集样本图像。

步骤102，获取第一实时位姿集，所述第一实时位姿集包括所述相机在采集每帧所述样本图像时在所述现实物理场景中的第一实时位姿。

在实现时，可以通过所述电子设备上的增强现实应用，采集所述相机在采集每一所述样本图像时在所述现实物理场景中对应的第一实时位姿，以得到包括N个第一实时位姿的第一实时位姿集。

也就是说，增强现实应用与相机同步采集数据，前者采集相机在现实物理场景中的实时位姿，后者在现实物理场景中采集样本图像。需要说明的是，增强现实应用可以是任何能够获得第一实时位姿的应用程序。例如，增强现实应用为ARCore应用。本申请实施例所述的第一实时位姿和下文所述的第二实时位姿不是特指某一定值，也就是说，不同的样本图像对应的第一实时位姿可能是不同的，不同的样本图像对应的第二实时位姿也可能是不同的。其他带有“第一”、“第二”的名词亦是如此。

在本申请实施例中，第一实时位姿包括相机在现实物理场景中的第一实时位置和姿态。

在一些实施例中，电子设备获取所述第一实时位姿，可以包括：通过所述电子设备上的惯性测量单元，采集所述电子设备的加速度和角速度；获取所述相机与所述惯性测量单元之间的相对位姿；根据所述加速度、所述角速度和所述相对位置，确定所述第一实时位姿。

步骤103，根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述第一重建位姿集包括每一所述样本图像对应的相机的第一重建位姿。

在一些实施例中，电子设备可以根据运动中恢复结构(Structure from motion，SFM)算法对所述N帧样本图像进行处理，从而得到初始点云和第一重建位姿集。在实现时，电子设备可以采用COLMAP进行三维重建。利用COLMAP提供的可执行文件，输入N帧样本图像，即可实现三维重建。

步骤104，根据所述第一实时位姿集和所述第一重建位姿集，至少对所述初始点云进行尺度变换，得到目标点云。

可以理解地，在实际应用中，第一实时位姿集所在的坐标系的单位与第一重建位姿集所在的坐标系的单位可能是不同的，例如前者的坐标系的单位是米，而后者的坐标系的单位是厘米。如此，如果直接将三维重建得到的初始点云作为目标点云，就会导致无尺度的目标点云在应用于室内外导航定位时，定位精度不准确的问题。例如，用户实际在地下停车场，电子设备输出的定位结果则是却是用户的位置在某条马路上。

基于此，在本申请实施例中，电子设备可以利用增强现实应用能够获得相机在现实物理场景的第一实时位姿的特点，根据第一实时位姿集和第一重建位姿集，对所述初始点云进行尺度变换，从而得到有尺度的目标点云，进而在目标点云应用于室内外导航定位时，提高导航和定位的准确度。

在一些实施例中，电子设备可以通过如下实施例的步骤204至步骤205实现步骤104；进一步地，电子设备还可以通过如下实施例的步骤304至步骤307实现步骤104；更进一步地，电子设备还可以通过如下实施例的步骤404至步骤414实现步骤104。

在本申请实施例中，电子设备可以通过相机在现实物理场景中采集样本图像，并在现实物理场景中同步采集相机的第一实时位姿；如此，则不需要在现实物理场景中引入人工标定物，仅根据电子设备所采集的数据，即可获得有尺度的目标点云，从而能够更加方便、快捷地实现有尺度的图像处理，并且还可以避免引入额外的材料成本和人力成本。

本申请实施例再提供一种图像处理方法，所述方法可以包括以下步骤201至步骤205：

步骤201，通过电子设备上的相机在现实物理场景中采集N帧样本图像；N为大于0的整数；

步骤202，通过所述电子设备上的增强现实应用，采集所述相机在采集每一所述样本图像时在所述现实物理场景中对应的第一实时位姿，以得到包括N个第一实时位姿的第一实时位姿集；

步骤203，根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述初始点云包括多个采样点的三维重建坐标，所述第一重建位姿集包括每一所述样本图像对应的相机的第一重建位姿；

步骤204，确定所述第一实时位姿集与所述第一重建位姿集之间的位姿变换关系，所述位姿变换关系包括尺度变换关系、旋转关系和平移关系。

在实现时，电子设备可以通过如下实施例的步骤404至步骤412确定两个集合之间的尺度变换关系。

而旋转关系和平移关系，可以通过确定第一实时位姿集与第一重建位姿集之间的刚性平移旋转变换得到。例如以下公式(1)所示，通过最小二乘法求公式(1)的最优解，即可得到旋转关系R和平移关系t。

式中，R和t是从点集P_A(即第一重建位姿集)变换到点集P_B(即第一实时位姿集)的平旋变换，p_i表示点集P_A中的每个元素，q_i表示点集P_B中的每个元素。

步骤205，根据所述位姿变换关系，对所述初始点云中每一所述采样点的三维重建坐标进行变换，得到所述目标点云。

例如，根据如下公式(2)，对初始点云中的第k个采样点的三维重建坐标q_k进行变换，得到q'_k：

q'_k＝s*R*q_k+t (2)；

其中，初始点云中的采样点的数目为n，则k为大于0且小于或等于n的整数。即，每一采样点的三维重建坐标的变换方法相同。式中，s表示尺度变换关系，R表示旋转关系，t表示平移关系。

在一些实施例中，所述第一重建位姿包括第一重建位置和第一重建姿态，电子设备还可以执行以下步骤211至步骤213：

步骤211，根据所述位姿变换关系，对每一所述第一重建位置进行变换，得到第三重建位置。

可以理解地，第一重建位置即为相机的三维重建坐标。变换为第三重建位置的方法与采样点的三维重建坐标的变换方法相同，即参见上式(2)。

步骤212，根据所述位姿变换关系中的旋转关系，对每一所述第一重建姿态进行变换，得到对应的第二重建姿态；

步骤213，将每一所述第三重建位置与对应的第二重建姿态和样本图像作为一组数据，添加至所述目标点云中。

本申请实施例再提供一种图像处理方法，所述方法可以包括以下步骤301至步骤307：

步骤301，通过电子设备上的相机在现实物理场景中采集N帧样本图像；N为大于0的整数；

步骤302，通过所述电子设备上的增强现实应用，采集所述相机在采集每一所述样本图像时在所述现实物理场景中对应的第一实时位姿，以得到包括N个第一实时位姿的第一实时位姿集；

步骤303，根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述初始点云包括多个采样点的三维重建坐标，所述第一重建位姿集包括每一所述样本图像对应的相机的第一重建位姿；

步骤304，对所述第一实时位姿集和所述第一重建位姿集分别进行重新中心化处理，得到第二实时位姿集和第二重建位姿集，所述重新中心化处理用于消除位姿所在坐标系对所述尺度变换关系的确定结果的影响。

可以理解地，受坐标系的影响，如果直接根据第一实时位姿集和第一重建位姿集，确定两者之间的尺度变化关系，得到的结果实际上是不准确的。因此，这里需要分别对这两个集合进行重新中心化处理，重新中心化处理的实现过程，例如如下实施例的步骤404至步骤407。其目的是为了获得更为准确的尺度变换关系。

步骤305，确定所述第二实时位姿集和所述第二重建位姿集之间的尺度变换关系。

例如，可以通过如下实施例的步骤408至步骤412确定第二实时位姿集和第二重建位姿集之间的尺度变换关系。

步骤306，确定所述第二实时位姿集和所述第二重建位姿集之间的旋转关系和平移关系。

可以理解地，根据重新中心化处理后的两个位姿集合，能够获得更为准确的旋转关系和平移关系。

步骤307，根据尺度变换关系、旋转关系和平移关系，对所述初始点云中每一所述采样点的三维重建坐标进行变换，得到所述目标点云。

本申请实施例再提供一种图像处理方法，所述方法可以包括以下步骤401至步骤414：

步骤401，通过电子设备上的相机在现实物理场景中采集N帧样本图像；N为大于0的整数；

步骤402，通过所述电子设备上的增强现实应用，采集所述相机在采集每一所述样本图像时在所述现实物理场景中对应的第一实时位姿，以得到包括N个第一实时位姿的第一实时位姿集；其中，所述第一实时位姿包括第一实时位置；

步骤403，根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述初始点云包括多个采样点的三维重建坐标，所述第一重建位姿集包括每一所述样本图像对应的相机的第一重建位姿；其中，所述第一重建位姿包括第一重建位置；

步骤404，根据N个所述第一实时位置，确定所述第一实时位姿集的中心点的第一中心位置。

在一些实施例中，电子设备将所述N个第一实时位置的平均位置，确定为第一中心位置。举例来说，N个第一实时位置分别为：p₁(x₁,y₁,z₁)、p₂(x₂,y₂,z₂)和p₃(x₃,y₃,z₃)，则第一中心位置为13(x₁+x₂+x₃,y₁+y₂+y₃,z₁+z₂+z₃)。

在另一实施例中，电子设备还可以将所述N个第一实时位置的加权平均值，确定为第一中心位置。

步骤405，根据所述第一中心位置，对每一所述第一实时位置进行处理，得到包括N个第二实时位置的第二实时位姿集。

在一些实施例中，电子设备可以将每一所述第一实时位置与所述第一中心位置之间的差值，确定为对应的第二实时位置。举例来说，第一实时位置为p₁(x₁,y₁,z₁)，第一中心位置为p₀(x₀,y₀,z₀)，则第二实时位置为p₁'(x₁-x₀,y₁-y₀,z₁-z₀)。

在一些实施例中，电子设备还可以将差值与某一特定系数的乘积确定为第二实时位置。

步骤406，根据N个所述第一重建位置，确定所述第一重建位姿集的中心点的第二中心位置；

步骤407，根据所述第二中心位置，对每一所述第一重建位置进行处理，得到包括N个第二重建位置的第二重建位姿集。

需要说明的是，第二中心位置与第一中心位置的确定方法相同，第二重建位置的确定方法与第二实时位置的确定方法相同，因此这里不再重复描述。

步骤408，确定每一所述第二实时位置与所述第一中心位置之间的第一距离。

在一些实施例中，第一距离可以是欧式距离或者余弦相似度等。对应地，第二距离与第一距离的参数类型相同，第一距离是欧式距离时，第二距离也是欧式距离；第一距离是余弦相似度时，第二距离也是余弦相似度。

步骤409，将每一所述第一距离进行累加，得到第一距离之和；

步骤410，确定每一所述第二重建位置与所述第二中心位置之间的第二距离；

步骤411，将每一所述第二距离进行累加，得到第二距离之和；

步骤412，根据所述第一距离之和与所述第二距离之和，确定所述尺度变换关系。

例如，将所述第一距离和与所述第二距离和之间的比值，确定为所述尺度变换关系。

步骤413，确定所述第二实时位姿集和所述第二重建位姿集之间的旋转关系和平移关系；

步骤414，根据尺度变换关系、旋转关系和平移关系，对所述初始点云中每一所述采样点的三维重建坐标进行变换，得到所述目标点云。

基于此，下面将说明本申请实施例在一个实际的应用场景中的示例性应用。

本申请实施例提供一种基于图像三维重建的尺度恢复方法。所述方法能够在室内外大场景中实现较为可靠的、且与现实物理场景等比例的三维结构模型重建。所述方法依赖的设备较少，成本较低，重建精度较高，尺度恢复较为精确，恢复出的有尺度的地图可用于室内外定位导航解决方案中。如图3所示，所述方法主要包括三个部分：数据采集、数据预处理、尺度恢复及平旋变换。

在本申请实施例中，数据采集部分主要是进行现实物理场景的RGB图像采集，以及同步时间戳下的相机的实时位姿采集，然后将采集的数据作为数据预处理的数据输入。如图3所示数据采集部分通过以下步骤S11和步骤S12实现：

S11，利用单目相机进行RGB图像采集；

S12，利用ARCore应用进行同步时间戳下的相机的实时位姿采集，即采集第一实时位姿。

其中，针对S11利用单目相机进行RGB图像采集，这里给出如下解释。RGB图像即为上述实施例所述的样本图像的一种示例。为了使得RGB图像与步骤S12中ARCore记录的相机的实时位姿的时间戳严格对齐，在相机选型上最直接有效的方案就是采用支持ARCore应用的安卓手机的相机。安卓手机可以加载自己编写的数据采集应用程序，通过硬件及软件控制，保证RGB图像和实时位姿数据的同步。因此，在本申请实施例中采用安卓手机进行数据采集。这是因为，大部分手机的相机都是采用精度一般的卷帘快门，在采集RGB图像时不能剧烈运动，否则会使照片产生运动模糊，影响环境重建及尺度恢复效果。

其中，针对S12进行相机的实时位姿采集，这里给出如下解释。ARCore使用了安卓手机自带的惯性测量单元，惯性测量单元可以实时记录手机的加速度和角速度，ARCore根据加速度和角速度数据以及相机和惯性测量单元之间的相对位姿，计算得到相机的实时位姿；然后，通过数据采集应用程序同时记录RGB图像和该时刻下的相机的实时位姿，即可完成S12的同步时间戳下的相机位姿采集。

在本申请实施例中，数据预处理部分主要是通过SFM算法获得现实物理场景的无尺度重建，把ARCore获得的实时位姿数据和重建的位姿数据进行对齐，作为尺度恢复及平旋变换的输入。如图3所示，数据预处理部分可以通过以下步骤S21和步骤S22实现：

S21，根据S11输出的RGB图像数据集进行三维重建，得到初始点云数据和每幅RGB图像对应的第一重建位姿；

S22，将重建位姿和ARCore记录的位姿数据进行数据对齐。

其中，针对S21三维重建的实现方法，这里给出如下解释。SFM算法用于三维重建，例如采用COLMAP进行三维重建。利用COLMAP提供的可执行文件，输入RGB图像数据集，即可重建得到现实物理场景的点云数据以及每张RGB图像对应的重建位姿数据，即第一重建位姿。

其中，针对S22将重建位姿和ARCore记录的实时位姿数据进行数据对齐，这里给出如下解释。通过S21得到的每张RGB图像对应的重建位姿数据并不是按RGB图像时间戳顺序记录的，而ARCore得到的RGB图像对应的实时位姿数据是按照RGB图像时间戳顺序记录的，为了使尺度恢复及平旋变换的输入无误，必须进行RGB图像对应的这两组位姿数据的对齐。对齐过程就是将S21得到的每张RGB图像对应的实时位姿数据按时间戳顺序排序。

在本申请实施例中，尺度恢复及平旋变换部分对数据预处理部分得到的数据进行计算，得到最终的较为可靠的与现实物理场景等比例的三维结构模型重建结果。如图3所示，尺度恢复及平旋变换部分可以通过如下步骤S31和步骤S32实现：

S31，求解两组位姿数据之间的位姿变换关系，所述位姿变换关系包括：尺度变换关系、旋转关系R和平移关系t；

S32，将所述位姿变换关系作用到S21输出的三维重建数据上，得到有尺度信息的三维重建结果。

其中，针对S31求解两组位姿数据之间的位姿变换关系，这里给出如下解释。首先计算尺度变换关系s，然后计算平旋变换R和t。

在一些实施例中，计算尺度变换关系s的方法如下，两组位姿数据可以看作是两个点集，三维重建得到的重建位姿的平移点集记为P_A，ARCore得到的实时位姿的平移点集记为P_B。为了消除坐标系不一致对s的计算结果的影响，需要进行点集重新中心化处理。首先计算两组点集的中心点，点集P表示如下公式(3)所示：

也即，点集P_A包括每一重建位姿中的重建坐标；点集P_B包括每一实时位姿中的实时坐标。

对于P_A和P_B，根据如下公式(4)和(5)分别计算点集的中心点μ_A和μ_B：

式中，N表示点集P_A中包括的重建坐标的数目，点集P_A中的数据数目与点集P_B中的数据数目相等。从上式中可以看出，点集的中心点，即为点集中所有坐标的平均值。例如，点集P中包括坐标点为p₁(x₁,y₁,z₁)、p₂(x₂,y₂,z₂)和p₃(x₃,y₃,z₃)，则该点集P的中心点μ的坐标为

根据如下公式(6)和(7)，把两组点集重新中心化得到新点集P_A′和P_B′：

P_A′＝P_A-μ_A (6)；

P_B′＝P_B-μ_B (7)；

根据如下公式(8)，得到尺度变换关系s：

式中，||P_B′||₂表示新点集P_B′中每一点的坐标与中心点μ_B之间的欧式距离之和，即

||P_A′||₂表示的含义类似，此处不再赘述。

在一些实施例中，计算平旋变换关系，即旋转关系R和平移关系t的方法如下。计算两个点集P_A′和P_B′的刚性平移旋转变换，如以下公式(9)所示，可以转化为一个最小二乘求最优的问题：

其中，R和t是从点集P_A变换到点集P_B的平旋变换，p_i表示点集P_A中的每个元素，q_i表示点集P_B中的每个元素。求上式(9)的最小值，即转化为求式(9)中对R和t导数为0的解。

将上式(9)中的R设为不变量，对t进行求导，同时令F(t)＝(R,t)，求导可得如下式(10)：

令

则可以得出以下式(11)：

将式(11)代入最小二乘表达式(9)，可得如下式(12)：

即可得到如下式(13)：

将上式(13)用矩阵表示形式展开，可得如下式(14)：

由于旋转矩阵R是正交矩阵，有RR^T＝I，同时可知上式(14)中第二、第三项都是标量，标量转置仍然等于标量本身，从而可得如下式(15)：

|Rp_i′-q_i′||₂＝p_i′^Tp_i′-2q_i′^TRp_i′+q_i′^Tq_i′ (15)；

现在问题转化为求上式(15)的最小值，该式中只有一项与R有关，其它两项都是常量，所以问题转化为求其中可变量R的最小值，即如下式(16)所示：

即得下式(17)：

上式中的转换是将累加转换成矩阵相乘，其中R是N×N的对角矩阵，Q′和P′是3×N的矩阵，这些矩阵相乘后的迹就等于等式左边的值。同时，对于矩阵的迹，有如下式(18)所示的变换关系：

上式中由于U、R、V都是正交矩阵，那么M＝V^TRU也是正交矩阵。求M最大迹，且M又是正交矩阵，那么M必然是单位矩阵，即得到如下式(19)：

I＝M＝V^TRU (19)；

从而根据下式(20)得到旋转关系R：

R＝VU^T (20)；

在得到旋转矩阵R后，即可根据下式(21)得到平移向量t：

其中，针对S32将位姿变换关系作用到S21三维重建的数据上，得到有尺度信息的三维重建结果，这里作出如下解释。将S31求解得到的s，R和t作用到三维重建得到的初始点云数据上及重建位姿中的重建位置上，将R作用到重建位姿中的重建姿态上，即可得到有尺度信息的三维重建结果，这样可以将重建的坐标系对齐到ARCore坐标系下，如此，对于基于手机进行大规模室内外建图定位提供了良好的地图数据。

在本申请实施例中，提供了完善的在室内外大场景中实现较为可靠的与真实物理世界等比例的三维结构模型重建解决方案。

在本申请实施例中，提供的三维结构模型重建的解决方案，依赖的设备较少，只依赖普通的安卓移动终端设备即可实现，因此成本较低，重建精度较高，尺度恢复较为精确，恢复出的有尺度的地图，即目标点云，可用于室内外定位导航解决方案中，例如AR导航等。

基于前述的实施例，本申请实施例提供一种图像处理装置，该装置包括所包括的各模块，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图4A为本申请实施例图像处理装置的结构示意图，如图4A所示，所述装置400包括图像采集模块401、位姿获取模块402、三维重建模块403和地图变换模块404，其中：

图像采集模块401，用于在现实物理场景中采集N帧样本图像，N为大于0的整数；

位姿获取模块402，用于获取第一实时位姿集，所述第一实时位姿集包括所述图像采集模块在采集每帧所述样本图像时在所述现实物理场景中的第一实时位姿；

三维重建模块403，用于根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述第一重建位姿集包括每帧所述样本图像对应的图像采集模块的第一重建位姿；

地图变换模块404，用于根据所述第一实时位姿集和所述第一重建位姿集，至少对所述初始点云进行尺度变换，得到目标点云。

在一些实施例中，所述初始点云包括多个采样点的三维重建坐标；地图变换模块404，用于：确定所述第一实时位姿集与所述第一重建位姿集之间的位姿变换关系，所述位姿变换关系包括尺度变换关系、旋转关系和平移关系；根据所述位姿变换关系，对所述初始点云中每一所述采样点的三维重建坐标进行变换，得到所述目标点云。

在一些实施例中，地图变换模块404，用于：对所述第一实时位姿集和所述第一重建位姿集分别进行重新中心化处理，得到第二实时位姿集和第二重建位姿集，所述重新中心化处理用于消除位姿所在坐标系对所述尺度变换关系的确定结果的影响；确定所述第二实时位姿集和所述第二重建位姿集之间的尺度变换关系。

在一些实施例中，所述第一实时位姿包括第一实时位置，所述第一重建位姿包括第一重建位置；地图变换模块404，用于：根据N个所述第一实时位置，确定所述第一实时位姿集的中心点的第一中心位置；根据所述第一中心位置，对每一所述第一实时位置进行处理，得到包括N个第二实时位置的第二实时位姿集；根据N个所述第一重建位置，确定所述第一重建位姿集的中心点的第二中心位置；根据所述第二中心位置，对每一所述第一重建位置进行处理，得到包括N个第二重建位置的第二重建位姿集。

在一些实施例中，地图变换模块404，用于：确定每一所述第二实时位置与所述第一中心位置之间的第一距离；将每一所述第一距离进行累加，得到第一距离之和；确定每一所述第二重建位置与所述第二中心位置之间的第二距离；将每一所述第二距离进行累加，得到第二距离之和；根据所述第一距离之和与所述第二距离之和，确定所述尺度变换关系。

在一些实施例中，所述第一重建位姿包括第一重建位置和第一重建姿态，如图4B所示，所述装置还包括位姿变换模块405和数据添加模块406；其中，位姿变换模块405，用于根据所述位姿变换关系，对每一所述第一重建位置进行变换，得到第三重建位置；根据所述位姿变换关系中的旋转关系，对每一所述第一重建姿态进行变换，得到对应的第二重建姿态；数据添加模块406，用于将每一所述第三重建位置与对应的第二重建姿态和样本图像作为一组数据，添加至所述目标点云中。

在一些实施例中，位姿获取模块402，用于通过所述装置上的惯性测量单元，采集所述装置的加速度和角速度；获取所述图像采集模块401与所述惯性测量单元之间的相对位姿；根据所述加速度、所述角速度和所述相对位置，确定所述第一实时位姿。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例提供一种电子设备，图5为本申请实施例电子设备的一种硬件实体示意图，如图5所示，该电子设备500的硬件实体包括：包括存储器501和处理器502，所述存储器501存储有可在处理器502上运行的计算机程序，所述处理器502执行所述程序时实现上述实施例中提供的图像处理方法中的步骤。

存储器501用于存储由处理器502可执行的指令和应用，还可以缓存待处理器502以及电子设备500中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。

对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的图像处理方法中的步骤。

图6是本申请实施例的芯片的结构示意图。图6所示的芯片600包括处理器610，处理器610可以从存储器中调用并运行计算机程序，以实现本申请实施例中的方法。

可选地，如图6所示，芯片600还可以包括存储器620。其中，处理器610可以从存储器620中调用并运行计算机程序，以实现本申请实施例中的方法。

其中，存储器620可以是独立于处理器610的一个单独的器件，也可以集成在处理器610中。

可选地，该芯片600还可以包括输入接口630。其中，处理器610可以控制该输入接口630与其他设备或芯片进行通信，具体地，可以获取其他设备或芯片发送的信息或数据。

可选地，该芯片600还可以包括输出接口640。其中，处理器610可以控制该输出接口640与其他设备或芯片进行通信，具体地，可以向其他设备或芯片输出信息或数据。

可选地，该芯片可应用于本申请实施例中的电子设备，并且该芯片可以实现本申请实施例的各个方法中由电子设备实现的相应流程，为了简洁，在此不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片，***芯片，芯片***或片上***芯片等。

这里需要指出的是：以上存储介质、芯片和电子设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、芯片和电子设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的图像处理装置的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：

通过电子设备上的相机在现实物理场景中采集N帧样本图像，N为大于0的整数；

获取第一实时位姿集，所述第一实时位姿集包括所述相机在采集每帧所述样本图像时在所述现实物理场景中的第一实时位姿；

根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述第一重建位姿集包括每帧所述样本图像对应的相机的第一重建位姿；

根据所述第一实时位姿集和所述第一重建位姿集的位姿变换关系，至少对所述初始点云进行尺度变换，得到目标点云；

其中，所述第一重建位姿包括第一重建位置和第一重建姿态；

根据所述位姿变换关系，对每一所述第一重建位置进行变换，得到第三重建位置；

根据所述位姿变换关系中的旋转关系，对每一所述第一重建姿态进行变换，得到对应的第二重建姿态；

将每一所述第三重建位置与对应的第二重建姿态和样本图像作为一组数据，添加至所述目标点云中。

2.根据权利要求1所述的方法，其特征在于，所述初始点云包括多个采样点的三维重建坐标；

所述位姿变换关系包括尺度变换关系、旋转关系和平移关系；

根据所述位姿变换关系，对所述初始点云中每一所述采样点的三维重建坐标进行变换，得到所述目标点云。

3.根据权利要求2所述的方法，其特征在于，确定所述第一实时位姿集与所述第一重建位姿集之间的尺度变换关系，包括：

对所述第一实时位姿集和所述第一重建位姿集分别进行重新中心化处理，得到第二实时位姿集和第二重建位姿集，所述重新中心化处理用于消除位姿所在坐标系对所述尺度变换关系的确定结果的影响；

确定所述第二实时位姿集和所述第二重建位姿集之间的尺度变换关系。

4.根据权利要求3所述的方法，其特征在于，所述第一实时位姿包括第一实时位置；

所述对所述第一实时位姿集和所述第一重建位姿集分别进行重新中心化处理，得到第二实时位姿集和第二重建位姿集，包括：

根据N个所述第一实时位置，确定所述第一实时位姿集的中心点的第一中心位置；

根据所述第一中心位置，对每一所述第一实时位置进行处理，得到包括N个第二实时位置的第二实时位姿集；

根据N个所述第一重建位置，确定所述第一重建位姿集的中心点的第二中心位置；

根据所述第二中心位置，对每一所述第一重建位置进行处理，得到包括N个第二重建位置的第二重建位姿集。

5.根据权利要求4所述的方法，其特征在于，所述确定所述第二实时位姿集和所述第二重建位姿集之间的尺度变换关系，包括：

确定每一所述第二实时位置与所述第一中心位置之间的第一距离；

将每一所述第一距离进行累加，得到第一距离之和；

确定每一所述第二重建位置与所述第二中心位置之间的第二距离；

将每一所述第二距离进行累加，得到第二距离之和；

根据所述第一距离之和与所述第二距离之和，确定所述尺度变换关系。

6.根据权利要求1所述的方法，其特征在于，获取所述第一实时位姿，包括：

通过所述电子设备上的惯性测量单元，采集所述电子设备的加速度和角速度；

获取所述相机与所述惯性测量单元之间的相对位姿；

根据所述加速度、所述角速度和所述相对位姿，确定所述第一实时位姿。

7.一种图像处理装置，其特征在于，包括：

图像采集模块，用于在现实物理场景中采集N帧样本图像，N为大于0的整数；

位姿获取模块，用于获取第一实时位姿集，所述第一实时位姿集包括所述图像采集模块在采集每帧所述样本图像时在所述现实物理场景中的第一实时位姿；

三维重建模块，用于根据所述N帧样本图像进行三维重建，得到初始点云和第一重建位姿集；其中，所述第一重建位姿集包括每一所述样本图像对应的所述图像采集模块的第一重建位姿；其中，所述第一重建位姿包括第一重建位置和第一重建姿态；

地图变换模块，用于根据所述第一实时位姿集和所述第一重建位姿集的位姿变换关系，至少对所述初始点云进行尺度变换，得到目标点云；

位姿变换模块，用于根据所述位姿变换关系，对每一所述第一重建位置进行变换，得到第三重建位置；根据所述位姿变换关系中的旋转关系，对每一所述第一重建姿态进行变换，得到对应的第二重建姿态；

数据添加模块，用于将每一所述第三重建位置与对应的第二重建姿态和样本图像作为一组数据，添加至所述目标点云中。

8.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述图像处理方法中的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6任一项所述图像处理方法中的步骤。

Images