CN115150564A - 图像成像方法及装置 - Google Patents

Abstract

本申请涉及图像处理技术领域，具体涉及一种图像成像方法及装置；包括以下方法：基于图像采集装置对待成像物体进行图像采集并在显示终端进行目标图像的成像，包括以下方法：采集所述待成像物体第一图像和第二图像，并提取第一图像数据和第二图像数据；提取所述第一图像数据和所述第二图像数据的特征点坐标建立所述第一图像数据和所述第二图像数据的第一矩阵和第二矩阵；基于所述第一矩阵和所述第二矩阵的映射关系融合所述第一图像和所述第二图像得到目标图像；本实施例提供的方法，能够获得较为清晰的第一图像以及第二图像，并且基于神经网络的方式对第一图像和第二图像进行融合，整体处理成本较低并且获得融合图像的匹配度以及精准度更高。

Description

图像成像方法及装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像成像方法及装置。

背景技术

成像方法及其设备多应用于对应环境以及对应物体的识别技术领域，通过获取对应物体的图像信息实现对于物体的特征检测。而针对于使用场景的不同，在现有的图像识别技术领域，对于获取的图像主要为二维图像以及三维图像的识别，而采用的方式主要为获取对应的二维图像以及对应的三维图像。但在一些特定的图像识别领域或者为了更精确的获得图像识别的结果，仅有二维图像或者三维图像还不够，需要结合二维图像以及三维图像作为整体获得物体的图像信息，从而实现识别以及控制等后续的智能化处理。

发明内容

为了解决以上的技术问题，本申请提供一种基于图像融合技术的图像成像方法与装置，能够实现两种不同维度即二维图像和三维图像的融合，得到能够表征丰富信息的图像，为后续的识别以及图像信息库的建立提供基础条件。

为了达到上述目的，本申请实施例采用的技术方案如下：

一种图像成像方法，基于图像采集装置对待成像物体进行图像采集并在显示终端进行目标图像的成像，包括以下方法：采集所述待成像物体第一图像和第二图像，并提取用于表征所述第一图像特征、所述第二图像特征的第一图像数据和第二图像数据；提取所述第一图像数据和所述第二图像数据的特征点坐标，并建立所述第一图像数据和所述第二图像数据的第一矩阵和第二矩阵；基于所述第一矩阵和所述第二矩阵形成对应的映射关系，基于映射关系融合所述第一图像和所述第二图像得到目标图像；所述图像采集装置包括第一图像采集装置和第二图像采集装置，所述第一图像采集装置用于采集待成像物体的二维图像，所述第二图像采集装置用于采集所述待成像物体的三维图像，所述第一图像特征为像素，所述第二图像特征为点云，所述第一图像数据为像素坐标，所述第二图像数据为点云坐标。

在第一方面的第一种可实现方式中，采集所述待成像物体第一图像和第二图像，并提取用于表征所述第一图像特征、所述第二图像特征的第一图像数据和第二图像数据，包括：采集多个第一图像和多个第二图像，并提取用于表征多个所述第一图像、所述第二图像特征的多个第一图像数据和多个第二图像数据；对多个所述第一图像数据和多个所述第二图像数据进行降噪处理，得到降噪后的第一图像数据和降噪后的第二图像数据；采集多个第一图像和多个第二图像包括基于相同的时间间隔采集不同时间段的多个第一图像和多个第二图像。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，对多个所述第一图像数据进行降噪处理，包括：对多个所述第一图像中的每个对应的第一图像特征进行均值处理得到去除多个第一图像特征中的随机噪音，具体包括：对多个所述第一图像中的同一位置的像素值进行相加，再除以多个所述第一图像的数量值，获取像素值均值，取像素值均值对应的像素点构成的新的第一图像作为降噪后的第一图像。

结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，对多个所述第二图像数据进行降噪处理，包括：针对多个所述第二图像数据确定初始降噪图像数据；基于所述初始降噪图像数据确定对应的点云坐标特征，所述点云坐标特征包括：该点云坐标与邻近的每个其他点云点之间的空间分布差异特征； 基于所述点云坐标特征，确定所述第二图像特征中的噪点； 根基于所述噪点，对所述第二图像数据进行降噪。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，针对多个所述第二图像数据确定初始降噪图像数据，包括：获取多个所述第二图像数据中每一点云点对应的多个激光反射率，对多个所述激光反射率进行均值处理，并基于均值处理后的点云点构成新的第二图像为初始降噪图像，具体包括：对多个所述第二图像数据中的多个点云点的激光反射率进行相加，再除以多个所述第二图像的数量值，获取激光反射率均值，取激光反射率值均值对应的点云点构成的新的第二图像为初始降噪图像数据。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，基于所述初始降噪图像数据确定对应的点云坐标特征，包括：根据所述初始降噪图像数据，确定所述每个其他点云点对应的激光反射率以及该点云点对应的激光反射率；根据所述每个其他点云点对应的激光反射率，以及该点云点对应的激光反射率，确定该点云点与所述每个其他点云点之间在激光反射率上的空间分布差异特征。

结合第一方面的第三种可能的实现方式，在第六种可能的实现方式中，基于所述点云坐标特征，确定所述第二图像特征中的噪点，包括以下方法：针对所述第二图像数据中的每个点云点，若确定该点云点对应的点云点特征的特征值未落入设定特征值范围内，识别该点云点为噪点。

在第一方面的第七种可实现方式中，基于所述第一矩阵和所述第二矩阵形成对应的映射关系，基于映射关系融合所述第一图像和所述第二图像得到目标图像，包括以下方法：建立像素坐标点和点云坐标点一一对应的矩阵作为训练集；设置初始训练模型；基于所述训练集及所述初始训练模型进行训练，得到目标训练模型；基于所述目标训练模型对所述第一图像和所述第二图像进行融合。

结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述初始训练模型结构为神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为点云坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；所述初始训练模型包括静态标定的外参矩阵以及内参矩阵；基于所述训练集及所述初始训练模型进行训练，得到目标训练模型，包括：基于所述训练集、所述静态标定的外参矩阵和所述内参矩阵进行训练直至所述神经网络收敛，得到收敛后的神经网络中的目标外参矩阵； 基于所述目标外参矩阵对三维点云和二维图像进行融合。

第二方面，一种图像成像装置，包括：采集模块，用于采集待成像物体第一图像和第二图像，并提取用于表征所述第一图像特征、所述第二图像特征的第一图像数据和第二图像数据；矩阵建立模块，用于提取所述第一图像数据和所述第二图像数据的特征点坐标，并建立所述第一图像数据和所述第二图像数据的第一矩阵和第二矩阵；融合模块，用于基于所述第一矩阵和所述第二矩阵形成对应的映射关系，基于映射关系融合所述第一图像和所述第二图像得到目标图像。

本申请实施例提供的技术方案中，通过获取待采集对象的二维图像以及三维图像，并且针对采集到的的二维图像以及三维图像进行降噪处理，实现对于二维图像和三维图像中噪音的消除，获得清晰且未失真的二维图像和三维图像；并且针对降噪后的二维图像以及三维图像通过训练模型实现二维图像以及三维图像的融合。本实施例提供的图像成像方法，能够获得较为清晰的第一图像以及第二图像，并且基于神经网络的方式对第一图像和第二图像进行融合，整体处理成本较低并且获得融合图像的匹配度以及精准度更高。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图中的方法、***和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字在附图的各个视图中代表相似的机构。

图1是本申请实施例提供的终端设备的结构示意图。

图2是本申请的一些实施例所示的图像成像方法的流程图。

图3是根据本申请实施例提供的图像成像装置方框示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

在下面的详细描述中，通过实例阐述了许多具体细节，以便提供对相关指导的全面了解。然而，对于本领域的技术人员来说，显然可以在没有这些细节的情况下实施本申请。在其他情况下，公知的方法、程序、***、组成和/或电路已经在一个相对较高水平上被描述，没有细节，以避免不必要的模糊本申请的方面。

本申请中使用流程图说明根据本申请的实施例的***所执行的执行过程。应当明确理解的是，流程图的执行过程可以不按顺序执行。相反，这些执行过程可以以相反的顺序或同时执行。另外，可以将至少一个其他执行过程添加到流程图。一个或多个执行过程可以从流程图中删除。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

（1）响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

（2）基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。

（3）卷积神经网络，是一种模仿生物神经网络(动物的中枢神经***，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。

（4）内参矩阵，是图像采集技术中的专业用语，是将3D相机坐标变换到2D齐次图像坐标。

（5）外参矩阵，外参矩阵描述的是世界坐标中相机的位置，及其指向方向。有两个成分：旋转矩阵R和平移向量t。它们并非恰好对应相机的旋转和平移。

本申请实施例提供的技术方案，主要通过采集二维图像以及三维点云图像，并且将采集到的二维图像和采集到的三维点云图像进行融合得到最终的目标图像。通过这样的处理，能够获得不仅能够表征三维结构的图像，还能够通过基于二维图像对三维图像进行标记，实现了空间和环境的融合，为后续针对于获取的图像进行识别和应用提供了较为详细的图像数据。针对于二维图像和三维图像的融合主要基于二维图像以及三维图像中对应的像素坐标和点云坐标，通过像素坐标以及点云坐标形成的矩阵建立映射关系，并基于映射关系建立一一对应的训练集，基于训练集使用神经网络结构的初始训练模型进行训练，针对于神经网络的训练结果为神经网络为收敛状态，基于收敛状态的神经网络调整神经网络中的权重值，从而得到最终的训练模型。而在本实施例中，神经网络中待调节的权重值为外参矩。并且在本实施例中，在进行二维图像和三维图像进行融合之前，需要对二维图像和三维图像进行降噪处理，降低图像采集设备在采集二维图像以及三维图像过程中的失真问题，提高了图像融合过程的精确度以及图像融合后整体成像结果的清晰度。在本实施例中，对于图像采集实现的设备为至少一个采集二维图像的图像采集装置，可以为相机，以及至少一个采集三维图像的图像采集装置，可以为激光雷达设备。并且，在本实施例中针对于激光雷达设备可以为配置有多个激光器的装置。

本申请实施例提供一种终端设备100，该终端设备包括存储器110、处理器120以及存储在存储器中并可在处理器上运行的计算机程序，其中处理器执行图像成像方法，对二维图像以及三维图像进行融合，得到最终的成像图像。在本实施例中，该终端设备可以与用户端进行通信，将获取到的图像发送至对应的用户端，在硬件上实现对于采集到的图像的发送。其中，针对于发送图像的方式基于网络实现，并且在终端设备进行应用之前需要对用户端与终端设备建立关联关系，可以通过注册的方式实现对于终端设备与用户端之间的关联。其中终端设备可以针对多个用户端，也可以针对一个用户端，并且用户端通过密码以及其他加密的方式与终端设备进行通信。

在本实施例中，该终端可以为服务器，针对于服务器的物理结构，包括存储器、处理器和通信单元。存储器、处理器以及通信单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器用于存储特定的信息和程序，通信单元用于将处理后的信息进行发送至对应的用户端。

本实施例将存储模块划分为两个存储区域，其中一个存储区为程序存储单元，另一个存储区域为数据存储单元。程序存储单元相当于固件区，该区域的读写权限设置为只读模式，其内存储的数据不可擦除和更改。而数据存储单元中的数据可以进行擦除或读写，当数据存储区域的容量已满时，新写入的数据会对最早期的历史数据进行覆盖。

其中，存储器可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-OnlyMemory，PROM），可擦除只读存储器（Erasable Programmable Read-Only Memory，EPROM），电可擦除只读存储器（Ele超声ric Erasable Programmable Read-Only Memory，EEPROM）等。

处理器可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器（DSP)）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图2，在本实施例中，针对于图像成像方法，其工作逻辑为，获取待采集对象的二维图像以及三维图像，并且针对采集到的的二维图像以及三维图像进行降噪处理，实现对于二维图像和三维图像中噪音的消除，获得清晰且未失真的二维图像和三维图像；并且针对降噪后的二维图像以及三维图像通过训练模型实现二维图像以及三维图像的融合。本实施例中的二维图像和三维图像可以为尺寸较小的图像，也可以包括尺寸较大的图像。针对于待采集对象的尺寸，从而配置的采集设备也可以不同。例如针对于尺寸较大的图像，例如建筑物无法通过现有的方式进行图像的采集，可以通过配置有本实施例中的终端设备的无人机进行沿一定预设路径的图像采集，而针对于大尺寸的图像采集因为无法一次性的图像采集，需要对采集后的图像进行拼接，得到拼接后的二维图像和三维图像，再针对于拼接后的二维图像以及三维图像通过降噪的方式进行降噪处理，再将降噪后的二维图像以及三维图像通过训练模型进行二维图像以及三维图像的融合。因为针对于图像的拼接不属于本实施例中主要的技术发明点，在本实施例中针对于二维图像以及三维图像的拼接过程不进行详细的描述。而针对于尺寸较小的待采集对象，其对应的采集装置的尺寸也针对性较小，例如在某些光学检测设备上，通过采集二维图像、三维图像并且基于二维图像以及三维图像进行融合得到的图像进行某些光学检测，则对应的采集装置配置在相应的产线上，其采集装置可以为现有的二维图像采集设备即相机，以及三维图像采集设备即激光采集装置，在本实施例中针对于这两种装置不进行详细的描述。在其他实施例中，例如在运动的小尺寸场景中，例如在无人驾驶的车辆上配置的终端设备，其采集的图像是在运动场景下，针对于二维图像采集装置安装于车辆顶部或车辆较为稳定的位置，同样的三维图像采集装纸安装于相同的位置，与二维图像采集装置在水平方向以及光学信号发射的位置处于相同的直线，并且针对于场景下的三维图像采集装置为激光雷达。

因为在本实施例中，图像采集装置并非为发明点，所以仅针对使用场景下的图像采集装置的类别进行说明，但不针对图像采集装置的具体结构以及原理进行说明。并且，在本实施例中所保护的对象为一种终端设备，在此终端设备上配置有图像成像方法，基于采集到二维图像和三维图像做具体的处理得到对应的目标图像。

针对于本实施例提供的工作逻辑提供一种图像成像方法，参阅图2做详细的说明。

参阅图2，本实施例提供的图像成像方法，响应于图像采集装置对待成像物体进行图像采集并在显示终端进行目标图像的成像，具体包括以下方法：

步骤S210. 采集所述待成像物体第一图像和第二图像。

在本实施例中，针对于第一图像和第二图像的采集基于两个不同的图像采集装置实现，根据上述的工作逻辑，其图像采集装置包括至少一个第一图像采集装置和至少一个第二图像采集装置，分别采集第一图像和第二图像。但值得注意的是，本实施例中的第一图像采集装置和第二图像采集装置被配置为在相同并处于同一直线上的光源位置，即第一图像采集装置和第二图像采集装置配置的位置相同，所采集的第一图像和第二图像的图像位置也相同，即二者可以是独立在相同空间内配置也可以为整体配置，执行不同图像的采集命令。

在本实施例中，第一图像为二维图像，第二图像为三维图像。

针对于此步骤，还包括基于采集到的第一图像和第二图像提取第一图像的第一图像数据以及第二图像的第二图像数据。其中，第一图像数据用于表征第一图像特征，第二图像数据用于表征第二图像特征。在本实施例中，针对于第一图像数据，因为第一图像为二维图像，所以第一图像数据为像素坐标，第一图像特征为像素；针对于第二图像数据，因为第二图像为三维图像，所以第二图像数据为点云坐标，第二图像特征为点云。在本实施例中，像素坐标以及点云坐标用于说明第一图像以及第二图像的特征的详细坐标，针对于像素坐标以及点云坐标的确定基于图像采集装置来实现，在第一图像、第二图像对应的图像采集装置即第一图像采集装置和第二图像采集装置通过基于世界坐标实现对于第一图像以及第二图像的坐标进行标注，在本实施例中针对于标注采用半自动的方式提取坐标对，第一图像中提取的较佳区域为纹理丰富，并且包含静态点和动态点的区域。在其他实施例中，还可以采取其他的标注手段进行坐标的提取，还可以通过机器学习的方式或者构建数据库的方式实现对于坐标的提取，在本实施例中不再进行详细的描述。

但在本实施例中实现对于坐标的获取之前，还包括：

步骤S220.对第一图像以及第二图像进行降噪处理。

在本实施例中，针对于降噪处理包括以下方法：

采集多个第一图像和多个第二图像，并提取用于表征多个所述第一图像、所述第二图像特征的多个第一图像数据和多个第二图像数据。

在本实施例中，在进行降噪处理中需要获得的图像为多个图像，即多个第一图像和多个第二图像，通过对多个采集到的第一图像和第二图像通过降噪方法降噪得到最终的降噪后的第一图像和第二图像。而通过设置采集多个第一图像和第二图像主要是基于第一图像和第二图像的图像性质，从而获得多个第一图像以及多个第二图像中噪音的识别。

并且，在本实施例中，针对于多个第一图像和多个第二图像的获取其采集逻辑为：基于相同的时间间隔采集不同时间段的多个第一图像和多个第二图像。针对于此过程，主要实现不同时间段内的第一图像和第二图像的变化，基于多个时间段不同下的多个第一图像以及多个第二图像的差异，从而获得对第一图像和第二图像进行处理，得到降噪后的第一图像和降噪后的第二图像。而针对于设置不同时间段采集的第一图像和第二图像中的时间段的间隔设置，可以基于图像采集环境以及对象进行确定，例如对于小尺寸的待采集对象，其时间间隔设置的时间较短，且设置的采集时间段可以设置较少的时间段，如此设置为了保证图像采集的时间成本以及图像成像的时间成本。因为，针对于小尺寸的图像成像往往应用在较为精确控制的环境下，对于时间的要求较高。而针对于大尺寸待采集对象的时间段以及时间间隔可以设置的相对较长，因为在对大尺寸物体进行成像的过程本身对于时间的成本要求较低。本实施例中，通过设置不同的时间间隔以及时间段实现多个第一图像以及多个第二图像的采集，能够基于第一图像以及第二图像的性质，实现对于第一图像以及第二图像的噪音的识别，并且基于识别到的噪音进行降噪的处理，此方法的过程较为简单，不需要配置较为复杂的算法以及配置较为复杂的降噪部件即可实现。

而针对于第一图像以及第二图像的降噪处理，在本实施例中分别进行详细的描述。

具体为，在本实施例中，针对于第一图像的降噪处理，包括以下方法：

对多个所述第一图像数据进行降噪处理，包括对多个所述第一图像中的每个对应的第一图像特征进行均值处理得到去除多个第一图像特征中的随机噪音。本实施例中，针对于噪音的处理基于随机噪音的获得，而针对于随机噪音的获得基于第一图像特征进行均值处理，而针对于第一图像特征为像素，具体为在本实施例此步骤的处理过程中第一图像特征为对应的像素值。具体包括以下方法：

因为本实施例中进行降噪处理为基于多个第一图像，所以处理过程为对多个所述第一图像中的同一位置的像素值进行相加，再除以多个所述第一图像的数量值，获取像素值均值，取像素值均值对应的像素点构成的新的第一图像作为降噪后的第一图像。

本实施例通过对多个第一图像的随机噪音进行均值化处理，具有处理结果快速，满足了在此场景下的噪音处理后的第一图像的获得。虽然均值化处理获得的噪音并非完整且具有较高准确度，但仍然能够满足在此场景下的应用。

在本实施例中，针对于第二图像的降噪处理，同样基于获取到的多个第二图像以及多个第二图像对应的第二图像数据，具体包括以下方法：

针对多个所述第二图像数据确定初始降噪图像数据。

基于所述初始降噪图像数据确定对应的点云坐标特征，在本实施例中，针对于所述点云坐标特征包括为该点云坐标与邻近的每个其他点云点之间的空间分布差异特征。

基于所述点云坐标特征，确定所述第二图像特征中的噪点。在本实施例中，基于任一点云坐标与该邻近的每个其他点云之间的空间分布差异，确定第二图像特征中的噪音。其中针对于此步骤中的针对多个第二图像数据确定初始降噪图像数据基于以下方法：获取多个所述第二图像数据中每一点云点对应的多个激光反射率，对多个所述激光反射率进行均值处理，并基于均值处理后的点云点构成新的第二图像为初始降噪图像。在本实施例中，主要通过点云中的激光反射率来实现对于初始降噪图像数据的获得，而具体的处理过程为：

对多个所述第二图像数据中的多个点云点的激光反射率进行相加，再除以多个所述第二图像的数量值，获取激光反射率均值，取激光反射率值均值对应的点云点构成的新的第二图像为初始降噪图像数据。同样的，在本实施例中，处理的过程同样为基于特征均值来实现，而与第一图像不同在于，此步骤针对于第二图像的特征均值为三维图像中的激光反射率来实现。

而在此步骤中，针对于基于所述初始降噪图像数据确定对应的点云坐标特征，包括：

根据所述初始降噪图像数据，确定所述每个其他点云点对应的激光反射率以及该点云点对应的激光反射率。根据所述每个其他点云点对应的激光反射率，以及该点云点对应的激光反射率，确定该点云点与所述每个其他点云点之间在激光反射率上的空间分布差异特征。

而针对于以上处理过程，确定了点云坐标特征后，实现对于第二图像特征中的噪点的确定，包括以下方法：针对所述第二图像数据中的每个点云点，若确定该点云点对应的点云点特征的特征值未落入设定特征值范围内，识别该点云点为噪点。在本实施例中，设定特征值范围内可以通过先前的经验数据获得，也可以通过设置深度学习算法实现范围的获取。因为在本实施例中，这对于特征值范围不属于本实施例中主要的保护对象，则不需要进行详细描述，可以利用现有的阈值获取方法进行获得。

在步骤S220中，通过对第一图像以及第二图像分别进行降噪处理，得到对应的降噪处理后的第一图像和降噪处理后的第二图像，并基于降噪处理后的第一图像和降噪处理后的第二图像实现后续的第一图像以及第二凸显搞的融合。

步骤S230. 提取所述第一图像数据和所述第二图像数据的特征点坐标，并建立所述第一图像数据和所述第二图像数据的第一矩阵和第二矩阵。

在本实施例中，在步骤S230中第一图像数据和第二图像数据分别为降噪后的第一图像的第一图像数据以及降噪后的第二图像的第二图像数据。通过获取降噪后的第一图像的第一图像数据以及降噪后的第二图像的第二图像数据中的特征点坐标，并建立降噪后的第一图像数据和降噪后的第二图像数据的第一矩阵和第二矩阵。其中，特征点坐标分别为第一图像数据对应的像素坐标以及第二图像数据对应的点云坐标。

基于像素坐标以及点云坐标建立第一矩阵和第二矩阵。在本实施例中，针对于矩阵的建立基于像素坐标和点云坐标实现，属于现有技术，针对于矩阵的建立不需要进行详细的描述。

步骤S240. 基于所述第一矩阵和所述第二矩阵形成对应的映射关系，基于映射关系融合所述第一图像和所述第二图像得到目标图像。

在本实施例中，针对于第一矩阵和第二矩阵进行映射关系，实现像素坐标以及点云坐标的对应，并且基于像素坐标以及点云坐标的对应关系融合第一图像和第二图像获得目标图像，即融合有二维图像和三维图像的目标图像。

而针对于此过程实现融合的方法基于人工智能的方法获得对应的训练模型，基于训练模型实现第一图像和第二图像的融合。

具体为：

建立像素坐标点和点云坐标点一一对应的矩阵作为训练集。

设置初始训练模型。

基于所述训练集及所述初始训练模型进行训练，得到目标训练模型。

基于所述目标训练模型对所述第一图像和所述第二图像进行融合。

在本实施例中，针对于构建神经网络结构，首先框架的基准以回归正确的参数为目的，训练数据集为像素坐标点和雷达点云坐标点一一对齐的N*N矩阵。网络结构设计为类似分割网络，输入为图像，输出为等尺寸的点云。网络的权重为外参矩阵形式，初始值初始化为初始标定的外参矩阵。

在本实施例中，该网络主要由矩阵乘积核(初始化第二层为初始外参矩阵，第三层内参矩阵保持不变不做反向传播)和矩阵乘积层(第一层输入层，第二层输入层和外参矩阵计算后的特征层，第三层上述特征层和内参核计算后的特征层)部分组成。

该方法以外参矩阵的乘积为基础，不同于常规的卷积神经网络，本发明根据外参矩阵和图像像素与点云体素之间的关系符合乘积规律，采用的乘积核做矩阵乘积运算，不同于常规的卷积神经网络用卷积核做卷积运算。

在本实施例中，第一层是输入层，点云体素组成的矩阵，第二层是经过点云体素矩阵和外参矩阵乘积后的特征层，第三层是第二层特征矩阵和内参矩阵乘积获得的输出层，像素坐标矩阵。本发明采用梯度下降法进行网络的反向传播，来优化外参矩阵，第三层参数不随训练次数改变，学习率为0。并且用静态标定的外参矩阵作为初始值开始训练模型。

本实施例基于训练后的目标训练模型实现对于二维图像和三维图像的融合，可以获得更加精确的投影位置，及获得了更优的外参矩阵，实现融合的效果的精确度。

参阅图3，本实施例还提供一种图像成像装置300，包括：采集模块310，用于采集待成像物体第一图像和第二图像，并提取用于表征所述第一图像特征、所述第二图像特征的第一图像数据和第二图像数据。矩阵建立模块320，用于提取所述第一图像数据和所述第二图像数据的特征点坐标，并建立所述第一图像数据和所述第二图像数据的第一矩阵和第二矩阵。融合模块330，用于基于所述第一矩阵和所述第二矩阵形成对应的映射关系，基于映射关系融合所述第一图像和所述第二图像得到目标图像。

本申请实施例提供的技术方案中，通过获取待采集对象的二维图像以及三维图像，并且针对采集到的的二维图像以及三维图像进行降噪处理，实现对于二维图像和三维图像中噪音的消除，获得清晰且未失真的二维图像和三维图像；并且针对降噪后的二维图像以及三维图像通过训练模型实现二维图像以及三维图像的融合。本实施例提供的图像成像方法，能够获得较为清晰的第一图像以及第二图像，并且基于神经网络的方式对第一图像和第二图像进行融合，整体处理成本较低并且获得融合图像的匹配度以及精准度更高。

需要理解的是，针对上述内容没有进行名词解释的技术术语，本领域技术人员可以根据上述所公开的内容进行前后推导毫无疑义地确定其所指代的含义在此均不作限定。

本领域技术人员可以根据上述已公开的内容毫无疑义对一些预设的、基准的、预定的、设定的以及偏好标签的技术特征/技术术语进行确定，例如阈值、阈值区间、阈值范围等。对于一些未作解释的技术特征术语，本领域技术人员完全能够基于前后文的逻辑关系进行合理地、毫无疑义地推导，从而清楚、完整地实施上述技术方案。未作解释的技术特征术语的前缀，例如“第一”、“第二”、“示例”、 “目标”等，可以根据前后文进行毫无疑义地推导和确定。未作解释的技术特征术语的后缀，例如“集合”、“列表”等，也可以根据前后文进行毫无疑义地推导和确定。

本申请实施例公开的上述内容对于本领域技术人员而言是清楚完整的。应当理解，本领域技术人员基于上述公开的内容对未作解释的技术术语进行推导和分析的过程是基于本申请所记载的内容进行的，因此上述内容并不是对整体方案的创造性的评判。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可以对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定术语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同部分两次或多次提到的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的至少一个实施例中的某些特征、结构或特点可以进行适当的组合。

另外，本领域普通技术人员可以理解的是，本申请的各个方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可以被称为“单元”、“组件”或“***”。此外，本申请的各方面可以表现为位于至少一个计算机可读介质中的计算机产品，所述产品包括计算机可读程序编码。

计算机可读信号介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读信号介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤缆线、RF、或类似介质、或任何上述介质的组合。

本申请各方面执行所需的计算机程序码可以用一种或多种程序语言的任意组合编写，包括面向对象程序设计，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET，Python等，或类似的常规程序编程语言，如"C"编程语言，Visual Basic，Fortran2003，Perl，COBOL 2002，PHP，ABAP，动态编程语言如Python，Ruby和Groovy或其它编程语言。所述程式设计编码可以完全在用户计算机上执行、或作为独立的软体包在用户计算机上执行、或部分在用户计算机上执行部分在远程计算机执行、或完全在远程计算机或服务器上执行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网络(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非申请专利范围中明确说明，本申请所述处理元件和序列的顺序、数位字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的申请专利范围并不仅限于披露的实施例，相反，申请专利范围旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件装置实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或行动装置上安装所描述的***。

同样应当理解的是，为了简化本申请揭示的表述，从而帮助对至少一个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (10)

1.一种图像成像方法，其特征在于，基于图像采集装置对待成像物体进行图像采集并在显示终端进行目标图像的成像，包括以下方法：

采集所述待成像物体第一图像和第二图像，并提取用于表征所述第一图像特征、所述第二图像特征的第一图像数据和第二图像数据；

提取所述第一图像数据和所述第二图像数据的特征点坐标，并建立所述第一图像数据和所述第二图像数据的第一矩阵和第二矩阵；

基于所述第一矩阵和所述第二矩阵形成对应的映射关系，基于映射关系融合所述第一图像和所述第二图像得到目标图像；

所述图像采集装置包括第一图像采集装置和第二图像采集装置，所述第一图像采集装置用于采集待成像物体的二维图像，所述第二图像采集装置用于采集所述待成像物体的三维图像，所述第一图像特征为像素，所述第二图像特征为点云，所述第一图像数据为像素坐标，所述第二图像数据为点云坐标。

2.根据权利要求1所述的图像成像方法，其特征在于，采集所述待成像物体第一图像和第二图像，并提取用于表征所述第一图像特征、所述第二图像特征的第一图像数据和第二图像数据，包括：

采集多个第一图像和多个第二图像，并提取用于表征多个所述第一图像、所述第二图像特征的多个第一图像数据和多个第二图像数据；

对多个所述第一图像数据和多个所述第二图像数据进行降噪处理，得到降噪后的第一图像数据和降噪后的第二图像数据；

采集多个第一图像和多个第二图像包括基于相同的时间间隔采集不同时间段的多个第一图像和多个第二图像。

3.根据权利要求2所述的图像成像方法，其特征在于，对多个所述第一图像数据进行降噪处理，包括：

对多个所述第一图像中的每个对应的第一图像特征进行均值处理得到去除多个第一图像特征中的随机噪音，具体包括：

对多个所述第一图像中的同一位置的像素值进行相加，再除以多个所述第一图像的数量值，获取像素值均值，取像素值均值对应的像素点构成的新的第一图像作为降噪后的第一图像。

4.根据权利要求2所述的图像成像方法，其特征在于，对多个所述第二图像数据进行降噪处理，包括：

针对多个所述第二图像数据确定初始降噪图像数据；

基于所述初始降噪图像数据确定对应的点云坐标特征，所述点云坐标特征包括：该点云坐标与邻近的每个其他点云点之间的空间分布差异特征；

基于所述点云坐标特征，确定所述第二图像特征中的噪点；

根基于所述噪点，对所述第二图像数据进行降噪。

5.根据权利要求4所述的图像成像方法，其特征在于，针对多个所述第二图像数据确定初始降噪图像数据，包括：

获取多个所述第二图像数据中每一点云点对应的多个激光反射率，对多个所述激光反射率进行均值处理，并基于均值处理后的点云点构成新的第二图像为初始降噪图像，具体包括：

对多个所述第二图像数据中的多个点云点的激光反射率进行相加，再除以多个所述第二图像的数量值，获取激光反射率均值，取激光反射率值均值对应的点云点构成的新的第二图像为初始降噪图像数据。

6.根据权利要求5所述的图像成像方法，其特征在于，基于所述初始降噪图像数据确定对应的点云坐标特征，包括：

根据所述初始降噪图像数据，确定所述每个其他点云点对应的激光反射率以及该点云点对应的激光反射率；

根据所述每个其他点云点对应的激光反射率，以及该点云点对应的激光反射率，确定该点云点与所述每个其他点云点之间在激光反射率上的空间分布差异特征。

7.根据权利要求4所述的图像成像方法，其特征在于，基于所述点云坐标特征，确定所述第二图像特征中的噪点，包括以下方法：

针对所述第二图像数据中的每个点云点，若确定该点云点对应的点云点特征的特征值未落入设定特征值范围内，识别该点云点为噪点。

8.根据权利要求1所述的图像成像方法，其特征在于，基于所述第一矩阵和所述第二矩阵形成对应的映射关系，基于映射关系融合所述第一图像和所述第二图像得到目标图像，包括以下方法：

建立像素坐标点和点云坐标点一一对应的矩阵作为训练集；

设置初始训练模型；

基于所述训练集及所述初始训练模型进行训练，得到目标训练模型；

基于所述目标训练模型对所述第一图像和所述第二图像进行融合。

9.根据权利要求8所述的图像成像方法，其特征在于，所述初始训练模型结构为神经网络结构，所述神经网络结构包括输入层、外参乘积层、内参乘积层，所述输入层为点云坐标矩阵，所述外参乘积层权重为外参矩阵，所述内参乘积层权重为内参矩阵；

所述初始训练模型包括静态标定的外参矩阵以及内参矩阵；

基于所述训练集及所述初始训练模型进行训练，得到目标训练模型，包括：基于所述训练集、所述静态标定的外参矩阵和所述内参矩阵进行训练直至所述神经网络收敛，得到收敛后的神经网络中的目标外参矩阵；

基于所述目标外参矩阵对三维点云和二维图像进行融合。

10.一种图像成像装置，其特征在于，包括：

采集模块，用于采集待成像物体第一图像和第二图像，并提取用于表征所述第一图像特征、所述第二图像特征的第一图像数据和第二图像数据；

矩阵建立模块，用于提取所述第一图像数据和所述第二图像数据的特征点坐标，并建立所述第一图像数据和所述第二图像数据的第一矩阵和第二矩阵；

融合模块，用于基于所述第一矩阵和所述第二矩阵形成对应的映射关系，基于映射关系融合所述第一图像和所述第二图像得到目标图像。

Images