CN114493967A - 图像获取装置及方法、图像处理装置及方法、图像处理*** - Google Patents

Abstract

本申请提供一种图像获取装置及方法、图像处理装置及方法、图像处理***。所述图像获取装置包括：经过融合标定后的点云采集模块和图像采集模块，所述点云采集模块用于获取目标物体的三维点云数据；所述图像采集模块用于获取目标物体的图像数据。所述图像处理装置包括：数据获取模块，用于分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；基准信息获取模块，用于基于所述图像数据获取目标物体的基准信息；尺寸信息获取模块，用于基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。本申请的方法及装置有效地降低了了车辆轮廓尺寸测量的成本，并提高了测量的效率及精度。

Description

图像获取装置及方法、图像处理装置及方法、图像处理***

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像获取装置及方法、图像处理装置及方法、图像处理***。

背景技术

近些年来货运车辆事故频发，主要原因在于车辆司机改装以及超载，因此国家实施的《道路车辆外廓尺寸、轴荷及质量限值》以及《营运车辆综合性能要求和检测方法》都对车辆的检测有了明确的规定，要求对货运车辆的尺寸参数进行检验，车辆结构不得任意改造等。

目前工业环境下对货车的检验主要分为人工测量和激光雷达扫描两种方式。第一种方式中，采用人工拉尺的方法进行手动测量，其劳动强度大，效率低下以及误差较大前者效率较低，误差较大。第二种方式中，对环境比较鲁棒，不易受干扰，但价格昂贵，点云稀疏，只有几何结构信息，后续处理难度较大。并且，在车辆检验中，最新的国标还需要同时对车辆的轮子、栏板以及车厢等各个组件进行测量，但是激光雷达获取的三维点云，只具有几何信息，没有较为鲁棒的形态学信息，无法有效的对各个部件进行准确分割，进而导致后续的测量工作难度极高。

因此，如何自动且高效地实现车辆轮廓尺寸的测量就成为本领域技术人员亟待解决的问题之一。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种图像获取装置及方法、图像处理装置及方法、图像处理***，用于解决现有技术中车辆轮廓尺寸测量成本高、精度低的问题。

为实现上述目的及其他相关目的，本申请的第一方面，提供一种图像获取装置，所述图像获取装置包括：经过融合标定后的点云采集模块和图像采集模块，所述点云采集模块用于获取目标物体的三维点云数据；所述图像采集模块用于获取目标物体的图像数据。

在本申请第一方面的某些实施方式中，所述点云采集模块包括：至少两个点云采集单元，所述至少两个点云采集单元分别用于从目标物体的第一侧面和顶面获取所述目标物体的三维点云数据。

在本申请第一方面的某些实施方式中，所述图像采集模块从目标物体的第一侧面获取目标物体的图像数据。

在本申请第一方面的某些实施方式中，所述点云采集模块包括激光雷达；所述图像采集模块包括单目相机。

本申请的第二方面，提供一种图像获取方法，所述图像获取方法包括：

对点云采集模块和图像采集模块进行融合标定；

通过点云采集模块获取目标物体的三维点云数据；

通过图像采集模块获取目标物体图像数据。

在本申请第二方面的某些实施方式中，所述点云采集模块包括：至少两个点云采集单元，所述至少两个点云采集单元分别从目标物体的第一侧面和顶面获取所述目标物体的三维点云数据。

在本申请第二方面的某些实施方式中，所述图像采集模块从目标物体的第一侧面获取目标物体的图像数据。

在本申请第二方面的某些实施方式中，所述对点云采集模块和图像采集模块进行融合标定的步骤包括：

分别通过所述点云采集模块和图像采集模块获取标定物体的三维点云数据和图像数据；

分别从所述三维点云数据和图像数据中获取标定物体的角点信息；

根据所述角点信息获取所述三维点云数据和图像数据的外参矩阵，以进行融合标定。

在本申请第二方面的某些实施方式中，所述图像获取方法还包括：在通过图像采集模块获取标定物体的图像数据之前，对所述图像采集模块进行内参标定。

本申请的第三方面，提供一种图像处理方法，所述图像处理方法包括：

分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；

基于所述图像数据获取目标物体的基准信息；

基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。

在本申请第三方面的某些实施方式中，所述图像处理方法还包括：在获取目标物体的三维点云数据之后，对获取到的所述三维点云数据进行滤波处理。

在本申请第三方面的某些实施方式中，所述基于所述图像数据获取目标物体的基准信息的步骤包括：调整及优化深度学习模型；基于优化后的深度学习模型获取目标物体的基准信息。

在本申请第三方面的某些实施方式中，基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息的步骤包括：

根据融合标定结果，将所述三维点云数据反投影至所述图像数据中；

根据所述基准信息对所述三维点云数据进行分割；

根据分割结果获取所述目标物体的尺寸信息。

本申请的第四方面，提供一种图像处理装置，所述图像处理装置包括：

数据获取模块，用于分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；

基准信息获取模块，用于基于所述图像数据获取目标物体的基准信息；

尺寸信息获取模块，用于基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。

在本申请第四方面的某些实施方式中，所述图像处理装置还包括：滤波模块，用于在获取目标物体的三维点云数据之后，对获取到的所述三维点云数据进行滤波处理。

本申请的第五方面，提供一种图像处理***，所述图像处理***包括：图像获取装置和图像处理装置，所述图像获取装置用于在融合标定之后，获取目标物体的三维点云数据和图像数据；所述图像处理装置用于根据所述图像数据获取目标物体的基准信息，并基于所述基准信息和所述三维点云数据获取目标物体的尺寸信息。

在本申请第五方面的某些实施方式中，所述图像获取装置包括：经过融合标定后的点云采集模块和图像采集模块，所述点云采集模块用于获取目标物体的三维点云数据；所述图像采集模块用于获取目标物体的图像数据。

在本申请第五方面的某些实施方式中，所述点云采集模块包括：至少两个点云采集单元，所述至少两个点云采集单元分别用于从目标物体的第一侧面和顶面获取所述目标物体的三维点云数据。

在本申请第五方面的某些实施方式中，所述图像处理装置包括：数据获取模块，用于分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；

基准信息获取模块，用于基于所述图像数据获取目标物体的基准信息；

尺寸信息获取模块，用于基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。

在本申请第五方面的某些实施方式中，所述图像处理装置还包括：滤波模块，用于在获取目标物体的三维点云数据之后，对获取到的所述三维点云数据进行滤波处理。

如上所述，本申请的图像获取装置及方法、图像处理装置及方法、图像处理***，具有以下有益效果：

本申请中的图像获取装置及方法，通过融合标定后的点云采集模块和图像采集模块分别获取目标物体的三维点云数据和图像数据；通过这样的方式实现了目标物体数据的自动且高效的获取，提高了图像获取效率，降低了图像获取的成本。另外，本申请的图像处理装置及方法、图像处理***根据获取到的图像数据实现了基准信息的高效处理，通过该基准信息快速的完成了目标物体尺寸信息的测量，不仅降低了目标物体测量的成本，同时提高了测量的精度和效率。

附图说明

图1显示为本申请图像获取装置一实现方式的结构示意图。

图2显示为本申请图像获取装置的实施例一的结构示意图。

图3显示为本申请图像获取装置的实施例二的结构示意图。

图4显示为本申请图像获取装置的实施例三的结构示意图。

图5显示为本申请图像获取装置的实施例四的结构示意图。

图6显示为本申请图像获取方法一实现方式的流程示意图。

图7显示为图6中步骤S10的一实现方式的流程示意图。

图8显示为本申请图像处理方法一实现方式的流程示意图。

图9显示为本申请图像处理装置一实现方式的结构示意图。

图10显示为本申请图像处理***一实现方式的结构示意图。

具体实施方式

以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。

在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。

虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一点云采集单元可以被称作第二点云采集单元，并且类似地，第一图像采集单元可以被称作第二图像采集单元，而不脱离各种所描述的实施例的范围。第一侧面和第二侧面均是在描述一个侧面，但是除非上下文以其他方式明确指出，否则它们不是同一个侧面。

再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

正如前面所描述的，在现有的测量方式中，通过激光雷达进行车辆尺寸测量的方式，无法有效的对各个部件进行准确分割，从而大大增加了后续测量的难度，其获取的车辆尺寸的测试精度较低。在三维物体的测量***，主要分为两部分工作，第一部分是如何高效精确的获取三维模型，第二部分是如何有效的对三维模型进行分析处理，准确测量尺寸。针对这两部分，本发明提供一种高效且精确的测量***及方式以快速且精准的获取车辆尺寸信息。

请参阅图1，图1显示为本申请图像获取装置实施方式的结构示意图，如图所示，所述图像获取装置包括：经过融合标定后的点云采集模块101和图像采集模块102，所述点云采集模块101用于获取目标物体的三维点云数据；所述图像采集模块102用于获取目标物体的图像数据。

在本实施例中，所述点云采集模块101包括：至少两个点云采集单元，所述至少两个点云采集单元分别用于从目标物体的第一侧面和顶面获取所述目标物体的三维点云数据。所述图像采集模块102从目标物体的第一侧面获取目标物体的图像数据。具体地，所述点云采集模块包括激光雷达；所述图像采集模块包括单目相机。

需要说明的是，所述点云采集模块还可以采用其他雷达来实现点云数据的采集，图像采集模块也可以根据实际需求选择其他相机类型，本申请对此不做限制。另外，所述点云采集模块中点云采集单元的数量以及图像采集模块中相机的数量并不限于本实施例中的举例，还可以根据实际需求做其他数量的设置，本申请对此也不做限制。

在本实施例中，由于三维点云数据的获取以及图像数据的获取分别采用激光雷达和相机来实现，因此为保证后续数据处理的准确及精度，需要预先对点云采集模块及图像采集模块进行融合标定。融合标定的基本过程是：通过同一目标物在雷达坐标系下的xyz坐标和相机坐标系下的xy坐标来计算并获得之间的转换关系。本实施例中，可以使用标定物体的角点来作为标定目标物，这是因为角点在点云和照片中都是比较明显的目标物，这样可以减少标定的误差。同时，在本实施例中，可以优先选用具有非重复性扫描特性的激光雷达，这样获得的点云密度较大，更易于找到雷达点云中角点的准确位置。通过这样的方式可以使得相机和雷达的标定、融合获得更加精确的结果。

具体的融合标定过程包括：首先进行标定准备，选定标定板或者高对比度的物体作为标定物体，在本实施例中将黑色标定板作为标定物体。这样可以更加准确的选取出清晰可靠的角点信息；然后，启动点云采集模块(雷达)和图像采集模块(相机)，以获取标定物体的三维点云数据和图像数据；接着，在获取到的图像数据和三维点云数据中选择统一的点数据(如角点信息)，保存相应的坐标位置；最后获取点云采集模块(雷达)和图像采集模块(相机)之间的外参矩阵，根据所述外参矩阵完成相应的融合标定。具体地，可以采用PNP技术(pose estimation，相机位姿估计)求解雷达与相机之间的外参矩阵，也就是说，可以通过几个已知坐标(世界坐标)的特征点(深度图)，结合他们在相机照片中的成像(像素坐标)，求解出相机所在的世界坐标及旋转角度(即相机的外参)，用旋转矩阵(R)和平移矩阵(t)表示。

进一步地，为保证融合标定精度，在对点云采集模块和图像采集模块进行融合标定之前，先对图像采集模块(相机)进行内参标定。内参标定的过程包括：首先准备黑白棋盘格的标定板；然后采用图像采集模块(相机)拍摄多角度、多位置的多张照片，为保证内参标定的精度，可以尽可能多的获取照片数量，本申请对此不做限制；最后可以利用MATLAB工具完成标定。当然，也可以通过其他方式完成相机的内参标定，本申请对此不做限制。

下面再结合图2～图5及具体的应用场景对所述图像获取装置的具体实现方式做进一步详细说明。

参考图2～图5，在实际应用中，以车辆为目标物体，最终实现对车辆尺寸信息的测量。同时根据车辆行驶方向将车头侧面定义为前侧，车尾侧面定义为后侧；车辆两侧位置分别定义为第一侧面和第二侧面；车辆的上侧定义为顶面。需要说明的是，所述第一侧面和第二侧面为相对的两个侧面，可以根据实际需要进行调整，申请对此不做限制。

实施例一：如图2所示，在该实现方式中，所述点云采集模块包括第一点云采集单元1、第二点云采集单元2；所述图像采集模块包括图像采集单元6。为保证后续获取的三维点云数据和图像数据完整准确，在车辆第一侧的前侧位置设置第一点云采集单元1，在顶面位置设置第二点云采集单元2，所述第一点云采集单元1和第二点云采集单元2构成点云采集模块，分别用于获取车辆的三维点云数据。另外，在第一侧面的居中位置设置图像采集单元6，用于获取车辆的图像数据。

在本实施例中，所述第一点云采集单元1、第二点云采集单元2分别采用激光雷达实现，通过从第一侧面的前侧位置及顶面的位置可以完整的获取到目标物体整体的、稠密的点云数据，从而提高后续图像处理的精度。所述图像采集单元6的位置位于第一侧面的居中位置，也很好地覆盖了目标物体的整体侧面，所获取到的图像数据中信息的准确度高，进一步提高了所获取的数据的精度。

如前面所述，在设置点云采集模块和图像采集模块的过程中，需要对所述第一点云采集单元1、第二点云采集单元2及图像采集单元6进行融合标定，从而为后续的图像处理过程做好基础。具体地，可以先对图像采集单元6进行内参标定。然后，对第一点云采集单元1、第二点云采集单元2和图像采集单元6进行融合标定。具体对图像采集单元6的内参标定、以及对点云采集模块和图像采集模块的融合标定的过程可参考前述的详细描述，在此不再赘述。

需要说明的是，所述图像采集模块不仅限于本实施例中所述的设置一个图像采集单元6(1个相机即为一个图像采集单元)，在其他应用场景中，还可以根据需求在其他位置设置相应的图像采集单元(相机)，例如还可以在车辆行驶方向的正前方设置一个相机，用于进行车辆信息识别(如车架号、车牌号等等)。

实施例二：如图3所示，在该实现方式中，所述点云采集模块包括：第一点云采集单元1、第二点云采集单元2和第三点云采集单元3，所述图像采集模块包括图像采集单元6。与实施例一类似地，所述第一点云采集单元1设置于车辆第一侧面的前侧位置，第二点云采集单元2设置于车辆的顶面位置；同时新增第三点云采集单元3，并将其设置于第一侧面的后侧位置，以进一步提高点云数据的获取精度和完整度，同时有效地降低对于点云采集单元的安装精度要求，从而提高整体的处理效率。与实施例一类似地，所述图像采集单元6设置于第一侧面的居中位置以获取目标物体的图像数据。

在本实施例中，对所述第一点云采集单元1、第二点云采集单元2、第三点云采集单元3及图像采集单元6的融合标定过程，可参考前述的详细描述，在此不再赘述。

需要说明的是，在其他应用场景中，还可以根据需求在其他位置设置相应的图像采集单元(相机)，例如还可以在车辆行驶方向的正前方设置一个相机，用于进行车辆信息识别(如车架号、车牌号等等)。

实施例三：如图4所示，在该实现方式中，所述点云采集模块包括：第一点云采集单元1、第二点云采集单元2和第三点云采集单元3，所述图像采集模块包括第一图像采集单元6和第二图像采集单元7。与实施例二类似地，所述第一点云采集单元1设置于车辆第一侧面的前侧位置；第二点云采集单元2设置于车辆的顶面位置；所述第三点云采集单元3设置于第一侧面的后侧位置。进一步地，本实施例中，所述第一图像采集单元6与所述第一点云采集单元1配对设置，均设置于车辆第一侧面的前侧位置；而第二图像采集单元7与第二点云采集单元2配对设置，均设置于车辆第一侧面的后侧位置。通过这样的方式可完整且精确的获取到车辆整体的点云数据和图像数据，车辆前侧及后侧的点云数据均密集且准确，从而提高了所获取到的点云数据及图像数据的精度和完整度。

为实现其他目的，还可以在车辆行驶方向的正前方设置一个相机，用于进行车辆信息识别(如车架号、车牌号等等)，本申请对此不做限制。同样地，本实施例中关于点云采集模块及图像采集模块间的融合标定，以及图像采集模块的内参标定过程均参考前述的详细描述，在此不再赘述。

实施例四：如图5所示，在该实现方式中，所述点云采集模块包括：第一点云采集单元1、第二点云采集单元2、第三点云采集单元3、第四点云采集单元4和第五点云采集单元5，所述图像采集模块包括第一图像采集单元6和第二图像采集单元7。

与实施例二类似地，所述第一点云采集单元1设置于车辆第一侧面的前侧位置；第二点云采集单元2设置于车辆的顶面位置；所述第三点云采集单元3设置于第一侧面的后侧位置；而所述第四点云采集单元4设置于车辆第二侧面的前侧位置，所述第五点云采集单元5设置于车辆第二侧面的后侧位置，其中所述第一点云采集单元1与第四点云采集单元4可以对称地分设于第一侧面和第二侧面的前侧位置，所述第三点云采集单元3与第五点云采集单元5也可以对称地分设于第一侧面和第二侧面的后侧位置上。当然，上述位置的设置仅为举例说明，在实际应用中，可以根据实际需求做相应变更，本申请对此不做限制。

继续参考图5，本实施例中，所述第一图像采集单元6设置于第一侧面的居中位置，而第二图像采集单元7设置于第二侧面的居中位置。所述第一图像采集单元6和第二图像采集单元7可以根据实际需求做对称设置，也可以做其他设置，本申请对此不做限制。通过本实施例的方式可完整且精确的获取到车辆整体的点云数据和图像数据，车辆前侧及后侧的点云数据均密集且准确，从而提高了所获取到的点云数据及图像数据的精度和完整度。

为实现其他目的，还可以在车辆行驶方向的正前方设置一个相机，用于进行车辆信息识别(如车架号、车牌号等等)，本申请对此不做限制。同样地，本实施例中关于点云采集模块及图像采集模块间的融合标定，以及图像采集模块的内参标定过程均参考前述的详细描述，在此不再赘述。

以上各实施例的描述仅为举例说明，其各个图像采集单元、点云采集单元的位置设置、数量设置等均可根据实际要求做其他改变，本申请对此不做限制。

图6显示为本申请图像获取方法的一实现方式的流程示意图，如图所示，所述图像获取方法包括：

步骤S10，对点云采集模块和图像采集模块进行融合标定；

步骤S20，通过点云采集模块获取目标物体的三维点云数据；

步骤S30，通过图像采集模块获取目标物体图像数据。

在本实现方式中，所述点云采集模块包括：至少两个点云采集单元，所述至少两个点云采集单元分别从目标物体的第一侧面和顶面获取所述目标物体的三维点云数据。所述图像采集模块从目标物体的第一侧面获取目标物体的图像数据。所述点云采集单元可以通过激光雷达来实现，所述图像采集模块可以采用单目相机来实现。所述点云采集模块及图像采集模块的具体实现方式可参考前述图2～图5的详细描述，在此不再赘述。

需要说明的是，所述步骤S20和步骤S30的执行顺序可以根据实际情况进行设置，例如，可以先执行步骤S20再执行步骤S30，即先获取三维点云数据，再获取目标物体的图像数据，当然也可以先执行步骤S30再执行步骤S20，即先获取目标物体的图像数据再获取三维点云数据，还可以同时执行步骤S20和步骤S30，即同时获取目标物体的图像数据和三维点云数据，本申请对此不做限制。

图7显示为图6中步骤S10的一实施例的流程示意图，如图所示，所述对点云采集模块和图像采集模块进行融合标定步骤包括：

步骤S11，分别通过所述点云采集模块和图像采集模块获取标定物体的三维点云数据和图像数据；

步骤S12，分别从所述三维点云数据和图像数据中获取标定物体的角点信息；

步骤S13，根据所述角点信息获取所述三维点云数据和图像数据的外参矩阵，以进行融合标定。

具体地，可以使用标定物体的角点来作为标定目标物，具体的融合标定过程包括：首先进行标定准备，选定标定板或者高对比度的物体作为标定物体，在本实施例中将黑色标定板作为标定物体。然后，启动点云采集模块(雷达)和图像采集模块(相机)，以获取标定物体的三维点云数据和图像数据；接着，在获取到的图像数据和三维点云数据中选择统一的点数据(如角点信息)，保存相应的坐标位置；最后获取点云采集模块(雷达)和图像采集模块(相机)之间的外参矩阵，根据所述外参矩阵完成相应的融合标定。具体地，可以采用PNP技术(pose estimation，相机位姿估计)求解雷达与相机之间的外参矩阵，也就是说，可以通过几个已知坐标(世界坐标)的特征点(深度图)，结合他们在相机照片中的成像(像素坐标)，求解出相机所在的世界坐标及旋转角度(即相机的外参)，用旋转矩阵(R)和平移矩阵(t)表示。在本实施例中，所述可以选用标定板上的四个角点信息进行融合标定，当然在其他实施例中，也可以选用其他数量的角点信息(如8个)进行融合标定，本申请对此不做限制。

进一步地，为保证融合标定精度，所述图像获取方法还包括：在通过图像采集模块获取标定物体的图像数据之前，对所述图像采集模块进行内参标定。内参标定的过程包括：首先准备黑白棋盘格的标定板；然后采用图像采集模块(相机)拍摄多角度、多位置的多张照片，为保证内参标定的精度，可以尽可能多的获取照片数量，本申请对此不做限制；最后可以利用MATLAB工具完成标定。当然，也可以通过其他方式完成相机的内参标定，本申请对此不做限制。

通过本申请的图像获取装置和图像获取方法，可以同时获取目标物体的三维点云数据和图像数据，从而实现了对目标物体数据的自动获取，并且提高了数据的获取效率和精度。进一步地，对所述三维点云数据和图像数据进行融合标定后，进一步有效地提高了获取的数据的完整性和精度，从而提高了后续图像处理的精度及效率。

图8显示为本申请图像处理方法的一实现方式的流程示意图。如图8所示，所述图像处理方法包括：

步骤S100，分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；

在本实施例中，所述三维点云数据和图像数据融合标定的过程可参考前述关于点云采集模块和图像采集模块的融合标定过程，在此不再赘述。

步骤S200，基于所述图像数据获取目标物体的基准信息；

步骤S300，基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。

在本实施例中，所述步骤S200，基于所述图像数据获取目标物体的基准信息的步骤包括：调整及优化深度学习模型；基于优化后的深度学习模型获取目标物体的基准信息。

具体地，在训练和优化深度学***衡整个数据集上的占比比例；例如对于类别占比小的轮子等部件，给予更多的采样框；而对于类别占比多的栏板等给予较少的采样框；最后进行预训练模型，提高模型的分类学习能力。通过这样的方式，可以有效地提高模型的优化结果，从而大大提高通过深度学习模型获得的基准信息的精度和效率，从而实现目标物体的精细化分割结果。

需要说明的是，在本实施例中，所述基准信息可以包括整体轮廓基准信息、部件基准信息中的一种或其组合；整体轮廓基准信息指的是基于目标物体的整体轮廓所获得的基准信息；部件基准信息指的是基于目标物体的部件所获取的基准信息，以目标物体为卡车为例，所述整体轮廓基准信息指的是卡车的外部轮廓所对应的基准信息；而部件基准信息可以为卡车上的轴距、栏板等部件所对应的基准信息；当然也可以根据目标物体的不同，获取其他的部件基准信息，例如，如果目标物体为混凝土搅拌车、油罐车等工程车辆，所述部件基准信息还可以为搅拌筒或油罐筒所对应的体积基准信息等等，本申请对此不做限制。

继续参考图8，所述步骤S300，基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息的步骤可以包括：

根据融合标定结果，将所述三维点云数据反投影至所述图像数据中；

根据所述基准信息对所述三维点云数据进行分割；

根据分割结果获取所述目标物体的尺寸信息。

在具体应用中，可根据实际需求获取不同类别的基准信息，还可以根据基准信息的类别不同进行二值化图像保存，在执行步骤S300以获取目标物体的尺寸信息时进行调用。由于预先融合标定好的三维点云数据和图像数据，因此可将所述三维点云数据反投影到图像，然后根据对图像数据的分割结果(即获取到的基准信息)来判定三维点云数据中各点所属类别(如车辆、栏板、车轮、厢体等等)；最后根据分割结果，对目标物体的组件和地面做平面检测，获取目标物体的平面参数，根据所述平面参数及基准信息，并通过AABB(Axis-Aligned Bounding Box)算法获取目标物体的外接矩形框，从而准确测量目标物体的长度、宽度高度等尺寸信息。当然，也可以通过OBB(Oriented bounding box)算法来获取目标物体的尺寸信息，本申请对此不做限制。

在其他实施例中，所述图像处理方法还可以包括：在获取目标物体的三维点云数据之后，对获取到的所述三维点云数据进行滤波处理的步骤。也就是说，为进一步提高数据处理的效率及精度，可以先对获取到的三维点云数据进行滤波处理。原始获取得的三维点云数据中存在许多不必要的噪点，在本实施例中，在三维点云图做改进腐蚀运算，也就是在现有的腐蚀操作基础上，更改核的运算。具体地，根据预设阈值对周围像素点数超过目标像素的预设阈值的数量做统计，当超过预设阈值的像素点数大于预设数量时舍弃该点的像素值，所述像素值代表实际深度值。举例来说，假设预设阈值是5cm，以该预设阈值为标准，统计周围(5*5的正方形kernel)像素点的像素值是否超过该预设阈值，当像素值大于预设阈值的像素点数量大于预设数量时，舍弃该像素点的像素值。当然，在具体应用中可以根据实际需求对预设阈值，以及周围像素点的范围做具体设置，本申请对此不做限制。

通过对三维点云图的滤波处理，大大提高了图像的精度，从而也提高了后续图像处理的效率及精度。

图9显示为本申请图像处理装置的一实现方式的结构示意图，如图所示，所述图像处理装置包括：

数据获取模块201，用于分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；

基准信息获取模块202，用于基于所述图像数据获取目标物体的基准信息；

尺寸信息获取模块203，用于基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。

具体地，所述数据获取模块201获取的分别是目标物体的三维点云数据和图像数据，所述三维点云数据可以通过前述点云采集模块获得；所述图像数据可通过前述图像采集模块获得；所述三维点云数据和图像数据融合标定的过程可参考前述关于点云采集模块和图像采集模块的融合标定过程，在此不再赘述。

所述基准信息获取模块202可以为包括深度学习模型的电子设备，通过调整及优化深度学习模型；并基于优化后的深度学习模型获取目标物体的基准信息。所述基准信息获取模块202的具体优化过程及获取基准信息的过程可参考前述关于步骤S200的详细描述，在此不再赘述。通过所述基准信息获取模块202所获取的基准信息可以包括整体轮廓基准信息、部件基准信息中的一种或其组合；整体轮廓基准信息指的是基于目标物体的整体轮廓所获得的基准信息；部件基准信息指的是基于目标物体的部件所获取的基准信息，以目标物体为卡车为例，所述整体轮廓基准信息指的是卡车的外部轮廓所对应的基准信息；而部件基准信息可以为卡车上的轴距、栏板等部件所对应的基准信息；当然也可以根据目标物体的不同，获取其他的部件基准信息，例如，如果目标物体为混凝土搅拌车、油罐车等工程车辆，所述部件基准信息还可以为搅拌筒或油罐筒所对应的体积基准信息等等，本申请对此不做限制。

所述尺寸信息获取模块203获取尺寸信息的步骤可以包括：根据融合标定结果，将所述三维点云数据反投影至所述图像数据中；根据所述基准信息对所述三维点云数据进行分割；根据分割结果获取所述目标物体的尺寸信息。具体的执行过程可参考前述关于步骤S300的详细描述，在此不再赘述。

在其他实施方式中，所述图像处理装置还可以包括：滤波模块，用于在获取目标物体的三维点云数据之后，对获取到的所述三维点云数据进行滤波处理。通过所述滤波模块进一步提高数据处理的效率及精度。具体地，可以在三维点云图做改进腐蚀运算，即根据预设阈值对周围像素点数超过目标像素的预设阈值的数量做统计，当超过预设阈值的像素点数大于预设数量时舍弃该点的像素值，所述像素值代表实际深度值。举例来说，假设预设阈值是5cm，以该预设阈值为标准，统计周围(5*5的正方形kernel)像素点的像素值是否超过该预设阈值，当像素值大于预设阈值的像素点数量大于预设数量时，舍弃该像素点的像素值。当然，在具体应用中可以根据实际需求对预设阈值，以及周围像素点的范围做具体设置，本申请对此不做限制。

图10显示为本申请图像处理***的一实现方式的结构示意图，如图所示，所述图像处理***包括：图像获取装置100和图像处理装置200，所述图像获取装置100用于在融合标定之后，获取目标物体的三维点云数据和图像数据；所述图像处理装置200用于根据所述图像数据获取目标物体的基准信息，并基于所述基准信息和所述三维点云数据获取目标物体的尺寸信息。

在本实施例中，所述图像获取装置100可以包括：经过融合标定后的点云采集模块和图像采集模块，所述点云采集模块用于获取目标物体的三维点云数据；所述图像采集模块用于获取目标物体的图像数据。具体地，所述点云采集模块可以包括：至少两个点云采集单元，所述至少两个点云采集单元分别用于从目标物体的第一侧面和顶面获取所述目标物体的三维点云数据。所述点云采集模块可以通过激光雷达来实现；所述图像采集模块可以通过单目相机来实现。所述点云采集模块及图像采集模块的结构可参考前述图1～图5的详细描述，而其工作过程可参考前述图6～图7的详细描述，在此不再赘述。

当然，所述点云采集模块还可以采用其他雷达来实现点云数据的采集，图像采集模块也可以根据实际需求选择其他相机类型，本申请对此不做限制。另外，所述点云采集模块中点云采集单元的数量以及图像采集模块中相机的数量并不限于本实施例中的举例，还可以根据实际需求做其他数量的设置，本申请对此也不做限制。

继续参考图10，所述图像处理装置200可以包括：数据获取模块，用于分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；基准信息获取模块，用于基于所述图像数据获取目标物体的基准信息；尺寸信息获取模块，用于基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。在其他实施方式中，所述图像处理装置还可以包括：滤波模块，用于在获取目标物体的三维点云数据之后，对获取到的所述三维点云数据进行滤波处理。

所述图像处理装置200的工作过程及结构组成，可参考前述关于图8～图9的详细描述，在此不再赘述。

需要说明的是，本实施例中的所述图像处理模块可以通过电子设备实现，所述电子设备包括但不限于笔记本电脑、平板电脑、移动电话、智能手机、媒体播放器、个人数字助理(PDA)等等，还包括其中两项或多项的组合。所述电子设备可以包括存储器、存储器控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子***、触摸屏、其他输出或控制设备，以及外部端口。这些组件通过一条或多条通信总线或信号线进行通信。所述图像处理模块200的具体工作过程可参考前述关于图像处理装置及图像处理方法的详细说明，在此不再赘述。

本实施例的图像处理***通过图像获取装置分别获取目标物体的三维点云数据和图像数据，然后通过图像处理装置获取目标物体的基准信息，并根据所述基准信息高效地获得目标物体的尺寸信息，从而解决了现有技术中对于车辆测量时效率低下，成本高的问题，提高了处理的效率和精度。

综上所述，本申请的图像获取装置及方法、图像处理装置及方法、图像处理***分别通过获取到的三维点云数据和图像数据进行相关处理，大大降低了车辆图像的获取成本，提高了图像获取的效率。另外，基于图像数据获取基准信息，并根据所述基准信息精确的获取目标物体的尺寸信息，从而不仅提高了图像处理的效率，同时提高了处理结果的精准度。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (20)

1.一种图像获取装置，其特征在于，包括：经过融合标定后的点云采集模块和图像采集模块，所述点云采集模块用于获取目标物体的三维点云数据；所述图像采集模块用于获取目标物体的图像数据。

2.根据权利要求1所述的图像获取装置，其特征在于，所述点云采集模块包括：至少两个点云采集单元，所述至少两个点云采集单元分别用于从目标物体的第一侧面和顶面获取所述目标物体的三维点云数据。

3.根据权利要求1或2所述的图像获取装置，其特征在于，所述图像采集模块从目标物体的第一侧面获取目标物体的图像数据。

4.根据权利要求1所述的图像获取装置，其特征在于，所述点云采集模块包括激光雷达；所述图像采集模块包括单目相机。

5.一种图像获取方法，其特征在于，包括：

对点云采集模块和图像采集模块进行融合标定；

通过点云采集模块获取目标物体的三维点云数据；

通过图像采集模块获取目标物体图像数据。

6.根据权利要求5所述的图像获取方法，其特征在于，所述点云采集模块包括：至少两个点云采集单元，所述至少两个点云采集单元分别从目标物体的第一侧面和顶面获取所述目标物体的三维点云数据。

7.根据权利要求5或6所述的图像获取方法，其特征在于，所述图像采集模块从目标物体的第一侧面获取目标物体的图像数据。

8.根据权利要求5所述的图像获取方法，其特征在于，所述对点云采集模块和图像采集模块进行融合标定的步骤包括：

分别通过所述点云采集模块和图像采集模块获取标定物体的三维点云数据和图像数据；

分别从所述三维点云数据和图像数据中获取标定物体的角点信息；

根据所述角点信息获取所述三维点云数据和图像数据的外参矩阵，以进行融合标定。

9.根据权利要求8所述的图像获取方法，其特征在于，还包括：在通过图像采集模块获取标定物体的图像数据之前，对所述图像采集模块进行内参标定。

10.一种图像处理方法，其特征在于，包括：

分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；

基于所述图像数据获取目标物体的基准信息；

基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。

11.根据权利要求10所述的图像处理方法，其特征在于，还包括：在获取目标物体的三维点云数据之后，对获取到的所述三维点云数据进行滤波处理。

12.根据权利要求10所述的图像处理方法，其特征在于，所述基于所述图像数据获取目标物体的基准信息的步骤包括：调整及优化深度学习模型；基于优化后的深度学习模型获取目标物体的基准信息。

13.根据权利要求10所述的图像处理方法，其特征在于，基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息的步骤包括：

根据融合标定结果，将所述三维点云数据反投影至所述图像数据中；

根据所述基准信息对所述三维点云数据进行分割；

根据分割结果获取所述目标物体的尺寸信息。

14.一种图像处理装置，其特征在于，包括：

数据获取模块，用于分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；

基准信息获取模块，用于基于所述图像数据获取目标物体的基准信息；

尺寸信息获取模块，用于基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。

15.根据权利要求14所述的图像处理装置，其特征在于，还包括：滤波模块，用于在获取目标物体的三维点云数据之后，对获取到的所述三维点云数据进行滤波处理。

16.一种图像处理***，其特征在于，包括：图像获取装置和图像处理装置，所述图像获取装置用于在融合标定之后，获取目标物体的三维点云数据和图像数据；所述图像处理装置用于根据所述图像数据获取目标物体的基准信息，并基于所述基准信息和所述三维点云数据获取目标物体的尺寸信息。

17.根据权利要求16所述的图像处理***，其特征在于，所述图像获取装置包括：经过融合标定后的点云采集模块和图像采集模块，所述点云采集模块用于获取目标物体的三维点云数据；所述图像采集模块用于获取目标物体的图像数据。

18.根据权利要求17所述的图像处理***，其特征在于，所述点云采集模块包括：至少两个点云采集单元，所述至少两个点云采集单元分别用于从目标物体的第一侧面和顶面获取所述目标物体的三维点云数据。

19.根据权利要求16所述的图像处理***，其特征在于，所述图像处理装置包括：数据获取模块，用于分别获取目标物体的三维点云数据和图像数据，所述三维点云数据和图像数据为融合标定后的数据；

基准信息获取模块，用于基于所述图像数据获取目标物体的基准信息；

尺寸信息获取模块，用于基于所述基准信息和目标物体的三维点云数据获取目标物体的尺寸信息。

20.根据权利要求19所述的图像处理***，其特征在于，所述图像处理装置还包括：滤波模块，用于在获取目标物体的三维点云数据之后，对获取到的所述三维点云数据进行滤波处理。

Images