CN112950467A - 工地场景图像获取及工地对象识别的***和方法 - Google Patents

Abstract

本发明涉及工程机械领域，公开了一种工地场景图像获取及工地对象识别的***和方法。所述工地场景图像获取***包括：摄像单元，设置在工程机械的臂架上，用于适应于不同臂架运动状态而捕获工地区域的多个单幅图像；臂架检测单元，用于检测不同臂架运动状态所对应的多个回转角度或多个臂架姿态信息，包括臂架运动时对应的所述回转角度；以及图像处理单元，用于根据回转角度对所相对应的单幅图像进行角度修正，并拼接经过角度修正的多个单幅图像以形成表征工地区域的工地场景图像。本发明将摄像单元布置在臂架上，易于实现俯视视角进行图像采集，避免了工地物体间的相互遮蔽，且本发明提供了基于回转角度的图像修正方案，有利于形成高质量图像。

Description

工地场景图像获取及工地对象识别的***和方法

技术领域

本发明涉及工程机械领域，具体地，涉及一种工地场景图像获取及工地对象识别的***和方法。

背景技术

目前，获取工地场景图像对于场地内工程机械的运行控制具有重大的实用价值。现有技术中主要存在以下两种获取工地场景图像的方案：

1)采用“超高程”摄像机一次成像的方式(即遥感方式)实现工地场景图像捕获，即采用无人机、热气球等携带摄像机，从远远超过工程机械及工地尺寸的高度上拍摄工地，获取场景。这是最为常见的方法，但实际应用中不仅成本较高，且存在摄像高度与图像像素精度的矛盾，即高度越高越能看到工地的垂直影像，但工地相对图形会随之越小，使得工地场景图像的精度变低；另外，不同高度还会形成不可消除的视觉偏差。

2)将摄像机安装在工程机械的转台上，以使摄像机跟随臂架运动而获取工地场景的实时图像。其中，摄像机安装于转台上，从而其相对于工程机械尺寸是近地端，进而使得侧向视角不能准确定位目标布料点的位置，存在很大的径向(远近)偏差；另外，这一方法具有视角局限，一方面不能形成具有关联性的全局图像，从而不能支持工地上跨区域的作业要求，另一方面受限于各种遮挡造成的大量盲区，进而不能获取全部的障碍物信息。

据此，可知现有工地场景图像获取方案在图像精度、图像完整性及方案成本等方面均有所不足，从而需要新的工地场景图像获取方案。

发明内容

本发明的目的是提供一种工地场景图像获取及工地对象识别的***和方法以及工程机械，用于解决现有工地场景图像获取方案存在若干不足的问题。

为了实现上述目的，本发明提供一种工地场景图像获取***，包括：摄像单元，设置在工程机械的臂架上且处于工作状态时位于所述工程机械的布料区域上方，被配置为适应于不同臂架运动状态而捕获所述工程机械所在的工地区域的多个单幅图像；臂架检测单元，被配置为检测所述不同臂架运动状态所对应的多个回转角度或多个臂架姿态信息，其中所述臂架姿态信息包括所述臂架运动时对应的回转角度；以及图像处理单元，与所述摄像单元和所述臂架检测单元通信。并且，所述图像处理单元被配置为：获取所述臂架在同一运动状态下相对应的所述单幅图像和所述臂架姿态信息；根据所述回转角度对所相对应的所述单幅图像进行角度修正；以及拼接经过所述角度修正的多个单幅图像以形成表征所述工地区域的工地场景图像。

优选地，在所述臂架检测单元被配置为检测所述多个臂架姿态信息时，所述图像处理单元被配置为拼接经过所述角度修正的多个单幅图像包括：基于所述多个单幅图像之间的图像相互关系，对所述经过所述角度修正的多个单幅图像进行拼接。

优选地，在所述臂架检测单元，被配置为仅检测所述多个回转角度时，所述图像处理单元被配置为拼接经过所述角度修正的多个单幅图像包括：基于所述多个单幅图像之间的像素相关性，对所述经过所述角度修正的多个单幅图像进行拼接。

优选地，所述摄像单元以其垂直方向相对于所述臂架的一臂节的轴线呈第一角度而安装在该臂节上，且该臂节的所述轴线相对于水平方向呈第二角度，其中所述第一角度和所述第二角度之和为90度。

优选地，所述臂节为所述臂架的末端臂节或靠近该末端臂节的臂节，其中所述末端臂节的末端为所述工程机械的布料点，且所述臂架被调节以使得所述布料点经过所述工地区域上方。

优选地，所述工地场景图像获取***还包括：运动控制单元，被配置为控制所述工程机械进行运动以产生所述回转角度，使得所述臂架检测单元能够检测所述回转角度，其中所述运动包括回转运动或直线运动。

本发明还提供一种工地对象识别***，包括：上述任意的工地场景图像获取***，被配置为获取表征工程机械所在的工地区域的工地场景图像；坐标融合单元，被配置为将所述工地场景图像中的任意像素点与工程机械坐标系相关联，使得所述工地场景图像中的任意像素点能够对应到所述工程机械坐标系上工地平面上的一确定位置；以及对象识别单元，被配置为基于所述任意像素点与所述确定位置的对应关系，根据所述工地场景图像中各像素点的位置及各像素点之间的像素距离，识别所述工地平面上相对应的工地对象的位置及距离。

优选地，所述对象识别单元还被配置为设置图像像素点信息包括以下内容以使得该图像像素点信息能够融合描述关于相应像素点以及其对应的工地对象的信息：图像坐标和对象坐标；或者图像坐标、对象坐标和对象属性。

优选地，所述工地场景图像获取***还包括：运动控制单元，被配置为控制所述工程机械进行运动以产生所述回转角度，使得所述臂架检测单元能够检测所述回转角度，其中所述运动包括回转运动或直线运动。并且，所述运动控制单元还被配置为根据所识别的工地对象的位置及距离，进行关于所述工地对象的运动控制。

本发明还提供一种工程机械，该工程机械包括上述任意的工地场景图像获取***或者上述任意的工地对象识别***。

本发明还提供一种工地场景图像获取方法，包括：通过设置在工程机械的臂架上的摄像单元，获取该摄像单元适应于不同臂架运动状态而捕获的所述工程机械所在的工地区域的多个单幅图像，其中所述摄像单元在处于工作状态时位于所述工程机械的布料区域上方；检测所述不同臂架运动状态所对应的多个回转角度或多个臂架姿态信息，其中所述臂架姿态信息包括所述臂架运动时对应的回转角度；以及获取所述臂架在同一运动状态下相对应的所述单幅图像和所述臂架姿态信息，并根据所述回转角度对所相对应的所述单幅图像进行角度修正，以及拼接经过所述角度修正的多个单幅图像以形成表征所述工地区域的工地场景图像。

优选地，在检测所述多个臂架姿态信息时，所述拼接经过所述角度修正的多个单幅图像包括：基于所述多个单幅图像之间的图像相互关系，对所述经过所述角度修正的多个单幅图像进行拼接。

优选地，在仅检测所述多个回转角度时，所述拼接经过所述角度修正的多个单幅图像包括：基于所述多个单幅图像之间的像素相关性，对所述经过所述角度修正的多个单幅图像进行拼接。

优选地，所述工地场景图像获取方法还包括：调整所述摄像单元和所述臂架，包括使得所述摄像单元的垂直方向相对于所述臂架的一臂节的轴线呈第一角度，以及使得所述臂节的所述轴线相对于水平方向呈第二角度，其中所述第一角度和所述第二角度之和为90度。

优选地，所述臂节为所述臂架的末端臂节或靠近该末端臂节的臂节，其中所述末端臂节的末端为所述工程机械的布料点。并且，调整所述臂架还包括：使得所述布料点经过所述工地区域上方。

优选地，所述工地场景图像获取方法还包括：控制所述工程机械进行运动以产生所述回转角度，其中所述运动包括回转运动或直线运动。

本发明还提供一种工地对象识别方法，包括：通过上述任意的工地场景图像获取方法，获取表征工程机械所在的工地区域的工地场景图像；将所述工地场景图像中的任意像素点与工程机械坐标系进行关联，使得所述工地场景图像中的任意像素点能够对应到所述工程机械坐标系上工地平面上的一确定位置；以及基于所述任意像素点与所述确定位置的对应关系，根据所述工地场景图像中各像素点的位置及各像素点之间的像素距离，确定所述工地平面上相对应的工地对象的位置及距离。

优选地，在所述确定所述工地平面上相对应的工地对象的位置及距离之后，所述工地对象识别方法还包括设置图像像素点信息包括以下内容，以使得该图像像素点信息能够融合描述关于相应像素点以及其对应的工地对象的信息：图像坐标和对象坐标；或者图像坐标、对象坐标和对象属性。

优选地，所述工地对象识别方法还包括：根据所识别的工地对象的位置及距离，进行关于所述工地对象的运动控制。

通过上述技术方案，本发明将摄像单元布置在臂架上，使其随工程机械安装运行，成本低，且易于实现俯视视角进行图像采集，避免了工地物体间的相互遮蔽，能够更好地呈现工地场景。另外，本发明通过拼接图像突破了单幅图像采集的区域限制，能够覆盖更多的或者全部的工地区域，并在拼接基础上提供了基于回转角度的图像修正方案，增强了拼接效果，有利于形成高质量的拼接图像。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明实施例一的工地场景图像获取***的结构示意图；

图2是优选的实施例中的摄像单元的安装示意图；

图3(a)是本发明实施例中对臂架纯回转运动下获取的图像进行修正与拼接的示意图；

图3(b)是本发明实施例中对臂架水平直线运动下获取的图像进行修正与拼接的示意图；

图4是本发明实施例二的工地对象识别***的结构示意图；

图5(a)和图5(b)是本发明实施例二中获取“图像像素-工地距离”的关联的示例的原理示意图；

图6是本发明实施例四的工地场景图像获取方法的流程示意图；

图7是本发明实施例五的工地场景图像获取方法的流程示意图；

图8是本发明实施例六的工地对象识别方法的流程示意图；以及

图9是本发明实施例的应用示例中获取工地场景图像并进行工程机械运动控制的流程示意图。

附图标记说明

100、摄像单元；200、臂架检测单元；300、图像处理单元；400、运动控制单元；500、坐标融合单元；600、对象识别单元；201、臂节；202、轴线。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

实施例一

图1是本发明实施例一的工地场景图像获取***的结构示意图。如图1所示，所述工地场景图像获取***可以包括：摄像单元100，设置在工程机械的臂架上且处于工作状态时位于所述工程机械的布料区域上方，被配置为适应于不同臂架运动状态而捕获所述工程机械所在的工地区域的多个单幅图像；臂架检测单元200，被配置为检测所述不同臂架运动状态所对应的多个回转角度或多个臂架姿态信息，其中所述臂架姿态信息包括所述臂架运动时对应的回转角度；以及图像处理单元300，与所述摄像单元100和所述臂架检测单元200通信。进一步地，所述图像处理单元300被配置为：获取所述臂架在同一运动状态下相对应的所述单幅图像和所述臂架姿态信息；根据所述回转角度对所相对应的所述单幅图像进行角度修正；以及拼接经过所述角度修正的多个单幅图像以形成表征所述工地区域的工地场景图像。

在此，关于回转角度和臂架姿态信息，需说明的是，臂架姿态信息中可包括回转角度，从而臂架检测单元200可单独地检测回转角度，也可检测臂架姿态信息以获得其中的回转角度；而图像处理单元300中所应用的回转角度，则对应是被单独检测的回转角度或者被包括在臂架姿态信息中的回转角度。对于这一点，还将在下文中结合图像拼接方式进行具体说明，在此则不再赘述。

据此，本发明实施例一在姿态可实时监控的工程机械臂架上搭载摄像单元100，使得摄像单元100随臂架一同在空间上运动(例如以水平方式运动)，实现对工地场景的摄像，并根据回转角度对捕获的各个图像进行角度修正，并对角度修正后的图像实现图像拼接，最终获取充分表征工地区域的图像，以用于特定的工程应用。

其中，对于所述摄像单元100，可采用摄像头，优选为低畸变摄像头，其在处于工作状态时位于所述工程机械的布料区域上方，进而在拍摄布料区域等工地场景时，能够具有俯视的直观性。

图2是优选的实施例中的摄像单元的安装示意图。参考图2，在优选的实施例中，所述摄像单元100以其垂直方向相对于所述臂架的一臂节201的轴线202呈第一角度theta1而安装在该臂节201上，且该臂节201的所述轴线202相对于水平方向呈第二角度theta2。其中，所述第一角度theta1和所述第二角度theta2之和为90度，即满足下式：

theta2+theta1＝90° (1)

举例而言，通过倾角传感器检测以其臂节201调整为theta2，并满足式(1)，如此可使得所述摄像单元100竖直朝向地面(工地区域)，从而可以以类似于垂直扫描的形式拍摄图像，进一步提升了其俯视的直观性。

在更为优选的实施例中，所述臂节201可以是所述臂架的末端臂节或靠近该末端臂节的臂节，其中所述末端臂节的末端为所述工程机械的布料点，且所述臂架可被调节以使得所述布料点经过所述工地区域上方。据此，进一步保证了摄像单元100在位于布料区域上方的位置进行拍摄。

对于臂架检测单元200，根据其采集的信息的不同，可针对性进行配置，例如：仅采集回转角度时，其例如是回转编码器；采集臂架姿态信息时，则例如采用倾角传感器、回转编码器等一起进行配置，这是因为臂架姿态信息不仅可包括臂架运动的回转角度，还可以包括臂架各臂节的倾角信息、臂节间的夹角信息等。需说明的是，臂架检测单元200还不限于只采集回转角度和/或臂架姿态信息，在其他实施例中，其还可以检测工程机械的转台姿态信息等。另外，回转角度可用于在后续修正摄像单元100所捕获的图像的角度，这将在下文进行详细描述。

对于图像处理单元300，其可采用具有图像处理功能的控制器进行配置。相对于常规的图像畸变矫正处理，本发明实施例的图像处理单元300根据臂架姿态信息中的回转角度对相应的单幅图像进行角度修正，再进一步进行多个单幅图像拼接，最终形成工地场景的整体图像。

在此，针对臂架检测单元200所采集的信息的不同，图像处理单元300进行多个单幅图像的拼接方式也不相同，具体包括以下两种情形：

一、所述臂架检测单元200被配置为检测所述多个臂架姿态信息。

该情形下，所述图像处理单元被配置为拼接经过所述角度修正的多个单幅图像包括：基于所述多个单幅图像之间的图像相互关系，对所述经过所述角度修正的多个单幅图像进行拼接。

下面结合图3(a)和图3(b)来具体说明利用多个单幅图像之间的图像相互关系进行图像拼接，其中图3(a)和图3(b)均是针对所述臂架检测单元200被配置为仅检测多个臂架姿态信息的情形。

图3(a)是本发明实施例中对臂架纯回转运动下获取的图像进行修正与拼接的示意图，图3(b)是本发明实施例中对臂架水平直线运动下获取的图像进行修正与拼接的示意图。根据图3(a)和图3(b)的左图，可知在包含臂架姿态信息的图像中，可以明确知道不同图像中哪些像素是重叠像素，从而十分便于进行相邻图像的融合，也能保证不同图像间像素表示的实际物体在拼接图像上的位置关系的准确性。其中，不同图像的位置关系，如是否相邻、重叠以及各自的方向等，即是上述的图像相互关系。

继续参考图3(a)和图3(b)，O点为转台中心，即臂架回转角度的顶点，theta3为与图像对应的回转角度，也即图像的修正角度。对于图3(a)，臂架采用纯回转运动的方式，基于theta3拼接后的工地场景图像为见图3(a)的右图；对于图3(b)，臂架采用直线运动的方式，单幅图像根据theta3旋转后进行拼接，拼接后的工地场景图像见图3(b)的右图。进一步，关于基于theta3的拼接过程，以图3(a)的左右图示出的过程为例，可描述为：根据各个单幅图像之间的图像相互关系，不仅可以知道图像拼接的方向，还可以知道图像的中心点在拼接目标平面上的位置，并可以进一步知道不同编号的图像的放置角度，从而基于这些“可以知道”的信息，能够以类似于拼图板的方式完成图像拼接。这一过程中，即使图像会有重叠，重叠也不会影响图像的保真。另外，在优选的实施例中，完成图像拼接之后，还可以继续对重叠部分的像素进行像素融合，以进一步改善拼接图像的美观度，例如将拼接图像各个部分的明度调整为一致。

通过图3(a)和图3(b)，可知本发明实施例的***根据测量到臂架姿态信息中的回转角度，对图像进行角度修正后再拼接，其图像角度修正准确，拼接位置也可根据图像视场焦点(图3(a)和图3(b)中的十字图形表示)和图像角度确定，相对于现有的以像素相关性进行的图像拼接技术而言，具有(像素反映真实工地对象的)准确度高、拼接执行效率高、拼接效果好的特点。并且，基于臂架姿态信息，可以实现完全的自动拼接而不需要人工拼接。

二、所述臂架检测单元200被配置为仅检测所述多个回转角度。

即，在该情形下，臂架检测单元仅仅单独地检测回转角度而无需检测臂架姿态信息。

在该情形下，所述图像处理单元200被配置为拼接经过所述角度修正的多个单幅图像包括：基于所述多个单幅图像之间的像素相关性，对所述经过所述角度修正的多个单幅图像进行拼接。

在该情形下，仅包含回转角度的图像不同于图3(a)和图3(b)能清楚地示出图像相互关系，其需要多次尝试如何重叠图像以最大可能性的正确重叠方法，使得重叠或者相关像素最多，因此需要的算力、效率及拼接正确率都劣于第一种情形。

因此，整体来说，相对于第一种情形，该情形下臂架检测单元200仅检测回转角度而无需检测完整的臂架状态信息，从而对臂架检测单元200的配置要求不高，可仅通过回转编码器配置，但需要依赖现有像素相关性技术进行图像拼接，拼接过程相对复杂。

优选地，所述工地场景图像获取***还可以包括：运动控制单元400，被配置为控制所述工程机械进行运动以产生所述回转角度，使得所述臂架检测单元200能够检测所述回转角度。其中，所述运动包括回转运动或直线运动，例如图3(a)和图3(b)分别所示出的纯回转运动和水平直线运动。在其他实施例中，所述运动控制单元400也可以根据所述臂架检测单元200反馈的姿态信息，让臂架按照设定方式运动。

综上所述，本发明实施例一的工地场景图像获取***可具有以下几个方面的优点：

1)获取的拼接图像突破了单幅图像采集的区域限制，覆盖了更多的或者全部的工地区域。

2)在拼接基础上提供了基于回转角度的图像修正方案，增强了拼接效果，有利于形成高质量的拼接图像。

3)通过以俯视视角进行图像采集，避免了工地物体间的相互遮蔽，能够更好地呈现工地场景。

4)由于图像可以通过拼接实现，摄像单元可以不用布置在非常远的位置上，而只需布置在臂架上，更靠近工地区域，因而可以大大提高图像像素的表达精度。

5)摄像单元布置在臂架上，随工程机械安装运行，方案相比采用无人机等设备获取工地场景图像的方案更加可靠和实用，成本低、易于推广。

6)俯视的工地场景图能够有效消除视觉偏差，为深度应用相应图像提供更好的标准图像，其中所述深度应用例如障碍物择取(或标记)、布料点择取(或标记)等。

7)对于利用臂架姿态信息的情形，其相对于遥感方式，依赖于工程机械姿态所获取的臂架姿态信息，可以实现自动拼接而不需要人工拼接，而遥感定向拍取图像并不涉及自动拼接。

实施例二

图4是本发明实施例二的工地对象识别***的结构示意图。如图4所示，所述工地对象识别***可以包括：实施例一或实施例二所述的工地场景图像获取***，被配置为获取表征工程机械所在的工地区域的工地场景图像；坐标融合单元500，被配置为将所述工地场景图像中的任意像素点与工程机械坐标系相关联，使得所述工地场景图像中的任意像素点能够对应到所述工程机械坐标系上工地平面上的一确定位置；以及对象识别单元600，被配置为基于所述任意像素点与所述确定位置的对应关系，根据所述工地场景图像中各像素点的位置及各像素点之间的像素距离，识别所述工地平面上相对应的工地对象的位置及距离。

对于所述工地场景图像获取***，可参考前述实施例一和实施例二，在此则不再赘述。

需说明的是，本发明实施例二的工地对象识别***利用了采用上述工地场景图像获取***获取的工地场景图像的一个突出的实用性，即：在获取了拼接图像后，所述拼接图像上的任意一个像素点就和工程机械坐标系相关联，即所述拼接图像上的任意一个像素点都对应工程机械坐标系在工地平面上的一个投影点(确定位置)。参考图3(a)和图3(b)，图中的十字形就是摄像单元100在工地平面上的投影点。这一实用性显著地区别于常规方法中普通定点拍摄所获取的图像，因为该常规方法中不能在工地上形成全部的俯视，因此不能满足图像上的任意一点都对应工程机械坐标系里在工地平面上的一个投影点。

基于这一实用性，本发明实施例二的工地对象识别***通过坐标融合单元500建立了工地场景图像中的任意像素点与工程机械坐标系的关联，以将图像像素位置融合至工程机械坐标系进行描述。举例而言，下面结合附图具体介绍这一工地场景图像中的任意像素点与工程机械坐标系的关联原理：

1)在通过图1的臂架检测单元200获取了臂架姿态信息之后，根据图2的摄像单元的安装方式及结构参数，即可获取摄像单元在工程机械坐标系上的空间位置。

2)通过图2的摄像单元100的安装方式及式(1)的运行状态保证，在图3(a)和图3(b)中，每一个图像的中心(十字架)位置就是摄像单元在工地平面上的投影点。

3)对于经theta3修正的未拼接图像，图像上的任意像素点都可以对应到工程机械坐标系上工地平面上的一个确定位置；对于经theta3修正才拼接的图像，图像上的任意点仍可以对应到工程机械坐标系上工地平面上的一个确定位置。

如此，通过上述1)-3)，建立了图像像素位置与工程机械坐标下工地平面上实体点位置的关系，而这些实体点可以反映真实工地对象。

基于这一关联原理，本发明实施例的对象识别单元600进一步实现通过图像像素位置确定工地对象位置。

举例而言，图5(a)和图5(b)是本发明实施例二中获取“图像像素-工地距离”的关联的示例的原理示意图。如图5(a)所示，通过臂架检测单元200所检测的臂架姿态信息，可获得摄像单元100相对于地面的高度h；再如图5(b)所示，摄像单元100(在此以摄像头为例)根据小孔成像原理，在摄像头固有参数L已知的情况下，获知h后，即可确定图像像素距离d1与工地对象距离d2的关系：

d2＝h/L*d1(2)

根据该式(2)，能够通过像素距离d1和对应像素点在图像中的位置，检测工地对象的距离和位置，从而相当于实现了对图像像素代表的工地对象的实际坐标的标记。

在优选的实施例中，在完成了对工地对象坐标的标记之后，所述对象识别单元600还被配置为设置图像像素点信息包括以下内容以使得该图像像素点信息能够融合描述关于相应像素点以及其对应的工地对象的信息：

第1)种内容，包括图像坐标和对象坐标；或者

第2)种内容，包括图像坐标、对象坐标和对象属性。

举例而言，图像像素点标记了其所表征的实际工地对象的空间坐标，从而在坐标融合之后，对应于上述第1)种内容的图像像素点信息至少为：

(图像坐标x，图像坐标y，对象坐标x，对象坐标y，对象坐标z)

以及对应于上述第2)种内容的图像像素点信息至少为：

(图像坐标x，图像坐标y，对象坐标x，对象坐标y，对象坐标z，对象属性，……)

其中，第2)种内容相对于第1)种内容，扩展了对象属性，而对象属性例如指示对象为布料点或障碍物，其有助于扩展标记的工地对象的应用。

对此，在优选的实施例中，运动控制单元400还被配置为根据所识别的工地对象的位置及距离，进行关于所述工地对象的运动控制。

举例而言，所述工地对象例如是布料点、障碍物等，进而在对象识别单元600识别出布料点、障碍物的位置之后，运动控制单元400可进行定点布料控制、避开障碍物的轨迹规划控制等。

综上所述，本发明实施例二的工地对象识别***通过对坐标融合后的图像像素选择，可以映射性地选择到实际工地对象。举例而言，对泵车(一种工程机械)而言，通过在(经拼接的)图像上人工选择或机器识别布料点、障碍物等，即可以向泵车提供在工地平面上的布料点和障碍物的坐标位置。并且，进一步地对这些工地对象进行人工的或自动识别的或二者结合的方式实现特征标记，如布料点或障碍物，即可用于工程机械的运动控制。

实施例三

本发明实施例三提供了一种工程机械，该工程机械包括上述实施例一或实施例二所述的工地场景图像获取***，或者包括上述实施例二所述的工地对象识别***。

其中，所述工程机械例如是泵车或起重机。

该实施例三的工程机械首次应用图像拼接技术获取工地场景图像，并通过回转角度进行图像修正以增强拼接效果，有利于形成高质量的拼接图像，并进一步识别工地对象以扩展更多工程应用。

该实施例三的工程机械的更多实施细节及效果可参考上述实施例一至实施例二，在此不再进行赘述。

实施例四

图6是本发明实施例四的工地场景图像获取方法的流程示意图。该工地场景图像获取方法与实施例一的工地场景获取***基于相同的发明思路，且该工地场景图像获取方法可通过实施例一的工地场景获取***来实现，但不局限于这一实现方式。

如图6所示，所述工地场景图像获取方法可以包括以下步骤：

步骤S610，通过设置在工程机械的臂架上的摄像单元，获取该摄像单元适应于不同臂架运动状态而捕获的所述工程机械所在的工地区域的多个单幅图像。

其中，所述摄像单元在处于工作状态时位于所述工程机械的布料区域上方。

步骤S620，检测所述不同臂架运动状态所对应的多个回转角度或多个臂架姿态信息。

其中，所述臂架姿态信息包括所述臂架运动时对应的所述回转角度。

步骤S630，获取所述臂架在同一运动状态下相对应的所述单幅图像和所述臂架姿态信息，并根据所述回转角度对所相对应的所述单幅图像进行角度修正，以及拼接经过所述角度修正的多个单幅图像以形成表征所述工地区域的工地场景图像。

在一个优选的实施例中，在步骤S620仅检测所述多个臂架姿态信息时，步骤S630中的所述拼接经过所述角度修正的多个单幅图像包括：基于所述多个单幅图像之间的图像相互关系，对所述经过所述角度修正的多个单幅图像进行拼接。

在另一优选的实施例中，在步骤S620仅检测所述多个回转角度时，步骤S630中的所述拼接经过所述角度修正的多个单幅图像包括：基于所述多个单幅图像之间的像素相关性，对所述经过所述角度修正的多个单幅图像进行拼接。

在优选的实施例中，所述工地场景图像获取方法还包括：调整所述摄像单元和所述臂架，包括使得所述摄像单元的垂直方向相对于所述臂架的一臂节的轴线呈第一角度，以及使得所述臂节的所述轴线相对于水平方向呈第二角度，其中所述第一角度和所述第二角度之和为90度。

在更为优选的实施例中，所述臂节为所述臂架的末端臂节或靠近该末端臂节的臂节，其中所述末端臂节的末端为所述工程机械的布料点。据此，调整所述臂架还可以包括：使得所述布料点经过所述工地区域上方。

在优选的实施例中，所述工地场景图像获取方法还包括：控制所述工程机械进行运动以产生所述回转角度，其中所述运动包括回转运动或直线运动。

在此，关于该工地场景图像获取方法的更多实施细节及效果可参考上述实施例一，在此则不再赘述。

实施例五

图7是本发明实施例五的工地场景图像获取方法的流程示意图，该工地场景图像获取方法与实施例二的工地场景获取***基于相同的发明思路，且该工地场景图像获取方法可通过实施例二的工地场景获取***来实现，但不局限于这一实现方式。

如图7所示，所述工地场景图像获取方法可以包括以下步骤：

步骤S710，通过设置在工程机械的臂架上的摄像单元，获取该摄像单元适应于不同臂架运动状态而捕获的所述工程机械所在的工地区域的多个单幅图像。

其中，所述摄像单元在处于工作状态时位于所述工程机械的布料区域上方。

步骤S720，检测所述不同臂架运动状态所对应的多个回转角度。

步骤S730，获取所述臂架在同一运动状态下相对应的所述单幅图像和所述回转角度，并根据所获取的所述回转角度对所相对应的所述单幅图像进行角度修正，以及基于所述多个单幅图像之间的像素相关性，拼接经过所述角度修正的多个单幅图像以形成表征所述工地区域的工地场景图像。

在此，关于该工地场景图像获取方法的更多实施细节及效果可参考上述实施例二和实施例五，在此则不再赘述。

实施例六

图8是本发明实施例六的工地对象识别方法的流程示意图，该工地对象识别方法与实施例二所述的工地对象识别***基于相同的发明思路，且该工地场景图像获取方法可通过实施例二的工地对象识别***来实现，但不局限于这一实现方式。

如图8所示，所述工地对象识别方法可以包括以下步骤：

步骤S810，采用实施例四或实施例五所述的工地场景图像获取方法，获取表征工程机械所在的工地区域的工地场景图像。

步骤S820，将所述工地场景图像中的任意像素点与工程机械坐标系进行关联，使得所述工地场景图像中的任意像素点能够对应到所述工程机械坐标系上工地平面上的一确定位置。

步骤S830，基于所述任意像素点与所述确定位置的对应关系，根据所述工地场景图像中各像素点的位置及各像素点之间的像素距离，确定所述工地平面上相对应的工地对象的位置及距离。

在优选的实施例中，在所述确定所述工地平面上相对应的工地对象的位置及距离之后，所述工地对象识别方法还可以包括设置图像像素点信息包括以下内容，以使得该图像像素点信息能够融合描述关于相应像素点以及其对应的工地对象的信息：

1)图像坐标和对象坐标；或者

2)图像坐标、对象坐标和对象属性。

在优选的实施例中，所述工地对象识别方法还可以包括：根据所识别的工地对象的位置及距离，进行关于所述工地对象的运动控制。

关于该工地场景图像获取方法的更多实施细节及效果可参考上述实施例二、实施例四和实施例五，在此则不再赘述。

应用示例

图9是本发明实施例的应用示例中获取工地场景图像并进行工程机械运动控制的流程示意图，该应用示例利用实施例一的***或实施例四的方法所对应的方案来获取工地场景图像，并进一步利用该工地场景图像以及实施例二的***或实施例六的方法所对应的方案，来对工程机械进行运动控制。

如图9所示，该应用示例可包括以下步骤：

步骤S910，姿态预调。

其中，该步骤进行姿态预调需要满足：1)摄像单元位于布料区域上方；2)摄像单元所在臂节姿态满足上面的式(1)。

需说明的是，该姿态预调的步骤属于预备行为，其并非必要步骤，即是指无需每次应用都调整臂架姿态。

步骤S920，控制臂架运动。

其中，以转台中心为固定点，可控制臂架进行纯回转运动或水平直线运动。

步骤S930a，采集臂架姿态信息。

其中，所述臂架姿态信息要求包括如图3(a)和图3(b)所示出的回转角度theta3。

步骤S930b，采集关于工地场景的单幅图像。

其中，步骤S930a和步骤S930b中每次分别采集的臂架姿态信息和单幅图像应对应于相同的臂架运动状态，从而后续才能通过回转角度修正单幅图像。

步骤S940，图像修正及拼接。

具体地，根据所述回转角度对所相对应的单幅图像进行角度修正，再利用多幅图像间的图像相互关系，拼接经过角度修正后的图像，进而获得了表征工地场景的完整、清楚、无视觉偏差的工地场景图像。

步骤S950，坐标融合。

具体地，将所获取的工地场景图像中的任意像素点与工程机械坐标系相关联，使得所述工地场景图像中的任意像素点能够对应到所述工程机械坐标系上工地平面上的一确定位置，即建立了图像像素点与工地平面上工地对应的位置关联。

步骤S960，像素选择与对象标记。

具体地，承接于步骤S960通过坐标融合所建立的图像像素点与工地平面上工地对应的位置关联，选择工地场景图像中各像素点的位置及各像素点之间的像素距离，并标记出与之相对应的所述工地平面上的工地对象的位置及距离。

步骤S970，运动控制。

具体地，根据标记的工地对象的位置及距离，实现所需的(如工程机械的臂架)运动控制，如泵车的定点布料、避开障碍物的轨迹规划等。

通过该应用示例，可知本发明实施例相比于无人机远距离获取工地图像的方式，本发明实施例方案易于在工程机械上搭载、成本更低、***功能结合性更好(能更好地服务于工程机械的应用场景)、处理实时性更好、具有更好的应用前景和推广价值，为视觉技术在工程机械(尤其是泵车)上应用提供了重要基础。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (19)

1.一种工地场景图像获取***，其特征在于，所述工地场景图像获取***包括：

摄像单元，设置在工程机械的臂架上且处于工作状态时位于所述工程机械的布料区域上方，被配置为适应于不同臂架运动状态而捕获所述工程机械所在的工地区域的多个单幅图像；

臂架检测单元，被配置为检测所述不同臂架运动状态所对应的多个回转角度或多个臂架姿态信息，其中所述臂架姿态信息包括所述臂架运动时对应的回转角度；以及

图像处理单元，与所述摄像单元和所述臂架检测单元通信，且被配置为：

获取所述臂架在同一运动状态下相对应的所述单幅图像和所述臂架姿态信息；

根据所述回转角度对所相对应的所述单幅图像进行角度修正；以及

拼接经过所述角度修正的多个单幅图像以形成表征所述工地区域的工地场景图像。

2.根据权利要求1所述的工地场景图像获取***，其特征在于，在所述臂架检测单元被配置为检测所述多个臂架姿态信息时，所述图像处理单元被配置为拼接经过所述角度修正的多个单幅图像包括：

基于所述多个单幅图像之间的图像相互关系，对所述经过所述角度修正的多个单幅图像进行拼接。

3.根据权利要求1所述的工地场景图像获取***，其特征在于，在所述臂架检测单元，被配置为仅检测所述多个回转角度时，所述图像处理单元被配置为拼接经过所述角度修正的多个单幅图像包括：

基于所述多个单幅图像之间的像素相关性，对所述经过所述角度修正的多个单幅图像进行拼接。

4.根据权利要求1所述的工地场景图像获取***，其特征在于，所述摄像单元以其垂直方向相对于所述臂架的一臂节的轴线呈第一角度而安装在该臂节上，且该臂节的所述轴线相对于水平方向呈第二角度，其中所述第一角度和所述第二角度之和为90度。

5.根据权利要求4所述的工地场景图像获取***，其特征在于，所述臂节为所述臂架的末端臂节或靠近该末端臂节的臂节，其中所述末端臂节的末端为所述工程机械的布料点，且所述臂架被调节以使得所述布料点经过所述工地区域上方。

6.根据权利要求1所述的工地场景图像获取***，其特征在于，所述工地场景图像获取***还包括：

运动控制单元，被配置为控制所述工程机械进行运动以产生所述回转角度，使得所述臂架检测单元能够检测所述回转角度，其中所述运动包括回转运动或直线运动。

7.一种工地对象识别***，其特征在于，所述工地对象识别***包括：

权利要求1至6中任意一项所述的工地场景图像获取***，被配置为获取表征工程机械所在的工地区域的工地场景图像；

坐标融合单元，被配置为将所述工地场景图像中的任意像素点与工程机械坐标系相关联，使得所述工地场景图像中的任意像素点能够对应到所述工程机械坐标系上工地平面上的一确定位置；以及

对象识别单元，被配置为基于所述任意像素点与所述确定位置的对应关系，根据所述工地场景图像中各像素点的位置及各像素点之间的像素距离，识别所述工地平面上相对应的工地对象的位置及距离。

8.根据权利要求7所述的工地对象识别***，其特征在于，所述对象识别单元还被配置为设置图像像素点信息包括以下内容以使得该图像像素点信息能够融合描述关于相应像素点以及其对应的工地对象的信息：

图像坐标和对象坐标；或者

图像坐标、对象坐标和对象属性。

9.根据权利要求7所述的工地对象识别***，其特征在于，所述工地场景图像获取***还包括：运动控制单元，被配置为控制所述工程机械进行运动以产生所述回转角度，使得所述臂架检测单元能够检测所述回转角度，其中所述运动包括回转运动或直线运动；

并且，所述运动控制单元还被配置为根据所识别的工地对象的位置及距离，进行关于所述工地对象的运动控制。

10.一种工程机械，其特征在于，该工程机械包括权利要求1至6中任意一项所述的工地场景图像获取***或者权利要求7至9中任意一项所述的工地对象识别***。

11.一种工地场景图像获取方法，其特征在于，所述工地场景图像获取方法包括：

通过设置在工程机械的臂架上的摄像单元，获取该摄像单元适应于不同臂架运动状态而捕获的所述工程机械所在的工地区域的多个单幅图像，其中所述摄像单元在处于工作状态时位于所述工程机械的布料区域上方；

检测所述不同臂架运动状态所对应的多个回转角度或多个臂架姿态信息，其中所述臂架姿态信息包括所述臂架运动时对应的回转角度；以及

获取所述臂架在同一运动状态下相对应的所述单幅图像和所述臂架姿态信息，并根据所述回转角度对所相对应的所述单幅图像进行角度修正，以及拼接经过所述角度修正的多个单幅图像以形成表征所述工地区域的工地场景图像。

12.根据权利要求11所述的工地场景图像获取方法，其特征在于，在检测所述多个臂架姿态信息时，所述拼接经过所述角度修正的多个单幅图像包括：

基于所述多个单幅图像之间的图像相互关系，对所述经过所述角度修正的多个单幅图像进行拼接。

13.根据权利要求11所述的工地场景图像获取方法，其特征在于，在仅检测所述多个回转角度时，所述拼接经过所述角度修正的多个单幅图像包括：

基于所述多个单幅图像之间的像素相关性，对所述经过所述角度修正的多个单幅图像进行拼接。

14.根据权利要求11所述的工地场景图像获取方法，其特征在于，所述工地场景图像获取方法还包括：

调整所述摄像单元和所述臂架，包括使得所述摄像单元的垂直方向相对于所述臂架的一臂节的轴线呈第一角度，以及使得所述臂节的所述轴线相对于水平方向呈第二角度，其中所述第一角度和所述第二角度之和为90度。

15.根据权利要求14所述的工地场景图像获取方法，其特征在于，所述臂节为所述臂架的末端臂节或靠近该末端臂节的臂节，其中所述末端臂节的末端为所述工程机械的布料点；

并且，调整所述臂架还包括：使得所述布料点经过所述工地区域上方。

16.根据权利要求11所述的工地场景图像获取方法，其特征在于，所述工地场景图像获取方法还包括：

控制所述工程机械进行运动以产生所述回转角度，其中所述运动包括回转运动或直线运动。

17.一种工地对象识别方法，其特征在于，所述工地对象识别方法包括：

通过权利要求11至16中任意一项所述的工地场景图像获取方法，获取表征工程机械所在的工地区域的工地场景图像；

将所述工地场景图像中的任意像素点与工程机械坐标系进行关联，使得所述工地场景图像中的任意像素点能够对应到所述工程机械坐标系上工地平面上的一确定位置；以及

基于所述任意像素点与所述确定位置的对应关系，根据所述工地场景图像中各像素点的位置及各像素点之间的像素距离，确定所述工地平面上相对应的工地对象的位置及距离。

18.根据权利要求17所述的工地对象识别方法，其特征在于，在所述确定所述工地平面上相对应的工地对象的位置及距离之后，所述工地对象识别方法还包括：

设置图像像素点信息包括以下内容以使得该图像像素点信息能够融合描述关于相应像素点以及其对应的工地对象的信息：

图像坐标和对象坐标；或者

图像坐标、对象坐标和对象属性。

19.根据权利要求17所述的工地对象识别方法，其特征在于，所述工地对象识别方法还包括：

根据所识别的工地对象的位置及距离，进行关于所述工地对象的运动控制。

Images