发明内容
本发明的主要目的是提出一种城市硬件设施缺陷的检测方法及装置,旨在解决现有技术中的城市硬件设施缺陷的检测效率及精准度低的技术问题。
为了实现上述目的,本发明提供一种城市硬件设施缺陷的检测方法,所述城市硬件设施缺陷的检测方法的步骤包括:
定位并构建城市硬件设施的三维点云地图;
采集所述城市硬件设施的二维图像数据;
根据所述二维图像数据渲染所述三维点云地图,以获取所述城市硬件设施的环境渲染图;
通过神经网络分析识别所述环境渲染图中的缺陷信息。
在本发明的实施例中,所述定位并构建城市硬件设施的三维点云地图的步骤包括:
获取所述城市硬件设施的实时位置信息;
采集所述城市硬件设施在实时位置上的空间点云数据;
通过配准算法配准所述空间点云数据;
通过坐标转换将多组配准后的所述空间点云数据转换到同一个坐标系下进行定位。
在本发明的实施例中,所述配准算法为正态分布变换算法、并行重建算法或迭代最近点算法中的其中一种。
在本发明的实施例中,所述采集所述城市硬件设施在实时位置上的空间点云数据的步骤包括:
通过水平激光雷达采集所述城市硬件设施的水平方向数据;
通过竖直激光雷达采集所述城市硬件设施的竖直方向数据;
融合水平方向数据和竖直方向数据以得到所述空间点云数据。
在本发明的实施例中,所述定位并构建城市硬件设施的三维点云地图的步骤还包括:
获取所述城市硬件设施及周边环境的多帧轨迹图像;
将多帧所述轨迹图像拼接并得到所述三维点云地图。
在本发明的实施例中,所述通过神经网络分析识别所述环境渲染图中的缺陷信息的步骤包括:
利用神经网络学习所述城市硬件设施的缺陷图像信息;
将学习到的缺陷图像信息应用到所述环境渲染图的缺陷检测中;
所述神经网络给出所述环境渲染图中的缺陷信息。
在本发明的实施例中,所述定位并构建城市硬件设施的三维点云地图的步骤还包括:
利用载波相位差分仪采集高精度的gps差分信号;
根据所述gps差分信号对所述城市硬件设施的定位信息进行精度提升。
在本发明的实施例中,所述城市硬件设施缺陷的检测方法还包括:
判断惯性测量单元是否存在里程误差;
当所述惯性测量单元存在里程误差时,惯性测量单元实时接收激光里程计发出的准确位置;
通过因子图优化实时纠正惯性测量单元的里程误差。
在本发明的实施例中,还提出一种城市硬件设施缺陷的检测装置,应用于如上所述的城市硬件设施缺陷的检测方法中,所述城市硬件设施缺陷的检测装置包括:
检测背包,内部形成有收容空间并安装有载波相位差分测量仪;
悬臂,安装于所述检测背包的顶端并向上延伸;和
传感器组件,安装于所述悬臂上并用于定位所述城市硬件设施,所述传感器组件和载波相位差分测量仪电连接并配合构建所述城市硬件设施的三维点云地图以获取缺陷信息。
在本发明的实施例中,所述检测背包内还设置有用于存储构建的三维点云地图和环境渲染图的存储模块,所述存储模块与所述传感器组件和载波相位差分测量仪均通讯连接。
通过上述技术方案,本发明的实施例所提供的城市硬件设施缺陷的检测方法具有如下的有益效果:
在检测城市硬件设施的缺陷时,首先定位并构建城市硬件设施的三维点云地图;然后采集城市硬件设施的二维图像数据,并根据二维图像数据渲染三维点云地图,以获取城市硬件设施的环境渲染图;最后通过神经网络分析识别环境渲染图中的缺陷信息;本发明通过二维图像数据渲染城市硬件设施的三维点云地图,使得神经网络能够快速高效的检测出缺陷信息,并且以简单明了的环境渲染图供用户随时查看,提高用户的使用体验。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
具体实施方式
以下结合附图对本发明的具体实施例进行详细说明。应当理解的是,此处所描述的具体实施例仅用于说明和解释本发明,并不用于限制本发明。
下面参考附图描述根据本发明的城市硬件设施缺陷的检测方法。
如图1所示,在本发明的实施例中,提供一种城市硬件设施缺陷的检测方法,城市硬件设施缺陷的检测方法的步骤包括:
步骤S10:定位并构建城市硬件设施的三维点云地图;
步骤S20:采集城市硬件设施的二维图像数据;
步骤S30:根据二维图像数据渲染三维点云地图,以获取城市硬件设施的环境渲染图;
步骤S40:通过神经网络分析识别环境渲染图中的缺陷信息。
采用工业相机80实时采集城市硬件设施环境中的二维图像数据,通过算法将二维图像的颜色与三维点云地图关联,以对构建的三维点云地图的纹理进行渲染,并获得环境渲染图(如图3至图5所示),以便更清晰精准的检测到缺陷;然后通过神经网络学习城市硬件设施的缺陷图像,然后用学习到的模型进行环境渲染图的检测,最终神经网络模型给出输入图像中的缺陷信息。其中,缺陷信息是指缺陷的类型、缺陷的尺寸(长度和宽度)以及缺陷所处的位置信息。通过采用本发明的缺陷检测方法能够高效快速检测出城市硬件设施是否存在缺陷、缺陷的类型以及缺陷的精准位置,并且检测效率也能够得到大大的提升。并且,通过简单明了的环境渲染图供用户随时查看,能够提高用户的使用体验。
在本发明的实施例中,定位并构建城市硬件设施的三维点云地图的步骤包括:
获取城市硬件设施的实时位置信息;
采集城市硬件设施在实时位置上的空间点云数据;
通过配准算法配准空间点云数据;
通过坐标转换将多组配准后的空间点云数据转换到同一个坐标系下进行定位。
为了提高定位的精准性,在定位时,需要对获取的多组空间点云数据进行配准,由于空间点云数据不在同一个坐标系下不利于数据的分析及位置定位,然后通过坐标转换的方法将多组配准后的空间点云数据转换到同一个坐标系下,实现在同一个坐标系下进行定位。
优选地,配准算法为正态分布变换算法、并行重建算法或迭代最近点算法中的其中一种。
其中,正态分布变换算法是将空间中的点云划分成网格,然后计算每个网格的均值与协方差矩阵,构建高斯分布模型,然后将需要配准的点云投影到目标点云坐标系下,需要配准的点云中的每一个点都会被投影到相应的目标点云的网格中,然后计算该点在相应网格中的高斯概率模型,最终将所需配准的点云中的每一个点的概率都计算出来,然后通过转换,变成最小二乘问题,利用优化算法求解出,目标点云与配准点云之间的相对坐标变换,最终将配准点云通过该变换转换到目标点云坐标系下,从而实现了点云配准或者称点云拼接;
并行重建算法是通过对配准点云中的每一个激光点在目标点云中查找最近邻点,计算最近邻距离,然后利用优化算法,计算出可以使当前配准点云到目标点云中点的最近邻距离的总和最小,从而获取到最优的坐标变换矩阵,然后进行坐标变换;
基于特征点的迭代最近点算法就是先对点云提取特征点,计算角点特征点,面特征点,然后利用点到线的距离与点到面的距离通过并行重建算法求解。
在本发明的实施例中,采集城市硬件设施在实时位置上的空间点云数据的步骤包括:
通过水平激光雷达20采集城市硬件设施的水平方向数据;
通过竖直激光雷达30采集城市硬件设施的竖直方向数据;
融合水平方向数据和竖直方向数据以得到空间点云数据。
激光雷达有200米的扫描范围,其中,水平激光雷达20采集水平方向的位置数据(只能扫到三十多米的数据,360°的范围),竖直激光雷达30采集高度方向的位置数据,最后将水平激光雷达20和竖直激光雷达30采集的数据进行融合,得到三维空间的空间点云数据,这种定位方式提高了定位的精准性。无论是水平激光雷达20还是竖直激光雷达30,均采用现有技术中常见的激光雷达***,是以发射激光束探测采集城市硬件设施的位置的雷达***,其工作原理是向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数。
在本发明的实施例中,定位并构建城市硬件设施的三维点云地图的步骤还包括:
获取城市硬件设施及周边环境的多帧轨迹图像;
将多帧轨迹图像拼接并得到三维点云地图。
在缺陷检测时,检测人员绕城市硬件设施及周边环境每走一圈,就会得到一个行走轨迹,当行走多圈时,就能得到多个行走轨迹,也就是多帧轨迹图像,通过多传感器融合的方法定位,将每一帧的轨迹图像拼接起来便得到城市硬件设施的三维点云地图;这种行走获取轨迹图像的方式简单方便,且能够全面的覆盖整个城市硬件设施及周边环境。
在本发明的实施例中,所述通过神经网络分析识别环境渲染图中的缺陷信息的步骤包括:
利用神经网络学习城市硬件设施的缺陷图像信息;
将学习到的缺陷图像信息应用到环境渲染图的缺陷检测中;
神经网络给出环境渲染图中的缺陷信息。
本实施例通过神经网络算法来识别环境渲染图中的缺陷,这种识别方法更加精准快速,提高了检测效率。
在本发明的实施例中,定位并构建城市硬件设施的三维点云地图的步骤还包括:
利用载波相位差分仪采集高精度的gps差分信号;
根据gps差分信号对城市硬件设施的定位信息进行精度提升。
载波相位差分仪采集高精度的gps的差分信号,通过因子图对imu里程计、激光里程计、RTK数据进行融合,以提高定位与建图的精度。在城市中建立有很多固定的基站,通过差分信号的差分算法的计算,获取城市硬件设施的位置信息。具体地,在基准站上安置1台接收机为参考站,对卫星进行连续观测,并将其观测数据和测站信息,通过无线电传输设备,实时地发送给流动站,流动站GPS接收机在接收GPS卫星信号的同时,通过无线接收设备,接收基准站传输的数据,然后根据相对定位的原理,实时解算出流动站的三维坐标及其精度(即基准站和流动站坐标差△X、△Y、△H,加上基准坐标得到的每个点的WGS-84坐标,通过坐标转换参数得出流动站每个点的平面坐标X、Y和海拔高H);这种卫星定位的方式精度达到厘米级,比传统的导航定位精度更高。
在本发明的实施例中,城市硬件设施缺陷的检测方法还包括:
判断惯性测量单元是否存在里程误差;
当惯性测量单元存在里程误差时,惯性测量单元实时接收激光里程计发出的准确位置;
通过因子图优化实时纠正惯性测量单元的里程误差。
由于惯性测量单元使用久了,也会存在一定的里程误差,若不及时纠正,将会影响缺陷的判断结果;在误差纠正时,惯性测量单元实时接收水平激光雷达20和竖直激光雷达30的激光里程计,利用激光里程计给出的准确位置信息来反过来纠正惯性测量单元的参数误差,并同时发出纠正后的惯性测量单元的里程计给水平激光雷达20和竖直激光雷达30去畸变,以提高定位的精度。其中,因子图优化可以为优化算法或者图优化算法,为现有技术中常规的优化算法。
在本发明的实施例中,如图2所示,还提出一种城市硬件设施缺陷的检测装置,应用于如上所述的城市硬件设施缺陷的检测方法中,城市硬件设施缺陷的检测装置包括:
检测背包60,内部形成有收容空间并安装有载波相位差分测量仪;
悬臂10,安装于检测背包60的顶端并向上延伸;和
传感器组件,安装于悬臂10上并用于定位城市硬件设施,传感器组件和载波相位差分测量仪电连接并配合构建城市硬件设施的三维点云地图以获取缺陷信息。传感器组件包括水平激光雷达20、竖直激光雷达30、惯性测量单元和工业相机80。本发明点在保证传感器组件中的各个部件都能正常运行的情况下对上述的传感器组件进行紧凑和轻量化的结构设计,使得整个背包的尺寸小巧,重量轻盈,目前整个检测背包60的大小与市面上普通书包的大小接近,重量为10KG。其中,检测背包60的包体外壳为ABS树脂材质,这样能够防止检测背包60轻易被压瘪。悬臂10为内部中空结构,传感器组件的线束经由悬臂10的内部中空体与悬臂10底端的线束转接头17连接,从而实现传感器组件与检测背包60内的电控部件之间的电连接。
进一步地,悬臂10包括弧形过渡连接的横向本体11和竖向本体12,传感器组件包括安装于横向本体11上的水平激光雷达20和垂直安装于竖向本体12上的竖直激光雷达30。水平激光雷达20用于采集水平方向360°范围内的点云数据,竖直激光雷达30采集的竖直高度方向的点云数据,通过水平激光雷达20和竖直激光雷达30的配合,以获取需要检测的设施的三维点云数据;此外,水平激光雷达20是水平放置,竖直激光雷达30是竖直放置,水平激光雷达20和竖直激光雷达30的数据接收范围在200米的范围内。其中水平方向是指图1中的左右方向,竖直方向是指图1中的上下方向。
并且,悬臂10还包括安装板13,安装板13和横向本体11的上端面通过多个间隔布置的竖向支撑柱14连接,安装板13的顶端面向外延伸出安装台70,载波相位差分测量仪的天线51安装于安装台70上。竖向本体12的底端内腔内设置有线束转接头17,传感器组件的线束通过线束转接头17与检测背包60内的电控部件连接,从而有利于支架和检测背包60的包体分离,便于运输。
此外,检测背包60的背面安装有方便操作人员背戴的背带62,背带62自检测背包60的顶端延伸至底端。进一步地,为了方便操作人员打开或关闭门体63,门体63背离铰接侧的侧面向外沿表面凸设有抓手部,检测背包60对应抓手部的位置处内凹有避让抓手部的避让槽,进而提升用户的体验感。
城市硬件设施是指隧道、桥梁、公路等。如下以隧道的缺陷检测为例进行本发明的详细说明:在对隧道的渗水、裂缝、墙面脱落等缺陷进行检测时,由人工背着该检测背包60在隧道内行走一遍,水平激光雷达20、竖直激光雷达30、惯性测量单元和载波相位差分仪在各自的定位和建图功能下构建包含位置信息的隧道地图,在工业相机80的摄像功能下拍摄隧道视频,通过自主开发的点云地图渲染算法对隧道点云地图和隧道视频进行结合,并渲染出高精度的隧道渲染图,通过训练好的神经网络对隧道视频中的图像进行分析,从而识别出隧道中所存在的缺陷、缺陷的类型、缺陷的参数以及缺陷的位置等信息。其中算法的具体过程及原理为:首先利用神经网络学习隧道的缺陷图像,然后用学习到的模型进行实际图像的检测,最终神经网络模型给出输入图像中的缺陷类型,位置,面积大小,长度等缺陷信息;
在一个示例中,检测装置识别出隧道存在缺陷,缺陷的类型为裂缝,缺陷的参数为裂缝长度30cm,裂缝宽度2cm,缺陷的位置为东经150°22′15.5″,北纬35°48′32.1″。
在本发明的实施例中,检测背包60内还设置有用于存储构建的三维点云地图和环境渲染图的存储模块,存储模块与传感器组件和载波相位差分测量仪均通讯连接。存储模块用于存储构建的三维点云地图以及环境渲染图,从而可便于用户随时调取存储模块中的数据,查阅城市硬件设施中所存在的缺陷、缺陷类型和缺陷的精确位置,能够以简单明了的环境渲染图供用户随时查看,提高用户使用体验。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接或彼此可通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。