CN115546781A - 一种点云数据的聚类方法以及装置 - Google Patents
一种点云数据的聚类方法以及装置 Download PDFInfo
- Publication number
- CN115546781A CN115546781A CN202110742193.8A CN202110742193A CN115546781A CN 115546781 A CN115546781 A CN 115546781A CN 202110742193 A CN202110742193 A CN 202110742193A CN 115546781 A CN115546781 A CN 115546781A
- Authority
- CN
- China
- Prior art keywords
- grid
- processed
- point cloud
- category
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开一种点云数据的聚类方法以及装置,该方法可用于人工智能领域的点云数据的处理领域中,方法包括:根据待处理点云数据中每个点的位置信息,对待处理点云数据中的多个点进行栅格化处理,得到与待处理点云数据对应的待处理栅格数据;获取待处理点云数据中每个点的预测类别;根据位于待处理栅格数据包括的第一栅格中每个点的预测类别,确定第一栅格的预测类别;根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到与待处理点云数据对应的至少一个点云簇。同时利用了待处理点云数据中每个点的位置信息和每个点的预测类别,以完成整个聚类过程,有利于提高整个聚类过程的准确率。
Description
技术领域
本申请涉及人工智能领域,尤其涉及一种点云数据的聚类方法以及装置。
背景技术
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
目标检测是人工智能中常见的一种应用方式,基于点云数据的目标检测算法常用于自动驾驶、智能安防等智能***中。具体的,在得到待处理点云数据后,会根据待处理点云数据进行聚类,以得到至少一个点云簇,再根据至少一个点云簇执行分类操作。
由于目前采用的聚类方式的准确性较差,导致整个目标检测的准确率较低,因此,一种更为准确的聚类方式亟待推出。
发明内容
本申请实施例提供了一种点云数据的聚类方法以及装置,同时利用了待处理点云数据中每个点的位置信息和每个点的预测类别,以完成整个聚类过程,有利于提高整个聚类过程的准确率。
为解决上述技术问题,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供一种点云数据的聚类方法,可用于人工智能领域的点云数据的处理领域中。方法可以包括:电子设备根据待处理点云数据中每个点的位置信息,对待处理点云数据中的多个点进行栅格化处理,得到与待处理点云数据对应的待处理栅格数据;其中,待处理点云数据包括与目标时刻的环境对应的N个点中每个点的位置信息,也即待处理点云数据用于描述目标时刻的环境;进一步地,待处理点云数据可以为通过一个传感器采集到的点云数据;也可以为多个传感器采集到的点云数据进行融合处理后的点云数据;待处理栅格数据包括待处理点云数据中每个点在目标栅格图中的栅格坐标,还可以包括待处理点云数据中每个点的坐标与每个点在目标栅格图中的栅格坐标之间的对应关系。电子设备获取待处理点云数据中每个点的预测类别,根据位于第一栅格中每个点的预测类别,确定第一栅格的预测类别,第一栅格为待处理栅格数据包括的多个栅格中的任意一个栅格。电子设备根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到与待处理点云数据对应的至少一个点云簇;具体的,电子设备可以根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到待处理栅格数据中的多个栅格的聚类结果,根据待处理点云数据中每个点的坐标与每个点在目标栅格图中的栅格坐标之间的对应关系和该待处理栅格数据中的多个栅格的聚类结果,生成与待处理点云数据对应的至少一个点云簇。
本实现方式中,在对待处理点云数据中的多个点进行聚类的过程中,还会获取到每个点的预测类别,并根据待处理点云数据中每个点的位置信息,得到与待处理点云数据对应的待处理栅格数据,并且根据位于栅格中的点的预测类别,生成前述栅格的预测类别,再根据待处理栅格数据中每个栅格的预测类别,对待处理栅格数据进行聚类,进而能够得到与待处理点云数据对应的至少一个点云簇;由于不再是仅仅依赖待处理点云数据中每个点的位置信息进行聚类操作,而是同时利用了待处理点云数据中每个点的位置信息和每个点的预测类别,以完成整个聚类过程,有利于提高整个聚类过程的准确率。
在第一方面的一种可能实现方式中,针对待处理点云数据包括的N个点中的任一个点(为方便描述,后续称为“目标点”),目标点的位置信息可以是三维空间坐标,也可以是二维坐标。对应的,与待处理点云数据对应的目标栅格图可以为建立在三维坐标系下的栅格图,也可以为建立在二维坐标系下的栅格图。进一步地,三维空间坐标包括但不限于三维的直角坐标系或球坐标系等,球坐标系中的任意一个目标点的位置可以由径向距离、天顶角和方位角三个指标来表示;二维坐标系包括但不限于二维的直角坐标系或极坐标系等,极坐标系中任意一个目标点的位置可以由极径和极角两个指标来表示。
在第一方面的一种可能实现方式中,电子设备获取待处理点云数据中每个点的预测类别,可以包括:电子设备将待处理点云数据输入至第一神经网络中,以通过该第一神经网络生成待处理点云数据包括的N个点中每个点的预测类别,第一神经网络为用于进行语义分割的神经网络。
在第一方面的一种可能实现方式中,电子设备根据位于第一栅格中每个点的预测类别,确定第一栅格的预测类别,可以包括:电子设备根据位于第一栅格中每个点的预测类别,确定第一栅格的初始预测类别;电子设备遍历待处理栅格数据中的每个栅格,以生成待处理栅格数据中的每个栅格的初始预测类别。电子设备获取与第一栅格对应的至少一个目标邻域栅格,并根据至少一个目标邻域栅格中每个目标邻域栅格的初始预测类别,确定第一栅格的最终预测类别。其中,与第一栅格对应的至少一个目标邻域栅格指的是与待处理点云数据对应的目标栅格图中位于第一栅格周围的栅格,与第一栅格对应的至少一个目标邻域栅格可以包括与第一栅格直接相邻的栅格,也可以包括与第一栅格间接相邻的栅格等,此处不做限定。本实现方式中,第一栅格的预测类别指的是第一栅格的最终预测类别。电子设备根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到至少一个点云簇,包括:电子设备根据待处理栅格数据中每个栅格的最终预测类别,执行聚类操作,以得到至少一个点云簇。
本实现方式中,由于在对点云数据进行采集以及处理的过程中,可能会引入噪点,导致仅根据第一栅格中每个点的预测类别来确定第一栅格的类别时,可能会出现误差;则在确定第一栅格的最终预测类别时,不仅考虑位于第一栅格内的每个点的预测类别,还会考虑第一栅格的邻域栅格的初始预测类别,以尽量降低噪点给栅格的类别判断过程所带来的误差,以进一步提高栅格的类别判断过程的精准度,进而有利于提高整个待处理点云数据的聚类过程的准确率。
在第一方面的一种可能实现方式中,电子设备根据位于第一栅格中每个点的预测类别,确定第一栅格的初始预测类别,可以包括:电子设备获取位于第一栅格中每个点的预测类别,以统计得到第一栅格中的S个点与n+1个类别对应,以及第一栅格内与n+1个类别中每个类别对应的点的数量,n为大于或等于0的整数。电子设备从n+1个类别中确定第三类别,并根据第三类别,确定第一栅格的初始预测类别;其中,第三类别为该n+1个类别中的一个类别,位于第一栅格内的S个点中类别为第三类别的第一点的数量最多。
在第一方面的一种可能实现方式中,电子设备还可以获取到位于第一栅格中所有点的第一总数量,以及第一栅格内预测类别为第三类别的第一点的第一数量,并生成第一概率值,第一概率值是根据第一数量和第一总数量之间的比值得到的。当第三类别指向的类别具有语义含义的情况下,电子设备判断与第三类别对应的第一概率值是否大于或等于第三类别所对应的第三阈值,若与第三类别对应的第一概率值大于或等于第三阈值,则电子设备将第一栅格的最终预测类别确定为第三类别;若与第三类别对应的第一概率值小于第三类别所对应的第三阈值,则电子设备可以将第一栅格的最终预测类别确定为不具有语义含义,或者,也可以将第一栅格的最终预测类别确定为背景。
在第一方面的一种可能实现方式中,电子设备可以根据位于第一栅格中每个点的预测类别,直接确定第一栅格的最终预测类别(也即第一栅格的初始预测类别就是第一栅格的最终预测类别);本实现方式中,第一栅格的预测类别可以指的是第一栅格的最终预测类别,也可以指的是第一栅格的初始预测类别。
在第一方面的一种可能实现方式中,在第一栅格的初始预测类别为第一类别的情况下,与第一栅格对应的至少一个目标邻域栅格的数量为第一数值,在第一栅格的初始预测类别为第二类别的情况下,与第一栅格对应的至少一个目标邻域栅格的数量为第二数值,其中,若第一类别的物体与第二类别的物体的尺寸不同,则第一数值和第二数值不同。本实现方式中,由于在实际环境中,不同类别的物体的尺寸可能不同,为不同尺寸的物体选取不同数量的邻域栅格,有利于使得选取到的邻域栅格与实际环境中物体的形状接近,以提高栅格的预测类别的准确性。
在第一方面的一种可能实现方式中,方法还可以包括:电子设备根据待处理栅格数据中每个栅格的预测类别,从待处理栅格数据包括的多个栅格中确定至少一个边界栅格;其中,边界栅格指的是目标栅格图中位于物体边界上的栅格,也即边界栅格指的是目标栅格图中位于不同物体之间的栅格。电子设备根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,可以包括:电子设备根据待处理栅格数据中每个栅格的预测类别和待处理栅格数据中的至少一个边界栅格,执行聚类操作。
本实现方式中,先根据待处理栅格数据中每个栅格的预测类别,从待处理栅格数据包括的多个栅格中确定至少一个边界栅格,再根据待处理栅格数据中每个栅格的预测类别和待处理栅格数据中的至少一个边界栅格,执行聚类操作,以避免在聚类过程中将边界栅格确定为聚类中心(也可以称为“种子栅格”),有利于提高聚类过程的准确性。
在第一方面的一种可能实现方式中,电子设备根据待处理栅格数据中每个栅格的预测类别,从待处理栅格数据包括的多个栅格中确定至少一个边界栅格,可以包括:电子设备获取第二栅格所对应的目标概率值;其中,第二栅格为第一栅格的至少一个目标邻域栅格中任意一个栅格,第二栅格所对应的目标概率值指示与第二栅格对应的第三数值和与第二栅格对应的第四数值之间的比值,第三数值为第二栅格的邻域栅格中与第二栅格的预测类别相同的栅格的数量,第四数值为第二栅格的邻域栅格的总数量;第二栅格的预测类别可以为基于第二栅格内的多个点的预测类别直接得到的,或者,第二栅格的预测类别为根据每个栅格内的多个点的预测类别,并进行二次处理后得到的(也即第二栅格的预测类别可以为第二栅格的最终预测类别)。电子设备遍历第一栅格的每个目标邻域栅格,以生成第一栅格的每个目标邻域栅格所对应的目标概率值,在根据与每个目标邻域栅格对应的目标概率值,确定满足预设条件的情况下,电子设备确定第一栅格为边界栅格。
本实现方式中,由于待处理点云数据中可能会存在噪点,导致第一栅格的预测类别可能会出现错误,因此,采用第一栅格的每个目标邻域栅格所对应的目标概率值,来判断第一栅格是否为边界栅格,第二栅格(也即第一栅格的任意一个目标邻域栅格)的目标邻域值代表的是第二栅格的邻域栅格中与所述第二栅格的预测类别相同的栅格的数量与第二栅格的邻域栅格的总数量之间的比值,相比于仅根据第一栅格的目标概率值来判断第一栅格是否为边界栅格,有利于提高边界栅格的判断过程的准确率。
在第一方面的一种可能实现方式中,预设条件包括:与第一栅格的多个目标邻域栅格对应的多个目标概率值的平均值小于或等于第一阈值,且,与第一栅格的多个目标邻域栅格对应的多个目标概率值的方差大于或等于第二阈值。
本实现方式中,若某一个栅格为边界栅格,由于边界栅格指的是位于不同物体之间的栅格,则边界栅格的多个邻域栅格的预测类别可能会不同,对应的,边界栅格和边界栅格的邻域栅格所对应的目标概率值可能会小。当边界栅格的邻域栅格中不同种类的物体所对应的栅格数量不同时,边界栅格的多个邻域栅格所对应的多个目标概率值的方差还会大。由于在后续根据每个栅格的预测类别执行聚类的过程中,边界栅格不会再被重新修改为非边界栅格,而聚类过程中尚未认定为边界的栅格也可能被确定为物体的边界,本方案中利用第一栅格的多个目标邻域栅格对应的多个目标概率值的平均值和方差这两个指标来确定第一栅格是否为边界栅格,降低了将非边界栅格判定为边界栅格的概率,有利于提高待处理点云数据的聚类过程的准确率。
在第一方面的一种可能实现方式中,第一阈值和第二阈值的取值均大于0且小于1,在第一栅格的预测类别(也即第一栅格的第三类别)具体表现为第四类别的情况下,第一阈值的取值可以为a1,第二阈值的取值可以为b1;在第一栅格的预测类别(也即第一栅格的第三类别)具体表现为第四类别的情况下,第一阈值的取值可以为a2,第二阈值的取值可以为b2。当第三类别和第四类别为不同的类别时,a1和a2的取值可以不同,和/或,b1和b2的取值可以不同。
第二方面,本申请实施例提供了一种点云数据的聚类装置,可用于人工智能领域的点云数据的处理领域中,装置可以包括:栅格化模块,用于根据待处理点云数据中每个点的位置信息,对待处理点云数据中的多个点进行栅格化处理,得到与待处理点云数据对应的待处理栅格数据;获取模块,用于获取待处理点云数据中每个点的预测类别;确定模块,用于根据位于第一栅格中每个点的预测类别,确定第一栅格的预测类别,第一栅格为待处理栅格数据包括的多个栅格中的任意一个栅格;聚类模块,用于根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到与待处理点云数据对应的至少一个点云簇。
本申请实施例的第二方面提供的点云数据的聚类装置还可以执行第一方面的各个可能实现方式中电子设备执行的步骤,对于本申请实施例第二方面以及第二方面的各种可能实现方式的具体实现步骤,以及每种可能实现方式所带来的有益效果,均可以参考第一方面中各种可能的实现方式中的描述,此处不再一一赘述。
第三方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机可读指令,当该计算机可读指令在计算机上运行时,使得计算机执行上述第一方面所述的点云数据的聚类方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当该程序在计算机上运行时,使得计算机执行上述第一方面所述的点云数据的聚类方法。
第五方面,本申请实施例提供了一种电子设备,可以包括处理器,处理器和存储器耦合,存储器存储有程序指令,当存储器存储的程序指令被处理器执行时实现上述第一方面所述的点云数据的聚类方法。
第六方面,本申请实施例提供了一种电路***,该电路***包括处理电路,该处理电路配置为执行上述第一方面所述的点云数据的聚类方法。
第七方面,本申请实施例提供了一种芯片***,该芯片***包括处理器,用于实现上述各个方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据和/或信息。在一种可能的设计中,该芯片***还包括存储器,该存储器,用于保存服务器或通信设备必要的程序指令和数据。该芯片***,可以由芯片构成,也可以包括芯片和其他分立器件。
附图说明
图1为本申请实施例提供的人工智能主体框架的一种结构示意图;
图2为本申请实施例提供的点云数据的聚类方法的一种方法流程图;
图3为本申请实施例提供的点云数据的聚类方法的另一种方法流程图;
图4为本申请实施例提供的点云数据的聚类方法中待处理点云数据所对应的目标栅格图的一种示意图;
图5为本申请实施例提供的点云数据的聚类方法中得到第一栅格所对应的第一概率值的一种示意图;
图6为本申请实施例提供的点云数据的聚类方法中得到第一栅格的至少一个目标邻域栅格的一种示意图;
图7为本申请实施例提供的点云数据的聚类方法中得到第一栅格的至少一个目标邻域栅格的另一种示意图;
图8为本申请实施例提供的点云数据的聚类方法中第一栅格所对应的第二概率值的一种示意图;
图9为本申请实施例提供的点云数据的聚类装置的一种结构示意图;
图10为本申请实施例提供的电子设备的一种结构示意图;
图11是本申请实施例提供的自动驾驶车辆一种结构示意图;
图12为本申请实施例提供的芯片的一种结构示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、***、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
首先对人工智能***总体工作流程进行描述,请参见图1,图1示出的为人工智能主体框架的一种结构示意图,下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中,“智能信息链”反映从数据的获取到处理的一列过程。举例来说,可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中,数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到***的产业生态过程,反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能***提供计算能力支持,实现与外部世界的沟通,并通过基础平台实现支撑。通过传感器与外部沟通;计算能力由智能芯片提供,该智能芯片具体可以采用中央处理器(central processing unit,CPU)、嵌入式神经网络处理器(neural-network processing unit,NPU)、图形处理器(graphics processing unit,GPU)、专用集成电路(application specific integrated circuit,ASIC)或现场可编程门阵列(fieldprogrammable gate array,FPGA)等硬件加速芯片;基础平台包括分布式计算框架及网络等相关的平台保障和支持,可以包括云存储和计算、互联互通网络等。举例来说,传感器和外部沟通获取数据,这些数据提供给基础平台提供的分布式计算***中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本,还涉及到传统设备的物联网数据,包括已有***的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练,机器学习,深度学习,搜索,推理,决策等方式。
其中,机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能***中,模拟人类的智能推理方式,依据推理控制策略,利用形式化的信息进行机器思维和求解问题的过程,典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程,通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后,进一步基于数据处理的结果可以形成一些通用的能力,比如可以是算法或者一个通用***,例如,翻译,文本的分析,计算机视觉的处理,语音识别,图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能***在各领域的产品和应用,是对人工智能整体解决方案的封装,将智能信息决策产品化、实现落地应用,其应用领域主要包括:智能终端、智能制造、智能交通、智能家居、智能医疗、智能安防、自动驾驶、智慧城市等。
本申请可以应用于人工智能领域的点云数据的处理领域中,具体的,可以应用于利用点云数据进行目标检测的应用场景中。作为示例,例如在自动驾驶领域中,自动驾驶车辆通过传感器采集自车周围环境所对应的点云数据,并基于采集到的点云数据进行聚类,以得到至少一个点云簇,再根据至少一个点云簇执行分类操作,也即完成基于采集到的点云数据执行目标检测操作。作为另一示例,例如在智能安防领域中,监控能够通过传感器采集到与所监控的环境对应的点云数据,并基于采集到的点云数据执行目标检测操作等。
需要说明的是,上述举例仅为方便理解本方案的应用场景,不用于限定本方案,此处不对本申请实施例的所有应用场景进行一一列举。在上述种种场景中,均存在采用的聚类方式的准确性较差的问题,因此需要提供一种更为准确的聚类方法。
为了解决上述问题,本申请实施例提供了一种点云数据的聚类方法,具体的,请参阅图2,图2为本申请实施例提供的点云数据的聚类方法的一种方法流程图。其中,A1、根据待处理点云数据中每个点的位置信息,对待处理点云数据中的多个点进行栅格化处理,得到与待处理点云数据对应的待处理栅格数据。其中,待处理点云数据包括与目标时刻的环境对应的N个点中每个点的位置信息,也即待处理点云数据用于描述目标时刻的环境,目标时刻指的可以为任意时刻,具体需结合实际情况确定。A2、获取待处理点云数据中每个点的预测类别。A3、根据位于第一栅格中每个点的预测类别,确定第一栅格的预测类别,第一栅格为待处理栅格数据包括的多个栅格中的任意一个栅格。A4、根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到与待处理点云数据对应的至少一个点云簇。
下面开始对本申请实施例提供的点云数据的聚类方法进行描述,具体的,请参阅图3,图3为本申请实施例提供的点云数据的聚类方法的一种流程示意图,本申请实施例提供的点云数据的聚类方法可以包括:
301、获取待处理点云数据。
本申请实施例中,电子设备需要获取待处理点云数据(point cloud data),待处理点云数据的含义可参阅上述描述,此处不做赘述。
具体的,在一些应用场景中,电子设备可以通过传感器直接采集与电子设备周围环境对应的待处理点云数据,前述传感器包括但不限于激光雷达、毫米波雷达或其他用于采集点云数据的传感器等。在另一些应用场景中,电子设备可以接收其他电子设备发送的待处理点云数据,也即待处理点云数据所描述的不一定是电子设备周围的环境。
在另一些应用场景中,电子设备还可以从本地存储的多个点云数据中获取待处理点云数据等,此处不限定电子设备获取待处理点云数据的方式。
进一步地,待处理点云数据可以为通过一个传感器采集到的点云数据;也可以为多个传感器采集到的点云数据进行融合处理后的点云数据;前述传感器具体可以为雷达。
针对待处理点云数据包括的N个点中的任一个点(为方便描述,后续称为“目标点”)。目标点的位置信息可以是三维空间坐标,也可以是二维坐标。若每个目标点的坐标采用的是三维空间坐标,则每个目标点的坐标可以是在三维的直角坐标系下的坐标、球坐标系(spherical coordinate system)下的坐标或其他类型的三维坐标系下的坐标等,球坐标系中的任意一个目标点的位置可以由径向距离、天顶角和方位角三个指标来表示。
为进一步理解待处理目标点云数据的数据形态,作为示例,例如电子设备通过激光雷达以一定扫描速率采集周围的环境数据,以采集到与目标时刻的环境对应的待处理目标点云数据,待处理目标点云数据具体可以表现为{pj},j=1~N,N代表待处理目标点云数据中包括的目标点的数量;pj代表代表待处理目标点云数据中包括的任一个目标点,pj=[x,y,z]。
若每个目标点的坐标采用的是二维坐标,则每个目标点的坐标可以是在二维的直角坐标系下的坐标、极坐标系(polar coordinate)下的坐标或其他类型的二维坐标系下的坐标等,极坐标系中任意一个目标点的位置可以由极径和极角两个指标来表示。需要说明的是,此处对于目标点的坐标的举例仅为方便理解本方案,具体采用哪种类型的坐标,需要结合实际应用场景灵活确定,此处不做限定。
302、根据待处理点云数据中每个点的位置信息,对待处理点云数据中的多个点进行栅格化处理,得到与待处理点云数据对应的待处理栅格数据。
本申请实施例中,电子设备在获取到待处理点云数据后,也即得到了待处理点云数据中每个点的位置信息,从而可以对待处理点云数据中的多个点进行栅格化处理,得到与待处理点云数据对应的待处理栅格数据。其中,待处理栅格数据包括待处理点云数据中每个点在目标栅格图中的栅格坐标,还可以包括待处理点云数据中每个点的坐标与每个点在目标栅格图中的栅格坐标之间的对应关系。
进一步地,若待处理点云数据中每个点采用的是三维空间坐标,则该目标栅格图可以为建立在三维坐标系下的目标栅格图。作为示例,例如每个点的坐标是在三维的直角坐标系下的坐标,则该目标栅格图可以为建立在三维的直角坐标系下的目标栅格图;作为另一示例,例如每个点的坐标是在球坐标系下的坐标,则该目标栅格图可以为建立在球坐标系下的目标栅格图等。
若待处理点云数据中每个点采用的是二维坐标,则该目标栅格图可以为建立在二维坐标系下的目标栅格图。作为示例,例如每个点的坐标是在二维的直角坐标系下的坐标,则该目标栅格图可以为建立在二维的直角坐标系下的目标栅格图;作为另一示例,例如每个点的坐标是在极坐标系下的坐标,则该目标栅格图可以为建立在极坐标系下的目标栅格图等,具体目标栅格图的形式需要结合待处理点云数据中每个点所对应的坐标系的类型确定,此次不做限定。
具体的,电子设备在获取到待处理点云数据之后,可以生成与待处理点云数据对应的目标栅格图,也即确定目标栅格图所对应的原点和目标栅格图中栅格的单位长度,“目标栅格图所对应的原点”也可以称为“目标栅格图所对应的极点”。
继而电子设备需要获取处理点云数据中的每个点的栅格坐标。针对待处理点云数据包括的N个点中的任一个点(也即“目标点”),电子设备获取目标点的位置信息,并根据目标点的位置信息和预设映射函数,生成目标点在该目标栅格图中的栅格坐标,并得到目标点的位置信息与目标点的栅格坐标之间的对应关系。
为更直观地理解本方案,作为示例,此处以目标点的位置信息为目标点在三维直角坐标系下的三维空间坐标为例,三维直角坐标系包括x轴、y轴和z轴,以下公开预设映射函数的一种示例:
其中,(x′,y′,z′)代表目标点在三维直角坐标系下的目标栅格图中的栅格坐标,(x,y,z)代表目标点在三维直角坐标系下的坐标,F代表预设映射函数,factorx代表在x轴方向上一个栅格的长度,也即factorx代表x轴方向上栅格的单位长度,factory代表在y轴方向上一个栅格的长度,也即factory代表y轴方向上栅格的单位长度,factorz代表在z轴方向上一个栅格的长度,也即factorz代表z轴方向上栅格的单位长度,startx的取值与待处理点云数据在x轴方向上的取值范围对应,starty的取值与待处理点云数据在y轴方向上的取值范围对应,startz的取值与待处理点云数据在z轴方向上的取值范围对应,作为示例,例如若整个待处理点云数据中所有的点在x轴方向上的范围为[-98.9,98.9],在y轴方向上的范围为[-39.8,39.8]在z轴方向上的范围为[-1.5,6.7],startx可以被设置为-100,starty可以被设置为-40,startz可以被设置为-2。可选地,若如果电子设备只想处理前述点云数据中x≥10部分的点云数据,也即待处理点云数据只包括x≥10部分,startx可以被设置为10,starty可以被设置为-40,startz可以被设置为-2,应理解,式(1)中的示例以及前述举例均仅为方便理解本方案,不用于限定本方案。
作为另一示例,此处以目标点的位置信息为目标点在球坐标系下的三维空间坐标为例,球坐标系包括径向距离、天顶角和方位角三个维度的指标,以下公开预设映射函数的另一种示例:
其中,代表目标点在球坐标系下的目标栅格图中的栅格坐标,代表目标点在球坐标系下的坐标,factorr代表球坐标系下栅格在径向方向上的单位长度,startr的取值与待处理点云数据在径向距离上的取值范围对应,作为示例,例如startr设置成5,则可以代表待处理点云数据中所有的点与原点之间的径向距离均大于或等于5,startθ的取值与待处理点云数据在天顶角这个轴上的取值范围对应,factorθ代表在天顶角这个轴上的栅格的大小,作为示例,例如factorθ设置为0.5°,代表在天顶角这个轴上每个栅格的大小是0.5°,的取值与待处理点云数据在方位角这个轴上取值范围对应,代表在方位角这个轴上的栅格的大小,应理解,式(2)中的示例以及举例仅为方便理解本方案,不用于限定本方案。
为了更直观地理解本方案,请参阅图4,图4为本申请实施例提供的点云数据的聚类方法中待处理点云数据所对应的目标栅格图的一种示意图。图4中以待处理点云数据中的点采用的为三维直角坐标系为例,图4中示出了位于三维直角坐标系(也即图示中的X轴、Y轴和Z轴)下的点云数据,以及由X轴和Y轴形成的平面中的多个栅格,通过图4可以看出点云数据和栅格图之间的对应关系,应理解,在实际情况中,待处理点云数据中的点还可以为在其他类型的坐标系下的坐标,具体情况应结合实际来确定,图4中的示例仅为方便理解点云数据中的点与栅格图中的栅格之间的对应关系,不用于限定本方案。
303、获取待处理点云数据中每个点的预测类别。
本申请实施例中,电子设备还会获取待处理点云数据中每个点的预测类别。具体的,在一种实现方式中,电子设备上配置有用于进行语义分割的第一神经网络,电子设备将待处理点云数据输入至第一神经网络中,以通过该第一神经网络生成待处理点云数据包括的N个点中每个点的预测类别。在另一种实现方式中,电子设备获取其他电子设备发送的待处理点云数据中包括的N个点中每个点的预测类别。
其中,第一神经网络为执行过训练操作的成熟的神经网络,作为示例,例如用于进行语义分割的第一神经网络具体可以表现为卷积神经网络或其他用于进行语义分割的神经网络等。
每个点的预测类别可以为目标时刻的环境中的物体的类别,作为示例,例如电子设备为自动驾驶车辆,待处理点云数据为自车采集的周围环境所对应的点云数据,则每个点的预测类别具体可以表现为人、车辆、自行车、背景点等,此处不做穷举。
第一神经网络输出的每个点的预测类别具体可以表现为编号、字符、数组或其他形式等。作为示例,此处以第一神经网络输出的每个点的类别编号来指示每个点的预测类别为例,例如若第一神经网络输出的目标点的类别编号为0,代表目标点的预测类别为没有语义含义的点,“没有语义含义的点”也可以理解为“背景点”;作为另一示例,例如若第一神经网络输出的目标点的类别编号为1,代表目标点的预测类别为人,应理解,此处举例仅为方便理解本方案,不用于限定本方案。
需要说明的是,本申请实施例不限定步骤302和303的执行顺序,可以先执行步骤302,再执行步骤303;也可以先执行步骤303,再执行步骤302。
304、根据位于第一栅格中每个点的预测类别,确定第一栅格的预测类别。
本申请实施例中,电子设备可以根据待处理点云数据中每个点的预测类别,以及待处理点云数据中每个点的栅格坐标,确定待处理栅格数据中每个栅格的预测类别。其中,第一栅格为待处理栅格数据包括的多个栅格中的任意一个栅格。
在一种实现方式中,步骤304可以包括:电子设备可以根据位于第一栅格中每个点的预测类别,直接确定第一栅格的最终预测类别(也即第一栅格的初始预测类别就是第一栅格的最终预测类别)。
具体的,电子设备在确定第一栅格后,可以根据待处理点云数据中每个点的坐标(也即每个点的位置信息),以及待处理点云数据中每个点的坐标与每个点在目标栅格图中的栅格坐标之间的对应关系,确定第一栅格中包括的S个点,S为大于或等于1的整数。
电子设备获取位于第一栅格中每个点的预测类别,也即电子设备可以统计得到第一栅格中的S个点与n+1个类别对应,还可以统计得到该第一栅格内与n+1个类别中每个类别对应的点的数量,n为大于或等于0的整数。
电子设备从n+1个类别中确定第三类别,并根据第三类别,确定第一栅格的最终预测类别。其中,第三类别为该n+1个类别中的一个类别,位于第一栅格内的S个点中类别为第三类别的第一点的数量最多。进一步地,电子设备可以通过编号、字符、数组或其他形式的数据来表示一个栅格的最终预测类别。电子设备可以采用相同或不同类型的信息来指示每个点的预测类别和每个栅格的预测类别。
可选地,电子设备还可以统计得到S的数值(为方便描述,后续称为“第一总数量”),以及第一栅格内预测类别为第三类别的第一点的第一数量,并生成第一概率值,第一概率值是根据第一数量和第一总数量之间的比值得到的。
为了进一步地理解本方案,以下公开了电子设备得到与第三类别对应的第一概率值的公式的一种示例:
其中,P1代表与n+1个类别中第三类别对应的一个第一概率值,i代表位于第一栅格内的S个第一点中每个点所对应的类别编号,i的取值可以为0至n中的任意一个数值,式(3)中以当i的取值为0时所指向的类别为没有语义含义的点(或者背景点)为例。如上述式(3)所示,若位于第一栅格内的S个点中数量最多的第一点所对应的类别编号(也即第三类别的类别编号)不等于0,则获取第一栅格内第一点的总数量与第一栅格内所有点的总数量之间的比值,并将前述比值确定为第一概率值。
若位于第一栅格内的S个点中数量最多的第一点所对应的类别编号等于0,则可以先判断第一栅格内类别编号等于0的点与第一栅格内所有点的总数量之间的比值是否大于或等于第四阈值(也即thres1),若前述判断的判断结果为是,则继而判断第一栅格内类别编号等于0的点与第一栅格内所有点的总数量之间的比值是否大于第五阈值(也即thres2),若前述比值大于第五阈值,则将前述比值确定为第一概率值,若前述比值小于或等于第五阈值,则将第五阈值确定为第一概率值。其中,thres1为取值大于或等于0的数值,thres2为大于0的数值,thres1的取值和thres2的取值可以相同或不同,此处不做限定。
若位于第一栅格内的S个点中数量最多的第一点所对应的类别编号等于0,且第一栅格内类别编号等于0的点与第一栅格内所有点的总数量之间的比值小于第四阈值,则可以将第一概率值确定为0,当与第一栅格对应的第一概率值的取值为0时,可以视为第一栅格中没有任何一个带有语义含义的点,则该第一栅格的最终预测类别可以确定为没有语义含义,或者,可以将第一栅格的最终预测类别确定为背景,应理解,式(3)中的举例仅为方便理解本方案,不用于限定本方案。
为了更直观地理解本方案,请参阅图5,图5为本申请实施例提供的点云数据的聚类方法中得到第一栅格所对应的第一概率值的一种示意图。图5中示出的为第一栅格内的多个点,以及每个点的预测类别,其中,第一栅格内的所有点的总数量为51个,第一栅格内预测类别为车辆的点的数量为42个,第一栅格内预测类别为背景的点的数量为3个,第一栅格内预测类别为弱势道路使用者(Vulnerable Road User,VRU)的点的数量为6个,VRU包括但不限于人、自行车等除车辆之外的交通道路使用者;第一栅格内预测类别为车辆的点最多,且预测类别为车辆的点的数量与第一栅格内所有点的总数量之间的比值为0.82,由于“车辆”不是“背景”,则与第一栅格对应的第一概率值的取值可以为0.82,需要说明的是,在实际情况中待处理点云数据中每个点的形状都是相同的,图5中仅为了对不同类别的点进行区分,所以采用不同的形状来进行展示,图5中的示例仅为方便理解本方案,不用于限定本方案。
针对电子设备根据第三类别确定第一栅格的最终预测类别的过程。更具体的,在一种实现方式中,电子设备可以直接将第一栅格的最终预测类别确定为第三类别。在另一种实现方式中,电子设备可以判断第一概率值是否大于或等于该第三类别所对应的第三阈值,若与第三类别对应的第一概率值大于或等于第三阈值,则电子设备将第一栅格的最终预测类别确定为第三类别;若与第三类别对应的第一概率值小于第三类别所对应的第三阈值,则电子设备可以将第一栅格的最终预测类别确定为不具有语义含义,或者,也可以将第一栅格的最终预测类别确定为背景。
在另一种实现方式中,当第三类别表现为不同类别时,电子设备采用不同的处理方法。在第三类别指向的类别具有语义含义的情况下,作为示例,例如第三类别中指向的类别可以为车辆、人、红绿灯、公交车站等等,应理解,此处举例仅为方便理解本方案,第三类别的具体表现形式可以结合实际应用场景灵活确定,不用于限定本方案。电子设备判断与第三类别对应的第一概率值是否大于或等于第三类别所对应的第三阈值,若与第三类别对应的第一概率值大于或等于第三阈值,则电子设备将第一栅格的最终预测类别确定为第三类别;若与第三类别对应的第一概率值小于第三类别所对应的第三阈值,则电子设备可以将第一栅格的最终预测类别确定为不具有语义含义,或者,也可以将第一栅格的最终预测类别确定为背景。
在第三类别指向的类别是没有语义含义的情况下,也即位于第一栅格内的S个点中没有语义类别的点的数量最多,电子设备可以将第一栅格的最终预测类别确定为没有语义含义,或者,电子设备可以将第一栅格的最终预测类别确定为背景。
进一步,不同类别所对应的第三阈值可以相同,也可以不同。作为示例,例如当第三类别指向的类别为人时,第三阈值的取值可以为0.3,当第三类别指向的类别为自行车时,第三阈值的取值为0.4等,此处举例仅为方便理解本方案,不用于限定本方案。由于不同类别的物体的稠密程度不同,则不同类别的物体在单位空间内所对应的点的数量也会不同,不同类别所对应的第三阈值不同,有利于提高栅格的类别判断过程的精准度。
在另一种实现方式中,电子设备根据位于第一栅格中每个点的预测类别,确定第一栅格的初始预测类别;获取与第一栅格对应的至少一个目标邻域栅格,并根据至少一个目标邻域栅格中每个目标邻域栅格的初始预测类别,确定第一栅格的最终预测类别。电子设备遍历待处理栅格数据中的每个栅格,对待处理栅格数据中的每个栅格均执行前述操作,从而得到待处理栅格数据中的每个栅格的最终预测类别。
本申请实施例中,由于在对点云数据进行采集以及处理的过程中,可能会引入噪点,导致仅根据第一栅格中每个点的预测类别来确定第一栅格的类别时,可能会出现误差;则在确定第一栅格的最终预测类别时,不仅考虑位于第一栅格内的每个点的预测类别,还会考虑第一栅格的邻域栅格的初始预测类别,以尽量降低噪点给栅格的类别判断过程所带来的误差,以进一步提高栅格的类别判断过程的精准度,进而有利于提高整个待处理点云数据的聚类过程的准确率。
具体的,“电子设备根据位于第一栅格中每个点的预测类别,确定第一栅格的初始预测类别”这一步骤的具体实现方式,可参阅“根据位于第一栅格中每个点的预测类别,直接确定第一栅格的最终预测类别”这一实现方式的描述,区别仅在于,将上一实现方式中的“最终预测类别”替换为本实现方式中的“初始预测类别”。电子设备遍历目标栅格图中的每个栅格,并通过上述方式得到目标栅格图中每个栅格的初始预测类别。
电子设备获取与第一栅格对应的至少一个目标邻域栅格,并获取至少一个目标邻域栅格中每个目标邻域栅格的初始预测类别,获取第一栅格对应的所有目标邻域栅格的第二总数量,以及至少一个目标邻域栅格中初始预测类别为第三类别(也即第一栅格的初始预测类别)的栅格的第二数量,并生成第二概率值,第二概率值为第二数量和第二总数量之间的比值。若第二概率值大于或等于第六阈值,则将第一栅格的初始预测类别确定为第一栅格的最终预测类别;若第二概率值小于第六阈值,则将第一栅格的最终预测类别确定为背景,或者,将第一栅格的最终预测类别确定为不具有语义含义。
其中,第六阈值大于0且小于1,作为示例,例如第六阈值的取值可以为0.2、0.25或其他数值等,第六阈值的取值可以结合用于采集待处理点云数据的传感器的分辨率、用于进行语义分割的神经网络的准确率等因素确定,此处举例仅为方便理解本方案。
与第一栅格对应的至少一个目标邻域栅格指的是目标栅格图中位于第一栅格周围的栅格,与第一栅格对应的至少一个目标邻域栅格可以包括与第一栅格直接相邻的栅格,也可以包括与第一栅格间接相邻的栅格等,此处不做限定。
进一步地,在一种实现方式中,当第一栅格的初始预测类别具体表现为不同的类别时,与第一栅格对应的至少一个目标邻域栅格的数量均相同。为了更直观地理解本方案,请参阅图6,图6为本申请实施例提供的点云数据的聚类方法中得到第一栅格的至少一个目标邻域栅格的一种示意图。图6包括(a)和(b)两个子示意图,图6的(a)子示意图和图6的(b)子示意图均以目标栅格图是建立在二维直角坐标系下的栅格图为例,B1代表第一栅格,B2代表第一栅格的目标邻域栅格,B1指向的第一栅格所对应的初始预测类别为车辆。C1代表第一栅格,C2代表第一栅格的目标邻域栅格,C1指向的第一栅格所对应的初始预测类别为人。如图6所示,在第一栅格的初始预测类别具体表现为不同的类别时,与第一栅格对应的至少一个目标邻域栅格的数量均相同,应理解,图6中的示例仅为方便理解目标邻域栅格这一概念,不用于限定本方案。
在另一种实现方式中,在第一栅格的初始预测类别为第一类别的情况下,与第一栅格对应的至少一个目标邻域栅格的数量为第一数值,在第一栅格的初始预测类别为第二类别的情况下,与第一栅格对应的至少一个目标邻域栅格的数量为第二数值,其中,若第一类别的物体与第二类别的物体的尺寸不同,则第一数值和第二数值不同。
本申请实施例中,由于在实际环境中,不同类别的物体的尺寸可能不同,为不同尺寸的物体选取不同数量的邻域栅格,有利于使得选取到的邻域栅格与实际环境中物体的形状接近,以提高栅格的预测类别的准确性。
为了更直观地理解本方案,请参阅图7,图7为本申请实施例提供的点云数据的聚类方法中得到第一栅格的至少一个目标邻域栅格的一种示意图。图7包括(a)和(b)两个子示意图,图7的(a)子示意图和图7的(b)子示意图均以目标栅格图是建立在二维直角坐标系下的栅格图为例,D1代表第一栅格,D2代表第一栅格的目标邻域栅格,D1指向的第一栅格所对应的初始预测类别为车辆,也即图7的(a)子示意图以第一栅格的初始预测类别为车辆为例。E1代表第一栅格,E2代表第一栅格的目标邻域栅格,E1指向的第一栅格所对应的初始预测类别为人,也即图7的(b)子示意图以第一栅格的初始预测类别为人为例。如图7所示,在第一栅格的初始预测类别为车辆,和第一栅格的初始预测类别为人这两种情况下,第一栅格的目标邻域栅格的数量不同,应理解,图7中的示例仅为方便理解本方案,不用于限定本方案。
为了进一步地理解本方案,以下公开了电子设备生成第二概率值的公式的一种示例:
其中,SA代表第一栅格的目标邻域栅格的位置向量的集合,CurPosVec代表第一栅格所对应的位置向量,StdSizet代表通过向量的形式来表示第三类别(也即第一栅格的初始预测类别)的物体的标准尺寸,若目标栅格图为建立于二维坐标系上的,则通过两个维度的数值来描述第三类别的物体的尺寸;若目标栅格图为建立于三维坐标系上的,则通过三个维度的数值来描述三个类别的物体的尺寸,当第三类别采用的为不同类别时,StdSizet所对应的向量的取值可以不同。GridSize代表代表通过向量的形式来表示目标栅格图中一个栅格的尺寸,式(4)中的除法为向量中对应位置上的标量相除,表示向量加法以及对结果取并集,Counter为计数算子,Counter(Pt in SA)代表第一栅格的所有目标邻域栅格中初始预测类别为第三类别的栅格的数量,Counter(P in SA)代表第一栅格的所有目标邻域栅格的总数量,应理解,式(4)中的举例仅为方便理解本方案,不用于限定本方案。
为了更直观地理解本方案,请参阅图8,图8为本申请实施例提供的点云数据的聚类方法中第一栅格所对应的第二概率值的一种示意图。图8中以目标栅格图是建立在二维直角坐标系下的栅格图为例,F1指向的第一栅格所对应的初始预测类别为车辆,图8中虚线框内的栅格为第一栅格的所有目标邻域栅格,如图8所示,第一栅格的所有目标邻域栅格中与第一栅格(也即F1指向的栅格)的初始预测类别相同的栅格的数量为14,第一栅格的所有目标邻域栅格的总数量为20,则第一栅格所对应的第二概率值为0.7,应理解,图8中的示例仅为方便理解本方案,不用于限定本方案。
305、根据待处理栅格数据中每个栅格的预测类别,从待处理栅格数据包括的多个栅格中确定至少一个边界栅格。
本申请的一些实施例中,电子设备可以根据待处理栅格数据中每个栅格的预测类别,从待处理栅格数据包括的多个栅格中确定至少一个边界栅格。边界栅格指的是目标栅格图中位于物体边界上的栅格,也即边界栅格指的是目标栅格图中位于不同物体之间的栅格。
其中,若步骤304中电子设备是基于第一栅格中每个点的预测类别直接确定第一栅格的最终预测类别,则步骤305中的每个栅格的预测类别就是指的每个栅格的最终预测类别;若步骤304中电子设备是先生成每个栅格的初始预测类别,再生成每个栅格的最终预测类别,则待处理栅格数据中每个栅格的预测类别可以指的是每个栅格的初始预测类别,也可以为每个栅格的最终预测类别。也即,每个栅格的预测类别可以为基于每个栅格内的多个点的预测类别直接得到的(为方便描述,后续称之为“第一预测类别”);或者,每个栅格的预测类别为根据每个栅格内的多个点的预测类别,并进行二次处理后得到的(为方便描述,后续称之为“第二预测类别”)。
具体的,针对判断待处理栅格数据包括的多个栅格中任一个栅格(为方便描述,后续称为“第一栅格”)是否为边界栅格的过程。在一种实现方式中,电子设备获取与第一栅格对应的至少一个目标邻域栅格,针对至少一个目标邻域栅格中任一个目标邻域栅格(为方便描述,后续称为“第二栅格”),电子设备可以获取第二栅格所对应的至少一个邻域栅格,并确定第二栅格的邻域栅格中与第二栅格的预测类别相同的栅格的数量为第三数值,确定第二栅格的邻域栅格的总数量为第四数值,将第三数值和第四数值之间的比值确定为目标概率值。
在电子设备根据与至少一个目标邻域栅格中每个目标邻域栅格对应的目标概率值,确定满足第一预设条件的情况下,确定第一栅格为边界栅格;在电子设备根据与至少一个目标邻域栅格中每个目标邻域栅格对应的目标概率值,确定不满足第一预设条件的情况下,确定第一栅格不是边界栅格,也即确定第一栅格为非边界栅格。
本申请实施例中,由于待处理点云数据中可能会存在噪点,导致第一栅格的预测类别可能会出现错误,因此,采用第一栅格的每个目标邻域栅格所对应的目标概率值,来判断第一栅格是否为边界栅格,第二栅格(也即第一栅格的任意一个目标邻域栅格)的目标邻域值代表的是第二栅格的邻域栅格中与所述第二栅格的预测类别相同的栅格的数量与第二栅格的邻域栅格的总数量之间的比值,相比于仅根据第一栅格的目标概率值来判断第一栅格是否为边界栅格,有利于提高边界栅格的判断过程的准确率。
需要说明的是,“目标概率值”和“第二概率值”这两个概念很相似,区别在于,目标栅格的“第二概率值”指的是第二数量和第二总数量之间的比值,第二数量前述目标栅格的至少一个邻域栅格中初始预测类别与前述目标栅格的初始预测类别一致的栅格的数量,第二总数量为前述栅格的至少一个邻域栅格的总数量。而目标栅格的“目标概率值”指的是第三数值和第四数值之间的比值,第三数值为该目标栅格的邻域栅格中与该目标栅格的预测类别相同的栅格的数量,第四数值为该目标栅格的邻域栅格的总数量。区别就在于,目标栅格的初始预测类别特指仅基于位于目标栅格内的多个点的预测类别直接得到的类别(也即特指目标栅格的第一预测类别);而目标栅格的预测类别既可以指仅基于位于目标栅格内的多个点的预测类别直接得到的类别,也可以指根据目标栅格内的多个点的预测类别,并进行二次处理后得到的类别(也即可以为目标栅格的第一预测类别,也可以为目标栅格的第二预测类别)。
电子设备遍历第一栅格的每个目标邻域栅格,以获取到每个目标邻域栅格所对应的目标概率值。作为示例,例如采用的搜索向量是单位尺寸为1个栅格,角度为[0,45,90,135]的向量组,也即若以第一栅格为起始点,分别在0度、45度、90度和135度方向上搜索第一栅格的目标邻域栅格,每搜索一次移动的大小为1个栅格,需要说明的是,此处举例仅为证明本方案的可实现性,在实际情况中还可以采用其他的搜索方式,此处不一一进行列举。
具体的,针对电子设备获取目标邻域栅格所对应的目标概率值的过程。“电子设备获取与第一栅格对应的至少一个目标邻域栅格”的具体实现方式可参阅上述步骤304中的描述,此处不做赘述。
电子设备可以为通过第二栅格和第二栅格的邻域栅格的第一预测类别来判断第二栅格和第二栅格的某个邻域栅格的类别是否相同,或者,电子设备也可以根据第二栅格和第二栅格的邻域栅格的第二预测类别来判断第二栅格和第二栅格的某个邻域栅格的类别是否相同;电子设备遍历第二栅格的所有邻域栅格,从而可以计算得到第二栅格所对应的目标概率值。电子设备对第一栅格的每个目标邻域栅格均执行前述操作,从而得到第一栅格的每个目标邻域栅格所对应的目标概率值。
针对“第一预设条件”的具体含义。在一种情况下,第一预设条件包括:与第一栅格的多个目标邻域栅格对应的多个目标概率值的平均值小于或等于第一阈值,且,与第一栅格的多个目标邻域栅格对应的多个目标概率值的方差大于或等于第二阈值。
具体的,电子设备在得到第一栅格的至少一个目标邻域栅格中每个目标邻域栅格所对应的目标概率值之后,生成与第一栅格的多个目标邻域栅格对应的多个目标概率值的平均值和方差,判断该平均值是否小于或等于第一阈值,并判断该方差是否大于或等于第二阈值。若该平均值小于或等于第一阈值,且该方差大于或等于第二阈值,则将第一栅格确定为边界栅格;若该平均值大于第一阈值,或该方差小于第二阈值,则将第一栅格确定为非边界栅格。
本申请实施例中,若某一个栅格为边界栅格,由于边界栅格指的是位于不同物体之间的栅格,则边界栅格的多个邻域栅格的预测类别可能会不同,对应的,边界栅格和边界栅格的邻域栅格所对应的目标概率值可能会小。当边界栅格的邻域栅格中不同种类的物体所对应的栅格数量不同时,边界栅格的多个邻域栅格所对应的多个目标概率值的方差还会大。由于在后续根据每个栅格的预测类别执行聚类的过程中,边界栅格不会再被重新修改为非边界栅格,而聚类过程中尚未认定为边界的栅格也可能被确定为物体的边界,本方案中利用第一栅格的多个目标邻域栅格对应的多个目标概率值的平均值和方差这两个指标来确定第一栅格是否为边界栅格,降低了将非边界栅格判定为边界栅格的概率,有利于提高待处理点云数据的聚类过程的准确率。
更进一步地,第一阈值和第二阈值的取值均大于0且小于1,在第一栅格的预测类别(也即第一栅格的第三类别)具体表现为第四类别的情况下,第一阈值的取值可以为a1,第二阈值的取值可以为b1;在第一栅格的预测类别(也即第一栅格的第三类别)具体表现为第四类别的情况下,第一阈值的取值可以为a2,第二阈值的取值可以为b2。
在一种实现方式中,无论第三类别与第四类别是否相同,a1等于a2,且b1等于b2,也即无论第一栅格的预测类别的预测类别具体表现哪种类别,均采用相同的第一阈值和第二阈值。作为示例,例如第一阈值的取值可以为0.3,第二阈值的取值可以为0.5等,应理解,此处举例仅为方便理解本方案,不用于限定本方案。
在另一种实现方式中,由于当第一阈值的取值设置很高,且第二阈值的取值设置很低,会导致很容易满足第一预设条件,进而导致待处理栅格数据中的很多栅格都会被确认为边界栅格,则会加剧过分割的情况;由于当第一阈值的取值设置很低,且第二阈值的取值设置很高,会导致很难满足第一预设条件,进而导致待处理栅格数据中的很少栅格会被确认为边界栅格,则会加剧欠分割的情况。则技术人员可以结合实际应用场景为不同类别设置不同的第一阈值和第二阈值,也即当第三类别和第四类别为不同的类别时,a1和a2的取值可以不同,和/或,b1和b2的取值可以不同。
作为示例,例如第一栅格的预测类别的预测类别为车辆,为了抑制对车辆进行聚类时的过分割的问题,则可以设置较低的第一阈值和较高的第二阈值;作为另一示例,例如第一栅格的预测类别的预测类别为人,为了改善对人进行聚类时的欠分割的问题,则可以设置较高的第一阈值和较低的第二阈值等,应理解,此处举例仅为方便理解本方案,不用于限定本方案。本申请实施例中,通过调整第一阈值和第二阈值的取值,能够抑制尺寸较大的物体的过分割的情况,还能改善尺寸较小的物体的欠拟合的问题,以进一步提高聚类过程的准确率,从而有利于提高整个目标检测结果的准确率。
在另一种情况下,第一预设条件可以为与第一栅格的多个目标邻域栅格对应的多个目标概率值的方差大于或等于第一预设阈值,其中,第一预设阈值为大于0的整数,第一预设阈值的取值与第二阈值的取值可以相同或不同。进一步地,当第一栅格的预测类别表现为不同的类别时,第一预设阈值的取值可以相同或不同。
具体的,电子设备生成与第一栅格的多个目标邻域栅格对应的多个目标概率值的方差,判断该方差是否大于或等于第一预设阈值。若该方差大于或等于第一预设阈值,则将第一栅格确定为边界栅格;若该方差小于第一预设阈值,则将第一栅格确定为非边界栅格。
在另一种情况下,第一预设条件可以为与第一栅格的多个目标邻域栅格对应的多个目标概率值的平均值小于或等于第二预设阈值,其中,第二预设阈值为大于0的整数,第二预设阈值的取值与第一阈值的取值可以相同或不同。进一步地,当第一栅格的预测类别表现为不同的类别时,第二预设阈值的取值可以相同或不同。
在另一种实现方式中,电子设备还可以根据待处理栅格数据中每个栅格的预测类别,获取与第一栅格对应的目标概率值,并判断第一栅格所对应的目标概率值是否大于或等于第三预设阈值,若前述判断结果为是,则确定第一栅格是非边界栅格;若前述判断结果为否,则确定第一栅格为边界栅格。
电子设备遍历待处理栅格数据包括的多个栅格中每个栅格,以逐个判断待处理栅格数据中的每个栅格是否为边界栅格,进而从待处理栅格数据包括的多个栅格中选取出一个或多个边界栅格。
306、根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到与待处理点云数据对应的至少一个点云簇。
本申请实施例中,步骤305为可选步骤,若执行步骤305,则步骤306具体可以包括:电子设备根据通过步骤304得到的待处理栅格数据中每个栅格的预测类别,和通过步骤305得到的至少一个边界栅格,执行聚类操作,以得到第一聚类结果,第一聚类结果指示待处理栅格数据中的多个栅格的聚类结果;电子设备根据待处理点云数据中每个点的坐标与每个点在目标栅格图中的栅格坐标之间的对应关系和该第一聚类结果,生成与待处理点云数据对应的至少一个点云簇。一个点云簇可以理解为由至少一个点构成的集合,一个点云簇中包括待处理点云数据中一个或多个点的位置信息(也即可以称为一个或多个点的坐标)。
本申请实施例中,先根据待处理栅格数据中每个栅格的预测类别,从待处理栅格数据包括的多个栅格中确定至少一个边界栅格,再根据待处理栅格数据中每个栅格的预测类别和待处理栅格数据中的至少一个边界栅格,执行聚类操作,以避免在聚类过程中将边界栅格确定为聚类中心(也可以称为“种子栅格”),有利于提高聚类过程的准确性。
具体的,针对电子设备省的第一聚类结果的过程。电子设备可以从目标栅格图包括的多个栅格中选取第一种子栅格,并初始化第一种子栅格所对应的点云簇;其中,第一种子栅格也即作为聚类中心的栅格,第一种子栅格需要为尚未被执行过聚类操作的非边界栅格,且第一种子栅格所对应的预测类别不可以是没有语义含义,换言之,第一种子栅格所对应的预测类别不可以是背景。可选地,第一种子栅格所对应的第一概率值需要大于或等于第四预设阈值,和/或,第一种子栅格所对应的第二概率值需要大于或等于第五预设阈值,第四预设阈值的取值大于第三阈值,以提高第一种子栅格的准确率。
电子设备获取第一种子栅格的至少一个领域栅格,针对第一种子栅格的至少一个领域栅格中的任一个邻域栅格(为方便描述,后续称为“第三栅格”),电子设备可以判断第三栅格的预测类别是否与第一种子栅格的预测类别相同,若第三栅格的预测类别与第一种子栅格的预测类别相同,则将第三栅格加入第一种子栅格所对应的点云簇;若第三栅格的预测类别与第一种子栅格的预测类别不同,则继续获取第一种子栅格的下一个领域栅格。需要说明的是,电子设备获取第一种子栅格的至少一个领域栅格的步骤的具体实现方式可以参阅上述步骤中的描述,此处不做赘述。
可选地,电子设备可以判断第三栅格的预测类别是否与第一种子栅格的预测类别相同,且判断第三栅格是否满足第二预设条件,在前述判断结果均为是的情况下,将第三栅格加入第一种子栅格所对应的点云簇;否则,继续获取第一种子栅格的下一个领域栅格。其中,第二预设条件包括第三栅格所对应的第一概率值是否大于或等于第四预设阈值,和/或,第三栅格所对应的第二概率值需要大于或等于第五预设阈值,
电子设备遍历第一种子栅格的所有邻域栅格后,也即对第一种子栅格的每个领域栅格均执行上述判断操作后,得到与第一种子栅格对应的一个点云簇。可以从目标栅格图包括的多个栅格中继续选取下一个种子栅格,以生成与下一个种子栅格所对应的点云簇。电子设备重复执行上述步骤,直至对目标栅格图中的每个栅格均执行过聚类操作,以生成第一聚类结果。
可选地,电子设备在目标栅格图中的每个栅格执行过一次聚类操作后,由于目标栅格图中的部分栅格可能未能被归入聚类簇中,电子设备还可以重复执行H次上述聚类操作,以对尚未加入聚类簇的栅格再次进行聚类,H的取值可以为大于或等于1的整数,作为示例,例如H的取值可以为1、2或其他数值等等。进一步地,在该H次的不同批次中,第四预设阈值和第五预设阈值的取值可以越来越小。
若不执行步骤305,则步骤306具体可以包括电子设备根据通过步骤304得到的待处理栅格数据中每个栅格的预测类别,对待处理栅格数据中的多个栅格直接执行聚类操作,以得到第二聚类结果,第二聚类结果指示待处理栅格数据中的多个栅格的聚类结果;电子设备根据待处理点云数据中每个点的坐标与每个点在目标栅格图中的栅格坐标之间的对应关系和该第二聚类结果,生成与待处理点云数据对应的至少一个点云簇。
具体的,电子设备根据待处理栅格数据中每个栅格的预测类别,对待处理栅格数据中的多个栅格直接执行聚类操作的具体实现方式,可参阅上一实现方式的描述,区别在于,本实现方式中的种子栅格为尚未被执行过聚类操作的栅格,且第一种子栅格所对应的预测类别不可以是没有语义含义,也即本实现方式中的种子栅格不需要是非边界栅格。
307、根据至少一个点云簇,执行分类操作,以得到与待处理点云数据对应的目标检测结果。
本申请实施例中,电子设备在得到与待处理点云数据对应的至少一个点云簇后,还可以通过第二神经网络执行分类操作,以得到与待处理点云数据对应的目标检测结果。其中,目标检测结果用于指示至少一个点云簇中每个点云簇的分类类别,目标检测结果还可以用于指示至少一个点云簇中每个点云簇的位置。第二神经网络为执行过训练操作的神经网络,作为示例,例如第二神经网络具体可以采用全连接神经网络或其他类型神经网络等。
本申请实施例中,在对待处理点云数据中的多个点进行聚类的过程中,还会获取到每个点的预测类别,并根据待处理点云数据中每个点的位置信息,得到与待处理点云数据对应的待处理栅格数据,并且根据位于栅格中的点的预测类别,生成前述栅格的预测类别,再根据待处理栅格数据中每个栅格的预测类别,对待处理栅格数据进行聚类,进而能够得到与待处理点云数据对应的至少一个点云簇;由于不再是仅仅依赖待处理点云数据中每个点的位置信息进行聚类操作,而是同时利用了待处理点云数据中每个点的位置信息和每个点的预测类别,以完成整个聚类过程,有利于提高整个聚类过程的准确率。
为了对本申请实施例所带来的有益效果有更为直观地认知,本申请实施例中在公开数据集KITTI Tracking(跟踪)上进行了实验,以下将结合表1对实验结果进行展示。
表1
欧式距离 | DBSCAN点密度 | 本申请实施例 | |
车辆 | 86.5 | 87.4 | 88.0 |
VRU | 64.7 | 60.5 | 73.6 |
其中,表1分别示出了基于欧式距离、基于密度的含噪声应用的空间聚类方法(density-based spatial clustering of applications with noise,DBSCAN)和采用本申请实施例提供的方案执行目标检测操作,表1中的第一行示出的为分别采用前述三种方案对车辆进行检测的准确率,表1中的第二行示出的为分别采用前述三种方案对弱势道路使用者VRU进行检测的准确率,通过上述表1可知,采用本申请实施例提供的方案能有效的提高目标检测结果的准确率。
在图2至图8所对应的实施例的基础上,为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关设备。具体参阅图9,图9为本申请实施例提供的点云数据的聚类装置的一种结构示意图。点云数据的聚类装置900可以包括:栅格化模块901,用于根据待处理点云数据中每个点的位置信息,对待处理点云数据中的多个点进行栅格化处理,得到与待处理点云数据对应的待处理栅格数据;获取模块902,用于获取待处理点云数据中每个点的预测类别;确定模块903,用于根据位于第一栅格中每个点的预测类别,确定第一栅格的预测类别,第一栅格为待处理栅格数据包括的多个栅格中的任意一个栅格;聚类模块904,用于根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到与待处理点云数据对应的至少一个点云簇。
本申请实施例中,在对待处理点云数据中的多个点进行聚类的过程中,还会通过获取模块902获取到每个点的预测类别,栅格化模块901根据待处理点云数据中每个点的位置信息,得到与待处理点云数据对应的待处理栅格数据,确定模块903根据位于栅格中的点的预测类别,生成前述栅格的预测类别,再根据待处理栅格数据中每个栅格的预测类别,对待处理栅格数据进行聚类,进而能够得到与待处理点云数据对应的至少一个点云簇;由于不再是仅仅依赖待处理点云数据中每个点的位置信息进行聚类操作,而是同时利用了待处理点云数据中每个点的位置信息和每个点的预测类别,以完成整个聚类过程,有利于提高整个聚类过程的准确率。
在一种可能的设计中,确定模块903,具体用于:根据位于第一栅格中每个点的预测类别,确定第一栅格的初始预测类别;获取与第一栅格对应的至少一个目标邻域栅格,并根据至少一个目标邻域栅格中每个目标邻域栅格的初始预测类别,确定第一栅格的最终预测类别;聚类模块904,具体用于根据待处理栅格数据中每个栅格的最终预测类别,执行聚类操作,以得到至少一个点云簇。
在一种可能的设计中,在第一栅格的初始预测类别为第一类别的情况下,与第一栅格对应的至少一个目标邻域栅格的数量为第一数值,在第一栅格的初始预测类别为第二类别的情况下,与第一栅格对应的至少一个目标邻域栅格的数量为第二数值,其中,若第一类别的物体与第二类别的物体的尺寸不同,则第一数值和第二数值不同。
在一种可能的设计中,确定模块903,还用于根据待处理栅格数据中每个栅格的预测类别,从待处理栅格数据包括的多个栅格中确定至少一个边界栅格;聚类模块904,具体用于根据待处理栅格数据中每个栅格的预测类别和待处理栅格数据中的至少一个边界栅格,执行聚类操作。
在一种可能的设计中,聚类模块904,具体用于:获取第二栅格所对应的目标概率值,其中,第二栅格为第一栅格的至少一个目标邻域栅格中任意一个栅格,第二栅格所对应的目标概率值指示与第二栅格对应的第三数值和与第二栅格对应的第四数值之间的比值,第三数值为第二栅格的邻域栅格中与第二栅格的预测类别相同的栅格的数量,第四数值为第二栅格的邻域栅格的总数量;在根据与每个目标邻域栅格对应的目标概率值,确定满足预设条件的情况下,确定第一栅格为边界栅格。
在一种可能的设计中,预设条件包括:与第一栅格的多个目标邻域栅格对应的多个目标概率值的平均值小于或等于第一阈值,且,与第一栅格的多个目标邻域栅格对应的多个目标概率值的方差大于或等于第二阈值。
需要说明的是,点云数据的聚类装置900中各模块/单元之间的信息交互、执行过程等内容,与本申请中图2至图8对应的各个方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
接下来介绍本申请实施例提供的一种电子设备,请参阅图10,图10为本申请实施例提供的电子设备的一种结构示意图,电子设备1000具体可以表现为车辆、雷达、监控***或监控***中的数据处理设备等,此处不做限定。其中,电子设备1000上可以部署有图9对应实施例中所描述的点云数据的聚类装置900,用于实现图2至图8对应实施例中电子设备的功能。具体的,电子设备1000可以包括:接收器1001、发射器1002、处理器1003和存储器1004(其中电子设备1000中的处理器1003的数量可以一个或多个,图10中以一个处理器为例),其中,处理器1003可以包括应用处理器10031和通信处理器10032。在本申请的一些实施例中,接收器1001、发射器1002、处理器1003和存储器1004可通过总线或其它方式连接。
存储器1004可以包括只读存储器和随机存取存储器,并向处理器1003提供指令和数据。存储器1004的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory,NVRAM)。存储器1004存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
处理器1003控制电子设备的操作。具体的应用中,电子设备的各个组件通过总线***耦合在一起,其中总线***除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线***。
上述本申请实施例揭示的方法可以应用于处理器1003中,或者由处理器1003实现。处理器1003可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1003中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1003可以是通用处理器、数字信号处理器(digital signal processing,DSP)、微处理器或微控制器,还可进一步包括专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1003可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1004,处理器1003读取存储器1004中的信息,结合其硬件完成上述方法的步骤。
接收器1001可用于接收输入的数字或字符信息,以及产生与电子设备的相关设置以及功能控制有关的信号输入。发射器1002可用于通过第一接口输出数字或字符信息;发射器1002还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据;发射器1002还可以包括显示屏等显示设备。
本申请实施例中,处理器1003中的应用处理器10031,用于执行图2至图8对应实施例提供的点云数据的聚类方法中电子设备执行的步骤,具体的,处理器1003中的应用处理器10031用于执行如下步骤:
根据待处理点云数据中每个点的位置信息,对待处理点云数据中的多个点进行栅格化处理,得到与待处理点云数据对应的待处理栅格数据;
获取待处理点云数据中每个点的预测类别;
根据位于第一栅格中每个点的预测类别,确定第一栅格的预测类别,第一栅格为待处理栅格数据包括的多个栅格中的任意一个栅格;
根据待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到与待处理点云数据对应的至少一个点云簇。
需要说明的是,应用处理器10031执行上述各个步骤的具体方式,与本申请中图2至图8对应的各个方法实施例基于同一构思,其带来的技术效果与本申请中图2至图8对应的各个方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例还提供了一种自动驾驶车辆,请参阅图11,图11是本申请实施例提供的自动驾驶车辆一种结构示意图,自动驾驶车辆100配置为完全或部分地自动驾驶模式,例如,自动驾驶车辆100可以在处于自动驾驶模式中的同时控制自身,并且可通过人为操作来确定车辆及其周边环境的当前状态,确定周边环境中的至少一个其他车辆的可能行为,并确定其他车辆执行可能行为的可能性相对应的置信水平,基于所确定的信息来控制自动驾驶车辆100。在自动驾驶车辆100处于自动驾驶模式中时,也可以将自动驾驶车辆100置为在没有和人交互的情况下操作。
自动驾驶车辆100可包括各种子***,例如行进***102、传感器***104、控制***106、一个或多个***设备108以及电源110、计算机***112和用户接口116。可选地,自动驾驶车辆100可包括更多或更少的子***,并且每个子***可包括多个部件。另外,自动驾驶车辆100的每个子***和部件可以通过有线或者无线互连。
行进***102可包括为自动驾驶车辆100提供动力运动的组件。在一个实施例中,行进***102可包括引擎118、能量源119、传动装置120和车轮(也可以称为轮胎)121。
其中,引擎118可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合,例如,汽油发动机和电动机组成的混动引擎,内燃引擎和空气压缩引擎组成的混动引擎。引擎118将能量源119转换成机械能量。能量源119的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源119也可以为自动驾驶车辆100的其他***提供能量。传动装置120可以将来自引擎118的机械动力传送到车轮121。传动装置120可包括变速箱、差速器和驱动轴。在一个实施例中,传动装置120还可以包括其他器件,比如离合器。其中,驱动轴可包括可耦合到一个或多个车轮121的一个或多个轴。
传感器***104可包括感测关于自动驾驶车辆100周边的环境的信息的若干个传感器。例如,传感器***104可包括定位***122(定位***可以是全球定位***GPS,也可以是北斗***或者其他定位***)、惯性测量单元(inertial measurement unit,IMU)124、雷达126、激光测距仪128以及相机130。传感器***104还可包括被监视自动驾驶车辆100的内部***的传感器(例如,车内空气质量监测器、燃油量表、机油温度表等)。来自这些传感器中的一个或多个的传感数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是自主自动驾驶车辆100的安全操作的关键功能。
其中,定位***122可用于估计自动驾驶车辆100的地理位置。IMU 124用于基于惯性加速度来感知自动驾驶车辆100的位置和朝向变化。在一个实施例中,IMU 124可以是加速度计和陀螺仪的组合。雷达126可利用无线电信号来感知自动驾驶车辆100的周边环境内的物体,具体可以表现为毫米波雷达或激光雷达。在一些实施例中,除了感知物体以外,雷达126还可用于感知物体的速度和/或前进方向。激光测距仪128可利用激光来感知自动驾驶车辆100所位于的环境中的物体。在一些实施例中,激光测距仪128可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他***组件。相机130可用于捕捉自动驾驶车辆100的周边环境的多个图像。相机130可以是静态相机或视频相机。
控制***106为控制自动驾驶车辆100及其组件的操作。控制***106可包括各种部件,其中包括转向***132、油门134、制动单元136、计算机视觉***140、线路控制***142以及障碍避免***144。
其中,转向***132可操作来调整自动驾驶车辆100的前进方向。例如在一个实施例中可以为方向盘***。油门134用于控制引擎118的操作速度并进而控制自动驾驶车辆100的速度。制动单元136用于控制自动驾驶车辆100减速。制动单元136可使用摩擦力来减慢车轮121。在其他实施例中,制动单元136可将车轮121的动能转换为电流。制动单元136也可采取其他形式来减慢车轮121转速从而控制自动驾驶车辆100的速度。计算机视觉***140可以操作来处理和分析由相机130捕捉的图像以便识别自动驾驶车辆100周边环境中的物体和/或特征。所述物体和/或特征可包括交通信号、道路边界和障碍体。计算机视觉***140可使用物体识别算法、运动中恢复结构(Structure from Motion,SFM)算法、视频跟踪和其他计算机视觉技术。在一些实施例中,计算机视觉***140可以用于为环境绘制地图、跟踪物体、估计物体的速度等等。线路控制***142用于确定自动驾驶车辆100的行驶路线以及行驶速度。在一些实施例中,线路控制***142可以包括横向规划模块1421和纵向规划模块1422,横向规划模块1421和纵向规划模块1422分别用于结合来自障碍避免***144、GPS 122和一个或多个预定地图的数据为自动驾驶车辆100确定行驶路线和行驶速度。障碍避免***144用于识别、评估和避免或者以其他方式越过自动驾驶车辆100的环境中的障碍体,前述障碍体具体可以表现为实际障碍体和可能与自动驾驶车辆100发生碰撞的虚拟移动体。在一个实例中,控制***106可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
自动驾驶车辆100通过***设备108与外部传感器、其他车辆、其他计算机***或用户之间进行交互。***设备108可包括无线通信***146、车载电脑148、麦克风150和/或扬声器152。在一些实施例中,***设备108为自动驾驶车辆100的用户提供与用户接口116交互的手段。例如,车载电脑148可向自动驾驶车辆100的用户提供信息。用户接口116还可操作车载电脑148来接收用户的输入。车载电脑148可以通过触摸屏进行操作。在其他情况中,***设备108可提供用于自动驾驶车辆100与位于车内的其它设备通信的手段。例如,麦克风150可从自动驾驶车辆100的用户接收音频(例如,语音命令或其他音频输入)。类似地,扬声器152可向自动驾驶车辆100的用户输出音频。无线通信***146可以直接地或者经由通信网络来与一个或多个设备无线通信。例如,无线通信***146可使用3G蜂窝通信,例如码分多址(code division multiple access,CDMA)、EVD0、全球移动通信***(globalsystem for mobile communications,GSM)/通用无线分组服务(general packet radioservice,GPRS),或者4G蜂窝通信,例如长期演进技术(long term evolution,LTE)。或者5G蜂窝通信。无线通信***146可利用无线局域网(wireless localarea network,WLAN)通信。在一些实施例中,无线通信***146可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议,例如各种车辆通信***,例如,无线通信***146可包括一个或多个专用短程通信(dedicated short range communications,DSRC)设备,这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
电源110可向自动驾驶车辆100的各种组件提供电力。在一个实施例中,电源110可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为自动驾驶车辆100的各种组件提供电力。在一些实施例中,电源110和能量源119可一起实现,例如一些全电动车中那样。
自动驾驶车辆100的部分或所有功能受计算机***112控制。计算机***112可包括至少一个处理器113,处理器113执行存储在例如存储器114这样的非暂态计算机可读介质中的指令115。计算机***112还可以是采用分布式方式控制自动驾驶车辆100的个体组件或子***的多个计算设备。处理器113可以是任何常规的处理器,诸如商业可获得的中央处理器(central processing unit,CPU)。可选地,处理器113可以是诸如专用集成电路(application specific integrated circuit,ASIC)或其它基于硬件的处理器的专用设备。尽管图1功能性地图示了处理器、存储器、和在相同块中的计算机***112的其它部件,但是本领域的普通技术人员应该理解该处理器、或存储器实际上可以包括不存储在相同的物理外壳内的多个处理器、或存储器。例如,存储器114可以是硬盘驱动器或位于不同于计算机***112的外壳内的其它存储介质。因此,对处理器113或存储器114的引用将被理解为包括可以并行操作或者可以不并行操作的处理器或存储器的集合的引用。不同于使用单一的处理器来执行此处所描述的步骤,诸如转向组件和减速组件的一些组件每个都可以具有其自己的处理器,所述处理器只执行与特定于组件的功能相关的计算。
在此处所描述的各个方面中,处理器113可以位于远离自动驾驶车辆100并且与自动驾驶车辆100进行无线通信。在其它方面中,此处所描述的过程中的一些在布置于自动驾驶车辆100内的处理器113上执行而其它则由远程处理器113执行,包括采取执行单一操纵的必要步骤。
在一些实施例中,存储器114可包含指令115(例如,程序逻辑),指令115可被处理器113执行来执行自动驾驶车辆100的各种功能,包括以上描述的那些功能。存储器114也可包含额外的指令,包括向行进***102、传感器***104、控制***106和***设备108中的一个或多个发送数据、从其接收数据、与其交互和/或对其进行控制的指令。除了指令115以外,存储器114还可存储数据,例如道路地图、路线信息,车辆的位置、方向、速度以及其它这样的车辆数据,以及其他信息。这种信息可在自动驾驶车辆100在自主、半自主和/或手动模式中操作期间被自动驾驶车辆100和计算机***112使用。用户接口116,用于向自动驾驶车辆100的用户提供信息或从其接收信息。可选地,用户接口116可包括在***设备108的集合内的一个或多个输入/输出设备,例如无线通信***146、车载电脑148、麦克风150和扬声器152。
计算机***112可基于从各种子***(例如,行进***102、传感器***104和控制***106)以及从用户接口116接收的输入来控制自动驾驶车辆100的功能。例如,计算机***112可利用来自控制***106的输入以便控制转向***132来避免由传感器***104和障碍避免***144检测到的障碍体。在一些实施例中,计算机***112可操作来对自动驾驶车辆100及其子***的许多方面提供控制。
可选地,上述这些组件中的一个或多个可与自动驾驶车辆100分开安装或关联。例如,存储器114可以部分或完全地与自动驾驶车辆100分开存在。上述组件可以按有线和/或无线方式来通信地耦合在一起。
可选地,上述组件只是一个示例,实际应用中,上述各个模块中的组件有可能根据实际需要增添或者删除,图1不应理解为对本申请实施例的限制。在道路行进的自动驾驶车辆,如上面的自动驾驶车辆100,可以识别其周围环境内的物体以确定对当前速度的调整。所述物体可以是其它车辆、交通控制设备、或者其它类型的物体。在一些示例中,可以独立地考虑每个识别的物体,并且基于物体的各自的特性,诸如它的当前速度、加速度、与车辆的间距等,可以用来确定自动驾驶车辆所要调整的速度。
可选地,自动驾驶车辆100或者与自动驾驶车辆100相关联的计算设备如图1的计算机***112、计算机视觉***140、存储器114可以基于所识别的物体的特性和周围环境的状态(例如,交通、雨、道路上的冰、等等)来预测所识别的物体的行为。可选地,每一个所识别的物体都依赖于彼此的行为,因此还可以将所识别的所有物体全部一起考虑来预测单个识别的物体的行为。自动驾驶车辆100能够基于预测的所识别的物体的行为来调整它的速度。换句话说,自动驾驶车辆100能够基于所预测的物体的行为来确定车辆将需要调整到(例如,加速、减速、或者停止)什么稳定状态。在这个过程中,也可以考虑其它因素来确定自动驾驶车辆100的速度,诸如,自动驾驶车辆100在行驶的道路中的横向位置、道路的曲率、静态和动态物体的接近度等等。除了提供调整自动驾驶车辆的速度的指令之外,计算设备还可以提供修改自动驾驶车辆100的转向角的指令,以使得自动驾驶车辆100遵循给定的轨迹和/或维持与自动驾驶车辆100附近的物体(例如,道路上的相邻车道中的轿车)的安全横向和纵向距离。
上述自动驾驶车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、和手推车等,本申请实施例不做特别的限定。
本申请实施例中,自动驾驶车辆100中的处理器113用于执行图2至图8对应实施例提供的点云数据的聚类方法中电子设备执行的步骤,处理器113执行上述各个步骤的具体方式,与本申请中图2至图8对应的各个方法实施例基于同一构思,其带来的技术效果与本申请中图2至图8对应的各个方法实施例相同,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例中还提供一种包括计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中电子设备所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有程序,当该程序在计算机上运行时,使得计算机执行如前述图2至图8所示实施例描述的方法中电子设备所执行的步骤。
本申请实施例提供的点云数据的聚类装置和电子设备具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使芯片执行上述图2至图8所示实施例描述的点云数据的聚类方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
具体的,请参阅图12,图12为本申请实施例提供的芯片的一种结构示意图,所述芯片可以表现为神经网络处理器NPU 120,NPU 120作为协处理器挂载到主CPU(Host CPU)上,由Host CPU分配任务。NPU的核心部分为运算电路1203,通过控制器1204控制运算电路1203提取存储器中的矩阵数据并进行乘法运算。
在一些实现中,运算电路1203内部包括多个处理单元(Process Engine,PE)。在一些实现中,运算电路1203是二维脉动阵列。运算电路1203还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中,运算电路1203是通用的矩阵处理器。
举例来说,假设有输入矩阵A,权重矩阵B,输出矩阵C。运算电路从权重存储器1202中取矩阵B相应的数据,并缓存在运算电路中每一个PE上。运算电路从输入存储器1201中取矩阵A数据与矩阵B进行矩阵运算,得到的矩阵的部分结果或最终结果,保存在累加器(accumulator)1208中。
统一存储器1206用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(Direct Memory Access Controller,DMAC)1205,DMAC被搬运到权重存储器1202中。输入数据也通过DMAC被搬运到统一存储器1206中。
BIU为Bus Interface Unit即,总线接口单元1210,用于AXI总线与DMAC和取指存储器(Instruction Fetch Buffer,IFB)1209的交互。
总线接口单元1210(Bus Interface Unit,简称BIU),用于取指存储器1209从外部存储器获取指令,还用于存储单元访问控制器1205从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1206或将权重数据搬运到权重存储器1202中或将输入数据数据搬运到输入存储器1201中。
向量计算单元1207包括多个运算处理单元,在需要的情况下,对运算电路的输出做进一步处理,如向量乘,向量加,指数运算,对数运算,大小比较等等。主要用于神经网络中非卷积/全连接层网络计算,如Batch Normalization(批归一化),像素级求和,对特征平面进行上采样等。
在一些实现中,向量计算单元1207能将经处理的输出的向量存储到统一存储器1206。例如,向量计算单元1207可以将线性函数和/或非线性函数应用到运算电路1203的输出,例如对卷积层提取的特征平面进行线性插值,再例如累加值的向量,用以生成激活值。在一些实现中,向量计算单元1207生成归一化的值、像素级求和的值,或二者均有。在一些实现中,处理过的输出的向量能够用作到运算电路1203的激活输入,例如用于在神经网络中的后续层中的使用。
控制器1204连接的取指存储器(instruction fetch buffer)1209,用于存储控制器1204使用的指令;
统一存储器1206,输入存储器1201,权重存储器1202以及取指存储器1209均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中,图3至图9示出的目标神经网络中各层的运算可以由运算电路1203或向量计算单元1207执行。
其中,上述任一处提到的处理器,可以是一个通用中央处理器,微处理器,ASIC,或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。
Claims (16)
1.一种点云数据的聚类方法,其特征在于,所述方法包括:
根据待处理点云数据中每个点的位置信息,对所述待处理点云数据中的多个点进行栅格化处理,得到与所述待处理点云数据对应的待处理栅格数据;
获取所述待处理点云数据中每个点的预测类别;
根据位于第一栅格中每个点的预测类别,确定所述第一栅格的预测类别,所述第一栅格为所述待处理栅格数据包括的多个栅格中的任意一个栅格;
根据所述待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到与所述待处理点云数据对应的至少一个点云簇。
2.根据权利要求1所述的方法,其特征在于,所述根据位于第一栅格中每个点的预测类别,确定所述第一栅格的预测类别,包括:
根据位于所述第一栅格中每个点的预测类别,确定所述第一栅格的初始预测类别;
获取与所述第一栅格对应的至少一个目标邻域栅格,并根据所述至少一个目标邻域栅格中每个目标邻域栅格的初始预测类别,确定所述第一栅格的最终预测类别;
所述根据所述待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到至少一个点云簇,包括:
根据所述待处理栅格数据中每个栅格的最终预测类别,执行聚类操作,以得到至少一个点云簇。
3.根据权利要求2所述的方法,其特征在于,在所述第一栅格的初始预测类别为第一类别的情况下,与所述第一栅格对应的至少一个目标邻域栅格的数量为第一数值,在所述第一栅格的初始预测类别为第二类别的情况下,与所述第一栅格对应的至少一个目标邻域栅格的数量为第二数值,其中,若所述第一类别的物体与所述第二类别的物体的尺寸不同,则所述第一数值和所述第二数值不同。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述方法还包括:
根据所述待处理栅格数据中每个栅格的预测类别,从所述待处理栅格数据包括的多个栅格中确定至少一个边界栅格;
所述根据所述待处理栅格数据中每个栅格的预测类别,执行聚类操作,包括:
根据所述待处理栅格数据中每个栅格的预测类别和所述待处理栅格数据中的至少一个边界栅格,执行聚类操作。
5.根据权利要求4所述的方法,其特征在于,所述根据所述待处理栅格数据中每个栅格的预测类别,从所述待处理栅格数据包括的多个栅格中确定至少一个边界栅格,包括:
获取第二栅格所对应的目标概率值,其中,所述第二栅格为所述第一栅格的至少一个目标邻域栅格中任意一个栅格,所述第二栅格所对应的目标概率值指示与所述第二栅格对应的第三数值和与所述第二栅格对应的第四数值之间的比值,所述第三数值为所述第二栅格的邻域栅格中与所述第二栅格的预测类别相同的栅格的数量,所述第四数值为所述第二栅格的邻域栅格的总数量;
在根据与每个所述目标邻域栅格对应的所述目标概率值,确定满足预设条件的情况下,确定所述第一栅格为边界栅格。
6.根据权利要求5所述的方法,其特征在于,所述预设条件包括:与所述第一栅格的多个目标邻域栅格对应的多个目标概率值的平均值小于或等于第一阈值,且,与所述第一栅格的多个目标邻域栅格对应的多个目标概率值的方差大于或等于第二阈值。
7.一种点云数据的聚类装置,其特征在于,所述装置包括:
栅格化模块,用于根据待处理点云数据中每个点的位置信息,对所述待处理点云数据中的多个点进行栅格化处理,得到与所述待处理点云数据对应的待处理栅格数据;
获取模块,用于获取所述待处理点云数据中每个点的预测类别;
确定模块,用于根据位于第一栅格中每个点的预测类别,确定所述第一栅格的预测类别,所述第一栅格为所述待处理栅格数据包括的多个栅格中的任意一个栅格;
聚类模块,用于根据所述待处理栅格数据中每个栅格的预测类别,执行聚类操作,以得到与所述待处理点云数据对应的至少一个点云簇。
8.根据权利要求7所述的装置,其特征在于,所述确定模块,具体用于:
根据位于所述第一栅格中每个点的预测类别,确定所述第一栅格的初始预测类别;
获取与所述第一栅格对应的至少一个目标邻域栅格,并根据所述至少一个目标邻域栅格中每个目标邻域栅格的初始预测类别,确定所述第一栅格的最终预测类别;
所述聚类模块,具体用于根据所述待处理栅格数据中每个栅格的最终预测类别,执行聚类操作,以得到至少一个点云簇。
9.根据权利要求8所述的装置,其特征在于,在所述第一栅格的初始预测类别为第一类别的情况下,与所述第一栅格对应的至少一个目标邻域栅格的数量为第一数值,在所述第一栅格的初始预测类别为第二类别的情况下,与所述第一栅格对应的至少一个目标邻域栅格的数量为第二数值,其中,若所述第一类别的物体与所述第二类别的物体的尺寸不同,则所述第一数值和所述第二数值不同。
10.根据权利要求7至9任一项所述的装置,其特征在于,
所述确定模块,还用于根据所述待处理栅格数据中每个栅格的预测类别,从所述待处理栅格数据包括的多个栅格中确定至少一个边界栅格;
所述聚类模块,具体用于根据所述待处理栅格数据中每个栅格的预测类别和所述待处理栅格数据中的至少一个边界栅格,执行聚类操作。
11.根据权利要求10所述的装置,其特征在于,所述聚类模块,具体用于:
获取第二栅格所对应的目标概率值,其中,所述第二栅格为所述第一栅格的至少一个目标邻域栅格中任意一个栅格,所述第二栅格所对应的目标概率值指示与所述第二栅格对应的第三数值和与所述第二栅格对应的第四数值之间的比值,所述第三数值为所述第二栅格的邻域栅格中与所述第二栅格的预测类别相同的栅格的数量,所述第四数值为所述第二栅格的邻域栅格的总数量;
在根据与每个所述目标邻域栅格对应的所述目标概率值,确定满足预设条件的情况下,确定所述第一栅格为边界栅格。
12.根据权利要求11所述的装置,其特征在于,所述预设条件包括:与所述第一栅格的多个目标邻域栅格对应的多个目标概率值的平均值小于或等于第一阈值,且,与所述第一栅格的多个目标邻域栅格对应的多个目标概率值的方差大于或等于第二阈值。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机可读指令,当所述计算机可读指令在计算机上运行时,使得所述计算机执行如权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,包括程序,当所述程序在计算机上运行时,使得计算机执行如权利要求1至6中任一项所述的方法。
15.一种电子设备,其特征在于,包括处理器和存储器,所述处理器与所述存储器耦合,
所述存储器,用于存储程序;
所述处理器,用于执行所述存储器中的程序,使得所述电子设备执行如权利要求1至6中任一项所述的方法。
16.根据权利要求15所述的电子设备,其特征在于,所述电子设备为车辆、雷达、监控设备或监控***中的数据处理设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110742193.8A CN115546781A (zh) | 2021-06-30 | 2021-06-30 | 一种点云数据的聚类方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110742193.8A CN115546781A (zh) | 2021-06-30 | 2021-06-30 | 一种点云数据的聚类方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115546781A true CN115546781A (zh) | 2022-12-30 |
Family
ID=84722941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110742193.8A Pending CN115546781A (zh) | 2021-06-30 | 2021-06-30 | 一种点云数据的聚类方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115546781A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117110587A (zh) * | 2023-10-25 | 2023-11-24 | 国网四川省电力公司超高压分公司 | 一种油中溶解气体在线监测异常告警方法及*** |
CN117830676A (zh) * | 2024-03-06 | 2024-04-05 | 国网湖北省电力有限公司 | 基于无人机的输电线路施工风险识别方法及*** |
-
2021
- 2021-06-30 CN CN202110742193.8A patent/CN115546781A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117110587A (zh) * | 2023-10-25 | 2023-11-24 | 国网四川省电力公司超高压分公司 | 一种油中溶解气体在线监测异常告警方法及*** |
CN117110587B (zh) * | 2023-10-25 | 2024-01-23 | 国网四川省电力公司超高压分公司 | 一种油中溶解气体在线监测异常告警方法及*** |
CN117830676A (zh) * | 2024-03-06 | 2024-04-05 | 国网湖北省电力有限公司 | 基于无人机的输电线路施工风险识别方法及*** |
CN117830676B (zh) * | 2024-03-06 | 2024-06-04 | 国网湖北省电力有限公司 | 基于无人机的输电线路施工风险识别方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113879295B (zh) | 轨迹预测方法及装置 | |
CN109901574B (zh) | 自动驾驶方法及装置 | |
CN110543814B (zh) | 一种交通灯的识别方法及装置 | |
CN110930323B (zh) | 图像去反光的方法、装置 | |
WO2021218693A1 (zh) | 一种图像的处理方法、网络的训练方法以及相关设备 | |
WO2023131065A1 (zh) | 一种图像处理方法、一种车道线检测方法及相关设备 | |
CN112543877B (zh) | 定位方法和定位装置 | |
CN112512887B (zh) | 一种行驶决策选择方法以及装置 | |
WO2022142839A1 (zh) | 一种图像处理方法、装置以及智能汽车 | |
CN112534483A (zh) | 预测车辆驶出口的方法和装置 | |
WO2022017307A1 (zh) | 自动驾驶场景生成方法、装置及*** | |
CN115546781A (zh) | 一种点云数据的聚类方法以及装置 | |
WO2022051951A1 (zh) | 车道线检测方法、相关设备及计算机可读存储介质 | |
US20230048680A1 (en) | Method and apparatus for passing through barrier gate crossbar by vehicle | |
CN114167404A (zh) | 目标跟踪方法及装置 | |
CN113552867A (zh) | 一种运动轨迹的规划方法及轮式移动设备 | |
WO2022178858A1 (zh) | 一种车辆行驶意图预测方法、装置、终端及存储介质 | |
CN114255275A (zh) | 一种构建地图的方法及计算设备 | |
WO2022022284A1 (zh) | 目标物的感知方法及装置 | |
CN113066124A (zh) | 一种神经网络的训练方法以及相关设备 | |
WO2021159397A1 (zh) | 车辆可行驶区域的检测方法以及检测装置 | |
CN114078246A (zh) | 确定检测对象的三维信息的方法及装置 | |
CN114549610A (zh) | 一种点云数据的处理方法及相关装置 | |
CN114556251B (zh) | 用于确定车辆可通行空间的方法和装置 | |
WO2022204867A1 (zh) | 一种车道线检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |