CN111539361B - 噪点的识别方法、装置、存储介质、处理器和运载工具 - Google Patents

噪点的识别方法、装置、存储介质、处理器和运载工具 Download PDF

Info

Publication number
CN111539361B
CN111539361B CN202010351534.4A CN202010351534A CN111539361B CN 111539361 B CN111539361 B CN 111539361B CN 202010351534 A CN202010351534 A CN 202010351534A CN 111539361 B CN111539361 B CN 111539361B
Authority
CN
China
Prior art keywords
suspected
region
area
noise
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010351534.4A
Other languages
English (en)
Other versions
CN111539361A (zh
Inventor
苏程愷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaoma Huixing Technology Co ltd
Original Assignee
Beijing Xiaoma Huixing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaoma Huixing Technology Co ltd filed Critical Beijing Xiaoma Huixing Technology Co ltd
Priority to CN202010351534.4A priority Critical patent/CN111539361B/zh
Publication of CN111539361A publication Critical patent/CN111539361A/zh
Application granted granted Critical
Publication of CN111539361B publication Critical patent/CN111539361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种噪点的识别方法、装置、存储介质、处理器和运载工具。该识别方法包括：识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域；将疑似区域投影在2D图像上，得到疑似区域对应的投影区域；根据投影区域的信息确定对应的疑似区域是否包括噪点。该方法将疑似区域的点与投影区域的实物信息进行对比，从而根据对比结果准确识别出3D点云中是否包括噪点，该方法可以准确地识别3D点云中的噪点。

Description

噪点的识别方法、装置、存储介质、处理器和运载工具
技术领域
本发明涉及自动驾驶技术领域，具体而言，涉及一种噪点的识别方法、装置、存储介质、处理器和运载工具。
背景技术
在自动驾驶领域中，为实现车辆自动驾驶的控制，常常需要获取车辆周围环境的3D点云，然而，获取的3D点云中存在诸多的噪点，噪点的存在给点云图像带来错误信息，因此，将3D点云中的噪点去除能够获取准确的周围环境信息。因此，为了能够去除3D点云中的噪点，亟需一种精确地识别噪点的方法。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种噪点的识别方法、装置、存储介质、处理器和运载工具，以至少解决现有技术中难以精确地识别3D点云中的噪点的技术问题。
根据本发明实施例的一个方面，提供了一种噪点的识别方法，包括：识别3D点云中的疑似区域，所述疑似区域为待检测是否存在噪点的区域；将所述疑似区域投影在2D图像上，得到所述疑似区域对应的投影区域；根据所述投影区域的信息确定对应的所述疑似区域是否包括噪点。
进一步地，识别3D点云中的疑似区域，包括：根据天气信息、前方车辆信息以及路牌信息，识别3D点云中的疑似区域。
进一步地，将所述疑似区域投影在2D图像上，得到所述疑似区域对应的投影区域，包括：计算所述3D点云到所述2D图像的投影矩阵；根据所述投影矩阵和所述疑似区域，确定所述疑似区域对应的所述投影区域。
进一步地，采用相机获取2D图像，采用激光雷达获取3D点云，计算所述3D点云到所述2D图像的投影矩阵，包括：获取所述相机和所述激光雷达之间的内参矩阵和外参矩阵；根据所述内参矩阵以及所述外参矩阵，计算所述投影矩阵。
进一步地，根据所述投影区域的信息确定对应的所述疑似区域是否包括噪点，包括：根据所述投影区域中的实物情况，确定所述疑似区域是否包括所述噪点。
进一步地，根据所述投影区域中的实物情况，确定所述疑似区域是否包括所述噪点，包括：确定所述投影区域是否具有实物；在所述投影区域具有所述实物的情况下，隐藏所述疑似区域中对应所述实物的点；将所述疑似区域中剩余的点确定为所述噪点。
进一步地，在确定所述疑似区域包括所述噪点之后，所述识别方法还包括：将所述疑似区域中的所述噪点去除，得到只包括对应所述实物的3D点云区域。
根据本发明实施例的另一个方面，提供了一种噪点的识别方法，包括：识别3D点云中的疑似区域，所述疑似区域为待检测是否存在噪点的区域；将所述疑似区域投影在2D图像上，得到所述疑似区域对应的投影区域；确定所述投影区域是否具有实物；在所述投影区域具有所述实物的情况下，隐藏所述疑似区域中对应所述实物的点；将所述疑似区域中剩余的点确定为所述噪点。
进一步地，识别3D点云中的疑似区域，包括：根据天气信息、前方车辆信息以及路牌信息，识别3D点云中的疑似区域。
进一步地，在将所述疑似区域投影在2D图像中，获得所述疑似区域对应的投影区域，包括：计算所述3D点云到所述2D图像的投影矩阵；根据所述投影矩阵和所述疑似区域，确定所述疑似区域对应的所述投影区域。
进一步地，采用相机获取2D图像，采用激光雷达获取3D点云，计算所述3D点云到所述2D图像的投影矩阵，包括：获取所述相机和所述激光雷达之间的内参矩阵和外参矩阵；根据所述内参矩阵以及所述外参矩阵，计算所述投影矩阵。
进一步地，在将所述疑似区域中剩余的点确定为所述噪点之后，所述识别方法还包括：将所述疑似区域中的所述噪点去除，得到只包括对应所述实物的3D点云区域。
根据本发明实施例的再一个方面，提供了一种噪点的识别装置，包括：第一识别单元，用于识别3D点云中的疑似区域，所述疑似区域为待检测是否存在噪点的区域；第一投影单元，用于将所述疑似区域投影在2D图像中，获得所述疑似区域对应的投影区域；第一确定单元，用于根据所述投影区域的信息确定对应的所述疑似区域是否包括噪点。
根据本发明实施例的另一个方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行任意一种所述的噪点的识别方法。
根据本发明实施例的又一个方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任意一种所述的噪点的识别方法。
根据本发明实施例的再一个方面，提供了一种运载工具，所述运载工具包括一个或者多个处理器、存储器以及一个或者多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行任意一种所述的噪点的识别方法。
在本发明实施例中，上述识别方法中，首先识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域，然后将疑似区域投影在2D图像上，得到疑似区域对应的投影区域，其中，投影区域为2D图像中与疑似区域位置对应的区域，最后根据投影区域的信息确定对应的疑似区域是否包括噪点，即将疑似区域的点与投影区域的实物信息进行对比，从而根据对比结果准确识别出3D点云中是否包括噪点，该方法可以准确地识别3D点云中的噪点。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了根据本申请的一种实施例的噪点的识别方法的流程图；
图2示出了根据本申请的另一种实施例的噪点的识别方法的流程图；
图3示出了根据本申请的一种实施例的噪点的识别装置的结构示意图；
图4示出了根据本申请的另一种实施例的噪点的识别装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
噪点：即3D点云中的噪点，是激光雷达扫描出的点中实际不存在的点。
正如背景技术所介绍的，现有技术中难以精确地识别3D点云中的噪点，为了解决这一问题，根据本申请的实施例，提供了一种噪点的识别方法、装置、存储介质、处理器和运载工具。
图1是根据本申请的一种实施例的噪点的识别方法的流程图。如图1所示，该识别方法包括以下步骤：
步骤S101，识别3D点云中的疑似区域，上述疑似区域为待检测是否存在噪点的区域；
步骤S102，将上述疑似区域投影在2D图像上，得到上述疑似区域对应的投影区域；
步骤S103，根据上述投影区域的信息确定对应的上述疑似区域是否包括噪点。
上述识别方法中，首先识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域，然后将疑似区域投影在2D图像上，得到疑似区域对应的投影区域，其中，投影区域为2D图像中与疑似区域位置对应的区域，最后根据投影区域的信息确定对应的疑似区域是否包括噪点，即将疑似区域的点与投影区域的实物信息进行对比，从而根据对比结果准确识别出3D点云中是否包括噪点，该方法可以准确地识别3D点云中的噪点。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请的一种实施例中，识别3D点云中的疑似区域，包括：根据天气信息、前方车辆信息以及路牌信息，识别3D点云中的疑似区域。具体地，根据天气信息、前方车辆信息以及路牌信息，初步排除3D点云中可以确定的实物对应的区域，例如，前方积雪对应的区域或者前方车辆对应的区域，将剩余的区域确定为疑似区域。
本申请的一种实施例中，将上述疑似区域投影在2D图像上，得到上述疑似区域对应的投影区域，包括：计算上述3D点云到上述2D图像的投影矩阵；根据上述投影矩阵和上述疑似区域，确定上述疑似区域对应的投影区域。具体地，通过计算得到3D点云到2D图像的投影矩阵，采用投影矩阵将疑似区域完成三维到二维变换，即从取景空间到摄影空间的变换，从而找到2D图像中疑似区域对应的投影区域。
本申请的一种实施例中，采用相机获取2D图像，采用激光雷达获取3D点云，计算上述3D点云到上述2D图像的投影矩阵，包括：获取上述相机和上述激光雷达之间的内参矩阵和外参矩阵；根据上述内参矩阵以及上述外参矩阵，计算上述投影矩阵。具体地，内参矩阵确定从三维空间到二维图像的投影关系，外参矩阵确定3D点云坐标与2D图像坐标之间的相对位置关系，根据内参矩阵和外参矩阵计算得到投影矩阵，从而通过投影矩阵确定疑似区域对应的投影区域。
本申请的一种实施例中，根据上述投影区域的信息确定对应的上述疑似区域是否包括噪点，包括：根据上述投影区域中的实物情况，确定上述疑似区域是否包括上述噪点。具体地，将疑似区域的点与投影区域的实物进行对照，在确定疑似区域中的点均为对应实物的点的情况，确定疑似区域不包括噪点，否则，确定疑似区域包括噪点。
本申请的一种实施例中，根据上述投影区域中的实物情况，确定上述疑似区域是否包括上述噪点，包括：确定上述投影区域是否具有实物；在上述投影区域具有上述实物的情况下，隐藏上述疑似区域中对应上述实物的点；将上述疑似区域中剩余的点确定为上述噪点。具体地，将疑似区域的点与投影区域的实物进行对照，识别投影区域的实物，标记疑似区域中对应实物的点，隐藏疑似区域中标记的点，并将剩余的点确定为噪点，从而避免错漏疑似区域中对应实物的点，提高3D点云中噪点识别的准确度。
本申请的一种实施例中，在确定上述疑似区域包括上述噪点之后，上述识别方法还包括：将上述疑似区域中的上述噪点去除，得到只包括对应上述实物的3D点云区域。具体地，将疑似区域中的噪点去除，避免噪点给点云图像带来错误信息，从而根据去除噪点后3D点云区域获取准确的点云图像信息。
本申请的实例中，还提供了另外一种噪点的识别方法。图2是根据本申请的另一种实施例的噪点的识别方法的流程图，如图2所示，该识别方法包括以下步骤：
步骤S201，识别3D点云中的疑似区域，上述疑似区域为待检测是否存在噪点的区域；
步骤S202，将上述疑似区域投影在2D图像上，得到上述疑似区域对应的投影区域；
步骤S203，确定上述投影区域是否具有实物；
步骤S204，在上述投影区域具有上述实物的情况下，隐藏上述疑似区域中对应上述实物的点；
步骤S205，将上述疑似区域中剩余的点确定为上述噪点。
上述识别方法中，首先识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域，之后将疑似区域投影在2D图像上，得到疑似区域对应的投影区域，其中，投影区域为2D图像中与疑似区域位置对应的区域，之后确定上述投影区域是否具有实物，即识别投影区域的实物，之后在投影区域具有上述实物的情况下，隐藏疑似区域中对应实物的点，即将疑似区域的点与投影区域的实物信息进行对比，识别疑似区域中对应实物的点并进行隐藏，最后将疑似区域中剩余的点确定为噪点，从而准确识别出3D点云中是否包括噪点，便于去除噪点得到准确的3D点云图像。
本申请的一种实施例中，识别3D点云中的疑似区域，包括：根据天气信息、前方车辆信息以及路牌信息，识别3D点云中的疑似区域。具体地，根据天气信息、前方车辆信息以及路牌信息，初步排除3D点云中可以确定的实物对应的区域，例如，前方积雪对应的区域或者前方车辆对应的区域，将剩余的区域确定为疑似区域。
本申请的一种实施例中，在将上述疑似区域投影在2D图像中，获得上述疑似区域对应的投影区域，包括：计算上述3D点云到上述2D图像的投影矩阵；根据上述投影矩阵和上述疑似区域，确定上述疑似区域对应的投影区域。具体地，通过计算得到3D点云到2D图像的投影矩阵，采用投影矩阵将疑似区域完成三维到二维变换，即从取景空间到摄影空间的变换，从而找到2D图像中疑似区域对应的投影区域。
本申请的一种实施例中，采用相机获取2D图像，采用激光雷达获取3D点云，计算上述3D点云到上述2D图像的投影矩阵，包括：获取上述相机和上述激光雷达之间的内参矩阵和外参矩阵；根据上述内参矩阵以及上述外参矩阵，计算上述投影矩阵。具体地，内参矩阵确定从三维空间到二维图像的投影关系，外参矩阵确定3D点云坐标与2D图像坐标之间的相对位置关系，根据内参矩阵和外参矩阵计算得到投影矩阵，从而通过投影矩阵确定疑似区域对应的投影区域。
本申请的一种实施例中，在将上述疑似区域中剩余的点确定为上述噪点之后，上述识别方法还包括：将上述疑似区域中的上述噪点去除，得到只包括对应上述实物的3D点云区域。具体地，将疑似区域中的噪点去除，避免噪点给点云图像带来错误信息，从而根据去除噪点后3D点云区域获取准确的点云图像信息。
本申请实施例还提供了一种噪点的识别装置，需要说明的是，本申请实施例的噪点的识别装置可以用于执行本申请的一种实施例所提供的噪点的识别方法。以下对本申请实施例提供的噪点的识别装置进行介绍。
图3是根据本申请的一种实施例的噪点的识别装置的示意图。如图3所示，该识别装置包括：
第一识别单元10，用于识别3D点云中的疑似区域，上述疑似区域为待检测是否存在噪点的区域；
第一投影单元20，用于将上述疑似区域投影在2D图像中，获得上述疑似区域对应的投影区域；
第一确定单元30，用于根据上述投影区域的信息确定对应的上述疑似区域是否包括噪点。
上述识别装置中，第一识别单元识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域，第一投影单元将疑似区域投影在2D图像上，得到疑似区域对应的投影区域，其中，投影区域为2D图像中与疑似区域位置对应的区域，第一确定单元根据投影区域的信息确定对应的疑似区域是否包括噪点，即将疑似区域的点与投影区域的实物信息进行对比，从而根据对比结果准确识别出3D点云中是否包括噪点，该方法可以准确地识别3D点云中的噪点。
本申请的一种实施例中，上述第一识别单元包括第一识别模块，上述第一识别模块用于根据天气信息、前方车辆信息以及路牌信息，识别3D点云中的疑似区域。具体地，根据天气信息、前方车辆信息以及路牌信息，初步排除3D点云中可以确定的实物对应的区域，例如，前方积雪对应的区域或者前方车辆对应的区域，将剩余的区域确定为疑似区域。
本申请的一种实施例中，上述第一投影单元包括第一计算模块和第一确定模块，其中，上述第一计算模块用于计算上述3D点云到上述2D图像的投影矩阵；上述第一确定模块用于根据上述投影矩阵和上述疑似区域，确定上述疑似区域对应的投影区域。具体地，通过计算得到3D点云到2D图像的投影矩阵，采用投影矩阵将疑似区域完成三维到二维变换，即从取景空间到摄影空间的变换，从而找到2D图像中疑似区域对应的投影区域。
本申请的一种实施例中，采用相机获取2D图像，采用激光雷达获取3D点云，上述第一计算模块包括第一获取子模块和第一计算子模块，其中，上述第一获取子模块用于获取上述相机和上述激光雷达之间的内参矩阵和外参矩阵；上述第一计算子模块用于根据上述内参矩阵以及上述外参矩阵，计算上述投影矩阵。具体地，内参矩阵确定从三维空间到二维图像的投影关系，外参矩阵确定3D点云坐标与2D图像坐标之间的相对位置关系，根据内参矩阵和外参矩阵计算得到投影矩阵，从而通过投影矩阵确定疑似区域对应的投影区域。
本申请的一种实施例中，上述第二确定单元包括第二确定模块，上述第二确定模块用于根据上述投影区域中的实物情况，确定上述疑似区域是否包括上述噪点。具体地，将疑似区域的点与投影区域的实物进行对照，在确定疑似区域中的点均为对应实物的点的情况，确定疑似区域不包括噪点，否则，确定疑似区域包括噪点。
本申请的一种实施例中，上述第二确定模块包括第一确定子模块、处理子模块和第二确定子模块，其中，上述第一确定子模块用于确定上述投影区域是否具有实物；上述处理子模块用于在上述投影区域具有上述实物的情况下，隐藏上述疑似区域中对应上述实物的点；上述第二确定子模块用于将上述疑似区域中剩余的点确定为上述噪点。具体地，将疑似区域的点与投影区域的实物进行对照，识别投影区域的实物，标记疑似区域中对应实物的点，隐藏疑似区域中标记的点，并将剩余的点确定为噪点，从而避免错漏疑似区域中对应实物的点，提高3D点云中噪点识别的准确度。
本申请的一种实施例中，上述识别装置还包括第一处理单元，上述第一处理单元用于在确定上述疑似区域包括上述噪点之后，将上述疑似区域中的上述噪点去除，得到只包括对应上述实物的3D点云区域。具体地，将疑似区域中的噪点去除，避免噪点给点云图像带来错误信息，从而根据去除噪点后3D点云区域获取准确的点云图像信息。
本申请实施例还提供了一种噪点的识别装置，需要说明的是，本申请实施例的噪点的识别装置可以用于执行本申请的另一种实施例所提供的噪点的识别方法。以下对本申请实施例提供的噪点的识别装置进行介绍。
图4是根据本申请的另一种实施例的噪点的识别装置的示意图。如图4所示，该识别装置包括：
第二识别单元40，用于识别3D点云中的疑似区域，上述疑似区域为待检测是否存在噪点的区域；
第二投影单元50，用于将上述疑似区域投影在2D图像上，得到上述疑似区域对应的投影区域；
第三确定单元60，用于确定上述投影区域是否具有实物；
第二处理单元70，用于在上述投影区域具有上述实物的情况下，隐藏上述疑似区域中对应上述实物的点；
第四确定单元80，用于将上述疑似区域中剩余的点确定为上述噪点。
上述识别装置中，第二识别单元识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域，第二投影单元将疑似区域投影在2D图像上，得到疑似区域对应的投影区域，其中，投影区域为2D图像中与疑似区域位置对应的区域，第三确定单元确定上述投影区域是否具有实物，即识别投影区域的实物，第二处理单元在投影区域具有上述实物的情况下，隐藏疑似区域中对应实物的点，即将疑似区域的点与投影区域的实物进行对照，即将疑似区域的点与投影区域的实物信息进行对比，识别疑似区域中对应实物的点并进行隐藏，第四确定单元将疑似区域中剩余的点确定为噪点，从而准确识别出3D点云中是否包括噪点，便于去除噪点得到准确的3D点云图像。
本申请的一种实施例中，上述第二识别单元包括识别模块，上述识别模块用于根据天气信息、前方车辆信息以及路牌信息，识别3D点云中的疑似区域。具体地，根据天气信息、前方车辆信息以及路牌信息，初步排除3D点云中可以确定的实物对应的区域，例如，前方积雪对应的区域或者前方车辆对应的区域，将剩余的区域确定为疑似区域。
本申请的一种实施例中，上述第二投影单元包括第二计算模块和第三确定模块，其中，上述第二计算模块用于计算上述3D点云到上述2D图像的投影矩阵；上述第三确定模块用于根据上述投影矩阵和上述疑似区域，确定上述疑似区域对应的投影区域。具体地，通过计算得到3D点云到2D图像的投影矩阵，采用投影矩阵将疑似区域完成三维到二维变换，即从取景空间到摄影空间的变换，从而找到2D图像中疑似区域对应的投影区域。
本申请的一种实施例中，采用相机获取2D图像，采用激光雷达获取3D点云，上述第二计算模块包括第二获取子模块和第二计算子模块，其中，上述第二获取子模块用于获取上述相机和上述激光雷达之间的内参矩阵和外参矩阵；上述第二计算子模块用于根据上述内参矩阵以及上述外参矩阵，计算上述投影矩阵。具体地，内参矩阵确定从三维空间到二维图像的投影关系，外参矩阵确定3D点云坐标与2D图像坐标之间的相对位置关系，根据内参矩阵和外参矩阵计算得到投影矩阵，从而通过投影矩阵确定疑似区域对应的投影区域。
本申请的一种实施例中，上述识别装置还包括第三处理单元，上述第三处理单元用于在在将上述疑似区域中剩余的点确定为上述噪点之后，将上述疑似区域中的上述噪点去除，得到只包括对应上述实物的3D点云区域。具体地，将疑似区域中的噪点去除，避免噪点给点云图像带来错误信息，从而根据去除噪点后3D点云区域获取准确的点云图像信息。
上述噪点的识别装置包括处理器和存储器，上述识别单元、投影单元和确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决现有技术中难以精确地识别3D点云中的噪点的问题。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行上述的识别方法。
本发明实施例提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述的识别方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现至少以下步骤：
步骤S101，识别3D点云中的疑似区域，上述疑似区域为待检测是否存在噪点的区域；
步骤S102，将上述疑似区域投影在2D图像上，得到上述疑似区域对应的投影区域；
步骤S103，根据上述投影区域的信息确定对应的上述疑似区域是否包括噪点，或者，
执行以下步骤：
步骤S201，识别3D点云中的疑似区域，上述疑似区域为待检测是否存在噪点的区域；
步骤S202，将上述疑似区域投影在2D图像上，得到上述疑似区域对应的投影区域；
步骤S203，确定上述投影区域是否具有实物；
步骤S204，在上述投影区域具有上述实物的情况下，隐藏上述疑似区域中对应上述实物的点；
步骤S205，将上述疑似区域中剩余的点确定为上述噪点。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有至少如下方法步骤的程序：
步骤S101，识别3D点云中的疑似区域，上述疑似区域为待检测是否存在噪点的区域；
步骤S102，将上述疑似区域投影在2D图像上，得到上述疑似区域对应的投影区域；
步骤S103，根据上述投影区域的信息确定对应的上述疑似区域是否包括噪点，或者，
执行以下步骤：
步骤S201，识别3D点云中的疑似区域，上述疑似区域为待检测是否存在噪点的区域；
步骤S202，将上述疑似区域投影在2D图像上，得到上述疑似区域对应的投影区域；
步骤S203，确定上述投影区域是否具有实物；
步骤S204，在上述投影区域具有上述实物的情况下，隐藏上述疑似区域中对应上述实物的点；
步骤S205，将上述疑似区域中剩余的点确定为上述噪点。
根据本发明实施例的再一个方面，提供了一种运载工具，上述运载工具包括一个或者多个处理器、存储器以及一个或者多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置为由上述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的噪点的识别方法。
该运载工具通过上述识别方法准确识别出3D点云中是否包括噪点，便于去除噪点得到准确的3D点云图，从而获取准确的周围环境信息。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
从以上的描述中，可以看出，本申请上述的实施例实现了如下技术效果：
1)、本申请的一种识别方法中，首先识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域，然后将疑似区域投影在2D图像上，得到疑似区域对应的投影区域，其中，投影区域为2D图像中与疑似区域位置对应的区域，最后根据投影区域的信息确定对应的疑似区域是否包括噪点，即将疑似区域的点与投影区域的实物信息进行对比，从而根据对比结果准确识别出3D点云中是否包括噪点，该方法可以准确地识别3D点云中的噪点。
2)、本申请的另一种识别方法中，首先识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域，之后将疑似区域投影在2D图像上，得到疑似区域对应的投影区域，其中，投影区域为2D图像中与疑似区域位置对应的区域，之后确定上述投影区域是否具有实物，即识别投影区域的实物，之后在投影区域具有上述实物的情况下，隐藏疑似区域中对应实物的点，即将疑似区域的点与投影区域的实物信息进行对比，识别疑似区域中对应实物的点并进行隐藏，最后将疑似区域中剩余的点确定为噪点，从而准确识别出3D点云中是否包括噪点，便于去除噪点得到准确的3D点云图像。
3)、本申请的识别装置中，第一识别单元识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域，第一投影单元将疑似区域投影在2D图像上，得到疑似区域对应的投影区域，其中，投影区域为2D图像中与疑似区域位置对应的区域，第一确定单元根据投影区域的信息确定对应的疑似区域是否包括噪点，即将疑似区域的点与投影区域的实物信息进行对比，从而根据对比结果准确识别出3D点云中是否包括噪点，该方法可以准确地识别3D点云中的噪点。
4)、本申请的识别装置中，第二识别单元识别3D点云中的疑似区域，疑似区域为待检测是否存在噪点的区域，第二投影单元将疑似区域投影在2D图像上，得到疑似区域对应的投影区域，其中，投影区域为2D图像中与疑似区域位置对应的区域，第三确定单元确定上述投影区域是否具有实物，即识别投影区域的实物，第二处理单元在投影区域具有上述实物的情况下，隐藏疑似区域中对应实物的点，即将疑似区域的点与投影区域的实物进行对照，即将疑似区域的点与投影区域的实物信息进行对比，识别疑似区域中对应实物的点并进行隐藏，第四确定单元将疑似区域中剩余的点确定为噪点，从而准确识别出3D点云中是否包括噪点，便于去除噪点得到准确的3D点云图像。
5)、本申请的运载工具通过上述识别方法准确识别出3D点云中是否包括噪点，便于去除噪点得到准确的3D点云图，从而获取准确的周围环境信息。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种噪点的识别方法，其特征在于，包括：
识别3D点云中的疑似区域，所述疑似区域为待检测是否存在噪点的区域；
将所述疑似区域投影在2D图像上，得到所述疑似区域对应的投影区域；
确定所述投影区域是否具有实物；
在所述投影区域具有所述实物的情况下，隐藏所述疑似区域中对应所述实物的点；
将所述疑似区域中剩余的点确定为所述噪点。
2.根据权利要求1所述的识别方法，其特征在于，识别3D点云中的疑似区域，包括：
根据天气信息、前方车辆信息以及路牌信息，识别3D点云中的疑似区域。
3.根据权利要求1所述的识别方法，其特征在于，在将所述疑似区域投影在2D图像中，获得所述疑似区域对应的投影区域，包括：
计算所述3D点云到所述2D图像的投影矩阵；
根据所述投影矩阵和所述疑似区域，确定所述疑似区域对应的所述投影区域。
4.根据权利要求3所述的识别方法，其特征在于，采用相机获取2D图像，采用激光雷达获取3D点云，计算所述3D点云到所述2D图像的投影矩阵，包括：
获取所述相机和所述激光雷达之间的内参矩阵和外参矩阵；
根据所述内参矩阵以及所述外参矩阵，计算所述投影矩阵。
5.根据权利要求1所述的识别方法，其特征在于，在将所述疑似区域中剩余的点确定为所述噪点之后，所述识别方法还包括：
将所述疑似区域中的所述噪点去除，得到只包括对应所述实物的3D点云区域。
6.一种噪点的识别装置，其特征在于，包括：
第二识别单元，用于识别3D点云中的疑似区域，所述疑似区域为待检测是否存在噪点的区域；
第二投影单元，用于将所述疑似区域投影在2D图像上，得到所述疑似区域对应的投影区域；
第三确定单元，用于确定所述投影区域是否具有实物；
第二处理单元，用于在所述投影区域具有所述实物的情况下，隐藏所述疑似区域中对应所述实物的点；
第四确定单元，用于将所述疑似区域中剩余的点确定为所述噪点。
7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任一项所述的噪点的识别方法。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任一项所述的噪点的识别方法。
9.一种运载工具，其特征在于，所述运载工具包括一个或者多个处理器、存储器以及一个或者多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至5中任意一项所述的噪点的识别方法。
CN202010351534.4A 2020-04-28 2020-04-28 噪点的识别方法、装置、存储介质、处理器和运载工具 Active CN111539361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010351534.4A CN111539361B (zh) 2020-04-28 2020-04-28 噪点的识别方法、装置、存储介质、处理器和运载工具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010351534.4A CN111539361B (zh) 2020-04-28 2020-04-28 噪点的识别方法、装置、存储介质、处理器和运载工具

Publications (2)

Publication Number Publication Date
CN111539361A CN111539361A (zh) 2020-08-14
CN111539361B true CN111539361B (zh) 2023-09-05

Family

ID=71977277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010351534.4A Active CN111539361B (zh) 2020-04-28 2020-04-28 噪点的识别方法、装置、存储介质、处理器和运载工具

Country Status (1)

Country Link
CN (1) CN111539361B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191083A (ja) * 2002-12-09 2004-07-08 Mitsubishi Electric Corp 人物検出装置
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN103065354A (zh) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 点云优化方法及其装置
CN107578391A (zh) * 2017-09-20 2018-01-12 广东电网有限责任公司机巡作业中心 一种基于二维二值图像处理进行三维点云降噪的方法
CN107680124A (zh) * 2016-08-01 2018-02-09 康耐视公司 用于提高三维姿态评分和消除三维图像数据中杂点的***及方法
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
CN109766404A (zh) * 2019-02-12 2019-05-17 湖北亿咖通科技有限公司 点云处理方法、装置及计算机可读存储介质
CN110009743A (zh) * 2019-02-22 2019-07-12 南京航空航天大学 一种场景理解的网格曲面重建方法
CN110288517A (zh) * 2019-06-28 2019-09-27 电子科技大学 基于投影匹配组的骨架线提取方法
CN110599407A (zh) * 2019-06-21 2019-12-20 杭州一隅千象科技有限公司 基于向下倾角方向的多台tof相机人体降噪方法及***
CN110853125A (zh) * 2018-07-31 2020-02-28 英特尔公司 投影噪声的去除以及基于点的渲染
CN110869974A (zh) * 2018-11-19 2020-03-06 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN110928301A (zh) * 2019-11-19 2020-03-27 北京小米智能科技有限公司 一种检测微小障碍的方法、装置及介质
CN111062255A (zh) * 2019-11-18 2020-04-24 苏州智加科技有限公司 三维点云的标注方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5343042B2 (ja) * 2010-06-25 2013-11-13 株式会社トプコン 点群データ処理装置および点群データ処理プログラム
TWI651686B (zh) * 2017-11-30 2019-02-21 國家中山科學研究院 一種光學雷達行人偵測方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004191083A (ja) * 2002-12-09 2004-07-08 Mitsubishi Electric Corp 人物検出装置
CN101398894A (zh) * 2008-06-17 2009-04-01 浙江师范大学 机动车车牌自动识别方法及其实现装置
CN103065354A (zh) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 点云优化方法及其装置
CN107680124A (zh) * 2016-08-01 2018-02-09 康耐视公司 用于提高三维姿态评分和消除三维图像数据中杂点的***及方法
CN107578391A (zh) * 2017-09-20 2018-01-12 广东电网有限责任公司机巡作业中心 一种基于二维二值图像处理进行三维点云降噪的方法
CN110853125A (zh) * 2018-07-31 2020-02-28 英特尔公司 投影噪声的去除以及基于点的渲染
CN109285220A (zh) * 2018-08-30 2019-01-29 百度在线网络技术（北京）有限公司 一种三维场景地图的生成方法、装置、设备及存储介质
CN110869974A (zh) * 2018-11-19 2020-03-06 深圳市大疆创新科技有限公司 点云处理方法、设备及存储介质
CN109766404A (zh) * 2019-02-12 2019-05-17 湖北亿咖通科技有限公司 点云处理方法、装置及计算机可读存储介质
CN110009743A (zh) * 2019-02-22 2019-07-12 南京航空航天大学 一种场景理解的网格曲面重建方法
CN110599407A (zh) * 2019-06-21 2019-12-20 杭州一隅千象科技有限公司 基于向下倾角方向的多台tof相机人体降噪方法及***
CN110288517A (zh) * 2019-06-28 2019-09-27 电子科技大学 基于投影匹配组的骨架线提取方法
CN111062255A (zh) * 2019-11-18 2020-04-24 苏州智加科技有限公司 三维点云的标注方法、装置、设备及存储介质
CN110928301A (zh) * 2019-11-19 2020-03-27 北京小米智能科技有限公司 一种检测微小障碍的方法、装置及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于三维重建数据的双向点云去噪方法研究;刘辉等;《电子测量与仪器学报》;20130115(第01期);第9-15页 *

Also Published As

Publication number Publication date
CN111539361A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN110930453B (zh) 目标物体定位方法、装置及可读存储介质
CN109683617B (zh) 一种自动驾驶方法、装置及电子设备
CN109583393B (zh) 一种车道线端点识别方法及装置、设备、介质
US20230384120A1 (en) Method and Apparatus for Updating High-Precision Map
CN109102026B (zh) 一种车辆图像检测方法、装置及***
CN114839659A (zh) 车辆定位方法及装置
CN113158864B (zh) 卡车车头与挂车之间的夹角的确定方法与确定装置
CN110930520B (zh) 一种语义分割标注方法、装置及设备
CN111539361B (zh) 噪点的识别方法、装置、存储介质、处理器和运载工具
CN114638996A (zh) 基于对抗学习的模型训练方法、装置、设备和存储介质
CN115792945B (zh) 一种浮空障碍物检测方法、装置和电子设备、存储介质
CN113031010B (zh) 检测天气的方法、装置、计算机可读存储介质与处理器
CN116311135A (zh) 语义信息的数据降维方法、数据降维***及控制器
CN114494398B (zh) 倾斜目标的处理方法、装置、存储介质与处理器
CN116129378A (zh) 车道线检测方法、装置、设备、车辆和介质
US20240011792A1 (en) Method and apparatus for updating confidence of high-precision map
CN111368752B (zh) 车辆损伤的分析方法和装置
CN111832534A (zh) 设备的检测方法和装置
CN113689422B (zh) 一种图像处理方法、装置及电子设备
CN116228820B (zh) 一种障碍物检测方法、装置和电子设备、存储介质
CN116912698B (zh) 土地覆盖变化监测方法、装置、电子设备及存储介质
CN112819861B (zh) 点云的运动补偿方法、装置与计算机可读存储介质
CN116627789B (zh) 模型检测方法及装置、电子设备及存储介质
CN114018215B (zh) 基于语义分割的单目测距方法、装置、设备及存储介质
CN115416644A (zh) 自动泊车方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant