CN115880547B - 基于图像点云数据的异物检测方法、装置及其存储介质 - Google Patents

基于图像点云数据的异物检测方法、装置及其存储介质 Download PDF

Info

Publication number
CN115880547B
CN115880547B CN202310186829.4A CN202310186829A CN115880547B CN 115880547 B CN115880547 B CN 115880547B CN 202310186829 A CN202310186829 A CN 202310186829A CN 115880547 B CN115880547 B CN 115880547B
Authority
CN
China
Prior art keywords
point cloud
cloud data
features
feature
antagonism
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310186829.4A
Other languages
English (en)
Other versions
CN115880547A (zh
Inventor
成宇
邱志伟
吴子豪
邱奕航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Weco Optoelectronics Co ltd
Original Assignee
Ningbo Weco Optoelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Weco Optoelectronics Co ltd filed Critical Ningbo Weco Optoelectronics Co ltd
Priority to CN202310186829.4A priority Critical patent/CN115880547B/zh
Publication of CN115880547A publication Critical patent/CN115880547A/zh
Application granted granted Critical
Publication of CN115880547B publication Critical patent/CN115880547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像点云数据的异物检测方法、装置及其存储介质,具体涉及图像数据处理技术领域,包括获取密闭空间内点云数据并保存为图像形式,通过对点云数据进行特定数据标准下的训练获取正负样本,基于预设比例的正负样本通过点云之间最短路径插值数据的对抗性扰动增强获取归一化特征和清洁特征,利用一系列强度从弱到强的对抗性特征进行对抗性扰动增强,将特征扰动强度的对抗训练目标整合到一个区间而非单个点上,根据点云数据增强算法对预设比例的正负样本进行扩充,通过对扩充后的正负样本进行模型训练获取用于检测密闭空间内异物的二分类网络。通过本发明检测方法能通过点云之间最短路径插值进行数据增强,增加检测精度与鲁棒性。

Description

基于图像点云数据的异物检测方法、装置及其存储介质
技术领域
本发明涉及图像数据处理技术领域,具体为一种基于图像点云数据的异物检测方法、装置及其存储介质。
背景技术
随着现代社会的经济飞速发展,各类密闭空间(如电梯室、汽车轿厢等)的使用越来越频繁,但对于密闭空间内部异物图像检测***还是比较薄弱的,通常只能靠工作人员通过摄像头观看,或是人为实地考察,这些密闭空间内异物图像检测行为会造成检测出现差错或是检测成本过高,都会造成许多问题。目前效果比较好的方案是采用基于点云的3D深度学习,建立分类器,判断指定密闭空间内是否有异物图像,基于点云的异物检测往往依赖很多的标注数据,但对于此场景下的检测,获得大量的标注数据是非常困难的。
发明内容
本发明所要解决的技术问题是针对现有技术的现状,而提供一种基于图像点云数据的异物检测方法、装置及其存储介质,通过数据增强算法,增强获取的密闭空间内点云数据来检测密闭空间内是否存在异物。
本发明解决上述技术问题所采用的技术方案为:一种基于图像点云数据的异物检测方法,其特征在于,包括:
S1:获取密闭空间内点云数据并保存为图像形式;
S2:通过对点云数据进行特定数据标准下的训练获取正负样本;
S3:基于预设比例的正负样本,通过点云之间最短路径插值数据的对抗性扰动增强获取归一化特征和清洁特征,所述对抗性扰动增强是利用一系列强度从弱到强的对抗性特征,将特征扰动强度的对抗训练目标整合到一个区间而不是单个点上;
S4:根据点云数据增强算法对预设比例的正负样本进行扩充;
S5:通过对扩充后的正负样本进行模型训练获取用于检测密闭空间内异物的二分类网络。
进一步地,所述S1步骤中所述点云数据通过pcl数据库在所述密闭空间内区域进行获取。
进一步地,所述S2步骤中当所述密闭空间内区域存在大于预设比例的物体时为负样本,否则为正样本。
进一步地,所述S3步骤具体包括:
S31:通过生成具有不同强度的对抗性扰动,对所述点云数据中间特征进行增强,从而作为对抗性特征;
S32:通过特征归一化将扰动增强后的特征统计信息注入到未对抗的特征中,从而作为清洁特征;
S33:通过混合增强后的归一化特征与清洁特征用于样本训练。
进一步地,所述S31步骤中不同强度的对抗性扰动,对所述点云数据中间特征进行增强,所述点云数据包含有一段点云数据区间。
进一步地,所述点云数据增强算法公式如下:
式中,为f(x,θb)+δ;θt;y简化表达的函数,x为点云数据,y为点云数据上的标签,为清洁特征,/>为对抗性特征,λ为控制对抗性特征增强影响的超参数,δ为PGD生成,θb为骨干网络参数,θt为任务特定模块的参数。
进一步地,所述清洁特征与对抗性特征通过归一化处理为对抗性归一化,公式如下:
式中,为对抗性归一化,σclean为清洁特征的二阶矩,/>为对抗性特征的二阶矩,μclean为清洁特征的一阶矩,/>为第i个增强的对抗特征,fclean为清洁特征。
本发明第二方面,一种基于图像点云数据的异物检测装置,其特征在于,包括至少一个处理器、以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器能够执行基于点云数据增强算法的密闭空间内异物检测方法。
本发明第三方面,一种基于图像点云数据的异物检测存储介质,其特征在于,当所述存储介质中的指令由设备内的处理器执行时,使得所述设备能够执行基于点云数据增强算法的密闭空间内异物检测方法。
与现有技术相比,本发明至少含有以下有益效果:
(1)本发明所述的一种基于图像点云数据的异物检测方法、装置及其存储介质,在采取较少样本时,通过点云之间最短路径插值进行数据增强,对点云数据算法增强,从而达到较高检测准确度,增加检测精度与鲁棒性;
(2)通过不同强度的对抗性扰动增强点云数据包含有一段点云数据区间,而不是单一数据点,增加检测精度。
附图说明
图1是基于图像点云数据的异物检测方法流程图。
具体实施方式
以下是本发明的具体实施例并结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
实施例一
为了提高密闭空间内异物检测的精准度,如图1所示,本发明一种基于图像点云数据的异物检测方法,其特征在于,包括:
S1:获取密闭空间内点云数据并保存为图像形式;
S2:通过对点云数据进行特定数据标准下的训练获取正负样本;
S3:基于预设比例的正负样本,通过点云之间最短路径插值数据的对抗性扰动增强获取归一化特征和清洁特征,所述对抗性扰动增强是利用一系列强度从弱到强的对抗性特征,将特征扰动强度的对抗训练目标整合到一个区间而不是单个点上;
S4:根据点云数据增强算法对预设比例的正负样本进行扩充;
S5:通过对扩充后的正负样本进行模型训练获取用于检测密闭空间内异物的二分类网络。
优先获取密闭空间内正常状态,即无异物状态下的点云数据,再获取密闭空间内存在异物状态下的点云数据,皆以图像形式进行保存,再通过对点云数据进行特定数据标准训练获取正负样本,使用Tof相机选取距离为2.4米,以密闭空间内存在大于5cmx5cmx5cm的物体时为负样本,其余情况皆为正样本,根据这个情况可以获取所需数量的正负样本,基于根据预设比例获取到的所需数量正负样本,通过点云之间最短路径插值数据的对抗性扰动增强获取归一化特征和清洁特征,再根据点云数据增强算法对预设比例的正负样本进行扩充,增加样本数量,使用扩充后的正负样本进行模型训练,得到二分类网络,从而检测密闭空间内是否存在异物;此情况下可以使用点云数据增强算法对预设比例的正负样本进行扩充,可减少在密闭空间内点云数据获取,无需采集大量数据,可提高检测效率,并且扩充后的数据仍能满足对密闭空间内的异物检测,从而提高密闭空间内异物检测精度与鲁棒性。
进一步地,S1步骤中所述点云数据通过pcl数据库在密闭空间内区域进行获取。
pcl数据库可以实现大量点云数据相关的通用算法和高效数据结构,可以支持多平台多种操作***,提高密闭空间内异物检测通用性,可大面积使用本发明检测方法。
进一步地,S2步骤中当密闭空间内区域存在大于预设比例的物体时为负样本,否则为正样本。
在通用情况下,使用Tof相机选取距离为2.4米,以密闭空间内存在大于5cmx5cmx5cm的物体时为负样本,其余情况皆为正样本,根据这个情况可以获取所需数量的正负样本,基于根据预设比例获取到的所需数量正负样本,根据不同密闭空间大小,选取的预设比例都不相同,但都可以选取少量正负样本来进行检测密闭空间内是否存在异物,防止选取大量样本,提升工作量。
进一步地,S3步骤具体包括:
S31:通过生成具有不同强度的对抗性扰动,对所述点云数据中间特征进行增强,从而作为对抗性特征;
S32:通过特征归一化将扰动增强后的特征统计信息注入到未对抗的特征中,从而作为清洁特征;
S33:通过混合增强后的归一化特征与清洁特征用于样本训练。
通过上述步骤,对抗性训练可以被表述为一种有效的正则化,以提高视觉识别模型的泛化能力,主要是通过对抗性特征加强以及对抗特征归一化,在此框架下增强数据,提高密闭空间内异物检测精度与鲁棒性。
进一步地,S31步骤中不同强度的对抗性扰动,对所述点云数据中间特征进行增强,所述点云数据包含有一段点云数据区间。
对于不同强度的对抗性扰动增强点云数据包含有一段点云数据区间,而不是单独的一个点云数据点,可充分发挥特征空间中对抗性增强属性,同时利用一系列强度从弱到强的对抗性特征,以扩充检测数据量,提高异物检测精度。
进一步地,点云数据增强算法公式如下:
式中,为f(x,θb)+δ;θt;y简化表达的函数,x为点云数据,y为点云数据上的标签,为清洁特征,/>为对抗性特征,λ为控制对抗性特征增强影响的超参数,δ为PGD生成,θb为骨干网络参数,θt为任务特定模块的参数。
其中与/>的类型由所需要检测的密闭空间内任务决定,例如,检测模型采用回归和分类损失,扰动是通过PGD在中间特征空间中生成的,δ由PGD生成,关于特征扰动强度ε的对抗训练目标整合到一个区间而不是单个点上,从而增强点云数据算法。
进一步地,清洁特征与对抗性特征通过归一化处理为对抗性归一化,公式如下:
式中,为对抗性归一化,σclean为清洁特征的二阶矩,/>为对抗性特征的二阶矩,μclean为清洁特征的一阶矩,/>为第i个增强的对抗特征,fclean为清洁特征。
提出的清洁特征与对抗性特征通过归一化处理为对抗性归一化,每个训练样本融合清洁特征和对抗性特征的扰动特征,归一化特征是通过使用对抗性特征矩对清洁特征进行归一化来制作的,这种跨清洁特征和对抗性特征的不对称组合有助于网络平滑决策边界并获得改进的泛化。
在本发明的另一实施例中,还提供了一在本发明的另一实施例中,还提供了一种基于图像点云数据的异物检测装置,包括至少一个处理器、以及至少一个存储器,其中,存储器存储有计算机程序,当程序被处理器执行时,使得处理器能够执行基于图像点云数据的异物检测方法。
在本发明的另一实施例中,还提供了一种基于图像点云数据的异物检测存储介质,当存储介质中的指令由设备内的处理器执行时,使得设备能够执行基于图像点云数据的异物检测方法。
综上所述,本发明的一种基于图像点云数据的异物检测方法,通过数据增强算法、装置及其存储介质,通过点云之间最短路径插值数据的对抗性扰动增强获取归一化特征和清洁特征,对抗性扰动增强是利用一系列强度从弱到强的对抗性特征,将特征扰动强度的对抗训练目标整合到一个区间而不是单个点上增强获取的密闭空间内点云数据来检测密闭空间内是否存在异物,在采取较少样本时通过点云数据增强算法机制能达到较高检测准确度,增加检测精度与鲁棒性,并能通过不同强度的对抗性扰动增强点云数据包含有一段点云数据区间,而不是单一数据点,增加点云数据量,从而增加密闭空间内异物检测精度。
需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。
另外,在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“连接”、“固定”等应做广义理解,例如,“固定”可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明的具体含义。
另外,本发明各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神所定义的范围。

Claims (5)

1.一种基于图像点云数据的异物检测方法,其特征在于,包括:
S1:获取密闭空间内点云数据并保存为图像形式;
S2:通过对点云数据进行特定数据标准下的训练获取正负样本;
S3:基于预设比例的正负样本,通过点云之间最短路径插值数据的对抗性扰动增强获取归一化特征和清洁特征,所述对抗性扰动增强是利用一系列强度从弱到强的对抗性特征,将特征扰动强度的对抗训练目标整合到一个区间而不是单个点上;
S31:通过生成具有不同强度的对抗性扰动,对所述点云数据中间特征进行增强,从而作为对抗性特征;
S32:通过特征归一化将扰动增强后的特征统计信息注入到未对抗的特征中,从而作为清洁特征;
S33:通过混合增强后的归一化特征与清洁特征用于样本训练;
S4:根据点云数据增强算法对预设比例的正负样本进行扩充;
S5:通过对扩充后的正负样本进行模型训练获取用于检测密闭空间内异物的二分类网络;
所述点云数据增强算法公式如下:
式中,x为点云数据,y为点云数据上的标签,为清洁特征,/>为对抗性特征,λ为控制对抗性特征增强影响的超参数,δ为PGD生成,θb为骨干网络参数,θt为任务特定模块的参数;
所述清洁特征与对抗性特征通过归一化处理为对抗性归一化,公式如下:
式中,σclean为清洁特征的二阶矩,为对抗性特征的二阶矩,μclean为清洁特征的一阶矩,/>为第i个增强的对抗特征,fclean为清洁特征。
2.根据权利要求1所述的一种基于图像点云数据的异物检测方法,其特征在于,所述S1步骤中所述点云数据通过pcl数据库在所述密闭空间内区域进行获取。
3.根据权利要求1所述的一种基于图像点云数据的异物检测方法,其特征在于,所述S2步骤中当所述密闭空间内区域存在大于预设比例的物体时为负样本,否则为正样本。
4.一种基于图像点云数据的异物检测装置,其特征在于,包括至少一个处理器、以及至少一个存储器,其中,所述存储器存储有计算机程序,当所述程序被所述处理器执行时,使得所述处理器能够执行权利要求1-3任一项所述的基于图像点云数据的异物检测方法。
5.一种基于图像点云数据的异物检测存储介质,其特征在于,当所述存储介质中的指令由设备内的处理器执行时,使得所述设备能够执行权利要求1-3任一项所述的基于图像点云数据的异物检测方法。
CN202310186829.4A 2023-03-02 2023-03-02 基于图像点云数据的异物检测方法、装置及其存储介质 Active CN115880547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310186829.4A CN115880547B (zh) 2023-03-02 2023-03-02 基于图像点云数据的异物检测方法、装置及其存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310186829.4A CN115880547B (zh) 2023-03-02 2023-03-02 基于图像点云数据的异物检测方法、装置及其存储介质

Publications (2)

Publication Number Publication Date
CN115880547A CN115880547A (zh) 2023-03-31
CN115880547B true CN115880547B (zh) 2023-11-21

Family

ID=85761708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310186829.4A Active CN115880547B (zh) 2023-03-02 2023-03-02 基于图像点云数据的异物检测方法、装置及其存储介质

Country Status (1)

Country Link
CN (1) CN115880547B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435362A (zh) * 2019-01-15 2020-07-21 国际商业机器公司 用于生成相关响应的对抗性训练数据增强
CN113052109A (zh) * 2021-04-01 2021-06-29 西安建筑科技大学 一种3d目标检测***及其3d目标检测方法
CN113689329A (zh) * 2021-07-02 2021-11-23 上海工程技术大学 一种用于稀疏点云增强的最短路径插值法
CN114723877A (zh) * 2022-02-28 2022-07-08 清华大学 一种针对三维稀疏卷积网络的对抗样本生成方法
CN114842268A (zh) * 2022-05-25 2022-08-02 浙江大学计算机创新技术研究院 一种基于数据增强的深度学习对抗训练方法
CN115690524A (zh) * 2023-01-05 2023-02-03 中国科学院空天信息创新研究院 语义信息指导的点云目标检测正样本筛选方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7081720B2 (ja) * 2019-03-28 2022-06-07 日本電気株式会社 異物検出装置、異物検出方法、およびプログラム
CN110928301B (zh) * 2019-11-19 2023-06-30 北京小米智能科技有限公司 一种检测微小障碍的方法、装置及介质
US20220067181A1 (en) * 2020-09-01 2022-03-03 Argo AI, LLC Methods and systems for secure data analysis and machine learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435362A (zh) * 2019-01-15 2020-07-21 国际商业机器公司 用于生成相关响应的对抗性训练数据增强
CN113052109A (zh) * 2021-04-01 2021-06-29 西安建筑科技大学 一种3d目标检测***及其3d目标检测方法
CN113689329A (zh) * 2021-07-02 2021-11-23 上海工程技术大学 一种用于稀疏点云增强的最短路径插值法
CN114723877A (zh) * 2022-02-28 2022-07-08 清华大学 一种针对三维稀疏卷积网络的对抗样本生成方法
CN114842268A (zh) * 2022-05-25 2022-08-02 浙江大学计算机创新技术研究院 一种基于数据增强的深度学习对抗训练方法
CN115690524A (zh) * 2023-01-05 2023-02-03 中国科学院空天信息创新研究院 语义信息指导的点云目标检测正样本筛选方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
3D Point Cloud Enhancement using Unsupervised Anomaly Detection;Yousra Regaya et al.;《2019 International Symposium on Systems Engineering (ISSE)》;第1-6页 *
3D目标检测算法研究;杨文杰;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》(第03期);第C035-529页 *
MixText: Linguistically-Informed Interpolation of Hidden Space for Semi-Supervised Text Classifification;Chen, Jiaao et al.;《 58TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (ACL 2020)》;第2147-2157页 *
Towards Effective Adversarial Attack Against 3D Point Cloud Classification;Chengcheng Ma et al.;《2021 IEEE International Conference on Multimedia and Expo (ICME)》;第1-6页 *
基于机器视觉的移动破碎线物料状态检测技术研究;王东旭;《中国博士学位论文全文数据库 (工程科技Ⅰ辑)》;第1-118页 *
基于深度学习的道路障碍物检测方法;彭育辉等;《计算机应用》;第40卷(第08期);第2428-2433页 *
基于点云深度学习的3D目标检测;敖建锋等;《激光与红外》;第50卷(第10期);第1276-1282页 *
点云深度学习中的数据增强研究;隗博良;《中国优秀硕士学位论文全文数据库信息科技辑》(第01期);第I138-727页 *

Also Published As

Publication number Publication date
CN115880547A (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
DE102018116111B4 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
CN105716567B (zh) 通过单眼图像获取设备侦测物体与机动车辆距离的方法
DE102020214283A1 (de) Vorrichtung zur erkennung von hindernissen, fahrzeugsystem mit dieser und verfahren dafür
KR101281260B1 (ko) 차량 인식 방법 및 장치
CN102194102B (zh) 对交通标志进行分类的方法和装置
CN103975343B (zh) 用于通过融合人类检测模态的结果来增强人类计数的***和方法
KR101163042B1 (ko) 차량 검출 장치 및 방법
CN105426863B (zh) 检测车道线的方法和装置
EP3979196A1 (en) Image processing method and apparatus for target detection
US20150036935A1 (en) Information processing apparatus, information processing method, and storage medium
CN113156407B (zh) 车载激光雷达外参数联合标定方法、***、介质及设备
CN107103275A (zh) 使用雷达和视觉基于车轮进行的车辆检测和追踪
US9616836B2 (en) Two dimensional pedestrian impact sensing
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
US20160307055A1 (en) Stereoscopic object detection device and stereoscopic object detection method
CN111191671A (zh) 一种用电器波形检测方法、***、电子设备及存储介质
JP2008225784A (ja) 消失点抽出装置
CN115880547B (zh) 基于图像点云数据的异物检测方法、装置及其存储介质
CN104636748A (zh) 一种号牌识别的方法及装置
KR101556598B1 (ko) 주요 픽셀 정보에 기반한 물체 검출 장치 및 그 방법
JP4685711B2 (ja) 画像処理方法及び装置及びプログラム
DE102019102923B4 (de) Verfahren und eine Vorrichtung zur Sensordatenfusion für ein Fahrzeug
US10916014B2 (en) Distinguishing virtual objects from one another
JP5501555B2 (ja) 多目標追尾装置
CN109753840B (zh) 一种基于响应值确定车位线角点的方法、***和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant