CN114581389A - 一种基于三维边缘相似度特征的点云质量分析方法 - Google Patents
一种基于三维边缘相似度特征的点云质量分析方法 Download PDFInfo
- Publication number
- CN114581389A CN114581389A CN202210176395.5A CN202210176395A CN114581389A CN 114581389 A CN114581389 A CN 114581389A CN 202210176395 A CN202210176395 A CN 202210176395A CN 114581389 A CN114581389 A CN 114581389A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- scale
- edge
- small
- pcle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于三维边缘相似度特征的点云质量分析方法,该方法考虑到人眼视觉***特性对点云图像的边缘轮廓特征具有较高的敏感性,且考虑到了点云的三维特征,将参考和失真点云尺度归一化后采用多尺度的3D‑DOG滤波器提取其边缘和结构特征,多尺度的滤波器可以从不同程度展现点云的细节,即可以从不同的角度有效地反映点云的退化程度;该方法充分利用人眼视觉对于边缘信息的敏感度,模拟了人眼主观评价点云图像的过程,相较于其他方法具有较好的点云质量分析性能,且本发明方法具有较高的识别准确性、敏感性以及鲁棒性。
Description
技术领域
本发明涉及图像处理领域,特别是指一种基于三维边缘相似度特征的点云质量分析方法。
背景技术
多媒体技术的最新趋势表明,3D点云作为一种高级内容表示形式,因其能够在现代通信***中展现更逼真的场景等高级内容形式而在沉浸式应用程序中占有重要地位。点云是一种在3D空间中保留原始几何信息(例如:位置、颜色、法线、强度等属性)的存储格式,通常使用三维扫描仪、激光雷达和RGB-D相机来进行采集。3D点云在不同领域有着广泛的应用,包括增强/虚拟现实、3D打印、自动驾驶、机器人和三维监控等应用场景。
然而,点云通常包含数百万个点和丰富的属性信息,在采集、处理、压缩、传输、重建和显示过程中引入不同程度的失真和噪声,都会降低点云的质量从而影响终端用户对视觉体验的满意度。因此,如何充分考虑将人类视觉***特性与点云的特点结合,设计符合人眼视觉特性的点云质量分析方法,应用于实时动态监测和调节点云视觉质量、比较或优化点云处理算法的性能等,具有重要的理论研究意义和实际应用价值。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷,提出一种基于三维边缘相似度特征的点云质量分析方法,通过将双尺度3D-DOG算子应用于参考和失真点云,利用三维边缘相似性度量计算参考和失真点云特征的双尺度三维边缘相似性度,最后使用三维边缘强度加权池化策略计算得到点云质量评价分数。该方法有效地提取出了点云边缘结构特征,符合人眼对于失真点云的主观感知度,具有较好的点云质量分析性能。
本发明采用如下技术方案:
一种基于三维边缘相似度特征的点云质量分析方法,包括如下步骤:
将输入的参考点云PCr和失真点云PCd尺度归一化后进行特征提取;
将双尺度3D-DOG算子应用于参考点云和失真点云,分别提取参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd;
根据参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,计算得到参考点云PCr和失真点云PCd的小尺度3D边缘相似度Spces与大尺度3D边缘相似度Lpces;
基于小尺度3D边缘相似度Spces与大尺度3D边缘相似度Lpces,使用三维边缘强度加权池化方法计算得到点云客观质量分数Score。
具体地,将输入的参考点云PCr和失真点云PCd尺度归一化后进行特征提取,具体包括:
输入参考点云PCr和失真点云PCd;
根据一对参考点云和失真点云的坐标最大值构造两个全零的三维矩阵,并分别以此对点云坐标为基准,将每个坐标位置的亮度信息填充到两个全零的三维矩阵中,直至它们的维度大小相同。
具体地,将双尺度3D-DOG算子应用于参考点云和失真点云,分别提取参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,具体如下:
分别使用3D-DOG算子提取参考点云PCr和失真点云PCd的双尺度三维边缘特征,为:
其中,为小尺度核的3D-DOG滤波器,为大尺度核的3D-DOG滤波器,所得出的PCSEr为参考点云的小尺度特征,PCLEr为参考点云的大尺度特征,PCSEd为失真点云的小尺度特征,PCLEd为失真点云的大尺度特征,(x,y,z)表示点云中每个像素点的3D坐标,σ1和σ2为小尺度下的标准差,σ3和σ4为大尺度下的标准差。
公式如下:
其中,G(x,y,z,σ)为3D高斯滤波器,3D高斯滤波器的公式如下:
具体地:根据参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,计算得到参考点云PCr和失真点云PCd的小尺度3D边缘相似度Spces与大尺度3D边缘相似度Lpces,具体如下:
分别通过计算参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,得到两个尺度下的三维点云边缘相似度Spces与Lpces:
其中,T1和T2是用于保证数值稳定性的常数。
具体地:基于小尺度3D边缘相似度Spces与大尺度3D边缘相似度Lpces,使用三维边缘强度加权池化方法计算得到点云客观质量分数Score,具体如下:
PCEW(x,y,z)=max(PCLEr,PCLEd)
PCES(x,y,z)=[Spces(x,y,z)]α·[Lpces(x,y,z)]β
其中,PCEW是三维边缘强度加权池化策略中的权重,PCES是Spces与Lpces按设定比例乘积得到,α、β为设定系数,α+β=1。
由上述对本发明的描述可知,与现有技术相比,本发明具有如下有益效果:
本发明提供了一种基于三维边缘相似度特征的点云质量分析方法,该方法考虑到人眼视觉***特性对点云图像的边缘轮廓特征具有较高的敏感性,且考虑到了点云的三维特征,将参考和失真点云尺度归一化后采用多尺度的3D-DOG滤波器提取其边缘和结构特征,多尺度的滤波器可以从不同程度展现点云的细节,即可以从不同的角度有效地反映点云的退化程度;该方法充分利用人眼视觉对于边缘信息的敏感度,模拟了人眼主观评价点云图像的过程,相较于其他方法具有较好的点云质量分析性能,且本发明方法具有较高的识别准确性、敏感性以及鲁棒性。
附图说明
图1是本发明实施例提供的流程示意图。
图2是本发明实施例提供的两张参考和失真的点云图像,图(a)为参考点云示例图,图(b)为失真点云示例图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
本发明提供了一种基于三维边缘相似度特征的点云质量分析方法,利用人眼视觉对于边缘信息的敏感度,模拟了人眼主观评价点云图像的过程,相较于其他方法具有较好的点云质量分析性能,且本发明方法具有较高的识别准确性、敏感性以及鲁棒性。
参见图1所示,一种基于三维边缘相似度特征的点云质量分析方法,具体步骤如下:
S101:将输入的参考点云PCr和失真点云PCd尺度归一化后进行特征提取,具体如下:
输入参考点云PCr和失真点云PCd,由于一些失真点云相比参考点云,会产生坐标位置偏移和旋转,存在尺度范围不统一的情况。首先根据一对参考和失真点云的坐标最大值构造两个全零的三维矩阵,并分别以这对点云各坐标为基准,将每个坐标位置的亮度信息填充到两个全零三维矩阵中,直至它们的维度大小相同,如图2为本发明实施例提供的两张参考和失真的点云图像,图(a)为参考点云示例图,图(b)为失真点云示例图。
S102:将双尺度3D-DOG算子应用于参考点云和失真点云,分别提取参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,具体如下:
分别使用3D-DOG算子提取参考点云PCr和失真点云PCd的双尺度三维边缘特征,其中小尺度滤波核能够提取出点云更多尖锐的细节边缘内容,反之大尺度滤波核能提取出点云的轮廓与形状信息特征,如下:
其中,为小尺度核的3D-DOG滤波器,为大尺度核的3D-DOG滤波器,所得出的PCSEr为参考点云的小尺度特征,PCLEr为参考点云的大尺度特征,PCSEd为失真点云的小尺度特征,PCLEd为失真点云的大尺度特征,(x,y,z)表示点云中每个像素点的3D坐标,σ1和σ2为小尺度下的标准差,σ3和σ4为大尺度下的标准差;
其中,(x,y,z)表示点云中每个像素点的3D坐标,G(x,y,z,σ)为3D高斯滤波器,采用9×9×9的高斯核,σ1和σ2为小尺度下的标准差,其中σ1=0.9,σ2=1;σ3和σ4为大尺度下的标准差,其中σ3=2.1,σ4=2.2,3D高斯滤波器的公式如下:
S103:根据参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,计算得到参考点云PCr和失真点云PCd的小尺度3D边缘相似度Spces与大尺度3D边缘相似度Lpces,具体如下:
分别通过计算参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,我们可以得到两个尺度下的三维点云边缘相似度Spces与Lpces:
其中,T1和T2是用于保证数值稳定性的常数,T1=0.04,T2=0.01。
S104:基于小尺度3D边缘相似度Spces与大尺度3D边缘相似度Lpces,使用三维边缘强度加权池化策略计算得到点云客观质量分数Score,具体如下:
PCEW(x,y,z)=max(PCLEr,PCLEd)
PCES(x,y,z)=[Spces(x,y,z)]α·[Lpces(x,y,z)]β
其中,PCEW是三维边缘强度加权池化策略中的权重,选取的是大尺度下的参考和失真特征PCLEr与PCLEd中的较大值。PCES是Spces与Lpces按照一定比例乘积得到,其中α=0.7,β2=0.3。
上述仅为本发明的具体实施方式,但本发明的设计构思并不局限于此,凡利用此构思对本发明进行非实质性的改动,均应属于侵犯本发明保护范围的行为。
Claims (6)
1.一种基于三维边缘相似度特征的点云质量分析方法,其特征在于,包括如下步骤:
将输入的参考点云PCr和失真点云PCd尺度归一化后进行特征提取;
将双尺度3D-DOG算子应用于参考点云和失真点云,分别提取参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd;
根据参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,计算得到参考点云PCr和失真点云PCd的小尺度3D边缘相似度Spces与大尺度3D边缘相似度Lpces;
基于小尺度3D边缘相似度Spces与大尺度3D边缘相似度Lpces,使用三维边缘强度加权池化方法计算得到点云客观质量分数Score。
2.根据权利要求1所述的一种基于三维边缘相似度特征的点云质量分析方法,其特征在于,将输入的参考点云PCr和失真点云PCd尺度归一化后进行特征提取,具体包括:
输入参考点云PCr和失真点云PCd;
根据一对参考点云和失真点云的坐标最大值构造两个全零的三维矩阵,并分别以此对点云坐标为基准,将每个坐标位置的亮度信息填充到两个全零的三维矩阵中,直至它们的维度大小相同。
3.根据权利要求1所述的一种基于三维边缘相似度特征的点云质量分析方法,其特征在于,将双尺度3D-DOG算子应用于参考点云和失真点云,分别提取参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,具体如下:
分别使用3D-DOG算子提取参考点云PCr和失真点云PCd的双尺度三维边缘特征,为:
5.根据权利要求3所述的基于三维边缘相似度特征的点云质量分析方法,其特征在于:根据参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,计算得到参考点云PCr和失真点云PCd的小尺度3D边缘相似度Spces与大尺度3D边缘相似度Lpces,具体如下:
分别通过计算参考点云的小尺度3D边缘特征PCSEr与大尺度3D边缘特征PCLEr,以及失真点云的小尺度3D边缘特征PCSEd与大尺度3D边缘特征PCLEd,得到两个尺度下的三维点云边缘相似度Spces与Lpces:
其中,T1和T2是用于保证数值稳定性的常数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210176395.5A CN114581389A (zh) | 2022-02-24 | 2022-02-24 | 一种基于三维边缘相似度特征的点云质量分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210176395.5A CN114581389A (zh) | 2022-02-24 | 2022-02-24 | 一种基于三维边缘相似度特征的点云质量分析方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114581389A true CN114581389A (zh) | 2022-06-03 |
Family
ID=81775182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210176395.5A Withdrawn CN114581389A (zh) | 2022-02-24 | 2022-02-24 | 一种基于三维边缘相似度特征的点云质量分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114581389A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117789198A (zh) * | 2024-02-28 | 2024-03-29 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波成像雷达实现点云退化检测的方法 |
-
2022
- 2022-02-24 CN CN202210176395.5A patent/CN114581389A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117789198A (zh) * | 2024-02-28 | 2024-03-29 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波成像雷达实现点云退化检测的方法 |
CN117789198B (zh) * | 2024-02-28 | 2024-05-14 | 上海几何伙伴智能驾驶有限公司 | 基于4d毫米波成像雷达实现点云退化检测的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363858B (zh) | 一种三维人脸重建方法及*** | |
KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
CN108596961B (zh) | 基于三维卷积神经网络的点云配准方法 | |
CN108875935B (zh) | 基于生成对抗网络的自然图像目标材质视觉特征映射方法 | |
JP6902122B2 (ja) | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 | |
CN108734078B (zh) | 图像处理方法、装置、电子设备、存储介质及程序 | |
CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
US20190206117A1 (en) | Image processing method, intelligent terminal, and storage device | |
CN110310269B (zh) | 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法 | |
CN114581389A (zh) | 一种基于三维边缘相似度特征的点云质量分析方法 | |
Yin et al. | [Retracted] Virtual Reconstruction Method of Regional 3D Image Based on Visual Transmission Effect | |
CN111161348A (zh) | 一种基于单目相机的物***姿估计方法、装置及设备 | |
CN117115358A (zh) | 数字人自动建模方法及装置 | |
CN110852335B (zh) | 一种基于多颜色特征融合与深度网络的目标跟踪*** | |
CN117218192A (zh) | 一种基于深度学习与合成数据的弱纹理物***姿估计方法 | |
CN117152330A (zh) | 一种基于深度学习的点云3d模型贴图方法和装置 | |
CN111985535A (zh) | 一种通过神经网络优化人体深度图的方法及其装置 | |
CN112949641A (zh) | 图像分割方法及电子设备、计算机可读存储介质 | |
Che et al. | Reduced-reference quality metric for screen content image | |
CN111369651A (zh) | 三维表情动画生成方法及*** | |
CN113902786B (zh) | 一种深度图像的预处理方法、***及相关装置 | |
CN116188497B (zh) | 立体遥感影像对生成dsm优化方法、装置、设备及存储介质 | |
CN112967398B (zh) | 一种三维数据重建方法、装置及电子设备 | |
CN112734901B (zh) | 一种3d说明书生成方法及相关设备 | |
CN113538222A (zh) | 一种三维动画场景帧评分模型确定方法及评分*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220603 |