CN117152398B - 一种三维影像虚化方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种三维影像虚化方法、装置、设备及存储介质，用于提高三维影像虚化的准确率。包括：采集目标三维影像数据，对三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；对每个分割影像数据进行光谱特征提取，得到每个分割影像数据的光谱特征集合；分别对每个分割影像数据进行形态学特征提取，得到每个分割影像数据的形态学特征集合；对目标三维影像数据进行初始虚化处理，得到初始虚化影像；通过形态学特征集合对初始虚化影像进行显著目标检测，得到目标检测结果；对初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过目标分布结果对初始虚化影像进行二次虚化处理，得到目标虚化影像。

Description

一种三维影像虚化方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种三维影像虚化方法、装置、设备及存储介质。

背景技术

近年来，三维影像数据的采集和处理已经成为计算机视觉和图像处理领域的一个重要研究方向。这种数据不仅包含了传统二维图像的信息，还提供了场景中物体的三维几何信息，这使得其在各种应用中具有潜在的广泛用途，如遥感、医学影像分析、自动驾驶、安全监控等。

现有技术中，在处理复杂的三维场景时，对图像数据进行空间分割会面临挑战。特别是在存在多个重叠或接触的物体时，分割算法会出现误差，导致虚化效果不准确。目标检测和分布分析的精度：虽然文中提到了显著目标检测和分布分析，但这些技术在实际应用中难以准确捕捉到所有重要目标，尤其是在目标之间具有相似特征或在复杂背景中的情况下。这导致虚化效果不足以准确突出或模糊目标。

发明内容

本发明提供了一种三维影像虚化方法、装置、设备及存储介质，用于提高三维影像虚化的准确率。

本发明第一方面提供了一种三维影像虚化方法，所述三维影像虚化方法包括：采集目标三维影像数据，对所述三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；

分别对每个所述分割影像数据进行光谱特征提取，得到每个所述分割影像数据的光谱特征集合；

分别对每个所述分割影像数据进行形态学特征提取，得到每个所述分割影像数据的形态学特征集合；

通过所述光谱特征集合对所述目标三维影像数据进行初始虚化处理，得到初始虚化影像；

通过所述形态学特征集合对所述初始虚化影像进行显著目标检测，得到目标检测结果；

基于所述目标检测结果，对所述初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过所述目标分布结果对所述初始虚化影像进行二次虚化处理，得到目标虚化影像。

结合第一方面，在本发明第一方面的第一实施方式中，所述采集目标三维影像数据，对所述三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据，包括：

采集所述三维影像数据，对所述三维影像数据进行灰度转换处理，得到灰度影像数据；

对所述灰度影像数据进行亮度极值点提取，得到亮度极值点集合；

通过预置的分水岭算法对所述亮度极值点集合进行种子点构建，得到多个目标种子点；

基于多个所述目标种子点，对所述三维影像数据进行洪水填充处理，得到多个图像分割区域；

基于多个所述图像分割区域，对所述三维影像数据进行基于空间的影像数据分割，得到多个所述分割影像数据。

结合第一方面，在本发明第一方面的第二实施方式中，所述分别对每个所述分割影像数据进行光谱特征提取，得到每个所述分割影像数据的光谱特征集合，包括：

分别对每个所述分割影像数据进行热红外波段提取，得到每个所述分割影像数据的热红外波段数据；

分别对每个所述分割影像数据进行像素特征提取，得到每个所述分割影像数据的像素特征数据；

对每个所述分割影像数据的热红外波段数据以及每个所述分割影像数据的像素特征数据进行区域特征融合，得到对应的融合特征数据；

将所述融合特征数据输入预置的光谱特征匹配模型进行光谱特征匹配，得到每个所述分割影像数据对应的光谱特征集合。

结合第一方面，在本发明第一方面的第三实施方式中，所述分别对每个所述分割影像数据进行像素特征提取，得到每个所述分割影像数据的像素特征数据，包括：

分别对每个所述分割影像数据进行颜色通道提取，得到每个所述分割影像数据的颜色通道数据；

基于每个所述分割影像数据的颜色通道数据，分别对每个所述分割影像数据进行像素值遍历，得到每个所述分割影像数据的像素值数据；

基于每个所述分割影像数据的像素值数据，分别对每个所述分割影像数据进行颜色空间转换，得到多个转换影像数据；

分别对每个所述转换影像数据进行频谱分析，得到每个所述转换影像数据的频谱特征数据；

基于每个所述转换影像数据的频谱特征数据，分别对每个所述分割影像数据进行像素特征提取，得到每个所述分割影像数据的像素特征数据。

结合第一方面，在本发明第一方面的第四实施方式中，所述通过所述光谱特征集合对所述目标三维影像数据进行初始虚化处理，得到初始虚化影像，包括：

对所述光谱特征集合进行语义信息填充，得到所述光谱特征集合对应的语义特征集合；

对所述目标三维影像数据进行深度信息采集，得到所述目标三维影像数据的像素深度信息；

对所述语义特征集合以及所述像素深度信息进行虚化方向分析，得到目标虚化方向；

对所述目标三维影像数据进行模糊核构建，得到目标模糊核；

基于所述目标虚化方向，通过所述目标模糊核对所述目标三维影像数据进行初始虚化处理，得到初始虚化影像。

结合第一方面，在本发明第一方面的第五实施方式中，所述通过所述形态学特征集合对所述初始虚化影像进行显著目标检测，得到目标检测结果，包括：

通过所述形态学特征集合，对所述初始虚化影像进行目标边缘检测，得到边缘位置信息；

基于所述边缘位置信息，对所述初始虚化影像进行阈值化处理，得到对应的处理影像数据；

对所述处理影像数据进行连通区域分析，得到所述处理影像数据对应的多个目标连通区域；

对多个所述目标连通区域进行滤波处理，得到多个滤波区域；

对多个所述滤波区域进行显著目标检测，得到所述目标检测结果。

结合第一方面，在本发明第一方面的第六实施方式中，所述基于所述目标检测结果，对所述初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过所述目标分布结果对所述初始虚化影像进行二次虚化处理，得到目标虚化影像，包括：

通过所述目标检测结果，对所述初始虚化影像进行目标位置标定，得到标定位置集合；

通过所述标定位置集合对所述初始虚化影像进行图像目标分布分析，得到所述目标分布结果；

对所述目标分布结果进行虚化参数计算，得到目标虚化参数；

通过所述目标虚化参数，对所述初始虚化影像进行二次虚化处理，得到目标虚化影像。

本发明第二方面提供了一种三维影像虚化装置，所述三维影像虚化装置包括：

采集模块，用于采集目标三维影像数据，对所述三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；

第一提取模块，用于分别对每个所述分割影像数据进行光谱特征提取，得到每个所述分割影像数据的光谱特征集合；

第二提取模块，用于分别对每个所述分割影像数据进行形态学特征提取，得到每个所述分割影像数据的形态学特征集合；

处理模块，用于通过所述光谱特征集合对所述目标三维影像数据进行初始虚化处理，得到初始虚化影像；

检测模块，用于通过所述形态学特征集合对所述初始虚化影像进行显著目标检测，得到目标检测结果；

分析模块，用于基于所述目标检测结果，对所述初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过所述目标分布结果对所述初始虚化影像进行二次虚化处理，得到目标虚化影像。

本发明第三方面提供了一种三维影像虚化设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述三维影像虚化设备执行上述的三维影像虚化方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的三维影像虚化方法。

本发明提供的技术方案中，采集目标三维影像数据，对三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；分别对每个分割影像数据进行光谱特征提取，得到每个分割影像数据的光谱特征集合；分别对每个分割影像数据进行形态学特征提取，得到每个分割影像数据的形态学特征集合；通过光谱特征集合对目标三维影像数据进行初始虚化处理，得到初始虚化影像；通过形态学特征集合对初始虚化影像进行显著目标检测，得到目标检测结果；基于目标检测结果，对初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过目标分布结果对初始虚化影像进行二次虚化处理，得到目标虚化影像。在本申请方案中， 利用空间分割技术，将三维影像数据分割成多个子图像，使得后续处理能够集中在单独的目标或区域上。这有助于提高处理的精度和效率。通过对每个分割影像数据进行光谱特征提取，能够获得有关颜色和纹理的信息，这有助于虚化处理的个性化和目标检测。提取形态学特征，如边缘和区域信息，有助于在虚化和检测阶段中更好地理解图像的结构和内容。通过光谱特征集合，对目标三维影像数据进行初始虚化处理，使得图像中的细节被模糊化。可以用于减小噪声、隐私保护或创建特效效果。利用形态学特征集合对初始虚化影像进行显著目标检测，能够识别出图像中的显著目标。这在目标识别和突出方面具有潜在的应用，例如目标跟踪或对象检测。通过分析目标在图像中的分布，你可以更好地了解目标的位置、密度和空间分布。这有助于更精细地控制虚化和进一步的图像处理。根据目标分布结果，对初始虚化影像进行二次虚化处理，可以根据目标在图像中的分布情况来优化虚化效果。

附图说明

图1为本发明实施例中三维影像虚化方法的一个实施例示意图；

图2为本发明实施例中分别对每个分割影像数据进行光谱特征提取的流程图；

图3为本发明实施例中分别对每个分割影像数据进行像素特征提取的流程图；

图4为本发明实施例中通过光谱特征集合对目标三维影像数据进行初始虚化处理的流程图；

图5为本发明实施例中三维影像虚化装置的一个实施例示意图；

图6为本发明实施例中三维影像虚化设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种三维影像虚化方法、装置、设备及存储介质，用于提高三维影像虚化的准确率。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中三维影像虚化方法的一个实施例包括：

S101、采集目标三维影像数据，对三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；

可以理解的是，本发明的执行主体可以为三维影像虚化装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，采集目标三维影像数据，这包括从各种传感器（如激光雷达、立体摄像头或遥感卫星）获取的三维场景数据。这些数据包含丰富的几何信息和颜色信息。进行灰度转换处理，将多通道的三维影像数据转化为单通道的灰度图像。这简化了处理过程并减少了数据维度。进行亮度极值点提取，以寻找图像中的亮度极值点。这些极值点可以代表物体的高处（如建筑物）或低处（如湖泊或山谷）。这有助于初步识别出潜在的目标区域。服务器运用预置的分水岭算法对亮度极值点集合进行种子点构建，以生成多个目标种子点。这些种子点是潜在的目标或物体的候选。基于这些目标种子点，服务器进行洪水填充处理。这一步骤可将种子点扩展为三维空间中的区域，从而更精确地分割出目标和物体的边界。基于这些图像分割区域，服务器进行基于空间的影像数据分割。这可以帮助服务器更细致地将三维影像数据分割为多个子区域，每个子区域代表一个不同的地理特征或物体。例如，假设一组卫星图像包含了地表的多种特征，包括森林、水域、城市建筑和农田。服务器首先将图像数据转化为灰度图像，然后通过亮度极值点提取找到明显的地理特征点，如湖泊或山脉的高峰。通过分水岭算法，服务器生成了种子点，代表潜在的地理特征。接着，使用洪水填充，服务器将这些种子点扩展为完整的地理区域。基于这些分割区域，服务器更准确地分辨出森林、水域、城市建筑等地理特征，为进一步的地理信息提取和分析提供了可靠的基础。

S102、分别对每个分割影像数据进行光谱特征提取，得到每个分割影像数据的光谱特征集合；

具体的，分别对每个分割影像数据进行热红外波段提取，得到每个分割影像数据的热红外波段数据。通过使用热红外传感器或设备来捕获每个分割影像数据的热红外信息。这些数据提供了关于不同区域的温度分布的信息，有助于在图像中识别热点或冷点，从而更好地理解物体的热特性。分别对每个分割影像数据进行像素特征提取，得到每个分割影像数据的像素特征数据，这有助于描述每个分割影像数据的像素属性。像素特征包括颜色、亮度、纹理和形状等。像素特征的分析可以帮助区分不同类型的物体和区域，并捕获图像中的细节信息。服务器将热红外波段数据和像素特征数据进行区域特征融合，不同类型的特征信息被整合在一起，以生成每个分割影像数据的综合特征描述。这可以通过将热红外数据和像素特征数据进行统计分析来实现。将融合特征数据输入预置的光谱特征匹配模型进行光谱特征匹配。这个模型用于将融合特征与已知的光谱特征数据库进行比较，从而确定每个分割影像数据的光谱特征集合。这一步骤有助于识别和虚化图像中的目标或特征。

其中，分别对每个分割影像数据进行颜色通道提取。目的是将每个分割影像数据的颜色通道分离。一般情况下，图像通常包含红、绿和蓝三个主要颜色通道，有时还包括其他通道如alpha通道用于透明度。通过提取这些颜色通道，服务器将获得有关图像颜色信息的数据。进行像素值遍历。在这一步骤中，服务器遍历每个颜色通道中的像素值。这允许服务器分析图像中每个像素的亮度和颜色信息。像素值遍历通常涵盖整个图像，以获取详细的像素级数据。进行颜色空间转换，将颜色通道数据从RGB颜色空间转换为其他颜色空间，例如HSV（色调、饱和度、亮度）或Lab（明度、绿红色度、蓝黄色度）等。这种转换有助于更好地描述颜色特性，特别是在不同光照条件下的图像。进行频谱分析。服务器对转换后的颜色通道数据进行频谱分析，以获取频谱特征数据。频谱分析可以揭示图像中的周期性或频率信息，这对于捕捉图像纹理和图案非常有用。进行最终的像素特征提取。服务器综合考虑颜色通道数据、像素值数据和频谱特征数据，以生成每个分割影像数据的最终像素特征数据。这些特征可以包括颜色信息、亮度、颜色空间转换后的值以及频谱特征。例如，对于一幅医学图像，服务器首先提取颜色通道，然后遍历每个像素的值。服务器将颜色通道数据从RGB转换为HSV颜色空间，这有助于更好地描述图像中不同组织的颜色特征。通过频谱分析，服务器检测到图像中的纹理信息，这对于识别肿瘤或异常组织非常重要。最终的像素特征数据可以用于更精确的医学诊断。

S103、分别对每个分割影像数据进行形态学特征提取，得到每个分割影像数据的形态学特征集合；

具体的，分别对每个分割影像数据进行形态学特征提取，形态学特征提取是一种图像分析技术，它依赖于数学形态学原理，如膨胀、腐蚀、开运算和闭运算等。这些操作可用于改变和提取图像中的结构和形状信息。在三维影像处理中，这些原理同样适用，但需要考虑三维数据的特殊性。一种常见的形态学特征是物体的大小和形状。通过应用腐蚀操作，服务器减小物体的尺寸，而通过膨胀操作，服务器增大物体的尺寸。这有助于捕捉图像中物体的轮廓和形状特征。例如，在医学影像中，通过形态学特征提取，可以分析肿瘤的大小和形状，有助于诊断和治疗规划。另一个重要的形态学特征是连接性和孔洞。通过开运算操作，服务器消除图像中的小孔洞，而通过闭运算操作，可以消除小的连接部分。这对于分割和分析图像中的结构或物体之间的关系非常有用。在自动驾驶中，这可用于识别道路上的道路标志和障碍物之间的连接性，以改善驾驶决策。形态学特征还可以用于检测纹理和边缘。通过应用特定的形态学操作，服务器强调图像中的纹理特征，这在安全监控中用于检测可疑活动或异常纹理非常有用。此外，通过边缘检测形态学操作，可以突出图像中的边界和轮廓，有助于目标检测和虚化。

S104、通过光谱特征集合对目标三维影像数据进行初始虚化处理，得到初始虚化影像；

具体的，对光谱特征集合进行语义信息填充，得到光谱特征集合对应的语义特征集合。通过将图像的光谱特征与语义信息相结合来实现。例如，在遥感图像中，服务器将不同光谱特征与地理信息***（GIS）数据相关联，从而为图像中的不同区域提供语义标签。服务器进行深度信息采集，以获取目标三维影像数据的像素深度信息。这通常需要使用深度传感器或摄像头来捕捉目标的距离信息。深度信息对于虚化处理非常关键，因为它帮助服务器确定物体或目标在三维空间中的位置。虚化方向分析根据语义特征集合和像素深度信息来确定虚化的方向。这有助于确保虚化处理的精确性。例如，虚化方向分析可以帮助确定应该在图像中的哪个方向上应用虚化，以突出或模糊特定结构或组织。接着，对目标三维影像数据进行模糊核构建，得到目标模糊核。这是一种数学函数，用于模拟虚化效果。模糊核的构建考虑了虚化方向和深度信息，以确保虚化处理符合实际情况。基于目标虚化方向，通过目标模糊核对目标三维影像数据进行初始虚化处理，得到初始虚化影像。这一步骤将应用虚化效果，根据虚化核的特性来突出或模糊目标或特征。例如，假设一个自动驾驶***使用三维影像数据来检测道路上的障碍物。通过光谱特征集合，服务器识别障碍物的形状和材质。通过深度信息采集，服务器了解障碍物的距离。在虚化方向分析中，服务器确定了应该在障碍物的前方应用虚化，以确保驾驶决策的准确性。通过构建模糊核，服务器生成初始虚化影像，将虚化应用于障碍物，使其更容易被检测和分析。

S105、通过形态学特征集合对初始虚化影像进行显著目标检测，得到目标检测结果；

具体的，通过形态学特征集合，服务器能够精确地探测目标的轮廓和边缘位置信息，有助于确定目标的确切位置和形状。服务器通过依赖边缘位置信息对初始虚化影像进行阈值化处理，使目标区域更加显著，同时抑制背景。这个处理过程的目的在于将目标与背景分隔开来，以备进行后续的分析。在连通区域分析中，服务器对阈值化处理后的影像数据进行深入分析，以帮助服务器区分不同的目标或物体，同时确定它们的位置和大小。这一步骤对于将不同的目标从整个影像中分离出来，提供了关键信息。滤波处理用于去除噪声或不相关的区域，可以根据目标的大小、形状或其他特征来筛选。通过形态学特征集合进行显著目标检测。这一步骤最终确定了三维影像中的重要目标，使其更加显著，以便进行更深入的分析或虚化处理。例如，假设服务器的目标是检测并突显监控摄像头拍摄到的人群中的可疑行为。通过形态学特征集合，服务器实施显著目标检测，以确保潜在的问题能够及时被察觉。通过目标边缘检测，服务器能够准确获得人物的轮廓，然后通过阈值化处理将其突显，使其更容易被识别。连通区域分析可用于分辨不同的人物，而滤波处理可清除不相关的区域，比如噪音。显著目标检测将可疑行为突显出来，以便监控人员可以采取必要措施。

S106、基于目标检测结果，对初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过目标分布结果对初始虚化影像进行二次虚化处理，得到目标虚化影像。

需要说明的是，通过目标检测结果，对初始虚化影像进行目标位置标定，得到标定位置集合。这一集合包括了在初始虚化影像中发现的各个目标的位置信息。使用目标位置集合对初始虚化影像进行目标分布分析。这一步骤有助于理解目标在图像中的分布情况，例如它们是否密集分布在特定区域或分散在整个图像中。目标分布分析提供了有关目标分布的重要信息，有助于更好地了解图像内容。根据目标分布结果，计算虚化参数。虚化参数决定了在二次虚化处理中应用的虚化程度。如果目标分布表明目标密集分布在某个区域，可以增加虚化程度，以突出其他区域。反之，如果目标分布表明目标分散在整个图像中，虚化程度可以适度降低，以确保目标仍然可见但不过于突出。使用计算得到的目标虚化参数对初始虚化影像进行二次虚化处理，从而生成目标虚化影像。这一处理将根据目标的分布情况，对图像中的目标进行虚化或保留，以便突出或模糊目标，实现所需的效果。例如，在遥感应用中，通过目标检测，可以定位和识别感兴趣的地点，然后通过目标分布分析，确定这些地点的分布情况。根据分布情况，可以计算虚化参数，并最终生成目标虚化影像，突出或模糊特定地点，以满足特定应用的需求。

本发明实施例中，采集目标三维影像数据，对三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；分别对每个分割影像数据进行光谱特征提取，得到每个分割影像数据的光谱特征集合；分别对每个分割影像数据进行形态学特征提取，得到每个分割影像数据的形态学特征集合；通过光谱特征集合对目标三维影像数据进行初始虚化处理，得到初始虚化影像；通过形态学特征集合对初始虚化影像进行显著目标检测，得到目标检测结果；基于目标检测结果，对初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过目标分布结果对初始虚化影像进行二次虚化处理，得到目标虚化影像。在本申请方案中，利用空间分割技术，将三维影像数据分割成多个子图像，使得后续处理能够集中在单独的目标或区域上。这有助于提高处理的精度和效率。通过对每个分割影像数据进行光谱特征提取，能够获得有关颜色和纹理的信息，这有助于虚化处理的个性化和目标检测。提取形态学特征，如边缘和区域信息，有助于在虚化和检测阶段中更好地理解图像的结构和内容。通过光谱特征集合，对目标三维影像数据进行初始虚化处理，使得图像中的细节被模糊化。可以用于减小噪声、隐私保护或创建特效效果。利用形态学特征集合对初始虚化影像进行显著目标检测，能够识别出图像中的显著目标。这在目标识别和突出方面具有潜在的应用，例如目标跟踪或对象检测。通过分析目标在图像中的分布，你可以更好地了解目标的位置、密度和空间分布。这有助于更精细地控制虚化和进一步的图像处理。根据目标分布结果，对初始虚化影像进行二次虚化处理，可以根据目标在图像中的分布情况来优化虚化效果。

在一具体实施例中，执行步骤S101的过程可以具体包括如下步骤：

（1）采集三维影像数据，对三维影像数据进行灰度转换处理，得到灰度影像数据；

（2）对灰度影像数据进行亮度极值点提取，得到亮度极值点集合；

（3）通过预置的分水岭算法对亮度极值点集合进行种子点构建，得到多个目标种子点；

（4）基于多个目标种子点，对三维影像数据进行洪水填充处理，得到多个图像分割区域；

（5）基于多个图像分割区域，对三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据。

具体的，服务器采集三维影像数据，这些数据源自各种传感器和设备，如激光雷达、摄像头等。三维影像数据是复杂的，包含了物体的三维几何信息，为了更好地理解和处理这些数据，服务器将其进行灰度转换处理，将原始的彩色或多通道数据转化为单通道的灰度影像数据。这有助于简化数据，并使后续的处理步骤更容易进行。对灰度影像数据进行亮度极值点提取，得到亮度极值点集合。亮度极值点是在图像中具有最高和最低灰度值的像素点，它们通常代表着图像中的显著特征或物体边缘。这些亮度极值点的提取有助于确定潜在的目标或感兴趣区域。服务器将使用预置的分水岭算法来处理这些亮度极值点，将它们转化为目标种子点。分水岭算法是一种图像分割技术，通过检测图像中的局部极小值来确定不同的分割区域。在这里，亮度极值点被视为潜在的目标的种子点，它们将被用于进一步的处理。基于多个目标种子点，对三维影像数据进行洪水填充处理，得到多个图像分割区域，将相邻的像素标记为属于同一目标区域，每个区域都包含一个或多个目标。基于这些图像分割区域，服务器进行基于空间的影像数据分割，将原始三维影像数据划分为多个分割影像数据。每个分割影像数据代表了原始数据中的一个特定区域或目标。这为进一步的分析和处理提供了更好的基础。

在一具体实施例中，如图2所示，执行步骤S102的过程可以具体包括如下步骤：

S201、分别对每个分割影像数据进行热红外波段提取，得到每个分割影像数据的热红外波段数据；

S202、分别对每个分割影像数据进行像素特征提取，得到每个分割影像数据的像素特征数据；

S203、对每个分割影像数据的热红外波段数据以及每个分割影像数据的像素特征数据进行区域特征融合，得到对应的融合特征数据；

S204、将融合特征数据输入预置的光谱特征匹配模型进行光谱特征匹配，得到每个分割影像数据对应的光谱特征集合。

需要说明的是，服务器分别对每个分割影像数据进行热红外波段提取。热红外波段是光谱范围中的一部分，通常用于探测物体的热分布和温度信息。提取这一波段的数据有助于服务器理解分割影像中的热特征，例如目标的热分布或温度变化。服务器对每个分割影像数据进行像素特征提取。像素特征是指分割影像中每个像素的属性，例如颜色、亮度、纹理等。这些特征有助于服务器描述图像中的局部特性和结构信息。将热红外波段数据和像素特征数据进行区域特征融合。目的是将不同类型的特征信息整合到一个全面的特征向量中，以便更好地描述每个分割影像数据。融合的过程包括将热红外数据与像素特征进行组合，形成一个综合特征集。将这些数据输入预置的光谱特征匹配模型。光谱特征匹配模型是一种用于比较和匹配不同图像或数据的工具，通常用于识别目标或特定特征。通过将融合特征数据输入到这个模型中，服务器获得每个分割影像数据对应的光谱特征集合。例如，假设自动驾驶汽车在城市中行驶，遇到了一个交通标志和一辆停在路边的车辆。车辆可以从摄像头图像中提取颜色和形状特征，从热红外图像中提取温度分布特征，将它们融合在一起，形成一个综合特征向量。这个特征向量可以与光谱特征匹配模型进行比较，以帮助车辆识别交通标志并判断停在路边的车辆是否有人在其中。这有助于车辆做出相应的决策，如减速或绕过障碍物，确保安全行驶。

在一具体实施例中，如图3所示，执行步骤S202的过程可以具体包括如下步骤：

S301、分别对每个分割影像数据进行颜色通道提取，得到每个分割影像数据的颜色通道数据；

S302、基于每个分割影像数据的颜色通道数据，分别对每个分割影像数据进行像素值遍历，得到每个分割影像数据的像素值数据；

S303、基于每个分割影像数据的像素值数据，分别对每个分割影像数据进行颜色空间转换，得到多个转换影像数据；

S304、分别对每个转换影像数据进行频谱分析，得到每个转换影像数据的频谱特征数据；

S305、基于每个转换影像数据的频谱特征数据，分别对每个分割影像数据进行像素特征提取，得到每个分割影像数据的像素特征数据。

需要说明的是，对于每个分割影像数据，服务器执行颜色通道提取操作。从每个图像中分离出不同的颜色通道，如红色、绿色和蓝色。这可以通过图像处理库（如Python中的OpenCV）来完成。服务器将基于每个颜色通道的数据进行像素值遍历。服务器逐个检查每个像素的数值。例如，在红色通道上，服务器遍历每个像素，获取其红色分量的数值。这将为服务器提供有关每个像素的颜色信息。服务器进行颜色空间转换，根据需要将图像从一种颜色空间转换为另一种。例如，服务器将RGB颜色空间的图像转换为灰度颜色空间。这个过程通常使用数学变换函数来完成，例如，对于RGB到灰度的转换，可以使用以下公式：Gray=0.299*R+0.587*G+0.114*B。这将生成一个灰度版本的图像。服务器对每个转换后的影像数据进行频谱分析。这可以包括应用傅里叶变换来将图像转换为频域。频谱分析可以帮助服务器理解图像的频率特征，例如纹理和图案。以傅里叶变换为例，它将图像转换为频率域表示，其中高频部分表示图像中的细节，低频部分表示图像中的整体特征。基于每个转换影像数据的频谱特征数据，服务器进行像素特征提取。这涉及分析频谱数据以提取关于图像的有用信息。例如，服务器检测特定频率范围内的峰值，以识别图像中的特定模式或结构。这些特征提取的结果将为服务器提供每个分割影像数据的像素特征数据。

在一具体实施例中，如图4所示，执行步骤S104的过程可以具体包括如下步骤：

S401、对光谱特征集合进行语义信息填充，得到光谱特征集合对应的语义特征集合；

S402、对目标三维影像数据进行深度信息采集，得到目标三维影像数据的像素深度信息；

S403、对语义特征集合以及像素深度信息进行虚化方向分析，得到目标虚化方向；

S404、对目标三维影像数据进行模糊核构建，得到目标模糊核；

S405、基于目标虚化方向，通过目标模糊核对目标三维影像数据进行初始虚化处理，得到初始虚化影像。

具体的，服务器处理光谱特征集合，这是来自遥感卫星或传感器的光谱数据。服务器的目标是为这些数据添加语义信息，以便更好地理解图像内容。这可以通过机器学***和垂直方向的景物特征来选择的。对目标三维影像数据进行模糊核构建，得到目标模糊核。模糊核是一个数学矩阵，描述了如何对图像进行虚化。它通常是一个二维核，根据虚化方向和虚化程度的需求进行设计。模糊核的构建涉及到信号处理技术，如卷积。模糊核的设计可以根据虚化需求进行优化，以确保虚化后的图像满足特定的视觉效果。基于目标虚化方向和模糊核，服务器对目标三维影像数据进行初始虚化处理。这将应用虚化效果到图像中，使其模糊化。初始虚化的结果是一个虚化的三维影像，其中图像的清晰度受到虚化核和虚化方向的控制。这个过程可以通过图像处理库和数学卷积操作来实现。例如，假设服务器对光谱特征集合进行语义信息填充，以将不同地物类型（如水域、森林、城市）映射到图像中。通过激光雷达扫描，服务器获取了地图的三维数据，包括像素深度信息。根据地物类型和地图的特点，服务器分析虚化方向，根据地图的主要方向进行虚化。服务器构建模糊核，以模拟视角下的模糊效果，例如，根据大范围的地物轮廓。服务器将模糊核应用于三维影像数据，得到初始虚化影像，使图像中的地物和地理特征变得模糊。这可以用于增强地图的美学效果或保护敏感信息。

在一具体实施例中，执行步骤S105的过程可以具体包括如下步骤：

（1）通过形态学特征集合，对初始虚化影像进行目标边缘检测，得到边缘位置信息；

（2）基于边缘位置信息，对初始虚化影像进行阈值化处理，得到对应的处理影像数据；

（3）对处理影像数据进行连通区域分析，得到处理影像数据对应的多个目标连通区域；

（4）对多个目标连通区域进行滤波处理，得到多个滤波区域；

（5）对多个滤波区域进行显著目标检测，得到目标检测结果。

需要说明的是，服务器使用形态学特征集合对初始虚化影像进行目标边缘检测，找到图像中不同目标的边缘或轮廓，以便更好地理解它们的形状和位置。在边缘检测之后，服务器获得了有关图像中目标边缘位置的信息。基于边缘位置信息，服务器对初始虚化影像进行阈值化处理。这一步骤帮助服务器将图像分成目标区域和背景区域。通过选择适当的阈值，服务器将目标与背景清晰地分开，从而生成对应的处理影像数据。服务器进行连通区域分析，将处理影像数据分割成不同的连通区域，其中每个区域代表一个独立的目标或物体。这种分割有助于服务器将图像中的不同元素分离开来，并更好地理解它们。在连通区域分析后，服务器获得了多个目标连通区域。服务器对多个目标连通区域进行滤波处理。滤波的目的在于去除图像中的噪声、平滑目标区域或增强感兴趣的特征。滤波可以根据具体的应用需求进行调整。例如，服务器使用高斯滤波来平滑目标区域，使其更加连续，或者使用中值滤波来去除小的噪点。服务器进行显著目标检测，识别图像中的显著目标或感兴趣的区域。这可以通过计算机视觉算法来实现，如基于特征的目标检测或深度学***滑目标区域。通过显著目标检测，服务器识别出图像中最重要的目标，例如，检测到交通违规或异常情况。

在一具体实施例中，执行步骤S106的过程可以具体包括如下步骤：

（1）通过目标检测结果，对初始虚化影像进行目标位置标定，得到标定位置集合；

（2）通过标定位置集合对初始虚化影像进行图像目标分布分析，得到目标分布结果；

（3）对目标分布结果进行虚化参数计算，得到目标虚化参数；

（4）通过目标虚化参数，对初始虚化影像进行二次虚化处理，得到目标虚化影像。

具体的，通过目标检测的结果，服务器获得有关图像中目标的位置信息，即目标位置标定。服务器确定图像中的每个目标或对象的具***置坐标，这些坐标可以是像素坐标或其他坐标***中的位置。通过标定位置集合，服务器对初始虚化影像进行图像目标分布分析，了解目标在图像中的分布情况，例如它们是否集中在某一区域，或者分散在整个图像中。这种分布分析可以提供有关场景的重要信息。根据目标的分布情况，服务器计算虚化参数。虚化参数通常是一组参数，用于调整图像的虚化程度。这些参数与目标的大小、距离、密度等因素有关。虚化参数的计算是根据目标的特定特征和分布情况来确定的。使用计算得到的虚化参数，服务器对初始虚化影像进行二次虚化处理。这一处理步骤可以使用虚化滤波器或其他图像处理技术来实现。虚化的程度将根据虚化参数的值进行调整，以便更好地突出或模糊图像中的目标。这有助于进一步分析图像中的目标分布和特征。例如，假设服务器使用车载摄像头来识别道路上的其他车辆。目标检测算法检测到其他车辆的位置，并将其标定在图像上。通过这些标定位置，服务器进行图像目标分布分析，发现其他车辆在道路上均匀分布。根据这一分布情况，服务器计算虚化参数，以确定需要多大程度的图像虚化，以便突出车辆的分布。服务器对初始虚化影像进行二次虚化处理，使其他车辆更加显眼，以支持自动驾驶***更好地理解周围道路情况。

上面对本发明实施例中三维影像虚化方法进行了描述，下面对本发明实施例中三维影像虚化装置进行描述，请参阅图5，本发明实施例中三维影像虚化装置一个实施例包括：

采集模块501，用于采集目标三维影像数据，对所述三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；

第一提取模块502，用于分别对每个所述分割影像数据进行光谱特征提取，得到每个所述分割影像数据的光谱特征集合；

第二提取模块503，用于分别对每个所述分割影像数据进行形态学特征提取，得到每个所述分割影像数据的形态学特征集合；

处理模块504，用于通过所述光谱特征集合对所述目标三维影像数据进行初始虚化处理，得到初始虚化影像；

检测模块505，用于通过所述形态学特征集合对所述初始虚化影像进行显著目标检测，得到目标检测结果；

分析模块506，用于基于所述目标检测结果，对所述初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过所述目标分布结果对所述初始虚化影像进行二次虚化处理，得到目标虚化影像。

通过上述各个组成部分的协同合作，采集目标三维影像数据，对三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；分别对每个分割影像数据进行光谱特征提取，得到每个分割影像数据的光谱特征集合；分别对每个分割影像数据进行形态学特征提取，得到每个分割影像数据的形态学特征集合；通过光谱特征集合对目标三维影像数据进行初始虚化处理，得到初始虚化影像；通过形态学特征集合对初始虚化影像进行显著目标检测，得到目标检测结果；基于目标检测结果，对初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过目标分布结果对初始虚化影像进行二次虚化处理，得到目标虚化影像。在本申请方案中，利用空间分割技术，将三维影像数据分割成多个子图像，使得后续处理能够集中在单独的目标或区域上。这有助于提高处理的精度和效率。通过对每个分割影像数据进行光谱特征提取，能够获得有关颜色和纹理的信息，这有助于虚化处理的个性化和目标检测。提取形态学特征，如边缘和区域信息，有助于在虚化和检测阶段中更好地理解图像的结构和内容。通过光谱特征集合，对目标三维影像数据进行初始虚化处理，使得图像中的细节被模糊化。可以用于减小噪声、隐私保护或创建特效效果。利用形态学特征集合对初始虚化影像进行显著目标检测，能够识别出图像中的显著目标。这在目标识别和突出方面具有潜在的应用，例如目标跟踪或对象检测。通过分析目标在图像中的分布，你可以更好地了解目标的位置、密度和空间分布。这有助于更精细地控制虚化和进一步的图像处理。根据目标分布结果，对初始虚化影像进行二次虚化处理，可以根据目标在图像中的分布情况来优化虚化效果。

上面图5从模块化功能实体的角度对本发明实施例中的三维影像虚化装置进行详细描述，下面从硬件处理的角度对本发明实施例中三维影像虚化设备进行详细描述。

图6是本发明实施例提供的一种三维影像虚化设备的结构示意图，该三维影像虚化设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessingunits，CPU）610（例如，一个或一个以上处理器）和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630（例如一个或一个以上海量存储设备）。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对三维影像虚化设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在三维影像虚化设备600上执行存储介质630中的一系列指令操作。

三维影像虚化设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作***631，例如WindowsServe，MacOSX，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图6示出的三维影像虚化设备结构并不构成对三维影像虚化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种三维影像虚化设备，所述三维影像虚化设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述三维影像虚化方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述三维影像虚化方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或通过时，可以存储在一个计算机可读取存储介质中。基于的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-onlymemory，ROM）、随机存取存储器（randomacceSmemory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种三维影像虚化方法，其特征在于，所述三维影像虚化方法包括：

采集目标三维影像数据，对所述三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；

分别对每个所述分割影像数据进行光谱特征提取，得到每个所述分割影像数据的光谱特征集合；

分别对每个所述分割影像数据进行形态学特征提取，得到每个所述分割影像数据的形态学特征集合；

通过所述光谱特征集合对所述目标三维影像数据进行初始虚化处理，得到初始虚化影像；具体包括：对所述光谱特征集合进行语义信息填充，得到所述光谱特征集合对应的语义特征集合；对所述目标三维影像数据进行深度信息采集，得到所述目标三维影像数据的像素深度信息；对所述语义特征集合以及所述像素深度信息进行虚化方向分析，得到目标虚化方向；对所述目标三维影像数据进行模糊核构建，得到目标模糊核；基于所述目标虚化方向，通过所述目标模糊核对所述目标三维影像数据进行初始虚化处理，得到初始虚化影像；

通过所述形态学特征集合对所述初始虚化影像进行显著目标检测，得到目标检测结果；

基于所述目标检测结果，对所述初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过所述目标分布结果对所述初始虚化影像进行二次虚化处理，得到目标虚化影像。

2.根据权利要求1所述的三维影像虚化方法，其特征在于，所述采集目标三维影像数据，对所述三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据，包括：

采集所述三维影像数据，对所述三维影像数据进行灰度转换处理，得到灰度影像数据；

对所述灰度影像数据进行亮度极值点提取，得到亮度极值点集合；

通过预置的分水岭算法对所述亮度极值点集合进行种子点构建，得到多个目标种子点；

基于多个所述目标种子点，对所述三维影像数据进行洪水填充处理，得到多个图像分割区域；

基于多个所述图像分割区域，对所述三维影像数据进行基于空间的影像数据分割，得到多个所述分割影像数据。

3.根据权利要求1所述的三维影像虚化方法，其特征在于，所述分别对每个所述分割影像数据进行光谱特征提取，得到每个所述分割影像数据的光谱特征集合，包括：

分别对每个所述分割影像数据进行热红外波段提取，得到每个所述分割影像数据的热红外波段数据；

分别对每个所述分割影像数据进行像素特征提取，得到每个所述分割影像数据的像素特征数据；

对每个所述分割影像数据的热红外波段数据以及每个所述分割影像数据的像素特征数据进行区域特征融合，得到对应的融合特征数据；

将所述融合特征数据输入预置的光谱特征匹配模型进行光谱特征匹配，得到每个所述分割影像数据对应的光谱特征集合。

4.根据权利要求3所述的三维影像虚化方法，其特征在于，所述分别对每个所述分割影像数据进行像素特征提取，得到每个所述分割影像数据的像素特征数据，包括：

分别对每个所述分割影像数据进行颜色通道提取，得到每个所述分割影像数据的颜色通道数据；

基于每个所述分割影像数据的颜色通道数据，分别对每个所述分割影像数据进行像素值遍历，得到每个所述分割影像数据的像素值数据；

基于每个所述分割影像数据的像素值数据，分别对每个所述分割影像数据进行颜色空间转换，得到多个转换影像数据；

分别对每个所述转换影像数据进行频谱分析，得到每个所述转换影像数据的频谱特征数据；

基于每个所述转换影像数据的频谱特征数据，分别对每个所述分割影像数据进行像素特征提取，得到每个所述分割影像数据的像素特征数据。

5.根据权利要求1所述的三维影像虚化方法，其特征在于，所述通过所述形态学特征集合对所述初始虚化影像进行显著目标检测，得到目标检测结果，包括：

通过所述形态学特征集合，对所述初始虚化影像进行目标边缘检测，得到边缘位置信息；

基于所述边缘位置信息，对所述初始虚化影像进行阈值化处理，得到对应的处理影像数据；

对所述处理影像数据进行连通区域分析，得到所述处理影像数据对应的多个目标连通区域；

对多个所述目标连通区域进行滤波处理，得到多个滤波区域；

对多个所述滤波区域进行显著目标检测，得到所述目标检测结果。

6.根据权利要求1所述的三维影像虚化方法，其特征在于，所述基于所述目标检测结果，对所述初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过所述目标分布结果对所述初始虚化影像进行二次虚化处理，得到目标虚化影像，包括：

通过所述目标检测结果，对所述初始虚化影像进行目标位置标定，得到标定位置集合；

通过所述标定位置集合对所述初始虚化影像进行图像目标分布分析，得到所述目标分布结果；

对所述目标分布结果进行虚化参数计算，得到目标虚化参数；

通过所述目标虚化参数，对所述初始虚化影像进行二次虚化处理，得到目标虚化影像。

7.一种三维影像虚化装置，其特征在于，所述三维影像虚化装置包括：

采集模块，用于采集目标三维影像数据，对所述三维影像数据进行基于空间的影像数据分割，得到多个分割影像数据；

第一提取模块，用于分别对每个所述分割影像数据进行光谱特征提取，得到每个所述分割影像数据的光谱特征集合；

第二提取模块，用于分别对每个所述分割影像数据进行形态学特征提取，得到每个所述分割影像数据的形态学特征集合；

处理模块，用于通过所述光谱特征集合对所述目标三维影像数据进行初始虚化处理，得到初始虚化影像；具体包括：对所述光谱特征集合进行语义信息填充，得到所述光谱特征集合对应的语义特征集合；对所述目标三维影像数据进行深度信息采集，得到所述目标三维影像数据的像素深度信息；对所述语义特征集合以及所述像素深度信息进行虚化方向分析，得到目标虚化方向；对所述目标三维影像数据进行模糊核构建，得到目标模糊核；基于所述目标虚化方向，通过所述目标模糊核对所述目标三维影像数据进行初始虚化处理，得到初始虚化影像；

检测模块，用于通过所述形态学特征集合对所述初始虚化影像进行显著目标检测，得到目标检测结果；

分析模块，用于基于所述目标检测结果，对所述初始虚化影像进行图像目标分布分析，得到目标分布结果，并通过所述目标分布结果对所述初始虚化影像进行二次虚化处理，得到目标虚化影像。

8.一种三维影像虚化设备，其特征在于，所述三维影像虚化设备包括：存储器和至少一个处理器，所述存储器中存储有指令；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述三维影像虚化设备执行如权利要求1-6中任一项所述的三维影像虚化方法。

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述的三维影像虚化方法。