CN115830044B - 一种图像分割方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像分割方法、装置、电子设备及存储介质，其中方法包括：获取目标区域的所有原始扫描影像；根据原始扫描影像和目标影像的法向量，在原始扫描影像中确定最佳影像；根据最佳影像的大小以及分辨率，建立一块空白画布；将最佳影像的每个像素点填入到空白画布中，得到分割影像。本发明实施例通过确定与目标影像接近的最佳影像，建立空白画布，将最佳影像的像素点对应填充至空白画布上，从而能够实现对图像的精细化分割，能够有效提高图像分割的效果。

Description

一种图像分割方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像分割方法、装置、电子设备及存储介质。

背景技术

随着科学技术的发展，图像分割技术在实际工作中的应用越来越广泛。例如，在车辆技术领域，可以通过图像分割提取行驶路段上的危险区域，以达到安全行车的效果。

目前，现有的图像分割方法通常为基于图像分割模型对图像进行全景分割或部件分割，并将分割后的图像进行融合处理。但是现有的图像分割方法无法精细化对图像进行分割，导致图像分割的效果较差。

发明内容

本发明提供了一种图像分割方法、装置及存储介质，以解决现有的图像分割方法无法精细化对图像进行分割，导致图像分割的效果较差的技术问题。

本发明的一个实施例提供了一种图像分割方法，包括：

获取目标区域的所有原始扫描影像；

根据所述原始扫描影像和目标影像的法向量，在所述原始扫描影像中确定最佳影像；

根据所述最佳影像的大小以及分辨率，建立一块空白画布；

将所述最佳影像的每个像素点填入到所述空白画布中，得到分割影像。

进一步的，所述获取目标区域的所有原始扫描影像，包括;

基于全息影像技术，获取目标区域的所有原始扫描影像。

进一步的，所述根据所述原始扫描影像和目标影像的法向量，在所述原始扫描影像中确定最佳影像，包括：

根据目标特征，确定所述目标影像的法向量；

根据所述原始扫描影像的初始法向量和姿态角，计算得到所述原始扫描影像的当前法向量；

计算所述目标影像的法向量和所述原始扫描影像的当前法向量之间的夹角，将最小夹角对应的原始扫描影像确定为最佳影像。

进一步的，所述根据所述原始扫描影像的初始法向量和姿态角，计算所述原始扫描影像的当前法向量，包括：

采用以下公式计算得到所述扫描影像的当前法向量：

其中，[x0,y0, z0]为原始扫描影像的初始法向量；[x,y,z]为原始扫描影像的当前法向量；α、β、γ为原始 影像的姿态角。

进一步的，所述计算所述目标影像的法向量和所述原始扫描影像的当前法向量之间的夹角，包括：

采用以下公式计算得到所述目标影像的法向量和所述原始扫描影像的当前法向量之间的夹角：

其中，[a,b,c]为目标影像的法向量。

进一步的，所述根据所述最佳影像的大小以及分辨率，建立一块空白画布，包括：

将所述最佳影像的长边长度与分辨率的乘积，作为所述空白画布的长边长度；

将所述最佳影像的短边长度与分辨率的乘积，作为所述空白画布的短边长度；

将所述空白画布的长宽像素设置为对应于所述目标影像的网格行列数。

进一步的，所述将所述最佳影像的每个像素点填入到所述空白画布中，得到分割影像，包括：

根据所述最佳影像的分辨率和法向量，计算得到所述最佳影像的每一像素点对应的地理坐标；

根据所述地理坐标计算得到与其对应的像素点的原始影像坐标；

根据所述原始影像坐标，将所述像素点填充至所述空白画布上。

本发明的一个实施例提供了一种图像分割装置，包括：

扫描影像获取模块，用于获取目标区域的所有原始扫描影像；

最佳影像确定模块，用于根据所述原始扫描影像和目标影像的法向量，在所述原始扫描影像中确定最佳影像；

空白画布建立模块，用于根据所述最佳影像的大小以及分辨率，建立一块空白画布；

影像像素填充模块，用于将所述最佳影像的每个像素点填入到所述空白画布中，得到分割影像。

本发明的一个实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的图像分割方法。

本发明的一个实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的图像分割方法。

本发明实施例通过确定与目标影像接近的最佳影像，建立空白画布，将最佳影像的像素点对应填充至空白画布上，从而能够实现对图像的精细化分割，能够有效提高图像分割的效果。

附图说明

图1是本发明实施例提供的图像分割方法的流程示意图；

图2是本发明实施例提供的全景点云叠加影像示意图；

图3是本发明实施例提供的新建空白画布示意图；

图4是本发明实施例提供的自动分割参数设置示意图；

图5是本发明实施例提供的特征线选取示意图；

图6是本发明实施例提供的分割图像示意图；

图7是本发明实施例提供的图像分割装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

请参阅图1，本发明的一个实施例提供了一种图像分割方法，包括：

S1、获取目标区域的所有原始扫描影像；

在本发明实施例中，可以根据实际需要设置目标区域，目标区域可以为某路段；原始扫描影像可以为车载扫描影像。本发明实施例可以基于全息影像技术，同步获取车载扫描时的影像数据和点云数据，其中，影像数据具有准确的位置和姿态信息，可以与点云数据形成相互对应的关系。

S2、根据原始扫描影像和目标影像的法向量，在原始扫描影像中确定最佳影像；

在本发明实施例中，目标影像可以为包含预设目标的影像，预设目标可以为人、车辆、马路和建筑等。

由于获取到的相邻两张原始扫描影像具有一定的重叠率，而且有些路段会进行往返扫描，同一点云数据或同一特征对象可能会对应多张影像。本发明实施例为了挺好图像分割的效果，在所有原始扫描影像中确定出与目标影像最接近的最佳影像。

S3、根据最佳影像的大小以及分辨率，建立一块空白画布；

在本发明实施例中，新建立的空白画布需要与最佳影像的大小和分辨率相关，将最佳影像的像素点填充至空白画布上，以实现图像的分割。

S4、将最佳影像的每个像素点填入到空白画布中，得到分割影像。

在本发明实施例中，将最佳影像的每个像素点填入到空白画布的对应位置上，在完成最佳影像的所有像素点的填充之后，在空白画布上生成新的影像，该影像即为分割对最佳影像分割得到的影像。

本发明实施例通过确定与目标影像接近的最佳影像，建立空白画布，将最佳影像的像素点对应填充至空白画布上，从而能够实现对图像的精细化分割，能够有效提高图像分割的效果，进而可以将图像分割结果广泛应用于质检巡视、部件调查、三维建模等生产工作。

在一个实施例中，获取目标区域的所有原始扫描影像，包括;

基于全息影像技术，获取目标区域的所有原始扫描影像。

在本发明实施例中，可以在车辆行驶的路段，通过全息影像技术进行扫描得到原始扫描影像。

本发明实施例还可以采用车载激光扫描***进行点云数据采集，并对采集得到的点云数据进行解算以及提取对象矢量。

本发明实施例可以将相机与激光扫描仪进行刚性连接，并标定相机与激光扫描仪之间的线偏心量和角偏心量，将相机采集得到的影像与激光扫描仪采集得到的点云数据进行配准，得到图2所示的叠加的原始扫描影像。

在一个实施例中，步骤S2、根据原始扫描影像和目标影像的法向量，在原始扫描影像中确定最佳影像，还可以包括以下子步骤：

S21、根据目标特征，确定目标影像的法向量；

在本发明实施例中，可以根据目标特征的实际位置，确定目标影像的法向量[a,b,c]，也可以根据目标特征的大小，确定目标影像的大小。

S22、根据原始扫描影像的初始法向量和姿态角，计算得到原始扫描影像的当前法向量；

在本发明实施例中，在通过相机获取原始扫描影像时，相机的姿态文件中会保存每一原始扫描影像对应的姿态信息，姿态信息包括相机曝光时刻的位置、航向角、俯仰角、翻滚角和姿态角等数据。本发明实施例可以根据原始扫描影像的初始法向量和姿态角，计算得到每一原始扫描影像的当前法向量。

S23、计算目标影像的法向量和原始扫描影像的当前法向量之间的夹角，将最小夹角对应的原始扫描影像确定为最佳影像。

在本发明实施例中，根据两张影像之间的法向量夹角，能够确定与目标影像最接近的原始扫描影像作为最佳影像。

在一个实施例中，根据原始扫描影像的初始法向量和姿态角，计算原始扫描影像的当前法向量，包括：

采用以下公式计算得到扫描影像的当前法向量：

其中，[x0,y0,z0]为原始扫描影像的初始法向量；[x,y,z]为原始扫描影像的当前法向量；α、β、γ为原始影像的姿态角。

在本发明实施例中，在执行计算得到原始扫描影像的当前法向量之前，还可以对扫描得到的原始扫描影像进行筛选，以得到符合预设条件的原始扫描影像，具体可以为：

根据几何图形的中心位置及曝光点的位置，根据两点之间的距离公式，计算得到与目标影像的距离在预设阈值范围的原始扫描影像，再计算该原始扫描影像的当前法向量。

在一个实施例中，计算目标影像的法向量和原始扫描影像的当前法向量之间的夹角，包括：

采用以下公式计算得到目标影像的法向量和原始扫描影像的当前法向量之间的夹角：

其中，[a,b,c]为目标影像的法向量。

本发明实施例计算得到每一原始扫描影像与目标影像之间的法向量夹角，在所有的法向量夹角中，选取最小夹角对应的原始扫描影像作为最佳影像。

在一个实施例中，步骤S3、根据最佳影像的大小以及分辨率，建立一块空白画布，还可以包括以下子步骤：

S31、将最佳影像的长边长度与分辨率的乘积，作为空白画布的长边长度；

S32、将最佳影像的短边长度与分辨率的乘积，作为空白画布的短边长度；

请参阅图3，在本发明实施例中，当最佳影像的大小为m×n（单位为m）及分辨率为P，则空白画布的大小为Pm×Pn（单位为像素）。

S33、将空白画布的长宽像素设置为对应于目标影像的网格行列数。

本发明实施例根据最佳影像的大小和分辨率，设置空白画布的大小，以及对应于目标影像的网格行列数，在将最佳影像的像素点依次填入空白画布时，能够使得最佳影像的像素点完整填入到新建的空白画布上，从而能够形成完整的分割图像。

在一个实施例中，步骤、S4将最佳影像的每个像素点填入到空白画布中，得到分割影像，还可以包括以下子步骤：

S41、根据最佳影像的分辨率和法向量，计算得到最佳影像的每一像素点对应的地理坐标；

S42、根据地理坐标计算得到与其对应的像素点的原始影像坐标；

在本发明实施例中，可以采用共线方程计算得到像素点对应的原始影像坐标：

式中，（x0,y0,z0）为原始影像投影中心坐标；（xA,yA,zA）为最佳影像中的像素点对应的地理坐标；f 为原始影像主距；其中：

其中，,,为原始影像的姿态角。

S43、根据原始影像坐标，将像素点填充至空白画布上。

在本发明实施例中，在将像素点填充到空白画布上之后，还对像素点进行RGB值赋值，使得分割得到的图像更加准确。

请参阅图4，在一个实施例中，可以根据相关算法，编制数据处理程序，根据数据处理程序实现特征信息对应影像的自动分割，并将生成的分割图像和特征数据同步存储。

请参阅图5，本发明的一个实施例以车载激光点云及影像数据为基础，对点云提取的实体对象进行了对应影像分割，硬件环境配置为NVIDIA Titan Xp，该显卡的显存为12G，显存速度11.4Gbps，位宽384bit，带宽547.7GB/s。在广东省某市450KM2的范围内,采用本发明实施例提供的图像分割方法进行图像分割。其中自动提取特征信息共718个，人机交互删除错误数据36个，最终得到有效数据712个。其中，可以在图中以虚线作为选中特征线。

请参阅图6，为本发明实施例提供的一种图像分割结果示意图。

实施本发明实施例，具有以下有益效果：

本发明实施例通过确定与目标影像接近的最佳影像，建立空白画布，将最佳影像的像素点对应填充至空白画布上，从而能够实现对图像的精细化分割，能够有效提高图像分割的效果，进而可以将图像分割结果广泛应用于质检巡视、部件调查、三维建模等生产工作。

请参阅图7，基于与上述实施例相同的发明构思，本发明的一个实施例提供了一种图像分割装置，包括：

扫描影像获取模块10，用于获取目标区域的所有原始扫描影像；

最佳影像确定模块20，用于根据原始扫描影像和目标影像的法向量，在原始扫描影像中确定最佳影像；

空白画布建立模块30，用于根据最佳影像的大小以及分辨率，建立一块空白画布；

影像像素填充模块40，用于将最佳影像的每个像素点填入到空白画布中，得到分割影像。

在一个实施例中，扫描影像获取模块10还用于：

基于全息影像技术，获取目标区域的所有原始扫描影像。

在一个实施例中，最佳影像确定模块20还用于：

根据目标特征，确定目标影像的法向量；

根据原始扫描影像的初始法向量和姿态角，计算得到原始扫描影像的当前法向量；

计算目标影像的法向量和原始扫描影像的当前法向量之间的夹角，将最小夹角对应的原始扫描影像确定为最佳影像。

在一个实施例中，根据原始扫描影像的初始法向量和姿态角，计算原始扫描影像的当前法向量，包括：

采用以下公式计算得到扫描影像的当前法向量：

其中，[x0,y0,z0]为原始扫描影像的初始法向量；[x,y,z]为原始扫描影像的当前法向量；α、β、γ为原始影像的姿态角。

在一个实施例中，计算目标影像的法向量和原始扫描影像的当前法向量之间的夹角，包括：

采用以下公式计算得到目标影像的法向量和原始扫描影像的当前法向量之间的夹角：

其中，[a,b,c]为目标影像的法向量。

在一个实施例中，空白画布建立模块30还用于：

将最佳影像的长边长度与分辨率的乘积，作为空白画布的长边长度；

将最佳影像的短边长度与分辨率的乘积，作为空白画布的短边长度；

将空白画布的长宽像素设置为对应于目标影像的网格行列数。

在一个实施例中，影像像素填充模块40还用于：

根据最佳影像的分辨率和法向量，计算得到最佳影像的每一像素点对应的地理坐标；

根据地理坐标计算得到与其对应的像素点的原始影像坐标；

根据原始影像坐标，将像素点填充至空白画布上。

本发明的一个实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的图像分割方法。

本发明的一个实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如上述的图像分割方法。

以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种图像分割方法，其特征在于，包括：

获取目标区域的所有原始扫描影像；

根据所述原始扫描影像和目标影像的法向量，在所述原始扫描影像中确定最佳影像，包括：根据目标特征的实际位置，确定所述目标影像的法向量；根据所述原始扫描影像的初始法向量和姿态角，计算得到所述原始扫描影像的当前法向量；计算所述目标影像的法向量和所述原始扫描影像的当前法向量之间的夹角，将最小夹角对应的原始扫描影像确定为最佳影像；

根据所述最佳影像的大小以及分辨率，建立一块空白画布；

将所述最佳影像的每个像素点填入到所述空白画布中，得到分割影像，包括：根据所述最佳影像的分辨率和法向量，计算得到所述最佳影像的每一像素点对应的地理坐标；根据所述地理坐标计算得到与其对应的像素点的原始影像坐标；根据所述原始影像坐标，将所述像素点填充至所述空白画布上；

所述根据所述地理坐标计算得到与其对应的像素点的原始影像坐标，包括：

采用共线方程计算得到像素点对应的原始影像坐标：

式中，、/>为原始影像坐标，（x ₀ ,y ₀ ,z ₀）为原始影像投影中心坐标；（x _A ,y _A ,z _A）为最佳影像中的像素点对应的地理坐标；f 为原始影像主距；其中：

其中，,/>,/>为原始影像的姿态角，/>、/>、/>、/>、/>、/>、/>、/>、/>为原始影像的姿态角对应的9个方向余弦。

2.如权利要求1所述的图像分割方法，其特征在于，所述获取目标区域的所有原始扫描影像，包括;

基于全息影像技术，获取目标区域的所有原始扫描影像。

3.如权利要求1所述的图像分割方法，其特征在于，所述根据所述原始扫描影像的初始法向量和姿态角，计算所述原始扫描影像的当前法向量，包括：

采用以下公式计算得到所述扫描影像的当前法向量：

其中，[x ₀ ,y ₀ ,z ₀]为原始扫描影像的初始法向量；[x,y,z]为原始扫描影像的当前法向量；α、β、γ为原始影像的姿态角。

4.如权利要求1所述的图像分割方法，其特征在于，所述计算所述目标影像的法向量和所述原始扫描影像的当前法向量之间的夹角，包括：

采用以下公式计算得到所述目标影像的法向量和所述原始扫描影像的当前法向量之间的夹角：

其中，[a,b,c]为目标影像的法向量，[x,y,z]为原始扫描影像的当前法向量。

5.如权利要求1所述的图像分割方法，其特征在于，所述根据所述最佳影像的大小以及分辨率，建立一块空白画布，包括：

将所述最佳影像的长边长度与分辨率的乘积，作为所述空白画布的长边长度；

将所述最佳影像的短边长度与分辨率的乘积，作为所述空白画布的短边长度；

将所述空白画布的长宽像素设置为对应于所述目标影像的网格行列数。

6.一种图像分割装置，其特征在于，包括：

扫描影像获取模块，用于获取目标区域的所有原始扫描影像；

最佳影像确定模块，用于根据所述原始扫描影像和目标影像的法向量，在所述原始扫描影像中确定最佳影像；具体用于：根据目标特征的实际位置，确定所述目标影像的法向量；根据所述原始扫描影像的初始法向量和姿态角，计算得到所述原始扫描影像的当前法向量；计算所述目标影像的法向量和所述原始扫描影像的当前法向量之间的夹角，将最小夹角对应的原始扫描影像确定为最佳影像；

空白画布建立模块，用于根据所述最佳影像的大小以及分辨率，建立一块空白画布；

影像像素填充模块，用于将所述最佳影像的每个像素点填入到所述空白画布中，得到分割影像，具体用于：根据所述最佳影像的分辨率和法向量，计算得到所述最佳影像的每一像素点对应的地理坐标；根据所述地理坐标计算得到与其对应的像素点的原始影像坐标；根据所述原始影像坐标，将所述像素点填充至所述空白画布上；所述根据所述地理坐标计算得到与其对应的像素点的原始影像坐标，包括：

采用共线方程计算得到像素点对应的原始影像坐标：

式中，、/>为原始影像坐标，（x ₀ ,y ₀ ,z ₀）为原始影像投影中心坐标；（x _A ,y _A ,z _A）为最佳影像中的像素点对应的地理坐标；f 为原始影像主距；其中：

其中，,/>,/>为原始影像的姿态角，/>、/>、/>、/>、/>、/>、/>、/>、/>为原始影像的姿态角对应的9个方向余弦。

7.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的图像分割方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的图像分割方法。