CN112258539B - 水系数据处理方法、装置、电子设备及可读存储介质 - Google Patents
水系数据处理方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112258539B CN112258539B CN202011267235.9A CN202011267235A CN112258539B CN 112258539 B CN112258539 B CN 112258539B CN 202011267235 A CN202011267235 A CN 202011267235A CN 112258539 B CN112258539 B CN 112258539B
- Authority
- CN
- China
- Prior art keywords
- water system
- mask
- map
- image
- satellite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种水系数据处理方法、装置、电子设备及可读存储介质,包括:获取卫星地图图像,所述卫星地图图像包括水系对象和与所述水系对象重叠的连接点对象;将所述卫星地图图像输入经训练的第一语义分割模型,以识别所述卫星地图图像中的水系对象,并生成用于标识所述水系对象的第一掩模图;将所述卫星地图图像输入经训练的第二语义分割模型,以识别所述卫星地图图像中的连接点对象,并生成用于标识所述连接点对象的第二掩模图;将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图。通过利用人工智能领域的语义分割技术从卫星地图图像中提取出完整的水系数据,提高了水系数据识别的效果并利于生成水系对象的矢量化地图。
Description
技术领域
本公开涉及深度学习领域的语义分割,尤其涉及一种基于语义分割的水系数据处理方法、装置、电子设备及计算机可读存储介质。
背景技术
如今,电子地图通常有两种形式:栅格电子地图和矢量电子地图。栅格图像在应用领域有着很大的缺陷,首先,栅格图像文件对图像的每一像素点(不管前景或背景像素)都要保存,所以其存储开销特别大。其次,不能对图像上的任一对象(曲线、文字或符号)进行属性修改、拷贝、移动及删除等图形编辑操作,更不能进行拓扑求解,只能对某个矩形区域内的所有像素同时进行图像编辑操作。再者,当图像进行放大或缩小显示时,图像信息会发生失真,特别是放大时图像目标的边界会发生阶梯效应,正如点阵汉字放大显示发生阶梯效应的原理一样。而基于矢量化的电子地图,当放大或缩小显示地图时,地图信息不会发生失真,并且用户可以很方便地在地图上编辑各个地理实体,将地理实体归类,以及求解各地理实体之间的空间关系,有利于地图的浏览、输出。
在利用卫星地图图像制作电子地图的水系时,通常基于人工查看卫星地图图像画出河流、湖泊等水系边缘,从而完成对卫星地图上的水系进行手动绘制。这样的人工方式效率低,成本高,显然已经不适应当今互联网地图产品的迭代和发展速度。
因此,需要提供一种自动识别水系的方法。
发明内容
考虑到以上问题而做出了本发明。本发明提供一种水系数据处理方法、装置、电子设备及计算机可读存储介质。通过深度学习算法利用语义分割来自动识别水系的轮廓,然后人工对轮廓进行二次编辑,生成精准的水系外轮廓,以作为地图背景数据供用户使用。
本公开的实施例提供了一种基于卫星地图图像的水系数据处理方法,包括:获取卫星地图图像,所述卫星地图图像包括水系对象和与所述水系对象重叠的连接点对象;将所述卫星地图图像输入经训练的第一语义分割模型,以识别所述卫星地图图像中的水系对象,并生成用于标识所述水系对象的第一掩模图;将所述卫星地图图像输入经训练的第二语义分割模型,以识别所述卫星地图图像中的连接点对象,并生成用于标识所述连接点对象的第二掩模图;将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图。
例如,根据本公开的实施例的基于卫星地图图像的水系数据处理方法,还包括:基于所述水系对象的完整掩模图,确定所述卫星地图图像的水系对象的多个矢量化控制点,其中,所确定的所述水系对象的多个矢量化控制点用于生成所述卫星地图图像中的水系对象的矢量化地图。
例如,在根据本公开的实施例的基于卫星地图图像的水系数据处理方法中,基于所述水系对象的完整掩模图,确定所述卫星地图图像的水系对象的多个矢量化控制点,包括:利用边缘提取算法,从所述完整掩模图中提取所述水系对象的多个边缘轮廓点,以生成所述多个矢量化控制点。
例如,在根据本公开的实施例的基于卫星地图图像的水系数据处理方法中,利用边缘提取算法,从所述完整掩模图中提取所述水系对象的多个边缘轮廓点,以生成所述多个矢量化控制点,还包括:获取对所述多个矢量化控制点的多个修正数据点,其中所述多个修正数据点用于生成所述水系对象的矢量化地图。
例如,根据本公开的实施例的基于卫星地图图像的水系数据处理方法,其中,所述第一掩模图和所述第二掩模图均为二值掩模图;其中,将所述卫星地图图像输入经训练的第一语义分割模型,以识别所述卫星地图图像中的水系对象,并生成用于标识所述水系对象的第一掩模图,包括:将所述卫星地图图像中的对应于所述水系对象的像素识别为水系对象像素,并将所述卫星地图图像中的其他像素识别为背景像素;将所述水系对象像素的像素值设置为第一像素值,并将所述其他像素的像素值设置为第二像素值,以生成用于标识所述水系对象的二值化的第一掩模图。
例如,根据本公开的实施例的基于卫星地图图像的水系数据处理方法,其中,将所述卫星地图图像输入经训练的第二语义分割模型,以识别所述卫星地图图像中的连接点对象,并生成用于标识所述连接点对象的第二掩模图,包括:将所述卫星图像中的对应于所述连接点对象的像素以及所述卫星图像中的与所述连接点对象相邻的、属于水系对象的预定范围内的像素一起识别为连接点对象像素,并将所述卫星地图图像中的其他像素识别为背景像素;将所述连接点对象像素的像素值设置为第三像素值,并将所述其他像素的像素值设置为第四像素值,以生成用于标识所述连接点对象的二值化的第二掩模图。
例如,根据本公开的实施例的基于卫星地图图像的水系数据处理方法,其中,将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图,包括:对于所述卫星地图图像中的每个像素点,在所述像素点所对应的第一掩模图中的像素值为第一像素值和/或所述像素点所对应的第二掩模图中的像素值为第三像素值的情况下,将所述完整掩模图中的对应像素点设置为第五像素值,否则将所述完整掩模图中的对应像素点设置为第六像素值,其中所述第五像素值用于在所述完整掩模图中标识所述水系对象。
例如,根据本公开的实施例的基于卫星地图图像的水系数据处理方法,其中,所述第一语义分割模型和所述第二语义分割模型中的每个语义分割模型包括:下采样处理子模型,其包括:第一数量的卷积层;第二数量的池化层;其中,所述第一数量的卷积层和所述第二数量的池化层间隔布置;上采样处理子模型,其包括:第三数量的卷积层;第四数量的上采样层;其中,所述第三数量的卷积层和所述第四数量的上采样层间隔布置。
例如,根据本公开的实施例的基于卫星地图图像的水系数据处理方法,其中,所述第一语义分割模型和所述第二语义分割模型中的每个语义分割模型还包括:拼接子模型,其被配置为将所述下采样处理子模型中的至少一部分卷积层的输出提供至所述上采样处理子模型中的对应卷积层的输入。
本公开的实施例提供了还提供一种基于卫星地图图像的水系数据处理装置,包括:卫星地图图像获取模块,用于获取卫星地图图像,所述卫星地图图像包括水系对象和与所述水系对象重叠的连接点对象;语义分割模块,其包括第一语义分割模块和第二语义分割模块,所述第一语义分割模块被配置为识别所述卫星地图图像中的所述水系对象,并生成用于标识所识别的水系对象的第一掩模图,所述第二语义分割模块被配置为识别所述卫星地图图像中的所述连接点对象,并生成用于标识所识别的连接点对象的第二掩模图;合并模块,被配置为将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图。
例如,根据本公开的实施例的基于卫星地图图像的水系数据处理装置,还包括矢量化控制点生成模块,被配置为:基于所述水系对象的完整掩模图,确定所述卫星地图图像的水系对象的多个矢量化控制点,其中,所确定的所述水系对象的多个矢量化控制点用于生成所述卫星地图图像中的水系对象的矢量化地图。
例如,根据本公开的实施例的基于卫星地图图像的水系数据处理装置,其中,将所述卫星地图图像输入经训练的第一语义分割模型,以识别所述卫星地图图像中的水系对象,并生成用于标识所述水系对象的第一掩模图,包括:将所述卫星地图图像中的对应于所述水系对象的像素识别为水系对象像素,并将所述卫星地图图像中的其他像素识别为背景像素;以及将所述水系对象像素的像素值设置为第一像素值,并将所述其他像素的像素值设置为第二像素值,以生成用于标识所述水系对象的二值化的第一掩模图,并且将所述卫星地图图像输入经训练的第二语义分割模型,以识别所述卫星地图图像中的连接点对象,并生成用于标识所述连接点对象的第二掩模图,包括:将所述卫星图像中的对应于所述连接点对象的像素以及所述卫星图像中的与所述连接点对象相邻的、属于水系对象的预定范围内的像素一起识别为连接点对象像素,并将所述卫星地图图像中的其他像素识别为背景像素;以及将所述连接点对象像素的像素值设置为第三像素值,并将所述其他像素的像素值设置为第四像素值,以生成用于标识所述连接点对象的二值化的第二掩模图。
例如,根据本公开的实施例的基于卫星地图图像的水系数据处理装置,其中,所述合并模块将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图,包括:对于所述卫星地图图像中的每个像素点,在该像素点所对应的第一掩模图中的像素值为第一像素值和/或所述像素点所对应的第二掩模图中的像素值为第三像素值的情况下,将所述完整掩模图中的对应像素点设置为五像素值,否则将所述完整掩模图中的对应像素点设置为六像素值,其中所述第五像素值用于在所述完整掩模图中标识所述水系对象。
本公开的实施例还提供了还提供一种电子设备,包括存储器和处理器,其中,所述存储器上存储有处理器可读的程序代码,当处理器执行所述程序代码时,执行如上所述的基于卫星地图图像的水系数据处理方法。
本公开的实施例还提供了还提供一种计算机可读存储介质,其上存储有指令,所述指令在被处理器执行时,使得所述处理器执行如上所述的基于卫星地图图像的水系数据处理方法。
附图说明
图1A示出了用于进行语义分割的原始输入图像;
图1B是将图1A中的原始输入图像进行语义分割后的分割图;
图2示出了UNet网络架构的示意图;
图3是示出根据本公开实施例的水系数据处理方法300的流程图;
图4A是要输入经训练的第一语义分割模型和第二语义分割模型以进行语义分割的原始输入图;
图4B是将图4A中的原始卫星地图图像输入经训练的第一语义分割模型后得到的二值化的掩模图;
图4C是将图4A中的原始卫星地图图像输入经训练的第二语义分割模型后得到的连接点对象的二值化的掩模图;
图4D是将图4B中的第一掩模图和图4C中的第二掩模图进行合并后得到的水系对象的完整掩模图;
图5示出了对卫星地图影像中的水系轮廓进行边缘提取后得到的轮廓点;
图6示出了根据本公开实施例的水系数据处理方法的示意图;
图7A是根据本公开实施例的基于卫星地图图像所识别出的水系对象;
图7B是根据本公开实施例的基于卫星地图图像所识别出的连接点对象;
图8是本公开至少一个实施例提供的一种水系数据处理装置的示意框图;
图9示出了根据本公开另一实施例的水系数据处理设备的示意性框图;
图10示意性地示出了实现本公开实施例的方法或装置的电子设备的示意性架构;
图11示出了根据本公开的实施例的存储介质的示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本申请的部分实施例,而不是全部的实施例。基于本申请实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本申请保护的范围。
本说明书中使用的术语是考虑到关于本公开的功能而在本领域中当前广泛使用的那些通用术语,但是这些术语可以根据本领域普通技术人员的意图、先例或本领域新技术而变化。此外,特定术语可以由申请人选择,并且在这种情况下,其详细含义将在本公开的详细描述中描述。因此,说明书中使用的术语不应理解为简单的名称,而是基于术语的含义和本公开的总体描述。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述***和方法的不同方面可以使用不同模块。
本申请中使用了流程图来说明根据本申请的实施例的***所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
本公开实施例中提出的水系数据处理方法利用了语义分割,其属于计算机视觉技术(Computer Vision,CV)的相关技术领域。计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本发明通过利用计算机视觉技术中的语义分割来自动识别水系的轮廓,大量地节省了人工识别的成本。根据实际需要,可以再通过进一步的计算机识别或人工方式对所生成的轮廓进行特征提取和二次编辑,从而生成精准的水系矢量控制点,以生成地图背景数据供用户使用。
首先,为了使本领域技术人员能更清楚地理解本发明的原理,对语义分割的基本概念进行一个简要的描述。
图像语义分割就是机器自动从图像中分割出对象区域,并识别其中的内容。语义分割是在像素级别上的分类,通过对每个像素进行密集的预测、推断来实现细粒度的推理,从而使每个像素都被标记为其所在的封闭对象区域的类别。属于同一类的像素都要被归为一类,因此语义分割是从像素级别来理解图像的。
“语义”指的是图像的内容,是对图像意思的理解,例如图1A所示的图像,语义就是一个人骑着摩托车。“分割”指的是从像素的角度分割出图像中的不同对象,并对原图中的每个像素进行类别标注。简单来说,分割的目标一般是将一张RGB图像(高度×宽度×3)或是灰度图(高度×宽度×1)作为输入,输出的是分割图,其中每一个像素包含了其类别的标签(高度×宽度×1),分割图的分辨率与原始输入的分辨率相匹配。例如,图1B是将图1A中的图像进行语义分割后的分割图。在图1B的分割图中,属于人的像素分为一类,用1进行标注,属于摩托车的像素分为一类,用2进行标注,除此之外还有背景像素,也被分为一类,并用3进行标注。此外,为了利于更直观的观测,可以对分割图进行上色处理,用不同颜色来区分不同的对象,例如将红色分配给属于人的像素,将绿色分配给属于摩托车的像素,以及将黑色分配给背景像素。
深度学习方法在语义分割上得到了巨大成功,用深度学习方法解决语义分割问题现在较为流行的是编码器/解码器结构,其中对输入的空间分辨率进行下采样,生成分辨率较低的特征映射,它能高效地进行分类。随后,上采样可以将特征还原为全分辨率分割图。其中,UNet是现今主流的编码器/解码器结构语义分割模型之一。
图2示出了UNet网络架构的示意图。从图2可以看出,UNet网络结构最主要的两个特点是:U型网络结构和跳层连接。UNet网络结构是一个对称的网络结构,包含左侧和右侧两条路径。左侧的路径可以视为一个编码器,也可以称为上采样处理路径,其包括五个卷积子模块,每个子模块包括两个卷积层和ReLU层,这里的卷积层结构统一为3×3的卷积核。每个子模块之后有一个通过最大池化实现的下采样层。卷积子模块用于提取特征,最大池化层用于降低维度,每次最大池化层之后输出的特征图像的分辨率变为一半。最后一个卷积子模块输出的特征图不经过最大池化,直接被输入到右侧的解码器。右侧的路径可以视为一个解码器,也可以称为下采样处理路径,包含与编码器基本对称的结构,对输入的特征图执行3×3的卷积和上采样,逐步修复物体的细节和空间维度。此外,网络中还用到了特征融合,如图2中的虚线箭头所示,通过跳层连接的方式将前面部分下采样网络的特征与后面上采样的特征进行了拼接和融合以获得更准确的上下文信息,达到更好的分割效果。语义分割模型最后输出目标对象的分割图,该分割图中的每个像素的像素值可以是表示其类别的标签。
在图2所示的UNet网络结构中,向右的实心箭头表示3×3的卷积层+激活层(ReLU),用于特征提取。向下的空心箭头为池化层,用于降低维度;向上的空心箭头为上采样层,用于恢复维度;向右的空心箭头为1×1的卷积层,用于输出结果;中间的向右的虚线箭头为拼接层(concatenate),通过跳层连接的方式将前一层的特征复制和拼接到相对应的后一层以进行特征融合,从而保留更多信息。此网络结构中,图像在提取特征时不断缩小尺寸,当缩小到一定尺寸之后开始上采样扩大尺寸,最后输出目标对象的分割图,其中每一个像素包含了其类别的标签。
下面以如图2所示的UNet网络架构为例,来描述利用语义分割模型对卫星地图图像中的桥梁或水系等对象进行的自动识别与分割,从而实现根据本公开实施例的水系数据处理方法。
应当注意,如本领域技术人员应当理解的那样,本公开的实施例不限于此,除了UNet之外,可以采取任何合适的语义分割架构来对本公开实施例的对卫星地图图像中的桥梁或水系等对象进行识别,例如linknet、pspnet以及deeplab v3等,同时也可以根据实际情况对这些语义分割架构进行调整。
下面通过几个示例或实施例对根据本公开至少一个实施例提供的水系数据处理方法进行非限制性的说明,如下面所描述的,在不相互抵触的情况下这些具体示例或实施例中不同特征可以相互组合,从而得到新的示例或实施例,这些新的示例或实施例也都属于本公开保护的范围。
在基于地图图像制作矢量化的水系电子地图时,通常的做法是将水系边缘轮廓的特征点作为矢量化操作点,并基于矢量化操作点的坐标信息与属性信息,将均匀或不均匀间隔的矢量化操作点的顺序相连来绘制得到矢量化的水系电子地图。在通过如上所述的语义分割的自动识别的方式识别地图图像中水系对象的轮廓时,由于水系对象上通常会修建有桥梁、水坝等物体(以下简称为连接点对象),为保证同一条水系的连续性,需要将连接点对象当作水系对象的一部分来进行识别。
然而,连接点对象的形态特征与水的形态特征有较大差别,如果直接将连接点与河流一起识别会导致水系识别效果较差。
因此,本公开的实施例中,基于语义分割模型对水系对象和连接点对象进行分别识别和分割,再将识别结果进行组合以得到水系的连续的完整识别结果。
此外,桥梁等连接点通常是道路的一部分,直接将桥梁进行单独的识别会将正常道路识别为桥梁,导致较差的识别效果。
因此,本公开的实施例在利用语义分割模型识别连接点对象时,通过将连接点(例如桥梁)边界处的部分水的像素也包括进连接点的像素区域来表征连接点对象,即,使得语义分割模型例如将其两边与水相邻的部分道路识别为桥梁,而不会把普通的道路也识别为桥梁。
本公开至少一个实施例提供一种水系数据处理方法,所述方法可以由任意具备计算处理能力的计算机设备执行,所述计算机设备可以为单个或多个计算机设备,每个计算机处理设备例如可以具有如图10所示的架构。再例如,本公开实施例的水系数据处理方法可以由进行卫星地图处理的计算机***实现,所述计算机***可以为服务器集群或单个/多个计算机设备,并且所述水系数据处理方法可以由分布式布置的多个服务器执行,或者可以由各计算机设备分布式地执行处理。例如,所述计算机***从卫星接收卫星地图图像,并对所述卫星地图图像进行处理,生成矢量化的电子地图。此外,所述计算机***、或者从所述计算机***获得所述矢量化的电子地图的另一计算机***,可以进一步基于所述矢量化的电子地图提供电子地图查询、导航等地图服务。
根据本公开至少一个实施例的水系数据处理方法可以包括:获取卫星地图图像,所述卫星地图图像包括水系对象和与所述水系对象重叠的连接点对象;将所述卫星地图图像输入经训练的第一语义分割模型,以识别所述卫星地图图像中的水系对象,并生成用于标识所述水系对象的第一掩模图;将所述卫星地图图像输入经训练的第二语义分割模型,以识别所述卫星地图图像中的连接点对象,并生成用于标识所述连接点对象的第二掩模图;将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图。本公开至少一个实施例还提供一种对应于上述水系数据处理的装置、电子设备和非瞬时可读存储介质。
本发明的水系数据处理方法能够极大提高数据制作效果,降低成本。同时使用水系对象以及连接点对象的自动识别方案能够较为准确地识别出完整的水系轮廓,减少误识别,提高自动识别准确率。
图3是示出根据本公开实施例的水系数据处理方法300的流程图。例如,该水系数据处理方法适用于语义分割模型,即,该水系数据处理方法利用语义分割模型来实现水系地图数据的制作。
首先,在步骤S301中,获取卫星地图图像,其中,该卫星地图图像包括水系对象和与该水系对象重叠的连接点对象。
在本公开的实施例中,基于反应地球真实面貌的卫星地图图像来绘制水系对象的矢量化的电子地图,来为用户提供精准的地图信息。水系对象例如可以包括河流、湖泊、海洋等,由于水系往往跨越较为辽阔的地理区域,水系上通常还会包括例如桥梁、水坝和岛屿等会将水系断开的连接点对象,例如,当从卫星地图图像上来看时,这些连接点通常也可以显示为与水系重叠。
例如,这里获取的卫星地图图像例如可以是三个通道的RGB图像(高度×宽度×3)或是一个通道的灰度图像(高度×宽度×1)。此外,例如,这里的卫星地图图像可以是通过网络下载的方式获取的,也可以通过其他途径获取的,本公开的实施例对此不作限制。
在通过基于语义分割的方法自动获取卫星地图图像中的水系对象的完整轮廓信息的过程中,必须保证同一条水系的连续性,即水系遇到连接点等不能断开,因此需要将连接点作为水系的一部分进行识别。
然而,因为连接点的形态特征与水的形态特征有较大差别,一个语义分割模型将很难一次将水系对象和连接点对象同时识别出来。因此,根据本公开实施例的水系数据处理方法300通过以下的步骤S302和步骤S303,利用不同的语义分割模型来对同一个卫星地图图像中的水系对象和连接点对象进行分别识别和分割。
在步骤S302中,将卫星地图图像输入经训练的第一语义分割模型,以识别该卫星地图图像中的水系对象,并输出用于标识该水系对象的第一掩模图。
例如,经训练的第一语义分割模型在识别输入的卫星地图图像中的水系对象后,将属于水系对象的像素的像素值设置为第一像素值,并将其他背景像素的像素值设置为第二像素值,以生成用于标识水系对象的二值化的第一掩模图。例如,该二值化的第一掩模图中的像素的第一像素值可以为1,第二像素值可以为0,其中像素值为1的像素点属于所识别的目标对象区域,像素值为0的像素点属于背景区域。再例如,该二值化的第一掩模图中的像素的第一像素值可以为255,第二像素值可以为0,其中像素值为255的像素点属于所识别的目标对象区域,像素值为0的像素点属于背景区域。
例如,这里的经训练的第一语义分割模型可以是上文结合图2描述的UNet语义分割模型。应当理解,第一语义分割模型还可以是任何能够进行语义分割的其他合适类型的架构,本公开对此不作限制。根据本公开的实施例,这里使用的第一语义分割模型是一个二分类的模型,即只识别和分割一个目标对象,例如,这里第一语义分割模型被训练来只识别水系对象。
下面将结合图2所示的Unet语义分割模型来对步骤S302的实现进行示例性说明。
首先,将卫星地图图像输入具有如图2所示的UNet语义分割架构的第一语义分割模型,该第一语义分割模型已经被提前训练为能够识别和分割卫星地图图像中的水系对象。例如,图2中的UNet语义分割模型的输入数据是572×572的单通道的图像。因此,例如,在将卫星地图图像输入语义分割模型以进行语义分割之前,还可以提前对输入的图像进行适当的预处理,以适应所采用的语义分割模型对输入图像格式的要求,对图像的预处理例如可以包括将尺寸进行调整或将多通道处理成单通道。再例如,语义分割模型的输入数据可以是多通道的图像。
随后,如图2所示,图像被依次输入到左侧的编码器部分中交替布置的卷积子模块和最大池化层,卷积子模块用于对输入的图像进行提取特征以得到一个尺度的特征图像,最大池化层用于降低特征图像的维度,每次最大池化层之后输出的特征图像的尺度变为一半。最后一个卷积子模块输出的特征图像不经过最大池化,直接被输入到右侧的解码器。如图2所示,输入的卫星地图图像经过编码器的特征提取和池化操作,将产生5个尺度的特征图像。右侧的解码器使用与编码器基本对称的结构,来对输入的卫星地图图像的特征图进行上采样,并且每上采样一次,都要将来自编码器结构的对应层输出的特征图像进行拼接和融合,以获得更准确的上下文信息。
最后,解码器的最后一层(例如图2中最后一层的空心箭头所示)用1×1的卷积层对每个像素进行二分类,以输出水系对象的分割图。
例如,图2的UNet语义分割模型输出的水系对象的分割图是一个388×388的分割图,该分割图中的每个像素的像素值可以是表示其类别的标签。例如,该输出的水系对象的分割图可以是单通道格式的二值化的掩模图,其中目标对象的像素值可以为1,背景区域的像素值为0。此外,例如,还可以将所生成的二值化的掩模图的每个像素值进行放大,使得目标对象像素和背景图像像素的灰度值对比度更大,更便于查看和观测。例如,将目标对象的像素的像素值放大为255,背景区域的像素的像素值仍然为0,此时目标对象的灰度值是白色,而背景的灰度值是黑色。进一步地,还可以对所得到的掩模图进行上色处理,例如将红色分配给属于目标对象的像素,将黑色分配给背景区域的像素。
例如,图4A是要输入经训练的第一语义分割模型以进行语义分割的原始卫星地图图像,图4B是将图4A中的原始卫星地图图像输入经训练的第一语义分割模型后得到的二值化的掩模图的像素值进行放大后所得到的掩模图像,其中白色的区域表示所示所识别的水系对象,其像素值等于255,黑色的区域表示背景,其像素值是0。
在步骤S303中,将卫星地图图像输入经训练的第二语义分割模型,以识别该卫星地图图像中的连接点对象,并输出用于标识该连接点对象的第二掩模图。
如上所述,由于桥梁像素特征和道路的像素特征的相似性,而实际上,桥梁也属于道路的一部分,语义分割模型很难仅仅依据桥梁的像素特征将桥梁等连接点对象所在的区域与正常道路的区域区分开来,这样会导致较差的识别效果。
因此,本公开的实施例将连接点对象的像素加上与之相邻的水系对象的像素共同作为语义分割模模型所能识别的连接点对象区域的特征。例如,该经训练的第二语义分割模型可以将连接点对象以及与其相邻的一定范围内的水一起识别为连接点对象。例如,以桥梁为例,可以将桥面宽度的30%-50%范围内的属于水系对象的像素连同桥梁一起识别为桥梁区域。此外,例如,为了避免错误地识别例如临河而建的绿道(其也与水相邻,不过通常只有一边与水相邻)等非连接点的区域,该第二语义分割模型可以被训练为例如将与连接点对象的至少两条边相邻的水系像素和该连接点对象的像素一起识别为属于连接点对象。如此,便可以将连接点对象与普通的道路分割开来。
这里的经训练的第二语义分割模型可以具有与上述第一语义分割模型相同的架构,例如UNet模型架构,经训练的第二语义分割模型对连接点对象进行识别和分割的过程可以参考上述经训练的第一语义分割模型对水系对象进行识别和分割的过程,在此不再赘述。同样应当理解,第二语义分割模型也可以具有其他任何可以实现语义分割的合适架构,同时也可以根据实际情况对这些语义分割架构进行调整。根据本公开的实施例,这里使用的第二语义分割模型也是一个二分类的模型,即只识别和分割一个目标对象,例如,这里第二语义分割模型被训练来只识别连接点对象,并输出用于标识目标对象的二值化的掩模图。
经训练的第二语义分割模型可以输出连接点对象的分割图,该连接点对象的分割图中的每个像素的像素值可以是表示其类别的标签。例如,所输出的连接对象的分割图可以是二值化的掩模图。例如,该经训练的第二语义分割模型将属于连接点对象的像素以及与该连接点对象相邻的、属于水系对象的预定范围内的像素设置为第三像素值,并将其他像素的像素值设置为第四像素值,以生成用于标识连接点对象的二值化的第二掩模图。例如,这里的第三像素值可以与上述第一像素值相同,第四像素值可以与上述第二像素值相同。应当理解,第三像素值和第四像素值也可以取其他合适大小的值。
例如,图4C是将图4A中的原始卫星地图图像输入经训练的第二语义分割模型后得到的二值化的掩模图的像素值进行放大后所得到的掩模图像,其中白色的区域表示所识别的连接点对象,其像素值等于255,黑色的区域表示背景,其像素值是0。可以看出,由于第二语义分割模型把与桥梁相邻的属于水的部分像素也识别为了属于桥梁的像素,图4C中桥梁的掩模的尺寸大于图4A中桥梁的真实尺寸。
需要说明的是,本公开的实施例对语义分割模型的选择不作限制,第一语义分割模型和第二语义分割模型可以采取任意类型的语义分割模型。这里的“第一”和“第二”仅仅是为了进行区分,而不进行任何顺序和重要性的限制。
分别识别出水系和连接点后,在步骤S304中,将第一语义分割模型输出的水系对象的掩模图和第二语义分割模型输出的连接点对象的掩模图进行合并,即将如上所述的第一掩模图和第二掩模图进行合并,便可得到水系对象的完整掩模图。
例如,合并可以包括将两个掩模图进行或运算,具体地,对于卫星地图图像中的每个像素点,在该像素点所对应的第一掩模图中的像素值为第一像素值和/或该像素点所对应的第二掩模图中的像素值为第三像素值的情况下,将水系的完整掩模图中的对应像素点设置为五像素值,否则将该水系的完整掩模图中的对应像素点设置为六像素值图,其中该第五像素值用于在完整掩模图中标识水系对象。例如,这里的第五像素值可以与上述第一像素值相同、或者与上述第三像素值相同、或者也可以取其他适当设置的值;第六像素值可以与上述第二像素值相同、或者与上述第四像素值相同、或者也可以取其他适当设置的值,只要这些值能够准确地标识完整掩模图中的水系对象,并且可以基于这些值所标识的完整掩模图提取出水系的完整轮廓。
例如,图4D是将图4B中的第一掩模图和图4C中的第二掩模图进行合并后得到的水系对象的完整掩模图,其中第五像素值为255,第六像素值为0。
由此,上述水系数据处理方法通过分别使用语义分割模型来分别自动识别水系以及连接点的方案,再将所识别的水系对象和连接点对象进行合并,能够较为准确地得到水系的完整的轮廓,能够极大提高数据制作效果,降低成本,同时减少误识别,提高自动识别准确率。
此外,根据需要,所识别出的水系对象的完整掩模图可以再通过进一步的计算机识别或人工方式对所生成的轮廓进行特征提取和二次编辑,从而生成精准的水系矢量控制点,以生成地图背景数据供用户使用。
因此,根据本公开的实施例的水系数据处理方法300还可以包括如图3所示的虚线框中的步骤S305:基于水系对象的完整掩模图,确定卫星地图图像中的水系对象的多个矢量化控制点。所确定的矢量化控制点便可以用来生成水系对象的矢量化地图。
如本领域技术人员所理解的,这里的矢量化控制点是用来控制和调整矢量地图线条形状的特殊点。例如,基于水系对象的这些矢量化控制点,通过公式计算可以获得水系对象的矢量化地图,使得水系对象的矢量化地图所需存储的数据量较小,而矢量化的水系对象的地图无论放大、缩小或者旋转等都不会失真。
例如,可以利用边缘提取算法,例如坎尼(Canny)算子,从完整掩模图中提取出水系对象的多个边缘轮廓点,以生成矢量化控制点。应当理解,除了坎尼算子之外,还可以使用任意合适类型的边缘提取算法来提取水系对象的边缘轮廓点,在此不做限制。
图5示出了基于所获取的卫星地图影像中的水系轮廓利用边缘提取算法进行边缘提取后得到的完整水系对象的轮廓点。例如,这里的轮廓点可以是目标对象边界处的表征目标对象边缘特征的特征点,例如拐角点。如图5所示,河流边界处的圆点为提取到的边缘轮廓点。将这些边缘轮廓点相连便可以绘制出水系对象的矢量化的电子地图。
此外,为了生成更精准的水系矢量控制点,还可以通过计算机识别的方式或人工的方式修正所得到的矢量化控制点,以获取多个修正数据点,使得后续制作的水系对象的矢量化地图更加贴合卫星地图图像中真实的边缘。
例如,根据本公开的实施例的水系数据处理方法300的还可以包括如图3所示的虚线框中的步骤S306:获取对多个矢量化控制点的多个修正数据点,其中该多个修正数据点用于生成水系对象的矢量化地图。例如,可以通过计算机识别或人工识别的方式删除明显偏离或不准确的矢量化控制点,或添加一些矢量化控制点。
需要说明的是,本公开的实施例对各个步骤的执行顺序不作限制,可以根据实际情况调整。例如,在本公开的示例中,步骤S301-步骤S306可以在单独的服务器(例如,云服务器等)中执行,也可以在本地终端上执行,本公开的实施例对此不做限制。例如,在一些示例中,实施本公开至少一实施例提供的水系数据处理方法300可以选择地执行步骤S301-S306中的部分步骤,也可以执行除了步骤S301-S306以外的一些附加步骤,本公开的实施例对此不做具体限制。
根据本公开实施例的上述水系数据处理方法通过利用计算机视觉技术中的语义分割来自动识别水系的轮廓,大量地节省了人工识别的成本。根据实际需要,可以再通过进一步的计算机识别或人工方式对所生成的轮廓进行特征提取和二次编辑,从而生成精准的水系矢量控制点,以生成地图背景数据供用户使用。
图6示出了根据本公开实施例的水系数据处理方法的另一示意图。例如,结合上述关于水系数据制作方法300的具体描述,对于包括水系对象和连接点对象的卫星地图图像,利用语义分割模型将图像中的水系对象(例如,河流等)的区域分割出来,得到水系对象的二值化的掩模图,以及利用语义分割模型将图像中的连接点对象(例如,桥梁、水坝和岛屿等)的区域分割出来,得到连接点对象的二值化的掩模图。将所得到的两个二值化的掩模图进行合并,同一个水系对象则能够获得的一个完整掩模图,这里的同一个水系对象可以是同一条河流、湖泊等。此后,对于得到的水系对象的完整的掩模图查找轮廓,例如通过边缘提取算法,得到的边缘点作为矢量化控制点。为了使生成的轮廓能够精确的贴合卫星影像中真实的边缘,还可以对得到的矢量化控制点进行人工修正,基于修正后的矢量化控制点可以绘制水系的更准确的矢量化地图。
如上结合图3和图6所描述的水系数据处理方法,基于语义分割模型对水系对象和连接点对象进行分别识别和分割,再将识别结果进行合并以得到水系的连续的完整识别结果。例如图7A和图7B所示,其中的白色区域分别是所识别出的水系对象的识别结果和连接点对象的识别结果。同样,从图7B中的连接点对象的识别结果可以看出,所识别的桥梁的区域还包括两侧一定范围的水系的部分区域,因此,所识别出的连接点对象的尺寸大于原始卫星地图图像中连接点对象的实际尺寸。
根据本公开的水系数据处理方法能够较为准确地自动识别出完整的水系,大量地节省了人工识别的成本。此外,根据实际需要,可以再通过进一步的计算机识别或人工方式对所生成的轮廓进行特征提取和二次编辑,从而生成精准的水系矢量控制点,以生成地图背景数据供用户使用。
本公开至少一个实施例还提供一种水系数据处理装置。图8是本公开至少一个实施例提供的一种水系数据处理装置的示意框图。
如图8所示,水系数据处理装置80可以包括卫星地图图像获取模块801、语义分割模块802、合并模块803。这些单元或者模块可以通过软件、硬件、固件或它们的任意组合实现。
在本公开至少一个实施例中,卫星地图图像获取模块801被配置为用于获取卫星地图图像,其中,该卫星地图图像包括水系对象和与该水系对象重叠的连接点对象。语义分割模块802包括第一语义分割模块802_1和第二语义分割模块802_2,其中,第一语义分割模块802_1被配置为识别卫星地图图像中的水系对象,并生成用于标识所识别的水系对象的第一掩模图;第二语义分割模块802_2被配置为识别卫星地图图像中的连接点对象,并生成用于标识所识别的连接点对象的第二掩模图。合并模块803被配置为将第一掩模图和第二掩模图进行合并,以得到水系对象的完整掩模图。
例如,第一语义分割模块802_1可以被配置为将卫星地图图像中的对应于水系对象的像素识别为水系对象像素,并将卫星地图图像中的其他像素识别为背景像素;以及将水系对象像素的像素值设置为第一像素值,并将其他像素的像素值设置为第二像素值,以生成用于标识水系对象的二值化的第一掩模图。
例如,第二语义分割模块802_2可以被配置为将卫星图像中的对应于连接点对象的像素以及卫星图像中的与连接点对象相邻的、属于水系对象的预定范围内的像素一起识别为连接点对象像素,并将卫星地图图像中的其他像素识别为背景像素;以及将连接点对象像素的像素值设置为第三像素值,并将其他像素的像素值设置为第四像素值,以生成用于标识连接点对象的二值化的第二掩模图。
例如,合并模块803将第一掩模图和第二掩模图进行合并,以得到水系对象的完整掩模图,可以包括:对于卫星地图图像中的每个像素点,在该像素点所对应的第一掩模图中的像素值为第一像素值和/或该像素点所对应的第二掩模图中的像素值为第三像素值的情况下,将完整掩模图中的对应像素点设置为五像素值,否则将完整掩模图中的对应像素点设置为六像素值,其中该第五像素值用于在完整掩模图中标识水系对象。
例如,根据本公开的实施例,水系数据处理装置800还可以包括矢量化控制点生成模块804,其被配置为利用边缘提取算法,从完整掩模图中提取水系对象的边缘轮廓,以作为水系对象的多个矢量化控制点。由此,便可基于所得到的多个矢量化控制点来生成水系对象的矢量化地图。
此外,为了生成精准的水系矢量控制点,还可以通过计算机识别或人工的方式修正所得到的矢量化控制点,例如,删除明显偏离或不准确的矢量化控制点,或添加一些矢量化控制点,以获取多个修正数据点,使得后续制作的水系对象的矢量化地图更加贴合卫星地图图像中真实的边缘。
应当理解的是,本公开实施例提供的水系数据处理装置80可以实施前述水系数据处理方法300,也可以实现与前述水系数据处理方法300相似的技术效果,在此不作赘述。
本公开的实施例还提供了一种水系数据处理设备,图9示出了根据本公开另一实施例的水系数据处理设备的示意性框图。例如,如图9所示,水系数据处理设备900可以包括一个或多个处理器901和一个或多个存储器902。一个或多个存储器902中存储有计算机可执行指令,该计算机可执行指令当由一个或多个处理器901执行时,可以执行如上所述的水系数据处理方法。一个或多个存储器902和一个或多个处理器901可以通过总线***和/或其它形式的连接机构(未示出)互连。
例如,一个或多个存储器902和一个或多个处理器901可以设置在单机之中,也可以设置服务器端,还可以设置在云端,以用于执行如上所述的水系数据处理方法中的一个或多个步骤。
例如,一个或多个处理器901可以是中央处理单元(CPU)、数字信号处理器(DSP)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元,例如现场可编程门阵列(FPGA)等;例如,中央处理单元(CPU)可以为X86或ARM架构等。一个或多个处理器901可以为通用处理器或专用处理器,可以控制水系数据处理设备900中的其它组件以执行期望的功能。
例如,一个或多个存储器902可以包括一个或多个计算机程序产品的任意组合,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。
此外,根据本申请实施例的方法或装置也可以借助于图10所示的电子设备的架构来实现。图10示意性地示出了该电子设备的架构。如图10所示,电子设备1000可以包括总线1001、一个或多个CPU 1002、只读存储器(ROM)1003、随机存取存储器(RAM)1004、连接到网络的通信端口1005、输入/输出组件1006、硬盘1007等。电子设备1000中的存储设备,例如ROM 1003或硬盘1007可以存储本申请提供的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。电子设备1000还可以包括用户界面。当然,图10所示的架构只是示例性的,在实现不同的设备时,根据实际需要,可以省略或添加图10示出的电子设备中的一个或至少两个组件。
本公开的实施例还提供了一种计算机可读存储介质。图11示出了根据本公开的实施例的存储介质的示意图1100。如图11所示,所述计算机存储介质1102上存储有计算机可执行指令1101。当所述计算机可执行指令1101由处理器运行时,可以执行参照以上附图描述的根据本公开实施例的水系数据处理的方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
本公开的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行根据本公开实施例的水系数据处理方法。
本公开的实施例提供了水系数据处理方法、装置、电子设备和存储介质,根据本公开的实施例的水系数据处理方法能够极大提高数据制作效果,降低成本。同时使用水系以及连接点的自动识别方案能够较为准确地识别出完整的水系轮廓,减少误识别,提高自动识别准确率。
本领域技术人员能够理解,本公开所披露的内容可以出现多种变型和改进。例如,以上所描述的各种设备或组件可以通过硬件实现,也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外,虽然本公开对根据本公开的实施例的***中的某些单元做出了各种引用,然而,任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的,并且所述***和方法的不同方面可以使用不同单元。
本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
除非另有定义,这里使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解,诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义,而不应用理想化或极度形式化的意义来解释,除非这里明确地这样定义。
以上是对本公开的说明,而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例,但本领域技术人员将容易地理解,在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此,所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解,上面是对本公开的说明,而不应被认为是限于所公开的特定实施例,并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。
Claims (15)
1.一种基于卫星地图图像的水系数据处理方法,包括:
获取卫星地图图像,所述卫星地图图像包括水系对象和与所述水系对象重叠的连接点对象;
将所述卫星地图图像输入经训练的第一语义分割模型,以识别所述卫星地图图像中的水系对象,并生成用于标识所述水系对象的第一掩模图;
将所述卫星地图图像输入经训练的第二语义分割模型,以识别所述卫星地图图像中的连接点对象,并生成用于标识所述连接点对象的第二掩模图;
将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图。
2.根据权利要求1所述的水系数据处理方法,还包括:
基于所述水系对象的完整掩模图,确定所述卫星地图图像的水系对象的多个矢量化控制点,其中,所确定的所述水系对象的多个矢量化控制点用于生成所述卫星地图图像中的水系对象的矢量化地图。
3.根据权利要求2所述的水系数据处理方法,其中,基于所述水系对象的完整掩模图,确定所述卫星地图图像的水系对象的多个矢量化控制点,包括:
利用边缘提取算法,从所述完整掩模图中提取所述水系对象的多个边缘轮廓点,以生成所述多个矢量化控制点。
4.根据权利要求3所述的水系数据处理方法,其中,利用边缘提取算法,从所述完整掩模图中提取所述水系对象的多个边缘轮廓点,以生成所述多个矢量化控制点,还包括:
获取对所述多个矢量化控制点的多个修正数据点,其中所述多个修正数据点用于生成所述水系对象的矢量化地图。
5.根据权利要求1-4中任一项所述的水系数据处理方法,其中,所述第一掩模图和所述第二掩模图均为二值掩模图;其中,将所述卫星地图图像输入经训练的第一语义分割模型,以识别所述卫星地图图像中的水系对象,并生成用于标识所述水系对象的第一掩模图,包括:
将所述卫星地图图像中的对应于所述水系对象的像素识别为水系对象像素,并将所述卫星地图图像中的其他像素识别为背景像素;
将所述水系对象像素的像素值设置为第一像素值,并将所述其他像素的像素值设置为第二像素值,以生成用于标识所述水系对象的二值化的第一掩模图。
6.根据权利要求5所述的水系数据处理方法,其中,将所述卫星地图图像输入经训练的第二语义分割模型,以识别所述卫星地图图像中的连接点对象,并生成用于标识所述连接点对象的第二掩模图,包括:
将所述卫星图像中的对应于所述连接点对象的像素以及所述卫星图像中的与所述连接点对象相邻的、属于水系对象的预定范围内的像素一起识别为连接点对象像素,并将所述卫星地图图像中的其他像素识别为背景像素;
将所述连接点对象像素的像素值设置为第三像素值,并将所述其他像素的像素值设置为第四像素值,以生成用于标识所述连接点对象的二值化的第二掩模图。
7.根据权利要求1-4中任一项所述的水系数据处理方法,其中,将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图,包括:
对于所述卫星地图图像中的每个像素点,在所述像素点所对应的第一掩模图中的像素值为第一像素值和/或所述像素点所对应的第二掩模图中的像素值中为第三像素值的情况下,将所述完整掩模图中的对应像素点设置为第五像素值,否则将所述完整掩模图中的对应像素点设置为第六像素值,其中所述第五像素值用于在所述完整掩模图中标识所述水系对象。
8.根据权利要求1-4中任一项所述的水系数据处理方法,其中,所述第一语义分割模型和所述第二语义分割模型中的每个语义分割模型包括:
下采样处理子模型,其包括:
第一数量的卷积层;
第二数量的池化层;
其中,所述第一数量的卷积层和所述第二数量的池化层间隔布置;
上采样处理子模型,其包括:
第三数量的卷积层;
第四数量的上采样层;
其中,所述第三数量的卷积层和所述第四数量的上采样层间隔布置。
9.根据权利要求8所述的水系数据处理方法,其中,所述第一语义分割模型和所述第二语义分割模型中的每个语义分割模型还包括:
拼接子模型,其被配置为将所述下采样处理子模型中的至少一部分卷积层的输出提供至所述上采样处理子模型中的对应卷积层的输入。
10.一种基于卫星地图图像的水系数据处理装置,包括:
卫星地图图像获取模块,用于获取卫星地图图像,所述卫星地图图像包括水系对象和与所述水系对象重叠的连接点对象;
语义分割模块,其包括第一语义分割模块和第二语义分割模块,所述第一语义分割模块被配置为识别所述卫星地图图像中的所述水系对象,并生成用于标识所识别的水系对象的第一掩模图,所述第二语义分割模块被配置为识别所述卫星地图图像中的所述连接点对象,并生成用于标识所识别的连接点对象的第二掩模图;
合并模块,被配置为将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图。
11.根据权利要求10所述的水系数据处理装置,还包括矢量化控制点生成模块,被配置为:
基于所述水系对象的完整掩模图,确定所述卫星地图图像的水系对象的多个矢量化控制点,其中,所确定的所述水系对象的多个矢量化控制点用于生成所述卫星地图图像中的水系对象的矢量化地图。
12.根据权利要求10或11所述的水系数据处理装置,其中,
将所述卫星地图图像输入经训练的第一语义分割模型,以识别所述卫星地图图像中的水系对象,并生成用于标识所述水系对象的第一掩模图,包括:
将所述卫星地图图像中的对应于所述水系对象的像素识别为水系对象像素,并将所述卫星地图图像中的其他像素识别为背景像素;以及将所述水系对象像素的像素值设置为第一像素值,并将所述其他像素的像素值设置为第二像素值,以生成用于标识所述水系对象的二值化的第一掩模图,并且
将所述卫星地图图像输入经训练的第二语义分割模型,以识别所述卫星地图图像中的连接点对象,并生成用于标识所述连接点对象的第二掩模图,包括:
将所述卫星图像中的对应于所述连接点对象的像素以及所述卫星图像中的与所述连接点对象相邻的、属于水系对象的预定范围内的像素一起识别为连接点对象像素,并将所述卫星地图图像中的其他像素识别为背景像素;以及将所述连接点对象像素的像素值设置为第三像素值,并将所述其他像素的像素值设置为第四像素值,以生成用于标识所述连接点对象的二值化的第二掩模图。
13.根据权利要求12所述的水系数据处理装置,其中,
所述合并模块将所述第一掩模图和所述第二掩模图进行合并,以得到所述水系对象的完整掩模图,包括:
对于所述卫星地图图像中的每个像素点,在所述像素点所对应的第一掩模图中的像素值为第一像素值和/或所述像素点所对应的第二掩模图中的像素值为第三像素值的情况下,将所述完整掩模图中的对应像素点设置为第五像素值,否则将所述完整掩模图中的对应像素点设置为六像素值,其中所述第五像素值用于在所述完整掩模图中标识所述水系对象。
14.一种电子设备,包括存储器和处理器,其中,所述存储器上存储有处理器可读的程序代码,当处理器执行所述程序代码时,执行根据权利要求1-9中任一项所述的方法。
15.一种计算机可读存储介质,其上存储有指令,所述指令在被处理器执行时,使得所述处理器执行如权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011267235.9A CN112258539B (zh) | 2020-11-13 | 2020-11-13 | 水系数据处理方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011267235.9A CN112258539B (zh) | 2020-11-13 | 2020-11-13 | 水系数据处理方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112258539A CN112258539A (zh) | 2021-01-22 |
CN112258539B true CN112258539B (zh) | 2023-08-01 |
Family
ID=74266796
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011267235.9A Active CN112258539B (zh) | 2020-11-13 | 2020-11-13 | 水系数据处理方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112258539B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101571923A (zh) * | 2009-04-30 | 2009-11-04 | 上海大学 | 基于智能蚁群算法的遥感图像水系网半自动的提取方法 |
CN101615183A (zh) * | 2008-06-24 | 2009-12-30 | 仁荷大学教产学协力团 | 空间图像信息和gis基盘的河川时间序列分析***及其方法 |
CN108537292A (zh) * | 2018-04-10 | 2018-09-14 | 上海白泽网络科技有限公司 | 语义分割网络训练方法、图像语义分割方法及装置 |
WO2019180742A1 (en) * | 2018-03-21 | 2019-09-26 | Artificial Learning Systems India Private Limited | System and method for retinal fundus image semantic segmentation |
CN111767801A (zh) * | 2020-06-03 | 2020-10-13 | 中国地质大学(武汉) | 一种基于深度学习的遥感影像水域自动提取方法及*** |
EP3723044A1 (en) * | 2019-04-10 | 2020-10-14 | Chinese Academy Of Surveying And Mapping | Methods for extracting skeleton lines in intersection-intensive areas |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10678256B2 (en) * | 2017-09-28 | 2020-06-09 | Nec Corporation | Generating occlusion-aware bird eye view representations of complex road scenes |
-
2020
- 2020-11-13 CN CN202011267235.9A patent/CN112258539B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101615183A (zh) * | 2008-06-24 | 2009-12-30 | 仁荷大学教产学协力团 | 空间图像信息和gis基盘的河川时间序列分析***及其方法 |
CN101571923A (zh) * | 2009-04-30 | 2009-11-04 | 上海大学 | 基于智能蚁群算法的遥感图像水系网半自动的提取方法 |
WO2019180742A1 (en) * | 2018-03-21 | 2019-09-26 | Artificial Learning Systems India Private Limited | System and method for retinal fundus image semantic segmentation |
CN108537292A (zh) * | 2018-04-10 | 2018-09-14 | 上海白泽网络科技有限公司 | 语义分割网络训练方法、图像语义分割方法及装置 |
EP3723044A1 (en) * | 2019-04-10 | 2020-10-14 | Chinese Academy Of Surveying And Mapping | Methods for extracting skeleton lines in intersection-intensive areas |
CN111767801A (zh) * | 2020-06-03 | 2020-10-13 | 中国地质大学(武汉) | 一种基于深度学习的遥感影像水域自动提取方法及*** |
Non-Patent Citations (1)
Title |
---|
基于编码-解码卷积神经网络的遥感图像语义分割;张哲晗;方薇;杜丽丽;乔延利;张冬英;丁国绅;;光学学报(第03期);46-55 * |
Also Published As
Publication number | Publication date |
---|---|
CN112258539A (zh) | 2021-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN111652218A (zh) | 文本检测方法、电子设备及计算机可读介质 | |
WO2023015755A1 (zh) | 一种抠图网络训练方法及抠图方法 | |
CN110163831B (zh) | 三维虚拟沙盘的物体动态展示方法、装置及终端设备 | |
CN112767418B (zh) | 基于深度感知的镜子图像分割方法 | |
CN112418216A (zh) | 一种复杂自然场景图像中的文字检测方法 | |
CN112132164B (zh) | 目标检测方法、***、计算机装置及存储介质 | |
JP6611255B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
EP3973507B1 (en) | Segmentation for holographic images | |
WO2021179751A1 (zh) | 图像处理方法和*** | |
CN112258539B (zh) | 水系数据处理方法、装置、电子设备及可读存储介质 | |
CN112884702A (zh) | 一种基于内窥镜图像的息肉识别***和方法 | |
CN113191355A (zh) | 文本图像合成方法、装置、设备及存储介质 | |
CN113537187A (zh) | 文本识别方法、装置、电子设备及可读存储介质 | |
CN117541546A (zh) | 图像裁剪效果的确定方法和装置、存储介质及电子设备 | |
CN112580629A (zh) | 一种基于深度学习的车牌字符识别方法以及相关装置 | |
CN111881914A (zh) | 一种基于自学习阈值的车牌字符分割方法及*** | |
CN115131778A (zh) | 一种基于深度学习的场景文本检测方法 | |
CN115578721A (zh) | 一种基于注意力特征融合的街景文本实时检测方法 | |
KR101651842B1 (ko) | 전자문서 레이아웃 생성 방법 및 장치 | |
CN114494302A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111209965A (zh) | 一种面向大规模三维重建的快速鲁棒特征跟踪方法 | |
Kalantari et al. | Improving patch-based synthesis by learning patch masks | |
CN112668582B (zh) | 图像识别方法、装置、设备和存储介质 | |
Wei et al. | DRCNet: Road Extraction From Remote Sensing Images Using DenseNet With Recurrent Criss-Cross Attention and Convolutional Block Attention Module |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40037830 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |