CN112632303A - 一种影像数据的分布式存储方法、分析方法及装置 - Google Patents
一种影像数据的分布式存储方法、分析方法及装置 Download PDFInfo
- Publication number
- CN112632303A CN112632303A CN202011604380.1A CN202011604380A CN112632303A CN 112632303 A CN112632303 A CN 112632303A CN 202011604380 A CN202011604380 A CN 202011604380A CN 112632303 A CN112632303 A CN 112632303A
- Authority
- CN
- China
- Prior art keywords
- image data
- distributed
- analysis
- stored
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 110
- 238000004458 analytical method Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000000903 blocking effect Effects 0.000 claims abstract description 16
- 238000005520 cutting process Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 23
- 238000007405 data analysis Methods 0.000 claims description 16
- 238000013500 data storage Methods 0.000 claims description 14
- 238000010191 image analysis Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012952 Resampling Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种影像数据的分布式存储方法、分析方法及装置,将待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储,支持通过镶嵌数据集对分布式存储的影像数据进行有效管理,由于影像数据在分布式计算集群中进行分布式存储,存储空间可以灵活扩展,能满足海量影像数据的存储需求。同时,利用分布式计算集群的分布式计算能力,能实现以弹性分布式数据集的形式在分布式计算集群中对影像数据进行分布式分析,提高了对影像数据的分析性能。
Description
技术领域
本发明涉及影像数据存储技术领域,更具体的,涉及一种大规模影像数据的分布式存储方法、分析方法及装置。
背景技术
随着卫星遥感、航测等遥测技术的大规模应用,来自于各行业的多源遥感影像数据的数据量呈几何式激增。对于影像数据,几百GB乃至TB级的数据量非常常见,这给影像数据管理、分析和应用的软件***带来很大压力。面对海量遥感影像数据和丰富的应用场景,如何高效地实现影像数据的管理与分析已成为遥感数据应用领域研究的重点。
目前在影像数据的存储方面,镶嵌数据集所能管理的影像数据是以传统的单机存储模式为主,即镶嵌数据集所管理的影像数据存储在本地,由于本地存储空闲有限,无法满足海量影像数据的存储需求。此外,采用单机计算的模式进行镶嵌数据集的计算,在影像数据量逐渐增大的情况下,存在计算资源不足、计算效率低下的问题。
发明内容
有鉴于此,本发明提供了一种影像数据的分布式存储方法、分析方法及装置,实现对海量影像数据的有效存储和分析。
为了实现上述发明目的,本发明提供的具体技术方案如下:
一种影像数据的分布式存储方法,包括:
在接收到影像数据存储请求的情况下,解析所述影像数据存储请求得到待存储影像数据;
对所述待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储;
将多个所述影像数据块在所述分布式计算集群中的存储路径添加到所述待存储影像数据的元数据中;
根据所述待存储影像数据的元数据创建镶嵌数据集。
可选的,所述方法还包括:
创建所述待存储影像数据对应的影像金字塔;
将所述影像金字塔的存储路径添加到所述镶嵌数据集中。
可选的,所述方法还包括:
在所述待存储影像数据为单波段影像的情况下,在所述镶嵌数据集中设置所述待存储影像数据的无效值,并根据所述镶嵌数据集中每个所述影像数据块的存储路径,采用无效值透明方式批量去除每个所述影像数据块中的无效值;
在所述待存储影像数据为多波段影像的情况下,在所述镶嵌数据集中设置所述待存储影像数据的RGB无效值,确定每个所述影像数据块的裁剪区,得到裁剪子数据集,并采用裁剪显示方式批量读取并裁剪每个所述影像数据块中的裁剪区。
可选的,所述方法还包括:
设置概视图的属性,所述概视图的属性包括:最大宽度、最大高度、相邻两层概视图的分辨率比例、存储路径以及是否去除无效值;
根据所述概视图的属性,构建所述待存储影像数据的概视图;
将所述概视图的属性添加到所述镶嵌数据集中。
可选的,所述方法还包括:
根据所述待存储影像数据的显示范围,计算所述镶嵌数据集中的边界子数据集;
在所述镶嵌数据集对应的待存储影像数据存在新增、删除、更新的情况下,对所述镶嵌数据集中的边界子数据集、裁剪子数据集和轮廓子数据集进行更新,所述轮廓子数据集存储所述影像数据块的存储路径。
一种影像数据的分布式分析方法,所述方法包括:
在接收到影像数据分析请求的情况下,解析所述影像数据分析请求得到待分析影像数据的配置参数和分析方式,所述待分析影像数据预先根据上述实施例公开的影像数据的分布式存储方法存储在分布式计算集群中;
根据所述配置参数中所述待分析影像数据的镶嵌数据集的存储路径,读取所述镶嵌数据集,获取所述镶嵌数据集中的元数据中各个影像数据块在所述分布式计算集群中的存储路径;
根据各个所述影像数据块在所述分布式计算集群中的存储路径,从所述分布式计算集群中以弹性分布式数据集的形式读取各个所述影像数据块;
根据所述配置参数,以弹性分布式数据集的形式在所述分布式计算集群中对各个所述影像数据块进行与所述分析方式相对应的分布式分析,得到所述待分析影像数据的分析结果。
可选的,所述分析方式包括:栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计。
可选的,所述方法还包括:
对所述分析结果进行本地存储或分布式存储。
一种影像数据的分布式存储装置,包括:
存储请求解析单元,用于在接收到影像数据存储请求的情况下,解析所述影像数据存储请求得到待存储影像数据;
分布式存储单元,用于对所述待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储;
存储路径添加单元,用于将多个所述影像数据块在所述分布式计算集群中的存储路径添加到所述待存储影像数据的元数据中;
镶嵌数据集创建单元,用于根据所述待存储影像数据的元数据创建镶嵌数据集。
可选的,所述存储装置还包括:
影像金字塔创建单元,用于创建所述待存储影像数据对应的影像金字塔;将所述影像金字塔的存储路径添加到所述镶嵌数据集中。
可选的,所述存储装置还包括:
单波段无效值去除单元,用于在所述待存储影像数据为单波段影像的情况下,在所述镶嵌数据集中设置所述待存储影像数据的无效值,并根据所述镶嵌数据集中每个所述影像数据块的存储路径,采用无效值透明方式批量去除每个所述影像数据块中的无效值;
多波段无效值去除单元,用于在所述待存储影像数据为多波段影像的情况下,在所述镶嵌数据集中设置所述待存储影像数据的RGB无效值,确定每个所述影像数据块的裁剪区,得到裁剪子数据集,并采用裁剪显示方式批量读取并裁剪每个所述影像数据块中的裁剪区。
可选的,所述装置还包括:
镶嵌数据集维护单元,用于根据所述待存储影像数据的显示范围,计算所述镶嵌数据集中的边界子数据集;在所述镶嵌数据集对应的待存储影像数据存在新增、删除、更新的情况下,对所述镶嵌数据集中的边界子数据集、裁剪子数据集和轮廓子数据集进行更新,所述轮廓子数据集存储所述影像数据块的存储路径。
一种影像数据的分布式分析装置,所述装置包括:
分析请求解析单元,用于在接收到影像数据分析请求的情况下,解析所述影像数据分析请求得到待分析影像数据的配置参数和分析方式,所述待分析影像数据预先根据上述实施例公开的影像数据的分布式存储方法存储在分布式计算集群中;
存储路径读取单元,用于根据所述配置参数中所述待分析影像数据的镶嵌数据集的存储路径,读取所述镶嵌数据集,获取所述镶嵌数据集中的元数据中各个影像数据块在所述分布式计算集群中的存储路径;
影像数据块读取单元,用于根据各个所述影像数据块在所述分布式计算集群中的存储路径,从所述分布式计算集群中以弹性分布式数据集的形式读取各个所述影像数据块;
影像数据分析单元,用于根据所述配置参数,以弹性分布式数据集的形式在所述分布式计算集群中对各个所述影像数据块进行与所述分析方式相对应的分布式分析,得到所述待分析影像数据的分析结果。
可选的,所述分析方式包括:栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计。
可选的,所述分析装置还包括:
分析结果存储单元,用于对所述分析结果进行本地存储或分布式存储。
相对于现有技术,本发明的有益效果如下:
本发明公开的一种影像数据的分布式存储方法和分析方法,将待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储,镶嵌数据集的元数据通过记录影像数据块在分布式计算集群中的存储路径,实现对分布式存储的影像数据的有效管理,由于影像数据在分布式计算集群中进行分布式存储,存储空间可以灵活扩展,能满足海量影像数据的存储需求。同时,利用分布式计算集群的分布式计算能力,能实现以弹性分布式数据集的形式在分布式计算集群中对影像数据进行分布式分析,提高了对影像数据的分析性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种影像数据的分布式存储方法的流程示意图;
图2为本发明实施例公开的一种影像数据的分布式分析方法的流程示意图;
图3为本发明实施例公开的一种影像数据的分布式存储装置的结构示意图;
图4为本发明实施例公开的一种影像数据的分布式分析装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种影像数据的分布式存储方法,可以应用于分布式计算集群中的处理器,请参阅图1,该分布式存储方法具体包括以下步骤:
S101:在接收到影像数据存储请求的情况下,解析影像数据存储请求得到待存储影像数据;
S102:对待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储;
其中,对待存储影像数据进行分块处理还包括格式转换,即将原始影像格式转换为预设格式,以提升影像的显示效率。
S103:将多个影像数据块在分布式计算集群中的存储路径添加到待存储影像数据的元数据中;
S104:根据待存储影像数据的元数据创建镶嵌数据集。
其中,创建镶嵌数据集时,需要指定镶嵌数据集的坐标系,用于影像拼接显示时的坐标系,还需要将待存储影像数据的元数据添加到镶嵌数据集,在添加影像的元数据时,可以同时选择多个影像数据块的元数据批量添加,或指定一个目录,自动将目录下的所有.tif、.img影像的元数据添加进来,添加时,还可以选择是否需要读取影像裁剪区的.shp文件,用于限定影像的有效范围。
进一步,将待存储影像数据进行分布式存储之后,可以进行云优化,为提升影像的显示效率做准备,其中,影像云优化包括创建待存储影像数据对应的影像金字塔。
创建影像金字塔,可以直接对影像创建影像金字塔,也可以通过镶嵌数据集批量对所管理的影像创建影像金字塔。
创建影像金字塔时需要确定影像金字塔的重采样方法,重采样方法可以为最临近法、平均值法、高斯内核法、平均联合数据法。
进一步,还可以分布式优化镶嵌数据集,如去除影像无效值、构建概视图等。
影像中的无效值呈现出黑边或白边,严重影响影像的显示效果。对于去除影像无效值,根据待存储影像数据的类型可以采用不同的去除影像无效值的方法,在待存储影像数据为单波段影像数据的情况下,采用无效值透明方式去除影像无效值,在待存储影像数据为多波段影像数据的情况下,采用裁剪显示方式去除影像无效值。
具体的,对于单波段影像来说,通过在镶嵌数据集中设置待存储影像数据的无效值,并根据镶嵌数据集中每个影像数据块的存储路径,采用无效值透明方式批量去除每个影像数据块中的无效值。
对于多波段影像来说,无效值的值为多波段合成后的RGB值,影像有效值区域中存在与无效值相等的像素值时,需要使用裁剪显示方式去除无效值,通过在镶嵌数据集中设置待存储影像数据的RGB无效值,确定每个影像数据块的裁剪区。默认情况下,裁剪子数据集使用影像轮廓作为其裁剪区,也可以根据影像数据的有效区域自动构建其裁剪区,并更新到裁剪子数据集。对于单幅影像的裁剪区已具有单独的shapefile格式的矢量裁剪数据文件时,通过读取影像的裁剪区,并更新到裁剪子数据集中,可以进行文件裁剪。
在去除影像无效值之后,还可以构建概视图,实现在小比例尺下显示拼接影像,达到全局概览影像的目的。
构建概视图时,需要预先设置概视图的属性,概视图的属性包括:最大宽度、最大高度、相邻两层概视图的分辨率比例、存储路径以及是否去除无效值。然后根据概视图的属性,构建待存储影像数据的概视图。在构建了概视图之后,在概视图输出路径下将产生影像文件,并且在镶嵌数据集中的轮廓子数据集的属性表中添加概视图相关记录,包括概视图的属性、文件名、存储路径、影像文件分辨率等。
进一步,在完成对待存储影像数据的分布式存储之后,还可以对分布式计算集群中的镶嵌数据集进行灵活维护,维护镶嵌数据集包括:重建范围、修复镶嵌数据集路径和新增和移除镶嵌数据集所管理的影像文件。
其中,重建范围是指:在需要展示局部范围的影像时,可以使用镶嵌数据集的边界子数据集快速实现范围重建,镶嵌数据集中的边界子数据集是根据影像数据的显示范围预先计算得到的,边界子数据集控制镶嵌数据集的显示范围,默认基于轮廓构建。
修复镶嵌数据集路径是指:当影像数据存储位置发生变化时,需要用户将发生变化的路径进行重新指定,即可更新轮廓数据集中的影像文件路径。
新增和移除镶嵌数据集所管理的影像文件是指:通过选择影像数据文件或者选择文件夹的方式添加镶嵌数据集所管理的新的影像,影像添加完成后,新添加影像的轮廓、路径、分辨率等数据将自动更新到镶嵌数据集的轮廓子数据集中,同时,边界、裁剪子数据集也会进行自动更新。通过编辑镶嵌数据集的轮廓子数据集实现删除部分影像的操作,支持指定轮廓的方式来移除特定影像,或者构建查询表达式,删除筛选出满足条件的影像轮廓,移除指定影像。
本实施例还支持数据导出功能,通过对镶嵌数据集属性表的属性字段进行筛选,例如影像采集时间、影像层级、影像编号等,得到符合查询条件的目标影像,通过输入具体数值指定空间范围,绘制矩形确定范围或者选择已有的几何对象确定范围,获取与查询范围相交的目标影像。然后指定一个目标影像输出路径,将指定范围内的目标影像文件另存到该输出路径下,实现数据导出。
基于上述实施例公开的一种影像数据的分布式存储方法,本实施例对应公开了一种影像数据的分布式分析方法,用于对采用上述实施例公开的影像数据的分布式存储方法存储的镶嵌数据集进行分析,请参阅图2,该方法具体包括以下步骤:
S201:在接收到影像数据分析请求的情况下,解析影像数据分析请求得到待分析影像数据的配置参数和分析方式。
待分析影像数据的配置参数至少包括镶嵌数据集的存储路径。
分析方式包括栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计等。
S202:根据配置参数中待分析影像数据的镶嵌数据集的存储路径,读取镶嵌数据集,获取镶嵌数据集中的元数据中各个影像数据块在分布式计算集群中的存储路径。
S203:根据各个影像数据块在分布式计算集群中的存储路径,从分布式计算集群中以弹性分布式数据集的形式读取各个影像数据块。
具体的,将各个影像数据块读取到内存中,成为弹性分布式数据集。
S204:根据配置参数,以弹性分布式数据集的形式在分布式计算集群中对各个影像数据块进行与分析方式相对应的分布式分析,得到待分析影像数据的分析结果。
即在内存中以弹性分布式数据集的形式对各个影像数据块进行与分析方式相对应的分布式分析,如栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计等。
分析结果可以存储在本地,也可以分布式存储,可以选择写出成COG格斯或avro格式。
本实施例公开的一种影像数据的分布式存储方法和分析方法,将待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储,镶嵌数据集通过存储包括影像数据块在分布式计算集群中的存储路径的元数据,实现对分布式存储的影像数据的有效管理,由于影像数据在分布式计算集群中进行分布式存储,存储空间可以灵活扩展,能满足海量影像数据的存储需求。同时,利用分布式计算集群的分布式计算能力,能实现以弹性分布式数据集的形式在分布式计算集群中对影像数据进行分布式分析,提高了对影像数据的分析性能。
基于上述实施例公开的一种影像数据的分布式存储方法,本实施例对应公开了一种影像数据的分布式存储装置,请参阅图3,该装置包括:
存储请求解析单元101,用于在接收到影像数据存储请求的情况下,解析所述影像数据存储请求得到待存储影像数据;
分布式存储单元102,用于对所述待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储;
存储路径添加单元103,用于将多个所述影像数据块在所述分布式计算集群中的存储路径添加到所述待存储影像数据的元数据中;
镶嵌数据集创建单元104,用于根据所述待存储影像数据的元数据创建镶嵌数据集。
可选的,所述存储装置还包括:
影像金字塔创建单元,用于创建所述待存储影像数据对应的影像金字塔;将所述影像金字塔的存储路径添加到所述镶嵌数据集中。
可选的,所述存储装置还包括:
单波段无效值去除单元,用于在所述待存储影像数据为单波段影像的情况下,在所述镶嵌数据集中设置所述待存储影像数据的无效值,并根据所述镶嵌数据集中每个所述影像数据块的存储路径,采用无效值透明方式批量去除每个所述影像数据块中的无效值;
多波段无效值去除单元,用于在所述待存储影像数据为多波段影像的情况下,在所述镶嵌数据集中设置所述待存储影像数据的RGB无效值,确定每个所述影像数据块的裁剪区,得到裁剪子数据集,并采用裁剪显示方式批量读取并裁剪每个所述影像数据块中的裁剪区。
可选的,所述装置还包括:
镶嵌数据集维护单元,用于根据所述待存储影像数据的显示范围,计算所述镶嵌数据集中的边界子数据集;在所述镶嵌数据集对应的待存储影像数据存在新增、删除、更新的情况下,对所述镶嵌数据集中的边界子数据集、裁剪子数据集和轮廓子数据集进行更新,所述轮廓子数据集存储所述影像数据块的存储路径。
基于上述实施例公开的一种影像数据的分布式分析方法,本实施例对应公开了一种影像数据的分布式分析装置,请参阅图4,所述装置包括:
分析请求解析单元201,用于在接收到影像数据分析请求的情况下,解析所述影像数据分析请求得到待分析影像数据的配置参数和分析方式,所述待分析影像数据预先根据上述实施例公开的影像数据的分布式存储方法存储在分布式计算集群中;
存储路径读取单元202,用于根据所述配置参数中所述待分析影像数据的镶嵌数据集的存储路径,读取所述镶嵌数据集,获取所述镶嵌数据集中的元数据中各个影像数据块在所述分布式计算集群中的存储路径;
影像数据块读取单元203,用于根据各个所述影像数据块在所述分布式计算集群中的存储路径,从所述分布式计算集群中以弹性分布式数据集的形式读取各个所述影像数据块;
影像数据分析单元204,用于根据所述配置参数,以弹性分布式数据集的形式在所述分布式计算集群中对各个所述影像数据块进行与所述分析方式相对应的分布式分析,得到所述待分析影像数据的分析结果。
可选的,所述分析方式包括:栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计。
可选的,所述分析装置还包括:
分析结果存储单元,用于对所述分析结果进行本地存储或分布式存储。
本实施例公开的一种影像数据的分布式存储装置和分析装置,将待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储,镶嵌数据集通过存储包括影像数据块在分布式计算集群中的存储路径的元数据,实现对分布式存储的影像数据的有效管理,由于影像数据在分布式计算集群中进行分布式存储,存储空间可以灵活扩展,能满足海量影像数据的存储需求。同时,利用分布式计算集群的分布式计算能力,能实现以弹性分布式数据集的形式在分布式计算集群中对影像数据进行分布式分析,提高了对影像数据的分析性能。
上述各个实施例之间可任意组合,对所公开的实施例的上述说明,本说明书中各实施例中记载的特征可以相互替换或者组合,使本领域专业技术人员能够实现或使用本申请。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种影像数据的分布式存储方法,其特征在于,包括:
在接收到影像数据存储请求的情况下,解析所述影像数据存储请求得到待存储影像数据;
对所述待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储;
将多个所述影像数据块在所述分布式计算集群中的存储路径添加到所述待存储影像数据的元数据中;
根据所述待存储影像数据的元数据创建镶嵌数据集。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
创建所述待存储影像数据对应的影像金字塔;
将所述影像金字塔的存储路径添加到所述镶嵌数据集中。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述待存储影像数据为单波段影像的情况下,在所述镶嵌数据集中设置所述待存储影像数据的无效值,并根据所述镶嵌数据集中每个所述影像数据块的存储路径,采用无效值透明方式批量去除每个所述影像数据块中的无效值;
在所述待存储影像数据为多波段影像的情况下,在所述镶嵌数据集中设置所述待存储影像数据的RGB无效值,确定每个所述影像数据块的裁剪区,得到裁剪子数据集,并采用裁剪显示方式批量读取并裁剪每个所述影像数据块中的裁剪区。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
设置概视图的属性,所述概视图的属性包括:最大宽度、最大高度、相邻两层概视图的分辨率比例、存储路径以及是否去除无效值;
根据所述概视图的属性,构建所述待存储影像数据的概视图;
将所述概视图的属性添加到所述镶嵌数据集中。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述待存储影像数据的显示范围,计算所述镶嵌数据集中的边界子数据集;
在所述镶嵌数据集对应的待存储影像数据存在新增、删除、更新的情况下,对所述镶嵌数据集中的边界子数据集、裁剪子数据集和轮廓子数据集进行更新,所述轮廓子数据集存储所述影像数据块的存储路径。
6.一种影像数据的分布式分析方法,其特征在于,所述方法包括:
在接收到影像数据分析请求的情况下,解析所述影像数据分析请求得到待分析影像数据的配置参数和分析方式,所述待分析影像数据预先根据权利要求1所述的影像数据的分布式存储方法存储在分布式计算集群中;
根据所述配置参数中所述待分析影像数据的镶嵌数据集的存储路径,读取所述镶嵌数据集,获取所述镶嵌数据集中的元数据中各个影像数据块在所述分布式计算集群中的存储路径;
根据各个所述影像数据块在所述分布式计算集群中的存储路径,从所述分布式计算集群中以弹性分布式数据集的形式读取各个所述影像数据块;
根据所述配置参数,以弹性分布式数据集的形式在所述分布式计算集群中对各个所述影像数据块进行与所述分析方式相对应的分布式分析,得到所述待分析影像数据的分析结果。
7.根据权利要求6所述的方法,其特征在于,所述分析方式包括:栅格代数运算、地形分析、空间查找、栅格数据处理、影像分析和栅格统计。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述分析结果进行本地存储或分布式存储。
9.一种影像数据的分布式存储装置,其特征在于,包括:
存储请求解析单元,用于在接收到影像数据存储请求的情况下,解析所述影像数据存储请求得到待存储影像数据;
分布式存储单元,用于对所述待存储影像数据进行分块处理,并将分块处理后得到的多个影像数据块在分布式计算集群中进行分布式存储;
存储路径添加单元,用于将多个所述影像数据块在所述分布式计算集群中的存储路径添加到所述待存储影像数据的元数据中;
镶嵌数据集创建单元,用于根据所述待存储影像数据的元数据创建镶嵌数据集。
10.一种影像数据的分析装置,其特征在于,应用于地图显示引擎,所述装置包括:
分析请求解析单元,用于在接收到影像数据分析请求的情况下,解析所述影像数据分析请求得到待分析影像数据的配置参数和分析方式,所述待分析影像数据预先根据权利要求1所述的影像数据的分布式存储方法存储在分布式计算集群中;
存储路径读取单元,用于根据所述配置参数中所述待分析影像数据的镶嵌数据集的存储路径,读取所述镶嵌数据集,获取所述镶嵌数据集中的元数据中各个影像数据块在所述分布式计算集群中的存储路径;
影像数据块读取单元,用于根据各个所述影像数据块在所述分布式计算集群中的存储路径,从所述分布式计算集群中以弹性分布式数据集的形式读取各个所述影像数据块;
影像数据分析单元,用于根据所述配置参数,以弹性分布式数据集的形式在所述分布式计算集群中对各个所述影像数据块进行与所述分析方式相对应的分布式分析,得到所述待分析影像数据的分析结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011604380.1A CN112632303A (zh) | 2020-12-30 | 2020-12-30 | 一种影像数据的分布式存储方法、分析方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011604380.1A CN112632303A (zh) | 2020-12-30 | 2020-12-30 | 一种影像数据的分布式存储方法、分析方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112632303A true CN112632303A (zh) | 2021-04-09 |
Family
ID=75287537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011604380.1A Pending CN112632303A (zh) | 2020-12-30 | 2020-12-30 | 一种影像数据的分布式存储方法、分析方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112632303A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157214A (zh) * | 2021-05-11 | 2021-07-23 | 中煤航测遥感集团有限公司 | 遥感影像展示方法、装置、设备及存储介质 |
CN113852823A (zh) * | 2021-11-30 | 2021-12-28 | 深圳市通恒伟创科技有限公司 | 一种基于物联网的图像数据上传方法、***和装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103475905A (zh) * | 2013-09-25 | 2013-12-25 | 浙江大学 | 云环境下基于网络连接复用的影像数据块高效传输方法 |
CN105630919A (zh) * | 2015-12-22 | 2016-06-01 | 曙光信息产业(北京)有限公司 | 存储方法及*** |
CN108491445A (zh) * | 2018-02-13 | 2018-09-04 | 北京天元创新科技有限公司 | 区域内指标数据的展示方法及*** |
CN109190450A (zh) * | 2018-07-09 | 2019-01-11 | 中科遥感科技集团有限公司 | 基于分布式计算平台的人工智能遥感影像数据提取方法 |
CN109299060A (zh) * | 2018-11-22 | 2019-02-01 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于影像矩形分块的分布式文件方法及*** |
CN109389140A (zh) * | 2017-08-14 | 2019-02-26 | 中国科学院计算技术研究所 | 基于Spark的快速寻找聚类中心的方法和*** |
CN109657080A (zh) * | 2018-09-29 | 2019-04-19 | 中国科学院上海高等研究院 | 高分卫星遥感数据的分布式处理方法/***和介质 |
CN110442444A (zh) * | 2019-06-18 | 2019-11-12 | 中国科学院计算机网络信息中心 | 一种面向海量遥感影像的并行数据访问方法与*** |
CN110968714A (zh) * | 2019-12-23 | 2020-04-07 | 自然资源部国土卫星遥感应用中心 | 一种卫星遥感影像即时服务方法及即时服务平台 |
CN111949817A (zh) * | 2020-09-09 | 2020-11-17 | 中国农业科学院农业信息研究所 | 基于遥感影像的农作物信息展示***、方法、设备及介质 |
-
2020
- 2020-12-30 CN CN202011604380.1A patent/CN112632303A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103475905A (zh) * | 2013-09-25 | 2013-12-25 | 浙江大学 | 云环境下基于网络连接复用的影像数据块高效传输方法 |
CN105630919A (zh) * | 2015-12-22 | 2016-06-01 | 曙光信息产业(北京)有限公司 | 存储方法及*** |
CN109389140A (zh) * | 2017-08-14 | 2019-02-26 | 中国科学院计算技术研究所 | 基于Spark的快速寻找聚类中心的方法和*** |
CN108491445A (zh) * | 2018-02-13 | 2018-09-04 | 北京天元创新科技有限公司 | 区域内指标数据的展示方法及*** |
CN109190450A (zh) * | 2018-07-09 | 2019-01-11 | 中科遥感科技集团有限公司 | 基于分布式计算平台的人工智能遥感影像数据提取方法 |
CN109657080A (zh) * | 2018-09-29 | 2019-04-19 | 中国科学院上海高等研究院 | 高分卫星遥感数据的分布式处理方法/***和介质 |
CN109299060A (zh) * | 2018-11-22 | 2019-02-01 | 华东计算技术研究所(中国电子科技集团公司第三十二研究所) | 基于影像矩形分块的分布式文件方法及*** |
CN110442444A (zh) * | 2019-06-18 | 2019-11-12 | 中国科学院计算机网络信息中心 | 一种面向海量遥感影像的并行数据访问方法与*** |
CN110968714A (zh) * | 2019-12-23 | 2020-04-07 | 自然资源部国土卫星遥感应用中心 | 一种卫星遥感影像即时服务方法及即时服务平台 |
CN111949817A (zh) * | 2020-09-09 | 2020-11-17 | 中国农业科学院农业信息研究所 | 基于遥感影像的农作物信息展示***、方法、设备及介质 |
Non-Patent Citations (2)
Title |
---|
KIKITA: "为影像数据去除无效值", 《HTTPS://BLOG.CSDN.NET/KIKITAMOON/ARTICLE/DETAILS/50625033》, pages 1 - 4 * |
韩建平: "地理国情监测数据库管理***设计与实现", 《地理空间信息》, pages 39 - 42 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157214A (zh) * | 2021-05-11 | 2021-07-23 | 中煤航测遥感集团有限公司 | 遥感影像展示方法、装置、设备及存储介质 |
CN113157214B (zh) * | 2021-05-11 | 2024-01-26 | 中煤航测遥感集团有限公司 | 遥感影像展示方法、装置、设备及存储介质 |
CN113852823A (zh) * | 2021-11-30 | 2021-12-28 | 深圳市通恒伟创科技有限公司 | 一种基于物联网的图像数据上传方法、***和装置 |
CN113852823B (zh) * | 2021-11-30 | 2022-03-01 | 深圳市通恒伟创科技有限公司 | 一种基于物联网的图像数据上传方法、***和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111723221B (zh) | 基于分布式架构的海量遥感数据处理方法及*** | |
CN110442444B (zh) | 一种面向海量遥感影像的并行数据访问方法与*** | |
CN112115198B (zh) | 一种城市遥感智能服务平台 | |
CN111862292B (zh) | 输电线路走廊的数据渲染方法、装置和计算机设备 | |
Rieg et al. | Data infrastructure for multitemporal airborne LiDAR point cloud analysis–Examples from physical geography in high mountain environments | |
CN111949817B (zh) | 基于遥感影像的农作物信息展示***、方法、设备及介质 | |
CN110647596B (zh) | 地图数据处理方法和装置 | |
Psomadaki | Using a space filling curve for the management of dynamic point cloud data in a relational DBMS | |
CN112579677B (zh) | 一种卫星遥感影像自动处理方法 | |
CN112632303A (zh) | 一种影像数据的分布式存储方法、分析方法及装置 | |
US10818083B1 (en) | Pyramid generation via depth-first walk | |
CN116502317B (zh) | 水利水电工程多源数据融合方法及终端设备 | |
CN115114356B (zh) | 一种基于矢量数据前端展示的实时脱密化方法 | |
CN114820975A (zh) | 基于全要素参数符号化的三维场景仿真重构***及方法 | |
CN103678682A (zh) | 基于抽象模板的海量栅格数据处理及管理方法 | |
Yan et al. | An improved coverage-oriented retrieval algorithm for large-area remote sensing data | |
CN113722518A (zh) | 基于遥感影像元数据的存储方法、检索方法、设备及介质 | |
Angelo | A brief introduction to quadtrees and their applications | |
Liu et al. | A remote sensing data management system for sea area usage management in China | |
CN114677468B (zh) | 基于逆向建模的模型修正方法、装置、设备和存储介质 | |
CN114020825A (zh) | 基于WebGIS的煤矿井下矿图可视化方法 | |
CN112966041A (zh) | 数据处理方法、装置、设备及存储介质 | |
CN112988836A (zh) | 数字征迁空间数据管理方法 | |
KR101028767B1 (ko) | 지리 영상정보 갱신방법 | |
CN111179378A (zh) | 一种可用于webGIS的全球电力气象图集绘图方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |