CN107423431A - 一种基于分布式文件***的遥感数据存储方法及*** - Google Patents
一种基于分布式文件***的遥感数据存储方法及*** Download PDFInfo
- Publication number
- CN107423431A CN107423431A CN201710656126.8A CN201710656126A CN107423431A CN 107423431 A CN107423431 A CN 107423431A CN 201710656126 A CN201710656126 A CN 201710656126A CN 107423431 A CN107423431 A CN 107423431A
- Authority
- CN
- China
- Prior art keywords
- data
- access
- remote sensing
- hbase
- mongodb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种基于分布式文件***的遥感数据存储方法及***,本发明方法通过建立面向遥感应用的分布式存储框架,存储遥感原始影像数据及元数据和切片数据,并定义两个访问接口,分别为MongoDB访问接口和HDFS/Hbase直接访问接口,可以兼容现有的遥感数据处理平台。通过本发明的方法,实现了多种类型遥感数据的分布式存储,并且提供了访问接口实现对遥感数据的访问和处理。
Description
技术领域
本发明涉及遥感影像存储技术领域,特别涉及一种基于分布式文件***的遥感数据存储方法及***。
背景技术
当前存在的基于分布式文件***的遥感数据存储体系大多属于对现有***的简单拼凑,缺乏主流大数据处理框架的支撑,给遥感数据的处理带来了诸多不便。同时,由于遥感数据本身包含诸多类型数据,现有的分布式文件***无法直接对于多种类型的遥感数据进行存储,也缺乏统一的接口对多种类型数据进行管理,给用户的使用带来的较大不便。
发明内容
为了解决上述问题,本发明公开了一种基于分布式文件***的遥感数据存储方法及***,通过组合使用HDFS/Hbase和MongoDB,实现了多种类型遥感数据的分布式存储,并且提供了访问接口以实现Hadoop/Spark平台对遥感数据的访问和处理。
本发明通过如下方法实现:一种基于分布式文件***的遥感数据存储方法,包括:
使用HDFS存储遥感原始影像数据,使用HBase存储遥感元数据和切片数据,构建遥感数据分布式存储框架,具体为:
使用HDFS,在多个DataNode节点中存储遥感原始影像数据;
选择image_scale参数或由auto_scale()函数自动确定切图大小,使用GDAL库进行分布式切图;
采用改进的Hilbert编码方式,扩充Hilbert编码为等长编码并定义为rowkey,所述rowkey为HBase索引;
使用format_file()函数,实现切片数据的并行入库;
使用put命令,实现遥感元数据的入库操作;
定义分布式访问接口:所述分布式访问接口分别为MongoDB访问接口和HDFS/Hbase直接访问接口,所述分布式访问接口的访问方式具体为:
判断是否满足isMDB或isHDB状态之一,如果是,则进一步判断,否则数据写入本地磁盘;
进一步判断是否满足isHDB状态,如果是,则调用接口IHdfsOut(),实现数据访问;否则,调用函数mongo_convert(),将数据缓存到MongoDB,调用IMongoOut()接口实现数据访问。
所述的方法中,所述image_scale参数用于确定切图大小参数,所述切图大小参数包括:128x128,256x256,512x512,1024x1024;所述auto_scale()函数用于自动确定切图大小;
所述format_file()函数用于序列化切图文件并入库;所述put命令用于在表中添加一行文本数据。
所述的方法中,所述isMDB状态为允许MongoDB库访问状态;所述isHDB状态为允许直接访问HDFS/HBase状态。
所述的方法中,所述IHdfsOut()用于实现基于HDFS/HBase数据的访问;
所述mongo_convert()用于实现HBase中遥感影像数据到MongoDB文档数据库的存储和HBase中遥感元数据到MongoDB的存储;
所述IMongoOut()用于实现基于MongoDB的数据访问。
所述的方法中,所述扩充Hilbert编码为等长编码具体为:扩充字符及Hilbert编码,其中扩充字符均使用1填充,扩充长度为2切图块数-Length(Hilbert),扩充完成后的编码为2切图块数。
本发明还提出一种存储***:一种基于分布式文件***的遥感数据存储***,包括:
遥感数据分布式存储框架:使用HDFS存储遥感原始影像数据,使用HBase存储遥感元数据和切片数据,构建遥感数据分布式存储框架,具体为:
遥感原始影像数据存储模块,用于使用HDFS,在多个DataNode节点中存储遥感原始影像数据;
遥感元数据及切片数据存储模块:选择image_scale参数或由auto_scale()函数自动确定切图大小,使用GDAL库进行分布式切图;
采用改进的Hilbert编码方式,扩充Hilbert编码为等长编码并定义为rowkey,所述rowkey为HBase索引;
使用format_file()函数,实现切片数据的并行入库;
使用put命令,实现遥感元数据的入库操作;
分布式访问接口:所述分布式访问接口分别为MongoDB访问接口和HDFS/Hbase直接访问接口;
判断是否满足isMDB或isHDB状态之一,如果是,则进一步判断,否则数据写入本地磁盘;
进一步判断是否满足isHDB状态,如果是,则调用接口IHdfsOut(),实现数据访问;否则,调用函数mongo_convert(),将数据缓存到MongoDB,调用IMongoOut()接口实现数据访问。
所述的***中,所述image_scale参数用于确定切图大小参数,所述切图大小参数包括:128x128,256x256,512x512,1024x1024;所述auto_scale()函数用于自动确定切图大小;
所述format_file()函数用于序列化切图文件并入库;所述put命令用于在表中添加一行文本数据。
所述的***中,所述isMDB状态为允许MongoDB库访问状态;所述isHDB状态为允许直接访问HDFS/HBase状态。
所述的***中,所述IHdfsOut()用于实现基于HDFS/HBase数据的访问;
所述mongo_convert()用于实现HBase中遥感影像数据到MongoDB文档数据库的存储和HBase中遥感元数据到MongoDB的存储;
所述IMongoOut()用于实现基于MongoDB的数据访问。
所述的***中,所述扩充Hilbert编码为等长编码具体为:扩充字符及Hilbert编码,其中扩充字符均使用1填充,扩充长度为2切图块数-Length(Hilbert),扩充完成后的编码为2切图块数。
本发明优势在于可以实现多种类型遥感数据的分布式存储,并且由于现有的遥感数据处理平台大多不支持直接访问,因此本***实现了允许进行HDFS/HBase到MongoDB的数据交换,实现数据访问。
本发明提出一种基于分布式文件***的遥感数据存储方法及***,本发明方法通过建立面向遥感应用的分布式存储框架,存储遥感原始影像数据及元数据和切片数据,并定义两个访问接口,分别为MongoDB访问接口和HDFS/Hbase直接访问接口,可以兼容现有的遥感数据处理平台。通过本发明的方法,实现了多种类型遥感数据的分布式存储,并且提供了访问接口实现对遥感数据的访问和处理。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一种基于分布式文件***的遥感数据存储方法中构建遥感数据分布式存储框架实施例流程图;
图2为一种基于分布式文件***的遥感数据存储方法中分布式访问接口的访问方式实施例流程图;
图3为一种基于分布式文件***的遥感数据存储***结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明中技术方案作进一步详细的说明。
本发明公开了一种基于分布式文件***的遥感数据存储方法及***,该过组合使用HDFS/Hbase和MongoDB,实现了多种类型遥感数据的分布式存储,并且提供了访问接口以实现Hadoop/Spark平台对遥感数据的访问和处理。
本发明通过如下方法实现:一种基于分布式文件***的遥感数据存储方法,包括:
使用HDFS存储遥感原始影像数据,使用HBase存储遥感元数据和切片数据,构建遥感数据分布式存储框架,如图1所示,具体为:
S101:使用HDFS,在多个DataNode节点中存储遥感原始影像数据;
S102:选择image_scale参数或由auto_scale()函数自动确定切图大小,使用GDAL库进行分布式切图;
S103:采用改进的Hilbert编码方式,扩充Hilbert编码为等长编码并定义为rowkey,所述rowkey为HBase索引;
S104:使用format_file()函数,实现切片数据的并行入库;
S105:使用put命令,实现遥感元数据的入库操作;
所述put命令语法为:
put<table>,<rowkey>,<family:column>,<value>,<timestamp>。其中table指需要***的表,rowkey为索引,value为值,timestamp为时间戳。
对步骤做更细致说明:遥感元数据为遥感图像的解释数据,包括了遥感图像的采集时间,大小,卫星和传感器,采集地区等信息。这些信息对解释遥感数据十分重要。此处table为rs_data表,保存遥感元数据。rowkey与HDFS存储的遥感元数据key一致。column为元数据类型,value为元数据值。
定义分布式访问接口:所述分布式访问接口分别为MongoDB访问接口和HDFS/Hbase直接访问接口,所述分布式访问接口的访问方式如图2所示,具体为:
S201:判断是否满足isMDB或isHDB状态之一,如果是,则进一步判断,否则数据写入本地磁盘;
S202:进一步判断是否满足isHDB状态,如果是,则执行S203,否则,执行S204;
S203:调用接口IHdfsOut(),实现数据访问;
S204:调用函数mongo_convert(),将数据缓存到MongoDB,调用IMongoOut()接口实现数据访问。
由于现有的遥感数据处理平台大多不支持直接访问HDFS/HBase,因此本***允许进行HDFS/HBase到MongoDB的数据交换。
IHdfsOut()与IMongoOut()接口均定义在Output.java中。mongo_convert()函数定义在Output.cpp中。该函数的map过程相关代码如下:
public void map(Text key,Text value,Context context)throwsIOException,InterruptedException{
String[]fields=value.toString().split("\t");
String type=fields[0];
String value=fields[1];
String time=fields[2];
BSONObject b=new BasicBSONObject();
b.put("type",type);
b.put("date",date);
b.put("time",time);
context.write(new ObjectId(),b);
}
所述的方法中,所述image_scale参数用于确定切图大小参数,由用户进行选择,所述切图大小参数包括:128x128,256x256,512x512,1024x1024,遥感图像切图大小一般根据原始影像数据大小选择为128x128,256x256,512x512,1024x1024四种,以满足不同分辨率图像的读取需求;所述auto_scale()函数用于自动确定切图大小;
auto_scale()函数根据原始影像数据大小和所需分辨率确定切图大小。若不指定所需分辨率,则auto_scale()自动取当前原始影像数据允许的最大值。考虑到有时候用户需要特定大小的切图数据,***也允许用户自行指定image_scale参数值。
auto_scale()函数定义在scale.java文件中,相关函数代码如下:
level1-4为原始影像大小与所需分辨率大小比例的分界值。一旦计算得的比例值在某一区间内,则返回相应的image_scale值。***默认值为1024,用于不指定所需分辨率时的取值。
所述format_file()函数用于序列化切图文件并入库;所述put命令用于在表中添加一行文本数据。
所述的方法中,所述isMDB状态为允许MongoDB库访问状态;所述isHDB状态为允许直接访问HDFS/HBase状态。
所述的方法中,所述IHdfsOut()用于实现基于HDFS/HBase数据的访问;
所述mongo_convert()用于实现HBase中遥感影像数据到MongoDB文档数据库的存储和HBase中遥感元数据到MongoDB的存储;
所述IMongoOut()用于实现基于MongoDB的数据访问。
所述的方法中,所述扩充Hilbert编码为等长编码具体为:扩充字符及Hilbert编码,其中扩充字符均使用1填充,扩充长度为2切图块数-Length(Hilbert),扩充完成后的编码为2切图块数。该方式用以保证编码可以容纳所有的切图块。
本发明还提出一种存储***:一种基于分布式文件***的遥感数据存储***,如图3所示,包括:
遥感数据分布式存储框架100:使用HDFS存储遥感原始影像数据,使用HBase存储遥感元数据和切片数据,构建遥感数据分布式存储框架,具体为:
遥感原始影像数据存储模块110,用于使用HDFS,在多个DataNode节点中存储遥感原始影像数据;
遥感元数据及切片数据存储模块120:选择image_scale参数或由auto_scale()函数自动确定切图大小,使用GDAL库进行分布式切图;
采用改进的Hilbert编码方式,扩充Hilbert编码为等长编码并定义为rowkey,所述rowkey为HBase索引;
使用format_file()函数,实现切片数据的并行入库;
使用put命令,实现遥感元数据的入库操作;
分布式访问接口200:所述分布式访问接口分别为MongoDB访问接口210和HDFS/Hbase直接访问接口220;
判断是否满足isMDB或isHDB状态之一,如果是,则进一步判断,否则数据写入本地磁盘;
进一步判断是否满足isHDB状态,如果是,则调用接口IHdfsOut(),实现数据访问;否则,调用函数mongo_convert(),将数据缓存到MongoDB,调用IMongoOut()接口实现数据访问。
所述的***中,所述image_scale参数用于确定切图大小参数,所述切图大小参数包括:128x128,256x256,512x512,1024x1024;所述auto_scale()函数用于自动确定切图大小;
所述format_file()函数用于序列化切图文件并入库;所述put命令用于在表中添加一行文本数据。
所述的***中,所述isMDB状态为允许MongoDB库访问状态;所述isHDB状态为允许直接访问HDFS/HBase状态。
所述的***中,所述IHdfsOut()用于实现基于HDFS/HBase数据的访问;
所述mongo_convert()用于实现HBase中遥感影像数据到MongoDB文档数据库的存储和HBase中遥感元数据到MongoDB的存储;
所述IMongoOut()用于实现基于MongoDB的数据访问。
所述的***中,所述扩充Hilbert编码为等长编码具体为:扩充字符及Hilbert编码,其中扩充字符均使用1填充,扩充长度为2切图块数-Length(Hilbert),扩充完成后的编码为2切图块数。
本发明优势在于可以实现多种类型遥感数据的分布式存储,并且由于现有的遥感数据处理平台大多不支持直接访问,因此本***实现了允许进行HDFS/HBase到MongoDB的数据交换,实现数据访问。
本发明提出一种基于分布式文件***的遥感数据存储方法及***,本发明方法通过建立面向遥感应用的分布式存储框架,存储遥感原始影像数据及元数据和切片数据,并定义两个访问接口,分别为MongoDB访问接口和HDFS/Hbase直接访问接口,可以兼容现有的遥感数据处理平台。通过本发明的方法,实现了多种类型遥感数据的分布式存储,并且提供了访问接口实现对遥感数据的访问和处理。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。虽然通过实施例描绘了本发明,本领域普通技术人员知道,本发明有许多变形和变化而不脱离本发明的精神,希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。
Claims (10)
1.一种基于分布式文件***的遥感数据存储方法,其特征在于,包括:
使用HDFS存储遥感原始影像数据,使用HBase存储遥感元数据和切片数据,构建遥感数据分布式存储框架,具体为:
使用HDFS,在多个DataNode节点中存储遥感原始影像数据;
选择image_scale参数或由auto_scale()函数自动确定切图大小,使用GDAL库进行分布式切图;
采用改进的Hilbert编码方式,扩充Hilbert编码为等长编码并定义为rowkey,所述rowkey为HBase索引;
使用format_file()函数,实现切片数据的并行入库;
使用put命令,实现遥感元数据的入库操作;
定义分布式访问接口:所述分布式访问接口分别为MongoDB访问接口和HDFS/Hbase直接访问接口,所述分布式访问接口的访问方式具体为:
判断是否满足isMDB或isHDB状态之一,如果是,则进一步判断,否则数据写入本地磁盘;
进一步判断是否满足isHDB状态,如果是,则调用接口IHdfsOut(),实现数据访问;否则,调用函数mongo_convert(),将数据缓存到MongoDB,调用IMongoOut()接口实现数据访问。
2.如权利要求1所述的方法,其特征在于,所述image_scale参数用于确定切图大小参数,所述切图大小参数包括:128x128,256x256,512x512,1024x1024;所述auto_scale()函数用于自动确定切图大小;
所述format_file()函数用于序列化切图文件并入库;所述put命令用于在表中添加一行文本数据。
3.如权利要求1所述的方法,其特征在于,所述isMDB状态为允许MongoDB库访问状态;所述isHDB状态为允许直接访问HDFS/HBase状态。
4.如权利要求1所述的方法,其特征在于,所述IHdfsOut()用于实现基于HDFS/HBase数据的访问;
所述mongo_convert()用于实现HBase中遥感影像数据到MongoDB文档数据库的存储和HBase中遥感元数据到MongoDB的存储;
所述IMongoOut()用于实现基于MongoDB的数据访问。
5.如权利要求1所述的方法,其特征在于,所述扩充Hilbert编码为等长编码具体为:扩充字符及Hilbert编码,其中扩充字符均使用1填充,扩充长度为2切图块数-Length(Hilbert),扩充完成后的编码为2切图块数。
6.一种基于分布式文件***的遥感数据存储***,其特征在于,包括:
遥感数据分布式存储框架:使用HDFS存储遥感原始影像数据,使用HBase存储遥感元数据和切片数据,构建遥感数据分布式存储框架,具体为:
遥感原始影像数据存储模块,用于使用HDFS,在多个DataNode节点中存储遥感原始影像数据;
遥感元数据及切片数据存储模块:选择image_scale参数或由auto_scale()函数自动确定切图大小,使用GDAL库进行分布式切图;
采用改进的Hilbert编码方式,扩充Hilbert编码为等长编码并定义为rowkey,所述rowkey为HBase索引;
使用format_file()函数,实现切片数据的并行入库;
使用put命令,实现遥感元数据的入库操作;
分布式访问接口:所述分布式访问接口分别为MongoDB访问接口和HDFS/Hbase直接访问接口;
判断是否满足isMDB或isHDB状态之一,如果是,则进一步判断,否则数据写入本地磁盘;
进一步判断是否满足isHDB状态,如果是,则调用接口IHdfsOut(),实现数据访问;否则,调用函数mongo_convert(),将数据缓存到MongoDB,调用IMongoOut()接口实现数据访问。
7.如权利要求6所述的***,其特征在于,所述image_scale参数用于确定切图大小参数,所述切图大小参数包括:128x128,256x256,512x512,1024x1024;所述auto_scale()函数用于自动确定切图大小;
所述format_file()函数用于序列化切图文件并入库;所述put命令用于在表中添加一行文本数据。
8.如权利要求6所述的***,其特征在于,所述isMDB状态为允许MongoDB库访问状态;所述isHDB状态为允许直接访问HDFS/HBase状态。
9.如权利要求6所述的***,其特征在于,所述IHdfsOut()用于实现基于HDFS/HBase数据的访问;
所述mongo_convert()用于实现HBase中遥感影像数据到MongoDB文档数据库的存储和HBase中遥感元数据到MongoDB的存储;
所述IMongoOut()用于实现基于MongoDB的数据访问。
10.如权利要求6所述的***,其特征在于,所述扩充Hilbert编码为等长编码具体为:扩充字符及Hilbert编码,其中扩充字符均使用1填充,扩充长度为2切图块数-Length(Hilbert),扩充完成后的编码为2切图块数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710656126.8A CN107423431A (zh) | 2017-08-03 | 2017-08-03 | 一种基于分布式文件***的遥感数据存储方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710656126.8A CN107423431A (zh) | 2017-08-03 | 2017-08-03 | 一种基于分布式文件***的遥感数据存储方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107423431A true CN107423431A (zh) | 2017-12-01 |
Family
ID=60437310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710656126.8A Pending CN107423431A (zh) | 2017-08-03 | 2017-08-03 | 一种基于分布式文件***的遥感数据存储方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107423431A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086649A (zh) * | 2018-05-29 | 2018-12-25 | 国网新疆电力有限公司信息通信公司 | 卫星遥感图像水体识别方法 |
CN109710572A (zh) * | 2018-12-29 | 2019-05-03 | 北京赛思信安技术股份有限公司 | 一种基于HBase的文件分片方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103281376A (zh) * | 2013-05-31 | 2013-09-04 | 武汉大学 | 一种云环境下海量时序遥感影像的自动缓存构建方法 |
CN103595791A (zh) * | 2013-11-14 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 一种海量遥感数据的云存取方法 |
CN104331453A (zh) * | 2014-10-30 | 2015-02-04 | 北京思特奇信息技术股份有限公司 | 一种分布式文件***及分布式文件***的构建方法 |
CN104820714A (zh) * | 2015-05-20 | 2015-08-05 | 国家电网公司 | 基于hadoop的海量瓦片小文件存储管理方法 |
US9171042B1 (en) * | 2013-02-25 | 2015-10-27 | Emc Corporation | Parallel processing database tree structure |
-
2017
- 2017-08-03 CN CN201710656126.8A patent/CN107423431A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9171042B1 (en) * | 2013-02-25 | 2015-10-27 | Emc Corporation | Parallel processing database tree structure |
CN103281376A (zh) * | 2013-05-31 | 2013-09-04 | 武汉大学 | 一种云环境下海量时序遥感影像的自动缓存构建方法 |
CN103595791A (zh) * | 2013-11-14 | 2014-02-19 | 中国科学院深圳先进技术研究院 | 一种海量遥感数据的云存取方法 |
CN104331453A (zh) * | 2014-10-30 | 2015-02-04 | 北京思特奇信息技术股份有限公司 | 一种分布式文件***及分布式文件***的构建方法 |
CN104820714A (zh) * | 2015-05-20 | 2015-08-05 | 国家电网公司 | 基于hadoop的海量瓦片小文件存储管理方法 |
Non-Patent Citations (2)
Title |
---|
张晓兵: "基于HBase的弹性可视化遥感影像存储***", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
赵鹏举 等: "一种基于地理信息元数据标准的空间索引体系", 《科技导报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109086649A (zh) * | 2018-05-29 | 2018-12-25 | 国网新疆电力有限公司信息通信公司 | 卫星遥感图像水体识别方法 |
CN109710572A (zh) * | 2018-12-29 | 2019-05-03 | 北京赛思信安技术股份有限公司 | 一种基于HBase的文件分片方法 |
CN109710572B (zh) * | 2018-12-29 | 2021-02-02 | 北京赛思信安技术股份有限公司 | 一种基于HBase的文件分片方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI695260B (zh) | 區塊資料校驗方法和裝置 | |
US8099421B2 (en) | File system, and method for storing and searching for file by the same | |
US8649427B2 (en) | Image processor, image generator and computer program | |
CN102446184B (zh) | 一种基于时间序列的工业数据存储及索引方法 | |
CN110096507A (zh) | 一种页面复杂表格渲染方法、***、终端及介质 | |
CN104750859A (zh) | 一种网络存储方法 | |
CN103037344B (zh) | 一种话单去重方法及装置 | |
CN100507921C (zh) | 一种嵌入式***中的文字显示方法及*** | |
CN107423431A (zh) | 一种基于分布式文件***的遥感数据存储方法及*** | |
CN106095923A (zh) | 一种在有序榜单中添加上榜数据的方法及*** | |
CN103067441A (zh) | 一种图片分享的方法、装置和设备 | |
CN105354236A (zh) | 一种对账信息生成方法及*** | |
CN111639120B (zh) | 一种架构视图的成图方法、装置、设备及可读存储介质 | |
JP2004536481A (ja) | 構造化文書の木構造におけるパスの符号化および復号化方法 | |
CN107943455A (zh) | 一种基于json数据格式的表单渲染*** | |
CN110969000B (zh) | 数据合并的处理方法及装置 | |
CN114239535A (zh) | 一种基于网页页面的Word文档自动生成方法及*** | |
CN103761194B (zh) | 一种内存管理方法及装置 | |
CN110019636A (zh) | 一种gis瓦片地图的存储方式 | |
CN109344412A (zh) | 一种语言转换方法、装置、设备及存储介质 | |
CN109002505A (zh) | 一种目标字符串的显示方法及相关装置 | |
US20060188167A1 (en) | Encoding device and method, decoding device and method, program, and recording medium | |
JP4821287B2 (ja) | 構造化文書の符号化方法、符号化装置、符号化プログラム、復号装置及び符号化された構造化文書のデータ構造 | |
CN101639846A (zh) | 供用户自定义字体的方法 | |
CN115080563A (zh) | 数据捕获方法、装置、***、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171201 |
|
RJ01 | Rejection of invention patent application after publication |