CN117093541A - 一种遥感数据的数据提取和归档*** - Google Patents

Abstract

本发明提供了一种遥感数据的数据提取和归档***，所述***包括：目标遥感数据、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：当接收到目标遥感数据的归档指令时，将目标遥感数据归档于目标磁带中，当接收到目标遥感数据的提取指令时，从所述目标磁带中提取目标数据，提高了工作效率。

Description

一种遥感数据的数据提取和归档***

技术领域

本发明涉及数据处理技术领域，特别是涉及一种遥感数据的数据提取和归档***。

背景技术

遥感技术是从远距离感知目标反射或自身辐射的电磁波、可见光、红外线，对目标进行探测和识别的技术。在遥感卫星影像数据提取领域，经过数据录入处理生成的长条带数据，一般其图像的覆盖范围在几千到几万平方公里，单个文件在十几GB甚至上百GB。在现有的卫星影像数据提取领域中，技术核心就是将整个卫星影像数据提取到存储上然后进行后续的数据处理业务。

在现有的技术中，当需要对数据进行提取时，需要将整个长条带数据文件进行恢复，之后才能进行卫星标准产品的处理，此种处理方式增加了数据提取的时间。

发明内容

针对上述技术问题，本发明采用的技术方案为：

一种遥感数据的数据提取和归档***，***包括：目标遥感数据、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：

S100，当接收到目标遥感数据的归档指令时，将目标遥感数据归档于目标磁带中；

S200，当接收到目标遥感数据的提取指令时，从所述目标磁带中提取目标数据；

S200步骤中还包括如下步骤：

S201，获取待提取数据ID和待提取数据ID对应的提取信息B＝{B₁，B₂，B₃}，其中，B₁是指待提取数据ID对应的起始帧的位置，B₂是指待提取数据ID对应的结束帧的位置，B₃是指待提取数据ID对应的帧长度；

S202，当目标遥感数据的存储状态为离线存储时，获取目标磁带中每一存储块的存储容量D₀；

S203，根据D₀，获取所述待提取数据ID对应的中间提取信息D＝{D₁，D₂，D₃}，D₁是指待提取数据ID对应的起始存储块位置，D₂是指待提取数据ID对应的存储块偏移量，D₃是指待提取数据ID对应的提取数据长度；

其中，D₁符合如下条件：

c为B₁处于目标磁带中的存储块位置；

进一步的，D2符合如下条件：

mod((((B₁-1)*B₃+a0+1)+c*D₀+D₀)，D₀)，mod()为取余函数；

进一步的，D₃符合如下条件：

D₃＝(B₂-B₁+1)*B₃；

S204，从所述目标磁带中提取符合D₁、D₂和D₃的遥感数据作为目标数据。

本发明至少具有以下有益效果：

磁带是按照存储块进行顺序存储和读取的存储介质，因此从目标磁带上提取目标数据时需要考虑到存储块的大小。目标磁带的存储块的大小为D₀，指一个存储块中能够存储的字节总数为D₀。当需要对目标磁带进行切取时，首先计算出待提取数据ID对应的数据的起始帧在目标磁带中的存储块的位置D₁，之后计算得到待提取数据ID对应的数据的起始帧在起始存储块内的位置，接着计算得到待提取数据ID对应的数据长度D₃。最后根据D₁、D₂、D₃对目标磁带上的数据进行提取，得到目标数据，从而实现目标数据的精确提取，无需将目标磁带上的数据全部恢复之后再对目标数据进行提取，从而减少了工作步骤，提高了工作效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种遥感数据的数据提取和归档***流程图。

图2为本发明的另一实施例的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种遥感数据的数据提取和归档***，所述***包括：目标遥感数据、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤，如图1所示：

S100，当接收到目标遥感数据的归档指令时，将目标遥感数据归档于目标磁带中。

具体的，所述目标遥感数据是指存储于在线存储介质中的长条带数据；可以理解为：长条带数据是通过遥感卫星在进行遥感观测时获取到的数据。

具体的，所述归档指令是指将目标遥感数据从在线存储介质中归档至磁带中的指令。

具体的，在S100步骤中还包括如下步骤：

S101，获取所述目标遥感数据对应的目标归档信息列表A＝{A₁，A₂，……，A_i，……A_n}，Ai＝{A_i ¹，A_i ²，A_i ³}，A_i ¹是指所述目标遥感数据中第i个目标帧数据对应的元数据中起始字节位置，A_i ²是指所述目标遥感数据中第i个目标帧数据对应的元数据中帧长度，A_i ³是指所述目标遥感数据中第i个目标帧数据对应的元数据中归档标识，i＝1……n，n为目标遥感数据中目标帧数据的总帧数。

进一步的，A_i ¹符合如下条件：

A_i ¹＝a+(b_i-1)*A_i ²，其中，a是指帧头长度，b_i是指目标遥感数据中第i个目标帧数据的起始帧在长条带数据中的位置。

具体的，所述A_i ²均相等。

上述，当将目标遥感数据从在线存储介质归档到磁带中时，同时获取目标遥感数据对应的目标归档信息列表A，A_i中目标遥感数据第i个目标帧对应的元数据的起始字节位置、元数据的帧长度以及对应的归档标识。当需要对磁带中的目标遥感数据进行恢复时，通过读取目标归档信息列表，可获知每个目标帧数据对应元数据的起始字节位置和帧长度，从而便于对目标帧数据对应的元数据进行恢复。

进一步的，所述归档标识的类型是哈希值，本领域技术人员知晓现有技术中任一获取数据哈希值的方法，均落入到本发明的保护范围，在此不再赘述；其中获取数据哈希值的方法可采用MD5化方法。

S102，将A_i存入至第一中间文件中，可以理解为：所述第一中间文件是指用于存储目标帧数据对应的元数据的文件。

进一步的，所述第一中间文件的格式为xml格式。

S103，当A_i对应的目标帧数据作为待帧数据时，从A中获取待帧数据对应的中间归档信息列表A0＝{A₁，A₂，……，A_r，……，A_i-1}，A_r是指第r个中间归档信息，所述中间归档信息是指待帧数据对应的归档信息。

S104，当A_r ³＝A_i ³时，A_r对应的指针信息归档于目标磁带中。

S105，当A_r ³≠A_i ³时，将A_i对应的第一中间文件归档于目标磁带中。

上述，哈希值能够通过算法将长度较长的数据转化成长度较短、固定且不易重复的字符串，当将A_i存入至第一中间文件中时，首先判断A_i的归档标识是否与之前的目标帧对应的元数据的归档标识相同。若该归档标识与前述任一元数据的归档标识相同，则只将该元数据对应的指针信息存入到目标磁带中，无需将全部信息存入至目标磁带，从而减少了对目标磁带空间的占用。当需要对该目标帧数据对应的元数据进行恢复时，从过读取指针信息便可寻找到与A_i相同的A_r，不会对A_i的恢复产生影响。

S200，当接收到目标遥感数据的提取指令时，从所述目标磁带中提取目标数据。

具体的，所述提取指令是指将从磁带中提取出用户需求的遥感数据的指令。

具体的，在S200步骤中还包括如下步骤：

S201，获取待提取数据ID和待提取数据ID对应的提取信息B＝{B₁，B₂，B₃}，其中，B₁是指待提取数据ID对应的起始帧的位置，B₂是指待提取数据ID对应的结束帧的位置，B₃是指待提取数据ID对应的帧长度。

进一步的，所述待提取数据ID是指待提取数据的唯一标识，其中，所述待提取数据是指用户需提取的遥感数据，例如，所述待提取数据ID为待提取数据名称。

S202，当目标遥感数据的存储状态为离线存储时，获取目标磁带中每一存储块的存储容量D₀。

S203，根据D₀，获取所述待提取数据ID对应的中间提取信息D＝{D₁，D₂，D₃}，D₁是指待提取数据ID对应的起始存储块位置，D₂是指待提取数据ID对应的存储块偏移量，D₃是指待提取数据ID对应的提取数据长度。

进一步的，D₁符合如下条件：

c为B₁处于目标磁带中的存储块位置。

进一步的，D2符合如下条件：

mod((((B₁-1)*B₃+a0+1)+c*D₀+D₀)，D₀)，mod()为取余函数。

进一步的，D₃符合如下条件：

D₃＝(B₂-B₁+1)*B₃。

S204，从所述目标磁带中提取符合D₁、D₂和D₃的遥感数据作为目标数据。

上述，磁带是按照存储块进行顺序存储和读取的存储介质，因此从目标磁带上提取目标数据时需要考虑到存储块的大小。本实施例中目标磁带的存储块的大小为D₀，指一个存储块中能够存储的字节总数为D₀。当需要对目标磁带进行切取时，首先计算出待提取数据ID对应的数据的起始帧在目标磁带中的存储块的位置D₁，之后计算得到待提取数据ID对应的数据的起始帧在起始存储块内的位置，接着计算得到待提取数据ID对应的数据的数据长度D₃。最后根据D₁、D₂、D₃对目标磁带上的数据进行提取，得到目标数据，从而实现目标数据的精确提取，无需将目标磁带上的数据全部恢复之后再对目标数据进行提取，从而减少了工作步骤，提高了工作效率。

S205，当目标遥感数据的存储状态为在线存储时，根据B₁和B₃，确定出所述待提取数据ID对应的起始字节位置B₀以及待提取数据ID对应的数据长度B₄。

进一步的，B₀符合如下条件：

B₀＝a0+1+(B₁-1)*B₃，其中，a0是指待提取数据ID对应的帧头长度。

进一步的，B₄符合如下条件：

B₄＝(B₂-B₁+1)*B₃。

S206，从所述目标磁带中提取符合B0和B₄的遥感数据作为目标数据。

上述，当目标遥感数据的存储状态为在线存储时，从B₀的字节位置处切取B₄长度的数据作为目标数据。

具体的，本领域技术人员知晓现有技术中任意一种确定遥感数据的存储状态的方法均属于本发明的保护范围，在此不在赘述，其中，例如，采用遥感数据扩展属性进行确定存储状态。

在一个具体的实施例中，S200步骤之后还包括如下步骤：

S300，将所述目标数据存储于预先设置的存储区域上，其中，目标数据的存储方式为分布式存储方式、对象存储方式或者本地存储方式中一种。

S400，当所述目标数据存储于预先设置的存储区域时，将目标数据的第一元数据(B₀、B₁、B₂、B₃和B₄)或者目标数据的第二元数据(D₀，D₁，D₂，D₃)存储于第二中间文件中，可以理解为：所述第二中间文件是指用于存储目标数据对应的元数据的文件。

具体的，所述第二中间文件的格式为xml格式。

S500，将所述第二中间文件存储于所述预先设置的存储区域。

上述，第二中间文件对目标数据对应的元数据进行存储，当后续需要对目标数据进行恢复时，通过读取第二中间文件，即可获取目标数据的第一元数据或第二元数据，便于对目标数据进行恢复。

在另一个具体的实施例中，当所述计算机程序被处理器执行时，还实现以下步骤，如图2所示：

S1，获取目标遥感数据列表H＝{H₁，H₂，……，H_x，……，H_p}，H_x是指第x个目标遥感数据，x＝1……p，p为目标遥感数据的总个数。

S2，根据H，获取H对应的第一中间文件列表H0＝{H0₁，H0₂，……，H0_x，……，H0_p}，H0_x是指H_x对应的第一中间文件。

具体的，所述第一中间文件的格式为xml格式。

具体的，在S2步骤中还包括如下步骤获取H0_x：

S21，获取H_x对应的目标归档信息列表C_x＝{C_x ¹，C_x ²，……，C_x ⁱ，……C_x ⁿ}， 是指H_x中第i个目标帧数据对应的元数据中起始字节位置，/>是指H_x中第i个目标帧数据对应的元数据中帧长度，/>是指H_x中第i个目标帧数据对应的元数据中归档标识。

进一步的，符合如下条件：

其中，a是帧头长度，b是指H_x对应的起始帧位置。

上述，获取目标遥感数据列表H时，同时获取第一中间文件列表H0，根据H_x得到C_x，获取到H_x中第i个目标帧数据对应的元数据的起始字节位置、帧长度以及归档标识，便于后续对目标遥感数据进行恢复时，通过H0对H进行恢复。

进一步的，所述归档标识的类型是哈希值，本领域技术人员知晓现有技术中任一获取数据哈希值的方法，均落入到本发明的保护范围，在此不再赘述；其中获取数据哈希值的方法可采用MD5化方法。

S22，将(C₁，C₂……C_x)写入关键文件中且将关键文件作为H0_x，可以理解为：所述关键文件是指用于存储目标遥感数据对应的元数据的文件。

进一步的，所述第一中间文件的格式为xml格式。

进一步的，C₁至C_x写入关键文件中采用SQL语句。

S3，根据H和H0，获取到H对应的关键归档信息列表G＝{G₁，G₂，……，G_x，……，G_p},G_x＝{H_x，H0_x，G0_x}，G0_x为H_x对应的目标磁带的标识。

S4，将G_x按照顺序写入至目标磁带的存储区域，生成U＝{H₁，H0₁，G0₁，……，H_x，H0_x，G0_x，……，H_p，H0_p，G0_p}。

S5，当接收到恢复目标遥感数据的请求时，对U中H0_p对应的SQL语句进行解析，恢复目标遥感数据；本领域技术人员知晓任意一种解析SQL语句的方法均属于本发明的保护范围，在此不在赘述。

上述，H0_x包括前x个文件中的所有的第一中间文件，当后续需要对目标遥感数据进行恢复时，仅需要对U中的H0_p进行读取，即可获取到H中所有目标遥感数据的对应的元数据的起始字节位置、帧长度以及归档标识，并根据前述信息进行恢复，减少了对数据进行恢复时的工作量，提高了工作效率。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。

Claims (10)

1.一种遥感数据的数据提取和归档***，其特征在于，所述***包括：目标遥感数据、处理器和存储有计算机程序的存储器，当所述计算机程序被处理器执行时，实现以下步骤：

S100，当接收到目标遥感数据的归档指令时，将目标遥感数据归档于目标磁带中；

S200，当接收到目标遥感数据的提取指令时，从所述目标磁带中提取目标数据；

S200步骤中还包括如下步骤：

S201，获取待提取数据ID和待提取数据ID对应的提取信息B＝{B₁，B₂，B₃}，其中，B₁是指待提取数据ID对应的起始帧的位置，B₂是指待提取数据ID对应的结束帧的位置，B₃是指待提取数据ID对应的帧长度；

S202，当目标遥感数据的存储状态为离线存储时，获取目标磁带中每一存储块的存储容量D₀；

S203，根据D₀，获取所述待提取数据ID对应的中间提取信息D＝{D₁，D₂，D₃}，D₁是指待提取数据ID对应的起始存储块位置，D₂是指待提取数据ID对应的存储块偏移量，D₃是指待提取数据ID对应的提取数据长度；

其中，D₁符合如下条件：

c为B₁处于目标磁带中的存储块位置；

进一步的，D2符合如下条件：

mod((((B₁-1)*B₃+a0+1)+c*D₀+D₀)，D₀)，mod()为取余函数；

进一步的，D₃符合如下条件：

D₃＝(B₂-B₁+1)*B₃；

S204，从所述目标磁带中提取符合D₁、D₂和D₃的遥感数据作为目标数据。

2.根据权利要求1所述的***，其特征在于，所述***还包括以下步骤：

S205，当目标遥感数据的存储状态为在线存储时，根据B₁和B₃，确定出所述待提取数据ID对应的起始字节位置B₀以及待提取数据ID对应的数据长度B₄；

进一步的，B₀符合如下条件：

B₀＝a0+1+(B₁-1)*B₃，其中，a0是指待提取数据ID对应的帧头长度；

进一步的，B₄符合如下条件：

B₄＝(B₂-B₁+1)*B₃；

S206，从所述目标磁带中提取符合B0和B₄的遥感数据作为目标数据。

3.根据权利要求1所述的***，其特征在于，所述***还包括如下步骤：

S300，将所述目标数据存储于预先设置的存储区域上，其中，目标数据的存储方式为分布式存储方式、对象存储方式或者本地存储方式中一种。

4.根据权利要求3所述的***，其特征在于，所述***还包括如下步骤：

S400，当所述目标数据存储于预先设置的存储区域时，将目标数据的第一元数据(B₀、B₁、B₂、B₃和B₄)或者目标数据的第二元数据(D₀，D₁，D₂，D₃)存储于第二中间文件中，所述第二中间文件是指用于存储目标数据对应的元数据的文件；

S500，将所述第二中间文件存储于所述预先设置的存储区域。

5.根据权利要求1所述的***，其特征在于，所述***还包括以下步骤：

S1，获取目标遥感数据列表H＝{H₁，H₂，……，H_x，……，H_p}，H_x是指第x个目标遥感数据，x＝1……p，p为目标遥感数据的总个数；

S2，根据H，获取H对应的第一中间文件列表H0＝{H0₁，H0₂，……，H0_x，……，H0_p}，H0_x是指H_x对应的第一中间文件；

S3，根据H和H0，获取到H对应的关键归档信息列表G＝{G₁，G₂，……，G_x，……，G_p},G_x＝{H_x，H0_x，G0_x}，G0_x为H_x对应的目标磁带的标识；

S4，将G_x按照顺序写入至目标磁带的存储区域，生成U＝{H₁，H0₁，G0₁，……，H_x，H0_x，G0_x，……，H_p，H0_p，G0_p}；

S5，当接收到恢复目标遥感数据的请求时，对U中H0_p对应的SQL语句进行解析，恢复目标遥感数据。

6.根据权利要求5所述的***，其特征在于，所述S2还包括如下步骤：

S21，获取H_x对应的目标归档信息列表C_x＝{C_x ¹，C_x ²，……，C_x ⁱ，……C_x ⁿ}，C_x ⁱ＝{C_x ⁱ ₁，C_x ⁱ ₂，C_x ⁱ ₃}，C_x ⁱ ₁是指H_x中第i个目标帧数据对应的元数据中起始字节位置，C_x ⁱ ₂是指H_x中第i个目标帧数据对应的元数据中帧长度，C_x ⁱ ₃是指H_x中第i个目标帧数据对应的元数据中归档标识；

其中，C_x ⁱ ₁符合如下条件：

C_x ⁱ ₁＝a+1+(b_x-1)*C_x ⁱ ₂，其中，a是帧头长度，b是指H_x对应的起始帧位置；

S22，将(C₁，C₂……C_x)写入关键文件中且将关键文件作为H0_x，可以理解为：所述关键文件是指用于存储目标遥感数据对应的元数据的文件。

7.根据权利要求5所述的***，其特征在于，所述第一中间文件的格式为xml格式。

8.根据权利要求6所述的***，其特征在于，所述C₁至C_x写入关键文件中采用SQL语句。

9.根据权利要求1所述的***，其特征在于，所述步骤S100还包括以下步骤：

S101，获取所述目标遥感数据对应的目标归档信息列表A＝{A₁，A₂，……，A_i，……A_n}，Ai＝{A_i ¹，A_i ²，A_i ³}，A_i ¹是指所述目标遥感数据中第i个目标帧数据对应的元数据中起始字节位置，A_i ²是指所述目标遥感数据中第i个目标帧数据对应的元数据中帧长度，A_i ³是指所述目标遥感数据中第i个目标帧数据对应的元数据中归档标识，i＝1……n，n为目标遥感数据中目标帧数据的总帧数。

进一步的，A_i ¹符合如下条件：

A_i ¹＝a+(b_i-1)*A_i ²，其中，a是指帧头长度，b_i是指目标遥感数据中第i个目标帧数据的起始帧在长条带数据中的位置；

S102，将A_i存入至第一中间文件中，可以理解为：所述第一中间文件是指用于存储目标帧数据对应的元数据的文件；

S103，当A_i对应的目标帧数据作为待帧数据时，从A中获取待帧数据对应的中间归档信息列表A0＝{A₁，A₂，……，A_r，……，A_i-1}，A_r是指第r个中间归档信息，所述中间归档信息是指待帧数据对应的归档信息；

S104，当A_r ³＝A_i ³时，A_r对应的指针信息归档于目标磁带中；

S105，当A_r ³≠A_i ³时，将A_i对应的第一中间文件归档于目标磁带中。

10.根据权利要求9所述的***，其特征在于：所述归档标识的类型是哈希值。