CN105653569B - 影像数据扩展处理方法及装置 - Google Patents

Abstract

本发明公开了一种影像数据的扩展处理方法及装置，包括以下步骤：接收到携带有待处理影像数据的数据处理请求；判断是否已创建所述待处理影像数据的数据类别，如果判断为否则执行创建所述数据类别的步骤；如果判断为是且判断为复用已存储的数据处理流程，则匹配所述数据类别并执行所存储的数据处理流程；如果判断为是且判断为不复用已存储的数据处理流程，则在存储有数据处理资源的情况下，基于所存储的数据处理资源定制对应于所述待处理影像数据的数据处理流程，匹配所述数据类别并执行所定制的数据处理流程。本发明通过抽象遥感影像格式及有效性规则集合，建立DB动态管理模型和可扩展配置的工作流方法，实现海量影像数据的扩展处理。

Description

影像数据扩展处理方法及装置

技术领域

本发明涉及遥感卫星数据处理技术领域，尤其涉及一种基于SSI(Struts SpringIbatis)的影像数据扩展处理方法及装置。

背景技术

近年来，遥感卫星数据已经成为国家安全、外交政策、全球环境变化科学研究等领域的热点内容。随着我国对地观测系列卫星研制发展的不断加快，以及国家高分辨率对地观测***项目的启动，遥感卫星应用产业已经成为国家战略性高技术产业，并从试验应用型向业务服务型转变，卫星应用已成为我国经济建设、社会发展和政府决策的重要支撑。十多年来，我国已经建成中巴地球资源卫星、环境减灾卫星、测绘卫星、高分辨卫星等对地观测系列卫星，建成国家统一的陆地观测遥感数据接收和地面处理***，积累了丰富的遥感卫星数据资源，形成了卫星遥感服务与应用体系。

目前，由于单颗卫星的影像资源有限，而且卫星数据会受到天气等环境影响，而遥感应用通常涉及多星多载荷数据综合应用。以遥感洪水应急监测为例，涉及到的卫星数据不仅包括高分数据，还可能包括来自资源卫星、环境减灾卫星、国外卫星、军事卫星、航飞影像等数据，可能使用到的传感器数据包括可见光、雷达以及红外等。对于多源遥感数据信息服务***的研究而言，多源卫星遥感数据中的每种卫星获取的遥感数据及其对应的元数据信息的认识和提取是一项极为重要的工作，是多源遥感数据信息服务***中数据库建设的关键，也是进一步区分服务***好坏以及是否能够为用户快速方便提供服务的核心部分。

遥感影像数据的处理具有高度的复杂性，主要包括：数据种类繁多、格式不统一，而同一种数据类型的特点也经常发生变化，因此导致需求规律变化快。随着我国对地观测信息的飞速扩张，如何有效管理、使用、共享这些异构、多源、海量数据的问题日益突出。上述问题集中到影像数据管理层突出的问题是针对每套***需要单独开发数据管理模型及数据出入库流程，以便适应输入数据格式和配合地面处理***的数据处理要求，大量的研发工作集中在了底层数据模型调整上，并且***的数据管理类别扩展性较差，添加一种新的数据格式就必须由研发人员进行代码级修改，工作量大。

发明内容

有鉴于此，为克服上述至少一个缺点，并提供下述至少一种优点。针对地面应用***中异构、多源、海量遥感影像数据的一体化、自动化管理需求，提出了一种基于SSI的影像数据的扩展处理方法及装置，该方法通过抽象遥感影像格式及有效性规则集合，建立DB动态管理模型和可扩展配置的工作流方法，实现海量影像数据的扩展处理。具体地，本发明采用以下技术方案：

一种影像数据的扩展处理方法，包括以下步骤：

接收到携带有待处理影像数据的数据处理请求；

判断是否已创建所述待处理影像数据的数据类别，如果判断为否则执行创建所述数据类别的步骤；

如果判断为是且判断为复用已存储的数据处理流程，则匹配所述数据类别并执行所存储的数据处理流程；

如果判断为是且判断为不复用已存储的数据处理流程，则在存储有数据处理资源的情况下，基于所存储的数据处理资源定制对应于所述待处理影像数据的数据处理流程，匹配所述数据类别并执行所定制的数据处理流程。

如上所述的影像数据的扩展处理方法，在一种可能的实现方式中，还包括：

如果判断为已创建所述待处理影像数据的数据类别，且判断为不复用已存储的数据处理流程，则在没有存储有数据处理资源的情况下，添加对应于所述待处理影像数据的数据处理资源，基于所添加的数据处理资源定制对应于所述待处理影像数据的数据处理流程，匹配所述数据类别并执行所定制的数据处理流程。

如上所述的影像数据的扩展处理方法，在一种可能的实现方式中，所述创建所述数据类别的步骤包括：创建数据类别码，创建数据结构信息，创建数据索引解析模板以及创建数据索引验证规则。

如上所述的影像数据的扩展处理方法，在一种可能的实现方式中，所述创建所述数据类别的步骤包括：创建数据类别码，创建数据结构信息，导入数据索引解析模板以及数据索引验证规则。

如上所述的影像数据的扩展处理方法，在一种可能的实现方式中，所述数据索引包括基础索引和扩展索引，所述基础索引包括卫星代号、传感器代号、产品级别代号、经纬度坐标信息中的任意一个或多个，所述扩展索引为所述各种待处理影像数据的属性信息。

如上所述的影像数据的扩展处理方法，在一种可能的实现方式中，所述数据处理流程还包括：数据索引信息解析步骤、数据浏览图提取步骤、数据索引信息记录步骤、数据存储目录创建步骤、数据导入对应目录步骤、数据处理完整性检验步骤。

如上所述的影像数据的扩展处理方法，在一种可能的实现方式中，所述数据索引信息解析步骤包括基于所述数据索引解析模板中所定义的元信息的格式以及解析规则对所述待处理影像数据进行解析，得到数据的格式，基于所述数据索引验证规则验证所解析出的数据的格式是否符合所定义的规则。

如上所述的影像数据的扩展处理方法，在一种可能的实现方式中，所述数据类别包括根据逻辑特性分类的小数据类型、标准影像类型、1对N关联影像类型以及N关联产品影像类型；以及根据数据格式特点分类的标准格式和独立文件格式。

一种影像数据的扩展处理装置，包括：

接收模块，用于接收携带有待处理影像数据的数据处理请求；

判断模块，用于判断是否已创建所述待处理影像数据的数据类别；

数据类别创建模块，用于在所述判断模块判断为否的情况下创建所述数据类别；

匹配模块，用于在所述判断模块判断为是且判断为复用已存储的数据处理流程的情况下，或已经定制对应于所述待处理影像数据的数据处理流程的情况下，匹配所述数据类别；

流程定制模块，用于在所述判断模块判断为是且判断为不复用已存储的数据处理流程，则在存储有数据处理资源的情况下，基于所存储的数据处理资源定制对应于所述待处理影像数据的数据处理流程；以及

执行模块，用于在所述匹配模块匹配所述数据类别之后，执行所存储或所定制的数据处理流程。

如上所述的影像数据的扩展处理装置，在一种可能的实现方式中，还包括：

资源添加模块，用于在所述判断模块判断为已创建所述待处理影像数据的数据类别，且判断为不复用已存储的数据处理流程，则在没有存储有数据处理资源的情况下，添加对应于所述待处理影像数据的数据处理资源；

则所述定制模块还用于基于所述资源添加模块所添加的数据处理资源定制对应于所述待处理影像数据的数据处理流程_。

通过采用上述技术方案，本发明的所达到的有益效果为：本发明所提供的方法所基于的核心框架为SSI，用于实现数据类别的扩展定义和对在库影像数据的全自动化管理。该SSI框架采用半自动化的ORM机制，允许直接嵌入复杂的数据库SQL操作、控制逻辑，能够兼容复杂数据库处理逻辑，更适用于历史数据复杂、数据处理量大、性能要求严格的海量遥感影像管理需求。通过基于SSI技术实现人机交互业务层面的数据类别定义及数据管理业务模型与底层数据库服务模型的松耦合衔接方法，避免了传统影像管理***中数据模型管理硬编码和扩展性差的问题，能够提供数据类别定义交互式的服务方式，实现数据管理***类别动态扩展能力。而且本方法通过对工作流程的扩展，实现数据归档、提取特定流程定义，实现特殊数据格式如HDF、NC等格式数据的解析扩展能力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1为本发明一个实施例提供的影像数据的处理方法的一部分流程图；

图2为本发明一个实施例提供的影像数据的处理方法的另一部分流程图；

图3为本发明一个实施例提供的1对N关联影像类型影像数据的结构示意图；

图4为本发明另一个实施例提供的影像数据的处理装置的结构示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

基于上述背景技术的分析可知，对遥感影像数据进行管理的主要难点在于影像数据格式繁多，针对不同格式的影像数据建立查询索引基本上都需要定制化开发，***无法动态扩展可管理的影像产品类别，如果必须扩展则需要专业工程师付出大量工作，修改业务逻辑，维护成本较高。本发明人在分析遥感影像大数据的特点和存储要求的基础之上，针对上述问题，开展海量遥感影像的存储模型和逻辑结构设计、标准化处理及多元异构数据集成等方面的研究工作，实现海量影像数据的可扩展的自动化存储与有效集成共享。下面以具体的实施例对本发明提出的影像数据的扩展处理方法进行说明。

实施例1

如图1和图2所示，为本发明一个实施例提供的影像数据处理方法的流程图，该方法包括以下步骤：

步骤S11、接收到数据处理请求，该请求中携带有待处理影像数据；

步骤S12、根据***提示及***已存储的数据类别定义信息判断***中是否已创建对应于待处理影像数据的数据类别，如果还未创建则执行步骤S13；如果已创建则执行步骤S14；

其中，数据类别可以根据逻辑特性来分类，分为小数据类型、标准影像类型、1对N关联影像类型以及N关联产品影像类型；也可以按照数据格式特点来分类，分为标准格式和独立文件格式。

步骤S13、执行创建数据类别的步骤；具体地，

判断是否需要手动创建数据类别，是则执行步骤S19，否则执行步骤S110；

步骤S14、判断是否能够复用已存储的数据处理流程，是则执行步骤S21，否则执行S15；

步骤S15、判断资源数据库中是否存储有对应于待处理影像数据的数据处理资源，如果存储有对应的数据处理资源则执行步骤S16，如果没有存储对应的数据处理资源则执行步骤S17；

此外，数据库中还定义了影像数据的组成方式、数据格式、文件命名规则、元信息提取方式、格式等，以实现可扩展的数据库服务模型。

步骤S16、基于所存储的数据处理资源定制对应于待处理影像数据的数据处理流程，执行步骤S21；

步骤S17、创建(或添加)对应于所述待处理影像数据的数据处理资源，并基于所创建的资源定制对应于所述待处理影像数据的数据处理流程，执行步骤S21；

本方法提供数据处理的扩展配置，可以于步骤S14中选择复用***已有的处理流程，也可以于步骤S17中新增处理资源并基于新增的处理资源定制处理流程；

步骤S21、判断是否能够自动匹配所存储的数据类别，是则执行步骤S22，否则执行步骤S23；

步骤S22、匹配所述待处理影像数据的数据类别所对应的数据处理流程，进入步骤S24；

步骤S23、提示无法识别，结束处理流程；

步骤S24、执行该数据处理流程；

***会自动根据设定的转换规则形成后台数据库定义语言，自动完成底层数据库服务的创建及服务的启动，过程简单，无需专人维护。例如，将上述模型规则即数据索引解析、验证规则转换成XML格式的模板语言，并实现XML模板解译服务，从而实现影像产品模型资料自动化的导入及导出服务。

其中，***已存储的数据处理流程包括预设流程和用户自定义流程，***预设流程包括存档、提取以及共享等处理。用户自定义流程设置为可选择流程资源管理库已有的流程资源，也可新增符合***接口规则的流程资源。***资源管理库提供***所有流程资源的添加、删除、修改接口。具体而言，数据处理流程包括数据索引信息解析步骤、数据浏览图提取步骤、数据索引信息记录步骤、数据存储目录创建步骤、数据导入对应目录步骤、数据处理完整性检验步骤。完成这些步骤后数据处理流程结束，用户即可在***中检索、浏览数据索引信息，下载数据。

步骤S18、创建数据类别码，创建数据结构信息，创建数据索引解析模板，创建数据索引验证规则，完成遥感数据类别创建，执行步骤S14；

步骤S19、创建数据类别码，创建数据结构信息，导入数据类别定义模板，即导入数据索引解析模板及数据索引验证规则，完成遥感数据类别创建，执行步骤S14。

其中，数据类别码为预先定义的数据类别标识，可以以数字或字母、符号的任意组合来表示；数据结构信息包括数据文件组成、影像文件命名规则、数据所包含的文件个数等信息；数据索引解析模板用于对待处理影像数据进行解析，根据所定义的元信息的格式以及解析规则，解析得到数据的格式；数据索引验证规则用于验证数据的格式是否符合所定义的规则。数据索引包括基础索引和扩展索引。数据基础索引为影像数据检索过程中，能够唯一确定一条影像数据的主索引，一般包含的信息有卫星代号、传感器代号、产品级别代号、经纬度坐标信息等。扩展索引为各种影像数据特有的属性信息，例如影像数据所包含的地物、目标名称等。***中需要预先整理并抽象定义影像数据常用索引的定义域和值域，包括名称、类型、唯一性、值域等，从而形成数据索引解析、验证规则的管理模型。

在上述数据类型中，小数据类型表示数据格式简单，索引元素较少的影像数据。例如常见的GPS文件、预报轨道根数文件等，这种文件一般仅需要建立包含时间、卫星代号、数据代号的索引就可以保证数据的唯一标定。

标准影像类型表示如环境系列卫星的标准产品数据，这种影像数据除了本身的遥感应用特性之外没有与其他影像数据特定的必然关联，并且产品数据格式规则，虽然数据长度多有变化但是管理逻辑较为简单。

1对N关联影像类型的影像一般包含一套条带概览数据、一套包含N组逻辑景的概览数据以及一套规格条带影像，条带与逻辑景的1对N关联关系如图3所示，逻辑景条带影像中的一个区域，一般通过定义其角点坐标来区分每个逻辑景的区划范围。由于大条带影像的陆地观测范围广，行业用户往往仅对整个条带中的一小块感兴趣，利用逻辑景能够减小数据处理量从而提高应用处理、数据传输的速度。因此条带与对应的N组逻辑景之间需要建立关联。需要特别说明逻辑景本身就是条带影像的索引，不需要作为独立的影像产品进行数据处理，但行业应用中往往以逻辑景索引为条带影像提取条件，获取大条带中的一部分影像数据。

N关联产品影像类型，表示N组产品之间有必然的关联关系，但是各组产品本身也是标准影像类型，需要对外提供组合的归档、提取方法，也需要针对每个产品提供独立的归档、提取方法。

此外，根据影像数据的文件构成方式还可以将影像数据分为文件集合结构和独立文件结构，用于数据结构定义。

对于文件集合结构的影像产品，每个产品由多个文件组成，这些文件都是必须的，都将服务于遥感处理和应用共享中，例如：元信息索引文件用于影像检索，辅助数据文件用于应用处理，浏览图文件用于影像浏览，数据实体则是应用处理的对象等。对于独立文件结构，即一个产品仅包含一个文件，典型文件标准如HDF5，NC，TIFF等。

在本发明所提供的方法中，可以采取导入配置文件的方式实现影像产品管理方法定义，也可以采取向导式，由本模块引导用户定义影像产品管理方法，向导式定义过程允许用户创建新的元信息元素，并根据用户定义由***自动完成类型匹配及值域选择。

实施例2

如图4所示，为本发明一个实施例提供的影像数据的处理装置的结构示意图，该影像数据的处理装置100包括：接收模块10、判断模块20、数据类别创建模块30、匹配模块40、流程定制模块50以及执行模块60。

其中，接收模块10用于接收携带有待处理影像数据的数据处理请求；判断模块20用于判断是否已创建待处理影像数据的数据类别；数据类别创建模块30用于在判断模块20判断为否的情况下创建所述数据类别；匹配模块40用于在判断模块20判断为是且判断为复用已存储的数据处理流程的情况下，或已经定制对应于待处理影像数据的数据处理流程的情况下，匹配数据类别；流程定制模块50用于在判断模块20判断为是且判断为不复用已存储的数据处理流程，则在存储有数据处理资源的情况下，基于所存储的数据处理资源定制对应于待处理影像数据的数据处理流程；执行模块60用于在匹配模块40匹配数据类别之后，执行所存储或所定制的数据处理流程。

上述影像数据的处理装置100还包括：资源添加模块70，用于在判断模块20判断为已创建待处理影像数据的数据类别，且判断为不复用已存储的数据处理流程，则在没有存储有数据处理资源的情况下，添加对应于待处理影像数据的数据处理资源；则流程定制模块50还用于基于资源添加模块70所添加的数据处理资源定制对应于待处理影像数据的数据处理流程。

本发明的有益效果主要包括以下两个方面：

(1)解决了常见文件格式的遥感影像大数据的自动化扩展存储问题。由于遥感影像大数据具有种类繁多、数量多、存储量大、存储格式多样化以及元数据分散等特点，使得这些数据难以统一组织管理、难以高效访问、难以共享交换，这些特点成为制约影像数据高效共享利用的瓶颈。基于SSI构建松耦合的动态数据库扩展管理模型，提供交互式配置管理服务，从而解决了遥感影像大数据的自动化扩展存储问题。

(2)解决了特殊科学数据格式影像的自动化扩展存储问题。科学数据和空间天气科学数据种类多、结构复杂，例如HDF、CDF格式，存在数据访问接口通用、接口数量多、数据访问粒度和抽象级别不高等问题，导致该类数据格式定制性较强，数据集成应用限制较多，往往需要数据集成***做针对性兼容研发。本发明针对此类数据的逻辑结构和数据访问接口方法，抽象为特殊数据解析模型库，构建基于可扩展工作流服务的原型***，解决特殊科学数据格式影像的自动化扩展存储问题。

以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种影像数据的扩展处理方法，其特征在于，包括以下步骤：

接收到携带有待处理影像数据的数据处理请求；

判断是否已创建所述待处理影像数据的数据类别，如果判断为否则执行创建所述数据类别的步骤；

如果判断为是且判断为复用已存储的数据处理流程，则判断待处理影像数据的数据类别与已存储的数据类别是否匹配，并且在匹配时执行所存储的数据处理流程；

如果判断为是且判断为不复用已存储的数据处理流程，则在存储有数据处理资源的情况下，基于所存储的数据处理资源定制对应于所述待处理影像数据的数据处理流程，并判断所述待处理影像数据的数据类别与已存储的数据类别是否匹配，并且在匹配时执行所定制的数据处理流程。

2.如权利要求1所述的影像数据的扩展处理方法，其特征在于，还包括：

如果判断为已创建所述待处理影像数据的数据类别，且判断为不复用已存储的数据处理流程，则在没有存储有数据处理资源的情况下，添加对应于所述待处理影像数据的数据处理资源，基于所添加的数据处理资源定制对应于所述待处理影像数据的数据处理流程，匹配所述数据类别并执行所定制的数据处理流程。

3.如权利要求1所述的影像数据的扩展处理方法，其特征在于，所述创建所述数据类别的步骤包括：创建数据类别码，创建数据结构信息，创建数据索引解析模板以及创建数据索引验证规则。

4.如权利要求1所述的影像数据的扩展处理方法，其特征在于，所述创建所述数据类别的步骤包括：创建数据类别码，创建数据结构信息，导入数据索引解析模板以及数据索引验证规则。

5.如权利要求3或4所述的影像数据的扩展处理方法，其特征在于，所述数据索引包括基础索引和扩展索引，所述基础索引包括卫星代号、传感器代号、产品级别代号、经纬度坐标信息中的任意一个或多个，所述扩展索引为所述各种待处理影像数据的属性信息。

6.如权利要求3或4所述的影像数据的扩展处理方法，其特征在于，所述数据处理流程还包括：数据索引信息解析步骤、数据浏览图提取步骤、数据索引信息记录步骤、数据存储目录创建步骤、数据导入对应目录步骤、数据处理完整性检验步骤。

7.如权利要求6所述的影像数据的扩展处理方法，其特征在于，所述数据索引信息解析步骤包括基于所述数据索引解析模板中所定义的元信息的格式以及解析规则对所述待处理影像数据进行解析，得到数据的格式，基于所述数据索引验证规则验证所解析出的数据的格式是否符合所定义的规则。

8.如权利要求1所述的影像数据的扩展处理方法，其特征在于，所述数据类别包括根据逻辑特性分类的小数据类型、标准影像类型、1对N关联影像类型以及N关联产品影像类型；以及根据数据格式特点分类的标准格式和独立文件格式。

9.一种影像数据的扩展处理装置，其特征在于，包括：

接收模块，用于接收携带有待处理影像数据的数据处理请求；

判断模块，用于判断是否已创建所述待处理影像数据的数据类别；

数据类别创建模块，用于在所述判断模块判断为否的情况下创建所述数据类别；

匹配模块，用于在所述判断模块判断为是且判断为复用已存储的数据处理流程的情况下，或已经定制对应于所述待处理影像数据的数据处理流程的情况下，判断所述待处理影像数据的数据类别与已存储的数据类别是否匹配；

流程定制模块，用于在所述判断模块判断为是且判断为不复用已存储的数据处理流程，则在存储有数据处理资源的情况下，基于所存储的数据处理资源定制对应于所述待处理影像数据的数据处理流程；以及

执行模块，用于在所述匹配模块判断所述待处理影像数据的数据类别和已存储的所述数据类别匹配之后，执行所存储或所定制的数据处理流程。

10.如权利要求9所述的影像数据的扩展处理装置，其特征在于，还包括：

资源添加模块，用于在所述判断模块判断为已创建所述待处理影像数据的数据类别，且判断为不复用已存储的数据处理流程，则在没有存储有数据处理资源的情况下，添加对应于所述待处理影像数据的数据处理资源；

则所述流程定制模块还用于基于所述资源添加模块所添加的数据处理资源定制对应于所述待处理影像数据的数据处理流程。