CN104036286B - 一种基于Hadoop的多光谱遥感影像分类处理方法 - Google Patents

Abstract

本发明涉及遥感分类与计算机分布式计算技术的交叉领域，尤其涉及一种基于Hadoop的多光谱遥感影像分类处理方法，其不同之处在于，其方法包括以下步骤：步骤a）、首先在单个工作子节点进行分类模型的构建；步骤b）、然后利用分布式框架的心跳消息通信机制将分类模型发送到各个作业节点，作业节点接收到分类模型文件之后开始并发进行影像块分类任务；步骤c)、最后将各分块分类结果归约为一个完整的分类结果图。本发明大幅提高了在对海量遥感影像数据进行分类时的分类速度。

Description

一种基于Hadoop的多光谱遥感影像分类处理方法

技术领域

本发明涉及遥感分类与计算机分布式计算技术的交叉领域，尤其涉及一种基于Hadoop的多光谱遥感影像分类处理方法。

背景技术

随着遥感技术的飞速发展，遥感影像被广泛应用于农业、林业、地质、矿产、水文、海洋、环境监测等方面，而遥感影像分类作为遥感领域中的基础工作流程，也在不断地进步。近年来，遥感影像数据量呈***性增长，形成GB级，TB级，PB级的发展趋势。这给遥感影像分类工作带来了巨大的压力，如何快速、准确的对遥感影像进行分类成为了遥感影像应用急需解决的课题。

在大量实际应用中，分类工作普遍还是采用人工提取分类模板的监督分类方法或自动选取样本的半监督分类方法，都需要根据先验知识创建分类模型之后，再对影像分类处理。例如，基于SVM（支持向量机，Support Vector Machine）森林分类方法无需人工采集分类样本，实现了机器自动采样分类的过程。传统的基于SVM森林分类方法利用了数字高程模型(Digital Elevation Model)、Modis传感器生产的250米分辨率影像，对Landsat卫星系列上搭载的TM、ETM+传感器产生的30米分辨率影像进行辅助分类，SVM森林分类方法通过多种数据的复杂运算选取出精确的分类样本，精确的分类样本陆续进入SVM分类器，对SVM分类器进行训练，直到SVM分类器达到足够的分类精度，最后使用训练所得的SVM分类器对影像分类。机器自动采样训练分类的特性减少了样本选取的时间，节省了人力物力。

但是传统的SVM分类方法的构造基于单机环境，受限于CPU的计算能力和内存的大小，只能串行处理遥感影像文件，仍然需要消耗很长的时间。而且在处理过程中容易因为机器故障，导致程序崩溃，甚至基础遥感影像数据也会受损，单机环境的分类效率已经难以满足海量遥感影像分类处理任务的需求。

发明内容

为了克服上述不足之处，本发明提出一种基于Hadoop的多光谱遥感影像分类处理方法，该方法大幅提高了在对海量遥感影像数据进行分类时的分类速度。

本发明解决上述技术问题所采用的技术方案是：一种基于Hadoop的多光谱遥感影像分类处理方法，其不同之处在于，其方法包括以下步骤：

步骤a）、首先在单个工作子节点进行分类模型的构建；

步骤b）、然后利用分布式框架的心跳消息通信机制将分类模型发送到各个作业节点，作业节点接收到分类模型文件之后开始并发进行影像块分类任务；

步骤c)、最后将各分块分类结果归约为一个完整的分类结果图。

本发明的有益效果是：本发明方法是在传统遥感影像分类方法的基础上改进，利用分布式处理和存储能力，实现遥感影像分类任务一对多、多对多的处理模式，本发明提出的方法在保证分类精度的前提下，不但大大提高遥感影像分类的处理速度，更可以克服传统方法中机器故障可能产生的分类中断问题，本发明兼容遥感领域多数监督分类或半监督分类方法，以一种“总-分-总”的形式实现了遥感影像分类方法的高效化。

本发明利用PC集群的数据分布式并发处理存储能力，提高海量遥感影像分类的速度，传统单机环境分类处理易因机器故障等原因可能导致任务中断，本发明中即使PC集群中部分作业节点故障瘫痪，任务管理中心依旧可以将分类任务有序高效的交给其他作业节点处理。考虑到遥感影像分类流程需要花费少量时间对全局影像采集样本训练分类模型，本发明将分类模型训练过程布置在单个作业节点上，利用心跳机制建立作业节点与任务管理中心、JobClient之间的信息交互，再将分类模型分发给其他作业节点，实现多作业节点并行分类，在保证分类精度的前提之下，分类速度明显加快。

附图说明

图1是基于Hadoop的多光谱遥感影像分类处理方法示意图；

图2是单节点SVM分类模型提取流程示意图；

图3是分布式影像分类处理流程示意图；

图4是基于Hadoop的多光谱遥感影像分类处理方法数据流图；

图5是基于Hadoop的多光谱遥感影像分类处理PC集群架构图。

具体实施方式

为了实现以上技术方案，本发明需要解决以下具体问题：如何在分布式框架中训练统一的分类模型，作业节点如何传递统一分类模型，遥感影像的任务划分问题，训练分类器和使用分类器对影像分类这两个串行过程如何并发的在计算机集群中进行，如何在构架中传递任务信息等。本发明方法中，工作子节点也叫作业节点，执行归约任务的作业节点被称为归约任务节点。

参见图1-图5，本发明实施例方法将以基于SVM的森林分类方法为例，阐述如何实现分布式影像分类。总的来说，本发明实施例基于Hadoop的多光谱遥感影像分类处理方法包括以下步骤：

步骤a）、首先在单个工作子节点进行分类模型的构建；

步骤b）、然后利用分布式框架的心跳消息通信机制将分类模型发送到各个作业节点，作业节点接收到分类模型文件之后开始并发进行影像块分类任务；

步骤c)、最后将各分块分类结果归约为一个完整的分类结果图。

优选的，所述步骤a）包括以下具体步骤：

步骤a1）、将待分类影像和分类相关数据传入任意一个作业节点（TaskTracker），作业节点每隔一定的时间就会向任务管理中心（JobTracker）发出心跳消息，向任务管理中心反馈作业节点的工作状态、数据更新信息、作业节点是否正常等信息；

步骤a2）、任务管理中心持续接收作业节点传来的心跳消息，判断作业节点中的数据是否有更新；如果某个作业节点数据有更新，任务管理中心将复制一份分类模型提取程序包给该作业节点，并指示该作业节点对新的影像数据提取分类模型；与此同时向工程中心（JobClient）发出消息，告知工程中心（JobClient）对新数据进行划分；

步骤a3）、作业节点接收到分类模型提取程序包，启动一个Java虚拟机本地解压并对新影像执行分类模型提取；工程中心（JobClient）接收到作业节点数据更新消息，对新影像进行逻辑分块，并把逻辑分块文件存储；

步骤a4）、作业节点完成分类模型提取，通过心跳消息告知任务管理中心。

优选的，所述步骤b）包括以下具体步骤：

b1)、任务管理中心收到作业节点发出的心跳消息，然后判断工程中心（JobClient）是否已经完成该影像的划分工作；当分类模型提取工作和影像划分工作都完成了，任务管理中心开始根据逻辑划分将新影像划分为多个分类块任务（Task），并负责调度每一个子任务在作业节点上运行，任务管理中心通过向作业节点发送心跳返回值来调度分配任务，心跳返回值包含了任务执行指令、任务Jar文件、分类模型文件和待分类数据所在位置信息；

b2)、作业节点接收到任务管理中心返回的心跳返回值，判断自己是否被分配任务，若被分配到任务，就将心跳返回值传回的任务Jar文件本地化；同时，根据心跳返回值中的待分类数据位置信息，该作业节点自行从其他作业节点存储的数据中抓取所有引用数据将其直接地复制到本地工作文件夹，然后创建一个新的Java虚拟机运行每一个影像块分类任务。

优选的，所述步骤c）包括以下具体步骤：

步骤c1）、任务管理中心接收到作业节点分类完毕的消息，在某个空闲作业节点创建归约（Reduce）任务，并告知归约任务节点所有已经完成分类任务的作业节点位置信息；

步骤c2）、归约任务节点接收到完成分类任务的作业节点位置信息，通过该信息从完成分类任务的作业节点调取分类结果，并将该影像的分类结果归约为完整的分类数据；

步骤c3）、归约任务节点完成归约任务，存储分类数据，并通过心跳通信将存储信息提交给任务管理中心。

具体的，图1是基于Hadoop的多光谱影像分类处理方法示意图，待分类影像建立分类模型的任务在单个作业节点上完成，生成单幅影像全局分类模型，根据分类模型对影像进行分类的任务在分布式计算集群中实现，将影像划分为逻辑大小为64M的影像块，分配调度到各作业节点并行分类，能够有效的减少分类所需时间。

具体的，图2是基于Hadoop的多光谱遥感影像分类处理方法PC集群架构图，整个架构由数据交换中心、任务管理中心（JobTracker）、工程中心（JobClient）和N个作业节点组成。

数据交换中心连接任务管理中心、工程中心和所有作业节点，架构中任两节点（任务管理中心和工程中心也属于架构节点）都能通过数据交换中心相互连通，数据交换中心由一定数量的网络交换机组成。

任务管理中心（JobTracker）负责调度每一个子任务运行在作业节点上，并实时监控作业节点工作状况，如果发现有失败的子任务就重新运行它，一般把任务管理中心部署在单独的机器上。

工程中心（JobClient）对影像进行逻辑划分，默认将影像划分为若干64M的影像块，每一个任务都会在工程中心将引用程序以及配置参数打包成Java文件存储起来，并把路径提交给任务管理中心，工程中心一般布置在用户端。

作业节点（TaskTracker）是架构中运算和存储的基础单位，遥感数据可以由任意一个作业节点进入（也可由工程中心进入），作业节点负责整景遥感数据分类模型训练，以及影像块分类任务。架构中作业节点可以有N个（N≥2），对于海量遥感数据分类来说，作业节点数量与分类速度成正比关系。

任务管理中心与作业节点之间，工程中心与任务管理中心之间都通过“心跳机制”相互通信，心跳机制是一个简单的循环，定期发送心跳给接收方。发送心跳消息，告诉心跳接收方，作业节点是否存活，同时充当两者之间的消息通道。心跳接收方接收到最新的心跳消息，通过心跳返回值做出相应的动作指令。

具体的，图3以基于SVM的森林分类方法为例，示意了遥感数据输入作业节点后，作业节点提取影像分类模型的流程。遥感影像可以由任意作业节点进入，作业节点通过心跳向任务管理中心提交数据更新的消息。任务管理中心接收到心跳消息之后，记录作业节点数据更新信息，通过心跳返回值与作业节点通信，指示作业节点对新数据进行分类模型提取。

作业节点接收到提取分类模型的指示，将本地化作业的JAR文件从共享文件***复制作业节点所在的文件***，作业节点把JAR文件解压到本地工作目录，启动一个Java虚拟机运行模型提取程序。作业节点完成分类模型提取后通过心跳将模型存储地址提交给任务管理中心。

具体的，图4示意了实现遥感影像在分布式框架中高效分类的方法。任务管理中心接受到作业节点发来的心跳消息之后，记录下作业节点数据更新的信息，除了向作业节点发送心跳返回值，还会向工程中心发送心跳消息，心跳消息记录了新录入的遥感数据在各作业节点的存储信息；工程中心接收到任务管理中心发来的心跳，获取待分类遥感数据存储地址、数据大小K，对数据进行默认划分，划分为Z个影像块，除最后一块大小为S，所有影像块大小均为64M。影像块大小与完整影像数据大小之间的关系满足以下公式：K = 64×Z+ S。工程中心完成划分之后，将影像划分信息存储，并通过心跳返回值告知任务管理中心已经完成待分类影像的划分工作。任务管理中心确认影像划分完成之后，查询该影像的分类模型是否提取完毕。如果影像划分和分类模型有一个没有完成，任务管理中心将继续监听心跳；若影像划分和相应的分类模型都已经完成，任务管理中心开始该影像的分类任务。

利用Hadoop中JobTracker（任务管理中心）的作业调度器，将分类任务交由作业调度器进行调度，并对其进行初始化。创建一个代表分类任务的作业对象，它封装和记录信息，用于跟踪任务状态和进程。作业调度器获取影像划分信息，然后为每一个影像块创建一个子任务（Map），为整幅影像创建一个归约任务（Reduce）。

作业节点定期向任务管理中心发送心跳，任务管理中心会为正常的空闲作业节点分配一个任务，通过心跳返回值与作业节点进行通信。

作业节点被分配任务之后，将本地化作业的JAR文件复制到该作业节点所在的文件***中。同时，将分类程序所需要的全部文件（包括该影像分类模型）复制到本地磁盘。之后，将JAR文件中的内容解压到本地工作目录，创建一个新的Java虚拟机来运行每一个分类任务。

作业节点完成分类子任务之后，将分类结果存储，通过心跳提交分类结果信息，任务管理中心予以记录。

任务管理中心在分配分类子任务的同时，也会向一个作业节点分配该影像的归约任务。归约任务节点通过心跳机制获取任务管理中心影像对应的分类结果信息，并根据实时更新的分类结果信息从其他那些执行分类子任务的作业节点上拉取分类结果数据。

归约任务节点每拉取到一份分类结果数据，就将分类结果拼接在一起，直到整幅分类结果图拼接完毕，输出完整分类影像，存储在本地目录，并向任务管理中心提交任务完成消息。

图5示意了基于Hadoop的多光谱遥感影像分类处理方法中遥感数据流的变化和处理，遥感数据由任意作业节点进入，作业节点对影像提取出相应的分类模型。工程中心对影像进行划分，得到影像划分信息。PC集群利用相应的分类模型，并行计算，将各影像块分类，最后归约为完整分类结果。

本发明的实例在PC集群环境下实现，经实验证明，在处理海量多光谱遥感影像分类时，本发明在保证与传统分类方法所得结果的精度相当的前提下，提高了工作效率，改善传统分类方法自动化程度，可用于海量遥感数据快速分类中，如Landsat、Modis、Alos、Cerbus、资源系列卫星等。

相较于传统遥感影像分类方法，本发明用PC集群处理环境替代单机处理环境，即使PC集群中的部分作业节点发生故障停止工作，任务还会被分配到其他正常的作业节点上处理，降低了机器故障可能产生的风险。这种全新的海量遥感数据处理模式随着处理影像数据量的增加，与传统遥感影像处理方法在效率上的优势会愈加的明显，而且具有相当的灵活性，可以嵌入所有“先模型后分类”形式的处理过程和方法，如影像监督分类、基于神经网络分类方法等。

本发明的遥感影像分类方法可以选择基于支持向量机的分类方法、基于决策树的分类方法、基于人工神经网络的分类方法等，这些自动选择样本监督分类方法相对来说，可以实现计算机智能选样训练分类模型的特点，可以节约人工选样过程消耗的大量人力物力，更加适合海量遥感数据分类，结合本发明能够发挥出更大的优势。

Claims (3)

1.一种基于Hadoop 的多光谱遥感影像分类处理方法，其特征在于，其方法包括以下步

骤：

步骤a）、首先在单个工作子节点进行分类模型的构建；

步骤b）、然后利用分布式框架的心跳消息通信机制将分类模型发送到各个作业节点，作业节点接收到分类模型文件之后开始并发进行影像块分类任务；

步骤c)、最后将各分块分类结果归约为一个完整的分类结果图；

其中，所述步骤a）包括以下具体步骤：

步骤a1）、将待分类影像和分类相关数据传入任意一个作业节点，作业节点每隔一定的时间就会向任务管理中心发出心跳消息，向任务管理中心反馈作业节点的工作状态、数据更新信息、作业节点是否正常信息；

步骤a2）、任务管理中心持续接收作业节点传来的心跳消息，判断作业节点中的数据

是否有更新；如果某个作业节点数据有更新，任务管理中心将复制一份分类模型提取程序包给该作业节点，并指示该作业节点对新的影像数据提取分类模型；与此同时向工程中心发出消息，告知工程中心对新数据进行划分；

步骤a3）、作业节点接收到分类模型提取程序包，启动一个Java 虚拟机本地解压并对新影像执行分类模型提取；工程中心接收到作业节点数据更新消息，对新影像进行逻辑分块，并把逻辑分块文件存储；

步骤a4）、作业节点完成分类模型提取，通过心跳消息告知任务管理中心；

其中，数据交换中心连接任务管理中心、工程中心和所有作业节点，数据交换中心中任两节点都能通过数据交换中心相互连通，数据交换中心由一定数量的网络交换机组成；

任务管理中心负责调度每一个子任务运行在作业节点上，并实时监控作业节点工作状况，如果发现有失败的子任务就重新运行它，把任务管理中心部署在单独的机器上；

工程中心对影像进行逻辑划分，默认将影像划分为若干64M 的影像块，每一个任务都会在工程中心将引用程序以及配置参数打包成Java 文件存储起来，并把路径提交给任务管理中心，工程中心布置在用户端；

作业节点是架构中运算和存储的基础单位，遥感数据可以由任意一个作业节点进入，作业节点负责整景遥感数据分类模型训练，以及影像块分类任务，架构中作业节点可以有N个，其中，N ≥ 2，作业节点数量与分类速度成正比关系；

任务管理中心与作业节点之间，工程中心与任务管理中心之间都通过心跳机制相互通信，心跳机制是一个简单的循环，定期发送心跳给接收方，发送心跳消息，告诉心跳接收方，作业节点是否存活，同时充当两者之间的消息通道，心跳接收方接收到最新的心跳消息，通过心跳返回值做出相应的动作指令。

2.如权利要求1 所述的基于Hadoop 的多光谱遥感影像分类处理方法，其特征在于，所述步骤b）包括以下具体步骤：

b1)、任务管理中心收到作业节点发出的心跳消息，然后判断工程中心是否已经完成该影像的划分工作；当分类模型提取工作和影像划分工作都完成了，任务管理中心开始根据逻辑划分将新影像划分为多个分类块任务，并负责调度每一个子任务在作业节点上运行，任务管理中心通过向作业节点发送心跳返回值来调度分配任务，心跳返回值包含任务执行指令、任务Jar 文件、分类模型文件和待分类数据所在位置信息；

b2)、作业节点接收到任务管理中心返回的心跳返回值，判断自己是否被分配任务，若被分配到任务，就将心跳返回值传回的任务Jar 文件本地化；同时，根据心跳返回值中的待分类数据位置信息，该作业节点自行从其他作业节点存储的数据中抓取所有引用数据将其直接地复制到本地工作文件夹，然后创建一个新的Java 虚拟机运行每一个影像块分类任务。

3.如权利要求1 所述的基于Hadoop 的多光谱遥感影像分类处理方法，其特征在于，所述步骤c）包括以下具体步骤：

步骤c1）、任务管理中心接收到作业节点分类完毕的消息，在某个空闲作业节点创建归约任务，并告知归约任务节点所有已经完成分类任务的作业节点位置信息；

步骤c2）、归约任务节点接收到完成分类任务的作业节点位置信息，通过该信息从完成分类任务的作业节点调取分类结果，并将该影像的分类结果归约为完整的分类数据；

步骤c3）、归约任务节点完成归约任务，存储分类数据，并通过心跳通信将存储信息提交给任务管理中心。