CN101119278A - 一种处理海量数据的方法及*** - Google Patents

Abstract

本发明提供一种处理海量数据的方法及***，当读取海量数据文件时，按照预定的数值范围读取数据，所述数值范围为每次读取的数据的范围；将每次读取的数据进行保存，并记录所述每次读取的数据的定位信息；记录预设的触发事件的属性信息；当客户端发送指令获取所存储的海量数据文件时，根据所述指令中的标识信息查找所需要的海量数据文件，按照预定规则传输所述海量数据文件中的数据；当所述客户端发送指令对所获取的海量数据文件进行处理时，如果所述指令为预设的触发事件，则修改相应的触发事件的属性信息，并将修改后的属性信息传输至所述客户端。通过本发明，能够实现海量数据的交互式操作。

Description

一种处理海量数据的方法及***

技术领域

本发明涉及对海量数据的处理技术。

背景技术

随着信息技术的发展，网络成为信息传播的重要途径，用户通过网络访问服务器，以获取所需要的数据。为了保证数据在有限的带宽下进行传输，通常需要对数据事先进行压缩，当服务器收到用户指令时，将完整的压缩文件通过网络传输至客户端，客户端接收到压缩文件后对其进行解压显示。

随着数字图像技术及多媒体信息技术的发展，海量数据的应用越来越普遍，如航空和航天遥感图像数据、普通和专题地图数字化数据、历史文献资料以及多媒体集成数据、医学图像数据等。目前对数据的处理方法中，客户端需要将欲显示的压缩文件全部下载到内存中，再将内存中的压缩文件全部打开，由于海量数据的数据量很大，处理海量数据文件需要相当大的内存空间以及传输带宽，因此，现有技术中对于海量数据用户通常是被动的接收，而无法在接收过程中对屏幕上的显示数据进行处理，例如对某一帧进行加工、修改等操作，无法实现交互式操作，从而不能满足用户的需求，降低用户体验。

发明内容

本发明提供一种处理海量数据的方法及***，适用于传输海量数据文件，并且能够实现用户的交互式操作，提高用户体验。

本发明提供一种处理海量数据的方法，当读取海量数据文件时，按照预定的数值范围读取数据，所述数值范围为每次读取的数据的范围；将每次读取的数据进行保存，并记录所述每次读取的数据的定位信息；记录预设的触发事件的属性信息；当客户端发送指令获取所存储的海量数据文件时，根据所述指令中的标识信息查找所需要的海量数据文件，按照预定规则传输所述海量数据文件中的数据；当所述客户端发送指令对所获取的海量数据文件进行处理时，如果所述指令为预设的触发事件，则修改相应的触发事件的属性信息，并将修改后的属性信息传输至所述客户端。

本发明还提供一种处理海量数据的***，包括数据处理子***和业务控制子***；

其中，所述数据处理子***，用于读取并保存海量数据文件以及定位信息；并将预设的触发事件的属性信息在第一配置文件中进行保存；

所保存的海量数据文件包括至少一个数据块，每个数据块分别包括按照预定的数值范围读取的数据，所述数值范围为每次读取的数据的范围；所述定位信息为所述数据块对应的定位信息；

所述业务控制子***，用于获得所述海量数据文件、定位信息及所述第一配置文件，当客户端发送指令获取所存储的海量数据文件时，根据所述指令中的标识信息查找所需要的海量数据文件，按照预定规则传输所述海量数据文件中的数据；当所述客户端发送指令对所获取的海量数据文件进行处理时，如果所述指令为预设的触发事件，则修改所述第一配置文件，并将修改后的第一配置文件传输至所述客户端。

由于本发明预先设置用户处理海量数据文件时可能的触发事件，并记录相应的触发事件的属性信息，当收到用户指令时对相应的属性信息进行处理后发送至客户端，从而使用户能够对当前显示的海量数据文件进行处理，实现了操作的交互性；另外，本发明将海量数据文件分块保存，传输时每次按照预定的规则将每个数据块或数据块中的部分数据进行传输，而并非一次将用户需要的所有数据全部传输，由于每次传输的数据量较小，因此当用户需要对当前显示的数据进行放大、缩小等处理时，可以将所需要的数据传输给用户。

进一步，由于在存取数据时，将海量数据文件划分成多个数据块进行存储，使得写入和读取数据可以在多个数据块中同时进行，从而提高了数据的存取速度及数据的传输性能。

附图说明

图1为本发明一实施例处理海量数据的方法的流程图；

图2为本发明一实施例处理海量数据的分布式***的结构框图；

图3为本发明一实施例数据处理子***的工作流程图；

图4为本发明一实施例业务控制子***的工作流程图；

图5为本发明一实施例客户端子***的工作流程图。

具体实施方式

本发明公开的处理海量数据的方法包括对海量数据文件的分块压缩的过程、以及对海量数据进行传输和显示过程，以下对各过程的实现方式进行阐述。

如图1所示，由于海量数据的信息量很大，通常对海量数据进行压缩，以便于在网络上传输，因此本发明预先设置每次读取的数据的范围(步骤100)，当读取海量数据文件时，按照预定的数值范围读取数据(步骤101)；然后将每次读取的数据压缩后进行保存(步骤102)，这样，就将整个海量数据文件划分为若干个数据块。由于每个数据块在海量数据文件中占据一定的位置，为了在客户端需要的时候提取所存储的海量数据文件，因此，可以将每个数据块对应的定位信息进行保存，为了提取方便，还可以保存每个数据块的大小等信息(步骤103)，以便当用户提出相应的请求时，可以根据步骤103记录的信息查找到对应数据块，由此可以将海量数据文件还原出来。本发明所述的海量数据文件可以包括海量图像数据、视频、音频数据文件等。

当接收到用户指令时，用户指令通常会携带用户所需要的海量数据文件的标识信息，根据指令中的标识信息可以查找所需要的海量数据文件(步骤104)，另外，可以根据传输带宽及用户需求以及客户端显示属性等因素预先设置传输数据包的规则，按照预定规则将海量数据文件传输到客户端(步骤105)；在本发明的一个实施例中，每次传输的数据范围与读取数据的数值范围一致，即每次传输一个数据块。考虑传输带宽及用户需求以及客户端显示属性等因素，所设置的预定规则还可以进一步包括：根据所述指令中的分辨率信息将相应分辨率的数据进行传输，以便能够使接收者在尽量短的等待时间内查看到所需的数据。由于需要按照客户端的分辨率大小传输数据，而对于不同的客户端，其分辨率可能各不相同，因此将海量数据文件划分成各数据块进行存储时，需要根据不同客户端的分辨率，将每次所读取的数据块压缩成不同分辨率的数据块进行保存，并记录相应的分辨率信息；当接收到用户指令时，查找到所需要的海量数据文件后，根据所述指令中的分辨率信息将相应分辨率的数据块逐个进行传输。上述将数据块按照不同分辨率压缩以及相应显示的具体过程在下文中详细介绍。

客户端对海量数据文件进行显示时，获取所传输的数据的定位信息，将所传输的数据根据相应的定位信息进行解析，并在相应的位置显示。

另外，本发明还预先设置用户处理海量数据文件时可能的触发事件(例如，用户对当前显示区域的海量数据文件中的部分显示区域进行放大、缩小、修改、重新组合等对某部分数据进行处理的指令；或对当前显示区域的数据进行标注、增加特效、音频等未涉及到所传输的海量数据的指令)，并记录预设的触发事件的属性信息(步骤103)；当所述客户端发送指令对所获取的海量数据文件进行处理时，如果所述指令为预设的触发事件，则修改相应的触发事件的属性信息，并将修改后的属性信息传输至所述客户端(步骤106)；同时，如果该触发事件涉及到对数据的处理时(例如，放大、缩小等指令)，则当接收到对当前显示区域的数据进行变更的用户指令时，根据用户指令中的分辨率信息以及需要变更数据在显示区域的位置信息，获得相应分辨率的数据块，然后将这些数据块按照上述过程传输至客户端。由此，使得***在发送、传输和接收各种海量数据(包括文字、图形、声音和图像等)时实现实时交互式操作，使得接收者在接收过程中可以对显示区域的某一帧进行加工、修改、放大和缩小，以及对显示的数据进行修改和操作(例如在一个屏幕上开多个窗口进行交互式操作)，甚至可以在同样的运动图像上根据不同的需要组合出不同的声音，还可以通过摄像机把观众现场直接叠加到活动的视频图像上去。

如上所述，由于本发明在存取数据时，将海量数据文件划分成多个数据块进行存储，使得写入和读取数据可以在多个数据块中同时进行，从而提高了数据的存取速度及数据的传输性能。同时，由于本发明在传输数据时并非将用户需要的所有数据全部传输后再进行显示，而是按照预定的规则传输数据块或者数据块中的部分数据，减少了用户等待的时间，提高了用户体验，同时，由于每次传输的数据量较小，因此可以实现数据的异地传输。

由于本发明当用户发送指令时，根据客户端发送的用户指令将数据的处理结果传递至客户端，而不是将数据发送给客户端由客户端再进行处理，从而降低了通信负荷，缩短了用户的等待时间。

申请人在申请号为200710017386.5的申请文件中公开了一种将海量数据文件分成数据块、将各数据块按照不同的分辨率进行压缩、以及将所传输的数据进行显示的实施例，具体如下所述：

由于海量数据文件的数据量较大，在该实施例中，存取海量数据文件时，将海量数据文件分成多个数据块进行读取和保存，由于分块大小的选择影响并行处理能力，分块越小，一个文件被分割的块数就越多，并行处理能力就越强，数据存取速度就越高，但与此同时就会增加块存取的随机性和块寻址时间，可以根据不同的应用要求采用不同的分块尺寸。具体的划分过程可以通过以下过程实现：在读取海量数据文件时，预先设定每次读取的数据块的高度和宽度，将每次读取的数据块进行保存。当顺序读取完成一行数据中所设定数据分块宽度的数据后，存放到一个内存缓冲，再将下一个所设定数据分块宽度的数据作为存放到另一个内存缓冲，直到一行数据读取完成。当一行数据宽度不能被预先设定的数据分块宽度整除时，可以补充填充色数据。上一行数据读取完毕，换行读取下一行数据时，若读取的数据在所设定的数据分块高度所对应的行数据范围内，则将该数据存放到与上一行数据对应的内存缓冲，否则存放到重新开辟的内存缓冲。

如上文所述，为了提取数据的方便，将整个海量数据文件划分为数据量较小的数据块，同时，为了寻址的需要，保存包含与数据块相关的定位信息。由于每个数据块在整个海量数据文件中占有一定的位置，因此在对海量数据文件分块时，将每个数据块的大小及定位信息存储起来，建立一个数据块位置结构文件，作为整个海量数据文件组织的空间索引文件，该结构文件可以包括分辨率信息、海量数据文件的大小信息、海量数据文件的定位信息(例如起始位置信息、终止位置信息等)、各数据块的起始定位信息(例如，起始位置信息、终止位置信息等)，以便在用户提出相应请求时，可以从中查找出相应的提取数据区域。在对海量数据文件进行显示时，根据显示区域所对应的数据块的定位信息，检索到所存储的数据块，读取到客户端的内存缓冲中，然后复制到显示缓冲区，在显示区域范围内的数据显示出来，所有的数据块可以拼接成一个完整的海量数据文件。

由于海量数据文件的尺寸大小以及分辨率信息影响数据量的大小，而数据量的大小又和读取数据的时间息息相关。在实际应用中，显示区域的大小是固定的，各种客户端对海量数据的查询请求在多数情况下不会对应于原始分辨率，而是低于原始分辨率的。在这种情况下，如果仅存在原始分辨率的数据，那么在处理查询请求时，就不得不每次都要访问原始分辨率的数据，也就是数据量最大的数据，然后取出查询请求中与显示区域对应的那部分数据后，再通过GDI+等图像处理技术将其缩小到显示区域的大小，这样的处理流程显然是很低效的。因此本发明的一个实施例中在为不同的客户端应用准备好了各种不同分辨率的海量数据，使得客户端可以在这些不同分辨率的数据中按需所取。在海量数据文件分块的同时，每当所设定分块大小的数据读取完毕进入该内存缓冲后，生成各种分辨率级别的分层数据。海量数据的分层结构由原始的数据块开始，建立起一系列不同分辨率的数据块，这一系列数据块可以反映各种尺度下该数据块的详尽程度和概貌，形成各种分辨率的数据块。将数据块处理为不同分辨率的具体的过程是：为了使海量数据文件能够在各种不同分辨率的客户端的显示设备上显示，需要预先获取不同客户端显示设备的分辨率信息，海量数据文件按照分块大小读入内存缓冲后，对数据块进行前期预处理，包括直流电平位移和分量变换，对处理的结果进行离散小波变换，得到小波系数，然后对小波系数进行量化，将量化后的小波系数划分成小的数据单元即码块，对每个码块进行独立的嵌入式编码。将得到的所***块的嵌入式位流，按照率失真最优原则分层组织，形成不同质量的数据块。对每一层，按照一定的码流格式打包，输出压缩码流，将该码流进行保存，然后释放该内存缓冲。如此反复，就可以按照预先设定的分块大小将每个数据块压缩成不同分辨率大小的数据块。当客户端读取数据块中的数据时，根据所需分辨率尺寸信息以及压缩码流中存储的参数，对码流进行解包和熵解码，然后进行反向量化和离散小波反变换，对反变换的结果进行后期处理合成得到相应分辨率的海量数据。

由于客户端的显示设备的分辨率问题导致将一个海量数据文件在显示区域的可视窗体内进行显示通常需要进行漫游显示。通过上述数据分块技术减少了数据显示时的定位和读取的次数，在一定程度上克服了数据显示漫游过程中的速度过慢问题。为了解决每次的漫游操作均需从硬盘读取，进一步提高数据显示漫游的速度，利用计算机的缓存技术，在客户端显示设备的显示区域附近区域再开辟一块适当大小的内存缓冲，在该缓冲区中存储所读取的数据，然后再将此缓存中显示的相应部分拷贝到显示区域。当此缓冲区的大小大于滚动视图的可见窗体尺寸，则在图像漫游过程中，***就不必每次都重新从海量图像文件中获取显示部分的数据，只需计算应拷贝的缓冲区的位置，再做一次数据复制即可。内存缓冲的大小可以影响数据漫游的效率，若太小则造成频繁地读取数据，太大将受到计算机内存的限制，而且大数据量的读入也会造成速度的延迟，因此内存缓冲选取较优的方式是选择显示区域周围距离较近的分块。通常利用客户端显示数据时，当用户按住鼠标左键拖动不放开时，由于漫游的范围最大也就是显示区域的周边区域，因此选择适当的分块大小以及显示区域周围最近的周边区域作为内存缓冲，恰好能够实现显示区域周边区域的图像均在内存缓冲当中，从而保证了漫游操作时，只要手按住鼠标左键不放开，所有漫游操作都不需与再从海量数据文件中读取。

针对上述处理海量数据的方法，本发明的一个实施例中公开了一种处理海量数据的***，如图2所示，该***包括数据处理子***201、业务控制子***203，以及客户端子***202。

数据处理子***201读取并保存海量数据文件以及定位信息；所保存的海量数据文件包括通过上文所述的处理海量数据的方法保存的各数据块，以及各数据块对应的定位信息，并将预设的触发事件的属性信息在第一配置文件中进行保存。

业务控制子***203从数据处理子***201获得海量数据文件以及定位信息，完成对客户端子***202的控制功能，当接收到用户指令时，按照上述方法提及的预定规则传输数据，当客户端发送指令对所获取的海量数据文件进行处理时，如果所述指令为预设的触发事件，则修改所述第一配置文件，并将修改后的第一配置文件传输至客户端。

数据处理子***201还可以按照上文所述的方法将每个数据块中的数据压缩成不同分辨率的数据并进行保存，在本发明的一个实施例中，所保存的海量数据文件中存储有不同分辨率的数据块以及头文件，在头文件中保存有与所述不同分辨率的数据块对应的分辨率信息、各数据块的定位信息、以及其他与海量数据文件及数据块相关的信息，该头文件相当于上文所述的位置结构文件。

客户端子***202，用于对接收到的海量数据文件进行显示，可以包括通讯单元，接收用户指令，用户指令中通常指明当前需要获取的海量数据文件的标识信息，根据该标识信息向业务控制子***203获取海量数据文件，当接收到业务控制子***203传输的数据时，将该数据在存储单元进行存储，该存储单元可以是客户端的缓冲内存区域；当接收完成各数据块后，显示单元根据所述海量数据文件中的头文件中的相关信息从存储单元获取各数据块，并按照上文所述的显示方法在相应的位置进行显示。

上述数据处理子***201与客户端子***202在物理上可以通过同一个设备实现，也可以通过不同的设备实现，客户端子***202可以是PDA或PC等多种设备。

通过该***能够提供清晰的视频影像传输，实现大规模的业务展示功能，包括新闻信息的阅览、历史资料回放、教学、讲座以及报告等。

为了更加清楚的理解上述实施例中的技术方案，以下阐述一个对海量数据文件进行处理的实施例，作为上述处理海量数据的方法及***的一种应用实例。

该实施例中处理海量数据的***用于实现多媒体节目的制作、发布及演播功能。在本实施例中，上文所述的数据处理子***201完成将多媒体数据文件制作成节目文件，并将节目文件发布的过程，以下结合图3阐述数据处理子***201的工作流程：

数据处理子***201按照预定的数值范围分块读取多媒体数据文件，将每次读取的多媒体数据依次压缩保存(步骤301)，将各数据块按照不同的分辨率进行压缩(步骤302)，生成位置结构文件(步骤303)；为了便于实现，在本实施例中，将各数据块与位置结构文件保存在同一个自定义的文件中，位置结构文件作为该文件的头文件，该头文件中记录了各数据块的分辨率信息、各数据块的大小信息(例如显示对象的宽度、高度等，单位可以为像素)、海量图像文件的起始位置和终止位置信息(例如，起始坐标、终止坐标)、各数据块的起始位置和终止位置信息(例如，起始坐标、终止坐标)等。另外，由于节目文件通常包含多个多媒体数据文件，因此将具有相关性的各自定义的文件打包成数据包，生成节目文件(步骤304)。

另外，数据处理子***201还生成第一配置文件，第二配置文件及第三配置文件(步骤305)。上述配置文件可以通过脚本文件实现，为了标准化的需要，同时由于XML解析器较方便，在该实施例中第一、第二、第三配置文件采用XML脚本实现。

该第一配置文件包括与定位各节目文件相关的信息(例如各节目文件的标识信息等)，同时，该第一配置文件还可以包括节目文件相关的文本信息，以及与节目文件相关的事件属性信息。

作为一个实施例，数据处理子***201可以为多个业务控制子***203提供相应的第一配置文件，第二配置文件中描述了各个业务控制子***203与相应的第一配置文件的对应关系，指定业务控制子***203应当装载的第一配置文件。

如上所述，由于可以存在多个业务控制子***203，第三配置文件中描述了客户端子***202需要演播的节目文件及该节目文件所在的业务控制子***203的标识信息(例如，业务控制子***203的IP地址信息等)。在异地传输海量数据文件时，通过第三配置文件可以连接到相应的业务控制子***。

数据处理子***201制作完成节目文件及配置文件后，将节目文件及第一、第二配置文件发布到业务控制子***203，将第三配置文件发布到客户端子***202(步骤306)。

业务控制子***203可以位于服务器端，与客户端子***202进行信息交互，提供节目文件演播的业务逻辑控制。以下结合图4业务控制子***203的工作流程：

业务控制子***203通过脚本解析器对第二配置文件进行解析，根据第二配置文件装载第一配置文件及节目文件(步骤401)，当收到客户端子***202发送的节目查询请求时，通常该节目查询请求中携带有节目文件的标识信息以及客户端子***的分辨率信息，通过解析第一配置文件，根据第一配置文件中的节目文件的标识信息找到相应的节目文件，根据各多媒体文件的标识信息将节目文件中的自定义格式的多媒体数据文件依次传输。在传输某个多媒体数据文件时，将分辨率最小的各数据块、头文件以及第一配置文件发送给客户端子***(步骤402)。

在客户端子***202对某个多媒体数据文件进行显示的过程中，当用户需要对当前所显示区域的多媒体数据文件的部分数据进行更新时，例如，对显示区域内某部分的数据进行放大、缩小或更新，则当业务控制子***203接收到对当前显示区域的数据进行变更的用户指令时，根据用户指令中的分辨率信息以及需要变更数据在显示区域的位置信息，获得相应分辨率的数据块，然后将这些数据块按照上述过程传输至客户端子***202(步骤403)。

另外，当接收到客户端子***202的事件触发信息时，根据第一配置文件查询是否为预定事件，如果是预定事件，则将第一配置文件中的相应事件属性信息进行更新(步骤404)，并将更新后的第一配置文件发送至客户端子***202(步骤405)。

客户端子***202可以是PDA或PC等多种设备，图5为客户端子***202的工作流程：客户端子***202在需要时通过脚本解析器对第三配置文件进行解析，根据第三配置文件向相应的业务控制子***发起连接请求(步骤501)，当连接成功后，将欲演播的节目文件标识以及客户端子***的分辨率等信息发送给业务控制子***203(步骤502)，当接收到业务控制子***203发送的数据时，对接收到的数据文件进行解析(步骤503)，将数据块复制到相应的显示区域，将各数据块拼接成海量数据文件后进行显示(步骤504)。

当用户需要对当前所显示区域的海量数据文件的部分数据进行更新时，例如，对显示区域内某部分的数据进行放大、缩小或更新，则向业务控制子***203发送指令，所述指令中携带用户期望达到的分辨率信息以及需要变更数据在显示区域的位置信息。

客户端子***收到用户的事件触发指令(例如，添加标注、增加背景音乐、增加特效等)时，向业务控制子***203发送事件触发信息(步骤505)，当接收到业务控制子***203的控制指令时，根据接收到的第一配置文件执行相关的动作(步骤506)。

步骤501中客户端子***202向业务控制子***202发起连接请求的过程可以通过以下方式实现：客户端子***202在启动时通过监听端口向业务控制子***203发起连接请求，业务控制子***203收到该连接请求后，将为客户端子***202生成随机端口，并发送响应给客户端子***202，该响应中携带有随机生成的端口；客户端子***202收到该响应后，通过该随机端口发送节目查询请求以及进行后续的信息交互。

当存在多个客户端子***时，如果各客户端子***随机访问存放连续多媒体信息的业务控制子***，为了避免***性能下降，以及可能无法实现多用户的访问的问题，作为一个实施例，业务控制子***预先设置调度机制来折衷各个客户端子***的请求，以保证每个用户的演播连续性，同时最大限度地增加可并行服务的访问数。对每个客户端子***的请求，业务控制子***需要及时提供足够的数据，以供连续演播的需要，因此，当某个客户端子***读取了足够的数据(例如，读取完某个海量数据文件)后，将向业务控制子***发送消息，通知业务控制子***停止发送数据，业务控制子***暂停为该客户端子***传输数据，而转向为其他客户客户端子***，从而防止过量累积的数据消耗太多***资源，甚至耗尽***资源。

本实施例中业务控制子***将客户端子***与制作节目的数据处理子***隔离，负责转发命令和事件的处理结果，从而提高了***的安全性。另外，用户对当前显示区域的数据进行处理时，可以通过向业务控制子***发送触发事件信息要求业务控制子***修改第一配置文件中的相应事件，从而使用户能够实时对当前的显示区域的数据进行加工、处理、修改、放大以及重新组合等操作，从而实现交互性操作。用户可以通过第三配置文件实时的选择不同业务控制子***上的节目文件，进一步提高用户体验

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (12)

1.一种处理海量数据的方法，其特征在于，包括步骤：

步骤一，当读取海量数据文件时，按照预定的数值范围读取数据，所述数值范围为每次读取的数据的范围；将每次读取的数据进行保存，并记录所述每次读取的数据的定位信息；记录预设的触发事件的属性信息；

步骤二，当客户端发送指令获取所存储的海量数据文件时，根据所述指令中的标识信息查找所需要的海量数据文件，按照预定规则传输所述海量数据文件中的数据；当所述客户端发送指令对所获取的海量数据文件进行处理时，如果所述指令为预设的触发事件，则修改相应的触发事件的属性信息，并将修改后的属性信息传输至所述客户端。

2.根据权利要求1所述的方法，其特征在于，还包括步骤：将每次所读取的数据压缩成不同分辨率的数据，将所述不同分辨率的数据进行保存，并记录相应的分辨率信息；

所述预定规则包括：根据所述指令中的分辨率信息将相应分辨率的数据进行传输，且每次传输的数据的范围与读取数据的所述数值范围一致。

3.根据权利要求2所述的方法，其特征在于，当所述客户端的指令为预设的触发事件，所述预定规则还包括：当所述触发事件为对当前显示区域的数据进行处理的指令，根据所述指令中的分辨率信息以及显示区域的位置信息传输相应分辨率的数据。

4.根据权利要求2所述的方法，其特征在于，所述定位信息、分辨率信息存储于位置结构文件中。

5.根据权利要求1所述的方法，其特征在于，所述步骤一还包括：将所读取的海量数据文件打包成数据包，并记录所述数据包的标识信息。

6.根据权利要求5所述的方法，其特征在于，所述预设的触发事件的属性信息与所述数据包的标识信息存储于第一配置文件中，所述第一配置文件为脚本文件。

7.一种处理海量数据的***，其特征在于，包括：数据处理子***和业务控制子***；

所述数据处理子***，用于读取并保存海量数据文件以及定位信息；并将预设的触发事件的属性信息在第一配置文件中进行保存；

所保存的海量数据文件包括至少一个数据块，每个数据块分别包括按照预定的数值范围读取的数据，所述数值范围为每次读取的数据的范围；所述定位信息为所述数据块对应的定位信息；

所述业务控制子***，用于获得所述海量数据文件、定位信息及所述第一配置文件，当客户端发送指令获取所存储的海量数据文件时，根据所述指令中的标识信息查找所需要的海量数据文件，按照预定规则传输所述海量数据文件中的数据；当所述客户端发送指令对所获取的海量数据文件进行处理时，如果所述指令为预设的触发事件，则修改所述第一配置文件，并将修改后的第一配置文件传输至所述客户端。

8.根据权利要求7所述的***，其特征在于，所述数据处理子***还用于将所述数据块中的数据压缩成不同分辨率的数据并进行保存，

所述海量数据文件还包括不同分辨率的数据以及与所述不同分辨率的数据对应的分辨率信息；

所述预定规则为：根据所述指令中的分辨率信息将相应分辨率的数据进行传输。

9.根据权利要求8所述的***，其特征在于，所述数据处理子***还用于生成第二配置文件，并将所述第二配置文件发布到所述业务控制子***；

所述第二配置文件用于保存所述业务控制子***与第一配置文件的对应关系信息；

所述业务控制子***根据所述第二配置文件获取相应的第一配置文件。

10.根据权利要求9所述的***，其特征在于，该***还包括客户端子***，用于接收用户指令，根据所述用户指令中标识信息获取海量数据文件，根据所述海量数据文件中的定位信息进行显示。

11.根据权利要求10所述的***，其特征在于，所述数据处理子***还用于生成第三配置文件，并将所述第三配置文件发布到所述客户端子***；

所述第三配置文件用于保存所述业务控制子***的IP地址信息及所述数据包的标识信息，

所述客户端子***根据所述IP地址信息向所述业务控制子***发起连接请求，以及根据所述数据包的标识信息与所述业务控制子***进行信息交互，获取数据。

12.根据权利要求11所述的***，其特征在于，所述第一配置文件、第二配置文件、第三配置文件为脚本文件。

Images