CN101295312B - 一种使用表格呈现数据的方法 - Google Patents

Abstract

本发明公开一种使用表格处理大规模数据的方法，其包括：将若干个数据分别编码生成若干条对应的数据记录；提供一个记录定位信息集合，所述记录定位集合包括若干个记录定位信息元，分别对应存储所述若干个记录数据的索引；按照所述记录定位信息，定位并解析需要呈现的数据记录，并呈现在表格中。本发明提供的使用表格处理大规模数据的方法，采用记录定位信息集合，***内存占用主要消耗在记录定位信息集合上，由于其只保存记录的定位信息，占用内存只与数据记录的存储结构以及数据记录总数相关，因而其仅占用较少的内存空间，对大规模数据处理方面，无需加载到表格而可直接在内存进行操作，因而同样可节省***开销和减少了处理时间。

Description

一种使用表格呈现数据的方法

技术领域

本发明涉及计算机数据处理技术，尤其涉及该领域内访问计算机数据库的图形用户接口(GUI)中使用表格呈现数据的方法。

背景技术

目前，在计算机数据处理技术中，人们使用图形用户接口处理以及呈现数据时，一般使用表格呈现数据。这种方法不仅直观且呈现的数据信息量大，并且由于表格在数据聚合方面逻辑性强，可方便对记录的数据进行处理，比如对记录的数据进行比较、排序、检索、过滤等。因此，在使用图形用户接口中，表格无疑是呈现数据的首选方案。目前JAVA、C++等主流计算机编程语言都支持表格的形式。

但是，在操作以表格形式呈现的数据时还存在着不少问题，特别是对于大规模数据，问题更加突出，主要表现以下两个方面：

一方面，在处理以表格形式呈现的数据时，将会占用过多的计算机***资源，包括占用内存资源用于存储数据和占用CPU资源用于处理数据。这是因为：每个数据都有一定的大小，需要占用一定的计算机内存资源，当需要将大量数据放在表格中呈现的时候，需要将这些数据全部加载到计算机内存中。假设一个数据占用1K字节，当这些数据量达到一百万条时，将会占用约1G内存资源；当数据量达到一千万条时，占用内存资源将会继续增加使得目前内存资源无法实现。尤其在访问数据库时，经常会碰到需要呈现大规模数据的问题。

而且，目前JAVA等编程语言中对表格数据操作时，是对已存放在表格中的记录数据进行操作。在对这些记录数据进行排序、检索等操作时，往往需要对记录数据进行分析、调换、删除以及重新加载等操作。在对大规模数据操作时，势必会占用较多的CPU资源，致使在计算机图形用户接口的人机界面上表现出死机等状态。

另一方面，要在表格中处理数据，首先需要将数据从硬盘调度至内存，然后通过图形用户接口在表格中呈现，最后才能对数据进行操作。其中每个步骤都需要耗费一定的时间，主要取决于每个数据的大小和数据的总量。

当加载大规模数据时，数据调度(从硬盘调度到内存、从虚拟内存调度到内存)时间将会大大的增加；图形用户接口的调用时间也会大大增加；对数据的排序、检索等操作的耗费时间也会大大增加。纵使***资源能够满足大规模数据处理时的资源需求，也会因为消耗很长的时间，而使用户失去耐心，最终导致用户使用的满意度降低。

可见，现有技术还有待于改进和发展。

发明内容

本发明的目的在于，提供一种使用表格呈现大规模数据的方法，用以解决现有技术中用表格处理大规模数据时对计算机***资源需求过大以及数据处理时延过长，最终导致用户体验满意度较差的问题。

为解决上述技术问题，本发明的技术方案如下：

一种使用表格呈现数据的方法，其中，其包括以下步骤：

A、将若干个数据分别编码生成若干条对应的数据记录；

B、提供一个记录定位信息集合，所述记录定位信息集合包括若干个记录定位信息元，分别对应存储生成的若干条数据记录的索引；

C、按照所述记录定位信息元存储的所述索引，定位并解析需要呈现的数据记录，并呈现在表格中。

可选的，所述步骤A中，预先定义一种数据存储格式和一种编码方式及其对应的解码方式，将若干个数据按照所述定义的编码方式分别编码生成所述若干条对应的数据记录，所述若干个数据记录按照所述数据存储格式存储构成一个数据文件。

可选的，步骤B中，每个记录定位信息元中的值为其对应的数据记录在所述数据文件中的起始偏移位置。

可选的，步骤C中，按顺序逐个定位、解析并呈现所述若干个需要呈现的数据记录在表格中。

可选的，以分页的方式将所述需要呈现的数据记录呈现在表格中。

可选的，步骤A之前，依次执行步骤A1和步骤B1，

所述步骤A1为提供一个数据编码线程和一个数据解码线程，所述数据编码线程和数据解码线程并行；

所述步骤B1为，所述数据编码线程实时接收新的数据记录并执行所述步骤A至步骤C，所述数据解码线程确定需要呈现的数据记录，并执行步骤C。

可选的，所述步骤C之前，执行步骤E3，所述步骤E3为，对所述记录定位信息集合中若干个记录定位信息元进行排序；

所述步骤C中，按照所述排序后的记录定位信息集合，依次定位并解析需要呈现的数据记录，并呈现在表格中。

可选的，所述步骤E3中，基于所述记录定位信息集合，通过解析每个数据记录的指定关键字，构成一个关键字集合；并

对关键字集合排序，根据该关键字集合排序对所述记录定位信息集合中若干个记录定位信息元进行排序。

可选的，步骤E3中，所述关键字集合中每个元素包括其对应数据记录的索引和对应关键字值，按对应关键字值进行排序以对所述关键字集合排序。

可选的，在步骤C之前，逐个定位解析每个数据记录的指定关键字，如果符合所述指定关键字提取规则则将其对应的记录定位信息元存入一个新的记录定位信息集合中；步骤C中，按照所述新的记录定位信息集合，定位并解析需要呈现的数据记录，并呈现在表格中。

本发明提供的使用表格呈现数据的方法，创造性地提出了先对数据记录进行编码、提取定位信息构成记录定位信息集合的相关概念，并在此基础上实现一系列使用表格呈现大规模数据的方法。***内存占用主要消耗在记录定位信息集合上，由于其只保存记录的定位信息，占用内存与数据记录长度无关，只与数据记录的存储结构以及数据记录总数相关，因而其仅占用较少的内存空间。

在大规模数据呈现方面，虽然数据文件中包含大量的记录，但是采用分页的方法，则每次只需要处理少量记录，所以占用的***资源少；同时利用记录定位信息集合，可快速定位解析，定位解析第一条记录和定位解析最后一条记录(比如第一千万条)耗时相等，即可随机查看任何一条记录，因而造成的时延也小。在大规模数据操作(排序、检索等)方面，由于可准确定位数据记录以及目标参数，则可大大减少处理的数据量；无需加载到表格而可直接在内存进行操作，因而同样可节省***开销和减少了处理时间。因此本发明提供的使用表格呈现数据的方法，在呈现大规模数据时，与现有技术相比，可获得较低的数据处理延时、较低的***开销等良好性能。

附图说明

图1为本发明第一实施例提供的一种使用表格呈现数据的方法流程图。

图2为图1中若干条编码后生成的数据记录组成的数据文件的示意图；

图3是图2中每个数据记录的结构示意图；

图4为图2中每个数据记录中参数的结构示意图；

图5为图2中每个数据记录的定位信息构成的定位信息集合的示意图；

图6为本发明第二实施例提供的一种使用表格呈现数据方法的流程图；

图7为本发明第三实施例提供的一种使用表格呈现数据方法的流程图；

图8为图7中关键字集合的结构示意图；

图9为本发明第四实施例提供的一种使用表格呈现数据方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

请参阅图1，为本发明实施例提供的一种使用表格呈现数据的方法流程图。

所述使用表格呈现数据的方法包括以下步骤：

A、将若干个数据分别编码生成若干条对应的数据记录，所述若干个数据记录存储构成一个数据文件；

具体地，可预先定义一种数据存储格式和一种编码方式及其对应的解码方式，将若干个数据按照所述定义的编码方式分别编码生成所述若干条对应的数据记录，所述若干个数据记录按照所述数据存储格式存储构成一个数据文件；

请参阅图2为所述数据文件的示意图；图3为所述数据文件中每个数据记录的结构示意图；

每个数据记录包含若干个属性参数。具体地，每个数据记录由其长度、其包含属性参数个数以及每个属性参数的偏移及其取值列表组成。

优选地，所述若干个编码生成的数据记录依次连续排列组成所述数据文件；

请继续参阅图4，为图3中每个数据参数的结构示意图，每个数据参数包括数据类型(如数值型、字符型等)以及数据内容。

实际中，将所述数据文件存储在PC(个人计算机)的硬盘中。可以理解，在访问并查询数据库操作中，可将查询结果即若干个数据按照所述编码方式编码生成若干个数据记录并依次写入到所述数据文件中。

B、提供一个记录定位信息集合，所述记录定位集合包括若干个记录定位信息元，分别对应存储所述若干个记录数据的索引；

优选的，请参阅图5，为所述记录定位信息集合的结构示意图，其中分别为所述若干个数据记录的索引；所述记录定位信息集合包括若干记录定位信息元，其分别为0，1，2......，N......，分别为所述若干个数据记录的索引。

优选地，每个记录定位信息元中的值为其对应的数据记录在所述数据文件中的起始偏移位置，可以理解，每个记录定位信息元都可用一个long类型的数据来表示，可适于JAVA编程。在JAVA编程中，每个记录定位信息元采用long类型的信息占用8个字节。那么，在实际中，当所述若干个数据记录为一千万个数据记录时，则所述记录定位信息集合中，所述若干个记录定位信息元占用80M的空间，即仅占用很少的***资源，在实际中，一般的PC机可以满足所述若干个记录定位信息元。

所述记录定位信息集合由解析所述数据文件获得。具体地，通过步骤21即定位数据文件中第一条记录的起始位置以读取所述数据文件；执行步骤22，即获得所述数据文件中每个数据记录的索引，并将其分别对应写至记录定位信息集合的若干个记录定位信息元中。

优选地，所述每个数据记录的索引为其对应的数据记录在所述数据文件中的起始偏移位置。

优选地，所述步骤22中，依次定位至每个数据记录的起始位置以获得每个数据记录的索引；所述步骤22中，可估算记录的平均长度；

优选的，所述写有每个数据记录索引的记录定位信息集合存至数据文件中，便于再次使用表格呈现数据时使用，以获得更低的时延性能。

C、按照所述记录定位信息，定位并解析需要呈现的数据记录，并呈现在表格中。

具体地，预先确定当前需要呈现的若干个数据记录，按照所述记录定位信息，定位并解析所述需要呈现的数据记录，并将解析结果呈现在表格中。

优选地，以分页的方式呈现所述若干个数据，并确定需要呈现的属性参数。

优选地，按顺序逐个定位、解析并呈现所述若干个需要呈现的数据记录在表格中。具体地，依次执行步骤41、步骤42、步骤43和步骤44：

步骤41、提取第一个需要呈现的数据记录索引；

具体地，从所述记录定位信息集合中提取所述第一个需要呈现的数据记录索引；

步骤42、按照所述提取的数据记录索引定位对应的数据记录并解析其上每个参数以构成其对应数据并将所述对应数据呈现在表格中；

步骤43、判断是否需要提取下一个数据记录索引，如果是则返回执行步骤42，如果不是则结束。

优选的，采用分页的方式在表格中呈现所述若干个数据记录，可限制每页呈现上限为1000个数据记录，假设每个数据记录占用4K，则总共占用4M空间，仅占用极少的***资源；

可以理解，采用本发明实施例提供的一种使用表格呈现若干个数据的方法，图形用户界面在处理所述若干个数据时，所占用的***内存资源可用以下表达式来计算：

占用***内存资源总量＝

每个数据记录的索引(记录定位信息集合中每个记录定位信息元)占用的内存空间×数据记录的总数  ①

+每条数据记录占用的平均内存空间×当前页中的数据记录总数  ②

定义第一项内存占用资源为每个数据记录的索引(记录定位信息集合中每个记录定位信息元)占用的内存空间×数据记录的总数；第二项为每条数据记录占用的平均内存空间×当前页中的数据记录总数。

很明显，数据记录总数确定，则第一项为一固定值，而第二项可由分页中的记录数量来控制。可以理解，可根据静态配置或当前动态配置的可使用内存空间，减去第一项固有占用空间，剩余的空间在预估平均每条记录占用空间的基础上计算出最大表格呈现的记录数量，作为分页中可呈现记录的上限并确定分页的数量。

图形用户界面在处理所述若干个数据时，时延可以用下面的表达式来计算：

处理时延＝

分析一条记录的定位信息的耗时×记录的总数  ⑥

+解析和呈现一条记录的平均耗时×当前分页中的记录总数  ⑦

当数据记录总数确定后，第六项耗时提取一个数据记录索引(记录定位信息)的耗时×数据记录总数，所述第六项耗时发生在从硬盘读取内容至内存的过程，而与CPU的性能无关。在普通PC机上分析一千万个数据记录的记录定位信息耗时约10分钟，即占用CPU资源少且处理时延小，是用户完全可以接受的。

优选的，采用JAVA的类Random Access File，利用定位信息数据，可实现快速定位并解析记录。结合分页呈现的方法，可达到查看第一页与查看最后一页的耗时相等，故第七项耗时(解析和呈现一个数据记录的平均耗时×当前页中的数据记录总数)可忽略不计，即可获得低时延性能。

本发明第一实施例提供的一种使用表格呈现数据方法，采用一个记录定位信息集合，其占用***资源小。一般来说，用户期望使用表格来观察大批量的数据，一次能够关注的数据却是有限的，因为表格的可视部分是有限的。因此本发明第一实施例在使用表格呈现大规模数据的时候，在提取记录定位信息集合的基础上，读取并解析部分数据记录，然后再用表格呈现出来。通过提取记录定位信息最终实现对大规模数据处理，使得使用表格处理并呈现大规模数据具有低延时、低***开销等良好性能。

下面结合图6，详细说明本发明第二实施例提供的一种使用表格呈现数据的方法，其与本发明第一实施例的不同点在于，

具体包含以下步骤：

A1、提供一个数据编码线程和一个数据解码线程，所述数据编码线程和数据解码线程并行；

B1、所述数据编码线程和数据解码线程分别执行步骤C1和步骤D1；

所述步骤C1为，实时将接收到的数据记录编码并写入所述数据文件中。

所述步骤D1为，确定需要呈现的数据记录，根据所述记录定位信息集合，解析出对应数据并呈现在表格中。

优选地，所述步骤C1中，打开接收数据记录端口以接收所述数据记录；所述数据记录按照所述定义的编码方式编码。

优选地，所述步骤C1中，对所述编码后的数据记录进行分析以获得其索引值、长度等信息，将其索引值对应写入所述记录定位信息集合中的对应记录定位信息元中，长度信息可用来估算数据记录的平均长度。

可以理解，所述步骤D1中，按顺序逐个定位、解析并呈现所述若干个需要呈现的数据记录在表格中。具体地，依次执行步骤31、步骤32、步骤33和步骤34：

步骤31、提取第一个需要呈现的数据记录索引；

具体地，从所述记录定位信息集合中提取所述第一个需要呈现的数据记录索引；

步骤32、按照所述提取的数据记录索引定位对应的数据记录并解析其上每个参数以构成其对应数据并将所述对应数据呈现在表格中；

步骤33、判断是否需要提取下一个数据记录索引，如果是则返回执行步骤32，如果不是则结束。

优选的，可预先给所述第一项内存占用资源设定一个上限域值，当其达到所述上限域值时，停止接收新的数据记录。

本发明第二实施例提供的使用表格呈现数据的方法，在呈现数据于表格中的同时，实现写数据记录至所述数据文件中，可实现使用表格呈现大规模动态数据，同样具有本发明第一实施例的发明效果且兼具实现对静态数据文件以及动态数据文件的表格呈现功能。

请参阅图7，为本发明第三实施例提供的使用表格呈现数据的方法，其与本发明第一实施例的不同点在于，本发明第三实施例的使用表格呈现数据的方法中，在步骤C3(按照所述记录定位信息，定位并解析需要呈现的数据记录，并呈现在表格中)之前，对所述记录定位信息集合中若干个数据记录对应的记录定位信息进行排序。

本发明第三实施例的使用表格呈现数据的方法，包括以下步骤：

A3、将若干个数据分别编码生成若干条对应的数据记录，所述若干个数据记录存储构成一个数据文件；

B3、提供一个记录定位信息集合，所述记录定位集合包括若干个记录定位信息元，分别对应存储所述若干个记录数据的索引；

E3、对所述记录定位信息集合中若干个记录定位信息进行排序。

C3、按照所述排序后的记录定位信息集合，依次定位并解析需要呈现的数据记录，并呈现在表格中。

所述步骤E3中，基于已生成的记录定位信息集合，通过解析每个数据记录的指定关键字，构成一个关键字集合，并对关键字集合排序，根据该关键字排序对所述记录定位信息集合中若干个记录定位信息进行顺序调整。

步骤C3中，按照排序后的记录定位信息集合，依次定位并解析需要呈现的数据记录，并呈现在表格中。

图8给出了所述关键字集合的结构示意图，基于所述记录定位信息集合，定位并解析每个数据记录的指定关键字，若干指定关键字构成一个关键字集合。所述关键字集合中，每个元素包括对应关键字对应数据记录的索引(Index)和对应关键字值(Value)。

对关键字集合按对应关键字值(Value)进行排序，可得到一个按对应关键字值(Value)有序集合，进而按照所述按对应关键字值(Value)有序集合中对应关键字对应数据记录的索引(Index)的顺序调整记录定位信息集合中记录定位信息元顺序。

本发明第三实施例提供的使用表格呈现数据方法，兼具对大规模数据排序呈现的功能，其占用***内存资源总量＝

每个数据记录的索引(记录定位信息集合中每个记录定位信息元)占用的内存空间×数据记录的总数  ①

+每条数据记录占用的平均内存空间×当前页中的数据记录总数  ②

+每个关键字结构平均占用空间×记录条数  ③

处理时延＝

分析一条记录的定位信息的耗时×记录的总数  ⑥

+解析和呈现一条记录的平均耗时×当前分页中的记录总数  ⑦

+解析关键字的平均耗时×记录条数  ⑧

+排序时间  ⑨

优选地，可根据使用内存大小、预估关键字平均长度，确定关键字是否按照分页方法定位解析并存储，以定位解析所述若干数据记录的关键字并构成所述关键字集合。可以理解，若关键字集合占用空间较少，则无需对关键字分页，直接使用内部排序方法，可获得低时延性能。可以理解，若关键字占用的空间较大，再制定关键字分页策略，将关键字集合分为若干页，并将分页保存到文件中，再使用外部排序的方法，比如多路归并法，进行排序。也可获得低时延性能。

可以理解，按照图8关键字集合结构，每个元素中：一个为索引(Index)字段，其在JAVA中占用4个字节；另一个是关键字的取值(Value)字段，其占用若干个字节。如果关键字的取值字段占用10个字节，那么对于一千万条数据记录而言，所述第三项占用内存资源(每个关键字结构平均占用空间×记录条数)仅占用140M的临时空间，即仅占用很少的***资源。这样的资源消耗，一般的PC机完全能够接受。

优选的，采用JAVA的类Random Access File，利用记录定位信息集合，可实现快速定位数据记录和快速定位关键字。很明显，第八项时延(解析关键字的平均耗时×记录条数)将小于第六项时延，在普通PC机上，提取一千万个数据记录关键字的时延约为3分钟，可获得低时延性能。

请参阅图9，为本发明第四实施例提供的使用表格呈现数据的方法，其与本发明第一实施例的不同点在于，所述本发明第四实施例的使用表格呈现数据的方法中，在步骤C4(按照所述记录定位信息，定位并解析需要呈现的数据记录，并呈现在表格中)中，定位解析每个数据记录的指定关键字，将符合指定关键字提取规则的数据记录解析并呈现在表格中。

具体地，逐个定位解析每个数据记录的指定关键字，如果符合所述指定关键字提取规则，则将其对应的数据记录定位信息存入一个新的记录信息集合中，步骤C4中，按照所述新的记录定位信息，定位并解析需要呈现的数据记录，并呈现在表格中。

通过上述详细的步骤，可实现使用表格对大规模数据按关键字检索，由于检索操作会生成一个新的记录定位信息集合，则

占用***内存资源总量＝

每个数据记录的索引(记录定位信息集合中每个记录定位信息元)占用的内存空间×数据记录的总数  ①

+每条数据记录占用的平均内存空间×当前页中的数据记录总数  ②

+每条记录的记录定位信息占用的空间×命中记录总数  ③

处理时延＝

分析一条记录的定位信息的耗时×记录的总数  ⑥

+解析和呈现一条记录的平均耗时×当前分页中的记录总数  ⑦

+解析关键字的平均耗时×记录条数  ⑧：

本发明第四实施例提供的使用表格处理数据的方法，如果一千万个数据记录的关键字均符合所述指定关键字提取规则，仅需再增加80M内存的使用量。在普通PC机上检索一千万条记录第八项时延约为3分钟，同时获得低数据处理延时、低***开销等良好性能。

以上说明书中的具体实施部分，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容做出些许的更动或修饰为等同变化的等效实施例，但是凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种使用表格呈现数据的方法，其特征在于，其包括以下步骤：

A、将若干个数据分别编码生成若干条对应的数据记录；

B、提供一个记录定位信息集合，所述记录定位信息集合包括若干个记录定位信息元，分别对应存储生成的若干条数据记录的索引；

C、按照所述记录定位信息元存储的所述索引，定位并解析需要呈现的数据记录，并呈现在表格中。

2.如权利要求1所述的使用表格呈现数据的方法，其特征在于，所述步骤A中，预先定义一种数据存储格式和一种编码方式及其对应的解码方式，将若干个数据按照所述定义的编码方式分别编码生成所述若干条对应的数据记录，所述若干个数据记录按照所述数据存储格式存储构成一个数据文件。

3.如权利要求2所述的使用表格呈现数据的方法，其特征在于，步骤B中，每个记录定位信息元中的值为其对应的数据记录在所述数据文件中的起始偏移位置。

4.如权利要求1所述的使用表格呈现数据的方法，其特征在于，步骤C中，按顺序逐个定位、解析并呈现所述若干个需要呈现的数据记录在表格中。

5.如权利要求1或者4所述的使用表格呈现数据的方法，其特征在于，以分页的方式将所述需要呈现的数据记录呈现在表格中。

6.如权利要求1所述的使用表格呈现数据的方法，其特征在于，步骤A之前，依次执行步骤A1和步骤B1，

所述步骤A1为提供一个数据编码线程和一个数据解码线程，所述数据编码线程和数据解码线程并行；

所述步骤B1为，所述数据编码线程实时接收新的数据记录并执行所述步骤A至步骤C，所述数据解码线程确定需要呈现的数据记录，并执行步骤C。

7.如权利要求1所述的使用表格呈现数据的方法，其特征在于，所述步骤C之前，执行步骤E3，所述步骤E3为，对所述记录定位信息集合中若干个记录定位信息元进行排序；

所述步骤C中，按照所述排序后的记录定位信息集合，依次定位并解析需要呈现的数据记录，并呈现在表格中。

8.根据权利要求7所述的使用表格呈现数据的方法，其特征在于，所述步骤E3中，基于所述记录定位信息集合，通过解析每个数据记录的指定关键字，构成一个关键字集合，并对关键字集合排序，根据该关键字集合排序对所述记录定位信息集合中若干个记录定位信息元进行排序。

9.根据权利要求8所述的使用表格呈现数据的方法，其特征在于，步骤E3中，所述关键字集合中每个元素包括其对应数据记录的索引和对应关键字值，按对应关键字值进行排序以对所述关键字集合排序。

10.根据权利要求1所述的使用表格呈现数据的方法，其特征在于，在步骤C之前，逐个定位解析每个数据记录的指定关键字，如果符合所述指定关键字提取规则则将其对应的记录定位信息元存入一个新的记录定位信息集合中；步骤C中，按照所述新的记录定位信息集合，定位并解析需要呈现的数据记录，并呈现在表格中。

Images