CN100357952C - 一种二进制数据的访问方法 - Google Patents

Abstract

本发明公开了一种二进制数据的访问方法，为每个二进制数据文件建立记录索引文件和字段索引文件，该方法还包括：步骤A，获取待访问字段的数据类型和所在记录的数据类型；步骤B，从记录索引文件中找到与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引；步骤C，根据步骤B中所找到的记录索引以及待访问字段的数据类型在字段索引文件中得到待访问字段的索引；步骤D，根据步骤C得到的待访问字段的索引从二进制数据文件中读取待访问字段。采用本发明的技术方案，可以提高对二进制数据文件进行分析的效率。

Description

一种二进制数据的访问方法

技术领域

本发明涉及通信数据处理技术，特别是涉及一种二进制数据的访问方法。

背景技术

在通信***中，经常使用二进制格式对信息进行编码。二进制文件由数据产生模块(Data Supply，DS)产生后，经过存储或传输，由数据分析模块(Data Analysis，DA)进行分析处理。

在一个二进制文件中，通常包括若干条记录，每条记录又包括若干个字段。字段可以是各种数据类型，由此导致记录也具有各种数据类型。数据类型的不同导致了数据在二进制文件中所占用的存储长度不同。由于在二进制文件中数据是连续存储的，为了保证DA能够正确识别记录和字段的起始点和终止点，在每个记录的数据开始的地方由固定长度的记录特征码表示这个记录的数据类型，又由固定长度的记录长度码来表示这个记录的长度。DA根据特征码在预先与DS约定好的索引表中索引到对应的记录数据类型，进一步根据记录的数据类型确定记录内所包含的字段的数据类型。

例如，在一个数据文件中，约定记录特征码长度为1字节，记录长度为1字节；文件的第一个记录的第一个字段是长度为2字节的无符号短整型字段，这种根据数据类型就能确定长度的字段称为静态数据类型字段；第二个字段是一个长度可变的字符型数组字段，数组元素的个数是由第一个字段的值确定的，这种需要根据自身的数据类型和其他字段的值才能确定长度的字段称为动态数据类型字段。如果第一个记录第一个字段取值为5，那么第一个记录所占用的存储长度为9字节--特征码1字节，长度码1字节，第一个字段2字节，第二个字段5字节。DA根据数据文件开始处第一个字节中的特征码，判断出第3字节和第4字节是第一个记录的第一个字段，又结合第一个字段的值判断出第5字节到第9字节是第一个记录的第二个字段；DA还根据数据文件开始处第二个字节中第一个字段的长度码，判断出从第10字节为第二个记录的特征码，第11字节为第二个记录的长度码。

在现有技术中，为了访问具有特定数据类型的记录中的特定字段，DA需要从文件开始的地方起逐个记录进行分析，把每个符合类型要求的记录找出来，直到处理完整个二进制数据文件。例如，假设有一种数据类型的记录包含5个字段，在一个有1000个记录的二进制数据文件中，属于这种数据类型的记录有10个，随机分布在二进制数据文件中。为了分别访问这10个记录各自的第4个字段，需要从二进制数据文件的开头起，依次检查每一个记录的类型码以判断当前记录的数据类型是否符合执行的数据类型，如果符合则根据指定的数据类型分析当前记录的字段，找到所要访问的字段；如果不符合则根据当前记录的长度码计算出下一个记录的类型码所在的地址；然后对下一个记录重复以上的检查和判断；如此反复直到扫描完整个二进制数据文件。实际应用中，每个二进制文件中记录的数目达到10⁴甚至更大，而且经常会有需要对不同来源的多个二进制数据文件进行联合分析，如果每次对二进制数据文件的分析都需要做一次从头到尾的扫描，就会导致DA的大量处理能力被浪费在扫描时的检查、判断和计算上，进一步会导致DA分析数据能力变弱。

发明内容

有鉴于此，本发明的主要目的在于提供一种二进制数据文件的访问方法，以避免对二进制文件的每次访问都需要从文件起始位置进行扫描，从而提高DA访问二进制数据文件的效率。

为了达到上述目的，本发明提供了一种二进制数据的访问方法，该方法为每个二进制数据文件建立记录索引文件和字段索引文件，该方法还包括：

步骤A，获取待访问字段的数据类型和所在记录的数据类型；

步骤B，从记录索引文件中找到与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引；

步骤C，根据步骤B中所找到的记录索引以及待访问字段的数据类型在字段索引文件中得到待访问字段的索引；

步骤D，根据步骤C得到的待访问字段的索引从二进制数据文件中读取待访问字段。

其中，步骤B所述从记录索引文件中找到与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引为：

步骤B1，从记录索引文件中读取记录索引作为当前记录索引；

步骤B2，确定当前记录索引所对应的记录的数据类型，并判断当前记录索引所对应的记录的数据类型是否符合待访问字段所在记录的数据类型，如果符合则认为当前记录索引是与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引，否则认为当前记录索引不是与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引；

步骤B3，从记录索引文件中读取下一条记录索引作为当前记录索引，返回执行步骤B2。

其中，所述为二进制数据文件建立记录索引文件为：

将具有不同数据类型的记录所对应的记录索引存放在不同的记录索引文件中，并且以每个记录索引文件所存放的记录索引所对应的记录数据类型作为该文件的标识；

其中，步骤B所述从记录索引文件中找到与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引为：

将与待访问字段所在记录的数据类型相对应的记录索引文件中的记录索引，作为与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引

其中，步骤C包括：

步骤C1，以当前记录索引的首字段索引地址数据项为地址，从字段索引文件中读取长度为一个字段索引数据长度的数据作为当前字段索引；

步骤C2，确定当前字段索引所对应的字段的数据类型，并判断当前字段索引所对应的字段的数据类型是否符合待访问字段的数据类型，如果符合则认为当前字段索引为待访问字段的索引，否则执行步骤C3；

步骤C3，从字段索引文件中读取当前记录的下一个字段索引作为当前字段索引，返回执行步骤C2。

其中，步骤D包括：

步骤D1，根据待访问字段的字段索引中字段数据类型数据项的值确定待访问字段的数据类型，并确定待访问字段在二进制数据文件中的数据长度；

步骤D2，以待访问字段的字段索引中字段地址数据项的值为地址，读取在二进制数据文件中从相应地址开始的数据作为待访问字段，读取的数据长度为步骤D1中得到的数据长度。

其中，在记录索引中的记录数据类型数据项存放记录数据类型的地址值，步骤B2所述确定当前记录索引所对应的记录的数据类型为：

从与二进制数据文件相对应的数据类型定义文件的相应地址处读取数据作为记录的数据类型。

其中，在字段索引中的字段数据类型数据项存放字段数据类型的地址值，步骤C2所述确定当前字段索引所对应的字段的数据类型为：

从与二进制数据文件相对应的数据类型定义文件的相应地址处读取数据作为字段的数据类型。

其中，步骤D1所述确定待访问字段在二进制数据文件中的数据长度为：

步骤D11，根据字段数据类型确定该字段是静态数据类型还是动态数据类型，如果是静态数据类型则执行步骤D12，否则执行步骤D13；

步骤D12，根据静态数据类型的定义确定待访问字段在二进制数据文件中的数据长度，执行步骤D2；

步骤D13，根据动态数据类型定义读取确定待访问字段在二进制数据文件中的长度所需要的其他信息，进而确定待访问字段在二进制数据文件中的长度。

其中，步骤B2和步骤B3之间进一步包括：

判断是否处理完记录索引文件中的所有记录索引，如果处理完则终止本次访问流程，否则执行步骤B3。

采用本发明所提供的二进制数据文件的访问方法，只需要在对文件进行第一次分析的时候扫描整个文件以建立索引表，以后就可以根据该索引表对二进制数据文件中的数据进行快速定位，从而提高了DA对二进制文件进行分析的效率。并且，由于在实际应用中可以将多个数据文件用同一个记录索引文件和字段索引文件来进行索引，因此DA可以方便的对多个来源的数据文件进行联合分析。

附图说明

图1是本发明提供的二进制数据文件的访问方法中建立的索引结构。

图2是本发明提供的二进制数据文件的访问方法中访问数据的流程图。

具体实施方式

本发明的核心思想是，在对二进制数据文件进行第一次处理的时候，扫描整个数据文件并建立记录和字段位置的索引，从而在以后访问该数据文件时通过索引快速查找到所需的记录和字段。

为使本发明的目的、技术方案和优点更加清楚，下面结合附图及具体实施例对本发明作进一步地详细描述。

请参考图1，图1是本发明提供的二进制数据文件的访问方法中建立的索引结构。

本发明所提供的快速访问二进制数据文件的方法需要建立的索引是两级索引，分别是字段索引和记录索引。二进制数据文件中的每个字段对应一个字段索引，每个记录对应一个记录索引。所有的字段索引按照对应字段在二进制数据文件中的顺序存放在字段索引文件中，所有的记录索引按照对应记录在二进制数据文件中的顺序存放在记录索引文件中。

字段索引包括两个数据项，分别是字段地址和字段数据类型。其中字段地址是该字段在二进制数据文件中的地址，字段数据类型是一个指针，指向存放该字段数据类型的存储空间。对于一个记录来说，每个字段的字段数据类型都是不同的。记录索引包括三个数据项，分别是首字段索引地址、字段个数和记录数据类型。其中首字段索引地址表示该记录的第一个字段的索引在字段索引文件中的地址，字段个数表示该记录所包含的字段个数，记录数据类型是一个指针，指向存放该记录数据类型的存储空间。

以上所述的存储空间通常是指数据类型定义文件中的某个位置。这个文件包括了分析这个二进制数据文件所要用到的所有数据类型的定义，它是在数据分析之前由DS提交给DA的。

当DA第一次处理分析二进制数据文件时，首先需要对二进制数据文件做一次从头到尾的扫描以建立索引表。

在处理第一个记录时，DA根据二进制数据文件开始处第一个记录的特征码，确定第一个记录的数据类型，进一步根据第一个记录的数据类型修改对应于第一个记录的记录索引中的记录数据类型数据项和字段个数数据项。DA还将对应于第一个记录的记录索引中的首字段索引地址数据项修改为第一个记录的第一个字段对应的字段索引在字段索引文件中的地址。

根据二进制数据文件的第一个记录的数据类型，DA可以分析出第一个记录中每个字段的数据类型，并据此分别修改对应于每个字段的字段索引中的字段数据类型数据项。DA还可以根据每个字段的数据类型确定该字段在二进制数据文件中的终止位置，从而确定下一个字段在二进制数据文件中的起始位置，并据此分别修改对应于每个字段的字段索引中的字段地址数据项。

在处理完第一个记录后，DA根据二进制数据文件的第一个记录的长度码确定这个记录的长度从而确定下一个记录的起始位置，开始处理下一个记录，处理的过程和上述过程类似，如此反复直到处理完二进制数据文件中的所有记录。

在扫描二进制数据文件时，DA会同时计算该二进制数据文件中记录的个数。

需要说明的是，每个字段索引都具有相同的数据长度；同样，每个记录索引也都具有相同的数据长度。这样，在字段索引文件中就可以很快访问到指定字段对应的字段索引；同样，在记录索引文件中也可以很快访问到指定记录对应的记录索引。

基于由图1所描述的二级索引结构，以下结合附图更加详细的说明利用索引表快速访问二进制数据文件的方法。请参考图2，图2是本发明提供的二进制数据文件的访问方法中访问数据的流程图。

步骤201，获取待访问字段的数据类型和该字段所在记录的数据类型。

这里，所述的获取是指：在DA进行数据分析时，DA可以接收外部命令并从外部命令中得到待访问字段的数据类型和该字段所在记录的数据类型。在一个实际的二进制数据文件中，具有相同数据类型的记录可能有若干个。通常的应用中，如果需要访问具有指定数据类型的所有记录中的对应字段，通过外部命令给出字段数据类型和字段所在记录的数据类型即可。

步骤202，读取记录索引文件中第一个记录索引作为当前记录索引。

步骤203，判断当前记录索引所对应记录的数据类型是否符合指定的记录数据类型，如果是则执行步骤204，否则执行步骤211。

步骤204，根据当前记录索引的首字段索引地址数据项确定该记录第一个字段的字段索引在字段索引文件中的地址。

记录索引的首字段索引地址存放的不是该记录的首字段在二进制数据文件中的地址，而是该记录的首字段的字段索引在字段索引文件中的地址。

步骤205，根据步骤204中得到的地址从字段索引文件中读取该记录第一个字段的字段索引作为当前字段索引。

步骤206，判断当前字段索引所对应字段的数据类型是否符合指定的字段数据类型，如果是则执行步骤207，否则执行步骤209。

这里，DA判断当前字段索引所对应字段的数据类型是否符合指定的记录数据类型，是根据当前字段索引的字段数据类型数据项中存储的地址值，在数据类型定义文件中找到当前字段的数据类型，并与指定的字段数据类型相比较。

步骤207，根据该字段索引的字段地址数据项确定待访问字段在二进制数据文件中的地址。

步骤208，根据步骤207中得到的地址，从二进制数据文件中读取该字段的二进制格式数据做后续处理，执行步骤210。

由于在通过外部命令指定要访问的字段时，实际上是在指定记录数据类型后，从具有该数据类型的记录的所有字段中选择一个加以访问。因此不可能出现某个记录的数据类型与指定的记录数据类型匹配，而该记录中所有字段的数据类型却都与指定的字段数据类型不匹配的情况。也就是说，只要在步骤203中经过判断执行步骤204，就一定能在步骤206中经过判断执行步骤207，进一步执行步骤208和210。

在读取该字段的二进制格式数据之前，还需要确定该字段的长度。为了达到这个目的，首先由该字段的字段索引中的字段数据类型数据项确定该字段的数据类型；然后判断该字段属于静态数据类型还是动态数据类型，如果是静态数据类型则根据数据类型的定义直接确定字段长度，如果是动态数据类型则根据字段自身的数据类型和由字段自身的数据类型指定的其他字段的值确定字段长度。例如，某个具有动态数据类型的字段，其自身的数据类型是元素个数可变的字符型数组，数组元素的个数是由该字段前面的一个无符号短整型字段的值确定的。这样，所述字符型数组字段的长度，就等于字符型数据的长度与所述无符号短整型字段的值的乘积。

步骤209，读取该记录下一个字段的字段索引作为当前字段索引，返回执行步骤206。

根据对图1所提供的二级索引表的描述，每个字段索引在字段索引文件中的数据长度是一样的。这样，根据当前记录的前一个字段索引在字段索引文件中的地址，加上字段索引在字段索引文件中的数据长度，就可以得到当前记录的后一个字段的字段索引在字段索引文件中的地址。

步骤210，判断是否处理完记录索引文件中的所有记录索引，如果是则执行步骤212，否则执行步骤211。

在第一次扫描二进制数据文件以建立索引表时，DA会同时计算该二进制数据文件中记录的个数，并得到该二进制数据文件中记录的总数。在以后通过索引表访问该二进制数据文件时，DA会维护一个计数器，在处理记录索引文件的第一个记录时将计数器的初始值设为0，每处理完一个记录将计数器的值加1，并和记录总数相比。如果处理完一个记录索引后，计数器的值等于记录总数，说明已经处理完记录索引文件中的所有记录索引。

步骤211，读取记录索引文件中下一个记录索引作为当前记录索引，返回执行步骤203。

根据对图1所提供的二级索引表的描述，每个记录索引在记录索引文件中的数据长度是一样的。这样，根据前一个记录索引在记录索引文件中的地址，加上记录索引在记录索引文件中的数据长度，就可以得到后一个记录的记录索引在记录索引文件中的地址。

步骤212，结束对二进制数据文件的本次访问。

需要说明的是，在步骤202中，并不一定需要从记录索引文件中第一个记录索引开始进行查找，只要能够保证最后能遍历记录索引文件中的所有记录索引即可。在为二进制数据文件建立记录索引的时候，还可以将具有相同数据类型的记录所对应的索引连续存放在同一个记录索引文件中，而用不同的记录索引文件存放具有不同数据类型的记录所对应的索引。这样，在以后访问二进制数据文件的时候，根据步骤201中得到的待访问字段所在记录的数据类型，就可以直接得到所有符合该数据类型的记录所对应的记录索引，而不用在记录索引文件中逐条进行比较。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种二进制数据的访问方法，其特征在于，为每个二进制数据文件建立记录索引文件和字段索引文件，该方法还包括：

步骤A，获取待访问字段的数据类型和所在记录的数据类型；

步骤B，从记录索引文件中找到与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引；

步骤C，根据步骤B中所找到的记录索引以及待访问字段的数据类型在字段索引文件中得到待访问字段的索引；

步骤D，根据步骤C得到的待访问字段的索引从二进制数据文件中读取待访问字段。

2、根据权利要求1所述的二进制数据的访问方法，其特征在于，步骤B所述从记录索引文件中找到与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引为：

步骤B1，从记录索引文件中读取记录索引作为当前记录索引；

步骤B2，确定当前记录索引所对应的记录的数据类型，并判断当前记录索引所对应的记录的数据类型是否符合待访问字段所在记录的数据类型，如果符合则认为当前记录索引是与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引，否则认为当前记录索引不是与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引；

步骤B3，从记录索引文件中读取下一条记录索引作为当前记录索引，返回执行步骤B2。

3、根据权利要求1所述的二进制数据的访问方法，其特征在于，所述为二进制数据文件建立记录索引文件为：

将具有不同数据类型的记录所对应的记录索引存放在不同的记录索引文件中，并且以每个记录索引文件所存放的记录索引所对应的记录数据类型作为该文件的标识。

4、根据权利要求3所述的二进制数据的访问方法，其特征在于，步骤B所述从记录索引文件中找到与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引为：

将与待访问字段所在记录的数据类型相对应的记录索引文件中的记录索引，作为与待访问字段所在记录的数据类型相匹配的记录所对应的记录索引。

5、根据权利要求1所述的二进制数据的访问方法，其特征在于，步骤C包括：

步骤C1，以当前记录索引的首字段索引地址数据项为地址，从字段索引文件中读取长度为一个字段索引数据长度的数据作为当前字段索引；

步骤C2，确定当前字段索引所对应的字段的数据类型，并判断当前字段索引所对应的字段的数据类型是否符合待访问字段的数据类型，如果符合则认为当前字段索引为待访问字段的索引，否则执行步骤C3；

步骤C3，从字段索引文件中读取当前记录的下一个字段索引作为当前字段索引，返回执行步骤C2。

6、根据权利要求1所述的二进制数据的访问方法，其特征在于，步骤D包括：

步骤D1，根据待访问字段的字段索引中字段数据类型数据项的值确定待访问字段的数据类型，并确定待访问字段在二进制数据文件中的数据长度；

步骤D2，以待访问字段的字段索引中字段地址数据项的值为地址，读取在二进制数据文件中从相应地址开始的数据作为待访问字段，读取的数据长度为步骤D1中得到的数据长度。

7、根据权利要求2所述的二进制数据的访问方法，其特征在于，在记录索引中的记录数据类型数据项存放记录数据类型的地址值，步骤B2所述确定当前记录索引所对应的记录的数据类型为：

从与二进制数据文件相对应的数据类型定义文件的相应地址处读取数据作为记录的数据类型。

8、根据权利要求5所述的二进制数据的访问方法，其特征在于，在字段索引中的字段数据类型数据项存放字段数据类型的地址值，步骤C2所述确定当前字段索引所对应的字段的数据类型为：

从与二进制数据文件相对应的数据类型定义文件的相应地址处读取数据作为字段的数据类型。

9、根据权利要求6所述的二进制数据的访问方法，其特征在于，步骤D1所述确定待访问字段在二进制数据文件中的数据长度为：

步骤D11，根据字段数据类型确定该字段是静态数据类型还是动态数据类型，如果是静态数据类型则执行步骤D12，否则执行步骤D13；

步骤D12，根据静态数据类型的定义确定待访问字段在二进制数据文件中的数据长度，执行步骤D2；

步骤D13，根据动态数据类型定义读取确定待访问字段在二进制数据文件中的长度所需要的其他信息，进而确定待访问字段在二进制数据文件中的长度。

10、根据权利要求2所述的二进制数据的访问方法，其特征在于，步骤B2和步骤B3之间进一步包括：

判断是否处理完记录索引文件中的所有记录索引，如果处理完则终止本次访问流程，否则执行步骤B3。

Images