CN105574060A - 竞彩统计数据的提取方法 - Google Patents

Abstract

本发明提供了一种竞彩统计数据的提取方法，竞彩数据的每日统计数据存储在日度数据表中，建立一旬度数据表存储每旬统计数据，建立一月度数据表存储每月统计数据；月度数据表中，对应每月起始位置，建立一指向旬度数据表中对应该月的第一旬度数据表起始位置的指针；旬度数据表中，对应每旬的起始位置，建立一指向日度数据表中对应该旬的日度数据表起始位置的指针；竞彩统计数据提取步骤包括：将所要提取的数据依次以月、旬、日拆分；确定出所提取数据的起始日期所在的月度、旬度、日度数据表，以及根据所述指针指向进行表之间的跳转；将所提取的所述整月的月度数据、整旬的旬度数据和所述日度数据进行统计。使用本发明可以缩短读取时间。

Description

竞彩统计数据的提取方法

技术领域

本发明涉及一种竞彩统计数据的提取方法。

背景技术

对于竞彩数据来说，其统计的项目较多，而且由于其参与竞彩者众多，因此其数据量很大。

竞彩统计数据包括维度项和数据项。维度项用来表示数据的归类，其中，业务日期、终端ID、游戏种类等属于维度项。数据项即对应的统计的数据，其中，销售票数、销售金额、取消票数、取消金额、中奖票数、中奖金额、兑奖票数、兑奖金额、弃奖票数、弃奖金额等属于数据项。

仅针对体育竞彩***来说，总共多于4万台终端，每台终端上可执行15种竞彩游戏，每日有约60万行统计数据出现，这些庞大的数据均需要汇总至服务器进行存储，以便于数据的统计和提取。

目前的竞彩统计数据存储时，按照每日统计数据进行依次存储，形成日度统计数据(day_sales)表，日度统计数据即按天发生的各种业务数据的合计，并将这些数据以日期进行顺序排列。当需提取一段时间连续的数据时，是采用依次提取全部日期范围内的每日统计数据后进行汇总的方式进行提取。汇总后的数据在提取时，需对所需的数据逐条读取，由于以日为单位统计的文件数量很多，读取很慢，导致提取计算较慢。

发明内容

有鉴于此，本发明的主要目的在于提供一种时间连续的竞彩统计数据的提取方法，以缩短读取时间。

本发明提供的竞彩统计数据的提取方法，竞彩数据的每日统计数据存储在日度数据表中，包括：

建立一旬度数据表存储每旬统计数据，建立一月度数据表存储每月统计数据；

月度数据表中，对应每月起始位置，建立一指向旬度数据表中对应该月的第一旬度数据表起始位置的指针；旬度数据表中，对应每旬的起始位置，建立一指向日度数据表中对应该旬的日度数据表起始位置的指针；

竞彩统计数据提取步骤包括：

A、将所要提取的数据依次以月、旬、日拆分；

B、确定出所提取数据的起始日期所在的月度；

判断所在月度为非整月度数据时，则根据月度数据表中的指针指向该月的旬度数据表；

确定起始日期所在的旬度，判断所在旬度为非整旬度数据时，则根据旬度数据表中的该旬度的指针指向该旬的日度数据表中该旬的起始位置，并由所述起始位置开始检索到所要提取数据的日度的起始位置；

由所述指针指向的所述旬度数据表的位置，依次读取确定出的起始月当月中整旬的旬度数据，以及由所述指针指向的所述日度数据表中的所检索到的起始位置，依次读取确定出的当旬中的日度数据；

C、确定出所提取数据的终止日期所在的月度；

依次从月度数据表中读取起始月到终止月之间的整月的月度数据；

D、判断所提取数据的终止日期所在的月度为非整月度数据时，则根据月度数据表中的指针指向该月的旬度数据表；

确定终止日期所在的旬度，判断所在旬度为非整旬度数据，则根据旬度数据表中的该旬度的指针指向该旬的日度数据表中该旬的起始位置，并由所述起始位置开始检索到所述终止日期位置；

由所述指针跳指向的所述旬度数据表的位置，依次读取确定出的终止月当月中整旬的旬度数据，以及由所述指针指向的所述日度数据表中的所检索到的终止日期位置，依次读取出确定出的当旬中的日度数据；

E、将所提取的所述整月的月度数据、整旬的旬度数据和所述日度数据进行统计。

可选的，不同的数据表采用不同的分区进行存储。

由上，本发明提前计算好旬度统计数据、月度统计数据存储，在计算日期段统计数据时使用高聚合的月度、旬度统计数据组合后合计计算，使得数据读取不用再按照日度数据表依次读取大量数据，在保证数据准确的同时减少从磁盘读取数据，减少计算量，减少了数据的读取时间，从而提高竞彩统计数据的查询效率。

并且，由于月度、旬度、日度数据表之间通过指针快速定位，使得在使用下一表时不需进行全文检索，而是直接通过指针定位到相应位置，进行少量检索即可定位到正确的旬度、日期上，这也大大减少了运算量，减少了数据的读取时间，从而提高竞彩统计数据的查询效率。

并且，不同月度、旬度、日度表采用不同的分区进行存储，这样查询时只会读取涉及时段的分区，不会读取其他分区，提高查询效率。

附图说明

图1为日度数据表示意图；

图2为旬度数据表示意图；

图3为月度数据表示意图；

图4为数据提取流程图。

具体实施方式

本发明在进行竞彩数据存储时，除了日度统计数据(day_sales)表，参见图1所示，还建立了如图2示出的旬度数据表(tenday_sales)和如图3示出的月度数据表(month_sales)，其中，旬度、月度统计数据即按旬度、月度发生的各种业务数据的合计。

其中，旬度数据表是基于日度数据表计算而来，旬度数据表的维度与日度统计维度表相同，统计数据为相同维度中旬度范围内每日数据的和。例如，已销售为例下述列出了2014年1月第三旬度数据计算公式：

$\mathrm{tenday}\_\mathrm{sales}(2014-01-21)={\mathrm{\Σ}}_{n=2014-01-21}^{2014-01-31}\mathrm{day}\_\mathrm{sales}\left(n\right)$

其中，月度数据表是基于日度或旬度数据表计算而来，月度数据表的维度与日度数据表维度相同，统计数据为相同维度中日度或旬度范围内每日数据的和。例如，已销售为例下述列出了2014年1月月度数据计算公式：

$\mathrm{month}\_\mathrm{sales}(2014-01)={\mathrm{\Σ}}_{n=2014-01-01}^{2014-01-31}\mathrm{day}\_\mathrm{sales}\left(n\right)$

不仅如此，在月度数据表中，对应每月起始位置，建立一指向旬度数据表中对应该月的第一旬度数据表起始位置的指针，例如给出了对应的第一旬度数据表的起始行。在旬度数据表中，对应每旬的起始位置，建立一指向日度数据表中对应该旬的日度数据表起始位置的指针，例如给出了对应的日度数据表的起始行。通过指针，当通过月度数据表去访问旬度数据表，或通过旬度数据去访问日度数据表时，以便于读取时的快速定位，免去数据的依次检索和比较。

对应上述的数据存储方法，本发明相应的提供了一种数据的提取方法，以在给定任意连续日期段时，能够快速查询并汇总出所述日期段的竞彩统计数据。其基本原理是：通过上述月度数据表、旬度数据表、日度数据表可以实现任意连续日期段提取数据时可以使用日期段包括的整月度数据、整旬度数据，再用部分日度数据补齐整个日期段，然后把所有数据按终端ID、游戏等维度合计汇总。其中，从月度数据表到旬度数据表到日度数据表进行定位时，通过上述指针实现快速定位，而不必就各个整个表进行已经搜索定位。

下面参见图4示出的流程图，以具体的实施例进行说明，本例中，以提取2014-03-08至2014-06-02数据为例。

步骤110：将所要提取的数据依次以月、旬、日拆分。本例中：

$\begin{array}{c}\mathrm{period}\_\mathrm{sales}(2014-03-\mathrm{08,2014}-06-02)={\mathrm{\Σ}}_{n=2014-03-08}^{2014-06-02}\mathrm{day}\_\mathrm{sales}\left(n\right)=\\ {\mathrm{\Σ}}_{n=2014-03-08}^{2014-03-10}\mathrm{day}\_\mathrm{sales}\left(n\right)+{\mathrm{\Σ}}_{n=2014-03-11}^{2014-03-20}\mathrm{day}\_\mathrm{sales}\left(n\right)+{\mathrm{\Σ}}_{n=2014-03-21}^{2014-03-31}\mathrm{day}\_\mathrm{sales}\left(n\right)\\ +{\mathrm{\Σ}}_{n=2014-04-01}^{2014-04-30}\mathrm{day}\_\mathrm{sales}\left(n\right)+{\mathrm{\Σ}}_{n=2014-05-01}^{2014-05-31}\mathrm{day}\_\mathrm{sales}\left(n\right)+\\ {\mathrm{\Σ}}_{n=2014-06-01}^{2014-06-02}\mathrm{day}\_\mathrm{sales}\left(n\right)=\\ {\mathrm{\Σ}}_{n=2014-03-08}^{2014-03-10}\mathrm{day}\_\mathrm{sales}\left(n\right)+\mathrm{tenday}\_\mathrm{sales}(2014-03-11)\\ +\mathrm{tenday}\_\mathrm{sales}(2014-03-21)+\mathrm{month}\_\mathrm{sales}(2014-04)+\\ \mathrm{month}\_\mathrm{sales}(2014-05)+{\mathrm{\Σ}}_{n=2014-06-01}^{2014-06-02}\mathrm{day}\_\mathrm{sales}\left(n\right)\end{array}$

步骤220：确定出所提取数据的起始日期(即2014-03-08)所在的月度，若所在月度为非整月度数据，则根据月度数据表中的指针指向该月的旬度数据表，确定起始日期所在的旬度，本例中是第一旬度，判断所在旬度为非整旬度数据，则根据旬度数据表中的该旬度的指针指向该旬的日度数据表中该旬的起始位置，并由所述起始位置开始检索到所述起始位置。

由上可以看出，本例中不需在日度数据表中进行大数据量检索，仅通过少量数据检索即可定位到起始位置。

本例中，对应月度表month_sales(2014-03)，旬度表tenday_sales(2014-03-1)。

同理，确定出所提取数据的终止日期(即2014-06-12)所在的月度、旬度、日度表中的对应位置，并定位到日度数据表中的终止位置。

对应月度表month_sales(2014-06)，旬度表tenday_sales(2014-06-1)；

步骤230：依次从月度数据表中读取起始月到终止月之间的所述整月的月度数据，本例中，由于3、6月份的数据为非整月数据，因此不进行读取，即读取4、5月这两个判断所在是整月的月度数据；

由所述指针跳转到所述旬度数据表的相应位置，依次读取确定出的当月中的整旬的旬度数据，例如3月份中的2、3旬的整旬数据，以及由所述指针跳转到所述日度数据表中的相应位置，依次读取确定出的当旬中的所确定出的应读取的日度数据。

步骤240：将所提取的数据进行统计。

由上，通过月度、旬度数据，大大减少数据统计量。而定位过程，指针使得检索匹配大大减小，实现快速定位。从以上方法，2014-03-08至2014-06-02期间数据可以通过5个日度统计数据、2个旬度统计、2个月度统计数据，假设每条记录有60万行数据，则共提取(5+2+2)*60＝540万行数据并汇总。而全部从日度数据提取需要86*60＝5160万行数据并汇总。效率提高约10倍

本发明提前计算好旬度统计数据、月度统计数据，在计算日期段统计数据时使用高聚合的月度、旬度统计数据组合后合计计算，使得数据读取不用再按照日度数据表依次读取大量数据，在保证数据准确的同时减少从磁盘读取数据，减少计算量，减少了数据的读取时间，从而提高竞彩统计数据的查询效率。

并且，由于数据表之间的上述指针的存在，使得到下一表的定位，不必对下一表进行全文检索，而是直接通过指针定位到相应位置，进行少量检索即可定位到正确的日期上。也大大减少了运算量。

其中，上述不同的数据表可以采用不同的分区进行存储。这样查询时只会读取涉及时段的分区，不会读取其他分区，提高查询效率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种竞彩统计数据的提取方法，竞彩数据的每日统计数据存储在日度数据表中，其特征在于：

建立一旬度数据表存储每旬统计数据，建立一月度数据表存储每月统计数据；

月度数据表中，对应每月起始位置，建立一指向旬度数据表中对应该月的第一旬度数据表起始位置的指针；旬度数据表中，对应每旬的起始位置，建立一指向日度数据表中对应该旬的日度数据表起始位置的指针；

竞彩统计数据提取步骤包括：

A、将所要提取的数据依次以月、旬、日拆分；

B、确定出所提取数据的起始日期所在的月度；

判断所在月度为非整月度数据时，则根据月度数据表中的指针指向该月的旬度数据表；

确定起始日期所在的旬度，判断所在旬度为非整旬度数据时，则根据旬度数据表中的该旬度的指针指向该旬的日度数据表中该旬的起始位置，并由所述起始位置开始检索到所要提取数据的日度的起始位置；

由所述指针指向的所述旬度数据表的位置，依次读取确定出的起始月当月中整旬的旬度数据，以及由所述指针指向的所述日度数据表中的所检索到的起始位置，依次读取确定出的当旬中的日度数据；

C、确定出所提取数据的终止日期所在的月度；

依次从月度数据表中读取起始月到终止月之间的整月的月度数据；

D、判断所提取数据的终止日期所在的月度为非整月度数据时，则根据月度数据表中的指针指向该月的旬度数据表；

确定终止日期所在的旬度，判断所在旬度为非整旬度数据，则根据旬度数据表中的该旬度的指针指向该旬的日度数据表中该旬的起始位置，并由所述起始位置开始检索到所述终止日期位置；

由所述指针跳指向的所述旬度数据表的位置，依次读取确定出的终止月当月中整旬的旬度数据，以及由所述指针指向的所述日度数据表中的所检索到的终止日期位置，依次读取出确定出的当旬中的日度数据；

E、将所提取的所述整月的月度数据、整旬的旬度数据和所述日度数据进行统计。

2.根据权利要求1所述的方法，其特征在于，不同的数据表采用不同的分区进行存储。