CN102147893A - 用于it***应用考评拓展平台的数据分层抽样方法 - Google Patents

Abstract

本发明公开了一种用于IT***应用考评拓展平台的数据分层抽样方法，包括分层步骤和抽样步骤，能够快速有效地对现有的数据表中的记录进行分层，便于进一步抽样，其分层和抽样性算法体现出每类记录在抽样记录中的作用与它在原数据表中的作用相当，满足了对各类记录进行评价的覆盖性要求。

Description

用于IT***应用考评拓展平台的数据分层抽样方法

技术领域

本发明涉及数据处理领域，特别涉及一种用于IT***应用考评拓展平台的数据分层抽样方法。

背景技术

为了贯彻《国家电网公司“十一五”信息发展规划》，落实国家电网公司SG186信息化工程，实现生产精细化管理的目标，国家电网公司于2006年确定组织开发生产管理***(以下简称IT***)。该项目由国网电力科学研究院负责开发实施。綦南供电局在市公司统一安排和部署下，2009年5月开始启动IT***的推广建设工作，经过上线运行，IT***运行稳定、功能完善，规范、高效地促进了安全生产工作开展，应用效果良好。

在IT***全面推广建设的基础上，公司启动了***实用化深化应用工作，计划在使用范围、使用规模以及业务数据维护、业务应用方面深化建设。但是由于生产各部门的信息化意识、人员IT技能、组织监管等方面的问题，IT在各个部门问的应用情况存在很大的区别。有些部门能很规范的使用IT的各个功能模块，进行设备台账维护，运行检修管理等。而有的部门仍然习惯于原来的工作习惯，没有有效发挥IT***的作用，数据的完整性、合理性，流程处理的规范性，与真实生产环境的匹配性方面存在着各种问题。

因此，有必要建设一个IT***应用考评拓展平台，建立一套规范合理的评估体系，对IT各项指标进行合理的分析，根据分析结果，制定相应的管理办法，采取相应的技术措施，采用对比评估，量化考虑等手段来提高应用***的实用化程度，更好的发挥应用***的作用。而在这个过程中，对于一张数据表，其记录可能有成千上万条，要人工对其处理或考评，显然不太现实。故对数据表进行分层处理就显得非常重要，故急需一种能够实现数据表分层抽样的方法。

发明内容

有鉴于此，本发明的目的是提供一种分层迅速、抽样合理、便于下一步处理的用于IT***应用考评拓展平台的数据分层抽样万法。

该用于IT***应用考评拓展平台的数据分层抽样方法，包括分层步骤和抽样步骤，所述分层步骤包括：

1)从数据库中读取数据表；

2)以某个字段为依据，通过对比，对记录进行分层或分类：

设某个字段属性值分别为：t₁，t₂，Λ，t_s，数据表中记录总数为m，每条记录(1-m)对应该字段的属性值分别为：k₁，k₂，Λ，k_m，则可以建立函数

f：{k₁，k₂，Λ，k_m}α{t₁，t₂，Λ，t_s}；

于是，当f(k_i)＝t₁(i＝1，2，Λm)，取出该字段的属性值k_i所对应的所有记录，若记录数不为零，则得到第一个类p₁，记录数为m₁；

在剩余的记录中，当f(k_i)＝t₂(i＝1，2，Λm-m₁)，取出该字段的属性值k_i所对应的所有记录，若记录数不为零，则得到第二个类p₂，记录数为m₂；依此类推，可以得到最终的分类结果；

3)设最终分类结果为：p₁，p₂，Λ，p_n，共n类，且每类对应的记录数分别为：m₁，m₂，Λ，m_n，因此总记录数为m＝m₁+m₂+Λ+m_n，于是得到每类占总记录数的百分比，即权值：

$w_1=\frac{m_1}{m},w_2=\frac{m_2}{m},\mathrm{\Δ}{w}_n=\frac{m_n}{m};$

4)以两个字段为依据，通过对比，对记录进行分层或分类：设这两个字段属性值分别为：t₁，t₂，Λ，知q₁，q₂，Λ，数据表中记录总数为m，每条记录(1-m)对应这两个字段的属性值可表示向量形式为：(k_i1，k_i2)；

其中i＝1，2，Λ，m，且

则可以得到所有记录对于这两个字段属性值的矩阵：

$K=\left(\begin{array}{c}{k}_{11},k_{12}\\ k_{21},k_{22}\\ \begin{array}{cc}K& K\end{array}\\ k_{m1},k_{m2},\end{array}\right)=\left(\begin{array}{c}{k}_1\\ k_2\\ K\\ k_m\end{array}\right)$

其中k_i＝(k_i1，k_i2)，i＝1，2，Λ，m；

于是，当k_i＝(k_i1，k_i2)＝(t₁，q₁)，i＝1，2，Λ，m，取出k_i所对应的所有记录，若记录数不为零，则得到第一个类p₁，记录数为m₁；

在剩余的记录中，当k_i＝(k_i1，k_i2)＝(t₁，q₂)，i＝1，2，Λ，m-m₁，

取出k_i所对应的所有记录，若记录数不为零，则得到第二个类p₂，记录数为m₂；依此类推，可以得到最终的分类结果；

5)设最终分类结果为：p₁，p₂，Λ，p_n共n类，且每类对应的记录数分别为：m₁，m₂，Λ，m_n，因此总记录数m＝m₁+m₂+Λ+m_n，于是得到每类占总记录数的百分比(权值)：

$w_1=\frac{m_1}{n},w_2=\frac{m_2}{m},\mathrm{\Λ}{w}_n=\frac{m_n}{m};$

所述抽样步骤包括：

设需从总记录中随机抽取P条记录，p_i既表示类，也表示该类的数目，按四舍五入取整，则：

p₁类中抽取记录数： $p_1=w_{1}p=\frac{m_{1}p}{m}$

p₂类中抽取记录数： $p_2=w_{2}p=\frac{m_{2}p}{m}$

ΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛ

p_n类中抽取记录数： $p_n=w_{n}p=\frac{m_{n}p}{m}$

最终得到的抽样条数P＝p₁+p₂+p₃+..........+p_n。

本发明的有益效果是：

本发明能够快速有效地对现有的数据表中的记录进行分层，便于进一步抽样，其分层和抽样性算法体现出每类记录在抽样记录中的作用与它在原数据表中的作用相当，满足了对各类记录进行评价的覆盖性要求。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

具体实施方式

以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

在IT***中，一张数据表包含的记录可能有成千上万条，要人工对其处理或考评，显然不太现实，因此本发明提出了一种如下的分层抽样方法来对数据表的记录进行处理。

该用于IT***应用考评拓展平台的数据分层抽样方法，包括分层步骤和抽样步骤，所述分层步骤包括：

1)从数据库中读取数据表；

2)以字段X为依据，通过对比，对记录进行分层或分类：

设字段X的属性值分别为：t₁，t₂，Λ，t_s，数据表中记录总数为m，每条记录(1-m)对应该字段的属性值分别为：k₁，k₂，Λ，k_m，则可以建立函数

f：{k₁，k₂，Λ，k_m}α{t₁，t₂，Λ，t_s}；

于是，当f(k_i)＝t₁(i＝1，2，Λ m)，取出该字段的属性值k_i所对应的所有记录，若记录数不为零，则得到第一个类p₁，记录数为m₁；

在剩余的记录中，当f(k_i)＝t₂(i＝1，2，Λm-m₁)，取出该字段的属性值k_i所对应的所有记录，若记录数不为零，则得到第二个类p₂，记录数为m₂；依此类推，可以得到最终的分类结果；

3)设最终分类结果为：p₁，p₂，Λ，p_n，共n类，且每类对应的记录数分别为：m₁，m₂，Λ，m_n，因此总记录数为m＝m₁+m₂+Λ+m_n，于是得到每类占总记录数的百分比，即权值：

$w_1=\frac{m_1}{n},w_2=\frac{m_2}{m},\mathrm{\Λ}{w}_n=\frac{m_n}{m};$

4)以两个字段为依据，通过对比，对记录进行分层或分类：设这两个字段属性值分别为：t₁，t₂，Λ，和q₁，q₂，Λ，

数据表中记录总数为m，每条记录(1-m)对应这两个字段的属性值可表示向量形式为：(k_i1，k_i2)；

其中i＝1，2，Λ，m，且

则可以得到所有记录对于这两个字段属性值的矩阵：

$K=\left(\begin{array}{c}{k}_{11},k_{12}\\ k_{21},k_{22}\\ \begin{array}{cc}K& K\end{array}\\ k_{m1},k_{m2},\end{array}\right)=\left(\begin{array}{c}{k}_1\\ k_2\\ K\\ k_m\end{array}\right)$

其中k_i＝(k_i1，k_i2)，i＝1，2，Λ，m；

于是，当k_i＝(k_i1，k_i2)＝(t₁，q₁)，i＝1，2，Λ，m，取出k_i所对应的所有记录，若记录数不为零，则得到第一个类p₁，记录数为m₁；

在剩余的记录中，当k_i＝(k_i1，k_i2)＝(t₁，q₂)，i＝1，2，Λ，m-m₁，

取出k_i所对应的所有记录，若记录数不为零，则得到第二个类p₂，记录数为m₂；依此类推，可以得到最终的分类结果；

5)设最终分类结果为：p₁，p₂，Λ，p_n共n类，且每类对应的记录数分别为：m₁，m₂，Λ，m_n，因此总记录数m＝m₁+m₂+Λ+m_n，于是得到每类占总记录数的百分比(权值)：

$w_1=\frac{m_1}{n},w_2=\frac{m_2}{m},\mathrm{\Λ}{w}_n=\frac{m_n}{m};$

所述抽样步骤包括：

设需从总记录中随机抽取P条记录，p_i既表示类，也表示该类的数目，按四舍五入取整，则：

p₁类中抽取记录数： $p_1=w_{1}p=\frac{m_{1}p}{m}$

p₂类中抽取记录数： $p_2=w_{2}p=\frac{m_{2}p}{m}$

ΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛ

p_n类中抽取记录数： $p_n=w_{n}p=\frac{m_{n}p}{m}$

最终得到的抽样条数P＝p₁+p₂+p₃+..........+p_n。

若要求为R个专家抽取不同的数据，应将进行R次抽样，每次抽样将上次抽样的数据减去再进行抽样。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.用于IT***应用考评拓展平台的数据分层抽样万法，其特征在于：包括分层步骤和抽样步骤，所述分层步骤包括：

1)从数据库中读取数据表；

2)以其中一个字段为依据，通过对比，对数据表中的记录进行分层或分类：

设该字段属性值分别为：t₁，t₂，Λ，t_s，数据表中记录总数为m，每条记录(1-m)对应该字段的属性值分别为：k₁，k₂，Λ，k_m，则可以建立函数

f：{k₁，k₂，Λ，k_m}α{t₁，t₂，Λ，t_s}；

于是，当f(k_i)＝t₁(i＝1，2，Λ m)，取出该字段的属性值k_i所对应的所有记录，若记录数不为零，则得到第一个类p₁，记录数为m₁；

在剩余的记录中，当f(k_i)＝t₂(i＝1，2，Λm-m₁)，取出该字段的属性值k_i所对应的所有记录，若记录数不为零，则得到第二个类p₂，记录数为m₂；依此类推，可以得到最终的分类结果；

3)设最终分类结果为：p₁，p₂，Λ，p_n，共n类，且每类对应的记录数分别为：m₁，m₂，Λ，m_n，因此总记录数为m＝m₁+m₂+Λ+m_n，于是得到每类占总记录数的百分比，即权值：

$w_1=\frac{m_1}{m},w_2=\frac{m_2}{m},\mathrm{\Λ}{w}_n=\frac{m_n}{m};$

4)以两个字段为依据，通过对比，对记录进行分层或分类：设这两个字段属性值分别为：t₁，t₂，Λ，

知q₁，q₂，Λ，

数据表中记录总数为m，每条记录(1-m)对应这两个字段的属性值可表示向量形式为：(k_i1，k_i2)；

其中i＝1，2，Λ，m，且

则可以得到所有记录对于这两个字段属性值的矩阵：

$K=\left(\begin{array}{c}{k}_{11},k_{22}\\ k_{21,}{k}_{22}\\ \begin{array}{cc}K& K\end{array}\\ k_{m1},k_{m2},\end{array}\right)=\left(\begin{array}{c}{k}_1\\ k_2\\ K\\ k_m\end{array}\right)$

其中k_i＝(k_i1，k_i2)，i＝1，2，Λ，m；

于是，当k_i＝(k_i1，k_i2)＝(t₁，q₁)，i＝1，2，Λ，m，取出k_i所对应的所有记录，若记录数不为零，则得到第一个类p₁，记录数为m₁；

在剩余的记录中，当k_i＝(k_i1，k_i2)＝(t₁，q₂)，i＝1，2，Λ，m-m₁，

取出k_i所对应的所有记录，若记录数不为零，则得到第二个类p₂，记录数为m₂；依此类推，可以得到最终的分类结果；

5)设最终分类结果为：p₁，p₂，Λ，p_n共n类，且每类对应的记录数分别为：m₁，m₂，Λ，m_n，因此总记录数m＝m₁+m₂+Λ+m_n，于是得到每类占总记录数的百分比(权值)：

$w_1=\frac{m_1}{m},w_2=\frac{m_2}{m},\mathrm{\Λ}{w}_n=\frac{m_n}{m};$

所述抽样步骤包括：

设需从总记录中随机抽取P条记录，p_i既表示类，也表示该类的数目，按四舍五入取整，则：

p₁类中抽取记录数： $p_1=w_{1}p=\frac{m_{1}p}{m}$

p₂类中抽取记录数： $p_2=w_{2}p=\frac{m_{2}p}{m}$

ΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛΛ

p_n类中抽取记录数： $p_n=w_{n}p=\frac{m_{n}p}{m}$

最最终的抽样条数P＝p₁+p₂+p₃+..........+p_n。