CN104008143B - 基于数据挖掘的职业能力指标体系构建方法 - Google Patents

Abstract

本发明提供一种基于数据挖掘的职业能力指标体系构建方法，数据采集、数据预处理、数据变换、数据分析、解释评价五个步骤完成对于指标体系的构建。该方法能够方便、准确、快速、客观、全面、动态的构建职业能力测评指标体系，解决了现有职业能力指标体系构建方式的缺点，从而提高了人才测评的高效性和科学性，为企业选拔、甄选以及录用人才提供了可靠依据。

Description

基于数据挖掘的职业能力指标体系构建方法

技术领域

本发明涉及信息处理领域，特别是涉及一种基于数据挖掘的职业能力指标体系构建方法。

背景技术

数据挖掘(Data Mining，DM)是目前人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。因为与数据库密切相关，又称为数据库知识发现(Knowledge Discovery inDatabases，KDD)，就是将高级智能计算技术应用于大量数据中，让计算机在有人或无人指导的情况下从海量数据中发现潜在的，有用的模式(也叫知识)。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。

数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集；规律寻找是用某种方法将数据集所含的规律找出来；规律表示是尽可能以用户可理解的方式(如可视化)将找出的规律表示出来。

近年来中国企业岗位招聘的需求快速增长，而同时每年有几千万的求职者应聘岗位。但企业在抱怨招不到合适的人员，求职者也在抱怨找不到合适的工作。如何从海量的求职者中找到合适的人才是我们目前需要解决的重要问题。职业能力测评是解决这一问题的根本方法，企业可根据求职者的职业能力测评结果进行筛选，找到适合企业的人选。求职者也可以通过职业能力测评对自己的能力水平做出评价，做出合理的求职预期。

职业能力测评是一项非常复杂的工作，涉及和行业和岗位广泛，测评的内容和因素众多。由于测评主体的价值观、经验、专业及测评视角的不同，在测评时难免会出现仁者见仁、智者见智的情况。因此，建立职业能力指标体系，一方面可以统一评价标准，有效克服测评主体的随意性，提高人才测评的客观性和科学性；另一方面有利于测评主体深化对员工和工作的认识。

为了使指标体系科学化、规范化，在构建指标体系时，应遵循以下原则：

●简明科学性原则。职业能力指标体系的设计及评价指标的选择必须以科学性为原则，能客观真实地反映测评者的职业能力水平，能客观全面反映出各指标之间的真实关系。职业能力指标体系应该具有典型代表性，不能过多过细，使指标过于繁琐，相互重叠，指标又不能过少过简，避免指标信息遗漏，出现错误、不真实现象，并且数据易获且计算方法简明易懂。

●***性原则。各指标之问要有一定的逻辑关系，它们不但要从不同的侧面反映出测评者的职业能力水平，而且还要反映各职业能力的内在联系。每一个子***由一组指标构成，各指标之间相互独立，又彼此联系，共同构成一个有机统一体。指标体系的构建具有层次性，自上而下，从宏观到微观层层深入，形成一个不可分割的评价体系。

●典型性原则。务必确保评价指标具有一定的典型代表性，尽可能该岗位真实的职业能力需求。另外，评价指标体系的设置、权重在各指标问的分配及评价标准的划分都应该该岗位的真实职业能力需求相吻合。

●动态性原则。随着社会的发展，各岗位职业能力的需求也在不断的发生着变化，所以职业能力评价的指标体系也需要随着社会的发展而变化。因此，指标体系的构建要充分考虑到社会发展给岗位需求带来的动态变化。

●可比、可操作、可量化原则。指标选择上，特别注意在总体范围内的一致性，指标体系的构建是为企业评价筛选求职者服务的，指标选取的计算量度和计算方法必须一致统一，各指标尽量简单明了、微观性强、便于收集，各指标应该要具有很强的现实可操作性和可比性。而且，选择指标时也要考虑能否进行定量处理，以便于进行数学计算和分析。

●综合性原则。对于职业能力的综合、全面评价是指标体系构建的重点。在不同层次上，全面考虑与职业能力相关的各类因素，并进行综合分析和评价。

在我国，对于人才的职业能力测评尚处于起步阶段，职业能力测评的指标体系构建尚不成熟，现有的构建方式基本上是由专家根据以往的经验和调研，人工制定测评的指标体系。

这种由专家人工制定测评指标体系的构建方式存在很多缺点：

1.很难避免专家的主观因素影响测评指标体系的内容。

2.专家的调研范围有限，很难保证构建的指标体系能够反映各个企业的真实需求。

3.专家构建指标体系需要一个周期，通常指标体系的更新需要一年甚至更长时间，很难准确的反应当前企业的人员需求。

4.每次更新指标体系都会需要众多的资源投入，如专家资源、时间资源、调研等成本。

发明内容

本发明提出的基于数据挖掘的职业能力指标体系构建方法，方便、准确、快速、客观、全面、动态的构建职业能力测评指标体系，解决了现有职业能力指标体系构建方式的缺点。

该方法包括数据采集、数据预处理、数据变换、数据分析、解释评价五个步骤，各个步骤具体为：

(1)数据采集：首先设定岗位，并输入岗位的基本信息，岗位设定后，进行招聘信息的收集；

(2)数据预处理：***从收集到的招聘信息中，根据***设定的过滤词库，将与职业能力无关的词语、符号、数字、虚词等过滤掉，形成岗位要求关键词库，之后***根据关键词出现的频次和比重，对关键词进行汇总，并进行权重的分配和计算；

(3)数据变换：当所有的关键词都通过审查并且计算得到权重后，则进行关键词结构化，形成关键词树，针对得到的关键词树进行审查，如果通过审查则进行指标体系层级的设定，如果有剩余没有结构化的关键词，则需要进入设置学科体系；

(4)数据分析：***针对已经通过审查的关键词树进行指标体系层级的设定，并进行关键词树的标准化，并在标准化的同时，***会根据每一指标的权重值进行加权汇总，计算出各能力指标在总指标中所占的权重和比例；

(5)解释评价：***根据指标体系管理员设定的层级数对关键词树进行修正和调整，并对各指标体系的权重进行重新汇总计算，形成指标体系。

附图说明

图1基于数据挖掘的职业能力指标体系构建方法的基本流程示意图。

图2以.Net开发工程师(初级)能力测评为例的指标体系示意图。

图3基于数据挖掘的职业能力指标体系构建方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进行详细描述。

如图1所示，基于数据挖掘的职业能力指标体系构建过程是通过数据采集、数据预处理、数据变换、数据分析、解释评价五个流程，将原始数据挖掘库中的数据转变为指标体系的过程。下面对每一个步骤进行详细的描述。

一、数据采集

本方法的目标是构建职业能力指标体系，所以本方法选择将各企业的招聘信息作为数据挖掘的原始数据。企业招聘信息具有如下几个特点：

1.信息内容与需求相符：企业招聘信息中涵盖大量企业对不同岗位人员信息的能力要求信息，信息内容符合我们的目标内容。

2.信息公开获得容易：对各企业来说，招聘信息是公开的信息，一般都会公开在网络，数据获得容易。

3.信息内容全面：在网络上有各行各业、各岗位的大量招聘需求。

4.信息数量庞大：在网络上企业的招聘信息数据非常庞大，足够建立数据挖掘仓库，足够支撑后续的数据挖掘算法，使挖掘后的结论能够全面反映真实的需求情况。

***按照设定的岗位、级别收集大量的岗位招聘要求，并存储到招聘信息库中，为下一步的数据预处理做好准备。

二、数据预处理

在招聘信息库中已经有大量的按岗位、级别分类的收集整理好的岗位招聘要求数据。数据预处理步骤会对这些数据进行进一步的分析与处理。

首先***将招聘信息库中每一个岗位招聘要求数据中与职业能力无关的词语、符号、数字、虚词等过滤掉，将剩余的有意义、与职业技术和能力相关的词语按出现的频次进行排序。随后，***会根据事先设定的临界值，将出现频次过低的关键词舍弃，最后得到每个岗位、级别对应的关键词，将这些关键词存入岗位要求关键词库。同时***在对上述数据进行预处理的同时，会为每一个关键词记录相应的权重，并进行权重的汇总统计。在一个招聘信息中，各个关键词所占的权重值的总和：

$R=\underset{1}{\overset{n}{\&Sigma;}}Ti,(i\&Element;(1~n),0<Ti<1)$

其中Ti为一个招聘信息中每个关键词的权重值，同一招聘信息中各个关键词权重值之和R应为100％；

同一关键词的汇总权重值：

$S=\underset{1}{\overset{m}{\&Sigma;}}Ai,(i\&Element;(1~m),0<Ai<1)$

Ai为该关键词在各招聘信息中的权重值。

三、数据变换

在数据变换之前，***中已经按照各岗位各级别所需的学科、知识点设定了树形层级结构的学科知识体系，并将树上各节结可能出现的关键词进行存储，同时每次刷新指标体系的时候***遇到新出现的关键词也会提示给管理员，根据词义将这些关键词分配到相应的知识体系分支下。***中有一个知识体系的树，有一个根节点，但根据各岗位涉及的科目不同，会在根节点下设立各个学科的分支。

数据变换时***会将已经经过数据预处理后的关键词库中的每一个关键词与各个树形学科知识体系，相对应后，关键词按照树形结构重新组织，针对每一岗位每一级别分别形成各自的树形结构关键词库，同时***会根据关键词与学科知识体系的对照关系，将关键词转换成为更易于理解的能力评价词汇。

对于少量在学科知识体系中不存在的关键词，***根据用户输入的设定内容，将这些关键词的内容扩充到***的学科知识体系中，从而完成关键词树的构建。

四、数据分析

数据分析主要是对指标的标准化与量化工作。在完成关键词树的构建后，我们就已经得到了初步的指标体系中的指标。由于上述步骤得到的关键词树并不规律，可能有些树形的分支有很多级别，而有些分支只有少量级别。在此步骤中，***会根据设定好的级别对所有指标进行统一化，一般情况下设定的级别不大于5级。因为级别过高可能会出现有些分支级别不够，另外过深的级别划分可能会使指标分解过细，不利于对于指标的理解与评价。统一标准化的同时，***会根据每一指标的权重值进行加权汇总，计算出各能力指标在总指标中所占的权重和比例。

加权是对体系中所有测评指标进行纵向比较，然后根据每个指标在体系中的重要性，给每个指标分配0-1中的一个值，得到该指标的加权值，所有加权值总和为1，使其分配到的数字能恰当地表示该指标在总体中的重要性。归一化处理后的加权值之和为100％。

权重值的计算方法：

$Rj=\frac{Sj}{\mathrm{\&Sigma;}Si}*100\%,(i\&Element;(1~q),0<Rj<1)$

q为测评指标的数量，Si是测评指标中第i项的权值，其中i为1～q，所以Si的求和为总的权值，Sj为第j项的权值，最后求得的结果为Rj，是第j项的权重值(百分比)。

五、解释评价

通过以上数据挖掘的步骤，我们已经得到了需要的职业指标体系以及各指标对应的权重值。对于某些不合适或不易于理解的项目，需要通过人工查找原因并进行调整最后形成针对特定岗位特定级别的能力测评指标体系。图2为上通过本***中的基于数据挖掘的职业能力指标体系构建方法所生成的一个二级能力测评指标体系，该指标体系反应了企业对.Net开发工程师的职业能力的要求。

下面结合图3，对于基于数据挖掘的职业能力指标体系构建方法流程进行详细说明：

首先设定岗位，并输入岗位的基本信息，包括岗位名称、级别、岗位关键字等内容。岗位设定后，进行招聘信息的收集，***根据设定好的岗位名称和关键字，在已经设定好的网站列表中搜索企业的招聘信息，并将所有招聘信息按标准格式存入招聘信息数据库中。

其次，***从收集到的招聘信息中，根据***设定的过滤词库，将与职业能力无关的词语、符号、数字、虚词等过滤掉，形成岗位要求关键词库，并同时对过滤后的关键词进行关键词列表的审查，如果通过审查则进行关键词权重的计算，如果没有通过审查则进行设置过滤词功能，添加过滤词。

所谓计算关键词权重是***根据已生成的岗位要求关键词库，根据关键词出现的频次和比重，对关键词进行汇总，并进行权重的分配和计算，将关键词按照计算好的权重进行排序，得到权重后将其存储在岗位要求关键词库中。而设置过滤词是将岗位要求关键词库中出现的与职业能力无关的词语、符号、数字、虚词等加入过滤词库，对过滤词库进行更新，用于下次过滤招聘信息时使用。更新后再返回“过滤招聘信息”步骤，重新再对关键词库进行过滤。

随后，当所有的关键词都通过审查并且计算得到权重后，则进行关键词结构化，主要是将关键词库与***中已有的学科体系相对应，一一匹配后，把关键词按照树形结构重新组织，形成树形结构关键词库，在此称之为关键词树。结构化的同时***会记录树形结构关键词库各节点的权重。同时***会根据关键词与学科体系的对照关系，将关键词转换成为学科体系中的标准词汇。另外，***会根据学科知识体系各节点上的关键词进行匹配，无法匹配的会提示给管理员，并将新出现的关键词补充到学科知识体系中去，下次再更新指标体系时会使用补充后的学科知识体系进行关键词匹配。

针对得到的关键词树进行审查，如果通过审查则进行指标体系层级的设定，如果有剩余没有结构化的关键词，则需要进入设置学科体系。

设置学科体系是将未能结构化的关键词，根据词义放入学科知识体系中的相应位置，对原学科体系进行更新，用于以后的关键词结构化操作。而设定指标体系层级则是根据已生成的关键词树的层级情况来确定最终指标体系保留的层级数。

在指标体系层级的设定后进行关键词树的标准化，并在标准化的同时，***会根据每一指标的权重值进行加权汇总，计算出各能力指标在总指标中所占的权重和比例。

最后，***根据指标体系管理员设定的层级数对关键词树进行修正和调整，并对各指标体系的权重进行重新汇总计算，形成指标体系。对于某些不合适或不易于理解的项目查找原因并进行修正，对已形成的指标体系及权重进行手工调整，确定最后的指标体系。

本发明由计算机通过网络进行数据挖掘生成，避免了人的主观因素影响，通过网络在海量数据中进行数据挖掘，可以保证数据的来源范围面足够广，***实时抓取最新的数据，并经过对数据的分析处理之后，实时动态更新指标体系，结果由计算机根据算法自动生成，节省了专家资源、节省了时间成本与调研成本。因此基于数据挖掘的职业能力指标体系构建方法能够方便、准确、快速、客观、全面、动态的构建职业能力测评指标体系，解决了现有职业能力指标体系构建方式的缺点，从而提高了人才测评的高效性和科学性，为企业选拔、甄选以及录用人才提供了可靠依据。

Claims (3)

1.一种基于数据挖掘的职业能力指标体系构建方法，其特征在于，该方法包括数据采集、数据预处理、数据变换、数据分析、解释评价五个步骤，各个步骤具体为：

(1)数据采集：首先设定岗位，并输入岗位的基本信息，岗位设定后，进行招聘信息的收集；

(2)数据预处理：***从收集到的招聘信息中，根据***设定的过滤词库，将与职业能力无关的词语、符号、数字、虚词过滤掉，形成岗位要求关键词库，之后***根据关键词出现的频次和比重，对关键词进行汇总，并进行权重的分配和计算；

(3)数据变换：在数据变换之前，按照各岗位各级别所需的学科、知识点设定树形层级结构的学科知识体系，并将树上各节结出现的关键词进行存储，同时每次刷新指标体系时，将新出现的关键词发送给管理员，根据词义将关键词分配到相应的知识体系分支下；***中设置一个知识体系的树，有一个根节点，根据各岗位涉及的科目不同，在根节点下设立各个学科的分支；数据变换时***将已经经过数据预处理后的关键词库中的每一个关键词与各个树形学科知识体系相对应，关键词按照树形结构重新组织，针对每一岗位每一级别分别形成各自的树形结构关键词库，同时***根据关键词与学科知识体系的对应关系，将关键词转换为能力评价词汇；对于在学科知识体系中不存在的关键词，根据用户输入的设定内容，将关键词的内容扩充到***的学科知识体系中，从而完成关键词树的构建；

(4)数据分析：在完成关键词树的构建后，得到指标体系中的指标，根据设定好的级别对所有指标进行统一化，设定的级别不大于5级，同时，根据每一指标的权重值进行加权汇总，计算出各能力指标在总指标中所占的权重和比例；加权是对体系中所有测评指标进行纵向比较，然后根据每个指标在体系中的重要性，给每个指标分配0-1中的一个值，得到该指标的加权值，所有加权值总和为1，归一化处理后的加权值之和为100％，权重值的计算方法：

q为测评指标的数量，Si是测评指标中第i的一项的权值，其中i为1～q，Sj为第j项的权值，Rj是第j项的权重值；

(5)解释评价：***根据指标体系管理员设定的层级数对关键词树进行修正和调整，并对各指标体系的权重进行重新汇总计算，形成指标体系。

2.根据权利要求1所述的方法，其特征在于，步骤(1)中招聘信息的收集具体为：***按照设定的岗位、级别收集大量的岗位招聘要求，并存储到招聘信息库中。

3.根据权利要求1所述的方法，其特征在于，步骤(2)中权重的计算具体为：

在一个招聘信息中，各个关键词所占的权重值的总和：

$R=\underset{1}{\overset{n}{\&Sigma;}}Ti,(i\&Element;(1~n),0<Ti<1)$

其中Ti为一个招聘信息中每个关键词的权重值，同一招聘信息中各个关键词权重值之和R应为100％；

同一关键词的汇总权重值：

$S=\underset{1}{\overset{m}{\&Sigma;}}Ai,(i\&Element;(1~m),0<Ai<1)$

Ai为该关键词在各招聘信息中的权重值。