CN104537063A - 一种基于论文引用网络的知识脉络图构建***和方法 - Google Patents

Abstract

本发明涉及一种知识脉络图构建***及方法，特别涉及基于论文引用网络的知识脉络图构建***及方法，属于计算机技术领域。该***包括数据抓取调度模块、数据抓取模块、数据持久化模块、论文层次聚类模块、论文知识映射模块；***的主要功能是从网上抓取论文的信息，构建论文引用网络，再利用论文引用网络来构建知识脉络图。本发明提出的知识脉络图构建***及方法，可以实现论文引用网络的自动构建，并根据论文引用网络来自动构建领域内的知识脉络图。

Description

一种基于论文引用网络的知识脉络图构建***和方法

技术领域

本发明涉及一种知识脉络图构建***及方法，特别涉及基于论文引用网络的知识脉络图构建***及方法，属于计算机技术领域。

技术背景

随着网络资源的不断丰富、众多期刊论文的开放式策略以及多种论文数据库的出现与发展，网络时代科技论文作为知识的重要载体，在学术交流、技术共享等方面发挥着越来越重要的作用。文献中的知识构成一个庞大的知识网络，在这个网络中，不同的学者往往只关注其所在领域的相关知识。这些研究表明，构建学科领域知识脉络图可了解领域内科技的发展状况、掌握相关研究工作的进展、并可筹划更为深入的科学技术研究。

构建学科领域知识脉络图，具有重要的理论意义。知识脉络图可规范知识提取规则，统一知识整合模式，确定知识的语义关系，形成领域知识的抽象包络。同时，构建学科领域知识脉络图，具有重要的应用价值。知识脉络图有助于了解学科知识的发展过程，获悉最新的研究热点；有助于专家学者选择研究领域，确定研究方向。提供文献作者关系图，通过在同一领域专家学者间建立知识链接，有效追踪最新的科研成果，时刻关注前沿知识的诞生与发展。与此同时，在图书馆学、情报学、档案学以及心理科学等领域，知识脉络图均起到了重要作用。在对心理学论文研究热点的计量分析中，结合使用共词分析、层次聚类、因子分析以及战略坐标图等方法，对心理学领域知识进行了知识脉络图构建，分析了该学科内部结构的变化、研究范围的拓展、主流方向的恒定以及未来发展的趋势。知识脉络图在学科的发展与演变、热点的分析与预测等方面得到了广泛应用。

目前对于知识脉络图的构建方法、实际应用等都仍处于发展阶段，在国内外的研究中，使用论文引用网络来构建知识脉络图的方法尚未见报道。因此，本发明提出了一种基于论文引用网络的知识脉络图构建***和方法。

发明内容

本发明的目的是设计一种基于论文引用网络的知识脉络图构建***和方法，通过论文引用网络，来抽取出网络中的知识点以及知识点之间的脉络关系。

本发明提供的一种基于论文引用网络的知识脉络图构建***，***的主要功能是从网上抓取论文的信息，构建论文引用网络，再利用论文引用网络来构建知识脉络图。

本发明的目的是通过下述技术方案实现的。

一种基于论文引用网络的知识脉络图构建***，包括如下模块：

数据抓取调度模块：负责对论文的抓取进行调度，包含待抓取列表，已抓取列表和停止抓取条件，其中，待抓取列表记录着需要抓取的论文的URL地址，已抓取列表记录着已经抓取的论文的URL地址；

数据抓取模块：负责从指定的论文的URL地址中抓取数据，对数据进行清洗，筛选出我们需要的论文信息，如论文的标题、作者、关键词、摘要、引用论文的题目和URL地址、被引用论文的题目和URL地址；

数据持久化模块：负责将论文的信息保存成特定的格式，并进行持久化操作，写入到本地文件中；

论文引用网络生成模块：负责从本地文件中提取论文的信息，分析出论文之间的引用关系，并把论文的信息以及论文之间的引用关系存储到数据库；

论文层次聚类模块：负责对论文引用网络进行层次聚类，将关系比较紧密的一些论文聚在一起；

论文知识映射模块：负责从一类论文中，抽取出能概括出这些论文研究领域的知识点，并将论文类之间的包含关系转化为知识点之间的父子关系，大的类作为父亲，小的类作为孩子，把知识点和他们之间的关系存储到数据库中；

本发明还提供了一种基于论文引用网络的知识脉络图构建方法，该方法使用上述知识脉络图构建***实现知识脉络图的构建，具体步骤包括：

步骤一、对数据抓取调度模块进行初始化，选择一个初始的论文，将论文的URL地址加入到数据抓取调度模块的待抓取列表中，并设置停止抓取的条件；

步骤二、数据抓取调度模块查看是否有空闲的数据抓取模块，如果有，则向论文抓取模块发送论文的地址，并将论文的URL地址加入到已爬取列表中；

步骤三、数据抓取模块在收到论文URL地址以后，将自己的状态变为忙碌，并开始抓取论文URL地址中的内容，筛选出论文的信息，将论文的信息发送给数据持久化模块，将引用的和被引用的论文URL地址发送给数据调度模块，完成以后将自己的状态变为空闲；

步骤四、数据持久化模块将接受到的论文的信息进行持久化操作；

步骤五、数据抓取调度模块接受数据抓取模块发送的引用和被引用论文的URL地址后，查看这些论文有没有出现在已抓取列表中，如果没有出现，则将论文的URL地址加入到待抓取列表中；

步骤六、数据抓取调度模块检查是否达到停止抓取条件，如果没有达到，则继续执行步骤二，否则执行步骤七；

步骤七、论文引用网络生成模块使用数据持久化模块生成的数据，生成论文引用网络；

步骤八、论文层次聚类模块将生成的论文引用网络进行层次聚类；

步骤九、论文知识映射模块将论文引用网络层次聚类的每个类都映射为一个知识点，知识点之间的关系等同于每个类之间的关系，生成知识脉络图。

有益效果

本发明提出的一种基于论文引用网络的知识脉络图构建***和方法，可以实现论文引用网络的自动构建，并根据论文引用网络来自动构建领域内的知识脉络图。

附图说明

图1、本发明所述***的结构图；

图2、***生成的论文引用网络图；

图3、***生成的知识脉络图。

具体实施方式

下面结合附图和实施例对本发明做详细说明。

实施例

本实施例是根据本发明实现的一种基于论文引用网络的知识脉络图构建***。图1是***的结构图，具体包括：

数据抓取调度模块：负责对论文的抓取进行调度，包含待抓取列表，已抓取列表和停止抓取条件，其中，待抓取列表记录着需要抓取的论文的URL地址，已抓取列表记录着已经抓取的论文的URL地址；

数据抓取模块：负责从指定的论文的URL地址中抓取数据，对数据进行清洗，筛选出我们需要的论文信息，如论文的标题、作者、关键词、摘要、引用论文的题目和URL地址、被引用论文的题目和URL地址；

数据持久化模块：负责将论文的信息保存成特定的格式，并进行持久化操作，写入到本地文件中；

论文引用网络生成模块：负责从本地文件中提取论文的信息，分析出论文之间的引用关系，并把论文的信息以及论文之间的引用关系存储到数据库；

论文层次聚类模块：负责对论文引用网络进行层次聚类，将关系比较紧密的一些论文聚在一起；

论文知识映射模块：负责从一类论文中，抽取出能概括出这些论文研究领域的知识点，并将论文类之间的包含关系转化为知识点之间的父子关系，大的类作为父亲，小的类作为孩子，把知识点和他们之间的关系存储到数据库中；

知识脉络图展示模块：负责将知识点以及知识点之间的脉络关系用图来进行展示；

日志处理模块：负责维护日志文件，日志文件记录运行过程中的数据执行消息和错误消息；

在本实施例中，数据抓取模块的数量不影响最后的结果，只影响数据抓取的速度，因此模块的数量可以设置为1个或者多个，这里将数据抓取模块的数量设置为4个，分别编号1、2、3、4以示区分，它们的功能完全相同。论文层次聚类模块采用何种层次聚类算法对结果的效果影响不大，这里我们采用BGLL层次聚类算法。

构建知识脉络图前要对数据抓取调度模块进行初始化，指定一篇论文的URL地址加入到数据抓取调度模块的待抓取列表中，并设定数据抓取的停止条件。为了便于说明，我们假设论文名为paper_name的论文的URL地址为http://example.com/paper_name。

本实施例中，开始执行知识脉络图构建时，执行以下步骤：

步骤一、选择论文paper1作为初始论文，将paper1的URL地址http://example.com/paper1加入到数据抓取调度模块的待抓取列表中，并将抓取停止条件设置为当抓取了10篇论文时停止；

步骤二、数据抓取调度模块检测到数据抓取模块1为空闲，则把待抓取列表中的paper1的URL地址http://example.com/paper1传递给数据抓 取模块1，将paper1的URL地址加入到已爬取列表中；

步骤三、数据抓取模块1在收到paper1的URL地址后，开始抓取URL上的内容，对内容进行清洗，找到论文的题目、作者、关键词、摘要、被引用论文的题目和URL地址、引用论文的题目和URL地址，如表1所示，将论文的信息发送给数据持久化模块，将被引用论文的URL地址以及引用论文的URL地址发送给论文调度模块；

表1.paper1的信息

步骤四、数据持久化模块收到论文的信息后，将论文的信息存储成JSON格式，具体格式如下所示，并将JSON格式的内容写入到本地文件中，文件名为论文题目和json后缀名，即paper1.json；

步骤五、数据抓取调度模块将收到的数据抓取模块传来的URL地址与已抓取模块中的URL地址进行比较，如果传来的URL地址没有出现在已抓取列表中，则将URL地址加入到待抓取列表中。

步骤六、数据抓取调度模块判断现在还没有达到数据抓取终止条件，继续抓取；

数据抓取调度模块检测到有四个数据抓取模块空闲，则将paper2、paper3、paper4、paper5的URL地址分别发送给数据抓取模块1、2、3、4，论文的抓取过程与前面叙述的相同，故不再重复叙述；

当抓取10篇论文以后，达到终止抓取条件，此时数据调度模块停止抓取数据，得到的数据见表2至表10；

表2.paper2的信息

表3.paper3的信息

表4.paper4的信息

表5paper5的信息

表6.paper6的信息

表7.paper7的信息

表8.paper8的信息

表9.paper9的信息

表10.paper10的信息

步骤七、论文引用网络生成模块读取存储为文件的论文信息，分析他们之间的引用关系，存储到数据库，论文的信息存储在paper表中，表中的内容见表11，；论文之间的引用关系存储在paper_relation表中，表中的内容见表12，从而生成论文引用网络，如图2所示；

表11.paper表的内容

表12.paper_relation表的内容

步骤八、论文层次聚类模块对生成的论文引用网络进层次聚类，第一层将paper1、paper3、paper4、paper5、paper6聚为第一类，将paper2、paper7、paper8、paper9、paper10聚为第二类，所以第一层共2类；第二层将所有的论文聚为一类，所以第二层共1类；

步骤九、论文知识映射模块将每一类论文都映射成一个知识点，模块将这些论文的关键词都合并成一个列表，从列表中选择出现次数最多的关键词作为这类论文的知识点，将论文类的包含关系映射为知识点之间父子关系，且选过的关键词不能再选，所以第二层第一类的知识点为k1，第一层第一类的知识点为k2，第一层第二类的知识点为k4，且k1为k2和k4的父亲，从而生成知识脉络图，并将生成的知识脉络图存储在数据库knowledge_relation表中，表中的内容见表13；

表13knowledge_relation表的内容

id	father	child
			1	k1	k2
2	k1	k4

步骤十、知识脉络图展示模块将生成的知识脉络图用图的形式进行展示，如图3所示。

本发明还适用于基于其他网络来构建知识脉络图，如作者合作网络、关键词关系网络等。这些网络都具有共同的特征，那就是可以通过层次聚类将研究领域比较接近的节点聚在一起，从而可以从聚类结果中抽取出知识点，最终生成知识脉络图。

以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，或者对其中部分技术特征进行同等替换，这些改进和替换也应视为本发明的保护范围。

Claims (2)

1.一种基于论文引用网络的知识脉络图构建***，其特征在于，包括如下模块：

数据抓取调度模块：负责对论文的抓取进行调度，包含待抓取列表，已抓取列表和停止抓取条件，其中，待抓取列表记录着需要抓取的论文的URL地址，已抓取列表记录着已经抓取的论文的URL地址；

数据抓取模块：负责从指定的论文的URL地址中抓取数据，对数据进行清洗，筛选出我们需要的论文信息，如论文的标题、作者、关键词、摘要、引用论文的题目和URL地址、被引用论文的题目和URL地址；

数据持久化模块：负责将论文的信息保存成特定的格式，并进行持久化操作，写入到本地文件中；

论文引用网络生成模块：负责从本地文件中提取论文的信息，分析出论文之间的引用关系，并把论文的信息以及论文之间的引用关系存储到数据库；

论文层次聚类模块：负责对论文引用网络进行层次聚类，将关系比较紧密的一些论文聚在一起；

论文知识映射模块：负责从一类论文中，抽取出能概括出这些论文研究领域的知识点，并将论文类之间的包含关系转化为知识点之间的父子关系，大的类作为父亲，小的类作为孩子，把知识点和他们之间的关系存储到数据库中。

2.一种基于论文引用网络的知识脉络图构建方法，其特征在于，包括如下步骤：

步骤一、对数据抓取调度模块进行初始化，选择一个初始的论文，将论文的URL地址加入到数据抓取调度模块的待抓取列表中，并设置停止抓取的条件；

步骤二、数据抓取调度模块查看是否有空闲的数据抓取模块，如果有，则向论文抓取模块发送论文的地址，并将论文的URL地址加入到已爬取列表中；

步骤三、数据抓取模块在收到论文URL地址以后，将自己的状态变为忙碌，并开始抓取论文URL地址中的内容，筛选出论文的信息，将论文的信息发送给数据持久化模块，将引用的和被引用的论文URL地址发送给数据调度模块，完成以后将自己的状态变为空闲；

步骤四、数据持久化模块将接受到的论文的信息进行持久化操作；

步骤五、数据抓取调度模块接受数据抓取模块发送的引用和被引用论文的URL地址后，查看这些论文有没有出现在已抓取列表中，如果没有出现，则将论文的URL地址加入到待抓取列表中；

步骤六、数据抓取调度模块检查是否达到停止抓取条件，如果没有达到，则继续执行步骤二，否则执行步骤七；

步骤七、论文引用网络生成模块使用数据持久化模块生成的数据，生成论文引用网络；

步骤八、论文层次聚类模块将生成的论文引用网络进行层次聚类；

步骤九、论文知识映射模块将论文引用网络层次聚类的每个类都映射为一个知识点，知识点之间的关系等同于每个类之间的关系，生成知识脉络图。