CN113468890B - 基于nlp信息萃取与词性规则的沉积学文献挖掘方法 - Google Patents

Abstract

基于NLP信息萃取与词性规则的沉积学文献挖掘方法，步骤1：根据最低流量限制和期望下载时间预期值，对相关文件进行下载；步骤2：根据机器视觉，对文本内容进行识别；步骤3：分析文档上下文语段，获取语句文本中自定义多类实体关键词词典列表；步骤4：采用余弦相似度测量分析技术，根据关键词种类，对文本中相同词性关键词进行识别，生成非结构化多分类文本；步骤5：对分类实体分别进行多路匹配，记录实体标签属性，生成大样本训练数据集；步骤6：针对步骤5生成大样本数据集和步骤3需要识别文献文本，利用双向长短期记忆神经网络模型结合条件随机场进行实体识别，实现对所需实体的识别，筛选出文本中实体进行存储。

Description

基于NLP信息萃取与词性规则的沉积学文献挖掘方法

技术领域

本发明涉及自然语言处理技术领域，特别涉及基于NLP信息萃取与词性规则的沉积学文献挖掘方法。

背景技术

自然语言处理是一门把语言学、计算机科学、数学等相关领域融为一体的交叉学科，自然语言处理技术逐渐渗透到各行各业用于文本数据挖掘和信息存储。当前，大量的企业和组织将与日俱增的数据信息完全或者部分通过自然语言处理技术，筛选出有价值的核心热点，以降低检索时间并提高分析信息能力。从命名实体识别的角度来看，在满足将对非结构化文本分析和理解的同时，需要保证数据的可扩展性。沉积学领域中对文本数据分析量的不断增加，特别是在大数据时代，数据挖掘处理需要学习分析海量的标签数据集。为了应对与日俱增的分析需求，沉积学领域需要领域专家建立庞大的规则模板和词典。当前沉积学领域普遍依赖人工标注文本信息，人工标注会消耗大量时间，影响数据时效性，制约了信息化产业的动态发展。

为了应对沉积学领域节约时间开销的迫切需求，在自然语言处理支撑的文本数据中，如何实现面向异构数据源的文本信息挖掘方法是工业界和学术界关注的热点。通过命名体识别，可以实现文本关键信息的筛选。而词性分析技术的发展则推动文本数据的高效处理能力。通过词性分析，可以实现关键信息的自定义，从而减少数据中干扰信息数量，降低数据集生成过程中，多路匹配所产生的标签噪音。但是，在词性分析过程中，除了标准文本读取文字产生的误差之外，还需要综合考虑词性规则所引起的噪声冲突。因此，需要设计合理的词性分析技术，实现文本数据的命名体识别。

文本信息萃取技术已经广泛应用于文本数据挖掘和存储。通过词性分析技术可以实现对不同关键词热点的信息筛选。例如文献“N.Piazza,Classification BetweenMachine Translated Text and Original Text By Part Of Speech TaggingRepresentation,2020 IEEE 7th International Conference on Data Science andAdvanced Analytics(DSAA),Sydney,NSW,Australia,2020,pp.739-740.”主要运用词性标签创建一个具有BIO字母的频率概率分布模型，减少数据词典的使用。文献“F.Hussain,U.Qamar and S.Zeb,A Novel Approach for Searching Linguistic Synonyms throughParts of Speech Tagging,2016 IEEE/WIC/ACM International Conference on WebIntelligence(WI),Omaha,NE,USA,2016,pp.465-468,doi:10.1109/WI.2016.0076.”提出一种面向开放文本数据的词性标记方法，是面向短文本数据，通过同义词标注实现了相近文本语句的信息萃取。当前的词性分析忽略了在专业领域数据挖掘过程中价值信息的识别。随着词性分析技术的广泛应用，领域的文本产生热点的数据日益增长，将会对构建领域数据集标签带来技术挑战。因此，需要设计基于基于关键词语和可扩展词性的文本挖掘方法，以实现文本数据动态萃取。

发明内容

本发明针对沉积学领域标注数据时耗日益突出的特点，提供基于NLP信息萃取与词性规则的沉积学文献挖掘方法，适用于异构数据的信息获取工作。

为实现上述目的，本发明采用以下技术方案：

基于NLP信息萃取与词性规则的沉积学文献挖掘方法，

步骤1：根据最低流量限制和期望下载时间的预期值，利用RPA分布式读取网站中包含有关沉积学内容的文件进行下载；

步骤2：根据机器视觉，识别步骤1中下载的文件，从而获取内容对象的几何属性和文本属性，并辅以启发式算法对内容对象进行类型判断，得到文档的物理结构和逻辑结构，并对文本内容进行识别；

步骤3：分析文本内容上下文语段，获取文本内容中自定义多类实体关键词的词典列表；

步骤4：利用步骤2获取的文本内容和步骤3获得的词典列表，采用余弦相似度测量分析技术，根据实体关键词种类，对文本内容中相同词性的实体关键词进行识别，生成非结构化多分类文本；

步骤5：利用步骤4输出的非结构化多分类文本，对分类的实体分别进行多路匹配，记录实体标签属性，生成大样本训练数据集；

步骤6：针对步骤5生成的大样本数据集，利用BiLSTM结合CRF进行NER预训练，实现对步骤2文档中可读性文本内容进行实体识别，从而根据上下文筛选实体关键词。

为优化上述技术方案，采取的具体措施还包括：

进一步地，当任务请求网络服务***进行文件下载时，网络平台产生一条访问请求记录，该记录包含本地网络IP地址和期望下载时间，利用RPA的无侵入特性接入通讯***提供对相关沉积学研究内容热点进行交叉访问，将多路IP地址交叉复制到服务器中；

当服务器在任意时段收到一个下载请求时，计算出单个下载任务响应时间T为：

T＝t_departure-t_arrival；

式中，t_departure代表请求到达时间，t_arrival代表请求完成时间，其中单个下载任务响应时间T的指数随机变量为e.r.v，e代表在单个下载任务响应时间T下所期望下载时间的预期值，r代表服务器下载流量占总带宽的比例，v代表下载热点的速度；

当下载请求申请成功，对下载热点进行交叉访问时，对任意一段时间x≤TimeN≤y内进行下载请求，下载请求的响应时间为β_n，因此，下载请求的最小响应时间β_(x,y)的表达式为：

式中，x为最低下载时间，y为最高下载时间，TimeN为在此时间段内的任意下载时间；在单个下载任务响应时间T下所期望下载时间的预期值E[T_(r,t)]的表达式为：

式中，β(t+1,1/r)代表在t+1的时间到1/r的时间内的最小响应时间，μ表示在不同的下载请求指令和服务器之间的响应速率，E[T_(r,t)]与e均代表在单个下载任务响应时间T下所期望下载时间的预期值；

选择满足预期值E[T_(r,t)]的服务IP地址进行多路下载。

进一步地，关于对文本内容进行识别的具体内容为：

利用机器视觉识别文档，在文档中(x_nn,y_nn)代表字符左上角坐标、(x_nm,y_nm)代表字符右下角坐标；在物理结构中(x_mn,y_mn)代表字符左上角坐标，(x_mm,y_mm)代表字符右下角坐标；计算字符之间的间距面积X_overlap和物理设定的阈值面积Y_overlap的表达式如下：

X_overlap＝max(0,min(x_nm,x_mm)-max(x_nn,x_mn))；

Y_overlap＝max(0,min(y_nm,y_mm)-max(y_nn,y_mn))；

式中，min(x_nm,x_mm)代表选取字符边框的左上角坐标最小值，max(x_nn,x_mn)代表选取字符边框的右下角坐标最大值，min(x_nm,x_mm)-max(x_nn,x_mn)代表字符边框对角线值；min(y_nm,y_mm)代表选取字符物理结构边框的左上角坐标最小值，max(y_nn,y_mn)代表选取字符物理结构边框的右下角坐标最大值，min(y_nm,y_mm)-max(y_nn,y_mn)代表字符边框对角线值；

根据X_overlap和Y_overlap从而得到最大字符结构化区域面积S_overlap，表达式如下：

S_overlap＝X_overlap×Y_overlap；

由于字符结构化面积S_overlap远小于物理结构面积，比较重叠面比例Ratio_overlap将文字进行聚类，将单词聚类为句子，句子组成为段落，从而读取文本内容，其中重叠面比例Ratio_overlap将表达式如下：

式中，x_nn代表文档中字符左上角的x轴坐标，x_nm代表文档中字符右下角的x轴坐标，y_nn代表文档中字符左上角的y轴坐标，y_nm代表文档中字符右下角的y轴坐标。

进一步地，分析文本内容上下文语段，获取文本语句中自定义多类实体关键词的词典列表，并整合成词典列表数据集ER＝{er₁,er₂,...,er_N}，其中，er₁表示第一个种类的实体关键词词典列表，er₂表示第二个种类的实体关键词词典列表，er_N表示第N个种类的实体关键词词典列表；

实体关键词词典列表的种类记录是一个多属性元组，ER中第n个种类的实体关键词词典列表的元组表示为er_n＝(tim_n,geo_n,nat_n,org_n,per_n)，其中1≤n≤N，其中tim_n代表实体关键词存在时间，geo_n代表所发现实体关键词的地理位置，nat_n代表er_n中对应的实体关键词名称，org_n代表发现实体关键词的组织，per_n代表该实体关键词的发现者。

进一步地，利用大型文本语料库计算文本内容和术语之间的关系概率，设定意义相同的词为同种词性；

使用余弦相似度测量，将给定的实体关键词词典列表在大型文本语料库进行文本挖掘，确定实体关键词的语义接近度与词向量；er_n在词向量中表示为vc_n＝(B-vc_n,I-vc_n)，其中B-vc_n代表多属性元组在词向量空间的开头位置，I-vc_n代表多属性元组在词向量空间中间位置，并利用正则表达式扩充er_n属性元组与英文字符[A-Z]以及数字字符[0-9]的表现形式；

余弦相似度cos(θ)值计算表达式如下：

式中，vc_i表示在总数m为个词向量中的第i个词向量变量，wc_i表示在总数为m个文本句短语词向量中的第i个文本句短语词向量变量；当余弦相似度cos(θ)值为1时，表示能够在vc_i所对应的实体关键词词典列表中找到wc_i所对应的文本语料库所需要的词语，从而实现实体关键词词典列表的挖掘；

实体关键词词典列表经过文本语料库挖掘后，再对文本内容进行抽取相关内容从而生成非结构化多分类文本。

进一步地，将非结构化多分类文本的文本语句与er_n进行分类匹配，若文本语句无法匹配er_n，则表示为O；

将er_n中所有多分类结构子集匹配对应的文本语句实体集合表示为ER_n＝{B-er_n,O,I-er_n}，从而生成带有标签BIO的训练数据集。

进一步地，将crf作为BiLSTM的输出层，对于每个输入标签ER_n终会得到与之对应的输出标签PL_n，预测输入ER_n的连续正确的概率为Score(ER_n,PL_n)，Score(ER_n,PL_n)的表达式如下：

式中，R表示训练数据集中总数为R个标签，

为对于第i个输入标签ER_i输出为PL_i的概率，A_{(PLi，PLi+1)}为从PL_i到PL_i+1的转移概率；

求出所有输入标签ER_n的连续正确概率Score(ER_n,PL_n)，利用维特比算法对输入标签ER_n及输出标签PL_n进行概率归一化处理P_(PLn|ERn)，从而完成与训练并挖掘文本数据，其中概率归一化处理P_(PLn|ERn)表达式如下：

式中，

表示预测第i个输入标签ER_i的连续正确概率的指数值，/>

表示为对于第i个输入标签ER_i，得到错误的输出标签率，/>

表示错误预测输入标签ER_i的连续概率的指数值。

本发明的有益效果是：

1：在多路IP地址交叉配置在服务器过程中，下载文本数据情况，更加贴切实际中最低流量限制和期望下载时间。

2：文本内容识别过程中，采用启发式的方法进行目标文本的选择，提高文字识别准确率，能够更快速、便捷地寻找到识别目标。

3：在关键词词性分析中，优先将词性规则结合关键词字典列表，有利于提升整体的沉积学关键词挖掘效率，减少人工标注所带来的时间成本。

4：在针对沉积学数据集进行数据挖掘过程中，采用双向长短期神经网络并结合条件随机场，提升沉积学文献挖掘策略设计的准确率，降低由于数据集错误标签所带来的识别噪音。

附图说明

图1是本发明整体工作步骤流程图。

图2是本发明在BiLSTM模型结合条件随机场CRF中训练集测试的准确率。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

本发明公开了基于NLP(Nature language processing,NLP)信息萃取与词性规则的沉积学文献挖掘方法，包括以下步骤：步骤1：根据最低流量限制和期望下载时间预期值，利用机器人流程自动化(Robotic Process Automation,RPA)分布式读取网站中包含有关沉积学内容的研究及会议文件；步骤2：根据机器视觉，识别步骤1文件，从而获取内容对象的几何属性和文本属性，并辅以启发式算法对内容对象进行类型判断，得到文档的物理结构和逻辑结构；步骤3：分析文档上下文语段，获取语句文本中自定义多类实体关键词词典列表；步骤4：利用步骤2获取的文档文件和步骤3获得的关键词词典，采用余弦相似度测量分析技术，根据关键词种类，对文本中相同词性关键词进行识别，生成非结构化多分类文本；步骤5：利用步骤4输出的非结构化多分类文本，对分类实体分别进行多路匹配，记录实体标签属性，生成大样本训练数据集；步骤6：针对步骤5生成大样本数据集和步骤3需要识别文献文本，利用双向长短期记忆神经网络模型(Biomedical Long Short-Term Memory,BiLSTM)结合条件随机场(Conditional Random Field,CRF)进行命名体识别(NamedEntity Recognition，NER)，实现对所需实体的识别，筛选出文本中实体进行存储。

本发明提出的基于NLP信息萃取与词性规则的沉积学文献挖掘方法包括下述步骤，流程如图1-2所示：

步骤1：从最低流量限制MF和期望下载时间ET的预期值，利用RPA分布式读取网站中包含有关沉积学内容的研究及会议文件。

当任务请求网络服务***进行文件下载时，网络平台将产生一条访问请求记录，该记录包含本地网络地址和期望下载时间，在已有的网络服务***可用性代码，分析分布式存储和期望下载时间的基础上，利用RPA可无侵入式接入通讯***并对相关沉积学研究内容热点进行交叉访问，将多路IP地址交叉复制到服务器中，其多路IP集合记作LR＝{lr1,lr2,…,lrN}，其中，N代表LR中交叉IP的数量。

当服务器在任意时段收到一个下载请求时，结合请求资源大小和当前带宽拥挤程度，计算出最低流量限制，如公式(1)所示，其中T为单个下载任务响应时间，t_departure代表请求到达时间，t_arrival代表请求完成时间。最低流量限制影响请求到达时间和请求完成时间，在最低流量限制下单个下载任务的响应时间最长，且最低流量限制默认为，满足网站文件最低下载需求的宽带流量，最低流量限制在任何时间点最低能包含一个下载任务请求；

T＝t_departure-t_arrival (1)。

当请求申请成功时，对下载热点进行交叉访问。T被假定为独立的，并且在不同的请求和服务器之间假定响应速率为μ，其指数随机变量为e.r.v，即T＝(e*r)/v，其中e代表下载时间预期值，r代表下载服务器下载流量占总带宽比例，v代表下载热点文件的速度，如公式(2)所示，对任意一段时间内下载请求x≤TimeN≤y，其响应内下载时间为β_n，其中x为最低下载时间，y为最高下载时间，最低下载时间x为最高宽带服务时对所需下载请求用时最少的时间，且满足服务器安全不会因为请求时间过短而停止下载服务，最高下载时间y为服务器对下载请求最长的响应时间，且服务器安全不会因为下载时间过长出现服务超时而暂停下载服务，TimeN为在此时间段内的任意下载时间，因此，请求内最小响应时间β_(x,y)；

其中

为最低下载时间x和最高下载时间y，在0到1范围内关于下载速度进行积分，其中假设最快速度为1即100％，最慢速度为0，从求出最小响应时间。

下载预期值与下载速率呈线性反比，当部署高频流量信号时，下载速率呈现服务满载，下载预期值则出现曲线递减，β_(x,y)对于低流量状态可推导出可用***叉IP地址，S代表任意随机变量e.r.v的下载时间，从而S(r,v)～Exp(μ)为均匀地分布在***中，如公式(3)表示求出分布值P，其中T大于任意随机变量下载时间S，公式(4)表示在T时刻期望下载时间的预期值E的表达式公式，选择满足预期值的服务IP地址进行多路下载，从而减少下载所需时间，最大程度单位时间内下载更多的文本。其中，

P{T_(r,t)＞S}＝exp(-μs)(1-(1-exp(-μs))^r)^t (3)；

式中，P{T_(r,t)＞S}代表分布值P中关于下载服务器下载流量占总带宽比例r和下载时间t的单个下载任务响应时间T大于任意随机变量下载时间S，exp(-us)表示对任意随机变量下载时间S和假定速率μ的积求出指数的反函数；β(t+1,1/r)代表在t+1的时间到1/r的时间内的最小响应时间，μ表示在不同的下载请求指令和服务器之间的响应速率，E[T_(r,t)]与e均代表在单个下载任务响应时间T下所期望下载时间的预期值。

其中，期望下载时间的含义为：例如有一班发车间隔时间为20分钟的公交车，期望等车时间是，公交车的发车时间满足[0,20]的均匀分布，故期望等车时间为10分钟。同理这里的期望时间随着IP地址的增多在减少，预期值为对进行分布IP值进行估算，期望时间能少于预期值，也能能略大于预期值，但不是无限大，或者无穷小，都要满足对方网站服务器最短的下载时间和最长的延时停止时间，否则将无法下载。

步骤2：根据机器视觉，识别下载标准文件，从而获取文本中的表格图片几何属性和文本属性，并辅以启发式算法对内容对象进行类型判断，得到文档的物理结构和逻辑结构，对标准文件文本进行识别。

首先，利用机器视觉(机器视觉无需对物理结构之间的距离进行参数设置)，如公式(5)所示，其中在文档中(x_nn,y_nn)代表字符左上角坐标、(x_nm,y_nm)右下角坐标，如公式(6)所示，其中在物理结构中(x_mn,y_mn)、(x_mm,y_mm)分别代表左上角和右下角坐标。计算出字符之间的间距面积X_overlap和物理设定的阈值面积Y_overlap；

X_overlap＝max(0,min(x_nm,x_mm)-max(x_nn,x_mn)) (5)；

Y_overlap＝max(0,min(y_nm,y_mm)-max(y_nn,y_mn)) (6)；

将字符看作一个长方形方框，其中min(x_nm,x_mm)代表选取字符边框的左上角坐标最小值，max(x_nn,x_mn)代表选取字符边框的右下角坐标最大值，min(x_nm,x_mm)-max(x_nn,x_mn)代表字符边框对角线值，最后求出最长对角线，从而求出字符的间距面积，同理，其中min(y_nm,y_mm)代表选取字符物理结构边框的左上角坐标最小值，max(y_nn,y_mn)代表选取字符物理结构边框的右下角坐标最大值，min(y_nm,y_mm)-max(y_nn,y_mn)代表字符边框对角线值，最后求出最长对角线，从而求出字符物理结构边框的间距面积。

然后，根据X_overlap和Y_overlap计算出最大字符结构化区域面积记作S_overlap，如公式(7)所示：

S_overlap＝X_overlap×Y_overlap (7)；

最后，由于字符结构化面积S_overlap远小于物理结构面积，比较重叠面比例Ratio_overlap将文字进行聚类，从而读取文本内容，如公式(8)所示：

步骤3：根据文档上下文语段，获取语句文本中自定义多类实体关键词词典列表。

将多类实体关键词词典列表数据集记作ER，ER是关于实体种类的记录集合，表示为ER＝{er₁,er₂,...,er_N}，其中，N代表ER中实体关键词词典列表的数量；

实体种类的记录是一个多属性元组，ER中第n(1≤n≤N)个元组表示为er_n＝(tim_n,geo_n,nat_n,org_n,per_n)，其中tim_n代表实体存在时间，geo_n代表所发现实体的地理位置，nat_n代表er_n中对应的实体名称，org_n代表发现实体的组织，per_n代表该实体发现者。

步骤4：采用余弦相似度测量分析技术，根据关键词种类，对文本中相同词性关键词进行识别，生成非结构化多分类文本。

使用大型文本语料库计算文档和术语之间的关系概率，设定意义相同的词将产生相似的文本，即同类词性。随后，使用余弦相似度测量，将给定词典文档与数据库进行文本挖掘，确定语义接近度与词向量，er_n在词向量表示为vc_n＝(B-vc_n,I-vc_n)，其中B-vc_n代表多属性元组在词向量空间开头，I-vc_n代表多属性元组在词向量空间中间位置，并利用正则表达式扩充er_n属性元组与英文字符[A-Z]以及数字字符[0-9]的表现形式，？表示匹配前表达式一次，*表示匹配前表达式任意次数，^表示从当前位置开始匹配，$表示匹配前表达式结尾，例如时间词性VB有三种表现形式，如公式(9-11)所示：

VB₁＝r'^～？[0-9]'+r'^[A-Z].*$' (9)；

VB₂＝r'^±'+r'^～？[0-9]+(.[0-9]+)？$'+r'.^*' (10)；

VB₃＝r'^～？[0-9]+(.[0-9]+)？$'+r'and$'+r'.^*' (11)；

公式9处理过程如下：

第一步：～？匹配句子中有～符号的语句或者没有～的语句。

第二步：在满足第一步的情况下，[0-9]表示匹配数字0到9之间任意一个数字。

第三步，在满足第二步的情况下，^[A-Z]表示匹配字母字A到Z之间任意一个字母。

第四步，在满足第三步的情况下，.*$'表示匹配第三步字母多次，并且可以位于句子结尾，例如～9Ma或者9Ma。

公式10处理过程如下：

第一步：^±表示匹配句子中有±的语句。

第二步：在满足第一步的情况下，～？匹配句子中有～符号的语句或者没有～的语句。

第三步：在满足第二步的情况下，[0-9]表示匹配数字0到9之间任意一个数字。

第四步，在满足第三步的情况下，(.[0-9]+)表示首先匹配小数点.，其次匹配数字0到9之间任意一个数字。

第五步，在满足第四步的情况下，

表示匹配前面步骤任意次，例如±9.38或者±～9.1。

公式11处理过程如下：

第一步：～？匹配句子中有～符号的语句或者没有～的语句。

第二步：在满足第一步的情况下，[0-9]表示匹配数字0到9之间任意一个数字。

第三步，在满足第二步的情况下，(.[0-9]+)表示首先匹配小数点.，其次匹配数字0到9之间任意一个数字。

第四步：在满足第三步的情况下，and$表示匹配句子中有and的语句。

第五步，在满足第四步的情况下，

表示匹配前面步骤任意次，例如～1and2或者1.5and 1.68。

余弦相似度最高值cos(θ)与vc_n的组成部分vc_i(1≤i≤m)与文本各句短语词向量属性wc_n的组成部分wc_i相关(1≤i≤m)，vc_i表示在m个词向量中其中第i个词向量变量，wc_i表示在m个文本句短语词向量中其中第i个文本句短语词向量变量，如公式(12)所示，当cos(θ)值为1时表示指向同一词向量空间，指向同一空间则将给定词典文档与数据库成功匹配，能够在文档中找到数据库中所需的词语；

步骤5：通过cos(θ)输出生成非结构化多分类文本，遍历多分类文本对分类实体分别进行多路匹配，记录实体标签属性，生成大样本训练数据集。

将文本语句进行er_n分类匹配，若文本语句无法匹配er_n，则表示为O；er_n中所有多分类结构子集对应的语句实体集合(这里的多分类结构子集和前面的er_n表示多个种类的实体关键词词典列表集合含义相同)，表示为ER_n＝{B-er_n,O,I-er_n}，从而生成带有标签BIO的训练集数据；其中B-er_n表示为为语句实体的开头第一个字母，I-er_n表示为除开头第一个字母外各剩余字母表达方式，生成的数据集会表示为B-tim、B-geo、B-nat、O、I-tim、I-geo、I-nat，B-er_n包括B-tim、B-geo、B-nat，I-er_n包括I-tim、I-geo、I-nat。

步骤6：利用BiLSTM结合CRF进行NER预训练，将沉积学实体识别，从而根据上下文信息筛选出有价值的热点。

首先，用crf中转移矩阵避免出现多个连续B-er_n的特性，将crf作为BiLSTM的输出层，如公式(13)所示，其中对于每个输入ER_n终会得到与之对应预测标签PL_n，则预测输入ER_n的连续概率为Score(ER_n,PL_n)(例如输入标签为O，会得到对应的输出标签，并预测连续输入为O的概率)，

为第i个位置输出为PL_i(0≤PL_i≤1)的概率，A_{(PLi，PLi+1)}为从PL_i到PL_i+1的转移概率；

其中，连续输入O，或者I-ern是正确情况，如果连续三个出现B-ern是不正确情况。对于转移概率，简单来说上面BIO标签中，可能会出现错误，将I-ern标称O这种类似错误，转移概率，就是直接从O跳到I-ern这种可能的概率。

然后，对于每一个ER_n，求出所有PL_n的Score(ER_n,PL_n)，利用维特比算法对输入标签即输出标签进行概率归一化处理P_(PLn|ERn)，从而挖掘文本数据，如公式(14)所示：

式中，

表示预测第i个输入标签ER_i的连续正确概率；/>

表示预测第i个ER_i的错误概率；/>

表示为对于第i个输入标签ER_i，得到错误的输出标签率(例如原本ER_n终会得到与之对应的输出标签PLi，它是正确的概率为0.7，/>

就表示他不正确的概率为0.3)。

本发明的思想为：首先根据最低流量限制和期望下载时间预期值，利用机器人流程自动化分布式读取网站中包含有关沉积学内容的研究及会议文件；然后根据机器视觉，获取研究内容对象的几何属性和文本属性，并辅以启发式算法对内容对象进行类型判断，得到文档的物理结构和逻辑结构；进一步，分析文档上下文语段，获取语句文本中自定义多类实体关键词词典列表；在此基础上，采用余弦相似度测量分析技术，根据关键词种类，对文本中相同词性关键词进行识别，生成非结构化多分类文本，从而输出的非结构化多分类文本；接着针对非结构化文本，对分类实体分别进行多路匹配，记录实体标签属性，生成大样本训练数据集；最后，在大样本数据集中，利用双向长短期记忆神经网络模型结合条件随机场进行名体识别实现对所需实体的识别，筛选出文本中实体进行存储。

实施例，本实施例选择沉积学文本匹配数据作为输入数据集进行实验，并选择tensorflow作为仿真平台。

实验环境中所涉及的参数如表1所示。

表1 方法执行过程所涉及的参数设置

实验参数	取值
		物质开头	B-nat
物质中间	I-nat
		时间开头	B-tim
时间中间	I-tim
		地点开头	B-geo
地点中间	I-geo
		其他	O
数据集记录数量	274292

图2为本发明在BiLSTM模型结合条件随机场CRF中训练集测试的准确率。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (6)

1.基于NLP信息萃取与词性规则的沉积学文献挖掘方法，其特征在于：

步骤1：根据最低流量限制和期望下载时间的预期值，利用RPA分布式读取网站中包含有关沉积学内容的文件进行下载；

步骤2：根据机器视觉，识别步骤1中下载的文件，从而获取内容对象的几何属性和文本属性，并辅以启发式算法对内容对象进行类型判断，得到文档的物理结构和逻辑结构，并对文本内容进行识别；

步骤3：分析文本内容上下文语段，获取文本内容中自定义多类实体关键词的词典列表；

步骤4：利用步骤2获取的文本内容和步骤3获得的词典列表，采用余弦相似度测量分析技术，根据实体关键词种类，对文本内容中相同词性的实体关键词进行识别，生成非结构化多分类文本；

步骤5：利用步骤4输出的非结构化多分类文本，对分类的实体分别进行多路匹配，记录实体标签属性，生成大样本训练数据集；

步骤6：针对步骤5生成的大样本数据集，利用BiLSTM结合CRF进行NER预训练，实现对步骤2文档中可读性文本内容进行实体识别，从而根据上下文筛选实体关键词；

将CRF作为BiLSTM的输出层，对于每个输入标签ER_n终会得到与之对应的输出标签PL_n，预测输入ER_n的连续正确的概率为Score(ER_n,PL_n)，Score(ER_n,PL_n)的表达式如下：

式中，R表示训练数据集中总数为R个标签，

为对于第i个输入标签ER_i输出为PL_i的概率，A_{(PLi，PLi+1)}为从PL_i到PL_i+1的转移概率；

求出所有输入标签ER_n的连续正确概率Score(ER_n,PL_n)，利用维特比算法对输入标签ER_n及输出标签PL_n进行概率归一化处理P_(PLn|ERn)，从而完成与训练并挖掘文本数据，其中概率归一化处理P_(PLn|ERn)表达式如下：

式中，

表示预测第i个输入标签ER_i的连续正确概率的指数值，/>

表示为对于第i个输入标签ER_i，得到错误的输出标签概率，/>

表示错误预测输入标签ER_i的连续概率的指数值。

2.根据权利要求1所述的基于NLP信息萃取与词性规则的沉积学文献挖掘方法，其特征在于：所述步骤1包括：

当任务请求网络服务***进行文件下载时，网络平台产生一条访问请求记录，该记录包含本地网络IP地址和期望下载时间，利用RPA的无侵入特性接入通讯***提供对相关沉积学研究内容热点进行交叉访问，将多路IP地址交叉复制到服务器中；

当服务器在任意时段收到一个下载请求时，计算出单个下载任务响应时间T为：

T＝t_departure-t_arrival；

式中，t_departure代表请求到达时间，t_arrival代表请求完成时间，其中单个下载任务响应时间T的指数随机变量为e.r.v，e代表在单个下载任务响应时间T下所期望下载时间的预期值，r代表服务器下载流量占总带宽的比例，v代表下载热点的速度；

当下载请求申请成功，对下载热点进行交叉访问时，对任意一段时间x≤TimeN≤y内进行下载请求，下载请求的响应时间为β_n，因此，下载请求的最小响应时间β_(x,y)的表达式为：

式中，x为最低下载时间，y为最高下载时间，TimeN为在此时间段内的任意下载时间；

在单个下载任务响应时间T下所期望下载时间的预期值E[T_(r,t)]的表达式为：

式中，β(t+1,1/r)代表在t+1的时间到1/r的时间内的最小响应时间，μ表示在不同的下载请求指令和服务器之间的响应速率，E[T_(r,t)]与e均代表在单个下载任务响应时间T下所期望下载时间的预期值；

选择满足预期值E[T_(r,t)]的服务IP地址进行多路下载。

3.根据权利要求1所述的基于NLP信息萃取与词性规则的沉积学文献挖掘方法，其特征在于，关于对文本内容进行识别的具体内容为：

利用机器视觉识别文档，在文档中(x_nn,y_nn)代表字符左上角坐标、(x_nm,y_nm)代表字符右下角坐标；在物理结构中(x_mn,y_mn)代表字符左上角坐标，(x_mm,y_mm)代表字符右下角坐标；计算字符之间的间距面积X_overlap和物理设定的阈值面积Y_overlap的表达式如下：

X_overlap＝max(0,min(x_nm,x_mm)-max(x_nn,x_mn))；

Y_overlap＝max(0,min(y_nm,y_mm)-max(y_nn,y_mn))；

式中，min(x_nm,x_mm)代表选取字符边框的左上角坐标最小值，max(x_nn,x_mn)代表选取字符边框的右下角坐标最大值，min(x_nm,x_mm)-max(x_nn,x_mn)代表字符边框对角线值；min(y_nm,y_mm)代表选取字符物理结构边框的左上角坐标最小值，max(y_nn,y_mn)代表选取字符物理结构边框的右下角坐标最大值，min(y_nm,y_mm)-max(y_nn,y_mn)代表字符边框对角线值；

根据X_overlap和Y_overlap从而得到最大字符结构化区域面积S_overlap，表达式如下：

S_overlap＝X_overlap×Y_overlap；

由于字符结构化面积S_overlap小于物理结构面积，比较重叠面比例Ratio_overlap将文字进行聚类，将单词聚类为句子，句子组成为段落，从而读取文本内容，其中重叠面比例Ratio_overlap将表达式如下：

式中，x_nn代表文档中字符左上角的x轴坐标，x_nm代表文档中字符右下角的x轴坐标，y_nn代表文档中字符左上角的y轴坐标，y_nm代表文档中字符右下角的y轴坐标。

4.根据权利要求1所述的基于NLP信息萃取与词性规则的沉积学文献挖掘方法，其特征在于：所述步骤3包括：

分析文本内容上下文语段，获取文本语句中自定义多类实体关键词的词典列表，并整合成词典列表数据集ER＝{er₁,er₂,...,er_N}，其中，er₁表示第一个种类的实体关键词词典列表，er₂表示第二个种类的实体关键词词典列表，er_N表示第N个种类的实体关键词词典列表；

实体关键词词典列表的种类记录是一个多属性元组，ER中第n个种类的实体关键词词典列表的元组表示为er_n＝(tim_n,geo_n,nat_n,org_n,per_n)，其中1≤n≤N，其中tim_n代表实体关键词存在时间，geo_n代表所发现实体关键词的地理位置，nat_n代表er_n中对应的实体关键词名称，org_n代表发现实体关键词的组织，per_n代表该实体关键词的发现者。

5.根据权利要求4所述的基于NLP信息萃取与词性规则的沉积学文献挖掘方法，其特征在于：所述步骤4包括：

利用大型文本语料库计算文本内容和术语之间的关系概率，设定意义相同的词为同种词性；

使用余弦相似度测量，将给定的实体关键词词典列表在大型文本语料库进行文本挖掘，确定实体关键词的语义接近度与词向量；er_n在词向量中表示为vc_n＝(B-vc_n,I-vc_n)，其中B-vc_n代表多属性元组在词向量空间的开头位置，I-vc_n代表多属性元组在词向量空间中间位置，并利用正则表达式扩充er_n属性元组与英文字符[A-Z]以及数字字符[0-9]的表现形式；

余弦相似度cos(θ)值计算表达式如下：

式中，vc_i表示在总数m为个词向量中的第i个词向量变量，wc_i表示在总数为m个文本句短语词向量中的第i个文本句短语词向量变量；当余弦相似度cos(θ)值为1时，表示能够在vc_i所对应的实体关键词词典列表中找到wc_i所对应的文本语料库所需要的词语，从而实现实体关键词词典列表的挖掘；

实体关键词词典列表经过文本语料库挖掘后，再对文本内容进行抽取相关内容从而生成非结构化多分类文本。

6.根据权利要求5所述的基于NLP信息萃取与词性规则的沉积学文献挖掘方法，其特征在于，所述步骤5包括：

将非结构化多分类文本的文本语句与er_n进行分类匹配，若文本语句无法匹配er_n，则表示为O；

将er_n中所有多分类结构子集匹配对应的文本语句实体集合表示为ER_n＝{B-er_n,O,I-er_n}，从而生成带有标签BIO的训练数据集。

Images