CN111079985B - 一种基于bert并融合可区分属性特征的刑事案件刑期预测方法 - Google Patents
一种基于bert并融合可区分属性特征的刑事案件刑期预测方法 Download PDFInfo
- Publication number
- CN111079985B CN111079985B CN201911171416.9A CN201911171416A CN111079985B CN 111079985 B CN111079985 B CN 111079985B CN 201911171416 A CN201911171416 A CN 201911171416A CN 111079985 B CN111079985 B CN 111079985B
- Authority
- CN
- China
- Prior art keywords
- word
- criminal
- vector
- case description
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000013598 vector Substances 0.000 claims abstract description 90
- 238000002474 experimental method Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 238000004140 cleaning Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 239000000463 material Substances 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims 3
- 238000004364 calculation method Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Marketing (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Technology Law (AREA)
- Primary Health Care (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于BERT并融合可区分属性特征的刑事案件刑期预测方法,包括:Step1、对语料抽取实验所需案例描述和标签,作为实验数据;并对数据进行清洗、预处理、词向量预训练操作;Step2、利用带注意力机制的双层LSTM从预训练的案例描述中获得可区分属性特征;Step3、对仅做清洗的实验数据通过BERT模型获得局部重要信息特征;Step4、将Step2步骤中获得的可区分属性特征与Step3步骤获得的局部重要信息特征进行拼接,然后在BERT模型的下游通过softmax分类器进而得到刑期预测的模型。本发明可以有效地用于刑期预测。
Description
技术领域
本发明涉及一种基于BERT并融合可区分属性特征的刑事案件刑期预测方法,属于自然语言处理和深度学习技术领域。
背景技术
近年来,随着大数据的蓬勃发展,人工智能的研究得到突破性的进展,并且成为各个领域所关注的焦点,其引领各个领域朝着智能化方向发展,如:无人驾驶汽车,图像识别,机器翻译,问答***,文本分类,情感分析等任务的突破创新都离不开人工智能技术,这为人们的生活带来极大方便。当然,司法领域也不例外,随着智慧法院这一名词的诞生及其裁判文书的大量公开,使用自然语言处理技术对其文本进行挖掘分析、预测等逐渐成为关注点。
刑事案件预测作为司法领域不可或缺的一部分,主要包括罪名预测,法条预测,刑期预测等,其旨在根据刑事案件中的案例事实描述来预测出判决结果。而刑期预测作为刑事案件预测中的关键子任务之一,在法律助手***中起着重要作用,并且随着人工智能的火热在现实生活中得到广大人民的喜爱。刑期预测的出现,一方面可以为不了解裁判过程、不懂法律知识的人们提供有效的咨询;另一方面还为法官提供判案参考,不至于因为某些相似案件而干扰他们判断,从而减轻他们的工作量,提高审判的效率。
发明内容
本发明提供了一种基于BERT并融合可区分属性特征的刑事案件刑期预测方法,以用于进行刑期预测。
本发明的技术方案是:一种基于BERT并融合可区分属性特征的刑事案件刑期预测方法,所述方法的具体步骤如下:
Step1、对语料抽取实验所需案例描述和标签,作为实验数据;并对数据进行清洗、预处理、词向量预训练操作;
Step2、利用带注意力机制的双层LSTM从预训练的案例描述中获得可区分属性特征;
Step3、对仅做清洗的实验数据通过BERT模型获得局部重要信息特征;
Step4、将Step2步骤中获得的可区分属性特征与Step3步骤获得的局部重要信息特征进行拼接,然后在BERT模型的下游通过softmax分类器进而得到刑期预测的模型。
所述Step1具体为:
Step1.1、从语料中抽取刑期预测所需的案例描述和标签作为实验数据;其中每一条实验数据由刑期标签及其对应案例描述组成;
Step1.2、对抽取的案例描述数据进行去重和无用数据的数据清洗,从而得到清洗后的实验数据;
Step1.3、把Step1.2步骤中获得的清洗后的实验数据中的案例描述做预处理;
Step1.4、采用Skip-gram模型对预处理后的案例描述进行词向量预训练,得到案例描述中每个词的向量表示;其中,定义每条案例描述所对应词序列是x={x1,x2,…,xn},x为案例描述的词序列,xn表示第n个词;经过预训练后其对应的词向量为e=[e1,e2,…,en]∈Rn×d,e表示每条案例描述的向量表示,en表示案例描述中第n个词的词向量,n表示案例描述中词的个数,d表示每个词向量的维数;R表示实数域。
所述预处理具体为:采用Python第三方库中的工具包jieba完成,包括中文分词、去停用词操作。
所述Step2具体为:
Step2.1、将预训练的案例描述中每个词所对应的词向量作为LSTM的输入;经过双层LSTM后,得到案例描述中所有词的隐藏状态表示h=[h1,h2,…,hn],hn表示第n个词的隐层状态表示;
Step2.2、将Step2.1步骤得到的案例描述中所有词的隐层状态表示h经过最大池化层,进而得到融合重要语义信息的向量表示其中am=max(h1m,h2m,…,him,…,hnm),m∈[1,d],am表示重要语义信息向量的第m个元素值,him表示隐层状态hi中的第m个元素值,i∈[1,n];d表示每个h的向量维数,max表示最大值;
Step2.3、将Step2.1步骤得到的案例描述中所有词的隐层状态表示h作为Attention的输入,来获取对案例描述有重要意义的词表示S=[s1,s2,…,sn];sn表示对案例描述有重要意义的词表示的第n个元素值;
Step2.4、将Step2.3步骤得到的重要意义的词表示S通过平均池化从而得到关键信息表示y=(y1,y2,…,ym,…,yd),ym=mean(s1m,s2m,…,sim,…,snm),m∈[1,d],ym表示关键信息表示的第m个元素值,sim表示重要意义词表示si中的第m个元素值,i∈[1,n],mean表示平均;
Step2.5、将Step2.2步骤得到的重要语义信息向量与Step2.4步骤得到的关键信息向量进行拼接操作,最后得到可区分属性特征的向量表示A。
所述Step3具体为:
Step3.1、将仅做清洗的实验数据作为BERT第一个编码层的输入,通过BERT对实验数据中的每条案例描述的头尾分别加上CLS和SEP标签,并且从0开始给每个刑期标签类进行编号,用编号替代刑期标签的文字表达;将加标签的每条案例描述通过嵌入层进而表示成向量的形式,然后分别与不同权重矩阵相乘得到第i个自注意力机制所对应的Qi、Ki、Vi三个不同的矩阵向量;其中Qi、Ki、Vi分别表示为第i个自注意力机制的查询矩阵、键矩阵、值矩阵,i表示自注意力机制的个数;其中,BERT模型中含有12个编码层,每层有12个自注意力机制;
Step3.2、将通过Step3.1步骤得到的向量Qi、Ki进行计算评分,并通过softmax进行标准化,获得案例描述中具体的某个词对其他词重要度;然后为了提取重要的局部信息,通过Step3.1步骤得到的值矩阵Vi将不相关的信息淹没,从而得到第i个自注意力机制的输出表示;
Step3.3、将Step3.2步骤中通过所有自注意力机制获得的输出表示矩阵进行拼接,然后通过全连接层得到每个编码层的输出,然后将其输出与BERT的输入进行求和,最后进行归一化操作;
Step3.4、将Step3.3步骤的输出经过前馈神经网络层,并进行归一化处理后的输出作为下一编码层的输入;
Step3.5、除去最后一个编码层,其余每个编码层都重复以上Step3.1-Step3.4四个步骤,到最后一编码层时,在Step3.3步骤结束后经过Pooler层提取出每个案例描述的第一个词所对应的向量表示,即标记CLS所对应的向量表示;
Step3.6、将Step3.5步骤得到的向量表示进行全连接后得到融合了局部重要信息特征的向量表示B。
本发明的有益效果是:与现有的刑期预测方法相比,考虑了刑事案例中局部信息的重要性,而BERT可以很好的对重要信息重点关注并充分学习吸收,从而高效获取局部特征,同时,bert中输入的初始数据为经过清洗的数据,该考虑了实验数据质量对后面实验结果的影响,并且bert泛化能力强,可以提高刑期预测的准确率;与现有的刑期预测方法相比,考虑了罪名和法条相同,而刑期不同的案例情况,通过子任务之间的依赖关系并不能有效的预测刑期,进而提出通过可区分属性来辅助刑期预测,并且在获取可区分属性特征时,为了更好的获取案例描述中的语义信息,考虑使用双层LSTM;通过将局部信息特征与可区分属性特征进行融合,可以有效的解决罪名和法条相同,而刑期不同的案例情况,通过子任务之间的依赖关系不能有效的预测刑期的问题,达到预测的效果。
附图说明
图1为本发明中的总体框架图;
图2为本发明中获取关键信息的模型图;
图3为本发明中获取局部有用信息的模型图。
具体实施方式
实施例1:如图1-3所示,一种基于BERT并融合可区分属性特征的刑事案件刑期预测方法,所述方法的具体步骤如下:
Step1、从CAIL2018大赛中获取到语料,对语料抽取实验所需案例描述和标签,作为实验数据;并对数据进行清洗、预处理、词向量预训练操作;
Step2、利用带注意力机制的双层LSTM从预训练的案例描述中获得可区分属性特征;
Step3、对仅做清洗的实验数据通过BERT模型获得局部重要信息特征;
Step4、将Step2步骤中获得的可区分属性特征与Step3步骤获得的局部重要信息特征进行拼接,然后在BERT模型的下游通过softmax分类器进而得到刑期预测的模型。
进一步地,可以设置所述Step1具体为:
Step1.1、从语料中抽取刑期预测所需的案例描述和标签作为实验数据;其中每一条实验数据由刑期标签及其对应案例描述组成;
如一条实验数据:***0-6个月2015年3月一天的凌晨,被告人刘某某在攀枝花市东区炳草岗大梯道爵士网吧内,趁罗某、谭某、范某某睡着之机,将罗某的三星note3型手机、谭某的三星8160型手机、将范某某的黑色三星9082型手机盗走。经攀枝花市东区物价局价格认证中心鉴定,三星8160手机价值人民币400元,三星note3手机价值人民币1,680元、三星9082型手机价值人民币500元。
Step1.2、由于Step1.1抽取的案例描述数据中有重复数据和无用数据,对抽取的案例描述数据进行去重和无用数据的数据清洗,从而得到清洗后的实验数据;(如假设有10条实验数据,如果10条实验数据中存在2条案例描述数据相同的,则去重;如果存在1条无用数据(即案例描述中给出了作案时间、地点、动机的为有用数据,其余为无用数据;或者也可以根据经验对无用数据的判断进行调整),则去除)
Step1.3、把Step1.2步骤中获得的清洗后的实验数据中的案例描述做预处理;
Step1.4、选择Google公司的开源工具包word2vec,采用Skip-gram模型对预处理后的案例描述进行词向量预训练,得到案例描述中每个词的向量表示;其中,定义每条案例描述所对应词序列是x={x1,x2,…,xn},x为案例描述的词序列,xn表示第n个词;经过预训练后其对应的词向量为e=[e1,e2,…,et,…,en]∈Rn×d,e表示每条案例描述的向量表示,en表示案例描述中第n个词的词向量,n表示案例描述中词的个数,d表示每个词向量的维数;R表示实数域。
进一步地,可以设置所述预处理具体为:采用Python第三方库中的工具包jieba完成,包括中文分词、去停用词操作。
进一步地,可以设置所述Step2具体为:
Step2.1、将Step1.4步骤中预训练的案例描述中每个词所对应的词向量作为LSTM的输入;经过双层LSTM后,得到案例描述中所有词的隐藏状态表示h=[h1,h2,…,hn],hn表示第n个词的隐层状态表示;
Step2.2、将Step2.1步骤得到的案例描述中所有词的隐层状态表示h经过最大池化层,进而得到融合重要语义信息的向量表示其中am=max(h1m,h2m,…,him,…,hnm),m∈[1,d],am表示重要语义信息向量的第m个元素值,him表示隐层状态hi中的第m个元素值,i∈[1,n];d表示每个h的向量维数,max表示最大值;
Step2.3、将Step2.1步骤得到的案例描述中所有词的隐层状态表示h作为Attention的输入,来获取对案例描述有重要意义的词表示S=[s1,s2,…,sn];sn表示对案例描述有重要意义的词表示的第n个元素值;
Step2.4、将Step2.3步骤得到的重要意义的词表示S通过平均池化从而得到关键信息表示y=(y1,y2,…,ym,…,yd),ym=mean(s1m,s2m,…,sim,…,snm),m∈[1,d],ym表示关键信息表示的第m个元素值,sim表示重要意义词表示si中的第m个元素值,i∈[1,n],mean表示平均;
Step2.5、将Step2.2步骤得到的重要语义信息向量与Step2.4步骤得到的关键信息向量进行拼接操作,最后得到可区分属性特征的向量表示A。
进一步地,可以设置所述Step3具体为:
Step3.1、将Step1.2步骤处理完的仅做清洗的实验数据作为BERT第一个编码层的输入,通过BERT对实验数据中的每条案例描述的头尾分别加上CLS和SEP标签,并且从0开始给每个刑期标签类进行编号,用编号替代刑期标签的文字表达;将加标签的每条案例描述通过嵌入层进而表示成向量的形式,然后分别与不同权重矩阵相乘得到第i个自注意力机制所对应的Qi、Ki、Vi三个不同的矩阵向量;其中Qi、Ki、Vi分别表示为第i个自注意力机制的查询矩阵、键矩阵、值矩阵,i表示自注意力机制的个数;其中,BERT模型中含有12个编码层,每层有12个自注意力机制;
Step3.2、将通过Step3.1步骤得到的向量Qi、Ki进行计算评分,并通过softmax进行标准化,获得案例描述中具体的某个词对其他词重要度;然后为了提取重要的局部信息,通过Step3.1步骤得到的值矩阵Vi将不相关的信息淹没,从而得到第i个自注意力机制的输出表示;
Step3.3、将Step3.2步骤中通过所有自注意力机制获得的输出表示矩阵进行拼接,然后通过全连接层得到每个编码层的输出,然后将其输出与BERT的输入进行求和,最后进行归一化操作;
Step3.4、将Step3.3步骤的输出经过前馈神经网络层,并进行归一化处理后的输出作为下一编码层的输入;
Step3.5、除去最后一个编码层,其余每个编码层都重复以上Step3.1-Step3.4四个步骤,到最后一编码层时,在Step3.3步骤结束后经过Pooler层提取出每个案例描述的第一个词所对应的向量表示,即标记CLS所对应的向量表示;
Step3.6、将Step3.5步骤得到的向量表示进行全连接后得到融合了局部重要信息特征的向量表示B。
所述步骤Step2.1的具体步骤为:
Step2.1.1、将案例描述中每个词所对应的词向量et作为LSTM的输入,通过其遗忘门操作,将细胞状态中不重要的信息遗忘掉,计算公式为:
ft=σ(wf[ht-1,et]+bf) (1)
Step2.1.2、通过输入门决定新信息是否要输入到细胞状态中,该步骤由输入门控和tanh层构成,计算公式为:
it=σ(wi[ht-1,et]+bi) (2)
Step2.1.3、根据Step2.1.1步骤和Step2.1.2步骤得到的输出来更新旧细胞状态,从而将有用的新信息添加到细胞状态中,计算公式为:
Step2.1.4、通过输出门确定输出的信息,并且根据Step2.1.3步骤的结果得到第一层LSTM最终的隐层状态h,计算公式为:
ot=σ(wo[ht-1,et]+bo) (5)
ht=ot*tanh(Ct) (6)
Step2.1.5、最终得到的隐层状态h作为第二层LSTM的输入,同理经过以上四个步骤最终得到案例描述中所有词的隐藏状态表示h=[h1,h2,…,hn](n代表每个案例描述词的个数);
以上步骤中,ft表示LSTM在第t个词时刻的遗忘状态,它通过激活函数σ以一定的概率来确定上一层隐藏细胞状态的信息是否要删除,ht-1为第t-1个词的隐藏状态,et代表第t个词的词向量;it为输入第t个词时刻的状态表示,其与候选细胞状态相乘决定信息更新;Ct表示先前细胞状态Ct-1更新后的新状态;ot为输出第t个词时刻状态表示,它先是经过激活函数确定要输出的细胞状态,然后细胞状态通过tanh和激活函数得到第t个词的隐层状态ht;W(w=wf,wi,wc,wo)和b(b=bf,bi,bc,bo)是模型里可学习的参数,分别表示各个状态对应的权重向量和偏置向量。
所述步骤Step2.3的具体步骤为:
Step2.3.1、根据Step2.1步骤中得到的案例描述中所有词的隐层状态表示h,计算每个词的注意力权重系数aii,计算公式为:
eii=tanh(wahj+ba)Tui (7)
其中,eij表示对案例描述第j个词隐藏状态和第i个词上下文向量进行线性变换,hj是编码器案例描述中第j个词隐藏状态表示,ui为第i个词上下文向量表示,wa是所有词共享的权重矩阵,ba是偏置矩阵。
Step2.3.2、根据Step2.3.1与各词的隐状态进行加权求和,从而得到融合重要意义词的表示,计算公式为:
其中,Si表示第i个重要意义词的向量表示,aij表示当前词i对第j个词的注意力权重系数,hj表示第j个词的隐藏状态表示;
所述步骤Step3.1的具体步骤为:
Step3.1.1、根据Step3.1的案例描述的输入,通过计算分别得到Qi,Ki,Vi向量,其计算公式为:
Qi=Wi q·e;Ki=Wi k·e(i∈[0,11]);Vi=Wi v·e (10)
其中,Qi,Ki,Vi分别表示为第i个注意力机制头的查询矩阵,键矩阵和值矩阵,Wi q,Wi k,Wi v分别为第i个头对应的自注意力机制通过学习得到的三个不同的权重矩阵,e为案例描述中的词向量矩阵。
所述步骤Step3.2的具体步骤为:
Step3.2.1、首先根据Step3.1得到的Qi,Ki进行计算评分,并进行归一化处理,从而得到具体的某个词对输入文本中的其他词的重要性,计算公式为:
Step3.2.2、为了提取重要的局部信息,通过Step3.1步骤得到的向量vi将不相关的信息淹没,从而得到自注意力机制得输出,计算公式为:
Zi=sore·Vi (12)
其中,Vi由步骤3.1.1所得,Zi表示通过第i个注意力机制头得到的案例描述重要信息。
所述步骤Step3.3的具体步骤为:
Step3.3.1、将多头自注意力机制经过Step3.2.2分别得到的输出Zi(i∈[0,11])拼接通过全连接层得到Z;
在这里,表示归一化后的案例描述局部信息表示,⊙表示点乘,表示矩阵中第i行的第j个元素,μi为矩阵第i行的均值,即d为每行元素的个数,为矩阵第i行的方差,即ε为了防止除零,α,β为参数,初始化分别为全为1和全为0,为了弥补归一化中损失掉的信息。
所述步骤Step4的具体步骤为:
将步骤Step2与Step3的结果进行拼接最终得到融合局部信息和可区分特征的案例描述向量通过softmax分类器进行训练,从而达到刑期预测目的,其公式为:
E=connect(A,B) (15)
pre=softmax(E) (16)
为了验证本发明对刑事案件刑期预测的效果,将采用统一的评价标准:准确率(Acc)、宏精确率(MP)、宏召回率(MR)以及F1值作为本实验的评价指标:
本发明为了验证该发明的有效性、可行性设计以下四组实验进行验证:
实验一:本发明为了给后面实验提供更有效的预训练向量,在CAIL2018所有数据集上分别选择窗口大小为3,5,7,向量维度大小分别取100维,200维,300维进行多组实验对比,表1所示为不同窗口及其不同维度对本发明实验的影响。
表1窗口大小及其维度对双层LSTM+Attention模型性能影响
由于本发明使用word2vec训练的词向量是为获取可区分属性特征提供的,使用的模型是双层LSTM+Attention模型,因此本实验通过该模型中来测试不同窗口大小及其向量维度得到的词向量对该模型的影响,从而选择最适合该模型的词向量。从上表整体来看不同窗口及其维度大小对模型影响差别不大,其主要还是受语料质量的影响大,但是窗口和维度过高过低时效果都不理想,当窗口大小为5,向量维度200维组合时模型获取可区分属性效果有所提升,达到58.8%,因此本发明在训练词向量时窗口大小选择为5,向量维度选择200维。分析原因主要是窗口或维度过低时捕获到的信息不够全面,而过高时又往往会捕获到干扰的信息,所以导致其过高过低都不太理想。
实验二:为了验证可区分属性特征对本发明刑期预测的影响,本发明使用CAIL2018数据集作为测试集,通过是否融合该特征做了对比实验,实验结果如表2所示:
表2特征组合实验结果
在刑事案件案例描述测试集上通过不同特征进行实验时,由表2中实验结果表明:只考虑局部信息进行刑期预测的效果相比并不理想,主要原因是案例描述数据中存在相似案例但刑期判决不同的案例,比如盗窃案,案例中的作案地点性质,金额等影响刑期判决,然而只通过一些潜在表面的局部语义信息是不能起到很好的预测效果的,这便需要一些可区分的属性特征来区别类似案例,从而提高预测的效果,因此,当只用可区分属性信息特征进行刑期预测实验时比局部信息预测时有些许提升,尽管提升不太大,足以证明可区分属性对于相似案例是起一定作用的。最后本发明综合考虑将两特征融合实验,预测结果在F1上比单特征提升大约0.6%-2.1%,固说明本发明使用的方法综合性能较好。
实验三:针对子任务之间罪名和法条一致,刑期不同的案例问题,为了验证本发明方法中的特征比刑期与罪名、法条等子任务之间的依赖关系有利于提高预测的准确性,使用CAIL2018数据集作为测试集,实验结果如表3所示:
表3本发明方法与子任务依赖方法对比实验结果
由表3可以看出,在刑事案件案例描述的测试集上,本发明方法相比TopJudge[1]和FLA[2]通过子任务之间的依赖关系,即利用罪名和法条来辅助刑期预测的方法有所提升。分析原因主要是针对罪名和法条一致而刑期不同的案例情况时,通过子任务之间的依赖关系并不能对刑期预测起到辅助作用,而本发明方法考虑到此类案例的情况,并且考虑案例描述中局部案件要素信息的重要性,因此相比效果有所提升。
实验四:为了验证本发明方法的有效性,在CAIL2018测试集上,将本发明方法与CAIL2018现有几种刑期预测方法中进行实验比较,实验结果如表4所示:
表4本发明方法与现有方法对比实验
在刑事案件案例描述测试集中,通过将以上基线方法进行复现,且参数设置与本发明方法一致。通过实验表明,本发明提出的方法与传统机器学习方法进行刑期预测方法相比F1值有明显提升,且本发明具有较好的泛化能力。与CNN和HARNN方法相比,本发明方法在F1值上有所提升,分析主要原因是CNN方法通过多卷积层对案例描述进行编码和分类时时从全局获取了案例描述的上下文语义特征,HARNN方法在获取案例描述重要句子信息时同样通过全局出发获取的,并没有很好的考虑局部案件要素信息及其罪名法条一致而刑期不同的案例情况;本发明通过创造性的劳动,提出局部顺序信息很重要,而发现GCN针对的是全局词共生,对局部信息不敏感,因此本申请采用了BERT,通过该模型可以很好的获取局部案件要素信息,并且其不需进行预处理,分词等操作,简洁方便,进而证明了本发明方法的有效性能。
上面结合附图对本发明的具体实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。
Claims (4)
1.一种基于BERT并融合可区分属性特征的刑事案件刑期预测方法,其特征在于:所述方法的具体步骤如下:
Step1、对语料抽取实验所需案例描述和标签,作为实验数据;并对数据进行清洗、预处理、词向量预训练操作;
Step2、利用带注意力机制的双层LSTM从预训练的案例描述中获得可区分属性特征;
Step3、对仅做清洗的实验数据通过BERT模型获得局部重要信息特征;
Step4、将Step2步骤中获得的可区分属性特征与Step3步骤获得的局部重要信息特征进行拼接,然后在BERT模型的下游通过softmax分类器进而得到刑期预测的模型;
所述Step2具体为:
Step2.1、将预训练的案例描述中每个词所对应的词向量作为LSTM的输入;经过双层LSTM后,得到案例描述中所有词的隐层状态表示h=[h1,h2,…,hn],hn表示第n个词的隐层状态表示;
Step2.2、将Step2.1步骤得到的案例描述中所有词的隐层状态表示h经过最大池化层,进而得到融合重要语义信息的向量表示其中am=max(h1m,h2m,…,him,…,hnm),m∈[1,d],am表示重要语义信息向量的第m个元素值,him表示隐层状态表示hi中的第m个元素值,i∈[1,n];d表示每个h的向量维数,max表示最大值;
Step2.3、将Step2.1步骤得到的案例描述中所有词的隐层状态表示h作为Attention的输入,来获取对案例描述有重要意义的词表示S=[s1,s2,…,sn];sn表示对案例描述有重要意义的词表示的第n个元素值;
Step2.4、将Step2.3步骤得到的重要意义的词表示S通过平均池化从而得到关键信息表示y=(y1,y2,…,ym,…,yd),ym=mean(s1m,s2m,…,sim,…,snm),m∈[1,d],ym表示关键信息表示的第m个元素值,sim表示重要意义词表示si中的第m个元素值,i∈[1,n],mean表示平均;
Step2.5、将Step2.2步骤得到的重要语义信息向量与Step2.4步骤得到的关键信息向量进行拼接操作,最后得到可区分属性特征的向量表示A。
2.根据权利要求1所述的基于BERT并融合可区分属性特征的刑事案件刑期预测方法,其特征在于:所述Step1具体为:
Step1.1、从语料中抽取刑期预测所需的案例描述和标签作为实验数据;其中每一条实验数据由刑期标签及其对应案例描述组成;
Step1.2、对抽取的案例描述数据进行去重和无用数据的数据清洗,从而得到清洗后的实验数据;
Step1.3、把Step1.2步骤中获得的清洗后的实验数据中的案例描述做预处理;
Step1.4、采用Skip-gram模型对预处理后的案例描述进行词向量预训练,得到案例描述中每个词的向量表示;其中,定义每条案例描述所对应词序列是x={x1,x2,…,xn},x为案例描述的词序列,xn表示第n个词;经过预训练后其对应的词向量为e=[e1,e2,…,en]∈Rn ×v,e表示每条案例描述的向量表示,en表示案例描述中第n个词的词向量,n表示案例描述中词的个数,v表示每个词向量的维数;R表示实数域。
3.根据权利要求2所述的基于BERT并融合可区分属性特征的刑事案件刑期预测方法,其特征在于:所述预处理具体为:采用Python第三方库中的工具包jieba完成,包括中文分词、去停用词操作。
4.根据权利要求1所述的基于BERT并融合可区分属性特征的刑事案件刑期预测方法,其特征在于:所述Step3具体为:
Step3.1、将仅做清洗的实验数据作为BERT第一个编码层的输入,通过BERT对实验数据中的每条案例描述的头尾分别加上CLS和SEP标签,并且从0开始给每个刑期标签类进行编号,用编号替代刑期标签的文字表达;将加标签的每条案例描述通过嵌入层进而表示成向量的形式,然后分别与不同权重矩阵相乘得到第i个自注意力机制所对应的Qi、Ki、Vi三个不同的矩阵向量;其中Qi、Ki、Vi分别表示为第i个自注意力机制的查询矩阵、键矩阵、值矩阵,i表示自注意力机制的个数;其中,BERT模型中含有12个编码层,每层有12个自注意力机制;
Step3.2、将通过Step3.1步骤得到的向量Qi、Ki进行计算评分,并通过softmax进行标准化,获得案例描述中具体的某个词对其他词重要度;然后为了提取重要的局部信息,通过Step3.1步骤得到的值矩阵Vi将不相关的信息淹没,从而得到第i个自注意力机制的输出表示;
Step3.3、将Step3.2步骤中通过所有自注意力机制获得的输出表示矩阵进行拼接,然后通过全连接层得到每个编码层的输出,然后将其输出与BERT的输入进行求和,最后进行归一化操作;
Step3.4、将Step3.3步骤的输出经过前馈神经网络层,并将进行归一化处理后的输出作为下一编码层的输入;
Step3.5、除去最后一个编码层,其余每个编码层都重复以上Step3.1-Step3.4四个步骤,到最后一编码层时,在Step3.3步骤结束后经过Pooler层提取出每个案例描述的第一个词所对应的向量表示,即标记CLS所对应的向量表示;
Step3.6、将Step3.5步骤得到的向量表示进行全连接后得到融合了局部重要信息特征的向量表示B。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911171416.9A CN111079985B (zh) | 2019-11-26 | 2019-11-26 | 一种基于bert并融合可区分属性特征的刑事案件刑期预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911171416.9A CN111079985B (zh) | 2019-11-26 | 2019-11-26 | 一种基于bert并融合可区分属性特征的刑事案件刑期预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111079985A CN111079985A (zh) | 2020-04-28 |
CN111079985B true CN111079985B (zh) | 2021-07-06 |
Family
ID=70311678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911171416.9A Active CN111079985B (zh) | 2019-11-26 | 2019-11-26 | 一种基于bert并融合可区分属性特征的刑事案件刑期预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111079985B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111582576B (zh) * | 2020-05-06 | 2022-08-16 | 西安交通大学 | 一种基于多尺度特征融合和门控单元的预测***及方法 |
CN111768024B (zh) * | 2020-05-20 | 2023-03-24 | 中国地质大学(武汉) | 一种基于注意力机制的刑期预测方法、设备及存储设备 |
CN111861806B (zh) * | 2020-06-18 | 2022-04-01 | 中国司法大数据研究院有限公司 | 一种复杂案件下多被告涉案金额提取方法及装置 |
CN111881654B (zh) * | 2020-08-01 | 2023-07-18 | 牡丹江师范学院 | 一种基于多目标优化的刑罚测试数据扩增方法 |
CN111680986B (zh) * | 2020-08-12 | 2020-12-08 | 北京擎盾信息科技有限公司 | 一种串案识别方法及装置 |
CN112052673A (zh) * | 2020-08-28 | 2020-12-08 | 丰图科技(深圳)有限公司 | 物流网点识别方法、装置、计算机设备和存储介质 |
CN111930915B (zh) * | 2020-09-14 | 2021-01-01 | 腾讯科技(深圳)有限公司 | 会话信息处理方法、装置、计算机可读存储介质及设备 |
CN112232576B (zh) * | 2020-10-22 | 2024-06-28 | 北京明略昭辉科技有限公司 | 判决预测方法、装置、电子设备及可读存储介质 |
CN112329439B (zh) * | 2020-11-18 | 2021-11-19 | 北京工商大学 | 基于图卷积神经网络模型的食品安全事件检测方法及*** |
CN112347761B (zh) * | 2020-11-27 | 2024-06-04 | 北京工业大学 | 基于bert的药物关系抽取方法 |
CN113297511B (zh) * | 2021-05-24 | 2022-09-16 | 北京三快在线科技有限公司 | 商户排序模型的构建方法、装置、服务器及存储介质 |
CN114689030A (zh) * | 2022-06-01 | 2022-07-01 | 中国兵器装备集团自动化研究所有限公司 | 一种基于机载视觉的无人机辅助定位方法及*** |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108717439A (zh) * | 2018-05-16 | 2018-10-30 | 哈尔滨理工大学 | 一种基于注意力机制和特征强化融合的中文文本分类方法 |
CN110334210A (zh) * | 2019-05-30 | 2019-10-15 | 哈尔滨理工大学 | 一种基于bert与lstm、cnn融合的中文情感分析方法 |
CN110287320B (zh) * | 2019-06-25 | 2021-03-16 | 北京工业大学 | 一种结合注意力机制的深度学习多分类情感分析模型 |
-
2019
- 2019-11-26 CN CN201911171416.9A patent/CN111079985B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111079985A (zh) | 2020-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111079985B (zh) | 一种基于bert并融合可区分属性特征的刑事案件刑期预测方法 | |
CN112163426B (zh) | 一种基于注意力机制与图长短时记忆神经网络结合的关系抽取方法 | |
CN106469560B (zh) | 一种基于无监督域适应的语音情感识别方法 | |
Vargas et al. | Deep learning for stock market prediction from financial news articles | |
CN112966074B (zh) | 一种情感分析方法、装置、电子设备以及存储介质 | |
CN111159407B (zh) | 训练实体识别和关系分类模型的方法、装置、设备及介质 | |
Wen et al. | Learning text representation using recurrent convolutional neural network with highway layers | |
CN112015863B (zh) | 一种基于图神经网络的多元特征融合中文文本分类方法 | |
CN108363695B (zh) | 一种基于双向依赖语法树表征的用户评论属性抽取方法 | |
Tang et al. | Multi-label patent categorization with non-local attention-based graph convolutional network | |
CN111222332A (zh) | 一种结合注意力网络和用户情感的商品推荐方法 | |
Zhao et al. | The study on the text classification for financial news based on partial information | |
CN113255321B (zh) | 基于文章实体词依赖关系的金融领域篇章级事件抽取方法 | |
CN111460157B (zh) | 用于多领域文本分类的循环卷积多任务学习方法 | |
CN112749562A (zh) | 命名实体识别方法、装置、存储介质及电子设备 | |
CN113742733B (zh) | 阅读理解漏洞事件触发词抽取和漏洞类型识别方法及装置 | |
CN112069320B (zh) | 一种基于跨度的细粒度情感分析方法 | |
CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
CN114417851A (zh) | 一种基于关键词加权信息的情感分析方法 | |
CN112069825A (zh) | 面向警情笔录数据的实体关系联合抽取方法 | |
CN114117029B (zh) | 一种基于多层次信息增强的解决方案推荐方法及*** | |
CN115221387A (zh) | 一种基于深度神经网络的企业信息整合方法 | |
CN111651597A (zh) | 一种基于Doc2Vec和卷积神经网络的多源异构商品信息分类方法 | |
CN112989830B (zh) | 一种基于多元特征和机器学习的命名实体识别方法 | |
CN114491041A (zh) | 基于网络表示学习和层次标签嵌入的专利分类方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |