CN111259673A - 一种基于反馈序列多任务学习的法律判决预测方法及*** - Google Patents

一种基于反馈序列多任务学习的法律判决预测方法及*** Download PDF

Info

Publication number
CN111259673A
CN111259673A CN202010031722.9A CN202010031722A CN111259673A CN 111259673 A CN111259673 A CN 111259673A CN 202010031722 A CN202010031722 A CN 202010031722A CN 111259673 A CN111259673 A CN 111259673A
Authority
CN
China
Prior art keywords
vector
criminal
case
task
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010031722.9A
Other languages
English (en)
Other versions
CN111259673B (zh
Inventor
张春云
崔超然
尹义龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Finance and Economics
Original Assignee
Shandong University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Finance and Economics filed Critical Shandong University of Finance and Economics
Priority to CN202010031722.9A priority Critical patent/CN111259673B/zh
Publication of CN111259673A publication Critical patent/CN111259673A/zh
Application granted granted Critical
Publication of CN111259673B publication Critical patent/CN111259673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Technology Law (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于反馈序列多任务学习的法律判决预测方法及***，包括：利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征表示学习；通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。本发明是基于表示学习单任务和基于反馈的序列多任务学习方法的结合，有效利用了二者在法律判决预测中的优点，并有针对性的克服了基于表示学习单任务方法没有利用其他任务互补的信息的缺陷，同时比传统的基于多任务学习的方法更能提高判决预测结果的准确度和鲁棒性。

Description

一种基于反馈序列多任务学习的法律判决预测方法及***
技术领域
本发明属于面向司法判断预测技术领域，尤其涉及一种基于反馈序列 多任务学习的法律判决预测方法及***。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构 成在先技术。
法律判决预测旨在基于案情事实描述预测法律案件的判决结果。它是 法律助理***的核心技术，深入研究该技术具有重要的应用价值和实际意 义。一方面，法律判决预测可以为一些不熟悉法律术语和复杂判决程序的 群众提供低成本、高质量的法律咨询服务。另一方面，它可以为专业人员 (如，律师、法官)提供便利的参考资料，从而提高他们的工作效率。目 前，法律判决预测主要涉及三个子任务：相关法条预测，罪行预测和刑期 预测。针对以上三个任务的预测，目前都是将其作为分类任务，实现对相 关法条、罪行和刑期的分类。目前比较有代表性的有基于表示学习的单任 务的法律判决预测方法和基于多个相关子任务的多任务法律判决预测方 法。
基于表示学习的法律判决预测方法主要是通过对大量标注样本进行训 练，采用深度神经网络对案情的语义进行编码，从而实现从符号空间到向 量空间的映射，基于案情描述的语义向量表示最终实现对相关法条、罪行 和刑期的预测。然而，基于表示学习单任务法律判决预测方法的缺点是该 方法只针对单一任务，只基于案情描述特征实现单一任务的分类，没有考 虑其他任务对该任务的影响。
基于多任务的法律判决预测方法主要是考虑法律判决各子任务之间的 关联，通过一个在浅层的共享表示来互相分享、互相补充学习到的领域相 关的信息，在模型的最后一层，各个任务基于各自的任务特点，训练不同 的分类模型，最终实现多个任务的并行分类。更具体的，法律判决预测的 各个子任务之间是有依赖关系(即序列关系)和验证关系(反馈验证)的。 一般来说法律人士是根据案情描述确定其涉及的相关法条，然后基于其涉及的相关法条决定所犯罪行，并基于涉及法条和确定的罪行决定相应的刑 期；反过来，通过反馈作用，预测的相应罪行能够验证涉及的相关法条， 预测的相应刑期也能够验证涉及的法条和罪行。然而，目前采用的基于多 任务的法律判决预测方法，大都是简单针对几个相关的任务采用多任务学 习的分类框架进行分类，很少考虑各个任务之间的序列关系以及任务之间 的反馈验证关系。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于反馈序列多任务 学习的法律判决预测方法，弥补了基于表示学习单任务方法需要仅考虑单 一任务特征表示难以利用其他相关任务共享信息的缺点，同时又在基于多 任务的框架下添加了任务之间的序列关系信息和反馈验证信息。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于反馈序列多任务学习的法律判决预测方法，包括：
利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征 表示学习；
通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作 为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系， 实现基于反馈序列多任务学习的法律判决预测。
进一步的技术方案，从数据中心服务器获得案情描述及其相关法条、 罪行和刑期的训练数据集，训练数据集存储至数据库中；
对案情描述进行文本特征表示学习获得其向量表示；
所有法条、罪行和刑期进行文本特征表示学习获得其特征向量表示。
进一步的技术方案，构建基于案情描述的法条预测、罪行预测和刑期 预测的多任务预训练模型并获取三个子任务相应的预分类向量；
将法条预测任务的预分类向量所指向的法条向量与案情描述表示向量 进行特征融合得到案情-法条表示向量；
将罪行预测任务的预分类向量所指向的罪行相应的罪行向量与案情表 示向量进行特征融合得到案情-罪行表示向量；
将刑期预测任务的预分类向量所指向的刑期相应的刑期向量与案情表 示向量进行特征融合得到案情-刑期表示向量；
将案情-法条向量、案情-罪行向量、案情-刑期向量作为输入，输入到 双向长短时记忆神经网络中获得三个向量的高层语义表示；
基于案情-法条向量、案情-罪行向量、案情-刑期向量的高层特征表示 构建法条、罪行和刑期的分类器；
将高层特征表示输入到三个分类器中实现对法条、罪行和刑期的预测。
进一步的技术方案，构建基于案情描述的法条预测、罪行预测和刑期 预测的多任务预训练模型并获取三个子任务相应的预分类向量：
将获得的案情描述向量输入到一个多任务分类器中，通过训练该多任 务分类模型实现对法条、罪行和刑期的预分类，获得法条分类向量，罪行 预测向量和刑期预测向量。
进一步的技术方案，通过BERT模型，基于案件事实表述训练数据集 进行预训练，获得法律预测任务的语言模型，从而获得D个案件事实描述 的向量表示。
进一步的技术方案，基于BERT模型，针对法条内容、罪行描述和刑 期描述采用查字典的方式获取法条向量、罪行描述向量和刑期描述向量。
进一步的技术方案，通过对训练数据集中的案例事实描述及其对应的 法条、罪行和刑期标签，采用参数硬共享的多任务学习方法获得每个按键 事实描述的法条分类向量，罪行预测向量和刑期预测向量。
进一步的技术方案，采用LSTM区块中的门来编码多任务学习中任务 之间的序列关系和后续任务对当前任务之间的验证关系：
Step1：选择批量案例事实描述D中的每一个di，获取其基于多任务预 训练分类模型的预分类结果中的针对法条的预测结果向量lri，并取出该向 量中取值最大的元素所对应的法条向量lj，将该向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-法条向量表示dli；
Step2：针对每一个di，获取其基于多任务预分类模型的预分类结果中 的针对罪行的预测结果向量cri，并取出该向量中的元素所对应的罪行向量， 将这些向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得 案情-罪行向量表示dci；
Step3：针对每一个di，获取其基于多任务预分类模型的预分类结果中 的针对刑期的预测结果向量pri，并取出该向量中取值最大的元素所对应的 刑期向量pi，将该向量和案情事实描述向量di进行拼接，输入到一个全连接 层，获得案情-刑期向量表示dpi；
Step4:随机初始化正向LSTM模块的初始状态c0和h0状态，将案情-法 条向量dl：作为输入向量，分别计算该模块的细胞状态
Figure BDA0002364560130000041
和正向输出状态
Figure BDA0002364560130000042
Step5:以细胞状态
Figure BDA0002364560130000043
和其正向输出状态
Figure BDA0002364560130000044
为当前正向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-罪行向量dci作为输入向量，分别计 算该模块的细胞状态
Figure BDA0002364560130000045
和正向输出状态
Figure BDA0002364560130000046
Step6：以细胞状态
Figure BDA0002364560130000047
和其正向输出状态
Figure BDA0002364560130000048
为当前正向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-刑期向量dpi作为输入向量，分别计 算该模块的细胞状态
Figure BDA0002364560130000049
和正向输出状态
Figure BDA00023645601300000410
Step7：以细胞状态
Figure BDA00023645601300000411
和其正向输出状态
Figure BDA00023645601300000412
为当前反向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-刑期向量dpi作为输入向量，分别计 算该模块的细胞状态
Figure BDA00023645601300000413
和反向输出状态
Figure BDA00023645601300000414
Step8：以细胞状态
Figure BDA0002364560130000051
和其反向输出状态
Figure BDA0002364560130000052
为当前反向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-罪行向量dpi作为输入向量，分别计 算该模块的细胞状态
Figure BDA0002364560130000053
和反向输出状态
Figure BDA0002364560130000054
Step 9：以细胞状态
Figure BDA0002364560130000055
和其反向输出状态
Figure BDA0002364560130000056
为当前反向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-罪行向量dli作为输入向量，分别计 算该模块的细胞状态
Figure BDA0002364560130000057
和反向输出状态
Figure BDA0002364560130000058
Step10：分别将的正向和反向的输出状态进行拼接得到
Figure BDA0002364560130000059
Figure BDA00023645601300000510
作为基于案情描述di对应于法条分类器、罪行分类器 和刑期分类器的输入，计算该批量输入相应的交叉熵损失函数，更新参数；
Step 11：若迭代次数不到限定次数，则跳转至Step 1。
本发明还公开了一种基于反馈序列多任务学习的法律判决预测***， 包括：
文本特征表示学习模块，利用基于表示学习的单任务法律预测方法实 现对案情描述的文本特征表示学习；
法律判决预测模块，通过将各个子任务的先行任务的信息和后续任务 的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系 以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。
以上一个或多个技术方案存在以下有益效果：
本发明将考虑单一子任务的法律判决预测拓展到考虑任务之间序列关 系及反向验证关系的多任务学习方法实现法律判决预测子任务的预测，一 方面，采用多任务学习方法，通过利用各个子任务之间的共享信息实现信 息的互补；另一方面，通过将各个子任务的先行任务的信息和后续任务的 反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以 及反向验证关系，更好的提升了法律判决预测的预测精度。
本发明是基于表示学习单任务和基于反馈的序列多任务学习方法的结 合，有效利用了二者在法律判决预测中的优点，并有针对性的克服了基于 表示学习单任务方法没有利用其他任务互补的信息的缺陷，同时比传统的 基于多任务学习的方法更能提高判决预测结果的准确度和鲁棒性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解， 本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不 当限定。
图1为本发明实施例基于反馈序列多任务学习的法律判决预测方法流 程图；
图2为本发明实施例多任务预训练分类模型示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的 说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属 技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非 意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文 另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的 是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、 步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组 合。
本发明提出的总体思路：
利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征 表示学习，通过将各个子任务的先行任务的信息和后续任务的反馈信息的 信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证 关系，最终实现基于反馈序列多任务学习的法律判决预测。
技术上的步骤是：基于双向LSTM实现序列关系和反向验证，其中前 向LSTM以先行任务和当前任务作为输入实现任务之间的序列建模，反向 LSTM以后续任务和当前任务作为输入实现任务的反向验证。该部分的实 现，对应第八步。
实施例一
参见附图1所示，本实施例公开了一种基于反馈序列多任务学习的法 律判决预测方法，具体的步骤为：
第一步：获得案情描述及其相关法条、罪行和刑期的训练数据集。
第二步：对案情描述进行文本特征表示学习获得其向量表示。
第三步：所有法条、罪行和刑期进行文本特征表示学习获得其特征向 量表示。
第四步：构建基于案情描述的法条预测、罪行预测和刑期预测的多任 务预训练模型并获取三个子任务相应的预分类向量。
第五步：将法条预测任务的预分类向量所指向的法条向量与案情描述 表示向量进行特征融合得到案情-法条表示向量。
第六步：将罪行预测任务的预分类向量所指向的罪行相应的罪行向量 与案情表示向量进行特征融合得到案情-罪行表示向量。
第七步：将刑期预测任务的预分类向量所指向的刑期相应的刑期向量 与案情表示向量进行特征融合得到案情-刑期表示向量。
第八步：将案情-法条向量、案情-罪行向量、案情-刑期向量作为输入， 输入到双向长短时记忆神经网络(Bidirectional Long Short Term Memory， Bi-LSTM)中获得三个向量的高层语义表示。
第九步：基于案情-法条向量、案情-罪行向量、案情-刑期向量的高层 特征表示构建法条、罪行和刑期的分类器。
第十步：输出法条、罪行和刑期的预测结果。
的第二步中，采用基于表示学习的方法得到对案情描述文本的向量表 示di，{i＝1，2，3…D}。
第三步中，采用表示学习方法获得每个法条，罪行和刑期的向量表示 分别为li，{i＝1，2，3…L}，ci，{i＝1，2，3…C}，pi，{i＝1，2，3…P}。
第四步中，将第二步中获得的案情描述向量di，{i＝1，2，3…T}输入到 一个多任务分类器中，通过训练该多任务分类模型实现对法条、罪行和刑 期的预分类，获得法条分类向量lri，{i＝1，2，3…D}，罪行预测向量 cri，{i＝1，2，3…C}和刑期预测向量pri，{i＝1，2，3…D}。
第五步中，将第二步获得的案情描述向量di，{i＝1，2，3…D}和第四步 获得的相应的法条预测向量lri，{i＝1，2，3…D}所指向的法条向量li进行特 征融合得到案情-法条表示向量dli，{i＝1，2，3…D}。
第六步中，基于第二步得到的案情描述向量di，{i＝1，2，3…D}和第四 步得到的相应的罪行预测向量cri，{i＝1，2，3…D}所指向的罪行ci进行特征 融合得到案情-罪行表示向量dci，{i＝1，2，3…D}。
第七步中，将第二步获得的案情描述向量di，{i＝1，2，3…D}和第四步 获得的相应的刑期预测向量pri，{i＝1，2，3…D}所指向的刑期向量pi进行特 征融合得到案情-刑期表示向量dpi，{i＝1，2，3…D}。
第八步中，将第五、六、七步获得的案情-法条表示向量、案情- 罪行向量和案情刑期向量按照顺序输入到Bi-LSTM网络中进行训练， 获得三个向量对应的高层特征表示
Figure RE-GDA0002419143350000101
Figure RE-GDA0002419143350000102
和
Figure RE-GDA0002419143350000103
第九步中，将第八步的高层特征表示输入到三个分类器中实现对法条、 罪行和刑期的预测。
在该实施例中，文本特征表示学习：
文本的特征表示学习是指通过建模方法将文本的语义、句法等信息表 示在低维稠密的向量空间中，然后再进行计算和推理。对于文本特征的表 示学习主要是分三个粒度：词向量表示、句子向量表示和文档向量表示。
在该实施例中，主要是采用现有的谷歌发布的BERT模型。BERT的全 称是Bidirectional Encoder Representation from Transformers，即双向 Transformer的编码器。该模型的主要创新点都在预训练方法上，即用了遮 盖的语言模型(Masked LanguageModel)和下一句预测(Next Sentence Prediction)两种方法分别捕捉词语、句子和篇章级别的特征表示。通过BERT 模型，可以基于案件事实表述训练数据集进行预训练，获得法律预测任务 的语言模型，从而获得D个案件事实描述的向量表示di，{i＝1，2，3…D}。 同时，针对该任务中的法条内容、罪行描述和刑期描述也基于BERT模型， 采用查字典的方式获取法条向量li，{l＝1，2，3…L}、罪行描述向量 ci，{i＝1，2，3…C}和刑期描述向量pi，{i＝1，2，3…P}。
在该实施例中，多任务预训练分类模型：
参见附图2所示，多任务学习(Multitask learning，MTL)是迁移学 习算法的一种，迁移学习可理解为定义一个源领域和一个目标领域，在源 领域学习，并把学习到的知识迁移到目标领域，提升目标领域的学习效果。 深度学习中两种多任务学习模式：隐层参数的硬共享与软共享。本项目以 参数的硬共享机制为例，但是不局限于硬共享的方法，参数硬共享方法通 常通过在所有任务之间共享隐藏层，同时保留几个特定任务的输出层来实 现。
通过对训练数据集中的案例事实描述及其对应的法条、罪行和刑期标 签，采用参数硬共享的多任务学习方法获得每个按键事实描述的法条分类 向量lri，{i＝1，2，3…D}，罪行预测向量cri，{i＝1，2，3…C}和刑期预测向量 pri，{i＝1，2，3…D}。
在该实施例中，建模任务序列关系和反馈关系的双向长短记忆模块网 络(Bi-LSTM)：
长短期记忆网络(LSTM，Long Short-Term Memory)是一种时间循环 神经网络，是为了解决一般的循环神经网络(RNN)存在的梯度消失问题 而专门设计出来的。LSTM是一种含有LSTM区块(blocks)的一种类神经 网络，每个区块中的门(Gate)可以记忆不定时间长度的数值，通常，LSTM 包括三个门：遗忘门、输入门和输出门。目前，LSTM主要用于时间序列中编码上下文信息。本发明主要采用LSTM区块中的门来编码多任务学习 中任务之间的序列关系和后续任务对当前任务之间的验证关系。具体的学 习过程如下：
Step 1：选择单位为m的批量案例事实描述D中的每一个di，获取其基 于多任务预训练分类模型的预分类结果中的针对法条的预测结果向量lri， 并取出该向量中取值最大的元素所对应的法条向量lj，将该向量和案情事实 描述向量di进行拼接，输入到一个全连接层，获得案情-法条向量表示dli。
Step 2：针对每一个di，获取其基于多任务预分类模型的预分类结果中 的针对罪行的预测结果向量cri，并取出该向量中取值超过0.5的元素所对应 的罪行向量cj，{j＝1，2，…c}，将这些向量和案情事实描述向量di进行拼接， 输入到一个全连接层，获得案情-罪行向量表示dci。
Step 3：针对每一个di，获取其基于多任务预分类模型的预分类结果中 的针对刑期的预测结果向量pri，并取出该向量中取值最大的元素所对应的 刑期向量pi，将该向量和案情事实描述向量di进行拼接，输入到一个全连接 层，获得案情-刑期向量表示dpi。
Step 4:随机初始化正向LSTM模块的初始状态c0和h0状态，将案情- 法条向量dli作为输入向量，分别计算该模块的细胞状态
Figure BDA0002364560130000101
和正向输出状态
Figure BDA0002364560130000102
Step 5:以细胞状态
Figure BDA0002364560130000103
和其正向输出状态
Figure BDA0002364560130000104
为当前正向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-罪行向量dci作为输入向量，分别计 算该模块的细胞状态
Figure BDA0002364560130000105
和正向输出状态
Figure BDA0002364560130000106
Step 6：以细胞状态
Figure BDA0002364560130000107
和其正向输出状态
Figure BDA0002364560130000108
为当前正向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-刑期向量dpi作为输入向量，分别计 算该模块的细胞状态
Figure BDA0002364560130000111
和正向输出状态
Figure BDA0002364560130000112
Step 7：以细胞状态
Figure BDA0002364560130000113
和其正向输出状态
Figure BDA0002364560130000114
为当前反向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-刑期向量dpi作为输入向量，分别计 算该模块的细胞状态
Figure BDA0002364560130000115
和反向输出状态
Figure BDA0002364560130000116
Step 8：以细胞状态
Figure BDA0002364560130000117
和其反向输出状态
Figure BDA0002364560130000118
为当前反向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-罪行向量dpi作为输入向量，分别计 算该模块的细胞状态
Figure BDA0002364560130000119
和反向输出状态
Figure BDA00023645601300001110
Step 9：以细胞状态
Figure BDA00023645601300001111
和其反向输出状态
Figure BDA00023645601300001112
为当前反向LSTM模块上一 时刻的输入细胞状态和输入状态，案情-罪行向量dli作为输入向量，分别计 算该模块的细胞状态
Figure BDA00023645601300001113
和反向输出状态
Figure BDA00023645601300001114
Step 10:分别将的正向和反向的输出状态进行拼接得到
Figure BDA00023645601300001115
Figure BDA00023645601300001116
作为基于案情描述di对应于法条分类器、罪行分类器 和刑期分类器的输入，计算该批量输入相应的交叉熵损失函数，更新参数。
Step 11：若迭代次数不到限定次数，则跳转至Step 1。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存 储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实 现实施例子一中的一种基于反馈序列多任务学习的法律判决预测方法步 骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器 执行时执行实施例子一中的一种基于反馈序列多任务学习的法律判决预测 方法步骤。
实施例四
本发明还公开了一种基于反馈序列多任务学习的法律判决预测***， 包括：
文本特征表示学习模块，利用基于表示学习的单任务法律预测方法实 现对案情描述的文本特征表示学习；
法律判决预测模块，通过将各个子任务的先行任务的信息和后续任务 的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系 以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应， 具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介 质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被 理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器 执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用 的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来 实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它 们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成 单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于 本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精 神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明 的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本 发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案 的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或 变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于反馈序列多任务学习的法律判决预测方法，其特征是，包括：
利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征表示学习；
通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。
2.如权利要求1所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，从数据中心服务器获得案情描述及其相关法条、罪行和刑期的训练数据集，训练数据集存储至数据库中；
对案情描述进行文本特征表示学习获得其向量表示；
所有法条、罪行和刑期进行文本特征表示学习获得其特征向量表示。
3.如权利要求1所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，构建基于案情描述的法条预测、罪行预测和刑期预测的多任务预训练模型并获取三个子任务相应的预分类向量；
将法条预测任务的预分类向量所指向的法条向量与案情描述表示向量进行特征融合得到案情-法条表示向量；
将罪行预测任务的预分类向量所指向的罪行相应的罪行向量与案情表示向量进行特征融合得到案情-罪行表示向量；
将刑期预测任务的预分类向量所指向的刑期相应的刑期向量与案情表示向量进行特征融合得到案情-刑期表示向量；
将案情-法条向量、案情-罪行向量、案情-刑期向量作为输入，输入到双向长短时记忆神经网络中获得三个向量的高层语义表示；
基于案情-法条向量、案情-罪行向量、案情-刑期向量的高层特征表示构建法条、罪行和刑期的分类器；
将高层特征表示输入到三个分类器中实现对法条、罪行和刑期的预测。
4.如权利要求3所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，构建基于案情描述的法条预测、罪行预测和刑期预测的多任务预训练模型并获取三个子任务相应的预分类向量：
将获得的案情描述向量输入到一个多任务分类器中，通过训练该多任务分类模型实现对法条、罪行和刑期的预分类，获得法条分类向量，罪行预测向量和刑期预测向量。
5.如权利要求3所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，通过BERT模型，基于案件事实表述训练数据集进行预训练，获得法律预测任务的语言模型，从而获得D个案件事实描述的向量表示。
基于BERT模型，针对法条内容、罪行描述和刑期描述采用查字典的方式获取法条向量、罪行描述向量和刑期描述向量。
6.如权利要求3所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，通过对训练数据集中的案例事实描述及其对应的法条、罪行和刑期标签，采用参数硬共享的多任务学习方法获得每个按键事实描述的法条分类向量，罪行预测向量和刑期预测向量。
7.如权利要求1所述的一种基于反馈序列多任务学习的法律判决预测方法，其特征是，采用LSTM区块中的门来编码多任务学习中任务之间的序列关系和后续任务对当前任务之间的验证关系：
Step1：选择批量案例事实描述D中的每一个di，获取其基于多任务预训练分类模型的预分类结果中的针对法条的预测结果向量iri，并取出该向量中取值最大的元素所对应的法条向量lj，将该向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-法条向量表示dli；
Step2：针对每一个di，获取其基于多任务预分类模型的预分类结果中的针对罪行的预测结果向量cri，并取出该向量中的元素所对应的罪行向量，将这些向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-罪行向量表示dci；
Step3：针对每一个di，获取其基于多任务预分类模型的预分类结果中的针对刑期的预测结果向量pri，并取出该向量中取值最大的元素所对应的刑期向量pi，将该向量和案情事实描述向量di进行拼接，输入到一个全连接层，获得案情-刑期向量表示dpi；
Step4:随机初始化正向LSTM模块的初始状态c0和h0状态，将案情-法条向量dli作为输入向量，分别计算该模块的细胞状态
Figure FDA0002364560120000031
和正向输出状态
Figure FDA0002364560120000032
Step5:以细胞状态
Figure FDA0002364560120000033
和其正向输出状态
Figure FDA0002364560120000034
为当前正向LSTM模块上一时刻的输入细胞状态和输入状态，案情-罪行向量dci作为输入向量，分别计算该模块的细胞状态
Figure FDA0002364560120000035
和正向输出状态
Figure FDA0002364560120000036
Step6：以细胞状态
Figure FDA0002364560120000037
和其正向输出状态
Figure FDA0002364560120000038
为当前正向LSTM模块上一时刻的输入细胞状态和输入状态，案情-刑期向量dpi作为输入向量，分别计算该模块的细胞状态
Figure FDA0002364560120000039
和正向输出状态
Figure FDA00023645601200000310
Step7：以细胞状态
Figure FDA00023645601200000311
和其正向输出状态
Figure FDA00023645601200000312
为当前反向LSTM模块上一时刻的输入细胞状态和输入状态，案情-刑期向量dpi作为输入向量，分别计算该模块的细胞状态
Figure FDA0002364560120000041
和反向输出状态
Figure FDA0002364560120000042
Step8：以细胞状态
Figure FDA0002364560120000043
和其反向输出状态
Figure FDA0002364560120000044
为当前反向LSTM模块上一时刻的输入细胞状态和输入状态，案情-罪行向量dpi作为输入向量，分别计算该模块的细胞状态
Figure FDA0002364560120000045
和反向输出状态
Figure FDA0002364560120000046
Step9：以细胞状态
Figure FDA0002364560120000047
和其反向输出状态
Figure FDA0002364560120000048
为当前反向LSTM模块上一时刻的输入细胞状态和输入状态，案情-罪行向量dli作为输入向量，分别计算该模块的细胞状态
Figure FDA0002364560120000049
和反向输出状态
Figure FDA00023645601200000410
Step10：分别将的正向和反向的输出状态进行拼接得到
Figure FDA00023645601200000411
Figure FDA00023645601200000412
作为基于案情描述di对应于法条分类器、罪行分类器和刑期分类器的输入，计算该批量输入相应的交叉熵损失函数，更新参数；
Step11：若迭代次数不到限定次数，则跳转至Step1。
8.一种基于反馈序列多任务学习的法律判决预测***，其特征是，包括：
文本特征表示学习模块，利用基于表示学习的单任务法律预测方法实现对案情描述的文本特征表示学习；
法律判决预测模块，通过将各个子任务的先行任务的信息和后续任务的反馈信息的信息作为当前任务的输入，考虑了各子任务之间的序列关系以及反向验证关系，实现基于反馈序列多任务学习的法律判决预测。
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现权利要求1-7任一所述的一种基于反馈序列多任务学习的法律判决预测方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行权利要求1-7任一所述的一种基于反馈序列多任务学习的法律判决预测方法步骤。
CN202010031722.9A 2020-01-13 2020-01-13 一种基于反馈序列多任务学习的法律判决预测方法及*** Active CN111259673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010031722.9A CN111259673B (zh) 2020-01-13 2020-01-13 一种基于反馈序列多任务学习的法律判决预测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010031722.9A CN111259673B (zh) 2020-01-13 2020-01-13 一种基于反馈序列多任务学习的法律判决预测方法及***

Publications (2)

Publication Number Publication Date
CN111259673A true CN111259673A (zh) 2020-06-09
CN111259673B CN111259673B (zh) 2023-05-09

Family

ID=70945221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010031722.9A Active CN111259673B (zh) 2020-01-13 2020-01-13 一种基于反馈序列多任务学习的法律判决预测方法及***

Country Status (1)

Country Link
CN (1) CN111259673B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015659A (zh) * 2020-09-02 2020-12-01 三维通信股份有限公司 基于网络模型的预测方法及装置
CN112131370A (zh) * 2020-11-23 2020-12-25 四川大学 问答模型构建方法及***、问答方法及装置、审判***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
CN109241528A (zh) * 2018-08-24 2019-01-18 讯飞智元信息科技有限公司 一种量刑结果预测方法、装置、设备及存储介质
CN109255119A (zh) * 2018-07-18 2019-01-22 五邑大学 一种基于分词和命名实体识别的多任务深度神经网络的句子主干分析方法及***
CN109376227A (zh) * 2018-10-29 2019-02-22 山东大学 一种基于多任务人工神经网络的刑期预测方法
CN109829055A (zh) * 2019-02-22 2019-05-31 苏州大学 基于过滤门机制的用户法条预测方法
CN109919175A (zh) * 2019-01-16 2019-06-21 浙江大学 一种结合属性信息的实体多分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229582A (zh) * 2018-02-01 2018-06-29 浙江大学 一种面向医学领域的多任务命名实体识别对抗训练方法
CN109255119A (zh) * 2018-07-18 2019-01-22 五邑大学 一种基于分词和命名实体识别的多任务深度神经网络的句子主干分析方法及***
CN109241528A (zh) * 2018-08-24 2019-01-18 讯飞智元信息科技有限公司 一种量刑结果预测方法、装置、设备及存储介质
CN109376227A (zh) * 2018-10-29 2019-02-22 山东大学 一种基于多任务人工神经网络的刑期预测方法
CN109919175A (zh) * 2019-01-16 2019-06-21 浙江大学 一种结合属性信息的实体多分类方法
CN109829055A (zh) * 2019-02-22 2019-05-31 苏州大学 基于过滤门机制的用户法条预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENMIAN YANG 等: ""Legal Judgment Prediction via Multi-Perspective Bi-Feedback Network"", 《ARXIV》 *
刘宗林 等: "融入罪名关键词的法律判决预测多任务学习模型", 《清华大学学报（自然科学版）》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015659A (zh) * 2020-09-02 2020-12-01 三维通信股份有限公司 基于网络模型的预测方法及装置
CN112131370A (zh) * 2020-11-23 2020-12-25 四川大学 问答模型构建方法及***、问答方法及装置、审判***
CN112131370B (zh) * 2020-11-23 2021-03-12 四川大学 问答模型构建方法及***、问答方法及装置、审判***

Also Published As

Publication number Publication date
CN111259673B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
WO2023024412A1 (zh) 基于深度学习模型的视觉问答方法及装置、介质、设备
CN111985245A (zh) 基于注意力循环门控图卷积网络的关系提取方法及***
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN111859978A (zh) 一种基于深度学习的情感文本生成方法
CN114169330A (zh) 融合时序卷积与Transformer编码器的中文命名实体识别方法
CN116415654A (zh) 一种数据处理方法及相关设备
CN110083702B (zh) 一种基于多任务学习的方面级别文本情感转换方法
Wu et al. Optimized deep learning framework for water distribution data-driven modeling
CN116594748A (zh) 针对任务的模型定制处理方法、装置、设备和介质
CN117475038B (zh) 一种图像生成方法、装置、设备及计算机可读存储介质
Duan et al. Temporality-enhanced knowledgememory network for factoid question answering
Binnig et al. Towards interactive curation & automatic tuning of ml pipelines
Yang et al. Sequence-to-sequence prediction of personal computer software by recurrent neural network
CN113111190A (zh) 一种知识驱动的对话生成方法及装置
CN114692605A (zh) 一种融合句法结构信息的关键词生成方法及装置
CN111259673A (zh) 一种基于反馈序列多任务学习的法律判决预测方法及***
CN114091429A (zh) 基于异构图神经网络的文本摘要生成方法及***
CN112183062B (zh) 一种基于交替解码的口语理解方法、电子设备和存储介质
CN115066690A (zh) 搜索归一化-激活层架构
CN116737897A (zh) 一种基于多模态的智慧楼宇知识抽取模型和方法
CN116341564A (zh) 基于语义理解的问题推理方法和装置
CN116595985A (zh) 一种基于生成式常识辅助增强对话中情绪识别的方法
CN113779244B (zh) 文档情感分类方法、装置、存储介质以及电子设备
Julian Deep learning with pytorch quick start guide: learn to train and deploy neural network models in Python
CN114936564A (zh) 一种基于对齐变分自编码的多语言语义匹配方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant