CN111858940B - 一种基于多头注意力的法律案例相似度计算方法及*** - Google Patents
一种基于多头注意力的法律案例相似度计算方法及*** Download PDFInfo
- Publication number
- CN111858940B CN111858940B CN202010733019.2A CN202010733019A CN111858940B CN 111858940 B CN111858940 B CN 111858940B CN 202010733019 A CN202010733019 A CN 202010733019A CN 111858940 B CN111858940 B CN 111858940B
- Authority
- CN
- China
- Prior art keywords
- case
- entity
- cases
- relation
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 43
- 230000007246 mechanism Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000008447 perception Effects 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010035148 Plague Diseases 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/18—Legal services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Technology Law (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于多头注意力的法律案例相似度计算方法，该方法包括：1)将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。本申请的技术方案，能够通过计算相似度，提升法律中类案检索和类案推荐等应用场景的准确度。
Description
技术领域
本发明涉及一种基于多头注意力的法律案例相似度计算方法，具体涉及一种基于多头注意力的法律案例相似度计算方法，属于文本识别技术领域；本发明还涉及一种基于多头注意力的法律案例相似度计算***。
背景技术
作为成文法国家，法院裁判依照法律条文而非先例，但民众朴素的法治情感要求“类案同判”，尤其是同一法院在较短时间内出现“类案不同判”对司法公信力影响极大，因此研究案例相似度计算以精准匹配相似案例对实现司法公正具有重要意义。在实际应用中，司法工作者通常使用全文检索、关键词匹配和关键词限制检索来筛选案例，之后仍依赖人工判断筛选出的案例与目标案例是否相似，因此耗时长且效率低。
在科研领域计算案例相似度的方法主要可以分为三类：第一类、基于词向量法，比如使用法律文本中的名词构成向量空间，通过TF-IDF计算法律文本相似度；或者使用法律专业词汇构成向量空间，通过余弦相似度公式计算法律文本的相似度。第二类、基于词嵌入模型,利用层级注意力机制来改进孪生网络结构中的文档表示，并压缩文档内容避免了长文档的数据稀疏问题。或者使用非对称孪生网络的新闻与案件相关性计算方法，解决了文本不平衡和新闻文本冗余的问题。第三类、基于事件模板，按照预定义的事件模板从医疗纠纷案例中抽取出医疗事件，通过事件元组的相似度来计算案例的相似度。
词向量法和词嵌入模型不涉及法律领域知识，不考虑法律文本特点，因此基于这两种方法计算出的相似度不够准确。基于事件模板考虑了法律领域知识，但在实际中相同案由的案件中事件极其相似，以民间借贷为例，其中的事件都为何时何地借款，何时何地追债等。因此按照预定义的事件模式抽取事件，只能粗粒度的表示案件，没有包含影响案件相似度计算的关键信息，匹配准确度不高。
因此，如何提供一种基于多头注意力的法律案例相似度计算方法，其能够可以通过计算相似度，提升法律中类案检索和类案推荐等应用场景的准确度，是本领域技术人员亟待解决的技术问题。
发明内容
针对上述现有技术的不足，本发明通过抽取案情描述中的法律关系形成案情知识图谱，使用多头注意力机制获取案情知识图谱的向量化表示，最后使用深度案情感知网络计算出两案例相似度。辅以结构化法律关系的训练的深度案情感知网络可以大大提升案例相似度计算的准确度。本发明提供一种基于多头注意力的法律案例相似度计算方法，该方法包括：1) 将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。
根据本发明的第一个实施方案，提供一种基于多头注意力的法律案例相似度计算方法：
一种基于多头注意力的法律案例相似度计算方法，该方法包括：
1)将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；
2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；
3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。
作为优选，步骤1)中所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；
用于识别所述案情描述中所述实体之间关系的关系抽取模块。
作为优选，在对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。
作为优选，步骤1)中所述案件法律关系识别模型的构建方法包括以下步骤：
1a)确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集；
1b)构建所述实体识别模块，所述实体识别模块采用基于BiLSTM-CRF的实体识别网络构建；
1c)构建所述关系抽取模块，所述关系抽取模块采用基于BERT的关系抽取网络构建。
作为优选，所述步骤2)具体包括以下步骤：
2a)初始化所述三元组的头实体、关系和尾实体的向量化表示；
2b)将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量；
2c)使用leakyReLU计算所述三元组的注意力值；
2d)使用softmax函数计算出具有相同头实体的三元组的相对注意力值；
2e)通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示；
2f)使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示。
作为优选，所述步骤3)中所述深度案情感知模型为已训练好的模型，所述深度案情感知模型构建方法具体为：
3a)获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；
3b)分别将所述相似案例数据集中的案例对输入所述案例法律关系识别模型，分别构建案情知识图谱，并使用所述多头注意力机制分别获得所述每个案例的案情知识图谱的向量化表示；
3c)分别将所述相似案例对的实体和关系的向量化表示联结起来，构建深度案情感知网络，使用所述案例的向量化表示训练所述网络得到所述深度案情感知模型。
作为优选，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。
根据本发明的第二个实施方案，提供一种基于多头注意力的法律案例相似度计算***：
一种基于多头注意力的法律案例相似度计算***，该***包括：
案情知识图谱构建模块，所述案情知识图谱构建模块用于将待计算相似度的两个案例的案情描述输入所述案例法律关系识别模型，进而分别抽取两个案例中的法律关系形成的三元组，并依据所述三元组构建案情知识图谱，所述三元组中包含头实体、关系和尾实体；
与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块，所述案情知识图谱表征模块用于通过多头注意力机制将所述案情知识图谱转化为向量化表示；
与所述案情知识图谱表征模块信号连接的深度案情感知网络模块，所述深度案情感知网络模块用于将所述向量化表示输入所述深度案情感知模型，得到两个案例的相似度。
作为优选，所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；与所述实体识别模块信号连接，用于识别所述实体之间关系的关系抽取模块；所述关系抽取模块通过找到包含两个所述实体的句子，从所述句子中抽取出两个所述实体之间的关系，两个所述实体包括头实体、尾实体。
作为优选，当所述案情描述为结构化文本和类结构化文本时，所述实体识别模块采用基于规则的实体识别方法。
作为优选，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。
在本申请的第一个实施方案中，首先通过案例法律关系识别模型从待计算相似度的两个案例抽取出法律关系形成的三元组，即头实体、关系和尾实体，然后利用三元组构建出案情知识图谱；利用多头注意力机制将案情知识图谱转化为向量化表示，以方便后期计算。最后通过深入情感感知模型来计算得到两个案例的相似度。本申请的技术方案，通过技术手段筛选出三元组信息后，利用向量化表示的方法，提高了案件与案件之间的相似度的计算的准确度，相较于现有技术而言计算结果更为准确可靠。
在本申请的第一个实施方案中，案例法律关系识别模型通过实体识别模块抽取案件中的实体，包括头实体和尾实体。案例法律关系识别模型通过关系抽取模块抽取同一个句子的两个实体之间的关系。
需要说明的是，实体识别模块识别实体，统称为命名实体识别，而命名实体识别(Named Entities Recognition,NER)研究的命名实体一般分为3大类(实体类、时间类和数字类)和7小类(人名、地名、组织机构名、时间、日期、货币和百分比)，研究的目的是将语料中的这些命名实体识别出来。主要有三种方式：1)基于规则的命名实体识别、 2)基于统计的命名实体识别、3)混合方法。当对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。
在本申请的第一个实施方案中，所述案件法律关系识别模型的构建方法中，先确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集，然后向构建好的所述实体识别模块和所述关系抽取模块中导入案例法律关系识别模型训练数据集，从而对所述案件法律关系识别模型进行训练，以构建训练好的所述案件法律关系识别模型。
在本申请的第一个实施方案中，在步骤2)中，初始化所述三元组的头实体、关系和尾实体的向量化表示，构成向量参数。在将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量，以方便之后的套用计算。接着使用leakyReLU和 softmax函数计算出具有相同头实体的三元组的相对注意力值，通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示，该步骤能够在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。最后使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示，即得到优化后的实体的向量化表示。
在本申请的第一个实施方案中，需要先对深度案情感知模型进行训练，通过获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；再将相似案例数据集导入案例法律关系识别模型，识别出相似案例数据集中的所述实体并抽取出所述实体之间的所述关系。最后分别将所述相似案例数据集中案例的实体和关系的向量化表示联结起来，得到相似案例数据集中案例的向量化表示，使用所述相似案例数据集中案例的向量化表示训练所述网络得到所述深度案情感知模型。以此来提高深度案情感知模型的准确性。
在本申请的第二个实施方案中，基于多头注意力的法律案例相似度计算***，该***运行包含了第一个实施方案所记载方法的软件程序，该***包括：案情知识图谱构建模块、与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块、与所述案情知识图谱表征模块信号连接的深度案情感知网络模块。通过案情知识图谱构建模块、案情知识图谱表征模块和深度案情感知网络模块的配合应用，实现对法律案例的相似度的计算。相较于现有技术，提升法律中类案检索和类案推荐等应用场景的准确度。
在本申请的第二个实施方案中，所述案例法律关系识别模型通过实体识别模块识别所述案情描述中实体，通过关系抽取模块识别所述实体之间的关系；具体地，所述关系抽取模块通过找到包含两个所述实体的句子，从所述句子中抽取出两个所述实体之间的关系，两个所述实体包括头实体、尾实体。
与现有技术相比，本发明具有以下有益效果：
1、通过抽取案情描述中的法律关系形成案情知识图谱，使用多头注意力机制获取案情知识图谱的向量化表示，最后使用深度案情感知网络计算出两案例相似度。辅以结构化法律关系的训练的深度案情感知网络可以大大提升案例相似度计算的准确度。
附图说明
图1为本发明实施例提供的基于多头注意力的法律案例相似度计算方法的流程示意图；
图2为本发明实施例提供的案情知识图谱示意图；
图3为本发明实施例提供的基于多头注意力的法律案例相似度计算***的结构示意图。
具体实施方式
根据本发明的第一个实施方案，提供一种基于多头注意力的法律案例相似度计算方法：
一种基于多头注意力的法律案例相似度计算方法，该方法包括：
1)将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；
2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；
3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。
作为优选，步骤1)中所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；
用于识别所述案情描述中所述实体之间关系的关系抽取模块。
作为优选，在对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。
作为优选，步骤1)中所述案件法律关系识别模型的构建方法包括以下步骤：
1a)确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集；
1b)构建所述实体识别模块，所述实体识别模块采用基于BiLSTM-CRF的实体识别网络构建；
1c)构建所述关系抽取模块，所述关系抽取模块采用基于BERT的关系抽取网络构建。
作为优选，所述步骤2)具体包括以下步骤：
2a)初始化所述三元组的头实体、关系和尾实体的向量化表示；
2b)将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量；
2c)使用leakyReLU计算所述三元组的注意力值；
2d)使用softmax函数计算出具有相同头实体的三元组的相对注意力值；
2e)通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示；
2f)使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示。
作为优选，所述步骤3)中所述深度案情感知模型为已训练好的模型，所述深度案情感知模型构建方法具体为：
3a)获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；
3b)分别将所述相似案例数据集中的案例对输入所述案例法律关系识别模型，分别构建案情知识图谱，并使用所述多头注意力机制分别获得所述每个案例的案情知识图谱的向量化表示；
3c)分别将所述相似案例对的实体和关系的向量化表示联结起来，构建深度案情感知网络，使用所述案例的向量化表示训练所述网络得到所述深度案情感知模型。
作为优选，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。
根据本发明的第二个实施方案，提供一种基于多头注意力的法律案例相似度计算***：
一种基于多头注意力的法律案例相似度计算***，该***包括：
案情知识图谱构建模块，所述案情知识图谱构建模块用于将待计算相似度的两个案例的案情描述输入所述案例法律关系识别模型，进而分别抽取两个案例中的法律关系形成的三元组，并依据所述三元组构建案情知识图谱，所述三元组中包含头实体、关系和尾实体；
与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块，所述案情知识图谱表征模块用于通过多头注意力机制将所述案情知识图谱转化为向量化表示；
与所述案情知识图谱表征模块信号连接的深度案情感知网络模块，所述深度案情感知网络模块用于将所述向量化表示输入所述深度案情感知模型，并得到两个案例的相似度。
作为优选，所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；与所述实体识别模块信号连接，用于识别所述实体之间关系的关系抽取模块；所述关系抽取模块通过找到包含两个所述实体的句子，从所述句子中抽取出两个所述实体之间的关系，两个所述实体包括头实体、尾实体。
作为优选，当所述案情描述为结构化文本和类结构化文本时，所述实体识别模块采用基于规则的实体识别方法。
作为优选，所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。
实施例1
一种基于多头注意力的法律案例相似度计算方法，该方法包括：
1)将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；
2)通过多头注意力机制将所述案情知识图谱转化为向量化表示；
3)将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度。
实施例2
重复实施例1，只是步骤1)中所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块；用于识别所述案情描述中所述实体之间关系的关系抽取模块。在对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。
步骤1)中所述案件法律关系识别模型的构建方法包括以下步骤：
1a)确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集；
本实施例随机选择了600份所述判决文书进行标注，采用BIO标注法标注出所述案情描述中包含的所述实体和关系。
需要说明的是，本实施例获取了以民间借贷为案由的判决文书，所述判决文书为类结构化文本，通过正则表达式从所述判决文书中分离出了案件主体描述部分和经审理查明部分作为案情描述。确定在该案由下对案例相似度影响较大的实体和关系，所述实体包括：原告、被告、自然人主体、非自然人主体等，所述关系包括：角色、夫妻、夫妻关系非续存、担保人等。
1b)构建所述实体识别模块，所述实体识别模块采用基于BiLSTM-CRF的实体识别网络构建；
本实施例首先使用预训练语言模型BERT将所述案情描述中的句子x＝(x1,x2,,xn)的每个字映射为低维稠密的字向量，其中n是所述句子中包含字的个数；然后使用双向长短期记忆网络提取句子特征,得到隐藏状态序列H＝(h[CLS],h1,h2,…,hn)∈Rn×m,所述双向长短期记忆网络的最后一层将状态向量从m维映射到k维，得到P＝(p1,p2,…,pn)∈Rn×k，其中k为实体的种类；最终使用条件随机场进行句子级的序列标注，对于所述句子x,对应的标签序列为y＝(y1,y2,…,yn)，定义打分函数为：
其中，A为输出标签之间的转移得分矩阵，Aij表示的是从第i个标签到第j个标签的转移得分。
进而使用softmax函数预测标签序列y的概率：
同时为了使得预测得分最大化，取预测输出标签序列的对数：
在预测过程中，使用Viterbi算法求出最优的预测标签序列：
1c)构建所述关系抽取模块，所述关系抽取模块采用基于BERT的关系抽取网络构建。
本实施例中的基于BERT的关系抽取网络和基于BiLSTM-CRF的实体识别网络的嵌入层和特征提取层一致，获得包含两个实体e1和e2的句子的隐藏状态序列H＝(h[CLS],h1,h2,…,hn)和两个实体的向量表示v1和v2,仅使用h[CLS]作为该句子的特征。融入实体后该句子的表征为：
所述句子中包含的关系计算公式为:
P(y|h)＝softmax(h·w2)
其中，w1、w2、b1为神经网络参数。
本实施例中所述步骤1得到的案情知识图谱如图2所示。
实施例3
重复实施例2，只是所述步骤2)具体包括以下步骤：
2a)初始化所述三元组的头实体、关系和尾实体的向量化表示；
本实施例中，所述三元组可以表示为tijk＝(ei,rk,ej)，使用随机初始化的方式将所述实体和关系初始化为d维向量，向量化的三元组可表示为其中ei和ej分别表示头实体和尾实体，rk表示关系，hi、hj和lk分别为其对应的向量化表示。
2b)将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量；
本实施例中，所述三元组的特征向量的计算公式为：
其中，W1为线性变换矩阵，
2c)使用leakyReLU计算所述三元组的注意力值；
本实施例中，所述三元组的注意力值的计算公式为：
其中，W2为权重矩阵；leakyReLU是一种激活函数，其计算公式为：
其中，α为一固定参数。
2d)使用softmax函数计算出具有相同头实体的三元组的相对注意力值；
本实施例中，所述三元组的相对注意力值的计算公式为：
其中Ni为实体ei的邻居实体集合，Rij为以实体ei为头实体的关系集合；binr为Rij中的一个关系。
2e)通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示；
本实施例中，所述三元组的新的向量化表示的计算公式为：
其中，M为注意力头数。
2f)使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示。
本实施例中，所述多头注意力机制的计算公式为：
本实施例中，训练所述多头注意力机制的目标函数为：
其中S为所述三元组的集合，S′是随机替换S中头实体或者尾实体得到的集合，γ为超参数；为评分函数。
实施例4
重复实施例3，只是所述步骤3)中所述深度案情感知模型为已训练好的模型，所述深度案情感知模型构建方法具体为：
3a)获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；
本实施例中，获取以民间借贷为案由的判决文书，通过人工标注构建相似案例数据集。
3b)分别将所述相似案例数据集中的案例对输入所述案例法律关系识别模型，分别构建案情知识图谱，并使用所述多头注意力机制分别获得所述每个案例的案情知识图谱的向量化表示；
本实施例中，首先获取案件c的案情知识图谱gc，再通过多头注意力机制获得案情知识图谱中三元组的向量化表示hc∈Rn×m，其中n为所述案件c三元组个数，m为所述案件三元组的向量维度。
3c)分别将所述相似案例对的实体和关系的向量化表示联结起来，构建深度案情感知网络，使用所述案例的向量化表示训练所述网络得到所述深度案情感知模型。
本实施例中，假设输入深度案情感知网络的案件为ca和cb，由于从不同案件中抽取出的法律关系数量不同，为了使得两案例的向量化表示维度相同，对三元组个数较少的案例实施 padding操作，最终形成维度为2×n×m的张量。本实施例使用了34层的残差网络构建深度案情网络，每个残差块可表示为：
y＝Wsx+F(x,Wi)
其中，Ws和Wi为线性变换矩阵，x和y分别表示残差块的输入和输出向量，F(x,Wi)为残差映射。
实施例5
重复实施例4，只是所述案情描述，包括存在于起诉书、上诉书、判决文书等法律文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。
实施例6
一种基于多头注意力的法律案例相似度计算***，该***包括：
案情知识图谱构建模块，所述案情知识图谱构建模块用于将待计算相似度的两个案例的案情描述输入所述案例法律关系识别模型，进而分别抽取两个案例中的法律关系形成的三元组，并依据所述三元组构建案情知识图谱，所述三元组中包含头实体、关系和尾实体；
与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块，所述案情知识图谱表征模块用于通过多头注意力机制将所述案情知识图谱转化为向量化表示；
与所述案情知识图谱表征模块信号连接的深度案情感知网络模块，所述深度案情感知网络模块用于将所述向量化表示输入所述深度案情感知模型，并得到两个案例的相似度。
需要说明的是，本说明书未详细阐述的部分均属于现有技术。
需要说明的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均是本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
应当理解的是，本发明公开的一种基于多头注意力的法律案例相似度计算方法及***可以应用于类案推荐、类案检索等实际场景。对于类案推荐，将用户浏览的历史案例分别使用本发明公开的步骤1和步骤2得到案例的向量化表示，将所有案例的向量化表示联结起来，使用卷积神经网络进行降维，得到维度为1×n×m的张量，再与数据库中的案例使用本发明公开的步骤3计算相似度，并将相似度高的案例推荐给用户。对于类案检索，将用户输入的案情描述使用本发明公开的步骤1和步骤2得到案例的向量化表示，分别于数据库中的案例使用本发明公开的步骤3计算相似度，按照相似度高低排序，向用户展示案例。上述应用场景中并未对本发明公开的方法进行实质性修改或改进，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于多头注意力的法律案例相似度计算方法，其特征在于，该方法包括：
1) 将待计算相似度的两个案例的案情描述输入案例法律关系识别模型，分别抽取两个案例中的法律关系形成的三元组，所述三元组中包含头实体、关系和尾实体，并依据所述三元组构建案情知识图谱；所述案例法律关系识别模型的构建方法包括以下步骤：
1a) 确定对计算案例相似度具有影响或影响较大的实体和关系，构建案例法律关系识别模型训练数据集；
1b) 构建所述实体识别模块，所述实体识别模块采用基于BiLSTM-CRF的实体识别网络构建；
1c) 构建所述关系抽取模块，所述关系抽取模块采用基于BERT的关系抽取网络构建；
2) 通过多头注意力机制将所述案情知识图谱转化为向量化表示，包括以下步骤：
2a) 初始化所述三元组的头实体、关系和尾实体的向量化表示；
2b) 将所述三元组的实体和关系的向量化表示联结起来，使用投影矩阵计算所述三元组的特征向量；
2c) 使用leakyReLU计算所述三元组的注意力值；
2d) 使用softmax函数计算出具有相同头实体的三元组的相对注意力值；
2e) 通过所述三元组的相对注意力值和所述特征向量计算所述实体新的向量化表示；
2f) 使用多头注意力机制封装复杂的法律关系并再次更新所述实体的向量化表示；
3）将所述案情的向量化表示输入深度案情感知模型，获取两个案例的相似度；所述深度案情感知模型为已训练好的模型，所述深度案情感知模型构建方法具体为：
3a) 获取一定量的基于某案由案例的相似案例对，所述相似案例对为正例，随机替换部分相似案例对中的一个案例形成负例，构建相似案例数据集；
3b) 分别将所述相似案例数据集中的案例对输入所述案例法律关系识别模型，分别构建案情知识图谱，并使用所述多头注意力机制分别获得每个案例的案情知识图谱的向量化表示；
3c) 分别将所述相似案例对的实体和关系的向量化表示联结起来，构建深度案情感知网络，使用所述案例的向量化表示训练所述网络得到所述深度案情感知模型。
2.根据权利要求1所述的基于多头注意力的法律案例相似度计算方法，其特征在于，所述案例法律关系识别模型包括：用于识别所述案情描述中实体的实体识别模块和用于识别所述案情描述中所述实体之间关系的关系抽取模块；在对结构化文本和类结构化文本的所述案情描述进行识别时，所述实体识别模块采用基于规则的实体识别方式识别出实体。
3.根据权利要求1或2所述的基于多头注意力的法律案例相似度计算方法，其特征在于，所述案情描述，包括存在于起诉书、上诉书、判决文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。
4.一种应用权利要求1-3中任一项所述基于多头注意力的法律案例相似度计算方法的基于多头注意力的法律案例相似度计算***，其特征在于，该***包括：
案情知识图谱构建模块，所述案情知识图谱构建模块用于将待计算相似度的两个案例的案情描述输入所述案例法律关系识别模型，进而分别抽取两个案例中的法律关系形成的三元组，并依据所述三元组构建案情知识图谱，所述三元组中包含头实体、关系和尾实体；
与所述案情知识图谱构建模块信号连接的案情知识图谱表征模块，所述案情知识图谱表征模块用于通过多头注意力机制将所述案情知识图谱转化为向量化表示；
与所述案情知识图谱表征模块信号连接的深度案情感知网络模块，所述深度案情感知网络模块用于将所述向量化表示输入所述深度案情感知模型，得到两个案例的相似度。
5.根据权利要求4所述的基于多头注意力的法律案例相似度计算***，其特征在于，所述案例法律关系识别模型包括：
用于识别所述案情描述中实体的实体识别模块；
与所述实体识别模块信号连接，用于识别所述实体之间关系的关系抽取模块；
所述关系抽取模块通过找到包含两个所述实体的句子，从所述句子中抽取出两个所述实体之间的关系，两个所述实体包括头实体、尾实体。
6.根据权利要求5所述的基于多头注意力的法律案例相似度计算***，其特征在于，当所述案情描述为结构化文本和类结构化文本时，所述实体识别模块采用基于规则的实体识别方法。
7.根据权利要求4-6中任一项所述的基于多头注意力的法律案例相似度计算***，其特征在于，所述案情描述，包括存在于起诉书、上诉书、判决文书中的案情描述和记载了案例案情信息的非正式法律文本中的案情描述。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733019.2A CN111858940B (zh) | 2020-07-27 | 2020-07-27 | 一种基于多头注意力的法律案例相似度计算方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733019.2A CN111858940B (zh) | 2020-07-27 | 2020-07-27 | 一种基于多头注意力的法律案例相似度计算方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111858940A CN111858940A (zh) | 2020-10-30 |
| CN111858940B true CN111858940B (zh) | 2023-07-25 |
Family
ID=72947494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010733019.2A Active CN111858940B (zh) | 2020-07-27 | 2020-07-27 | 一种基于多头注意力的法律案例相似度计算方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858940B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112347270A (zh) * | 2020-11-30 | 2021-02-09 | 重庆工程职业技术学院 | 一种法律知识图谱构建***及方法 |
| CN112559765B (zh) * | 2020-12-11 | 2023-06-16 | 中电科大数据研究院有限公司 | 一种多源异构数据库语义集成方法 |
| CN112800196B (zh) * | 2021-01-18 | 2024-03-01 | 南京明略科技有限公司 | 一种基于孪生网络的faq问答库匹配方法与*** |
| CN113204649A (zh) * | 2021-05-11 | 2021-08-03 | 西安交通大学 | 基于实体关系联合抽取的法律知识图谱构建方法及设备 |
| CN113297834B (zh) * | 2021-06-18 | 2024-06-25 | 苏州智汇谷科技服务有限公司 | 基于警情间语义相似度判断串并案的方法及装置 |
| CN113569773B (zh) * | 2021-08-02 | 2023-09-15 | 南京信息工程大学 | 基于知识图谱和Softmax回归的干扰信号识别方法 |
| CN114048308B (zh) * | 2021-11-03 | 2022-08-16 | 中国司法大数据研究院有限公司 | 一种类案检索报告生成的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059193A (zh) * | 2019-06-21 | 2019-07-26 | 南京擎盾信息科技有限公司 | 基于法律语义件与文书大数据统计分析的法律咨询*** |
| CN110275936A (zh) * | 2019-05-09 | 2019-09-24 | 浙江工业大学 | 一种基于自编码神经网络的相似法律案例检索方法 |
| CN110795926A (zh) * | 2020-01-03 | 2020-02-14 | 四川大学 | 一种基于法律知识图谱的裁判文书相似性判断方法及*** |
| CN111241837A (zh) * | 2020-01-04 | 2020-06-05 | 大连理工大学 | 基于对抗迁移学习的盗窃案件法律文书命名实体识别方法 |
-
2020
- 2020-07-27 CN CN202010733019.2A patent/CN111858940B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110275936A (zh) * | 2019-05-09 | 2019-09-24 | 浙江工业大学 | 一种基于自编码神经网络的相似法律案例检索方法 |
| CN110059193A (zh) * | 2019-06-21 | 2019-07-26 | 南京擎盾信息科技有限公司 | 基于法律语义件与文书大数据统计分析的法律咨询*** |
| CN110795926A (zh) * | 2020-01-03 | 2020-02-14 | 四川大学 | 一种基于法律知识图谱的裁判文书相似性判断方法及*** |
| CN111241837A (zh) * | 2020-01-04 | 2020-06-05 | 大连理工大学 | 基于对抗迁移学习的盗窃案件法律文书命名实体识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于多头注意力机制Tree-LSTM的句子语义相似度计算;胡艳霞等;《中文信息学报》;20200315(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111858940A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111858940B (zh) | 一种基于多头注意力的法律案例相似度计算方法及*** | |
| CN110826336B (zh) | 一种情感分类方法、***、存储介质及设备 | |
| CN106776711B (zh) | 一种基于深度学习的中文医学知识图谱构建方法 | |
| CN109376222B (zh) | 问答匹配度计算方法、问答自动匹配方法及装置 | |
| CN111324752B (zh) | 基于图神经网络结构建模的图像与文本检索方法 | |
| CN113095415B (zh) | 一种基于多模态注意力机制的跨模态哈希方法及*** | |
| CN112819023B (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| CN114330354B (zh) | 一种基于词汇增强的事件抽取方法、装置及存储介质 | |
| CN113392209B (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
| CN111539197A (zh) | 文本匹配方法和装置以及计算机***和可读存储介质 | |
| CN115048447B (zh) | 一种基于智能语义补全的数据库自然语言接口*** | |
| CN115438674B (zh) | 实体数据处理、实体链接方法、装置和计算机设备 | |
| CN110532398A (zh) | 基于多任务联合神经网络模型的家族图谱自动构建方法 | |
| CN113919366A (zh) | 一种面向电力变压器知识问答的语义匹配方法和装置 | |
| CN111400584A (zh) | 联想词的推荐方法、装置、计算机设备和存储介质 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及*** | |
| CN113657105A (zh) | 基于词汇增强的医学实体抽取方法、装置、设备及介质 | |
| CN111145914B (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN114997288A (zh) | 一种设计资源关联方法 | |
| Feng et al. | Ontology semantic integration based on convolutional neural network | |
| CN117197569A (zh) | 图像审核方法、图像审核模型训练方法、装置和设备 | |
| CN116975403A (zh) | 内容检索模型及内容检索处理方法、装置和计算机设备 | |
| CN116227594A (zh) | 面向多源数据的医疗行业高可信度知识图谱的构建方法 | |
| CN111813927A (zh) | 一种基于主题模型和lstm的句子相似度计算方法 | |
| CN116151258A (zh) | 文本消岐方法、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |