CN113378542B - 一种裁判文书质量评测的方法和装置 - Google Patents

一种裁判文书质量评测的方法和装置 Download PDF

Info

Publication number
CN113378542B
CN113378542B CN202110163510.0A CN202110163510A CN113378542B CN 113378542 B CN113378542 B CN 113378542B CN 202110163510 A CN202110163510 A CN 202110163510A CN 113378542 B CN113378542 B CN 113378542B
Authority
CN
China
Prior art keywords
document
analysis
index
content
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110163510.0A
Other languages
English (en)
Other versions
CN113378542A (zh
Inventor
杨哲
艾中良
李�灿
贾高峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Judicial Big Data Research Institute Co ltd
Original Assignee
China Judicial Big Data Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Judicial Big Data Research Institute Co ltd filed Critical China Judicial Big Data Research Institute Co ltd
Priority to CN202110163510.0A priority Critical patent/CN113378542B/zh
Publication of CN113378542A publication Critical patent/CN113378542A/zh
Application granted granted Critical
Publication of CN113378542B publication Critical patent/CN113378542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Technology Law (AREA)
  • Primary Health Care (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种裁判文书质量评测的方法和装置。所述方法包括：录入待评测的目标裁判文书；对目标裁判文书进行解析；对解析得到的内容进行指标分析，包括错别字筛查、格式完整性分析、内容规范性分析、法条援引准确性分析、内容逻辑性分析；根据指标分析的结果进行指标项得分计算；进而计算目标裁判文书的质量的综合评测得分。所述装置包括裁判文书录入模块、裁判文书解析模块、文书指标分析模块、文书指标打分模块、文书质量综合评价模块。本发明实现了计算机***自动执行的对法官制作的裁判文书质量评测的方法和装置，能够在节约人力成本同时及时发现裁判文书中的质量问题，有效辅助法官快速解决裁判文书质量问题，提升裁判文书质量。

Description

一种裁判文书质量评测的方法和装置
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种裁判文书质量评测的方法和装置。
背景技术
裁判文书记载了人民法院案件审理的内容和结果，是诉讼活动结果的载体，是人民法院确定和分配当事人实体权利义务的凭证。一份结构完整、要素齐全、逻辑严谨的裁判文书，既是当事人享有权利和负担义务的凭证，也是监督人民法院审判活动的重要依据。裁判文书公开上网后，引起社会各界高度关注，同时也对裁判文书质量提出了更高要求。目前裁判文书仍存在格式不规范、援引法律不缜密、存在错别字、内容逻辑有误等诸多问题。这些问题严重制约了裁判文书的作用发挥，造成社会公众对法官审判能力和文书撰写能力自身的质疑，甚至造成部分社会公众对司法公正性和公平性的质疑。
发明内容
有鉴于此，本发明提供了一种裁判文书质量评测的方法和装置，实现由计算机***自动执行的独立于人主观判断的裁判文书质量评测功能。
本发明第一方面提供了一种裁判文书质量评测的方法，包括：
第一步，裁判文书录入。录入待评测裁判文书。
第二步，裁判文书解析。将第一步录入的目标裁判文书解析出基本信息、当事人信息、审理经过、诉辩称内容、本院认为内容、裁判结果内容等几部分信息。
第三步，裁判文书指标分析。对第二步解析内容的错别字筛查、格式完整性、内容规范性、法条援引准确性、内容逻辑性五个指标进行分析。
第四步，指标项得分计算。针对第三步的分析结果，通过分别调用各指标项的计算处理逻辑，进行指标项得分计算，得到目标裁判文书的五个指标得分数据。
第五步，裁判文书质量综合评价。结合目标裁判文书的五项指标得分数据，根据裁判文书质量评测综合得分计算模型，计算目标裁判文书综合评测得分。
进一步，所述第一步裁判文书录入部分，支持上传录入和输入文书案号获取功能。自行录入主要支持doc、docx及txt格式，其它格式的裁判文书，需要进行格式转换到doc、docx及txt格式。输入文书案号检索支持法官根据输入的案号自动获取对应的裁判文书。
进一步，所述第二步裁判文书解析部分，采用规则识别结合机器学习模型识别的方法分别解析出基本信息、当事人信息、审理经过、诉辩称内容、本院认为内容、裁判结果内容等部分内容。
进一步，所述第三步裁判文书指标分析部分，采用自然语言处理结合命名实体识别和规则识别的方法对第二步解析出的各部分内容进行错别字筛查、格式完整性、内容规范性、法条援引准确性、内容逻辑性等五个指标进行分析。
错别字筛查分析采用基于词向量的错别字自动检测方法，运用N-gram语言模型计算概率，并运用词向量计算该词与前后语境词的关联度，以减少错别字的误报率。步骤为：
1)首先利用jieba分词器对目标文书S进行分词，分词后得到的文书元素记为Si；
2)计算文书元素Si的上下文语境的搭配关联度T；
搭配关联度T的计算方法是：
Figure GDA0003480654760000021
其中，TL和TR分别代表元素Si与上文的左关联度和与下文的右关联度；
Figure GDA0003480654760000022
表示元素Si和上文语境(S1,S2,S3,...,Si-1)组合在语境中出现的概率
Figure GDA0003480654760000023
表示元素Si和下文语境(Si+1,Si+2,Si+3,...,Sn)组合在语境中出现的概率
Figure GDA0003480654760000024
Kmax为词汇组合出现概率的最大值。
3)对搭配关联度T低于阈值的元素，利用词向量得出与元素Si的语义最接近的词S'并将其放入原始的语境中，再次计算其搭配关联度T'；
4)计算Si所在上下文语境的概率
Figure GDA0003480654760000025
根据条件概率公式，Si所在上下文语境的概率
Figure GDA0003480654760000026
的计算方法是：
Figure GDA0003480654760000027
其中，Si-M、Si+M分别表示与当前词Si前后距离为M的词。
5)运用综合搭配关联度和概率的错别字检测函数
Figure GDA0003480654760000028
来判断评论中是否含有错别字。
Figure GDA0003480654760000029
的计算公式如下：
Figure GDA0003480654760000031
其中，λ1、λ2表示搭配关联度和概率所占比重，0<λ1<1，0<λ2<1。null表示不存在的情况。
格式完整性和内容规范性检查采用命名实体识别技术结合预设规则的方法，对目标裁判文书格式和文书基本信息、当事人信息、审理经过、诉辩称内容、本院认为内容、裁判结果内容六部分进行格式完整性和内容规范性检查。
法条援引准确性采用Text－CNN模型建立法条检测模型。首先对目标裁判文书进行分词处理后，利用skip-gram模型训练词向量，利用Text－CNN模型进行法条援引准确性检测。
内容逻辑性分析指标采用在语境中的上下文语境搭配关联度T，若该值小于设定阈值，则标记为逻辑问题文本。
进一步，所述第四步裁判文书指标打分部分，获取裁判文书五个指标打分数据，包括：错别字筛查、格式完整性、内容规范性、法条援引准确性、内容逻辑性。根据各指标项的计算处理逻辑，对每个案件的各指标项进行计算处理，得到目标裁判文书的五个指标数据的得分。
进一步，所述第五步裁判文书质量综合评价部分，对目标裁判文书质量进行综合评价。通过大数据挖掘分析及结合专家经验，建立裁判文书质量评测综合得分计算模型，根据裁判文书质量评测综合得分计算模型，计算目标裁判文书的综合评测得分。
本发明的第二方面提供了一种裁判文书质量评测的装置，包括：
裁判文书录入模块，用于录入电子化的裁判文书，并把它传输给裁判文书解析模块。自录的裁判文书格式主要支持doc、docx及txt格式，其它格式的裁判文书，需要进行格式转换到doc、docx及txt格式。录入方式还支持通过输入文书案号检索自动获取对应的裁判文书方式录入。
裁判文书解析模块，主要完成对裁判文书的分段解析，解析结果传输给裁判文书指标分析模块。
裁判文书指标分析模块，提供对输入的解析后的分段裁判文书内容进行指标项分析功能，并把分析结果传输给裁判文书指标打分模块。
裁判文书指标打分模块，根据各指标项的计算处理逻辑，对每个案件的各指标项进行计算处理；统计分析目标裁判文书的各指标项计算结果，得到目标裁判文书的案件监控指标数据；
裁判文书质量综合评价模块，根据裁判文书质量评测综合计分模型，计算目标裁判文书综合计分值。
本发明实施例与现有的技术相比，存在的有益效果是：建立了裁判文书质量评测指标体系；能够获取裁判文书质量评测指标数据；根据裁判文书质量评测综合计分模型，计算各裁判文书质量综合计分值；根据裁判文书质量评测的方法对存在格式不完整、证据论证法律援引错误及存在错别字的文书进行预警和防范，通过计算机***自动化运行实现了对裁判文书质量评测的方法情况监管。其不仅可以及时监测预警防范文书中存在的错误，而且在节约人力成本同时，对裁判文书质量检查的时效性得到大大提高。
附图说明
图1是本发明实施例提供的一种裁判文书质量评测的方法的实现流程示意图；
图2是本发明实施例提供的一种裁判文书质量评测的装置的组成框图。
具体实施方式：
为使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图和具体实施例对本申请提供的一种裁判文书质量评测的方法和装置作进一步详细描述。应理解下述的具体实施例说明仅用于说明本发明而不用于限制本发明的范围。
图1是本发明实施例提供的一种裁判文书质量评测的方法的实现流程示意图，详述如下：
S101，裁判文书录入。
在本发明实施例中，支持上传录入和输入文书案号获取功能。自行录入主要支持doc、docx及txt格式，其它格式的裁判文书，需要进行格式转换到doc、docx及txt格式。输入文书案号检索支持法官根据输入的案号自动获取对应的裁判文书，其中获取相关裁判文书涉及到的数据源，包括且不限于：人民法院审判流程管理***、人民法院电子卷宗管理***。
S102，目标裁判文书解析。
裁判文书解析命名实体识别技术结合预设规则的方法分别解析出基本信息、当事人信息、审理经过、诉辩称内容、本院认为内容、裁判结果内容等几部分。基本信息包括裁判文书中标题的法院名称、文书名称和案号；正文的首部、事实、理由、裁判依据、裁判主文、尾部；落款的署名和日期。
S103，目标裁判文书指标分析。
裁判文书指标分析部分，采用自然语言处理的方法和机器学习算法对第二步解析出的基本信息、当事人信息、审理经过、诉辩称内容、本院认为内容、裁判结果内容等几部分内容的：错别字筛查、格式完整性、内容规范性、法条援引准确性、内容逻辑性五个指标进行分析。其中，错别字筛查训练词向量时采用语义测试性能较好，对单个词汇的描述更精准的N-gram语言模型。格式完整性和内容规范性利用命名实体识别技术结合预设规则对裁判文书格式和文书基本信息、当事人信息、审理经过、诉辩称内容、本院认为内容、裁判结果内容六部分内容规范性检查。法条援引准确性采用Text－CNN模型建立法条检测模型，文书进行分词处理后，利用skip-gram模型训练词向量，利用Text－CNN模型进行法条援引检测。内容逻辑性分析指标采用在语境中的上下文语境搭配关联度T，若该值小于设定阈值，则标记为逻辑问题文本。
S104，裁判文书指标打分模块，在五个指标项的分析处理基础上采用基于权重机制对每个案件的各指标项进行计算处理，这里各部分的权重可根据实际文书评测重点进行调整。统计分析各指标项计算结果，得到目标裁判文书的案件监控指标数据。
S105，裁判文书质量综合评价。
裁判文书质量综合评价部分，对目标裁判文书质量进行综合评价。通过大数据挖掘分析及结合专家经验，建立裁判文书质量评测综合计分模型，计算目标裁判文书综合计分值。
其中通过大数据挖掘分析及结合专家经验，建立裁判文书质量评测综合计分模型，具体是指：将获得的目标裁判文书五个指标数据，进行数学建模，再结合专家经验进行参数及权重的微调，构建裁判文书质量评测综合计分模型。
图2是本发明实施例提供的一种裁判文书质量评测的装置的组成框图，包括：
S201，裁判文书录入模块，用于支持上传目标待评测文书或输入案号检索待评测裁判文书。自行录入主要支持doc、docx及txt格式，其它格式的裁判文书，需要进行格式转换到doc、docx及txt格式。输入文书案号检索支持法官根据输入的案号自动获取对应的裁判文书。该模块实现了裁判文书自行录入或案号检索获取功能。
S202，裁判文书解析模块，利用规则的方法和命名实体识别技术实现解析出基本信息、当事人信息、审理经过、诉辩称内容、本院认为内容、裁判结果内容等部分的功能。
S203，裁判文书指标分析模块，面向错别字筛查、格式完整性、内容规范性、法条援引准确性、内容逻辑性五个指标采用自然语言处理和机器学习方法实现裁判文书指标分析功能。
S204，裁判文书指标打分模块，根据各指标项的计算处理逻辑，对每个案件的各指标项进行计算处理；统计分析裁判文书的各指标项计算结果，实现裁判文书各指标打分数据功能；
S205，裁判文书质量综合评价模块，根据裁判文书质量评测综合计分模型，实现计算目标裁判文书综合计分值功能。
基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
本发明未详细阐述的部分属于本领域技术人员的公知技术。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：其对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并没有从本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (9)

1.一种裁判文书质量评测的方法，其特征在于，包括以下步骤：
录入待评测的目标裁判文书；
对目标裁判文书进行解析；
对解析得到的内容进行指标分析，所述指标分析包括错别字筛查、格式完整性分析、内容规范性分析、法条援引准确性分析、内容逻辑性分析；
根据指标分析的结果进行指标项得分计算；
根据各指标项得分计算目标裁判文书的质量的综合评测得分；
所述错别字筛查，包括以下步骤：
1)利用分词器对目标文书S进行分词，分词后得到的文书元素记为Si；
2)计算文书元素Si的上下文语境的搭配关联度T；搭配关联度T的计算方法是：
Figure FDA0003480654750000011
其中，TL和TR分别代表元素Si与上文的左关联度和与下文的右关联度；
Figure FDA0003480654750000012
表示元素Si和上文语境(S1,S2,S3,...,Si-1)组合在语境中出现的概率
Figure FDA0003480654750000013
Figure FDA0003480654750000014
表示元素Si和下文语境(Si+1,Si+2,Si+3,...,Sn)组合在语境中出现的概率
Figure FDA0003480654750000015
Kmax为词汇组合出现概率的最大值；
3)对搭配关联度T低于阈值的元素，利用词向量得出与元素Si的语义最接近的词S'并将其放入原始的语境中，再次计算其搭配关联度T'；
4)计算Si所在上下文语境的概率
Figure FDA0003480654750000016
根据条件概率公式，Si所在上下文语境的概率
Figure FDA0003480654750000017
的计算方法是：
Figure FDA0003480654750000018
其中，Si-M、Si+M分别表示与当前词Si前后距离为M的词；
5)运用综合搭配关联度和概率的错别字检测函数
Figure FDA0003480654750000019
来判断评论中是否含有错别字，
Figure FDA00034806547500000110
的计算公式如下：
Figure FDA00034806547500000111
其中，λ1、λ2表示搭配关联度和概率所占比重，0<λ1<1，0<λ2<1。
2.根据权利要求1所述的方法，其特征在于，所述录入待评测的目标裁判文书，包括：上传裁判文书；或者根据输入的案号自动获取对应的裁判文书。
3.根据权利要求1所述的方法，其特征在于，所述对目标裁判文书进行解析，包括：采用规则识别结合机器学习模型识别的方式分别解析出基本信息、当事人信息、审理经过、诉辩称内容、本院认为内容、裁判结果内容。
4.根据权利要求1所述的方法，其特征在于，所述格式完整性分析和所述内容规范性分析，采用命名实体识别技术结合预设规则的方法，对目标裁判文书的格式和基本信息、当事人信息、审理经过、诉辩称内容、本院认为内容、裁判结果内容进行格式完整性和内容规范性检查；所述法条援引准确性分析，采用Text－CNN模型建立法条检测模型，首先对目标裁判文书进行分词处理后，利用skip-gram模型训练词向量，然后利用Text－CNN模型进行法条援引准确性检测；所述内容逻辑性分析，采用在语境中的上下文语境搭配关联度T，若该T的值小于设定阈值，则标记为逻辑问题文本。
5.根据权利要求1所述的方法，其特征在于，所述根据指标分析的结果进行指标项得分计算，包括：获取各指标项的打分数据，根据各指标项的计算处理逻辑，对各指标项进行计算处理，得到目标裁判文书的五个指标项的得分。
6.根据权利要求1所述的方法，其特征在于，所述根据各指标项得分计算目标裁判文书的质量的综合评测得分，包括：通过大数据挖掘分析及结合专家经验，建立裁判文书质量评测综合得分计算模型，根据裁判文书质量评测综合得分计算模型，计算目标裁判文书的综合评测得分。
7.一种采用权利要求1～6中任一权利要求所述方法的裁判文书质量评测的装置，其特征在于，包括：
裁判文书录入模块，用于录入待评测的目标裁判文书，并传输给裁判文书解析模块；
裁判文书解析模块，用于对目标裁判文书进行解析，并将解析结果传输给裁判文书指标分析模块；
裁判文书指标分析模块，用于对解析得到的内容进行指标分析，并将指标分析结果传输给裁判文书指标打分模块；所述指标分析包括错别字筛查、格式完整性分析、内容规范性分析、法条援引准确性分析、内容逻辑性分析；
裁判文书指标打分模块，用于根据指标分析的结果进行指标项得分计算，并将指标项得分计算结果传输给裁判文书质量综合评价模块；
裁判文书质量综合评价模块，用于根据各指标项得分计算目标裁判文书的质量的综合评测得分。
8.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～6中任一权利要求所述方法的指令。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～6中任一权利要求所述的方法。
CN202110163510.0A 2021-02-05 2021-02-05 一种裁判文书质量评测的方法和装置 Active CN113378542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110163510.0A CN113378542B (zh) 2021-02-05 2021-02-05 一种裁判文书质量评测的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110163510.0A CN113378542B (zh) 2021-02-05 2021-02-05 一种裁判文书质量评测的方法和装置

Publications (2)

Publication Number Publication Date
CN113378542A CN113378542A (zh) 2021-09-10
CN113378542B true CN113378542B (zh) 2022-04-01

Family

ID=77570580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110163510.0A Active CN113378542B (zh) 2021-02-05 2021-02-05 一种裁判文书质量评测的方法和装置

Country Status (1)

Country Link
CN (1) CN113378542B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699766A (zh) * 2015-02-15 2015-06-10 浙江理工大学 一种融合词语关联关系和上下文语境推断的隐式属性挖掘方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108255803B (zh) * 2016-12-29 2022-03-01 北京国双科技有限公司 文档情感的判断方法和装置
CN110851591A (zh) * 2019-09-17 2020-02-28 河北省讯飞人工智能研究院 一种裁判文书的质量评估方法、装置、设备及存储介质
CN111581447A (zh) * 2020-05-11 2020-08-25 吉林大学 一种裁判文书评查方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699766A (zh) * 2015-02-15 2015-06-10 浙江理工大学 一种融合词语关联关系和上下文语境推断的隐式属性挖掘方法

Also Published As

Publication number Publication date
CN113378542A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN110516067B (zh) 基于话题检测的舆情监控方法、***及存储介质
US10198431B2 (en) Information relation generation
WO2016125310A1 (ja) データ分析システムおよびデータ分析方法並びにデータ分析プログラム
CN110675023B (zh) 一种基于神经网络的诉讼请求合理性预测模型训练方法和预测方法及装置
CN111581956B (zh) 基于bert模型和k近邻的敏感信息识别方法及***
CN112765974B (zh) 一种业务辅助方法、电子设备及可读存储介质
CN112035846A (zh) 一种基于文本分析的未知漏洞风险评估方法
US20210174029A1 (en) Linguistic analysis of differences in portrayal of movie characters
US20170140289A1 (en) Automatically Assessing Question Answering System Performance Across Possible Confidence Values
KR20190002202A (ko) 학습 기반의 비속어 탐지 장치 및 방법
Boishakhi et al. Multi-modal hate speech detection using machine learning
US20200272696A1 (en) Finding of asymmetric relation between words
CN111159405B (zh) 基于背景知识的讽刺检测方法
CN112711693B (zh) 一种基于多特征融合的诉讼线索挖掘方法及***
Chaparro et al. Sentiment analysis of social network content to characterize the perception of security
CN114662477A (zh) 基于中医对话的停用词表生成方法、装置及存储介质
Kour et al. Predicting the language of depression from multivariate twitter data using a feature‐rich hybrid deep learning model
CN112562736B (zh) 一种语音数据集质量评估方法和装置
Nahar et al. Cyberbullying Detection and Recognition with Type Determination Based on Machine Learning.
Suryaningrum Comparison of the TF-IDF method with the count vectorizer to classify hate speech
CN117312514A (zh) 咨询答复方法、装置及计算机可读取存储介质
CN113378542B (zh) 一种裁判文书质量评测的方法和装置
CN113886529A (zh) 一种面向网络安全领域的信息抽取方法及其***
Tao et al. Mining Pain Points from Hotel Online Comments Based on Sentiment Analysis
Retnoningrum et al. Stance Analysis of Policies Related to Emission Test Obligations using Twitter Social Media Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant