CN113011164A - 数据质量检测方法、装置、电子设备及介质 - Google Patents
数据质量检测方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113011164A CN113011164A CN202110283424.3A CN202110283424A CN113011164A CN 113011164 A CN113011164 A CN 113011164A CN 202110283424 A CN202110283424 A CN 202110283424A CN 113011164 A CN113011164 A CN 113011164A
- Authority
- CN
- China
- Prior art keywords
- data set
- original data
- value
- fluency
- confusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 73
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000006854 communication Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Operations Research (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Game Theory and Decision Science (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Tourism & Hospitality (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
Abstract
本发明涉及数据处理技术，揭露一种数据质量检测方法，包括：获取原始数据集，利用预构建的流畅度分析模型对原始数据集进行流畅度处理，得到流畅度值，利用预构建的语言模型对原始数据集进行困惑度分析，得到困惑度值，利用预构建的语法检测模型对原始数据集进行正确度检测处理，得到正确度值，利用预构建的监督模型对原始数据集中的对话数据进行匹配度检测，得到匹配度值；根据流畅度值、困惑度值、正确度值和匹配度值，分析得到原始数据集质量得分。本发明还涉及区块链技术，所述原始数据集质量得分可以存储在区块链节点中。本发明还揭露一种数据质量检测装置、电子设备及存储介质。本发明可以提高数据质量检测的准确性。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种数据质量检测方法、装置、电子设备及计算机可读存储介质。
背景技术
对话是每天都会发生的行为，对话数据的质量对于评估整个对话数据集具有重要的意义，目前，学术界和产业界评测对话数据集的主要方式有人工测评和基于机器学***，另外，考虑到人工的成本、时间等因素，人工评测方式的代价是比较高的。而于统计或机器学习模型自动评测考虑到对话数据与通用语料分布存在差异，评测结果往往会低估数据集的质量。总的来说，目前的对话数据集质量评测方案，考虑的维度还比较少，导致数据质量检测的准确性不高。
发明内容
本发明提供一种数据质量检测方法、装置、电子设备及计算机可读存储介质，其主要目的在于解决对话数据集质量评测中考虑维度较少的问题。
为实现上述目的，本发明提供的一种数据质量检测方法，包括：
获取原始数据集，其中，所述原始数据集包括对话数据；
利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值；
利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值；
将所述原始数据集中的文本切分为N个句子，利用预构建的语法检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子，并计算得到所述原始数据集的正确度值；
通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值；
根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。
可选地，所述利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值，包括：
利用预设的采样方法从所述原始数据集随机抽取预设数量的句子，得到句子集；
将所述句子集输出给用户，并提示用户基于阅读时的主观感受对所述句子集中的每个句子执行评分，根据所述用户的评分得到评分集；
对所述评分集进行均值处理，得到所述评分集的均值；
对所述均值进行标幺化处理，得到所述原始数据集的流畅度值。
可选地，所述对所述均值进行标幺化处理，得到所述原始数据集的流畅度值，包括：
预设一个标幺值；
根据所述标幺值对所述均值进行平分，得到所述原始数据集的流畅度值。
可选地，所述利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值之前，还包括：
构建原始BERT模型；
在所述原始BERT模型内添加注意力机制，得到初级BERT模型；
利用预构建分类函数连接所述初级BERT模型，得到所述语言模型。
可选地，所述利用预构建的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值，包括：
利用所述初级BERT模型计算所述原始数据集中文本的分布式表示，并利用所述分类函数计算所述文本中的字或词在时间上的概率分布p(tokent)；
利用第一预设公式计算所述原始数据集的困惑度值。
可选地，所述利用第一预设公式计算所述原始数据集的困惑度值，包括：
利用下述第一预设公式计算所述困惑度值：
其中，T为所述文本中所有字或词总数量。
可选地，所述通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值，包括：
使用预设领域的对话数据构造包含正负例的分类器训练数据集；
利用所述训练数据集训练一个分类器，得到监督模型；
获取所述原始数据集中的每一对对话数据，利用所述监督模型计算所述对话数据的匹配度；
利用第二预设公式计算得到所述原始数据集的匹配度值。
为了解决上述问题，本发明还提供一种数据质量检测装置，所述装置包括：
原始数据集获取模块，用于获取原始数据集，其中，所述原始数据集包括对话数据；
流畅度分析模块，用于利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值；
困惑度分析模块，用于利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值；
正确度分析模块，用于将所述原始数据集中的文本切分为N个句子，利用预构建的语法检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子，并计算得到所述原始数据集的正确度值；
匹配度分析模块，用于通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值；
质量得分计算模块，用于根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的数据质量检测方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的数据质量检测方法。
本发明实施例对所述原始数据集进行流畅度处理，得到流畅度值；对所述原始数据集进行困惑度分析，得到困惑度值；对所述原始数据集进行正确度检测处理，得到正确度值；对所述原始数据集中的对话数据进行匹配度检测，得到匹配度值；并根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。本发明实施例从对话数据的流畅度、困惑度、正确度和匹配度四个维度对对话数据进行分析计算，得到对话数据的质量得分。因此本发明提出的数据质量检测方法、装置及计算机可读存储介质，可以提高数据质量检测方法的准确率。
附图说明
图1为本发明一实施例提供的数据质量检测方法的流程示意图；
图2为图1所示的数据质量检测方法中其中一个步骤的流程示意图；
图3为本发明一实施例提供的数据质量检测装置的模块示意图；
图4为本发明一实施例提供的实现数据质量检测方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种数据质量检测方法。所述数据质量检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述数据质量检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示，为本发明实施例提供的一种数据质量检测方法的流程示意图。在本实施例中，所述数据质量检测方法包括：
S1、获取原始数据集，其中，所述原始数据集包括对话数据。
本发明实施例中，所述原始数据集包括对话数据，对话数据是业务场景中人类交流过程中产生的数据，是训练人机交互***的重要数据。
较佳地，本发明实施例可以利用具有数据抓取功能的python语句从包含多种数据的互联网中进行数据抓取，得到原始数据集。
S2、利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值。
本发明实施例中，参阅图2所示，所述利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值，包括：
S21、利用预设的采样方法从所述原始数据集随机抽取预设数量的句子，得到句子集S＝(s1,…,sK)，其中，K为抽取的句子的数量。
S22、将所述句子集输出给用户，并提示用户基于阅读时的主观感受对所述句子集中的每个句子执行评分，根据所述用户的评分得到评分集F＝(f1,…,fK)；
S23、对所述评分集进行均值处理，得到所述评分集的均值；
S24、对所述均值进行标幺化处理，得到所述原始数据集的流畅度值。
较佳地，本发明实施例利用下述均值公式对所述评分集进行均值处理：
其中，
为均值，K为句子的数量，fk为对第k个句子的评分。
详细地，本发明实施例利用预设值作为标幺值，对所述均值进行标幺化处理：
预设一个标幺值；
根据所述标幺值对所述均值进行平分，得到所述原始数据集的流畅度值。
优选地，本发明实施例中标幺值可为5。
详细地，对所述均值进行标幺化处理是为了避免量纲的影响，保证后续数据计算的准确性。
S3、利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值。
本发明另一个实施例中，所述利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值之前，还包括：
步骤A：构建原始BERT(BidirectionalEncoderRepresentationsfromTransformer)模型；
步骤B：在所述原始BERT模型内添加注意力机制，得到初级BERT模型；
步骤C：利用预构建分类函数连接所述初级BERT模型，得到所述语言模型。
所述BERT模型是一个语言表征模型。
其中，所述注意力机制(Attention)是机器学习中的一种数据处理方法、广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。
具体地，所述在所述原始BERT模型内添加注意力机制是将注意力机制添加到所述原始BERT模型中的隐藏层，以更好地提取关键信息。
优选地，所述分类函数可以是softmax函数。
其中，通过使用所述softmax分类器对所述原始数据集进行分类，来对所述语言模型进行训练和测试，进而实现困惑度分析。
具体地，所述利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值，包括：
利用所述初级BERT模型计算所述原始数据集中文本的分布式表示，并利用所述分类函数计算所述文本中的字或词在时间上的概率分布p(tokent)；及利用下述第一预设公式计算所述原始数据集的困惑度值PP(s)：
其中，T为所述文本中所有字或词总数量。
S4、将所述原始数据集中的文本切分为N个句子，利用预构建的语法检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子，并计算得到所述原始数据集的正确度值。
本发明实施例中，所述将所述原始数据集中的文本切分为N个句子，利用预构建的语法检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子，并计算得到所述原始数据集的正确度值，
利用下述的正确度计算公式计算所述原始数据集的正确度值：
其中，precision为正确度，M为不存在语法错误的句子个数，N为句子集的数量。
S5、通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值。
本发明实施例中，所述通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值，包括：
使用预设领域的对话数据构造包含正负例的分类器训练数据集；
利用所述训练数据集训练一个分类器，得到监督模型；
获取所述原始数据集中的每一对对话数据(sn-1sn)，利用所述监督模型计算所述对话数据(sn-1sn)的匹配度(snmatchsn-1)；
利用下述第二预设公式计算得到所述原始数据集的匹配度值:
其中，matchScore为匹配度，N为原始数据集中的总数，sn和sn-1为所述原始数据集中的任意两个句子。
S6、根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。
本发明实施例中，所述根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分，包括：
score＝α1*fluency+α2*perplexity+α3*precision+α4*matchScore
其中，score为质量得分，fluency为流畅度，perplexity为困惑度，precision为正确度，matchScore为匹配度，α1、α2、α3和α4均为预设的参数。
本发明实施例根据所述所述原始数据集质量得分判断数据质量，当所述所述原始数据集质量得分大于预设的得分阈值时，说明所述原始数据集的数据质量水平高，若所述所述原始数据集质量得分小于或者等于预设的得分阈值时，说明所述原始数据集的数据质量水平低。
本发明其中一个实施例中，所述原始数据集质量得分可以存储在区块链节点中。
本发明实施例对所述原始数据集进行流畅度处理，得到流畅度值；对所述原始数据集进行困惑度分析，得到困惑度值；对所述原始数据集进行正确度检测处理，得到正确度值；对所述原始数据集中的对话数据进行匹配度检测，得到匹配度值；并根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。本发明实施例从对话数据的流畅度、困惑度、正确度和匹配度四个维度对对话数据进行分析计算，得到对话数据的质量得分。因此本发明可以提高数据质量检测方法的准确率。
如图3所示，是本发明数据质量检测装置的模块示意图。
本发明所述数据质量检测装置100可以安装于电子设备中。根据实现的功能，所述数据质量检测装置100可以包括原始数据集获取模块101、流畅度分析模块102、困惑度分析模块103、正确度分析模块104、匹配度分析模块105、质量得分计算模块106。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述原始数据集获取模块101，用于获取原始数据集，其中，所述原始数据集包括对话数据；
所述流畅度分析模块102，用于利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值；
所述困惑度分析模块103，用于利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值；
所述正确度分析模块104，用于将所述原始数据集中的文本切分为N个句子，利用预构建的语法检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子，并计算得到所述原始数据集的正确度值；
所述匹配度分析模块105，用于通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值；
所述质量得分计算模块106，用于根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。
详细地，所述数据质量检测装置100中的各模块在由电子设备的处理器所执行时，可以实现包括下述步骤的数据质量检测方法：
步骤一、所述原始数据集获取模块101获取原始数据集，其中，所述原始数据集包括对话数据。
本发明实施例中，所述原始数据集包括对话数据，对话数据是业务场景中人类交流过程中产生的数据，是训练人机交互***的重要数据。
较佳地，本发明实施例可以利用具有数据抓取功能的python语句从包含多种数据的互联网中进行抓取，得到原始数据集。
步骤二、所述流畅度分析模块102利用预设的采样方法从所述原始数据集中随机抽取预设数量的，句子对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值。
本发明实施例中，所述流畅度分析模块102通过下述操作执行对所述原始数据集进行流畅度处理：
步骤a：利用预设的采样方法从所述原始数据集随机抽取预设数量的句子，得到句子集S＝(s1,…,sK)，其中，K为抽取的句子的数量。
步骤b：将所述句子集输出给用户，并提示用户基于阅读时的主观感受对所述句子集中的每个句子执行评分，根据所述用户的评分得到评分集F＝(f1,…,fK)；
步骤c：对所述评分集进行均值处理，得到所述评分集的均值；
步骤d：对所述均值进行标幺化处理，得到所述原始数据集的流畅度值。
较佳地，本发明实施例利用下述均值公式对所述评分集进行均值处理：
其中，
为均值，K为句子的数量，fk为对第k个句子的评分。
详细地，本发明实施例利用预设值作为标幺值，对所述均值进行标幺化处理：
预设一个标幺值；
根据所述标幺值对所述均值进行平分，得到所述原始数据集的流畅度值。
优选地，本发明实施例中标幺值可为5。
详细地，对所述均值进行标幺化处理是为了避免量纲的影响，保证后续数据计算的准确性。
步骤三、所述困惑度分析模块103利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值。
本发明另一个实施例中，所述困惑度分析模块103还用于：
构建原始BERT(BidirectionalEncoderRepresentationsfrom Transformer)模型；在所述原始BERT模型内添加注意力机制，得到初级BERT模型；及利用预构建分类函数连接所述初级BERT模型，得到所述语言模型。本发明实施例中，所述BERT模型是一个语言表征模型。
其中，所述注意力机制(Attention)是机器学习中的一种数据处理方法、广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。
具体地，所述在所述原始BERT模型内添加注意力机制是将注意力机制添加到所述原始BERT模型中的隐藏层，以更好地提取关键信息。
进一步地，所述分类函数可以是softmax函数。
其中，通过使用所述softmax分类器对所述原始数据集进行分类，来对所述语言模型进行训练和测试，进而实现困惑度分析。
具体地，所述困惑度分析模块103采用下述操作对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值：
利用所述初级BERT模型计算所述原始数据集中文本的分布式表示，并利用所述分类函数计算所述文本中的字或词在时间上的概率分布p(tokent)；及利用下述第一预设公式计算所述原始数据集的困惑度值PP(s)：
其中，T为所述文本中所有字或词总数量。
步骤四、所述正确度分析模块104将所述原始数据集中的文本切分为N个句子，利用预构建的语法检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子，并计算得到所述原始数据集的正确度值。
本发明实施例中，所述正确度分析模块104通过下述操作对所述原始数据集进行正确度检测处理，得到所述原始数据集的正确度值：
将所述原始数据集中的文本切分为N个句子；
利用利用预构建的语法错误检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子；
利用下述的正确度计算公式计算所述原始数据集的正确度值：
其中，precision为正确度，M为不存在语法错误的句子个数，N为句子集的数量。
步骤五、所述匹配度分析模块105通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值。
本发明实施例中，所述匹配度分析模块105通过下述操作对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值：
使用预设领域的对话数据构造包含正负例的分类器训练数据集；
利用所述训练数据集训练一个分类器，得到监督模型；
获取所述原始数据集中的每一对对话数据(sn-1sn)，利用所述监督模型计算所述对话数据(sn-1sn)的匹配度(snmatchsn-1)；
利用下述第二预设公式计算得到所述原始数据集的匹配度值：
其中，matchScore为匹配度，N为原始数据集中的总数，sn和sn-1为所述原始数据集中的任意两个句子。
步骤六、所述质量得分计算模块106根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。
本发明实施例中，所述质量得分计算模块106通过下述公式计算得到所述原始数据集质量得分：
score＝α1*fluency+α2*perplexity+α3*precision+α4*matchScore
其中，Score为质量得分，fluency为流畅度，perplexity为困惑度，precision为正确度，matchScore为匹配度，α1、α2、α3和α4均为预设的参数。
本发明实施例根据所述所述原始数据集质量得分判断数据质量，当所述所述原始数据集质量得分大于预设的得分阈值时，说明所述原始数据集的数据质量水平高，若所述所述原始数据集质量得分小于或者等于预设的得分阈值时，说明所述原始数据集的数据质量水平低。
如图4所示，是本发明实现数据质量检测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如数据质量检测程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如数据质量检测程序12的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行数据质量检测程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的数据质量检测程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
获取原始数据集，其中，所述原始数据集包括对话数据；
利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值；
利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值；
将所述原始数据集中的文本切分为N个句子，利用预构建的语法检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子，并计算得到所述原始数据集的正确度值；
通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值；
根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种数据质量检测方法，其特征在于，所述方法包括：
获取原始数据集，其中，所述原始数据集包括对话数据；
利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值；
利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值；
将所述原始数据集中的文本切分为N个句子，利用预构建的语法检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子，并计算得到所述原始数据集的正确度值；
通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值；
根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。
2.如权利要求1所述的数据质量检测方法，其特征在于，所述利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值，包括：
利用预设的采样方法从所述原始数据集随机抽取预设数量的句子，得到句子集；
将所述句子集输出给用户，并提示用户基于阅读时的主观感受对所述句子集中的每个句子执行评分，根据所述用户的评分得到评分集；
对所述评分集进行均值处理，得到所述评分集的均值；
对所述均值进行标幺化处理，得到所述原始数据集的流畅度值。
3.如权利要求2述的数据质量检测方法，其特征在于，所述对所述均值进行标幺化处理，得到所述原始数据集的流畅度值，包括：
预设一个标幺值；
根据所述标幺值平分所述均值，得到所述原始数据集的流畅度值。
4.如权利要求1所述的数据质量检测方法，其特征在于，所述利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值之前，还包括：
构建原始BERT模型；
在所述原始BERT模型内添加注意力机制，得到初级BERT模型；
利用预构建分类函数连接所述初级BERT模型，得到所述语言模型。
5.如权利要求4所述的数据质量检测方法，其特征在于，所述利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值，包括：
利用所述初级BERT模型计算所述原始数据集中文本的分布式表示，并利用所述分类函数计算所述文本中的字或词在时间上的概率分布p(tokent)；
利用第一预设公式计算所述原始数据集的困惑度值。
6.如权利要求5所述的数据质量检测方法，其特征在于，所述利用第一预设公式计算所述原始数据集的困惑度值，包括：
利用下述第一预设公式计算所述困惑度值：
其中，T为所述文本中所有字或词总数量。
7.如权利要求1所述的数据质量检测方法，其特征在于，所述通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值，包括：
使用预设领域的对话数据构造包含正负例的分类器训练数据集；
利用所述训练数据集训练一个分类器，得到监督模型；
获取所述原始数据集中的每一对对话数据，利用所述监督模型计算所述对话数据的匹配度；
利用第二预设公式计算得到所述原始数据集的匹配度值。
8.一种数据质量检测装置，其特征在于，所述装置包括：
原始数据集获取模块，用于获取原始数据集，其中，所述原始数据集包括对话数据；
流畅度分析模块，用于利用预设的采样方法从所述原始数据集中随机抽取预设数量的句子，对所述句子进行流畅度评分，根据所述流畅度评分，得到所述原始数据集的流畅度值；
困惑度分析模块，用于利用预构建的添加注意力机制的语言模型对所述原始数据集进行困惑度分析，得到所述原始数据集的困惑度值；
正确度分析模块，用于将所述原始数据集中的文本切分为N个句子，利用预构建的语法检测模型对所述N个句子进行检测，统计得到不存在语法错误的M个句子，并计算得到所述原始数据集的正确度值；
匹配度分析模块，用于通过训练包含正负例的分类器，得到监督模型，利用所述监督模型对所述原始数据集中的对话数据进行匹配度检测，得到所述原始数据集的匹配度值；
质量得分计算模块，用于根据所述流畅度值、所述困惑度值、所述正确度值和所述匹配度值，分析得到所述原始数据集质量得分。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的数据质量检测方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据质量检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110283424.3A CN113011164B (zh) | 2021-03-17 | 2021-03-17 | 数据质量检测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110283424.3A CN113011164B (zh) | 2021-03-17 | 2021-03-17 | 数据质量检测方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113011164A true CN113011164A (zh) | 2021-06-22 |
| CN113011164B CN113011164B (zh) | 2023-10-20 |
Family
ID=76408728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110283424.3A Active CN113011164B (zh) | 2021-03-17 | 2021-03-17 | 数据质量检测方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113011164B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114330556A (zh) * | 2021-12-29 | 2022-04-12 | 绍兴兰红智能科技有限公司 | 一种基于注意力和有效程度的bert模型打分方法 |
| CN116227894A (zh) * | 2023-05-06 | 2023-06-06 | 苏州市世为科技有限公司 | 一种人机交互运行质量监管*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070100636A1 (en) * | 2005-11-02 | 2007-05-03 | Makoto Hirota | Speech recognition apparatus |
| US20090234847A1 (en) * | 2008-03-11 | 2009-09-17 | Xanavi Informatics Comporation | Information retrieval apparatus, informatin retrieval system, and information retrieval method |
| US20200175961A1 (en) * | 2018-12-04 | 2020-06-04 | Sorenson Ip Holdings, Llc | Training of speech recognition systems |
| CN111832278A (zh) * | 2020-06-15 | 2020-10-27 | 北京百度网讯科技有限公司 | 文档流畅度的检测方法、装置、电子设备及介质 |
| CN112380845A (zh) * | 2021-01-15 | 2021-02-19 | 鹏城实验室 | 句子噪声设计方法、设备及计算机存储介质 |
-
2021
- 2021-03-17 CN CN202110283424.3A patent/CN113011164B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070100636A1 (en) * | 2005-11-02 | 2007-05-03 | Makoto Hirota | Speech recognition apparatus |
| US20090234847A1 (en) * | 2008-03-11 | 2009-09-17 | Xanavi Informatics Comporation | Information retrieval apparatus, informatin retrieval system, and information retrieval method |
| US20200175961A1 (en) * | 2018-12-04 | 2020-06-04 | Sorenson Ip Holdings, Llc | Training of speech recognition systems |
| CN111832278A (zh) * | 2020-06-15 | 2020-10-27 | 北京百度网讯科技有限公司 | 文档流畅度的检测方法、装置、电子设备及介质 |
| CN112380845A (zh) * | 2021-01-15 | 2021-02-19 | 鹏城实验室 | 句子噪声设计方法、设备及计算机存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114330556A (zh) * | 2021-12-29 | 2022-04-12 | 绍兴兰红智能科技有限公司 | 一种基于注意力和有效程度的bert模型打分方法 |
| CN116227894A (zh) * | 2023-05-06 | 2023-06-06 | 苏州市世为科技有限公司 | 一种人机交互运行质量监管*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113011164B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112016304A (zh) | 文本纠错方法、装置、电子设备及存储介质 | |
| WO2022160449A1 (zh) | 文本分类方法、装置、电子设备及存储介质 | |
| CN112185348A (zh) | 多语种语音识别方法、装置及电子设备 | |
| CN113378970B (zh) | 语句相似性检测方法、装置、电子设备及存储介质 | |
| CN112380343A (zh) | 问题解析方法、装置、电子设备及存储介质 | |
| CN113011164B (zh) | 数据质量检测方法、装置、电子设备及介质 | |
| CN113268615A (zh) | 资源标签生成方法、装置、电子设备及存储介质 | |
| CN111753089A (zh) | 话题聚类方法、装置、电子设备及存储介质 | |
| CN113064994A (zh) | 会议质量评估方法、装置、设备及存储介质 | |
| CN113504935A (zh) | 软件开发质量评估方法、装置、电子设备及可读存储介质 | |
| CN112883730A (zh) | 相似文本匹配方法、装置、电子设备及存储介质 | |
| CN113887930A (zh) | 问答机器人健康度评估方法、装置、设备及存储介质 | |
| CN113869456A (zh) | 采样监测方法、装置、电子设备及存储介质 | |
| CN113628043A (zh) | 基于数据分类的投诉有效性判断方法、装置、设备及介质 | |
| CN113808616A (zh) | 语音合规检测方法、装置、设备及存储介质 | |
| CN111460293B (zh) | 信息推送方法、装置及计算机可读存储介质 | |
| CN113254814A (zh) | 网络课程视频打标签方法、装置、电子设备及介质 | |
| CN112632260A (zh) | 智能问答方法、装置、电子设备及计算机可读存储介质 | |
| CN116739001A (zh) | 基于对比学习的文本关系提取方法、装置、设备及介质 | |
| CN116468025A (zh) | 电子病历结构化方法、装置、电子设备及存储介质 | |
| WO2022141838A1 (zh) | 模型置信度分析方法、装置、电子设备及计算机存储介质 | |
| CN113888265A (zh) | 产品推荐方法、装置、设备及计算机可读存储介质 | |
| CN115146064A (zh) | 意图识别模型优化方法、装置、设备及存储介质 | |
| CN111738005A (zh) | 命名实体对齐方法、装置、电子设备及可读存储介质 | |
| CN113515591A (zh) | 文本不良信息识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |