CN113177109A - 文本的弱标注方法、装置、设备以及存储介质 - Google Patents
文本的弱标注方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN113177109A CN113177109A CN202110587694.3A CN202110587694A CN113177109A CN 113177109 A CN113177109 A CN 113177109A CN 202110587694 A CN202110587694 A CN 202110587694A CN 113177109 A CN113177109 A CN 113177109A
- Authority
- CN
- China
- Prior art keywords
- text
- word
- classified
- vocabulary
- words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000002441 reversible effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000007726 management method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 240000005561 Musa balbisiana Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明提供了一种文本的弱标注方法、装置、设备以及存储介质，其中，方法包括：获取待分类文本，并从所述待分类文本中提取出标签词；从所述待分类文本中挑选出含有所述标签词的目标句子；通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率；根据各个词替换所述标签词的概率，从所述预设词库中选取第一预设个数的目标词汇；检测各个类别的预设词典中的词汇与所述目标词汇的重合个数；将所述重合个数大于第二预设个数对应的预设词典所在的目标类别作为所述待分类文本的弱标注。本发明的有益效果：实现了对文本的自动化标注，缩短了标注周期，减小了人力资源的投入。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种文本的弱标注方法、装置、设备以及存储介质。
背景技术
目前的基于深度学习的文本分类往往都需要高质量且具有一定规模的有标数据，高质量的有标数据都是人工进行标注的。然人工标注存在成本高，标注周期长的问题，无法满足业务的即时需求。针对数据不足的问题，现有技术中一般采用文本增强的方式，对已有的有标数据进行文本增强，对文本进行扩充。但是文本增强的方式仍需要耗费大量的人力资源。
发明内容
本发明的主要目的为提供一种文本的弱标注方法、装置、设备以及存储介质，旨在解决人工标注存在成本高，标注周期长的问题。
本发明提供了一种文本的弱标注方法，包括：
获取待分类文本，并从所述待分类文本中提取出标签词；
从所述待分类文本中挑选出含有所述标签词的目标句子；
通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率；
根据各个词替换所述标签词的概率，从所述预设词库中选取第一预设个数的目标词汇；
检测各个类别的预设词典中的词汇与所述目标词汇的重合个数；
将所述重合个数大于第二预设个数对应的预设词典所在的目标类别作为所述待分类文本的弱标注。
本发明还提供了一种文本的弱标注装置，包括：
提取模块，用于获取待分类文本，并从所述待分类文本中提取出标签词；
挑选模块，用于从所述待分类文本中挑选出含有所述标签词的目标句子；
替换模块，用于通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率；
选取模块，用于根据各个词替换所述标签词的概率，从所述预设词库中选取第一预设个数的目标词汇；
检测模块，用于检测各个类别的预设词典中的词汇与所述目标词汇的重合个数；
弱标注模块，用于将所述重合个数大于第二预设个数对应的预设词典所在的目标类别作为所述待分类文本的弱标注。
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本发明的有益效果：通过从待分类文本中提取关键词，并挑选出具有关键词的目标句子，并预测预设词库中替换标签词的概率，选取目标词汇，并根据目标词汇得到对应的类别，将该类别对待分类文本进行弱标注，从而实现了对文本的进行弱标注，缩短了标注周期，实现了对文本的自动化标注，减小了人力资源的投入。
附图说明
图1是本发明一实施例的一种文本的弱标注方法的流程示意图；
图2是本发明一实施例的一种文本的弱标注装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后等)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变，所述的连接可以是直接连接，也可以是间接连接。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1，本发明提出一种文本的弱标注方法，包括：
S1：获取待分类文本，并从所述待分类文本中提取出标签词；
S2：从所述待分类文本中挑选出含有所述标签词的目标句子；
S3：通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率；
S4：根据各个词替换所述标签词的概率，从所述预设词库中选取第一预设个数的目标词汇；
S5：检测各个类别的预设词典中的词汇与所述目标词汇的重合个数；
S6：将所述重合个数大于第二预设个数对应的预设词典所在的目标类别作为所述待分类文本的弱标注。
如上述步骤S1所述，获取待分类文本，并从所述待分类文本中提取出标签词。其中，获取待分类文本的方式可以是直接获取用户输入的待分类文本，也可以是从文本数据库中获取，或者从设备上获取。而提取标签词的方式，可以是先对待分类文本通过预设的分词工具进行分词处理，然后根据各个词语的个数，找出频数最高的词语作为标签词进行提取，在一些实施例中，有的待分类文本中，其标签词具有相对应的标注，因此也可以根据待分类文本中的标注直接进行获取。
如上述步骤S2所述，从所述待分类文本中挑选出含有所述标签词的目标句子。其中，由于标签词已经确定，故而依照该标签词在待分类文本中的位置，直接挑选出对应的目标句子。
如上述步骤S3所述，通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率。其中，预测模型为BERT模型，其经过大量的训练文本训练而成，即得到了标签词在句中前后的连贯度，然后寻找出对应相似的预设词库，该预测模型也可以是简单的类别识别模型，即可以得到标签词所属的类别，然后基于该类别找到对应的预设词库，再将预设词库中的词替换标签词，以便于后续进行检测。
如上述步骤S4所述，根据各个词替换所述标签词的概率，从所述预设词库中选取第一预设个数的目标词汇。根据各个词替换标签词的概率，该概率可以基于BERT模型得到，即BERT模型是计算词与词之间的关系，例如将“苹果”取代待分类文本中的“香蕉”，假设前文是一个“吃”字，那么“吃”和“苹果”之间一起出现的概率，则可以作为替换标签词的概率，然后根据各个词对应的概率大小，由小到大依次挑选出第一预设个数的目标词汇，例如为50个。
如上述步骤S5-S6所述，检测各个类别的预设词典中的词汇与所述目标词汇的重合个数，即在各个类别中事先存储了对应类别的类别词汇，然后可以根据目标词汇是否与类别词汇相同，(即目标词汇存在于预设词典中)，且目标词汇超过了第二预设个数，其中第二预设个数小于等于第一预设个数，例如为20个，那么可以认为该预设词典所对应的类别为待分类分本的类别，对其进行弱标注，以使后续进行更进一步地判断。
在一个实施例中，所述从所述待分类文本中提取出标签词的步骤S1，包括：
S101：将所述待分类文本输入至预设的分词工具中，得到各个第一词汇以及各个所述第一词汇对应的个数；
S102：根据所述第一词汇以及所述第一词汇所对应的个数，通过词频计算公式计算各个所述第一词汇的词频；
S103：根据公式
计算各个所述第一词汇对应的逆向文件频率；其中，D为所述待分类文本中的句子总数，{j：ti∈dj}表示所述待分类文本中包含所述第一词汇ti的句子数量，IDF表示所述逆向文件频率，ti表示第i个第一词汇，dj为第j个具有ti的句子；
S104：根据公式W＝IDF*TF计算各个第一词汇的权重；其中TF表示所述词频；
S105：选取所述权重最大的所述第一词汇作为所述标签词。
如上述步骤S101所述，将分类文本输入至预设的分词工具中，得到各个第一词汇以及各个所述第一词汇对应的个数。其中，预设的分词工具可以是jieba、SnowNLP、THULAC、NLPIR中的任意一种，将待分类文本输入，即可得到对应的第一词汇，然后再将各个第一词汇进行统计，即得到各个第一词汇所对应的个数。
如上述步骤S102所述，可以根据词频计算公式计算各个第一词汇的词频。其中词频计算公式为
其中，f(xi)表示第i个词所对应的个数，m表示待分类文档的词的总个数，F(xi)表示第i个词对应的词频。
如上述步骤S103-S105所述，然后根据公式计算各个第一词汇对应的逆向文本频率，其中逆向文本频率为考虑到单词区别不同类别的能力，一般认为一个单词出现的文本频数越小，其区别不同类别文本的能力越大，即其逆向文本频率也越大，因此，通过引入IDF，来计算各个第一词汇的权重，并选取权重最大的第一词汇作为标签词，从而可以提高自动选取标签词的准确性，使文本分析更加的顺畅。
在一个实施例中，所述通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率的步骤S3之前，还包括：
S201：将所述待分类文本中所有的标注删除，得到中间分类文本；
S202：基于所述标签词从知识库中筛选出多个相近词汇；
S203：将各个所述相近词汇依次替换所述中间分类文本中的所述标签词，并计算各个所述相近词汇替换后的语句通顺度；
S204：将所述语句通顺度大于预设通顺度对应的所述相近词汇作为属性词汇；
S205：根据各所述属性词汇构建所述预设词库。
如上述步骤S201所述，将待分类文本中所有的标注都删除，因为有些标注是对名词的解释，或者是与文本主题无关的其他标注，因此可能会对后续分类造成影响，故而可以先进行删除。
如上述步骤S202-S203所述，基于标签词，从知识库中筛选出多个相近词汇，即从数据库中筛选出与标签词词义相近的词汇，然后根据选取的词汇依次替代标签词，然后计算替换后的语句通顺度，其中，计算语句通顺度的方式后续有详细说明，此处不再赘述。
如上述步骤S204-S205所述，将所述语句通顺度大于预设通顺度对应的所述相近词汇作为属性词汇。其中，将语句通顺度大于预设通顺度的词汇，记为属性词汇，然后将各个属性词汇汇聚成预设词库，以便于后续根据该预设词库寻找符合要求的目标词汇，即本实施例为先对词汇进行预筛选，避免后续计算过多，而影响计算效率。
在一个实施例中，所述计算各个所述相近词汇替换后的语句通顺度的步骤S203，包括：
S2031：获取各所述相近词汇与除所述标签词外所述中间分类文本中其他的各个词汇出现的概率；
S2032：根据公式：
如上述步骤S2031-S2032所述，实现了对语句通顺度的计算，其中，可以根据对应的bert模型获取到各个词汇在一个句子中一起出现的概率，从而可以根据公式：
在一个实施例中，所述选取第一预设个数的目标词汇的步骤S4，还包括：
S401：检测选取的所述目标词汇以及所述标签词中是否具有相同词汇；
S402：若有，则从选取的所述目标词汇中删除对应的相同词汇；
S403：删除后按照各个词替换所述标签词的概率，从剩余词汇中挑选与删除的相同词汇数量的词汇，使选取的目标词汇的数目保持所述第一预设个数。
如上述步骤S401-S403所述，实现了对目标词汇的检查，即检测目标词汇和标签词中是否具有相同的词汇，若具有，则说明选取的目标词汇中有重复的词，或者有与标签词相同的词，这样会造成选取的目标词汇中选取的误差，也会对最终的类别判断会有一定的影响，因此需要将重复的词汇进行删除，并从剩余词汇中继续挑选，即按照概率的大小继续挑选出词汇以补充删除的相同词汇，保证具有第一预设个数的目标词汇，使各个待分类文本的判别标准一致，以减小误差。
在一个实施例中，所述将所述重合个数大于第二预设个数对应的预设词典所在的目标类别作为所述待分类文本的弱标注的步骤S6之后，还包括：
S701：获取所述目标类别中包含所有标签词的对比文本；
S702：根据相似度计算公式
计算所述待分类文本和所述对比文件的相似度值，I表示所述待分类文本，R表示对比文本，cos(I,R)表示所述相似度值，xi表示所述待分类文本的第i个词对应的个数，yi表示所述对比文本的第i个词对应的个数，n表示所述对比文本和所述待分类文本所包含词语的个数，
表示第i个词对应的权重；
S703：判断所述相似度值是否大于预设相似度值；
S704：若大于所述预设相似度值，则判定所述弱标注为所述待分类文本的强标注。
如上述步骤S701-S704所述，实现了对弱标注的检测，即获取到目标类别中含有标签词的对比文本，需要说明的是，该对比文本的标签词不一定与待分类文本的标签词相同，此举只是为了找取相同词汇的文本，使二者的相似度计算更好，由于词与词之间的顺序关系对相似度判断的影响因素较低，因此可以忽略掉词之间的顺序关系，根据各个词的个数以及对应的权重进行计算，当计算的相似度值越趋近于1，表明待分类文本和对比文本越相似，当计算的相似度值越趋近于-1，表明待分类文本和对比文本越不相似。因此可以设定一个预设相似度值，当相似度值大于该预设相似度值，可以认为该待分类文本与对比文本的类别基本上一致，因此，可以认为对比文件和待分类文本属于同一类别，将对应的弱标注转化为强标注。
参照图2，本发明还提供了一种文本的弱标注装置，包括：
提取模块10，用于获取待分类文本，并从所述待分类文本中提取出标签词；
挑选模块20，用于从所述待分类文本中挑选出含有所述标签词的目标句子；
替换模块30，用于通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率；
选取模块40，用于根据各个词替换所述标签词的概率，从所述预设词库中选取第一预设个数的目标词汇；
检测模块50，用于检测各个类别的预设词典中的词汇与所述目标词汇的重合个数；
弱标注模块60，用于将所述重合个数大于第二预设个数对应的预设词典所在的目标类别作为所述待分类文本的弱标注。
在一个实施例中，所述挑选模块20，包括：
输入子模块，用于将所述待分类文本输入至预设的分词工具中，得到各个第一词汇以及各个所述第一词汇对应的个数；
第一计算子模块，用于根据所述第一词汇以及所述第一词汇所对应的个数，通过词频计算公式计算各个所述第一词汇的词频；
第二计算子模块，用于根据公式
计算各个所述第一词汇对应的逆向文件频率；其中，D为所述待分类文本中的句子总数，{j：ti∈dj}表示所述待分类文本中包含所述第一词汇ti的句子数量，IDF表示所述逆向文件频率，ti表示第i个第一词汇，dj为第j个具有ti的句子；
第三计算子模块，用于根据公式W＝IDF*TF计算各个第一词汇的权重；其中TF表示所述词频；
选取子模块，用于选取所述权重最大的所述第一词汇作为所述标签词。
本发明的有益效果：通过从待分类文本中提取关键词，并挑选出具有关键词的目标句子，并预测预设词库中替换标签词的概率，选取目标词汇，并根据目标词汇得到对应的类别，将该类别对待分类文本进行弱标注，从而实现了对文本的进行弱标注，缩短了标注周期，实现了对文本的自动化标注，减小了人力资源的投入。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储各种类别的预设词典等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现上述任一实施例所述的文本的弱标注方法。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一实施例所述的文本的弱标注方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种文本的弱标注方法，其特征在于，包括：
获取待分类文本，并从所述待分类文本中提取出标签词；
从所述待分类文本中挑选出含有所述标签词的目标句子；
通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率；
根据各个词替换所述标签词的概率，从所述预设词库中选取第一预设个数的目标词汇；
检测各个类别的预设词典中的词汇与所述目标词汇的重合个数；
将所述重合个数大于第二预设个数对应的预设词典所在的目标类别作为所述待分类文本的弱标注。
2.如权利要求1所述的文本的弱标注方法，其特征在于，所述从所述待分类文本中提取出标签词的步骤，包括：
将所述待分类文本输入至预设的分词工具中，得到各个第一词汇以及各个所述第一词汇对应的个数；
根据所述第一词汇以及所述第一词汇所对应的个数，通过词频计算公式计算各个所述第一词汇的词频；
根据公式
计算各个所述第一词汇对应的逆向文件频率；其中，D为所述待分类文本中的句子总数，{j：ti∈dj}表示所述待分类文本中包含所述第一词汇ti的句子数量，IDF表示所述逆向文件频率，ti表示第i个第一词汇，dj为第j个具有ti的句子；
根据公式W＝IDF*TF计算各个第一词汇的权重；其中TF表示所述词频；
选取所述权重最大的所述第一词汇作为所述标签词。
3.如权利要求1所述的文本的弱标注方法，其特征在于，所述通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率的步骤之前，还包括：
将所述待分类文本中所有的标注删除，得到中间分类文本；
基于所述标签词从知识库中筛选出多个相近词汇；
将各个所述相近词汇依次替换所述中间分类文本中的所述标签词，并计算各个所述相近词汇替换后的语句通顺度；
将所述语句通顺度大于预设通顺度对应的所述相近词汇作为属性词汇；
根据各所述属性词汇构建所述预设词库。
4.如权利要求3所述的文本的弱标注方法，其特征在于，所述计算各个所述相近词汇替换后的语句通顺度的步骤，包括：
获取各所述相近词汇与除所述标签词外所述中间分类文本中其他的各个词汇出现的概率；
根据公式
计算得到所述语句通顺度，其中i＞1，i∈Z，c表示其中一个所述相近词汇，w1，w2，…，wt-1，wt，wt+1，…，wm表示所述待分类文本中各个词汇对应的值，wt表示标签词，
P(c|wi)表示所述相近词汇与第wi-1个词出现的概率，P(c|wi-1)表示所述相近词汇与第wi-1个词一起出现的概率。
5.如权利要求1所述的文本的弱标注方法，其特征在于，所述选取第一预设个数的目标词汇的步骤，还包括：
检测选取的所述目标词汇以及所述标签词中是否具有相同词汇；
若有，则从选取的所述目标词汇中删除对应的相同词汇；
删除后按照各个词替换所述标签词的概率，从剩余词汇中挑选与删除的相同词汇数量的词汇，使选取的目标词汇的数目保持所述第一预设个数。
6.如权利要求1所述的文本的弱标注方法，其特征在于，所述将所述重合个数大于第二预设个数对应的预设词典所在的目标类别作为所述待分类文本的弱标注的步骤之后，还包括：
获取所述目标类别中包含所有标签词的对比文本；
根据相似度计算公式
计算所述待分类文本和所述对比文件的相似度值，其中，I表示所述待分类文本，R表示对比文本，cos(I,R)表示所述相似度值，xi表示所述待分类文本的第i个词对应的个数，yi表示所述对比文本的第i个词对应的个数，n表示所述对比文本和所述待分类文本所包含词语的个数，
wi表示第i个词对应的权重；
判断所述相似度值是否大于预设相似度值；
若大于所述预设相似度值，则判定所述弱标注为所述待分类文本的强标注。
7.一种文本的弱标注装置，其特征在于，包括：
提取模块，用于获取待分类文本，并从所述待分类文本中提取出标签词；
挑选模块，用于从所述待分类文本中挑选出含有所述标签词的目标句子；
替换模块，用于通过预测模型预测预设词库中的各个词替换所述目标句子中的所述标签词的概率；
选取模块，用于根据各个词替换所述标签词的概率，从所述预设词库中选取第一预设个数的目标词汇；
检测模块，用于检测各个类别的预设词典中的词汇与所述目标词汇的重合个数；
弱标注模块，用于将所述重合个数大于第二预设个数对应的预设词典所在的目标类别作为所述待分类文本的弱标注。
8.如权利要求7所述的文本的弱标注装置，其特征在于，所述挑选模块，包括：
输入子模块，用于将所述待分类文本输入至预设的分词工具中，得到各个第一词汇以及各个所述第一词汇对应的个数；
第一计算子模块，用于根据所述第一词汇以及所述第一词汇所对应的个数，通过词频计算公式计算各个所述第一词汇的词频；
第二计算子模块，用于根据公式
计算各个所述第一词汇对应的逆向文件频率；其中，D为所述待分类文本中的句子总数，{j：ti∈dj}表示所述待分类文本中包含所述第一词汇ti的句子数量，IDF表示所述逆向文件频率，ti表示第i个第一词汇，dj为第j个具有ti的句子；
第三计算子模块，用于根据公式W＝IDF*TF计算各个第一词汇的权重；其中TF表示所述词频；
选取子模块，用于选取所述权重最大的所述第一词汇作为所述标签词。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110587694.3A CN113177109A (zh) | 2021-05-27 | 2021-05-27 | 文本的弱标注方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110587694.3A CN113177109A (zh) | 2021-05-27 | 2021-05-27 | 文本的弱标注方法、装置、设备以及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113177109A true CN113177109A (zh) | 2021-07-27 |
Family
ID=76927540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110587694.3A Pending CN113177109A (zh) | 2021-05-27 | 2021-05-27 | 文本的弱标注方法、装置、设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177109A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114065759A (zh) * | 2021-11-19 | 2022-02-18 | 深圳视界信息技术有限公司 | 一种模型失效检测方法、装置、电子设备及介质 |
| CN114637824A (zh) * | 2022-03-18 | 2022-06-17 | 马上消费金融股份有限公司 | 数据增强处理方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971677A (zh) * | 2013-02-01 | 2014-08-06 | 腾讯科技（深圳）有限公司 | 一种声学语言模型训练方法和装置 |
| CN107480200A (zh) * | 2017-07-17 | 2017-12-15 | 深圳先进技术研究院 | 基于词标签的词语标注方法、装置、服务器及存储介质 |
| CN108804512A (zh) * | 2018-04-20 | 2018-11-13 | 平安科技（深圳）有限公司 | 文本分类模型的生成装置、方法及计算机可读存储介质 |
| CN110188351A (zh) * | 2019-05-23 | 2019-08-30 | 北京神州泰岳软件股份有限公司 | 语句通顺度及句法评分模型的训练方法及装置 |
| US10467339B1 (en) * | 2018-06-28 | 2019-11-05 | Sap Se | Using machine learning and natural language processing to replace gender biased words within free-form text |
| CN110674319A (zh) * | 2019-08-15 | 2020-01-10 | 中国平安财产保险股份有限公司 | 标签确定方法、装置、计算机设备及存储介质 |
-
2021
- 2021-05-27 CN CN202110587694.3A patent/CN113177109A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103971677A (zh) * | 2013-02-01 | 2014-08-06 | 腾讯科技（深圳）有限公司 | 一种声学语言模型训练方法和装置 |
| CN107480200A (zh) * | 2017-07-17 | 2017-12-15 | 深圳先进技术研究院 | 基于词标签的词语标注方法、装置、服务器及存储介质 |
| CN108804512A (zh) * | 2018-04-20 | 2018-11-13 | 平安科技（深圳）有限公司 | 文本分类模型的生成装置、方法及计算机可读存储介质 |
| US10467339B1 (en) * | 2018-06-28 | 2019-11-05 | Sap Se | Using machine learning and natural language processing to replace gender biased words within free-form text |
| CN110188351A (zh) * | 2019-05-23 | 2019-08-30 | 北京神州泰岳软件股份有限公司 | 语句通顺度及句法评分模型的训练方法及装置 |
| CN110674319A (zh) * | 2019-08-15 | 2020-01-10 | 中国平安财产保险股份有限公司 | 标签确定方法、装置、计算机设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114065759A (zh) * | 2021-11-19 | 2022-02-18 | 深圳视界信息技术有限公司 | 一种模型失效检测方法、装置、电子设备及介质 |
| CN114065759B (zh) * | 2021-11-19 | 2023-10-13 | 深圳数阔信息技术有限公司 | 一种模型失效检测方法、装置、电子设备及介质 |
| CN114637824A (zh) * | 2022-03-18 | 2022-06-17 | 马上消费金融股份有限公司 | 数据增强处理方法及装置 |
| CN114637824B (zh) * | 2022-03-18 | 2023-12-01 | 马上消费金融股份有限公司 | 数据增强处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111506722B (zh) | 基于深度学习技术的知识图谱问答方法、装置及设备 | |
| CN110021439B (zh) | 基于机器学习的医疗数据分类方法、装置和计算机设备 | |
| CN112612894B (zh) | 意图识别模型的训练方法、装置、计算机设备和存储介质 | |
| CN112347310B (zh) | 事件处理信息的查询方法、装置、计算机设备和存储介质 | |
| CN109992664B (zh) | 争议焦点的标注分类方法、装置、计算机设备和存储介质 | |
| CN111651992A (zh) | 命名实体标注方法、装置、计算机设备和存储介质 | |
| CN113177109A (zh) | 文本的弱标注方法、装置、设备以及存储介质 | |
| CN112016279A (zh) | 电子病历结构化方法、装置、计算机设备和存储介质 | |
| CN111506710B (zh) | 基于谣言预测模型的信息发送方法、装置和计算机设备 | |
| US20180307745A1 (en) | Determining if an action can be performed based on a dialogue | |
| CN113688221A (zh) | 基于模型的话术推荐方法、装置、计算机设备和存储介质 | |
| CN113204968A (zh) | 医学实体的概念识别方法、装置、设备及存储介质 | |
| CN112836061A (zh) | 智能推荐的方法、装置以及计算机设备 | |
| CN112036172B (zh) | 基于模型的缩写数据的实体识别方法、装置和计算机设备 | |
| CN112347254A (zh) | 新闻文本的分类方法、装置、计算机设备和存储介质 | |
| CN113241138A (zh) | 医疗事件信息的抽取方法、装置、计算机设备及存储介质 | |
| CN112364136B (zh) | 关键词生成方法、装置、设备及存储介质 | |
| CN109660621A (zh) | 一种内容推送方法及服务设备 | |
| CN111782821A (zh) | 基于fm模型的医学热点的预测方法、装置和计算机设备 | |
| CN113360644B (zh) | 文本模型再训练的方法、装置、设备及存储介质 | |
| CN113312481A (zh) | 基于区块链的文本分类方法、装置、设备以及存储介质 | |
| CN113052487A (zh) | 评价文本的处理方法、装置以及计算机设备 | |
| CN114398183A (zh) | 基于区块链的任务分配方法、装置、设备以及存储介质 | |
| CN112463921B (zh) | 韵律层级划分方法、装置、计算机设备和存储介质 | |
| CN113849662A (zh) | 基于模型的信息生成方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |