CN113342933A - 一种类双塔模型的多特征交互网络招聘文本分类方法 - Google Patents

一种类双塔模型的多特征交互网络招聘文本分类方法 Download PDF

Info

Publication number
CN113342933A
CN113342933A CN202110600441.5A CN202110600441A CN113342933A CN 113342933 A CN113342933 A CN 113342933A CN 202110600441 A CN202110600441 A CN 202110600441A CN 113342933 A CN113342933 A CN 113342933A
Authority
CN
China
Prior art keywords
feature
module
text
output end
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110600441.5A
Other languages
English (en)
Other versions
CN113342933B (zh
Inventor
高尚兵
张骏强
李文婷
相林
陈浩霖
于永涛
周君
朱全银
张正伟
汪长春
蔡创新
郝明阳
胡序洋
李少凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Kesheng Xuanyi Technology Co ltd
Original Assignee
Huaiyin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaiyin Institute of Technology filed Critical Huaiyin Institute of Technology
Priority to CN202110600441.5A priority Critical patent/CN113342933B/zh
Publication of CN113342933A publication Critical patent/CN113342933A/zh
Application granted granted Critical
Publication of CN113342933B publication Critical patent/CN113342933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种类双塔模型的多特征交互网络招聘文本分类方法，将招聘样本文本进行预处理，并处理成具有映射关系的稀疏特征文本和稠密特征文本；再通过预训练语言模型和one‑hot编码机制分别对两个特征文本进行序列向量化；随后将输出的两个序列向量分别送入预设第一特征提取模型和第二特征提取模型中进行二次特征提取，同时构建特征交互模型对两路特征提取网络进行多特征交互并输出，最后将三者输出的特征向量融合拼接，并进行注意力加权并降维分类输出；整个设计方案引入两种特征分布不同的招聘文本，并进行区别化处理，然后在网络之间构建了一种多特征交互机制，充分学习数据差异性所带来的特征在多样性上提升，从而提高招聘文本分类精度。

Description

一种类双塔模型的多特征交互网络招聘文本分类方法
技术领域
本发明涉及一种类双塔模型的多特征交互网络招聘文本分类方法，属于自然语言文本处理技术领域。
背景技术
网上在线招聘和投递简历逐渐成为企业招聘人才和年轻人求职就业的主要途径。透过网络招聘文本可以了解某个行业对当下乃至未来该领域人才技能的需求，从而更好地为高校制定符合企业需求的专项人才培养计划，缓解毕业生就业难的压力，同时也可以为该领域企业一定程度上提供未来招聘人才的方向，推动企业发展。
各行各业让人目不暇接的职业种类，以及网络招聘文本数据量大，更新快的特点使得人工分类显得极其不方便，对网络招聘文本实现自动分类从而方便后续分析的需求与日俱增。而传统的文本分类模型过分依赖于模型内分类器性能的好坏，而分类器性能又很大程度上取决于设计该分类器的专家所拥有的知识丰富程度。因此，模型表现出来的性能往往受人为因素影响较大。
发明内容
本发明所要解决的技术问题是提供一种类双塔模型的多特征交互网络招聘文本分类方法，基于招聘文本对应稀疏特征文本和稠密特征文本的划分，设计个性化二次特征提取网络、以及特征交互模型，实现多特征融合，能够有效提高招聘文本的分类精度，为就业数据进一步分析提供准确的依据。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种类双塔模型的多特征交互网络招聘文本分类方法，执行如下步骤I至步骤VI，获得招聘文本分类概率模型，以及执行如下步骤A至步骤B，实现对目标招聘文本的分类；
步骤I.收集各条招聘样本文本，并确定各招聘样本文本分别对应预设各招聘分类类别中的真实分类类别，并分别针对各条招聘样本文本，按预设各稠密属性与预设各稀疏属性，将招聘样本文本划分为稀疏特征文本和稠密特征文本，进而获得各条招聘样本文本分别所对应的稀疏特征文本和稠密特征文本，然后进入步骤II；
步骤II.分别针对各条招聘样本文本，获得其稀疏特征文本所对应的字向量序列，以及获得其稠密特征文本所对应的one-hot向量序列，进而获得各条招聘样本文本分别所对应的字向量序列与one-hot向量序列，然后进入步骤III；
步骤III.基于对应字向量序列的预设第一特征提取模型、对应one-hot向量序列的预设第二特征提取模型、各特征提取模型分别对应的特征自交互模型、以及两特征提取模型之间的全局特征交互模型，以预设第一特征提取模型输入端、预设第二特征提取模型输入端为输入，预设第一特征提取模型输出端、预设第二特征提取模型输出端、以及各特征自交互模型输出端对接特征融合层的输入端，特征融合层的输出端依次串联注意力层、softmax层，构建文本分类初始概率模型，然后进入步骤VI；
步骤VI.以各招聘样本文本分别所对应的字向量序列与one-hot向量序列为输入，各招聘样本文本分别对应预设各招聘分类类别的概率为输出，结合各招聘样本文本分别对应预设各招聘分类类别中的真实分类类别，针对文本分类初始概率模型进行训练，获得招聘文本分类概率模型；
步骤A.按步骤I至步骤II，获得目标招聘文本所对应的字向量序列与one-hot向量序列，然后进入步骤B；
步骤B.应用招聘文本分类概率模型，针对目标招聘文本所对应的字向量序列与one-hot向量序列进行处理，获得目标文本对象分别对应预设各招聘分类类别的概率，并选择其中最大概率所对应的分类类别，作为目标文本对象所对应的分类类别，实现对目标招聘文本的分类。
作为本发明的一种优选技术方案：所述步骤I包括如下步骤I1至步骤I3；
步骤I1.收集各个招聘样本文本，并确定各文本样本对象分别对应预设各招聘分类类别中的真实分类类别，然后进入步骤I2；
步骤I2.删除各招聘样本文本中各预设无意义类型的词，更新各个招聘样本文本，然后进入步骤I3；
步骤I3.分别针对各条招聘样本文本，按预设各稠密属性与预设各稀疏属性，将招聘样本文本划分为稀疏特征文本和稠密特征文本，进而获得各条招聘样本文本分别所对应的稀疏特征文本和稠密特征文本，然后进入步骤II。
作为本发明的一种优选技术方案：所述步骤II中，分别针对各条招聘样本文本，按如下步骤II-I-I1至步骤II-I-I2，获得其稀疏特征文本所对应的字向量序列；
步骤II-I-I1.针对招聘样本文本的稀疏特征文本，应用预训练语言模型，获得该稀疏特征文本中各个字分别所对应的字向量，然后进入步骤II-I-I2；
步骤II-I-I2.由该稀疏特征文本中各个字分别所对应的字向量，组成该稀疏特征文本所对应的字向量序列。
作为本发明的一种优选技术方案：所述步骤II中，分别针对各条招聘样本文本，按如下步骤II-I-II1至步骤II-I-II3，获得其稀疏特征文本所对应的字向量序列；
步骤II-I-II1.针对招聘样本文本的稀疏特征文本执行分词处理，并按预设连词库删除其中的连词，获得该稀疏特征文本中的各个稀疏特征分词，然后进入步骤II-I-II2；
步骤II-I-II2.分别针对该稀疏特征文本中的各个稀疏特征分词，应用word2vec算法，获得稀疏特征分词所对应的字向量，然后进入步骤II-I-II3；
步骤II-I-II3.由该稀疏特征文本中各稀疏特征分词分别所对应的字向量，组成该稀疏特征文本所对应的字向量序列。
作为本发明的一种优选技术方案：所述步骤II中，分别针对各条招聘样本文本，按如下步骤II-II-1至步骤II-II-3，获得其稠密特征文本所对应的one-hot向量序列；
步骤II-II-1.针对招聘样本文本的稠密特征文本执行分词处理，并按预设词表删除其中的相应字符，获得该稠密特征文本中的各个稠密特征分词，然后进入步骤II-II-2；
步骤II-II-2.选择该稠密特征文本中的各个非重复稠密特征分词，并按各非重复稠密特征分词分别在该稠密特征文本中第一次出现的位置，针对该各个非重复稠密特征分词进行排序，然后进入步骤II-II-3；
步骤II-II-3.获得各个非重复稠密特征分词分别所对应的向量，并结合各非重复稠密特征分词的排序，构成该稠密特征文本所对应的one-hot向量序列。
作为本发明的一种优选技术方案：所述步骤III中，基于对应字向量序列的预设第一特征提取模型、对应one-hot向量序列的预设第二特征提取模型、两特征提取模型分别对应的特征自交互模型、以及两特征提取模型之间的全局特征交互模型，以预设第一特征提取模型输入端、预设第二特征提取模型输入端为输入，预设第一特征提取模型输出端、预设第二特征提取模型输出端、以及各特征自交互模型输出与全局特征交互模型输出的融合输出端进一步对接特征融合层的输入端，特征融合层的输出端依次串联注意力层、softmax层，构建文本分类初始概率模型。
作为本发明的一种优选技术方案：所述预设第一特征提取模型自其输入端至其输出端方向，由三个高度分别为6、7、8，宽度均与所输入字向量序列维度相一致的卷积核分别所构成的第一卷积模块的输入端构成第一特征提取模型的输入端，三个第一卷积模块的输出端对接第一融合模块的输入端，第一融合模块的输出端分别对接LSTM网络的输入端、卷积核大小为1×1的第二卷积模块的输入端；LSTM网络的输出端对接卷积核大小为1×1的第三卷积模块的输入端，第二卷积模块的输出端对接第一池化模块的输入端；第三卷积模块的输出端分别对接第二融合模块的输入端、第三融合模块的输入端，第一池化模块的输出端对接第三融合模块的输入端，第三融合模块的输出端分别对接第二融合模块的输入端、两个卷积核大小为5×5相串联的第四卷积模块的输入端，第二融合模块的输出端对接卷积核大小为1×1的第五卷积模块的输入端；第五卷积模块的输出端、两个相串联第四卷积模块的输出端分别对接第四融合模块的输入端，第四融合模块的输出端对接全局平均池化模块的输入端，全局平均池化模块的输出端构成第一特征提取模型的输出端；
所述第一特征提取模型所对应第一特征自交互模型的结构中，六个卷积核大小为1×1的第六卷积模块的输入端构成第一特征自交互模型的六个输入端，该六个输入端分别对接第一融合模块输出端特征、第二融合模块输出端特征、第三融合模块输出端特征、第四融合模块输出端特征之间的六种两两排列组合的连接特征；六个第六卷积模块按两个为一组，构成三个第六卷积模块组，各个第六卷积模块组分别一一对应各个第五融合模块、各个第一K值最大池化模块，各个第六卷积模块组中两个第六卷积模块的输出端对接对应第五融合模块的输入端，第五融合模块的输出端对接对应第一K值最大池化模块的输入端；各个第一K值最大池化模块的输出端对接第六融合模块的输入端，第六融合模块的输出端对接第一子注意力模块的输入端，第一子注意力模块的输出端构成第一特征自交互模型的输出端。
作为本发明的一种优选技术方案：所述预设第二特征提取模型自其输入端至其输出端方向，DPCNN模型中Region embedding模块的输入端构成第二特征提取模型的输入端，Region embedding模块的输出端分别对接第七融合模块的输入端、第八融合模块的输入端、两个卷积核大小为5×5相串联第七卷积模块的输入端，两个相串联第七卷积模块的输出端同时对接第七融合模块的输入端，第七融合模块的输出端分别对接循环卷积池化模块的输入端、第八融合模块的输入端；循环卷积池化模块的池化特征循环输出端对接第九融合模块的输入端，第九融合模块的输出端对接卷积核大小为1×1的第九卷积模块的输入端，第八融合模块的输出端对接卷积核大小为1×1的第八卷积模块的输入端，第八卷积模块的输出端、第九卷积模块的输出端分别对接第十融合模块的输入端，第十融合模块的输出端对接第二K值最大池化模块的输入端；循环卷积池化模块的输出端、第二K值最大池化模块的输出端分别对接第十一融合模块的输入端，第十一融合模块的输出端对接最大池化模块的输入端，最大池化模块的输出端构成第二特征提取模型的输出端；
所述第二特征提取模型所对应第二特征自交互模型的结构中，三个卷积核大小为1×1的第十卷积模块的输入端构成第二特征自交互模型的三个输入端，该三个输入端分别对接第八融合模块输出端特征、第十融合模块输出端特征、第十一融合模块输出端特征之间的三种两两排列组合的连接特征；三个第十卷积模块的输出端分别一一对应对接第三K值最大池化模块输入端、第四K值最大池化模块输入端、第五K值最大池化模块输入端，第三K值最大池化模块输出端、第四K值最大池化模块输出端、第五K值最大池化模块输出端分别对接第十二融合模块的输入端，第十二融合模块的输出端对接第二子注意力模块的输入端，第二子注意力模块的输出端构成第二特征自交互模型的输出端。
作为本发明的一种优选技术方案：所述循环卷积池化模块自其输入端至其输出端，步长为2的第二池化模块的输入端构成循环卷积池化模块的输入端，第二池化模块的输出端对接两个卷积核大小为5×5相串联的第十一卷积模块的输入端，两个相串联的第十一卷积模块的输出端对接第十三融合模块的输入端，第十三融合模块的输出端构成循环卷积池化模块的输出端。
作为本发明的一种优选技术方案：所述全局特征交互模型的结构中，六个第十四融合模块的输入端构成全局特征交互模型的六个输入端，该六个输入端中，第一个输入端分别对接第一特征提取模型中第一融合模块输出端与第二特征提取模型中Regionembedding模块输出端，第二个输入端分别对接第一特征提取模型中第二卷积模块的输出端与第二特征提取模型中两个相串联第七卷积模块中第二个第七卷积模块的输出端，第三个输入端分别对接第一特征提取模型中第一池化模块的输出端与第二特征提取模型中第七融合模块的输出端，第四个输入端分别对接第一特征提取模型中第三融合模块的输出端与第二特征提取模型中循环卷积池化模块中最后一次循环时的第二池化模块输出端，第五个输入端分别对接第一特征提取模型中两个相串联第四卷积模块中第一个第四卷积模块的输出端与第二特征提取模型中循环卷积池化模块中最后一次循环时两个相串联第十一卷积模块中第一个第十一卷积模块的输出端，第六个输入端分别对接第一特征提取模型中两个相串联第四卷积模块中第二个第四卷积模块的输出端与第二特征提取模型中循环卷积池化模块中最后一次循环时两个相串联第十一卷积模块中第二个第十一卷积模块的输出端；各个第十四融合模块分别一一对应各个平均池化模块，各个第十四融合模块的输出端分别对接对应平均池化模块的输入端，各平均池化模块的输出端分别对接第十五融合模块的输入端，第十五融合模块的输出端构成全局特征交互模型的输出端。
本发明所述一种类双塔模型的多特征交互网络招聘文本分类方法，采用以上技术方案与现有技术相比，具有以下技术效果：
(1)本发明所设计一种类双塔模型的多特征交互网络招聘文本分类方法，采用一种类似双塔模型的处理组合设计，基于招聘文本对象处理后生成的两种语义稠密特征程度不同的字向量序列，设计并行支路分别执行两种特征向量的提取，并在过程中对两种特征进行特征交互，然后再依次执行特征融合、注意力加权、线性降维、以及分类，获得文本对象对应预设各招聘分类类别的预测概率，最后将最大预测概率所对应标签类别视为目标文本对象所对应的预测分类，实现对目标文本对象的预测分类，整个设计方案引入两种复杂程度不同的编码机制对特征分布不同的招聘文本区别化处理，然后在网络之间构建了一种多特征交互机制，以更好地捕捉特征信息，从而提升招聘文本分类精度；
(2)本发明所设计一种类双塔模型的多特征交互网络招聘文本分类方法中，对于稀疏特征文子本应用ALBERT模型，实现字向量的获得，相较于BERT模型，具有参数量少，速度快的优点，并且ALBER模型同时也继承了BERT模型提取上下文语义信息的特点；
(3)本发明所设计一种类双塔模型的多特征交互网络招聘文本分类方法中，对于稠密特征子文本应用one-hot编码，鉴于one-hot编码机制对于短文本编码较为友好，而稠密特征子文本往往文本长度较短(多数在二十个字以内)，有效特征分布较为集中，并且此处应用one-hot编码相较于现有的序列向量获取方式，该方法也可以起到扩展特征的作用；
(4)本发明所设计一种类双塔模型的多特征交互网络招聘文本分类方法中，在处理稠密特征时，在原有DPCNN的基础上提出了一种多级残差DPCNN模型即MSC-DPCNN模型。原DPCNN模型只是对层级之间进行了简单的残差连接，而在MSC-DPCNN中，提出了两个复合残差网络，在复合残差网络内，通过1×1卷积使得特征通道之间语义特征交互更加充分；在复合残差网络之间，进行了残差网络之间的连接并通过最大池化操作使得整个网络的残差信息都能被网络在最后输出时所利用。
(5)本发明所设计一种类双塔模型的多特征交互网络招聘文本分类方法中，在处理稀疏特征时，设计了一个新的复合多卷积下游网络第一特征自交互模型，来对ALBERT预训练语言模型输出的字向量进行二次特征提取，并且在卷积模块之间加入了残差网络层，残差网络内部通过LSTM进行特征提取与融合，残差网络之间也进行特征交互。使得新构建的卷积神经网络在保持深度足够的同时能够尽可能地防止梯度***和梯度消失，并且增强了网络对局部特征的敏感性。
(6)本发明所设计一种类双塔模型的多特征交互网络招聘文本分类方法中，构建了一个新的特征交互模型，由三个子模型构成，其输出由三个子模型的输出共同构成，子模型包括第一特征自交互模型、第二特征自交互模型以及全局特征交互模型组成。第一特征自交互模型特定针对第一特征自交互模型，通过抽取主干网络以及残差网络的特征融合层，利用其丰富的语义特征信息并将这些信息进行融合，同时为了充分保留有用特征在卷积后使用的K池化而非最大池化，最后借助注意力机制对抽取的各个特征进行两两特征交互的方式，进行特征融合最后加权输出。第二特征自交互模型特定针对MSC-DPCNN模型，同样通过抽取主干网络以及复合残差网络的各个关键层级的特征，然后对其进行两两之间特征交互，用K池化保留多种特征，最后以注意力加权的形式输出。全局特征交互模型同时抽取第一特征自交互模型与MSC-DPCNN的特征，通过抽取对应层级的特征，然后为了使得稠密特征与稀疏特征能够更好地交互融合，然后让对应层级的特征进行两两之间进行叠加求平均，最后同样以注意力加权的形式进行输出。通过分别对两个特征提取网络的特征抽取融合，以及对两个网络的稠密特征与稀疏特征进行对应层级的融合交互，从而使得最后模型特征融合层获得的语义信息更丰富；
(7)本发明所设计一种类双塔模型的多特征交互网络招聘文本分类方法中，由于稠密特征短文本提取稠密特征但特征分布狭窄，而稀疏特征长文本提取稀疏特征但特征分布全面。因此引入注意力机制，通过注意力机制充分融合两种文本提取的特征特点，使得经过注意力加权后，稠密特征和稀疏特征相互补足，让特征更有效地被表达，从而整体提升招聘文本分类准确率；
(8)本发明所设计一种类双塔模型的多特征交互网络招聘文本分类方法中，由于网络较深，引入了残差连接，但是考虑到单纯的残差连接逻辑过于简单，且残差连接之间的信息没有得到充分利用，因此针对分支模型处理的数据特点与模型结构特点分别构建了各自的复合残差网络，提升层级之间的特征交互，减缓梯度弥散问题。
(9)本发明所设计一种类双塔模型的多特征交互网络招聘文本分类方法中，借助集成学习的思想。通过构建了一个模型，该模型融合了两个子模型，两个子模型分别对特征分布不同但具有映射关系的文本数据进行特征提取，从而充分利用了数据差异性所带来的特征在多样性上的提升，并且通过在两个子模型之间构建特征交互模型进一步加强前面所述带来的多样性提升效果，最后达到一个融合交互，文本分类在精确度上的提升。
附图说明
图1是本发明所设计类双塔模型的多特征交互网络招聘文本分类方法的流程示意图；
图2是本发明设计中第一特征自交互模型应用示意图；
图3是本发明设计中第二特征自交互模型应用示意图；
图4是本发明设计中全局特征交互模型应用示意图；
图5是本发明设计中LSTM模型应用示意图。
图6是本发明设计中ALBERT预训练语言模型Encoder部分模型。
图7是本发明设计中的总体模型结构图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种类双塔模型的多特征交互网络招聘文本分类方法，实际应用当中，如图1所示，具体执行如下步骤I至步骤VI，获得招聘文本分类概率模型。
步骤I.收集各条招聘样本文本，并确定各招聘样本文本分别对应预设各招聘分类类别中的真实分类类别，并分别针对各条招聘样本文本，按预设各稠密属性与预设各稀疏属性，将招聘样本文本划分为稀疏特征文本和稠密特征文本，进而获得各条招聘样本文本分别所对应的稀疏特征文本和稠密特征文本，然后进入步骤II。
所述针对招聘样本文本所划分的稀疏特征文本和稠密特征文本，具体来讲，即稠密特征文本是与招聘信息直接、或最相关的各个信息，而稀疏特征文本是与招聘信息欠相关的各个信息。
实际应用当中，上述步骤I具体执行如下步骤I1至步骤I3。
步骤I1.收集各个招聘样本文本，并确定各文本样本对象分别对应预设各招聘分类类别中的真实分类类别，然后进入步骤I2。
步骤I2.删除各招聘样本文本中各预设无意义类型的词，更新各个招聘样本文本，然后进入步骤I3；其中各预设无意义类型包括乱码类型、空类型、制表符类型、回车符类型，以及特定重复字词，包括但不限于“岗位描述”“岗位职责”“职能需求”等。
步骤I3.分别针对各条招聘样本文本，按预设各稠密属性与预设各稀疏属性，将招聘样本文本划分为稀疏特征文本和稠密特征文本，进而获得各条招聘样本文本分别所对应的稀疏特征文本和稠密特征文本，然后进入步骤II。
步骤II.分别针对各条招聘样本文本，获得其稀疏特征文本所对应的字向量序列，以及获得其稠密特征文本所对应的one-hot向量序列，进而获得各条招聘样本文本分别所对应的字向量序列与one-hot向量序列，然后进入步骤III。
上述步骤II在实际执行中，关于其中稀疏特征文本所对应字向量序列的获得，具体可以设计两套执行方案，第一套方案是分别针对各条招聘样本文本，按如下步骤II-I-I1至步骤II-I-I2，获得其稀疏特征文本所对应的字向量序列。
步骤II-I-I1.针对招聘样本文本的稀疏特征文本，应用预训练语言模型，获得该稀疏特征文本中各个字分别所对应的字向量，然后进入步骤II-I-I2。
步骤II-I-I2.由该稀疏特征文本中各个字分别所对应的字向量，组成该稀疏特征文本所对应的字向量序列。
实际应用中，这里的预训练语言模型，具体采用ALBERT模型，即以特征文本样本为输入，特征文本样本中各个字分别所对应的字向量为输出，针对ALBERT模型，获得预训练语言模型，用于这里针对招聘样本文本的稀疏特征文本进行处理，获得该稀疏特征文本中各个字分别所对应的字向量。
ALBERT(A Lite BERT For Self-Supervised Learning Of LanguageRepresentations，一个语言表征自监督学习的精简版BERT)语言模型：为了解决BERT模型大训练困难的问题，ALBERT被提出。ALBERT继承了BERT模型的双向性，在模型结构上，继承了Transformer模型的Encoder部分，如图6所示。每个词依然可以同时利用该词的上下文信息。并且参数量远小于传统BERT架构。ALBERT通过两个参数削减技术克服了扩展预训练语言模型面临的主要障碍。第一个技术是对嵌入参数化进行因式分解，将大的词汇嵌入矩阵分解为两个小的矩阵，从而将隐藏层的大小与词汇嵌入的大小分离开来。第二种技术是跨层参数共享。这一技术可以避免参数量随着网络深度的增加而增加。两种技术都显著降低了BERT的参数量，同时不对其性能造成明显影响，此外还提出了句序预测任务SOP来代替传统的NSP预训练语言任务。ALBERT语言模型最终实现了在BERT的基础上进一步增强文本向量的语义信息，加快了模型的训练速度。在ALBERT模型使用的Encoder部分中，最重要的是Self-Attention层，在实际应用中，模型为了获得更优秀的词向量表示，使用的是Self-Attention的变体形式即Multi-Head Attention多头自注意力。多头自注意力使用多种线性变换对Q，K，V进行投影，主要计算公式如下所示：
Figure BDA0003092754580000091
Figure BDA0003092754580000092
MultiHead(Q，K，V)＝
Concat(head1，head2，…，headk)Wo
Figure BDA0003092754580000093
其中，公式(1)中Q(Query)，K(Key)，V(Value)三个向量由词嵌入向量和一个矩阵相乘得到，dk表示每个字的Query和Key向量的维度，Softmax()是归一化激活函数；公式(2)中(z1,z2,…,zn)表示一个N维向量；公式(3)中Concat()是拼接函数，Wo表示附加权重矩阵，使得拼接后的矩阵维度压缩到序列长度，
Figure BDA0003092754580000101
则是分别表示Q，K，V的权重矩阵。
关于获得稀疏特征文本所对应字向量序列的第二套方案，具体分别针对各条招聘样本文本，按如下步骤II-I-II1至步骤II-I-II3，获得其稀疏特征文本所对应的字向量序列。
步骤II-I-II1.针对招聘样本文本的稀疏特征文本执行分词处理，并按预设连词库删除其中的连词，获得该稀疏特征文本中的各个稀疏特征分词，然后进入步骤II-I-II2。
步骤II-I-II2.分别针对该稀疏特征文本中的各个稀疏特征分词，应用word2vec算法，获得稀疏特征分词所对应的字向量，然后进入步骤II-I-II3。
步骤II-I-II3.由该稀疏特征文本中各稀疏特征分词分别所对应的字向量，组成该稀疏特征文本所对应的字向量序列。
如此即在实际应用当中，可以采用上述两种设计方案，实现步骤II中，各条招聘样本文本分别所对应的字向量序列与one-hot向量序列的获得。
另外，关于步骤II中稠密特征文本所对应one-hot向量序列的获得，具体设计分别针对各条招聘样本文本，按如下步骤II-II-1至步骤II-II-3，获得其稠密特征文本所对应的one-hot向量序列。
步骤II-II-1.针对招聘样本文本的稠密特征文本执行分词处理，并按预设词表删除其中的相应字符，获得该稠密特征文本中的各个稠密特征分词，然后进入步骤II-II-2。
步骤II-II-2.选择该稠密特征文本中的各个非重复稠密特征分词，并按各非重复稠密特征分词分别在该稠密特征文本中第一次出现的位置，针对该各个非重复稠密特征分词进行排序，然后进入步骤II-II-3。
步骤II-II-3.获得各个非重复稠密特征分词分别所对应的向量，并结合各非重复稠密特征分词的排序，构成该稠密特征文本所对应的one-hot向量序列。
步骤III.如图7所示，基于对应字向量序列的预设第一特征提取模型、对应one-hot向量序列的预设第二特征提取模型、两特征提取模型分别对应的特征自交互模型、以及两特征提取模型之间的全局特征交互模型，以预设第一特征提取模型输入端、预设第二特征提取模型输入端为输入，预设第一特征提取模型输出端、预设第二特征提取模型输出端、以及各特征自交互模型输出与全局特征交互模型输出的融合输出端进一步对接特征融合层的输入端，特征融合层的输出端依次串联注意力层、softmax层，构建文本分类初始概率模型，然后进入步骤VI。
上述步骤III中所涉及构建的文本分类初始概率模型，具体来讲，所述预设第一特征提取模型自其输入端至其输出端方向，由三个高度分别为6、7、8，宽度均与所输入字向量序列维度相一致的卷积核分别所构成的第一卷积模块的输入端构成第一特征提取模型的输入端，三个第一卷积模块的输出端对接第一融合模块的输入端，第一融合模块的输出端分别对接LSTM网络的输入端、卷积核大小为1×1的第二卷积模块的输入端；LSTM网络的输出端对接卷积核大小为1×1的第三卷积模块的输入端，第二卷积模块的输出端对接第一池化模块的输入端；实际应用中，LSTM网络的结构如图5所示，第三卷积模块的输出端分别对接第二融合模块的输入端、第三融合模块的输入端，第一池化模块的输出端对接第三融合模块的输入端，第三融合模块的输出端分别对接第二融合模块的输入端、两个卷积核大小为5×5相串联的第四卷积模块的输入端，第二融合模块的输出端对接卷积核大小为1×1的第五卷积模块的输入端；第五卷积模块的输出端、两个相串联第四卷积模块的输出端分别对接第四融合模块的输入端，第四融合模块的输出端对接全局平均池化模块的输入端，全局平均池化模块的输出端构成第一特征提取模型的输出端。
第一特征提取模型用于针对字向量序列进行处理的过程中，经过三种高度卷积核作用，获得三个特征向量，对三个特征向量进行特征融合，然后对融合后的特征向量进行以下两种操作：第一，将融合后的特征向量输入第一残差网络层中的LSTM网络中；第二，将融合后的特征向量输入到第二卷积模块中，随后将第二卷积模块中的输出输入到第一池化模块中，第一池化模块的输出在第三融合模块中与第一残差网络层中第三卷积模块的输出进行特征融合，融合后的特征向量输入两个串联第四卷积模块与第五卷积模块中；最后将第五卷积模块输出与两个串联第四卷积模块的输出，经第四融合模块进行特征融合，输入全局平均池化层中，其输出成模型最终输出的特征向量F1，以上操作中的每次卷积后都使用非线性激活函数PRelu进行激活。
如图2所示，所述第一特征提取模型所对应第一特征自交互模型的结构中，六个卷积核大小为1×1的第六卷积模块的输入端构成第一特征自交互模型的六个输入端，该六个输入端分别对接第一融合模块输出端特征、第二融合模块输出端特征、第三融合模块输出端特征、第四融合模块输出端特征之间的六种两两排列组合的连接特征；六个第六卷积模块按两个为一组，构成三个第六卷积模块组，各个第六卷积模块组分别一一对应各个第五融合模块、各个第一K值最大池化模块，各个第六卷积模块组中两个第六卷积模块的输出端对接对应第五融合模块的输入端，第五融合模块的输出端对接对应第一K值最大池化模块的输入端；各个第一K值最大池化模块的输出端对接第六融合模块的输入端，第六融合模块的输出端对接第一子注意力模块的输入端，第一子注意力模块的输出端构成第一特征自交互模型的输出端。
所述预设第二特征提取模型自其输入端至其输出端方向，DPCNN模型中Regionembedding模块的输入端构成第二特征提取模型的输入端，Region embedding模块的输出端分别对接第七融合模块的输入端、第八融合模块的输入端、两个卷积核大小为5×5相串联第七卷积模块的输入端，两个相串联第七卷积模块的输出端同时对接第七融合模块的输入端，第七融合模块的输出端分别对接循环卷积池化模块的输入端、第八融合模块的输入端；循环卷积池化模块的池化特征循环输出端对接第九融合模块的输入端，第九融合模块的输出端对接卷积核大小为1×1的第九卷积模块的输入端，第八融合模块的输出端对接卷积核大小为1×1的第八卷积模块的输入端，第八卷积模块的输出端、第九卷积模块的输出端分别对接第十融合模块的输入端，第十融合模块的输出端对接第二K值最大池化模块的输入端；循环卷积池化模块的输出端、第二K值最大池化模块的输出端分别对接第十一融合模块的输入端，第十一融合模块的输出端对接最大池化模块的输入端，最大池化模块的输出端构成第二特征提取模型的输出端。
其中，循环卷积池化模块自其输入端至其输出端，步长为2的第二池化模块的输入端构成循环卷积池化模块的输入端，第二池化模块的输出端对接两个卷积核大小为5×5相串联的第十一卷积模块的输入端，两个相串联的第十一卷积模块的输出端对接第十三融合模块的输入端，第十三融合模块的输出端构成循环卷积池化模块的输出端。
第二特征提取模型用于针对字向量序列进行处理的过程中，MSC-DPCNN模型对one-hot编码形成的字向量进行二次特征提取操作。首先，经过Region embeding层处理，Region embeding层即对一个n-gram区域进行卷积，得到的特征图作为该层的输出。随后进行两次卷积，并且将Region embeding层与第二卷积模块进行残差连接然后输入循环卷积池化层。循环卷积模块每进行一次循环序列长度减半，直到序列长度等于1时停止循环，输出特征向量与第二复合残差网络层的输出融合输入最大池化层中，最终输出一维特征向量F2，以上操作中的每次卷积结束后都会使用非线性激活函数PRelu进行激活以及padding操作进行边界填充。
如图3所示，所述第二特征提取模型所对应第二特征自交互模型的结构中，三个卷积核大小为1×1的第十卷积模块的输入端构成第二特征自交互模型的三个输入端，该三个输入端分别对接第八融合模块输出端特征、第十融合模块输出端特征、第十一融合模块输出端特征之间的三种两两排列组合的连接特征；三个第十卷积模块的输出端分别一一对应，对接第三K值最大池化模块输入端、第四K值最大池化模块输入端、第五K值最大池化模块输入端，第三K值最大池化模块输出端、第四K值最大池化模块输出端、第五K值最大池化模块输出端分别对接第十二融合模块的输入端，第十二融合模块的输出端对接第二子注意力模块的输入端，第二子注意力模块的输出端构成第二特征自交互模型的输出端。
并且如图4所示，全局特征交互模型应用的结构中，六个第十四融合模块的输入端构成全局特征交互模型的六个输入端，该六个输入端中，第一个输入端分别对接第一特征提取模型中第一融合模块输出端与第二特征提取模型中Region embedding模块输出端，第二个输入端分别对接第一特征提取模型中第二卷积模块的输出端与第二特征提取模型中两个相串联第七卷积模块中第二个第七卷积模块的输出端，第三个输入端分别对接第一特征提取模型中第一池化模块的输出端与第二特征提取模型中第七融合模块的输出端，第四个输入端分别对接第一特征提取模型中第三融合模块的输出端与第二特征提取模型中循环卷积池化模块中最后一次循环时的第二池化模块输出端，第五个输入端分别对接第一特征提取模型中两个相串联第四卷积模块中第一个第四卷积模块的输出端与第二特征提取模型中循环卷积池化模块中最后一次循环时两个相串联第十一卷积模块中第一个第十一卷积模块的输出端，第六个输入端分别对接第一特征提取模型中两个相串联第四卷积模块中第二个第四卷积模块的输出端与第二特征提取模型中循环卷积池化模块中最后一次循环时两个相串联第十一卷积模块中第二个第十一卷积模块的输出端；各个第十四融合模块分别一一对应各个平均池化模块，各个第十四融合模块的输出端分别对接对应平均池化模块的输入端，各平均池化模块的输出端分别对接第十五融合模块的输入端，第十五融合模块的输出端构成全局特征交互模型的输出端。
如此对于步骤III这里所涉及构建的文本分类初始概率模型来说，即由第一特征自交互模型、第二特征自交互模型分别接收来自预训练语言模型的字向量序列和one-hot向量，分别进行处理，获得第一特征自交互模型输出的特征向量F1和获得第二特征自交互模型输出的特征向量F2，最后再由特征交互模型输出的特征向量F3、F4、F5。拼接以上五个特征向量进行注意力加权，降维后送入softmax分类器中进行分类。
步骤VI.以各招聘样本文本分别所对应的字向量序列与one-hot向量序列为输入，各招聘样本文本分别对应预设各招聘分类类别的概率为输出，结合各招聘样本文本分别对应预设各招聘分类类别中的真实分类类别，针对文本分类初始概率模型进行训练，获得招聘文本分类概率模型。
基于执行上述步骤I至步骤VI，实现招聘文本分类概率模型的获得后，执行如下步骤A至步骤B，实现对目标招聘文本的分类。
步骤A.按步骤I至步骤II，获得目标招聘文本所对应的字向量序列与one-hot向量序列，然后进入步骤B；
步骤B.应用招聘文本分类概率模型，针对目标招聘文本所对应的字向量序列与one-hot向量序列进行处理，获得目标文本对象分别对应预设各招聘分类类别的概率，并选择其中最大概率所对应的分类类别，作为目标文本对象所对应的分类类别，实现对目标招聘文本的分类。
针对上述所设计类双塔模型的多特征交互网络招聘文本分类方法，本发明进一步设计了一种计算机设备，包括存储器、处理器、以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所设计类双塔模型的多特征交互网络招聘文本分类方法。
为了更好的说明本方法的有效性，将本发明所设计类双塔模型的多特征交互网络招聘文本分类方法应用于实际当中，如图1所示，对网络上述数据进行分析，诸如应用CrawlSpider针对网络招聘数据进行爬取，获得500004条招聘信息文本数据，进一步对500004条招聘信息文本数据进行清洗，进行语句的规范化，若出现字词不规范有乱码、句子中出现回车换行符或者制表符等异常情况，则进行相应的修改或删除，以保证文本内容的正确和规范若句子中出现一些高频无意义的特定招聘领域词，包括但不限于“岗位描述”“岗位职责”“职能需求”等。然后将招聘文本处理成具有映射关系的两个文本数据集，分别是稀疏特征文本数据集和稠密特征文本数据集，利用预训练语言模型对稀疏特征数据集进行向量化，利用one-hot编码对稠密特征文本进行向量化。再分别通过两个特征提取网络对两个向量序列进行深度特征提取，使用第一特征自交互模型对文本长度较长的稀疏特征文本形成的序列向量进行处理，使用第二特征自交互模型对文本较短的稠密特征文本形成的one-hot序列向量进行处理，再有通过特征交互模型获得的三个特征向量。随后对得到多个特征向量进行特征融合，然后进行注意力加权，充分利用稠密特征中的稠密特征来帮助模型学***衡，丰富特征多样性带来的优势；最后通过全连接层以及softmax输出最终的预测标签。
并且设计方案中，通过对文本数据中存在的特征文本进行分类处理，对于文本长度较长的稀疏特征文本选择使用提取特征更为丰富的预训练语言模型进行向量化处理，对于文本较短的稠密特征文本选择使用one-hot编码进行处理，one-hot编码可以起到扩展特征的作用。通过对两种子文本进行不同形式的编码，然后经过深度语义特征提取，最后以特征融合和注意力加权的形式，在两者存在映射关系的前提下，互相借助对方的特征进行自身特征信息的学习，从而在整体上提高招聘文本的分类准确性。
下面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于：执行如下步骤I至步骤VI，获得招聘文本分类概率模型，以及执行如下步骤A至步骤B，实现对目标招聘文本的分类；
步骤I. 收集各条招聘样本文本，并确定各招聘样本文本分别对应预设各招聘分类类别中的真实分类类别，并分别针对各条招聘样本文本，按预设各稠密属性与预设各稀疏属性，将招聘样本文本划分为稀疏特征文本和稠密特征文本，进而获得各条招聘样本文本分别所对应的稀疏特征文本和稠密特征文本，然后进入步骤II；
步骤II. 分别针对各条招聘样本文本，获得其稀疏特征文本所对应的字向量序列，以及获得其稠密特征文本所对应的one-hot向量序列，进而获得各条招聘样本文本分别所对应的字向量序列与one-hot向量序列，然后进入步骤III；
步骤III. 基于对应字向量序列的预设第一特征提取模型、对应one-hot向量序列的预设第二特征提取模型、各特征提取模型分别对应的特征自交互模型、以及两特征提取模型之间的全局特征交互模型，以预设第一特征提取模型输入端、预设第二特征提取模型输入端为输入，预设第一特征提取模型输出端、预设第二特征提取模型输出端、以及各特征自交互模型输出端对接特征融合层的输入端，特征融合层的输出端依次串联注意力层、softmax层，构建文本分类初始概率模型，然后进入步骤VI；
步骤VI. 以各招聘样本文本分别所对应的字向量序列与one-hot向量序列为输入，各招聘样本文本分别对应预设各招聘分类类别的概率为输出，结合各招聘样本文本分别对应预设各招聘分类类别中的真实分类类别，针对文本分类初始概率模型进行训练，获得招聘文本分类概率模型；
步骤A. 按步骤I至步骤II，获得目标招聘文本所对应的字向量序列与one-hot向量序列，然后进入步骤B；
步骤B. 应用招聘文本分类概率模型，针对目标招聘文本所对应的字向量序列与one-hot向量序列进行处理，获得目标文本对象分别对应预设各招聘分类类别的概率，并选择其中最大概率所对应的分类类别，作为目标文本对象所对应的分类类别，实现对目标招聘文本的分类。
2.根据权利要求1所述一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于：所述步骤I包括如下步骤I1至步骤I3；
步骤I1. 收集各个招聘样本文本，并确定各文本样本对象分别对应预设各招聘分类类别中的真实分类类别，然后进入步骤I2；
步骤I2. 删除各招聘样本文本中各预设无意义类型的词，更新各个招聘样本文本，然后进入步骤I3；
步骤I3. 分别针对各条招聘样本文本，按预设各稠密属性与预设各稀疏属性，将招聘样本文本划分为稀疏特征文本和稠密特征文本，进而获得各条招聘样本文本分别所对应的稀疏特征文本和稠密特征文本，然后进入步骤II。
3.根据权利要求1所述一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于：所述步骤II中，分别针对各条招聘样本文本，按如下步骤II-I-I1至步骤II-I-I2，获得其稀疏特征文本所对应的字向量序列；
步骤II-I-I1.针对招聘样本文本的稀疏特征文本，应用预训练语言模型，获得该稀疏特征文本中各个字分别所对应的字向量，然后进入步骤II-I-I2；
步骤II-I-I2.由该稀疏特征文本中各个字分别所对应的字向量，组成该稀疏特征文本所对应的字向量序列。
4.根据权利要求1所述一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于： 所述步骤II中，分别针对各条招聘样本文本，按如下步骤II-I-II1至步骤II-I-II3，获得其稀疏特征文本所对应的字向量序列；
步骤II-I-II1. 针对招聘样本文本的稀疏特征文本执行分词处理，并按预设连词库删除其中的连词，获得该稀疏特征文本中的各个稀疏特征分词，然后进入步骤II-I-II2；
步骤II-I-II2. 分别针对该稀疏特征文本中的各个稀疏特征分词，应用word2vec算法，获得稀疏特征分词所对应的字向量，然后进入步骤II-I-II3；
步骤II-I-II3. 由该稀疏特征文本中各稀疏特征分词分别所对应的字向量，组成该稀疏特征文本所对应的字向量序列。
5.根据权利要求1所述一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于：所述步骤II中，分别针对各条招聘样本文本，按如下步骤II-II-1至步骤II-II-3，获得其稠密特征文本所对应的one-hot向量序列；
步骤II-II-1. 针对招聘样本文本的稠密特征文本执行分词处理，并按预设词表删除其中的相应字符，获得该稠密特征文本中的各个稠密特征分词，然后进入步骤II-II-2；
步骤II-II-2. 选择该稠密特征文本中的各个非重复稠密特征分词，并按各非重复稠密特征分词分别在该稠密特征文本中第一次出现的位置，针对该各个非重复稠密特征分词进行排序，然后进入步骤II-II-3；
步骤II-II-3. 获得各个非重复稠密特征分词分别所对应的向量，并结合各非重复稠密特征分词的排序，构成该稠密特征文本所对应的one-hot向量序列。
6.根据权利要求1所述一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于：所述步骤III中，基于对应字向量序列的预设第一特征提取模型、对应one-hot向量序列的预设第二特征提取模型、两特征提取模型分别对应的特征自交互模型、以及两特征提取模型之间的全局特征交互模型，以预设第一特征提取模型输入端、预设第二特征提取模型输入端为输入，预设第一特征提取模型输出端、预设第二特征提取模型输出端、以及各特征自交互模型输出与全局特征交互模型输出的融合输出端进一步对接特征融合层的输入端，特征融合层的输出端依次串联注意力层、softmax层，构建文本分类初始概率模型。
7.根据权利要求6所述一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于：所述预设第一特征提取模型自其输入端至其输出端方向，由三个高度分别为6、7、8，宽度均与所输入字向量序列维度相一致的卷积核分别所构成的第一卷积模块的输入端构成第一特征提取模型的输入端，三个第一卷积模块的输出端对接第一融合模块的输入端，第一融合模块的输出端分别对接LSTM网络的输入端、卷积核大小为1
Figure DEST_PATH_IMAGE001
1的第二卷积模块的输入端；LSTM网络的输出端对接卷积核大小为1
Figure 28439DEST_PATH_IMAGE001
1的第三卷积模块的输入端，第二卷积模块的输出端对接第一池化模块的输入端；第三卷积模块的输出端分别对接第二融合模块的输入端、第三融合模块的输入端，第一池化模块的输出端对接第三融合模块的输入端，第三融合模块的输出端分别对接第二融合模块的输入端、两个卷积核大小为5
Figure 476738DEST_PATH_IMAGE001
5相串联的第四卷积模块的输入端，第二融合模块的输出端对接卷积核大小为1
Figure 803945DEST_PATH_IMAGE001
1的第五卷积模块的输入端；第五卷积模块的输出端、两个相串联第四卷积模块的输出端分别对接第四融合模块的输入端，第四融合模块的输出端对接全局平均池化模块的输入端，全局平均池化模块的输出端构成第一特征提取模型的输出端；
所述第一特征提取模型所对应第一特征自交互模型的结构中，六个卷积核大小为1
Figure 995892DEST_PATH_IMAGE001
1的第六卷积模块的输入端构成第一特征自交互模型的六个输入端，该六个输入端分别对接第一融合模块输出端特征、第二融合模块输出端特征、第三融合模块输出端特征、第四融合模块输出端特征之间的六种两两排列组合的连接特征；六个第六卷积模块按两个为一组，构成三个第六卷积模块组，各个第六卷积模块组分别一一对应各个第五融合模块、各个第一K值最大池化模块，各个第六卷积模块组中两个第六卷积模块的输出端对接对应第五融合模块的输入端，第五融合模块的输出端对接对应第一K值最大池化模块的输入端；各个第一K值最大池化模块的输出端对接第六融合模块的输入端，第六融合模块的输出端对接第一子注意力模块的输入端，第一子注意力模块的输出端构成第一特征自交互模型的输出端。
8.根据权利要求7所述一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于：所述预设第二特征提取模型自其输入端至其输出端方向，DPCNN模型中Regionembedding模块的输入端构成第二特征提取模型的输入端，Region embedding模块的输出端分别对接第七融合模块的输入端、第八融合模块的输入端、两个卷积核大小为5
Figure 341422DEST_PATH_IMAGE001
5相串联第七卷积模块的输入端，两个相串联第七卷积模块的输出端同时对接第七融合模块的输入端，第七融合模块的输出端分别对接循环卷积池化模块的输入端、第八融合模块的输入端；循环卷积池化模块的池化特征循环输出端对接第九融合模块的输入端，第九融合模块的输出端对接卷积核大小为1
Figure 206961DEST_PATH_IMAGE001
1的第九卷积模块的输入端，第八融合模块的输出端对接卷积核大小为1
Figure 270732DEST_PATH_IMAGE001
1的第八卷积模块的输入端，第八卷积模块的输出端、第九卷积模块的输出端分别对接第十融合模块的输入端，第十融合模块的输出端对接第二K值最大池化模块的输入端；循环卷积池化模块的输出端、第二K值最大池化模块的输出端分别对接第十一融合模块的输入端，第十一融合模块的输出端对接最大池化模块的输入端，最大池化模块的输出端构成第二特征提取模型的输出端；
所述第二特征提取模型所对应第二特征自交互模型的结构中，三个卷积核大小为1
Figure 17102DEST_PATH_IMAGE001
1的第十卷积模块的输入端构成第二特征自交互模型的三个输入端，该三个输入端分别对接第八融合模块输出端特征、第十融合模块输出端特征、第十一融合模块输出端特征之间的三种两两排列组合的连接特征；三个第十卷积模块的输出端分别一一对应对接第三K值最大池化模块输入端、第四K值最大池化模块输入端、第五K值最大池化模块输入端，第三K值最大池化模块输出端、第四K值最大池化模块输出端、第五K值最大池化模块输出端分别对接第十二融合模块的输入端，第十二融合模块的输出端对接第二子注意力模块的输入端，第二子注意力模块的输出端构成第二特征自交互模型的输出端。
9.根据权利要求8所述一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于：所述循环卷积池化模块自其输入端至其输出端，步长为2的第二池化模块的输入端构成循环卷积池化模块的输入端，第二池化模块的输出端对接两个卷积核大小为5×5相串联的第十一卷积模块的输入端，两个相串联的第十一卷积模块的输出端对接第十三融合模块的输入端，第十三融合模块的输出端构成循环卷积池化模块的输出端。
10. 根据权利要求9所述一种类双塔模型的多特征交互网络招聘文本分类方法，其特征在于：所述全局特征交互模型的结构中，六个第十四融合模块的输入端构成全局特征交互模型的六个输入端，该六个输入端中，第一个输入端分别对接第一特征提取模型中第一融合模块输出端与第二特征提取模型中Region embedding模块输出端，第二个输入端分别对接第一特征提取模型中第二卷积模块的输出端与第二特征提取模型中两个相串联第七卷积模块中第二个第七卷积模块的输出端，第三个输入端分别对接第一特征提取模型中第一池化模块的输出端与第二特征提取模型中第七融合模块的输出端，第四个输入端分别对接第一特征提取模型中第三融合模块的输出端与第二特征提取模型中循环卷积池化模块中最后一次循环时的第二池化模块输出端，第五个输入端分别对接第一特征提取模型中两个相串联第四卷积模块中第一个第四卷积模块的输出端与第二特征提取模型中循环卷积池化模块中最后一次循环时两个相串联第十一卷积模块中第一个第十一卷积模块的输出端，第六个输入端分别对接第一特征提取模型中两个相串联第四卷积模块中第二个第四卷积模块的输出端与第二特征提取模型中循环卷积池化模块中最后一次循环时两个相串联第十一卷积模块中第二个第十一卷积模块的输出端；各个第十四融合模块分别一一对应各个平均池化模块，各个第十四融合模块的输出端分别对接对应平均池化模块的输入端，各平均池化模块的输出端分别对接第十五融合模块的输入端，第十五融合模块的输出端构成全局特征交互模型的输出端。
CN202110600441.5A 2021-05-31 2021-05-31 一种类双塔模型的多特征交互网络招聘文本分类方法 Active CN113342933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110600441.5A CN113342933B (zh) 2021-05-31 2021-05-31 一种类双塔模型的多特征交互网络招聘文本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110600441.5A CN113342933B (zh) 2021-05-31 2021-05-31 一种类双塔模型的多特征交互网络招聘文本分类方法

Publications (2)

Publication Number Publication Date
CN113342933A true CN113342933A (zh) 2021-09-03
CN113342933B CN113342933B (zh) 2022-11-08

Family

ID=77472740

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110600441.5A Active CN113342933B (zh) 2021-05-31 2021-05-31 一种类双塔模型的多特征交互网络招聘文本分类方法

Country Status (1)

Country Link
CN (1) CN113342933B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579869A (zh) * 2022-05-05 2022-06-03 腾讯科技（深圳）有限公司 模型训练方法以及相关产品
CN115809334A (zh) * 2022-11-22 2023-03-17 北京百度网讯科技有限公司 事件关联性分类模型的训练方法、文本处理方法及装置
CN116662676A (zh) * 2023-06-09 2023-08-29 北京华品博睿网络技术有限公司 一种基于多行为建模的在线招聘双向互惠推荐***及方法
WO2024060066A1 (zh) * 2022-09-21 2024-03-28 京东方科技集团股份有限公司 一种文本识别方法、模型及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232127A (zh) * 2019-06-17 2019-09-13 重庆紫光华山智安科技有限公司 文本分类方法及装置
US20190370394A1 (en) * 2018-05-31 2019-12-05 Fmr Llc Automated computer text classification and routing using artificial intelligence transfer learning
CN110874410A (zh) * 2019-11-01 2020-03-10 河南理工大学 一种基于长短时记忆网络和卷积神经网络的文本分类方法
CN111428038A (zh) * 2020-03-26 2020-07-17 国网浙江杭州市萧山区供电有限公司 基于自注意力机制的电力投诉工单多标签文本分类方法
CN111985369A (zh) * 2020-08-07 2020-11-24 西北工业大学 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法
CN112732915A (zh) * 2020-12-31 2021-04-30 平安科技（深圳）有限公司 情感分类方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190370394A1 (en) * 2018-05-31 2019-12-05 Fmr Llc Automated computer text classification and routing using artificial intelligence transfer learning
CN110232127A (zh) * 2019-06-17 2019-09-13 重庆紫光华山智安科技有限公司 文本分类方法及装置
CN110874410A (zh) * 2019-11-01 2020-03-10 河南理工大学 一种基于长短时记忆网络和卷积神经网络的文本分类方法
CN111428038A (zh) * 2020-03-26 2020-07-17 国网浙江杭州市萧山区供电有限公司 基于自注意力机制的电力投诉工单多标签文本分类方法
CN111985369A (zh) * 2020-08-07 2020-11-24 西北工业大学 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法
CN112732915A (zh) * 2020-12-31 2021-04-30 平安科技（深圳）有限公司 情感分类方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李军炜: "短文本用户评论的分类***设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
涂文博 等: "针对文本分类的神经网络模型", 《计算机***应用》 *
马晨峰: "混合深度学习模型在新闻文本分类中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579869A (zh) * 2022-05-05 2022-06-03 腾讯科技（深圳）有限公司 模型训练方法以及相关产品
CN114579869B (zh) * 2022-05-05 2022-07-22 腾讯科技（深圳）有限公司 模型训练方法以及相关产品
WO2024060066A1 (zh) * 2022-09-21 2024-03-28 京东方科技集团股份有限公司 一种文本识别方法、模型及电子设备
CN115809334A (zh) * 2022-11-22 2023-03-17 北京百度网讯科技有限公司 事件关联性分类模型的训练方法、文本处理方法及装置
CN115809334B (zh) * 2022-11-22 2023-11-10 北京百度网讯科技有限公司 事件关联性分类模型的训练方法、文本处理方法及装置
CN116662676A (zh) * 2023-06-09 2023-08-29 北京华品博睿网络技术有限公司 一种基于多行为建模的在线招聘双向互惠推荐***及方法

Also Published As

Publication number Publication date
CN113342933B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
CN113342933B (zh) 一种类双塔模型的多特征交互网络招聘文本分类方法
CN110597735B (zh) 一种面向开源软件缺陷特征深度学习的软件缺陷预测方法
CN112115238B (zh) 一种基于bert和知识库的问答方法和***
CN111831789B (zh) 一种基于多层语义特征提取结构的问答文本匹配方法
CN107943784B (zh) 基于生成对抗网络的关系抽取方法
CN110442684A (zh) 一种基于文本内容的类案推荐方法
CN112732916B (zh) 一种基于bert的多特征融合模糊文本分类***
CN108280064A (zh) 分词、词性标注、实体识别及句法分析的联合处理方法
CN107273913B (zh) 一种基于多特征融合的短文本相似度计算方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN111400494B (zh) 一种基于GCN-Attention的情感分析方法
CN112732921B (zh) 一种虚假用户评论检测方法及***
CN112733866A (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN111046661A (zh) 基于图卷积网络的阅读理解方法
CN116304066A (zh) 一种基于提示学习的异质信息网络节点分类方法
CN113094502A (zh) 一种多粒度外卖用户评论情感分析方法
CN116662565A (zh) 基于对比学习预训练的异质信息网络关键词生成方法
CN115168579A (zh) 一种基于多头注意力机制和二维卷积操作的文本分类方法
CN113377953B (zh) 一种基于palc－dca模型的实体融合及分类方法
CN114817307A (zh) 一种基于半监督学习和元学习的少样本nl2sql方法
CN117807232A (zh) 商品分类方法、商品分类模型构建方法及装置
CN113051904A (zh) 一种面向小规模知识图谱的链接预测方法
CN117349311A (zh) 一种基于改进RetNet的数据库自然语言查询方法
CN117113937A (zh) 一种基于大规模语言模型的电力领域阅读理解方法和***
CN117152573A (zh) 基于Transformer和数据增强的网络媒体多模态信息抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221209

Address after: 223001 Room 201, building 7, 83 Beijing North Road, qingjiangpu District, Huai'an City, Jiangsu Province

Patentee after: Jiangsu Kesheng Xuanyi Technology Co.,Ltd.

Address before: 210000 No. 89, Beijing North Road, Huai'an City, Jiangsu Province

Patentee before: HUAIYIN INSTITUTE OF TECHNOLOGY

TR01 Transfer of patent right