CN113128237A - 一种服务资源的语义表征模型构建方法 - Google Patents
一种服务资源的语义表征模型构建方法 Download PDFInfo
- Publication number
- CN113128237A CN113128237A CN202110384721.7A CN202110384721A CN113128237A CN 113128237 A CN113128237 A CN 113128237A CN 202110384721 A CN202110384721 A CN 202110384721A CN 113128237 A CN113128237 A CN 113128237A
- Authority
- CN
- China
- Prior art keywords
- semantic
- model
- service
- vector
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种服务资源的语义表征模型构建方法,首先针对服务资源构建一个标准化的服务资源描述模型,进而针对构建的服务资源表征模型中的功能描述按照短语词汇和长句两个方面分别构建短语语义模型和长句语义模型,有针对性的充分利用各自的各自特点来挖掘语义;短语语义模型可以通过依存关系分析直接转化为结构化关系集合表达语义,易于与知识图谱结合进行后续的分析处理,长句语义模型通过细粒度交互注意力网络提取语义表征信息,可以更加精准地表达服务资源的语义,有利于实现服务的精细化管理,提高资源匹配的准确性。
Description
技术领域
本发明属于自然语言理解技术领域,具体地说,是涉及一种服务资源的语义表征模型构建方法。
背景技术
随着办公信息化、生活网络化不断推进,诸如专利服务、法律服务、政策服务、科技服务、研究咨询等典型的线上服务资源也快速的增长以及不断的积累。
这对于如何能准确、高效地检索到符合用户真实意图的服务资源,提出了新的要求和挑战;同时,目前对服务资源的分类管理过于简单,无法体现服务细微的语义差别,缺乏一套有效的语义分析描述体系。
目前,大量新兴方法融入到文本的语义表征模型中,例如,将BERT、GPT等各种预训练模型,以及RNN、LSTM/CNN、transformer等特征抽取方法,对语义表征模型进行改进,使模型本身变得纷繁复杂。但是,对服务资源功能描述这类特殊的自然语言,直接使用上述模型,对于细粒度的、精细化的语义分析和匹配差强人意,存在中文词汇语义相似性计算精度不高,句子表征方法表达信息不全面、不彻底,无法匹配资源真实的功能语义等等问题。
发明内容
本发明的目的在于提供一种服务资源的语义表征模型构建方法,构建服务资源描述模型,并针对服务资源功能描述非结构化的特点,对以词汇短语为主的功能描述建立功能短语语义模型,将词汇短语转化为结构化关系集合;对于以长句为主的表达,设计一种识别服务描述类语言的交互注意力网络,将长句描述通过词嵌入技术送入交互注意力网络,结合无监督及监督联合训练的方式,得到长句语义模型;通过构建的语义表征模型可以伸入、全面的分析、理解对服务资源的需求,模型输出的描述语言表征向量可用于服务资源的虚拟化管理或服务语义匹配等技术,高效、准确的管理虚拟化的线上服务资源,实现服务资源的精细化管理,提高资源匹配准确性的技术效果。
本发明采用以下技术方案予以实现:
提出一种服务资源的语义表征模型构建方法,包括:
构建服务资源描述模型:
采用资源描述框架定义SRes={SR_Id,SR_Property,SR_Relation},对服务资源进行标准化描述;其中,SR_Id表示服务资源的唯一标识,SR_Property表示服务资源属性信息,SR_Relation表示服务同其他服务或资源的关系;
采用资源描述框架定义SR_Property={BaseInfo,FuncProp,QosProp},对服务资源属性信息进行标准化描述;其中,BaseInfo表示资源基本信息;FuncProp表示资源的功能描述;QosProp表示服务质量及能力评估;
构建短语语义模型FuncProp={(<Predicate>,<Object>,<RL=动宾>)),将服务资源描述模型中的功能描述转换为结构化关系集合;其中,Predicate表示谓语,Object表示宾语,RL表示实体之间的关系;
构建长句语义模型,基于长句语义模型得到描述语言表征向量:
建立包含语序的词向量矩阵;
构建并训练细粒度交互注意力网络;
采用细粒度交互注意力网络将包含语序的词向量矩阵处理为描述语言表征向量(以使得相似句子映射到向量空间相近的位置)。
进一步的,建立包含语序的词向量矩阵,具体包括:将输入句子处理为文本序列,处理文本序列为词向量矩阵;计算词向量矩阵中每个分词的位置编码;将位置编码添加到词向量矩阵中得到包含语序的词向量矩阵。
进一步的,构建的细粒度交互注意力网络包括:编码层,采用双向门控循环单元网络模块提取词向量矩阵中具有全局性的长期依赖关系,采用多尺度扩张卷积模块来获取词向量矩阵中局部语义特征;交互层,构建多粒度注意力交互矩阵得到长期依赖关系和局部语义特征之间的相关性;以及,利用多粒度注意力交互矩阵进行特征的聚合,得到全局表示向量和局部表示向量;输出层,将全局表示向量和局部表示向量进行拼接,并送入到带有非线性激活函数的全连接网络输出最终的描述语言表征向量。
进一步的,采用双向门控循环单元网络模块提取词向量矩阵中具有全局性的长期依赖关系,包括:对于双向门控循环单元模块中的每层网络,将其前向输出的隐藏状态和后向输出的隐藏状态拼接作为层的隐藏状态;经过多层的堆叠网络得到最终的隐藏状态矩阵。
进一步的,采用多尺度扩张卷积模块来获取词向量矩阵中局部语义特征,具体包括:采用带有非线性激活函数的一维扩张卷积检测不同词位置的局部语义特征,得到整个序列的卷积结果;使用多尺度扩张卷积在每个位置生成可变的局部特征,得到多尺度扩张卷积模块的输出。
进一步的,在构建多粒度注意力交互矩阵之前,所述方法还包括:将长期依赖关系和局部语义特征通过一个线性层映射到N个维度为dn的子空间中分别运算;在每个子空间分别构建长期依赖关系和局部语义特征的注意力交互矩阵;对每一个注意力交互矩阵的行和列分别应用平均池化得到长期依赖关系和局部语义特征交互的平均相关程度;应用softmax函数突出长期依赖关系和局部语义特征中每个上下文特征向量的重要性,基于重要性与长期依赖关系的乘积得到子空间输出的全局向量表示,以及基于重要性与局部语义特征的乘积得到子空间输出的局部向量表示。
进一步的,训练细粒度交互注意力网络,具体包括:无监督训练,利用收集到的服务资源功能描述数据,通过细粒度交互注意力网络预测服务描述中的分词;监督训练,添加分类层网络,利用已有的标签预测服务类别,得到的语义表征向量把语义相似的句子映射到向量空间相近的位置。
进一步的,所述短语语义模型中的宾语模型可表示为:
Object={(<Object1>,<Object1>,<RL>),……,<Objectm>,<Objectn>,<RL>)};其中,RL包括并列、定中、状中或其他。
与现有技术相比,本发明的优点和积极效果是:本发明提出的服务资源的语义表征模型构建方法中,首先针对服务资源构建一个标准化的服务资源描述模型,进而针对构建的服务资源表征模型中的功能描述按照短语词汇和长句两个方面分别构建短语语义模型和长句语义模型,有针对性的充分利用各自的各自特点来挖掘语义;短语语义模型可以通过依存关系分析直接转化为结构化关系集合表达语义,易于与知识图谱结合进行后续的分析处理,长句语义模型通过细粒度交互注意力网络提取语义表征信息,可以更加精准地表达服务资源的语义,有利于实现服务的精细化管理,提高资源匹配的准确性。
结合附图阅读本发明实施方式的详细描述后,本发明的其他特点和优点将变得更加清楚。
附图说明
图1为本发明提出的服务资源的语义表征模型构建方法的流程图;
图2为本发明中短语语义模型的架构图;
图3为本发明提出的长句语义模型构建的流程图;
图4为本发明中长句语义模型提出的细粒度交互注意力网络的内部流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的说明。
本发明提出的服务资源的语义表征模型构建方法,如图1所示,包括如下步骤:
步骤S11:构建服务资源描述模型。
本发明实施例中,服务资源描述模型采用资源描述框架(RDF)来定义,实现对服务资源的标准化描述,其本体定义表示如下:
SRes={SR_Id,SR_Property,SR_Relation};
其中,SR_Id表示服务资源的唯一标识;SR_Property表示服务资源属性信息,SR_Relation表示服务同其他服务或资源的关系。
接着采用资源描述框架定义服务资源属性模型,对服务资源属性信息SR_Property进行标准化描述,其模型表示为:
SR_Property={BaseInfo,FuncProp,QosProp};
其中,BaseInfo表示资源基本信息,可包括资源名称、分类、资源URL、资源提供者、提供日期、资源状态等;FuncProp表示资源的功能描述,一般为自然语言;QosProp表示服务质量及能力评估。
其中,资源的功能描述FuncProp是最能反映服务语义的部分,需要通过自然语言处理技术进行分解,本发明从短语词汇和长句两个方面进行分解处理。
步骤S12:针对短语词汇,构建短语语义模型,将服务资源描述模型中的功能描述转换为结构化关系集合。
该短语语义模型针对以词汇短语为主的服务功能描述形式,使用依存关系分析技术,识别句子中词汇与词汇之间的相互依存关系。一个依存关系连接两个词,分别是核心词和依存词,可以表达主谓、动宾等文法结构。
大多数短句类型的服务功能描述都可以转换为动宾结构为主体的短语集合,因此,如图2所示,本发明实施例中用谓语(Predicate)及宾语(Object)定义服务资源的功能描述模型为:
FuncProp={(<Predicate>,<Object>,<RL=动宾>));其中,RL表示实体之间的关系。
进一步的,短语语义模型中的宾语模型可表示为:
Object={(<Object1>,<Object1>,<RL>),……,<Objectm>,<Objectn>,<RL>)};其中,RL包括并列、定中、状中或其他。
通过依存关系分析,可将非结构化的自然语言描述转换为结构化的关系集合,同时可以递归的表达复杂的语义特性:如果存在
SubClass∈ObjectClass,则SubClass上的约束集合用ObjectClass{subclass}表示,该约束集合的扩展功能用下式表示:
该公式表达了实体(或概念)之间的关系,将其作为本体间的约束条件,形成层次网络结构作为资源的功能语义描述模型。
步骤S13:构建长句语义模型,基于长句语义模型得到描述语言表征向量。
具体的,如图3和图4所示,包括如下步骤:
步骤S31:建立包含语序的词向量矩阵。
对输入的功能描述句子进行分词预处理形成输入文本序列,并利用词嵌入技术将其处理成词向量矩阵,利用正余弦位置编码方法计算生成每个分词的位置编码,并将位置编码添加到词向量矩阵中,得到包含语序的词向量矩阵。
步骤S32:构建并训练细粒度交互注意力网络。
如图4所示,构建的细粒度交互注意力网络包括:
编码层,采用双向门控循环单元网络模块(Bi-GRU)来提取词向量矩阵中具有全局性的长期依赖关系,同时采用多尺度扩张卷积模块(Multi-scale dilated CNN)来获取词向量矩阵中的局部语义特征。
交互层,构建多粒度注意力交互矩阵得到长期依赖关系和局部语义特征之间的相关性,同时,利用多粒度注意力交互矩阵进行特征的聚合,得到全局表示向量和局部表示向量。
输出层,将全局表示向量和局部表示向量进行拼接,并送入到带有非线性激活函数的全连接网络输出最终的描述语言表征向量,为一种嵌入式表征。
本发明实施例中,训练细粒度交互注意力网络包括无监督训练和监督训练;首先进行无监督训练,利用收集到的服务资源功能描述数据,通过细粒度交互注意力网络预测服务描述中的分词;之后进行监督训练,添加分类层网络,利用已有的标签预测服务类别,得到的语义表征向量能够把语义相似的句子映射到向量空间相近的地方。
步骤S33:使用细粒度交互注意力网络将包含语序的词向量矩阵处理为描述语言表征向量。
采用训练好的细粒度交互注意力网络,以包含语序的词向量矩阵为输入,得到长句的描述语言表征向量。
长句通过本发明实施例构建的细粒度交互注意力网络提取语义表征信息,可以更加精准地表达服务资源的语义,有利于实现服务的精细化管理,提高资源匹配的准确性。
下面以一个具体的实施例对短语语义模型的构建、长句语义模型的构建,结合构建的模型得到描述语言表征向量做出详细说明。
短语语义模型主要针对以词汇短语为主的服务功能描述形式;例如,对于服务功能描述:“销售服装鞋包&小程序开发″,实施步骤如下:
(1)使用Yamada算法提取描述的依存关系为:
{
″deprel″:″宾语″,
″head_lemma″:″销售″,
″lemma″:″服装″
},
{
″deprel″:″并列关系″,
″head_lemma″:″鞋包″,
″lemma″:″服装″
},
{
″deprel″:″核心关系″,
″head_lemma″:″##核心##″,
″lemma″:″鞋包″
}
{
″deprel″:″前置宾语″,
″head_lemma″:″开发″,
″lemma”:¨J、程序”
},
{
″deprel″:″核心关系″,
″head_lemma”:”##核·心##”.
″lemma”:”开发”
(2)因此,对于上例,可以表示的短语语义模型为:
{(销售,服装鞋包,动宾),(开发,小程序,动宾)}
{(服装,鞋包,并列)};
转换为结构化的关系集合,通过标准化后可以用于后续的资源管理和匹配任务。
长句语义模型主要针对完整的自然语言句子描述的服务功能,具体实现步骤如下:
(1)对输入的句子进行分词、去除停用词等预处理,得到输入的文本序列S={w1,w2,...,wm},其中wi表示为句子S的第i个单词,m为句子S的长度。
(2)对文本序列S,首先通过查询词嵌入空间的方法,得到每个单词wi对应的词向量xi,其中xi∈Rd,d为词向量vi的维度。则整个文本序列S的词向量矩阵表示X=[x1,x2,...,xm]∈Rm×d。
(3)为了充分利用文本序列S的顺序性,需要考虑S中各个词的位置信息;模型首先通过正余弦位置编码方法得到S中每个词的位置编码向量,位置编码采用不同频率的正弦和余弦函数:
其中i为词在S中的位置,d表示词向量的维度大小,p表示位置向量中的第p个元素。所得到位置编码向量为ei∈Rd,整个文本序列S的位置编码可以表示为E=[e1,e2,...,em]。
然后,将位置编码和词向量相结合,从而生成了具有顺序性的词向量矩阵X=[x1+e1,x2+e2,....,xm+em]。
(4)模型采用多粒度交互注意力来实现细粒度的语义信息抽取,首先,在编码层,采用双向门控循环单元网络(Bi-GRU)模块和多尺度扩张卷积(Multi-scale dilated CNN)模块来捕获输入长句中全局依赖关系和局部语义特征。
在Bi-GRU模块中,网络的层数被设置为3。对于GRU模块中每一层网络,其两个方向(前向和后向)输出的隐藏状态可以计算为:
H=[h1,h2,...,hm]∈Rm×2d。
在Multi-scale dilated CNN模块中,模型采用带有非线性激活函数的一维扩张卷积来检测不同词位置的局部语义特征;假设卷积核宽度为2w+1,扩张率为δ,则在第i个词位置的卷积运算结果为:
其中σ为非线性激活函数ReLU;W和b为卷积核和偏置项;为了保证输入和输出序列长度的一致性,补零操作被应用在卷积运算之前。
最终,整个序列的卷积结果为:
c=[c1,c2,...,cm]。
使用多尺度扩张卷积(r表示变化尺度k的个数)在每个位置生成可变的局部特征k-gram,得到Multi-scale dilated CNN模块的最终输出,如下:
C=[c1,c2,...,cr]∈Rm×rd。
在交互层,模型通过在不同粒度下构建全局长期依赖和局部语义特征的注意力交互矩阵来突出两种类型中重要的语义信息,过滤噪音和无关的冗余信息。
首先,在构建注意力交互矩阵之前先通过一个线性层映射到N个维度为dn的子空间中分别运算。H和C投影在第n个子空间(n=[1,2,3,...,N])的过程可以表示为:
随后,模型在每个子空间中分别构建全局长期依赖和局部语义特征之间的注意力交互矩阵:
接下来,对每一个注意力交互矩阵的行和列上分别应用平均池化得到全局长期依赖和局部语义特征交互的平均相关程度:
通过应用softmax函数来突出两种类型特征中每个上下文特征向量的重要性:
最终,所有子空间输出的全局和局部向量表示都被拼接起来作为该层的输出:
在输出层,将最终的全局表示向量(zH)和局部表示向量(zC)馈送到一个带有非线性激活函数的全连接网络,输出描述语言表征向量:
Z=δ(WF[zH,zC]+bF);
其中δ是整流线性单元(ReLU)函数,WF和bF是权重参数。
以上实施例中,根据服务资源非结构化的特点,将词语的外部、内部信息相结合,提出基于词嵌入技术的中文词嵌入方法,改善单词语义相似性计算的性能,为低频词或未登录词的准确语义相似性计算提供了可能性;通过为词向量添加位置编码,生成包含语序信息的句向量,提高词向量的质量,并为之后的语义信息抽取提高其效率;通过将门控循环单元与多尺度扩张卷积结构相结合构建细粒度交互注意力网络,建立语义信息抽取模型,使语义信息抽取更高效、更全面;最终将提出的中文词嵌入方法和句子语义信息抽取模型相结合,建立基于服务资源的语义表征模型,更有效的满足用户对服务资源的需求,提高对用户的服务质量。
应该指出的是,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (8)
1.一种服务资源的语义表征模型构建方法,其特征在于,包括:
构建服务资源描述模型:
采用资源描述框架定义SRes={SR_Id,SR_Property,SR_Relation},对服务资源进行标准化描述;其中,SR_Id表示服务资源的唯一标识,SR_Property表示服务资源属性信息,SR_Relation表示服务同其他服务或资源的关系;
采用资源描述框架定义SR_Property={BaseInfo,FuncProp,QosProp},对服务资源属性信息进行标准化描述;其中,BaseInfo表示资源基本信息;FuncProp表示资源的功能描述;QosProp表示服务质量及能力评估;
构建短语语义模型FuncProp={(<Predicate>,<Object>,<RL=动宾>)),将服务资源描述模型中的功能描述转换为结构化的关系集合;其中,Predicate表示谓语,Object表示宾语,RL表示实体之间的关系;
构建长句语义模型,基于长句语义模型得到长句的描述语言表征向量:
建立包含语序的词向量矩阵;
构建并训练细粒度交互注意力网络;
采用细粒度交互注意力网络将包含语序的词向量矩阵处理为描述语言表征向量。
2.根据权利要求1所述的服务资源的语义表征模型构建方法,其特征在于,建立包含语序的词向量矩阵,具体包括:
将输入句子处理为文本序列,处理文本序列为词向量矩阵;
计算词向量矩阵中每个分词的位置编码;
将位置编码添加到词向量矩阵中得到包含语序的词向量矩阵。
3.根据权利要求1所述的服务资源的语义表征模型构建方法,其特征在于,构建的细粒度交互注意力网络包括:
编码层,采用双向门控循环单元网络模块提取词向量矩阵中具有全局性的长期依赖关系,采用多尺度扩张卷积模块来获取词向量矩阵中局部语义特征;
交互层,构建多粒度注意力交互矩阵得到长期依赖关系和局部语义特征之间的相关性;以及利用多粒度注意力交互矩阵进行特征的聚合,得到全局表示向量和局部表示向量;
输出层,将全局表示向量和局部表示向量进行拼接,并送入到带有非线性激活函数的全连接网络输出最终的描述语言表征向量。
4.根据权利要求3所述的服务资源的语义表征模型构建方法,其特征在于,采用双向门控循环单元网络模块提取词向量矩阵中具有全局性的长期依赖关系,包括:
对于双向门控循环单元模块中的每层网络,将其前向输出的隐藏状态和后向输出的隐藏状态拼接作为层的隐藏状态;
经过多层的堆叠网络得到最终的隐藏状态矩阵。
5.根据权利要求3所述的服务资源的语义表征模型构建方法,其特征在于,采用多尺度扩张卷积模块来获取词向量矩阵中局部语义特征,具体包括:
采用带有非线性激活函数的一维卷积检测不同词位置的局部语义特征,得到整个序列的卷积结果;
使用多尺度扩张卷积在每个位置生成可变的局部特征,得到多尺度扩张卷积模块的输出。
6.根据权利要求3所述的服务资源的语义表征模型的构建方法,其特征在于,在构建多粒度注意力交互矩阵之前,所述方法还包括:
将长期依赖关系和局部语义特征通过一个线性层映射到N个维度为dn的子空间中分别运算;
在每个子空间分别构建长期依赖关系和局部语义特征的注意力交互矩阵;
对每一个注意力交互矩阵的行和列分别应用平均池化得到长期依赖关系和局部语义特征交互的平均相关程度;
应用softmax函数突出长期依赖关系和局部语义特征中每个上下文特征向量的重要性,基于重要性与长期依赖关系的乘积得到子空间输出的全局向量表示,以及基于重要性与局部语义特征的乘积得到子空间输出的局部向量表示。
7.根据权利要求3所述的服务资源的语义表征模型构建方法,其特征在于,训练细粒度交互注意力网络,具体包括:
无监督训练,利用收集到的服务资源功能描述数据,通过细粒度交互注意力网络预测服务描述中的分词;
监督训练,添加分类层网络,利用已有的标签预测服务类别,得到的语义表征向量把语义相似的句子映射到向量空间相近的位置。
8.根据权利要求1所述的服务资源的语义表征模型构建方法,其特征在于,所述短语语义模型中的宾语模型可表示为:
Object={(<Object1>,<Object1>,<RL>),……,<Objectm>,<Objectn>,<RL>)};其中,RL包括并列、定中、状中或其他。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110384721.7A CN113128237B (zh) | 2021-04-09 | 2021-04-09 | 一种服务资源的语义表征模型构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110384721.7A CN113128237B (zh) | 2021-04-09 | 2021-04-09 | 一种服务资源的语义表征模型构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113128237A true CN113128237A (zh) | 2021-07-16 |
CN113128237B CN113128237B (zh) | 2023-04-07 |
Family
ID=76775716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110384721.7A Active CN113128237B (zh) | 2021-04-09 | 2021-04-09 | 一种服务资源的语义表征模型构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113128237B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705880A (zh) * | 2021-08-25 | 2021-11-26 | 杭州远眺科技有限公司 | 基于时空注意力图卷积网络的交通速度预测方法和装置 |
CN115859964A (zh) * | 2022-11-24 | 2023-03-28 | 安徽冠成教育科技有限公司 | 基于教育云平台的教育资源共享方法及*** |
CN115951883A (zh) * | 2023-03-15 | 2023-04-11 | 日照市德衡信息技术有限公司 | 分布式微服务架构的服务组件管理***及其方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109582764A (zh) * | 2018-11-09 | 2019-04-05 | 华南师范大学 | 基于依存句法的交互注意力情感分析方法 |
CN110362817A (zh) * | 2019-06-04 | 2019-10-22 | 中国科学院信息工程研究所 | 一种面向产品属性的观点倾向性分析方法及*** |
CN110377711A (zh) * | 2019-07-01 | 2019-10-25 | 浙江大学 | 一种利用分层卷积自注意力网络解决开放式长视频问答任务的方法 |
CN111488734A (zh) * | 2020-04-14 | 2020-08-04 | 西安交通大学 | 基于全局交互和句法依赖的情感特征表示学习***及方法 |
CN111581401A (zh) * | 2020-05-06 | 2020-08-25 | 西安交通大学 | 一种基于深度相关性匹配的局部引文推荐***及方法 |
CN111783474A (zh) * | 2020-07-16 | 2020-10-16 | 厦门市美亚柏科信息股份有限公司 | 一种评论文本观点信息处理方法、装置及存储介质 |
CN111985236A (zh) * | 2020-06-02 | 2020-11-24 | 中国航天科工集团第二研究院 | 基于多维联动的可视化分析方法 |
-
2021
- 2021-04-09 CN CN202110384721.7A patent/CN113128237B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109582764A (zh) * | 2018-11-09 | 2019-04-05 | 华南师范大学 | 基于依存句法的交互注意力情感分析方法 |
CN110362817A (zh) * | 2019-06-04 | 2019-10-22 | 中国科学院信息工程研究所 | 一种面向产品属性的观点倾向性分析方法及*** |
CN110377711A (zh) * | 2019-07-01 | 2019-10-25 | 浙江大学 | 一种利用分层卷积自注意力网络解决开放式长视频问答任务的方法 |
CN111488734A (zh) * | 2020-04-14 | 2020-08-04 | 西安交通大学 | 基于全局交互和句法依赖的情感特征表示学习***及方法 |
CN111581401A (zh) * | 2020-05-06 | 2020-08-25 | 西安交通大学 | 一种基于深度相关性匹配的局部引文推荐***及方法 |
CN111985236A (zh) * | 2020-06-02 | 2020-11-24 | 中国航天科工集团第二研究院 | 基于多维联动的可视化分析方法 |
CN111783474A (zh) * | 2020-07-16 | 2020-10-16 | 厦门市美亚柏科信息股份有限公司 | 一种评论文本观点信息处理方法、装置及存储介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113705880A (zh) * | 2021-08-25 | 2021-11-26 | 杭州远眺科技有限公司 | 基于时空注意力图卷积网络的交通速度预测方法和装置 |
CN115859964A (zh) * | 2022-11-24 | 2023-03-28 | 安徽冠成教育科技有限公司 | 基于教育云平台的教育资源共享方法及*** |
CN115859964B (zh) * | 2022-11-24 | 2023-04-28 | 安徽冠成教育科技有限公司 | 基于教育云平台的教育资源共享方法及*** |
CN115951883A (zh) * | 2023-03-15 | 2023-04-11 | 日照市德衡信息技术有限公司 | 分布式微服务架构的服务组件管理***及其方法 |
CN115951883B (zh) * | 2023-03-15 | 2023-05-23 | 日照市德衡信息技术有限公司 | 分布式微服务架构的服务组件管理***及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113128237B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113128237B (zh) | 一种服务资源的语义表征模型构建方法 | |
CN113761936A (zh) | 一种基于多头自注意力机制的多任务篇章级事件抽取方法 | |
CN113239700A (zh) | 改进bert的文本语义匹配设备、***、方法及存储介质 | |
CN111143576A (zh) | 一种面向事件的动态知识图谱构建方法和装置 | |
CN111539197B (zh) | 文本匹配方法和装置以及计算机***和可读存储介质 | |
Zhang et al. | Aspect-based sentiment analysis for user reviews | |
CN111651974A (zh) | 一种隐式篇章关系分析方法和*** | |
CN113704460B (zh) | 一种文本分类方法、装置、电子设备和存储介质 | |
CN116304748B (zh) | 一种文本相似度计算方法、***、设备及介质 | |
Nikzad-Khasmakhi et al. | BERTERS: Multimodal representation learning for expert recommendation system with transformers and graph embeddings | |
CN112528136A (zh) | 一种观点标签的生成方法、装置、电子设备和存储介质 | |
Zulqarnain et al. | An efficient two-state GRU based on feature attention mechanism for sentiment analysis | |
CN114077661A (zh) | 信息处理装置、信息处理方法和计算机可读介质 | |
CN112269874A (zh) | 一种文本分类方法及*** | |
CN116975199A (zh) | 一种文本预测方法、装置、设备和存储介质 | |
Peng et al. | Image to LaTeX with graph neural network for mathematical formula recognition | |
CN114880427A (zh) | 基于多层级注意力机制的模型、事件论元抽取方法及*** | |
CN112632223B (zh) | 案事件知识图谱构建方法及相关设备 | |
Vo | Se4exsum: An integrated semantic-aware neural approach with graph convolutional network for extractive text summarization | |
Li et al. | Evaluating BERT on cloud-edge time series forecasting and sentiment analysis via prompt learning | |
CN116578671A (zh) | 一种情感-原因对提取方法及装置 | |
CN115964497A (zh) | 一种融合注意力机制与卷积神经网络的事件抽取方法 | |
Li et al. | A comprehensive survey on schema-based event extraction with deep learning | |
CN116629361A (zh) | 基于本体学习和注意力机制的知识推理方法 | |
Yousif et al. | Exploring deep learning approaches for video captioning: A comprehensive review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |