CN111428486B - 物品信息数据处理方法、装置、介质及电子设备 - Google Patents

物品信息数据处理方法、装置、介质及电子设备 Download PDF

Info

Publication number
CN111428486B
CN111428486B CN201910016030.4A CN201910016030A CN111428486B CN 111428486 B CN111428486 B CN 111428486B CN 201910016030 A CN201910016030 A CN 201910016030A CN 111428486 B CN111428486 B CN 111428486B
Authority
CN
China
Prior art keywords
category
product words
product
word
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910016030.4A
Other languages
English (en)
Other versions
CN111428486A (zh
Inventor
安旭
安伟佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Wodong Tianjun Information Technology Co Ltd
Priority to CN201910016030.4A priority Critical patent/CN111428486B/zh
Publication of CN111428486A publication Critical patent/CN111428486A/zh
Application granted granted Critical
Publication of CN111428486B publication Critical patent/CN111428486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种物品信息数据处理方法、装置、计算机可读介质及电子设备,涉及计算机技术领域,包括:根据类目下物品的标题句的分词结果确定物品的产品词;获取所述产品词与对应物品的相似度;获取类目下各个所述产品词对应不同物品的相似度的和值;根据类目下所述和值的排序选取所述类目的产品词;根据所述类目的产品词进行类目匹配处理从而确定匹配类目。本发明实施例的技术方案通过计算产品词与物品的相似度,并根据相似度的和值排序选取产品词进行类目匹配处理,去除了误识别的标题句中的产品词,提高了类目映射的准确率。

Description

物品信息数据处理方法、装置、介质及电子设备
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种物品信息数据处理方法、装置、计算机可读介质及电子设备。
背景技术
在物品属于不同的类目的情况下,进行物品匹配时通常先进行类目映射,以减少匹配的数量级。类目映射是在全品类物品中根据类目映射关系找到对应的类目。
相关技术中,一般采用依靠产品词取交集的方式来进行类目的映射判断。当两个类目有足够多的产品词重叠时,那么认为两个类目的物品都是具有某些相同属性的物品,比如两个类目都存在“白酒”、“酒”等产品词,那么说明这两个类目的物品都是和“酒”相关的,显然具有类目映射关系。
在选取代表类目的产品词时,首先找出每个类目下所有物品标题中的产品词,将这些产品词按照出现频率排序,取序号最小的M个产品词代表这个类目。如果两个类目的序号最小的M个产品词存在交集,那么认为这两个类目存在映射关系。
但是,进行代表类目的产品词的选取时,需要采用词典方法识别产品词,采用该方法会出现产品词误识别的情况,影响了类目映射的准确率。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种物品信息数据处理方法、装置、计算机可读介质及电子设备,进而至少在一定程度上克服选取产品词时会出现误识别情况的技术问题。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明实施例的第一方面,提供了一种物品信息数据处理方法,包括:根据类目下物品的标题句的分词结果确定物品的产品词;获取所述产品词与对应物品的相似度;获取类目下各个所述产品词对应不同物品的相似度的和值;根据类目下所述和值的排序选取所述类目的产品词;根据所述类目的产品词进行类目匹配处理从而确定匹配类目。
在一个实施例中,所述获取所述产品词与对应物品的相似度,包括:使用所述物品的标题句训练词向量模型,得到所述产品词的词向量;获取所述物品的标题句的句向量;获取所述词向量与所述句向量的余弦相似度。
在一个实施例中,所述获取所述物品的标题句的句向量,包括:通过对所述标题句的各个产品词的词向量在对应维度上加和后取均值获取所述句向量。
在一个实施例中,在根据类目下所述和值的排序选取产品词之前,所述方法还包括:对类目下各个所述产品词对应不同物品的相似度的和值进行排序;所述根据类目下所述和值的排序选取所述类目的产品词,包括:选取类目下所述和值的排序前N的产品词作为所述类目的产品词,其中,N与所述类目下的全部产品词的数量的比例为设定的第一数值。
在一个实施例中,所述根据所述类目的产品词进行类目匹配处理从而确定匹配类目,包括:根据类目的产品词是否有交集判断所述类目是否匹配。
根据本发明实施例的第二方面,提供了一种物品信息数据处理装置,包括:确定单元,用于根据类目下物品的标题句的分词结果确定物品的产品词;第一获取单元,用于获取所述产品词与对应物品的相似度;第二获取单元,用于获取类目下各个所述产品词对应不同物品的相似度的和值;选取单元,用于根据类目下所述和值的排序选取所述类目的产品词;匹配单元,用于根据所述类目的产品词进行类目匹配处理从而确定匹配类目。
在一个实施例中,所述装置还包括排序单元,用于对类目下各个所述产品词对应不同物品的相似度的和值进行排序;所述选取单元还用于选取类目下所述和值的排序前N的产品词作为所述类目的产品词,其中,N与所述类目下的全部产品词的数量的比例为设定的第一数值。
在一个实施例中,所述匹配单元还用于根据类目的产品词是否有交集判断所述类目是否匹配。
根据本发明实施例的第三方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中第一方面所述的物品信息数据处理方法。
根据本发明实施例的第四方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中第一方面所述的物品信息数据处理方法。
本发明实施例提供的技术方案可以包括以下有益效果:
在本发明的一些实施例所提供的技术方案中,通过计算产品词与物品的相似度,并根据相似度的和值排序选取产品词进行类目匹配处理,去除了误识别的标题句中的产品词,提高了类目映射的准确率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了根据本发明一种实施例的物品信息数据处理方法的流程图;
图2示意性示出了根据本发明另一种实施例的物品信息数据处理方法的流程图;
图3示意性示出了根据本发明一种实施例的物品信息数据处理装置的方框图;
图4示意性示出了根据本发明另一种实施例的物品信息数据处理装置的方框图;
图5示出了适于用来实现本发明实施例的电子设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
在相关技术中,我们采用基于词典的分词方法来确定物品的产品词。如果一个物品的标题句中有多个产品词,往往不能有效地识别哪一个或者哪几个是有效的描述该物品的产品词。如果选取的物品的产品词包括与物品无关的产品词时,由于该产品词不能有效描述该物品,在后续进行物品类目映射时,会出现错误映射的情况。
例如,白酒类目下标题中可能会有“送礼品袋”这样的描述,这时“礼品袋”会被误识别为产品词。这时,“礼品袋”与这个物品的相似度较低,“白酒”与该物品的相似度较高,通过考察相似性,选取与物品相似度较高的“白酒”作为该物品的产品词便可以消除歧义,去掉误识别的产品词“礼品袋”。
基于以上分析,本公开示例性实施例中,首先通过语义分析来确定真实的产品词,再使用产品词来判断产品词对应的类目是否存在映射关系。具体分析如下:
图1示意性示出了本公开的示例性实施方式的物品信息数据处理方法。参考图1,物品信息数据处理方法可以包括以下步骤:
步骤S102,根据类目下物品的标题句的分词结果确定物品的产品词。
步骤S104,获取产品词与对应物品的相似度。
步骤S106,获取类目下各个产品词对应不同物品的相似度的和值。
步骤S108,根据类目下和值的排序选取类目的产品词。
步骤S110,根据类目的产品词进行类目匹配处理从而确定匹配类目。
采用以上技术方案时,根据产品词与物品的相似度来去除误识别的产品词,以获取真实有效的产品词,可以提高物品类目映射的准确率,优化现有的商品类目映射方案。
具体地,以上方案使用语义识别的方法对产品词进行了处理,改良了相关技术中仅以产品词取交集方式的类目映射方法。
在步骤S102之前,需要对物品的标题句进行分词。具体地,根据分词***中的词典和设定的匹配算法对标题句进行分词,得到分词结果。在步骤S102中,对分词结果进行词性标注,以找出标题句中的物品的产品词。
在步骤S104中,通过获取产品词与对应物品的相似度来考察产品词与物品的相似性。
具体地,获取产品词与对应物品的相似度时,需要使用物品的标题句的词向量和句向量。
其中,使用物品的标题句训练词向量模型,可以得到产品词的词向量。这里,词向量模型可以为word2vec模型。
Word2vec模型是为一群用来产生词向量的相关模型。这些模型为浅层双层的神经网络,用来训练以重新建构语言学的词文本。网络以词表现,并且需猜测相邻位置的输入词,在word2vec中的词袋模型假设下,词的顺序是不重要的。训练完成之后,word2vec模型可用来映射每个词到一个向量,可用来表示词对词之间的关系,该向量为神经网络之隐藏层。
获取物品的标题句的句向量时,需要通过对标题句的各个产品词的词向量在对应维度上加和后取均值计算句向量。
这里,采用的公式为:
Figure BDA0001939092140000061
其中n为标题中产品词的个数,Wi为第i个产品词对应的词向量,S为句向量。
产品词与对应物品的相似度可以用物品的产品词的词向量与标题句的句向量的余弦相似度表示。因此,获取产品词与对应物品的相似度时,可以获取词向量与句向量的余弦相似度。
其中,余弦相似度的计算公式为:
cosin=A·B/(|A|×|B|)
其中A、B是向量。
在步骤S106中,采用以下公式获取产品词与对应的所有物品的相似度的和值:
Figure BDA0001939092140000062
其中p_word表示产品词,sum_simp_word为产品词p_word在类目下与对应商品的相似度之和,N为类目下商品数量,
Figure BDA0001939092140000063
为类目下第j个商品中的产品词p_word与该商品的相似度。
在步骤S108之前,需要对类目下各个产品词对应不同物品的相似度的和值进行排序。
在步骤S108中,根据类目下和值的排序选取该类目的产品词时,选取类目下和值的排序前N的产品词作为类目的产品词,其中,N与类目下的全部产品词的数量的比例为设定的第一数值。
这里,第一数值K(0<K<1)可以取值K=0.70,这时,选取排序序数最小的N个产品词时,N与产品词的总数的比值即为0.70,这里,N>1,且N为自然数。即如果一个类目下有10个产品词,K=0.70时,N=7,选取排序占比为0.70的产品词即为可以选取排序序数最小的7个产品词。这7个产品词即为该类目的产品词。
在本公开示例性实施例中,根据类目的产品词是否有交集判断两个类目是否匹配。具体地,两个类目的产品词有交集,那么视为两个类目匹配即两个类目存在映射关系。K值可以通过网格搜索来选择一个较优解。
在实际应用中,物品可以是商业网页上的商品。商业网页上有大量的不同类目不同种类的商品。对这些商品进行匹配时,一般首先对商品的类目进行映射,并根据映射结果进行商品的匹配,以减少数据处理量。
在本公开示例性实施例中,提供一种物品信息数据处理方法,以实现对不同类目下的商品进行商品信息映射处理。具体地,如图2所示,根据本发明实施例的物品信息数据处理方法中,包括步骤S201至步骤S208,其中:
步骤S201,对每个类目下的商品的标题句分词。
步骤S202,对分词结果做词性标注。
步骤S203,训练词向量模型。
步骤S204,计算标题句句向量。
步骤S205,计算词向量与句向量余弦相似度。
步骤S206,计算相似度之和。
步骤S207,对相似度之和排序。
步骤S208,以存在产品词交集的类目关系作为映射。
其中,在步骤S201中,根据分析***中的词典和设定的匹配算法对标题句进行分词,得到分词结果。在步骤S202中,对分词结做词性标注后,根据词性标注结果选取标题句的产品词。在步骤S203中,使用商品的标题句训练词向量模型,得到产品词的词向量。在步骤S204中,通过对标题句的各个产品词的词向量在对应维度上加和后取均值计算句向量。在步骤S205中,计算商品的产品词的词向量与标题句的句向量的余弦相似度。在步骤S206中,计算产品词与对应的所有商品的相似度之和。在步骤S207中,对类目下各个产品词的相似度之和进行排序。在步骤S208中,根据排序结果选取最能代表类目的产品词代表该类目进行产品词交集判断,并在两个产品词存在交集时,认定两个类目互为映射。
本发明实施例所提供的物品信息数据处理方法,通过计算产品词与物品的相似度,并根据相似度的和值排序选取产品词进行类目匹配处理,去除了误识别的标题句中的产品词,提高了类目映射的准确率。
以下介绍本发明的装置实施例,可以用于执行本发明上述的物品信息数据处理方法。如图3所示,根据本发明实施例提供的物品信息数据处理装置300包括:
确定单元302,用于根据类目下物品的标题句的分词结果确定物品的产品词;
第一获取单元304,用于获取产品词与对应物品的相似度;
第二获取单元306,用于获取类目下各个产品词对应不同物品的相似度的和值;
选取单元308,用于根据类目下和值的排序选取类目的产品词。
匹配单元,用于根据类目的产品词进行类目匹配处理从而确定匹配类目。
采用以上技术方案时,根据产品词与物品的相似度来去除误识别的产品词,以获取真实有效的产品词,可以提高物品类目映射的准确率,优化现有的商品类目映射方案。
具体地,以上方案使用语义识别的方法对产品词进行了处理,改良了相关技术中仅以产品词取交集方式的类目映射方法。
在确定单元302确定物品的产品词之前,需要对物品的标题句进行分词。具体地,根据分词***中的词典和设定的匹配算法对标题句进行分词,得到分词结果。确定单元302对分词结果进行词性标注,以找出标题句中的物品的产品词。
第一获取单元304通过获取产品词与对应物品的相似度来考察产品词与物品的相似性。
第一获取单元304使用物品的标题句训练词向量模型,得到产品词的词向量。第一获取单元304还通过对题句的各个产品词的词向量在对应维度上加和后取均值计算句向量。
在得到词向量和句向量后,第一获取单元304计算词向量与句向量的余弦相似度,该余弦相似度即可以代表产品词与对应物品的相似度。
第二获取单元306采用以下公式获取产品词与对应的所有物品的相似度的和值:
Figure BDA0001939092140000091
其中p_word表示产品词,sum_simp_word为产品词p_word在类目下与对应商品的相似度之和,N为类目下商品数量,
Figure BDA0001939092140000092
为类目下第j个商品中的产品词p_word与该商品的相似度。
选取单元308选取类目下和值的排序前N的产品词作为类目的产品词,其中,N与该类目下的全部产品词的数量的比例为设定的第一数值。
这里,第一数值K(0<K<1)可以取值K=0.70,这时,选取排序序数最小的N个产品词时,N与产品词的总数的比值即为0.70,这里,N>1,且N为自然数。即如果一个类目下有10个产品词,K=0.70时,N=7,选取排序占比为0.70的产品词即为可以选取排序序数最小的7个产品词。这7个产品词即为该类目的产品词。
在本公开示例性实施例中,匹配单元310根据类目的产品词是否有交集判断两个类目是否匹配。具体地,两个类目的产品词有交集,那么视为两个类目匹配即两个类目存在映射关系。K值可以通过网格搜索来选择一个较优解。
根据本公开的示例性实施例,参考图4,相比较物品信息数据处理装置300,物品信息数据处理装置400不仅包括确定单元302、第一获取单元304、第二获取单元306、选取单元308以及匹配单元310,还包括排序单元402。
具体地,排序单元402用于对类目下各个产品词对应不同物品的相似度的和值进行排序。
本发明实施例所提供的物品信息数据处理装置,通过计算产品词与物品的相似度,并根据相似度的和值排序选取产品词进行类目匹配处理,去除了误识别的标题句中的产品词,提高了类目映射的准确率。
下面参考图5,其示出了适于用来实现本发明实施例的电子设备的计算机***700的结构示意图。图5示出的电子设备的计算机***700仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机***700包括中央处理单元(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有***操作所需的各种程序和数据。CPU701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口707。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本申请的***中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的物品信息数据处理方法。
例如,的电子设备可以实现如图1中所示的:步骤S102,根据类目下物品的标题句的分词结果确定物品的产品词;步骤S104,获取所述产品词与对应物品的相似度;步骤S106,获取类目下各个所述产品词对应不同物品的相似度的和值;步骤S108,根据类目下所述和值的排序选取所述类目的产品词;步骤S110,根据所述类目的产品词进行类目匹配处理从而确定匹配类目。
又如,所述的电子设备可以实现如图2所示的各个步骤。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种物品信息数据处理方法,其特征在于,包括:
根据类目下物品的标题句的分词结果确定物品的产品词;
获取所述产品词与对应物品的相似度,包括:
使用所述物品的标题句训练词向量模型,得到所述产品词的词向量;
获取所述物品的标题句的句向量,包括:通过对所述标题句的各个产品词的词向量在对应维度上加和后取均值获取所述句向量;
获取所述词向量与所述句向量的余弦相似度;
获取类目下各个所述产品词对应不同物品的相似度的和值;
根据类目下所述和值的排序选取所述类目的产品词;
根据所述类目的产品词进行类目匹配处理从而确定匹配类目。
2.根据权利要求1所述的方法,其特征在于,在根据类目下所述和值的排序选取产品词之前,所述方法还包括:
对类目下各个所述产品词对应不同物品的相似度的和值进行排序;
所述根据类目下所述和值的排序选取所述类目的产品词,包括:
选取类目下所述和值的排序前N的产品词作为所述类目的产品词,其中,N与所述类目下的全部产品词的数量的比例为设定的第一数值。
3.根据权利要求2所述的方法,其特征在于,所述根据所述类目的产品词进行类目匹配处理从而确定匹配类目,包括:
根据类目的产品词是否有交集判断所述类目是否匹配。
4.一种物品信息数据处理装置,其特征在于,包括:
确定单元,用于根据类目下物品的标题句的分词结果确定物品的产品词;
第一获取单元,用于获取所述产品词与对应物品的相似度;
第二获取单元,用于获取类目下各个所述产品词对应不同物品的相似度的和值;
选取单元,用于根据类目下所述和值的排序选取所述类目的产品词;
匹配单元,用于根据所述类目的产品词进行类目匹配处理从而确定匹配类目;
第一获取单元使用物品的标题句训练词向量模型,得到产品词的词向量,并通过对题句的各个产品词的词向量在对应维度上加和后取均值计算句向量;在得到词向量和句向量后,第一获取单元计算词向量与句向量的余弦相似度,该余弦相似度即可以代表产品词与对应物品的相似度。
5.根据权利要求4所述的装置,其特征在于,所述装置还包括排序单元,用于对类目下各个所述产品词对应不同物品的相似度的和值进行排序;
所述选取单元还用于选取类目下所述和值的排序前N的产品词作为所述类目的产品词,其中,N与所述类目下的全部产品词的数量的比例为设定的第一数值。
6.根据权利要求5所述的装置,其特征在于,所述匹配单元还用于根据类目的产品词是否有交集判断所述类目是否匹配。
7.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至3中任一项所述的物品信息数据处理方法。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至3中任一项所述的物品信息数据处理方法。
CN201910016030.4A 2019-01-08 2019-01-08 物品信息数据处理方法、装置、介质及电子设备 Active CN111428486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910016030.4A CN111428486B (zh) 2019-01-08 2019-01-08 物品信息数据处理方法、装置、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910016030.4A CN111428486B (zh) 2019-01-08 2019-01-08 物品信息数据处理方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
CN111428486A CN111428486A (zh) 2020-07-17
CN111428486B true CN111428486B (zh) 2023-06-23

Family

ID=71545950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910016030.4A Active CN111428486B (zh) 2019-01-08 2019-01-08 物品信息数据处理方法、装置、介质及电子设备

Country Status (1)

Country Link
CN (1) CN111428486B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329653A (zh) * 2020-11-09 2021-02-05 北京沃东天骏信息技术有限公司 数据处理方法、装置、计算机***及可读存储介质
CN114529337A (zh) * 2022-02-08 2022-05-24 北京电解智科技有限公司 信息检测方法和装置
CN116976324A (zh) * 2022-04-21 2023-10-31 北京沃东天骏信息技术有限公司 一种产品词的消歧方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206487A (ja) * 2015-04-24 2016-12-08 日本電信電話株式会社 音声認識結果整形装置、方法及びプログラム
CN106484664A (zh) * 2016-10-21 2017-03-08 竹间智能科技(上海)有限公司 一种短文本间相似度计算方法
CN108763333A (zh) * 2018-05-11 2018-11-06 北京航空航天大学 一种基于社会媒体的事件图谱构建方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104965905B (zh) * 2015-06-30 2018-05-04 北京奇虎科技有限公司 一种网页分类的方法和装置
US20170169008A1 (en) * 2015-12-15 2017-06-15 Le Holdings (Beijing) Co., Ltd. Method and electronic device for sentiment classification
CN107168992A (zh) * 2017-03-29 2017-09-15 北京百度网讯科技有限公司 基于人工智能的文章分类方法及装置、设备与可读介质
CN107729917A (zh) * 2017-09-14 2018-02-23 北京奇艺世纪科技有限公司 一种标题的分类方法及装置
CN107657284A (zh) * 2017-10-11 2018-02-02 宁波爱信诺航天信息有限公司 一种基于语义相似性扩展的商品名称分类方法及***
CN108628825A (zh) * 2018-04-10 2018-10-09 平安科技(深圳)有限公司 文本信息相似度匹配方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206487A (ja) * 2015-04-24 2016-12-08 日本電信電話株式会社 音声認識結果整形装置、方法及びプログラム
CN106484664A (zh) * 2016-10-21 2017-03-08 竹间智能科技(上海)有限公司 一种短文本间相似度计算方法
CN108763333A (zh) * 2018-05-11 2018-11-06 北京航空航天大学 一种基于社会媒体的事件图谱构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sadrzadeh, Mehrnoosh. Sentence entailment in compositional distributional semantics.《 Annals of mathematics and artificial intelligence》.2018,第83卷(第4(2018)期),189-218. *
邱宁佳.结合改进主动学习的SVD-CNN弹幕文本分类算法.《计算机应用》.2018,第39卷(第3(2019)期),全文. *

Also Published As

Publication number Publication date
CN111428486A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN107679039B (zh) 用于确定语句意图的方法和装置
CN110674312B (zh) 构建知识图谱方法、装置、介质及电子设备
CN108170859A (zh) 语音查询的方法、装置、存储介质及终端设备
CN111428486B (zh) 物品信息数据处理方法、装置、介质及电子设备
CN109086265B (zh) 一种语义训练方法、短文本中多语义词消歧方法
CN108121699B (zh) 用于输出信息的方法和装置
CN112395487B (zh) 信息推荐方法、装置、计算机可读存储介质及电子设备
CN111767375A (zh) 语义召回方法、装置、计算机设备及存储介质
CN111274822A (zh) 语义匹配方法、装置、设备及存储介质
CN111414746A (zh) 一种匹配语句确定方法、装置、设备及存储介质
CN113268615A (zh) 资源标签生成方法、装置、电子设备及存储介质
CN112214576B (zh) 舆情分析方法、装置、终端设备及计算机可读存储介质
CN112818091A (zh) 基于关键词提取的对象查询方法、装置、介质与设备
CN111782793A (zh) 智能客服处理方法和***及设备
CN115344699A (zh) 文本分类模型的训练方法、装置、计算机设备及介质
CN115239214A (zh) 企业的评估处理方法、装置及电子设备
CN113641707A (zh) 知识图谱消歧方法、装置、设备及存储介质
CN114090792A (zh) 基于对比学习的文档关系抽取方法及其相关设备
CN113988057A (zh) 基于概念抽取的标题生成方法、装置、设备及介质
CN113821588A (zh) 文本处理方法、装置、电子设备及存储介质
CN110674388A (zh) 推送项目的配图方法、装置、存储介质和终端设备
CN111625619B (zh) 查询省略方法、装置、计算机可读介质及电子设备
CN109284384B (zh) 文本分析方法、装置、电子设备及可读存储介质
CN108733702B (zh) 用户查询上下位关系提取的方法、装置、电子设备和介质
CN112784861A (zh) 相似度的确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant