CN105095396A

CN105095396A - 模型创建方法、质量评估方法及装置

Info

Publication number: CN105095396A
Application number: CN201510387836.6A
Authority: CN
Inventors: 谭龙
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Priority date: 2015-07-03
Filing date: 2015-07-03
Publication date: 2015-11-25

Abstract

公开了一种创建用于评估商品质量的模型的方法以及装置。该方法包括计算样本集的每条样本数据中的各个候选关键词与商品质量的相关度，并且根据计算的相关度确定关键词库；结合确定的关键词库计算每个样本数据中的词在该样本中的权重；以及对计算的权重进行归一化，得到训练数据，并且利用训练数据进行训练以输出模型文件，所述模型文件用来描述通过训练得到的模型。利用上述方案，能够提高商品质量评估的准确率。

Description

模型创建方法、质量评估方法及装置

技术领域

本申请涉及数据挖掘技术，具体涉及一种基于文本的商品质量分析方法和装置以及相关的模型创建方法和装置。

背景技术

随着电子商务的兴起，网上购物已经越来越普及。这样，在服务提供商侧就累积了大量的数据需要进行处理。例如，对海量商品的评价、投诉、工单、退换货等文本数据收集、特征词计算，文本训练及质量分析，实现对商品质量的量化、以及假货的预测/识别，能高准确度的判定商品的质量，是整个运营中不可或缺乃至非常重要的一环。

在现有的技术中，使用人工建模，并根据分析结果不断完善模型的方式进行商品质量分析。例如，收集文本(商品评价、投诉、工单、退换货等)数据，然后对文本数据进行分词，去停用词、反义词。进而根据历史数据制定商品质量量化模型。在质量评估阶段，用指定的关键字与文本匹配，并根据模型依次计算指标数据，并且根据分析结果以及关键词命中情况优化关键词及量化模型。

但是，上述的方案中根据经验设置的文本匹配关键词，与商品质量的相关度相对较低。此外，通过历史数据制定的量化模型识别准确率低、变更频繁造成成本上升。并且，模型在高维情况下，文本向高维控件做映射，计算复杂性增加。在现有技术中用同步分析或多线程分析方式性能低，分析海量商品时不能满足业务要求。

发明内容

针对现有技术中的一个或多个问题，提出了一种创建用于评估商品质量的模型的方法、利用该模型评估商品质量的方法及装置。

在本发明的一个方面，提供了一种创建用于评估商品质量的模型的方法，包括步骤：计算样本集的每条样本数据中的各个候选关键词与商品质量的相关度，并且根据计算的相关度确定关键词库；结合确定的关键词库计算每个样本数据中的词在该样本中的权重；以及对计算的权重进行归一化，得到训练数据，并且利用训练数据进行训练以输出模型文件，所述模型文件用来描述通过训练得到的模型。

在本发明的另一方面，提供了一种创建用于评估商品质量的模型的装置，包括：计算样本集的每条样本数据中的各个候选关键词与商品质量的相关度，并且根据计算的相关度确定关键词库的装置；结合确定的关键词库计算每个样本数据中的词在该样本中的权重的装置；以及对计算的权重进行归一化，得到训练数据，并且利用训练数据进行训练以输出模型文件，所述模型文件用来描述通过训练得到的模型的装置。

在本发明的再一方面，提供了一种评估商品质量的方法，包括步骤：结合关键词库计算待评估商品的每条文本数据中的词在该文本中的权重；对计算的权重进行归一化，得到训练数据；基于得到的训练数据，利用创建的模型计算该商品对应的质量类别及概率。

在本发明的又一方面，提供了一种评估商品质量的装置，包括：结合关键词库计算待评估商品的每条文本数据中的词在该文本中的权重的装置；对计算的权重进行归一化，得到训练数据的装置；基于得到的训练数据，利用创建的模型计算该商品对应的质量类别及概率的装置。

根据上述方案，能够提供基于文本的商品质量分析的准确度和性能。此外，采用卡方统计动态计算用于匹配文本的关键词，大大提高关键词与商品质量的相关度。在其他例子中，对关键词进行反义词过滤，提高量化数据的准确性,对关键词库进行尺度转换，利于训练更好的模型。

另外，一些方案中使用SVM支持向量机，在高维特征空间采用线性算法对文本的非线性特征进行线性分析，应用核函数展开定理，降低计算复杂度。此外，可以运用分布式任务进行关键词计算、量化及质量分析能够快速、近实时分析海量商品的质量。

附图说明

为了更好地理解本发明，将根据以下附图对本发明进行详细描述：

图1示出了根据本发明实施例的网络结构的示意图；

图2示出了根据本发明实施例的服务器侧的结构示意图；

图3示出了根据本发明实施例的创建评估商品质量的模型的方法的流程图；以及

图4示出了根据本发明实施例的评估商品质量的方法的流程图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

图1示出了根据本发明实施例的网络结构的示意图。如图1所示，用户通过手机之类的移动终端140和150上网，例如移动终端140和150通过基站160连接到电信网络170，进而通过网络170连接到服务提供商的服务器110。类似地，用户也可以通过台式机之类的计算机120上网。例如，台式机120通过路由器130之类的网元连接到电信网络170，进而连接到服务提供商的服务器110。这样，用户可以操作120/140或者150进行网络冲浪，在服务提供商的网站上进行网上购物等等。而在服务提供商侧，通过网络将商品展示在网络上，方便用户浏览和购买。当千千万万的用户进行网上购物时，就需要服务提供商对网上售出的商品的质量进行评估和监控。这涉及到海量数据的处理，需要以较高的准确率和较高的性能来进行这些数据的处理。

图2示出了根据本发明实施例的服务器侧的结构示意图。如图2所示，在图示的实施例中，实现对商品关联的文本进行分词，关键词计算、量化、尺度转换，模型训练及质量分析。下面在SKU维度的基础上进行描述，但是本领域的技术人员应该能够想到在其他的维度上实施本发明。

如图2所示，管理端UI201是方便服务提供商的管理人员操作的用户界面，例如进行数据的采集，发出进行质量分析的指示等等。此外，管理端UI还可以用来对关键词库进行调整或者设定过滤器，例如设置需要过滤掉的反义词等等。

定时器或用户(运营专员)202触发进行商品质量分析。协同工作单元204生成任务协调并分配给关键词计算单元205、词量化单元207、训练单元208以及质量分析单元214依次运行，每个单元均可分布式并行分析。每个单元都可找到对应的1个Master和多个Follow，如某一Master停止服务，且其他Follow会根据实例的闲忙情况选择一个Follow接替Master的任务，并获取最新的任务状态，保证装置可靠性及数据的一致性。

关键词计算单元205计算样本集的每条样本数据中的各个候选关键词与商品质量的相关度，并且根据计算的相关度确定关键词库。例如，关键词计算单元205利用卡方统计计算所有关键词(来源例如是：对所有样本数据的文本分词，去停用词、反义词)和商品质量的相关度，并从高到低排序、编号，并取前N个作为关键词库，使关键词库和商品质量高度相关。卡方统计是一种假设检验方法，利用独立性检验来考察两个变量是否有关系，并且量化这种判断的可靠程度。卡方统计公式如下：

K^{2} = \frac{N * {(A D - B C)}^{2}}{(A + B) * (C + D) * (A + C) * (B + D)}

SKU表示保存库存控制的最小可用单位，便于识别商品，如一款商品多色，则对应多个SKU。以SKU维度分析为例：

A为关键词在假货类别中，所有文本出现的次数；

B为关键词不在假货类别中，所有文本出现的次数

C为关键词在假货类别中，没有出现过的文本个数；

D为关键词不在假货类别中，没有出现过的文本个数；

N为样本数据的文本总数；

特征词计算、排序后数据格式如下表：

编号	特征词	卡方值
			1	假货	57.18
2	次品	52.39
			3	仿货	38.87
4	严重	32.66
			5	有问题	16.30
…	…	…

词量化单元207结合确定的关键词库计算每个样本数据中的词在该样本中的权重。例如词量化单元207对每条样本数据(包含商品对应的质量类别：好、中、差)进行分词，去停用词、反义词，然后结合关键词库计算每个词在样本中的权重，计算公式：

Y_{i, j} = \frac{{ΣX}_{i, j} / N}{Σ_{k = 1}^{n} X_{k, j}},

上式中，N为SKU对应的文本总数，分子为关键词在样本SKU中出现的频率(一个文本出现多次算一次)，分母为关键词在其他类别中出现次数总和。

对样本数据量化数据格式如下表：

SKU	分类标记	特征编号	权重值	特征编号	权重值	特征编号	权重值	…
									10001	A	2	0.81	6	0.61	10	0.01	…
10002	B	3	0.73	35	0.83	21	2.15	…
									10003	A	5	1.11	78	1.23	156	0.28	…
10004	…	…	…	…	…	…	…	…

训练单元208对计算的权重进行归一化，得到训练数据，并且利用训练数据进行训练以输出模型文件，所述模型文件用来描述通过训练得到的模型。例如训练单元208先将词量化单元207生成的词量化数据进行尺度转换，统一量化值的范围(利于训练更好的模型)，然后生成训练集209,得到模型文件210，所述模型文件用来描述通过训练得到的模型。在训练集209中，一条样本数据生成一条训练数据。

进行尺度转换后数据格式如下表：

SKU	分类标记	特征编号	权重值	特征编号	权重值	特征编号	权重值	…
									10001	A	2	0.81	6	0.61	10	0.01	…
10002	B	3	0.73	35	0.83	21	0.85	…
									10003	A	5	0.96	78	0.93	156	0.28	…
10004	…	…	…	…	…	…	…	…

例如，训练单元208使用SVM将训练集209训练成模型文件210并输出。SVM表示支持向量机，是一种可训练的机器学习方法。

在得到模型文件后，质量分析单元214读取商品文本数据，并使用和词量化单元、训练单元同样的方法生成文本训练数据，并根据训练出的模型通过SVM计算某个商品质量对应的类别及概率；

产出结果数据如下表：

SKU	结果类别
		20001	A
20002	B
		20003	A
20004	…

用户通过管理端UI201维护样本数据、关键词或反义词库、设置商品质量分析参数、以及检索质量结果数据。

在上述的实施例中将模型的创建过程与商品质量的评估合并在一起描述，但是本领域的技术人员也可以将上述的实施例分成模型的创建阶段和商品质量的评估阶段。例如，在训练单元208对训练集209进行训练得到模型文件210后，可以保存在存储器中待后续使用。图3示出了根据本发明实施例的创建评估商品质量的模型的方法的流程图。

在步骤S310，计算样本集的每条样本数据中的各个候选关键词与商品质量的相关度，并且根据计算的相关度确定关键词库。

例如，利用卡方统计计算所有关键词(来源例如是：对所有样本数据的文本分词，去停用词、反义词)和商品质量的相关度，并从高到低排序、编号，并取前N个作为关键词库，使关键词库和商品质量高度相关。

在步骤S320，结合确定的关键词库计算每个样本数据中的词在该样本中的权重。

例如，对每条样本数据(包含商品对应的质量类别：好、中、差)进行分词，去停用词、反义词，然后结合关键词库计算每个词在样本中的权重。

在步骤S330，对计算的权重进行归一化，得到训练数据，并且利用训练数据进行训练以输出模型文件，所述模型文件用来描述通过训练得到的模型。

例如，先将生成的词量化数据进行尺度转换，统一量化值的范围(利于训练更好的模型)，然后生成训练集,得到模型文件，该模型文件用来描述通过训练得到的模型。在训练集中，一条样本数据生成一条训练数据。

另外，在商品质量评估阶段，可以保存的模型文件来进行质量评估。例如，在质量评估阶段对要评估的商品的文本数据在词量化单元212和训练单元213进行处理，然后进行质量分析。这里的词量化单元212和训练单元213与词量化单元207和训练单元208的功能相同，只是处理的数据不同而已。这样，质量分析单元214进行后续的质量分析，得到该商品的质量分析结果215。

图4示出了根据本发明实施例的评估商品质量的方法的流程图。如图4所示，在步骤S410，结合关键词库计算待评估商品的每条文本数据中的词在该文本中的权重。例如结合关键词库待评估商品的文本数据211中的词在文本中的权重。

在步骤S420，对计算的权重进行归一化，得到训练数据。在步骤S430，基于得到的训练数据，利用创建的模型计算该商品对应的质量类别及概率。

上述实施例的本发明提供的方法，采用诸如卡方统计之类的方法动态计算用于匹配文本的关键词，大大提高关键词与商品质量的相关度，且无需人工维护。此外，上述实施例中的单一关键词与SKU相关度的计算模型中，该相关度与关键词在SKU中出现的概率成正比，与其他类别中关键词出现次数总和成反比，完美的表现了关键词与SKU的相关性

此外，词量化过程对关键词进行反义词过滤，提高量化数据的准确性,对关键词库进行尺度转换，利于训练更好的模型，提高准确性。

在一些实施例中，使用SVM支持向量机，在高维特征空间采用线性算法对文本的非线性特征进行线性分析，应用核函数展开定理，相对传统数据挖掘方法，降低计算复杂度。且随着样本数据的改变，模型定时重新生成，降低人为干预的繁琐度。

在一些实施例中，运用分布式任务进行关键词计算、量化及质量分析能够快速、近实时分析海量商品的质量，总之，本发明相对于现有技术能大大提高商品质量量化数据的准确性及一致性，分析速度快，可靠性高。

如本领域的技术人员理解的那样，在上述实施例中，协同工作单元可省略，对分析性能有一定影响，但不影响本方法或装置的最终结果。此外关键词及反义词库可以是手工维护，线下建立完善的模型对其进行优化。此外，上述的方法和装置可针对商品的不同维度进行质量分析(SPU、SKU、店铺、运营商等)。SPU是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性，是商品信息聚合的最小单位。

另外，词量化单元中，相关度计算模型也可根据文本的类型(评价、投诉、工单、退换货)加以区分。

根据一些实施例，上述的商品质量类别可以自行定义，不影响本方法和装置对商品质量的判断。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了一种基于文本的商品质量分析方法和装置的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机***上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims

1.一种创建用于评估商品质量的模型的方法，包括步骤：

计算样本集的每条样本数据中的各个候选关键词与商品质量的相关度，并且根据计算的相关度确定关键词库；

结合确定的关键词库计算每个样本数据中的词在该样本中的权重；以及

对计算的权重进行归一化，得到训练数据，并且利用训练数据进行训练以输出模型文件，所述模型文件用来描述通过训练得到的模型。

2.如权利要求1所述的方法，其中利用卡方统计计算所有候选关键词与商品质量的相关度，并且提取前N个作为关键词库：

K^{2} = \frac{N * {(A D - B C)}^{2}}{(A + B) * (C + D) * (A + C) * (B + D)}

A为关键词在假货类别中，所有文本出现的次数；

B为关键词不在假货类别中，所有文本出现的次数

C为关键词在假货类别中，没有出现过的文本个数；

D为关键词不在假货类别中，没有出现过的文本个数；

N为样本数据的文本总数。

3.如权利要求1所述的方法，还包括在计算权重之前对每条样本数据进行分词，并且去除停用词和反义词。

4.如权利要求1所述的方法，其中按照下式计算每个词在样本中的权重：

Y_{i, j} = \frac{{ΣX}_{i, j} / N}{Σ_{k = 1}^{n} X_{k, j}},

上式中分子为关键词在样本集中出现的频率，分母为关键词在其他类别中出现次数总和，N为文本总数。

5.如权利要求1所述的方法，其中利用支持向量机算法基于训练数据来得到模型文件。

6.一种创建用于评估商品质量的模型的装置，包括：

计算样本集的每条样本数据中的各个候选关键词与商品质量的相关度，并且根据计算的相关度确定关键词库的装置；

结合确定的关键词库计算每个样本数据中的词在该样本中的权重的装置；以及

对计算的权重进行归一化，得到训练数据，并且利用训练数据进行训练以输出模型文件，所述模型文件用来描述通过训练得到的模型的装置。

7.一种评估商品质量的方法，包括步骤：

结合关键词库计算待评估商品的每条文本数据中的词在该文本中的权重；

对计算的权重进行归一化，得到训练数据；

基于得到的训练数据，利用创建的模型计算该商品对应的质量类别及概率。

8.如权利要求7所述的方法，其中所述关键词库是通过计算样本集的每条样本数据中的各个候选关键词与商品质量的相关度，并且根据计算的相关度来确定的。

9.如权利要求7所述的方法，其中按照下式计算每个词在文本中的权重：

Y_{i, j} = \frac{{ΣX}_{i, j} / N}{Σ_{k = 1}^{n} X_{k, j}},

上式中分子为关键词在文本中出现的频率，分母为关键词在其他类别中出现次数总和，N为文本总数。

10.如权利要求7所述的方法，还包括在计算权重之前对每条文本数据进行分词，并且去除停用词和反义词。

11.一种评估商品质量的装置，包括：

结合关键词库计算待评估商品的每条文本数据中的词在该文本中的权重的装置；

对计算的权重进行归一化，得到训练数据的装置；

基于得到的训练数据，利用创建的模型计算该商品对应的质量类别及概率的装置。

12.如权利要求11所述的装置，其中以分布式任务的方式来评估商品的质量。