CN107346502A - 一种基于大数据的迭代产品销售预测方法 - Google Patents

Abstract

本发明公开了一种基于大数据的迭代产品销售预测方法，包括数据处理模块、模型算法模块和预测输出可视化展示模块，所述数据处理模块用于最底层各业务***数据、第三方网站数据及部分手工数据引入mysql数据库存储并按照模型算法模块的模型提出数据要求进行ETL工作，模型算法模块用于根据已经准备好的数据做出建模工作并得到最终模型，所述最终模型通过学习发现规律预测未来销量，所述预测输出可视化展示模块用于获取模型算法模块产出的预测数据进行可视化图形展示并支持产品型号及该产品型号的月度预测。本发明提高了迭代产品的预测准确率，指导供应链高效运转，提高客户服务满意度，使产品及时有效地供应市场，降低了库存提高库存周转率，同时避免产品脱销出现。

Description

一种基于大数据的迭代产品销售预测方法

技术领域

本发明涉及大数据应用技术领域，尤其涉及一种基于大数据的迭代产品销售预测方法。

背景技术

随着大数据的不断发展，目前应用大数据解决供应链问题越来越多，中国制造2025的提出，工业4.0智能制造的提出，都在于智能化解决供应链，销售是供应链的源头，首先要运用大数据技术解决销售预测，从而取代人为主观预估(企业销售预测目前基本处于专家评估，根据经验和历史同环比数据进行)，其中迭代产品的特殊性也是目前难以运用自身数据解决。迭代家电产品是指：产品系列的新家电产品型号替代旧家电产品型号，核心功能一致，性能或其他因素等有一定提升以满足进步市场的需求，迭代产品推出市场时没有自身历史销售数据。销售预测核心有三类技术：专家评估、时间序列分析、机器学习；专家评估属于主观预测，人为因素，准确率不稳定；时间序列分析和机器学习是以算法模型为基础的电脑大数据计算，数据客观预测准确稳定，前提需要大量的自身历史数据进行模型训练。

发明内容

针对现有技术存在的不足之处，本发明的目的在于提供一种基于大数据的迭代产品销售预测方法，在不影响历史产品销售的情况下，利用大数据技术预测迭代型号产品的销量预估，达到新旧产品平滑过渡，产品工厂采购及生产数量精准化。

本发明的目的通过下述技术方案实现：

一种基于大数据的迭代产品销售预测方法，包括数据处理模块、模型算法模块和预测输出可视化展示模块，所述数据处理模块用于最底层各业务***数据、第三方网站数据及部分手工数据引入mysql数据库存储并按照模型算法模块的模型提出数据要求进行ETL工作，模型算法模块用于根据已经准备好的数据做出建模工作并得到最终模型，所述最终模型通过学习发现规律预测未来销量，所述预测输出可视化展示模块用于获取模型算法模块产出的预测数据进行可视化图形展示并支持产品型号及该产品型号的月度预测；其方法步骤如下：

A、数据处理模块的数据处理过程：

A1、各业务***通过脚本接口进入mysql数据库中；第三方网站数据通过java程序形式读取和写入mysql数据库中；国家***行业数据通过爬虫技术定制抓取页面信息并将获取到的页面信息写入mysql数据库中；

A2、数据处理模块按照模型算法模块所提出的数据要求针对mysql数据库中的数据进行ETL工作，结果数据继续存储在mysql数据库中供模型算法模块使用；

B、预测输出可视化展示模块用于获取模型算法模块产出的预测数据进行可视化图形展示并支持产品型号及该产品型号的月度预测，模型算法模块的预测数据结果存放在mysql数据库中并从mysql数据库中读取数据进行可视化图表及趋势展示。

一种基于大数据的迭代产品销售预测方法，本发明的具体方法如下：

第一步、数据准备：各业务***通过脚本接口进入mysql数据库中；第三方数据excel通过java程序形式读取和写入mysql数据库中；国家***行业数据通过定制抓去页面信息爬虫的方式获取写入mysql数据库中。

第二步、数据处理：由模型组提出数据要求，针对mysql数据库中的数据进行ETL工作，结果数据继续存储在数据库中供模型算法使用。

第三步、模型算法

①、指标体系建立：对迭代新产品型号的指标体系内容建立包括：新迭代产品规划，与历史产品系匹配关联；数据调研，与营销中心、分公司、经营部、客户；业务***数据调研；数据指标梳理，分类；根据质量调整数据指标比重；建立指标体系，进行模型训练，根据结果调整指标比重，优化指标体系。指标体系内容包括：与销售相关的数据分类，包括产销存：销售历史数据、库存历史数据、生产产能历史数据、库存周转率等；与***格有关的数据分类，包括价格数据、成本数据等；消费者相关数据，包括消费者行为：浏览行为数据、咨询行为数据、收藏行为数据、购物车行为数据、下单行为数据、支付行为数据、用户评价数据、使用行为数据等；宏观因素相关分类，包括人口结构数据、行业市场数据、经济水平、国家政策数据等；内部经营相关分类，包括市场活动数据、客户主推日、客户店庆日、节假日活动数据等；其中销售相关数据和消费者行为数据综合迭代历史产品的数据进行预测，新旧产品迭代过渡期分析，综合建立成为迭代新产品的销售预测模型指标体系。

②、模型学习：模型从mysql数据库中获取销售数据和第三方数据、行业数据、***参数，并将结果输入mysql数据库中。

③、模型评价分析：通过对指标的不断优化，对模型的不断训练，根据预测结果评价分析选择可靠的适合的销售预测算法模型。

第四步、预测输出可视化展示：模型预测的结果存放在mysql数据库中，需要展示结果数据的web或者其他终端***从mysql数据库中读取数据进行可视化图表及趋势展示。

本发明较现有技术相比，具有以下优点及有益效果：

本发明提高迭代产品的预测准确率，指导供应链高效运转，提高客户服务满意度，使产品及时有效地供应市场，降低了库存提高库存周转率，同时避免产品脱销出现。

附图说明

图1为本发明的结构示意图；

图2本发明新产品型号预测模型指标体系建立示意图；

图3本发明的迭代产品销售预测结果。

具体实施方式

下面结合实施例对本发明作进一步地详细说明：

实施例一

一种基于大数据的迭代产品销售预测方法，包括数据处理模块、模型算法模块和预测输出可视化展示模块，所述数据处理模块用于最底层各业务***数据、第三方网站数据及部分手工数据引入mysql数据库存储并按照模型算法模块的模型提出数据要求进行ETL工作，模型算法模块用于根据已经准备好的数据做出建模工作并得到最终模型，所述最终模型通过学习发现规律预测未来销量，所述预测输出可视化展示模块用于获取模型算法模块产出的预测数据进行可视化图形展示并支持产品型号及该产品型号的月度预测；其方法步骤如下：

A、数据处理模块的数据处理过程：

A1、各业务***通过脚本接口进入mysql数据库中；第三方网站数据通过java程序形式读取和写入mysql数据库中；国家***行业数据通过爬虫技术定制抓取页面信息并将获取到的页面信息写入mysql数据库中；

A2、数据处理模块按照模型算法模块所提出的数据要求针对mysql数据库中的数据进行ETL工作，结果数据继续存储在mysql数据库中供模型算法模块使用；

B、预测输出可视化展示模块用于获取模型算法模块产出的预测数据进行可视化图形展示并支持产品型号及该产品型号的月度预测，模型算法模块的预测数据结果存放在mysql数据库中并从mysql数据库中读取数据进行可视化图表及趋势展示。

实施例二

如图1～图3所示，一种基于大数据的迭代产品销售预测方法，包括数据处理模块、模型算法模块和预测输出可视化展示模块，所述数据处理模块用于最底层各业务***数据、第三方网站数据及部分手工数据引入mysql数据库存储并按照模型算法模块的模型提出数据要求进行ETL工作，模型算法模块用于根据已经准备好的数据做出建模工作并得到最终模型，所述最终模型通过学习发现规律预测未来销量，所述预测输出可视化展示模块用于获取模型算法模块产出的预测数据进行可视化图形展示并支持产品型号及该产品型号的月度预测；其方法步骤如下：

步骤A、确定预测目标：确定预测对象为家电迭代产品的销售预测；预测周期月度，M+3；模型需要精准度高，且具备一定可解释性；其中预测需求调研包括新迭代产品型号规划，与历史产品系匹配关联；数据调研，与营销中心、分公司、经营部、客户；业务***数据调研；为保证预测效果，预测对象数据的需要设置些过滤条件，本阶段规则：上一产品型号的历史销量数据在过去完整12个月月份中至少有8个月的月销量大于10，且同一产品系迭代过渡期的时间至少大于1个月(即前两个迭代产品型号的销售数据同时大于10)。

步骤B、数据处理：

步骤B1、准备数据接口接入***内部产销存数据、线下零售数据、历史型号迭代过渡分析数据存入mysql数据库；爬虫获取外部宏观数据、消费者行为数据，以及额外天气数据、经纬度数据、节假日数据等存入mysql数据库；数据excel直接导入mysql数据库(又称数据库mysql)；

步骤B2、数据的探索对数据检查和理解，比如库存量为负值、星期数大于8等；对结果变量的分析，包括销售及库存分布、销售尺寸趋势性、销售同环周期性等；对预测变量的分析，包括变量筛选、多重共线性、相关性；

步骤B3、数据预处理：

步骤B31、为了确保不同指标具有可比性同时能够去除极端值的影响，在数据分析之前，通常需要对与销量有关的指标进行标准化处理(normalization)，常用的标准化方法有以下两种：

Min-max标准化(min-max normalization)

是对原始数据的线性变化，使结果落在[0,100]区间，转换函数如下：

其中max为样本数据的最大值，min为样本数据的最小值。

z-score标准化(z-score normalization)

经过处理的数据符合正态分布，即均值为0，标准差为1，其转化函数为：

其中为所有样本数据的均值，为所有样本数据的标准差。

步骤B32、缺失值处理:销量预测的原始数据都是跟时间相关的，具有前后顺序，属于时间序列，采取与时间序列相关的邻近插补法对销量预测的缺失值数据进行插补，即用缺失值临近的值来代替缺失值。

步骤C、指标特征选择，建立指标体系：

步骤C1、特征选择方法:赤池信息准则(Akaike information criterion，AIC)是衡量统计模型拟合优良性的一种标准，它是建立在熵的概念基础上，可以权衡估计模型的复杂度和此模型拟合数据的优良性，AIC的计算公式是:

其中ln(L)为子集A下模型的最大似然比，k为子集A的变量数，n为自变量总数。

贝叶斯信息准则(Bayesian information criterion，BIC)是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策，BIC的计算公式为：

其中ln(L)为子集B下模型的最大似然比，k为子集B的变量数，n为所有自变量的总数。

特征选择方法：以AIC/BIC信息准则为子集评价机制，以前向搜索、逐步回归(多次迭代，每次迭代只做一次回归)为特征子集搜索机制，从n个特征中筛选出k(k<n)个特征。

步骤C2、特征选择流程

给定特征集合{X₁，X₂，...，X_n}，特征选择的流程具体如下：

以不包含任何变量的模型为起点，将每个特征视作一个候选子集，对这n个候选单特征子集，通过与Y构建回归模型，比较AIC/BIC值进行评价，假定{X₂}最优，于是将{X₂}作为第一轮的选定集；

在上一轮的选定集中加入一个特征，构成包含两个特征的候选子集，假定在这n-1个候选两特征子集中{X₂，X₄}最优，且优于{X₂}，于是将{X₂，X₄}作为本轮的选定集；

依此类推，逐个加入特征，逐轮选出选定集；

假定在第k+1轮时，最优的候选(k+1)特征子集不如上一轮的选定集，则停止生成候选子集，并将上一轮选定的k特征集合作为特征选择结果。

步骤D、销售预测模型建立、学习、评价分析：

主要是与时间有关，本专利主要选择以时间序列作为主要模型算法进行训练和预测。

Hierachical时间序列方法：基于属性分解(disaggregate)后，具有层级结构的时间序列。

或者记为y_t＝Sy_K，t

其中，y_t是指在t时刻，层级中所有观测组成的变量，S是指如上定义的求和矩阵，是指y_K,t在t时刻，层级中最底层的所有观测组成的变量。

在Hierachical时间序列预测方法中，本项目宜选用top-down方法。top-down方法是指，首先基于Hierachical时间序列的最顶层“Total”序列，生成基预测(baseforecasts)，然后将其逐层分解(diaggregate)，逐层预测。这里令为一个比例集，该比例集决定了如何将“Total”序列的基预测分配给层次结构底层的每个序列的修订预测(revisedforecasts)。一旦生成了底层预测，则可以使用求和矩阵来生成层次结构中其余部分的预测。注意，对于top-down方法，顶级修订预测等于顶级基预测，即

Top-down方法的优势是可靠性和实用性。由于基于Hierachical时间序列的较高层级序列进行建模和生成预测，一般来说，预测结果较为可靠；并且对于低计数数据，Top-down方法尤为有用。另一方面，劣势是无法捕捉和利用单个序列特征。

最常见的top-down方法基于数据的历史比例，给定比例集。最常见的两种方法如下：

·平均历史比例(Average historical proportions)

对于j＝1，...，n_K，每个比例p_j，反映了在t＝1，...，T期，相对于“Total”序列y_t，底层序列y_j，t历史所占比例的平均。

·历史平均的比例(Proportions of the historacal averages)

对于j＝1，...，n_K，每个比例p_j，捕捉了在t＝1，...，T期，相对于“Total”序列的y_t历史平均值，底层序列y_j，t历史平均值所占的比例。

步骤E、预测结果可视化展示，包括销售预测值及销售预测趋势展示。Web终端、app或者大屏展示。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于大数据的迭代产品销售预测方法，其特征在于：包括数据处理模块、模型算法模块和预测输出可视化展示模块，所述数据处理模块用于最底层各业务***数据、第三方网站数据及部分手工数据引入mysql数据库存储并按照模型算法模块的模型提出数据要求进行ETL工作，模型算法模块用于根据已经准备好的数据做出建模工作并得到最终模型，所述最终模型通过学习发现规律预测未来销量，所述预测输出可视化展示模块用于获取模型算法模块产出的预测数据进行可视化图形展示并支持产品型号及该产品型号的月度预测；其方法步骤如下：

A、数据处理模块的数据处理过程：

A1、各业务***通过脚本接口进入mysql数据库中；第三方网站数据通过java程序形式读取和写入mysql数据库中；国家***行业数据通过爬虫技术定制抓取页面信息并将获取到的页面信息写入mysql数据库中；

A2、数据处理模块按照模型算法模块所提出的数据要求针对mysql数据库中的数据进行ETL工作，结果数据继续存储在mysql数据库中供模型算法模块使用；

B、预测输出可视化展示模块用于获取模型算法模块产出的预测数据进行可视化图形展示并支持产品型号及该产品型号的月度预测，模型算法模块的预测数据结果存放在mysql数据库中并从mysql数据库中读取数据进行可视化图表及趋势展示。