CN106372660A - 一种基于大数据分析的航天产品装配质量问题分类方法 - Google Patents

Abstract

本发明公开了一种基于大数据分析的航天产品装配质量问题分类方法，基于Hadoop构建大数据分析平台，首先构建初始SVM模型，然后运用遗传算法对初始SVM模型的参数进行优化选择，获得最佳分类精度SVM模型的参数；最终得到GA‑SVM模型。该GA‑SVM模型可以将不同的质量问题进行分类，而且具有很高的分类精度。本发明运用了大数据分析技术，使得运算更为高效，遗传算法中的交叉运算和变异运算考虑到种群进化的动态性，能够快速准确的找到最优解，将遗传算法应用到支持向量机的参数优化中，提高了质量问题分类的精度。

Description

一种基于大数据分析的航天产品装配质量问题分类方法

技术领域

本发明属于质量管理和数据挖掘的交叉领域，尤其涉及一种基于大数据分析的航天产品装配质量问题分类方法。

背景技术

所谓“航天产品装配质量问题”，是指航天产品在装配过程中，出现的各种各样的质量问题，导致质量问题的原因错综复杂，不同的质量问题，它的影响因素也不一样，而且影响因素之间也会有关联，往往很难确定质量问题产生的根源和造成质量问题的影响因素。所谓“航天产品装配质量问题分类”，就是快速准确地对装配过程中出现的故障、质量问题进行分析和诊断，确定质量问题的性质、类别和部位。随着企业的智能化、信息化，企业会运用传感器、PLC、监控设备、数字化测量设备、MES生产作业模块、扫描设备等手段进行全面数据采集，比如装配过程中的仓储物流数据、物料数据、测量数据、测试数据、人员数据、装配工艺数据、过程数据、监控数据等，工业企业逐步进入了智能化、数据化的发展新阶段，工业企业所拥有的这些数据构成了“航天产品的大数据”。如何充分运用这些海量数据，进行快速高效的计算，挖掘这些数据中潜在的价值，是大数据分析重点解决的问题。在工程应用中，广泛存在着质量问题分类的需求。例如在制造***中，产品的生产制造过程中或多或少会出现不同的质量问题，这不但影响了产品的质量，同时也影响了生产效率。如果不对产品质量问题进行深入的分析，对质量问题分类，找出不同质量问题的根源所在，产品的质量改善将无从谈起。因此，质量问题分类的研究对改善产品质量、提高企业生产效率、增强企业竞争力有着很强的实际意义。随着工业化与信息化的深度融合,制造企业获得的数据资源也越来越多，应充分利用这些数据资源，提高企业的生产管理水平。产品质量不断改善作为制造***的一个核心问题,质量问题的分类和分析，能够使企业发现生产过程中的问题所在，帮助企业提高生产效率、增强竞争力。因此，需要对生产制造过程中的各种质量问题和故障，进行深入的分析研究，来改善产品质量，提高企业的生产效率。对于制造企业来讲，导致产品质量问题的因素不仅仅局限于某个环节，而是涉及到机器设备、物料、生产人员、工艺、环境等多个对象，这些环节所涉及的数据，包含物料数据、测量数据、测试数据、人员数据、物料数据、装配工艺数据、过程数据等。因此，质量问题分类需要与大数据分析有机融合，需要通过对企业生产制造过程中各种数据的分析获取导致质量问题的影响因素，进而找出质量问题产生的根源。

对于工程应用领域及制造企业中的质量问题分类方法已有了很多研究，但随着企业的智能化、信息化，质量的影响因素更加多样化、复杂化，这就导致要分析的数据呈现多类别、大体量等特点，数据量会达到PB级以上。企业对质量问题进行分析时不但要考虑更多的影响因素，而且对分析结果的实时性提出了更高的要求。所以现代企业要求质量问题分析、分类要能够解决数据量大、计算量大、保证时效性等问题。考虑到现有技术较难处理PB级以上的数据量，而且在处理数据量较大的情况下，分析计算过程耗费时间长，实时性差，精度也难以保证，已经不适用现代企业的要求。所以急需一种大数据分析技术，在保证时效性以及精度的前提下，对PB级以上的数据量进行处理分析。

发明内容

本发明的目的在于提供一种基于大数据分析的航天产品装配质量问题分类方法，旨在解决质量问题分类，基于大数据分析平台，通过对企业生产制造过程中各种数据的分析，从而预测质量问题发生的类别。

本发明是这样实现的，一种基于大数据分析的航天产品装配质量问题分类方法，该方法属于质量管理和数据挖掘的交叉领域。所述基于大数据分析的航天产品装配质量问题分类方法基于Hadoop构建大数据分析平台，该平台能可靠地存储和处理PB级别以上的数据；可以通过普通机器组成的服务器群来分发以及处理数据，这些服务器群总计可达数千个节点；通过分发数据，可以在数据所在的节点上并行地处理它们，这使得处理非常的快速；能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。总之，大数据平台具有高可靠性、高扩展性、高效性、高容错性等特点。大数据平台通过Sqoop组件技术或Flume组件技术，负责将各类数据从外部数据源抽取到数据存储层；然后采用分布式文件***(HDFS技术)、行式数据库(采用分布式数据仓库Hive、关系数据库Oracle)、列式数据库(采用Hadoop的HBase组件)实现全类型数据(结构化、半结构化、非结构化)的存储、查询；接着采用MapReduce并行运算模式实现数据计算；最后把分析结论展示出来。基于大数据分析平台，构建支持向量机质量问题分类模型，运用遗传算法对SVM模型的参数进行优化选择，把SVM模型的分类精度作为遗传算法中的个体的适应度值，SVM模型的分类精度满足条件或者遗传代数达到要求，则获得最佳分类精度SVM模型的参数；同时得到最终的GA-SVM模型；不满足停止条件，则继续优化模型，直至满足条件的要求为止。

进一步，所述大数据分析平台用于存储历史数据并提供数据的分析挖掘服务；数据包括：仓储物流数据、物料数据、测量数据、测试数据、人员数据、装配工艺数据、过程数据、监控数据等。

进一步，所述遗传算法对SVM模型的参数进行优化选择方法包括：

第一步：初始化种群，生成一定数量的个体作为初始种群，设置种群数量为20，最大进化代数为100，每个个体的染色体有(C，σ)组成，惩罚因子C的动态变化范围设置为(0,100)，高斯核函数参数σ的动态变化范围设置为(0，100)；

第二步：把支持向量机的分类精度作为每个个体的适应度值，通过事先划分好的训练数据集及对初始种群进行SVM训练，每个个体会得到一个对应的SVM模型；然后用SVM模型对事先划分好的测试数据集进行测试，得到该SVM模型下的测试精度，精度是个体的适应度；

第三步：根据特定算法进行选择运算、交叉运算、变异运算得到新一代种群；

第四步：如果种群满足终止条件，即由每个个体获得支持向量机的分类精度达到要求或种群迭代次数达到设定值，则输出种群中具有最好分类精度的个体作为最优参数，获得最优分类精度的支持向量机模型进行质量问题分类。如果不满足终止条件，则转入第三步继续执行。

进一步，所述选择运算方法包括：保留种群中适应度值排名前10的个体进入下一代，剩余的随机保留，即选取适应度值排名中的中间值。

进一步，所述交叉运算方法包括：将交叉概率设置为变量，随着进化代数的增加而减小，种群动态交叉概率的公式为：

P_d＝P_max-(P_max-P_min)*d/D；

其中，P_d为第d代时的交叉概率；P_max为最大交叉概率；P_min为最小交叉概率；d为当前的进化代数；D为设置的最大进化代数。

进一步，所述变异运算方法包括：种群动态变异概率的公式为：

P_k＝1–P_kmax；

其中，P_k为第k代时的变异率；P_kmax为第k代的父代中最大适应度值。

本发明提供的基于大数据分析的航天产品装配质量问题分类方法，基于大数据分析技术，运用支持向量机建立分类模型，采用遗传算法对支持向量机的参数进行优化选择；分类模型建立后，对可能产生的质量问题进行预测以及质量趋势进行预测，提前发现问题、解决问题，从而提升企业生产效率。由于支持向量机(Support VectorMachine)的分类效果受惩罚系数C和核函数参数σ的直接影响，为避免模型参数选择的盲目性和尽可能提高支持向量机的分类性能，利用遗传算法(Genetic Algorithm)对支持向量机的参数C和σ进行优化选择。把这两种方法相结合，提出基于遗传算法优化的支持向量机算法(GA-SVM算法)。本发明运用了大数据分析技术，可以处理PB级别以上的数据量，运算更为高效，遗传算法中的交叉运算和变异运算考虑到种群进化的动态性，能够快速收敛并找到最优解，将遗传算法应用到支持向量机的参数优化中，达到了较高的质量问题分类的精度。

附图说明

图1是本发明实施例提供的基于大数据分析的航天产品装配质量问题分类方法流程图。

图2是本发明实施例提供的实施例1的流程图。

图3是本发明实施例提供的遗传算法的参数优化流程图。

图4是本发明实施例提供的交叉运算的流程图。

图5是本发明实施例提供的变异运算的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例的基于大数据分析的航天产品装配质量问题分类方法包括以下步骤：

S101：构建大数据分析平台，将外部数据源抽取到数据存储层，包含的数据有：仓储物流数据、物料数据、测量数据、测试数据、人员数据、装配工艺数据、过程数据、监控数据等；大数据分析平台主要用来存储历史数据并提供这些数据的分析挖掘服务；

S102：基于遗传算法参数优化的支持向量机算法在大数据分析平台上对质量问题分类进行挖掘和分析；

S103：初始化种群，将种群中的个体平均分发到每个节点的Map函数，通过训练数据得到SVM模型，然后用SVM模型对测试数据进行分析得到分类精度；

S104：Reduce函数获得所有的Map函数输出，然后对种群的分类精度进行排序，输出分类精度最好的那个个体；判断Reduce函数的输出是否满足要求，如满足，则直接输出Reduce函数的输出结果，如不满足，则通过遗传算法对种群进行进化，然后继续初始化种群。

下面结合具体实施例对本发明的应用原理作进一步的描述。

实施例1：

本发明实施例的基于大数据分析的航天产品装配质量问题分类方法包括以下步骤：

质量问题分类的基本思路如图2所示：基于Hadoop构建大数据分析平台，结合影响因素和历史质量问题数据构建SVM模型，运用遗传算法对SVM模型的参数进行优化选择，把SVM模型的分类精度作为遗传算法中的适应度函数，如果SVM模型的分类精度满足条件或者遗传代数达到要求，则获得最佳分类精度SVM模型的参数，同时也得到了最终的GA-SVM模型；如果不满足停止条件，则继续优化模型，直至满足规定的要求为止。

Step1：构建大数据分析平台：

一般情况企业都会有多个业务***，为了充分利用各个***的数据，需要将各个业务***的数据整合存放在大数据分析平台上。

该大数据平台涉及的数据有：仓储物流数据、物料数据、测量数据、测试数据、人员数据、装配工艺数据、过程数据、监控数据等。

Step2：基于遗传算法参数优化的支持向量机算法在大数据分析平台上对质量问题分类进行挖掘和分析。

现行使用的数据挖掘技术基本上都是面向关系型数据库进行操作的，为了使算法在大数据平台上运行，需将数据挖掘方法并行化，该大数据平台主要采用MapReduce并行计算模型实现数据挖掘算法的并行化，该计算模型在对现有数据挖掘算法进行一定的改造后，更加适合海量数据挖掘。

设定Map函数的输入Key为种群中个体的编码号，Value为该个体的染色体(C，σ)；输出Key为个体的编码号，Value为该个体的分类精度。Reduce函数的输入Key为种群中个体的编码号，Value为该个体的分类精度；输出Key为个体的编码号，Value为该个体的分类精度。

具体分析挖掘步骤如下：

1)初始化种群。

2)将种群中的个体平均分发到每个节点的Map函数，通过训练数据得到SVM模型，然后用SVM模型对测试数据进行分析得到分类精度。

3)Reduce函数获得所有的Map函数输出，然后对种群的分类精度进行排序，输出分类精度最好的那个个体。

4)判断Reduce函数的输出是否满足要求，如满足，则直接输出Reduce函数的输出结果，如不满足，则通过遗传算法对种群进行进化，然后继续第一步。

其中，遗传算法的参数优化如图3所示：

第一步：初始化种群，生成一定数量的个体作为初始种群，这里设置种群数量为20，最大进化代数为100，每个个体的染色体有(C，σ)组成，惩罚因子C的动态变化范围设置为(0,100)，高斯核函数参数σ的动态变化范围设置为(0，100)。

第二步：把支持向量机的分类精度作为每个个体的适应度值。适应度值越高，说明该个体染色体C和σ组合的SVM模型分类效果越好，反之，最分类效果越差。通过事先划分好的训练数据集及对初始种群进行SVM训练，每个个体会得到一个对应的SVM模型，然后再用该SVM模型对事先划分好的测试数据集进行测试，可以得到该SVM模型下的测试精度，这个精度就是该个体的适应度。

第三步：对种群进行“优胜劣汰”，根据特定算法进行选择运算、交叉运算、变异运算得到新一代种群。通过Step2可以得到每个个体的适应度值，在进行种群更新的过程中，需要保证种群不断向着适应环境的方向进化，即朝着分类精度越来越高的方向进化，需要特定的手段保证种群的进化朝着正确的方向进行。具体的选择运算、交叉运算、变异运算如下：

选择运算：需要将这一代种群中适应度值比较高的个体保留到下一代，而且要保证种群的多样性，避免种群过早收敛出现早熟；这里的选择运算就是保留种群中适应度值排名前10的个体进入下一代，剩余的随机保留，即选取适应度值排名中的中间值，因为适应度值是(0,1)范围的数，所以随机产生一个(0,1)范围的数，如果该随机数大于中间值，则保留该个体，否则就淘汰。

交叉运算：随着种群进化代数的增加，种群离最优解越来越近，如果还是较大的交叉概率，则会产生许多新个体，这些个体发散发布在整个搜索空间，适应度值好的个体在种群中的比例将下降。因此，在进化后期，较大的交叉概率将延缓收敛过程。所以将交叉概率设置为变量，它随着进化代数的增加而减小，种群动态交叉概率的公式为：

P_d＝P_max-(P_max-P_min)*d/D；

其中，P_d为第d代时的交叉概率；P_max为最大交叉概率；P_min为最小交叉概率；d为当前的进化代数；D为设置的最大进化代数。交叉运算的详细过程如图4所示：

变异运算：当父代种群个体的平均适应度值较低是，增加个体变异概率，可以促进优良个体的产生概率，当父代种群个体的平均适应度值与最优解比较接近时，需减小个体的变异率。种群动态变异概率的公式为：

P_k＝1–P_kmax；

其中，P_k为第k代时的变异率；P_kmax为第k代的父代中最大适应度值。变异运算的详细过程如图5所示：

第四步：如果种群满足终止条件，即由每个个体获得支持向量机的分类精度达到要求或种群迭代次数达到设定值，则输出种群中具有最好分类精度的个体作为最优参数，从而获得最优分类精度的支持向量机模型进行质量问题分类。如果不满足终止条件，则转入第三步继续执行。

下面结合模拟实验对本发明的应用效果作详细的描述。

随着工业化与信息化融合的不断深化,制造企业也获得越来越多的数据资源，利用这些数据资源来帮助企业解决装配制造过程中出现的质量问题具有重要的意义，能够提高企业的生产效率，增强企业的竞争力。因此，需要对生产制造过程中的各种质量问题和故障，进行深入的分析研究，来改善产品质量，提高企业的生产效率。

航天产品总装调试测试生产线主要涉及的先进工艺设备有通用性气密性检查装置、综合测试设备、装配测量一体化装置、弹筒装配测量一体化装置等，可以用于发射筒、弹筒的气密性检查，舱段对接、质量特性及几何特性的数字化测量等。

下面利用一些模拟数据证明方法的可行性和准确性，数据共有150条，每条数据包含质量偏心、质量、质心、舱段对接同轴度以及该记录的故障类型。表1只列出部分数据。

表1装配质量的各种影响因素数据项以及不同的装配质量问题。

1：用遗传算法得出最优分类效果的SVM参数：受惩罚系数C和核函数参数σ设置各种参数：

1)种群数量为20，最大进化代数为100，分类精度为95％。

2)交叉率：最大交叉率P_max为40％，最小交叉率P_min为10％，进化过程中的为：P_d＝P_max-(P_max-P_min)*d/D。

3)变异率：最大变异率为10％，进化过程中为：P_k＝1–P_kmax。

经遗传算法得到受惩罚系数C为3，核函数参数σ为0.1。

2：故障预测

用步骤1得出最优分类效果的SVM参数：受惩罚系数C和核函数参数σ，来训练得到GA-SVM分类模型，然后用这个GA-SVM分类模型对数据进行预测分类，分类结果如表2所示：

表2预测分类结果

预测	对接特性不合格	几何特性不合格	质量特性不合格
				对接特性不合格	50	0	0
几何特性不合格	0	48	1
				质量特性不合格	0	2	49

这个表说明，实际对接特性不合格是50条记录，模型全部分类正确；实际几何特性不合格是50条，模型把其中的2条记录错误的预测为质量特性不合格；实际质量特性不合格是50条记录，模型把其中的1条记录错误的预测为几何特性不合格。

3：预测结果的误差分析

利用实际故障类别与预测模型所预测的故障类别进行分类精度分析。模型的分类结果显示，对对接特性不合格的分类精度为100％，对几何特性不合格的分类精度为96％，对质量特性不合格的分类精度为98％，总体的分类精度为98％，达到企业的要求。

4：大数据平台的高效性

表3为在不同数据量情况下，传统方法所用时间和在大数据平台上所用时间的对比。

表3不同数据量情况下时间对比

数据号	记录数目	t1(S)	t2(S)
				1	2457586	18	144
2	26099398	390	610
				3	64625843	1696	1600
4	122880001	3600	3050
				5	180404334	6400	4367
6	201170301	8011	5002
				7	245031957	内存溢出	6011

注：t1表示传统方法的运算所用时间，t2为在大数据平台上运行所耗时间。

由表3可以看出，在处理数据量不是很大的情况下，大数据分析方法优势不是很明显；但在超过一定的数据量时，大数据平台的高效性和优势就体现出来，大数据分析方法的耗时可以减少为传统方法的1/2左右；当数据量进一步增大，传统的方法已经不能处理，而大数据分析方法还可以快速高效的运行。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于大数据分析的航天产品装配质量问题分类方法，其特征在于，所述基于大数据分析的航天产品装配质量问题分类方法基于Hadoop构建大数据分析平台，构建初始SVM(Support Vector Machine)模型，运用遗传算法对SVM模型的参数进行优化选择，把SVM模型的分类精度作为遗传算法中的适应度函数，SVM模型的分类精度满足条件或者进化代数达到要求，则获得最佳分类精度SVM模型的参数；得到最终的GA-SVM(GeneticAlgorithm-Support VectorMachine)模型；不满足停止条件，则继续优化模型，直至满足条件的要求为止。

2.如权利要求1所述的基于大数据分析的航天产品装配质量问题分类方法，其特征在于，所述大数据分析平台用于存储历史数据并提供数据的分析挖掘服务，数据包括：仓储物流数据、物料数据、测量数据、测试数据、人员数据、装配工艺数据、过程数据、监控数据等。

3.如权利要求1所述的基于大数据分析的航天产品装配质量问题分类方法，其特征在于，所述遗传算法对SVM模型的参数进行优化选择方法包括：

第一步：初始化种群，生成一定数量的个体作为初始种群，设置种群数量为20，最大进化代数为100，每个个体的染色体有(C，σ)组成，惩罚因子C的动态变化范围设置为(0,100)，高斯核函数参数σ的动态变化范围设置为(0，100)；

第二步：把支持向量机的分类精度作为每个个体的适应度值，通过事先划分好的训练数据集及对初始种群进行SVM训练，每个个体会得到一个对应的SVM模型；然后用SVM模型对事先划分好的测试数据集进行测试，得到该SVM模型下的测试精度，精度是个体的适应度；

第三步：根据特定算法进行选择运算、交叉运算、变异运算得到新一代种群；

第四步：如果种群满足终止条件，即由每个个体获得支持向量机的分类精度达到要求或种群迭代次数达到设定值，则输出种群中具有最好分类精度的个体作为最优参数，获得最优分类精度的支持向量机模型进行质量问题分类，如果不满足终止条件，则转入第三步继续执行。

4.如权利要求3所述的基于大数据分析的航天产品装配质量问题分类方法，其特征在于，所述选择运算方法包括：保留种群中适应度值排名前10的个体进入下一代，剩余的随机保留，即选取适应度值排名中的中间值。

5.如权利要求3所述的基于大数据分析的航天产品装配质量问题分类方法，其特征在于，所述交叉运算方法包括：将交叉概率设置为变量，随着进化代数的增加而减小，种群动态交叉概率的公式为：

P_d＝P_max-(P_max-P_min)*d/D；

其中，P_d为第d代时的交叉概率；P_max为最大交叉概率；P_min为最小交叉概率；d为当前的进化代数；D为设置的最大进化代数。

6.如权利要求3所述的基于大数据分析的航天产品装配质量问题分类方法，其特征在于，所述变异运算方法包括：种群动态变异概率的公式为：

P_k＝1–P_kmax；

其中，P_k为第k代时的变异率；P_kmax为第k代的父代中最大适应度值。