CN107121926A - 一种基于深度学习的工业机器人可靠性建模方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的工业机器人可靠性建模方法，包括以下步骤：通过限制玻尔兹曼机RBM构建深度神经网络DNN；利用对比散度快速学习算法训练RBM、DNN，并对训练结果进行评估；输入评估对象工业机器人的加速退化原始数据，构建加速退化模型，预测正常工作条件下其预期工作寿命及可靠性。方法基于深度学习理论，非常适合智能工业机器人服役可靠性检测。

Description

一种基于深度学习的工业机器人可靠性建模方法

技术领域

本发明属于深度学习技术领域，具体涉及一种基于深度学习的工业机器人可 靠性建模方法。

背景技术

工业机器人是面向工业领域的多关节机械手或多自由度的机器装置，它能自 动执行工作，是靠自身动力和控制能力来实现各种功能的一种机器。它可以接受 人类指挥，也可以按照预先编排的程序运行，现代的工业机器人还可以根据人工 智能技术制定的原则纲领行动。

现有技术中工业机器人的国内外研究现状分析如下：

(1)工业机器人质量可靠性试验发展：

机器人可靠性研究的最早报道是美国Minnesota大学Maria等人；Khodaban 等人首先提出了故障树分析法(FAT)与失效模式及可靠性分析(FMEA)进行 机器人的可靠性预计；在国内，部分学者也给出了工业机器人可靠性的预测模型。 尽管工业机器人可靠性越来越得到各国学者的重视，但是国外的许多关于机器人 的文献中，只有少许论述了机器人可靠性方面问题，且国外对工业机器人技术实 行严格保密，其***故障数据资料难以获得，而我国工业机器人研究开发起步较 晚，目前对工业机器人***可靠性的研究很少。

在标准方面，国内已有工业机器人相关标准近30项，包括GB 11291.1-2011 《工业环境用机器人安全要求第1部分：机器人》、GB/T 12642-2013《工业机器 人性能规范及其试验方法》，但均为模拟初期失效的安全试验，因此与实质意义 的可靠性(寿命)试验仍有一定差距，因此缺少统一规范的质量可靠性检测方法， 既影响工业用户的使用体验，也严重制约国内工业机器人产业的发展。

(2)基于性能退化的可靠性快速检测方法

传统可靠性评估方法以失效时间为统计分析对象，进行大量试验得到产品或 其部件失效数据，利用统计判断准则通过***可靠性结构模型、部件寿命分布模 型分析得到产品可靠性。随着科技技术发展，长寿命、高可靠性产品越来越多(如 外资品牌工业机器人可靠寿命已达10万小时(约11.5年)),传统可靠性评估方法 暴露出测试周期长、无失效时无法评估等问题。

为克服传统可靠性评估方法存在问题，始于上世纪70年代基于性能退化可 靠性评估方法为长寿命高可靠性产品评估开辟一条新途径。基于性能退化的可靠 性评估是以性能退化特征指标为分析对象，确立退化失效标准，建立性能退化模 型，进而开展可靠性评估，具有快速评估，测试周期短，可评估无失效数据新兴 产品等特点。

可以看出，由于高端工业机器人可靠寿命已达10万小时(约11.5年)，若按 传统可靠性评估方法试验周期太长，试验成本过高，无法满足新兴产业高速发展 和客户对于提升产品质量需求。基于性能退化可靠性检测技术的出现为长寿命产 品可靠性检测提供了新的解决思路，因此有必要开展智能工业机器人可靠性快速 检测技术研究，在保证试验精度前提下，缩短试验周期、降低试验成本。

目前我国已成全球最大的机器人生产国及消费市场，在全球经济不景气的背 景下，机器人产业逆势增长：2013年全球增长12％，中国增长58％；2014年全 球增长27％，中国增长54％，中国增速一直领跑全球机器人市场。机器人产业 高速发展，构筑了中国机器人市场繁荣表象，但由于质量问题也带来可持续发展 隐患。据2015年《新世纪周刊》报道，中国制造的机器人在可靠性方面处于劣 势，国产机器人可靠性寿命为8000小时，而外资品牌达到5～10万小时；著名自 动控制专家、中科院院士吴宏鑫指出“没有质量，没有可靠性，就没有市场。一 台机器人，维修的时间比干活的时间还长，这样的产品不可能有市场”，可见机 器人可靠性已成为我国工业机器人产业进一步可持续发展的瓶颈。

因此，随着国内工业机器人产业的快速发展，解决工业机器人服役可靠性快 速检测方法问题，为用户提供有信服力检测技术支撑，为生产企业提供产品性能 提升技术服务，为工业机器人可靠性检测标准的制修订奠下基础，对于培育国内 工业机器人质量可靠性这一目前处于空白的检测市场有着重要的意义。

工业机器人发展的趋势是人工智能化，深度学习和云机器人是智能机器人领 域的前沿技术，是近几年社会各界的关注热点。深度学习构建的神经网络是驱动 工业机器人的引擎，而云机器人则为工业机器人提供大量的燃料，二者的相互结 合与促进，必将引领一场工业机器人走向人工智能化的变革。

在工业机器人市场化的过程中，最困难的两点是降低成本和提升易用性。后 者比前者更难。然而随着深度学习算法在机器人中应用的越来越多，这个两个问 题都得到了不同程度的解决。

深度学习预测通过构建深度神经网络模拟人脑神经***多层学习过程，无需 先验函数假设，可通过组合低层特征，形成更加抽象高层表示，来寻找数据分布 特征，即将具有复杂因果关系的物理量在经过适当训练学习总结规律，并利用总 结出规律来预测未知趋势。

深度学习是机器学习理论深入研究延续，相对于早期浅层学习模型(没有中 间层或仅有极少中间隐含节点的人工神经网络)，因具有多层中间学习层(>3～5 层)而得名。深度学习强调构建学习预测网络拓扑结构深度且明确突出特征表达 学习，通过逐层特征抽取，将输入数据的关键特征表示由低层逐层变换到更抽象 的高层特征空间，在保留关键特征信息的同时有效减少数据中蕴含的无效或干扰 信息，降低特征信息维度，提高学习效率。深度学习预测模型是将深度学习算法 应用于深度拓扑结构的一类神经网络，具有从少数样本集中学习数据集本质特征 的能力，对复杂隐含函数的逼近有很好的效果。

工业机器人多为长寿命高可靠性产品，在寿命预测时需进行加速退化，缩短 试验周期。但在构建加速退化模型时往往面临结构较为复杂(融合半导体电子、 高分子材料、电气设计等)，各部件失效机理不一致，应用时间较短，缺少历史 经验数据等问题，直接建立加速应力与产品寿命之间某种明确函数关系将极为困 难。深度学习预测(Deep LearningForecast,Hinton,2006)出现为解决复杂隐含关系 模型构建提供了新思路，该方法通过构建深度神经网络模拟人脑神经***多层学 习过程，无需先验函数假设,可通过组合低层特征，形成更加抽象高层表示，来 寻找数据分布特征，即将具有复杂因果关系的物理量在经过适当训练学习总结规 律,并利用总结出规律来预测未知趋势。

发明内容

本发明的目的在于提供一种基于深度学习的工业机器人可靠性建模方法，该 方法基于深度学习理论，非常适合智能工业机器人服役可靠性检测。

本发明的上述目的可通过以下的技术措施来实现：一种基于深度学习的工业 机器人可靠性建模方法，包括以下步骤：通过限制玻尔兹曼机RBM构建深度神 经网络DNN；利用对比散度快速学习算法训练RBM、DNN，并对训练结果进行 评估；输入评估对象工业机器人的加速退化原始数据，构建加速退化模型，预测 正常工作条件下其预期工作寿命及可靠性。

进一步的，本发明提供的基于深度学习的工业机器人可靠性建模方法，包括 以下步骤：

(1)基于深度学习方法，建立具有多输入多输出结构的深度神经网络回归 模型；

(2)采用逐层贪心方法，结合加速退化条件下的工业机器人的原始寿命数 据对步骤(1)建立的深度神经网络回归模型进行训练，通过所述模型的非线性 映射功能，学习得到所述模型的序列之间的映射关系，来确定深度神经网络回归 模型；

(3)根据步骤(2)确定的深度神经网络回归模型，对工业机器人在正常工 作条件下的工作寿命进行多步预测，得到工业机器人正常工作条件下的预期工作 寿命的预测结果。

在上述基于深度学习的工业机器人可靠性建模方法中：

步骤(1)中所述的基于深度学习方法，建立具有多输入多输出结构的深度 神经网络回归模型的方法为：通过受限的玻尔兹曼机RBM的叠置构建具有多输 入多输出结构的深度神经网络回归模型，所述具有多输入多输出结构的深度神经 网络回归模型是为l层神经网络，向量x＝h⁰表示原始输入，(h¹,……，h^I-1)表示 相应隐含层的输入，h¹表示输出层的输入；其1:I-1的隐含层是使用sigmoid函 数并由受限的玻尔兹曼机构成，顶层激活函数使用纯线性函数；

对于原始输入x、l-1层隐含层和输出层的联合概率分布：

其中，I为正整数。

步骤(2)中采用逐层贪心方法的具体过程优选为：

(a)：对步骤(1)建立的深度神经网络回归模型分层，由下至上，再利用 加速退化条件下的被测工业机器人的寿命数据对输入x的那一层进行无监督的 训练；

(b)：所述无监督的训练结束后，使用有监督的学习对所述深度神经网络回 归模型进行精调：

除了原始输入x的隐含层，以深度神经网络回归模型输出作为监督信号，构 造损失函数，采用梯度上升法对所述深度神经网络回归模型的其他隐含层进行有 监督的训练，得到所述模型的序列之间的映射关系，最终确定深度神经网络回归 模型。

本发明具有如下优点：本发明将深度学习神经网络引入到工业机器人工作寿 命预测之中，通过网络的深层结构，学习序列之间的内在关系，实现对正常工作 条件下的工作机器人的工作寿命的预测，对工业机器人可靠性进行了检测。

附图说明

图1为实施例1中深度学习预测理论建模原理示意图；

图2为实施例1中CD快速学习算法原理示意图；

图3为实施例1中CD-k快速学习算法伪代码；

图4为实施例1中DNN构建过程示意图；

图5为实施例1中DNN模型示意图。

具体实施方式

如图1-5所示，本实施例提供的基于深度学习的工业机器人可靠性建模方法， 包括以下步骤：通过限制玻尔兹曼机RBM构建深度神经网络DNN；利用对比 散度快速学习算法训练RBM、DNN，并对训练结果进行评估；输入评估对象工 业机器人的加速退化原始数据，构建加速退化模型，预测正常工作条件下其预期 工作寿命及可靠性。

进一步的，本发明提供的基于深度学习的工业机器人可靠性建模方法，包括 以下步骤：

(1)基于深度学习方法，建立具有多输入多输出结构的深度神经网络回归 模型；

(2)采用逐层贪心方法，结合加速退化条件下的工业机器人的原始寿命数 据对步骤(1)建立的深度神经网络回归模型进行训练，通过所述模型的非线性 映射功能，学习得到所述模型的序列之间的映射关系，来确定深度神经网络回归 模型；

(3)根据步骤(2)确定的深度神经网络回归模型，对工业机器人在正常工 作条件下的工作寿命进行多步预测，得到工业机器人正常工作条件下的预期工作 寿命的预测结果。

在上述基于深度学习的工业机器人可靠性建模方法中：

步骤(1)中所述的基于深度学习方法，建立具有多输入多输出结构的深度 神经网络回归模型的方法为：通过受限的玻尔兹曼机RBM的叠置构建具有多输 入多输出结构的深度神经网络回归模型，所述具有多输入多输出结构的深度神经 网络回归模型是为l层神经网络，向量x＝h⁰表示原始输入，(h¹,……，h^I-1)表示 相应隐含层的输入，h¹表示输出层的输入；其1:I-1的隐含层是使用sigmoid函 数并由受限的玻尔兹曼机构成，顶层激活函数使用纯线性函数；

对于原始输入x、l-1层隐含层和输出层的联合概率分布：

其中，I为正整数。

步骤(2)中采用逐层贪心方法的具体过程优选为：

(a)：对步骤(1)建立的深度神经网络回归模型分层，由下至上，再利用 加速退化条件下的工业机器人的原始寿命数据对输入x的那一层进行无监督的 训练；

(b)：所述无监督的训练结束后，使用有监督的学习对所述深度神经网络回 归模型进行精调：

除了原始输入x的隐含层，以深度神经网络回归模型输出作为监督信号，构 造损失函数，采用梯度上升法对所述深度神经网络回归模型的其他隐含层进行有 监督的训练，得到所述模型的序列之间的映射关系，最终确定深度神经网络回归 模型。

深度学习预测通过构建深度神经网络模拟人脑神经***多层学习过程，无需 先验函数假设,可通过组合低层特征，形成更加抽象高层表示，来寻找数据分布 特征，即将具有复杂因果关系的物理量在经过适当训练学习总结规律,并利用总 结出规律来预测未知趋势。

深度学习预测建模基本原理：深度学习是机器学习(Machine Learning,ML) 理论^[2]深入研究延续，相对于早期浅层学习模型(没有中间层或仅有极少中间隐 含节点的人工神经网络)，因具有多层中间学习层(>3～5层)而得名。深度学习强 调构建学习预测网络拓扑结构深度且明确突出特征表达学习，通过逐层特征抽 取，将输入数据的关键特征表示由低层逐层变换到更抽象的高层特征空间，在保 留关键特征信息的同时有效减少数据中蕴含的无效或干扰信息，降低特征信息维 度，提高学习效率。深度学习预测模型是将深度学习算法应用于深度拓扑结构的 一类神经网络，具有从少数样本集中学习数据集本质特征的能力，对复杂隐含函 数的逼近有很好的效果，因此深度学习预测非常适合用于智能制造产品加速退化 建模及其伪失效寿命预测。图1为深度学习预测理论建模原理示意图。

可以看出，深度学习预测是构造多个层次模型，且上一层次的输出作为下一 层次的输入，利用学习算法，逐层进行特征抽取，从而获得输入层原始数据与输 出层结果的隐含表达。因此，中间层次模型的构建、层间特征表达的学习算法是 建立深度学习预测模型的关键。

基于限制玻尔兹曼机RBM的深度学习预测建模方法，如上所述，深度学习 预测建模核心在于中间层模型构建及层间学习训练算法。目前中间层模型构建方 法主要包括限制玻尔兹曼机(Restrictions Boltzmann Machine,RBM)、自编码器 (Auto-Encoders,AE)。其中玻尔兹曼机RBM因具有强大的无监督学习能力、能 够学习数据中复杂规则，适合于拟合概率分布等特点，尤其是结合对比散度CD 学习训练算法，极大提高预测模型的学习效率。下面首先讨论单层RBM模型构 建，通过单层RBM堆叠形成DNN，利用CD快速学习算法逐层训练RBM，最 终得到最优化的预测模型参数及结果输出。

限制玻尔兹曼机RBM模型：限制玻尔兹曼机RBM是指一种包含输入层v、 隐含层h的两层结构模型，层间连接关系权重为W，v、h层节点间相互独立， 没有连接，且模型概率分布P(v,h)满足玻尔兹曼分布。设n、m为输入层v、隐 含层h节点数，其中v_i、h_j分别表示输入层v、隐含层h的第i、j个节点状态， 则RBM某一给定状态(v,h)的能量函数E(v,h)为：

式中θ＝{W_ij,a_i,b_j}是RBM模型参数，W_ij为节点v_i、h_j的连接权重，a_i、 b_j为第i、j个节点的偏置(bias)。

基于Boltzmann分布及式(1)，可得RBM某一给定状态(v,h)的联合概率 分布：

式中Z(θ)亦称为配分函数(Partition function)。

从(v,h)的联合概率分布公式，可得基于输入层v的条件概率：

若设则式(2)可写为：

可以看出，上式中为RBM模型***能量，根据能量模型理论， 当***总能量最小时，网络模型趋于稳定，故可通过求解***能量极小值，也即 对数似然函数取极大值来训练得到RBM模型参数θ。

基于CD快速学习算法的RBM模型训练及评估

对于给定的输入层训练集v＝{v₁,v₂,…,v_i,…,v_n}，限制玻尔兹曼机RBM学习 目的在于得到模型最优参数集θ*＝{W,a,b}，可通过最大化对数似然函数 训练得到：

为寻求θ^*最优解，可采用随机梯度上升法(Stochastic Gradient Ascent,SGA)求解ξ(θ)最大值，其迭代公式为：

式中η>0称为学习率，采用SGA法求解ξ(θ)极值的关键在于得到对数似然函数 ξ(θ)对于参数θ梯度：

同理，对数似然函数对于连接权重W,输入层v、隐含层h偏置参数a,b梯度为：

式中E_data[·]为给定训练数据v下的条件期望，可通过输入层训练集v和隐含 层h节点状态的条件分布获得；E_model[·]为RBM模型期望，该项无法直接推导获 得，可利用对比散度(Contrastive Divergence,CD)快速学习算法[3-4]获取近似解。

图2为CD快速学习算法原理示意图，主要思路是设置输入层训练数据v为 采样初始状态，利用输入层v、隐含层h条件概率公式计算h层节点状态，下一 步则通过计算出h层节点状态重构(reconstruction)输入层v’，从而通过重构v’ 可得到RBM模型参数期望值近似解。由于CD快速学习算法仅需极少状态转移 次数k(大多时k＝1)，使得RBM模型的学习效率得到了很大提高，图3为CD-k 快速学习算法伪代码。

深度学习预测模型DNN构建：DNN是由限制玻尔兹曼机RBM叠加，包含 多个隐含层的概率模型，下层RBM的输出作为上层RBM的输入，通过层间权 值参数连接上下层RBM，实现底层数据概率特征向顶层输出的抽取和传递。图 4为DNN构建过程示意图，图5为DNN模型示意图。设DNN输入层、隐含层 为v、h，隐含层数为k，则该模型联合概率分布P表示为：

式中P(h^k-1|h^k)是k层RBM单元层相对于k-1层的条件分布，可表示为：

利用RBM叠加构建DNN，需对DNN进行学习训练获取网络参数。DNN 训练可采用逐层贪心算法。算法可分为分层训练、整体调优两步。①分层训练: 自底层输入开始，对RBM模型逐层进行训练，即首先输入底层样本数据v，利 用CD快速学习算法训练得到第一层RBM模型系数W₁，可得p(h|v)＝p(h1|v,W1)； 将第一层RBM隐含层h₁作为第二层RBM输入层，训练得到第二层模型系数 W₂，依次递归，直至到DNN模型顶层；②整体调优:当所有层训练完后，将输入样本数据作为监督数据，根据最大似然函数，利用监督学习训练进一步微调整 个DNN模型参数值，达到参数最优化目的，可采用传统BP算法来实现。

本发明的实施方式不限于此，在本发明上述基本技术思想前提下，按照本领 域的普通技术知识和惯用手段对本发明内容所做出其它多种形式的修改、替换或 变更，均落在本发明权利保护范围之内。

Claims (4)

1.一种基于深度学习的工业机器人可靠性建模方法，其特征是包括以下步骤：通过限制玻尔兹曼机RBM构建深度神经网络DNN；利用对比散度快速学习算法训练RBM、DNN，并对训练结果进行评估；输入评估对象工业机器人的加速退化原始数据，构建加速退化模型，预测正常工作条件下其预期工作寿命及可靠性。

2.根据权利要求1所述的基于深度学习的工业机器人可靠性建模方法，其特征是进一步包括以下步骤：

(1)基于深度学习方法，建立具有多输入多输出结构的深度神经网络回归模型；

(2)采用逐层贪心方法，结合加速退化条件下的工业机器人的原始寿命数据对步骤(1)建立的深度神经网络回归模型进行训练，通过所述模型的非线性映射功能，学习得到所述模型的序列之间的映射关系，来确定深度神经网络回归模型；

(3)根据步骤(2)确定的深度神经网络回归模型，对工业机器人在正常工作条件下的工作寿命进行多步预测，得到工业机器人正常工作条件下的预期工作寿命的预测结果。

3.根据权利要求2所述的基于深度学习的工业机器人可靠性建模方法，其特征是步骤(1)中所述的基于深度学习方法，建立具有多输入多输出结构的深度神经网络回归模型的方法为：通过受限的玻尔兹曼机RBM的叠置构建具有多输入多输出结构的深度神经网络回归模型，所述具有多输入多输出结构的深度神经网络回归模型是为l层神经网络，向量x＝h⁰表示原始输入，(h¹,……，h^I-1)表示相应隐含层的输入，h¹表示输出层的输入；其1:I-1的隐含层是使用sigmoid函数并由受限的玻尔兹曼机构成，顶层激活函数使用纯线性函数；

对于原始输入x、l-1层隐含层和输出层的联合概率分布：

<mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <msup> <mi>h</mi> <mn>1</mn> </msup> <mo>,</mo> <mo>...</mo> <mo>...</mo> <mo>,</mo> <msup> <mi>h</mi> <mi>l</mi> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <munderover> <mo>&amp;Pi;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mrow> <mi>l</mi> <mo>-</mo> <mn>1</mn> </mrow> </munderover> <mi>p</mi> <mo>(</mo> <mrow> <msup> <mi>h</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>|</mo> <msup> <mi>h</mi> <mi>i</mi> </msup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mi>p</mi> <mrow> <mo>(</mo> <msup> <mi>h</mi> <mrow> <mi>l</mi> <mo>-</mo> <mn>1</mn> </mrow> </msup> <mo>,</mo> <msup> <mi>h</mi> <mi>l</mi> </msup> <mo>)</mo> </mrow> </mrow>

其中，I为正整数。

4.根据权利要求2所述的基于深度学习的工业机器人可靠性建模方法，其特征是步骤(2)中采用逐层贪心方法的具体过程为：

步骤(2)中采用逐层贪心方法的具体过程优选为：

(a)：对步骤(1)建立的深度神经网络回归模型分层，由下至上，再利用加速退化条件下的工业机器人的原始寿命数据对输入x的那一层进行无监督的训练；

(b)：所述无监督的训练结束后，使用有监督的学习对所述深度神经网络回归模型进行精调：

除了原始输入x的隐含层，以深度神经网络回归模型输出作为监督信号，构造损失函数，采用梯度上升法对所述深度神经网络回归模型的其他隐含层进行有监督的训练，得到所述模型的序列之间的映射关系，最终确定深度神经网络回归模型。