CN110132626A - 一种基于多尺度卷积神经网络的抽油机故障诊断方法 - Google Patents
一种基于多尺度卷积神经网络的抽油机故障诊断方法 Download PDFInfo
- Publication number
- CN110132626A CN110132626A CN201910419291.0A CN201910419291A CN110132626A CN 110132626 A CN110132626 A CN 110132626A CN 201910419291 A CN201910419291 A CN 201910419291A CN 110132626 A CN110132626 A CN 110132626A
- Authority
- CN
- China
- Prior art keywords
- multiple dimensioned
- neural networks
- convolutional neural
- feature
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M99/00—Subject matter not provided for in other groups of this subclass
- G01M99/007—Subject matter not provided for in other groups of this subclass by applying a load, e.g. for resistance or wear testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
Abstract
本发明公开了一种基于多尺度卷积神经网络的抽油机故障诊断方法,传统故障诊断方法存在依赖于人工选择特征,计算复杂,准确率不高的问题,现有的应用于抽油机故障诊断的深度神经网络均是在单通路内完成的,滤波器的尺寸在每一层都是单一设置的,限制了参数的灵活性。以多尺度卷积块为核心结构,提出了一种基于多尺度卷积神经网络的抽油机故障诊断方法。该方法,避免了传统故障诊断方法复杂的特征工程以及特征选择的不确定性对故障识别准确率的影响,同时,该方法能够提取到示功图更加丰富、有效的全局和局部特征,提高故障诊断准确率。
Description
技术领域
本发明涉及抽油机故障诊断技术,具体涉及一种基于多尺度卷积神经网络的抽油机故障诊断方法。
背景技术
有杆抽油机广泛应用于我国石油工业中。目前,使用最为广泛的有杆抽油泵故障诊断方法是利用示功图数据进行分析。现在主要的示功图诊断方法是对示功图进行特征提取,利用不变矩、Freeman链码、灰度矩阵等方法对示功图进行分析,提取能够有效反映抽油泵工况的特征向量,再结合BP神经网络、支持向量机(SVM)等诊断模型进行诊断。这些故障诊断方法,都依赖于人工选择特征,计算复杂,故障识别准确率不高。
随着深度学习的发展,其强大的特征学习能力和分类能力引起广泛的关注。一些深度学习方法逐渐应用于有杆抽油机的故障诊断。使用深度置信网络对示功图进行自动特征提取,避免了复杂的特征提取过程,提高了识别精度和速度;利用改进的Alexnet网络在正常、充不满、气体影响、抽油杆断四种工况识别上取得了很好的识别效果;使用卷积神经网络(CNN)对示功图实现自动提取特征,再利用SVM作为分类器进行故障识别,这些方法在示功图故障诊断上,相比于传统的故障诊断方法体现出了优异性。
但是,现有的应用于示功图故障诊断的深度神经网络都是单通路内完成的,滤波器的尺寸在每一层都是单一设置的,限制了参数的灵活性。
发明内容
本发明要解决的技术问题是:为了克服现有技术中的不足,本发明提供了一种基于多尺度卷积神经网络的抽油机故障诊断方法。
本发明的技术方案是:一种基于多尺度卷积神经网络的抽油机故障诊断方法,其特征在于包括如下步骤:
步骤1:收集悬点位移和载荷数据,对原始数据进行预处理,根据网络模型对输入数据尺寸的要求,绘制示功图;
步骤2:为示功图数据制作标签,以0~x的数字来表示x-1类示功图的标签,并将其分成训练集和测试集;
步骤3:构建多尺度卷积块,提取示功图的全局和局部信息,多尺度卷积块结构由(2m+3)*(2m+3)、(2m+5)*(2m+5)、(2m+7)*(2m+7)三种不同尺寸卷积核构成,m为大于0的正整数,三种不同尺寸的卷积核通过卷积操作提取输入特征图的特征,将特征提取结果进行拼接作为多尺度卷积层的输出特征;
步骤4:以多尺度卷积块为核心搭建多尺度卷积神经网络模型,网络结构中包含p个多尺度卷积层、q个最大池化层、k个卷积层、n个平均池化层以及输入和输出层,其中p、q、k、m均为大于等于0的正整数,每个卷积操作后均使用Swish激活函数进行非线性化处理;
其中,Swish激活函数为:
式中β>0;
步骤5:在步骤2中得到的训练集上进行多尺度卷积神经网络模型训练,使用交叉熵函数作为模型的损失函数,使用优化器最小化损失函数,进行网络参数训练,保存最佳网络模型参数;
其中,交叉熵损失函数为:
式中,y是预测标签的概率分布,y′是真实标签的概率分布,用交叉熵函数来判断模型对真实概率分布估计的准确程度;
步骤6:在步骤2中的测试集上测试网络性能,若测试效果达到预期,则保存网络模型,否则返回步骤5,重新进行网络参数调整。
步骤2中多尺度卷积块的构建,多尺度卷积块的结构可以由n(n≥1)种不同尺寸卷积核构成。
本发明的有益结果是:
(1)多尺度卷积神经网络,与传统有杆抽油机故障诊断方法相比,不需要人工进行特征提取,而是深度神经网络自主提取特征,避免了复杂的特征工程和特征选择的不确定性对故障识别准确率的影响。
(2)与现有的深度神经网络方法相比,多尺度卷积神经网络使用多尺度卷积块以不同尺寸的卷积核对输入特征图进行卷积操作,能够提取到示功图数据更加丰富、有效的全局和局部特征,使得以多尺度卷积块为核心搭建的网络模型故障诊断准确率提高。
附图说明
图1为本发明的流程图,对原始数据进行归一化、平滑等于处理,根据所搭建的深度神经网络的输入尺寸需求,绘制相应尺寸大小的示功图数据,将数据分成数据集和测试集,使用训练集训练网络,保存网络模型,再在测试集上对该网络模型进行测试,如果测试效果与训练集上的测试效果相差太大,重新训练模型参数,否则保存模型作为最终模型;
图2为多尺度卷积块结构图,分别使用32个3*3、5*5、7*7尺寸的卷积核对上一层输入特征图进行卷积操作,将卷积结果进行拼接作为多尺度卷积块的输出特征;
图3为多尺度卷积神经网络模型结构图,输入为“气体影响”故障类型示功图时,经过多尺度卷积神经网络模型,则输出为表示该故障类型的数字标签的one-hot编码形式;
图4为多尺度卷积神经网络模型在训练集和测试集上的准确度结果图,训练集和测试集在训练步数为400步时,准确度均趋于稳定,在测试集上的故障识别准确率达到98%左右。
具体实施方式
下面将结合附图对本发明做详细的说明。图1为本发明的整体流程图。本发明的具体实施步骤如下:
步骤1:收集悬点位移和载荷数据,对原始数据进行预处理,具体预处理方式为:
(1)对数据进行平滑以及归一化处理;
(2)以位移和载荷数据绘制二维示功图,网络模型的输入为32*32,所以将示功图大小也处理为32*32像素。
步骤2:为示功图数据制作标签,并将其按一定比例分成训练集和测试集。
将示功图标签转换成one-hot编码形式,如:示功图数据共8类,气体影响工况为第4类,原始标签为3,其one-hot编码形式标签为[0,0,0,1,0,0,0,0]。
步骤3:构建多尺度卷积块:
多尺度卷积块结构由(2m+3)*(2m+3)、(2m+5)*(2m+5)、(2m+7)*(2m+7)三种不同尺寸卷积核构成,m为大于0的正整数,本实例m取1。此时多尺度卷积块结构如图2所示,是由3*3、5*5、7*7三种尺寸卷积核构成,三种不同尺寸的卷积核来提取输入特征图的特征,将特征提取结果进行拼接作为多尺度卷积层的输出特征。每个尺寸卷积核个数为32,多尺度卷积块的输出为96。
步骤4:搭建多尺度卷积神经网络模型:
网络结构中包含p(p≥0,正整数)个多尺度卷积层、q(q≥0,正整数)个最大池化层、k(k≥0,正整数)个卷积层、n(n≥0,正整数)个平均池化层以及输入和输出层,本实例中,p=2,q=2,k=1,n=1。如图3所示,多尺度卷积神经网络模型一共包括8层。网络结构中包含2个多尺度卷积层、2个最大池化层、1个卷积层、1个平均池化层以及输入和输出。
(1)第1层:输入层,输入为预处理的32*32尺寸示功图图片数据。
(2)第2层:多尺度卷积层,以多尺度卷积块对输入特征图进行特征提取,输出特征图仍然为32*32大小。每个卷积操作后均使用Swish激活函数。
其中:Swish激活函数为:
本实例β值为1。
(3)第3层:池化层,减少计算量,刻画平移不变性。本实例采用2*2的最大池化,输出特征图为16*16大小。
(4)第4层:多尺度卷积层,参数设置同(2)。
(5)第5层:池化层,采用2*2的最大池化,输出特征图为8*8大小。
(6)第6层:卷积层,卷积核尺寸为5*5,步长设置为1,输出特征图为8*8大小,卷积操作后使用Swish激活函数进行非线性化变化。
(7)第7层:池化层,采用8*8的平均池化,输出特征图为1*1大小。
(8)第8层:输出层,将上一层输出转换成1D向量,作为softmax分类器的输入,输出分类结果。
步骤5:对步骤4搭建的多尺度卷积神经网络进行训练:
使用步骤2得到的训练集进行网络训练。使用交叉熵函数来计算模型的输出损失,使用Adam优化方法,最小化损失函数,进行网络参数训练,保存最佳模型参数。
其中,交叉熵函数为:
式中,y是示功图预测标签的概率分布,y′是示功图真实标签的概率分布,用交叉熵函数来判断模型对真实概率分布估计的准确程度。
步骤6:使用步骤5训练得到的网络模型对步骤2中测试集进行测试。图4为模型训练准确度和测试准确度结果图。模型在训练到400步左右时,训练集和测试集均趋于稳定,训练集准确度为100%,测试集准确度为98%左右。
Claims (2)
1.一种基于多尺度卷积神经网络的抽油机工况诊断方法,其特征在于包括以下步骤:
步骤1:收集悬点位移和载荷数据,对原始数据进行预处理,根据网络模型对输入数据尺寸的要求,绘制示功图;
步骤2:为示功图数据制作标签,以0~x的正整数来表示x-1类示功图的标签,并将其分成训练集和测试集;
步骤3:构建多尺度卷积块,提取示功图的全局和局部信息,多尺度卷积块结构由(2m+3)*(2m+3)、(2m+5)*(2m+5)、(2m+7)*(2m+7)三种不同尺寸卷积核构成,m为大于0的正整数,三种不同尺寸的卷积核通过卷积操作提取输入特征图的特征,将特征提取结果进行拼接作为多尺度卷积层的输出特征;
步骤4:以多尺度卷积块为核心搭建多尺度卷积神经网络模型,网络结构中包含p个多尺度卷积层、q个最大池化层、k个卷积层、n个平均池化层以及输入和输出层,其中p、q、k、m均为大于等于0的正整数,每个卷积操作后均使用Swish激活函数进行非线性化处理;
其中,Swish激活函数为:
式中β>0;
步骤5:在步骤2中得到的训练集上进行多尺度卷积神经网络模型训练,使用交叉熵函数作为模型的损失函数,使用优化器最小化损失函数,进行网络参数训练,保存最佳网络模型参数;
其中,交叉熵损失函数为:
式中,y是预测标签的概率分布,y′是真实标签的概率分布,用交叉熵函数来判断模型对真实概率分布估计的准确程度;
步骤6:在步骤2中的测试集上测试网络性能,若测试效果达到预期,则保存网络模型,否则返回步骤5,重新进行网络参数调整。
2.权利要求1中,步骤3多尺度卷积块的构建,多尺度卷积块的结构可以由n种不同尺寸卷积核构成,n为大于0的正整数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910419291.0A CN110132626A (zh) | 2019-05-20 | 2019-05-20 | 一种基于多尺度卷积神经网络的抽油机故障诊断方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910419291.0A CN110132626A (zh) | 2019-05-20 | 2019-05-20 | 一种基于多尺度卷积神经网络的抽油机故障诊断方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110132626A true CN110132626A (zh) | 2019-08-16 |
Family
ID=67571723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910419291.0A Pending CN110132626A (zh) | 2019-05-20 | 2019-05-20 | 一种基于多尺度卷积神经网络的抽油机故障诊断方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110132626A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110595775A (zh) * | 2019-09-19 | 2019-12-20 | 电子科技大学 | 基于多分支多尺度卷积神经网络的滚动轴承故障诊断方法 |
CN111144548A (zh) * | 2019-12-23 | 2020-05-12 | 北京寄云鼎城科技有限公司 | 抽油机井工况的识别方法及装置 |
CN111444871A (zh) * | 2020-04-01 | 2020-07-24 | 北京信息科技大学 | 一种多尺度深度卷积神经网络行星齿轮箱故障诊断方法 |
CN111627253A (zh) * | 2020-06-12 | 2020-09-04 | 浙江驿公里智能科技有限公司 | 一种利用摄像头主动引导停车的防撞***及方法 |
CN111810124A (zh) * | 2020-06-24 | 2020-10-23 | 中国石油大学(华东) | 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法 |
CN113095414A (zh) * | 2021-04-15 | 2021-07-09 | 中国石油大学(华东) | 一种基于卷积神经网络和支持向量机的示功图识别方法 |
CN113567159A (zh) * | 2021-06-17 | 2021-10-29 | 太原理工大学 | 一种基于边云协同的刮板输送机状态监测及故障诊断方法 |
CN113865859A (zh) * | 2021-08-25 | 2021-12-31 | 西北工业大学 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
CN114898126A (zh) * | 2022-01-24 | 2022-08-12 | 南京富岛油气智控科技有限公司 | 一种提升采油机复合工况故障诊断精度方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107631867A (zh) * | 2017-09-07 | 2018-01-26 | 天津工业大学 | 一种基于深度学习的旋转机械故障智能分类方法 |
CN108122075A (zh) * | 2017-12-22 | 2018-06-05 | 胜利油田鲁明油气勘探开发有限公司 | 一种基于卷积神经网络强化学习的有杆泵工况智能监测方法 |
CN109029989A (zh) * | 2018-09-28 | 2018-12-18 | 西北工业大学 | 一种基于红外热成像的齿轮箱故障诊断方法 |
CN109057776A (zh) * | 2018-07-03 | 2018-12-21 | 东北大学 | 一种基于改进鱼群算法的抽油井故障诊断方法 |
US20190122113A1 (en) * | 2017-10-19 | 2019-04-25 | International Business Machines Corporation | Pruning Redundant Neurons and Kernels of Deep Convolutional Neural Networks |
CN109765053A (zh) * | 2019-01-22 | 2019-05-17 | 中国人民解放军海军工程大学 | 利用卷积神经网络和峭度指标的滚动轴承故障诊断方法 |
-
2019
- 2019-05-20 CN CN201910419291.0A patent/CN110132626A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107631867A (zh) * | 2017-09-07 | 2018-01-26 | 天津工业大学 | 一种基于深度学习的旋转机械故障智能分类方法 |
US20190122113A1 (en) * | 2017-10-19 | 2019-04-25 | International Business Machines Corporation | Pruning Redundant Neurons and Kernels of Deep Convolutional Neural Networks |
CN108122075A (zh) * | 2017-12-22 | 2018-06-05 | 胜利油田鲁明油气勘探开发有限公司 | 一种基于卷积神经网络强化学习的有杆泵工况智能监测方法 |
CN109057776A (zh) * | 2018-07-03 | 2018-12-21 | 东北大学 | 一种基于改进鱼群算法的抽油井故障诊断方法 |
CN109029989A (zh) * | 2018-09-28 | 2018-12-18 | 西北工业大学 | 一种基于红外热成像的齿轮箱故障诊断方法 |
CN109765053A (zh) * | 2019-01-22 | 2019-05-17 | 中国人民解放军海军工程大学 | 利用卷积神经网络和峭度指标的滚动轴承故障诊断方法 |
Non-Patent Citations (4)
Title |
---|
仲志丹等: ""石油生产中有杆抽油机故障诊断研究"", 《计算机仿真》 * |
宋青松等: ""基于多尺度卷积神经网络的交通标志识别"", 《湖南大学学报(自然科学版 )》 * |
张文达等: ""基于多尺度分块卷积神经网络的图像目标识别算法"", 《计算机应用》 * |
罗仁泽等: ""基于功图分析的有杆抽油泵故障诊断技术研究"", 《计算机测量与控制》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110595775B (zh) * | 2019-09-19 | 2021-03-30 | 电子科技大学 | 基于多分支多尺度卷积神经网络的滚动轴承故障诊断方法 |
CN110595775A (zh) * | 2019-09-19 | 2019-12-20 | 电子科技大学 | 基于多分支多尺度卷积神经网络的滚动轴承故障诊断方法 |
CN111144548B (zh) * | 2019-12-23 | 2023-09-01 | 北京寄云鼎城科技有限公司 | 抽油机井工况的识别方法及装置 |
CN111144548A (zh) * | 2019-12-23 | 2020-05-12 | 北京寄云鼎城科技有限公司 | 抽油机井工况的识别方法及装置 |
CN111444871A (zh) * | 2020-04-01 | 2020-07-24 | 北京信息科技大学 | 一种多尺度深度卷积神经网络行星齿轮箱故障诊断方法 |
CN111627253A (zh) * | 2020-06-12 | 2020-09-04 | 浙江驿公里智能科技有限公司 | 一种利用摄像头主动引导停车的防撞***及方法 |
CN111627253B (zh) * | 2020-06-12 | 2021-05-04 | 浙江驿公里智能科技有限公司 | 一种利用摄像头主动引导停车的防撞***及方法 |
WO2021248833A1 (zh) * | 2020-06-12 | 2021-12-16 | 浙江驿公里智能科技有限公司 | 一种利用摄像头主动引导停车的防撞***及方法 |
CN111810124A (zh) * | 2020-06-24 | 2020-10-23 | 中国石油大学(华东) | 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法 |
CN111810124B (zh) * | 2020-06-24 | 2023-09-22 | 中国石油大学(华东) | 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法 |
CN113095414A (zh) * | 2021-04-15 | 2021-07-09 | 中国石油大学(华东) | 一种基于卷积神经网络和支持向量机的示功图识别方法 |
CN113567159A (zh) * | 2021-06-17 | 2021-10-29 | 太原理工大学 | 一种基于边云协同的刮板输送机状态监测及故障诊断方法 |
CN113567159B (zh) * | 2021-06-17 | 2023-06-23 | 太原理工大学 | 一种基于边云协同的刮板输送机状态监测及故障诊断方法 |
CN113865859A (zh) * | 2021-08-25 | 2021-12-31 | 西北工业大学 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
CN113865859B (zh) * | 2021-08-25 | 2024-05-14 | 西北工业大学 | 多尺度多源异构信息融合的齿轮箱状态故障诊断方法 |
CN114898126B (zh) * | 2022-01-24 | 2023-09-01 | 南京富岛油气智控科技有限公司 | 一种提升采油机复合工况故障诊断精度方法 |
CN114898126A (zh) * | 2022-01-24 | 2022-08-12 | 南京富岛油气智控科技有限公司 | 一种提升采油机复合工况故障诊断精度方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110132626A (zh) | 一种基于多尺度卷积神经网络的抽油机故障诊断方法 | |
CN106555788B (zh) | 基于模糊处理的深度学习在液压装备故障诊断中的应用 | |
WO2022077901A1 (zh) | 一种面向小样本数据集的轴承故障模式诊断方法及*** | |
CN110070091B (zh) | 用于街景理解的基于动态插值重建的语义分割方法及*** | |
CN108830285A (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
CN110533086A (zh) | 图像数据半自动标注方法 | |
CN104751472A (zh) | 基于b样条小波和深度神经网络的织物疵点检测方法 | |
CN107633272A (zh) | 一种基于小样本下压缩感知的dcnn纹理疵点识别方法 | |
CN110163069A (zh) | 用于辅助驾驶的车道线检测方法 | |
CN107423747A (zh) | 一种基于深度卷积网络的显著性目标检测方法 | |
CN112766283B (zh) | 一种基于多尺度卷积网络的两相流流型识别方法 | |
CN106023098A (zh) | 基于张量结构多字典学习与稀疏编码的图像修补方法 | |
CN110288257A (zh) | 一种深度超限示功图学习方法 | |
CN109389170B (zh) | 一种基于3d卷积神经网络的渐变型工况预警方法 | |
CN112308850A (zh) | 一种多尺度特征融合的输电线路检测方法与*** | |
CN112560948A (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
CN116416237A (zh) | 基于改进YOLOv5与模糊图像增强的输电线路缺陷检测方法 | |
CN117422695A (zh) | 一种基于CR-Deeplab的异常检测方法 | |
CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
CN113361496A (zh) | 一种基于U-Net的城市建成区统计方法 | |
CN117435992A (zh) | 一种用于盾构机液压推进***的故障预测方法及*** | |
CN116721291A (zh) | 基于改进YOLOv7模型的金属表面缺陷检测方法 | |
CN115240057A (zh) | 一种基于深度学习的架空输电线路监拍图像检测方法 | |
CN115273009A (zh) | 基于深度学习的道路裂纹检测方法及*** | |
CN114494236A (zh) | 基于过完备卷积神经网络的织物缺陷检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |
|
RJ01 | Rejection of invention patent application after publication |