CN107194426A - 一种基于Spiking神经网络的图像识别方法 - Google Patents

一种基于Spiking神经网络的图像识别方法 Download PDF

Info

Publication number
CN107194426A
CN107194426A CN201710369648.XA CN201710369648A CN107194426A CN 107194426 A CN107194426 A CN 107194426A CN 201710369648 A CN201710369648 A CN 201710369648A CN 107194426 A CN107194426 A CN 107194426A
Authority
CN
China
Prior art keywords
image
spiking
neutral nets
method based
layer neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710369648.XA
Other languages
English (en)
Inventor
屈鸿
陈珊
马琳垚
张马路
曾志
陈
陈一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710369648.XA priority Critical patent/CN107194426A/zh
Publication of CN107194426A publication Critical patent/CN107194426A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于Spiking神经网络的图像识别方法，属于图像处理技术领域，解决现有技术对图像识别效率较低、对图像的特征不能准确识别的问题。本发明基于高斯差分滤波的思想对图像特征进行了分离，再使用延迟相位的方法进行了编码，在编码完成后使用Spiking神经网络学习算法对所得特征序列进行了学习，最终得到识别输出的结果。相较传统的Spiking图像识别方法，该方法对图像的特征进行了细化，通过降维、整合、分离、提取等方式对图像局部特点进行了针对性优化，并利用了基于膜电压的Spiking神经网络学习算法，提高了识别过程的效率和准确度。本发明应用于图像识别、图像分类、图像特征提取、Spiking学习算法应用，涉及机器学习、Spiking神经网络、延迟相位编码等领域。

Description

一种基于Spiking神经网络的图像识别方法
技术领域
本发明涉及机器学习、Spiking神经网络和延迟相位编码技术领域，具体涉及一种基于Spiking神经网络的图像识别方法。
背景技术
Spiking神经网络对图像处理的敏感性，使它频频出现在仿真视网膜神经元对图像信息转化的模拟中。其对于数据的时空编码特性，使得在图像处理问题中Spiking神经网络可以对不同尺寸和角度的图像内容进行识别和处理，并表现出了很好的效果。
在传统的图像识别问题中，计算机对图像进行特征索引然后查询。这类方法的可重用性不高，并且在实际应用中操作复杂，经过多次调试之后才能达到一定的效果。一些算法甚至使用灰阶差的方式来对识别问题进行处理，这类方法简单直接，但往往不能取得很好的识别效果。图像信息是人类感官里的重要信息输入，人类用眼识字，当有人用手在他背后写字时，人也可以认出字的内容，神经网络对这一问题提供了新的解决思路。在具体的做法上，主要是通过图像编码技术将数字图片信息转换为神经元能够识别的脉冲序列，然后使用学习算法对神经网络进行训练，对输出脉冲分类完成识别任务。
最近的神经生理学结果显示，单个脉冲可以携带关于视觉刺激的大量信息。视网膜神经节细胞的对视觉神经元产生的重要的信息可以由脉冲的时间和数量体现出来。在人视网膜中，来自感光细胞的视觉信号以脉冲的形式被投射到视网膜神经节细胞中。因此，在投影期间信息压缩是不可缺少的。相位编码已经成功地用于通过相位变换在海马体中执行学习和情景记忆的任务。在接收域内利用脉冲的相位信息，神经节细胞可以从感光细胞接收信息，而相位编码可以用于在压缩期间保留足够的空间信息。因此，特征提取和编码的组合提供了一种实现图像压缩和解压过程的新方式。
在图像特征提取和编码之后，神经***需要学习呈现外部感觉刺激的神经信号。基于Spiking神经网络的学习算法被认为在学习、记忆和神经电路的发展中起重要作用。许多现有的学习模型使用时间编码的学习，目的是训练输出神经元生成所需的输出脉冲序列模式。很多证据表明基于Spiking神经网络的监督学习在生物小脑和小脑皮层中存在。它也已被证明是一种成功的学习形式，建立具有认知功能的方法。
发明内容
针对上述现有技术，本发明目的在于提供一种基于Spiking神经网络的图像识别方法，解决现有技术对图像识别效率较低、对图像的特征不能准确识别以及由于神经元所学习的序列存在偏移而导致的网络识别精度低等技术问题。
本发明基于高斯差分滤波的思想对图像特征进行了分离，将得到的特征使用延迟相位的方法进行了编码，在编码完成后使用Spiking神经网络学习算法对所得特征序列进行了学习，最终得到识别输出的结果。
为达到上述目的，本发明采用的技术方案如下：
一种基于Spiking神经网络的图像识别方法，包括以下步骤：
步骤1、将图像转换为灰度像素，获得灰度图；
步骤2、对灰度图进行特征提取，得到灰度图区域特征关联的第一层神经元；
步骤3、对第一层神经元再采样降维后得到第二层神经元；
步骤4、使用相位延迟编码的方案将第二层神经元的特征强度转换为脉冲时间序列，对齐后再编码该脉冲时间序列；
步骤5、将编码后的脉冲时间序列输入至Spiking神经网络，使用多张图片对Spiking神经网络初始的目标输出时间序列进行监督学习训练，训练后获得具有不同目标脉冲输出序列的Spiking神经网络；
步骤6、将待测试图像经过步骤1至步骤4后输入至训练后的Spiking神经网络中，通过待测试图像的脉冲输出序列与目标脉冲输出序列的相似计算值最小判断得出待测试图像所属识别结果类。
上述方法中，所述的步骤2，选择接受域，并使用高斯差分的方法对灰度图进行特征提取。
上述方法中，所述的步骤3，使用最大池化的方法对第一层神经元再采样降维后得到第二层神经元。
上述方法中，所述的步骤4，选取编码窗口的持续时间，将接受域内的第二层神经元乘以尺度参数后结合编码窗口的持续时间映射为脉冲时间序列。
上述方法中，所述的步骤4，还将脉冲时间序列按亚阈值膜震荡函数向最邻近的波峰位置进行调整，得到对齐后的脉冲时间序列。
上述方法中，所述的步骤5，训练过程中使用PBSNLR算法调整Spiking神经网络的参数。
与现有技术相比，本发明的有益效果：
本发明方法对图像的特征进行了细化，通过降维、整合、分离、提取等方式对图像的局部特点进行了针对性优化，创造性地利用了基于膜电压的Spiking神经网络学习算法，实质并显著地提高了识别过程的效率和准确度；
一、使用了高斯差分的特征提取方法，使得图像的特征得到了更精准表出，提高了图像识别的准确程度；
二、采用脉冲延迟编码的方法大大降低了编码的复杂度，提高了图像识别的效率；
三、使用Spiking神经网络对图像信息进行处理，最大程度保留了图像的旋转、时空等信息，利用仿生的学习方式识别图像；
四、模型结构简单清晰，其S1和C1层具有可迭代的特点，对较为复杂的图像可以使用多层提取的方式使复杂的图像信息更直接的体现到最后的特征脉冲时间序列中。
附图说明
图1为本发明的整体网络结构示意图；
图2为本发明特征编码对齐过程的示意图；
图3为本发明图像特征提取过程对图像的三个处理直观展示图；
图4为本发明的图像特征编码过程的具体示例示意图；
图5为本发明三个实施图像；
图6为本发明经过处理后的脉冲编码序列示意图；
图7为本发明在训练过程的输出准确度变化示意图。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合附图对本发明做进一步说明：
一种基于Spiking神经网络的图像识别方法，包括以下步骤：
步骤1：将图像转换为灰度像素，输入识别模型；
步骤2：选择适当的接受域，并使用高斯差分的方法对灰度图进行特征提取，使用的高斯差分函数为
其中是参数为σ(s)的二维高斯函数，l为接受域内的像素的位置，lc为该接受域的中心像素位置，其最终特征输出可以计算为
即对接受域Ri中所有像素的强度值I(l)与高斯滤波器的权值的乘积进行加和，得到一个维度更小，特征更突出的S1层；
步骤3：对步骤2中得到的S1层神经元，使用最大池化的方法对其进行再次采样，即将划分区域内的最大值保留并传递到C1层对应位置；
步骤4：使用相位延迟编码的方案将C1层的特征强度转换为脉冲时间序列并编码；
其中转换公式为ti＝f(xi)＝tmax-ln(α·xi+1)，即将m×n个接受域内的神经元乘以尺度参数α，tmax为编码窗口的持续时间；
在确定了ti时间后，将其在对应的亚阈值膜震荡函数中进行调整，其中为初始相位，被定义为即按常相位增量分别设置不同的初始相位，调整方法为将ti时间对齐到最邻近的波峰位置；对齐操作可以使编码的混乱程度降低，同时还从根本上解决了现有技术难以进行编码还原的问题，在实际识别任务中可以通过重构SMO函数的方式对本发明编码进行解码，如图2(e)到(f)过程所示；
步骤5：将步骤4得到的脉冲时间序列ti‘输入到Spiking神经网络中，使用多张图片对网络进行监督学习训练，得到训练结果，在本方法中，我们使用了PBSNLR算法进行神经网络的参数调整；
步骤6：步骤5训练得到的网络可以进行识别测试，将测试图像经过步骤1～4的处理，输入网络中，得到脉冲输出序列tio与监督训练设置的目标脉冲输出序列tid进行相似计算，即
得到的相似计算值C最小的即为图片的识别结果类。
实施例1
(1)对如图5所示的三个样本图片分别进行处理，将图像统一大小，并转换为灰度图像；
(2)如表1设置整个计算模型的相关参数
表1计算模型的参数设置
(3)选择一个16×16的接受域对256×256的图像进行特征提取，高斯差分权值乘积后如图3(a)中的原图将被转换为图3(b)所示的特征图像；
(4)对得到的特征图像使用2×2的最大池化进行采样，得到如图3(c)所示的采样图像；
(5)将得到的特征强度信息使用延迟相位编码进行对齐调整，如图4所示。图像信息被重新分列放入亚阈值膜电压震荡函数中，调整时间序列后压缩得到最终的特征时间脉冲序列，image1图像得到的最终编码时间序列如图6所示；
(6)将图像得到的脉冲序列输入Spiking神经网络进行权值训练调整，这里设置三种识别结果，分别为(50,150,450)、(120,320,520)、(190,390,590)时间序列的目标输出，如图7所示，经过约20次的训练后，整个网络输出趋向稳定，得到在关于这三张图像的训练识别模型；
(7)使用(6)中训练得到的网络权值对图像识别效果进行测试，在此三张图模型中，识别计算的准确度可以达到百分之百。
本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施示例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (6)

1.一种基于Spiking神经网络的图像识别方法，其特征在于，包括以下步骤：
步骤1、将当前图像转换为灰度像素，获得灰度图；
步骤2、对灰度图进行特征提取，得到灰度图区域特征关联的第一层神经元；
步骤3、对第一层神经元再采样降维后得到第二层神经元；
步骤4、使用相位延迟编码的方案将第二层神经元的特征强度转换为脉冲时间序列，对齐后再编码该脉冲时间序列；
步骤5、将编码后的脉冲时间序列输入至Spiking神经网络，使用多张图片对Spiking神经网络初始的目标输出时间序列进行监督学习训练，训练后获得具有不同目标脉冲输出序列的Spiking神经网络；
步骤6、将待测试图像经过步骤1至步骤4后输入至训练后的Spiking神经网络中，通过待测试图像的脉冲输出序列与目标脉冲输出序列的相似计算值最小判断得出待测试图像所属识别结果类。
2.根据权利要求1所述的一种基于Spiking神经网络的图像识别方法，其特征在于，所述的步骤2，选择接受域，并使用高斯差分的方法对灰度图进行特征提取。
3.根据权利要求1所述的一种基于Spiking神经网络的图像识别方法，其特征在于，所述的步骤3，使用最大池化的方法对第一层神经元再采样降维后得到第二层神经元。
4.根据权利要求2所述的一种基于Spiking神经网络的图像识别方法，其特征在于，所述的步骤4，选取编码窗口的持续时间，将接受域内的第二层神经元乘以尺度参数后结合编码窗口的持续时间映射为脉冲时间序列。
5.根据权利要求4所述的一种基于Spiking神经网络的图像识别方法，其特征在于，所述的步骤4，将脉冲时间序列按亚阈值膜震荡函数在第二层神经元相位谱上向最邻近的波峰位置进行调整，得到对齐后的脉冲时间序列。
6.根据权利要求1所述的一种基于Spiking神经网络的图像识别方法，其特征在于，所述的步骤5，训练过程中使用PBSNLR算法调整Spiking神经网络的参数。
CN201710369648.XA 2017-05-23 2017-05-23 一种基于Spiking神经网络的图像识别方法 Pending CN107194426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710369648.XA CN107194426A (zh) 2017-05-23 2017-05-23 一种基于Spiking神经网络的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710369648.XA CN107194426A (zh) 2017-05-23 2017-05-23 一种基于Spiking神经网络的图像识别方法

Publications (1)

Publication Number Publication Date
CN107194426A true CN107194426A (zh) 2017-09-22

Family

ID=59875352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710369648.XA Pending CN107194426A (zh) 2017-05-23 2017-05-23 一种基于Spiking神经网络的图像识别方法

Country Status (1)

Country Link
CN (1) CN107194426A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108805879A (zh) * 2018-05-24 2018-11-13 电子科技大学 一种基于Spiking神经网络的图像分割方法
CN108846349A (zh) * 2018-06-08 2018-11-20 电子科技大学 一种基于动态Spiking神经网络的人脸识别方法
CN108846408A (zh) * 2018-04-25 2018-11-20 中国人民解放军军事科学院军事医学研究院 基于脉冲神经网络的图像分类方法及装置
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN109117884A (zh) * 2018-08-16 2019-01-01 电子科技大学 一种基于改进监督学习算法的图像识别方法
CN110020715A (zh) * 2018-10-16 2019-07-16 量子超并(北京)科技有限公司 利用波动和脉冲信号混合编码的神经网络识别方法与装置
CN110119785A (zh) * 2019-05-17 2019-08-13 电子科技大学 一种基于多层spiking卷积神经网络的图像分类方法
CN110458903A (zh) * 2019-07-29 2019-11-15 北京大学 一种编码脉冲序列的图像处理方法
CN111046954A (zh) * 2019-12-12 2020-04-21 电子科技大学 基于动态阈值的spiking学习模型的图像分类方法
CN111858989A (zh) * 2020-06-09 2020-10-30 西安工程大学 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
CN113408611A (zh) * 2021-06-18 2021-09-17 电子科技大学 一种基于延迟机制的多层图像分类方法
CN113408613A (zh) * 2021-06-18 2021-09-17 电子科技大学 一种基于延迟机制的单层图像分类方法
CN113901869A (zh) * 2021-09-02 2022-01-07 电子科技大学 一种基于Spiking神经网络的无接触液位检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404902A (zh) * 2015-10-27 2016-03-16 清华大学 基于脉冲神经网络的图像特征描述和记忆方法
CN106407990A (zh) * 2016-09-10 2017-02-15 天津大学 基于事件驱动的仿生目标识别***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105404902A (zh) * 2015-10-27 2016-03-16 清华大学 基于脉冲神经网络的图像特征描述和记忆方法
CN106407990A (zh) * 2016-09-10 2017-02-15 天津大学 基于事件驱动的仿生目标识别***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MALU ZHANG等: "Supervised learning in spiking neural networks with noise-threshold", 《NEUROCOMPUTING》 *
XIAOLIANG XU等: "A Hierarchical Visual Recognition Model with Precise-Spike-Driven Synaptic Plasticity", 《2016 IEEE SYMPOSIUM ON COMPUTATIONAL INTELLIGENCE (SSCI)》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846408A (zh) * 2018-04-25 2018-11-20 中国人民解放军军事科学院军事医学研究院 基于脉冲神经网络的图像分类方法及装置
CN108805879A (zh) * 2018-05-24 2018-11-13 电子科技大学 一种基于Spiking神经网络的图像分割方法
CN108846349A (zh) * 2018-06-08 2018-11-20 电子科技大学 一种基于动态Spiking神经网络的人脸识别方法
CN109117884A (zh) * 2018-08-16 2019-01-01 电子科技大学 一种基于改进监督学习算法的图像识别方法
CN109102000A (zh) * 2018-09-05 2018-12-28 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN109102000B (zh) * 2018-09-05 2021-09-07 杭州电子科技大学 一种基于分层特征提取与多层脉冲神经网络的图像识别方法
CN110020715B (zh) * 2018-10-16 2020-11-27 量子超并(北京)科技有限公司 利用波动和脉冲信号混合编码的神经网络识别方法与装置
CN110020715A (zh) * 2018-10-16 2019-07-16 量子超并(北京)科技有限公司 利用波动和脉冲信号混合编码的神经网络识别方法与装置
CN110119785A (zh) * 2019-05-17 2019-08-13 电子科技大学 一种基于多层spiking卷积神经网络的图像分类方法
CN110458903B (zh) * 2019-07-29 2021-03-02 北京大学 一种编码脉冲序列的图像处理方法
CN110458903A (zh) * 2019-07-29 2019-11-15 北京大学 一种编码脉冲序列的图像处理方法
CN111046954A (zh) * 2019-12-12 2020-04-21 电子科技大学 基于动态阈值的spiking学习模型的图像分类方法
CN111858989B (zh) * 2020-06-09 2023-11-10 西安工程大学 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
CN111858989A (zh) * 2020-06-09 2020-10-30 西安工程大学 一种基于注意力机制的脉冲卷积神经网络的图像分类方法
CN113408611A (zh) * 2021-06-18 2021-09-17 电子科技大学 一种基于延迟机制的多层图像分类方法
CN113408611B (zh) * 2021-06-18 2022-05-10 电子科技大学 一种基于延迟机制的多层图像分类方法
CN113408613B (zh) * 2021-06-18 2022-07-19 电子科技大学 一种基于延迟机制的单层图像分类方法
CN113408613A (zh) * 2021-06-18 2021-09-17 电子科技大学 一种基于延迟机制的单层图像分类方法
CN113901869A (zh) * 2021-09-02 2022-01-07 电子科技大学 一种基于Spiking神经网络的无接触液位检测方法
CN113901869B (zh) * 2021-09-02 2023-04-21 电子科技大学 一种基于Spiking神经网络的无接触液位检测方法

Similar Documents

Publication Publication Date Title
CN107194426A (zh) 一种基于Spiking神经网络的图像识别方法
CN110353675B (zh) 基于图片生成的脑电信号情感识别方法及装置
CN110069958B (zh) 一种密集深度卷积神经网络的脑电信号快速识别方法
CN107977932A (zh) 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN107610123A (zh) 一种基于深度卷积神经网络的图像美学质量评价方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN104091172A (zh) 一种运动想象脑电信号的特征提取方法
CN105068644A (zh) 一种基于卷积神经网络的p300脑电信号检测方法
CN108229646A (zh) 神经网络模型压缩方法、装置、存储介质和电子设备
CN109685716A (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN107679526A (zh) 一种人脸微表情识别方法
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN110659573B (zh) 一种人脸识别方法、装置、电子设备及存储介质
CN109817276A (zh) 一种基于深度神经网络的蛋白质二级结构预测方法
CN106203625A (zh) 一种基于多重预训练的深层神经网络训练方法
CN106951473A (zh) 面向视觉障碍人士的深度视觉问答***的构建方法
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
Gamez et al. iSpike: a spiking neural interface for the iCub robot
CN108875906B (zh) 一种多尺度逐步累加的卷积神经网络学习方法
CN106778701A (zh) 一种加入Dropout的卷积神经网络的果蔬图像识别方法
CN112818764A (zh) 一种基于特征重建模型的低分辨率图像人脸表情识别方法
CN108053398A (zh) 一种半监督特征学习的黑色素瘤自动检测方法
CN109344888A (zh) 一种基于卷积神经网络的图像识别方法、装置及设备
CN114333074B (zh) 基于动态轻量高分辨率网络的人体姿态估计方法
CN105550712B (zh) 基于优化卷积自动编码网络的极光图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170922

RJ01 Rejection of invention patent application after publication