CN114611667B - 一种基于小规模参数矩阵计算特征图边界的重构方法 - Google Patents
一种基于小规模参数矩阵计算特征图边界的重构方法 Download PDFInfo
- Publication number
- CN114611667B CN114611667B CN202210229602.9A CN202210229602A CN114611667B CN 114611667 B CN114611667 B CN 114611667B CN 202210229602 A CN202210229602 A CN 202210229602A CN 114611667 B CN114611667 B CN 114611667B
- Authority
- CN
- China
- Prior art keywords
- matrix
- small
- size
- scale parameter
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Pure & Applied Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于小规模参数矩阵计算特征图边界的重构方法,包括由小规模矩阵的复制与重塑,构造重构矩阵,构建部件矩阵,重塑重构矩阵,除外界因素对特征产生的干扰。本发明能有效处理特征图边界损失,模型执行效率高、维护修正模型难度小,能提高卷积神经网络的识别效率、准确率和鲁棒性。
Description
技术领域
本发明涉及计算机视觉图像处理领域,具体来说涉及一种基于小规模参数矩阵计算特征图边界的重构方法。
背景技术
近年来,随着计算机视觉领域的兴起,图像分类任务也成为领域热点,卷积神经网络被公认为计算机视觉领域任务图像处理方法的主要技术。该方法模拟人类大脑视觉神经元对视觉图像处理的原理,提出了用连续卷积的方法实现对人类视觉进行模拟。卷积神经网络通过大量卷积核对图像的处理达到对图片特征的高效率提取,通过加入池化层、全连接层等方法,最后得出对图片类型的预测。但是,随着如今各种数据量呈指数型增长,卷积算法提取的特征往往因为各种外界因素(如:遮挡、采光度、清晰度等)导致特征图边界信息丢失,使卷积神经网络难以高效率进行,因此卷积层后增加特征图边界的重构显得尤为重要。
但目前的特征图边界的重构方案普遍存在问题,如:边界重构方案通用性低,仅仅对某一领域问题的解决能发挥良好的作用;边界重构方案消耗大量计算资源,使模型执行效率低、维护修正模型难度高等问题;在基于卷积方法的特征提取方面,存在提取方法鲁棒性较低,不能有效处理由于外界因素带来的特征图边界损失等问题,因此要寻找一种特征图边界重构的方法是本领域技术人员需要解决的重要问题。
发明内容
本发明的目的在于克服上述缺点而提供的一种能有效处理特征图边界损失,模型执行效率高、维护修正模型难度小,能提高卷积神经网络的识别效率、准确率和鲁棒性的基于小规模参数矩阵的特征图边界重构方法。
为实现本发明的目的,采用技术方案如下:
本发明的一种基于小规模参数矩阵计算的特征图边界重构方法,包括以下步骤:
(1)由小规模矩阵的复制与重塑,构造重构矩阵:小规模参数矩阵:n x n,将图片送入卷积神经网络,由网络中任意一卷积层得到a x b x c x d大小的矩阵,按照卷积层得到的数据量大小除以预设定好的小规模参数矩阵的参数量得到全为1的一维矩阵的参数量,并获得大小为的矩阵,小规模参数矩阵与此矩阵进行点乘操作,完成小规模参数矩阵的复制;/>先转化为六维矩阵:之后交换第4与第5维,后进行Reshape为四维矩阵:然后剪切此矩阵大小为卷积层得到的矩阵大小a x bx c x d。完成以小规模参数矩阵为单位,对此小规模参数矩阵复制多份,后重新整合为一个重构矩阵的操作;
(2)构建部件矩阵:按照n x n小规模参数矩阵的维度大小构建n*n个部件矩阵,遍历小规模矩阵所有的数据,并得到所有数据的位置,对于每一个数据的位置,都构建一个部件矩阵;遍历小规模矩阵的数据的位置是(y,z),则对卷积层得到矩阵最后两维的(y,z)位置进行间隔小规模参数矩阵的第一维长度j位横向取样与间隔小规模参数矩阵的第二位长度r位纵向取样,最终得到大小为的矩阵,之后对此矩阵进行展平操作,展平为:/>大小规模的矩阵,之后构建大小为1 x j x r的二维全一矩阵,之后使两矩阵进行点乘得到/> 的二维矩阵,此操作同于:将取样数据每一个取样点扩展为与小规模参数矩阵大小相同、且矩阵内部数据均同于取样点的矩阵Ex,后依据取样排列顺序对Ex进行组合,先转化为6维矩阵:/>之后交换第4与第5维,之后进行Reshape为四维矩阵:/>然后剪切此矩阵大小为卷积层得到的矩阵大小a x b x c x d;
(3)重塑重构矩阵:步骤(2)得到的矩阵与步骤(1)所述的重构矩阵进行点乘,得到矩阵V1;
(4)消除外界因素对特征产生的干扰:遍历获得取样起始点j*r个(因为小规模参数矩阵大小为j x r),重复以上全部步骤,从而获得矩阵V1、V2……Vj*r共j*r个矩阵,使矩阵V1、V2……Vj*r共j*r个矩阵相加得到的矩阵为卷积层后特征图进行边界重构的结果图,让多个结果图进行点乘,小于1的数值经过相乘得到接近0的结果。
上述的一种基于小规模参数矩阵计算的特征图边界重构方法,其中:n取5或7最佳。
本发明与现有技术相比,具有明显的有益效果,从以上技术方案可知:本发明通过对卷积神经网络中的卷积层进行处理,利用特征图重构图像边缘信息,以达到提高特征图质量的作用,进一步提升模型的准确率。同时,本发明以残差块的形式进行构建,可适用于多种模型和方法,实现对网络层输入与输出的弱干扰作用。本发明利用卷积神经网络构建特征图谱,提取特征图边框质量,通过矩阵运算进行有效训练,可以提高大多数卷积神经网络的识别效率与准确率,同时可以提高参与训练模型的鲁棒性。本发明从对小规模矩阵的训练出发,从源头降低模型的训练参数量,降低后期模型维护成本,提高了边界重构方法的适用性与实用性。
附图说明
图1为实施例1的原彩色图;
图2为实施例1的一个矩阵处理结果图;
图3为实施例1的两个矩阵叠加处理结果图;
图4为实施例1的三个矩阵叠加结果图;
图5为实施例2原特征图;
图6为实施例2一个矩阵处理结果图;
图7为实施例2两个矩阵叠加处理结果图;
图8为实施例2三个矩阵叠加结果图。
具体实施方式
以下结合附图及较佳实施例,对依据本发明提出的一种基于小规模参数矩阵计算的特征图边界重构方法的具体实施方式、结构、特征及其功效,详细说明如后。
实施例1:
一种基于小规模参数矩阵计算的特征图边界重构方法,包括以下步骤:
(1)由小规模矩阵的复制与重塑,构造重构矩阵:小规模参数矩阵:5 x 5,将原色彩图(图1)送入卷积神经网络(此处以Resnet50为例),抽取任意卷积层得到的结果矩阵(矩阵大小为:64 x 32 x 224 x 224,其中:64表示送入模型数据是以64为一个batch size、32表示Resnet50模型中间层提取到32张特征图、224 x 224表示特征图大小),按照卷积层得到的数据量大小除以预设定好的小规模参数矩阵的参数量得到全为1的一维矩阵的参数量,并获得大小为的矩阵,小规模参数矩阵与此矩阵进行点乘操作,完成小规模参数矩阵的复制;/>先转化为六维矩阵:/> 之后交换第4与第5维,后进行Reshape为四维矩阵:/>然后剪切此矩阵大小为卷积层得到的矩阵大小64 x 32 x 224 x 224。完成以小规模参数矩阵为单位,对此小规模参数矩阵复制多份,后重新整合为一个重构矩阵的操作;
(2)构建部件矩阵:按照5 x 5小规模参数矩阵的维度大小构建5*5个部件矩阵,遍历小规模矩阵所有的数据,并得到所有数据的位置,对于每一个数据的位置,都构建一个部件矩阵;遍历小规模矩阵的数据的位置是(y,z),则对卷积层得到矩阵最后两维的(y,z)位置进行间隔小规模参数矩阵的第一维长度5位横向取样与间隔小规模参数矩阵的第二位长度5位纵向取样,最终得到大小为的矩阵,之后对此矩阵进行展平操作,展平为:/>大小规模的矩阵,之后构建大小为1 x 5 x 5的二维全一矩阵,之后使两矩阵进行点乘得到的二维矩阵,此操作同于:将取样数据每一个取样点扩展为与小规模参数矩阵大小相同、且矩阵内部数据均同于取样点的矩阵Ex,后依据取样排列顺序对Ex进行组合,/> 先转化为6维矩阵: 之后交换第4与第5维,之后进行Reshape为四维矩阵:/> 然后剪切此矩阵大小为卷积层得到的矩阵大小64 x 32 x 224 x 224;
(3)重塑重构矩阵:步骤(2)得到的矩阵与步骤(1)所述的重构矩阵进行点乘,得到矩阵V1;
(4)消除外界因素对特征产生的干扰:遍历获得取样起始点5*5个(因为小规模参数矩阵大小为5 x 5),重复以上全部步骤,从而获得矩阵V1、V2……V25共5*5个矩阵,使矩阵V1、V2……V25共25个矩阵相加得到的矩阵为卷积层后特征图进行边界重构的一个矩阵处理结果图(图2),让多个结果图进行点乘,小于1的数值经过相乘得到接近0的结果,两个矩阵叠加处理结果图(图3),三个矩阵叠加结果图(图4)。
实施例2:
一种基于小规模参数矩阵计算的特征图边界重构方法,包括以下步骤:
(1)由小规模矩阵的复制与重塑,构造重构矩阵:小规模参数矩阵:7 x 7,将原色彩图(图1)送入卷积神经网络(此处以Resnet50为例),抽取任意卷积层得到的结果矩阵(矩阵大小为:64 x 32 x 224 x 224,其中:64表示送入模型数据是以64为一个batch size、32表示Resnet50模型中间层提取到32张特征图、224 x 224表示特征图大小,抽取某一层原特征图如图5),按照卷积层得到的数据量大小除以预设定好的小规模参数矩阵的参数量得到全为1的一维矩阵的参数量,并获得大小为的矩阵,小规模参数矩阵与此矩阵进行点乘操作,完成小规模参数矩阵的复制; 先转化为六维矩阵:之后交换第4与第5维,后进行Reshape为四维矩阵:/> 然后剪切此矩阵大小为卷积层得到的矩阵大小64 x 32 x 224 x 224。完成以小规模参数矩阵为单位,对此小规模参数矩阵复制多份,后重新整合为一个重构矩阵的操作;
(2)构建部件矩阵:按照7 x 7小规模参数矩阵的维度大小构建7*7个部件矩阵,遍历小规模矩阵所有的数据,并得到所有数据的位置,对于每一个数据的位置,都构建一个部件矩阵;遍历小规模矩阵的数据的位置是(y,z),则对卷积层得到矩阵最后两维的(y,z)位置进行间隔小规模参数矩阵的第一维长度7位横向取样与间隔小规模参数矩阵的第二位长度7位纵向取样,最终得到大小为的矩阵,之后对此矩阵进行展平操作,展平为:/>大小规模的矩阵,之后构建大小为1 x 7 x 7的二维全一矩阵,之后使两矩阵进行点乘得到的二维矩阵,此操作同于:将取样数据每一个取样点扩展为与小规模参数矩阵大小相同、且矩阵内部数据均同于取样点的矩阵Ex,后依据取样排列顺序对Ex进行组合,/> 先转化为6维矩阵: 之后交换第4与第5维,之后进行Reshape为四维矩阵:/> 然后剪切此矩阵大小为卷积层得到的矩阵大小64 x 32 x 224 x 224;
(3)重塑重构矩阵:步骤(2)得到的矩阵与步骤(1)所述的重构矩阵进行点乘,得到矩阵V1;
(4)消除外界因素对特征产生的干扰:遍历获得取样起始点7*7个(因为小规模参数矩阵大小为7 x 7),重复以上全部步骤,从而获得矩阵V1、V2……V49共7*7个矩阵,使矩阵V1、V2……V49共49个矩阵相加得到的矩阵为卷积层后特征图进行边界重构的一个矩阵处理结果图(图6),让多个结果图进行点乘,小于1的数值经过相乘得到接近0的结果,结果如:两个矩阵叠加处理结果图(图7)、三个矩阵叠加结果图(图8)。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,任何未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (2)
1.一种基于小规模参数矩阵计算的特征图边界重构方法,包括以下步骤:
(1)由小规模矩阵的复制与重塑,构造重构矩阵:小规模参数矩阵:n x n,将图片送入卷积神经网络,由网络中任意一卷积层得到a x b x c x d大小的矩阵,其中a表示送入模型数据的batch size,b代表Resnet50模型中间层提取到的特征图数量,cxd代表特征图大小;按照卷积层得到的数据量大小除以预设定好的小规模参数矩阵的参数量得到全为1的一维矩阵的参数量,并获得大小为的矩阵,小规模参数矩阵与此矩阵进行点乘操作,完成小规模参数矩阵的复制;/> 先转化为六维矩阵:/>之后交换第4与第5维,后进行Reshape为四维矩阵:/> 然后剪切此矩阵大小为卷积层得到的矩阵大小a x b x c x d,完成以小规模参数矩阵为单位,对此小规模参数矩阵复制多份,后重新整合为一个重构矩阵的操作;
(2)构建部件矩阵:按照n x n小规模参数矩阵的维度大小构建n*n个部件矩阵,遍历小规模矩阵所有的数据,并得到所有数据的位置,对于每一个数据的位置,都构建一个部件矩阵;遍历小规模矩阵的数据的位置是(y,z),则对卷积层得到矩阵最后两维的(y,z)位置进行间隔小规模参数矩阵的第一维长度j位横向取样与间隔小规模参数矩阵的第二维长度r位纵向取样,最终得到大小为的矩阵,之后对此矩阵进行展平操作,展平为:/>大小规模的矩阵,之后构建大小为1xj xr的二维全一矩阵,之后使两矩阵进行点乘得到/>的二维矩阵,此操作同于:将取样数据每一个取样点扩展为与小规模参数矩阵大小相同、且矩阵内部数据均同于取样点的矩阵Ex,后依据取样排列顺序对Ex进行组合, 先转化为6维矩阵:之后交换第4与第5维,之后进行Reshape为四维矩阵:/> 然后剪切此矩阵大小为卷积层得到的矩阵大小a x b x c x d;
(3)重塑重构矩阵:步骤(2)得到的矩阵与步骤(1)所述的重构矩阵进行点乘,得到矩阵V1;
(4)消除外界因素对特征产生的干扰:遍历获得取样起始点j*r个,重复以上全部步骤,从而获得矩阵V1、V2……Vj*r共j*r个矩阵,使矩阵V1、V2……Vj*r共j*r个矩阵相加得到的矩阵为卷积层后特征图进行边界重构的结果图,让多个结果图进行点乘,小于1的数值经过相乘得到接近0的结果。
2.如权利要求1所述的一种基于小规模参数矩阵计算的特征图边界重构方法,其中:n取5或7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210229602.9A CN114611667B (zh) | 2022-03-09 | 2022-03-09 | 一种基于小规模参数矩阵计算特征图边界的重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210229602.9A CN114611667B (zh) | 2022-03-09 | 2022-03-09 | 一种基于小规模参数矩阵计算特征图边界的重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114611667A CN114611667A (zh) | 2022-06-10 |
CN114611667B true CN114611667B (zh) | 2023-05-26 |
Family
ID=81861555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210229602.9A Active CN114611667B (zh) | 2022-03-09 | 2022-03-09 | 一种基于小规模参数矩阵计算特征图边界的重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114611667B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116524282B (zh) * | 2023-06-26 | 2023-09-05 | 贵州大学 | 一种基于特征向量的离散相似度匹配分类方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113159282A (zh) * | 2021-03-29 | 2021-07-23 | 东南大学 | 一种基于交叉模态置信准则矩阵的桥梁模态参数智能更新方法 |
CN113255768A (zh) * | 2021-05-26 | 2021-08-13 | 之江实验室 | 一种提升卷积神经网络鲁棒性能的方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10776963B2 (en) * | 2016-07-01 | 2020-09-15 | Cubismi, Inc. | System and method for forming a super-resolution biomarker map image |
US10198401B2 (en) * | 2016-12-30 | 2019-02-05 | Intel Corporation | Max pooling in a matrix processing architecture |
CN110263909B (zh) * | 2018-03-30 | 2022-10-28 | 腾讯科技(深圳)有限公司 | 图像识别方法及装置 |
CN113392959A (zh) * | 2021-06-03 | 2021-09-14 | 沐曦集成电路(上海)有限公司 | 一种在计算***中重构架构的方法及计算*** |
GB2626214A (en) * | 2021-06-29 | 2024-07-17 | Imagination Tech Ltd | Neural network comprising matrix multiplication |
CN113744134B (zh) * | 2021-09-15 | 2023-07-25 | 东华大学 | 基于光谱解混卷积神经网络的高光谱图像超分辨方法 |
-
2022
- 2022-03-09 CN CN202210229602.9A patent/CN114611667B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113159282A (zh) * | 2021-03-29 | 2021-07-23 | 东南大学 | 一种基于交叉模态置信准则矩阵的桥梁模态参数智能更新方法 |
CN113255768A (zh) * | 2021-05-26 | 2021-08-13 | 之江实验室 | 一种提升卷积神经网络鲁棒性能的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114611667A (zh) | 2022-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109063753B (zh) | 一种基于卷积神经网络的三维点云模型分类方法 | |
CN111079685B (zh) | 一种3d目标检测方法 | |
CN113298734B (zh) | 一种基于混合空洞卷积的图像修复方法及*** | |
CN107154064B (zh) | 基于深度稀疏编码的自然图像压缩感知重建方法 | |
CN110838095B (zh) | 一种基于循环密集神经网络的单幅图像去雨方法和*** | |
CN103971112A (zh) | 图像特征提取方法及装置 | |
CN114611667B (zh) | 一种基于小规模参数矩阵计算特征图边界的重构方法 | |
CN110084181B (zh) | 一种基于稀疏MobileNetV2网络的遥感图像舰船目标检测方法 | |
CN113888501B (zh) | 一种基于注意力定位网络的无参考型图像质量评价方法 | |
CN116030537B (zh) | 基于多分支注意力图卷积的三维人体姿态估计方法 | |
CN111738276A (zh) | 基于多核卷积神经网络的图像处理方法、装置及设备 | |
CN112419191A (zh) | 基于卷积神经网络的图像运动模糊去除方法 | |
CN105550712A (zh) | 基于优化卷积自动编码网络的极光图像分类方法 | |
CN112967210A (zh) | 一种基于全卷积孪生网络的无人机图像去噪方法 | |
CN115545166A (zh) | 一种改进的ConvNeXt卷积神经网络及其遥感图像的分类方法 | |
CN116612283A (zh) | 一种基于大卷积核骨干网络的图像语义分割方法 | |
CN116109689A (zh) | 基于引导优化聚合的边缘保持立体匹配方法 | |
CN114581789A (zh) | 一种高光谱图像分类方法及*** | |
CN117236201B (zh) | 一种基于Diffusion和ViT的降尺度方法 | |
CN115965844B (zh) | 基于视觉显著性先验知识的多聚焦图像融合方法 | |
CN115661002B (zh) | 基于gan的多时相遥感数据修复方法 | |
CN117058552A (zh) | 一种基于改进YOLOv7与RKNPU2的轻量化害虫检测方法 | |
CN115564043B (zh) | 一种图像分类模型剪枝方法、装置、电子设备及存储介质 | |
CN106934344B (zh) | 一种基于神经网络的快速行人检测方法 | |
CN110807483B (zh) | 基于fpga的模板匹配实现装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |