CN112184587B - 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及*** - Google Patents

一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及*** Download PDF

Info

Publication number
CN112184587B
CN112184587B CN202011049771.1A CN202011049771A CN112184587B CN 112184587 B CN112184587 B CN 112184587B CN 202011049771 A CN202011049771 A CN 202011049771A CN 112184587 B CN112184587 B CN 112184587B
Authority
CN
China
Prior art keywords
image
segmented
module
neural network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011049771.1A
Other languages
English (en)
Other versions
CN112184587A (zh
Inventor
冷聪
李成华
郭振宇
程健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Original Assignee
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Nanjing Artificial Intelligence Innovation Research Institute, Zhongke Fangcun Zhiwei Nanjing Technology Co ltd filed Critical Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Priority to CN202011049771.1A priority Critical patent/CN112184587B/zh
Publication of CN112184587A publication Critical patent/CN112184587A/zh
Application granted granted Critical
Publication of CN112184587B publication Critical patent/CN112184587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及***，该方法通过对网络模型中卷积网络感受野的减少、图像处理中的重叠切分以及硬件方面对内存扩展三者之间的协同优化，实现了对图像边缘数据的有效增强，在图像超分辨重建、去模糊、去雾化等低等级视觉任务的深度学习算法领域达到在适用于边缘端部署应用的目的。本发明同时也解决了在计算能力弱、内存空间小的边缘端部署深度神经网络的问题，以及发明中涉及的边缘端实时处理图像信号的任务，可以代替一些监控场景中传统的实时处理图像信号的模块，进而实现更加丰富的功能，和更加优秀的成像效果。

Description

一种边缘数据增强模型、以及基于所述模型的高效边缘数据 增强方法及***
技术领域
本发明涉及一种边缘数据增强的处理方法，涉及一般的图像数据处理和基于机器深度学习的图像边缘技术，尤其涉及基于神经网络构建的数字图像信息分析处理领域。
背景技术
随着科学技术的有效推进，摄影设备逐渐深入大众生活，大众审美要求的提升，导致对图片品质的追求也相应增加。图像品质的提升主要是通过增强图像边缘效果来实现的。现有技术中，高复杂度的网络算法对设备的要求有较高的约束，对于计算能力弱、内存空间小的深度神经网络部署的兼容性达不到有效的满足。
发明内容
发明目的：一个目的是提出一种基于边缘数据增强模型的高效边缘数据增强方法，以解决现有技术存在的上述问题。进一步目的是提出一种实现上述方法的***。
技术方案：一种边缘数据增强模型，包含图像处理、神经网络、硬件存储；所述图像处理用于对图像的规格进行重置，并将其输入神经网络；所述神经网络用于接收经过图像处理的图片，并完成对切分图像的重组；所述硬件存储用于存储图像处理中的图片，以及配合神经网络提取图片时，对其进行访问。
在进一步的实施例中，所述图像处理为对接收到的图像进行预先制定规则的处理。其目的是将图片处理成符合神经网络接收的格式。首先，对硬件存储中的图片进行图片数据的访问；然后，将读取出来的图片经过预定个数的切分得到一定数量的小图像块数；最后，将切分后获得的小图像块传输至神经网络中。
其中对读取到图像的切分方式为按照选定区域部分重叠的方式切分，即对进行切分图像的边界部分按照重叠的方式多切分预定量的像素区域。为保证重叠区域的存在，每个图像块向外部扩充预定值个像素，其中原图的边缘部分进行填零处理。切分过后的图像按照不重叠组合满足如下表达：
其中Picture′表示重组后的图像像素，n表示切分后形成的小图像块数量，Ci表示第i个小图像块的长度，Ki表示第i个小图像块的宽度，x表示图像重叠切分时预设定向外扩充的像素大小。
在进一步的实施例中，所述神经网络进一步为神经网络包含下采样、上采样、像素重组。其中下采样中由卷积层和最大池化层构成，接收经过图像切分后的小图像块，并将其传输至下采样中的卷积层，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出。即其中池化层的量化为当小图像块的三个维度尺寸大小为W1×H1×D1时，给定池化核的尺寸为F×F，S为池化的步长，其中F、S均为正整数，然后经过池化后的小图像块的三个维度尺寸大小变为W2×H2×D2，其中，W1表示小图像块的宽度，H1表示小图像块的高度，D1表示小图像块在计算时的通道数，W2表示经过池化层后的小图像块宽度，H2表示经过池化层后的小图像块高度，D2表示经过池化层后的小图像块在计算时的通道数量，且W2、H2、D2分别满足条件如下：
W2＝(W1-F)/S+1
H2＝(H1-F)/S+1
D2＝D1
其中上采样由数据上采样、连接层、卷积层构成，对接收到经过卷积的图像利用上采样进行图像特征的进一步提取。其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样中经过卷积计算后的数据，将获得特征图按照在通道上的维度进行拼接，即连接方式为：
Pictureout＝N*(k1+k2)*H*W
其中，Pictureout表示拼接的输出结果，N表示输入图像的通道数量，N为正整数，k1表示下采样过程中总的图片数量，k2表示经过上采样过程中总的图片数量，H表示输入图像的高度，W表示输入图像的宽度。
其中像素重组将在图像处理过程中，对已经经过切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，从而获得增强过后的图像。其中针对合并过程中存在的重叠区域，取两侧图像数据的平均值。
为了增强对图像局部特征的学习，对于神经网络中的卷积进行感受野的减少，从而减少对高层次语义特征的学习，加快网络收敛的速度。
在进一步的实施例中，所述硬件存储进一步为：硬件存储为神经网络计算提供存储空间，通过扩展片内存储空间，将内存全部缓存在CPU的片内存储***中，进一步减少神经网络中的计算单元对内存的访问，从而降低读取时的运算时间。
一种基于边缘数据增强模型的高效边缘数据增强方法，包括以下步骤：
步骤一：扩展硬件存储内存；所述硬件内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储***中；
步骤二：对输入神经网络的图像进行与设定数值大小的切分；
步骤三：构建神经卷积网络；所述神经网络用于访问硬件存储内存，并接收经过切分后的图片，将其通过像素重组完成图像重组。
在进一步的实施例中，所示步骤一进一步为硬件存储为神经网络计算提供存储空间，通过增加SRAM静态随机存取存储器来扩展片内存储空间，将运行模型框架时所占用的内存全部缓存在CPU的片内存储***中，进一步减少神经网络中的计算单元对内存的访问，从而降低读取时的运算时间。
在进一步的实施例中，所述步骤二进一步为：将输入神经网络中的图片大小进行规格的预定值重置，配合扩充内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块，然后将切分后获得的小图像块传输至构建的神经网络中。其中图像切分采用重叠切分的方式，在图像进行切分时，对进行切分图像的边界部分按照重叠的方式多切分预定量的像素区域，即在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理。切分过后的图像按照不重叠组合满足如下表达：
其中Picture′表示重组后的图像像素，n表示切分后形成的小图像块数量，Ci表示第i个小图像块的长度，Ki表示第i个小图像块的宽度，x表示图像重叠切分时预设定向外扩充的像素大小。
在进一步的实施例中，所述步骤三进一步为：构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样、上采样、像素重组；其中下采样中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出进行数据的上采样。即其中池化层的量化为当小图像块的三个维度尺寸大小为W1×H1×D1时，给定池化核的尺寸为F×F，S为池化的步长，其中F、S均为正整数，然后经过池化后的小图像块的三个维度尺寸大小变为W2×H2×D2，其中，W1表示小图像块的宽度，H1表示小图像块的高度，D1表示小图像块在计算时的通道数，W2表示经过池化层后的小图像块宽度，H2表示经过池化层后的小图像块高度，D2表示经过池化层后的小图像块在计算时的通道数量，且W2、H2、D2分别满足如下：
W2＝(W1-F)/S+1
H2＝(H1-F)/S+1
D2＝D1
其中，上采样由数据上采样、连接层、卷积层构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征。其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样流程中经过卷积计算后的数据。将获得特征图按照在通道上的维度进行拼接，即连接方式为：
Pictureout＝N*(k1+k2)*H*W
其中，Pictureout表示拼接的输出结果，N表示输入图像的通道数量，N为正整数，k1表示下采样过程中总的图片数量，k2表示经过上采样过程中总的图片数量，H表示输入图像的高度，W表示输入图像的宽度。
其中像素重组将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值。
一种基于边缘数据增强模型的高效边缘数据增强***，具体包括；
用于硬件设计的第一模块；该模块用于扩展硬件存储内存，所述硬件内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储***中；
用于处理图像的第二模块；
用于设计网络结构的第三模块。
在进一步的实施例中，所示第一模块进一步为硬件存储模块为神经网络计算提供存储空间，通过增加SRAM静态随机存取存储器来扩展片内存储空间，将运行模型框架时所占用的内存全部缓存在CPU的片内存储***中，进一步减少神经网络中的计算单元对内存的访问，从而降低读取时的运算时间。
在进一步的实施例中，所述第二模块进一步为将输入神经网络中的图片大小进行规格的预定值重置，配合扩中内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块；其中切分采用重叠切分的方式，在图像进行切分时，在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理。
在进一步的实施例中，所述第三模块进一步为构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样模块、上采样模块、像素重组模块；其中下采样模块中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出至上采样模块中。即其中池化层的量化为当小图像块的三个维度尺寸大小为W1×H1×D1时，给定池化核的尺寸为F×F，S为池化的步长，其中F、S均为正整数，然后经过池化后的小图像块的三个维度尺寸大小变为W2×H2×D2，其中，W1表示小图像块的宽度，H1表示小图像块的高度，D1表示小图像块在计算时的通道数，W2表示经过池化层后的小图像块宽度，H2表示经过池化层后的小图像块高度，D2表示经过池化层后的小图像块在计算时的通道数量，且W2、H2、D2分别满足如下：
W2＝(W1-F)/S+1
H2＝(H1-F)/S+1
D2＝D1
其中上采样模块由数据上采样、连接层、卷积层构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征。其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样模块中经过卷积计算后的数据。将获得特征图按照在通道上的维度进行拼接，即连接方式为：
Pictureout＝N*(k1+k2)*H*W
其中，Pictureou表示拼接的输出结果，N表示输入图像的通道数量，N为正整数，k1表示下采样模块中经过卷积层总的图片数量，k2表示经过上采样模块中经过数据上采样过程中总的图片数量，H表示输入图像的高度，W表示输入图像的宽度。
其中像素重组模块将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值。
为了增强对图像局部特征的学习，对于神经网络中的卷积进行感受野的减少，从而减少对高层次语义特征的学习，加快网络收敛的速度。
有益效果：本发明提出了一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及***，该方法通过对网络模型中卷积网络感受野的减少、图像处理中的重叠切分以及硬件方面对内存扩展三者之间的协同优化，实现了对图像边缘数据的有效增强，在图像超分辨重建、去模糊、去雾化等低等级视觉任务的深度学习算法领域达到在适用于边缘端部署应用的目的。本发明同时也解决了在计算能力弱、内存空间小的边缘端部署深度神经网络的问题，以及发明中涉及的边缘端实时处理图像信号的任务，可以代替一些监控场景中传统的实时处理图像信号的模块，进而实现更加丰富的功能，和更加优秀的成像效果。
附图说明
图1为本发明的方法流程示意图。
图2为本发明网络结构图。
图3为本发明模型推理流程图。
图4为本发明中硬件优化的框图。
具体实施方式
申请人认为，图像品质的提升主要是通过增强图像边缘效果来实现的。现有技术中，高复杂度的网络算法对设备的要求有较高的约束，对于计算能力弱、内存空间小的深度神经网络部署的兼容性达不到有效的满足。
为解决现有技术存在的问题，本发明提出了一种基于边缘数据增强模型的高效边缘数据增强方法及实现该方法的***。
下面通过实施例，并结合附图对本方案做进一步具体说明。
在本申请中，我们提出一种基于边缘数据增强模型的高效边缘数据增强方法及实现该方法的***，其中包含的一种基于边缘数据增强模型的高效边缘数据增强方法，具体为包括以下步骤：
步骤一：扩展硬件存储内存；所述硬件内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储***中。
步骤二：对输入神经网络的图像进行与设定数值大小的切分。该步骤将输入神经网络中的图片大小进行规格的预定值重置，配合扩中内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块，然后将切分后获得的小图像块传输至构建的神经网络中。其中图像切分采用重叠切分的方式，在图像进行切分时，对进行切分图像的边界部分按照重叠的方式多切分预定量的像素区域，即在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理。其中，切分过后的图像按照不重叠组合满足如下表达：
其中Picture′表示重组后的图像像素，n表示切分后形成的小图像块数量，Ci表示第i个小图像块的长度，Ki表示第i个小图像块的宽度，x表示图像重叠切分时预设定向外扩充的像素大小。
步骤三：构建神经卷积网络；所述神经网络用于访问硬件存储内存，并接收经过切分后的图片，将其通过像素重组完成图像重组。构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样、上采样、像素重组；其中下采样中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出进行上采样；即其中池化层的量化为当小图像块的三个维度尺寸大小为W1×H1×D1时，给定池化核的尺寸为F×F，S为池化的步长，其中F、S均为正整数，然后经过池化后的小图像块的三个维度尺寸大小变为W2×H2×D2，其中，W1表示小图像块的宽度，H1表示小图像块的高度，D1表示小图像块在计算时的通道数，W2表示经过池化层后的小图像块宽度，H2表示经过池化层后的小图像块高度，D2表示经过池化层后的小图像块在计算时的通道数量，且W2、H2、D2分别满足如下：
W2＝(W1-F)/S+1
H2＝(H1-F)/S+1
D2＝D1
其中，上采样由数据上采样、连接层、卷积层构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征；其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样流程中经过卷积计算后的数据。将获得特征图按照在通道上的维度进行拼接，即连接方式为：
Pictureou＝N*(k1+k2)*H*W
其中，Pictureou表示拼接的输出结果，N表示输入图像的通道数量，N为正整数，k1表示下采样过程中总的图片数量，k2表示经过上采样过程中总的图片数量，H表示输入图像的高度，W表示输入图像的宽度。
其中像素重组将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值。
为了增强对图像局部特征的学习，对于神经网络中的卷积进行感受野的减少，从而减少对高层次语义特征的学习，加快网络收敛的速度。
基于上述方法，可以构建一种用于实现上述方法的***，包括：
用于硬件设计的第一模块；该模块用于扩展硬件存储内存，所述硬件内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储***中。
用于处理图像的第二模块，该模块将输入神经网络中的图片大小进行规格的预定值重置，配合扩中内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块；其中切分采用重叠切分的方式，在图像进行切分时，在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理。
用于设计网络结构的第三模块，该模块构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样模块、上采样模块、像素重组模块；其中下采样模块中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出至上采样模块中。即其中池化层的量化为当小图像块的三个维度尺寸大小为W1×H1×D1时，给定池化核的尺寸为F×F，S为池化的步长，其中F、S均为正整数，然后经过池化后的小图像块的三个维度尺寸大小变为W2×H2×D2，其中，W1表示小图像块的宽度，H1表示小图像块的高度，D1表示小图像块在计算时的通道数，W2表示经过池化层后的小图像块宽度，H2表示经过池化层后的小图像块高度，D2表示经过池化层后的小图像块在计算时的通道数量，且W2、H2、D2满足如下：
W2＝(W1-F)/S+1
H2＝(H1-F)/S+1
D2＝D1
其中，上采样模块由数据上采样模块、连接层模块、卷积层模块构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征；其中连接层接收的数据一方面来自上一层的上采样后的数据，另一方面来自下采样模块中经过卷积计算后的数据。将获得特征图按照在通道上的维度进行拼接，即连接方式为：
Pictureout＝N*(k1+k2)*H*W
其中，Pictureout表示拼接的输出结果，N表示输入图像的通道数量，N为正整数，k1表示下采样模块中经过卷积层总的图片数量，k2表示经过上采样模块中经过数据上采样过程中总的图片数量，H表示输入图像的高度，W表示输入图像的宽度。
其中像素重组模块将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值。
为清楚说明本申请预警模型的建立过程，下面采用一具体实施例进行说明，其不得解释为对本发明自身的限制。
从硬件存储盘中读取一张分辨率为1920×1080像素的图像，对其按照宽和高切分成8份，即一共且分为64个240×135像素大小的小图像块。切分过程中重叠部分的切分为在设定的像素大小数值上图像外扩充4个像素，其中对于读取图像的边缘部分则采用填零的方式进行像素的扩充，进而获得64个248×143像素大小的小图像块。将获得的小图像块逐一输入构建好的网络中，进行图像边缘数据的增强得到增强后的64个小图像块。按照图像切分时的排列顺序进行重组，针对上述重叠切分时存在的像素扩充部分采用重叠区域取两侧图像数值的平均值，进而获得最终增强过后的图像。通过实验数据看出，原本直接输入网络时图像所占用的内存为M，通过图像切分和硬件内存扩充后，达到运行时的内存的占用率降低为0.0186M近似于1/64M。
本发明可以应用于图像超分辨率过程中针对边缘性特征的提取，通过对网络模型中卷积网络感受野的减少、图像处理中的重叠切分以及硬件方面对内存扩展三者之间的协同优化，实现了对图像边缘数据的有效增强，在图像超分辨重建、去模糊、去雾化等低等级视觉任务的深度学习算法领域达到在适用于边缘端部署应用的目的。本发明同时也解决了在计算能力弱、内存空间小的边缘端部署深度神经网络的问题，以及发明中涉及的边缘端实时处理图像信号的任务，可以代替一些监控场景中传统的实时处理图像信号的模块，进而实现更加丰富的功能，和更加优秀的成像效果。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (7)

1.一种边缘数据增强模型，其特征在于，包括：
图像处理模块，用于对图像的规格进行重置，并将其输入神经网络；所述图像处理模块对硬件存储中的图片进行图片访问，将其经过切分得到预定数量的小图像块数，并将获得的小图像块传输至神经网络中；其中切分按照重叠方式切分，图像边界部分按照重叠方式多切分预定量的像素区域；每个小图像块向外部扩充预定个像素，其中原图的边缘部分进行填零处理；
神经网络模块，用于接收经过图像处理的图片，并完成对切分图像的重组；所述神经网络模块包含下采样、上采样、像素重组；其中下采样中由卷积层和最大池化层构成，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出；
其中上采样由数据上采样、连接层、卷积层构成，对接收到经过卷积的图像利用上采样进行图像的特征的进一步提取；
其中像素重组将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即合并的图像为增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值；为了增强对图像局部特征的学习，对于神经网络中的卷积进行感受野的减少，从而减少对高层次语义特征的学习，加快网络收敛的速度；
硬件存储模块，用于存储图像处理中的图片，以及配合神经网络提取图片时，对其进行访问；用于为神经网络计算提供存储空间，通过扩展片内存储空间，将内存全部缓存在CPU的片内存储***中。
2.一种基于权利要求1所述的一种边缘数据增强模型的高效边缘数据增强方法，其特征在于，包括：
步骤一：扩展硬件存储内存；所述硬件存储内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储***中；
步骤二：对输入神经网络的图像进行与设定数值大小的切分；
步骤三：构建神经卷积网络；所述神经网络用于访问硬件存储内存，并接收经过切分后的图片，将其通过像素重组完成图像重组。
3.根据权利要求2所述的一种高效边缘数据增强方法，其特征在于，所述步骤二进一步为：
将输入神经网络中的图片大小进行规格的预定值重置，配合扩展内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块；其中切分采用重叠切分的方式，在图像进行切分时，在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理；其中，切分过后的图像按照不重叠组合满足如下表达：
其中Picture′表示重组后的图像像素，n表示切分后形成的小图像块数量，Ci表示第i个小图像块的长度，Ki表示第i个小图像块的宽度，x表示图像重叠切分时预设定向外扩充的像素大小。
4.根据权利要求2所述的一种高效边缘数据增强方法，其特征在于，所述步骤三进一步为：
构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样、上采样、像素重组；其中下采样中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出进行上采样；
其中上采样由数据上采样、连接层、卷积层构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征；
其中像素重组将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值；
为了增强对图像局部特征的学习，对于神经网络中的卷积进行感受野的减少，从而减少对高层次语义特征的学习，加快网络收敛的速度。
5.一种高效边缘数据增强***，用于实现上述权利要求2～4中任一项所述方法，其特征在于，包含以下模块：
用于硬件设计的第一模块；该模块用于扩展硬件存储内存，所述硬件存储内存用于为神经卷积网络计算提供存储空间，并将内存全部缓存在CPU的片内存储***中；
用于处理图像的第二模块；
用于设计网络结构的第三模块。
6.根据权利要求5所述的一种高效边缘数据增强***，其特征在于，所述第二模块进一步为将输入神经网络中的图片大小进行规格的预定值重置，配合扩展内存后的硬件存储大小，对图片进行预定数量的切分，获得小图像块；其中切分采用重叠切分的方式，在图像进行切分时，在图像分块的边界部分按照设定值多切分一定区域的像素；其中原图的边缘部分采用填零处理；其中，切分过后的图像按照不重叠组合满足如下表达：
其中Picture′表示重组后的图像像素，n表示切分后形成的小图像块数量，Ci表示第i个小图像块的长度，Ki表示第i个小图像块的宽度，x表示图像重叠切分时预设定向外扩充的像素大小。
7.根据权利要求5所述的一种高效边缘数据增强***，其特征在于，所述第三模块进一步为构建用于接收经过图像处理的图片，并完成对切分图像的重组的神经卷积网络；所述神经网络的构建包含下采样模块、上采样模块、像素重组模块；其中下采样模块中由卷积层和最大池化层构成，卷积层接收切分后的小图像块，并进行图像特征提取，在卷积层完成卷积运算后，将获得的数值传输至最大池化层，利用最大池化的平移不变性选取小图像块内最大的数值，舍弃其他节点并保持原有平面结构输出至上采样模块中；
其中上采样模块由数据上采样、连接层、卷积层构成，对接收到的下采样数据进行卷积计算后，进行数据上的上采样并将处理过的数值传输至连接层，连接层后接卷积层，进一步将连接的特征重新排列组合，形成新的特征；
其中像素重组模块将在图像处理过程中切分且同时经过神经网络处理的小图像块，按照切分时的排列顺序重新合并为一张图像，即增强过后的图像；其中合并时出现的重叠区域，取两侧图像的平均值。
CN202011049771.1A 2020-09-29 2020-09-29 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及*** Active CN112184587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011049771.1A CN112184587B (zh) 2020-09-29 2020-09-29 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011049771.1A CN112184587B (zh) 2020-09-29 2020-09-29 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及***

Publications (2)

Publication Number Publication Date
CN112184587A CN112184587A (zh) 2021-01-05
CN112184587B true CN112184587B (zh) 2024-04-09

Family

ID=73945738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011049771.1A Active CN112184587B (zh) 2020-09-29 2020-09-29 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及***

Country Status (1)

Country Link
CN (1) CN112184587B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689353A (zh) * 2021-08-26 2021-11-23 上海联影智能医疗科技有限公司 三维图像的增强方法、图像增强模型的训练方法及装置
CN113747178A (zh) * 2021-09-03 2021-12-03 中科方寸知微(南京)科技有限公司 一种电力通道可视化场景下的图像边缘端压缩及后端恢复方法及***
CN116091968A (zh) * 2022-12-28 2023-05-09 无锡天宸嘉航科技有限公司 一种面向自动驾驶控制器训练的数据集构建方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121407B1 (en) * 2008-03-17 2012-02-21 Adobe Systems Incorporated Method and apparatus for localized labeling in digital images
CN103198451A (zh) * 2013-01-31 2013-07-10 西安电子科技大学 一种用gpu通过分块实现快速小波变换的方法
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
WO2019177639A1 (en) * 2018-03-16 2019-09-19 Cornell University Artificial intelligence system and methods for performing image analysis
CN111080629A (zh) * 2019-12-20 2020-04-28 河北工业大学 一种图像拼接篡改的检测方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111382759A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 一种像素级分类方法、装置、设备及存储介质
CN111640060A (zh) * 2020-04-30 2020-09-08 南京理工大学 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8121407B1 (en) * 2008-03-17 2012-02-21 Adobe Systems Incorporated Method and apparatus for localized labeling in digital images
CN103198451A (zh) * 2013-01-31 2013-07-10 西安电子科技大学 一种用gpu通过分块实现快速小波变换的方法
WO2019177639A1 (en) * 2018-03-16 2019-09-19 Cornell University Artificial intelligence system and methods for performing image analysis
CN111382759A (zh) * 2018-12-28 2020-07-07 广州市百果园信息技术有限公司 一种像素级分类方法、装置、设备及存储介质
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN111080629A (zh) * 2019-12-20 2020-04-28 河北工业大学 一种图像拼接篡改的检测方法
CN111145170A (zh) * 2019-12-31 2020-05-12 电子科技大学 一种基于深度学习的医学影像分割方法
CN111640060A (zh) * 2020-04-30 2020-09-08 南京理工大学 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ecnn: A block-based and highly-parallel cnn accelerator for edge inference;Huang C T等;《Proceedings of the 52nd Annual IEEE/ACM International Symposium on Microarchitecture》;20191031;182-195 *
Multi-receptive-field CNN for semantic segmentation of medical images;Liu L等;《IEEE Journal of Biomedical and Health Informatics》;20200813;第24卷(第11期);3215-3225 *
ULOOF: A User Level Online Offloading Framework for Mobile Edge Computing;J. L. D. Neto等;《 IEEE Transactions on Mobile Computing》;20180312;第17卷(第11期);2660-2674 *
量化神经处理芯片是边缘计算的答案吗;程健等;《中国科学报》;20190418(第7期);1-2 *

Also Published As

Publication number Publication date
CN112184587A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112184587B (zh) 一种边缘数据增强模型、以及基于所述模型的高效边缘数据增强方法及***
WO2022022288A1 (zh) 一种图像处理方法以及装置
CN112801901A (zh) 基于分块多尺度卷积神经网络的图像去模糊算法
US11570477B2 (en) Data preprocessing and data augmentation in frequency domain
CN110852961A (zh) 一种基于卷积神经网络的实时视频去噪方法及***
CN109886395B (zh) 一种面向多核图像处理卷积神经网络的数据读取方法
WO2021046953A1 (zh) 一种图像的超分辨率处理方法、***及设备
CN110770740A (zh) 基于卷积神经网络的图像处理方法和设备，以及无人机
CN111951167B (zh) 超分辨率图像重建方法、装置、计算机设备和存储介质
CN111951368B (zh) 一种点云、体素和多视图融合的深度学习方法
CN110032538B (zh) 一种数据读取***和方法
CN113706545A (zh) 一种基于双分支神经判别降维的半监督图像分割方法
CN113610912B (zh) 三维场景重建中低分辨率图像单目深度估计***及方法
CN114761968B (zh) 用于频域静态通道滤波的方法、***和存储介质
CN113362239A (zh) 一种基于特征交互的深度学习图像修复方法
CN116977169A (zh) 数据处理方法、装置、设备、可读存储介质及程序产品
CN116128722A (zh) 基于频域-纹理特征融合的图像超分辨率重建方法及***
CN113191947B (zh) 一种图像超分辨率的方法及***
US20220044370A1 (en) Image processing methods
CN112529064B (zh) 一种高效的实时语义分割方法
CN114066713A (zh) 基于小波变换提升图像处理效率的***及方法
CN114612316A (zh) 一种核预测网络图像去雨方法和装置
CN114118415A (zh) 一种轻量级瓶颈注意力机制的深度学习方法
KR102423047B1 (ko) 하드웨어로 구현되는 초해상도 장치를 위한 전처리 장치 및 방법
CN117934276A (zh) 一种基于深度学习的灰度图反量化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000

Applicant after: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd.

Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Address before: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000

Applicant before: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd.

Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

GR01 Patent grant
GR01 Patent grant