CN117789081A - 一种基于自信息的双重注意力机制小物体识别方法 - Google Patents
一种基于自信息的双重注意力机制小物体识别方法 Download PDFInfo
- Publication number
- CN117789081A CN117789081A CN202311809330.0A CN202311809330A CN117789081A CN 117789081 A CN117789081 A CN 117789081A CN 202311809330 A CN202311809330 A CN 202311809330A CN 117789081 A CN117789081 A CN 117789081A
- Authority
- CN
- China
- Prior art keywords
- information
- image
- self
- channel
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 5
- 238000003707 image sharpening Methods 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 235000013305 food Nutrition 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 241000699670 Mus sp. Species 0.000 description 3
- 235000019504 cigarettes Nutrition 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种基于自信息的双重注意力机制小物体识别方法，涉及人工智能和深度学习技术领域，解决了现有的实时监控设备难以对小物体进行识别，尤其是难以在复杂环境准确的对小物体进行识别技术问题；包括：步骤一：获取原始图像；步骤二：对原始图像进行预处理；步骤三：将待分析图像输入到卷积神经网络得到原始特征图；步骤四：对原始特征图进行自信息计算得到自信息图；步骤五：对自信息图进行空间注意力和通道注意力计算；步骤六：融合计算结果和原始特征图进行处理得到融合特征图；对融合特征图进行分析得到特征序列；并根据特征序列在数据库中找出物体信息；使得融合特征图中的感兴趣的小物体特征更加明显，便于对小物体进行识别。
Description
技术领域
本申请属于人工智能和深度学习技术领域，涉及人工智能和深度学习技术，具体是一种基于自信息的双重注意力机制小物体识别方法。
背景技术
随着现代社会对食品安全和卫生的日益关注，智能餐饮行业也随之迅速崛起；明厨亮灶***作为这一行业的代表，已经在全国各大餐饮场所得到了广泛的部署和应用；这些高级***不仅增强了客户对食品制备过程的信任，还有效地提高了厨房的管理效率和食品安全标准。
现有在明厨亮灶***通常会集成先进的AI技术；通过实时监控并分析厨房中的各种活动，包括但不限于食材的选择、准备、烹饪过程以及最终的清洁和卫生管理；但是在对实时监控信息的分析中，在厨房这种复杂环境中，像老鼠、异物、香烟等可能对食品安全构成威胁小物体难以被识别，这些小物体会影响食品的卫生和质量，甚至可能对消费者的健康造成严重威胁；因此，需要一种基于自信息的双重注意力机制小物体识别方法，能够在复杂环境如厨房中更好地识别和追踪厨房中的各种小物体。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一；为此，本申请提出了一种基于自信息的双重注意力机制小物体识别方法，用于解决现有的实时监控设备难以对小物体进行识别，尤其是难以在复杂环境准确的对小物体进行识别技术问题，本申请通过对像素点的自信息计算，以及通过自信息获得空间注意力加权值和通道注意力加权值，使得经过这些步骤处理得到的融合特征图中的感兴趣的小物体的特征更加明显，便于对该小物体进行识别，进而解决了上述问题。
为实现上述目的，本申请的第一方面提供了一种基于自信息的双重注意力机制小物体识别方法，包括以下步骤：
步骤一：获取监控视频信息，并从监控视频信息中截取感兴趣的图像得到一组原始图像；其中，感兴趣的图像为监控视频信息中出现部分区域发生变化的图像；
步骤二：对原始图像进行预处理得到待分析图像；
步骤三：获取待分析图像，将待分析图像输入到卷积神经网络进行处理得到原始特征图；
步骤四：对原始特征图进行自信息计算得到自信息图；
步骤五：获取自信息图，对自信息图进行空间注意力处理得到空间加权特征图；以及，对自信息图进行通道注意力处理得到通道加权特征图；
步骤六：基于空间加权特征图、通道加权特征图和原始特征图进行处理得到融合特征图；对融合特征图进行分析得到特征序列；并根据特征序列在数据库中找出物体信息。
在现实的厨房这种复杂环境中，像老鼠、异物、香烟等可能对食品安全构成威胁小物体难以被识别，这些小物体会影响食品的卫生和质量，甚至可能对消费者的健康造成严重威胁；而现有的实时监控设备难以对小物体进行识别，尤其是难以在复杂环境准确的对小物体进行识别；本申请通过视频监控信息获取感兴趣的原始图像，对原始图像进行预处理得到待分析图像，将待分析图像输入卷积神经网络得到原始特征图像，对原始特征图像进行自信息计算，自信息为每个像素与其邻域之间的差异；根据自信息进行双注意力机制处理，双注意力机制包括空间注意力和通道注意力，得到空间注意力加权值和通道注意力加权值，将空间注意力加权值和通道注意力加权值与原始图像的像素进行融合处理得到最终的融合特征图，根据融合特征图得到相应的特征序列，根据特征序列在数据库中找到物体信息，完成小物体的识别；本申请通过自信息计算，以及通过自信息获得空间注意力加权值和通道注意力加权值，使得经过这些步骤处理得到的融合特征图中的感兴趣的小物体的特征更加明显，便于对该小物体进行识别。
优选的，所述从监控视频信息中截取感兴趣的图像得到一组原始图像，包括：
步骤1.1：实时获取监控视频信息中的上一帧的图像一和当前帧的图像二；
步骤1.2：对比图像一和图像二是否存在变化区域面积在区域面积阈值范围内的变化区域；其中，区域面积阈值包括区域面积下限和区域面积上限；
是，则将当前帧以及当前帧之后的n帧图像设置为感兴趣的图像，并对其进行采集得到一组原始图像；其中，n为人为设定的连续采集图像的数量；
否，则执行步骤1.1。
在实际的视频信息处理过程中需要对视频信息中的每一帧图像进行处理，这使得处理使得计算量会非常大，其中不乏包含大量的无意义的图片，对这些无意义的图片进行处理会产生大量的冗余计算；本申请通过对比视频信息每一帧图片和前一帧图片中变化的部分是否在设定的区域面积阈值之内，来判断是否截取该图像，进行后续的图像处理，使得不用对本申请不感兴趣的图片进行处理，大大减少了计算量。
优选的，所述对原始图像进行预处理得到待分析图像，包括以下步骤：
步骤2.1：获取所有原始图像的变化区域的中心点位置，将所有中心点位置标记在同一张图中，计算所有中心点位置之间的欧式距离，以欧式距离最大的两个中心点位置的连线的中心为中心位置，以相应中心位置为中心裁剪出尺寸大小和形状相同的部分图像待分析图像一；
步骤2.2：将待分析图像一中的所有像素点对应的像素值进行归一化处理得到待分析图像二；
步骤2.3：对待分析图像二进行图像增强处理得到待分析图像三；其中，图像增强处理包括图像平滑和图像锐化等；
步骤2.4：将一组原始图像经过处理得到的图像三进行堆叠得到待分析图像。
由于神经网络模型通常需要固定大小的输入，因此，本申请将原始图像调整到适当的尺寸；本申请通过对原始图像中的像素值进行归一化处理，使得能够保证在后续对相应原始图像进行处理时，相应原始图像的像素数值稳定性强；对原始图像进行堆叠处理可以后续的计算效率，以时间顺序对图像进行堆叠便于在后续操作中多角度的获取小物体的特征，进而增加了对小物体识别的准确性。
优选的，所述卷积神经网络为经过训练的卷积神经网络，训练过程包括：获取大量的包含小物体的小物体图像数据和小物体特征图像进行预处理之后，划分为训练集，和检验集；用训练集对卷积神经网络进行训练，检验集对训练后的卷积神经网络进行检验，最后得到训练后的额卷积神经网络，用于步骤二。
优选的，所述对原始特征图进行自信息计算得到自信息图，包括以下步骤：
步骤4.1：获取原始特征图像，以原始特征图像的中心点作为坐标原点建立直角坐标系；并设置每个像素点的坐标；
步骤4.2：获取编号为k的通道内的坐标(i,j)的像素点的像素标记为fk(i,j)；通过像素fk(i,j)对坐标(i,j)的像素点的自信息进行计算：
其中，I(fk(i,j))为坐标(i,j)的像素点的自信息；Rf为这个像素点的局部接受域，m为像素点横坐标的变化值；n为像素点纵坐标的变化值；h为带宽；k为通道编号；
步骤4.3：计算每一个像素点对应的自信息，得到一个与原始特征图大小相同的自信息图。
本申请通过比较当前像素与其邻域内其他像素之间的差异，并对这些差异进行累加，得到一个描述该像素自信息的值，并根据每个像素点的自信息的值生成一个与原始特征图像尺寸相同的自信息图；为后续的空间注意力和通道注意力的计算提供了基础，使模型能够更加聚焦于图像中的关键区域，尤其是那些可能包含小物体或细微特征的区域。
优选的，所述对自信息图进行空间注意力处理得到空间加权特征图，包括以下步骤：
步骤5.11：获取坐标(i,j)像素点的自信息I(fk(i,j))对坐标(i,j)像素点的空间注意力加权值进行计算：
sk(i,j)＝Sigmoid(I(fk(i,j)))×fk(i,j)
其中，sk(i,j)为坐标(i,j)像素点的空间注意力加权值；Sigmoid用于将输入值压缩到0和1之间；
步骤5.12：根据空间注意力加权值sk(i,j)得到空间加权特征图。
本申请根据像素点对应的自信息以及像素值计算得到空间注意力加权值；将空间注意力加权值按照其对应像素点的位置进行组合得到一幅与自信息图尺寸相同的空间特征加权图，图像中的每个像素都应该根据其自身的信息量来加权，以此来强调那些信息量较大、可能含有更多有用信息的区域；该图进一步突出图像中的关键区域，更加聚焦于图像中的高信息区域，进一步提高对小物体和细微特征的识别能力。
值得注意的是，本申请中还可以以各个局部接受域的中心点作为坐标原点建立各个局部接受域的直角坐标系，并设置各个局部接受域对应的像素点的坐标，通过公式
计算得到编号r的局部接受域内的坐标(i,j)的像素点对应的自信息其中，r为局部接受域的编号；/>为编号r的局部接受域内的坐标(i,j)的像素点对应的像素；
通过公式
计算得到编号r的局部接受域内的坐标(i,j)的像素点对应的空间注意力加权值
优选的，所述对自信息图进行通道注意力处理得到通道加权特征图，包括以下步骤：
步骤5.21：获取自信息图的高度标记为H，以及自信息图的宽度标记为W；
步骤5.22：根据高度H、宽度W和各个像素点的自信息I(fk(i,j))对编号为k的通道描述符进行计算：
其中ck为编号为k的通道描述符；通道描述符ck表示该通道的整体重要性；
步骤5.23：根据通道描述符ck对编号为k的通道注意力加权值进行计算：
c′k＝Sigmoid(W×ck)
其中，c'k为编号为k的通道注意力加权值；W为提前设定的一个线性变换函数；
步骤5.24：根据通道注意力加权值c'k得到通道加权特征图。
本申请根据自信息对像素点对应的自信息以及像素值计算得到通道对应的通道注意力加权值，根据通道注意力加权值与各个像素点的像素进行相乘通道加权后的像素点加权后的值，根据加权后的值的相对位置得到一幅与原始特征图像尺寸大小相同的通道加权特征图；使得经过通道注意力加权后得到的通道加权特征图，能够考虑到特征图中的哪些通道包含最关键的信息，对这些通道赋予更高的权重，便于小物体和细微特征的准确识别。
优选的，所述基于空间加权特征图、通道加权特征图和原始特征图进行处理得到融合特征图，包括以下步骤：
步骤6.11：根据编号为k的通道内的坐标(i,j)的像素点的像素fk(i,j)、空间注意力加权值sk(i,j)，以及编号为k的通道注意力加权值c'k对编号为k的通道内的坐标(i,j)的像素点的特征值进行计算：
Ok(i,j)＝ck×sk(i,j)+fk(i,j)
其中，Ok(i,j)为编号为k的通道内的坐标(i,j)的像素点的特征值；
步骤6.12：根据编号为k的通道内的坐标(i,j)的像素点的特征值Ok(i,j)对坐标(i,j)的像素点的融合特征值进行计算：
其中，N为通道的总数，O(i,j)为坐标(i,j)的像素点的融合特征值；
步骤6.13：根据融合特征值O(i,j)得到融合特征图。
本申请通过将空间注意力加权图和通道注意力加权图，以及原始图像进行融合叠加，即双重注意力融合机制得到融合特征图；使得能够充分利用空间注意力加权值和通道注意力加权值，使得在小物体识别中能够更加准确的识别小物体。
优选的，所述对融合特征图进行分析得到特征序列；并根据特征序列在数据库中找出物体信息，包括：
步骤6.21：获取融合特征值O(i,j)超过特征阈值的特征像素点标记为T(i,j)；
步骤6.22：计算各个特征像素点T(i,j)之间的欧式距离；
步骤6.23：将欧式距离小于距离阈值的特征像素点进行连接，生成特征区域，判断特征区域的区域面积是否在区域阈值之内；是，则根据特征区域生成特征序列；其中，所述特征序列包括相应特征区域的区域面积和区域形状；
步骤6.24：将特征序列输入到数据库中，找出与该特征序列相似度最高的信息序列，并提取该信息序列对应的物体信息，提供给管理人员；其中，信息序列为物体各个角度投影的面积大小和形状；物体信息包括物体名称。
本申请将融合特征值超过特征值阈值的像素点设置为像素标记点，根据像素标记点的位置关系生成特征区域，判断特征区域的面积是否在设置小物体的区域阈值之内，是，则根据特征区域生成特征序列，根据特征序列寻找物体信息；否，则缩小距离阈值，进行步骤6.23，使得将感兴趣的区域进行拆分，继续进行识别判断；经过步骤六能够准确识别小物体的物体信息，并及时提供给管理人员，管理人员及时处理，减轻了小物体会影响食品的卫生和质量。
与现有技术相比，本申请的有益效果是：
1.本申请视频监控信息获取感兴趣的原始图像，对原始图像进行预处理得到待分析图像，将待分析图像输入卷积神经网络得到原始特征图像，对原始特征图像进行自信息计算，自信息为每个像素与其邻域之间的差异；根据自信息进行双注意力机制处理，得到空间注意力加权值和通道注意力加权值，将空间注意力加权值和通道注意力加权值与原始图像的像素进行融合处理得到最终的融合特征图，使得经过这些步骤处理得到的融合特征图中的感兴趣的小物体的特征更加明显，便于对该小物体进行识别。
2.本申请通过对比视频信息每一帧图片和前一帧图片中变化的部分是否在设定的区域面积阈值之内，来判断是否截取该图像，进行后续的图像处理，使得不用对本申请不感兴趣的图片进行处理，大大减少了计算量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的方法步骤图；
图2为本申请的流程图；
图3为本申请自信息原理图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参阅图1-图3，本申请第一方面实施例提供了一种基于自信息的双重注意力机制小物体识别方法，包括以下步骤：
步骤一：获取监控视频信息，并从监控视频信息中截取感兴趣的图像得到一组原始图像；监控视频信息为本申请使用场景中采集到的监控信息，可以使用监控摄像头和其他摄像设备进行采集；原始图像为直接在监控视频信息中进行截取的一帧图像；其中，感兴趣的图像为监控视频信息中出现部分区域发生变化的图像；
步骤二：对原始图像进行预处理得到待分析图像；
步骤三：获取待分析图像，将待分析图像输入到卷积神经网络进行处理得到原始特征图；
步骤四：对原始特征图进行自信息计算得到自信息图；
步骤五：获取自信息图，对自信息图进行空间注意力处理得到空间加权特征图；以及，对自信息图进行通道注意力处理得到通道加权特征图；
步骤六：基于空间加权特征图、通道加权特征图和原始特征图进行处理得到融合特征图；对融合特征图进行分析得到特征序列；并根据特征序列在数据库中找出物体信息。
在现实的厨房这种复杂环境中，像老鼠、异物、香烟等可能对食品安全构成威胁小物体难以被识别，这些小物体会影响食品的卫生和质量，甚至可能对消费者的健康造成严重威胁；而现有的实时监控设备难以对小物体进行识别，尤其是难以在复杂环境准确的对小物体进行识别；本申请视频监控信息获取感兴趣的原始图像，对原始图像进行预处理得到待分析图像，将待分析图像输入卷积神经网络得到原始特征图像，对原始特征图像进行自信息计算，自信息为每个像素与其邻域之间的差异；根据自信息进行双注意力机制处理，双注意力机制包括空间注意力和通道注意力，得到空间注意力加权值和通道注意力加权值，将空间注意力加权值和通道注意力加权值与原始图像的像素进行融合处理得到最终的融合特征图，根据融合特征图得到相应的特征序列，根据特征序列在数据库中找到物体信息，完成小物体的识别；本申请通过自信息计算，以及通过自信息获得空间注意力加权值和通道注意力加权值，使得经过这些步骤处理得到的融合特征图中的感兴趣的小物体的特征更加明显，便于对该小物体进行识别。
从监控视频信息中截取
得到一组原始图像，包括：
步骤1.1：实时获取监控视频信息中的上一帧的图像一和当前帧的图像二；
步骤1.2：对比图像一和图像二是否存在变化区域面积在区域面积阈值范围内的变化区域；其中，区域面积阈值包括区域面积下限和区域面积上限；
变化区域为对比图像一和图像二之间的有变化的区域的面积，此面积为不连通面积，是单个变化区域的面积，不是所有变化区域的面积之和；区域面积下限为人为设定的区域面积最小值，区域面积上限为人为设定的区域面积最大值；变化区域在区域面积阈值内为该变化区域面积大于区域面积下限同时小于区域面积上限
是，则将当前帧以及当前帧之后的n帧图像设置为感兴趣的图像，并对其进行采集得到一组原始图像；其中，n为人为设定的连续采集图像的数量；
否，则执行步骤1.1。
在实际的视频信息处理过程中需要对视频信息中的每一帧图像进行处理，这使得处理使得计算量会非常大，其中不乏包含大量的无意义的图片，对这些无意义的图片进行处理会产生大量的冗余计算；本申请通过对比视频信息每一帧图片和前一帧图片中变化的部分是否在设定的区域面积阈值之内，来判断是否截取该图像，进行后续的图像处理，使得不用对本申请不感兴趣的图片进行处理，大大减少了计算量。
对原始图像进行预处理得到待分析图像，包括以下步骤：
步骤2.1：获取所有原始图像的变化区域的中心点位置，将所有中心点位置标记在同一张图中，计算所有中心点位置之间的欧式距离，以欧式距离最大的两个中心点位置的连线的中心为中心位置，以相应中心位置为中心裁剪出尺寸大小和形状相同的部分图像待分析图像一；
中心点位置为几何中心点的位置；裁剪图像的尺寸和形状根据后续处理所需要的图像的尺寸和形状而定。
步骤2.2：将待分析图像一中的所有像素点对应的像素值进行归一化处理得到待分析图像二；
归一化处理是将图像的像素值从其原始范围转化到一个标准范围，如[0,1]或[-1,1]的过程。
步骤2.3：对待分析图像二进行图像增强处理得到待分析图像三；其中，图像增强处理包括图像平滑和图像锐化等；
其中，锐化采用锐化滤波器，通过增强图像的边缘和细节来增强图像。
步骤2.4：将一组原始图像经过处理得到的图像三进行堆叠得到待分析图像。
由于神经网络模型通常需要固定大小的输入，因此，本申请将原始图像调整到适当的尺寸；本申请通过对原始图像中的像素值进行归一化处理，使得能够保证在后续对相应原始图像进行处理时，相应原始图像的像素数值稳定性强；对原始图像进行堆叠处理可以后续的计算效率，以时间顺序对图像进行堆叠便于在后续操作中多角度的获取小物体的特征，进而增加了对小物体识别的准确性。
卷积神经网络为经过训练的卷积神经网络，训练过程包括：获取大量的包含小物体的小物体图像数据和小物体特征图像进行预处理之后，划分为训练集，和检验集；用训练集对卷积神经网络进行训练，检验集对训练后的卷积神经网络进行检验，最后得到训练后的额卷积神经网络，用于步骤二。
对原始特征图进行自信息计算得到自信息图，包括以下步骤：
步骤4.1：获取原始特征图像，以原始特征图像的中心点作为坐标原点建立直角坐标系；并设置每个像素点的坐标；
步骤4.2：获取编号为k的通道内的坐标(i,j)的像素点的像素标记为fk(i,j)；通过像素fk(i,j)对坐标(i,j)的像素点的自信息进行计算：
其中，I(fk(i,j))为坐标(i,j)的像素点的自信息；Rf为这个像素点的局部接受域，m为像素点横坐标的变化值；n为像素点纵坐标的变化值；h为带宽；k为通道编号；
步骤4.3：计算每一个像素点对应的自信息，得到一个与原始特征图大小相同的自信息图。
局部接受域是神经网络中每个神经元只与输入图像中的局部区域相连的区域，局部接受域的使用便于减少需要训练的权值数目。
本申请通过比较当前像素与其邻域内其他像素之间的差异，并对这些差异进行累加，得到一个描述该像素自信息的值，并根据每个像素点的自信息的值生成一个与原始特征图像尺寸相同的自信息图；为后续的空间注意力和通道注意力的计算提供了基础，使模型能够更加聚焦于图像中的关键区域，尤其是那些可能包含小物体或细微特征的区域。
对自信息图进行空间注意力处理得到空间加权特征图，包括以下步骤：
步骤5.11：获取坐标(i,j)像素点的自信息I(fk(i,j))对坐标(i,j)像素点的空间注意力加权值进行计算：
sk(i,j)＝Sigmoid(I(fk(i,j)))×fk(i,j)
其中，sk(i,j)为坐标(i,j)像素点的空间注意力加权值；Sigmoid用于将输入值压缩到0和1之间；
步骤5.12：根据空间注意力加权值sk(i,j)得到空间加权特征图。
空间注意力加权值为空间上像素点的权重值与相应像素点的像素的乘积，可表示经过加权的像素点对应的值；空间加权特征图为将空间注意力加权值通过其对应的坐标重新组合出的一张与原始特征图尺寸相同的图像。
本申请根据像素点对应的自信息以及像素值计算得到空间注意力加权值；将空间注意力加权值按照其对应像素点的位置进行组合得到一幅与自信息图尺寸相同的空间特征加权图，图像中的每个像素都应该根据其自身的信息量来加权，以此来强调那些信息量较大、可能含有更多有用信息的区域；该图进一步突出图像中的关键区域，更加聚焦于图像中的高信息区域，进一步提高对小物体和细微特征的识别能力。
值得注意的是，本申请中还可以以各个局部接受域的中心点作为坐标原点建立各个局部接受域的直角坐标系，并设置各个局部接受域对应的像素点的坐标，通过公式
计算得到编号r的局部接受域内的坐标(i,j)的像素点对应的自信息其中，r为局部接受域的编号；/>为编号r的局部接受域内的坐标(i,j)的像素点对应的像素；
通过公式
计算得到编号r的局部接受域内的坐标(i,j)的像素点对应的空间注意力加权值
本申请中还可以采用对局部接受域中的像素点的自信息进行计算，通过相同的计算方式对局部接受域中的空间注意力加权值进行计算，后续计算中再进行对所有局部接受域进行求和仍可得到相应的通道注意力加权值和融合特征值，该考虑方法通过部分特征，结合出整体特征，使得整体融合特征图中的小物体更加明显。
对自信息图进行通道注意力处理得到通道加权特征图，包括以下步骤：
步骤5.21：获取自信息图的高度标记为H，以及自信息图的宽度标记为W；
步骤5.22：根据高度H、宽度W和各个像素点的自信息I(fk(i,j))对编号为k的通道描述符进行计算：
其中ck为编号为k的通道描述符；通道描述符ck表示该通道的整体重要性；
步骤5.23：根据通道描述符ck对编号为k的通道注意力加权值进行计算：
c'k＝Sigmoid(W×ck)
其中，c'k为编号为k的通道注意力加权值；W为提前设定的一个线性变换函数；
步骤5.24：根据通道注意力加权值c'k得到通道加权特征图。
通道注意力加权值为相应图片在各个通道中的权值分布，用于表示该图像所在的通道在所有通道中的重要性，线性变换函数根据人为经验设定获得，用于对通道描述符进行线性变换，便于进行Sigmoid函数处理。
本申请根据自信息对像素点对应的自信息以及像素值计算得到通道对应的通道注意力加权值，根据通道注意力加权值与各个像素点的像素进行相乘通道加权后的像素点加权后的值，根据加权后的值的相对位置得到一幅与原始特征图像尺寸大小相同的通道加权特征图；使得经过通道注意力加权后得到的通道加权特征图，能够考虑到特征图中的哪些通道包含最关键的信息,对这些通道赋予更高的权重，便于小物体和细微特征的准确识别。
基于空间加权特征图、通道加权特征图和原始特征图进行处理得到融合特征图，包括以下步骤：
步骤6.11：根据编号为k的通道内的坐标(i,j)的像素点的像素fk(i,j)、空间注意力加权值sk(i,j)，以及编号为k的通道注意力加权值c'k对编号为k的通道内的坐标(i,j)的像素点的特征值进行计算：
Ok(i,j)＝c'k×sk(i,j)+fk(i,j)
其中，Ok(i,j)为编号为k的通道内的坐标(i,j)的像素点的特征值；
步骤6.12：根据编号为k的通道内的坐标(i,j)的像素点的特征值Ok(i,j)对坐标(i,j)的像素点的融合特征值进行计算：
其中，N为通道的总数，O(i,j)为坐标(i,j)的像素点的融合特征值；
步骤6.13：根据融合特征值O(i,j)得到融合特征图。
本申请通过将空间注意力加权图和通道注意力加权图，以及原始图像进行融合叠加，即双重注意力融合机制得到融合特征图；使得能够充分利用空间注意力加权值和通道注意力加权值，使得在小物体识别中能够更加准确的识别小物体。
对融合特征图进行分析得到特征序列；并根据特征序列在数据库中找出物体信息，包括：
步骤6.21：获取融合特征值O(i,j)超过特征阈值的特征像素点标记为T(i,j)；
步骤6.22：计算各个特征像素点T(i,j)之间的欧式距离；
步骤6.23：将欧式距离小于距离阈值的特征像素点进行连接，生成特征区域，判断特征区域的区域面积是否在区域阈值之内；是，则根据特征区域生成特征序列；其中，特征序列包括相应特征区域的区域面积和区域形状；
步骤6.24：将特征序列输入到数据库中，找出与该特征序列相似度最高的信息序列，并提取该信息序列对应的物体信息，提供给管理人员；其中，信息序列为物体各个角度投影的面积大小和形状；物体信息包括物体名称。
欧式距离为两点之间的直线距离，在二维中计算(x1,y1)和(x2,y2)之间的距离通过公式Dis＝sqrt[(x1-x2)2+(y1-y2)2]计算得到距离Dis，其中sqrt()为根号计算。
本申请将融合特征值超过特征值阈值的像素点设置为像素标记点，根据像素标记点的位置关系生成特征区域，判断特征区域的面积是否在设置小物体的区域阈值之内，是，则根据特征区域生成特征序列，根据特征序列寻找物体信息；否，则缩小距离阈值，进行步骤6.23，使得将感兴趣的区域进行拆分，继续进行识别判断；经过步骤六能够准确识别小物体的物体信息，并及时提供给管理人员，管理人员及时处理，减轻了小物体会影响食品的卫生和质量。
本申请的步骤一到步骤六可以为一个深度神经网络模型，步骤一对应为输入层，步骤六的根据特征序列在数据库中找出物体信息为输出层，其他步骤和操作依次为深度神经网络中的中间层；使得本申请训练出的深度神经网络模型的通用性强，输入为视频信息，输出为小物体检测结果。
上述公式中的部分数据是去除量纲取其数值计算，公式是由采集的大量数据经过软件模拟得到最接近真实情况的一个公式；公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获得。
本申请的工作原理：
本申请视频监控信息获取感兴趣的原始图像，对原始图像进行预处理得到待分析图像，将待分析图像输入卷积神经网络得到原始特征图像，对原始特征图像进行自信息计算，自信息为每个像素与其邻域之间的差异；根据自信息进行双注意力机制处理，得到空间注意力加权值和通道注意力加权值，将空间注意力加权值和通道注意力加权值与原始图像的像素进行融合处理得到最终的融合特征图，使得经过这些步骤处理得到的融合特征图中的感兴趣的小物体的特征更加明显，便于对该小物体进行识别。
以上实施例仅用以说明本申请的技术方法而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方法进行修改或等同替换，而不脱离本申请技术方法的精神和范围。
Claims (8)
1.一种基于自信息的双重注意力机制小物体识别方法，其特征在于，包括以下步骤：
步骤一：获取监控视频信息，并从监控视频信息中截取感兴趣的图像得到一组原始图像；其中，感兴趣的图像为监控视频信息中出现部分区域发生变化的图像；
步骤二：对原始图像进行预处理得到待分析图像；
步骤三：获取待分析图像，将待分析图像输入到卷积神经网络得到原始特征图；
步骤四：对原始特征图进行自信息计算得到自信息图；
步骤五：获取自信息图，对自信息图进行空间注意力处理得到空间加权特征图；以及，对自信息图进行通道注意力处理得到通道加权特征图；
步骤六：基于空间加权特征图、通道加权特征图和原始特征图进行处理得到融合特征图；对融合特征图进行分析得到特征序列；根据特征序列在数据库中找出物体信息。
2.根据权利要求1所述的一种基于自信息的双重注意力机制小物体识别方法，其特征在于，所述从监控视频信息中截取感兴趣的图像得到一组原始图像，包括：
步骤1.1：实时获取监控视频信息中的上一帧的图像一和当前帧的图像二；
步骤1.2：对比图像一和图像二是否存在变化区域面积在区域面积阈值范围内的变化区域；其中，区域面积阈值包括区域面积下限和区域面积上限；
是，则将当前帧以及当前帧之后的n帧图像设置为感兴趣的图像，并对其进行采集得到一组原始图像；其中，n为人为设定的连续采集图像的数量；
否，则执行步骤1.1。
3.根据权利要求1所述的一种基于自信息的双重注意力机制小物体识别方法，其特征在于，所述对原始图像进行预处理得到待分析图像，包括以下步骤：
步骤2.1：获取所有原始图像的变化区域的中心点位置，将所有中心点位置标记在同一张图中，计算所有中心点位置之间的欧式距离，以欧式距离最大的两个中心点位置的连线的中心为中心位置，以相应中心位置为中心裁剪出尺寸大小和形状相同的部分图像待分析图像一；
步骤2.2：将待分析图像一中的所有像素点对应的像素值进行归一化处理得到待分析图像二；
步骤2.3：对待分析图像二进行图像增强处理得到待分析图像三；其中，图像增强处理包括图像平滑和图像锐化；
步骤2.4：将一组原始图像经过处理得到的图像三进行堆叠得到待分析图像。
4.根据权利要求1所述的一种基于自信息的双重注意力机制小物体识别方法，其特征在于，所述对原始特征图进行自信息计算得到自信息图，包括以下步骤：
步骤4.1：获取原始特征图像，以原始特征图像的中心点作为坐标原点建立直角坐标系；并设置每个像素点的坐标；
步骤4.2：获取编号为k的通道内的坐标(i，j)的像素点的像素标记为fk(i，j)；通过像素fk(i，j)对坐标(i，j)的像素点的自信息进行计算：
其中，I(fk(i，j))为坐标(i，j)的像素点的自信息；Rf为这个像素点的局部接受域，m为像素点横坐标的变化值；n为像素点纵坐标的变化值；h为带宽；k为通道编号；
步骤4.3：计算每一个像素点对应的自信息，得到一个与原始特征图大小相同的自信息图。
5.根据权利要求4所述的一种基于自信息的双重注意力机制小物体识别方法，其特征在于，所述对自信息图进行空间注意力处理得到空间加权特征图，包括以下步骤：
步骤5.11：获取坐标(i，j)像素点的自信息I(fk(i，j))对坐标(i，j)像素点的空间注意力加权值进行计算：
sk(i，j)＝Sigmoid(I(fk(i，j)))×fk(i，j)
其中，sk(i，j)为坐标(i，j)像素点的空间注意力加权值；Sigmoid用于将输入值压缩到0和1之间；
步骤5.12：根据空间注意力加权值sk(i，j)得到空间加权特征图。
6.根据权利要求5所述的一种基于自信息的双重注意力机制小物体识别方法，其特征在于，所述对自信息图进行通道注意力处理得到通道加权特征图，包括以下步骤：
步骤5.21：获取自信息图的高度标记为H，以及自信息图的宽度标记为W；
步骤5.22：根据高度H、宽度W和各个像素点的自信息I(fk(i，j))对编号为k的通道描述符进行计算：
其中ck为编号为k的通道描述符；
步骤5.23：根据通道描述符ck对编号为k的通道注意力加权值进行计算：
c′k＝Sigmoid(W×ck)
其中，c′k为编号为k的通道注意力加权值；W为提前设定的一个线性变换函数；
步骤5.24：根据通道注意力加权值c′k得到通道加权特征图。
7.根据权利要求6所述的一种基于自信息的双重注意力机制小物体识别方法，其特征在于，所述基于空间加权特征图、通道加权特征图和原始特征图进行处理得到融合特征图，包括以下步骤：
步骤6.11：根据编号为k的通道内的坐标(i，j)的像素点的像素fk(i，j)、空间注意力加权值sk(i，j)，以及编号为k的通道注意力加权值c′k对编号为k的通道内的坐标(i，j)的像素点的特征值进行计算：
Ok(i，j)＝c′k×sk(i，j)+fk(i，j)
其中，Ok(i，j)为编号为k的通道内的坐标(i，j)的像素点的特征值；
步骤6.12：根据编号为k的通道内的坐标(i，j)的像素点的特征值Ok(i，j)对坐标(i，j)的像素点的融合特征值进行计算：
其中，N为通道的总数，O(i，j)为坐标(i，j)的像素点的融合特征值；
步骤6.13：根据融合特征值O(i，j)得到融合特征图。
8.根据权利要求1所述的一种基于自信息的双重注意力机制小物体识别方法，其特征在于，所述对融合特征图进行分析得到特征序列；并根据特征序列在数据库中找出物体信息，包括：
步骤6.21：获取融合特征值O(i，j)超过特征阈值的特征像素点标记为T(i，j)；
步骤6.22：计算各个特征像素点T(i，j)之间的欧式距离；
步骤6.23：将欧式距离小于距离阈值的特征像素点进行连接，生成特征区域，判断特征区域的区域面积是否在区域阈值之内；是，则根据特征区域生成特征序列；其中，所述特征序列包括相应特征区域的区域面积和区域形状；
步骤6.24：将特征序列输入到数据库中，找出与该特征序列相似度最高的信息序列，并提取该信息序列对应的物体信息，提供给管理人员；其中，信息序列为物体各个角度投影的面积大小和形状；物体信息包括物体名称。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311809330.0A CN117789081A (zh) | 2023-12-26 | 2023-12-26 | 一种基于自信息的双重注意力机制小物体识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311809330.0A CN117789081A (zh) | 2023-12-26 | 2023-12-26 | 一种基于自信息的双重注意力机制小物体识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117789081A true CN117789081A (zh) | 2024-03-29 |
Family
ID=90386620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311809330.0A Pending CN117789081A (zh) | 2023-12-26 | 2023-12-26 | 一种基于自信息的双重注意力机制小物体识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117789081A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118097156A (zh) * | 2024-04-26 | 2024-05-28 | 百洋智能科技集团股份有限公司 | 盆底功能障碍检测方法、装置、计算机设备与存储介质 |
-
2023
- 2023-12-26 CN CN202311809330.0A patent/CN117789081A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118097156A (zh) * | 2024-04-26 | 2024-05-28 | 百洋智能科技集团股份有限公司 | 盆底功能障碍检测方法、装置、计算机设备与存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113065558A (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、***、设备和介质 | |
| CN109146831A (zh) | 基于双支深度学习网络的遥感图像融合方法及*** | |
| CN110400293B (zh) | 一种基于深度森林分类的无参考图像质量评价方法 | |
| CN113920097B (zh) | 一种基于多源图像的电力设备状态检测方法及*** | |
| CN117789081A (zh) | 一种基于自信息的双重注意力机制小物体识别方法 | |
| CN112308873B (zh) | 多尺度Gabor小波PCA融合图像边缘检测方法 | |
| CN113139489B (zh) | 基于背景提取和多尺度融合网络的人群计数方法及*** | |
| CN117274756A (zh) | 基于多维特征配准的二维图像与点云的融合方法及装置 | |
| CN109829924A (zh) | 一种基于主体特征分析的图像质量评价方法 | |
| CN111683221B (zh) | 嵌入矢量红线数据的自然资源实时视频监测方法及*** | |
| CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
| CN108664886A (zh) | 一种适应变电站进出监控需求的人脸快速识别方法 | |
| CN112766145B (zh) | 人工神经网络的人脸动态表情识别方法及装置 | |
| CN114445691A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
| CN113362221A (zh) | 用于门禁的人脸识别***与人脸识别方法 | |
| CN108109125A (zh) | 基于遥感图像的信息提取方法和装置 | |
| CN117788810A (zh) | 一种无监督语义分割的学习*** | |
| CN112270289A (zh) | 一种基于图卷积注意力网络的智能监测方法 | |
| Cao et al. | FOD detection using a multi-channel information fusion method | |
| Hu et al. | Grayscale Image Colorization Method Based on U-Net Network | |
| Li et al. | SAR object detection with a saliency method based on PCA and global contrast | |
| CN116737982B (zh) | 一种基于数据分析的图片搜索结果智能筛选管理*** | |
| CN116524008B (zh) | 一种用于安检ct智能识别的目标物匹配与空间位置估计方法 | |
| CN117011196B (zh) | 一种基于组合滤波优化的红外小目标检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |