CN116543146A - 一种基于窗口自注意与多尺度机制的图像密集描述方法 - Google Patents

Abstract

本发明公开了一种基于窗口自注意与多尺度机制的图像密集描述方法，由一个目标检测器和一个区域描述生成器组合而成，在目标检测器内部，输入图像经由基于窗口注意力的特征编码器进行图像表征的学习和提取，该特征编码器由12层ViT模块堆叠而成，在各层模块内，图像特征图被划分为多个大小均等的窗口并进行窗口内的注意力运算，特征编码器计算出5种不同尺度的图像特征，并通过目标检测头预测出关键区域的位置信息，模型据此从多尺度特征中切割出区域特征，区域描述生成器采用预训练BERT模型作为核心，依据输入的全局表征和区域特征，以自回归的方式进行区域描述的生成。本发明能够准确捕捉图像多个关键对象并生成高质量描述。

Description

一种基于窗口自注意与多尺度机制的图像密集描述方法

技术领域

本发明涉及计算机视觉领域和自然语言处理领域，具体来说涉及一种基于窗口自注意网络与多尺度特征的图像密集描述方法。

背景技术

图像密集描述（denseimagecaptioning）是开放世界目标检测任务的上级任务，它要求模型对输入图像上的显著区域进行侦测并使用简短的语句描述区域内容，是一种结合了计算机视觉技术与自然语言处理技术的人工智能方法。

相较于目前常规的目标检测方法，图像密集描述方法拥有更强大的图像识别能力与更广泛的对象识别范围，具备对训练集外的对象类别进行认知的能力。在工作过程中，图像密集描述方法采用人类语言的形式对识别对象进行描述，更加贴近人类认知世界的思考模式，是未来强人工智能构建的重要技术。

而与传统的图像描述方法相比，密集图像描述方法不是对图像的全局内容进行理解与总结，而是定位图像的多个RoI（RegionofInterest，感兴趣区域），并分别生成描述。这种工作模式能够更加有效地保留图像的关键信息，传递用户感兴趣的内容。

图像密集描述技术可用于图像检索任务，通过对图像的各个区域生成自然语言描述来搜索包含特定视觉概念或场景的图像；用于图像理解分析任务，协助分析理解包含了多个对象、动作和交互的复杂图像；用于图像编辑修改任务，通过提供基于密集描述的自然语言命令来协助用户编辑和操作图像。

目前，图像密集描述方法大都是基于卷积神经网络实现输入图像的特征提取，并利用循环神经网络对区域特征进行对应描述的生成。这种做法虽然易于实现，但存在以下几个问题：

1.卷积神经网络的图像提取与认知能力存在局限性，虽然有较强的局部特征提取能力，但难以掌握图像的全局表征。此外，当卷积神经网络架构过于复杂时，模型的训练难度显著增大，性能也难以提高。这些缺陷导致基于卷积神经网络的密集描述模型无法处理复杂的输入图像；

2.由于循环神经网络无法并行地实现区域描述的生成，且计算量与耗时巨大，导致图像密集描述过程漫长，缺乏效率。此外，循环神经网络对于长序列信息存在天然缺陷，导致生成描述的质量不高。

中国专利申请公布号CN114037831A于2022年02月11日公开了一种图像深度密集描述方法、***及存储介质，其利用基本的卷积神经网络进行提取，性能低，且效率不高。该专利申请直接利用RPN网络在图像特征图上提取感兴趣区域，发掘不同大小的感兴趣区域不够全面；该专利申请使用LSTM网络对各感兴趣区域生成描述，速度一般，且描述质量不高。

发明内容

本发明的目的在于克服上述缺点而提供的一种能够准确捕捉图像多个关键对象并生成高质量描述的基于窗口自注意网络与多尺度特征的图像密集描述方法。

本发明的一种基于窗口自注意网络与多尺度特征的图像密集描述方法，包括下述步骤：

步骤1输入图像X粗处理：输入尺寸等于1024×1024的图像X，将X划分为大小为k的多个图像块，利用大小为k的卷积核进行粗处理，得到粗图像特征X^’；

步骤2图像全局表征V_f的计算：输入粗图像特征X^’，通过预训练ViT模型作为图像的特征编码器，获取到图像的全局表征V_f，ViT模型由多层Transformer模块堆叠而成，在每层Transformer模块内，图像表征将被划分为大小为α的窗口，仅计算窗口内各像素间的注意力，经过多层网络计算，最终获得全局表征V_f；

步骤3多尺度特征获取：取上一步骤获取到的全局表征V_f，分别经过5种不同的卷积神经网络分支，获取到多尺度特征集F={f₁,f₂,f₃,f₄,f₅}，从而适用于不同大小的目标检测；

步骤4显著目标预测与区域特征提取：

步骤4.1显著目标预测，对于多尺度特征集F={f₁,f₂,f₃,f₄,f₅}，分别采用5个独立的预测网络头部识别图像特征中包含的目标；

第i个预测网络头部，其输入为f_i，f_i使用卷积核大小为3的卷积层提取局部特征，然后通过GroupNorm（分组归一化）处理，最后通过激活函数RELU，公式如下：

f_i ^’=ReLU(GroupNorm(Conv(f_i))) （公式7）

上述过程将重复4次；

各预测网络头部设置可学习参数A_i与M_i，分别与f_i ^’进行相加与相乘操作，公式如下：

f_i ^”=( f_i ^’+A_i)·M_i（公式8）

对于空间特征f_i ^”，分别采用两种卷积网络分支获取出该尺度下预测空间坐标bbox_i和置信度agn_i，公式如下：

bbox_i=ReLU(Conv(f_i ^”)) （公式9）

agni=Conv(fi”) （公式10）

步骤4.2目标检测器训练与损失函数，对于目标检测器的显著区域预测结果BBOX={bbox₁, bbox₂, bbox₃, bbox₄, bbox₅}，找出训练数据集中与每个预测结果距离最为接近的目标，定义该目标集合为Target；采用度量指标CIOU衡量预测结果与实际目标的差距，CIOU与目标检测器性能成正比；定义预测区域为g，实际目标区域为t，则CIOU计算公式如下：

CIOU=IOU-ρ²(g,t)/c²-βv（公式11）

IOU=|g∩t|/|g∪t|（公式12）

V=4/Π²（arctan(w^t/m^t)-arctan(w/m)）²（公式13）

β= v / (1-IOU+v) （公式14）

其中，ρ表示预测区域g与实际目标区域t的中心点间的欧氏距离，c表示预测区域g与实际目标区域t的最小闭包区域的对角线距离，w^t和m^t分别表示实际目标区域t的宽度和高度，w和m分别表示预测区域g的宽度和高度；

用于训练目标检测器的损失函数L_dec计算公式如下：

L_dec=1-CIOU（公式15）

步骤4.3区域特征提取，根据目标检测器的显著区域预测结果BBOX，从多尺度特征集F上切割对应区域的特征，区域特征集记为R；

步骤5图像密集描述生成：

步骤5.1文本特征T^’的提取，根据步骤4.2中确定的目标集合为Target，从训练数据集中收集区域对应的自然语言描述，定义该自然语言描述集合为TargetText；使用预训练BERT模型的词嵌入层将TargetText转换为词向量特征，定义为T；对于n维词向量特征T，计算词向量位置编码PEⁿ并叠加在词向量特征T上，最终得到文本特征T^’，公式如下：

PEⁿ={PE_(pos,2i)=sin(pos/1000^(2i/n)), PE^(pos,2i+1)=cos(pos/1000^(2i/n))} （公式16）

T^’=T+ PEⁿ（公式17）

其中pos∈[1,2,…]，i∈[0,1,…,n/2];

步骤5.2描述生成，用全连接层将区域特征集R映射到高维空间，记为高维区域特征R^’；将全局表征V_f，高维区域特征R^’与文本特征T^’进行拼接，得到多模态特征H，公式如下：

H=Concat(V_f, R^’, T^’) （公式18）

描述生成器以多模态特征H为输入，使用预训练BERT模型进行多模态信息的融合，BERT模型由多层Transformer网络层堆叠而成，每一层的Transformer的运算过程对于输入的多模态特征H进行自注意力计算，记BERT模型的计算结果为H^’；

定义模型内置单词表规模为E_voc，使用全连接层将H^’映射至高维E_voc，并使用softmax函数进行处理，定义输出结果为pro_l，公式如下：

pro_l=softmax(Linear(H^’)) （公式25）

其中，l为生成区域描述的最大长度；pro_l ⁱ定义为生成区域描述第i个位置上各单词的预测概率，取概率最大值对应单词作为该位置的候选单词w_i；最终，生成区域描述W={w₁,w₂,…,w_l}；

步骤5.3描述生成器训练与损失函数，取自然语言描述集合TargetText，将其转换为长度为E_voc的独热码，用于损失函数的计算；对独热码进行标签平滑处理，定义某条独热码为h，其经标签平滑处理结果为h^’，则标签平滑过程公式如下：

h^’=(1.0-eps)·h+eps/E_voc（公式26）

其中eps为本技术方案自定义的一个较小的常数；

完成上述操作后，采用交叉熵函数计算生成密集描述的损失L_ce；L_ce的计算公式如下：

L_ce=-Σ_i=1 ^Nlog(p(y_i ^*|y_1:i-1 ^*))（公式27）

其中y_1:N ^*是一条来自TargetText的区域描述，长度为N，p是描述生成器预测的概率，y_i ^*表示区域描述位置为i的字符。

上述的一种基于窗口自注意网络与多尺度特征的图像密集描述方法，其中步骤2中第i层Transformer，设定窗口尺寸为α，将该网络层的输入特征V_i进行边缘的填充，使得其尺寸为窗口尺寸的整数倍，填充后的特征将将均分为数个大小相等的窗口特征集，记为V_i ^’；然后，窗口特征集V_i ^’通过三个全连接层运算出查询向量q_i、键值向量k_i以及权值向量v_i，并沿最后一维均匀划分为nhead部分，公式如下：

q_i=Div(Linear(V_i ^’),nhead) （公式1）

k_i=Div(Linear(V_i ^’),nhead)（公式2）

v_i=Div(Linear(V_i ^’),nhead)（公式3）

查询向量q_i与键值向量k_i的转置向量k_i ^T进行相乘并使用softmax函数进行处理，计算窗口内部像素间的注意力矩阵Attn_i，公式如下：

Attn_i=softmax(q_i·k_i ^T)（公式4）

设权值向量v_i最后一维的数目为d，Attn_i将与v_i相乘，公式如下：

A_i+1=Attn_i/d^1/2·v_i（公式5）

计算结果A_i+1将按照各窗口的位置还原回与输入特征V_i相同的形状，记为A_i+1 ^’，A_i+1 ^’将通过后续的前馈网络模块FFN_i进行映射，从而学习到更优的图像表征V_i+1，公式如下：

V_i+1=FFN_i(A_i+1 ^’)=Linear(ReLU(Linear(A_i+1 ^’)))（公式6）

经过多层网络计算，最终获得全局表征V_f。

上述的一种基于窗口自注意网络与多尺度特征的图像密集描述方法，其中步骤3中经过5种不同的卷积神经网络分支，获取到多尺度特征集方法如下：

步骤3.1尺度为1/8的特征获取，利用卷积核大小为2的反卷积层对全局表征V_f进行升采样后，使用卷积核大小为1的卷积层进行映射，再使用卷积核大小为3的卷积层提取出尺度为1/8的图像特征f₁；

步骤3.2尺度为1/16的特征获取，用卷积核大小为1的卷积层对全局表征V_f进行映射，再使用卷积核大小为3的卷积层提取出尺度为1/16的图像特征f₂；

步骤3.3尺度为1/32的特征获取，全局表征V_f采样最大池化方法进行下采样后，使用卷积核大小为1的卷积层进行映射，再使用卷积核大小为3的卷积层提取出尺度为1/32的图像特征f₃；

步骤3.4 尺度为1/64的特征获取，对f₃采用卷积核大小为2、采样步长为2的卷积层进行下采样，获得尺度为1/64的图像特征f₄；

步骤3.5尺度为1/128的特征获取，f₄使用激活函数ReLU进行处理后，使用卷积核大小为2、采样步长为2的卷积层进行下采样，获得尺度为1/128的图像特征f₅。

上述的一种基于窗口自注意网络与多尺度特征的图像密集描述方法，其中步骤5.2中采用的BERT模型的第i层Transformer，将该网络层的输入特征H_i通过三个全连接层运算出查询向量Hq_i、键值向量Hk_i以及权值向量Hv_i，并沿最后一维均匀划分为nhead部分，公式如下：

Hq_i=Div(Linear(H_i),nhead)（公式19）

Hk_i=Div(Linear(H_i),nhead)（公式20）

Hv_i=Div(Linear(H_i),nhead)（公式21）

查询向量Hq_i与键值向量Hk_i的转置向量Hk_i ^T进行相乘并使用softmax函数进行处理，计算窗口内部像素间的注意力矩阵HAttn_i，公式如下：

HAttn_i=softmax(Hq_i·Hk_i ^T)（公式22）

设权值向量Hv_i最后一维的数目为hd，HAttn_i将与Hv_i相乘，公式如下：

HA_i+1=HAttn_i/d^1/2·Hv_i（公式23）

HA_i+1将通过后续的前馈网络模块FFN_i进行映射，从而学习到更优的多模态表征H_i+1，公式如下：

H_i+1=FFN_i(HA_i+1 ^’)=Linear(ReLU(Linear(HA_i+1 ^’)))（公式24）

经过多层网络计算，最终获得多模态表征H^’。

本发明与现有技术相比，具有明显的有益效果，从以上技术方案可知：本发明由一个目标检测器和一个区域描述生成器组合而成。目标检测器的作用是发掘输入图像的关键区域，预测出该区域的空间坐标，并提取出该区域特征图。在目标检测器内部，输入图像经由基于窗口注意力的特征编码器进行图像表征的学***行的探测头分别识别感兴趣区域，这种做法能更全面地发掘不同大小的感兴趣区域。本发明使用BERT网络以自回归的方式进行描述的生成，速度更快，且描述质量更高。

附图说明

图1为本发明的目标检测器结构示意图；

图2为本发明的描述生成器结构示意图。

具体实施方式

下面对本发明提出的图像密集描述方法的具体实施案例进行详细说明。

一种基于窗口自注意网络与多尺度特征的图像密集描述方法，包括下述步骤：

步骤1输入图像X的粗处理：

训练过程中使用的数据集为Visual Genome数据集，总共包含108077张图片，每张图片上通过人工标注的方式对多个目标对象进行框定，并附带一条对应的描述。在训练过程中，设定训练集与测试集的划分比例设定为20:1，训练的迭代次数设定为18万次，在训练阶段中，提出的图像密集描述方法一次处理四张图片；

计算输入图像X的尺寸，若图像高度或宽度大于1024像素，需要对X进行裁剪和缩小，使得输入尺寸等于1024×1024，将X划分为大小为16的多个图像块，利用大小为16的卷积核进行粗处理，得到粗图像特征X^’，其通道数为768，处理后的粗图像特征将进入目标检测器；

步骤2图像全局表征V_f的计算：

处理后的粗图像特征进入目标检测器，如图1所示。输入粗图像特征X^’，通过预训练ViT模型作为图像的特征编码器，获取到图像的全局表征V_f。ViT模型由12层Transformer模块堆叠而成，在除了第3,6,9,12层以外的Transformer模块中，都采用窗口机制，将输入特征划分为多个窗口。图像表征将被划分为大小为α的窗口，仅计算窗口内各像素间的注意力。设定窗口大小α为14。

以第i层Transformer为例，设定窗口尺寸为α，首先该网络层的输入特征V_i将进行边缘的填充，使得其尺寸为窗口尺寸的整数倍。填充后的特征将将均分为数个大小相等的窗口特征集，记为V_i ^’。

然后，窗口特征集V_i ^’首先通过三个全连接层运算出查询向量q_i、键值向量k_i以及权值向量v_i，并沿最后一维均匀划分为nhead部分，公式如下：

q_i=Div(Linear(V_i ^’),nhead) （公式1）

k_i=Div(Linear(V_i ^’),nhead)（公式2）

v_i=Div(Linear(V_i ^’),nhead)（公式3）

设置h为12，即查询向量q_i、键值向量k_i以及权值向量v_i将被均匀划分为12份。

查询向量q_i与键值向量k_i的转置向量k_i ^T进行相乘并使用softmax函数进行处理，计算窗口内部像素间的注意力矩阵Attn_i，公式如下：

Attn_i=softmax(q_i·k_i ^T)（公式4）

设权值向量v_i最后一维的数目为d，Attn_i将与v_i相乘，公式如下：

A_i+1=Attn_i/d^1/2·v_i（公式5）

计算结果A_i+1将按照各窗口的位置还原回与输入特征V_i相同的形状，记为A_i+1 ^’，A_i+1 ^’将通过后续的前馈网络模块FFN_i进行映射，从而学习到更优的图像表征V_i+1，公式如下：

V_i+1=FFN_i(A_i+1 ^’)=Linear(ReLU(Linear(A_i+1 ^’)))（公式6）

经过多层网络计算，最终获得全局表征V_f。

步骤3多尺度特征获取：

取上一步骤获取到的全局表征V_f，分别经过5种不同的卷积神经网络分支，获取到多尺度特征集F={f₁,f₂,f₃,f₄,f₅}，从而适用于不同大小的目标检测；

步骤3.1尺度为1/8的特征获取，利用卷积核大小为2的反卷积层对全局表征V_f进行升采样后，使用卷积核大小为1的卷积层进行映射，再使用卷积核大小为3的卷积层提取出尺度为1/8的图像特征f₁；

步骤3.2尺度为1/16的特征获取，用卷积核大小为1的卷积层对全局表征V_f进行映射，再使用卷积核大小为3的卷积层提取出尺度为1/16的图像特征f₂；

步骤3.3尺度为1/32的特征获取，全局表征V_f采样最大池化方法进行下采样后，使用卷积核大小为1的卷积层进行映射，再使用卷积核大小为3的卷积层提取出尺度为1/32的图像特征f₃；

步骤3.4 尺度为1/64的特征获取，对f₃采用卷积核大小为2、采样步长为2的卷积层进行下采样，获得尺度为1/64的图像特征f₄；

步骤3.5尺度为1/128的特征获取，f₄使用激活函数ReLU进行处理后，使用卷积核大小为2、采样步长为2的卷积层进行下采样，获得尺度为1/128的图像特征f₅。

f₁,f₂,f₃,f₄,f₅的通道数统一为256。

步骤4显著目标预测与区域特征提取：

步骤4.1显著目标预测，对于多尺度特征集F={f₁,f₂,f₃,f₄,f₅}，分别采用5个独立的预测网络头部识别图像特征中包含的目标。

以第i个预测网络头部为例，其输入为f_i。f_i将通过卷积网络进行计算，提取出各显著目标的空间信息。具体而言，f_i将使用卷积核大小为3的卷积层提取局部特征，然后通过GroupNorm（分组归一化）处理，最后通过激活函数RELU，公式如下：

f_i ^’=ReLU(GroupNorm(Conv(f_i))) （公式7）

上述过程将重复4次。

引入隐性知识学习机制改进预测头部，通过隐性参数改进不同目标的检测。具体而言，各预测网络头部设置可学习参数A_i与M_i，分别与f_i ^’进行相加与相乘操作，公式如下：

f_i ^”=( f_i ^’+A_i)·M_i（公式8）

对于空间特征f_i ^”，分别采用两种卷积网络分支获取出该尺度下预测空间坐标bbox_i和置信度agn_i，公式如下：

bbox_i=ReLU(Conv(f_i ^”)) （公式9）

agni=Conv(f_i ^”) （公式10）

其中每个空间坐标长度为4，分别代表着预测区域左上角的横坐标、左上角的纵坐标、区域长度和区域宽度。

步骤4.2目标检测器训练与损失函数，对于目标检测器的显著区域预测结果BBOX={bbox₁, bbox₂, bbox₃, bbox₄, bbox₅}，找出训练数据集中与每个预测结果距离最为接近的目标，定义该目标集合为Target；采用度量指标CIOU衡量预测结果与实际目标的差距，CIOU与目标检测器性能成正比；定义预测区域为g，实际目标区域为t，则CIOU计算公式如下：

CIOU=IOU-ρ²(g,t)/c²-βv（公式11）

IOU=|g∩t|/|g∪t|（公式12）

V=4/Π²（arctan(w^t/h^t)-arctan(w/h)）²（公式13）

β= v / (1-IOU+v) （公式14）

其中，ρ表示预测区域g与实际目标区域t的中心点间的欧氏距离，c表示预测区域g与实际目标区域t的最小闭包区域的对角线距离，w^t和m^t分别表示实际目标区域t的宽度和高度，w和m分别表示预测区域g的宽度和高度；

用于训练目标检测器的损失函数L_dec计算公式如下：

L_dec=1-CIOU（公式15）

步骤4.3区域特征提取，根据目标检测器的显著区域预测结果BBOX，从多尺度特征集F上切割对应区域的特征。对于切割的所有区域特征，将其重新组合为一个4维张量R，其通道数为256。通过全连接层将张量R映射为768维。

步骤5图像密集描述生成：

步骤5.1文本特征T^’的提取，根据步骤4.2中确定的目标集合为Target，从训练数据集中收集区域对应的自然语言描述，定义该自然语言描述集合为TargetText；使用预训练BERT模型的词嵌入层将TargetText转换为词向量特征，定义为T。词向量特征T通道数为768。对于词向量特征T，计算词向量位置编码PEⁿ并叠加在词向量特征T上，最终得到文本特征T^’，公式如下：

PEⁿ={PE_(pos,2i)=sin(pos/1000^(2i/n)), PE^(pos,2i+1)=cos(pos/1000^(2i/n))} （公式16）

T^’=T+ PEⁿ（公式17）

其中pos∈[1,2,…]，i∈[0,1,…,n/2];

步骤5.2描述生成，用全连接层将区域特征集R映射到高维空间，记为高维区域特征R^’；将全局表征V_f，高维区域特征R^’与文本特征T^’进行拼接，得到多模态特征H，公式如下：

H=Concat(V_f, R^’, T^’) （公式18）

描述生成器的结构如图2所示。以多模态特征H为输入，使用预训练BERT模型进行多模态信息的融合。采用的BERT模型由6层Transformer堆叠而成，对于第i层Transformer，将该网络层的输入特征H_i通过三个全连接层运算出查询向量Hq_i、键值向量Hk_i以及权值向量Hv_i，并沿最后一维均匀划分为nhead部分，公式如下：

Hq_i=Div(Linear(H_i),nhead)（公式19）

Hk_i=Div(Linear(H_i),nhead)（公式20）

Hv_i=Div(Linear(H_i),nhead)（公式21）

查询向量Hq_i与键值向量Hk_i的转置向量Hk_i ^T进行相乘并使用softmax函数进行处理，计算窗口内部像素间的注意力矩阵HAttn_i，公式如下：

HAttn_i=softmax(Hq_i·Hk_i ^T)（公式22）

设权值向量Hv_i最后一维的数目为hd，HAttn_i将与Hv_i相乘，公式如下：

HA_i+1=HAttn_i/hd^1/2·Hv_i（公式23）

HA_i+1将通过后续的前馈网络模块FFN_i进行映射，从而学习到更优的多模态表征H_i+1，公式如下：

H_i+1=FFN_i(HA_i+1 ^’)=Linear(ReLU(Linear(HA_i+1 ^’)))（公式24）

经过多层网络计算，最终获得多模态表征H^’。

模型内置单词表规模E_voc设定为30522，使用全连接层将H^’映射至高维E_voc，并使用softmax函数进行处理，定义输出结果为pro_l，公式如下：

pro_l=softmax(Linear(H^’)) （公式25）

其中，l为生成区域描述的最大长度；pro_l ⁱ定义为生成区域描述第i个位置上各单词的预测概率，取概率最大值对应单词作为该位置的候选单词w_i；最终，生成区域描述W={w₁,w₂,…,w_l}；

步骤5.3描述生成器训练与损失函数，为了防止描述生成器训练过拟合，采用标签平滑技术进行正则化; 首先，取自然语言描述集合TargetText，将其转换为长度为E_voc的独热码，用于损失函数的计算；对独热码进行标签平滑处理，定义某条独热码为h，其经标签平滑处理结果为h^’，则标签平滑过程公式如下：

h^’=(1.0-eps)·h+eps/E_voc（公式26）

其中eps为本技术方案自定义的一个较小的常数，设定为10^-12。

完成上述操作后，采用交叉熵函数计算生成密集描述的损失L_ce；L_ce的计算公式如下：

L_ce=-Σ_i=1 ^Nlog(p(y_i ^*|y_1:i-1 ^*))（公式27）

其中y_1:N ^*是一条来自TargetText的区域描述，长度为N，p是描述生成器预测的概率，y_i ^*表示区域描述位置为i的字符。

在预测阶段中，该图像密集描述方法每次对一张图片进行密集描述的生成。模型提取区域特征的工作过程与训练阶段相同。在此阶段中，无需计算损失值L_dec。此外，描述生成器的输入仅为全局特征V_f和高维区域特征R^’，以此生成对应的密集描述结果。

预测阶段生成的密集描述结果包含预测显著区域的位置信息以及对应的区域描述。筛选出具有高置信度的预测结果，并在输入图像上对预测结果进行绘制。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (4)

1.一种基于窗口自注意与多尺度机制的图像密集描述方法，包括下述步骤：

步骤1输入图像X粗处理：输入尺寸等于1024×1024的图像X，将X划分为大小为k的多个图像块，利用大小为k的卷积核进行粗处理，得到粗图像特征X^’；

步骤2图像全局表征V_f的计算：输入粗图像特征X^’，通过预训练ViT模型作为图像的特征编码器，获取到图像的全局表征V_f，ViT模型由多层Transformer模块堆叠而成，在每层Transformer模块内，图像表征将被划分为大小为α的窗口，仅计算窗口内各像素间的注意力，经过多层网络计算，最终获得全局表征V_f；

步骤3多尺度特征获取：取上一步骤获取到的全局表征V_f，分别经过5种不同的卷积神经网络分支，获取到多尺度特征集F={f₁,f₂,f₃,f₄,f₅}，从而适用于不同大小的目标检测；

步骤4显著目标预测与区域特征提取：

步骤4.1显著目标预测，对于多尺度特征集F={f₁,f₂,f₃,f₄,f₅}，分别采用5个独立的预测网络头部识别图像特征中包含的目标；

第i个预测网络头部，其输入为f_i，f_i使用卷积核大小为3的卷积层提取局部特征，然后通过GroupNorm（分组归一化）处理，最后通过激活函数RELU，公式如下：

f_i ^’=ReLU(GroupNorm(Conv(f_i)))

上述过程将重复4次；

各预测网络头部设置可学习参数A_i与M_i，分别与f_i ^’进行相加与相乘操作，公式如下：

f_i ^”=( f_i ^’+A_i)·M_i

对于空间特征f_i ^”，分别采用两种卷积网络分支获取出该尺度下预测空间坐标bbox_i和置信度agn_i，公式如下：

bbox_i=ReLU(Conv(f_i ^”))

agn_i=Conv(fi”)

步骤4.2目标检测器训练与损失函数，对于目标检测器的显著区域预测结果BBOX={bbox₁, bbox₂, bbox₃, bbox₄, bbox₅}，找出训练数据集中与每个预测结果距离最为接近的目标，定义该目标集合为Target；采用度量指标CIOU衡量预测结果与实际目标的差距，CIOU与目标检测器性能成正比；定义预测区域为g，实际目标区域为t，则CIOU计算公式如下：

CIOU=IOU-ρ²(g,t)/c²-βv

IOU=|g∩t|/|g∪t|

V=4/Π²（arctan(w^t/m^t)-arctan(w/m)）²

β= v / (1-IOU+v)

其中，ρ表示预测区域g与实际目标区域t的中心点间的欧氏距离，c表示预测区域g与实际目标区域t的最小闭包区域的对角线距离，w^t和m^t分别表示实际目标区域t的宽度和高度，w和m分别表示预测区域g的宽度和高度；

用于训练目标检测器的损失函数L_dec计算公式如下：

L_dec=1-CIOU

步骤4.3区域特征提取，根据目标检测器的显著区域预测结果BBOX，从多尺度特征集F上切割对应区域的特征，区域特征集记为R；

步骤5图像密集描述生成：

步骤5.1文本特征T^’的提取，根据步骤4.2中确定的目标集合为Target，从训练数据集中收集区域对应的自然语言描述，定义该自然语言描述集合为TargetText；使用预训练BERT模型的词嵌入层将TargetText转换为词向量特征，定义为T；对于n维词向量特征T，计算词向量位置编码PEⁿ并叠加在词向量特征T上，最终得到文本特征T^’，公式如下：

PEⁿ={PE_(pos,2i)=sin(pos/1000^(2i/n)), PE^(pos,2i+1)=cos(pos/1000^(2i/n))}

T^’=T+ PEⁿ

其中pos∈[1,2,…]，i∈[0,1,…,n/2];

步骤5.2描述生成，用全连接层将区域特征集R映射到高维空间，记为高维区域特征R^’；将全局表征V_f，高维区域特征R^’与文本特征T^’进行拼接，得到多模态特征H，公式如下：

H=Concat(V_f, R^’, T^’)

描述生成器以多模态特征H为输入，使用预训练BERT模型进行多模态信息的融合，BERT模型由多层Transformer网络层堆叠而成，每一层的Transformer的运算过程对于输入的多模态特征H进行自注意力计算，记BERT模型的计算结果为H^’；

定义模型内置单词表规模为E_voc，使用全连接层将H^’映射至高维E_voc，并使用softmax函数进行处理，定义输出结果为pro_l，公式如下：

pro_l=softmax(Linear(H^’))

其中，l为生成区域描述的最大长度；pro_l ⁱ定义为生成区域描述第i个位置上各单词的预测概率，取概率最大值对应单词作为该位置的候选单词w_i；最终，生成区域描述W={w₁,w₂,…,w_l}；

步骤5.3描述生成器训练与损失函数，取自然语言描述集合TargetText，将其转换为长度为E_voc的独热码，用于损失函数的计算；对独热码进行标签平滑处理，定义某条独热码为h，其经标签平滑处理结果为h^’，则标签平滑过程公式如下：

h^’=(1.0-eps)·h+eps/E_voc

其中eps为本技术方案自定义的一个较小的常数，设定为10^-12；

完成上述操作后，采用交叉熵函数计算生成密集描述的损失L_ce；L_ce的计算公式如下：

L_ce=-Σ_i=1 ^Nlog(p(y_i ^*|y_1:i-1 ^*))

其中y_1:N ^*是一条来自TargetText的区域描述，长度为N，p是描述生成器预测的概率，y_i ^*表示区域描述位置为i的字符。

2.如权利要求1所述的一种基于窗口自注意与多尺度机制的图像密集描述方法，其中步骤2中获得全局表征V_f的方法如下：在每层Transformer模块内，设某层为第i层Transformer，设定窗口尺寸为α，将该网络层的输入特征V_i进行边缘的填充，使得其尺寸为窗口尺寸的整数倍，填充后的特征将均分为数个大小相等的窗口特征集，记为V_i ^’；然后，窗口特征集V_i ^’通过三个全连接层运算出查询向量q_i、键值向量k_i以及权值向量v_i，并沿最后一维均匀划分为nhead部分，公式如下：

q_i=Div(Linear(V_i ^’),nhead)

k_i=Div(Linear(V_i ^’),nhead)

v_i=Div(Linear(V_i ^’),nhead)

查询向量q_i与键值向量k_i的转置向量k_i ^T进行相乘并使用softmax函数进行处理，计算窗口内部像素间的注意力矩阵Attn_i，公式如下：

Attn_i=softmax(q_i·k_i ^T)

设权值向量v_i最后一维的数目为d，Attn_i将与v_i相乘，公式如下：

A_i+1=Attn_i/d^1/2·v_i

计算结果A_i+1将按照各窗口的位置还原回与输入特征V_i相同的形状，记为A_i+1 ^’， A_i+1 ^’将通过后续的前馈网络模块FFN_i进行映射，从而学习到更优的图像表征V_i+1，公式如下：

V_i+1=FFN_i (A_i+1 ^’)=Linear(ReLU(Linear(A_i+1 ^’)))

经过多层网络计算，最终获得全局表征V_f。

3.如权利要求1所述的一种基于窗口自注意与多尺度机制的图像密集描述方法，其中步骤3中经过5种不同的卷积神经网络分支，获取到多尺度特征集方法如下：

步骤3.1尺度为1/8的特征获取，利用卷积核大小为2的反卷积层对全局表征V_f进行升采样后，使用卷积核大小为1的卷积层进行映射，再使用卷积核大小为3的卷积层提取出尺度为1/8的图像特征f₁；

步骤3.2尺度为1/16的特征获取，用卷积核大小为1的卷积层对全局表征V_f进行映射，再使用卷积核大小为3的卷积层提取出尺度为1/16的图像特征f₂；

步骤3.3尺度为1/32的特征获取，全局表征V_f采样最大池化方法进行下采样后，使用卷积核大小为1的卷积层进行映射，再使用卷积核大小为3的卷积层提取出尺度为1/32的图像特征f₃；

步骤3.4 尺度为1/64的特征获取，对f₃采用卷积核大小为2、采样步长为2的卷积层进行下采样，获得尺度为1/64的图像特征f₄；

步骤3.5尺度为1/128的特征获取，f₄使用激活函数ReLU进行处理后，使用卷积核大小为2、采样步长为2的卷积层进行下采样，获得尺度为1/128的图像特征f₅。

4.如权利要求1所述的一种基于窗口自注意与多尺度机制的图像密集描述方法，其中步骤5.2中对于输入的多模态特征H进行自注意力计算方法为：采用BERT模型的第i层Transformer，将该网络层的输入特征H_i通过三个全连接层运算出查询向量Hq_i、键值向量Hk_i以及权值向量Hv_i，并沿最后一维均匀划分为nhead部分，公式如下：

Hq_i=Div(Linear(H_i),nhead)

Hk_i=Div(Linear(H_i),nhead)

Hv_i=Div(Linear(H_i),nhead)

查询向量Hq_i与键值向量Hk_i的转置向量Hk_i ^T进行相乘并使用softmax函数进行处理，计算窗口内部像素间的注意力矩阵HAttn_i，公式如下：

HAttn_i=softmax(Hq_i·Hk_i ^T)

设权值向量Hv_i最后一维的数目为hd，HAttn_i将与Hv_i相乘，公式如下：

HA_i+1=HAttn_i/hd^1/2·Hv_i

HA_i+1将通过后续的前馈网络模块FFN_i进行映射，从而学习到更优的多模态表征H_i+1，公式如下：

H_i+1=FFN_i (HA_i+1)=Linear(ReLU(Linear(HA_i+1)))

经过多层网络计算，最终获得多模态表征H^’。