CN110096986B - 一种基于图像识别与文本融合的博物馆展品智能导览方法 - Google Patents

Abstract

本发明提供一种基于图像识别与文本融合的博物馆展品智能导览方法，涉及图像识别与文本融合技术领域。本发明步骤如下：步骤1：收集展品图像，得到展品图片集合；步骤2：建立基于卷积神经网络结构的识别模型；使用图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；步骤3：根据识别结果作为关键词进行相关资讯的爬取收集，获得资讯数据集；步骤4：获取的资讯数据集中提取摘要T；步骤5：将步骤4中得到的摘要T进行资讯融合；本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本。

Description

一种基于图像识别与文本融合的博物馆展品智能导览方法

技术领域

本发明涉及图像识别与文本融合技术领域，尤其涉及一种基于图像识别与文本融合的博物馆展品智能导览方法。

背景技术

博物馆是人们学习历史、了解专业领域发展和丰富精神文化生活的重要载体。在传统博物馆中，导览服务主要由讲解员提供，不仅自由性差、展示形式单一、用户无法高效筛选自己想要了解的知识，甚至需要用户支付额外的费用，有时还会造成博物馆展厅内的局部堵塞。而现有的博物馆导览技术主要是基于RFID(射频识别)的技术，用户在参观时被动的接受相关展品的语音信息，体验性差，并且这种方式需要在博物馆内安装大量的无线发射装置作为展品的电子标签，安装费用高昂，而且受博物馆场馆环境的限制。近年来新兴的基于二维码的手机APP导览***，通过对展品的二维码标签进行扫描，搜索展品的相关信息，这种方法的不足之处是需要对所有的展品都贴上二维码标签。更重要的是，以上这些方法的介绍内容都是通过查询数据库获取的，而数据库中的信息通常更新速度较慢，造成信息的滞后。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于图像识别与文本融合的博物馆展品智能导览方法，本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本；

为解决上述技术问题，本发明所采取的技术方案是：

本发明提供一种基于图像识别与文本融合的博物馆展品智能导览方法，包括如下步骤：

步骤1：收集展品图像，将所有图像调整成统一大小，并对图片进行数据增强处理，得到展品图片集合，所述展品图片集合中的图片为带有正确分类标签的图片；

步骤2：建立基于卷积神经网络结构的识别模型；将VGG网络结构模型中的特征提取层以及分类层参数作为基于卷积神经网络结构的初始识别模型中的参数；使用步骤1的展品图片集合中的图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；

步骤3：根据步骤2中得到的识别结果作为关键词进行相关资讯的爬取收集；将识别结果根据爬虫技术做关键词分割，根据分割后的关键词在百度上收集资讯，获得资讯数据集；

步骤4：获取的资讯数据集中提取摘要T；运用抽取式的方式进行摘要的生成，去除资讯数据集中冗余的信息，将其主要内容提取出来；将步骤3中资讯数据集中的句子排成句子序列A₁、A₂、…、A_n组成文档D，n为句子总数,通过根据概率选取D中的m个句子组成摘要T；

概率选取方法为：Extractive式摘要生成模型包括句子编码器、文档编码器以及句子提取器；其中，句子编码器中使用word2vec得到每个单词的200维向量并使用卷积与池化操作得到句子的编码向量；在文档编码器中使用LSTM网络，句子提取器部分将关键词作为额外信息，参与为句子评分的过程，最终目标是使含有关键词的句子获得更高的得分，即：

其中，u₀、W_e、w′_e为单隐层的神经网络的参数，r代表A_n被选入摘要的概率，

代表μ时刻的句子A_n，h_μ为μ时刻LSTM网络的中间状态，h_μ′代表关键词的加权和，b为关键词的个数，K为每句话被选择到摘要T的概率，概率越大，句子A_n出现在T中的概率越大；c_i为关键字，当句子中含有的关键词越多，h_μ′越大，最后该句子选入摘要中的概率越大。

步骤5：将步骤4中得到的摘要T进行资讯融合；

将摘要T中的句子融合成有逻辑的语段，采用段落模板结合描述逻辑的方法，通过定义描述逻辑，并匹配预先定义好的段落描述模板将摘要T中的句子融合为一个完整并且有意义的段落；所述段落模板为以时间为逻辑或地点、人物为逻辑。

所述步骤2的具体步骤如下：

步骤2.1：使用VGG网络结构模型初始化分类子网络中的特征提取层以及分类层参数，输入训练集中的图片，寻找全连接层中对输入的图像的响应值，值最高的区域则选择为建议注意力区域正方形；

分类子网络f由一个全连接层以及一个softmax层组成：

P(X)＝f(w_c*X)

其中，X为输入的图像，P(X)为分类子网络的输出结果向量，向量的每一个维度表示输入图像属于该维度代表的种类的概率，w_c为图像特征提取过程的参数矩阵；w_c*X包括三段卷积网络，每段卷积网络含有两个卷积层以及一个最大池化层，经过图像特征提取得到的特征图谱分别送入分类子网络f以及注意力建议子网络g；

注意力建议子网络g由两个全连接层组成，其中最后一个全连接层的输出通道为3个，分别对应t_x,t_y,t_l；

[t_x,t_y,t_l]＝g(w_c*X)

其中，t_x,t_y为输出注意力区域中心点的横纵坐标、t_l为输出注意力区域的边长的1/2；

从原图中裁剪提取出注意力区域的过程为：

X^att＝X⊙M(t_x,t_y,t_l)

其中，X^att为注意力区域，X为原始输入图像，M(t_x,t_y,t_l)表示由t_x,t_y,t_l生成的掩膜；

步骤2.2：整个网络以交替的方式进行训练，保持注意力区域建议子网络的参数不变，根据双线性插值的方法对每个注意力区域进行放缩；每个注意力区域建议的输出区域放大到与输入图像X大小相同的像素；

所述放缩方法如下：

首先进行水平方向的插值：

其中R₁＝(x,y₁)；

其中R₂＝(x,y₂)

接下来进行竖直方向的插值，求出p点的像素值：

其中，p(x,y)表示待插点p的坐标为x、y，q(p)为待插点p的像素值,Q₁₁(x₁,y₁)、Q₁₂(x₁,y₂)、Q₂₁(x₂,y₁)、Q₂₂(x₂,y₂)分别为待插点p周围的四个点，x₁,y₁为点Q₁₁的坐标，x₁,y₂为点Q₁₂的坐标，x₂,y₁为点Q₂₁的坐标，x₂,y₂为点Q₂₂的坐标；R₁为p点垂线与Q₁₁和Q₂₁两点形成的线段的焦点，x,y₁为点R₁的坐标；R₂为p点垂线与Q₁₂和Q₂₂两点形成线段的焦点，x,y₂为点R₂的坐标；

步骤2.3：根据放缩后的注意力区域来优化每个尺度的分类损失，每个尺度的学习包括一个分类子网络和一个注意力区域建议子网络；固定卷积层和分类层的参数不变，使用损失函数来优化注意力区域建议子网络；

损失函数L(X)由分类损失与ranking损失两个部分构成，根据损失函数L(X)表示为：

其中，Y^*表示图像的真实种类，Y^s表示在s尺度下的分类结果，P_o ^(s)表示在s尺度下分类子网络输出为真实种类的概率；

ranking损失Lrank(P_o ^(s),P_o ^(s+1))为：

Lrank(P_o ^(s),P_o ^(s+1))＝max(0,P_o ^(s)-P_o ^(s+1)+margin)

其中margin表示阈值。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于图像识别与文本融合的博物馆展品智能导览方法，可以通过用户对展品进行拍照，精确的识别出展品的种类名称，并根据展品的名称提取出关键词进行相关资讯的收集，最后通过自动摘要技术以及文本融合技术为用户返回一段具有时效性的相关介绍。本发明采取的技术方案是通过卷积神经网络学习博物馆展品的特征，构建一个可以根据用户实时拍摄的图像高准确率的给出相应种类名称的神经网络模型框架，根据识别的结果收集相关的资讯进行信息的提取与整合，实现博物馆展品智能导览的功能。通过在不同尺度下循环学习的方法准确的识别细粒度相似图像的种类，后续的在线资讯获取及处理过程可以提供最新的介绍信息，在资讯处理的过程中，通过将关键词信息加入损失函数，使得处理的结果更加精确，本方法能够提高参观者参观体验，降低博物馆日常运营费用，减少人力成本。

附图说明

图1为本发明实施例提供的方法流程图；

图2为本发明实施例提供的图像识别模型示意图；

图3为本发明实施例提供的摘要生成示意图；

图4为本发明实施例提供的展品识别讲解结果示意图，其中，a为测试界面示意图；b为上传图片示意图；c为图像识别展示界面示意图；d为文本的详细信息界面示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本实施例的方法如下所述。

本发明提供一种基于图像识别与文本融合的博物馆展品智能导览方法，包括如下步骤：

步骤1：收集展品图像，将所有图像调整成统一大小，并对图片进行数据增强处理，得到展品图片集合，所述展品图片集合中的图片为带有正确分类标签的图片；

步骤2：建立基于卷积神经网络结构的识别模型；将VGG网络结构模型中的特征提取层以及分类层参数作为基于卷积神经网络结构的初始识别模型中的参数；使用步骤1的展品图片集合中的图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；如图2所示，三级的级联网络示意图，所述级联网络可由多级构成本实施例中采取3级级联网络；

步骤2.1：使用VGG(Visual Geometry Group)网络结构模型初始化分类子网络中的特征提取层以及分类层参数，输入训练集中的图片，寻找全连接层中对输入的图像的响应值，值最高的区域则选择为建议注意力区域正方形；

分类子网络f由一个全连接层以及一个softmax层组成：

p(x)＝f(w_c*x)

其中，X为输入的图像，P(X)为分类子网络的输出结果向量，向量的每一个维度表示输入图像属于该维度代表的种类的概率，w_c为图像特征提取过程的参数矩阵；w_c*X包括三段卷积网络，每段卷积网络含有两个卷积层以及一个最大池化层，经过图像特征提取得到的特征图谱分别送入分类子网络f以及注意力建议子网络g；

注意力建议子网络g由两个全连接层组成，其中最后一个全连接层的输出通道为3个，分别对应t_x,t_y,t_l；

[t_x,t_y,t_l]＝g(w_c*X)

其中，t_x,t_y为输出注意力区域中心点的横纵坐标、t_l为输出注意力区域的边长的1/2；

从原图中裁剪提取出注意力区域的过程为：

x^att＝x⊙M(t_x，t_y，t_l)

其中，X^att为注意力区域，X为原始输入图像，M(t_x,t_y,t_l)表示由t_x,t_y,t_l生成的掩膜；

步骤2.2：整个网络以交替的方式进行训练，保持注意力区域建议子网络的参数不变，根据双线性插值的方法对每个注意力区域进行放缩；每个注意力区域建议的输出区域放大到与输入图像X大小相同的像素；

所述放缩方法如下：

首先进行水平方向的插值：

其中R₁＝(x,y₁)；

其中R₂＝(x,y₂)

接下来进行竖直方向的插值，求出p点的像素值：

其中，p(x,y)表示待插点p的坐标为x、y，q(p)为待插点p的像素值,Q₁₁(x₁,y₁)、Q₁₂(x₁,y₂)、Q₂₁(x₂,y₁)、Q₂₂(x₂,y₂)分别为待插点p周围的四个点，x₁,y₁为点Q₁₁的坐标，x₁,y₂为点Q₁₂的坐标，x₂,y₁为点Q₂₁的坐标，x₂,y₂为点Q₂₂的坐标；R₁为p点垂线与Q₁₁和Q₂₁两点形成的线段的焦点，x,y₁为点R₁的坐标；R₂为p点垂线与Q₁₂和Q₂₂两点形成线段的焦点，x,y₂为点R₂的坐标；

步骤2.3：根据放缩后的注意力区域来优化每个尺度的分类损失，每个尺度的学习包括一个分类子网络和一个注意力区域建议子网络；固定卷积层和分类层的参数不变，使用损失函数来优化注意力区域建议子网络；

损失函数L(X)由分类损失与ranking损失两个部分构成，根据损失函数L(X)表示为：

其中，Y^*表示图像的真实种类，Y^s表示在s尺度下的分类结果，P_o ^(s)表示在s尺度下分类子网络输出为真实种类的概率；尺度s的上限是可变的；

ranking损失Lrank(P_o ^(s),P_o ^(s+1))为：

Lrank(P_o ^(s),P_o ^(s+1))＝max(0,P_o ^(s)-P_o ^(s+1)+margin)

其中margin表示阈值；

步骤3：根据步骤2中得到的识别结果作为关键词进行相关资讯的爬取收集；将识别结果根据爬虫技术做关键词分割，根据分割后的关键词在百度上收集资讯，获得资讯数据集；

步骤4：获取的资讯数据集中提取摘要T，如图3所示；运用抽取式的方式进行摘要的生成，去除资讯数据集中冗余的信息，将其主要内容提取出来；将步骤3中资讯数据集中的句子排成句子序列A₁、A₂、…、A_n组成文档D，n为句子总数,通过根据概率选取D中的m个句子组成摘要T。

概率选取方法为：Extractive式摘要生成模型包括句子编码器、文档编码器以及句子提取器；其中，句子编码器中使用word2vec得到每个单词的200维向量并使用卷积与池化操作得到句子的编码向量；在文档编码器中使用LSTM网络，句子提取器部分将关键词作为额外信息，参与为句子评分的过程，最终目标是使含有关键词的句子获得更高的得分，即：

其中，u₀、W_e、w′_e为单隐层的神经网络的参数，r代表A_n被选入摘要的概率，

代表μ时刻的句子A_n，h_μ为μ时刻LSTM网络的中间状态，h_μ′代表关键词的加权和，b为关键词的个数，K为每句话被选择到摘要T的概率，概率越大，句子A_n出现在T中的可能性越大；c_i为关键字，当句子中含有的关键词越多，h_μ′越大，最后该句子选入摘要中的概率也就更大。

步骤5：将步骤4中得到的摘要T进行资讯融合；

将摘要T中的句子融合成有逻辑的语段，采用段落模板结合描述逻辑的方法，通过定义描述逻辑，并匹配预先定义好的段落描述模板将摘要T中的句子融合为一个完整并且有意义的段落；所述段落模板为以时间为逻辑或地点、人物为逻辑。

如图4所示为展品通过本方法的识别结果，首先打开APP，进去如a所示的应用界面；点击“拍照”或者“上传图片”按钮会将图片上传，如b所示；然后得到图像的简要文本描述，并可点击查看相关文本主题的详细信息，如c和d所示。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (2)

1.一种基于图像识别与文本融合的博物馆展品智能导览方法，其特征在于：包括如下步骤：

步骤1：收集展品图像，将所有图像调整成统一大小，并对图片进行数据增强处理，得到展品图片集合，所述展品图片集合中的图片为带有正确分类标签的图片；

步骤2：建立基于卷积神经网络结构的识别模型；将VGG网络结构模型中的特征提取层以及分类层参数作为基于卷积神经网络结构的初始识别模型中的参数；使用步骤1的展品图片集合中的图片X训练基于卷积神经网络结构的初始识别模型，得到损失函数L(X)，根据损失函数训练识别初始模型中的参数，得到基于卷积神经网络结构的识别模型，得到图片X的识别结果；

步骤3：根据步骤2中得到的识别结果作为关键词进行相关资讯的爬取收集；将识别结果根据爬虫技术做关键词分割，根据分割后的关键词在百度上收集资讯，获得资讯数据集；

步骤4：获取的资讯数据集中提取摘要T；运用抽取式的方式进行摘要的生成，去除资讯数据集中冗余的信息，将其主要内容提取出来；将步骤3中资讯数据集中的句子排成句子序列A₁、A₂、…、A_n组成文档D，n为句子总数,通过根据概率选取D中的m个句子组成摘要T；

概率选取方法为：Extractive式摘要生成模型包括句子编码器、文档编码器以及句子提取器；其中，句子编码器中使用word2vec得到每个单词的200维向量并使用卷积与池化操作得到句子的编码向量；在文档编码器中使用LSTM网络，句子提取器部分将关键词作为额外信息，参与为句子评分的过程，最终目标是使含有关键词的句子获得更高的得分，即：

其中，u₀、W_e、w′_e为单隐层的神经网络的参数，r代表A_n被选入摘要的概率，

代表μ时刻的句子A_n，h_μ为μ时刻LSTM网络的中间状态，h_μ′代表关键词的加权和，b为关键词的个数，K为每句话被选择到摘要T的概率，概率越大，句子A_n出现在T中的可能性越大；c_i为关键字，当句子中含有的关键词越多，h_μ′越大，最后该句子选入摘要中的概率也就更大；

步骤5：将步骤4中得到的摘要T进行资讯融合；

将摘要T中的句子融合成有逻辑的语段，采用段落模板结合描述逻辑的方法，通过定义描述逻辑，并匹配预先定义好的段落描述模板将摘要T中的句子融合为一个完整并且有意义的段落；所述段落模板为以时间为逻辑或地点、人物为逻辑。

2.根据权利要求1所述的一种基于图像识别与文本融合的博物馆展品智能导览方法，其特征在于：所述步骤2的具体步骤如下：

步骤2.1：使用VGG网络结构模型初始化分类子网络中的特征提取层以及分类层参数，输入训练集中的图片，寻找全连接层中对输入的图像的响应值，值最高的区域则选择为建议注意力区域正方形；

分类子网络f由一个全连接层以及一个softmax层组成：

P(X)＝f(w_c*X)

其中，X为输入的图像，P(X)为分类子网络的输出结果向量，向量的每一个维度表示输入图像属于该维度代表的种类的概率，w_c为图像特征提取过程的参数矩阵；w_c*X包括三段卷积网络，每段卷积网络含有两个卷积层以及一个最大池化层，经过图像特征提取得到的特征图谱分别送入分类子网络f以及注意力建议子网络g；

注意力建议子网络g由两个全连接层组成，其中最后一个全连接层的输出通道为3个，分别对应t_x,t_y,t_l；

[t_x,t_y,t_l]＝g(w_c*X)

其中，t_x,t_y为输出注意力区域中心点的横纵坐标、t_l为输出注意力区域的边长的1/2；

从原图中裁剪提取出注意力区域的过程为：

X^att＝X⊙M(t_x,t_y,t_l)

其中，X^att为注意力区域，X为原始输入图像，M(t_x,t_y,t_l)表示由t_x,t_y,t_l生成的掩膜；

步骤2.2：整个网络以交替的方式进行训练，保持注意力区域建议子网络的参数不变，根据双线性插值的方法对每个注意力区域进行放缩；每个注意力区域建议的输出区域放大到与输入图像X大小相同的像素；

所述放缩方法如下：

首先进行水平方向的插值：

其中R₁＝(x,y₁)；

其中R₂＝(x,y₂)

接下来进行竖直方向的插值，求出p点的像素值：

其中，p(x,y)表示待插点p的坐标为x、y，q(p)为待插点p的像素值,Q₁₁(x₁,y₁)、Q₁₂(x₁,y₂)、Q₂₁(x₂,y₁)、Q₂₂(x₂,y₂)分别为待插点p周围的四个点，x₁,y₁为点Q₁₁的坐标，x₁,y₂为点Q₁₂的坐标，x₂,y₁为点Q₂₁的坐标，x₂,y₂为点Q₂₂的坐标；R₁为p点垂线与Q₁₁和Q₂₁两点形成的线段的焦点，x,y₁为点R₁的坐标；R₂为p点垂线与Q₁₂和Q₂₂两点形成线段的焦点，x,y₂为点R₂的坐标；

步骤2.3：根据放缩后的注意力区域来优化每个尺度的分类损失，每个尺度的学习包括一个分类子网络和一个注意力区域建议子网络；固定卷积层和分类层的参数不变，使用损失函数来优化注意力区域建议子网络；

损失函数L(X)由分类损失与ranking损失两个部分构成，根据损失函数L(X)表示为：

其中，Y^*表示图像的真实种类，Y^s表示在s尺度下的分类结果，P_o ^(s)表示在s尺度下分类子网络输出为真实种类的概率；

ranking损失Lrank(P_o ^(s),P_o ^(s+1))为：

Lrank(P_o ^(s),P_o ^(s+1))＝max(0,P_o ^(s)-P_o ^(s+1)+margin)

其中margin表示阈值。

Images