CN109783670B - 一种图像语义检索方法及*** - Google Patents

Abstract

本发明属于图像检索领域，公开了一种图像语义检索方法及***，重新定义DEF项，将DEF项扩展为包含的基本义原和该词语中的关系义原的并集；以句子为单位建立概念获取前的文档模型；进入建立向量空间模型的句子扫描；逐个扫描句中词语，找是否有对应DEF项以及与DEF项义原相同的词语。在本发明通过路由器登陆所述数据库服务器，通过信息输入模块查询，所述数据库服务器与所述语义应用服务器相连接，用户发送检索指令后，所述语义应用服务器通过所述查询转换子模块转换查询指令，通过所述决策实现模块调用所述数据库服务器完成图像语义检索，通过所述方案动态生成及发布子模块将数据返回用户终端。

Description

一种图像语义检索方法及***

技术领域

本发明属于图像检索领域，尤其涉及一种图像语义检索方法及***。

背景技术

随着计算机、多媒体和网络技术的迅速发展，互联网上出现了海量的数字图像信息资源。近几年图像搜索是增长速度最快的分类搜索应用，全球几大搜索引擎的图像搜索次数均成倍增长。目前，图像检索技术已成为国内外研究的热点。

为了克服基于简单视觉特征的图像检索方法的不足，人们提出了基于语义的图像检索方法，与基于低层物理特征查询不同"语义特征查询是基于文字的查询"包含了自然语言处理和传统图像检索技术。

综上所述，现有技术存在的问题是：

在提取图像特征时，传统的图像切割方法的时间复杂度和空间复杂度较高，需要事先选取分割块儿的数目；基于边缘信息的方法当边缘信息不明显或者噪声对边缘影响较大时,造成语义检索性差的问题

基于人工交互的语义提取方法，需要先对图像进行人工标注，往往工作量很大；基于外部信息的语义提取方法当图像的外部信息不易获得时或外部信息非常少的时候，利用外部信息源的方法就会很困难。

发明内容

针对现有技术存在的问题，本发明提供了一种图像语义检索方法及***，

本发明是这样实现的，一种图像语义检索***，所述图像语义检索***包括语义应用服务器、数据库服务器、路由器和用户终端；

语义应用服务器用于完成图像语义的检索；

数据库服务器，与语义应用服务器相连接；用于存储海量数据；

路由器，利用有线网络连接用户终端，用于连接用户终端与语义应用服务器；

用户终端，通过有线网络与路由器连接，通过路由器登陆所述数据库服务器，通过用户终端集成的信息输入模块查询；

用户发送检索指令后，所述语义应用服务器通过语义应用服务器集成的查询转换子模块转换查询指令，通过语义应用服务器集成的决策实现模块调用所述数据库服务器完成图像语义检索，通过语义应用服务器集成的方案动态生成及发布子模块将数据返回用户终端。

进一步，语义应用服务器利用集成的图像切割模块、图像特征提取模块、图像语义提取模块、图像检索模块完成图像的切割、特征提取、语义提取，并调用数据库服务器完成图像的语义检索。

本发明的另一目的在于提供一种所述图像语义检索***的图像语义检索方法，图像语义检索方法包括：

通过用户终端输入检索的图像，并发出图像检索指令；

将图像检索指令传送至语义应用服务器；

语义应用服务器对接收的图像利用全连接神经网络对降维之后的图像特征图按照像素进行图像切割、基于小波算法对图像特征进行提取、利用机器学习方法对切割后的图像进行语义提取；

语义应用服务器根据提取的图像语义，通过数据库服务器中的数据进行匹配检索，将检索到的结果返回用户终端。

进一步，语义提取的方法包括：

第一步，重新定义DEF项，将DEF项扩展为包含的基本义原和该词语中的关系义原的并集；

第二步，以句子为单位建立概念获取前的文档模型；

第三步，进入建立向量空间模型的句子扫描；

第四步，逐个扫描句中词语，找是否有对应DEF项以及与DEF项义原相同的词语，若有相同词语，暂停词语扫描；

第五步，没有则扫描句中下一个词语；

第六步，全部词语扫描完成后返回第三步；

第七步，提取出词语和对应DEF项，返回第四步。

进一步，第一步重新定义DEF项中，在扩展时过滤掉知网中含义过大、过宽泛的抽象义原；

第二步中，以句子为单位建立概念获取前的文档模型，表示为Sm(W1，W2，…Wn)，S表示句子，W表示句中词语。m为文档所有句子个数，n为当前句中所有词语个数；

第三步中，进入建立向量空间模型的句子扫描，设i初始值为1，设目前正在扫描句子Si；

第四步中，扫描句中词语Wj，j初始值为1，找到所对应的DEF项，并在该句话中扫描是否有与DEF项义原相同的词语；

如果没有则标注词语Wj的概念，j的值加1，继续扫描词语Wj，直到句中所有词语扫描完，进入下一个句子的扫描，令i的值加1，转到第三步；

若扫描到相同词语，暂停词语扫描，转到第四步；

第七步中，提取出词语Wk，找出Wk所对应的DEF项，若词语Wk的DEF项义原词语未包含Wj，则将词语Wj和Wk的概念以Wi的DEF项进行标注；若出现词语Wj，则通过比较两个词语在DEF项描述的义原的距离，采用离基本义原更远的那个词语的DEF项作为这两个词语的概念，令i加1，回到第四步暂停点，继续扫描下一个词语。

进一步，语义应用服务器对接收的图像利用全连接神经网络对降维之后的图像特征图按照像素进行图像切割前需进行：

(1)将检索图像经过多层卷积得到降维之后的特征图；

(2)将全连接层替换为相应的卷积层，最后一层特征图尺寸为5*5*512，对应的全连接层的尺寸为4096，则需要5*5*512*4096个参数，将该参数变成卷积核；依此将传统的带有卷积层和全连接层的网络变成全连接神经网络；

进一步，基于小波算法对图像特征进行提取包括：

1)获得原始图像f(x,y)，并使用db8小波分解f(x,y)，产生4个子频带，LL代表水平和垂直的低频信息；LH代表的水平低频，垂直高频信息；HL代表水平高频，垂直低频信息；HH代表水平高频，垂直高频信息；

2)在得到的四个子频带LL、LH、HL、HH中取LL子频带，做直方图均衡化处理；

3)设置合适的阈值，使用小波阈值去噪技术抑制高频图像中的噪声；

4)将处理过的LL低频图像与其他高频图像进行小波重构，得到图像f1(x,y)；

5)再对图像f1(x,y)进行直方图均衡化处理，得到最终图像特征图像g(x,y)。

步骤2)中，直方图均衡化处理包括：

将灰度直方图中比较集中的灰度分布区间拉伸为全局范围内的均衡分布，重新分配图像的像素值，增强近似图像的整体对比度，改善图像质量；

步骤3)中，小波阈值去噪包括：

a)用小波分解方法将含噪图像进行分解，并获取大尺度低频率下的整个小波系数；

b)采用经典阈值(Universal阈值)进行判断，当各尺度高分辨率下的小波系数值低于设定的阈值时，则认定为噪声，将其置为0；大于设定阈值的则保留；

c)在步骤b)后得到的小波系数通过小波逆变换进行重构，得到最后去噪的图像；

利用机器学习方法对切割后的图像进行语义提取方法利用高斯混合模型分类器进行语义提取；具体包括：

给定样本图片及对应的期望输出语义值让高斯混合模型分类器进行学习；

通过样本数据的学习，高斯混合模型分类器自动建立图像语义提取的规则；

将提取到的图像特征图输入高斯混合模型分类器中，得到相应语义并以句子形式输出图像的语义。

本发明的另一目的在于提供一种实现所述图像语义检索方法的计算机程序。

本发明的另一目的在于提供一种实现所述图像语义检索方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的图像语义检索方法。

综上所述，本发明的优点及积极效果为：

本发明图像语义检索方法中，通过用户终端输入检索的图像，并发出图像检索指令；将图像检索指令传送至语义应用服务器；语义应用服务器对接收的图像利用FNC算法进行切割、基于小波算法对图像特征进行提取、利用机器学习方法对切割后的图像进行语义提取；语义应用服务器根据提取的图像语义，通过数据库服务器中的数据进行匹配检索，将检索到的结果返回用户终端。语义提取的方法中，第一步，重新定义DEF项，将DEF项扩展为包含的基本义原和该词语中的关系义原的并集；第二步，以句子为单位建立概念获取前的文档模型；第三步，进入建立向量空间模型的句子扫描；第四步，逐个扫描句中词语，找是否有对应DEF项以及与DEF项义原相同的词语，若有相同词语，暂停词语扫描；第五步，没有则扫描句中下一个词语；第六步，全部词语扫描完成后返回第三步；第七步，提取出词语和对应DEF项，返回第四步。

通过上述方案，可实现图像语义的快速、准确检索。本发明基于FNC的图像切割方法可以将图像按照像素切割为任意大小；基于小波的图像特征提取方法将所有尺度上的相对矩作为图像特征向量，从而统一了区域和封闭、不封闭结构；利用机器学习方法进行图像语义的提取，避免了人工标注的巨大工作量，同时可应用于所有场景，无需外部信息辅助。

本发明解决了在提取图像特征时，传统的图像切割方法的时间复杂度和空间复杂度较高，需要事先选取分割块儿的数目；基于边缘信息的方法当边缘信息不明显或者噪声对边缘影响较大时,造成语义检索性差的问题。

附图说明

图1是本发明实施例例用的图像语义检索***结构示意图；

图2是本发明实施例提供的图像语义检索方法流程图；

图中：1、语义应用服务器；2、数据库服务器；3、路由器；4、用户终端；5、图像切割模块；6、图像特征提取模块；7、图像语义提取模块；8、图像检索模块；9、信息输入模块。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

基于人工交互的语义提取方法，需要先对图像进行人工标注，往往工作量很大；基于外部信息的语义提取方法当图像的外部信息不易获得时或外部信息非常少的时候，利用外部信息源的方法就会很困难。

为解决上述技术问题，下面结合具体方案对本发明作详细描述。

如图1所示，本发明实施例提供的图像语义检索***包括：

语义应用服务器1；数据库服务器2；路由器3；用户终端4；图像切割模块5；图像特征提取模块6；图像语义提取模块7；图像检索模块8；信息输入模块9；

语义应用服务器1：与数据库服务器2、路由器3连接；利用图像切割模块5、图像特征提取模块6、图像语义提取模块7、图像检索模块8完成图像的切割、特征提取、语义提取，并调用数据库服务器2完成图像的语义检索；

数据库服务器2：与语义应用服务器1相连接；用于存储海量数据。

路由器3：利用有线网络连接用户终端4；用于连接用户终端4与语义应用服务器2；

用户终端4：通过有线网络与路由器3连接，利用信息输入模块9执行查询操作。

如图2所示，本发明实施例提供的图像语义检索方法包括：

S101：通过用户终端输入想检索的图像，并发出图像检索指令；

S102：将图像检索指令传送至语义应用服务器；

S103：语义应用服务器对接收的图像利用全连接神经网络对降维之后的图像特征图按照像素进行图像切割、基于小波算法对图像特征进行提取、利用机器学习方法对切割后的图像进行语义提取；

S104：语义应用服务器根据提取的图像语义，通过数据库服务器中的数据进行匹配检索，将检索到的结果返回用户终端。

步骤S103中，语义应用服务器对接收的图像利用全连接神经网络对降维之后的图像特征图按照像素进行图像切割前需进行：

(1)将检索图像经过多层卷积得到降维之后的特征图；

(2)将全连接层替换为相应的卷积层，例如最后一层特征图尺寸为5*5*512，对应的全连接层的尺寸为4096，则需要5*5*512*4096个参数，将该参数变成卷积核；依此将传统的带有卷积层和全连接层的网络变成全连接神经网络；

(3)利用全连接神经网络对降维之后的图像特征图按照像素进行图像切割。

步骤S103中，本发明实施例提供的基于小波算法对图像特征进行提取包括：

(1)获得原始图像f(x,y)，并使用db8小波分解f(x,y)，产生4个子频带，LL代表水平和垂直的低频信息；LH代表的水平低频，垂直高频信息；HL代表水平高频，垂直低频信息；HH代表水平高频，垂直高频信息；

(2)在得到的四个子频带LL、LH、HL、HH中取LL子频带，做直方图均衡化处理；

(3)设置合适的阈值，使用小波阈值去噪技术抑制高频图像中的噪声；

(4)将处理过的LL低频图像与其他高频图像进行小波重构，得到图像f1(x,y)；

(5)再对图像f1(x,y)进行直方图均衡化处理，得到最终图像特征图像g(x,y)。

步骤(2)中，本发明实施例提供的直方图均衡化处理包括：

将灰度直方图中比较集中的灰度分布区间拉伸为全局范围内的均衡分布，重新分配图像的像素值，增强近似图像的整体对比度，改善图像质量。

步骤(3)中，本发明实施例提供的小波阈值去噪包括：

1)用小波分解方法将含噪图像进行分解，并获取大尺度低频率下的整个小波系数；

2)采用经典阈值(Universal阈值)进行判断，当各尺度高分辨率下的小波系数值低于设定的阈值时，则认定为噪声，将其置为0；大于设定阈值的则保留；

3)在步骤2)后得到的小波系数通过小波逆变换进行重构，得到最后去噪的图像。

步骤S103中，本发明实施例提供的基于机器学习方法的图像语义提取方法包括：

利用高斯混合模型分类器进行语义提取；

(1)给定样本图片及对应的期望输出语义值让高斯混合模型分类器进行学习；

(2)通过样本数据的学习，高斯混合模型分类器自动建立图像语义提取的规则；

(3)将提取到的图像特征图输入高斯混合模型分类器中，得到相应语义并以句子形式输出图像的语义。

步骤S104中，本发明实施例提供的语义检索方法包括：

(1)重新定义DEF项，将DEF项扩展为包含的基本义原和该词语中的关系义原的并集，并过滤“知网”中含义过大、过宽泛的抽象义原；

(2)以句子为单位建立概念获取前的文档模型，表示为Sm(W1，W2，…Wn)，S表示句子，W表示句中词语。m为文档所有句子个数，n为当前句中所有词语个数；

(3)进入建立向量空间模型的句子扫描，设i初始值为1，设目前正在扫描句子Si；

(4)逐个扫描句中词语Wj(j初始值为1)，找是否有对应DEF项以及与DEF项义原相同的词语，若有相同词语，则提取出词语和对应DEF项；若没有则标注词语Wj的概念，j的值加1，继续扫描词语Wj，直到句中所有词语扫描完均没有相同词语，进入下一个句子的扫描，令i的值加1，转到步骤(3)；

步骤(4)中，本发明实施例提供的提取词语与DEF项包括：

提取出词语Wk，找出Wk所对应的DEF项，若词语Wk的DEF项义原词语未包含Wj，则将词语Wj和Wk的概念以Wi的DEF项进行标注；若出现词语Wj，则通过比较两个词语在DEF项描述的义原的距离，采用离基本义原更远的那个词语的DEF项作为这两个词语的概念，令i加1，继续扫描下一个词语。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种图像语义检索***，其特征在于，所述图像语义检索***包括：

语义应用服务器，用于完成图像语义的检索；

数据库服务器，与语义应用服务器相连接；用于存储海量数据；

路由器，利用有线网络连接用户终端，用于连接用户终端与语义应用服务器；

用户终端，通过有线网络与路由器连接，通过路由器登陆所述数据库服务器，通过用户终端集成的信息输入模块查询；用户发送检索指令后，语义应用服务器通过语义应用服务器集成的查询转换子模块转换查询指令，通过语义应用服务器集成的决策实现模块调用数据库服务器完成图像语义检索，通过语义应用服务器集成的方案动态生成及发布子模块将数据返回用户终端；

所述图像语义检索***的图像语义检索方法包括：

通过用户终端输入检索的图像，并发出图像检索指令；

将图像检索指令传送至语义应用服务器；

语义应用服务器对接收的图像利用全连接神经网络对降维之后的图像特征图按照像素进行图像切割、基于小波算法对图像特征进行提取、利用机器学习方法对切割后的图像进行语义提取；

语义应用服务器根据提取的图像语义，通过数据库服务器中的数据进行匹配检索，将检索到的结果返回用户终端；

所述语义提取的方法包括：

第一步，重新定义DEF项，将DEF项扩展为包含的基本义原和关系义原的并集；

第二步，以句子为单位建立概念获取前的文档模型；

第三步，进入建立向量空间模型的句子扫描；

第四步，逐个扫描句中词语，找是否有对应DEF项以及与DEF项义原相同的词语，若有相同词语，暂停词语扫描；

第五步，没有则扫描句中下一个词语；

第六步，全部词语扫描完成后返回第三步；

第七步，提取出词语和对应DEF项，返回第四步。

2.如权利要求1所述的图像语义检索***，其特征在于，语义应用服务器利用集成的图像切割模块、图像特征提取模块、图像语义提取模块、图像检索模块完成图像的切割、特征提取、语义提取，并调用数据库服务器完成图像的语义检索。

3.如权利要求1所述的图像语义检索***，其特征在于，第一步重新定义DEF项中，在扩展时过滤掉知网中含义过大、过宽泛的抽象义原；

第二步中，以句子为单位建立概念获取前的文档模型，表示为Sm(W1，W2，…Wn)，S表示句子，W表示句中词语；m为文档所有句子个数，n为当前句中所有词语个数；

第三步中，进入建立向量空间模型的句子扫描，设i初始值为1，设目前正在扫描句子Si；

第四步中，扫描句中词语Wj，j初始值为1，找到所对应的DEF项，并在该句话中扫描是否有与DEF项义原相同的词语；

如果没有则标注词语Wj的概念，j的值加1，继续扫描词语Wj，直到句中所有词语扫描完，进入下一个句子的扫描，令i的值加1，转到第三步；

若扫描到相同词语，暂停词语扫描，转到第四步；

第七步中，提取出词语Wk，找出Wk所对应的DEF项，若词语Wk的DEF项义原词语未包含Wj，则将词语Wj和Wk的概念以Wi的DEF项进行标注；若出现词语Wj，则通过比较两个词语在DEF项描述的义原的距离，采用离基本义原更远的那个词语的DEF项作为这两个词语的概念，令i加1，回到第四步暂停点，继续扫描下一个词语。

4.如权利要求1所述的图像语义检索***，其特征在于，语义应用服务器对接收的图像利用全连接神经网络对降维之后的图像特征图按照像素进行图像切割前需进行：

将检索图像经过多层卷积得到降维之后的特征图；

将全连接层替换为相应的卷积层，最后一层特征图尺寸为5*5*512，对应的全连接层的尺寸为4096，需要5*5*512*4096个参数，将所述参数变成卷积核；依此将带有卷积层和全连接层的网络变成全连接神经网络。

5.如权利要求1所述的图像语义检索***，其特征在于，基于小波算法对图像特征进行提取包括：

1)获得原始图像f(x,y)，并使用db8小波分解f(x,y)，产生4个子频带，LL代表水平和垂直的低频信息；LH代表的水平低频，垂直高频信息；HL代表水平高频，垂直低频信息；HH代表水平高频，垂直高频信息；

2)在得到的四个子频带LL、LH、HL、HH中取LL子频带，做直方图均衡化处理；

3)设置合适的阈值，使用小波阈值去噪技术抑制高频图像中的噪声；

4)将处理过的LL低频图像与其他高频图像进行小波重构，得到图像f1(x,y)；

5)再对图像f1(x,y)进行直方图均衡化处理，得到最终图像特征图像g(x,y)；

步骤2)中，直方图均衡化处理包括：

将灰度直方图中比较集中的灰度分布区间拉伸为全局范围内的均衡分布，重新分配图像的像素值，增强近似图像的整体对比度，改善图像质量；

步骤3)中，小波阈值去噪包括：

a)用小波分解方法将含噪图像进行分解，并获取大尺度低频率下的整个小波系数；

b)采用Universal阈值进行判断，当各尺度高分辨率下的小波系数值低于设定的阈值时，则认定为噪声，将其置为0；大于设定阈值的则保留；

c)在步骤b)后得到的小波系数通过小波逆变换进行重构，得到最后去噪的图像；

利用机器学习方法对切割后的图像进行语义提取方法利用高斯混合模型分类器进行语义提取；具体包括：

给定样本图片及对应的期望输出语义值让高斯混合模型分类器进行学习；

通过样本数据的学习，高斯混合模型分类器自动建立图像语义提取的规则；

将提取到的图像特征图输入高斯混合模型分类器中，得到相应语义并以句子形式输出图像的语义。

6.一种实现权利要求1-5任意一项所述图像语义检索***的计算机程序。

7.一种实现权利要求1-5任意一项所述图像语义检索***的信息数据处理终端。

8.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-5任意一项所述的图像语义检索***。

Images