CN106599028A - 一种基于视频图像处理的书本内容搜索匹配方法 - Google Patents

Abstract

本发明提供了一种基于视频图像处理的书本内容搜索匹配方法，通过对摄像头捕获的图像进行处理，来对当前摄像头中课本内容图像进行搜索匹配。本方法运用图像处理技术，对摄像头捕获到的图像进行目标图像分割，得到目标图像区域；再用四边缘检测算法从目标图像区域中提取目标图像，并通过基于感知哈希算法对目标图像进行编码，根据目标图像的编码在数据库中进行搜索匹配，从而得到当前书本内容的页码。本发明提供了一种智能化的书本内容搜索匹配方法，特别适合于儿童机器人等教育产品，具有广泛的市场前景和实际意义。

Description

一种基于视频图像处理的书本内容搜索匹配方法

技术领域

本发明涉及到基于图像视频分割技术核哈希编码搜索匹配技术，具体涉及基于视频图像处理的书本内容搜索匹配方法。

背景技术

近年来，我国的机器人教育在全国计算机教育的大力推动下，有了很大的发展，机器人已经成为呼声很高的创新教育平台。目前市场上的儿童机器人主要为小孩提供陪伴功能，例如一些有关教育方面的智能化产品，主要有点读笔、点读机、儿童平板电脑等，这些教育产品虽然技术较成熟，但其本身技术难度并不高，且设备总体功能较简单，而教育功能则相对较少或者过为单一，无法提供复杂一点的教学问题，因此正真为儿童提供学习指导。

另外，市场上有“学霸君”和“作业帮”等移动学习平台可以提供学习解答，但是不管是“学霸君”或者是“作业帮”在使用过程中都需要在课本上进行拍照，然后受用调整截取框截取问题区域，这在交互上存在一些麻烦。因此，针对儿童教育，市场上迫切需要一种能够智能地辅导儿童学习的方案。

因此，本发明提供了一种基于视频图像处理的书本内容搜索匹配方法，通过在教育机器人上安装摄像头，在小孩子做作业时摄像头对书本内容进行拍摄，当小孩子遇到问题时，开启视频图像分割与搜索匹配功能，对拍摄到的图像进行处理，从而得到小孩子当前正在学习的内容在对应书本的页码，此外只需要小孩子说出“第几题”再结合语音识别即可得到题目号，从而得到小孩子当前正在做的题目并可从后台提供答案。

发明内容

本发明的目的在于引进一种全新的、基于视频图像处理的书本内容识别匹配方法。

本发明采用的目的至少通过如下技术方案之一实现。

一种基于视频图像处理的书本内容搜索匹配方法，通过结合基于图像处理的目标图像分割算法和基于边缘检测的目标图像提取算法来对目标图像进行分割和提取，并通过基于感知哈希算法的目标图像搜索匹配算法，对目标图像进行搜索匹配，具体包括如下步骤：

（1）、基于图像处理的书本图像分割算法，对摄像头捕获到的视频序列转换为图像，并设置书本图像区域，再运用图像分割算法对输入图像进行分割，得到目标图像所在区域；

（2）、基于四边缘检测的书本图像提取算法，将分割出来的图像分割转换为灰度图，并基于四边缘检测算法提取目标图像边缘，并减去像素边界，提取出目标图像；

（3）、基于感知哈希算法的书本内容图像搜索匹配算法，通过将整个数据库目标图像进行感知哈希编码并保存编码，再获取目标图像的哈希编码，通过计算目标图像编码与数据库图像编码之间的汉明距离来实现书本内容搜索匹配。

进一步地，步骤（1）所述基于图像处理的目标图像分割算法中，对摄像头捕获到的视频转换为统一格式的图像，并设置目标区域为图像起始和终止坐标减去p个像素得到矩形区域S为前景目标所在区域，这里p取经验值10，矩形区域外输入图像以内的则设定为背景区域，根据前景、背景区域结合图像分割算法可以分割得到前景目标区域，则基于图像处理的目标分割算法步骤如下：

1）、对摄像头捕获到的视频序列转换为统一格式的图像；

2）、设定目标区域边界像素个数p为10，并根据捕获书本图像起始、终止坐标减去p个像素得到前景目标所在矩形区域S，矩形区域S以外，捕获图像以内则判定为背景区域；

3）、根据捕获图像前景区域和背景区域结合图像分割算法分割得到前景目

标区域。

进一步地，步骤（2）所述基于四边缘检测的书本内容图像提取算法中，当目标图像从输入图像中提取出来时，采用四边缘检测的目标图像提取算法来去除图像的背景黑圈部分，先将图像转换为灰度图，此时图像像素值若为0，则为背景黑圈部分，不为0则为前景目标部分，根据该判别方法可以检测出灰度图的最上和最右两个点A、B，再根据坐标矫正公式对图像进行旋转矫正；接着再分别从图像的四条边中间往图像内部检测图像像素值是否为0，为0则判定为背景黑圈部分，非0则 判定为目标图像部分，检测结束得到目标图像的行、列起始坐标startRow,startCol和终止坐标endRow,endCol，再将起始坐标和结束坐标各减去边界值pad，得到书本图像的区域，这里的pad取经验值2，则基于四边缘检测的目标图像提取算法步骤如下：

1）、将图像转换为灰度图；

2）、检测图像中书本内容区域的最上和最右两个点A和B的坐标，根据A和B的坐标以及矫正公式对图像进行旋转矫正；

3）、分别从图像上下左右四条边中间往内部检测像素值，如果像素值不为0，则得到目标图像的起始坐标startRow,startCol和终止坐标endRow,endCol,否则继续执行步骤2）；

4）、将目标图像起始坐标startRow,startCol和终止坐标endRow,endCol分别减去边界值pad得到书本图像的坐标，得到水平的书本图像。

进一步地，步骤（3）所述基于感知哈希算法的目标图像搜索匹配算法中，将数据库中的图像分别经过步骤（1）和步骤（2）提取得到目标图像，先转换为灰度图，进行压缩至12x12大小并进行离散余弦变换计算离散余弦系数，再对左上角8x8的区域进行哈希编码得到图片指纹并存到指纹矩阵中，当输入待搜索匹配图片时，将输入图片再次进行上述步骤得到输入图像哈希指纹，将哈希指纹与指纹矩阵中的每一个指纹进行汉明距离计算，汉明距离最小的指纹所对应的图像则为搜索匹配得到的图像，则基于感知哈希算法的目标图像搜索匹配算法步骤如下：

1）、将数据库中每一张图像通过目标图像分割算法以及四边缘检测的目标图像提取算法得到目标图像；

2）、将目标图像转换为灰度图，并压缩至12x12的图像再计算离散余弦系数得到离散余弦矩阵；

3）、步骤2）中的离散余弦矩阵左上角8x8区域进行哈希编码得到图片指纹并保存到指纹矩阵中；

4）、将输入待搜索匹配图像经过步骤1），2），3）得到目标图像的64位指纹，并将其在指纹矩阵中进行汉明距离计算，如果汉明距离小于当前最小值则更新当前搜索匹配图像下标，继续执行步骤4）直到搜索结束。

与现有技术相比，本发明具有如下有点和技术效果：

本发明运用图像处理技术，对摄像头捕获到的图像进行目标图像分割，得到目标图像区域；再用四边缘检测算法从目标图像区域中提取目标图像，并通过基于感知哈希算法对目标图像进行编码，根据目标图像的编码在数据库中进行搜索匹配，从而得到当前书本内容的页码。本发明提供了一种智能化的书本内容搜索匹配方法，特别适合于儿童机器人等教育产品，具有广泛的市场前景和实际意义。

附图说明

图1是实例中的总体实施方法流程图。

图2是书本图像分割算法流程图；

图3是书本图像提取算法流程图。

具体实施方式

以下结合附图和实例对本发明的具体实施作进一步说明，但本发明的实施和保护不限于此。

本实例的技术方案主要包括：基于图像处理的书本图像分割算法，基于四边缘检测的目标图像提取算法，基于感知哈希算法的目标图像搜索匹配算法，具体如下。

1、基于视频图像处理的书本图像分割算法

基于图像分割的GrapCut算法可以对图像进行RGB三通道混合高斯建模，

并通过不断进行分割估计和高斯模型参数学习的迭代过程来对图像进行目标分割。先给定目标在图像中的给定区域M，区域M内作为目标像素M_U，区域M外作为背景像素M_B，再分别采用一个k个高斯分量的全协方差混合高斯模型来对目标和背景进行建模，这里k取经验值5，得到的模型中每一个像素只能被归类为目标混合高斯模型的某个高斯分量或者背景混合高斯模型的某个分量，再通过对每个像素分配概率最大的混合高斯分量来优化混合高斯模型参数以及分割估计两个过程进行迭代来对目标图像进行分割。

基于上述的图像分割算法，本发明提出了一种基于图像处理的目标分割算法，通过摄像头对书本进行拍摄，并将捕获到的视频帧转换为大小200x200 的jpg 格式的图像。由于拍摄到的图像除了目标图像课本外，还有其他背景图像，必须对其进行分割，设定目标区域边界像素个数p为10，并根据捕获图像起始、终止坐标减去p得到前景目标所在矩形区域S，矩形区域S以外，输入图像以内则判定为背景区域。运用图像分割算法对捕获图像的背景区域和目标区域进行分割，得到目标区域图像，则基于图像处理的书本图像分割算法步骤如下：

1）、对摄像头捕获到的视频序列转换为200x200统一格式大小；

2）、设定目标区域边界p为10，并根据捕获图像起始终止坐标减去边界p

得到前景目标所在矩形区域S，矩形区域S以外，输入图像以内则判定为背景区域；

3）、根据输入图像前景区域和背景区域结合图形分割算法分割得到书本图像。

2、基于四边缘检测的书本图像提取算法

对摄像头捕获的书本内容区域从图像中分割出来之后，图像中背景部分像素值均为0，即呈现黑色；同时，由于摄像头拍摄课本内容时，课本摆放可能不水平，导致拍摄出来的课本包含旋转角度，为了能够从分割得到的目标图像中提取出书本所在区域图像，本发明提出了一种基于四边缘检测的书本内容图像提取算法，来提取出书本内容图像。当目标图像从输入图像中提取出来时，目标书本图像可能包含旋转角度，如果包含旋转角度，书本图像的四个角点坐标分别是目标图像中像素值非0部分的最上、最左、最下和最右四个点，先将图像转换为灰度图再寻找其中非对角线上任意两个点即可通过斜率调整进行图像对齐矫正。本实例中寻找最上以及最右两个点，记为A和B，坐标分别为(x_a,y_a)和(x_b,y_b),矫正公式如下：

通过矫正公式对图像进行矫正，再采用四边缘检测的目标图像提取算法来去除图像的背景黑圈部分，分别从图像的四条边中间往图像内部检测图像像素值是否为0，为0则判定为背景黑圈部分，非0则 判定为目标图像部分，检测结束得到目标图像的行、列起始坐标startRow,startCol和终止坐标endRow,endCol，再将起始坐标和结束坐标各减去边界值pad，得到书本图像的区域，这里的pad取经验值2，从而得到书本内容图像的坐标，能够提取出书本内容图像，则基于四边缘检测的目标图像提取算法步骤如下：

1）、将图像转换为灰度图；

2）、检测图像中书本内容区域的最上和最右两个点A和B的坐标，根据A和B的坐标以及矫正公式对图像进行旋转矫正；

3）、分别从图像上下左右四条边中间往内部检测像素值，如果像素值不为0，则得到目标图像的起始坐标startRow,startCol和终止坐标endRow,endCol,否则继续执行步骤2）；

4）、将目标图像起始坐标startRow,startCol和终止坐标endRow,endCol分别减去边界值pad得到书本图像的坐标，得到水平的书本图像。

3、基于感知哈希算法的书本内容搜索匹配算法

将书本内容图像从摄像头捕获得到的图像中提取出来后，为了识别出当前书本内容是课本第几页，本发明提出了一种基于感知哈希算法的书本内容搜索匹配算法。先将提取得到的书本内容图像进行压缩至12x12大小并进行离散余弦变换计算离散余弦系数，图像压缩的大小可以根据实际进行选取，但应当大于等于8x8,而且不宜过大。接着再对左上角8x8的区域进行哈希编码，先算出压缩完的12x12的图像像素值的平均值mean，对左上角8x8的每个像素值，如果大于平均值mean，则设置为字符1，如果小于平均值mean，则设置为字符0，从而得到64位的哈希编码。为了实现图像的搜索匹配，需要先将课本的每一页图像进行64位哈希编码并保到数据库中，搜索匹配时将输入图像进行哈希编码得到哈希指纹，再将哈希指纹与数据库中的每一个哈希指纹计算汉明距离，汉明距离最小的哈希指纹对应的图像判定为与当前输入图像最匹配的图像，从而得到当前输入图像为课本内容的第几页，则基于感知哈希算法的书本内容搜索匹配算法步骤如下：

1）、将数据库中每一张图像通过目标图像分割算法以及四边缘检测的目标图像提取算法得到目标图像；

2）、将目标图像转换为灰度图，并压缩至12x12的图像再计算离散余弦系数得到离散余弦矩阵；

3）、步骤2）中的离散余弦矩阵左上角8x8区域进行哈希编码得到图片指纹并保存到指纹矩阵中；

4）、将输入待搜索匹配图像经过步骤1），2），3）得到目标图像的64位指纹，并将其在指纹矩阵中进行汉明距离计算，如果汉明距离小于当前最小值则更新当前搜索匹配图像下标，继续执行步骤4）。

本发明只需利用摄像头进行对课本所在区域进行正面拍摄，利用基于OpenCv开发的软件对摄像头获取的视频流进行图像视频处理。对拍摄图像进行图像分割、旋转矫正、课本内容提取、感知哈希编码等处理，再将编码得到的哈希指纹在哈希指纹数据库中进行搜索匹配，与编码得到的哈希指纹汉明距离最小的指纹所对应的图像则为搜索匹配得到的图像，从而得到当前课本内容的页数。

如图1总体实施方法流程所示，本实例运用图像处理技术，对摄像头捕获到的图像进行目标图像分割，得到目标图像区域；再用四边缘检测算法从目标图像区域中提取目标图像，并通过基于感知哈希算法对目标图像进行编码，根据目标图像的编码在数据库中进行搜索匹配，从而得到当前书本内容的页码。本实例通过在教育机器人上安装摄像头，在小孩子做作业时摄像头对书本内容进行拍摄，当小孩子遇到问题时，开启视频图像分割与搜索匹配功能，对拍摄到的图像进行处理，从而得到小孩子当前正在学习的内容在对应书本的页码，此外只需要小孩子说出“第几题”再结合语音识别即可得到题目号，从而得到小孩子当前正在做的题目并可从后台提供答案。

具体步骤如下：

一、基于图像处理的书本图像分割算法

首先通过摄像头对书本进行拍摄，并将捕获到的视频帧转换为大小200x200 的jpg 格式的图像。设定目标区域边界p为10，得到图形啊背景区域和前景区域，再运用图像分割算法对捕获图像的背景区域和目标区域进行分割，得到目标区域图像，如图2所示。

二、基于四边缘检测的书本图像提取算法

当目标图像从输入图像中提取出来时，先将图像转换为灰度图再寻找其中非对角线上任意两个点，通过斜率调整进行图像对齐矫正。再采用四边缘检测的目标图像提取算法来去除图像的背景黑圈部分，检测结束得到目标图像的行、列起始坐标startRow,startCol和终止坐标endRow,endCol，再将起始坐标和结束坐标各减去边界值pad，得到书本图像的区域，从而提取出书本内容图像，如图3所示。

三、基于感知哈希算法的书本内容搜索匹配算法

将书本内容图像从摄像头捕获得到的图像中提取出来后，先将提取得到的书本内容图像进行压缩至12x12大小并进行离散余弦变换计算离散余弦系数，再对左上角8x8的区域进行哈希编码，为了实现图像的搜索匹配，需要先将课本的每一页图像进行64位哈希编码并保到数据库中，搜索匹配时将输入图像进行哈希编码得到哈希指纹，再将哈希指纹与数据库中的每一个哈希指纹计算汉明距离，汉明距离最小的哈希指纹判定为与当前输入图像最匹配的图像，从而得到当前输入图像为课本内容的第几页。

Claims (4)

1.一种基于视频图像处理的书本内容搜索匹配方法，通过结合基于图像处理的目标图像分割算法和基于边缘检测的目标图像提取算法来对目标图像进行分割和提取，并通过基于感知哈希算法的目标图像搜索匹配算法，对目标图像进行搜索匹配，其特征在于包括如下步骤：

（1）、基于图像处理的书本图像分割算法，对摄像头捕获到的视频序列转换为图像，并设置书本图像区域，再运用图像分割算法对输入图像进行分割，得到目标图像所在区域；

（2）、基于四边缘检测的书本图像提取算法，将分割出来的图像分割转换为灰度图，并基于四边缘检测算法提取目标图像边缘，并减去像素边界，提取出目标图像；

（3）、基于感知哈希算法的书本内容图像搜索匹配算法，通过将整个数据库目标图像进行感知哈希编码并保存编码，再获取目标图像的哈希编码，通过计算目标图像编码与数据库图像编码之间的汉明距离来实现书本内容搜索匹配。

2.根据权利要求1所述的基于视频图像处理的书本内容搜索匹配方法，其特征在于步骤（1）所述基于图像处理的目标图像分割算法中，对摄像头捕获到的视频转换为统一格式的图像，并设置目标区域为图像起始和终止坐标减去p个像素得到矩形区域S为前景目标所在区域，这里p取经验值10，矩形区域外输入图像以内的则设定为背景区域，根据前景、背景区域结合图像分割算法可以分割得到前景目标区域，则基于图像处理的目标分割算法步骤如下：

1）、对摄像头捕获到的视频序列转换为统一格式的图像；

2）、设定目标区域边界像素个数p为10，并根据捕获书本图像起始、终止坐标减去p个像素得到前景目标所在矩形区域S，矩形区域S以外，捕获图像以内则判定为背景区域；

3）、根据捕获图像前景区域和背景区域结合图像分割算法分割得到前景目

标区域。

3.根据权利要求1所述的基于视频图像处理的书本内容搜索匹配方法，其特征在于步骤（2）所述基于四边缘检测的书本内容图像提取算法中，当目标图像从输入图像中提取出来时，采用四边缘检测的目标图像提取算法来去除图像的背景黑圈部分，先将图像转换为灰度图，此时图像像素值若为0，则为背景黑圈部分，不为0则为前景目标部分，根据该判别方法可以检测出灰度图的最上和最右两个点A、B，再根据坐标矫正公式对图像进行旋转矫正；接着再分别从图像的四条边中间往图像内部检测图像像素值是否为0，为0则判定为背景黑圈部分，非0则 判定为目标图像部分，检测结束得到目标图像的行、列起始坐标startRow,startCol和终止坐标endRow,endCol，再将起始坐标和结束坐标各减去边界值pad，得到书本图像的区域，这里的pad取经验值2，则基于四边缘检测的目标图像提取算法步骤如下：

1）、将图像转换为灰度图；

2）、检测图像中书本内容区域的最上和最右两个点A和B的坐标，根据A和B的坐标以及矫正公式对图像进行旋转矫正；

3）、分别从图像上下左右四条边中间往内部检测像素值，如果像素值不为0，则得到目标图像的起始坐标startRow,startCol和终止坐标endRow,endCol,否则继续执行步骤2）；

4）、将目标图像起始坐标startRow,startCol和终止坐标endRow,endCol分别减去边界值pad得到书本图像的坐标，得到水平的书本图像。

4.根据权利要求1所述的基于视频图像处理的书本内容搜索匹配方法，其特征在于步骤（3）所述基于感知哈希算法的目标图像搜索匹配算法中，将数据库中的图像分别经过步骤（1）和步骤（2）提取得到目标图像，先转换为灰度图，进行压缩至12x12大小并进行离散余弦变换计算离散余弦系数，再对左上角8x8的区域进行哈希编码得到图片指纹并存到指纹矩阵中，当输入待搜索匹配图片时，将输入图片再次进行上述步骤得到输入图像哈希指纹，将哈希指纹与指纹矩阵中的每一个指纹进行汉明距离计算，汉明距离最小的指纹所对应的图像则为搜索匹配得到的图像，则基于感知哈希算法的目标图像搜索匹配算法步骤如下：

1）、将数据库中每一张图像通过目标图像分割算法以及四边缘检测的目标图像提取算法得到目标图像；

2）、将目标图像转换为灰度图，并压缩至12x12的图像再计算离散余弦系数得到离散余弦矩阵；

3）、步骤2）中的离散余弦矩阵左上角8x8区域进行哈希编码得到图片指纹并保存到指纹矩阵中；

4）、将输入待搜索匹配图像经过步骤1），2），3）得到目标图像的64位指纹，并将其在指纹矩阵中进行汉明距离计算，如果汉明距离小于当前最小值则更新当前搜索匹配图像下标，继续执行步骤4）直到搜索结束。