CN110555435B - 一种点读互动实现方法 - Google Patents

Abstract

本发明公开了一种点读互动实现方法，包括以下步骤：获得封面页特征库和内容页特征库；利用点读笔点的图像采集组件采集封面页的局部图像，处理器对局部图像进行特征点提取，将提取到特征点与封面页特征库进行匹配，获得印刷品信息；利用点读笔的图像采集组件采集到页码图像，处理器对页码图像中的数字进行OCR(Optical Character Recognition,光学字符识别)识别，获得页码信息；利用点读笔点触印刷品内容页上感兴趣的区域，图像采集组件采集到感兴趣区域的区域图像，处理器对区域图像进行特征点提取，将提取到特征点与内容页特征库进行匹配，根据匹配结果获得点读位置信息。本发明无需在书本上预制编码，摆脱了因编码局限性对点读内容的限制。

Description

一种点读互动实现方法

技术领域

本发明涉及多媒体教育技术领域，特别涉及一种点读互动实现方法。

背景技术

点读是利用光学图像识别技术和数字语音技术实现的智能阅读和学习方式，它体现了电子多媒体技术与教育行业的完美融合，实现了科技以人为本的理念。

就现有的点读设备而言，通常需要对书本做预先处理，在书本上印制或黏贴特定的编码，否则将无法识别书本内容。另外，由于编码规则的限制，使得总编码数量有限，对于内容较多的书本来说，读识编码的方式就表现出了明显的局限性。

发明内容

本发明的目的在于提供一种点读互动实现方法，其无需在书本上预制编码，摆脱了因编码局限性对点读内容的限制。

为实现上述目的，本发明采用以下技术方案：

一种点读互动实现方法，其基于点读笔实现，所述点读笔包括笔主体、压力感应组件及图像采集组件，所述笔主体内设有处理器和存储器，所述压力感应组件设于所述笔主体的笔尖位置，所述图像采集组件设于所述笔主体上且位于笔尖的上方，所述压力感应组件、图像采集组件及存储器分别连接所述处理器，该方法包括以下步骤：

S1、预先针对印刷品的封面页和内容页分别进行特征点提取，从而获得封面页特征库和内容页特征库，并存储到所述存储器；

S2、利用点读笔点触印刷品封面页，图像采集组件采集封面页的局部图像，处理器对局部图像进行特征点提取，将提取到特征点与封面页特征库进行匹配，获得印刷品信息；

S3、利用点读笔点触印刷品内容页的页码位置，图像采集组件采集到页码图像，处理器对页码图像中的数字进行OCR识别，获得页码信息；

S4、利用点读笔点触印刷品内容页上感兴趣的区域，图像采集组件采集到感兴趣区域的区域图像，处理器对区域图像进行特征点提取，将提取到特征点与内容页特征库进行匹配，根据匹配结果获得点读位置信息。

优选地，其还包括步骤S5、基于印刷品信息、页码信息及点读位置信息获取对应的音频文件，并进行播放。

进一步地，所述步骤S1、S2及S4中的特征点提取通过以下方法实现：

图像灰度化处理；

利用关键点检测算法提取特征点；

基于直方图统计进行特征点方向识别；

对特征点进行描述，获得特征描述子。

优选地，所述的利用关键点检测算法提取特征点具体为：

将原始图像不断降阶采样，得到一系列大小不一的图像，并进一步对这些图像进行不同尺度的高斯滤波，同一图像的相近尺度高斯滤波后两个图像相减，得到高斯差分图像，进行极值检测，满足曲率条件的极值点即为特征点。

优选地，所述步骤S1具体包括以下分步骤：

S11、针对印刷品的封面页，对封面页图像进行特征点提取，然后对特征描述子进行降维处理，降维处理后进行哈希变换、排序，并存储到封面页特征库；

S12、针对印刷品的内容页，先将内容页图像其分割成一组图像块，分割方法包括但不限于均匀分割、选定区域分割，然后对图像块进行特征点提取，最后对特征描述子进行降维处理，降维处理后进行哈希变换、排序，并存储到内容页特征库。

优选地，所述步骤S2中的将提取到特征点与封面页特征库进行匹配具体通过以下方法实现：

将所述局部图像上提取到的特征点对应的特征描述子进行降维处理、哈希变换、排序，然后将其哈希值与封面页特征库中所存储特征点的哈希值进行比对，若距离小于预先设定的第一阈值，则认定该对特征点匹配；

统计匹配的特征点数量，若大于预先设定的第二阈值，则认定该局部图像与相应的封面页图像匹配。

优选地，所述步骤S4中的将提取到特征点与内容页特征库进行匹配具体通过以下方法实现：

将所述区域图像上提取到的特征点对应的特征描述子进行降维处理、哈希变换、排序，然后将其哈希值与内容页特征库中所存储特征点的哈希值进行比对，若距离小于预先设定的第一阈值，则认定该对特征点匹配；

统计匹配的特征点数量，若大于预先设定的第二阈值，则认定该区域图像与相应的图像块匹配。

优选地，所述哈希变换采用局部敏感哈希函数，将多维度特征映射为单一数值，并且满足多维度空间距离远的点对在映射后数值差距大，距离近的点对在映射后数值差距小。

优选地，所述降维处理采用主成分分析降维方法，筛选出高维度特征中具备高区分度的若干维特征。

采用上述技术方案后，本发明与背景技术相比，具有如下优点：

1、本发明基于图像特征点提取与匹配的方式来实现对点读内容区域的识别，无需在书本上预制编码，摆脱了因编码局限性对点读内容的限制。

2、本发明对封面页、页码、感兴趣的点读区域分别进行识别，实现了“书籍-页码-内容位置”的查询方式，识别匹配过程数据处理量小，处理效率高。

3、本发明在特征点提取操作之后，进行了降维、哈希变换、排序处理，降低了数据量，便于提升后续识别匹配步骤的效率。

附图说明

图1为本发明的工作流程示意图；

图2为本发明封面页识别的流程示意图；

图3为本发明内容页的流程示意图；

图4为本发明图像采集组件安装高度计算方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

本发明公开了的点读互动实现方法是其基于点读笔实现。为便于更好的理解本发明，在对点读互动实现方法进行详细描述之前，先对点读笔的结构进行阐述。

本发明涉及的点读笔包括笔主体、压力感应组件及图像采集组件，笔主体内设有处理器和存储器，压力感应组件设于笔主体的笔尖位置，图像采集组件设于笔主体上且位于笔尖的上方，压力感应组件、图像采集组件及存储器分别连接处理器。点读笔使用时，用户将点读笔点到印刷品上，压力感应组件检测到压力信号并传送给处理器，处理器控制图像采集组件进行拍照。在本实施例中，压力感应组件采用压电传感器，图像采集组件采用摄像头。图像采集组件的高度决定直接影响到拍摄结果以及识别结果，对此说明如下(配合图4所示)：

摄像头在点读笔的高度h确定办法如下：当选用视角为

的常见镜头时，要拍摄半径约为r区域才能保证图像块匹配成功，r的大小取决于内容分割，必须满足

以A4纸为例，w对应A4的宽度等于21cm，l对应A4的长度等于29cm，假定单个A4页面需要划分为20个子图区域，每个区域大小约为5cm*5cm，为了冗余(有部分必然被遮挡)，必须保证摄像头在垂直向下拍时捕捉区域的半径约为5cm，然后根据此来确定摄像头的高度h。

当选用视角为60度的常见镜头时，要拍摄半径约为5cm区域，进一步考虑握笔高度和倾斜度，摄像头可以设置更高些，可取h＝9cm。

配合图1-3所示，本发明的点读互动实现方法包括以下步骤：

S1、预先针对印刷品的封面页和内容页分别进行特征点提取，从而获得封面页特征库和内容页特征库，并存储到存储器。该步骤具体包括以下分步骤：

S11、针对印刷品的封面页，对封面页图像进行特征点提取，然后对特征描述子进行降维处理，降维处理后进行哈希变换、排序，并存储到封面页特征库。

S12、针对印刷品的内容页，先将内容页图像其分割成一组图像块，然后对图像块进行特征点提取，最后对特征描述子进行降维处理，降维处理后进行哈希变换、排序，并存储到内容页特征库。

S2、利用点读笔点触印刷品封面页，图像采集组件采集封面页的局部图像，处理器对局部图像进行特征点提取，将提取到特征点与封面页特征库进行匹配，获得印刷品信息(即确定了哪一本书籍)。上述的将提取到特征点与封面页特征库进行匹配具体通过以下方法实现：

将局部图像上提取到的特征点对应的特征描述子进行降维处理、哈希变换、排序，然后将其哈希值与封面页特征库中所存储特征点的哈希值进行比对，若距离小于预先设定的第一阈值，则认定该对特征点匹配；

统计匹配的特征点数量，若大于预先设定的第二阈值，则认定该局部图像与相应的封面页图像匹配。

S3、利用点读笔点触印刷品内容页的页码位置，图像采集组件采集到页码图像，处理器对页码图像中的数字进行OCR识别，获得页码信息。

S4、利用点读笔点触印刷品内容页上感兴趣的区域，图像采集组件采集到感兴趣区域的区域图像，处理器对区域图像进行特征点提取，将提取到特征点与内容页特征库进行匹配，根据匹配结果获得点读位置信息。上述的将提取到特征点与内容页特征库进行匹配具体通过以下方法实现：

将区域图像上提取到的特征点对应的特征描述子进行降维处理、哈希变换、排序，然后将其哈希值与内容页特征库中所存储特征点的哈希值进行比对，若距离小于预先设定的第一阈值，则认定该对特征点匹配；

统计匹配的特征点数量，若大于预先设定的第二阈值，则认定该区域图像与相应的图像块匹配。

在本实施例中，步骤S1、S2及S4中涉及的特征点提取动作通过以下方法实现：

a.图像灰度化处理。由此采集到图像为彩色图像(以RGB三通道彩色图像为例)，需要先进行灰度化处理，以便于后续步骤的执行。在本实施例中，灰度化的计算公式采用：

Gray＝(R*30+G*59+B*11+50)/100

其中，Gray为灰度值。

b.利用关键点检测算法提取特征点。将原始图像不断降阶采样，得到一系列大小不一的图像，并进一步对这些图像进行不同尺度的高斯滤波，同一图像的相近尺度高斯滤波后两个图像相减，得到高斯差分图像，进行极值检测，满足曲率条件的极值点即为特征点。高斯差分图像D(x，y，σ)操作如下，G(x，y，σ)为高斯滤波函数，I(x，y)对应原始图像，L(x，y，σ)表示经过尺度σ的高斯滤波后图像：

D(x，y，σ)＝(G(x，y，σ(s+1))-G(x，y，σ(s)))*I(x，y)

＝L(x，y，σ(s+1))-L(x，y，σ(s))

c.基于直方图统计进行特征点方向识别。在完成特征点的梯度计算后，使用直方图统计邻域内像素的梯度和方向。梯度直方图将0～360度的方向范围分为18个柱(bins)，其中每柱20度。直方图的峰值方向代表了特征点的主方向。L为关键点所在的尺度空间值，每个像素点的梯度m和方向θ计算公式如下：

θ(x，y)＝tan^-1((L(x，y+1)-L(x，y-1))/L(x+1，y)-L(x-1，y)))

对特征点进行描述，获得特征描述子。对特征点确定一个大小为21×21的邻域，旋转这个邻域到主方向；计算邻域内像素点的水平梯度与垂直梯度，这样每个特征点确定了一个大小为19×19×2＝722维的特征描述子；特征点的描述包括坐标、尺度、方向。在此要说明的是，由于获得特征描述子是高维的(本实施例中是722维)，为便于后续处理所以要做降维和哈希变换，本实施例中，采用主成分分析降维方法进行降维处理，即图2中的PCA，降维处理后为20维，通过局部敏感哈希变换后，即图2中的LSH，将20维的特征描述子映射为1个32位浮点值。PCA的具体操作如下：

先使用大量采集图像的特征数据构造特征矩阵X，求得矩阵X的特征值，特征值按大小排序，并求得特征值对应的特征向量构成变换矩阵W.已有变换矩阵W情况下，对于任意一幅采集图像的特征数据Y，使得Z＝YW^T，原特征矩阵Y通过投影到矩阵Z，高维度的特征矩阵Y缩减为低维度新特征矩阵Z，且新特征是线性无关的。

LSH的具体操作如下：

(1)选取满足(d1，d2，p1，p2)敏感的局部敏感哈希函数；

(2)根据对查找结果的准确率确定哈希表的个数L，每个表内的哈希函数的个数K，以及跟敏感哈希自身有关的参数；

(3)将所有数据经过局部敏感哈希函数哈希到相应的桶内，构成了一个或多个哈希表；

匹配计算距离过程如下：

计算查询特征点的哈希值与数据库中2L个数据之间的距离，距离定义为但不限于两数差的绝对值，小于设定的第二阈值则判定为该特征点对匹配。

S5、基于印刷品信息、页码信息及点读位置信息获取对应的音频文件，并进行播放。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种点读互动实现方法，其特征在于，其基于点读笔实现，所述点读笔包括笔主体、压力感应组件及图像采集组件，所述笔主体内设有处理器和存储器，所述压力感应组件设于所述笔主体的笔尖位置，所述图像采集组件设于所述笔主体上且位于笔尖的上方，所述图像采集组件采用摄像头，所述摄像头在所述点读笔的高度h满足条件：h > r * tan(90º- Ø/2)，其中，r为拍摄半径，r的大小取决于内容分割的子区域的边长，Ø为摄像头镜头视角的角度，所述压力感应组件、图像采集组件及存储器分别连接所述处理器，该方法包括以下步骤：

S1、预先针对印刷品的封面页和内容页分别进行特征点提取，从而获得封面页特征库和内容页特征库，并存储到所述存储器；

所述步骤S1具体包括以下分步骤：

S11、针对印刷品的封面页，对封面页图像进行特征点提取，然后对特征描述子进行降维处理，降维处理后进行哈希变换、排序，并存储到封面页特征库；

S12、针对印刷品的内容页，先将内容页图像其分割成一组图像块，分割方法包括但不限于均匀分割、选定区域分割，然后对图像块进行特征点提取，最后对特征描述子进行降维处理，降维处理后进行哈希变换、排序，并存储到内容页特征库；

S2、利用点读笔点触印刷品封面页，图像采集组件采集封面页的局部图像，处理器对局部图像进行特征点提取，将提取到特征点与封面页特征库进行匹配，获得印刷品信息；

S3、利用点读笔点触印刷品内容页的页码位置，图像采集组件采集到页码图像，处理器对页码图像中的数字进行OCR识别，获得页码信息；

S4、利用点读笔点触印刷品内容页上感兴趣的区域，图像采集组件采集到感兴趣区域的区域图像，处理器对区域图像进行特征点提取，将提取到特征点与内容页特征库进行匹配，根据匹配结果获得点读位置信息；

所述步骤S4中的将提取到特征点与内容页特征库进行匹配具体通过以下方法实现：

将所述区域图像上提取到的特征点对应的特征描述子进行降维处理、哈希变换、排序，然后将其哈希值与内容页特征库中所存储特征点的哈希值进行比对，若距离小于预先设定的第一阈值，则认定该对特征点匹配；

统计匹配的特征点数量，若大于预先设定的第二阈值，则认定该区域图像与相应的图像块匹配。

2.如权利要求1所述的一种点读互动实现方法，其特征在于：其还包括步骤S5、基于印刷品信息、页码信息及点读位置信息获取对应的音频文件，并进行播放。

3.如权利要求1所述的一种点读互动实现方法，其特征在于，所述步骤S1、S2及S4中的特征点提取通过以下方法实现：

图像灰度化处理；

利用关键点检测算法提取特征点；

基于直方图统计进行特征点方向识别；

对特征点进行描述，获得特征描述子。

4.如权利要求3所述的一种点读互动实现方法，其特征在于，所述的利用关键点检测算法提取特征点具体为：

将原始图像不断降阶采样，得到一系列大小不一的图像，并进一步对这些图像进行不同尺度的高斯滤波，同一图像的相近尺度高斯滤波后两个图像相减，得到高斯差分图像，进行极值检测，满足曲率条件的极值点即为特征点。

5.如权利要求3所述的一种点读互动实现方法，其特征在于，所述步骤S2中的将提取到特征点与封面页特征库进行匹配具体通过以下方法实现：

将所述局部图像上提取到的特征点对应的特征描述子进行降维处理、哈希变换、排序，然后将其哈希值与封面页特征库中所存储特征点的哈希值进行比对，若距离小于预先设定的第一阈值，则认定该对特征点匹配；

统计匹配的特征点数量，若大于预先设定的第二阈值，则认定该局部图像与相应的封面页图像匹配。

6.如权利要求5所述的一种点读互动实现方法，其特征在于，所述降维处理采用主成分分析降维方法。

Images