CN110956138B - 一种基于家教设备的辅助学习方法及家教设备 - Google Patents

Abstract

本发明提供了一种基于家教设备的辅助学习方法及家教设备，包括：当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的页码定位信息；根据所述页码定位信息，确定所述点读页面的目标页码；根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。本发明改善了家教设备的点读功能和听写功能，使用户体验更好。

Description

一种基于家教设备的辅助学习方法及家教设备

技术领域

本发明涉及智能教育领域，尤指一种基于家教设备的辅助学习方法及家教设备。

背景技术

随着社会的不断发展，人们逐渐认识到教育对于人类发展以及家庭的重要性，各种电子学习产品，比如家教机等，在家庭中已得到广泛应用。

现有技术中提供点读功能的家教机，按如下步骤实现点读功能：

1、开启前置摄像头，进入点读模式；

2、当用户在预设区域的书本上进行点读时，为了识别用户手指所指内容，先进行拍照，获取图片信息；

3、采用图像搜索技术在与该书本对应的图片库(存储了书本每个页码的图片)中搜索与该图片信息匹配的图片；

4、当找到完全相同或大概率相同的图片时，根据该图片确定对应的书本页码；

5、将用户手指坐标信息与该页码中的勾勒框坐标信息进行比对，确定点读的勾勒框，再通过语音方式教学对应的勾勒框的内容。

但是，在第三步进行图片匹配时，由于各种干扰因素的影响，比如，书页被严重涂改，会导致图片匹配的时间较长，识别图片所属页码的速度较慢，从而延长了点读的响应时间，影响了用户体验。

发明内容

本发明的目的是提供一种基于家教设备的辅助学习方法及家教设备，用于解决点读操作中页码识别慢的问题。

本发明提供的技术方案如下：

一种基于家教设备的辅助学习方法，包括：当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的页码定位信息；根据所述页码定位信息，确定所述点读页面的目标页码；根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

进一步地，所述的根据所述页码定位信息，确定所述点读页面的目标页码，包括：所述页码定位信息为勾勒框信息；根据所述点读图片的勾勒框信息与所述书本的点读信息，确定所述点读页面的页码范围；所述点读信息包括所述书本中每个存在勾勒框的页面所对应的页码和勾勒框数的配对信息集合；当所述页码范围不唯一时，将所述点读图片在所述页码范围的预设页码图片中搜索，得到与所述点读图片匹配的目标页码图片；根据所述目标页码图片所属的页码，确定所述点读页面的目标页码。

进一步地，所述的获取用户的点读图片之前，包括：识别所述书本中每页的每个段落文字区域；对所述段落文字区域生成勾勒框，并确定所述勾勒框的坐标信息。

进一步地，当进入听写模式，且检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；通过图像处理技术识别所述目标图片的文字区域；对所述文字区域进行文字切割，得到若干文字信息；采用预先构建的文字识别模型对所述文字信息进行识别；将识别结果与听写内容进行比对，得到对应的评判结果。

进一步地，所述的通过图像处理技术识别所述目标图片的文字区域包括：将所述目标图片灰度化，得到对应的灰度图；对所述灰度图进行边缘检测，得到书写内容的矩形轮廓；将所述矩形轮廓所包围的区域作为文字区域。

进一步地，所述文字识别模型是用一定数量的包含所述用户书写的文字、且标记了对应的文字内容的图像作为样本数据进行训练后得到。

本发明还提供一种家教设备，包括：点读图片获取模块，用于当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的页码定位信息；页码识别模块，用于根据所述页码定位信息，确定所述点读页面的目标页码；点读播放模块，用于根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

进一步地，还包括：点读信息制作模块，用于识别所述书本中每页的每个段落文字区域；对所述段落文字区域生成勾勒框，并确定所述勾勒框的坐标信息。

进一步地，还包括：听写目标获取模块，用于当进入听写模式，且检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；文字区域识别模块，用于通过图像处理技术识别所述目标图片的文字区域；文字切割模块，用于对所述文字区域进行文字切割，得到若干文字信息；文字识别模块，用于采用预先构建的文字识别模型对所述文字信息进行识别；评判模块，用于将识别结果与听写内容进行比对，得到对应的评判结果。

进一步地，还包括：文字识别模型构建模块，用于用一定数量的包含所述用户书写的文字、且标记了对应的文字内容的图像作为样本数据进行训练后，得到所述文字识别模型。

通过本发明提供的一种基于家教设备的辅助学习方法及家教设备，能够带来以下有益效果：

1、本发明通过识别点读页面的页码定位信息，可以快速确定目标页码，相对传统的通过搜图方式确定目标页码，页码搜索速度快，从而改善了用户的点读体验。

2、本发明通过自动生成勾勒框、勾勒框的坐标信息，可以提高勾勒框的生成效率。

3、本发明通过图像处理技术快速确定文字区域，提高了文字区域的检测效率；根据用户书写的文字训练构建的文字识别模型，可以更快更准确的识别用户书写的文字，提高文字识别的成功率。

4、本发明通过对听写内容的自动报读和自动批改，提高了听写作业的自动化，解放了家长等人力资源。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于家教设备的辅助学习方法及家教设备的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明的一种基于家教设备的辅助学习方法的一个实施例的流程图；

图2是本发明的一种基于家教设备的辅助学习方法的另一个实施例的流程图；

图3是本发明的一种基于家教设备的辅助学习方法的另一个实施例的流程图；

图4是本发明的一种基于家教设备的辅助学习方法的另一个实施例的流程图；

图5是本发明的一种家教设备的一个实施例的结构示意图；

图6是本发明的一种家教设备的另一个实施例的结构示意图；

图7是本发明的一种家教设备的另一个实施例的结构示意图；

图8是图7中听写辅助装置的一个实施例的结构示意图；

图9是图7中听写辅助装置的另一个实施例的结构示意图；

附图标号说明：

010.家教设备，100.点读辅助装置，200.听写辅助装置，210.听写目标获取模块，220.文字区域识别模块，230.文字切割模块，240.文字识别模块，250.评判模块，260.听写报读模块，270.文字识别模型构建模块，110.点读图片获取模块，120.页码识别模块，130.点读播放模块，140.点读信息制作模块。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

在本发明的一个实施例中，如图1所示，一种基于家教设备的辅助学习方法，包括：

步骤S20当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的页码定位信息；

步骤S30根据所述页码定位信息，确定所述点读页面的目标页码；

步骤S40根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

具体地，家教设备具有点读功能。当用户需要使用点读功能时，先开启前置摄像头，然后进入点读模式，选择目标课本，便可直接进行点读。当检测到用户在进行点读操作时，优选地，在手指稳定后，家教设备使用前置摄像头进行拍照，获取用户的点读图片，该点读图片包括点读页面的页码定位信息。

页码定位信息有多种形式，比如，为页码信息，通过识别该页码信息可快速确定点读页面的目标页码；又比如，为点读页面的勾勒框信息，根据勾勒原则，判断并统计点读图片上的勾勒框数，从而获得点读页面的勾勒框数，根据点读页面的勾勒框数与页码的对应关系，可快速确定点读页面的目标页码；又比如，页码信息与点读页码的勾勒框信息的结合。

以勾勒框信息为例，比如，页码1有3个勾勒框、页码2有5个勾勒框，其他页码有其他不同的勾勒框数；假设勾勒原则为每个段落一个勾勒框，统计点读图片上的段落数，得到勾勒框数，此时点读图片上的段落数实为点读图片的勾勒框信息；假设点读图片上有5个段落，故有5个勾勒框，则可得出点读页面为页码2。点读图片的勾勒框信息根据预先设置的勾勒原则获得，勾勒原则有多种，比如勾勒原则为每句话一个勾勒框，则可根据点读图片上的句号数得到点读图片的勾勒框信息。

通过已知的图像识别技术获取点读图片中的用户手指坐标信息。目标页码的各个勾勒框坐标信息作为一种点读信息，可预先制作好。判断用户手指坐标信息与目标页码的各个勾勒框坐标信息之间的关系，比如，包含/不包含，从而确定目标勾勒框。当目标勾勒框确定后，播放与该目标勾勒框对应的点读语音文件，从而完成一次点读操作。可选地，在播放的同时，还可以在家教设备的屏幕上呈现相关的内容。

本实施例，通过识别点读页面的页码定位信息，可以快速确定目标页码，相对传统的通过搜图方式确定目标页码，页码搜索速度快，从而改善了用户的点读体验。

在本发明的一个实施例中，如图2所示，一种基于家教设备的辅助学习方法，包括：

步骤S10制作所述书本的点读信息，所述点读信息包括所述书本中每个存在勾勒框的页面所对应的页码和勾勒框数的配对信息集合；

步骤S21当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的勾勒框信息；

步骤S31根据所述点读图片的勾勒框信息与所述书本的点读信息，确定所述点读页面的页码范围；

步骤S32当所述页码范围不唯一时，将所述点读图片在所述页码范围的预设页码图片中搜索，得到与所述点读图片匹配的目标页码图片；

步骤S33根据所述目标页码图片所属的页码，确定所述点读页面的目标页码；

步骤S40根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

具体地，为了实现点读功能，需要预先制作书本的点读信息，并将该点读信息加载至家教设备上。

点读信息包括每页的勾勒框及每个勾勒框的坐标信息。通常，勾勒框是由人工利用软件，比如绘图软件，进行画框，并记录勾勒框的坐标信息，但这种方式人工成本很高、效率低，也容易出错。通过图像处理技术可自动识别书本中每页的每个段落文字区域，并按预设规则对段落文字区域自动生成至少一个勾勒框，并确定所述勾勒框的坐标信息，这样可以提高点读信息的生成效率。

可选地，将每页图片转成灰度图，将灰度图二值化，即将低于阈值的像素值设为背景值，将高于阈值的像素值设为前景值；将每个不相连的前景区域记为一个段落文字区域。

可选地，使用边缘检测模板识别段落文字区域。由于文字区域的两边像素的灰度值明显不同，故可采用边缘检测模板检测出水平方向的边缘和垂直方向的边缘，这些边缘所包围的区域即为一段落文字区域。使用边缘检测模板相对图像二值化方法能在各种非理想的阶梯边缘下更准确的检查边缘。

对段落文字区域生成勾勒框，并确定勾勒框的坐标信息，比如，用矩形框表示勾勒框，用矩形框的左上角、右下角坐标确定勾勒框的坐标。

在制作目标课本的点读信息时，将存在勾勒框的页面的页码与对应页的勾勒框数之间的映射关系作为一种点读信息记录下来。比如，以页码为数组的下标，对应数组存储对应页码所在页的勾勒框总数。也可以，以勾勒框数作为索引，找到存在该勾勒框数的页码。这样可以根据点读图片的勾勒框信息，确定点读页面的勾勒框数，再根据点读页面的勾勒框数，和预存的页码与页面的勾勒框数之间的关系，快速确定点读页面所属的页码范围，相对普通的搜图技术，可以快速定位点读页面的页码范围。

当页码范围不唯一时，比如存在多个页面具有相同的勾勒框数，将点读图片与该页码范围的每个预设页码图片进行匹配，从而进一步确定目标页码。预设页码图片是指书本中每一页的图片，它也可以作为一种点读信息，预先制作好。

本实施例，通过自动生成勾勒框、勾勒框的坐标信息，可以提高勾勒框的生成效率；通过记录书本中各个页码的勾勒框信息，在根据点读图片确定页码时，可以实现对页码位置的快速定位，从而改善用户的点读体验。

在本发明的一个实施例中，如图3所示，一种基于家教设备的辅助学习方法，包括：

步骤S200当进入听写模式，且检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；

步骤S300通过图像处理技术识别所述目标图片的文字区域；

步骤S400对所述文字区域进行文字切割，得到若干文字信息；

步骤S500采用预先构建的文字识别模型对所述文字信息进行识别；

步骤S600将识别结果与听写内容进行比对，得到对应的评判结果。

具体地，家教设备除了具有前述实施例所述的点读功能外，还具有自动听写功能，可以辅助学生进行听写作业，比如，在听写过程结束之后，触发家教设备对书写内容进行批改。本实施例描述家教设备提供的听写辅助方法。

当家教设备收到用户触发的听写批改指令时，通过家教设备上的摄像头对处于目标位置的作业本进行拍摄，获取包含书写内容的目标图片。

通常，目标图片除了书写内容外，还有很多无效的空白区域，如果从头到尾逐步检测、进行文字识别，浪费了时间，效率不高。本实施例利用已知的图像处理技术快速确定文字区域，去除非文字区域的内容，只对文字区域的内容进行文字识别，这样可以大幅度提升检测速度，提高听写批改效率。

可采用如下图像处理技术确定文字区域：如果目标图片是彩图，则先将彩图转换成灰度图。否则，直接将灰度图二值化。即将低于阈值的像素值设为背景值，将高于阈值的像素值设为前景值。通过二值化将目标图片分割成两种区域：背景区域和前景区域，前景区域(对应前景值的像素点所构成的区域)即为目标图片的文字区域。

在文字区域确定后，对文字区域的内容进行文字切割，得到一个个文字。采用文字识别模型对一个个文字进行识别，将识别结果与对应的听写内容进行比对，从而给出对错的评判，并将评判结果标注在目标图片上。文字识别模型可采用通用的、或公开的文字识别软件。

本实施例，通过在学生听写结束后由家教设备对听写内容进行自动批改，从而提高批改效率；还通过图像处理技术快速确定文字区域，相比从头到尾的检测识别，可提高文字区域的检测效率，进一步提高批改效率。

在本发明的另一个实施例中，如图4所示，一种基于家教设备的辅助学习方法，包括：

步骤S100当进入听写模式，且收到用户触发的听写指令时，基于听写内容进行报读；

步骤S210当检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；

步骤S310将所述目标图片灰度化，得到对应的灰度图；

步骤S320对所述灰度图进行边缘检测，得到书写内容的矩形轮廓；

步骤S330将所述矩形轮廓所包围的区域作为文字区域；

步骤S400对所述文字区域进行文字切割，得到若干文字信息；

步骤S510用一定数量的包含所述用户书写的文字、且标记了对应的文字内容的图像作为样本数据对深度学习网络进行训练；

步骤S520当深度学习网络收敛后得到文字识别模型；

步骤S530采用文字识别模型对所述文字信息进行识别；

步骤S600将识别结果与听写内容进行比对，得到对应的评判结果。

具体地，家教设备除了具有前述实施例所述的点读功能外，还具有自动听写功能，可以辅助学生进行听写作业，比如，使用家教设备进行听写内容的报读、听写后的书写内容的批改。本实施例描述家教设备提供的听写辅助方法。

当家教设备收到用户触发的听写指令时，基于听写内容对应的音频数据按预设的频率进行报读，报读的速度可预先设置。学生根据听到的发音可在作业本上、或家教设备上进行书写。

当所有的听写内容报读结束之后，家教设备自动获取包含用户书写内容的目标图片，然后对目标图片上的书写内容进行批改。如果是在家教设备上进行书写，家教设备上可在报读结束之后自动按图像格式保存书写内容。如果是在作业本上书写，则在报读结束之后自动触发家教设备上的摄像头对处于目标位置的作业本进行拍摄，获取包含书写内容的目标图片。

通常，目标图片除了书写内容外，还有很多无效的空白区域，如果从头到尾逐步检测、进行文字识别，浪费了时间，效率不高。本实施例利用已知的图像边缘检测技术快速确定文字区域，去除非文字区域的内容，只对文字区域的内容进行文字识别，这样可以大幅度提升检测速度，提高听写批改效率。

首先将目标图片灰度化。由于文字区域的两边像素的灰度值明显不同，故可采用边缘检测模板检测出水平方向的边缘和垂直方向的边缘，由此得到书写内容的矩形轮廓，该矩形轮廓所包围的区域即为文字区域。常用的边缘检测模板有Roberts算子、Sobel算子等。由于受多方面因素影响，比如：拍摄时曝光不够、或周围光线太强、或有阴影等，目标图片的边缘并不总是理想的阶梯边缘，在这种情况下，使用边缘检测模板相对图像二值化方法能更准确的检查边缘。

在文字区域确定后，对文字区域的内容进行文字切割，得到一个个文字。采用文字识别模型对一个个文字进行识别，将识别结果与对应的听写内容进行比对，从而给出对错的评判，并将评判结果标注在目标图片上。文字识别模型可采用通用的、或公开的文字识别软件。

优选地，采用根据用户书写习惯特征构建的文字识别模型对一个个文字进行识别，可提高文字识别的速度和准确率。再将识别结果与对应的听写内容进行比对，从而给出对错的评判，并将评判结果标注在目标图片上。

根据如下方法识别用户书写习惯特征，构建文字识别模型:

首先收集一定数量的包含用户书写文字的图像，比如，从学生作业上收集，对学生作业进行拍摄；或从家教设备上收集，将用户在家教设备上书写的文字信息以图片的方式保存。

对上述图像的文字内容进行标注，可采用人工方式标注、或使用通用的文字识别软件来标注，以提高标注效率；如此得到训练样本数据。

采用深度学习网络架构构建文字识别模型；用训练样本数据训练深度学习网络，当网络收敛时，网络参数确定，得到文字识别模型。

由于该模型学习了用户书写的习惯特征，所以能更快更准确地识别用户所书写的文字。

采用深度学习网络可以避免人为去提取图像的特征数据。当然也可以采用其他机器学习网络，比如，增强学习网络，构建文字识别模型。

本实施例，通过对听写内容的自动报读和书写内容的自动批改，可进一步提高听写作业的效率，解放了家长等人力资源；通过图像边缘检测技术可更准确地确定文字区域，缩小检测范围，从而提高检测速度；根据用户书写的文字训练构建的文字识别模型，可识别用户的书写习惯特征，更快更准确的识别用户书写的文字，从而进一步提高了批改的准确率和效率。

在本发明的一个实施例中，如图5所示，一种家教设备010，包括点读辅助装置100。

点读辅助装置100具体包括：

点读图片获取模块110，用于当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的页码定位信息；

页码识别模块120，用于根据所述页码定位信息，确定所述点读页面的目标页码；

点读播放模块130，用于根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

具体地，家教设备具有点读功能。当用户需要使用点读功能时，先开启前置摄像头，然后进入点读模式，选择目标课本，便可直接进行点读。当检测到用户在进行点读操作时，优选地，在手指稳定后，家教设备使用前置摄像头进行拍照，获取用户的点读图片，该点读图片包括点读页面的页码定位信息。

页码定位信息有多种形式，比如，为页码信息，通过识别该页码信息可快速确定点读页面的目标页码；又比如，为点读页面的勾勒框信息，根据勾勒原则，判断并统计点读图片上的勾勒框数，从而获得点读页面的勾勒框数，根据点读页面的勾勒框数与页码的对应关系，可快速确定点读页面的目标页码；又比如，页码信息与点读页码的勾勒框信息的结合。

以勾勒框信息为例，比如，页码1有3个勾勒框、页码2有5个勾勒框，其他页码有其他不同的勾勒框数；假设勾勒原则为每个段落一个勾勒框，统计点读图片上的段落数，得到勾勒框数，此时点读图片上的段落数实为点读图片的勾勒框信息；假设点读图片上有5个段落，故有5个勾勒框，则可得出点读页面为页码2。

通过已知的图像识别技术获取点读图片中的用户手指坐标信息。目标页码的各个勾勒框坐标信息作为一种点读信息，可预先制作好。判断用户手指坐标信息与目标页码的各个勾勒框坐标信息之间的关系，比如，包含/不包含，从而确定目标勾勒框。当目标勾勒框确定后，播放与该目标勾勒框对应的点读语音文件，从而完成一次点读操作。可选地，在播放的同时，还可以在家教设备的屏幕上呈现相关的内容。

本实施例，通过识别点读页面的页码定位信息，可以快速确定目标页码，相对传统的通过搜图方式确定目标页码，页码搜索速度快，从而改善了用户的点读体验。

在本发明的另一个实施例中，如图6所示，一种家教设备010，包括点读辅助装置100。

点读辅助装置100具体包括：

点读信息制作模块140，用于制作所述书本的点读信息，所述点读信息包括所述书本中每个存在勾勒框的页面所对应的页码和勾勒框数的配对信息集合；

点读图片获取模块110，用于当进入点读模式，且检测到用户对书本进行点读操作时，获取用户的点读图片，所述点读图片包括点读页面的勾勒框信息；

页码识别模块120，用于根据所述点读图片的勾勒框信息与所述书本的点读信息，确定所述点读页面的页码范围；当所述页码范围不唯一时，将所述点读图片在所述页码范围的预设页码图片中搜索，得到与所述点读图片匹配的目标页码图片；根据所述目标页码图片所属的页码，确定所述点读页面的目标页码；

点读播放模块130，用于根据所述点读图片中的用户手指坐标信息与所述目标页码的勾勒框坐标信息，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

具体地，为了实现点读功能，需要预先制作书本的点读信息，并将该点读信息加载至家教设备上。

点读信息包括每页的勾勒框及每个勾勒框的坐标信息。通常，勾勒框是由人工利用软件，比如绘图软件，进行画框，并记录勾勒框的坐标信息，但这种方式人工成本很高、效率低，也容易出错。通过图像处理技术可自动识别书本中每页的每个段落文字区域，并按预设规则对段落文字区域自动生成至少一个勾勒框，并确定所述勾勒框的坐标信息，这样可以提高点读信息的生成效率。

可选地，将每页图片转成灰度图，将灰度图二值化，即将低于阈值的像素值设为背景值，将高于阈值的像素值设为前景值；将每个不相连的前景区域记为一个段落文字区域。

可选地，使用边缘检测模板识别段落文字区域。由于文字区域的两边像素的灰度值明显不同，故可采用边缘检测模板检测出水平方向的边缘和垂直方向的边缘，这些边缘所包围的区域即为一段落文字区域。使用边缘检测模板相对图像二值化方法能在各种非理想的阶梯边缘下更准确的检查边缘。

对段落文字区域生成勾勒框，并确定勾勒框的坐标信息，比如，用矩形框表示勾勒框，用矩形框的左上角、右下角坐标确定勾勒框的坐标。

在制作目标课本的点读信息时，将存在勾勒框的页面的页码与对应页的勾勒框数之间的映射关系作为一种点读信息记录下来。比如，以页码为数组的下标，对应数组存储对应页码所在页的勾勒框总数。也可以，以勾勒框数作为索引，找到存在该勾勒框数的页码。这样可以根据点读图片的勾勒框信息，确定点读页面的勾勒框数，再根据点读页面的勾勒框数，和预存的页码与页面的勾勒框数之间的关系，快速确定点读页面所属的页码范围，相对普通的搜图技术，可以快速定位点读页面的页码范围。

当页码范围不唯一时，比如存在多个页面具有相同的勾勒框数，将点读图片与该页码范围的每个预设页码图片进行匹配，从而进一步确定目标页码。预设页码图片是指书本中每一页的图片，它也可以作为一种点读信息，预先制作好。

本实施例，通过自动生成勾勒框、勾勒框的坐标信息，可以提高勾勒框的生成效率；通过记录书本中各个页码的勾勒框信息，在根据点读图片确定页码时，可以实现对页码位置的快速定位，从而改善用户的点读体验。

在本发明的另一个实施例中，如图7、图8所示，一种家教设备010，除了包括前述的点读辅助装置100，还包括听写辅助装置200。

听写辅助装置200具体包括：

听写目标获取模块210，用于当进入听写模式，且检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；

文字区域识别模块220，用于通过图像处理技术识别所述目标图片的文字区域；

文字切割模块230，用于对所述文字区域进行文字切割，得到若干文字信息；

文字识别模块240，用于采用预先构建的文字识别模型对所述文字信息进行识别；

评判模块250，用于将识别结果与听写内容进行比对，得到对应的评判结果。

具体地，家教设备除了包括前述实施例所述的点读辅助装置外，还包括听写辅助装置。听写辅助装置可以辅助学生进行听写作业，比如，在听写过程结束之后，触发家教设备对书写内容进行批改。

当家教设备收到用户触发的听写批改指令时，通过家教设备上的摄像头对处于目标位置的作业本进行拍摄，获取包含书写内容的目标图片。

通常，目标图片除了书写内容外，还有很多无效的空白区域，如果从头到尾逐步检测、进行文字识别，浪费了时间，效率不高。本实施例利用已知的图像处理技术快速确定文字区域，去除非文字区域的内容，只对文字区域的内容进行文字识别，这样可以大幅度提升检测速度，提高听写批改效率。

可采用如下图像处理技术确定文字区域：如果目标图片是彩图，则先将彩图转换成灰度图。否则，直接将灰度图二值化。即将低于阈值的像素值设为背景值，将高于阈值的像素值设为前景值。通过二值化将目标图片分割成两种区域：背景区域和前景区域，前景区域(对应前景值的像素点所构成的区域)即为目标图片的文字区域。

在文字区域确定后，对文字区域的内容进行文字切割，得到一个个文字。采用文字识别模型对一个个文字进行识别，将识别结果与对应的听写内容进行比对，从而给出对错的评判，并将评判结果标注在目标图片上。文字识别模型可采用通用的、或公开的文字识别软件。

本实施例，通过在学生听写结束后由家教设备对听写内容进行自动批改，从而提高批改效率；还通过图像处理技术快速确定文字区域，相比从头到尾的检测识别，可提高文字区域的检测效率，进一步提高批改效率。

在本发明的另一个实施例中，如图7、图9所示，一种家教设备010，除了包括前述的点读辅助装置100，还包括听写辅助装置200。

听写辅助装置200具体包括：

听写报读模块260，用于当进入听写模式，且收到用户触发的听写指令时，基于听写内容进行报读；

听写目标获取模块210，用于当检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；

文字区域识别模块220，用于将所述目标图片灰度化，得到对应的灰度图；对所述灰度图进行边缘检测，得到书写内容的矩形轮廓；将所述矩形轮廓所包围的区域作为文字区域；

文字切割模块230，用于对所述文字区域进行文字切割，得到若干文字信息；

文字识别模型构建模块270，用于用一定数量的包含所述用户书写的文字、且标记了对应的文字内容的图像作为样本数据对深度学习网络进行训练；当深度学习网络收敛后得到文字识别模型；

文字识别模块240，用于采用文字识别模型对所述文字信息进行识别；

评判模块250，用于将识别结果与听写内容进行比对，得到对应的评判结果。

具体地，家教设备除了包括前述实施例所述的点读辅助装置外，还包括听写辅助装置。听写辅助装置具有自动听写功能，可以辅助学生进行听写作业，使用家教设备进行听写内容的报读、听写后的书写内容的批改。

当家教设备收到用户触发的听写指令时，基于听写内容对应的音频数据按预设的频率进行报读，报读的速度可预先设置。学生根据听到的发音可在作业本上、或家教设备上进行书写。

当所有的听写内容报读结束之后，家教设备自动获取包含用户书写内容的目标图片，然后对目标图片上的书写内容进行批改。如果是在家教设备上进行书写，家教设备上可在报读结束之后自动按图像格式保存书写内容。如果是在作业本上书写，则在报读结束之后自动触发家教设备上的摄像头对处于目标位置的作业本进行拍摄，获取包含书写内容的目标图片。

通常，目标图片除了书写内容外，还有很多无效的空白区域，如果从头到尾逐步检测、进行文字识别，浪费了时间，效率不高。本实施例利用已知的图像边缘检测技术快速确定文字区域，去除非文字区域的内容，只对文字区域的内容进行文字识别，这样可以大幅度提升检测速度，提高听写批改效率。

首先将目标图片灰度化。由于文字区域的两边像素的灰度值明显不同，故可采用边缘检测模板检测出水平方向的边缘和垂直方向的边缘，由此得到书写内容的矩形轮廓，该矩形轮廓所包围的区域即为文字区域。常用的边缘检测模板有Roberts算子、Sobel算子等。由于受多方面因素影响，比如：拍摄时曝光不够、或周围光线太强、或有阴影等，目标图片的边缘并不总是理想的阶梯边缘，在这种情况下，使用边缘检测模板相对图像二值化方法能更准确的检查边缘。

在文字区域确定后，对文字区域的内容进行文字切割，得到一个个文字。采用文字识别模型对一个个文字进行识别，将识别结果与对应的听写内容进行比对，从而给出对错的评判，并将评判结果标注在目标图片上。文字识别模型可采用通用的、或公开的文字识别软件。

优选地，采用根据用户书写习惯特征构建的文字识别模型对一个个文字进行识别，可提高文字识别的速度和准确率。再将识别结果与对应的听写内容进行比对，从而给出对错的评判，并将评判结果标注在目标图片上。

根据如下方法识别用户书写习惯特征，构建文字识别模型:

首先收集一定数量的包含用户书写文字的图像，比如，从学生作业上收集，对学生作业进行拍摄；或从家教设备上收集，将用户在家教设备上书写的文字信息以图片的方式保存。

对上述图像的文字内容进行标注，可采用人工方式标注、或使用通用的文字识别软件来标注，以提高标注效率；如此得到训练样本数据。

采用深度学习网络架构构建文字识别模型；用训练样本数据训练深度学习网络，当网络收敛时，网络参数确定，得到文字识别模型。

由于该模型学习了用户书写的习惯特征，所以能更快更准确地识别用户所书写的文字。

采用深度学习网络可以避免人为去提取图像的特征数据。当然也可以采用其他机器学习网络，比如，增强学习网络，构建文字识别模型。

本实施例，通过对听写内容的自动报读和书写内容的自动批改，可进一步提高听写作业的效率，解放了家长等人力资源；通过图像边缘检测技术可更准确地确定文字区域，缩小检测范围，从而提高检测速度；根据用户书写的文字训练构建的文字识别模型，可识别用户的书写习惯特征，更快更准确的识别用户书写的文字，从而进一步提高了批改的准确率和效率。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种基于家教设备的辅助学习方法，其特征在于，包括：

当进入点读模式，且检测到用户对放在预设区域的书本进行点读操作时，通过对所述预设区域拍照获取用户的点读图片，所述点读图片包括用户手指和点读页面的勾勒框信息；

根据所述点读图片中点读页面的勾勒框信息与所述书本的点读信息，确定所述点读页面的页码范围；当所述页码范围不唯一时，将所述点读图片在所述页码范围的预设页码图片中搜索，得到与所述点读图片匹配的目标页码图片；根据所述目标页码图片所属的页码，确定所述点读页面的目标页码；所述点读信息包括每页的勾勒框、每个勾勒框的坐标信息以及所述书本中每个存在勾勒框的页面所对应的页码和勾勒框数的配对信息集合；

根据所述点读图片中的用户手指坐标信息与所述目标页码对应页面的各个勾勒框的坐标信息之间的关系，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

2.根据权利要求1所述的基于家教设备的辅助学习方法，其特征在于，所述的获取用户的点读图片之前，包括：

识别所述书本中每页的每个段落文字区域；

对所述段落文字区域生成勾勒框，并确定所述勾勒框的坐标信息。

3.根据权利要求1所述的基于家教设备的辅助学习方法，其特征在于：

当进入听写模式，且检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；

通过图像处理技术识别所述目标图片的文字区域；

对所述文字区域进行文字切割，得到若干文字信息；

采用预先构建的文字识别模型对所述文字信息进行识别；

将识别结果与听写内容进行比对，得到对应的评判结果。

4.根据权利要求3所述的基于家教设备的辅助学习方法，其特征在于，所述的通过图像处理技术识别所述目标图片的文字区域包括：

将所述目标图片灰度化，得到对应的灰度图；

对所述灰度图进行边缘检测，得到书写内容的矩形轮廓；

将所述矩形轮廓所包围的区域作为文字区域。

5.根据权利要求3所述的基于家教设备的辅助学习方法，其特征在于：

所述文字识别模型是用一定数量的包含所述用户书写的文字、且标记了对应的文字内容的图像作为样本数据进行训练后得到。

6.一种家教设备，其特征在于，包括：

点读图片获取模块，用于当进入点读模式，且检测到用户对放在预设区域的书本进行点读操作时，通过对所述预设区域拍照获取用户的点读图片，所述点读图片包括用户手指和点读页面的勾勒框信息；

页码识别模块，用于根据所述点读图片中点读页面的勾勒框信息与所述书本的点读信息，确定所述点读页面的页码范围；当所述页码范围不唯一时，将所述点读图片在所述页码范围的预设页码图片中搜索，得到与所述点读图片匹配的目标页码图片；根据所述目标页码图片所属的页码，确定所述点读页面的目标页码；所述点读信息包括每页的勾勒框、每个勾勒框的坐标信息以及所述书本中每个存在勾勒框的页面所对应的页码和勾勒框数的配对信息集合；

点读播放模块，用于根据所述点读图片中的用户手指坐标信息与所述目标页码对应页面的各个勾勒框的坐标信息之间的关系，确定目标勾勒框，并播放与所述目标勾勒框对应的点读语音文件。

7.根据权利要求6所述的家教设备，其特征在于，还包括：

点读信息制作模块，用于识别所述书本中每页的每个段落文字区域；对所述段落文字区域生成勾勒框，并确定所述勾勒框的坐标信息。

8.根据权利要求6所述的家教设备，其特征在于，还包括：

听写目标获取模块，用于当进入听写模式，且检测到用户听写完成时，获取目标图片，所述目标图片包含用户书写的听写内容；

文字区域识别模块，用于通过图像处理技术识别所述目标图片的文字区域；

文字切割模块，用于对所述文字区域进行文字切割，得到若干文字信息；

文字识别模块，用于采用预先构建的文字识别模型对所述文字信息进行识别；

评判模块，用于将识别结果与听写内容进行比对，得到对应的评判结果。

9.根据权利要求8所述的家教设备，其特征在于，还包括：

文字识别模型构建模块，用于用一定数量的包含所述用户书写的文字、且标记了对应的文字内容的图像作为样本数据进行训练后，得到所述文字识别模型。