CN106710372A - 拼音卡片识别方法、装置以及终端设备 - Google Patents

Abstract

本发明提供了一种拼音卡片识别方法、装置以及终端设备，涉及图像识别技术领域，该拼音卡片识别方法包括：获取拼音卡片图像；根据拼音卡片图像，确定拼音卡片内容；判断拼音卡片内容与预设学习内容是否相同；如果是，则发出放置正确提示信号；如果否，则发出放置错误提示信号。通过这种方法，能够对用户放置于摄像头下的拼音卡片进行识别，并给予及时的反馈，增强学习过程的互动感。

Description

拼音卡片识别方法、装置以及终端设备

技术领域

本发明涉及图像识别技术领域，尤其是涉及一种拼音卡片识别方法、装置以及终端设备。

背景技术

汉语拼音是学习汉字的重要工具，然而纯拼音的学习是抽象的、枯燥的，面对刚刚学习拼音，特别是活泼好动、注意力难以持久的儿童来说，学习拼音的过程绝对是一个挑战。

现有的拼音学习应用软件种类繁多，但往往都是通过儿童用户触碰移动设备来体验学习的过程，这类过程缺少互动体验，并且长时间的学习会对儿童的视力造成很大的伤害。

发明内容

有鉴于此，本发明的目的在于提供一种拼音卡片识别方法、装置以及终端设备，能够对用户放置于摄像头下的拼音卡片进行识别，并给予及时的反馈，增强学习过程的互动感。

第一方面，本发明实施例提供了一种拼音卡片识别方法，该方法包括：

获取拼音卡片图像；

根据拼音卡片图像，确定拼音卡片内容；

判断拼音卡片内容与预设学习内容是否相同；

如果是，则发出放置正确提示信号；

如果否，则发出放置错误提示信号。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，在根据拼音卡片图像，提取拼音卡片内容之前，还包括：

采用双边滤波方式，对拼音卡片图像进行降噪处理。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据拼音卡片图像，确定拼音卡片内容，具体包括：

对拼音卡片图像做直线检测，保留满足预设长度的直线；

从满足预设长度的直线中筛选出能够构成正方形的直线，确定拼音卡片的区域；

根据区域，计算拼音卡片的特征向量；

将特征向量与预设模板向量进行匹配，确定拼音卡片内容。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，从满足预设长度的直线中筛选出能够构成正方形的直线，确定拼音卡片的区域，具体包括：

初始化所有满足预设长度的直线，标记为0；

以任一条满足预设长度的直线为起始直线，标记为1，保存为l0，查找与起始直线l0垂直的直线；

判断垂直的直线与起始直线l0的距离是否小于预设距离阈值；

如果是，则将垂直的直线标记为1，保存为l1；

以l1为起始直线，重复上述过程，以此类推，直到查找到连续四条被标记为1的直线l0、l1、l2、l3，否则，将之前所有直线进行初始化操作；

从所有连续四条被标记为1的直线中，筛选出能够构成正方形的直线，将直线围成的区域确定为拼音卡片的区域。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，从所有连续四条被标记为1的直线中，筛选出能够构成正方形的直线，具体包括：

将连续四条被标记为1的直线分别标记为l0、l1、l2、l3；

判断l0、l1、l2、l3是否满足以下条件：

l0平行于l2，l1平行于l3；

l0分别垂直于l1、l3，l2分别垂直于l1、l3；

l0到l2距离与l1到l3的距离相等；

将满足上述条件的连续四条被标记为1的直线，作为构成正方形的直线。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据区域，计算拼音卡片的特征向量，具体包括：

将区域划分为若干子区域；

对每个子区域进行二值化运算，得到二值图；

根据二值图，提取拼音卡片的特征向量。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，将特征向量与预设模板向量进行匹配，确定拼音卡片的内容，具体包括：

将特征向量与预设模板向量进行加减运算；

判断运算的结果是否小于预设阈值；

如果是，则特征向量与预设模板向量匹配成功，将预设模板内容确定为拼音卡片的内容。

第二方面，本发明实施例还提供一种拼音卡片识别装置，该装置包括：

图像获取单元，用于获取拼音卡片图像；

内容确定单元，用于根据拼音卡片图像，确定拼音卡片内容；

判断单元，用于判断拼音卡片内容与预设学习内容是否相同；

提示单元，用于在判断单元判断结果为是时，发出放置正确提示信号；在判断单元判断结果为否时，发出放置错误提示信号。

第三方面，本发明实施例还提供一种终端设备，该终端设备包括：处理器以及摄像头；

处理器上安装有如权利要求8的拼音卡片识别装置；

摄像头用于采集用户根据预设学习内容放置在摄像头下面的拼音卡片的图像，并将图像发送至处理器。

结合第三方面，本发明实施例提供了第三方面的第一种可能的实施方式，其中，终端设备为无屏电视；

无屏电视，用于对拼音卡片进行识别，并对用户拼音学习过程进行投影。

本发明实施例提供的技术方案带来了以下有益效果：本发明实施例提供的拼音卡片识别方法、装置以及终端设备中，首先获取拼音卡片的图像；然后根据拼音卡片图像，确定拼音卡片的内容；接着对拼音卡片的内容与预设的拼音学习内容进行对比，判断拼音卡片内容与预设学习内容是否相同；如果拼音卡片内容与预设学习内容相同，那么就发出放置正确提示信号，以提示用户该拼音卡片放置正确；否则，发出放置错误提示信号。通过这种方法，能够对用户根据预设学习内容而放置的拼音卡片进行识别，并给予及时的反馈，增强学习过程的互动感。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种拼音卡片识别方法的流程图；

图2为本发明实施例二提供的一种拼音卡片识别方法的流程图；

图3为本发明实施例二提供的一种拼音卡片识别方法中提取特征向量的方法流程图；

图4为本发明实施例二提供的一种拼音卡片识别方法中确定卡片内容的方法流程图；

图5为本发明实施例三提供的一种拼音卡片识别装置的结构框图；

图6为本发明实施例四提供的一种终端设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有的拼音学习应用往往通过儿童用户触碰移动设备来体验学习的过程，而这类过程缺少强的互动体验。基于此，本发明实施例提供的一种拼音卡片识别方法、装置以及终端设备，能够对用户放置于摄像头下的拼音卡片进行识别，并给予及时的反馈，增强学习过程的互动感。

实施例一：

本发明实施例提供一种拼音卡片识别方法，该方法应用于包括处理器和摄像头的终端设备中，如图1所示，该方法包括以及步骤：

S11：获取拼音卡片图像。

在具体实现的时候，本发明实施例所提供的拼音卡片识别方法一般在处理器端被执行，在处理器获取拼音卡片之前，需要用户先根据拼音学习内容的提示信息选择相应的拼音卡片放置于摄像头下方，摄像头采集到该拼音卡片的图像后发送给处理器。

具体的，上述拼音学习内容根据难易程度被设置成不同的关卡，或者根据语文课本的学习顺序进行设置，使儿童用户达到渐进的学习效果。针对预设的拼音学习内容，预先制作好了47张音型卡片和4张单调卡片。

其中，学习内容包括音型学习和音调学习，音型的学习需要用户根据终端设备界面显示的学习内容或者语音提示，从47张拼音卡片中选出对应的一张放置在摄像头的拍摄区域，而音调的学习需要用户根据语音提示，从47张音型卡片和4张单调卡片同时放置到摄像头下面。当用户根据自己选择的学习内容将自认为正确的拼音卡片放置在摄像头拍摄区域内时，处理器可以接收到摄像头所发送的当前拼音卡片的图像。

S12：根据拼音卡片图像，确定拼音卡片内容。

处理器在获取到拼音卡片的图像后，会进一步通过对拼音卡片的识别，来确定拼音卡片的内容。

S13：判断拼音卡片内容与预设学习内容是否相同。如果是，则进行步骤S14；如果否，则进行步骤S15。

S14：发出放置正确提示信号。

S15：发出放置错误提示信号。

在对拼音卡片的图像进行拼音内容的确定之后，将该拼音内容与预设的拼音学习内容进行对比，判断该拼音内容与预设的学习内容是否相同，如果相同，就发出放置正确的提示信号，否则，发出放置错误的提示信号，用户在接收到放置错误提示信号后，可以重新选择拼音卡片，处理器会重新进行识别判断过程。

本发明实施例所提供的拼音卡片识别方法中，处理器首先获取拼音卡片的图像；然后根据拼音卡片图像，确定拼音卡片的内容；接着对拼音卡片的内容与预设的拼音学习内容进行对比，判断拼音卡片内容与预设学习内容是否相同；如果拼音卡片内容与预设学习内容相同，那么就发出放置正确提示信号，以提示用户该拼音卡片放置正确；否则，发出放置错误提示信号。这样，能够对用户根据预设学习内容而放置的拼音卡片进行识别，并给予及时的反馈，增强学习过程的互动感。

需要说明的是，本发明实施例对拼音卡片的形状不做限定，可以是正方形、长方形或者其它形状，对识别方法做适应性调整即可实现各种形状拼音卡片的识别。

实施例二：

本发明实施例提供一种拼音卡片识别方法，如图2所示，该方法包括以下几个步骤：

S21：获取拼音卡片图像。

本发明实施例步骤S21与实施例一中的步骤S11相同，在此不再赘述。

S22：采用双边滤波方式，对拼音卡片图像进行降噪处理。

在获取到拼音卡片图像后，对其进行识别前，会先对该图像进行一个降噪处理过程。具体的，通过对人的肤色的检测，确定人手在取放拼音卡片时的留下的人手阴影区域，然后对该阴影区域进行亮度的补充，通过双边滤波的方式，排除人手对拼音卡片识别时的干扰。降噪处理过程，可以使用户在不同环境下体验到稳定的拼音学习互动过程的乐趣。

S23：对拼音卡片图像做直线检测，保留满足预设长度的直线。

降噪处理后，开始对拼音卡片图像进行直线检测，由于直线检测过程中会检测到许多不同长度的直线，为了更好地识别出拼音卡片的内容，需要对不可能组成拼音卡片区域的直接进行排除，直接保留预设长度的直线，比如保留40到60像素之间的直线。该预设长度根据拼音卡片在被拍摄时的成像区域进行设定。

S24：从满足预设长度的直线中筛选出能够构成正方形的直线，确定拼音卡片的区域。

在本发明实施例中，拼音卡片形状以正方形为例。在保留了满足预设长度的直线后，需要从众多满足预设长度的直线中筛选出能够构成正方形的直线，将其确定为拼音卡片的区域。

具体的筛选过程如下所述：

初始化所有满足预设长度的直线，标记为0；

以任一条满足预设长度的直线为起始直线，标记为1，保存为l0，查找与起始直线l0垂直的直线；

判断垂直的直线与起始直线l0的距离是否小于预设距离阈值；(这里所说的垂直的直线和起始直线的距离，特指两条直线端点之间的距离，如果两条相互垂直的直线的交点处的两个端点间的距离小于预设的距离阈值，则说明这两条直线是连接在一起的，该预设的距离阈值在本实施例中设定为4像素。)

如果是，则将垂直的直线标记为1，保存为l1；

以l1为起始直线，重复上述过程，以此类推，直到查找到连续四条被标记为1的直线l0、l1、l2、l3，否则，将之前所有直线进行初始化操作；

从所有连续四条被标记为1的直线中，进一步筛选出能够构成正方形的直线，将直线围成的区域确定为拼音卡片的区域。

具体的，将连续四条被标记为1的直线分别标记为l0、l1、l2、l3；

判断l0、l1、l2、l3是否满足以下条件：

l0平行于l2，l1平行于l3；

l0分别垂直于l1、l3，l2分别垂直于l1、l3；

l0到l2距离与l1到l3的距离相等；

将满足上述条件的连续四条被标记为1的直线，作为构成正方形的直线。

通过上述过程，可以确定拼音卡片的区域，以便后续对拼音卡片内容的识别。

S25：根据区域，计算拼音卡片的特征向量。

具体的，参见图3所示，该特征向量的计算过程包括以下几个步骤：

S251：将区域划分为若干子区域。

在本发明实施例中，将检测到的拼音卡片的区域分成4个子区域。区域划分的数量根据图像而定，不可太多，也不能太少，适度数量的划分才能提高图像识别的准确度。

S252：对每个子区域进行二值化运算，得到二值图。

分别对每个子区域用ostu自适应阈值方法，做二值化运算，得到4个阈值，确定最小的那个阈值作为整张拼音卡片的阈值，进而得到二值图。

S253：根据二值图，提取拼音卡片的特征向量。

进一步地，把二值化后的拼音卡片分别在水平和垂直方向上投影，在不同的尺度上做相同计算，提取拼音卡片的特征向量。

S26：将特征向量与预设模板向量进行匹配，确定拼音卡片内容。

具体的，参见图4所示，向量匹配过程包括以下几个步骤：

S261：将特征向量与预设模板向量进行加减运算。

S262：判断运算的结果是否小于预设阈值。

S263：如果是，则特征向量与预设模板向量匹配成功，将预设模板内容确定为拼音卡片的内容。如果否，则继续进行步骤S261。

在具体实现的时候，首先将拼音卡片的特征向量与预设模板的向量进行一个向量的加减运算，如果运算得到的结果小于预设的阈值，那么就认为这两个向量匹配成功，将预设模板的内容确定为拼音卡片的内容。为了提高识别的准确性，一般将上述预设阈值设置的比较小，比如0.01。

S27：判断拼音卡片内容与预设学习内容是否相同。如果是，则进行步骤S28；如果否，则进行步骤S29。

S28：发出放置正确提示信号。

S29：发出放置错误提示信号。

本发明实施例中的步骤S27-S29与实施例一中的步骤S13-S15相同，在此不再赘述。

本发明实施例提供的拼音卡片识别方法中，在获取到拼音卡片图像后，通过降噪处理、图像直线检测、拼音卡片区域的定位、特征向量的提取、计算和匹配，对拼音卡片内容进行确定，提高了拼音卡片内容的识别准确度，并且通过对拼音卡片的内容与预设的拼音学习内容的对比判断，对用户拼音卡片放置正确与否进行提示，增强学习过程的互动感。

实施例三：

本发明实施例提供一种拼音卡片识别装置，如图5所示，该装置包括：图像获取单元51、内容确定单元52、判断单元53以及提示单元54。

图像获取单元51用于获取拼音卡片图像；

内容确定单元52用于根据拼音卡片图像，确定拼音卡片内容；

判断单元53用于判断拼音卡片内容与预设学习内容是否相同；

提示单元54用于在判断单元判断结果为是时，发出放置正确提示信号；在判断单元判断结果为否时，发出放置错误提示信号。

其中，内容确定单元52具体包括：

直线检测模块521，用于对拼音卡片图像做直线检测，保留满足预设长度的直线；

卡片区域确定模块522，用于从满足预设长度的直线中筛选出能够构成正方形的直线，确定拼音卡片的区域；

特征向量计算模块523，用于根据区域，计算拼音卡片的特征向量；

内容确定模块524，用于将特征向量与预设模板向量进行匹配，确定拼音卡片内容。

在本发明实施例中，图像获取单元51、内容确定单元52、判断单元53、提示单元54、直线检测模块521、卡片区域确定模块522、特征向量计算模块523以及内容确定模块524的具体功能和交互方式，可参见实施例一与实施例二所对应的方法实施例的记载，在此不再赘述。

实施例四：

本发明实施例提供一种终端设备，终端设备可以是无屏电视、手机、Ipad、电脑等。在本实施例中，终端设备以无屏电视为例，如图6所示，该无屏电视包括处理器61以及摄像头62，处理器61上安装有如实施例三所述的拼音卡片识别装置611，摄像头62用于采集用户根据预设学习内容放置在摄像头62下面的拼音卡片的图像，并将图像发送至处理器61。无屏电视，除了可以对拼音卡片进行识别，还可以对用户拼音学习过程进行投影。

具体的，根据汉语拼音的内容，制作47个音型卡片和4张音调卡片。

当用户在无屏电视上选中拼音学习应用后，应用会自动开启摄像头62，对用户根据学习内容提示放置在摄像头62拍摄区域的卡片进行摄像，并将采集到的拼音卡片图像发送给无屏电视中的处理器61。处理器61对摄像头62拍摄到的图像做分析，确定拼音卡片内容，并将该内容与当面学习界面的内容做比较，如果相同，则提示卡片放置正确，否则错误，提示用户重新放入拼音卡片。整个流程使用者在使用的时候非常方便，只需要放入相关的卡片就能实现很强的学习互动。

此无屏电视中拼音卡片识别装置611的具体工作过程可以参见上述方法实施例，在此不再赘述。

本发明实施例所提供的无屏电视，可以通过摄像头62实时获取用户根据拼音学习内容放置在摄像头下方的拼音卡片的图像，并将该图像发送给处理器61，处理器61再通过拼音卡片识别装置611对该图像进行识别，并给予及时的反馈。

此外，现有的拼音学习应用往往需要用户对着屏幕进行学习，长时间的学习会导致眼睛疲劳，影响用户的视力，本发明实施例中的无屏电视可以很好的解决这个问题，无屏电视可以将整个拼音学习的过程进行投影，增加学习过程的互动感，提高用户体验。

在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种拼音卡片识别方法，其特征在于，包括：

获取拼音卡片图像；

根据所述拼音卡片图像，确定所述拼音卡片内容；

判断所述拼音卡片内容与预设学习内容是否相同；

如果是，则发出放置正确提示信号；

如果否，则发出放置错误提示信号。

2.根据权利要求1所述的方法，其特征在于，在所述根据所述拼音卡片图像，提取所述拼音卡片内容之前，还包括：

采用双边滤波方式，对所述拼音卡片图像进行降噪处理。

3.根据权利要求1所述的方法，其特征在于，所述根据所述拼音卡片图像，确定所述拼音卡片内容，具体包括：

对所述拼音卡片图像做直线检测，保留满足预设长度的直线；

从所述满足预设长度的直线中筛选出能够构成正方形的直线，确定所述拼音卡片的区域；

根据所述区域，计算所述拼音卡片的特征向量；

将所述特征向量与预设模板向量进行匹配，确定所述拼音卡片内容。

4.根据权利要求3所述的方法，其特征在于，所述从所述满足预设长度的直线中筛选出能够构成正方形的直线，确定所述拼音卡片的区域，具体包括：

初始化所有所述满足预设长度的直线，标记为0；

以任一条所述满足预设长度的直线为起始直线，标记为1，保存为l0，查找与所述起始直线l0垂直的直线；

判断所述垂直的直线与所述起始直线l0的距离是否小于预设距离阈值；

如果是，则将所述垂直的直线标记为1，保存为l1；

以l1为起始直线，重复上述过程，以此类推，直到查找到连续四条被标记为1的直线l0、l1、l2、l3，否则，将之前所有直线进行初始化操作；

从所有所述连续四条被标记为1的直线中，筛选出能够构成正方形的直线，将所述直线围成的区域确定为所述拼音卡片的区域。

5.根据权利要求4所述的方法，其特征在于，所述从所有所述连续四条被标记为1的直线中，筛选出能够构成正方形的直线，具体包括：

将所述连续四条被标记为1的直线分别标记为l0、l1、l2、l3；

判断所述l0、l1、l2、l3是否满足以下条件：

l0平行于l2，l1平行于l3；

l0分别垂直于l1、l3，l2分别垂直于l1、l3；

l0到l2距离与l1到l3的距离相等；

将满足上述条件的所述连续四条被标记为1的直线，作为构成正方形的直线。

6.根据权利要求3所述的方法，其特征在于，所述根据所述区域，计算所述拼音卡片的特征向量，具体包括：

将所述区域划分为若干子区域；

对每个所述子区域进行二值化运算，得到二值图；

根据所述二值图，提取所述拼音卡片的特征向量。

7.根据权利要求5所述的方法，其特征在于，所述将所述特征向量与预设模板向量进行匹配，确定所述拼音卡片的内容，具体包括：

将所述特征向量与预设模板向量进行加减运算；

判断所述运算的结果是否小于预设阈值；

如果是，则所述特征向量与预设模板向量匹配成功，将所述预设模板内容确定为所述拼音卡片的内容。

8.一种拼音卡片识别装置，其特征在于，所述装置包括：

图像获取单元，用于获取拼音卡片图像；

内容确定单元，用于根据所述拼音卡片图像，确定所述拼音卡片内容；

判断单元，用于判断所述拼音卡片内容与预设学习内容是否相同；

提示单元，用于在所述判断单元判断结果为是时，发出放置正确提示信号；在所述判断单元判断结果为否时，发出放置错误提示信号。

9.一种终端设备，其特征在于，所述终端设备包括：处理器以及摄像头；

所述处理器上安装有如权利要求8所述的拼音卡片识别装置；

所述摄像头用于采集用户根据预设学习内容放置在所述摄像头下面的拼音卡片的图像，并将所述图像发送至所述处理器。

10.根据权利要求9所述的终端设备，其特征在于，所述终端设备为无屏电视；

所述无屏电视，用于对所述拼音卡片进行识别，并对用户拼音学习过程进行投影。