CN110766025B - 绘本识别方法、装置、***及存储介质 - Google Patents

Abstract

本申请涉及图像处理技术领域，公开了一种绘本识别方法、装置、***及存储介质，所述方法包括：获取图像采集设备采集的拍摄图像；从多个绘本模板中确定出与拍摄图像匹配的目标绘本模板；确定拍摄图像中的绘本在图像采集设备对应的图像坐标系中的位置信息；根据图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定位置信息相对投影设备的投影位置，以使投影设备根据投影位置将目标绘本模板对应的投影画面投影到绘本上。本申请实施例提供的绘本识别方法、装置、***及存储介质，能够识别绘本以及绘本所处位置的本识别方法，从而能够准确地在绘本上进行投影，以达到绘声绘色的效果，提升阅读绘本过程中的乐趣。

Description

绘本识别方法、装置、***及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种绘本识别方法、装置、***及存储介质。

背景技术

本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

绘本(Picture Book)，是以图画为主，可以连贯成为单一完整故事的书。目前绘本主要针对幼儿、儿童所设定，以适合幼儿、儿童阅读的内容为取向。绘本阅读可以帮助孩子了解世界，学习知识，更重要的是培养孩子对于阅读的爱好和兴趣。

目前主流绘本识别方法主要是：通过图像识别的方法进行绘本识别，然后基于识别出的绘本，播放预先为该绘本设置的音频，通过提高孩子阅读绘本过程中的乐趣，从而提升孩子的认知能力。

但是，现有绘本识别方法只能识别出绘本对应的页码，然后播放对应的音频，只能做到绘声的效果，表现形式单一。

发明内容

针对上述技术问题，非常需要一种能够识别绘本以及绘本所处位置的本识别方法，从而能够准确地在绘本上进行投影，以达到绘声绘色的效果，提升阅读绘本过程中的乐趣。

一方面，本申请一实施例提供了一种绘本识别方法，包括：

获取图像采集设备采集的拍摄图像；

从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板；

确定所述拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息；

根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述位置信息相对所述投影设备的投影位置，以使所述投影设备根据所述投影位置将所述目标绘本模板对应的投影画面投影到所述绘本上。

一方面，本申请一实施例提供了一种绘本识别装置，包括：

图像获取模块，用于获取图像采集设备采集的拍摄图像；

绘本匹配模块，用于从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板；

绘本位置确定模块，用于确定所述拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息；

投影模块，用于根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述位置信息相对所述投影设备的投影位置，以使所述投影设备根据所述投影位置将所述目标绘本模板对应的投影画面投影到所述绘本上。

一方面，本申请一实施例提供了一种绘本识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。

一方面，本申请一实施例提供了一种绘本识别***，包括：图像采集设备、投影设备和上述任一种的绘本识别装置；

所述图像采集设备用于采集包含绘本的拍摄图像；

所述投影设备用于根据所述绘本识别装置确定出的投影位置，将所述绘本识别装置确定出的目标绘本模板对应的投影画面投影到所述绘本上。

一方面，本申请一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。

一方面，本申请一实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现上述任一种方法的步骤。

本申请实施例提供的技术方案，从多个绘本模板中确定出与拍摄图像匹配的目标绘本模板，确定拍摄图像中的绘本在图像采集设备对应的图像坐标系中的位置信息，然后，根据图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定位置信息相对投影设备的投影位置，这样，投影设备可根据投影位置，准确地将目标绘本模板对应的投影画面投影到绘本上，通过在绘本上投影的方式，提升阅读绘本过程中的乐趣。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

图1为本申请实施例提供的绘本识别方法的应用场景示意图；

图2为本申请一实施例提供的绘本识别方法的流程示意图；

图3为本申请一实施例提供的标定坐标映射关系时投影设备投影的图案的一个示例；

图4为本申请一实施例提供的匹配目标绘本模板的流程示意图；

图5为本申请一实施例提供的在DeLF方法中采用的特征提取模型的结构示意图；

图6为本申请一实施例提供的获取每个绘本模板在每种分辨率下对应的特征点的流程示意图；

图7为本申请一实施例提供的确定目标绘本模板的流程示意图；

图8为本申请一实施例提供的对绘本模板进行几何验证的流程示意图；

图9为本申请一实施例提供的确定每种分辨率对应的绘本模板的匹配顺序的流程示意图；

图10为本申请一实施例提供的对提取的拍摄图像的特征点进行过滤的流程示意图；

图11为本申请一实施例提供的对提取的拍摄图像的特征点进行过滤的操作示意图；

图12为本申请一实施例提供的绘本识别方法的流程示意图；

图13为本申请一实施例提供的追踪目标绘本模板的特征点的流程示意图；

图14为本申请一实施例提供的绘本识别装置的结构示意图；

图15为本申请一实施例提供的绘本识别装置的结构示意图；

图16为本申请一实施例提供的绘本识别***的结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本申请的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

为了方便理解，下面对本申请实施例中涉及的名词进行解释：

绘本：即图画书，顾名思义是“画出来的书”，以绘画为主，配以少量的文字，常用来给幼儿讲故事，帮助幼儿汲取知识，形成认知。

AR(Augmented Reality，增强现实)投影***：通过传感器和用户的行为，投影光机在识别出的物体或特定位置播放动画/图片/声音，达到增强现实的目的，非常适合用于教育行业。

单应矩阵(Homography)：两个平面之间的映射关系(3×3)，实际的自由度为8，所以至少4对点对就能求解两个平面之间的对应关系。

终端设备：可以安装各类应用，并且能够将已安装的应用中提供的对象进行显示的设备，该电子设备可以是移动的，也可以是固定的。例如，手机、平板电脑、各类可穿戴设备、车载设备、个人数字助理(personal digital assistant，PDA)、销售终端(point ofsales，POS)或其它能够实现上述功能的电子设备等。

下面参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。

发明概述

本申请人发现，现有绘本识别方法只能识别出绘本对应的页码，然后播放对应的音频，只能做到绘声的效果，表现形式单一。

为了解决这个问题，本申请实施中，获取图像采集设备采集的拍摄图像；从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板；确定所述拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息；根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述位置信息相对所述投影设备的投影位置，以使所述投影设备根据所述投影位置将所述目标绘本模板对应的投影画面投影到所述绘本上，通过在绘本上投影的方式，提升阅读绘本过程中的乐趣。

在介绍了本申请的基本原理之后，下面具体介绍本申请的各种非限制性实施方式。

应用场景总览

参考图1，其为本申请实施例提供的绘本识别方法的应用场景示意图。该应用场景包括绘本101、图像采集设备102、绘本识别装置103、投影设备104。其中，图像采集设备102与绘本识别装置103连接，投影设备104与绘本识别装置103连接，图像采集设备102、绘本识别装置103、投影设备104可集成在同一终端设备内，同时为了保证投影效果，图像采集设备102的拍摄区域106和投影设备104的投影区域107尽量重合。

为保证绘本识别效果和投影效果的稳定，可将图像采集设备102、绘本识别装置103、投影设备104集成的终端设备固定好，然后，将绘本101放置在图像采集设备102的拍摄区域106内，进行绘本识别。具体地，图像采集设备101采集包含绘本的拍摄图像，将拍摄图像发送给绘本识别装置103；绘本识别装置103从多个绘本模板中确定出与该拍摄图像匹配的目标绘本模板，确定该拍摄图像中的绘本在图像采集设备102对应的图像坐标系中的位置信息，根据图像坐标系和投影设备104对应的投影坐标系之间的坐标映射关系，确定该位置信息相对投影设备104的投影位置；投影设备104根据绘本识别装置103确定出的投影位置将目标绘本模板对应的投影画面投影到绘本101上，这样，用户就可以在绘本上看到投影画面，提升阅读绘本过程中的乐趣。

本申请实施例中的投影画面可以是基于每一页绘本的内容预先制作的图像或视频动画等，其中，图像或视频动画中的内容不限于文字、图片等形式。例如，某一页绘本中包含毛毛虫变蝴蝶的过程，则投影画面可以是毛毛虫变蝴蝶的视频动画。

图1所示的场景中还包括音频播放设备105，在投影设备104进行投影时，可通过音频播放设备105同步播放绘本对应的音频，实现绘声绘色的效果，例如，可以播放绘本中所描述的故事的音频，也可以播放音乐等。该音频播放设备105也可以集成在终端设备中。

需要说明的是，本申请实施例所提供的绘本识别方法可以由终端设备执行，相应地，绘本识别装置104可以设置于终端设备中。本申请实施例中的绘本识别方法也可以由与终端设备通信连接的服务器执行，以提高处理效率，相应地，绘本识别装置104可以设置于服务器中。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

示例性方法

下面结合图1所示的应用场景，对本申请实施例提供的技术方案进行说明。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

如图2所示，为本申请实施例提供的绘本识别方法的实施流程示意图，可以包括以下步骤：

S201、获取图像采集设备采集的拍摄图像。

具体实施时，用户可将待识别的绘本放置在图像采集设备的拍摄区域内，以保证拍摄图像中包含完整的绘本页面。

S202、从多个绘本模板中确定出与拍摄图像匹配的目标绘本模板。

本申请实施例中的绘本模板是指，对绘本中的每一页进行扫描后得到的图像，或者对绘本中的每一页进行拍摄后得到的不含背景的图像。

具体实施时，可从拍摄图像中提取特征，将拍摄图像的特征分别与每个绘本模板的特征进行比对，将特征相似度最高的绘本模板确定为模板绘本模板。其中，可预先提取每个绘本模板的特征，方便比对。其中，从拍摄图像中提取特征和绘本模板的特征，可以是图像中的特征点或者特征向量，例如，可采用ORB(Oriented FAST and Rotated BRIEF)、SIFT(Scale-invariant feature transform，尺度不变特征变换)、AKAZE等特征点提取算法提取图像中的特征点，或者通过训练好的神经网络提取图像的高维特征向量。

S203、确定拍摄图像中的绘本在图像采集设备对应的图像坐标系中的位置信息。

本申请实施例中的图像坐标系，用于描述空间中各个点相对于图像采集设备的坐标。

具体实施时，可确定出绘本的多个关键点在图像坐标系中对应的坐标，作为位置信息。具体地，可选择绘本的四个角的顶点作为确定位置信息的关键点。

S204、根据图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定步骤S203中的位置信息相对投影设备的投影位置，以使投影设备根据投影位置将目标绘本模板对应的投影画面投影到绘本上。

本申请实施例中的投影坐标系，用于描述空间中各个点相对于投影设备的坐标。

具体实施时，需要预先为每个绘本模板指定对应的投影画面。

实际应用中，图像采集设备和投影设备的相对位置固定后，即可确定图像坐标系和投影坐标系之间的坐标映射关系，从而根据该坐标映射关系，对图像坐标系和投影坐标系下的坐标进行转换。

具体地，图像采集设备和投影设备的相对位置固定后，可通过标定图像采集设备和投影设备的像素转化关系，确定坐标映射关系。例如，首先可通过投影设备在桌面上投影棋盘格或其他方便提取准确角点的图案，投影图案可参考图3所示的图案；然后通过图像采集设备采集包含投影图案的投影图像，提取投影图像中的投影图案的角点；接着，将预先为投影图案中标注的每个角点与从投影图像中提取的角点进行匹配，将匹配的两个角点作为一个角点对添加到角点对集合里中，添加到角点对集合中的角点对的数量不少于四对，基于角点对集合中的任意四个角点对即可确定一个单应矩阵；最后，利用最小二乘法拟合图像采集设备和投影设备的单应矩阵，得到图像坐标系到投影坐标系的坐标映射关系，记为ColToPro，相应地可得到投影坐标系到图像坐标系的坐标映射关系，记为ProToCol。

本申请实施例提供的绘本识别方法，从多个绘本模板中确定出与拍摄图像匹配的目标绘本模板，确定拍摄图像中的绘本在图像采集设备对应的图像坐标系中的位置信息，然后，根据图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定位置信息相对投影设备的投影位置，这样，投影设备可根据投影位置，准确地将目标绘本模板对应的投影画面投影到绘本上，通过在绘本上投影的方式，提升阅读绘本过程中的乐趣。

进一步地，为了提高绘本模板的匹配效率，本申请实施例提供了多级分辨率匹配的方式，从多个绘本模板中确定出与拍摄图像匹配的目标绘本模板。

参考图4，作为一种可能的实施方式，步骤S202具体包括：

S401、分别提取N种分辨率下拍摄图像的特征点和每个特征点的特征向量。

本申请实施例中，N为大于等于2的整数，N的具体取值可根据实际情况确定，本申请实施例不作限定。

举例说明，假设拍摄图像的原始分辨率为1280×720，拍摄图像原始分辨率由图像采集设备圈定。当N＝2时，可提取分辨率为1280×720的拍摄图像的特征点和特征向量，并提取原始分辨率下采样一倍(即分辨率为640×360)的拍摄图像的特征点和特征向量。当N＝3时，可分别提取1280×720、640×360、320×180这三种分辨率的拍摄图像的特征点和特征向量。对于N取其它值的情况下对应的采样分辨率，不再一一赘述。

具体实施时，可采用ORB、SIFT、AKAZE等特征点提取算法，提取N种分辨率下拍摄图像中的特征点以及每个特征点的特征向量。为了与图像的特征向量区分开，本申请实施例中，将特征点的特征向量称为描述子。

具体实施时，还可以采用DeLF(DEep Local Features)方法提取N种分辨率下拍摄图像中的特征点。值得一提的是，DeLF方法可以有效的抑制投影的干扰。

参考图5，DeLF方法中采用的特征提取模型包括：全卷积网络(FCN)和卷积网络，该全卷积网络用于从绘本模板中提取特征向量，该卷积网络用于从全卷积网络输出的特征向量对应特征点中筛选出候选特征点。其中，全卷积网络可以是去掉全连接层的VGG、ResNet等网络，全卷积网络输出的就是一个个描述子(即特征向量)，每个描述子感受野的中心为特征点的位置。全卷积网络之后可连接一个两层的卷积网络，以对全卷积网络输出的特征向量对应的特征点进行筛选。具体地，两层卷积网络输出和输入一样维度的参数，起到平均池化的作用，并计算每个特征点对应的池化权重，将池化权重大于一定阈值的特征点和描述子即为提取的特征点和描述子。

在构建完图5所示的特征提取模型后，基于绘本数据集训练特征提取模型，其中，绘本数据集中包括大量的绘本模板和投影画面，绘本模板和投影画面中标注有对应的特征点。通过绘本数据集训练图5所示的特征提取模型，以得到能够更好地适合提取绘本特征点的模型，同时使该模型具有一定抑制投影的能力。然后，分别将N种分辨率的拍摄图像输入已训练的特征提取模型，即可得到N种分辨率的拍摄图像对应的特征点和特征点对应的描述子。

S402、按分辨率从低到高的顺序，依次将每种分辨率下提取的拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配，若确定出与拍摄图像匹配的绘本模板，则将匹配的绘本模板确定为目标绘本模板。

需要说明的是，可先执行完步骤S401后，再执行步骤S402，步骤S402中，一旦在某一种分辨率下匹配到目标绘本模板，则立即停止匹配，例如，在对最小分辨率640×360下提取的特征点进行匹配时，已经匹配到目标绘本模板，则无需对高于分辨率640×360的其它分辨率下提取的特征点进行匹配。当然，为了进一步提高处理效率，也可以并行执行步骤S401和步骤S402，即在按分辨率从低到高的顺序，依次提取N种分辨率下拍摄图像的特征点和对应的描述子，每提取完一种分辨率下拍摄图像的特征点和描述子，则立即将在该分辨率下提取的拍摄图像的特征点对应的描述子与对应分辨率下提取的每个绘本模板的特征点对应的描述子进行匹配，一旦匹配到合适的绘本模板，则将该匹配到的绘本模板确定为目标绘本模板，此时可停止提取特征点和匹配描述子的步骤。

具体实施时，可在进行绘本识别之前，预先提取每个绘本模板在N种分辨率下对应的特征点和每个特征点对应的描述子。例如，总共有100个绘本模板，N＝2，则针对每个绘本模板需要提取两种分辨率对应的特征点和描述子，一个绘本模板在一种分辨率下提取的特征点和描述子存储到一个绘本特征点集合中，这样一共可以得到200个绘本特征点集合。

具体地，可采用ORB、SIFT、AKAZE等特征点提取算法或者图5所示的特征提取模型，分别取每个绘本模板在N种分辨率下对应的特征点和每个特征点对应的描述子。当采用特征提取模型从绘本模板中提取候选特征点和候选特征点对应的特征向量时，将绘本模板输入已训练的特征提取模型，得到特征点和特征点对应的特征向量。

当提取的特征点较多时，针对每个绘本模板在每种分辨率下的特征点，可选取得分最高的前K个特征点，并将筛选出的K个特征点和对应的描述子存储到对应的绘本特征点集合中，以便在后续绘本识别过程中使用。其中，特征点的得分指的是，各种特征点提取方法对于该点是否是特征点的评判指标，例如，特征点的得分可以是ORB算法中的harris响应值，或者DeLF方法中的池化权重等。

本申请实施例的绘本识别方法，在绘本识别过程中采用了多级分辨率匹配的策略，基于低分辨率图像的匹配方式的识别效率较高，确保了90％以上的纹理较为丰富的绘本可以被快速识别，基于高分辨率图像的匹配方式的准确率较高，确保了10％纹理较少或者较小的绘本可以被准确识别，能够同时兼顾识别效率和识别准确度两项指标。

进一步地，为了降低绘本识别过程中投影带来的干扰，在提取绘本模板的特征点时，可先利用上述任一方式提取绘本模板中的特征点，然后利用投影画面对提取的特征点进行筛选，保留受投影干扰最小的特征点，即保留绘本模板中、与投影画面中的特征点区分度较大的特征点。

首先，需要提取每个投影画面在N种分辨率下对应的特征点和每个特征点对应的描述子。具体的提取过程可参考提取绘本模板中的特征点和描述子的方法，不再赘述。

具体地，参考图6，可通过如下方式获取每个绘本模板在每种分辨率下对应的特征点：

S601、从绘本模板中提取候选特征点和候选特征点对应的特征向量。

其中，提取特征点和描述子的具体过程已在前述实施例中描述，此处不再赘述。

S602、针对该绘本模板的每个候选特征点，计算该候选特征点的特征向量与每个投影画面中的每个特征点的特征向量之间的距离值，将最小的距离值对应的候选特征点确定为筛选特征点。

S603、按筛选特征点对应的距离值从大到小的顺序，获取排序靠前的K个筛选特征点，确定为该绘本模板对应的特征点。

具体地，不妨假设第j个绘本模板在分辨率P_i下提取的候选特征点包括C_j＝{c₁,c₂,..,c_n},该绘本模板的描述子包括D_j＝{d₁,d₂,…,d_n}，其中，候选特征点p_i对应的描述子为d_i，i＝1,2,…n，所有投影画面的特征点对应的描述子包括T＝{t₁,t₂,…,t_m}，详细步骤如下：

第一步、计算d₁与T中所有描述子的距离值，从中选出最小的距离值记为dis₁，即得到特征点p₁对应的dis₁，以此类推，计算出p₂,..,p_n各自对应的最小距离值dis₂,..,dis_n。

第二步、按从大到小的顺序对dis₁,dis₂,..,dis_n排序，获取排序靠前的K个最小距离值，这K个最小距离值对应特征点即为该绘本模板在分辨率P_i下对应的特征点。

实际应用中，K可根据具体的应用场景确定，本申请实施例不作限定。例如，K的取值可以是1000、2000等数值。

具体实施时，还可通过如下方式对每个投影模板在每种分辨率下对应的特征点进行筛选：针对每个投影画面在每种分辨率下的特征点，可选取得分最高的前K个特征点，作为该投影画面在该分辨率下的特征点，并将筛选出的特征点和特征点对应的描述子存储到对应的投影特征点集合中，以便在后续绘本识别过程中使用。

对于每种分辨率的绘本模板，均可采用上述方式提取并筛选出对应的特征点和描述子。需要说明的是，每种分辨率对应的K值可以相同的，也可以随着分辨率而变化，例如，若分辨率1280×720对应的K，则分辨率640×360对应的K/2，分辨率320×180对应的K/4，以此类推。

由于识别绘本过程中存在翻页的情况，翻页时拍摄图像中内会残留上一页的投影画面，所以为了保证筛选出的特征点的高可靠性，采用所有投影画面的描述子对绘本模板的特征点进行筛选。当然，如果绘本识别效果比较可靠，针对每个绘本模板，可以仅采用该绘本模板和前后几页的绘本模板对应的投影画面中的描述子，对该绘本模板的特征点进行筛选，甚至可以仅采用与该绘本模板对应的投影画面中的描述子，对该绘本模板的特征点进行筛选。

通过图6所示的方式，可剔除绘本模板中与易受投影画面干扰的特征点，从而在后续绘本识别过程中，降低投影画面对识别结果的干扰，提高识别准确度。

在上述任一实施例的基础上，参考图7，可通过如下方式实现步骤S402，具体包括：

S701、按分辨率从低到高的顺序，确定当前处理的分辨率P_n。

其中，分辨率P_n-1比分辨率P_n高一级。例如，P₁为原始图像的分辨率，P₂为原始分辨率下采样一倍后的分辨率，P₃为分辨率P₂下采样一倍后的分辨率，以此类推。P_n中n的初始值为分辨率数量N，即P_N为最低分辨率，P₁为最高分辨率。

S702、按照绘本模板的匹配顺序，确定当前处理的绘本模板T_m。

其中，m为正整数，且m≤M，M为绘本模板的总数。每次执行步骤S702时，根据绘本模板的匹配顺序确定m的取值，m可以是表示绘本模板在整本绘本中所处位置的页码，例如，T₁为第一页绘本模板，T₂为第一页绘本模板，T_m为第m页绘本模板。

S703、针对拍摄图像在分辨率P_n下提取的每个特征点，分别计算该特征点对应的特征向量与绘本模板T_m在分辨率P_n下提取的每个特征点对应的特征向量之间的相似度，若最小相似度满足预设条件，则将该最小相似度对应的拍摄图像的特征点i和绘本模板T_m的特征点j构成一个特征点对(i，j)，并添加到绘本模板T_m对应的点对集合中。

具体实施时，可采用欧氏距离、曼哈顿距离、切比雪夫距离、夹角余弦距离等算法计算两个特征向量之间的相似度。

具体实施时，预设条件可以是最小相似度d₁小于相似度阈值。预设条件还可以是最小相似度d₁≤d₂，且d₁≤thre5*d₂，d₂为第二小的相似度，其中，thre5的取值范围为(0,1)，一般thre5的值可取为0.9，thre5的取值越小越严格。当然，还可以选择其它预设条件，本申请实施例不作限定。

S704、判断绘本模板T_m对应的点对集合中的点对数量是否小于第一数量阈值，若是，则确定绘本模板T_m与拍摄图像不匹配，执行步骤S705，否则，确定绘本模板T_m与该拍摄图像匹配，执行步骤S708。

S705、判断分辨率P_n下的绘本模板是否均匹配完毕，若是，则执行步骤S706，若否，则返回步骤S702。

其中，返回步骤S702，即按照绘本模板的匹配顺序，对下一个处理的绘本模板进行匹配。

S706、判断n是否等于1，若是，则执行步骤S707，若否，则n的值减1，并返回步骤S701。

S707、确定未匹配到目标绘本模板。

具体实施时，若未匹配到目标绘本模板，则可获取图像采集设备采集的下一帧拍摄图像进行识别。

S708、将绘本模板T_m确定为目标绘本模板。

进一步地，在图7所示方法的基础上，为了提高匹配目标绘本模板的准确度，若确定绘本模板T_m与拍摄图像匹配，则在执行步骤S708之前，还可以对绘本模板T_m进行几何验证，若通过几何验证，则执行步骤S708，将绘本模板T_m确定为目标绘本模板；否则继续进行绘本模板的匹配，直至匹配到目标绘本模板或匹配完所有分辨率的绘本模板，即执行步骤S705。

具体地，参考图8，可通过如下方式对绘本模板T_m进行几何验证，具体包括如下步骤：

S801、从绘本模板T_m对应的点对集合中获取预设数量个点对。

具体实施时，一般通过至少四个点对即可确定一个单应矩阵，所以，预设数量的最小取值为4。

S802、根据获取的预设数量个点对，确定表征拍摄图像和绘本模板T_m之间的坐标映射关系的单应矩阵。

其中，计算单应矩阵的具体过程为现有技术，不再赘述。

S803、针对绘本模板T_m对应的点对集合中每个点对(i，j)，根据单应矩阵，确定特征点i在绘本模板T_m中的期望坐标，并计算特征点i的期望坐标和特征点j在绘本模板T_m中的坐标之间的距离值。

S804、判断小于误差阈值的距离值的数量是否大于第二数量阈值，若是，则执行步骤S805，若否，则执行步骤S806。

其中，误差阈值和第二数量阈值可由本领域技术人员根据试验结果以及具体的应用场景确定，本申请实施例不作限定。

S805、确定绘本模板T_m通过几何验证。

具体实施时，若确定绘本模板T_m通过几何验证，可存储使绘本模板T_m通过几何验证的单应矩阵H，用于确定拍摄图像中的绘本在图像坐标系中的位置信息。

S806、判断针对绘本模板T_m的验证次数是否超过第一阈值，若是，则执行步骤S807，若否，则返回步骤S802。

S807、确定绘本模板T_m未通过几何验证。

其中，返回步骤S802，即从绘本模板T_m对应的点对集合中获取新的预设数量个点对，重新进行几何验证，获取的新的预设数量个点对，与之前获取的预设数量个点对不完全相同。

在确定出单应矩阵H的基础上，步骤S203具体包括：根据使目标绘本模板通过几何验证的单应矩阵H和目标绘本模板，确定拍摄图像中的绘本在图像坐标系中的位置信息。

具体实施时，位置信息可以是目标绘本模板的四个角的顶点的坐标。

具体地，获取目标绘本模板的长和宽，不妨假设为目标绘本模板的长为width，宽为height。

首先，根据单应矩阵H计算目标绘本模板的四个角的顶点在拍摄图像中的坐标。以右下角的顶点为例，可通过如下公式确定其在拍摄图像中的坐标(x₁,y₁,z₁)：

(x₁,y₁,z₁)^T＝H*(width,height,1)^T。

然后，计算目标绘本模板的四个角的顶点在图像坐标系中的坐标。以右下角的顶点为例，其在图像坐标系中的坐标为：

(x_col,y_col)^T＝(x₁/z₁,y₁/z₁)^T。

计算目标绘本模板的其他三个角的顶点在图像坐标系中对应的坐标的方式类似，不再赘述。

在获得目标绘本模板的四个角的顶点在图像坐标系中对应的坐标后，即可计算目标绘本模板的四个角的顶点在投影坐标系下的坐标。具体地，可根据图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定位置信息相对投影设备的投影位置。以右下角的顶点为例，可通过如下公式确定其在投影坐标系下的坐标(x_pro,y_pro)^T：

(x₂,y₂,z₂)^T＝ColToPro*(x_col,y_col,1)^T

(x_pro,y_pro)^T＝(x₂/z₂,y₂/z₂)^T

计算目标绘本模板的其他三个角的顶点在投影坐标系下对应的坐标的方式类似，不再赘述。

这样，投影设备就可以根据投影位置(即目标绘本模板四个角的顶点在投影坐标系下的坐标)，将目标绘本模板对应的投影画面投影到绘本上，即便使用过程中绘本的位置发生了移动，也可以保证投影画面能够准确地投影到绘本上或绘本周边的指定位置处，使得投影画面能够更好的与绘本本身结合，提高阅读绘本的趣味性。

具体实施时，可通过如下任一方法确定绘本模板的匹配顺序：

第一种方式、按绘本模板对应的页码从小到大的顺序，确定绘本模板的匹配顺序。

具体地，匹配顺序可以是{T₁，T₂，……，T_M}，即先匹配第一页绘本模板T₁，再匹配第二页绘本模板T₂，以此类推。

第二种方式、根据绘本模板的编码向量和拍摄图像的编码向量之间的相似度，确定绘本模板的匹配顺序。

具体地，针对每种分辨率，分别计算每个绘本模板在该分辨率下的编码向量与拍摄图像的编码向量之间的相似度，按编码向量的相似度从高到低的顺序，确定绘本模板的匹配顺序。

其中，针对每种分辨率下的每个绘本模板，根据该绘本模板在该分辨率下提取的特征点对应的描述子确定对应的编码向量，例如，可使用VLAD、FV等编码方法，对该绘本模板在该分辨率下提取的所有特征点对应的描述子进行编码，得到编码向量。也可通过上述编码方法对拍摄图像的特性点对应的描述子进行编码，得到拍摄图像的编码向量，具体编码过程为现有技术，不再赘述。

第三种方式、根据之前匹配到的目标绘本模板，确定绘本模板的匹配顺序。

具体地，根据之前匹配到的目标绘本模板，确定绘本模板的匹配顺序，具体包括：根据最近匹配到的至少一个目标绘本模板的页码，确定绘本翻页方向；根据绘本翻页方向和上一次匹配到的目标绘本模板的页码，确定绘本模板的匹配顺序。

其中，翻页方向包括向前翻页和向后翻页。例如，若最近两次匹配到的绘本模板分别为第5页和第6页，且先匹配到第5页，后匹配到第6页，则确定翻页方向为向后翻页；若最近两次匹配到的绘本模板分别为第8页和第7页，且先匹配到第8页，后匹配到第7页，则确定翻页方向为向前翻页。例如，若最近一次匹配到的绘本模板为整个绘本的最后一页，则确定翻页方向为向前翻页。具体的判断翻页方向的规则可根据实际应用场景进行设置，本申请实施例不作限定。

进一步地，根据绘本翻页方向和上一次匹配到的目标绘本模板的页码，确定绘本模板的匹配顺序，具体包括：若翻页方向为向前翻页，则优先匹配当前页绘本之前的绘本模板，若翻页方向为向后翻页，则优先匹配当前页绘本之后的绘本模板。

作为一种可能的实施方式，可通过如下公式，确定绘本模板的匹配顺序：

当m＝z-1或m<n时，则有：

当m≥n时，则有：

上述公式中，z为绘本模板的总页数，m为最近一次匹配到的目标绘本模板的页码，n为上上次匹配到的目标绘本模板的页码，m<n表示翻页方向为向前翻页，m≥n表示翻页方向为向后翻页，O_i＝k，表示第i+1个匹配页码为k+1的目标模板，i为整数，且0≤i≤z-1。

为向下取整运算符，例如

%为取余运算符，例如19％10＝9，4％10＝4。其中，最近一次匹配到的目标绘本模板之前没有匹配到目标绘本模板，则n＝0。

举例说明，当z＝10，m＝8，n＝9时，适用m<n的情况，则O₀～O₉的值依次为7、8、6、9、5、0、4、1、3、2，即绘本模板的匹配顺序为第8页、第9页、第7页、第10页、第6页、第1页、第5页、第2页、第4页、第3页。当z＝10，m＝3，n＝2时，适用m≥n的情况，则O₀～O₉的值依次为4、3、5、2、6、1、7、0、8、9，即绘本模板的匹配顺序为第5页、第4页、第6页、第3页、第7页、第2页、第8页、第1页、第9页、第10页。

上述公式仅为一个确定绘本模板的匹配顺序的示例，具体实施时，也可以采用其他公式确定绘本模板的匹配顺序，本申请实施例不作限定。

本申请实施例的方法，利用了使用绘本过程中大部分情况会按顺序翻页的先验知识，确定绘本模板的匹配顺序，提高了匹配过程中前几个绘本模板就是目标绘本模板的概率，极大降低了处理耗时。

具体实施时，若基于之前的F帧拍摄图像未确定出目标绘本模板，则可采用上述第一种方式或第二种方式确定匹配顺序，否则，可采用第三种方式确定匹配顺序。其中，F的取值可根据实际应用场景确定，例如F可以取30。

进一步地，为了提高确定绘本模板的匹配顺序的处理效率，可通过上述任一方式确定最低分辨率P_N对应的绘本模板的匹配顺序，再基于最低分辨率P_N对应的匹配顺序确定分辨率P_N-1对应的匹配顺序，再基于分辨率P_N-1对应的匹配顺序，确定分辨率P_N-2对应的匹配顺序，依次确定每种分辨率对应的匹配顺序。

具体地，参考图9，可通过如下方式分别确定每种分辨率对应的绘本模板的匹配顺序：

S901、针对每个绘本模板，根据在分辨率P_n下得到的该绘本模板对应的点对集合中包含的点对数量和分辨率P_n对应的绘本模板的匹配顺序中该绘本模板所处的位次，确定该绘本模板的排序得分。

例如，在分辨率P_n下得到的该绘本模板对应的点对集合中包含的点对数量为y，该绘本模板在分辨率P_n对应的匹配顺序中的位次为I，则该绘本模板的排序得分＝y-I×th，其中，th为非负实数，例如th可取0或1。

S902、按排序得分从高到低的顺序，确定分辨率P_n-1对应的绘本模板的匹配顺序。

其中，分辨率P_n-1比分辨率P_n高一级。例如，P_n-1＝1280×720时，P_n＝640×360。

以两种分辨率为例，对图9所示的方式进行说明。首先，通过前述三种方式中的任一方式确定低分辨率下绘本模板的匹配顺序；然后，采用图9所示的方式，针对每个绘本模板，根据在低分辨率下得到的该绘本模板对应的点对集合中包含的点对数量和低分辨率下的匹配顺序中该绘本模板所处的位次，确定该绘本模板的排序得分，按排序得分从高到低的顺序，确定各个绘本模板的排序，将该排序作为高分辨率下绘本模板的匹配顺序。

在上述任一实施例的基础上，在将从拍摄图像中提取的特征点对应的特征向量与每个绘本模板的特征点对应的特征向量进行匹配之前，本申请实施例的方法还包括如下步骤：根据投影设备当前投影的投影画面的特征点，分别对每种分辨率下提取的拍摄图像的特征点进行过滤，以过滤出不受投影画面干扰的特征点，基于过滤出的特征点进行匹配。

参考图10，针对每种分辨率下提取的拍摄图像的特征点，根据投影设备当前投影的投影画面的特征点进行过滤的步骤包括：

S1001、获取当前投影的投影画面中的每个特征点在投影坐标系中的第一坐标。

S1002、根据坐标映射关系和每个第一坐标，确定当前投影的投影画面中的每个特征点在图像坐标系中的第二坐标。

S1003、针对每个第二坐标，在与拍摄图像大小相同的掩膜中画以第二坐标为圆心、r为半径的圆。

其中，大小相同是指，掩膜和拍摄图像的长、宽均相同，且包含的像素点的数量相同。

S1004、将掩膜覆盖在拍摄图像上，删除拍摄图像中位于掩膜中的圆内的特征点。

参考图11，构建一张与拍摄图像1101大小相同的掩膜1102，该掩膜1102中每个像素点的初始数值均为0。对于当前投影的投影画面中的每个特征点(x₁,y₁)，加上当前投影的投影画面的左上角顶点在投影坐标系的坐标(x₀,y₀)，得到特征点(x₁,y₁)在投影坐标系中的第一坐标(x₂,y₂)，即(x₂,y₂)＝(x₁,y₁)+(x₀,y₀)，然后，计算第一坐标(x₂,y₂)在图像坐标系中的第二坐标(x₃,y₃,z)^T：

(x₃,y₃,z)^T＝ProToCol*(x₂,y₂,1)^T。

接着，针对每个第二坐标，在该掩膜1102中画以坐标(x₃/z,y₃/z)为圆心1103、r为半径的圆1104。其中，r的取值与拍摄图像包含的像素点数量有关，r的单位为像素点，例如，当r的取值为2时，即表示坐标(x₃/z,y₃/z)周围2个像素点均在圆内，将掩膜1102中位于圆内的像素点的数值设置为1。为方便示意，图11中，掩膜中数值设置为1的像素点为灰色，数值0为白色。最后，将掩膜1102覆盖在拍摄图像1101上，将拍摄图像1101中位于掩膜1102中的圆内的特征点过滤掉，即若拍摄图像1101中的特征点所在的像素点被掩膜1102中数值为1的像素点覆盖，则过滤掉该特征点，若拍摄图像1101中的特征点所在的像素点被掩膜1102中数值为0的像素点覆盖，则保留该特征点。以图11为例，拍摄图像1101中的特征点Q₃和特征点Q₄被掩膜1102中数值为1的像素点覆盖，则过滤掉Q₃和Q₄。仅保留特征点Q₁和Q₂。

在确定出单应矩阵H的基础上，步骤S203具体包括：根据使目标绘本模板通过几何验证的单应矩阵H和目标绘本模板，确定拍摄图像中的绘本在图像坐标系中的位置信息。

具体实施时，位置信息可以是目标绘本模板的四个角的顶点的坐标。

具体地，获取目标绘本模板的长和宽，不妨假设为目标绘本模板的长为width，宽为height。

首先，根据单应矩阵H计算目标绘本模板的四个角的顶点在拍摄图像中的坐标。以右下角的顶点为例，可通过如下公式确定其在拍摄图像中的坐标(x₁,y₁,z₁)：

(x₁,y₁,z₁)^T＝H*(width,height,1)^T。

然后，计算目标绘本模板的四个角的顶点在图像坐标系中的坐标。以右下角的顶点为例，其在图像坐标系中的坐标为：

(x_col,y_col)^T＝(x₁/z₁,y₁/z₁)^T。

计算目标绘本模板的其他三个角的顶点在图像坐标系中对应的坐标的方式类似，不再赘述。

在获得目标绘本模板的四个角的顶点在图像坐标系中对应的坐标后，即可计算目标绘本模板的四个角的顶点在投影坐标系下的坐标。具体地，可根据图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定位置信息相对投影设备的投影位置。以右下角的顶点为例，可通过如下公式确定其在投影坐标系下的坐标(x_pro,y_pro)^T：

(x₂,y₂,z₂)^T＝ColToPro*(x_col,y_col,1)^T

(x_pro,y_pro)^T＝(x₂/z₂,y₂/z₂)^T

计算目标绘本模板的其他三个角的顶点在投影坐标系下对应的坐标的方式类似，不再赘述。

这样，投影设备就可以根据投影位置(即目标绘本模板四个角的顶点在投影坐标系下的坐标)，将目标绘本模板对应的投影画面投影到绘本上，即便使用过程中绘本的位置发生了移动，也可以保证投影画面能够准确地投影到绘本上或绘本周边的指定位置处，使得投影画面能够更好的与绘本本身结合，提高绘本阅读过程中的趣味性。

进一步地，在确定出目标绘本模板的四个角的顶点在投影坐标系下的坐标后，还可以利用该目标绘本模板对应的单应矩阵H，将目标绘本模板对应的各个特征点的坐标转化到图像坐标系下。接着，为目标绘本模板的特征点的二维坐标增加一维，且增加的维度的数值均记为1，例如，特征点(x,y)增加一维后的三维坐标为(x,y,1)，转化为SLAM(simultaneous localization and mapping，即时定位与地图构建)算法中的PNP问题(3D→2D)的增广矩阵[R|t]，用以初始化SVO(稀疏直接法)追踪器，其中，R代表旋转矩阵，t代表位移向量，指的是图像采集设备相对于被拍摄的绘本的位置姿态(包括旋转和位移两个维度)，也可以转化为绘本相对于图像采集设备的位置姿态，基于位置姿态可确定绘本在图像坐标系中的位置信息。SVO追踪器是SLAM算法中的一种高效的姿态追踪算法，为现有技术，不再赘述。

具体实施时，为了提高追踪效率，可采用最低分辨率的目标绘本模板的特征点确定增广矩阵[R|t]，以初始化SVO追踪器。

在上述任一实施例的基础上，为了提高绘本识别方法的处理效率，本申请实施例的绘本识别方法中还可以结合追踪算法，当通过上述任一实施例中的识别方法识别出目标绘本模板后，后续可对图像采集设备实时采集的拍摄图像中的目标绘本模板进行追踪；若在实时采集的拍摄图像中追踪到目标绘本模板，则无需进行绘本识别；若未追踪到目标绘本模板，则表示用户已经翻页，可基于上述任一实施例提供的绘本识别方法，重新对当前采集到的拍摄图像进行绘本识别，确定出新的目标绘本模板，从而控制投影设备投影新的目标绘本模板对应的投影画面。

具体地，参考图12，本申请实施例提供了一种绘本识别方法，具体包括如下步骤：

S1201、获取图像采集设备采集的拍摄图像。

S1202、从多个绘本模板中确定出与拍摄图像匹配的目标绘本模板。

S1203、确定拍摄图像中的绘本在图像采集设备对应的图像坐标系中的位置信息。

S1204、根据图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定步骤S1203确定的位置信息相对投影设备的投影位置，以使投影设备根据投影位置将目标绘本模板对应的投影画面投影到绘本上。

其中，步骤S1201～S1204的具体实施方式可参考步骤S201～S204，不再赘述。

S1205、获取图像采集设备实时采集的下一帧拍摄图像，并在采集的下一帧拍摄图像中追踪目标绘本模板的特征点。

S1206、判断成功追踪到的特征点是否满足预设要求，若是，则执行步骤S1207，否则，执行返回步骤S1201。

其中，若成功追踪到的特征点是否满足预设要求，则表示用户已经进行了翻页，需要重新进行绘本模板的匹配。返回步骤S1201是指，重新获取图像采集设备采集的新的拍摄图像，基于新的拍摄图像进行绘本识别，确定新的目标绘本模板。

S1207、判断拍摄图像中的绘本是否发生移动，若是，则执行步骤S1208，否则，返回步骤S1205。

其中，若拍摄图像中的绘本未发生移动，则表示用户未移动绘本，不需要调整投影画面的投影位置，此时，可返回步骤S1205，获取下一帧拍摄图像，继续进行追踪。

S1208、根据追踪结果确定拍摄图像中的绘本相对图像采集设备的变换偏移量，根据变换偏移量，重新确定拍摄图像中的绘本相对投影设备的投影位置，以使投影设备根据重新确定的投影位置调整目标绘本模板对应的投影画面投影到绘本上的位置。

在未翻页时，追踪算法可实时确定出绘本的新位置，从而确定出新的投影位置，达到跟踪投影的效果。

执行完步骤S1208后，返回步骤S1205，获取下一帧拍摄图像，继续进行追踪。

具体实施时，可基于SLAM算法中的追踪关键点的SVO追踪器，来追踪目标绘本模板的特征点。

作为一种可能的实施方式，参考图13，追踪目标绘本模板的特征点的方法具体包括如下步骤：

S1301、基于SVO追踪器，对目标绘本模板的特征点对应的区块进行追踪。

具体实施时，可通过如下方式确定目标绘本模板的特征点对应的区块：利用使目标绘本模板通过几何验证的单应矩阵H，确定出目标绘本模板的各个特征点在拍摄图像中的坐标，分别获取各个坐标周围预设范围内的图像块作为各个特征点对应的区块。此步骤中的拍摄图像是指在进行追踪前，通过S1201获取的拍摄图像。

S1302、基于追踪结果获得图像采集设备的位置姿态的变换偏移量[R₁|t₁]，以及成功跟踪到的区块数量。

S1303、根据成功跟踪到的区块数量和基于上一帧拍摄图像成功追踪到的区块数量，判断目标绘本模板是否发生移动。

具体地，假设基于上一帧拍摄图像成功追踪到的区块数量为n，基于当前帧拍摄图像成功跟踪到的区块数量为m，若|n-m|/m>thre，则认为用户进行了翻页操作或者移动过于激烈，无法追踪到目标绘本模板。其中，阈值thre的取值可由本领域技术人员根据实际应用场景以及识别准确度进行调整，例如，当thre取0.2时，表示若前后两帧拍摄图像之间的波动超过20％，则可认为用户进行了翻页操作或者绘本发生了较大移动。

具体实施时，可通过如下方式判断目标绘本模板是否发生移动：根据变换偏移量[R₁|t₁]和初始化SVO追踪器的增广矩阵[R|t]，确定图像采集设备当前的位置姿态为[RR₁|Rt₁+t]，利用[RR₁|Rt₁+t]计算当前处理的拍摄图像中绘本四个角的顶点在图像坐标系中的坐标，再利用坐标映射关系计算绘本的四个角的顶点在投影坐标系下的坐标Y，假设基于上一帧拍摄图像确定出的拍摄图像中绘本四个角的顶点在投影坐标系下的坐标为Y₀，如果Y和Y₀的误差小于thre0，则认为目标绘本模板未发生移动，否则，认为目标绘本模板发生移动。其中，可以根据实际情况对thre0的取值进行调整，本申请实施例不作限定，例如，阈值thre0的取值可以是10。

需要说明的是，若采用SVO追踪器进行追踪，则在返回步骤S1201之后，需要基于重新确定出的目标绘本模板，得到新的增广矩阵[R|t]，以重新初始化SVO追踪器，后续基于重新初始化SVO追踪器进行追踪。

本申请实施例的绘本识别方法，可在手持绘本移动过程中实时定位绘本的位置，同时基于追踪算法还能准确检测用户针对绘本的翻页的动作，并且仅在检测到翻页后才会重新进行绘本模板的匹配，无需持续进行绘本模板的匹配，大部分时间只是进行了追踪算法，保证了设备的低负荷运转。因此，本申请实施例的绘本识别方法能够很好地在终端设备内运行，无需依托于服务器，避免了与服务器间额外的网络通信带来的处理效率低的问题。例如，在RK3288等低端移动处理器上运行图12所示的绘本识别方法，其平均响应耗时200ms，识别率可达到99％以上。

此外，现有技术中通常采用帧差法判断是否翻页，但是，若在阅读过程中移动绘本或者有其他物体进入图像采集设备的拍摄区域中，都会引起误判，翻页识别的准确度较低，且投影画面也会影响翻页识别，尤其是针对动画的投影。本申请实施例提供的绘本识别方法，基于追踪目标绘本模板的特征点来检测是否翻页，抗干扰能力强，检测准确度更高。此外，得益于SVO追踪器的鲁棒性，可确保用户手持绘本移动时，也能追踪到绘本的四个角的顶点，完美契合了绘本识别的场景。

示例性设备

在介绍了本申请示例性实施方式的方法之后，接下来，参考图14、15、16对本申请示例性实施方式的、绘本识别装置进行介绍。

如图14所示，为本申请实施例提供的绘本识别装置的结构示意图。在一个实施例中，绘本识别装置140包括：图像获取模块1401、绘本匹配模块1402、绘本位置确定模块1403和投影模块1404。

图像获取模块1401，用于获取图像采集设备采集的拍摄图像。

绘本匹配模块1402，用于从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板。

绘本位置确定模块1403，用于确定所述拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息。

投影模块1404，用于根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述位置信息相对所述投影设备的投影位置，以使所述投影设备根据所述投影位置将所述目标绘本模板对应的投影画面投影到所述绘本上。

可选地，绘本匹配模块1402，具体用于：

分别提取N种分辨率下所述拍摄图像的特征点和每个特征点的特征向量；

按分辨率从低到高的顺序，依次将每种分辨率下提取的所述拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配；

若确定出与所述拍摄图像匹配的绘本模板，则将匹配的绘本模板确定为所述目标绘本模板。

可选地，绘本匹配模块1402，具体用于：

按照绘本模板的匹配顺序，确定当前处理的绘本模板T_m；

针对所述拍摄图像在分辨率P_n下提取的每个特征点，分别计算该特征点对应的特征向量与所述绘本模板T_m在分辨率P_n下提取的每个特征点对应的特征向量之间的相似度，若最小相似度满足预设条件，则将该最小相似度对应的所述拍摄图像的特征点i和所述绘本模板T_m的特征点j构成一个特征点对(i，j)，并添加到所述绘本模板T_m对应的点对集合中；

若所述绘本模板T_m对应的点对集合中的点对数量小于第一数量阈值，则确定所述绘本模板T_m与所述拍摄图像不匹配，并按照所述绘本模板T_m的匹配顺序对下一个处理的绘本模板进行匹配，否则，确定所述绘本模板T_m与所述拍摄图像匹配。

可选地，绘本匹配模块1402，还用于：

在将匹配的绘本模板确定为所述目标绘本模板之前，从所述绘本模板T_m对应的点对集合中获取预设数量个点对；

根据所述预设数量个点对，确定表征所述拍摄图像和所述绘本模板T_m之间的坐标映射关系的单应矩阵；

针对所述绘本模板T_m对应的点对集合中每个点对(i，j)，根据所述单应矩阵，确定特征点i在所述绘本模板T_m中的期望坐标，并计算特征点i的期望坐标和特征点j在所述绘本模板T_m中的坐标之间的距离值；

若小于误差阈值的距离值的数量大于第二数量阈值，则确定所述绘本模板T_m通过几何验证；

绘本匹配模块1402，具体用于：若确定所述绘本模板T_m通过几何验证，则将所述绘本模板T_m确定为所述目标绘本模板。

可选地，绘本匹配模块1402，还用于：

按绘本模板对应的页码从小到大的顺序，确定绘本模板的匹配顺序；或

分别计算每个绘本模板的编码向量与所述拍摄图像的编码向量之间的相似度，按编码向量的相似度从高到低的顺序，确定绘本模板的匹配顺序，其中，每个绘本模板的编码向量为根据每个绘本模板的特征点确定的，所述拍摄图像的编码向量为根据所述拍摄图像的特性点确定的；或

根据之前匹配到的目标绘本模板，确定绘本模板的匹配顺序。

可选地，绘本匹配模块1402，具体用于：

根据最近匹配到的至少两个目标绘本模板的页码，确定绘本翻页方向；

根据所述绘本翻页方向和上一次匹配到的目标绘本模板的页码，确定绘本模板的匹配顺序。

可选地，绘本匹配模块1402，还用于：

针对每个绘本模板，根据在分辨率P_n下得到的该绘本模板对应的点对集合中包含的点对数量和分辨率P_n对应的绘本模板的匹配顺序中该绘本模板所处的位次，确定该绘本模板的排序得分；

按排序得分从高到低的顺序，确定分辨率P_n-1对应的绘本模板的匹配顺序，其中，分辨率P_n-1比分辨率P_n高一级。

可选地，绘本位置确定模块1403，具体用于根据使所述目标绘本模板通过几何验证的单应矩阵和所述目标绘本模板，确定所述拍摄图像中的绘本在所述图像坐标系中的位置信息。

可选地，绘本匹配模块1402，还用于：

在按分辨率从低到高的顺序，依次将每种分辨率下提取的所述拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配之前，获取当前投影的投影画面中的每个特征点在所述投影坐标系中的第一坐标；

根据所述坐标映射关系和每个第一坐标，确定每个特征点在所述图像坐标系中的第二坐标；

针对每个第二坐标，在与所述拍摄图像大小相同的掩膜中画以所述第二坐标为圆心、r为半径的圆；

将所述掩膜覆盖在所述拍摄图像上，删除所述拍摄图像中位于所述掩膜中的圆内的特征点。

可选地，绘本识别装置140还包括跟踪模块1405，用于在确定出所述目标绘本模板后，获取所述图像采集设备实时采集的拍摄图像，并在采集的拍摄图像中追踪所述目标绘本模板的特征点。

相应地，投影模块1404，具体用于：

若成功追踪到的特征点满足预设要求，且确定拍摄图像中的绘本发生移动，则根据追踪结果确定拍摄图像中的绘本相对所述图像采集设备的变换偏移量；

根据所述变换偏移量，重新确定拍摄图像中的绘本相对所述投影设备的投影位置，以使所述投影设备根据重新确定的投影位置调整所述目标绘本模板对应的投影画面投影到所述绘本上的位置。

可选地，图像获取模块1401，还用于若成功追踪到的特征点不满足预设要求，则获取所述图像采集设备采集的新的拍摄图像；

绘本匹配模块1402，还用于根据从所述新的拍摄图像中提取的特征点和每个绘本模板的特征点的匹配度，从绘本模板中确定出新的目标绘本模板；

绘本位置确定模块1403，还用于确定所述新的拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息；

投影模块1404，还用于根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述新的拍摄图像对应的位置信息相对所述投影设备的投影位置，以使投影设备根据所述新的拍摄图像对应的投影位置，将所述新的目标绘本模板对应的投影画面投影到所述绘本上。

可选地，通过如下方式获取每个绘本模板对应的特征点：

从绘本模板中提取候选特征点和候选特征点对应的特征向量；

针对该绘本模板的每个候选特征点，计算该候选特征点的特征向量与每个投影画面中的每个特征点的特征向量之间的距离值，将最小的距离值对应的候选特征点确定为筛选特征点；

按筛选特征点对应的距离值从大到小的顺序，获取排序靠前的K个筛选特征点，确定为该绘本模板对应的特征点。

可选地，所述从绘本模板中提取候选特征点和候选特征点对应的特征向量，具体包括：

将绘本模板输入已训练的特征提取模型，得到候选特征点和候选特征点对应的特征向量；

其中，所述特征提取模型包括全卷积网络和卷积网络，所述全卷积网络用于从绘本模板中提取特征向量，所述卷积网络用于从所述全卷积网络输出的特征向量对应特征点中筛选出候选特征点，所述特征提取模型是基于绘本数据集训练得到的，所述绘本数据集中包括绘本模板和投影画面。

本申请实施例提的绘本识别装置与上述绘本识别方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。

基于与上述绘本识别方法相同的发明构思，本申请实施例还提供了一种绘本识别装置，参考图15，该绘本识别装置可以包括处理器1501和存储器1502。

处理器1501可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器1502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1502还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于与上述绘本识别方法相同的发明构思，本申请实施例还提供了一种绘本识别***，参考图16，该绘本识别***160可以包括：图像采集设备1601、投影设备1602和上述任一实施中提供的绘本识别装置1603。

其中，图像采集设备1601用于采集包含绘本的拍摄图像。

其中，投影设备1602用于根据所述绘本识别装置1603确定出的投影位置，将绘本识别装置1603确定出的目标绘本模板对应的投影画面投影到绘本上。投影设备1602可以是AR投影***。

本申请实施例还提供了一种绘本识别***160中还可以包括音频播放设备1604，在投影设备1602进行投影时，可通过音频播放设备1604同步播放绘本对应的音频，实现绘声绘色的效果。

为保证绘本识别效果和投影效果的稳定，上述绘本识别***160可以是集成有图像采集设备1601、投影设备1602、绘本识别装置1603和括音频播放设备1604的终端设备，保证图像采集设备1601的拍摄区域和投影设备1602的投影区域尽量重合。

将绘本放置在图像采集设备1601的拍摄区域内，进行绘本识别。具体地，图像采集设备1601采集包含绘本的拍摄图像，将拍摄图像发送给绘本识别装置1603；绘本识别装置1603从多个绘本模板中确定出与该拍摄图像匹配的目标绘本模板，确定该拍摄图像中的绘本在图像采集设备1601对应的图像坐标系中的位置信息，根据图像坐标系和投影设备1602对应的投影坐标系之间的坐标映射关系，确定该位置信息相对投影设备1602的投影位置；投影设备1602根据绘本识别装置1603确定出的投影位置将目标绘本模板对应的投影画面投影到绘本上，这样，用户就可以在绘本上看到投影画面，提升阅读绘本过程中的乐趣。

示例性程序产品

本申请实施例提供了一种计算机可读存储介质，用于储存为上述电子设备所用的计算机程序指令，其包含用于执行上述绘本识别方法的程序。

上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

以上，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请实施例的方法，不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本申请实施例的保护范围之内。

Claims (27)

1.一种绘本识别方法，其特征在于，包括：

获取图像采集设备采集的拍摄图像；

从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板；

确定所述拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息；

根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述位置信息相对所述投影设备的投影位置，以使所述投影设备根据所述投影位置将所述目标绘本模板对应的投影画面投影到所述绘本上；

其中，从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板时，分别提取N种分辨率下所述拍摄图像的特征点和每个特征点的特征向量；根据投影设备当前投影的投影画面的特征点，分别对每种分辨率下提取的拍摄图像的特征点进行过滤，以过滤出不受投影画面干扰的特征点；按分辨率从低到高的顺序，依次将每种分辨率下提取的所述拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配，在一种分辨率下确定出与所述拍摄图像匹配的绘本模板时，停止匹配操作，并将匹配的绘本模板确定为所述目标绘本模板。

2.根据权利要求1所述的方法，其特征在于，所述依次将每种分辨率下提取的所述拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配中，针对每种分辨率，将该分辨率P_n下提取的所述拍摄图像的特征点对应的特征向量与该分辨率P_n下提取的每个绘本模板的特征点对应的特征向量进行匹配，具体包括：

按照绘本模板的匹配顺序，确定当前处理的绘本模板T_m；

针对所述拍摄图像在分辨率P_n下提取的每个特征点，分别计算该特征点对应的特征向量与所述绘本模板T_m在分辨率P_n下提取的每个特征点对应的特征向量之间的相似度，若最小相似度满足预设条件，则将该最小相似度对应的所述拍摄图像的特征点i和所述绘本模板T_m的特征点j构成一个特征点对（i，j），并添加到所述绘本模板T_m对应的点对集合中；

若所述绘本模板T_m对应的点对集合中的点对数量小于第一数量阈值，则确定所述绘本模板T_m与所述拍摄图像不匹配，并按照所述绘本模板T_m的匹配顺序对下一个处理的绘本模板进行匹配，否则，确定所述绘本模板T_m与所述拍摄图像匹配。

3.根据权利要求2所述的方法，其特征在于，所述将匹配的绘本模板确定为所述目标绘本模板之前，所述方法还包括：

从所述绘本模板T_m对应的点对集合中获取预设数量个点对；

根据所述预设数量个点对，确定表征所述拍摄图像和所述绘本模板T_m之间的坐标映射关系的单应矩阵；

针对所述绘本模板T_m对应的点对集合中每个点对（i，j），根据所述单应矩阵，确定特征点i在所述绘本模板T_m中的期望坐标，并计算特征点i的期望坐标和特征点j在所述绘本模板T_m中的坐标之间的距离值；

若小于误差阈值的距离值的数量大于第二数量阈值，则确定所述绘本模板T_m通过几何验证；

所述将匹配的绘本模板确定为所述目标绘本模板，具体包括：

若确定所述绘本模板T_m通过几何验证，则将所述绘本模板T_m确定为所述目标绘本模板。

4.根据权利要求2所述的方法，其特征在于，通过如下方式确定绘本模板的匹配顺序：

按绘本模板对应的页码从小到大的顺序，确定绘本模板的匹配顺序；或

分别计算每个绘本模板的编码向量与所述拍摄图像的编码向量之间的相似度，按编码向量的相似度从高到低的顺序，确定绘本模板的匹配顺序，其中，每个绘本模板的编码向量为根据每个绘本模板的特征点确定的，所述拍摄图像的编码向量为根据所述拍摄图像的特性点确定的；或

根据之前匹配到的目标绘本模板，确定绘本模板的匹配顺序。

5.根据权利要求4所述的方法，其特征在于，所述根据之前匹配到的目标绘本模板，确定绘本模板的匹配顺序，具体包括：

根据最近匹配到的至少两个目标绘本模板的页码，确定绘本翻页方向；

根据所述绘本翻页方向和上一次匹配到的目标绘本模板的页码，确定绘本模板的匹配顺序。

6.根据权利要求2所述的方法，其特征在于，通过如下方式分别确定每种分辨率对应的绘本模板的匹配顺序：

针对每个绘本模板，根据在分辨率P_n下得到的该绘本模板对应的点对集合中包含的点对数量和分辨率P_n对应的绘本模板的匹配顺序中该绘本模板所处的位次，确定该绘本模板的排序得分；

按排序得分从高到低的顺序，确定分辨率P_n-1对应的绘本模板的匹配顺序，其中，分辨率P_n-1比分辨率P_n高一级。

7.根据权利要求3所述的方法，其特征在于，所述确定所述拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息，具体包括：

根据使所述目标绘本模板通过几何验证的单应矩阵和所述目标绘本模板，确定所述拍摄图像中的绘本在所述图像坐标系中的位置信息。

8.根据权利要求2至7中任一所述的方法，其特征在于，所述按分辨率从低到高的顺序，依次将每种分辨率下提取的所述拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配之前，所述方法还包括：

获取当前投影的投影画面中的每个特征点在所述投影坐标系中的第一坐标；

根据所述坐标映射关系和每个第一坐标，确定每个特征点在所述图像坐标系中的第二坐标；

针对每个第二坐标，在与所述拍摄图像大小相同的掩膜中画以所述第二坐标为圆心、r为半径的圆；

将所述掩膜覆盖在所述拍摄图像上，删除所述拍摄图像中位于所述掩膜中的圆内的特征点。

9.根据权利要求1至7中任一所述的方法，其特征在于，还包括：

在确定出所述目标绘本模板后，获取所述图像采集设备实时采集的拍摄图像，并在采集的拍摄图像中追踪所述目标绘本模板的特征点；

若成功追踪到的特征点满足预设要求，且确定拍摄图像中的绘本发生移动，则根据追踪结果确定拍摄图像中的绘本相对所述图像采集设备的变换偏移量；

根据所述变换偏移量，重新确定拍摄图像中的绘本相对所述投影设备的投影位置，以使所述投影设备根据重新确定的投影位置调整所述目标绘本模板对应的投影画面投影到所述绘本上的位置。

10.根据权利要求9所述的方法，其特征在于，还包括：

若成功追踪到的特征点不满足预设要求，则获取所述图像采集设备采集的新的拍摄图像；

根据从所述新的拍摄图像中提取的特征点和每个绘本模板的特征点的匹配度，从绘本模板中确定出新的目标绘本模板；

确定所述新的拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息；

根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述新的拍摄图像对应的位置信息相对所述投影设备的投影位置；

根据所述新的拍摄图像对应的投影位置，将所述新的目标绘本模板对应的投影画面投影到所述绘本上。

11.根据权利要求1至7中任一所述的方法，其特征在于，通过如下方式获取每个绘本模板对应的特征点：

从绘本模板中提取候选特征点和候选特征点对应的特征向量；

针对该绘本模板的每个候选特征点，计算该候选特征点的特征向量与每个投影画面中的每个特征点的特征向量之间的距离值，将最小的距离值对应的候选特征点确定为筛选特征点；

按筛选特征点对应的距离值从大到小的顺序，获取排序靠前的K个筛选特征点，确定为该绘本模板对应的特征点。

12.根据权利要求11所述的方法，其特征在于，所述从绘本模板中提取候选特征点和候选特征点对应的特征向量，具体包括：

将绘本模板输入已训练的特征提取模型，得到候选特征点和候选特征点对应的特征向量；

其中，所述特征提取模型包括全卷积网络和卷积网络，所述全卷积网络用于从绘本模板中提取特征向量，所述卷积网络用于从所述全卷积网络输出的特征向量对应特征点中筛选出候选特征点，所述特征提取模型是基于绘本数据集训练得到的，所述绘本数据集中包括绘本模板和投影画面。

13.一种绘本识别装置，其特征在于，包括：

图像获取模块，用于获取图像采集设备采集的拍摄图像；

绘本匹配模块，用于从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板，其中，从多个绘本模板中确定出与所述拍摄图像匹配的目标绘本模板时，分别提取N种分辨率下所述拍摄图像的特征点和每个特征点的特征向量；根据投影设备当前投影的投影画面的特征点，分别对每种分辨率下提取的拍摄图像的特征点进行过滤，以过滤出不受投影画面干扰的特征点；按分辨率从低到高的顺序，依次将每种分辨率下提取的所述拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配，在一种分辨率下确定出与所述拍摄图像匹配的绘本模板时，停止匹配操作，并将匹配的绘本模板确定为所述目标绘本模板；

绘本位置确定模块，用于确定所述拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息；

投影模块，用于根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述位置信息相对所述投影设备的投影位置，以使所述投影设备根据所述投影位置将所述目标绘本模板对应的投影画面投影到所述绘本上。

14.根据权利要求13所述的装置，其特征在于，所述绘本匹配模块，具体用于：

按照绘本模板的匹配顺序，确定当前处理的绘本模板T_m；

针对所述拍摄图像在分辨率P_n下提取的每个特征点，分别计算该特征点对应的特征向量与所述绘本模板T_m在分辨率P_n下提取的每个特征点对应的特征向量之间的相似度，若最小相似度满足预设条件，则将该最小相似度对应的所述拍摄图像的特征点i和所述绘本模板T_m的特征点j构成一个特征点对（i，j），并添加到所述绘本模板T_m对应的点对集合中；

若所述绘本模板T_m对应的点对集合中的点对数量小于第一数量阈值，则确定所述绘本模板T_m与所述拍摄图像不匹配，并按照所述绘本模板T_m的匹配顺序对下一个处理的绘本模板进行匹配，否则，确定所述绘本模板T_m与所述拍摄图像匹配。

15.根据权利要求14所述的装置，其特征在于，所述绘本匹配模块，还用于：

在将匹配的绘本模板确定为所述目标绘本模板之前，从所述绘本模板T_m对应的点对集合中获取预设数量个点对；

根据所述预设数量个点对，确定表征所述拍摄图像和所述绘本模板T_m之间的坐标映射关系的单应矩阵；

针对所述绘本模板T_m对应的点对集合中每个点对（i，j），根据所述单应矩阵，确定特征点i在所述绘本模板T_m中的期望坐标，并计算特征点i的期望坐标和特征点j在所述绘本模板T_m中的坐标之间的距离值；

若小于误差阈值的距离值的数量大于第二数量阈值，则确定所述绘本模板T_m通过几何验证；

所述绘本匹配模块，具体用于：若确定所述绘本模板T_m通过几何验证，则将所述绘本模板T_m确定为所述目标绘本模板。

16.根据权利要求14所述的装置，其特征在于，所述绘本匹配模块还用于通过如下方式确定绘本模板的匹配顺序：

按绘本模板对应的页码从小到大的顺序，确定绘本模板的匹配顺序；或

分别计算每个绘本模板的编码向量与所述拍摄图像的编码向量之间的相似度，按编码向量的相似度从高到低的顺序，确定绘本模板的匹配顺序，其中，每个绘本模板的编码向量为根据每个绘本模板的特征点确定的，所述拍摄图像的编码向量为根据所述拍摄图像的特性点确定的；或

根据之前匹配到的目标绘本模板，确定绘本模板的匹配顺序。

17.根据权利要求16所述的装置，其特征在于，所述绘本匹配模块，还用于：

根据最近匹配到的至少两个目标绘本模板的页码，确定绘本翻页方向；

根据所述绘本翻页方向和上一次匹配到的目标绘本模板的页码，确定绘本模板的匹配顺序。

18.根据权利要求14所述的装置，其特征在于，所述绘本匹配模块，还用于通过如下方式分别确定每种分辨率对应的绘本模板的匹配顺序：

针对每个绘本模板，根据在分辨率P_n下得到的该绘本模板对应的点对集合中包含的点对数量和分辨率P_n对应的绘本模板的匹配顺序中该绘本模板所处的位次，确定该绘本模板的排序得分；

按排序得分从高到低的顺序，确定分辨率P_n-1对应的绘本模板的匹配顺序，其中，分辨率P_n-1比分辨率P_n高一级。

19.根据权利要求15所述的装置，其特征在于，所述绘本位置确定模块，具体用于根据使所述目标绘本模板通过几何验证的单应矩阵和所述目标绘本模板，确定所述拍摄图像中的绘本在所述图像坐标系中的位置信息。

20.根据权利要求13至19中任一项所述的装置，其特征在于，所述绘本匹配模块，还用于：

在按分辨率从低到高的顺序，依次将每种分辨率下提取的所述拍摄图像的特征点对应的特征向量与对应分辨率下提取的每个绘本模板的特征点对应的特征向量进行匹配之前，获取当前投影的投影画面中的每个特征点在所述投影坐标系中的第一坐标；

根据所述坐标映射关系和每个第一坐标，确定每个特征点在所述图像坐标系中的第二坐标；

针对每个第二坐标，在与所述拍摄图像大小相同的掩膜中画以所述第二坐标为圆心、r为半径的圆；

将所述掩膜覆盖在所述拍摄图像上，删除所述拍摄图像中位于所述掩膜中的圆内的特征点。

21.根据权利要求13至19中任一项所述的装置，其特征在于，所述装置还包括跟踪模块，用于在确定出所述目标绘本模板后，获取所述图像采集设备实时采集的拍摄图像，并在采集的拍摄图像中追踪所述目标绘本模板的特征点；

所述投影模块，具体用于:

若成功追踪到的特征点满足预设要求，且确定拍摄图像中的绘本发生移动，则根据追踪结果确定拍摄图像中的绘本相对所述图像采集设备的变换偏移量；

根据所述变换偏移量，重新确定拍摄图像中的绘本相对所述投影设备的投影位置，以使所述投影设备根据重新确定的投影位置调整所述目标绘本模板对应的投影画面投影到所述绘本上的位置。

22.根据权利要求21所述的装置，其特征在于，所述图像获取模块，还用于若成功追踪到的特征点不满足预设要求，则获取所述图像采集设备采集的新的拍摄图像；

所述绘本匹配模块，还用于根据从所述新的拍摄图像中提取的特征点和每个绘本模板的特征点的匹配度，从绘本模板中确定出新的目标绘本模板；

所述绘本位置确定模块，还用于确定所述新的拍摄图像中的绘本在所述图像采集设备对应的图像坐标系中的位置信息；

所述投影模块，还用于根据所述图像坐标系和投影设备对应的投影坐标系之间的坐标映射关系，确定所述新的拍摄图像对应的位置信息相对所述投影设备的投影位置，根据所述新的拍摄图像对应的投影位置，将所述新的目标绘本模板对应的投影画面投影到所述绘本上。

23.根据权利要求13至19中任一项所述的装置，其特征在于，所述绘本匹配模块，具体用于通过如下方式获取每个绘本模板对应的特征点：

从绘本模板中提取候选特征点和候选特征点对应的特征向量；

针对该绘本模板的每个候选特征点，计算该候选特征点的特征向量与每个投影画面中的每个特征点的特征向量之间的距离值，将最小的距离值对应的候选特征点确定为筛选特征点；

按筛选特征点对应的距离值从大到小的顺序，获取排序靠前的K个筛选特征点，确定为该绘本模板对应的特征点。

24.根据权利要求22所述的装置，其特征在于，所述绘本匹配模块，具体用于：

将绘本模板输入已训练的特征提取模型，得到候选特征点和候选特征点对应的特征向量；

其中，所述特征提取模型包括全卷积网络和卷积网络，所述全卷积网络用于从绘本模板中提取特征向量，所述卷积网络用于从所述全卷积网络输出的特征向量对应特征点中筛选出候选特征点，所述特征提取模型是基于绘本数据集训练得到的，所述绘本数据集中包括绘本模板和投影画面。

25.一种绘本识别装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12任一项所述方法的步骤。

26.一种绘本识别***，其特征在于，包括：图像采集设备、投影设备和如权利要求25所述的绘本识别装置；

所述图像采集设备用于采集包含绘本的拍摄图像；

所述投影设备用于根据所述绘本识别装置确定出的投影位置，将所述绘本识别装置确定出的目标绘本模板对应的投影画面投影到所述绘本上。

27.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该计算机程序指令被处理器执行时实现权利要求1至12任一项所述方法的步骤。

Images