CN113393480B - 一种基于书本位置实时投影笔记的方法 - Google Patents

Abstract

本发明公开了一种基于书本位置实时投影笔记的方法，采用具有摄像头、投影仪、图像处理识别模块的识别***，包括以下步骤：步骤一、获取投影仪和摄像头坐标之间的关系；步骤二、通过CV2库中的函数读取书本坐标；步骤三、判断是否提取到书本轮廓，若是则进行下一步，否则返回步骤二；步骤四、根据投影坐标进行实际投影。本发明可以实时的投影笔记，辅助学生学习；过边缘检测提取书本轮廓，可以很好的避免了因环境光线造成的图像识别不准确，比起颜色识别，通用性更加广泛；通过书本形状来补全书本边缘，防止因手部遮挡而识别不准确。

Description

一种基于书本位置实时投影笔记的方法

技术领域

本发明涉及投影显示技术领域，具体涉及一种基于书本位置实时投影笔记的方法。

背景技术

现在在线教育越来越受到人们重视，但是传统的在线教育仅能学生从屏幕中单向的获取知识，这种方式在很多种教学场景下学生学习的效果并不好，学生很可能会分心或者仅仅是听而不会做笔记。而可以采用一种新的方式来进行在线教育，这种方式通过将笔记直接投影在书本上，学生可以在自己书上看笔记的同时自己做笔记，加深了学习的印象。而这种方式就涉及到如何定位书本，并且将书本的位置转换为摄像头的投影坐标，以及笔记图片如何通过何种方式经过转换最终投影到书本上。同时，为了提高技术的鲁棒性，还要考虑手部动作对书本定位的干扰。解决以上问题，成为了实现新型交互式教学设备的重要条件。

已有的专利一种基于摄像头投影仪技术的交互***，此专利中同样通过摄像头获取信息，然后经过运算后投影仪输出特定的数据形成一种交互。但该专利发明并未涉及到如何精确将摄像头获取位置进行投影，也没有清晰的处理摄像头位置和投影仪位置之间的位置关系。因而与本申请存在差异。书本在平面上的伸缩变形可以通过透视变换来适应并基本能准确投影到正确位置，但若书本存在立体方向上伸缩畸变，这难以将笔记投影到正确位置。

发明内容

为了实现上述技术目的，本发明涉及图像定位、坐标转换并进行投影，具有读取书本坐标、坐标处理、去除手干扰、转换为投影坐标进行笔记投影的功能。

本发明至少通过如下技术方案之一实现。

一种基于书本位置实时投影笔记的方法，采用具有摄像头、投影仪、图像处理识别模块的识别***，包括以下步骤：

步骤一、利用投影关系，获取投影仪和摄像头坐标之间的关系；

步骤二、通过CV2库中的函数读取书本坐标；

步骤三、提取书本轮廓，判断是否提取到书本轮廓，若是则进行下一步，否则返回步骤二；

步骤四、根据投影坐标和透视变换矩阵进行实际投影。

优选的，获取投影仪和摄像头坐标之间的关系，包括以下步骤：

(1)在底座上放置两个标记物分别记为第一标记物和第二标记物；

(2)通过摄像头获取带有第一标记物和第二标记物的图像；

(3)根据投影仪投影大小制作一张占据投影仪屏幕的黑色图片，在黑色图片上标记一红点，所述红点的位置坐标记为(α0，β0)，将黑色图片放到投影仪投影，其中该黑色图片命名为src；

(4)在摄像头获取的图像中标记出第一标记物并获取第一标记物的像素坐标(x11，y11)；若黑色图片src的红点不第一标记物的表面，则重新生成新的红点，重新生成的红点的位置产生偏移，将重新生成新的红点坐标的黑色底图片放到投影仪投影，不断进行步骤(4)直到红点落于第一标记物表面，此时，读取红点在黑色图片src中像素坐标，并记为(x21，y21)；

(5)从摄像头图片中获取第二标记物像素坐标(x12，y12)，重复步骤(3)～步骤(4)，投影仪投影图片，使红点落到第二标记物处，得到红点在黑色图片src中像素坐标，并记为(x22，y22)；

(6)根据以下公式得到摄像头读取的图像和投影的图像在X方向和Y方向的伸缩度k1、k2以及摄像头光轴中心点与投影仪的投射光轴中心点在X方向和Y方向的偏移b1、b2，并记为公式一：

x11＝k1*x21+b1

x12＝k1*x22+b1

y11＝k2*y21+b2

y12＝k2*y22+b2

记摄像头拍摄某像素点坐标为(x1，y1)，投影仪投影出的坐标为(x2，y2)，两个点之间关系记为公式二：

x1＝k1*x2+b1

y1＝k2*y2+b2

经过上述步骤(1)到步骤(7)得到投影仪和摄像头坐标之间的关系，并运用于之后的坐标变换。

优选的，读取书本坐标，包括以下步骤：

21)将书本放置在底座上，并且调节摄像头视野范围，使视野范围内全是底座；

22)在底座上方，摄像头视野范围之内放置书本，实际测量得到书本的宽w和高h；

23)通过摄像头读取书本图片，并将得到的书本图片进行压缩；

24)将压缩后的图像转换为灰度图；

25)将灰度图作高斯模糊；

26)对高斯模糊后图像进行边缘提取；

27)使用CV2库中的approxPolyDP函数，对包括手部和书本的边缘进行多边形拟合处理，拟合后将曲线变为直线多边形且得到多边形各点坐标的集合M。

优选的，判断是否提取到书本轮廓，包括以下步骤：

31)记书本左上和右上的边角坐标为左上点和右上点，左上点和右上点的获取是通过步骤7)中得到的集合M中y坐标的绝对值最大的三个点，并对这三个点分别计算两两之间的距离，若其中两点之间的距离最符合书本的宽度w，定义这两点的坐标为P1(x1，y1)、P2(x2，y2)；

32)将x1、x2进行比较，若x1＞x2则P1位右上点，P2为左上点，反之P1位左上点，P2为右上点；

33)对集合M中剩余的点进行遍历，并将具有以下特征的点作为书页右下方的角点：

特征a、和右上点的x坐标值相差小于允许的范围；

特征b、和右上点的距离在书页宽度w的范围内；

根据以上方法，有两种情况：得到点P3并定义为右下点；得不到符合上述条件的点定义右下点为空；

基于相同的方法，寻找左下点，并同样出现两种情况：得到点P4并定义为左下点；得不到符合上述条件的点定义左下点为空，则有且仅有四种情况：

情况一：只寻找到左下点，右下点为空；

情况二：只寻找到右下点，左下点为空；

情况三：同时寻找到左下点和右下点；

情况四：左下点右下点均未寻找到且为空。

34)若为情况一，只寻找到左下点，右下点为空，用左下点P4(x4，y4)平移后得到(x4+w，y4)记为右下点；

若为情况二，只寻找到右下点，左下点为空，用右下点P3(x3，y3)平移后得到(x3-w，y3)记为到左下点；

若为情况三，直接得到左下点和右下点；

若为情况四，则认为图中未识别到书本；

35)情况一～情况三均根据图像或计算得到左上点、右上点、左下点和右下点的坐标，则认为识别到了书本，若为情况四，则认为未识别到书本；

36)若识别到书本，进行步骤四，否则，返回步骤二的。

优选的，读取书本坐标，包括以下步骤：

(41)根据公式二要求，将步骤三得到的左上点，作为摄像头拍摄某像素点坐标，代入公式二中，得到投影仪投影出的坐标实际坐标，并记为(x1，y1)；

(42)将步骤三得到的右上点、左下点和右下点的坐标，作为摄像头拍摄某像素点坐标，代入公式二中，得到投影仪投影出的坐标，并记为(x2，y2)、(x3，y3)、(x4，y4)；

(43)将含有笔记的笔记图片，裁成与书本的宽和高比例相同的图片；

(44)利用CV2库中的getPerspectiveTransform获取透视变换矩阵M，将笔记图片四个点(0，0)、(0，h)、(w，0)、(w，h)和步骤(41)、步骤(42)中得到的的四个点投入getPerspectiveTransform函数中，计算得到笔记图片到投影图片之间的坐标映射矩阵M；

(45)根据坐标映射矩阵M，利用CV2库中的warpPerspective，将笔记图片转换成与实际书本大小相等，相对投影仪实际位置相同的图片src2；

(46)将步骤(45)得到的图片src2发送至投影仪投影。

优选的，采用CV2图像处理库，将压缩后的图像转换为灰度图。

优选的，采用canny算子对高斯模糊后图像进行边缘提取，设置canny算子中阈值为上阈值。

优选的，所述上阈值等于三倍的下阈值。

优选的，采用双线性插值的方法进行压缩图像尺寸。

优选的，所述底座为选用黑色材料的底座、

与现有的技术相比，本发明的有益效果为

(1)本方法具有从摄像头和投影仪标定到实现全部功能的全部过程，落地完全可行。另外，本方法从原理出发，在不影响效果的前提下做了近似处理，简化了实现步骤和实现所需条件，可以实时的投影笔记，辅助学生学习；

(2)通过边缘检测提取书本轮廓，可以很好的避免了因环境光线造成的图像识别不准确，比起颜色识别，通用性更加广泛；

(3)通过书本形状来补全书本边缘，防止因手部遮挡而识别不准确；

(4)投影位置校正仅仅和摄像头和投影仪位置有关，可以固定好后只校正一次，使用方便且兼顾了通用性；

(5)解决电脑端笔记到实物投影所面临的问题。

附图说明

图1为本发明实施例一种基于书本位置实时投影笔记的方法的流程图。

具体实施方式

以下结合后附图和实例对本发明的具体实施作进一步说明，但本发明的实施和保护不限于此。附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

如图1所示，本实例的一种基于书本位置实时投影笔记的方法，采用具有摄像头、投影仪、图像处理识别模块的识别***，包括如下步骤：

步骤一、获取投影仪和摄像头坐标之间的关系，具体包括如下步骤：

(1)在底座上放置两个直径约5mm的白色小棋子分别记为第一棋子1和第二棋子2，要求两个棋子不在同一水平线上，并使棋子间间隔距离约为横向距离30cm，纵向距离21cm，目的是后续校正步骤中得到的参数值更准确；

(2)通过摄像头获取带有第一棋子1和第二棋子2的图像；

(3)根据投影仪投影大小制作一张刚好占据投影仪屏幕的一张黑色图片并带有一红点在任意位置(α0，β0)，将图片放到投影仪投影，其中该图片命名为src。

(4)在摄像头获取的图像中标记出第一棋子1并获取第一棋子1像素坐标(x11，y11)。若图片src的红点不在棋子1的表面，比如红点在棋子1左侧，那么下次生成红点向右偏移，重新生成红点坐标不同的黑色底图片，并放到投影仪投影，不断进行此步骤直到红点落于第一棋子表面，此时，读取红点在图片src中像素坐标，并记为(x21，y21)；

(5)同样的重复步骤(3)、步骤(4)，从摄像头图片中获取第二棋子2像素坐标(x12，y12)，而投影仪投影图片src，并改变src中红点位置，使红点落到第二棋子2处，得到红点在图片src中像素坐标，并记为(x22，y22)；

(6)根据以下公式得到投影仪读取的图像和投影的图像在X方向和Y方向的伸缩度k1、k2以及摄像头光轴中心点与投影仪的投射光轴中心点在X方向和Y方向的偏移b1、b2，并记为公式一：

x11＝k1*x21+h1

x12＝k1*x22+b1

y11＝k2*y21+b2

y12＝k2*y22+b2

(7)到此，校正步骤结束；

(8)投影仪和摄像头坐标之间的关系由摄像头与投影仪之间的成像过程和相对位置决定，固定投影仪和摄像头之间位置后，投影仪和摄像头的位置坐标之间关系可以由各种参数计算得出。但根据投影仪和摄像头之间实际位置计算投影仪和摄像头的位置坐标之间关系的方式过于繁琐，因此选用实际校正的方式来得到两组坐标之间的变换关系。根据摄像头成像原理以及投影仪投影原理可以知道，摄像头拍摄的图像是以摄像头光轴为中心，而投影仪投影笔记是以投影仪的投射光轴为中心，因此两组点之间会存在X方向和Y方向的偏移记为b1、b2。而在固定投影仪和摄像头时，使两者成像或投影的矩形的长，宽分别平行，这样可以忽略两组点之间的旋转偏移。最后，由于成像和投影是两组不同的方式，投影大小和图像大小往往也会不一致，会造成读取的图像和投影的图像有X方向和Y方向的伸缩，因此分别将其伸缩度记为k1，k2。根据原理得到上述关系后，得出拍摄和投影之间的关系，记摄像头拍摄某像素点坐标为(x1，y1)，投影仪投影出的坐标(即实际坐标)为(x2，y2)，可得两个点之间关系并记为公式二：

x1＝k1*x2+b1

y1＝k2*y2+b2

因此，经过上述步骤(1)到步骤(7)，得到了k1、k2、b1、b2，则得到投影仪和摄像头坐标之间的关系，并运用于之后的坐标变换。

作为实例，利用固定好的包括投影仪、摄像头、底座的装置获取k1、k2、b1、b2参数，根据投影仪和摄像头之间位置的关系，使用步骤一中的方法，得到摄像头和投影仪之间关系参数k1＝-61/26，b1＝18760/13，k2＝-192/85，b2＝76471/85。

在摄像头中标记一白色棋子的位置，并得到摄像头图片中白色棋子的像素坐标(100，10)，带入公式二计算，X＝k1*100+b1，Y＝k2*x2+b2，得到X、Y值分别为1208、877，所以投影仪投影的红点坐标为(1208，877)位置。

发现红点和白色棋子的位置重合，并且在摄像头中点中任意位置并获取摄像头图像中的像素坐标，经过转换成投影坐标后，生成带有基于投影坐标的红点的图像并交给投影仪投影，投影仪都能投影红点到实际位置。

步骤二、读取书本坐标；

(21)选用黑色材料的底座，并且调节摄像头视野范围，使视野范围内全是黑色的底座；

(22)在底座上方，摄像头视野范围之内放置书本，实际测量得到书本的宽w和高h。步骤(21)和步骤(22)的底板是和书本是不一样的颜色，可以通过黑色底座和书本进行强烈的颜色对比从而识别出书本外轮廓，另外视野范围内的底座可以隔绝周边环境的干扰，提高了对于环境的鲁棒性。

(23)通过摄像头读取书本图片，并将得到的书本图片采用双线性插值的方法进行压缩图像尺寸，其目的是为了提高计算速度。

(24)使用CV2图像处理库，将得到的图像转换为灰度图。

(25)将灰度图作高斯模糊。经过多次试验，在高斯模糊中使用较大的卷积核，实例中使用(9*9大小)的卷积核进行模糊。使用大卷积核高斯滤波的可行性，仅仅对书本的边缘进行提取，不对内容作处理。而有利之处是大卷积核能够很好的保持图像边缘且消除摄像头拍摄带来的噪声使边缘不准确。

(26)用canny算子对高斯模糊后图像进行边缘提取。并设置canny算子中阈值为上阈值，上阈值等于三倍的下阈值。其具体原因是canny算子需要设置上下阈值来判断对边缘的敏感程度从而得出边缘图像，实例中经过手动实验，得出下阈值为26时，提取的边缘效果最佳，然后设置上阈值等于三倍的下阈值，最终得到上下阈值。

(27)使用CV2库中的approxPolyDP函数，对包括手部和书本的边缘进行多边形拟合处理，选定拟合系数为0.01*peri(边缘的周长)，拟合后将曲线变为直线多边形且得到多边形各点坐标的集合M。

(28)记书本左上和右上的边角坐标坐标为左上点和右上点，左上点和右上点的获取是通过步骤(27)中得到的集合M中y坐标值最大的三个点，并对三个点分别计算两两之间的距离，若其中两点之间的距离最符合书本的宽度w，定义为P1(x1，y1)、P2(x2，y2)。

(29)上步骤中得到的两点P1、P2，根据其x1、x2大小进行比较，若x1＞x2则P1位右上点，P2为左上点，反之P1位左上点，P2为右上点。

(210)对M中剩余的点进行遍历，并将具有以下特征的点作为书页右下方的角点：和右上点的x值相差小于允许的范围(取15个像素长度)；和右上点的距离在书页已知宽度的范围内。

根据以上方法，有两种情况：得到点P3并定义为右下点；得不到符合上述条件的点定义右下点为空。

基于相同的方法，寻找左下点，并同样出现两种情况：得到点P4并定义为左下点；得不到符情况一：只寻找到左下点，右下点为空；

情况二：只寻找到右下点，左下点为空；

情况三：同时寻找到左下点和右下点；

情况四：左下点右下点均未寻找到且为空。

(211)若为情况一，只寻找到左下点，右下点为空，用左下点P4(x4，y4)平移后得到(x4+w，y4)记为右下点；

若为情况二，只寻找到右下点，左下点为空，用右下点P3(x3，y3)平移后得到(x3-w，y3)记为到左下点；

若为情况三，直接得到左下点和右下点；

若为情况四，则认为图中未识别到书本；

(212)情况一～情况三均可根据图像或计算得到左上点、右上点、左下点和右下点的坐标，认为识别到了书本，若为情况四，认为未识别到书本。若识别到书本，进行步骤三，否则，返回步骤二的步骤(23)。

作为实例，在实验室环境中提取到书本的四个点的坐标，在书本移动后上述方法均能成功跟踪书本的准确位置，把手放在书本上面时并不会影响到书本的识别。

步骤三、根据投影坐标进行实际投影；

(31)根据公式二的要求，将步骤二得到的左上点，作为摄像头拍摄某像素点坐标，代入公式二中，得到投影仪投影出的坐标(即实际坐标)，并记为(x1，y1)。

(32)同样的，将步骤二得到的右上点、左下点和右下点的坐标，作为摄像头拍摄某像素点坐标，代入公式二中、得到投影仪投影出的坐标(即实际坐标)，并记为(x2，y2)、(x3，y3)、(x4，y4)。

(33)拿出一张书写了笔记的图片，且笔记图片的宽和高比例和书本的宽和高比例相同为w和h。

(34)利用CV2库中的getPerspectiveTransform函数获取透视变换矩阵M，将笔记图片四个点(0，0)、(0，h)、(w，0)、(w，h)，和步骤31)32)中得到的(x1，y1)等的四点投入getPerspectiveTransform函数中，计算得到笔记图片到投影图片之间的坐标映射矩阵M。

(35)上步骤中的坐标映射矩阵M，利用CV2库中的warpPerspective函数，将笔记图片转换成与实际书本大小相等，相对投影仪实际位置相同的图片src2.

(35)将变换后图片src2发送至投影仪投影，完成整个基于书本位置实时投影笔记的方法。

作为实例，定义宽高和书本相同为w＝440，h＝220的空白笔记图片，通过画图软件在图片上编写笔记。摄像头通过步骤二获取书本的左上点，右上点，左下点和右下点的坐标，分别为(100，100)、(100，200)、(300，100)、(300，200)，将四个点分别带入公式二计算，分别得到(1208，1172)、(1208，2281)、(3612，1172)、(3612，2281)四个点，然后将(0，0)、(0，220)、(440，0)、(440，220)和(1208，1172)、(1208，2281)、(3612，1172)、(3612，2281)带入getPerspectiveTransform函数中算出投影的图片，并交给投影仪投影，发现笔记位置和书本重合。之后不断的读取在画图软件上画的笔记并通过上述步骤进行投影，就可以实现基于书本位置实时投影笔记。

实施例二：

针对步骤二中读取书本坐标，对提取书本轮廓可以采用以下方式：

1)用摄像头拍摄一张包含有完整书本页面的图片。

2)用Photoshop在图片中提取书本页面范围内的中5到7个具有代表性颜色的点，读取这些点的颜色RGB值，并根据这些RGB值确定书本页面颜色的RGB范围。

3)根据上步骤中的RGB范围，利用CV2库中inRange函数将摄像头获取的图像中对应的颜色范围提取出来，得到一张二值化的图片。

4)将二值化的图片作高斯模糊。

5)接着进行步骤(26)，后续步骤相同。

实施例三：

针对步骤二中读取书本坐标，对计算出书本四个点坐标可以采用以下方式：

1)对步骤(27)中得到的多边形进行判断，如果多边形的角点数量等于4(即提取到的是四边形)，那么则认为提取到了书本轮廓，并记多边形的四个角点坐标为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)。

2)将上步骤中得到的(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)代入步骤(32)中，后续步骤相同。

实施例四：

针对步骤一中的获取投影仪和摄像头坐标之间的关系，进行如下改变：

(1)在底座上放置一个边长为10cm的正方形硬纸片。下面简称纸片，纸片作用是为后续标定提供准确参照。

(2)通过摄像头获取带有正方形的图像。

(3)根据投影仪投影大小生成一张刚好占据投影仪屏幕的一张黑色图片并带有一红色正方形在任意位置，下面记这个正方形为红色正方形。红色正方形中点位于(α0，β0)，此处考虑到摄像头畸变，因此宽和高不一定相等，记为W0，H0，将图片放到投影仪投影，其中该图片命名为src。

(4)在摄像头获取的图像中标记出纸片的中心点并获取纸片中心点的像素坐标(x11，y11)，纸片的宽为W，高为H。

(5)若图片src的红色正方形的中心点不与纸片的中心点重合，比如投影的红色正方形的中心点在纸片的中心点的左侧，那么下次重新生成的黑色底图片中的红色正方形中心点坐标向右偏移，并放到投影仪投影，不断进行此步骤直到红色正方形中心点和纸片的中心点重合，此时，读取红色正方形中心点在图片src中像素坐标，并记为(x21，y21)；

(6)在红色正方形中心点和纸片中心点重合后，调整生成的黑色底图片中的红色正方形的宽，并放到投影仪投影，不断进行此步骤直到红色正方形和纸片的宽度相同，此时，读取红色正方形在图片src中像素宽度，并记为W1；

(7)同样的，调整生成的黑色底图片中的红色正方形的高，并放到投影仪投影。不断进行此步骤直到红色正方形和纸片的高度相同，此时，读取红色正方形在图片src中像素高度，并记为H1；

(8)根据以下公式得到投影仪读取的图像和投影的图像在X方向和Y方向的伸缩度k1、k2以及摄像头光轴中心点与投影仪的投射光轴中心点在X方向和Y方向的偏移b1、b2，并记为公式一：

h1＝x11-x21

b2＝y11-y21

k1＝W/W1

k2＝H/H1

(9)得到k1、k2、b1、b2，至此校正步骤结束。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.一种基于书本位置实时投影笔记的方法，采用具有摄像头、投影仪、图像处理识别模块的识别***，其特征在于，包括以下步骤：

步骤一、利用投影关系，获取投影仪和摄像头坐标之间的关系，，包括以下步骤：

(1)在底座上放置两个标记物分别记为第一标记物和第二标记物；

(2)通过摄像头获取带有第一标记物和第二标记物的图像；

(3)根据投影仪投影大小制作一张占据投影仪屏幕的黑色图片，在黑色图片上标记一红点，所述红点的位置坐标记为(α0，β0)，将黑色图片放到投影仪投影，其中该黑色图片命名为src；

(4)在摄像头获取的图像中标记出第一标记物并获取第一标记物的像素坐标(x11，y11)；若黑色图片src的红点不第一标记物的表面，则重新生成新的红点，重新生成的红点的位置产生偏移，将重新生成新的红点坐标的黑色底图片放到投影仪投影，不断进行步骤(4)直到红点落于第一标记物表面，此时，读取红点在黑色图片src中像素坐标，并记为(x21，y21)；

(5)从摄像头图片中获取第二标记物像素坐标(x12，y12)，重复步骤(3)～步骤(4)，投影仪投影图片，使红点落到第二标记物处，得到红点在黑色图片src中像素坐标，并记为(x22，y22)；

(6)根据以下公式得到摄像头读取的图像和投影的图像在X方向和Y方向的伸缩度k1、k2以及摄像头光轴中心点与投影仪的投射光轴中心点在X方向和Y方向的偏移b1、b2，并记为公式一：

x11＝k1*x21+b1

x12＝k1*x22+b1

y11＝k2*y21+b2

y12＝k2*y22+b2

记摄像头拍摄某像素点坐标为(x1，y1)，投影仪投影出的坐标为(x2，y2)，两个点之间关系记为公式二：

x1＝k1*x2+b1

y1＝k2*y2+b2

经过上述步骤(1)到步骤(7)得到投影仪和摄像头坐标之间的关系，并运用于之后的坐标变换；

步骤二、通过CV2库中的函数读取书本坐标；

步骤三、提取书本轮廓，判断是否提取到书本轮廓，若是则进行下一步，否则返回步骤二；

步骤四、根据投影坐标和透视变换矩阵进行实际投影。

2.根据权利要求1所述的一种基于书本位置实时投影笔记的方法，其特征在于，读取书本坐标，包括以下步骤：

21)将书本放置在底座上，并且调节摄像头视野范围，使视野范围内全是底座；

22)在底座上方，摄像头视野范围之内放置书本，实际测量得到书本的宽w和高h；

23)通过摄像头读取书本图片，并将得到的书本图片进行压缩；

24)将压缩后的图像转换为灰度图；

25)将灰度图作高斯模糊；

26)对高斯模糊后图像进行边缘提取；

27)使用CV2库中的approxPolyDP函数，对包括手部和书本的边缘进行多边形拟合处理，拟合后将曲线变为直线多边形且得到多边形各点坐标的集合M。

3.根据权利要求2所述的一种基于书本位置实时投影笔记的方法，其特征在于，判断是否提取到书本轮廓，包括以下步骤：

31)记书本左上和右上的边角坐标为左上点和右上点，左上点和右上点的获取是通过步骤7)中得到的集合M中y坐标的绝对值最大的三个点，并对这三个点分别计算两两之间的距离，若其中两点之间的距离最符合书本的宽度w，定义这两点的坐标为P1(x1，y1)、P2(x2，y2)；

32)将x1、x2进行比较，若x1>x2则P1位右上点，P2为左上点，反之P1位左上点，P2为右上点；

33)对集合M中剩余的点进行遍历，并将具有以下特征的点作为书页右下方的角点：

特征a、和右上点的x坐标值相差小于允许的范围；

特征b、和右上点的距离在书页宽度w的范围内；

根据以上方法，有两种情况：得到点P3并定义为右下点；得不到符合步骤31)～步骤33)任意一步骤的点定义右下点为空；

基于相同的方法，寻找左下点，并同样出现两种情况：得到点P4并定义为左下点；得不到符合步骤31)～步骤33)任意一步骤的点定义左下点为空，则有且仅有四种情况：

情况一：只寻找到左下点，右下点为空；

情况二：只寻找到右下点，左下点为空；

情况三：同时寻找到左下点和右下点；

情况四：左下点右下点均未寻找到且为空；

34)若为情况一，只寻找到左下点，右下点为空，用左下点P4(x4，y4)平移后得到(x4+w，y4)记为右下点；

若为情况二，只寻找到右下点，左下点为空，用右下点P3(x3，y3)平移后得到(x3-w，y3)记为到左下点；

若为情况三，直接得到左下点和右下点；

若为情况四，则认为图中未识别到书本；

35)情况一～情况三均根据图像或计算得到左上点、右上点、左下点和右下点的坐标，则认为识别到了书本，若为情况四，则认为未识别到书本；

36)若识别到书本，进行步骤四，否则，返回步骤二的。

4.根据权利要求3所述的一种基于书本位置实时投影笔记的方法，其特征在于，读取书本坐标，包括以下步骤：

(41)根据公式二要求，将步骤三得到的左上点，作为摄像头拍摄某像素点坐标，代入公式二中，得到投影仪投影出的坐标实际坐标，并记为(x1，y1)；

(42)将步骤三得到的右上点、左下点和右下点的坐标，作为摄像头拍摄某像素点坐标，代入公式二中，得到投影仪投影出的坐标，并记为(x2，y2)、(x3，y3)、(x4，y4)；

(43)将含有笔记的笔记图片，裁成与书本的宽和高比例相同的图片；

(44)利用CV2库中的getPerspectiveTransform获取透视变换矩阵M，将笔记图片四个点(0,0)、(0，h)、(w，0)、(w，h)和步骤(41)、步骤(42)中得到的的四个点投入getPerspectiveTransform函数中，计算得到笔记图片到投影图片之间的坐标映射矩阵M；

(45)根据坐标映射矩阵M，利用CV2库中的warpPerspective，将笔记图片转换成与实际书本大小相等，相对投影仪实际位置相同的图片src2；

(46)将步骤(45)得到的图片src2发送至投影仪投影。

5.根据权利要求4所述的一种基于书本位置实时投影笔记的方法，其特征在于，采用CV2图像处理库，将压缩后的图像转换为灰度图。

6.根据权利要求5所述的一种基于书本位置实时投影笔记的方法，其特征在于，采用canny算子对高斯模糊后图像进行边缘提取，设置canny算子中阈值为上阈值。

7.根据权利要求6所述的一种基于书本位置实时投影笔记的方法，其特征在于，所述上阈值等于三倍的下阈值。

8.根据权利要求7所述的一种基于书本位置实时投影笔记的方法，其特征在于，采用双线性插值的方法进行压缩图像尺寸。

9.根据权利要求7所述的一种基于书本位置实时投影笔记的方法，其特征在于，所述底座为选用黑色材料的底座。

Images