CN108279838B - 一种激光笔远程交互方法 - Google Patents

Abstract

本发明涉及一种激光笔远程交互方法，包括：采集投影图象画面，并对所采集到的图象进行处理；获取帧图像对应的像素值，根据像素值判断前景像素及噪声点；逐像素点遍历图像，剔除噪声点图像，获取前景像素图像；将前景图像划入同一个连通区域中，得到多个连通区域；根据连通区域对激光点所在区域进行定位；识别激光笔颜色，根据设置的激光笔的颜色判断鼠标手势；根据鼠标手势，实现投影屏幕与计算机屏幕件的坐班点的一一映射。本发明通过激光笔可以实现用户边走的同时也能对远程的ppt实现相应的操作，同时也能实现简单的鼠标操作。

Description

一种激光笔远程交互方法

技术领域

本发明涉及激光笔交互技术领域，具体涉及一种激光笔远程交互方法。

背景技术

在课堂上，或者会议室中，利用投影仪将计算机中的画面内容投射到屏幕上，然后播放给听众看，是常见的应用场景。

在演讲人进行PPT讲解时，因为经常需要走动，此时能否对计算机进行远程操控，直接影响到用户体验。传统的演讲激光笔，能够通过按钮进行ppt的播放操作，但是不能完全实现鼠标操作。对一些需要操作控制电脑的应用，传统的激光笔无能为力，演讲者需要暂停ppt的演讲，回到电脑跟前使用鼠标操作，这个过程大大影响了演讲效率，同时减少了演讲互动的体验。

发明内容

本发明的目的在于提供一种激光笔远程交互方法，通过激光笔可以实现用户边走的同时也能对远程的ppt实现相应的操作，同时也能实现简单的鼠标操作。

为实现上述目的，本发明采用了以下技术方案：

一种激光笔远程交互方法，包括以下步骤：

(1)采集投影图象画面，并对所采集到的图象进行处理；

(2)获取帧图像对应的像素值，根据像素值判断前景像素及噪声点；

(3)逐像素点遍历图像，剔除噪声点图像，获取前景像素图像；

(4)将前景图像划入同一个连通区域中，得到多个连通区域；

(5)根据连通区域对激光点所在区域进行定位；

(6)识别激光笔颜色，根据设置的激光笔的颜色判断鼠标手势；

(7)根据鼠标手势，实现投影屏幕与计算机屏幕间的坐标点的一一映射。

进一步的，步骤(5)中，所述根据连通区域对激光点所在区域进行定位，具体包括如下步骤：

(51)对多个连通域进行筛选，获得激光点所在的连通域；

(52)求取连通域的外接矩形，根据外接矩形判断激光点所在区域；

(53)获取激光点的重心，通过重心对激光点所在区域进行定位。

进一步的，步骤(6)中，所述识别激光笔颜色，具体包括如下步骤：

(61)提取帧差图像坐标，根据坐标区域位置，在原始三通道图像中，截取对应的区域部分，记为ROI_i，故图像ROI_i也是三通道图像，每个像素点具有R，G，B三个分量的值；

(62)计算图像ROI_i内所有像素的分别在R，G，B三个通道的分量总值；

(63)比较三个通道的色彩总值的大小，根据色彩值大小判断激光笔颜色。

进一步的，步骤(6)中，根据设置的激光笔的颜色判断鼠标手势，具体包括如下步骤：

若第i帧的激光点区域检测出为红色，第i+1帧的激光点区域检测出为绿色，则为鼠标左击操作；

若第i帧的激光点区域检测出为红色，第i+1帧的激光点区域检测出为蓝色，则为鼠标右击操作；

若第i帧的激光点区域检测出为红色，第i+1帧的激光点区域检测出为绿色，第i+2帧的激光点区域检测出为红色，第i+3帧的激光点区域检测出为绿色，则为鼠标左键双击操作；

若连续4帧以上激光点区域都检测出为红色，则为鼠标移动操作。

由上述技术方案可知，本发明所述的激光笔远程交互方法，通过对激光笔的操作实现了对计算机的远程操控，同时也实现了用户边走的同时对远程的ppt相应的操作及简单的鼠标操作，提高了演讲的效率，方便了用户操作。

附图说明

图1是本发明的方法流程图；

图2是本发明的激光点检测流程图；

图3是本发明的人工神经网络模型。

具体实施方式

下面结合附图对本发明做进一步说明：

如图1-3所示，本实施例的一种激光笔远程交互方法，包括如下步骤：

S1：通过摄像头采集投影图象画面，将采集到的图象输入到计算机中进行处理，获取帧图像对应的像素值，根据像素值判断前景像素及噪声点；逐像素点遍历图像，剔除噪声点图像，获取前景像素图像；将前景图像划入同一个连通区域中，得到多个连通区域；

S11：图像灰度化操作：

对于每一张采集的图像标记为O_i，由于采集到的图像是三通道的，为了方便下面对于图像的操作，我们将其进行灰度化操作，灰度化后的图像记为S_i。

S12：图像帧差：

对于正在使用的投影屏幕来说，其画面的内容总是动态在变化的，因此，想通过多帧平均的方法，求取稳定的背景图像，效果是非常不好的，因此，本专利通过利用图像帧差的方法，来检测出运动变化的区域，从而实现求取激光点在投影屏幕中所在的光斑区域。

由于摄像头是实时采集投影屏幕的画面，假设当前摄像头采集的图像画面已经过灰度化操作后被标记为第S_i帧，则下一个时刻采集到的图像画面并经过灰度化操作后被标记为第S_i+1帧，则帧差图D_i定义如公式(1)所示，其中S_i+1(x,y)表示在第S_i+1帧图像中，点(x，y)对应的像素值，D_i(x,y)表示在第D_i个帧差图像中，点(x，y)对应的像素值。

D_i(x,y)＝|S_i+1(x,y)-S_i(x,y)| (1)

S13：帧差图像阈值化：

对于求取到的帧差图像来说，由于不同时刻光照的影响，同样也会存在一些噪声干扰，这对于激光点区域的检测同样会造成影响，因此我们需要对帧差图像进行阈值化操作，从而减少部分的噪声信息。

对于帧差图像D_i来说，对于其每个像素点(x，y)，如果D_i(x,y)的值大于20(经验阈值)，便将该点(x，y)作为前景像素保留下来，且像素值保持不变，如果D_i(x,y)的值小于20，则认为其是噪声点，将该点的像素值变成0，同时将其作为帧差图像的背景信息，最终图像记为DX_i。

S14：生成连通域：

逐像素点遍历图像DX_i，如果相邻的两个像素其像素值都不为0，则将这两个像素划入到同一个连通域中，最终我们可得多个连通域。两个像素相邻的定义如下表所示。对于像素x，像素1-8均是其相邻的像素。

1	2	3
			4	x	5
6	7	8

S3：根据连通区域对激光点所在区域进行定位：

在经过生成连通域操作之后，图像DX_i会存在多个连通域，这些多个连通域中包含激光点的光斑区域及其非激光点光斑区域(比如在某一帧中突然引入的运动物体信息等，其在帧差图像阈值化处理中没有被处理掉)。此时需要对多个连通域进行筛选，从而获得激光点所在的连通域的区域。具体如下：

S31：尺寸判断

对于图像DX_i的每个连通域进行求取连通域的外接矩形。如果外界矩形的长度和宽度均大于20个像素(经验阈值)，则认为不是激光点(激光点的尺寸不可能过大)。否则，继续进行下一步的判断；

S32：形状判断

由于激光点的形状接近圆形，故对于该连通域的外接矩形来说，如果外接矩形的长宽比大于1.5的，则可以将其滤掉，否则，继续进行下一步的判断；

S33:亮度值判断

对于投影屏幕上的激光点来说，其亮度是大于投影屏幕本身亮度的，所以对于采集的图像来说，图像中激光点所在的区域也是比其周围的区域的亮度都要大的。

对该连通域进行判断，如果该连通域的平均亮度值比区域外的周边部分的亮度值高于约20个像素(经验阈值)，则可以认为点是激光点所在的区域。连通域的平均亮度值L定义如公式(2)所示，其中，n表示在该连通域内像素点的个数，f(x,y)表示在该连通域内像素点(x，y)所对应的亮度值(像素值)。

S34：激光点圆心定位

在上述中，我们已经获取到了激光点所在的区域，则接下来，我们需要获取激光点的重心，以便实现对激光点所在区域的精确定位。

激光点圆心的位置(X，Y)，通过如下方式得到：

对激光点连通域内所有的坐标点，计算平均值，得到激光点的重心坐标，将该重心作为激光点的圆心，计算平均值的公式如(3)-(4)所示，其中x_i表示在该连通域中某一个像素点的x坐标，y_i表示在该连通域中某一个像素点的y坐标，n表示在该连通域内像素点的个数。

S4：识别激光笔颜色，根据设置的激光笔的颜色判断鼠标手势：

激光笔具有三种颜色。只有区分出当前激光点的准确颜色，才能知道激光笔处于如下三种模式中的哪一种：未按键、左键按下、右键按下。

辨别颜色的方法如下：

S41：上述步骤中已经提取到了在帧差图像D_i(x,y)中，其激光点所在的区域，因此，根据该区域位置，在原始三通道图像中O_i，截取对应的区域部分，记为ROI_i，故图像ROI_i也是三通道图像，每个像素点具有R，G，B三个分量的值；

S42：计算图像ROI_i内所有像素的分别在R，G，B三个通道的分量总值；

S43：比较三个通道的色彩总值的大小：

如果R分量对应的色彩总值最大，则图像ROI_i总体显示为红色，属于未按键；如果G分量对应的色彩总值最大，则图像ROI_i总体显示为绿色，属于左键按下；如果B分量对应的色彩总值最大，则图像ROI_i总体显示为蓝色，属于右键按下。

S5：根据鼠标手势，实现投影屏幕与计算机屏幕间的坐标点的一一映射。

如果第i帧的激光点区域检测出为红色，第i+1帧的激光点区域检测出为绿色，则认为其是鼠标左击操作；如果第i帧的激光点区域检测出为红色，第i+1帧的激光点区域检测出为蓝色，则认为其是鼠标右击操作；如果第i帧的激光点区域检测出为红色，第i+1帧的激光点区域检测出为绿色，第i+2帧的激光点区域检测出为红色，第i+3帧的激光点区域检测出为绿色，则认为其是鼠标左键双击操作；如果连续4帧以上激光点区域都检测出为红色，则认为是鼠标移动操作。

本实施例采用人工神经网络的方法，来实现投影屏幕与计算机屏幕之间的坐标点的一一映射。投影屏幕与计算机屏幕之间，属于平面到平面的映射。因此可以利用人工神经网络来进行建模，得到对应关系。

在人工神经网络中一般有三种层构成：输入层，输出层，隐含层。所有位于输入层与输出层之间的层都被称作为隐含层，故隐含层不仅仅包含一层，可以包含多层。一个简单的人工神经网络，如图3所示，其包括了一个输入层，一个输出层，以及两个隐含层。

人工神经网络通过训练数据集，即给定大量的真实的投影屏幕点(X，Y)与计算机屏幕的点(X'，Y')的数据集，从而最优化的拟合出投影屏幕点与计算机屏幕点之间的映射关系F，当映射关系F拟合好之后，对于每一个给定的投影屏幕点(X_i,Y_i)，都可以通过映射关系F来求取点(X_i,Y_i)对应的计算机屏幕的点(X_i',Y_i')，且坐标点(X_i',Y_i')的准确度非常高。

本申请采用3层的人工神经网络来建立映射模型。输入层是2个节点，分别对应着激光点的圆心位置，即圆心的横坐标X以及圆心的纵坐标Y，中间一层是隐含层，共有50个节点，输出层是同样是2个节点，分别对应计算机屏幕中的X'坐标和Y'坐标，其中投影屏幕点(X，Y)与计算机屏幕的点(X'，Y')构成了映射关系。

数据的标定与训练：采用人工选点的方式，构建神经网络训练的数据集，具体方法如下：

(1)在计算机中屏幕中，等间距绘制100个标定点，这100个标记定点分布于10行10列，并记录着这10个标定点的中心坐标位置，将其编号，存依次放于集合A中；

(2)利用投影仪，将计算机显示屏幕中，绘制有100个标定点的图像投射到投影墙壁中；

(3)摄像头采集投影画面，记为P；

(4)在图像P找到这100标定点的中心坐标位置，将其编号，并依次存放于集合B中；

(5)循环执行步骤(1)-(4)共10轮，从而获取到更多的标定点坐标集合，使得数据的规模更加庞大。在循环执行步骤1的时候，位于同一行同一列的标定点不要和之前轮次中对应的标定点位置相同，尽可能距离错开些，从而保证数据坐标点的不重复性。

(6)在执行完10轮之后，对于集合A和B分别有1000个数据，故可以得到数据对(A_i,B_i)，其中1≤i≤1000。依次将数据对放入到神经网络中，进行拟合训练，最终得到映射模型。

通过映射模型、鼠标手势以及激光点(投影屏幕中鼠标)的位置，最终便可实现本专利中对于投影屏幕指定位置的相关操作。

以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (1)

1.一种激光笔远程交互方法，其特征在于，包括以下步骤：

（1）采集投影图像画面，并对所采集到的图像进行处理；

（2）获取帧图像对应的像素值，根据像素值判断前景像素及噪声点；

（3）逐像素点遍历图像，剔除噪声点图像，获取前景像素图像；

（4）逐像素点遍历前景像素图像，如果相邻的两个像素的像素值都不为0，则将这两个像素划入到同一个连通区域中，得到多个连通区域；

（5）根据连通区域对激光点所在区域进行定位；

（6）识别激光笔颜色，根据设置的激光笔的颜色判断鼠标手势；

（7）根据鼠标手势，实现投影屏幕与计算机屏幕间的坐标点的一一映射；

步骤（5）中，所述根据连通区域对激光点所在区域进行定位，具体包括如下步骤：

（51）对多个连通区域进行筛选，获得激光点所在的连通区域；

（52）求取连通区域的外接矩形，根据外接矩形判断激光点所在区域；

（53）获取激光点的重心，通过重心对激光点所在区域进行定位；

步骤(6)中，所述识别激光笔颜色，具体包括如下步骤：

（61）提取帧差图像坐标，根据坐标区域位置，在原始三通道图像中，截取对应的区域部分，记为

，图像

也是三通道图像，每个像素点具有R，G，B三个分量的值；

（62）计算图像

内所有像素的分别在R，G，B三个通道的分量总值；

（63）比较三个通道的色彩总值的大小，根据色彩总值大小判断激光笔颜色；

步骤(6)中，根据设置的激光笔的颜色判断鼠标手势，具体包括如下步骤：

若第i帧的激光点区域检测出为红色，第i+1帧的激光点区域检测出为绿色，则为鼠标左击操作；

若第i帧的激光点区域检测出为红色，第i+1帧的激光点区域检测出为蓝色，则为鼠标右击操作；

若第i帧的激光点区域检测出为红色，第i+1帧的激光点区域检测出为绿色，第i+2帧的激光点区域检测出为红色，第i+3帧的激光点区域检测出为绿色，则为鼠标左键双击操作；

若连续4帧以上激光点区域都检测出为红色，则为鼠标移动操作；负载电池为磷酸铁锂电池，容量大于30Ah，满足2C以上充放电。

Images