CN102693022A - 视觉跟踪与语音识别的鼠标*** - Google Patents

Abstract

本发明公开了一种视觉跟踪与语音识别的鼠标***，它包括麦克风、摄像头、模数转换器、数字信号处理器，摄像头通过检测跟踪眼球瞳孔的运动，动态跟踪瞳孔聚焦点在摄像头成像平面上的位置移动，然后通过模数转换器与数字信号处理器将聚焦点在图像上的运动转换为鼠标光标在显示器上的运动；麦克风接收用户发出的语音指令，经模数转换器转换成数字信号，再由数字信号处理器进行处理生成按键命令以形成相应的鼠标响应。本发明结构简单，通用性强，为人们使用计算机带来了很大的方便。

Description

视觉跟踪与语音识别的鼠标***

技术领域

本发明涉及视觉技术领域， 尤其涉及一种视觉跟踪与语音识别相结合的鼠标***。

背景技术

目前人们使用的鼠标主要以有线和无线鼠标为主，但是随着人机交互的不断发展，这种有形的鼠标极大地限制了人机交互的速度。同时，对于用电脑办公或者玩游戏的人来说，在操作电脑时，由于键盘和鼠标有一定的高度，手腕必须背屈一定角度，这时腕部就处于强迫***，不能自然伸展，长年累月，容易得“鼠标手”这一病症。而且，对于双臂或双手残疾的人来说，则无法正常使用鼠标或键盘操作电脑。对于有些游戏或控制类应用，使用鼠标也不是一个最好的操作工具。

中国专利授权公告号：CN101038523A，授权公告日2007年09月19日，公开了一种基于视觉跟踪与语音识别的鼠标***，在该发明中，摄像头通过检测跟踪红外标志物的光斑图像，动态跟踪光斑在摄像头成像平面上的位置移动，然后通过光标定位子模块将光斑在图像上的运动转换为鼠标光标在显示桌面上的运动，并将鼠标的位置信息传递给信息反馈模块；信息反馈模块通过计算机显示器将鼠标驱动模块传来的鼠标光标的位置表示出来，并给用户相应的信息提示；语音指令处理模块通过与计算机主机相连接的麦克风接收用户发出的语音指令，通过语音识别子模块对输入语音信号进行识别，由分类结果激发并驱动相应的鼠标事件响应。由于显示屏上的鼠标光标只随红外标志物的移动而移动，当需移动光标时，使用者得手持红外发光标志物在摄像头可视范围内移动，这并没有摆脱手工操作的弊端，且使用者保持着手握的姿势，长时间使用，会出现手部酸痛乃至僵硬的情况，并没有从根本上改变鼠标的操作模式。

发明内容

本发明针对现有技术的问题和不足，提供了一种使用方便、能精确定位光标的视觉跟踪与语音识别的鼠标***。

为了实现上述目的，本发明采用以下技术方案：

一种视觉跟踪与语音识别的鼠标***，它包括麦克风和摄像头，鼠标***还包括模数转换器、数字信号处理器，数字信号处理器接有能与计算机主机进行数据传输连接的通讯端口；摄像头通过视频接口接在模数转换器上，摄像头通过检测跟踪眼球瞳孔的运动，动态跟踪瞳孔聚焦点在摄像头成像平面上的位置移动，然后通过模数转换器与数字信号处理器将聚焦点在图像上的运动转换为鼠标光标在显示器上的运动，摄像头数为两个；麦克风通过音频接口接在模数转换器上，麦克风接收用户发出的语音指令，经模数转换器转换成数字信号，再由数字信号处理器进行处理生成按键命令以形成相应的鼠标响应。

上述过程将目光的视觉跟踪与语音的识别结合起来实现传统鼠标的功能。此装置通过采用传统通讯端口连接计算机主机；采用两个摄像头是为了采用机器视觉中的双目测量技术，实现精确的瞳孔焦点测量，从而能更精确的定位鼠标光标的位置。

作为优选，摄像头的镜头上设有红外LED灯，红外LED灯的电路连接到摄像头的电路板。具有红外LED灯，是本装置即可在白天使用，也可以在夜晚的情况下发挥夜视拍摄的能力，不受光线条件的影响。

作为优选，麦克风接收的语音指令包括左键单击指令、右键单击指令以及双击指令。使用者可根据自己的喜好或习惯，给左键单击指令、右键单击指令及双击指令分别设置多个不同的用语，这样使用者只要对着麦克风说出其中一个时，计算机便可执行命令。

作为优选，摄像头分别安装在显示器上端的左右两个角上，利用双目测量技术精确测量瞳孔的位置并折算出目光聚焦点。这样可以保证使用者的目光在摄像头可视范围内移动。

作为优选，语音指令是设定的语音指令。在这里，设定的语音指令可以进行修改，不同的操作者可以使用不同的语音指令。 

作为优选，聚焦点是设定的聚焦点。在这里，设定的聚焦点是可以进行修改的，不同的操作者可以有不同的聚焦点参数。

与现有技术相比，本发明的有益效果为：改变了传统的鼠标操作方式，且结构简单，方便操作，适用人群广，可适用于双臂或双手残疾的人，也可用于工程控制、军事指挥，甚至是青少年玩游戏。

附图说明

图1为本发明组成示意图。

图2为本发明内部结构示意图。

图中：1—摄像头，2—显示器，3—麦克风，4—计算机主机，5—鼠标***的内部结构。

具体实施方式

    下面结合附图和具体实施方式对本发明作进一步的描述。

如图1、图2所示的一种视觉跟踪与语音识别的鼠标***，它包括麦克风3和摄像头1，在该鼠标***还包括模数转换器8、数字信号处理器9，数字信号处理器9接有能与计算机主机4进行数据传输连接的通讯端口；摄像头1通过视频接口11接模数转换器8上，摄像头1通过检测跟踪眼球瞳孔的运动，动态跟踪瞳孔聚焦点在摄像头成像平面上的位置移动，然后通过模数转换器8与数字信号处理器9将聚焦点在图像上的运动转换为鼠标光标在显示器2桌面上的运动，摄像头数为两个；麦克风3通过音频接口7接在模数转换器12上，麦克风3接收用户发出的语音指令，经模数转换器12转换成数字信号，再由数字信号处理器9进行处理生成按键命令以形成相应的鼠标响应；摄像头1的镜头上设有红外LED灯，红外LED灯的电路连接到摄像头1的电路板；麦克风3接收的语音指令包括左键单击指令、右键单击指令以及双击指令；摄像头1分别安装在显示器2上端的左右两个角上，利用双目测量技术精确测量瞳孔的位置并折算出目光聚焦点；语音指令是设定的语音指令，聚焦点是设定的聚焦点。 

本实施例首先使用两个摄像头对准使用者的眼睛，并且使用者的目光在摄像头可视范围内，显示屏上的光标随着目光的移动而移动，从而实现用目光视觉信号控制光标的功能。然后，使用麦克风3采集使用者使用的所有语言指令信号存储到计算机的磁盘上作为标准语音样本。使用时，使用者只需要语音发出指令，便可完成鼠标的左键单击、右键单击或双击的操作，同时，使用者只需转动目光，便能实现显示器2上光标的移动，在本发明中，采用两个摄像头，利用双目视觉测量技术的原理，使得光标定位变得更精确。

通讯端口可为PS/2接口10，模数转换器为3个，数字信号处理器为1个，模数转换器分别与两个视频接口、一个音频接口相连接，与音频接口、视频接口相连接的模数转换器连接在同一个数字信号处理器上。 

考虑到使用者发出语音指令时，会受到噪音的干扰而使得语音指令的准确执行率下降，可采用两个数字信号处理器，其中一个与连接摄像头的模数转换器相连接，另一个与连接麦克风的模数转换器相连接。其中连接麦克风的数字信号处理器为对音频信号进行噪音抑制的芯片。

 因语音识别会识别使用者本身的语音特征，所以在嘈杂环境下不会错误接收语音指令。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (6)

1.一种视觉跟踪与语音识别的鼠标***，它包括麦克风和摄像头，其特征在于：所述鼠标***还包括模数转换器、数字信号处理器，所述数字信号处理器接有能与计算机主机进行数据传输连接的通讯端口；所述摄像头通过视频接口接在模数转换器上，摄像头通过检测跟踪眼球瞳孔的运动，动态跟踪瞳孔聚焦点在摄像头成像平面上的位置移动，然后通过模数转换器与数字信号处理器将聚焦点在图像上的运动转换为鼠标光标在显示器上的运动，所述摄像头数为两个；所述麦克风通过音频接口接在模数转换器上，麦克风接收用户发出的语音指令，经模数转换器转换成数字信号，再由数字信号处理器进行处理生成按键命令以形成相应的鼠标响应。

2.根据权利要求1所述的视觉跟踪与语音识别的鼠标***，其特征在于：所述摄像头的镜头上设有红外LED灯，所述红外LED灯的电路连接到摄像头的电路板。

3.根据权利要求1所述的视觉跟踪与语音识别的鼠标***，其特征在于：所述麦克风接收的语音指令包括左键单击指令、右键单击指令以及双击指令。

4.根据权利要求1或2所述的视觉跟踪与语音识别的鼠标***，其特征在于：所述的摄像头分别安装在显示器上端的左右两个角上，利用双目测量技术精确测量瞳孔的位置并折算出目光聚焦点。

5.根据权利要求3所述的视觉跟踪与与语音识别的鼠标***，其特征在于：所述语音指令是设定的语音指令。

6.根据权利要求1所述的视觉跟踪与语音识别的鼠标***，其特征在于：所述聚焦点为设定的聚焦点。

Images