CN101807111A - 信息设备及其控制方法和*** - Google Patents

Abstract

提出了一种信息设备及其控制方法和***。它基于对象检测和跟踪。利用该方法，摄像头所拍摄的现场视频被自动分析。检测出在视频中的特定对象。跟踪该对象并且记录该对象的运动轨迹。根据获得的轨迹，计算机能够确定用户是否已经发出了一些信号和发出哪些信号。在此之后，这些确定的信号被变换成适合目标***的命令来执行。这样，用户能够通过挥动特定的对象来实现非接触***控制。

Description

信息设备及其控制方法和***

技术领域

本发明涉及非接触控制，具体涉及一种信息设备以及它的控制方法和***，它允许用户通过挥动特定的对象来实现对信息设备的非接触控制。

背景技术

众所周知，在***控制技术领域，智能的非接触控制是非常有前景的方向之一。而在各种非接触控制方法中，那些基于视觉信息的方法是非常重要的，这是因为视觉信息能够向机器提供像人类那样感知世界的方式。

另外，由于制造技术的快速发展，摄像头装置变得越来越便宜，并且性能变得越来越强。现在，摄像头已经变成了众多信息设备的标准配件，从移动电话到笔记本电脑，从自动提款机到电子布告板，都装配了摄像头。这些都为基于视觉信息的应用提供了坚实的基础。但是，目前在许多情况下，摄像头仅仅起到了一些简单的作用，例如在自动提款机中仅仅被用于记录视觉信息。因此，需要开发出更多的基于视觉信息的方法以扩大具备摄像头功能的电子装置的应用范围。

专利文献1(CN1534544)提出了一种用于大尺寸显示器的非接触控制方法。它是一种使用激光指示器来对计算机进行控制的方法，图10展示了该现有技术所提出的方法所应用的***。该***包括：投影屏、激光指示器、投影仪、摄像机和计算机。

激光指示器具备无线发送模块。计算机具备无线接收模块和视频卡。当该***工作时，首先，计算机将视频输出到投影仪。然后，投影仪在屏幕上投射视频。在此之后，摄像机捕获投影屏的图像，并通过视频卡将这些图像传送给计算机。如果这些图像中包含有激光的光点，计算机就可以通过图像处理技术来获得激光光点的位置，然后基于该位置对计算机操作***界面中光标进行重新定位。此外，利用无线发送模块，激光指示器能够发送一些额外的控制命令。利用无线接收模块。计算机能够接收这些命令并且将它们转换成鼠标的点击操作。这样，用户就能够像使用鼠标一样使用激光指示器来控制计算机。

如图11所示，在步骤S11，用户使用激光指示器将激光光点照射在屏幕上，同时在步骤S21，无线发送模块发出额外的控制指令。

在步骤S12，摄像机捕获屏幕上的图像，传输到计算机。在步骤S13，由计算机对图像进行处理以便确定激光光点在屏幕上的位置。然后，在步骤S14，计算机根据激光光点的位置计算计算机光标的位置。

在通过激光指示器的无线发送模块发送‘点击’之类的额外命令之后，在步骤S22由计算机上配备的无线接收模块接收该额外的指令。然后，在步骤S23，通过计算机将接收的命令转换成计算机可执行的‘点击’命令，从而在激光指示器所指示的位置实现点击操作。这样，额外命令可以用于模仿为计算机提供的诸如鼠标和轨迹球之类的指点设备对计算机的控制。

但是，在该现有技术中，由于投影屏图像对于计算机定位光标位置而言是必需的，所以投影屏图像应该清楚并且完整。如果用户比较靠近投影屏，则他的影子将叠加在投影屏上，这必然导致遮挡问题的发生，从而丢失部分投影屏图像。在这种情况下，计算机不能正确地工作。

另外，由于光标的位置是根据激光光点的位置来确定的，则激光光点位置的检测必须是非常可靠的并且是唯一的。但是，由于环境中存在的一些干扰，例如投影屏上的闪光，有可能会导致检测结果的不正确，这将大大降低该***的可靠性。

发明内容

本发明的目的是提出一种信息设备及其控制方法和***，它允许用户通过挥动特定的对象来实现对信息设备的非接触控制。

在本发明的第一方面，提出了一种控制非接触***的方法，所述非接触***包括：信息设备，和摄像头，正对预先设定的特定对象并且捕获特定对象的现场视频，该方法包括步骤：对象检测步骤，在摄像头捕获的现场视频中检测所述特定对象，以便输出所述特定对象的位置信息；对象跟踪步骤，基于所述特定对象的位置信息产生所述特定对象的运动轨迹；轨迹分析步骤，通过对所述特定对象的运动轨迹进行分析从而检测出特定的轨迹模式，并输出代表该轨迹模式的信号；以及信号转换步骤，将所述信号转换成目标***能够执行的命令。

在本发明的第二方面，提出了一种信息设备，具备摄像头并应用于非接触***中，所述摄像头正对预先设定的特定对象并且捕获特定对象的现场视频，所述信息设备包括：对象检测单元，在摄像头捕获的现场视频中检测所述特定对象，以便输出所述特定对象的位置信息；对象跟踪单元，基于所述特定对象的位置信息和时间信息产生所述特定对象的运动轨迹；轨迹分析单元，通过对所述特定对象的运动轨迹进行分析来检测预先定义的轨迹模式，并输出代表该轨迹模式的信号；以及信号转换单元，将所述信号转换成目标***能够执行的命令。

在本发明的第三方面，提出了一种非接触***，包括上述的信息设备。

利用本发明的上述结构和方法，能够以非接触的方式实现对目标***的鲁棒的和可靠的控制。

附图说明

从下面结合附图的详细描述中，本发明的上述特征和优点将更明显，其中：

图1示出了根据本发明实施例的非接触控制***的示意图；

图2示出了根据本发明实施例的非接触控制***的示意性结构框图；

图3是描述根据本发明实施例的控制方法的过程的流程图；

图4是描述特定对象进行检测的过程的流程图；

图5是描述对特定对象进行跟踪的过程的流程图；

图6是描述检测特定对象的轨迹的过程的流程图；

图7是描述信号转换过程的流程图；

图8A、8B和8C是描述根据本发明实施例的控制方法的实例的示意图；

图9是描述根据本发明实施例的方法的一个实际应用的示意图；

图10是描述根据现有技术的非接触控制方法的示意图；以及

图11示出了根据现有技术的非接触控制方法的流程图。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，否则它们将使本发明的主题不清楚。

图1示出了根据本发明实施例的非接触控制***的示意图。如图1所示，根据本发明实施例的非接触控制***具备诸如计算机之类的信息设备100、正对着特定对象设置的摄像头110、展示屏120和诸如笔之类的特定对象130。根据本发明的另一实施例，摄像头110可以集成到信息设备100中。

特定对象130可以由用户150来选择，例如一只笔或者一只手，它可以由用户150自己来定义。当***工作时，该对象的现场视频将被摄像头110捕获，并且被输入到信息设备100中。

该信息设备100能够检测和跟踪该对象。根据该对象的运动轨迹，在信息设备100的屏幕上显示的光标的位置被重新定位。接下来，信息设备100将该轨迹与预设模式进行比较，能够实现各种控制，例如左点击或右点击。这样，用户150能够使用特定对象来控制与信息设备连接的目标***，或者控制信息设备内的目标***。

图2示出了根据本发明实施例的非接触控制***的示意性结构框

图。如图2所示，摄像头110在特定对象被用户150挥动时，捕获现场视频，并且将其输入到信息设备100中。信息设备100基于该现场视频产生与该挥动过程相对应的控制命令，发送给目标***140，控制目标***的操作。如上所述，这里的目标***140也可以是信息设备的一部分。

在信息设备105的存储单元中存储了预先设定的特定对象的图像，例如笔、手、人脸等，以及至少一个预定的轨迹模式，例如‘V’、‘Λ’和‘o’等，它们分别对应于诸如‘左键点击’、‘右键点击’和‘双击’之类的信号。

如图2所示，信息设备100中配备的对象检测单元101接收来自摄像头的现场视频，并且通过用预先设定的特定对象的图像或者模型来匹配现场视频的每一帧画面。如果存在匹配的画面，则认为该现场视频中存在特定对象的图像。

另外，信息设备100中配备有对象跟踪单元102，它根据对象检测单元101的检测结果来产生特定对象的运动轨迹曲线。轨迹分析单元103将存储单元105中预先存储的轨迹模式与记录的运动轨迹进行比较。一旦有匹配的轨迹模式，则信号转换单元104将与匹配的轨迹模式相对应的命令作为记录的轨迹所代表的命令。最后，通过信号转换单元104将信号转换成适合目标***140执行的命令。

如图2所示，在信息设备100中还配备了方便用户150进行自定义特定对象和轨迹模式的定义单元106。当用户150要定义自己特有的挥动对象时，通过摄像头100拍摄该对象的图像，并且将拍摄的图像作为该特定对象的模板存在的在存储单元105中。另外，用户150还可以输入特定的轨迹模式，例如‘m’等来设定自己特有的轨迹模式。

下面结合流程图来描述根据本发明实施例的控制方法和信息设备的各个单元的具体操作过程。图3是描述根据本发明实施例的控制方法的过程的流程图。

在步骤S31，用户150手持诸如笔之类的特定对象在摄像头前挥动，以便控制信息设备100的屏幕上的鼠标的动作。在步骤S32，信息设备100的例如计算机中的摄像头110捕获该特定对象的现场视频，并且将其输入到信息设备的对象检测单元101中。

接下来，在步骤S33，对象检测单元101接收来自摄像头的现场视频，并且通过用预先设定的特定对象的图像来匹配现场视频的每一帧画面。如果存在匹配的画面，则认为该现场视频中存在特定对象的图像。

在步骤S34，对象跟踪单元102根据对象检测单元101的检测结果来产生特定对象的运动轨迹曲线。轨迹分析单元103将存储单元105中预先存储的轨迹模式与记录的运动轨迹进行比较。一旦有匹配的轨迹模式，则在步骤S35，信号转换单元104将与匹配的轨迹模式相对应的命令作为记录的轨迹所代表的命令。最后，在步骤S36，通过信号转换单元104将信号转换成适合目标***140执行的命令。

图4是描述特定对象进行检测的过程的流程图。如图4所示，在步骤S41，对象检测单元101利用诸如模版匹配或者纹理匹配之类的技术，根据存储单元105中存储的特定对象模板检测捕获的现场视频，并且在步骤S42判断其中是否有特定对象。如果没有，则流程转到步骤S41，继续检测，否则，在步骤S43，对象检测单元输出特定对象的位置。该对象的位置可以用来定位屏幕上的光标，也可以用于产生特定对象的运动轨迹。

如上所述，在进行对象检测之前，可能需要事先定义特定的对象。该对象非常简单，例如是红点。另一方面，该对象也可以非常复杂，例如是人脸或者手。该特定对象将随后用于检测。

图5是描述对特定对象进行跟踪的过程的流程图。如图5所示，在跟踪之前的步骤S51，应该获得了特定对象的信息。然后，在步骤S52，对象跟踪单元例如使用均值漂移跟踪方法为该特定对象创建一个***，用特定对象的色彩信息来初始化该***。在步骤S53，当该对象跟踪单元开始工作时，连续地更新视频帧。对于每个新的帧，***将搜索与其最相似的区域，该区域的信息与特定对象的信息匹配。根据本发明的实施例，对象跟踪单元也可以使用其他的跟踪方法，例如条件概率密度传播方法等等。

在步骤S54，一旦实现来稳定的跟踪，对象跟踪单元102将获得每帧中的位置信息和区域。这样，根据检测的特定对象的位置信息和区域，按照时间顺序就能够创建该对象的运动轨迹。

图6是描述检测特定对象的轨迹的过程的流程图。在对特定对象的轨迹进行分析之前，要首先定义轨迹模式。轨迹模式用于检测轨迹中的特定形状。

当轨迹分析单元103开始工作时，从对象跟踪单元102获得检测的轨迹。然后在步骤S62用存储单元105中存储的所有预先设定的轨迹模式来分析该轨迹模式。在步骤S63，当检测到特定的轨迹模式时，轨迹分析单元103就输出与该模式相对应的信号。这样，用户150可以利用自己的动作来向目标***发出信号。

图7是描述信号转换过程的流程图。从轨迹分析单元103输出的信号对应于用户150的动作。但是，它们仍旧不能被目标***140执行，由于目标***140并不能理解这些动作。因此，在信号转换单元104中，在步骤S71，获取与分析得到的轨迹相对应的信号，并且在步骤S72将所有的信号转换成合适的命令。在此之后，在步骤S73，信号转换单元104将命令输出。

图8A、8B和8C是描述根据本发明实施例的控制方法的实例的示意图。在该例中，将红点定义为特定对象，用于对象检测过程和对象跟踪过程。此外，定义了三种不同的轨迹模式。它们是‘V’模式、‘Λ’模式和‘o’模式。

图9是描述根据本发明实施例的方法的一个实际应用的示意图。在该例子红给出了如何利用红点来打开视频文件。为了实现该功能，首先将‘V’模式与鼠标的左点击相对应，将‘Λ’模式与鼠标的右点击相对应，将‘o’模式与鼠标的双击相对应。当用户150像预先定义的模式移动红点时，与该模式相对应的命令将被发送到信息设备100并对其进行控制。这样，当用户150写下‘o’模式时，双击命令将被发送的信息设备100的操作***来打开视频文件。

如上所述，根据本发明的实施例，当特定对象在摄像头前移动时，其现场视频将被摄像头所捕获。然后，信息设备将获得该视频并且对该视频进行分析来检测视频中是否存在特定的对象。接下来，跟踪检测的对象，并且记录其运动轨迹。将记录的运动轨迹与预设的轨迹模式进行比较，信息设备能够确定用户是否已经发出了信号和发出了何种信号。最终，将确定的信号转换成适合目标***执行的指令。因此，用户能够实现非接触控制过程。

如上所述，根据本发明的实施例，由于将摄像头和屏幕或者摄像头正对特定对象，这样特定对象能够被摄像头捕获，而不用通过捕获展示屏图像来检测对象，从而解决遮挡问题。

另外，本发明的实施例提出了用对象跟踪技术来代替对象检测技术，从而实现可靠的***控制。根据本发明实施例的方法，用户使用不同的轨迹模式来向目标***发出不同的命令，从而执行不同的操作。由于这些轨迹模式在空间和时间上都是唯一的，它们能够保证***控制的可靠性和准确度。

另外，在本发明实施例中，特定对象能够由用户来定义。这样允许使用任何非常简单的物体作为特定对象，例如红点。同时，允许用户使用非常复杂的物体作为特定对象，例如人脸。

此外，本发明实施例中，可以采用通用PC摄像头来捕获图像，这不需要增加其他的摄像设备或者视频卡。

如上所述，本发明的设备和方法可以用于摄像头支持信息装置，例如：桌面PC、膝上PC、移动电话、PDA、电子白板、远程控制装置、监控装置等等。

上面的描述仅用于实现本发明的实施方式，本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均应该属于本发明的权利要求来限定的范围，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (11)

1.一种控制非接触***的方法，所述非接触***包括：信息设备和摄像头，正对预先设定的特定对象并且捕获特定对象的现场视频，该方法包括步骤：

对象检测步骤，在摄像头捕获的现场视频中检测所述特定对象，以便输出所述特定对象的位置信息；

对象跟踪步骤，基于所述特定对象的位置信息产生所述特定对象的运动轨迹；

轨迹分析步骤，通过对所述特定对象的运动轨迹进行分析以检测出特定的轨迹模式，并输出代表该轨迹模式的信号；

以及信号转换步骤，将所述信号转换成目标***能够执行的命令。

2.如权利要求1所述的方法，其中所述对象检测步骤包括：

读取预先存储的特定对象模板或模型；

对特定对象模板和捕获的现场视频中的每一帧执行匹配处理；

在匹配的情况下，输出所述现场视频中的每一帧中的特定对象的位置信息。

3.如权利要求1所述的方法，其中所述对象跟踪步骤包括：

获取所述特定对象在现场视频的每一帧中的位置信息；

按照时间顺序产生所述特定对象的运动轨迹。

4.如权利要求1所述的方法，其中所述轨迹分析步骤包括：

用预先存储的预定轨迹模式检测产生的运动轨迹；

在所述特定对象的运动轨迹与预定轨迹模式匹配的情况下，产生代表该运动轨迹的信号。

5.如权利要求2～4之一所述的方法，还包括在对象检测步骤之前，根据用户的需要来定义特定对象和轨迹模式的步骤。

6.一种信息设备，具备摄像头并应用于非接触***中，所述摄像头正对预先设定的特定对象并且捕获特定对象的现场视频，所述信息设备包括：

对象检测单元，在摄像头捕获的现场视频中检测所述特定对象，以便输出所述特定对象的位置信息；

对象跟踪单元，基于所述特定对象的位置信息产生所述特定对象的运动轨迹；

轨迹分析单元，通过对所述特定对象的运动轨迹进行分析以检测出预先定义的轨迹模式，并输出代表该轨迹模式的信号；

以及信号转换单元，将所述信号转换成目标***能够执行的命令。

7.如权利要求6所述的信息设备，其中所述对象检测单元读取预先存储的特定对象模板，并对特定对象模板和捕获的现场视频中的每一帧执行匹配处理，在匹配的情况下，输出所述现场视频中的没有帧中的特定对象的位置信息。

8.如权利要求6所述的信息设备，其中所述对象跟踪单元获取所述特定对象在现场视频的每一帧中的位置信息，按照时间顺序产生所述特定对象的运动轨迹。

9.如权利要求6所述的信息设备，其中所述轨迹分析单元用预先存储的预定轨迹模式检测产生的运动轨迹，在所述特定对象的运动轨迹与预定轨迹模式匹配的情况下，产生代表该轨迹模式的信号。

10.如权利要求7～9之一所述的信息设备，还包括根据用户的需要来定义特定对象和轨迹模式的定义单元。

11.一种非接触***，包括如权利要求6～10之一所述的信息设备。

Images