CN104486543A - 智能终端触控方式控制云台摄像头的设备和方法 - Google Patents

Abstract

本发明公开了智能终端触控方式控制云台摄像头的设备和方法，涉及网络通信技术领域。所述设备和方法用于通过在智能终端触摸屏上的单击、滑动、多点触控和双击等触摸动作控制云台远程摄像头的拍摄角度及调焦状态。特别地，在智能终端显示单元的视频显示窗口上能够实时地以等比例的矩形线框的方式显示云台摄像头的姿态。与现有技术比，本发明提供的方法更易于在智能终端上使用，能够极大地提高用户的使用体验。

Description

智能终端触控方式控制云台摄像头的设备和方法

技术领域

 本发明涉及网络通信技术领域，具体地，设计一种在智能终端上通过触控方式控制云台摄像头的设备和方法。

背景技术

近年来随着智能家居安防领域的视频监控需求快速增长，越来越多的用户将可能通过智能终端远程控制家中云台摄像头及时了解家中可能出现的情况，但当前还只是简单地查看已固定角度的云台摄像头获取的视频，而没有操纵云台摄像头进行多角度，大范围旋转监控。在部分商业的视频安防***中，多是通过独立于显示器之外的按钮、摇杆等操控的云台摄像头。

在已公开的专利"一种在监控终端的触摸屏上进行云台摄像机控制的方法"（申请号：CN103336534A）中，该公开通过在触摸屏上虚拟实际形状的摇杆，对云台摄像机进行控制，从技术和使用体验上，其都只是简单把原来的摇杆形式，在触摸屏上进行了重复实现，所以在用户使用体验上完全不能适应智能终端用户的使用习惯和潜在需求。

在有限尺寸的智能终端界面上，用户的期望应该是直接在尽可能大的触控区域内（最好是在视频完整观看区内）进行直接的手指触摸、滑动和多点触控操作，对云台摄像头进行角度调整和调焦操作，并在操作的同时可通过集中于一处的信息提示，及时了解云台摄像头相对初始位置的偏移信息和调焦信息。

用户触控区域大小的需求分析是基于以下基本诉求：即用户在触摸屏上的滑动距离应该能对应被控制设备更细致的处理动作，而如果接受滑动操作的区域过小，则接受控制的虚拟控件的行程范围也会相应缩小，此时被控制设备对同样行程的触控动作将做出跨度更大的动作响应。与之对应的使用体验就是被控制设备动作不够细腻，相应对使用者提出的要求和心理暗示就是"操作一定要小心，否则容易出错！"。这明显破坏了用户的使用体验。

在未来的远程遥控工程作业车辆、无人驾驶车辆，以及智能玩具等领域的远程监控，，也存在着通过智能终端直观、便捷地控制云台摄像头的需求。而现有技术均不足以满足上述的需求。

发明内容

鉴于上述问题，本发明提供了一种在智能终端显示单元的视频显示窗口上通过手指滑动和多点触控的方式调整云台摄像头的拍摄角度和镜头焦距，操控的同时可在视频显示窗口及时了解到云台摄像头相对初始位置的偏移信息以及调焦信息的设备和方法。所述设备包括：

触摸屏，适用于识别操控手势；显示单元，适于显示视频信息和云台摄像头操控过程及结果；控制器，适于识别手势类型，通过相应的计算生成控制信息；存储单元，适于存储摄像头状态信息；智能终端和云台摄像头各自的射频（RF）通信单元，负责控制信息和视频信息的收发。

云台摄像头控制器，适于将射频（RF）通信单元发来的控制信息转为控制云台舵机和摄像头调焦电机的电信号；包含舵机的多自由度云台，适于调整云台摄像头的姿态；云台摄像头，适于采集视频信息；云台摄像头调焦电机，适于调焦。

相应智能终端触控方式控制云台摄像头的方法具体指：

建立和云台摄像头的通信连接，通过智能终端的控制器计算，显示模块在智能终端显示单元的视频显示窗口显示通过网络获取的云台摄像头传来的视频信息；智能终端定期通过云台摄像头的控制器获取云台摄像头的姿态信息和设备属性信息存储于智能终端的存储模块；存储模块中还存储着各个规格摄像机的摄像角度对照表。

检测触摸屏；当检测到触摸屏受到触摸动作时，由控制器计算并以适当的形式，如在显示单元的视频显示区域上绘制一个和视频显示区域长宽比例一致的矩形线框，以矩形线框相对显示单元中心点的位置和矩形线框的大小显示当前云台摄像头的姿态，即相对初始位置的偏移量和调焦状态；之后，开始接受用户的云台摄像头调整命令，即开始检测相对于触摸屏的触摸手势和触摸点坐标。

当检测到的手势为单指滑动，则控制云台摄像头旋转角度；当为缩小手势或放大手势时，则控制云台摄像头调整焦距；当为双击动作时，则将控制云台摄像头旋转至镜头中对应触控位置的视频信息点，并调焦至最大或归位云台摄像头的姿态。

优选地，如果在用户操作过程中的设定时间内，如3秒钟，未检测到任何手势，则控制器不再继续在显示单元视频显示窗口上显示云台摄像头姿态信息，避免影响用户的观看体验。

优选地，智能终端还包括音频处理单元、麦克风MIC和扬声器SPK和图像识别模块。智能终端的音频处理单元可以接受来自麦克风MIC的用户语音控制信息，并根据语音内容结合可能需要的图像识别模块进行识别判断，转化为相应能被控制器理解的控制信息发送给智能终端控制器，并由其进一步解释和转发执行。

优选地，上述各触发事件结束后，控制器都会根据从云台摄像头取回的更新后的姿态信息以至少包含一个矩形线框的形式通过显示单元展现出来。用户能够很直观地通过矩形线框与当前视频显示窗口大小比例以及矩形线框在窗口中所处位置理解到镜头调焦及云台摄像头两个自由度的舵机角度信息。

基于本公开所示的在触摸屏上根据显示内容，结合显示单元的大小尺寸，简单地以不同手势即能够能够实现对云台摄像头进行所见即所得控制，这里我们举一个更易懂的例子:假设你是一个负责监控社会治安的警务人员，正通过智能终端查看设置在火车站进出站口的云台摄像头，此时视频显示窗口的右上角出现了一个形迹可疑人员，你希望云台摄像头立刻对准其进一步观察，那么你只需要在触摸屏上，按住这个可疑人员并把它拖到视频显示窗口的中央就可以了。如果还需要把镜头拉近，以便仔细观察他，双击一下他就可以了。应用本发明在对对相应的视频中的感兴趣点进行查验工作时，将会极大提高工作效率和使用体验。

附图说明

图1 是现有的云台摄像头控制端示意图；

图2是现有技术通过触摸屏控制云台摄像头的效果图；

图3是本发明的设备的模块结构示意图；

图4是本发明的手指在触摸屏上滑动时的轨迹和算法采纳数据源示意图；

图5是本发明的多点触控时触摸屏上的滑动轨迹和算法采纳数据源示意图；

图6是本发明的双击手势时触摸屏上触碰点和算法采纳数据源示意图；

图7是本发明的单指滑动触摸事件的处理流程；

图8是本发明的多点触控的缩小手势或放大手势的处理流程；

图9是本发明的双击手势的处理流程。

具体实施方式

    下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

    图3示出了根据本发明一个实施例的控制云台摄像头的设备的模块结构示意图，如图

3所示：智能终端100 包括：触摸屏101、显示单元102、存储器103、射频(RF)通信单元104、音频处理单元105、麦克风MIC、扬声器SPK 和控制器106；云台摄像头200包括摄像头201、调焦电机202、水平旋转舵机203、垂直旋转舵机204、射频(RF)通信单元205和控制器206。

    本公开以二自由度云台为例，介绍控制云台摄像头姿态的方法，并假定具体自由度分别是水平方向和垂直方向。

    智能终端的触摸屏101 被安装在显示单元102 的前表面，或可选择地被包括在显示单元102中，响应于相对于触摸屏101 的用户的触摸手势而产生触摸事件并将所述触摸事件传送到控制器106。

    因此，控制器106可从输入到触摸屏101 的触摸事件感测用户的触摸手势，并响应于检测到的触摸手势，结合存储器103中实时更新的云台摄像头200的姿态信息，通过射频（RF）通信单元104和205向控制器206发送控制信息，控制包括云台摄像头200的水平旋转舵机203、垂直旋转舵机204和调焦电机202，并根据云台摄像头200的最新姿态，计算出该姿态对应在显示单元102的展现形式，将云台摄像头200的姿态信息展示于显示单元102。

    控制器206在接收到智能终端100控制器106发来的控制信息后，会将控制信息转换成控制相应电机动作的电信号并发给对应的电机。

    此处需说明的是，显示单元102所显示的视频信息，视云台摄像头200的控制器206的处理能力选择相应的传输通道，可以经由控制器206和射频（RF）通信单元205传给智能终端200，也可绕开控制器206，直接通过射频（RF）通信单元205传给智能终端200。

    显示单元102所显示的云台摄像头200姿态信息与视频信息是分层次实现的，具体可以不同智能终端***提供的具体方法而定。

    以智能终端中的安卓（Android）***为例，就可以将视频窗口空间和姿态控制与信息显示控件分别在不同的框架布局Framelayout中实现，并将后者以一定的透明度显示于前者之上。

    本公开所提及的触摸手势可分类为单击、滑动、多点触动、双击和拂动。

    智能终端100的控制器106除了能够接收来自触摸屏101的控制信息外，还可以通过音频处理单元105接收来自麦克风MIC的用户语音控制信息。

    随着语音控制智能终端的应用日益增多，用户将能够并会习惯利用语音指令完成本公开所述通过智能终端控制云台摄像头的方法。而基于本公开的具体算法，并结合图像识别模块107、音频处理单元105、麦克风MIC和扬声器SPK，对用户发出的语音命令进行识别判断，并据此形成控制信息发送给智能终端控制器206，并由其进一步解释和转发执行。

    控制器106在发出控制信息后，根据云台摄像头200的具体执行部件的反馈，更新存储器中103中保存的云台摄像头200的姿态信息。

    为提高用户观看视频信息的体验，可以通过在程序内内设一个Timer定时器设定一个一定时间内（假定3秒钟）无触摸动作，即清空显示单元102所显示的云台摄像头200姿态信息的指令动作，但此时控制器106仍继续通过触摸屏101检测用户可能发起的触摸动作。一旦出现触摸动作，则控制器106将从存储器103中调取云台摄像头200的姿态信息，显示于显示单元102，并开始接受用户控制。

    下面对本公开的控制云台摄像头的方法的执行流程结合相关算法进行阐述。

一、首先，建立和云台摄像头的通信连接。通过智能终端的控制器计算，显示模块在智能终端显示单元的视频显示窗口显示通过网络获取的云台摄像头传来的视频信息。

智能终端定期通过云台摄像头的控制器获取云台摄像头的姿态信息和设备属性信息；并将云台摄像头的姿态信息和设备属性信息存储于智能终端的存储模块。

存储模块中还存储着各个规格云台摄像头的摄像角度对照表。

云台摄像头的设备属性信息包括：摄像头型号、摄像头类型（即普通、广角和长焦距等）、焦距，CCD尺寸，及可能包括的拍摄角度、焦距调整范围范围，以及对应的拍摄角度计算算法；如果部分数据不包括在云台摄像头芯片中的设备属性信息中，如拍摄角度，焦距调整对应的拍摄角度对应算法，则此类数据可以内建在存储模块的拍摄角度对照表中，该表以摄像头型号、摄像头类型、焦距和CCD尺寸等唯一性数据组为索引标识。

二、其次，检测触摸屏。当检测到触摸屏受到触摸动作时，由控制器计算并以适当的形式，如在显示单元的视频显示区域上绘制一个和视频显示区域长宽比例一致的矩形线框，以矩形线框相对显示单元中心点的位置和矩形线框的大小显示当前云台摄像头的姿态，即相对初始位置的偏移量和调焦状态；之后，开始接受用户的云台摄像头调整命令，即开始检测相对于触摸屏的触摸手势和触摸点坐标。下面详细介绍矩形线框大小及位置的计算方法：

    首先，需要在智能终端显示单元等比例地显示摄像头当前所处的姿态，即摄像区域相对于可二自由度旋转的云台的位置以及当前调焦状态。这就需要知道摄像头此时摄像区域的大小，以及二自由度云台的两个自由度上的舵机的旋转范围和当前各自所处的角度值。而摄像区域的大小取决于摄像头自身的以下三个因素：摄像头水平方向的所拍摄影像的拍摄角度θ1（通俗讲就是视线角度，视线范围）、垂直方向拍摄角度θ2和当前的焦距f。

    θ1，θ2和摄像头的类型、镜头焦距、芯片尺寸有关。摄像头的型号包括：标准镜头、广角镜头和长焦距镜头等。镜头焦距包括2.5mm，2.8mm，3.6mm，4mm，6mm等。芯片尺寸包括1/3"，1/4"等。这里以广角镜头为例，列出摄像头拍摄角度的取值表：

镜头焦距(mm)	1/3"芯片-水平拍摄角度θ1	1/3"芯片-垂直拍摄角度θ2
			2.5	96.4°	86.2°
2.8	89.9°	79.8°
			...	...	...

    对于不可调焦的摄像头，其摄像范围即θ1，θ2是固定的；对于支持调焦的摄像头，其任意时刻的θ1，θ2值还和当时的焦距f大小有关系，而相应的关系是可以由摄像头厂家提供的算法计算出来的，本公开为简化算法描述，将不涉及θ1，θ2与f之间关系的计算说明，而假定可调焦摄像头在未调焦状态的水平拍摄角度和垂直拍摄角度分别是θ1，θ2，调整到焦距f2时水平拍摄角度和垂直拍摄角度分别是θ1'，θ2'。

    另外，基于在显示单元等比例显示云台摄像头姿态的需要，需要获取到显示单元上视频内容显示窗口的大小，假定窗口水平宽度w1，垂直高度h1。

    特别的，假定在云台摄像头初始姿态下，两个自由度的舵机都处于中置状态，同时水平旋转舵机的可旋转角度是β1，垂直旋转舵机的可旋转角度是β2。

    则触摸控制云台摄像头的方法（下简称控制程序）第一次被唤醒时，在显示单元的视频窗口会绘制一个水平宽度w2，垂直高度h2的矩形线框，w2和h2算法如下：

    w2=(θ1/(β1+θ1))* w1；

    h2=(θ2/(β2+θ2))*h1 。

算法依据是：摄像头在水平方向总的可视区域大小(区域大小即角度，下同）是β1+θ1，则摄像头当前所拍摄区域的水平方向角度θ1与总可视区域水平方向角度β1+θ1的比值，应等于矩形线宽的宽度w2与视频窗口的宽度w1的比值。垂直方向计算同理。

三、控制器对检测到单指滑动手势的处理。图7示出了单指滑动触摸事件的处理流程。参照图7，在步骤301，控制器判断检测到的手势为单指滑动，执行步骤302，读取智能终端的存储模块中储存的云台摄像头设备属性信息，和据此调出的摄像角度值及当前视频显示窗口尺寸等信息在步骤303中，结合发起触摸动作的手指在触摸屏上的滑动距离，计算出云台摄像头在垂直和水平方向各需调整的角度的控制信息，并在步骤304中将该控制信息通过智能终端和云台摄像头的通信模块，发送给云台摄像头控制器。步骤305中，云台摄像头控制器将控制信息转化为控制云台摄像头水平和垂直姿态的舵机旋转的电信号，调整云台摄像头的角度姿态。步骤306，从云台摄像头控制器返回执行成功的信息，及云台摄像头当前姿态信息。步骤307，控制器将更新后的云台摄像头姿态信息存储于智能终端存储模块，并经计算后显示于显示单元的视频显示窗口。

这里考虑到网络通讯可能的延迟，为提高用户使用体验，智能终端控制器更新显示窗口的信息这一操作，可以在执行完步骤303即可执行，因为此时已经能够预估到如果云台摄像头姿态调整成功，对应的新的姿态信息。为保证智能终端和云台摄像头两端信息的一致性，以及避免可能出现的云台摄像头端出现异常情况导致动作执行失败，而出现的智能终端这一端信息的不当显示，可以在步骤306之后，接收到云台摄像头返回的执行成功信息后予以核对。如果接收到执行失败的信息，则可根据接收到的实际姿态信息再次更新显示单元的信息，或对显示单元显示信息执行数据回退等操作。

下面详细阐述控制器单指滑动手势处理的相关算法：

为便于对本公开算法的理解，这里先阐述关于摄像头全部摄像区域的空间形态的认知，为便于理解，我们假设云台的2个自由度的旋转轴的空间交汇点与摄像头的取景镜头的中心点在空间上重合，即类似于人眼成像与活动。

我们假设垂直旋转舵机角度向下调至最大值，水平旋转摄像头向左调至最大值，从此处开始，水平旋转舵机逐个最小的单位旋转角度（如1度，下同）向右旋转，一直到右侧所能旋转的最大值停止；然后垂直旋转舵机向上旋转一个最小的单位旋转角度停止，这时水平旋转舵机开始逐个最小的单位旋转角度向左旋转，一直到左侧所能旋转的最大值停止；以此类推，一直到垂直旋转舵机和水平旋转舵机均达到最大的旋转角度。

完成上述旋转后，摄像头即完成了全部可视区域的拍摄，由此可得出一个结论，就是二自由度云台上的摄像头，其有限取景距离内的全部可视区是一个受限于两个云台自由度各自方向最大旋转角度值得球面区域。

如果希望摄像头拍摄区域上以任何一点为中心的区域的影响，则取得改点相对二自由度云台设定的初始角度所对应的拍摄点的位置，即获得相应的水平方向旋转和垂直方向旋转的角度差值，并控制二自由度云台的水平旋转舵机和垂直旋转舵机完成相应角度插值的旋转即可。

下面我们继续阐述控制器对滑动手势的处理过程和算法：

    参见图4，控制器获取到滑动这个触摸事件在屏幕所滑过的轨迹，起始点A坐标x1,y1，终止点B坐标x2,y2。同时，假定水平旋转舵机相对初始值（这里假设为水平旋转舵机的中立点，下同）向上旋转了α1度，垂直旋转舵机相对初始值向右旋转了α2度。触摸事件及起始点、终止点坐标及当前二自由度云台姿态信息均交由控制器计算，假定y2-y1结果为正值，x2-x1结果为负值，则控制器判断用户要把视频窗口右上方的视频内容向左下方拖动，即云台摄像头向右上方调整姿态。为便于理解，以触摸手势发生前的屏幕中心点H为中心建立子坐标系x'Hy'，对镜头取景中心点的变化进行阐述。云台摄像头具体的调整方向和大小是:希望把摄像头取景的中心点H与A点（对应于整个摄像头取景空间中的位置）的关系，即A点落于H点子坐标系的第一象限，并距离l1且角度δ，变换成的A点落于H点子坐标系的第二象限，并距离l2且角度ε。而空间中A点假定是相对固定的，那么就要相应地移动H点的位置，H点（镜头摄像中心点）在滑动手势前后移动的距离（即角度）是：

    水平方向，γ1=((x2-x1)/w1)* θ1；

    垂直方向，γ2=((y2-y1)/h1)* θ2；

    γ1和γ2即为两个自由度上舵机的旋转角度，具体方向是，水平旋转舵机向右，垂直旋转舵机向上。

    上面对未调焦的摄像头调整姿态的算法进行了阐述，对于调焦至f2时，控制器进行对应计算时，将摄像头拍摄角度对应替换成θ1'，θ2'即可。

四、控制器对检测到多点触控的缩小手势或放大手势的处理。图8示出了多点触控的缩小手势或放大手势的处理流程。参见图8，步骤401，检测到多点触控的缩小手势或放大手势。在步骤402和403中，控制器获取发起触摸动作的多个手指在触摸屏上触碰的起始点和终止点坐标，由控制器计算出多个手指在滑动开始时所涵盖的中心区域中心点的位置信息和滑动结束时所涵盖的中心区域中心点的位置变化信息，以及所涵盖范围大小的变化比例，结合从存储器中获得的云台摄像头的设备属性信息，计算出云台摄像头角度调整大小及焦距调整大小。进入步骤404，该控制信息通过智能终端和云台摄像头的通信模块发给云台摄像头控制器。步骤405中，云台摄像头控制器将该控制信息转换成控制云台摄像头水平和垂直姿态的舵机旋转的电信号，和控制焦距的云台摄像头调焦马达转动的电信号，发给舵机和调焦马达调整云台摄像头的角度姿态和焦距，并在步骤406中取回云台摄像头姿态信息，返给智能终端的控制器。最后在步骤407，控制器将获得的执行结果计算后显示于显示单元的视频显示窗口。

需要说明的是，此处的姿态调整结果最后经控制器计算并显示于显示单元的操作也可在执行部件（即舵机、调焦电机）执行动作时即预先执行。

下面以两点触控为例简单阐述阐述多点触控的实现算法：

以两指触控且两指间距由小变大为例。参见图5，两指触碰的起始点及坐标分别为C3(x3,y3)，D4（x4,y4)；两指触碰的终止点及坐标分别是C5(x5,y5)，D6(x6,y6)。

    分别计算视频内容放大倍数和可能存在的云台摄像头姿态调整：首先根据两指在触摸屏上的触碰点在两指间距有小变大过程中，两指连线线段长度的变化计算放大倍数。

    两指间距变化前，C3和D4间连线线段的长度L1和两指间距变化后，C5和D6间连线线段的长度L2，则L2/L1的比值就是视频内容变大的倍数，可以根据摄像头的参数信息，进一步计算出摄像头焦距所需调整的数值。

    之后，根据两指间距变化前后，C3和D4连线的中点E1在屏幕上的位置，与C4和D6连线的中点E2在屏幕上的位置的变化，计算云台摄像头可能的姿态调整。这里需要特别说明有两点：第一、算法的思路同滑动手势，即计算摄像头取景中心点H相对E1（在摄像头整个取景空间中的位置）的相对变化，得到H的新的位置；第二、E1和H相对位置在两指触控手势发生前后的计算，分别在基于调焦前、调焦后的云台摄像头相应姿态下进行。

    对于多点触控中的，三指至四指、五指操作，中心点的选取可以是所有参与操控手指在触摸屏上所触动点围成的区域中心，计算该中心点的位置变化，并参照前面介绍的中心点变化相应的算法，可以得到云台摄像头两个自由度舵机所需旋转的角度。对于调焦的计算方法，可以有多种，其中比较简化的算法有两个：一个是多点所围成区域面积的变化倍数开平方根，这等效于正方形和圆形的面积增加倍数是正方形边长或圆形直径增加倍数的平方，而我们所要的结果基于两点触控的心理***均，并对手指滑动前、后两个加权平均值予以比较，所得到的比值也可作为视频内容所需要变化的倍数。

五、控制器双击手势的处理。图9示出了双击手势的处理流程。参见图9，在步骤501，控制器判断检测到的手势为双击。进入步骤502，首先控制器从智能终端的存储模块中读取当前云台摄像头姿态信息中的焦距调整信息，如果焦距已调至最大，则确认用户是希望恢复云台摄像头的初始状态，即水平、垂直方向两个舵机的角度均归中，镜头调焦姿态也复位，进入步骤503，发出舵机及调焦电机归中操作的控制信息。

如果此时存储单元显示焦距尚没有调至最大，则判断用户是希望将云台摄像头对准双击动作在触摸屏上触碰位置对应的视频内容处，即对应的期望操作是将其至于显示单元的中心，并将此处影像放至最大。进入步骤504，控制器根据从触摸屏获取的双击动作点的位置信息，和视频显示窗口的大小及中心点信息，以及本地存储模块中的云台摄像头设备属性信息计算出云台摄像头水平和垂直舵机需要旋转的角度，以及云台摄像头调焦电机须动作至焦距调至最大。

对于步骤503和步骤504形成的控制信息，在步骤505中，智能终端控制器将此控制信息通过通信模块发送给云台摄像头的控制器，并在步骤506中，对舵机和调焦马达进行相应控制。在步骤507中，将云台摄像头姿态调整后的信息返给智能终端的控制器。步骤508，控制器将执行结果，即执行后的云台摄像头的姿态信息计算后显示于显示单元的视频显示窗口。此操作同样可以提前执行。

拂动手势的处理流程，简化一些的表述就是：将视频内容沿手指拂动方向，按照拂动手指的轨迹和速度，计算出视频内容需要移动的方位和距离，形成包含云台摄像头反向旋转调整角度的控制信息，发给云台摄像头的控制器予以进一步执行。由于算法及处理流程完全可以前述算法和流程为基础略加调整，所以本公开中不再详细说明。

本公开针对语音识别的一个实施例是：野外生物资源观测者通过智能终端语音控制云台摄像头对准当前摄像采集区内的老虎。下面介绍具体处理流程：

该野外生物资源观测者在实时观看云台摄像头，此时在智能终端视频显示窗口发现了一只东北虎，同时该东北虎位于屏幕的左上角，该观测者希望将东北虎影像调至屏幕中央，则可以对着智能终端发出语音命令“Look at the tiger”，音频处理单元接收到来自麦克风MIC的语音信息后进行识别，转换成控制需求信息" Move the tiger to the center of video window "，并将其发给控制器。控制器将收到的控制需求信息转换并拆分成目标对象位置识别信息"Check the tiger's location"和云台摄像头姿态调整控制信息"Move the camera to the tiger",并将目标对象位置识别信息发给图像识别模块，图像识别模块收到该信息，并从当前图像中获取到"tiger"图像块的中心点在视频窗口内的位置，这里称为T点坐标，然后将T点的坐标值返回到控制器，控制器收到该信息并结合云台摄像头姿态调整控制信息，结合前述算法（如：手指滑动相关的处理算法），最终形成能够发给云台摄像头的控制信息，并完成后继操作。

Claims (7)

1.智能终端触控方式控制云台摄像头的设备和方法，涉及网络通信技术领域，所述设备包括智能终端和云台摄像头，并各自包括以下主要组件：

触摸屏，适用于识别操控手势；

显示单元，适于显示视频信息和云台摄像头操控过程及结果；

控制器，适于识别手势类型，通过相应的计算生成控制信息；

存储单元，适于存储摄像头状态信息；

智能终端和云台摄像头各自的射频（RF）通信单元，负责控制信息和视频信息的收发；

云台摄像头控制器，适于将射频（RF）通信单元发来的控制信息转为控制云台舵机和摄像头调焦电机的电信号；

包含舵机的多自由度云台，适于调整云台摄像头的姿态；

云台摄像头，适于采集视频信息；

云台摄像头调焦电机，适于调焦；

所述控制云台摄像头的方法包括：

建立和云台摄像头的通信连接，通过智能终端的控制器计算，显示模块在智能终端显示单元的视频显示窗口显示通过网络获取的云台摄像头传来的视频信息；智能终端定期通过云台摄像头的控制器获取云台摄像头的姿态信息和设备属性信息；将云台摄像头的姿态信息和设备属性信息存储于智能终端的存储模块；存储模块中还存储着各个规格云台摄像头的摄像角度对照表；

一、检测触摸屏；当检测到触摸屏受到触摸动作时，由控制器计算并以适当的形式，如在显示单元的视频显示区域上绘制一个和视频显示区域长宽比例一致的矩形线框，以矩形线框相对显示单元中心点的位置和矩形线框的大小显示当前云台摄像头的姿态，即相对初始位置的偏移量和调焦状态；之后，开始接受用户的云台摄像头调整命令，即开始检测相对于触摸屏的触摸手势和触摸点坐标；将云台摄像头姿态信息绘制显示单元上的算法是：

    确认摄像区域的大小取决于摄像头自身的以下三个因素：摄像头水平方向的所拍摄影像的拍摄角度θ1（通俗讲就是视线角度或视线范围）、垂直方向拍摄角度θ2和当前的焦距f；

    对于不可调焦的摄像头，其摄像范围即θ1，θ2是固定的；对于支持调焦的摄像头，其任意时刻的θ1，θ2值还和当时的焦距f大小有关系，而相应的关系是可以由摄像头厂家提供的算法计算出来的，本公开为简化算法描述，将不涉及θ1，θ2与f之间关系的计算说明，而假定可调焦摄像头在未调焦状态的水平拍摄角度和垂直拍摄角度分别是θ1，θ2，调整到焦距f2时水平拍摄角度和垂直拍摄角度分别是θ1'，θ2'；

    另外，基于在显示单元等比例显示云台摄像头姿态的需要，需要获取到显示单元上视频内容显示窗口的大小，假定窗口水平宽度w1，垂直高度h1；

    特别的，假定在云台摄像头初始姿态下，两个自由度的舵机都处于中置状态，同时水平旋转舵机的可旋转角度是β1，垂直旋转舵机的可旋转角度是β2；

    则触摸控制云台摄像头的方法（下简称控制程序）第一次被唤醒时，在显示单元的视频窗口会绘制一个水平宽度w2，垂直高度h2的矩形线框，w2和h2算法如下：

    w2=(θ1/(β1+θ1))* w1

    h2=(θ2/(β2+θ2))*h1

    算法依据是：摄像头在水平方向总的可视区域大小(区域大小即角度，下同）是β1+θ1，则摄像头当前所拍摄区域的水平方向角度θ1与总可视区域水平方向角度β1+θ1的比值，应等于矩形线宽的宽度w2与视频窗口的宽度w1的比值；垂直方向计算同理；

    此外，这里默认触摸屏和显示单元的外形尺寸完全一致，并前后重叠布局，w1为触摸屏水平宽度，h1为触摸屏垂直高度；坐标系原点为触摸屏左上角顶点；x轴方向为水平向右，y轴方向为垂直向下；下文中计算触摸屏所采纳的数据源所在坐标系及触摸屏大小与这里一致；

二、当检测到的手势为单指滑动时，根据智能终端的存储模块中储存的云台摄像头设备属性信息，和据此调出的摄像角度值，及当前视频显示窗口尺寸，以及发起触摸动作的手指在触摸屏上的滑动距离，计算出云台摄像头在垂直和水平方向各需调整的角度，将该控制信息通过智能终端和云台摄像头的通信模块，发送给云台摄像头控制器，由云台摄像头控制器将控制信息转化为控制云台摄像头水平和垂直姿态的舵机旋转的电信号，调整云台摄像头的角度姿态；相应的算法如下：

为便于对本公开算法的理解，这里先阐述关于摄像头全部摄像区域的空间形态的认知，为便于理解，我们假设云台的2个自由度的旋转轴的空间交汇点与摄像头的取景镜头的中心点在空间上重合，即类似于人眼成像与活动；

我们假设垂直旋转舵机角度向下调至最大值，水平旋转摄像头向左调至最大值，从此处开始，水平旋转舵机逐个最小的单位旋转角度（如1度，下同）向右旋转，一直到右侧所能旋转的最大值停止；然后垂直旋转舵机向上旋转一个最小的单位旋转角度停止，这时水平旋转舵机开始逐个最小的单位旋转角度向左旋转，一直到左侧所能旋转的最大值停止；以此类推，一直到垂直旋转舵机和水平旋转舵机均达到最大的旋转角度；

完成上述旋转后，摄像头即完成了全部可视区域的拍摄，由此可得出一个结论，就是二自由度云台上的摄像头，其有限取景距离内的全部可视区是一个受限于两个云台自由度各自方向最大旋转角度值得球面区域；

如果希望摄像头拍摄区域上以任何一点为中心的区域的影响，则取得改点相对二自由度云台设定的初始角度所对应的拍摄点的位置，即获得相应的水平方向旋转和垂直方向旋转的角度差值，并控制二自由度云台的水平旋转舵机和垂直旋转舵机完成相应角度插值的旋转即可；

下面我们继续阐述控制器对滑动手势的处理过程和算法：

    控制器获取到滑动这个触摸事件在屏幕所滑过的轨迹，起始点A坐标x1,y1，终止点B坐标x2,y2；同时，假定水平旋转舵机相对初始值（这里假设为水平旋转舵机的中立点，下同）向上旋转了α1度，垂直旋转舵机相对初始值向右旋转了α2度；触摸事件及起始点、终止点坐标及当前二自由度云台姿态信息均交由控制器计算，假定y2-y1结果为正值，x2-x1结果为负值，则控制器判断用户要把视频窗口右上方的视频内容向左下方拖动，即云台摄像头向右上方调整姿态；为便于理解，以触摸手势发生前的屏幕中心点H为中心建立子坐标系x'Hy'，对镜头取景中心点的变化进行阐述；云台摄像头具体的调整方向和大小是:希望把摄像头取景的中心点H与A点（对应于整个摄像头取景空间中的位置）的关系，即A点落于H点子坐标系的第一象限，并距离l1且角度δ，变换成的A点落于H点子坐标系的第二象限，并距离l2且角度ε；而空间中A点假定是相对固定的，那么就要相应地移动H点的位置，H点（镜头摄像中心点）在滑动手势前后移动的距离（即角度）是：

    水平方向，γ1=((x2-x1)/w1)* θ1；

    垂直方向，γ2=((y2-y1)/h1)* θ2；

    γ1和γ2即为两个自由度上舵机的旋转角度，具体方向是，水平旋转舵机向右，垂直旋转舵机向上；

    上面对未调焦的摄像头调整姿态的算法进行了阐述，对于调焦至f2时，控制器进行对应计算时，将摄像头拍摄角度对应替换成θ1'，θ2'即可；

三、当检测到的手势为缩小手势或放大手势时，获取发起触摸动作的多个手指在触摸屏上触碰的起始点和终止点坐标，由控制器计算出多个手指在滑动开始时所涵盖的中心区域中心点的位置信息和滑动结束时所涵盖的中心区域中心点的位置变化信息，以及所涵盖范围大小的变化比例，并由此计算出云台摄像头角度调整大小及焦距调整大小，将该控制信息通过智能终端和云台摄像头的通信模块发给云台摄像头控制器，云台摄像头控制器将该控制信息转换成控制云台摄像头水平和垂直姿态的舵机旋转的电信号，和控制焦距的云台摄像头调焦马达转动的电信号，发给舵机和调焦马达调整云台摄像头的角度姿态和焦距；

下面先以两点触控为例简单阐述阐述多点触控的实现算法：

以两指触控且两指间距由小变大为例；两指触碰的起始点及坐标分别为C3(x3,y3)，D4（x4,y4)；两指触碰的终止点及坐标分别是C5(x5,y5)，D6(x6,y6)；

    分别计算视频内容放大倍数和可能存在的云台摄像头姿态调整：首先根据两指在触摸屏上的触碰点在两指间距有小变大过程中，两指连线线段长度的变化计算放大倍数；

    两指间距变化前，C3和D4间连线线段的长度L1和两指间距变化后，C5和D6间连线线段的长度L2，L2与L1的比值就是视频内容变大的倍数，可以根据摄像头的参数信息，进一步计算出摄像头焦距所需调整的数值；

    之后，根据两指间距变化前后，C3和D4连线的中点E1在屏幕上的位置，与C4和D6连线的中点E2在屏幕上的位置的变化，计算云台摄像头可能的姿态调整；这里需要特别说明有两点：第一、算法的思路同滑动手势，即计算摄像头取景中心点H相对E1（在摄像头整个取景空间中的位置）的相对变化，得到H的新的位置；第二、E1和H相对位置在两指触控手势发生前后的计算，分别在基于调焦前、调焦后的云台摄像头相应姿态下进行；

    对于多点触控中的，三指至四指、五指操作，中心点的选取可以是所有参与操控手指在触摸屏上所触动点围成的区域中心，计算该中心点的位置变化，并参照前面介绍的中心点变化相应的算法，可以得到云台摄像头两个自由度舵机所需旋转的角度；对于调焦的计算方法，可以有多种，其中比较简化的算法有两个：一个是多点所围成区域面积的变化倍数开平方根，这等效于正方形和圆形的面积增加倍数是正方形边长或圆形直径增加倍数的平方，而我们所要的结果基于两点触控的心理***均，并对手指滑动前、后两个加权平均值予以比较，所得到的比值也可作为视频内容所需要变化的倍数；

四、当检测到的手势为双击时，首先由控制器从智能终端的存储模块中读取当前云台摄像头姿态信息中的焦距调整信息，如果焦距已调至最大，则确认用户是希望恢复云台摄像头的初始状态，即水平、垂直方向两个舵机的角度均归中，镜头调焦姿态也复位，控制器发出舵机及调焦电机归中操作的控制信息；如果此时存储单元显示焦距尚没有调至最大，则判断用户是希望将云台摄像头对准双击动作在触摸屏上触碰位置对应的视频内容处，即对应的期望操作是将其至于显示单元的中心，并将此处影像放至最大；控制器根据从触摸屏获取的双击动作点的位置信息，和视频显示窗口的大小及中心点信息，以及本地存储模块中的云台摄像头设备属性信息计算出云台摄像头水平和垂直舵机需要旋转的角度，以及云台摄像头调焦电机须动作至焦距调至最长；智能终端的控制器将此控制信息通过通信模块发送给云台摄像头的控制器，对舵机和调焦马达进行相应控制；

相应的算法是：

    对于触发事件发生时，云台摄像头已经调焦至最大的情况，执行的操作时二自由度云台舵机回归中位，镜头调焦电机回到初始位置；对于云台摄像头尚未调焦至最大，假定此时调焦状态是焦距f2，对应的云台摄像头水平方向摄像机角度是θ1'，θ2'，具体计算控制信息算法如下：

    假定双击触碰点及坐标是H(x8,y8)，屏幕中心点及坐标是J(w1/2,h1/2)，即J点在x轴，y轴坐标值分别为视频显示窗口水平和垂直尺寸的一半，则云台摄像头需要执行的姿态调整是，水平旋转舵机旋转角度为：(x7-w1/2)/w1*θ1'；垂直旋转舵机旋转角度为：(y7-h1/2)/h1*θ2';

同时，调焦电机对应的操作是调焦至最大；

五、当检测到的手势为拂动时，控制器根据获取到的拂动手指的轨迹和速度，计算出视频内容需要移动的方位和距离，形成包含云台摄像头旋转调整角度的控制信息，发给云台摄像头的控制器予以进一步执行；由于算法及处理流程完全可以前述算法和流程为基础略加调整，这里不再详细说明。

2.根据权利要求1所述的设备和方法，其特征在于，所述的云台摄像头姿态信息包括控制云台摄像头旋转的云台的信息以及当前调焦大小信息；云台摄像头属性信息包括云台摄像头的参数表，参数表至少包含以下信息：云台摄像头类型，镜头焦距和芯片尺寸；云台信息包括：云台的自由度数量（本公开以二自由度为例进行详细说明），两个自由度上的控制舵机的最大允许旋转角度，两个舵机的初始位置，两个舵机各自已旋转的角度值等。

3.根据权利要求1所述的设备和方法，其特征在于，所述各触发事件结束后，控制器都会根据从云台摄像头取回的更新后的姿态信息以至少包含一个矩形线框的形式通过显示单元展现出来；用户能够很直观地通过矩形线框与当前视频显示窗口大小比例以及矩形线框在窗口中所处位置理解到镜头调焦及云台摄像头两个自由度的舵机角度信息。

4.根据权利要求3所述的设备和方法，其特征在于，控制器对于云台摄像头姿态信息在当前视频窗口显示位置和矩形线框比例的计算，与二自由度云台的水平旋转舵机和垂直旋转舵机当前的旋转角度和对应于该云台摄像头设备属性信息的存储模块中摄像角度对照表中对应摄像角度值有关。

5.根据权利要求4所述的设备和方法，其特征在于，所述摄像角度对照表是一个至少包含以下信息的索引表：云台摄像头类型，镜头焦距，芯片尺寸和对应的摄像角度值；

根据权利要求1所述的设备和方法，其特征在于，如果在用户操作过程中的设定时间内，如3秒钟，未检测到任何手势，则控制器不再继续在显示单元视频显示窗口上显示云台摄像头姿态信息，避免影响用户的观看体验。

6.根据权利要求1所述的设备和方法，其特征在于，智能终端还包括音频处理单元、麦克风MIC和扬声器SPK和图像识别模块。

7.根据权利要求7所述的设备和方法，其特征在于，智能终端的音频处理单元可以接受来自麦克风MIC的用户语音控制信息，并将用户语音控制信息转换成控制器能够理解的控制需求信息发给控制器，控制器将收到的控制需求信息转换并拆分成目标对象位置识别信息和云台摄像头姿态调整控制信息，其中目标对象识别信息发送给图像识别模块，图像识别模块据此从当前图像中提取目标对象在图像中的位置（即坐标）并返回给控制器，控制器根据该位置信息，结合云台摄像头姿态调整控制信息生成能被云台摄像头控制器理解的控制信息发给云台摄像头，由其进一步解释和转发执行。