CN107678818B - 一种用户界面控制方法及移动终端 - Google Patents

一种用户界面控制方法及移动终端 Download PDF

Info

Publication number
CN107678818B
CN107678818B CN201710866130.7A CN201710866130A CN107678818B CN 107678818 B CN107678818 B CN 107678818B CN 201710866130 A CN201710866130 A CN 201710866130A CN 107678818 B CN107678818 B CN 107678818B
Authority
CN
China
Prior art keywords
subgraph
image
picture frame
frame
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710866130.7A
Other languages
English (en)
Other versions
CN107678818A (zh
Inventor
曹宇宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN201710866130.7A priority Critical patent/CN107678818B/zh
Publication of CN107678818A publication Critical patent/CN107678818A/zh
Application granted granted Critical
Publication of CN107678818B publication Critical patent/CN107678818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用户界面控制方法及移动终端,该方法包括:控制所述摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列,其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像;根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;基于所述位移矢量,对当前用户界面执行控制操作。本发明的用户界面控制方法既可以不受屏幕尺寸的控制实现单手限制,也可以识别匀速操作。

Description

一种用户界面控制方法及移动终端
技术领域
本发明涉及通信技术领域,尤其涉及一种用户界面控制方法及移动终端。
背景技术
随着通信技术的发展,移动终端的功能越来越丰富,移动终端也被越来越广泛的应用于生活及工作的各个领域中。目前,移动终端主要通过触控屏技术实现人机交互,即用户通过手指轻按、长按或滑动等操作作用于触控屏,以实现对移动终端用户界面的控制。另外,移动终端也可以通过传感器技术实现人机交互,以集成在移动终端中的加速度传感器为例,加速度传感器通过感应用户操作的加速度实现对移动终端用户界面的控制。
然而,现有的实现人机交互的技术存在缺陷,例如:随着移动终端的触控屏越来越大,触控屏技术通过单手操作实现人机交互的困难程度越来越大;当移动终端匀速运动时,加速度传感器技术不能实现人机交互。
发明内容
本发明实施例提供一种用户界面控制方法及移动终端,以解决现有的人机交互过程中单手操作受屏幕尺寸限制,以及不能识别匀速操作的问题。
第一方面,本发明实施例提供了一种用户界面控制方法,该方法包括:
控制摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列;
根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;
基于所述位移矢量,对当前用户界面执行控制操作;
其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像。
第二方面,本发明实施例还提供一种移动终端,该移动终端包括:
第一控制模块,用于控制所述摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列;
计算模块,用于根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;
第二控制模块,用于基于所述位移矢量,对当前用户界面执行控制操作;
其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像。
第三方面,本发明实施例还提供一种移动终端,该移动终端包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的用户界面控制方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的用户界面控制方法的步骤。
在本发明实施例中,控制所述摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列;根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;基于所述位移矢量,对当前用户界面执行控制操作;其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像。区别于现有技术,本发明的用户界面控制方法,根据摄像头采集的图像帧检测移动终端的移动,并基于移动终端的位移矢量执行对当前用户界面的控制操作,无需用户触控用户界面,从而可以不受屏幕尺寸的限制实现单手控制;另外,移动终端的位移矢量与移动终端运动的加速度无关,从而可以识别匀速操作。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的用户界面控制方法的流程图之一;
图2是本发明实施例提供的用户界面控制方法的流程图之二;
图3是本发明实施例提供的移动终端的结构图之一;
图4是本发明实施例提供的移动终端的结构图之二;
图5是本发明实施例提供的移动终端的结构图之三;
图6是本发明实施例提供的移动终端的结构图之四;
图7是本发明实施例提供的移动终端的结构图之五;
图8是本发明实施例提供的移动终端的结构图之六;
图9是本发明实施例提供的移动终端的结构图之七;
图10是本发明实施例提供的移动终端的结构图之八。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的用户界面控制方法的流程图之一,如图1所示,本实施例的用户控制方法包括以下步骤:
步骤101、控制摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列。
若移动终端移动,则摄像头在移动终端移动过程中不同时刻采集的图像帧必然存在区别,因此,本发明实施例中,移动终端可以控制内设或外置的摄像头按照时间顺序采集图像帧序列,以根据图像帧序列来计算移动终端的位移值,并根据位移值实现对用户界面的控制。
在本发明实施例中,图像帧序列中的图像帧可以为摄像头在预览模式下采集到的图像帧,图像帧序列至少包括第一图像帧和第二图像帧两个图像帧,且第一图像帧为第二图像帧在时间维度上的前一帧图像。每一图像帧包含多个像素,并且每一像素对应一组像素值,例如:深度值、光度值(例如,红绿蓝值、强度值、色度值、饱和度值)或他们的组合。
另外,需要说明的是,本发明实施例中采集到的图像帧序列用于计算移动终端的位移值,进而根据位移值实现对用户界面的控制,因此,图像帧序列没有被显示在触控屏上。
步骤102、根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量。
本发明实施例中,移动终端可以通过多种方式根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量,以下以图像帧序列至少包括三个图像帧为例具体说明如下:
设图像帧序列为Fn(i,y),其中(i,y)为图像帧中像素点的位置坐标,n为图像帧序列中的第n图像帧。相邻的三个图像帧可以表示为Fn(i,y),Fn+1(i,y),Fn+2(i,y),其中,n为大于或等于0的自然数,当n=0时,表示F0为图像帧序列中的初始图像帧。
方式一,移动终端可以通过三帧差分法处理连续采集的三个图像帧Fn(i,y),Fn+1(i,y),Fn+2(i,y),并根据得到的ΔFn(i,j)=Fn+1(i,y)-Fn(i,y),ΔFn+1(i,j)=与Fn+2(i,y)-Fn+1(i,y)两个差分图像,计算所述移动终端在上述连续采集的三个图像帧的时间段内的位移矢量,即通过连续采集到的三个图像帧计算得到移动终端在采集上述三个图像帧的时间段内的位移矢量。
方式二,移动终端也可以通过分别检测连续采集的两个图像帧Fn(i,y),Fn+1(i,y)中的边缘点,并根据由图像帧Fn(i,y)的边缘点构成的第一子图像,与由图像帧Fn+1(i,y)的边缘点构成的第二子图像,计算所述移动终端在采集上述连续采集的两个图像帧的时间段内的位移矢量,即通过连续采集到的两个图像帧计算得到移动终端在采集上述两个图像帧的时间段内的位移矢量。其中,边缘点为图像中信号亮度值变化超过某个适当阈值的像素点,例如:设定适当的阈值T1,若采用前向差分法计算相邻两个像素点之间的信号亮度值之差,当F(i+1,y)-F(i,j)>T1时,则可以视位置坐标为(i,j)的像素点为边缘点。
由上述描述可知,相比于根据方式一,根据方式二计算移动终端的位移矢量需要的图像帧的数量较少,因此,方式二相比于方式一,能有效降低移动终端的运行负荷,减少移动终端的耗电量。
需要说明的是,若图像帧序列仅包括两个图像帧,则在该应用场景中,移动终端不能采用方式一根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量。因此,可以理解的,方式二相比于方式一应用范围更广。
当然,在其他实施例中,移动终端也可以通过其他方式根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量,本发明实施例在此不作限定。
步骤103、基于所述位移矢量,对当前用户界面执行控制操作。
本发明实施例中,移动终端可以基于摄像头采集的图像帧序列计算得到的位移矢量V,控制光标在当前用户界面执行滑动和点击等控制操作。从而,可以理解的,在本发明实施例中,摄像头也可以被当作光学鼠标来使用。
具体地,移动终端可以通过比较所述位移矢量在平行于触控屏的方向(以下称为x方向)上的分量Vx的第一位移值,以及所述位移矢量在垂直于触控屏上的方向(以下称为y方向)上的分量Vy的第二位移值的大小,并根据比较结果确定控制操作。
在某些具体的实施例中,移动终端可以选择并执行第一位移值和第二位移值之间较大的位移值所在方向对应的控制操作。具体地,若判定x方向上的第一位移值大于y方向上的第二位移值,即第一位移值为较大值,说明移动终端主要在x平方向上移动,即用户主要对移动终端进行左右移动,且移动终端预先设置x方向对应的操作为滑动操作,则可以控制光标在用户界面上移动与第一位移值相应的距离;若判定y方向上的第二位移值大于x方向上的第一位移值,即第二位移值为较大值,说明移动终端主要在y轴上移动,即用户主要对移动终端进行前后移动,则可以控制光标在用户界面进行点击操作,从而选择相应的按钮或菜单。进一步地,若检测到用户对移动终端前后移动两次,则可以控制光标在用户界面进行双击操作。
当然,在另一些具体的实施例中,移动终端可以分别执行第一位移值和第二位移值所在方向对应的控制操作。具体地,移动终端可以先执行第一位移值所在方向对应的控制操作,再执行第二位移值所在方向对应的控制操作,从而实现对当前用户界面的控制。若第一位移值所在方向对应的控制操作为滑动操作,第二位移值所在方向对应的控制操作为点击操作,则移动终端可以先控制光标在当前用户界面上移动与第一位移值相应的距离,使得光标所在位置与某按钮或菜单显示位置重叠,再控制光标执行点击操作,从而选择相应的按钮或菜单。
综上,相比于现有的触控屏技术中常常将用户手指的滑动操作误判为点击操作,本发明实施例可以准确的区分滑动操作和点击操作,从而可以减小移动终端对用户界面控制的误判率。
另外,考虑到计算得到的位移矢量可能存在随机误差,例如:摄像头在采集图像帧序列的过程中存在噪声干扰;根据算法计算得到的位移矢量存在误差,因此,移动终端可以在执行步骤103之前,还可以重复执行步骤101与步骤102,直至检测到结束图像帧,以采集更多的图像帧,并计算得到多个位移矢量,从而可以通过将所有的位移矢量进行相加的方法,减小随机误差对用户界面控制的精确度的影响,提高用户界面控制的精确度。
其中,结束图像帧可以为用户停止移动所述移动终端时,摄像头采集到的图像帧。具体地,若移动终端连续采集到的至少两个图像帧(例如大于三帧)为相同图像时,或者差分图像的非零像素点几乎为零时,可以判定用户停止移动所述移动终端。
本发明实施例中,移动终端可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant,简称PDA)、移动上网装置(Mobile Internet Device,MID)或可穿戴式设备(Wearable Device)等。
本实施例的用户界面控制方法,控制所述摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列,其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像;根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;基于所述位移矢量,对当前用户界面执行控制操作。本发明的用户界面控制方法,区别于现有技术,根据摄像头采集的图像帧检测移动终端的移动,并基于移动终端的位移矢量执行对当前用户界面的控制操作,无需用户触控用户界面,从而可以不受屏幕尺寸的限制实现单手控制;另外,移动终端的位移矢量与移动终端运动的加速度无关,从而可以识别匀速操作。
参见图2,图2是本发明实施例提供的用户界面控制方法的流程图之二,本实施例与上述实施例的主要区别在于,对根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量的步骤,作了进一步的限定,具体为:获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像;检测所述第二子图像中是否存在与所述第一子图像匹配的图像区域;若检测到所述第二子图像中存在与所述第一子图像匹配的图像区域,则获取所述第一子图像与所述第二子图像的中心点坐标;将所述第二子图像的中心点坐标与所述第一子图像的中心点坐标相减,得到所述移动终端在采集所述图像帧序列的时间段内的位移矢量。
如图2所示,包括以下步骤:
步骤201、控制所述摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列。
其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像。
步骤202、获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像。
本实施例中,若移动终端采用上述方法实施例中的方式一计算移动终端的位移矢量,则所述第一子图像为由第一图像帧与所述第二图像帧的第一差分图像中的非零像素点构成的图像,所述第二子图像为所述第二图像帧与所述第三图像帧的第二差分图像中的非零像素点构成的图像。其中,由于图像边缘附近的亮度变化较大,因此,非零像素点主要集中于差分图像的边缘。非零像素点为第一图像帧与第二图像帧中,相同位置坐标的像素点相减的差的绝对值大于或等于一个预设的阈值T2的像素点,即当ΔF0(i,j)=|F1(i,j)-F0(i,j)|≥T2时,坐标位置(i,j)的像素点为非零像素点,其中,F1(i,j)为第二图像帧上的像素点,F0(i,j)为第一图像帧上的像素点。
若移动终端采用上述方法实施例中的方式二计算移动终端的位移矢量,则所述第一子图像为由第一图像帧的边缘点构成的图像,所述第二子图像为由第二图像帧的边缘点构成的图像。其中,边缘点为图像中信号亮度值变化超过某个适当阈值的像素点,例如:设定适当的阈值T1,若采用后向差分法计算相邻两个像素点之间的信号亮度值之差,当F(i,y)-F(i-1,j)>T1时,则可以视位置坐标为(i-1,j)的像素点为边缘点;若采用均值差分法计算相邻两个像素点质检的信号亮度值之差,当(F(i+1,y)-F(i-1,j))/2>T1时,则可以视位置坐标为(i,j)的像素点为边缘点。
步骤203、检测所述第二子图像中是否存在与所述第一子图像匹配的图像区域。
在本发明实施例中,用于摄像头采集图像帧的背景中物体的相对运动可以忽略,因此,可以将上述背景视为刚体。若将上述背景作为参考物,则摄像头采集的图像帧的变化可以看做是背景的运动造成的,第一子图像相对于第二字图像不会发生形状的变化,只会发生位置的改变。因此,若能在第二子图像中检测到与第一自图像匹配的图像区域,则可以根据第一子图像和第二子图像计算移动终端的位置矢量。
本实施例中,移动终端可以先在第二子图像中检测与第一子图像的形状相同的图像区域,再采用一阶差分法,计算图像区域与第一子图像的差的绝对值,并判断上述差的绝对值是否小于预设的阈值T3,即|ΔI1(x,y)-ΔI0(i,j)|<T3。其中,ΔI1(x,y)为图像区域上的像素点,ΔI0(i,j)为第二子图像上的像素点。
若判定上述差的绝对值小于预设的阈值T1,则可判定上述图像区域与第一子图像匹配,即所述第二子图像中存在与所述第一子图像匹配的图像区域,并执行步骤204;若判定上述差的绝对值大于或等于预设的阈值T,则可判定上述图像区域与第一子图像不匹配,即所述第二子图像中不存在与所述第一子图像匹配的图像区域,则移动终端可以重新执行步骤201,也可以结束整个流程,本发明实施例对此不作限定。
步骤204、若检测到所述第二子图像中存在与所述第一子图像匹配的图像区域,则获取所述第一子图像与所述第二子图像的中心点坐标。
步骤205、将所述第二子图像的中心点坐标与所述第一子图像的中心点坐标相减,得到所述移动终端在采集所述图像帧序列的时间段内的位移矢量。
步骤206、基于所述位移矢量,对当前用户界面执行控制操作。
需要说明的是,本实施例的步骤201与步骤206分别与上述实施例的步骤101与步骤103相同,具体可参考上述实施例中的描述,在此不再赘述。
可选的,若所述图像帧序列还包括第三图像帧,所述第三图像帧为所述第二图像帧在时间维度上的后一帧图像;
所述获取所述第一图像帧对应的第一子图像,与所述第二图像帧对应的第二子图像的步骤,具体包括:
利用帧间差分法,分别对所述第一图像帧、所述第二图像帧和所述第二图像帧、所述第三图像帧进行差分运算,得到第一差分图像和第二差分图像;
确定所述第一差分图像与所述第二差分图像中的非零像素点,得到第一子图像和爹第二子图像;
其中,所述第一子图像由所述第一差分图像中的非零像素点构成;第二子图像由所述第二差分图像中的非零像素点构成。
该实施方式中,可以利用公式ΔF0(i,j)=|F1(i,j)-F0(i,j)|,以及ΔF1(i,j)=|F2(i,j)-F1(i,j)|得到第一差分图像ΔF0(i,j)与第二差分图像ΔF1(i,j)。其中,F2(i,j)为第三帧图像帧上的像素点,F1(i,j)为第二图像帧上的像素点,F0(i,j)为第一图像帧上的像素点。
然后可以通过判断ΔF0(i,j)是否大于或等于预设阈值T2,确定第一差分图像中位置坐标为(i,j)的像素点是否为非零像素点。具体地,若ΔF0(i,j)≥T2,可以确定第一差分图像中位置坐标为(i,j)的像素点为非零像素点;若ΔF0(i,j)<T2,可以确定第一差分图像中位置坐标为(i,j)的像素点为零像素点。可以通过判断ΔF1(i,j)是否大于或等于预设阈值T2,确定第二差分图像中位置坐标为(i,j)的像素点是否为非零像素点。具体地,若ΔF1(i,j)≥T2,可以确定第二差分图像中位置坐标为(i,j)的像素点为非零像素点;若ΔF1(i,j)<T2,可以确定第二差分图像中位置坐标为(i,j)的像素点为零像素点。
通过上述方式确定第一差分图像和第二差分图像中的所有非零像素点,进而得到由所述第一差分图像中的非零像素点构成的第一子图像,由所述第二差分图像中的非零像素点构成的第二子图像。
可选的,所述获取所述第一图像帧对应的第一子图像,与所述第二图像帧对应的第二子图像的步骤,具体包括:
确定所述第一图像帧和所述第二图像帧中的边缘点,得到第一子图像和第二子图像;
其中,所述第一子图像由所述第二图像帧中的边缘点构成;所述第二子图像由所述第二图像帧中的边缘点构成。
该实施方式中,边缘点为图像中信号亮度值变化超过某个适当阈值的像素点。因此,可以逐点计算相邻两个像素点之间的信号亮度值之差,并设定适当的阈值T1,确定所有梯度大于T1的点为边缘点。
具体地,可以通过前向差分法计算相邻两个像素点之间的信号亮度值之差,当F(i+1,y)-F(i,j)>T1时,则可以视该图像中位置坐标为(i,j)的像素点为边缘点;也可以通过后向差分法计算相邻两个像素点之间的信号亮度值之差,当F(i,y)-F(i-1,j)>T1时,则可以视该图像中位置坐标为(i-1,j)的像素点为边缘点;也可以通过均值差分法计算相邻两个像素点质检的信号亮度值之差,当(F(i+1,y)-F(i-1,j))/2>T1时,则可以视该图像中位置坐标为(i,j)的像素点为边缘点。
通过上述方式第一差分图像和第二差分图像中的所有边缘点,进而得到由所述第二图像帧中的边缘点构成的第一子图像,以及由所述第二图像帧中的边缘点构成的第二子图像。
可选的,所述控制摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列的步骤之后,所述获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像的步骤之前,还包括:
对所述第一图像帧与所述第二图像帧进行降分辨率处理。
该实施方式中,移动终端在通过摄像头采集到图像帧后,即可采用线性插值等算法对图像帧进行将分辨率处理,例如:摄像头采集到的图像帧的分辨率为1920*1080,则将分辨率处理后的图像帧的反而分辨率可以为64*64。
然后,根据将分辨率处理后的第一图像帧的第一子图像,与所述第二图像帧的第二子图像,计算移动终端的位移矢量,从而可以有效减少移动终端的计算量,提高移动终端的处理速度,节约移动终端的耗电量。
需要说明的是,该可选步骤也可以应用于上述方法实施例中。
可选的,所述基于所述位移矢量,对当前用户界面执行控制操作的步骤,包括:
获取所述位移矢量在第一方向上的第一分量和第二方向上的第二分量;
将所述第一分量的绝对值与所述第二分量的绝对值的大小进行比较,得到比较结果;
根据所述比较结果,对当前用户界面执行控制操作;
其中,所述第一方向和所述第二方向垂直。
本实施方式中,移动终端在计算得到所述位移矢量后,可以通过正交分解法计算得到所述位置矢量在第一方向上的第一分量和第二方向上的第二分量,并将所述第一分量的绝对值与所述第二分量的绝对值的大小进行比较,得到比较结果,以及根据所述比较结果,对当前用户界面执行控制操作。其中,所述第一方向和所述第二方向垂直,在实际应用中,第一方向可以为平行于触控屏的方向,第二方向可以为垂直于触控屏的方向,但不仅限于此。控制操作可以是点击控制操作,也可以是滑动控制操作,但不仅限于此。
可选的,所述根据所述比较结果,对当前用户界面执行控制操作的步骤,包括:
若所述比较结果指示所述第一分量的绝对值大于所述第二分量的绝对值,则对当前用户界面执行第一控制操作;
若所述比较结果指示所述第一分量的绝对值小于所述第二分量的绝对值,则对当前用户界面执行第二控制操作;
其中,所述第一控制操作对应于所述第一方向和所述第一分量的绝对值;所述第二控制操作对应于所述第二方向和所述第二分量的绝对值。
本实施方式中,移动终端可以选择并执行所述第一分量的绝对值和所述第二分量的绝对值之间较大的值所在方向对应的控制操作。其中,各方向对应的控制操作预先设置,例如:第一方向上对应的控制操作可以预先设置为滑动操作,即控制光标在当前用户界面上滑动;第二方向上的触控操作可以预先设置为点击控制操作,以选择按钮或菜单。
因此,若所述比较结果指示所述第一分量的绝对值大于所述第二分量的绝对值,则对当前用户界面执行第一控制操作。所述第一控制操作对应于所述第一方向和所述第一分量的绝对值,即控制光标在当前用户界面上执行与第一方向和第一分量的绝对值对应的第一控制操作。以第一控制操作是滑动控制操作为例,移动终端控制光标在当前用户界面上滑动与第一分量的绝对值相应的距离。
类似地,若所述比较结果指示所述第一分量的绝对值小于所述第二分量的绝对值,则对当前用户界面执行第二控制操作。所述第二控制操作对应于所述第二方向和所述第二分量的绝对值,即控制光标在当前用户界面上执行与第二方向和第二分量的绝对值对应的第二控制操作,例如:点击控制控操作。
从而相比于现有的触控屏技术中常常将用户手指的滑动操作误判为点击操作,本发明实施例可以准确的区分滑动操作和点击操作,从而可以减小移动终端对用户界面控制的误判率。
本实施例的用户界面控制方法,控制所述摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列;其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像;获取所述第一图像帧对应的第一子图像,与所述第二图像帧对应的第二子图像;检测所述第二子图像中是否存在与所述第一子图像匹配的图像区域;若检测到所述第二子图像中存在与所述第一子图像匹配的图像区域,则获取所述第一子图像与所述第二子图像的中心点坐标;将所述第二子图像的中心点坐标与所述第一子图像的中心点坐标相减,得到所述移动终端在采集所述图像帧序列的时间段内的位移矢量;基于所述位移矢量,对当前用户界面执行控制操作。从而既可以不受屏幕尺寸的限制实现单手控制,也可以识别匀速操作。
参见图3,图3是本发明实施例提供的移动终端的结构图之一,如图3所示,移动终端300包括:第一控制模块301、计算模块302以及第二控制模块303。
其中,第一控制模块301,用于控制所述摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列,其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像;
计算模块302,用于根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;
第二控制模块303,用于基于所述位移矢量,对当前用户界面执行控制操作。
可选的,如图4所示,计算模块302,包括:
第一获取子模块3021,用于获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像;
检测子模块3022,用于检测所述第二子图像中是否存在与所述第一子图像匹配的图像区域;
第二获取子模块3023,用于在检测到所述第二子图像中存在与所述第一子图像匹配的图像区域时,获取所述第一子图像与所述第二子图像的中心点坐标;
相减子模块3024,用于将所述第二子图像的中心点坐标与所述第一子图像的中心点坐标相减,得到所述移动终端在采集所述图像帧序列的时间段内的位移矢量。
可选的,若所述图像帧序列还包括第三图像帧,所述第三图像帧为所述第二图像帧在时间维度上的后一帧图像;
如图5所示,第一获取子模块3021,包括:
运算单元30211,用于利用帧间差分法,分别对所述第一图像帧、所述第二图像帧和所述第二图像帧、所述第三图像帧进行差分运算,得到第一差分图像和第二差分图像;
确定单元30212,用于分别确定所述第一差分图像与所述第二差分图像中的非零像素点,得到第一子图像和第二子图像;
其中,所述第一子图像由所述第一差分图像中的非零像素点构成;所述第二子图像由所述第二差分图像中的非零像素点构成。
可选的,第一获取子模块3021,用于确定所述第一图像帧和所述第二图像帧中的边缘点,得到第一子图像和第二子图像;其中,所述第一子图像由所述第二图像帧中的边缘点构成;所述第二子图像由所述第二图像帧中的边缘点构成。
可选的,如图6所示,移动终端300还包括:
处理模块304,用于在控制摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列之后,获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像之前,对所述第一图像帧与所述第二图像帧进行降分辨率处理。
可选的,如图7所示,第二控制模块303,包括:
第三获取子模块3031,用于获取所述位移矢量在第一方向上的第一分量和第二方向上的第二分量;
比较子模块3032,用于将所述第一分量的绝对值与所述第二分量的绝对值的大小进行比较,得到比较结果;
控制子模块3033,用于根据所述比较结果,对当前用户界面执行控制操作;
其中,所述第一方向和所述第二方向垂直。
可选的,如图8所示,控制子模块3033,包括:
第一控制单元30331,用于在所述比较结果指示所述第一分量的绝对值大于所述第二分量的绝对值时,对当前用户界面执行第一控制操作;
第二控制单元30332,用于在所述比较结果指示所述第一分量的绝对值小于所述第二分量的绝对值时,对当前用户界面执行第二控制操作;
其中,所述第一控制操作对应于所述第一方向和所述第一分量的绝对值;所述第二控制操作对应于所述第二方向和所述第二分量的绝对值。
移动终端300能够实现图1至图2的方法实施例中移动终端实现的各个过程,为避免重复,这里不再赘述。
本发明实施例的移动终端,控制所述摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列,其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像;根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;基于所述位移矢量,对当前用户界面执行控制操作。本发明的移动终端,根据摄像头采集的图像帧检测移动终端的移动,并基于移动终端的位移矢量执行对当前用户界面的控制操作,无需用户触控用户界面,从而可以不受屏幕尺寸的限制实现单手控制;另外,移动终端的位移矢量与移动终端运动的加速度无关,从而可以识别匀速操作。
参见图9,图9是本发明实施例提供的移动终端的结构图之七,如图9所示,移动终端900包括:至少一个处理器901、存储器902、至少一个网络接口904和用户接口903。移动终端900中的各个组件通过总线***905耦合在一起。可理解,总线***905用于实现这些组件之间的连接通信。总线***905除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图9中将各种总线都标为总线***905。移动终端900还包括摄像头906,摄像头906具有图像采集功能。另外,摄像头906通过总线***905与移动终端的各个组件连接。
其中,用户接口903可以包括显示器、键盘或者点击设备(例如,鼠标,轨迹球(track ball)、触感板或者触摸屏等。
可以理解,本发明实施例中的存储器902可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable P ROM,EPROM)、电可擦除可编程只读存储器(Electrically EP ROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous D RAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSD RAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SD RAM,ESDRAM)、同步连接动态随机存取存储器(Synch link D RAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本文描述的***和方法的存储器902旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中,存储器902存储了如下的元素,可执行模块或者数据结构,或者他们的子集,或者他们的扩展集:操作***9021和应用程序9022。
其中,操作***9021,包含各种***程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序9022,包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序9022中。
在本发明实施例中,在本发明实施例中,移动终端900还包括:存储在存储器902上并可在处理器901上运行的计算机程序,具体地,可以是应用程序9022中的计算机程序,计算机程序被处理器901执行时实现如下步骤:控制摄像头906采集至少包括第一图像帧和第二图像帧的图像帧序列,其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像;根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;基于所述位移矢量,对当前用户界面执行控制操作。
上述本发明实施例揭示的方法可以应用于处理器901中,或者由处理器901实现。处理器901可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器901中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器901可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpeciFic Integrated Circuit,ASIC)、现成可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器902,处理器901读取存储器902中的信息,结合其硬件完成上述方法的步骤。
可以理解的是,本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现,处理单元可以实现在一个或多个专用集成电路(ApplicationSpeciFic Integrated Circuits,ASIC)、数字信号处理器(Digital Signal Processing,DSP)、数字信号处理设备(DSP Device,DSPD)、可编程逻辑设备(Programmable LogicDevice,PLD)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现,可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
可选的,处理器901还用于:获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像;检测所述第二子图像中是否存在与所述第一子图像匹配的图像区域;若检测到所述第二子图像中存在与所述第一子图像匹配的图像区域,则获取所述第一子图像与所述第二子图像的中心点坐标;将所述第二子图像的中心点坐标与所述第一子图像的中心点坐标相减,得到所述移动终端在采集所述图像帧序列的时间段内的位移矢量。
可选的,若所述图像帧序列还包括第三图像帧,所述第三图像帧为所述第二图像帧在时间维度上的后一帧图像;处理器901还用于:利用帧间差分法,分别对所述第一图像帧、所述第二图像帧和所述第二图像帧、所述第三图像帧进行差分运算,得到第一差分图像和第二差分图像;确定所述第一差分图像与所述第二差分图像中的非零像素点,得到第一子图像和第二子图像;其中,所述第一子图像由所述第一差分图像中的非零像素点构成;所述第二子图像由所述第二差分图像中的非零像素点构成。
可选的,处理器901还用于:确定所述第一图像帧和所述第二图像帧中的边缘点,得到第一子图像和第二子图像;其中,所述第一子图像由所述第二图像帧中的边缘点构成;所述第二子图像由所述第二图像帧中的边缘点构成。
可选的,处理器901还用于:对所述第一图像帧与所述第二图像帧进行降分辨率处理。
可选的,处理器901还用于:获取所述位移矢量在第一方向上的第一分量和第二方向上的第二分量;将所述第一分量的绝对值与所述第二分量的绝对值的大小进行比较,得到比较结果;根据所述比较结果,对当前用户界面执行控制操作;其中,所述第一方向和所述第二方向垂直。
可选的,处理器901还用于:若所述比较结果指示所述第一分量的绝对值大于所述第二分量的绝对值,则对当前用户界面执行第一控制操作;若所述比较结果指示所述第一分量的绝对值小于所述第二分量的绝对值,则对当前用户界面执行第二控制操作;其中,所述第一控制操作对应于所述第一方向和所述第一分量的绝对值;所述第二控制操作对应于所述第二方向和所述第二分量的绝对值。
需要说明的是,本实施例中上述移动终端900可以是本发明实施例中方法实施例中任意实施方式的移动终端,即本发明实施例中方法实施例中移动终端的任意实施方式都可以被本实施例中的上述移动终端900所实现,以及达到相同的有益效果,为避免重复,此处不再赘述。
请参考图10,图10为本发明实施例提供的移动终端结构图之八,如图10所示,移动终端1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、处理器1010、电源1011以及摄像头1012等部件。本领域技术人员可以理解,图10中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,处理器1010,用于控制摄像头1012采集至少包括第一图像帧和第二图像帧的图像帧序列,其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像;根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;基于所述位移矢量,对当前用户界面执行控制操作。
可选的,处理器1010,还用于:获取所述第一图像帧对应的第一子图像,与所述第二图像帧对应的第二子图像;检测所述第二子图像中是否存在与所述第一子图像匹配的图像区域;若检测到所述第二子图像中存在与所述第一子图像匹配的图像区域,则获取所述第一子图像与所述第二子图像的中心点坐标;将所述第二子图像的中心点坐标与所述第一子图像的中心点坐标相减,得到所述移动终端在采集所述图像帧序列的时间段内的位移矢量。
可选的,若所述图像帧序列还包括第三图像帧,所述第三图像帧为所述第二图像帧在时间维度上的后一帧图像;处理器1010还用于:利用帧间差分法,分别对所述第一图像帧、所述第二图像帧和所述第二图像帧、所述第三图像帧进行差分运算,得到第一差分图像和第二差分图像;确定所述第一差分图像与所述第二差分图像中的非零像素点,得到第一子图像和第二子图像;其中,所述第一子图像由所述第一差分图像中的非零像素点构成;所述第二子图像由所述第二差分图像中的非零像素点构成。
可选的,处理器1010还用于:确定所述第一图像帧和所述第二图像帧中的边缘点,得到第一子图像和第二子图像;其中,所述第一子图像由所述第二图像帧中的边缘点构成;所述第二子图像由所述第二图像帧中的边缘点构成。
可选的,处理器1010还用于:对所述第一图像帧与所述第二图像帧进行降分辨率处理。
可选的,处理器1010还用于:获取所述位移矢量在第一方向上的第一分量和第二方向上的第二分量;将所述第一分量的绝对值与所述第二分量的绝对值的大小进行比较,得到比较结果;根据所述比较结果,对当前用户界面执行控制操作;其中,所述第一方向和所述第二方向垂直。
可选的,处理器1010还用于:若所述比较结果指示所述第一分量的绝对值大于所述第二分量的绝对值,则对当前用户界面执行第一控制操作;若所述比较结果指示所述第一分量的绝对值小于所述第二分量的绝对值,则对当前用户界面执行第二控制操作;其中,所述第一控制操作对应于所述第一方向和所述第一分量的绝对值;所述第二控制操作对应于所述第二方向和所述第二分量的绝对值。
需要说明的是,本实施例中上述移动终端1000可以是本发明实施例中方法实施例中任意实施方式的移动终端,即本发明实施例中方法实施例中移动终端的任意实施方式都可以被本实施例中的上述移动终端1000所实现,以及达到相同的有益效果,为避免重复,此处不再赘述。
应理解的是,本发明实施例中,射频单元1001可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器1010处理;另外,将上行的数据发送给基站。通常,射频单元1001包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元1001还可以通过无线通信***与网络和其他设备通信。
移动终端通过网络模块1002为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元1003可以将射频单元1001或网络模块1002接收的或者在存储器1009中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元1003还可以提供与移动终端1000执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元1003包括扬声器、蜂鸣器以及受话器等。
输入单元1004用于接收音频或视频信号。输入单元1004可以包括图形处理器(Graphics Processing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1006上。经图形处理器10041处理后的图像帧可以存储在存储器1009(或其它存储介质)中或者经由射频单元1001或网络模块1002进行发送。麦克风10042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1001发送到移动通信基站的格式输出。
移动终端1000还包括至少一种传感器1005,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板10061的亮度,接近传感器可在移动终端1000移动到耳边时,关闭显示面板10061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器1005还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元1006用于显示由用户输入的信息或提供给用户的信息。显示单元1006可包括显示面板10061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板10061。
用户输入单元1007可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板10071上或在触控面板10071附近的操作)。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1010,接收处理器1010发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板10071。除了触控面板10071,用户输入单元1007还可以包括其他输入设备10072。具体地,其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板10071可覆盖在显示面板10061上,当触控面板10071检测到在其上或附近的触摸操作后,传送给处理器1010以确定触摸事件的类型,随后处理器1010根据触摸事件的类型在显示面板10061上提供相应的视觉输出。虽然在图10中,触控面板10071与显示面板10061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板10071与显示面板10061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元1008为外部装置与移动终端1000连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1008可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端1000内的一个或多个元件或者可以用于在移动终端1000和外部装置之间传输数据。
存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1009可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1010是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器1009内的软件程序和/或模块,以及调用存储在存储器1009内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器1010可包括一个或多个处理单元;优选的,处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
移动终端1000还可以包括给各个部件供电的电源1011(比如电池),优选的,电源1011可以通过电源管理***与处理器1010逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
另外,移动终端1000包括一些未示出的功能模块,在此不再赘述。
需要说明的是,本实施例中上述移动终端1000可以是本发明实施例中方法实施例中任意实施方式的移动终端,即本发明实施例中方法实施例中移动终端的任意实施方式都可以被本实施例中的上述移动终端1000所实现,以及达到相同的有益效果,为避免重复,此处不再赘述。
优选的,本发明实施例还提供一种移动终端,包括处理器1010,存储器1009,存储在存储器1009上并可在所述处理器1010上运行的计算机程序,该计算机程序被处理器1010执行时实现上述用户界面控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现实现上述用户界面控制方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (14)

1.一种用户界面控制方法,应用于设置有摄像头的移动终端,其特征在于,包括:
控制摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列;
根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;
基于所述位移矢量,对当前用户界面执行控制操作;
其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像;
所述基于所述位移矢量,对当前用户界面执行控制操作的步骤,包括:
获取所述位移矢量在第一方向上的第一分量和第二方向上的第二分量;
将所述第一分量的绝对值与所述第二分量的绝对值的大小进行比较,得到比较结果;
根据所述比较结果,对当前用户界面执行控制操作;
其中,所述第一方向和所述第二方向垂直。
2.根据权利要求1所述的用户界面控制方法,其特征在于,所述根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量的步骤,包括:
获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像;
检测所述第二子图像中是否存在与所述第一子图像匹配的图像区域;
若检测到所述第二子图像中存在与所述第一子图像匹配的图像区域,则获取所述第一子图像与所述第二子图像的中心点坐标;
将所述第二子图像的中心点坐标与所述第一子图像的中心点坐标相减,得到所述移动终端在采集所述图像帧序列的时间段内的位移矢量。
3.根据权利要求2所述的用户界面控制方法,其特征在于,所述图像帧序列还包括第三图像帧,所述第三图像帧为所述第二图像帧在时间维度上的后一帧图像;
所述获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像的步骤,包括:
利用帧间差分法,分别对所述第一图像帧、所述第二图像帧和所述第二图像帧、所述第三图像帧进行差分运算,得到第一差分图像和第二差分图像;
确定所述第一差分图像与所述第二差分图像中的非零像素点,得到第一子图像和第二子图像;
其中,所述第一子图像由所述第一差分图像中的非零像素点构成;第二子图像由所述第二差分图像中的非零像素点构成。
4.根据权利要求2所述的用户界面控制方法,其特征在于,所述获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像的步骤,包括:
确定所述第一图像帧和所述第二图像帧中的边缘点,得到第一子图像和第二子图像;
其中,所述第一子图像由所述第一图像帧中的边缘点构成;所述第二子图像由所述第二图像帧中的边缘点构成。
5.根据权利要求2至4中任一项所述的用户界面控制方法,其特征在于,所述控制摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列的步骤之后,所述获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像的步骤之前,还包括:
对所述第一图像帧与所述第二图像帧进行降分辨率处理。
6.根据权利要求5所述的用户界面控制方法,其特征在于,所述根据所述比较结果,对当前用户界面执行控制操作的步骤,包括:
若所述比较结果指示所述第一分量的绝对值大于所述第二分量的绝对值,则对当前用户界面执行第一控制操作;
若所述比较结果指示所述第一分量的绝对值小于所述第二分量的绝对值,则对当前用户界面执行第二控制操作;
其中,所述第一控制操作对应于所述第一方向和所述第一分量的绝对值;所述第二控制操作对应于所述第二方向和所述第二分量的绝对值。
7.一种移动终端,所述移动终端设置有摄像头,其特征在于,包括:
第一控制模块,用于控制摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列;
计算模块,用于根据所述图像帧序列,计算所述移动终端在采集所述图像帧序列的时间段内的位移矢量;
第二控制模块,用于基于所述位移矢量,对当前用户界面执行控制操作;
其中,所述第一图像帧为所述第二图像帧在时间维度上的前一帧图像;
所述第二控制模块,包括:
第三获取子模块,用于获取所述位移矢量在第一方向上的第一分量和第二方向上的第二分量;
比较子模块,用于将所述第一分量的绝对值与所述第二分量的绝对值的大小进行比较,得到比较结果;
控制子模块,用于根据所述比较结果,对当前用户界面执行控制操作;
其中,所述第一方向和所述第二方向垂直。
8.根据权利要求7所述的移动终端,其特征在于,所述计算模块,包括:
第一获取子模块,用于获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像;
检测子模块,用于检测所述第二子图像中是否存在与所述第一子图像匹配的图像区域;
第二获取子模块,用于在检测到所述第二子图像中存在与所述第一子图像匹配的图像区域时,获取所述第一子图像与所述第二子图像的中心点坐标;
相减子模块,用于将所述第二子图像的中心点坐标与所述第一子图像的中心点坐标相减,得到所述移动终端在采集所述图像帧序列的时间段内的位移矢量。
9.根据权利要求8所述的移动终端,其特征在于,若所述图像帧序列还包括第三图像帧,所述第三图像帧为所述第二图像帧在时间维度上的后一帧图像;
所述第一获取子模块,包括:
运算单元,用于利用帧间差分法,分别对所述第一图像帧、所述第二图像帧和所述第二图像帧、所述第三图像帧进行差分运算,得到第一差分图像和第二差分图像;
确定单元,用于确定所述第一差分图像与所述第二差分图像中的非零像素点,得到第一子图像和第二子图像;
其中,所述第一子图像由所述第一差分图像中的非零像素点构成;所述第二子图像由所述第二差分图像中的非零像素点构成。
10.根据权利要求8所述的移动终端,其特征在于,所述第一获取子模块,用于确定所述第一图像帧和所述第二图像帧中的边缘点,得到第一子图像和第二子图像;其中,所述第一子图像由所述第一图像帧中的边缘点构成;所述第二子图像由所述第二图像帧中的边缘点构成。
11.根据权利要求8至10中任一项所述的移动终端,其特征在于,还包括:
处理模块,用于在控制摄像头采集至少包括第一图像帧和第二图像帧的图像帧序列之后,获取所述第一图像帧对应的第一子图像和所述第二图像帧对应的第二子图像之前,对所述第一图像帧与所述第二图像帧进行降分辨率处理。
12.根据权利要求11所述的移动终端,其特征在于,所述控制子模块,包括:
第一控制单元,用于在所述比较结果指示所述第一分量的绝对值大于所述第二分量的绝对值时,对当前用户界面执行第一控制操作;
第二控制单元,用于在所述比较结果指示所述第一分量的绝对值小于所述第二分量的绝对值时,对当前用户界面执行第二控制操作;
其中,所述第一控制操作对应于所述第一方向和所述第一分量的绝对值;所述第二控制操作对应于所述第二方向和所述第二分量的绝对值。
13.一种移动终端,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的用户界面控制方法的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的用户界面控制方法的步骤。
CN201710866130.7A 2017-09-22 2017-09-22 一种用户界面控制方法及移动终端 Active CN107678818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710866130.7A CN107678818B (zh) 2017-09-22 2017-09-22 一种用户界面控制方法及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710866130.7A CN107678818B (zh) 2017-09-22 2017-09-22 一种用户界面控制方法及移动终端

Publications (2)

Publication Number Publication Date
CN107678818A CN107678818A (zh) 2018-02-09
CN107678818B true CN107678818B (zh) 2019-11-22

Family

ID=61135843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710866130.7A Active CN107678818B (zh) 2017-09-22 2017-09-22 一种用户界面控制方法及移动终端

Country Status (1)

Country Link
CN (1) CN107678818B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047520B (zh) * 2019-03-19 2021-09-17 北京字节跳动网络技术有限公司 音频播放的控制方法、装置、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101248409A (zh) * 2005-08-22 2008-08-20 三星电子株式会社 具有集成图像传感器的便携式自主设备的位移与倾斜检测方法及其设备
CN101673173A (zh) * 2009-08-17 2010-03-17 宇龙计算机通信科技(深圳)有限公司 一种显示界面的调节装置、方法和移动终端
CN102591550A (zh) * 2011-01-04 2012-07-18 ***通信集团公司 终端界面内容的缩放控制方法及装置
CN104460958A (zh) * 2013-09-17 2015-03-25 中兴通讯股份有限公司 一种屏幕显示调整方法、装置及移动终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201011618A (en) * 2008-09-05 2010-03-16 Kye Systems Corp Optical multi-point touch-to-control method of windows-based interface
US10191611B2 (en) * 2015-11-27 2019-01-29 GitSuite LLC Graphical user interface defined cursor displacement tool
CN106201269A (zh) * 2016-07-15 2016-12-07 青岛海信电器股份有限公司 界面控制方法及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101248409A (zh) * 2005-08-22 2008-08-20 三星电子株式会社 具有集成图像传感器的便携式自主设备的位移与倾斜检测方法及其设备
CN101673173A (zh) * 2009-08-17 2010-03-17 宇龙计算机通信科技(深圳)有限公司 一种显示界面的调节装置、方法和移动终端
CN102591550A (zh) * 2011-01-04 2012-07-18 ***通信集团公司 终端界面内容的缩放控制方法及装置
CN104460958A (zh) * 2013-09-17 2015-03-25 中兴通讯股份有限公司 一种屏幕显示调整方法、装置及移动终端

Also Published As

Publication number Publication date
CN107678818A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN106778585B (zh) 一种人脸关键点跟踪方法和装置
CN108495029B (zh) 一种拍照方法及移动终端
CN109683763A (zh) 一种图标移动方法及移动终端
CN108304758A (zh) 人脸特征点跟踪方法及装置
KR20150079829A (ko) 제스처에 기반한 대화 처리 방법, 장치, 단말 장치, 프로그램 및 기록 매체
KR20140042544A (ko) 영상에 포함된 객체를 선택하기 위한 사용자 인터페이스 제어 장치 및 그 방법 그리고 영상 입력 장치
CN107707762A (zh) 一种应用程序操作方法及移动终端
CN108519851A (zh) 一种界面切换方法及移动终端
CN103813127B (zh) 一种视频通话方法、终端及***
JP2015007949A (ja) 表示装置、表示制御方法及びコンピュータプログラム
CN109558000B (zh) 一种人机交互方法及电子设备
CN104238900B (zh) 一种页面定位方法及装置
CN107111882A (zh) 条纹集合查找方法、装置以及***
CN107172346A (zh) 一种虚化方法及移动终端
JP2019507393A (ja) 指紋認識方法、装置、プログラム及び記録媒体
JP2009205423A (ja) 表示撮像装置および物体の検出方法
US11209914B1 (en) Method and apparatus for detecting orientation of electronic device, and storage medium
CN108257104A (zh) 一种图像处理方法及移动终端
CN108388396A (zh) 一种界面切换方法及移动终端
US10885298B2 (en) Method and device for optical fingerprint recognition, and computer-readable storage medium
CN107450841A (zh) 交互对象控制方法及装置
CN103631502B (zh) 显示内容调节方法、装置和电子设备
CN108920069A (zh) 一种触控操作方法、装置、移动终端和存储介质
CN108124059A (zh) 一种录音方法及移动终端
CN108121486A (zh) 一种图片显示方法及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant